一、Zookeeper

1.1 簡介

分布式應(yīng)用管理框架。

Zookeeper是個開源的,分布式的，為分布式框架提供協(xié)調(diào)服務(wù)的Apach項(xiàng)目。

1.2 zookeeper的作用

主要用于解決分布式應(yīng)用集群中應(yīng)用系統(tǒng)的一致性問題。

作為文件系統(tǒng)，用于注冊各種分布式應(yīng)用，儲存管理分布式應(yīng)用的元信息；

作為通知機(jī)制，如果節(jié)點(diǎn)或者服務(wù)本身的狀態(tài)出現(xiàn)問題會通知客戶端。

1.3 Zookeeper的特點(diǎn)

1）是由一個領(lǐng)導(dǎo)者（Leader），多個跟隨者（Follower）組成的集群；

2）Zookeeper集群中只要有半數(shù)以上節(jié)點(diǎn)存活，Zookeeper集群就能正常服務(wù)，所以Zookeeper適合安裝奇數(shù)臺服務(wù)器；

3）全局?jǐn)?shù)據(jù)一致：每個Server保存一份相同的數(shù)據(jù)副本，Client無論連接到哪個Server，數(shù)據(jù)都是一致的；

4）更新請求順序執(zhí)行，來自同一個Client的更新請求按其發(fā)送順序依次執(zhí)行，即先進(jìn)先出；

5）數(shù)據(jù)更新原子性，一次數(shù)據(jù)更新要么成功，要么失??；

6）實(shí)時性，在一定時間范圍內(nèi)，Client能讀到最新數(shù)據(jù)。

1.5 Zookeeper的數(shù)據(jù)結(jié)構(gòu)

ZooKeeper數(shù)據(jù)模型的結(jié)構(gòu)與Linux文件系統(tǒng)很類似，整體上可以看作是一棵樹，每個節(jié)點(diǎn)稱做一個ZNode。

每一個ZNode默認(rèn)能夠存儲1MB的數(shù)據(jù)，每個ZNode都可以通過其路徑唯一標(biāo)識。

1.6 Zookeeper的應(yīng)用場景

1）統(tǒng)一命名服務(wù)
在分布式環(huán)境下，經(jīng)常需要對應(yīng)用/服務(wù)進(jìn)行統(tǒng)一命名，便于識別。

2）統(tǒng)一配置管理
配置管理可交由ZooKeeper實(shí)現(xiàn)。

將配置信息寫入ZooKeeper上的一個Znode，各個客戶端服務(wù)器監(jiān)聽這個Znode，一旦Znode中的數(shù)據(jù)被修改，ZooKeeper將通知各個客戶端服務(wù)器。

3）統(tǒng)一集群管理
ZooKeeper可以實(shí)現(xiàn)實(shí)時監(jiān)控節(jié)點(diǎn)狀態(tài)變化，將節(jié)點(diǎn)信息寫入ZooKeeper上的一個ZNode，監(jiān)聽這個ZNode可獲取它的實(shí)時狀態(tài)變化。

4）服務(wù)器動態(tài)上下線
客戶端能實(shí)時洞察到服務(wù)器上下線的變化。

5）軟負(fù)載均衡
在Zookeeper中記錄每臺服務(wù)器的訪問數(shù)，讓訪問數(shù)最少的服務(wù)器去處理最新的客戶端請求。

1.7 Zookeeper的選舉機(jī)制（重要）

1.7.1 第一次啟動時

比較服務(wù)器節(jié)點(diǎn)的myid，誰的myid大就獲取比它小的服務(wù)器節(jié)點(diǎn)的選票，當(dāng)選票超過服務(wù)器節(jié)點(diǎn)數(shù)量的半數(shù)則當(dāng)選為leader，其它節(jié)點(diǎn)為follower；

即使后面再有其它myid更大的節(jié)占加入集群，也不會影響到之前的選舉結(jié)果。

1.7.2 非第一次啟動時

如果是非leader節(jié)點(diǎn)故障，替換新節(jié)點(diǎn)繼續(xù)當(dāng)follower，和現(xiàn)存的leader連接并同步數(shù)據(jù)；

如果是leader節(jié)點(diǎn)故障，則需要重新選舉新的leader：
1）先比較每個節(jié)點(diǎn)的Epoch（參與選舉的次數(shù)），最大的直接當(dāng)選leader；

2）如果有Epoch相同的節(jié)點(diǎn)，則比較zxid(寫操作的事務(wù)ID)，由最大的zxid節(jié)點(diǎn)當(dāng)選leader；

3）如果有zxid相同的節(jié)點(diǎn)，則比較sid（等同于myid），由最大的sid節(jié)點(diǎn)當(dāng)選leader。

二、Zookeeper集群部署

#準(zhǔn)備 3 臺服務(wù)器做 Zookeeper 集群
192.168.2.100
192.168.2.102
192.168.2.103

2.1 安裝前準(zhǔn)備

#關(guān)閉防火墻
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

#安裝 JDK
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version

#下載安裝包
官方下載地址：https://archive.apache.org/dist/zookeeper/

cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz

2.2 安裝 Zookeeper

Step1 解壓代碼包

cd /opt
#解壓
tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz

mv apache-zookeeper-3.6.4-bin  /usr/local/zookeeper-3.6.4

Step2 修改配置文件

cd /usr/local/zookeeper-3.6.4/conf/
#配置模板
cp zoo_sample.cfg zoo.cfg

#修改配置文件
vim zoo.cfg

tickTime=2000   
#通信心跳時間，Zookeeper服務(wù)器與客戶端心跳時間，單位毫秒

initLimit=10    
#Leader和Follower初始連接時能容忍的最多心跳數(shù)（tickTime的數(shù)量），這里表示為10*2s

syncLimit=5     
#Leader和Follower之間同步通信的超時時間，這里表示如果超過5*2s，Leader認(rèn)為Follwer死掉，并從服務(wù)器列表中刪除Follwer

dataDir=/usr/local/zookeeper-3.6.4/data
#修改，指定保存Zookeeper中的數(shù)據(jù)的目錄，目錄需要單獨(dú)創(chuàng)建

dataLogDir=/usr/local/zookeeper-3.6.4/logs
#添加，指定存放日志的目錄，目錄需要單獨(dú)創(chuàng)建

clientPort=2181   #客戶端連接端口

#添加集群信息
server.1=192.168.2.100:3188:3288
server.2=192.168.2.102:3188:3288
server.3=192.168.2.103:3188:3288

#補(bǔ)充知識
server.A=B:C:D
-A是一個數(shù)字，表示這個是第幾號服務(wù)器。集群模式下需要在zoo.cfg中dataDir指定的目錄下創(chuàng)建一個文件myid，這個文件里面有一個數(shù)據(jù)就是A的值，Zookeeper啟動時讀取此文件，拿到里面的數(shù)據(jù)與zoo.cfg里面的配置信息比較從而判斷到底是哪個server。
-B是這個服務(wù)器的地址。
-C是這個服務(wù)器Follower與集群中的Leader服務(wù)器交換信息的端口。
-D是萬一集群中的Leader服務(wù)器掛了，需要一個端口來重新進(jìn)行選舉，選出一個新的Leader，而這個端口就是用來執(zhí)行選舉時服務(wù)器相互通信的端口。

Step3 創(chuàng)建相關(guān)目錄和文件

#拷貝配置好的 Zookeeper 配置文件到其他機(jī)器上
scp /usr/local/zookeeper-3.6.4/conf/zoo.cfg 192.168.2.102:/usr/local/zookeeper-3.6.4/conf/

scp /usr/local/zookeeper-3.6.4/conf/zoo.cfg 192.168.2.103:/usr/local/zookeeper-3.6.4/conf/

#在每個節(jié)點(diǎn)上創(chuàng)建數(shù)據(jù)目錄和日志目錄
mkdir /usr/local/zookeeper-3.6.4/data
mkdir /usr/local/zookeeper-3.6.4/logs

#在每個節(jié)點(diǎn)的dataDir指定的目錄下創(chuàng)建一個 myid 的文件
echo 1 > /usr/local/zookeeper-3.6.4/data/myid
echo 2 > /usr/local/zookeeper-3.6.4/data/myid
echo 3 > /usr/local/zookeeper-3.6.4/data/myid

Step4 編寫 Zookeeper 啟動腳本

#Zookeeper 啟動腳本
vim /etc/init.d/zookeeper
#!/bin/bash
#chkconfig: 2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.6.4'
case $1 in
start)
	echo "---------- zookeeper 啟動 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重啟 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 狀態(tài) ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

Step5 啟動ZK，查看狀態(tài)

#設(shè)置開機(jī)自啟
chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper

#分別啟動 Zookeeper
service zookeeper start

#查看當(dāng)前狀態(tài)
service zookeeper status

三、消息隊(duì)列

3.1 為什么要用消息隊(duì)列？

主要原因是由于在高并發(fā)環(huán)境下，同步請求來不及處理，請求往往會發(fā)生阻塞。

比如大量的請求并發(fā)訪問數(shù)據(jù)庫，導(dǎo)致行鎖表鎖，最后請求線程會堆積過多，從而觸發(fā) too many connection 錯誤，引發(fā)雪崩效應(yīng)。

使用消息隊(duì)列，通過異步處理請求，從而緩解系統(tǒng)的壓力。

3.2 中間件

中間件用于實(shí)現(xiàn)應(yīng)用解耦、異步處理。

web應(yīng)用型（代理服務(wù)器）：Nginx 、Haproxy 、Tomcat PHP

消息隊(duì)列型（MQ):Active MQ 、RabbitMQ 、RocketMQ 、Kafka

3.3 使用消息隊(duì)列的好處

1）應(yīng)用解耦
允許你獨(dú)立的擴(kuò)展或修改兩邊的處理過程，只要確保它們遵守同樣的接口約束。

2）可恢復(fù)性

消息隊(duì)列降低了進(jìn)程間的耦合度，所以即使一個處理消息的進(jìn)程掛掉，加入隊(duì)列中的消息仍然可以在系統(tǒng)恢復(fù)后被處理。

3）數(shù)據(jù)緩沖
有助于控制和優(yōu)化數(shù)據(jù)流經(jīng)過系統(tǒng)的速度，解決生產(chǎn)消息和消費(fèi)消息的處理速度不一致的情況。

4）靈活性 & 峰值處理能力
在訪問量劇增的情況下，應(yīng)用仍然需要繼續(xù)發(fā)揮作用，但是這樣的突發(fā)流量并不常見。

如果為以能處理這類峰值訪問為標(biāo)準(zhǔn)來投入資源隨時待命無疑是巨大的浪費(fèi)。

使用消息隊(duì)列能夠使關(guān)鍵組件頂住突發(fā)的訪問壓力，而不會因?yàn)橥话l(fā)的超負(fù)荷的請求而完全崩潰。

5）異步通信
很多時候，用戶不想也不需要立即處理消息。消息隊(duì)列提供了異步處理機(jī)制，允許用戶把一個消息放入隊(duì)列，但并不立即處理它。

想向隊(duì)列中放入多少消息就放多少，然后在需要的時候再去處理它們。

3.4 消息隊(duì)列的兩種模式

3.4.1 點(diǎn)對點(diǎn)模式

一對一，消費(fèi)者主動拉取數(shù)據(jù)，消費(fèi)者消費(fèi)消息后清除消息。

3.4.2 發(fā)布/訂閱模式

一對多，又叫觀察者模式。

數(shù)據(jù)生產(chǎn)后會推送給所有消費(fèi)者，消費(fèi)者消費(fèi)消息之后不會清除消息。

四、Kafka

4.1 簡介

Kafka 是一個分布式的基于發(fā)布/訂閱模式的消息隊(duì)列（MQ，Message Queue），主要應(yīng)用于大數(shù)據(jù)領(lǐng)域的實(shí)時計算以及日志收集。

4.2 特性

1）高吞吐量、低延遲
Kafka 每秒可以處理幾十萬條消息，它的延遲最低只有幾毫秒。

每個 topic 可以分多個 Partition，Consumer Group 對 Partition 進(jìn)行消費(fèi)操作，提高負(fù)載均衡能力和消費(fèi)能力。

2）可擴(kuò)展性
kafka 集群支持熱擴(kuò)展

3）持久性、可靠性
消息被持久化到本地磁盤，并且支持?jǐn)?shù)據(jù)備份防止數(shù)據(jù)丟失

4）容錯性
允許集群中節(jié)點(diǎn)失?。ǘ喔北厩闆r下，若副本數(shù)量為 n，則允許 n-1 個節(jié)點(diǎn)失?。?/p>

5）高并發(fā)
支持?jǐn)?shù)千個客戶端同時讀寫

4.3 Kafka系統(tǒng)架構(gòu)

4.3.1 核心組件

1）Broker
Kafka服務(wù)器節(jié)點(diǎn)。

一個集群由多個 broker 組成，一個 broker 可以容納多個 topic。

2）Consumer
消費(fèi)者可以從 broker 中拉取數(shù)據(jù)。

消費(fèi)者可以消費(fèi)多個 topic 中的數(shù)據(jù)。

3）Consumer Group（CG）

消費(fèi)者組是實(shí)際的消息訂閱者。

消費(fèi)者組由一個或者多個消費(fèi)者，且組內(nèi)成員不能重復(fù)消費(fèi)一個Partiton數(shù)據(jù)。

4）Producer

生產(chǎn)者即數(shù)據(jù)的發(fā)布者，該角色將消息 push 發(fā)布到 Kafka 的 topic 中。
broker 接收到生產(chǎn)者發(fā)送的消息后，broker 將該消息追加到當(dāng)前用于追加數(shù)據(jù)的 segment 文件中。
生產(chǎn)者發(fā)送的消息，存儲到一個 partition 中，生產(chǎn)者也可以指定數(shù)據(jù)存儲的 partition。

5）Topic
可以理解為一個隊(duì)列，生產(chǎn)者和消費(fèi)者面向的都是一個 topic。

6）Zookeeper

存儲kafka集群的元數(shù)據(jù)信息，生產(chǎn)者和消費(fèi)者的動作都需要zookeeper的管理和支持。

比如生產(chǎn)者推送數(shù)據(jù)到kafka集群需要先通過zk尋找到kafka服務(wù)器節(jié)點(diǎn)的位置，消費(fèi)者需要從zk獲取offset記錄的上一次消費(fèi)的位置再繼續(xù)向后消費(fèi)。

Producer ——> Topic消息隊(duì)列 ——> 一個或者多個Partition分區(qū) ——> 一個或者多個replica副本(Leader負(fù)責(zé)數(shù)據(jù)讀寫，follower只負(fù)責(zé)同步復(fù)制leader的數(shù)據(jù)) 

Consumer ——> offset偏移量(用于記錄消費(fèi)者上一次消費(fèi)的位置)

4.3.2 概念擴(kuò)展

1）Partition
一個 topic 可以分割為一個或多個 partition，每個 partition 是一個有序的隊(duì)列。

Kafka 只保證 partition 內(nèi)的記錄是有序的，而不保證 topic 中不同 partition 的順序。

每個 topic 至少有一個 partition，當(dāng)生產(chǎn)者產(chǎn)生數(shù)據(jù)的時候，會根據(jù)分配策略選擇分區(qū)，然后將消息追加到指定的分區(qū)的隊(duì)列末尾。

#Partation 數(shù)據(jù)路由規(guī)則：
1．指定了 patition，則直接使用；
2．未指定 patition 但指定 key（相當(dāng)于消息中某個屬性），通過對 key 的 value 進(jìn)行 hash 取模，選出一個 patition；
3．patition 和 key 都未指定，使用輪詢選出一個 patition。

每條消息都會有一個自增的編號，用于標(biāo)識消息的偏移量，標(biāo)識順序從 0 開始。

每個 partition 中的數(shù)據(jù)使用多個 segment 文件存儲。

如果 topic 有多個 partition，消費(fèi)數(shù)據(jù)時就不能保證數(shù)據(jù)的順序。
嚴(yán)格保證消息的消費(fèi)順序的場景下（例如商品秒殺、 搶紅包），需要將 partition 數(shù)目設(shè)為 1。

broker 存儲 topic 的數(shù)據(jù)。如果某 topic 有 N 個 partition，集群有 N 個 broker，那么每個 broker 存儲該 topic 的一個 partition。

如果某 topic 有 N 個 partition，集群有 (N+M) 個 broker，那么其中有 N 個 broker 存儲 topic 的一個 partition， 剩下的 M 個 broker 不存儲該 topic 的 partition 數(shù)據(jù)。

如果某 topic 有 N 個 partition，集群中 broker 數(shù)目少于 N 個，那么一個 broker 存儲該 topic 的一個或多個 partition。
在實(shí)際生產(chǎn)環(huán)境中，盡量避免這種情況的發(fā)生，這種情況容易導(dǎo)致 Kafka 集群數(shù)據(jù)不均衡。

#分區(qū)的原因
方便在集群中擴(kuò)展，每個Partition可以通過調(diào)整以適應(yīng)它所在的機(jī)器，而一個topic又可以有多個Partition組成，因此整個集群就可以適應(yīng)任意大小的數(shù)據(jù)了；

可以提高并發(fā)，因?yàn)榭梢砸訮artition為單位讀寫了。

2）Replica
副本，為保證集群中的某個節(jié)點(diǎn)發(fā)生故障時，該節(jié)點(diǎn)上的 partition 數(shù)據(jù)不丟失，且 kafka 仍然能夠繼續(xù)工作，kafka 提供了副本機(jī)制。

一個 topic 的每個分區(qū)都有若干個副本，一個 leader 和若干個 follower。

3）Leader
每個 partition 有多個副本，其中有且僅有一個作為 Leader，Leader 是當(dāng)前負(fù)責(zé)數(shù)據(jù)的讀寫的 partition。

4）Follower
Follower 跟隨 Leader，所有寫請求都通過 Leader 路由，數(shù)據(jù)變更會廣播給所有 Follower，F(xiàn)ollower 與 Leader 保持?jǐn)?shù)據(jù)同步。

Follower 只負(fù)責(zé)備份，不負(fù)責(zé)數(shù)據(jù)的讀寫。

如果 Leader 故障，則從 Follower 中選舉出一個新的 Leader。

當(dāng) Follower 掛掉、卡住或者同步太慢，Leader 會把這個 Follower 從 ISR（Leader 維護(hù)的一個和 Leader 保持同步的 Follower 集合） 列表中刪除，重新創(chuàng)建一個 Follower。

5）offset 偏移量
可以唯一的標(biāo)識一條消息。
偏移量決定讀取數(shù)據(jù)的位置，不會有線程安全的問題，消費(fèi)者通過偏移量來決定下次讀取的消息（即消費(fèi)位置）。
消息被消費(fèi)之后，并不被馬上刪除，這樣多個業(yè)務(wù)就可以重復(fù)使用 Kafka 的消息。

某一個業(yè)務(wù)也可以通過修改偏移量達(dá)到重新讀取消息的目的，偏移量由用戶控制,消息最終還是會被刪除的，默認(rèn)生命周期為 1 周（7*24小時）。

4.4 怎么部署kafka?

1） 說明用的kafka版本，比如 我們公司用的2.6版本；

2）先部署zookeeper集群（奇數(shù)個節(jié)點(diǎn)的）

3）再在每個zk節(jié)點(diǎn)上部署kafka應(yīng)用。

如果是3.0版本，由于元信息儲存在本地，不需要zk，可以直接部署。

五、Kafka集群部署

Step1 下載Kafka軟件包

官方下載地址：http://kafka.apache.org/downloads.html

cd /opt
#下載
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.1/kafka_2.13-2.7.1.tgz

Step2 安裝Kafka

1.解壓軟件包

cd /opt/
#解壓
tar zxvf kafka_2.13-2.8.2.tgz

mv kafka_2.13-2.8.2/usr/local/kafka

2.修改配置文件

#備份
cd /usr/local/kafka/config/

cp server.properties{,.bak}

#修改配置文件
vim server.properties

broker.id=0 
#21行，broker的全局唯一編號，每個broker不能重復(fù)，因此要在其他機(jī)器上配置 broker.id=1、broker.id=2

listeners=PLAINTEXT://192.168.80.10:9092    
#31行，指定監(jiān)聽的IP和端口，如果修改每個broker的IP需區(qū)分開來，也可保持默認(rèn)配置不用修改

num.network.threads=3   
#42行，broker 處理網(wǎng)絡(luò)請求的線程數(shù)量，一般情況下不需要去修改

num.io.threads=8         
#45行，用來處理磁盤IO的線程數(shù)量，數(shù)值應(yīng)該大于硬盤數(shù)

socket.send.buffer.bytes=102400     #48行，發(fā)送套接字的緩沖區(qū)大小

socket.receive.buffer.bytes=102400 #51行，接收套接字的緩沖區(qū)大小

socket.request.max.bytes=104857600 #54行，請求套接字的緩沖區(qū)大小

log.dirs=/usr/local/kafka/logs     #60行，kafka運(yùn)行日志存放的路徑，也是數(shù)據(jù)存放的路徑

num.partitions=1    #65行，topic在當(dāng)前broker上的默認(rèn)分區(qū)個數(shù)，會被topic創(chuàng)建時的指定參數(shù)覆蓋

num.recovery.threads.per.data.dir=1 #69行，用來恢復(fù)和清理data下數(shù)據(jù)的線程數(shù)量

log.retention.hours=168    
#103行，segment文件（數(shù)據(jù)文件）保留的最長時間，單位為小時，默認(rèn)為7天，超時將被刪除

log.segment.bytes=1073741824    #110行，一個segment文件最大的大小，默認(rèn)為 1G，超出將新建一個新的segment文件

zookeeper.connect=192.168.2.100:2181,192.168.2.102:2181,192.168.2.103:2181   
#123行，配置連接Zookeeper集群地址

#傳輸配置文件并修改
scp server.properties 192.168.2.102:/usr/local/kafka/config/

scp server.properties 192.168.2.103:/usr/local/kafka/config/

3.修改環(huán)境變量

vim /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin


source /etc/profile

Step3 編寫啟動腳本，啟動kafka

#kafka啟動腳本
vim /etc/init.d/kafka

#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/usr/local/kafka'
case $1 in
start)
	echo "---------- Kafka 啟動 ------------"
	${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
	echo "---------- Kafka 停止 ------------"
	${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
	$0 stop
	$0 start
;;
status)
	echo "---------- Kafka 狀態(tài) ------------"
	count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
	if [ "$count" -eq 0 ];then
        echo "kafka is not running"
    else
        echo "kafka is running"
    fi
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

#設(shè)置開機(jī)自啟
chmod +x /etc/init.d/kafka
chkconfig --add kafka

#分別啟動 Kafka
service kafka start

六、搭建Filebeat+Kafka+ELK架構(gòu)

6.1 部署 Zookeeper+Kafka 集群

詳見上文 Zookeeper集群部署和Kafka集群部署

6.2 部署 Filebeat

1.前置準(zhǔn)備

#修改主機(jī)名
hostnamectl set-hostname filebeat 
#關(guān)閉防火墻和selinux
systemctl disable firewalld --now
setenforce 0

2.安裝filebeat

cd /opt
#解壓
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz

mv filebeat-6.7.2 -linux-x86_64 /usr/local/filebeat

3.修改配置文件

cd /usr/local/filebeat

vim filebeat.yml

filebeat.input:
- type: log
  enabled: true
  paths:
    - /var/log/httpd/access_log
  tags: ["access"]
  
- type: log
  enabled: true
  paths:
    - /var/log/httpd/error_log
  tags: ["error"]
  
......
#添加輸出到 Kafka 的配置
output.kafka:
  enabled: true
  hosts: ["192.168.2.100:9092","192.168.2.102:9092","192.168.2.103:9092"]    #指定 Kafka 集群配置
  topic: "httpd"    #指定 Kafka 的 topic

4.啟動filebeat

#啟動 filebeat
./filebeat -e -c filebeat.yml

6.3 部署ELK

詳見我的【ELK 使用指南 1】

6.4 在 Logstash 組件所在節(jié)點(diǎn)上新建一個 Logstash 配置文件

#切換到配置文件子目錄
cd /etc/logstash/conf.d/

#新建配置文件
vim kafka.conf

input {
    kafka {
        bootstrap_servers => "192.168.2.100:9092,192.168.2.102:9092,192.168.2.103:9092"  #kafka集群地址
        topics  => "httpd"     #拉取的kafka的指定topic
        type => "httpd_kafka"  #指定 type 字段
        codec => "json"        #解析json格式的日志數(shù)據(jù)
        auto_offset_reset => "latest"  #拉取最近數(shù)據(jù)，earliest為從頭開始拉取
        decorate_events => true   #傳遞給elasticsearch的數(shù)據(jù)額外增加kafka的屬性數(shù)據(jù)
    }
}

output {
  if "access" in [tags] {
    elasticsearch {
      hosts => ["192.168.2.100:9200"]
      index => "httpd_access-%{+YYYY.MM.dd}"
    }
  }
  
  if "error" in [tags] {
    elasticsearch {
      hosts => ["192.168.2.100:9200"]
      index => "httpd_error-%{+YYYY.MM.dd}"
    }
  }
  
  stdout { codec => rubydebug }
}

#啟動 logstash
logstash -f kafka.conf

6.5 效果測試

瀏覽器訪問 
http://192.168.2.100:5601 

登錄 Kibana

單擊“Create Index Pattern”按鈕
添加索引“httpd_access-*”
單擊 “create” 按鈕創(chuàng)建

單擊“Create Index Pattern”按鈕
添加索引“httpd_error-*”
單擊 “create” 按鈕創(chuàng)建

單擊 “Discover” 按鈕可查看圖表信息及日志信息。

文章來源地址http://www.zghlxwxcb.cn/news/detail-715310.html

到了這里，關(guān)于【ELK 使用指南 3】Zookeeper、Kafka集群與Filebeat+Kafka+ELK架構(gòu)（附部署實(shí)例）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！