目錄

一.ELK概述

1.定義

（1）ElasticSearch

（2）Kiabana

（3）Logstash

（4）Filebeat

2.filebeat結(jié)合logstash帶來(lái)好處

3.為什么要是用ELK？

4.完整日志系統(tǒng)基本特征

5.ELK 的工作原理

二.部署ELK

1.環(huán)境配置

2.ELK集群部署（node1、node2）

3.部署 Elasticsearch 軟件

4.安裝Elasticsearch-head 插件

（1）編譯安裝 node，這邊只演示node1上，node2上的操作相同

（2）#安裝 phantomjs

（3）安裝 Elasticsearch-head 數(shù)據(jù)可視化工具

（4）修改 Elasticsearch 主配置文件(這邊展示node1的，node2與之相同)

（5）啟動(dòng) elasticsearch-head 服務(wù)

（6）瀏覽器訪問(wèn)：http://192.168.10.27:9100/

（7）插入索引

5.ELK Logstash 部署（在 Apache 節(jié)點(diǎn)上操作）

6.測(cè)試 Logstash（Apache）與elasticsearch（node）功能是否正常，做對(duì)接

7.定義logstash配置文件

8.ELK Kiabana 部署（在 Node1 節(jié)點(diǎn)上操作）

9.創(chuàng)建 apache 的 access 和 error 日志索引

一.ELK概述

1.定義

ELK平臺(tái)是一套完整的日志集中處理解決方案，將 ElasticSearch、Logstash 和 Kiabana 三個(gè)開(kāi)源工具配合使用， 完成更強(qiáng)大的用戶對(duì)日志的查詢、排序、統(tǒng)計(jì)需求。

（1）ElasticSearch

ElasticSearch：是基于Lucene（一個(gè)全文檢索引擎的架構(gòu)）開(kāi)發(fā)的分布式存儲(chǔ)檢索引擎，用來(lái)存儲(chǔ)各類日志。
Elasticsearch 是用 Java 開(kāi)發(fā)的，可通過(guò) RESTful Web 接口，讓用戶可以通過(guò)瀏覽器與 Elasticsearch 通信。

Elasticsearch是一個(gè)實(shí)時(shí)的、分布式的可擴(kuò)展的搜索引擎，允許進(jìn)行全文、結(jié)構(gòu)化搜索，它通常用于索引和搜索大容量的日志數(shù)據(jù)，也可用于搜索許多不同類型的文檔。
1秒

（2）Kiabana

Kiabana：Kibana 通常與 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一個(gè)功能強(qiáng)大的數(shù)據(jù)可視化 Dashboard，Kibana 提供圖形化的 web 界面來(lái)瀏覽 Elasticsearch 日志數(shù)據(jù)，可以用來(lái)匯總、分析和搜索重要數(shù)據(jù)。

（3）Logstash

Logstash：作為數(shù)據(jù)收集引擎。它支持動(dòng)態(tài)的從各種數(shù)據(jù)源搜集數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行過(guò)濾、分析、豐富、統(tǒng)一格式等操作，然后存儲(chǔ)到用戶指定的位置,一般會(huì)發(fā)送給 Elasticsearch。
Logstash 由 Ruby 語(yǔ)言編寫，運(yùn)行在 Java 虛擬機(jī)（JVM）上，是一款強(qiáng)大的數(shù)據(jù)處理工具， 可以實(shí)現(xiàn)數(shù)據(jù)傳輸、格式處理、格式化輸出。Logstash 具有強(qiáng)大的插件功能，常用于日志處理。

• input：設(shè)置數(shù)據(jù)來(lái)源。
• filter：可以對(duì)數(shù)據(jù)進(jìn)行加工處理過(guò)濾，可以做復(fù)雜的處理邏輯。這個(gè)步驟不是必須的。
• output：設(shè)置輸出目標(biāo),如elasticSearch等

（4）Filebeat

Filebeat 是一款輕量級(jí)的開(kāi)源日志文件數(shù)據(jù)搜索器。通常在需要采集數(shù)據(jù)的客戶端安裝 Filebeat，并指定目錄與日志格式，F(xiàn)ilebeat 就能快速收集數(shù)據(jù)，并發(fā)送給 Logstash 進(jìn)行解析，或是直接發(fā)給 ES 存儲(chǔ)，性能上相比運(yùn)行于 JVM 上的 Logstash 優(yōu)勢(shì)明顯，是對(duì)它的替代。

2.filebeat結(jié)合logstash帶來(lái)好處

（1）通過(guò)logstash具有基于磁盤的 自適應(yīng)緩沖系統(tǒng)，該系統(tǒng)將吸收傳入的吞吐量，從而減輕elasticsearch持續(xù)寫入數(shù)據(jù)的壓力。
（2）從其他數(shù)據(jù)源（列如數(shù)據(jù)庫(kù)，S3對(duì)象存儲(chǔ)或消息傳遞隊(duì)列）或?qū)懭胛募?br> （3）將數(shù)據(jù)發(fā)送到多個(gè)目的地，列如S3，HDFS (Hadoop分布式文件 系統(tǒng)) 或?qū)懭胛募?br> （4）使用條件數(shù)據(jù)流邏輯組成更復(fù)雜的處理管道
?

3.為什么要是用ELK？

• 日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開(kāi)發(fā)人員可以通過(guò)日志了解服務(wù)器軟硬件信息、檢查配置過(guò)程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷，性能安全性，從而及時(shí)采取措施糾正錯(cuò)誤。
• 往往單臺(tái)機(jī)器的日志我們使用grep、awk等工具就能基本實(shí)現(xiàn)簡(jiǎn)單分析，但是當(dāng)日志被分散的儲(chǔ)存不同的設(shè)備上。如果你管理數(shù)十上百臺(tái)服務(wù)器，你還在使用依次登錄每臺(tái)機(jī)器的傳統(tǒng)方法查閱日志。這樣是不是感覺(jué)很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理，例如：開(kāi)源的syslog，將所有服務(wù)器上的日志收集匯總。集中化管理日志后，日志的統(tǒng)計(jì)和檢索又成為一件比較麻煩的事情，一般我們使用 grep、awk和wc等Linux命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì)，但是對(duì)于要求更高的查詢、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。
• 一般大型系統(tǒng)是一個(gè)分布式部署的架構(gòu)，不同的服務(wù)模塊部署在不同的服務(wù)器上，問(wèn)題出現(xiàn)時(shí)，大部分情況需要根據(jù)問(wèn)題暴露的關(guān)鍵信息，定位到具體的服務(wù)器和服務(wù)模塊，構(gòu)建一套集中式日志系統(tǒng)，可以提高定位問(wèn)題的效率。

4.完整日志系統(tǒng)基本特征

（1）收集：能夠采集多種來(lái)源的日志數(shù)據(jù)
（2）傳輸：能夠穩(wěn)定的把日志數(shù)據(jù)解析過(guò)濾并傳輸?shù)酱鎯?chǔ)系統(tǒng)
（3）存儲(chǔ)：存儲(chǔ)日志數(shù)據(jù)
（4）分析：支持 UI 分析
（5）警告：能夠提供錯(cuò)誤報(bào)告，監(jiān)控機(jī)制

5.ELK 的工作原理

（1）AppServer 是一個(gè)類似于 Nginx、Apache 的集群，其日志信息由 Logstash 來(lái)收集
（2）往往為了減少網(wǎng)絡(luò)問(wèn)題所帶來(lái)的瓶頸，會(huì)把 Logstash 服務(wù)放入前者的集群內(nèi)，減少網(wǎng)絡(luò)的消耗
（3）Logstash 把收集到的日志數(shù)據(jù)格式化后輸出轉(zhuǎn)存至 ES 數(shù)據(jù)庫(kù)內(nèi)（這是一個(gè)將日志進(jìn)行集中化管理的過(guò)程）
（4）隨后，Kibana 對(duì) ES 數(shù)據(jù)庫(kù)內(nèi)格式化后日志數(shù)據(jù)信息進(jìn)行索引和存儲(chǔ)
（5）最后，Kibana 把其展示給客戶端

總結(jié)：logstash作為日志搜集器，從數(shù)據(jù)源采集數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，格式化處理，然后交由Elasticsearch存儲(chǔ)，kibana對(duì)日志進(jìn)行可視化處理。

二.部署ELK

1.環(huán)境配置

1、配置ELK日志分析集群
2、使用Logstash收集日志
3、使用Kibana查看分析日志

2.ELK集群部署（node1、node2）

#更改主機(jī)名 
Node1節(jié)點(diǎn)：hostnamectl set-hostname node1
Node2節(jié)點(diǎn)：hostnamectl set-hostname node2

#配置域名解析
vim /etc/hosts
192.168.227.101   node1
192.168.227.102   node2

#查看Java環(huán)境，如果沒(méi)有安裝，yum -y install java
java -version	

3.部署 Elasticsearch 軟件

（1）#上傳elasticsearch-5.5.0.rpm到/opt目錄下
cd /opt
rpm -ivh elasticsearch-5.5.0.rpm 

（2）#加載系統(tǒng)服務(wù)
systemctl daemon-reload    
systemctl enable elasticsearch.service

（3）#修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注釋，指定集群名字
cluster.name: my-elk-cluster
--23--取消注釋，指定節(jié)點(diǎn)名字：Node1節(jié)點(diǎn)為node1，Node2節(jié)點(diǎn)為node2
node.name: node1
--33--取消注釋，指定數(shù)據(jù)存放路徑
path.data: /data/elk_data
--37--取消注釋，指定日志存放路徑
path.logs: /var/log/elasticsearch/
--43--取消注釋，改為在啟動(dòng)的時(shí)候不鎖定內(nèi)存
bootstrap.memory_lock: false
--55--取消注釋，設(shè)置監(jiān)聽(tīng)地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注釋，ES 服務(wù)的默認(rèn)監(jiān)聽(tīng)端口為9200
http.port: 9200
--68--取消注釋，集群發(fā)現(xiàn)通過(guò)單播實(shí)現(xiàn)，指定要發(fā)現(xiàn)的節(jié)點(diǎn) node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

#查看主配置文件
grep -v "^#" /etc/elasticsearch/elasticsearch.yml

#將node1的配置文件拷貝一份在node2上并去node2上修改
scp /etc/elasticsearch/elasticsearch.yml node2:/etc/elasticsearch/
vim /etc/elasticsearch/elasticsearch.yml
--23--取消注釋，指定節(jié)點(diǎn)名字：Node1節(jié)點(diǎn)為node1，Node2節(jié)點(diǎn)為node2
node.name: node2

（4）#創(chuàng)建數(shù)據(jù)存放路徑并授權(quán)
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

（5）#啟動(dòng)elasticsearch是否成功開(kāi)啟
systemctl start elasticsearch.service
netstat -antp | grep 9200

（6）#查看節(jié)點(diǎn)信息
瀏覽器訪問(wèn) ，查看節(jié)點(diǎn) Node1、Node2 的信息
http://192.168.227.101:9200  http://192.168.227.102:9200 

#原諒色：green
http://192.168.227.101:9200/_cluster/health?pretty
http://192.168.227.102:9200/_cluster/health?pretty
#######  使用以上方式查看狀態(tài)并不友好，可以通過(guò) elasticsearch-head插件來(lái)直接管理  #####

4.安裝Elasticsearch-head 插件

• Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作為獨(dú)立服務(wù)進(jìn)行安裝，需要使用npm工具（NodeJS的包管理工具）安裝。

安裝 Elasticsearch-head 需要提前安裝好依賴軟件 node 和 phantomjs。

• node：是一個(gè)基于 Chrome V8 引擎的 JavaScript 運(yùn)行環(huán)境。
• phantomjs：是一個(gè)基于 webkit 的JavaScriptAPI，可以理解為一個(gè)隱形的瀏覽器，任何基于 webkit 瀏覽器做的事情，它都可以做到。

（1）#編譯安裝 node
#上傳軟件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y

cd /opt
tar zxf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure
make -j2 && make install

（2）#安裝 phantomjs
#上傳軟件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

（3）#安裝 Elasticsearch-head 數(shù)據(jù)可視化工具
#上傳軟件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

（4）#修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下內(nèi)容--
http.cors.enabled: true				#開(kāi)啟跨域訪問(wèn)支持，默認(rèn)為 false
http.cors.allow-origin: "*"			#指定跨域訪問(wèn)允許的域名地址為所有

systemctl restart elasticsearch

（5）#啟動(dòng) elasticsearch-head 服務(wù)
#必須在解壓后的 elasticsearch-head 目錄下啟動(dòng)服務(wù)，進(jìn)程會(huì)讀取該目錄下的 gruntfile.js 文件，否則可能啟動(dòng)失敗。
cd /usr/local/src/elasticsearch-head/
npm run start &

> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

#elasticsearch-head 監(jiān)聽(tīng)的端口是 9100
netstat -natp |grep 9100

（6）#通過(guò) Elasticsearch-head 查看 Elasticsearch 信息通過(guò)瀏覽器訪問(wèn) http://192.168.227.101:9100/ 地址并連接群集。如果看到群集健康值為 green 綠色，代表群集很健康。訪問(wèn)有問(wèn)題 可以將localhost 改成ip地址
（7）#插入索引
##登錄192.168.227.101 node1主機(jī)#####  索引為index-demo,類型為test,可以看到成功創(chuàng)建
[root@node1 ~]# curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"wsk","mesg":"hello ky35"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

####在192.168.227.100  刷新瀏覽器輸入看索引信息###
node1信息動(dòng)作 01234 
node2信息動(dòng)作 01234 
●上面圖可以看見(jiàn)索引默認(rèn)被分片5個(gè)，并且有一個(gè)副本

點(diǎn)擊數(shù)據(jù)瀏覽--會(huì)發(fā)現(xiàn)在node1上創(chuàng)建的索引為index-demo,類型為test, 相關(guān)的信息

（1）編譯安裝 node，這邊只演示node1上，node2上的操作相同

（2）#安裝 phantomjs

（3）安裝 Elasticsearch-head 數(shù)據(jù)可視化工具

（4）修改 Elasticsearch 主配置文件(這邊展示node1的，node2與之相同)

（5）啟動(dòng) elasticsearch-head 服務(wù)

（6）瀏覽器訪問(wèn)：http://192.168.10.27:9100/

（7）插入索引

5.ELK Logstash 部署（在 Apache 節(jié)點(diǎn)上操作）

（1）#修改主機(jī)名
hostnamectl set-hostname apache
su -

（2）#安裝httpd并啟動(dòng)
yum -y install httpd
systemctl start httpd

（3）#安裝java環(huán)境
yum -y install java
java -version

（4）#安裝logstash
cd /opt
rpm -ivh logstash-5.5.1.rpm                           
systemctl start logstash.service                     
systemctl enable logstash.service
cd /usr/share/logstash/
ls
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

6.測(cè)試 Logstash（Apache）與elasticsearch（node）功能是否正常，做對(duì)接

Logstash這個(gè)命令測(cè)試
字段描述解釋：
●	-f  通過(guò)這個(gè)選項(xiàng)可以指定logstash的配置文件，根據(jù)配置文件配置logstash
●	-e  后面跟著字符串 該字符串可以被當(dāng)做logstash的配置（如果是“空”則默認(rèn)使用stdin做為輸入、stdout作為輸出）
●	-t  測(cè)試配置文件是否正確，然后退出

logstash -f  配置文件名字      去連接elasticsearch  

（1）#輸入采用標(biāo)準(zhǔn)輸入 輸出采用標(biāo)準(zhǔn)輸出---登錄192.168.227.101  在Apache服務(wù)器上
logstash -e 'input { stdin{} } output { stdout{} }'

16:45:21.422 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
16:45:21.645 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com   ##需要手動(dòng)輸入
2021-12-16T08:46:14.041Z apache www.baidu.com
www.sina.com     ##需要手動(dòng)輸入
2021-12-16T08:46:23.548Z apache www.sina.com


（2）#使用 rubydebug 輸出詳細(xì)格式顯示，codec 為一種編解碼器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

16:51:13.127 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
16:51:13.174 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
16:51:13.205 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com  ##需要手動(dòng)輸入
{
    "@timestamp" => 2021-12-16T08:52:22.528Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}

（3）##使用logstash將信息寫入elasticsearch中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.227.101:9200"] } }'

7.定義logstash配置文件

Logstash 配置文件基本由三部分組成：input、output 以及 filter（可選，根據(jù)需要選擇使用）。

(1)#給日志目錄可讀權(quán)限
chmod o+r /var/log/messages					#讓 Logstash 可以讀取日志
（2）#修改 Logstash 配置文件，讓其收集系統(tǒng)日志/var/log/messages，并將其輸出到 elasticsearch 中。
vim /etc/logstash/conf.d/system.conf

input {
    file{
        path =>"/var/log/messages"						#指定要收集的日志的位置
        type =>"system"									#自定義日志類型標(biāo)識(shí)
        start_position =>"beginning"					#表示從開(kāi)始處收集
    }
}
output {
    elasticsearch {										#輸出到 elasticsearch
        hosts => ["192.168.227.101:9200"]	#指定 elasticsearch 服務(wù)器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"		#指定輸出到 elasticsearch 的索引格式
    }
}

（4）#重啟服務(wù)
systemctl restart logstash

(5)#登錄192.168.227.101 真機(jī)
打開(kāi)瀏覽器 輸入http://192.168.227.101:9100/ 查看索引信息###

多出 system-xxxx

8.ELK Kiabana 部署（在 Node1 節(jié)點(diǎn)上操作）

（1）#安裝 Kiabana
#上傳軟件包 kibana-5.5.1-x86_64.rpm 到/opt目錄
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

（2）#設(shè)置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注釋，Kiabana 服務(wù)的默認(rèn)監(jiān)聽(tīng)端口為5601
server.port: 5601
--7--取消注釋，設(shè)置 Kiabana 的監(jiān)聽(tīng)地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注釋，設(shè)置和 Elasticsearch 建立連接的地址和端口
elasticsearch.url: "http://192.168.227.101:9200" 
--30--取消注釋，設(shè)置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

（3）#啟動(dòng) Kibana 服務(wù)
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601

（4）#驗(yàn)證 Kibana
瀏覽器訪問(wèn) http://192.168.227.101:5601

第一次登錄需要添加一個(gè) Elasticsearch 索引：
Index name or pattern
//輸入：system-*			#在索引名中輸入之前配置的 Output 前綴“system”
單擊 “create” 按鈕創(chuàng)建，單擊 “Discover” 按鈕可查看圖表信息及日志信息。
數(shù)據(jù)展示可以分類顯示，在“Available Fields”中的“host”，然后單擊 “add”按鈕，可以看到按照“host”篩選后的結(jié)果

（5）#將 Apache 服務(wù)器的日志（訪問(wèn)的、錯(cuò)誤的）添加到 Elasticsearch 并通過(guò) Kibana 顯示
vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.227.101:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
        if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.227.101:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

6.#瀏覽器訪問(wèn)http://192.168.227.101:9100/測(cè)試，查看索引信息能發(fā)現(xiàn)
apache_error-2019.04.16     apache_access-2019.04.16 

#瀏覽器訪問(wèn)http://192.168.227.101:5601
點(diǎn)擊左下角有個(gè)management選項(xiàng)---index  patterns---create index pattern
----分別創(chuàng)建apache_error-*   和     apache_access-* 的索引   

9.創(chuàng)建 apache 的 access 和 error 日志索引

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-855544.html

到了這里，關(guān)于ELK企業(yè)級(jí)日志分析系統(tǒng)（elasticsearch+logstash+kibana）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！