一、ELK 概述

1. 為什么要使用 ELK

??日志主要包括系統(tǒng)日志、應用程序日志和安全日志。系統(tǒng)遠維和開發(fā)人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發(fā)生的原因。經(jīng)常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。

??往往單臺機器的日志我們使用 grep、awk 等工具就能基本實現(xiàn)簡單分析，但是當日志被分散的儲存不同的設備上。如果你管理數(shù)十上百臺服務器，你還在使用依次登錄每臺機器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的 rsysiocg，將所有服務器上的日志收集匯總。集中化管理日志后，日志的統(tǒng)計和檢索又成為一件比較麻煩的事情，一般我們使用 grep、awk 和 wc 等Linux命令能實現(xiàn)檢索和統(tǒng)計，但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。

??一般大型系統(tǒng)是一個分布式部署的架構，不同的服務模塊部署在不同的服務器上，問題出現(xiàn)時，大部分情況需要根據(jù)問題暴露的關鍵信息，定位到具體的服務器和服務模塊，構建一套集中式日志系統(tǒng)，可以提高定位問題的效率。

??總結：服務器多的情況下很難去獲取日志，使用 rsyslog 或者 腳本查看也很麻煩，這個時候就需要使用 ELK。

2. 完整日志系統(tǒng)基本特征

• 收集：能夠采集多種來源的日志數(shù)據(jù)；
• 傳輸：能夠穩(wěn)定的把日志數(shù)據(jù)解析過濾并傳輸?shù)酱鎯ο到y(tǒng)；
• 存儲：存儲日志數(shù)據(jù)；
• 分析：支持UI分析；
• 警告：能夠提供錯誤報告，監(jiān)控機制。

3. ELK 簡介

??ELK平臺是一套完整的日志集中處理解決方案，將 ElasticSearch、Logstash 和 Kiabana 三個開源工具配合使用， 完成更強大的用戶對日志的查詢、排序、統(tǒng)計需求。

3.1 ElasticSearch（ES）

??ElasticSearch是基于Lucene（一個全文檢索引擎的架構）開發(fā)的分布式存儲檢索引擎，用來存儲各類日志。Elasticsearch 是用 Java 開發(fā)的，可通過 RESTful Web 接口，讓用戶可以通過瀏覽器與 Elasticsearch 通信。

??Elasticsearch是一個實時的、分布式的可擴展的搜索引擎，允許進行全文、結構化搜索，它通常用于索引和搜索大容量的日志數(shù)據(jù)，也可用于搜索許多不同類型的文檔。

??總結：Elasticsearch 類似于數(shù)據(jù)庫，存儲日志數(shù)據(jù)，內置搜索引擎用作日志全文檢索。

3.2 Kiabana

??Kibana 通常與 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一個功能強大的數(shù)據(jù)可視化 Dashboard，Kibana 提供圖形化的 web 界面來瀏覽 Elasticsearch 日志數(shù)據(jù)，可以用來匯總、分析和搜索重要數(shù)據(jù)。

??總結：Kibana對ES數(shù)據(jù)庫存儲的日志數(shù)據(jù)進行可視化一種工具。

3.3 Logstash

??Logstash作為數(shù)據(jù)收集引擎。它支持動態(tài)的從各種數(shù)據(jù)源搜集數(shù)據(jù)，并對數(shù)據(jù)進行過濾、分析、豐富、統(tǒng)一格式等操作，然后存儲到用戶指定的位置，一般會發(fā)送給 Elasticsearch。

??Logstash 由 Ruby 語言編寫，運行在 Java 虛擬機（JVM）上，是一款強大的數(shù)據(jù)處理工具， 可以實現(xiàn)數(shù)據(jù)傳輸、格式處理、格式化輸出。Logstash 具有強大的插件功能，常用于日志處理。

??總結：Logstash是一種日志處理工具，從數(shù)據(jù)庫收集數(shù)據(jù)，對日志數(shù)據(jù)進行過濾、格式化輸出等操作。

3.4 其它組件

Filebeat

??輕量級的開源日志文件數(shù)據(jù)搜集器。通常在需要采集數(shù)據(jù)的客戶端安裝 Filebeat，并指定目錄與日志格式，F(xiàn)ilebeat 就能快速收集數(shù)據(jù)，并發(fā)送給 logstash 進行解析，或是直接發(fā)給 Elasticsearch 存儲，性能上相比運行于 JVM 上的 logstash 優(yōu)勢明顯，是對它的替代。常應用于 EFLK 架構或者 ELFK 架構當中。

Filebeat 結合 Logstash 帶來好處

• 通過 Logstash 具有基于磁盤的自適應緩沖系統(tǒng)，該系統(tǒng)將吸收傳入的吞吐量，從而減輕 Elasticsearch 持續(xù)寫入數(shù)據(jù)的壓力；
• 從其他數(shù)據(jù)源（例如數(shù)據(jù)庫，S3對象存儲或消息傳遞隊列）中提?。?/li>
• 將數(shù)據(jù)發(fā)送到多個目的地，例如S3，HDFS（Hadoop分布式文件系統(tǒng)）或寫入文件；
• 使用條件數(shù)據(jù)流邏輯組成更復雜的處理管道。

總結：filebeat 是一款輕量級日志收集工具，可以和 logstash 結合使用從而減少 Elasticsearch 的寫入壓力。

緩存/消息隊列

??緩存/消息隊列（ redis、kafka、RabbitMQ 等）可以對高并發(fā)日志數(shù)據(jù)進行流量削峰和緩沖，這樣的緩沖可以一定程度的保護數(shù)據(jù)不丟失，還可以對整個架構進行應用解耦。

??總結：kafka作為消息隊列，實現(xiàn)流量削峰、緩沖。

Fluentd

??Fluentd是一個流行的開源數(shù)據(jù)收集器。由于 logstash 太重量級的缺點，Logstash 性能低、資源消耗比較多等問題，隨后就有 Fluentd 的出現(xiàn)。相比較 logstash，F(xiàn)luentd 更易用、資源消耗更少、性能更高，在數(shù)據(jù)處理上更高效可靠，受到企業(yè)歡迎，成為 logstash 的一種替代方案，常應用于 EFK 架構當中。在 Kubernetes 集群中也常使用 EFK 作為日志數(shù)據(jù)收集的方案。

??在 Kubernetes 集群中一般是通過 DaemonSet 來運行 Fluentd，以便它在每個 Kubernetes 工作節(jié)點上都可以運行一個 Pod。 它通過獲取容器日志文件、過濾和轉換日志數(shù)據(jù)，然后將數(shù)據(jù)傳遞到 Elasticsearch 集群，在該集群中對其進行索引和存儲。

??總結：fluentd工具用來日志收集和傳輸。

4. ELK 的工作原理

??（1）在所有需要收集日志的服務器上部署Logstash；或者先將日志進行集中化管理在日志服務器上，在日志服務器上部署 Logstash。

??（2）Logstash 收集日志，將日志格式化并輸出到 Elasticsearch 群集中。

??（3）Elasticsearch 對格式化后的數(shù)據(jù)進行索引和存儲。

??（4）Kibana 從 ES 群集中查詢數(shù)據(jù)生成圖表，并進行前端數(shù)據(jù)的展示。

??總結：logstash作為日志搜集器，從數(shù)據(jù)源采集數(shù)據(jù)，并對數(shù)據(jù)進行過濾，格式化處理，然后交由Elasticsearch存儲，kibana對日志進行可視化處理。

5. Linux 系統(tǒng)內核日志消息的優(yōu)先級別

數(shù)字等級越小，優(yōu)先級越高，消息越重要

二、 部署 ELK 集群服務器架構

1. 服務器設置

node1節(jié)點（2C/4G）：node1/192.168.145.15					Elasticsearch
node2節(jié)點（2C/4G）：node2/192.168.145.30					Elasticsearch
Apache節(jié)點：apache/192.168.145.45						Logstash  Kibana  Apache


systemctl stop firewalld
setenforce 0

文章來源地址http://www.zghlxwxcb.cn/news/detail-557344.html

2. ELK Elasticsearch 集群部署

2.1 環(huán)境準備

#設置Java環(huán)境

java -version										#如果沒有安裝，yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit

到了這里，關于【Distributed】分布式ELK日志文件分析系統(tǒng)（一）的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！