??概述
對(duì)于日志監(jiān)控業(yè)界常用的有ELK、Loki、Graylog等系統(tǒng)，最近在做技術(shù)選型時(shí)，對(duì)比了各個(gè)系統(tǒng)的情況，Graylog的一體化方案很符合現(xiàn)有需求。Graylog算是輕量級(jí)的ELK，也有很多企業(yè)在使用Graylog查看日志和監(jiān)控業(yè)務(wù)日志。Graylog中文資料相對(duì)較少，在技術(shù)選型和開發(fā)過(guò)程中對(duì)資料進(jìn)行整理。Graylog包含了告警、歸檔（商業(yè)版）、面板、日志查看、Rest API、組管理等功能。本文主要介紹Graylog的相關(guān)組件和基本流程。
官方：https://docs.graylog.org/
??Graylog簡(jiǎn)介
Graylog 開源版官網(wǎng)： https://www.graylog.org/
Graylog 是一個(gè)開源的日志聚合、分析、審計(jì)、展現(xiàn)和預(yù)警工具。
在功能上來(lái)說(shuō)，和 ELK 類似，但又比 ELK 要簡(jiǎn)單很多。依靠著更加簡(jiǎn)潔，高效，部署使用簡(jiǎn)單的優(yōu)勢(shì)很快受到許多人的青睞。
當(dāng)然，在擴(kuò)展性上面確實(shí)沒(méi)有比 ELK 好，但是其有商業(yè)版本可以選擇。
??Graylog-工作流程
部署 graylog 最簡(jiǎn)單的架構(gòu)就是單機(jī)部署，復(fù)雜的也是部署集群模式，架構(gòu)圖示如下所示。我們可以看到其中包含了三個(gè)組件，分別是 Elasticsearch、MongoDb 和 Graylog。
其中，Elasticsearch 用來(lái)持久化存儲(chǔ)和檢索日志文件數(shù)據(jù)(IO 密集)，MongoDb 用來(lái)存儲(chǔ)關(guān)于 Graylog 的相關(guān)配置信息，而 Graylog 來(lái)提供 Web 界面和對(duì)外接口(CPU 密集)。
數(shù)據(jù)處理流程：
日志消息通過(guò)各種Input輸入到Graylog中進(jìn)行處理；
可以通過(guò)Extractors進(jìn)行正則、Json等形式解析；
通過(guò)Streams進(jìn)行規(guī)則匹配分流，對(duì)Stream可以配置Pipeline進(jìn)行數(shù)據(jù)過(guò)濾，最終數(shù)據(jù)會(huì)到到不同的index中；
根據(jù)新建index時(shí)配置的策略，在elasticsearch的索引中；
告警（Alert）基于Stream進(jìn)行設(shè)置。
開始正式安裝
官方安裝文檔https://docs.graylog.org/v1/docs/centos.
初始配置
- 關(guān)閉防火墻
systemctl stop firewalld
systemctl disable firewalld
- 關(guān)閉selinux
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
-
安裝jdk
注意：安裝Graylog 5.0 可以跳過(guò)此步驟，OpenJDK 17嵌入在 Graylog 5.0 中，不需要單獨(dú)安裝
sudo yum -y install java-1.8.0-openjdk-headless.x86_64
- 安裝epel-release
sudo yum -y install epel-release
- 安裝pwgen
sudo yum -y install pwgen
安裝重要組件
安裝MongoDB
Graylog 5.0與MongoDB 5.x-6.x兼容
配置MongoDB YUM源
vim /etc/yum.repos.d/mongodb-org.repo
添加以下內(nèi)容
[mongodb-org-6.0]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/6.0/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-6.0.asc
安裝最新的MongoDB
sudo yum -y install mongodb-org
設(shè)置開機(jī)自啟、啟動(dòng)MongoDB
sudo systemctl daemon-reload
sudo systemctl enable mongod.service
sudo systemctl start mongod.service
sudo systemctl --type=service --state=active | grep mongod
安裝Elasticsearch
Elasticsearch 7.10.2是唯一與Graylog 5.0兼容的版本
首先，安裝 Elasticsearch GPG 密鑰：
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
配置Elasticsearch YUM源
vim /etc/yum.repos.d/elasticsearch.repo
添加以下內(nèi)容
[elasticsearch-7.10.2]
name=Elasticsearch repository for 7.10.2 packages
baseurl=https://artifacts.elastic.co/packages/oss-7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
安裝Elasticsearch 7.10.2版本
sudo yum -y install elasticsearch-oss
安裝完畢需要修改Elasticsearch 7.10.2 配置文件
vim /etc/elasticsearch/elasticsearch.yml
在 elasticsearch.yml 文件末尾追加 內(nèi)容
cluster.name: graylog
action.auto_create_index: false
設(shè)置開機(jī)自啟、并啟動(dòng)Elasticsearch
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch.service
sudo systemctl restart elasticsearch.service
sudo systemctl --type=service --state=active | grep elasticsearch
安裝Graylog
sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-5.0-repository_latest.rpm
sudo yum install graylog-server
安裝完成后，首先生成password_secret密碼
牢記這個(gè)隨機(jī)生成的秘鑰，最好復(fù)制保存下來(lái)
pwgen -N 1 -s 96
以下是我隨機(jī)生成的，示例，不要使用
6Z06fZHU2DwuOf9X8fhnvphCd3OM7oqwLECRRcejvjpieSvVtwu08yHYHIKDi56bAxRvtCOZ3xKKiBqyt00XYCgVa0oETB0L
生成root_password_sha2 密碼
echo -n yourpassword | sha256sum
修改圖中yourpassword為你自己定義的密碼
牢記生成的密鑰
編輯Graylog配置文件
vim /etc/graylog/server/server.conf
修改以下幾項(xiàng)
#秘鑰
#上文中生成的兩串密鑰，填寫在參數(shù)后面即可
password_secret =
root_password_sha2 =
#時(shí)區(qū)
root_timezone = PRC
#elasticsearch相關(guān)設(shè)置
elasticsearch_hosts = http://127.0.0.1:9200
elasticsearch_shards =1
elasticsearch_replicas = 0
#數(shù)據(jù)庫(kù)連接設(shè)置
mongodb_uri = mongodb://localhost/graylog
#網(wǎng)絡(luò)相關(guān)設(shè)置
http_bind_address = 0.0.0.0:9000
設(shè)置開機(jī)自啟、并啟動(dòng)Graylog
sudo systemctl daemon-reload
sudo systemctl enable graylog-server.service
sudo systemctl start graylog-server.service
sudo systemctl --type=service --state=active | grep graylog
安裝結(jié)束
至此，安裝結(jié)束，接下來(lái)就是web界面的操作
收集交換機(jī)日志信息
瀏覽器輸入服務(wù)器IP地址登錄web界面
http://ip:9000
默認(rèn)管理員用戶名admin，密碼為root_password_sha2步驟配置設(shè)定的密碼
目前graylog沒(méi)有中文版，英文不好的使用edge打開，翻譯網(wǎng)頁(yè)
新增日志收集輸入任務(wù)
首先在“system"中勾選input
因?yàn)榫W(wǎng)絡(luò)設(shè)備的使用syslog協(xié)議傳輸日志，使用udp514，在Inputs中選擇“Syslog UDP"
完成后點(diǎn)擊launch new input進(jìn)行下一步編輯
說(shuō)明：
1、勾選global，代表全局，單服務(wù)器部署
2、bind address保持0.0.0.0默認(rèn)，代表收集任何ip地址的日志
3、port 為1514，一般網(wǎng)絡(luò)設(shè)備的 syslog默認(rèn)配置為514，完成iptables重定向到1514定向到514，linux特權(quán)端口問(wèn)題
iptables -t nat -A PREROUTING -p tcp --dport 514 -j REDIRECT --to 1514
iptables -t nat -A PREROUTING -p udp --dport 514 -j REDIRECT --to 1514
service iptables save
修改圖中標(biāo)注參數(shù)，其他保持默認(rèn)即可
完成配置后，啟動(dòng)input
網(wǎng)絡(luò)設(shè)備側(cè)進(jìn)行日志服務(wù)器配置
注意，此處有大坑
華為交換機(jī)向日志服務(wù)器發(fā)送日志默認(rèn)以UTC時(shí)間發(fā)送，會(huì)導(dǎo)致Graylog中收集的日志數(shù)據(jù)比實(shí)際的少8小時(shí)
所以交換機(jī)側(cè)進(jìn)行如下配置
info-center loghost x.x.x.x local-time
配置完畢回到Graylog界面，點(diǎn)擊show received message，即可看到收集的日志信息
卸載GrayLog服務(wù)
卸載graylog
systemctl stop graylog #停止服務(wù)
rpm -qa | grep graylog #顯示已安裝包
rpm -e --nodeps $(rpm -qa | grep graylog) #卸載包
rpm -qa | grep graylog #檢查卸載
rm -rf /etc/graylog/server/server.conf #刪除配置文件
find / -name graylog* #查詢殘余文件，有就刪除
卸載ES文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-411937.html
systemctl stop elasticsearch #停止服務(wù)
rpm -qa | grep elasticsearch #顯示已安裝包
rpm -e --nodeps $(rpm -qa | elasticsearch) #卸載包
rpm -qa | grep elasticsearch #檢查卸載
rm -rf /etc/elasticsearch/elasticsearch.yml #刪除配置文件
find / -name elasticsearch* #查詢殘余文件，有就刪除
卸載MONGODB文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-411937.html
systemctl stop mongod #停止服務(wù)
rpm -qa | grep mongod #顯示已安裝包
rpm -e --nodeps $(rpm -qa | mongod ) #卸載包
rpm -qa | grep mongod #檢查卸載
rm -rf /var/log/mongodb/mongod.log #刪除配置文件
find / -name mongo* #查詢殘余文件，有就刪除
到了這里，關(guān)于Centos7 安裝Graylog 5.0收集網(wǎng)絡(luò)設(shè)備運(yùn)行日志的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
