一、Filebeat是什么
輕量型日志采集器
無論您是從安全設(shè)備、云、容器、主機(jī)還是 OT 進(jìn)行數(shù)據(jù)收集,F(xiàn)ilebeat 都將為您提供一種輕量型方法,用于轉(zhuǎn)發(fā)和匯總?cè)罩九c文件,讓簡單的事情不再繁雜。
Filebeat 隨附可觀測性和安全數(shù)據(jù)源模塊,這些模塊簡化了常見格式的日志的收集、解析和可視化過程,只需一條命令即可。之所以能實(shí)現(xiàn)這一點(diǎn),是因?yàn)樗鼘⒆詣幽J(rèn)路徑(因操作系統(tǒng)而異)與 Elasticsearch 采集節(jié)點(diǎn)管道的定義和 Kibana 儀表板組合在一起。不僅如此,F(xiàn)ilebeat 的一些模塊還隨附了預(yù)配置的 Machine Learning 作業(yè)。
Filebeat工作的流程圖如下:
二、Filebeat 下載&安裝
2.1 下載&安裝
Filebeat下載地址:https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.4-linux-x86_64.tar.gz
下載后,解壓tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz
[root@nb002 tools]# ls
elasticsearch-7.17.4-x86_64.rpm logstash-7.17.4-linux-x86_64.tar.gz
filebeat-7.17.4-linux-x86_64.tar.gz kibana-7.17.4-linux-x86_64.tar.gz
[root@nb002 tools]# tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz
filebeat-7.17.4-linux-x86_64/filebeat.reference.yml
filebeat-7.17.4-linux-x86_64/filebeat.yml
filebeat-7.17.4-linux-x86_64/LICENSE.txt
filebeat-7.17.4-linux-x86_64/.build_hash.txt
filebeat-7.17.4-linux-x86_64/module/
filebeat-7.17.4-linux-x86_64/module/activemq/
filebeat-7.17.4-linux-x86_64/module/activemq/audit/
filebeat-7.17.4-linux-x86_64/module/activemq/audit/config/
……………省略一堆balabala…………………
filebeat-7.17.4-linux-x86_64/kibana/7/visualization/number-of-kafka-stracktraces-by-class-ecs.json
filebeat-7.17.4-linux-x86_64/filebeat
filebeat-7.17.4-linux-x86_64/NOTICE.txt
filebeat-7.17.4-linux-x86_64/fields.yml
解壓后,目錄如下:
[root@nb002 filebeat-7.17.4]# ll
總用量 136408
-rw-r--r-- 1 root root 3780088 5月 19 00:46 fields.yml
-rwxr-xr-x 1 root root 133695232 5月 19 00:51 filebeat
-rw-r--r-- 1 root root 170451 5月 19 00:46 filebeat.reference.yml
-rw------- 1 root root 8348 5月 19 00:46 filebeat.yml
drwxr-xr-x 3 root root 15 5月 19 00:46 kibana
-rw-r--r-- 1 root root 13675 5月 18 23:28 LICENSE.txt
drwxr-xr-x 76 root root 4096 5月 19 00:46 module
drwxr-xr-x 2 root root 4096 5月 19 00:46 modules.d
-rw-r--r-- 1 root root 1987715 5月 18 23:28 NOTICE.txt
-rw-r--r-- 1 root root 814 5月 19 00:51 README.md
2.2 service方式啟動
vim /usr/lib/systemd/system/filebeat.service :也就是在/usr/lib/systemd/system/下新建filebeat.service輸入以下內(nèi)容:
注意ExecStart的路徑哈。文章來源:http://www.zghlxwxcb.cn/news/detail-788449.html
[Unit]
Description=Filebeat sends log files to Logstash or directly to Elasticsearch
Wants=network-online.target
After=network-online.target
[Service]
ExecStart=/data/filebeat-7.17.4/filebeat -c /data/filebeat-7.17.4/filebeat.yml
Restart=always
[Install]
WantedBy=multi-user.target
啟動方式為:文章來源地址http://www.zghlxwxcb.cn/news/detail-788449.html
systemctl daemon-reload
systemctl start filebeat
三、Filebeat 實(shí)時讀取一個日志文件,輸出到屏幕
3.1 修改filebeat的配置文件filebeat.yml
filebeat.inputs:
- type: filestream
id: nginx-access-log
enabled: true
paths:
# 表示去/tmp下讀取所有.log文件
- /tmp/*.log
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
# output to console
output
到了這里,關(guān)于ELK之Filebeat安裝配置及日志抓取的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!