国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

通過Filebeat進(jìn)行日志監(jiān)控

這篇具有很好參考價(jià)值的文章主要介紹了通過Filebeat進(jìn)行日志監(jiān)控。希望對大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

對系統(tǒng)的日志監(jiān)控,通用做法是使用ELK(Elasticsearch、Logstash、Kibana)進(jìn)行監(jiān)控和搜索日志,這里給出另一種方案:通過Filebeat接收日志到Kafka,監(jiān)控平臺接收Kafka,并通過WebSocket實(shí)時(shí)展示。

這種方案還可以增加Metricbeat監(jiān)控機(jī)器指標(biāo)。另外,監(jiān)控平臺可以選擇其他方式展示日志,靈活性大。

這種方案適合對系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)控、以及對系統(tǒng)CPU、內(nèi)存進(jìn)行實(shí)時(shí)監(jiān)控的場景。

結(jié)構(gòu)圖:

通過Filebeat進(jìn)行日志監(jiān)控,日志監(jiān)控,filebeat,kafka,metricbeat,python

流程圖:

通過Filebeat進(jìn)行日志監(jiān)控,日志監(jiān)控,filebeat,kafka,metricbeat,python

數(shù)據(jù)收集

數(shù)據(jù)收集組件包括filebeat和metricbeat,尋找一個(gè)合適的本地文件夾進(jìn)行部署,無需su權(quán)限。

其中,filebeat用于日志收集和結(jié)構(gòu)化數(shù)據(jù)收集,metricbeat用于系統(tǒng)信息收集。

filebeat安裝與配置

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.16.2-linux-x86_64.tar.gz

tar zxf filebeat-7.16.2-linux-x86_64.tar.gz

cd filebeat-7.16.2-linux-x86_64

vi filebeat.yml

(用實(shí)際日志文件名替換{FILE_PATH},如:/data/logs/systemx/abcd.log)

filebeat.inputs:

- type: filestream

 enabled: true

 paths:

   - FILE_PATH

output.kafka:

    enabled: true

    hosts: ["kfk-01.example.com:9092","kfk-02.example.com:9092","kfk-03.example.com:9092"]

    topic: system_x_journal

啟動(dòng)filebeat

nohup ./filebeat -c filebeat-[STRATEGY_ID]-jnl.yml -path.data=$PWD/data_[STRATEGY_ID]_jnl/ > filebeat-[STRATEGY_ID]-jnl.log 2>&1 &

Or

nohup ./filebeat -c filebeat-[STRATEGY_ID]-stt.yml -path.data=$PWD/data-[STRATEGY_ID]-stt/ > filebeat-[STRATEGY_ID]-stt.log 2>&1 &
 

filebeat文檔在這里:Filebeat Reference [7.16] | Elastic

metricbeat安裝與配置

安裝

wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.16.2-linux-x86_64.tar.gz

tar zxf metricbeat-7.16.2-linux-x86_64.tar.gz

cd metricbeat-7.16.2-linux-x86_64

vi metricbeat.yml

配置

metricbeat.config.modules:

 path: ${path.config}/modules.d/*.yml

 reload.enabled: false

metricbeat.modules:

  - module: system

    metricsets: [core]

    core.metrics: [percentages, ticks]

processors:  

  - add_host_metadata:

      netinfo.enabled: true

output.kafka:

  enabled: true

  hosts: ["kfk-01.example.com:9092","kfk-02.example.com:9092","kfk-03.example.com:9092"]

  topic: system_x_sysinfo

啟動(dòng)

nohup ./metricbeat -c metricbeat.yml > metricbeat.log 2>&1 &

對于多個(gè)系統(tǒng)部署在一臺服務(wù)器上的情況,往往會共用一份機(jī)器信息,則將配置文件的topic改為:system_x_ID_sysinfo。

注意:

1.metricbeat默認(rèn)不帶IP,需要在配置文件添加add_host_metadata

2.metricbeat默認(rèn)不帶CPU所有內(nèi)核的負(fù)載,需要擴(kuò)展module: system

3.傳遞內(nèi)容及數(shù)據(jù)格式在這里:System fields | Metricbeat Reference [8.9] | Elastic

Kafka數(shù)據(jù)查看

作為中間調(diào)試步驟,可以登錄到測試服務(wù)器,查看Kafka輸出

cd /usr/local/kafka/bin/

sh kafka-console-consumer.sh --bootstrap-server kfk-01.example.com:9092,kfk-02.example.com:9092,kfk-03.example.com:9092 --topic YOUR_TOPIC

???????Python(FastAPI)示例

在一個(gè)典型的Python FastAPI項(xiàng)目中,通過kafka consumer訂閱對應(yīng)策略的topic,持續(xù)消費(fèi)kafka存儲的日志數(shù)據(jù),然后通過websocket服務(wù),將日志推給連接的ws客戶端。

KafkaConsumer

使用python的kafka包。

注意:安裝kafka-python,不要kafka

使用?pip list | grep kafka查看是否有安裝,如果已安裝kafka,先卸載:

pip uninstall kafka

再安裝

pip install kafka-python

FastAPI主程序示例

from web.monitors import loginfo, sysinfo

import asyncio


# 已聲明 app = FastAPI()


@app.on_event("startup")

async def startup():

    loop = asyncio.get_running_loop()

    logging.info(loop)

    journal.set_config(config, loop)

    sysinfo.set_config(config)

    app.mount("/loginfo", loginfo.router_loginfo)

    app.mount("/sysinfo", sysinfo.router_sysinfo)

    logging.info("config journal and sysinfo")

附1:metricbeat機(jī)器信息返回字段

system_name:系統(tǒng)名稱

app_cpu:系統(tǒng)應(yīng)用占用的CPU(單位:百分比)

app_memory:系統(tǒng)應(yīng)用占用的內(nèi)存(單位:字節(jié))

app_start_time:系統(tǒng)應(yīng)用啟動(dòng)時(shí)間

app_pid:系統(tǒng)應(yīng)用的進(jìn)程ID

cpu_sys_usage:機(jī)器整體CPU系統(tǒng)使用(單位:百分比)

cpu_idle:機(jī)器整體CPU閑置(單位:百分比)

cpu_user_usage:機(jī)器整體CPU用戶使用(單位:百分比)

cpu_cores:機(jī)器CPU內(nèi)核數(shù)

cpu_cores_usage:列表,機(jī)器所有CPU核的負(fù)載(單位:百分比)

memory_usage:機(jī)器整體內(nèi)存占用(單位:百分比)

memory_total:機(jī)器內(nèi)存總和(單位:字節(jié))

disk_usage:機(jī)器磁盤占用率(單位:百分比)

disk_total:機(jī)器磁盤空間總和(單位:字節(jié))

host_name:主機(jī)名

os:主機(jī)操作系統(tǒng)

ip_addr:主機(jī)IP

附2:FastAPI+Websocket問題

基于解耦原則,日志的kafka消費(fèi)、websocket服務(wù)模塊需要放在單獨(dú)的文件中,但是,通過app.include_router添加的ws路徑不起作用,相關(guān)bugreport見這里。

目前的解決方案是:

在ws router服務(wù)模塊中也聲明app:

router_journal = FastAPI()

然后在主app文件中附加此router模塊:

app.mount(router_journal)文章來源地址http://www.zghlxwxcb.cn/news/detail-620941.html

到了這里,關(guān)于通過Filebeat進(jìn)行日志監(jiān)控的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Elk+Filebeat+Kafka實(shí)現(xiàn)日志收集

    Elk+Filebeat+Kafka實(shí)現(xiàn)日志收集

    1.實(shí)驗(yàn)組件 2.安裝前準(zhǔn)備 3.安裝Zookeeper 1.安裝Kafka 2.命令行測試 ?1.安裝Filebeat 2.時(shí)間同步 3.配置filebeat 4.配置logstash 1.安裝配置filebeat 2.配置logstash

    2024年02月05日
    瀏覽(28)
  • Filebeat+Kafka+ELK日志采集(五)——Elasticsearch

    Filebeat+Kafka+ELK日志采集(五)——Elasticsearch

    1、下載 2、解壓: 3、配置 啟動(dòng)Elasticsearch,進(jìn)入/bin目錄下 ./elasticsearch ,不出意外的外會報(bào)以下錯(cuò)誤: 報(bào)錯(cuò)1:能打開的文件或進(jìn)程數(shù)太低。 解決方法: 修改/etc/security/limits.conf 配置文件,添加配置如下: 報(bào)錯(cuò)2: 解決方法: 修改/etc/sysctl.conf 配置文件,添加配置如下: 修

    2024年02月05日
    瀏覽(26)
  • 部署ELK+Kafka+Filebeat日志收集分析系統(tǒng)

    部署ELK+Kafka+Filebeat日志收集分析系統(tǒng)

    ELK是三個(gè)軟件的統(tǒng)稱,即Elasticsearch、Logstash和Kibana三個(gè)開源軟件的縮寫。這三款軟件都是開源軟件,通常配合使用,并且都先后歸于Elastic.co企業(yè)名下,故被簡稱為ELK協(xié)議棧。ELK主要用于部署在企業(yè)架構(gòu)中,收集多臺設(shè)備上多個(gè)服務(wù)的日志信息,并將其統(tǒng)一整合后提供給用戶。

    2024年02月16日
    瀏覽(22)
  • EFLFK——ELK日志分析系統(tǒng)+kafka+filebeat架構(gòu)

    EFLFK——ELK日志分析系統(tǒng)+kafka+filebeat架構(gòu)

    node1節(jié)點(diǎn) 192.168.40.16 elasticsearch 2c/4G node2節(jié)點(diǎn) 192.168.40.17 elasticsearch 2c/4G Apache節(jié)點(diǎn) 192.168.40.170 logstash/Apache/kibana 2c/4G filebeat節(jié)點(diǎn) 192.168.40.20 filebeat 2c/4G https://blog.csdn.net/m0_57554344/article/details/132059066?spm=1001.2014.3001.5501 接上期elk部署我們這次加一個(gè)filebeat節(jié)點(diǎn) ? //準(zhǔn)備 3 臺服務(wù)器做

    2024年02月14日
    瀏覽(24)
  • 基于Filebeat、Kafka搭建ELK日志分析平臺詳細(xì)步驟

    基于Filebeat、Kafka搭建ELK日志分析平臺詳細(xì)步驟

    寫在前頭:公司一直沒有搭建一個(gè)支持實(shí)時(shí)查詢?nèi)罩镜钠脚_,平常看日志都得去服務(wù)器下載,大大降低開發(fā)效率,前段時(shí)間有大佬同事搭建了一款日志平臺,支持sit,uat等各個(gè)環(huán)境的日志實(shí)時(shí)查詢,大大提高bug定位速度。因?qū)ζ涓信d趣特向大佬請教,學(xué)習(xí)記錄下搭建流程。 選

    2024年02月06日
    瀏覽(36)
  • 使用Filebeat+Kafka+Logstash+Elasticsearch構(gòu)建日志分析系統(tǒng)

    使用Filebeat+Kafka+Logstash+Elasticsearch構(gòu)建日志分析系統(tǒng)

    ?? ? ? ?隨著時(shí)間的積累,日志數(shù)據(jù)會越來越多,當(dāng)您需要查看并分析龐雜的日志數(shù)據(jù)時(shí),可通過Filebeat+Kafka+Logstash+Elasticsearch采集日志數(shù)據(jù)到Elasticsearch中,并通過Kibana進(jìn)行可視化展示與分析。本文介紹具體的實(shí)現(xiàn)方法。 Kafka是一種分布式、高吞吐、可擴(kuò)展的消息隊(duì)列服務(wù),

    2024年02月04日
    瀏覽(22)
  • EFLK日志平臺(filebeat-->kafka-->logstash-->es-->kiabana)

    EFLK日志平臺(filebeat-->kafka-->logstash-->es-->kiabana)

    ELK平臺是一套完整的日志集中處理解決方案,將 ElasticSearch、Logstash 和 Kiabana 三個(gè)開源工具配合使用, 完成更強(qiáng)大的用戶對日志的查詢、排序、統(tǒng)計(jì)需求。 1. es安裝(單節(jié)點(diǎn)部署) 前提 安裝 2.es web 查看 瀏覽器訪問 http://esIP:9200 或者本地訪問curl ‘http://localhost:9200/?pretty’ 安

    2024年02月10日
    瀏覽(25)
  • docker搭建Elk+Kafka+Filebeat分布式日志收集系統(tǒng)

    docker搭建Elk+Kafka+Filebeat分布式日志收集系統(tǒng)

    目錄 一、介紹 二、集群環(huán)境 三、ES集群 四、Kibana? 五、Logstash 六、Zookeeper 七、Kafka 八、Filebeat 八、Nginx (一)架構(gòu)圖 ?(二)組件介紹 1.Elasticsearch 是一個(gè)基于Lucene的搜索服務(wù)器。提供搜集、分析、存儲數(shù)據(jù)三大功能。它提供了一個(gè)分布式多用戶能力的全文搜索引擎,基于

    2024年02月04日
    瀏覽(26)
  • 利用logstash/filebeat/插件,將graylog日志傳輸?shù)絢afka中

    利用logstash/filebeat/插件,將graylog日志傳輸?shù)絢afka中

    在System-outputs,選擇GELF Output,填寫如下內(nèi)容,其它選項(xiàng)默認(rèn) 在要輸出的Stream中,選擇Manage Outputs 選擇GELF Output,右邊選擇剛才創(chuàng)建好的test。 下載logstash,最新版就可以。 上傳到服務(wù)器,編寫test.conf配置文件,內(nèi)容如下 運(yùn)行l(wèi)ogstash,輸入以下命令 前提:安裝好kafka集群, 創(chuàng)建

    2024年02月13日
    瀏覽(18)
  • filebeat+kafka+logstash+elasticsearch+kibana實(shí)現(xiàn)日志收集解決方案

    filebeat+kafka+logstash+elasticsearch+kibana實(shí)現(xiàn)日志收集解決方案

    前言:我們使用nginx來模擬產(chǎn)生日志的服務(wù),通過filebeat收集,交給kafka進(jìn)行消息隊(duì)列,再用logstash消費(fèi)kafka集群中的數(shù)據(jù),交給elasticsearch+kibana監(jiān)控 服務(wù)器環(huán)境: 192.168.2.1:elasticsearch 192.168.2.2:filebeat+nginx 192.168.2.3:kafka 192.168.2.4:logstash elasticseatch+filebeat+kafka+logsstash(6.60)清

    2024年02月03日
    瀏覽(31)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包