国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

使用logstash將項(xiàng)目的日志存儲(chǔ)到Elasticsearch中(詳細(xì)!新手避坑點(diǎn)!)

這篇具有很好參考價(jià)值的文章主要介紹了使用logstash將項(xiàng)目的日志存儲(chǔ)到Elasticsearch中(詳細(xì)!新手避坑點(diǎn)?。OM麑?duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1.環(huán)境準(zhǔn)備

我這里默認(rèn)你們這個(gè)logstash和Elasticsearch已經(jīng)安裝好了。

我使用的是logstash版本7.4.0 Elasticsearch版本7.4.0。?使用其他版本注意版本一定要一致,版本不一致大概率會(huì)出現(xiàn)logstash啟動(dòng)報(bào)Failed to install template.異常,已經(jīng)踩坑了。

logstash的配置文件:

input {
#tcp網(wǎng)絡(luò)傳輸模式
    tcp {
       mode => "server" 
       #監(jiān)聽端口號(hào)
       port => 9601
       codec => json_lines
    }
}
#輸出位置
output {
    elasticsearch {
        action => "index"
        #es的地址
        hosts => ["10.10.80.56:9200"]
        #es的索引名稱
        index => "logtoes-test"
        #es的用戶名與密碼
        user => "username"
        password => "password"
     }
    stdout {
        codec => rubydebug
    }
}

接下來(lái)

以配置文件啟動(dòng)

在 logstash-7.4.0下的bin目錄使用

./logstash -f /home/zhjk/logstash-test-config/logstash-test.conf

-f 后面是配置文件路徑

啟動(dòng)成功窗口

使用logstash將項(xiàng)目的日志存儲(chǔ)到Elasticsearch中(詳細(xì)!新手避坑點(diǎn)!)

查看9601端口是否被監(jiān)聽

[zhjk@tongtech-56 ~]$ netstat -lntp |grep 9601
tcp6       0      0 :::9601                 :::*                    LISTEN      8897/java  

2.配置lockback

maven坐標(biāo)

盡量和我的一致,之前用的4.8 的版本,不報(bào)錯(cuò)但是日志進(jìn)不去。

<!--logback日志-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>6.3</version>
        </dependency>

?logback.xml

<?xml version="1.0" encoding="utf-8" ?>  <configuration>
    <property name="logstash.host" value="服務(wù)器地址"/>
    <property name="logstash.port" value="9601"/>
    <contextName>springcloud</contextName>
?
?
    <appender name="consoleLog" class="ch.qos.logback.core.ConsoleAppender">
        <layout clas="ch.qos.logback.classic.PatternLayout">
            <pattern>
                %date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </layout>
    </appender>
?
    <appender name="fileInfoLog" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${logging.path}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <!--&lt;!&ndash;過(guò)濾輸出到日志文件的日志內(nèi)容&ndash;&gt;
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>
                &lt;!&ndash;只配置這個(gè)還是會(huì)輸出ERROR等級(jí)的日志,因?yàn)閑rror level > info level;攔截的是>=info等級(jí)的內(nèi)容&ndash;&gt;
                INFO
            </level>
        </filter>-->
?
        <!--要用下面這種方式才能過(guò)濾輸出到日志文件的ERROR信息,類似switch case,onMatch和onMisMatch中的指令在LevelFilter類的FilterReply中可以看到-->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <!--匹配到上面level的ERROR等級(jí)日志時(shí),禁止輸出到日志文件中-->
            <onMatch>DENY</onMatch>
            <!--匹配到上面的ERROR日志時(shí),輸出到日志文件中,(還有一個(gè)指令NEUTRAL,代表當(dāng)前這條策略不做操作,讓下一條策略去匹配)-->
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>
                %date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </encoder>
        <!--滾動(dòng)策略,按照時(shí)間滾動(dòng)-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑要先去建好,不然會(huì)報(bào)錯(cuò),linux/Mac下要給予可寫權(quán)限,sudo chmod -R 777 /var/log/tomcat
            windows 類似,D:\log\tomcat-->
            <fileNamePattern>
                <!--在文件名中帶上時(shí)間,配置完后要在下面root level中指定這個(gè)配置-->
                D:\tomcat\info.%d.log
            </fileNamePattern>
        </rollingPolicy>
    </appender>
?
    <appender name="fileErrorLog" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${logging.path}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <!--過(guò)濾輸出到日志文件的日志內(nèi)容-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>
                ERROR
            </level>
        </filter>
        <encoder>
            <pattern>
                %date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </encoder>
        <!--滾動(dòng)策略,按照時(shí)間滾動(dòng),每天創(chuàng)建一個(gè)文件-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑要先去建好,不然會(huì)報(bào)錯(cuò),linux/Mac下要給予可寫權(quán)限,sudo chmod -R 777 /var/log/tomcat
            windows 類似,D:\log\tomcat-->
            <fileNamePattern>
                <!--在文件名中帶上時(shí)間,配置完后要在下面root level中指定這個(gè)配置-->
                D:\tomcat\error.%d.log
            </fileNamePattern>
        </rollingPolicy>
    </appender>
?
?
?
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!-- <destination>${logstash.host}:${logstash.port}</destination>-->
        <remoteHost>${logstash.host}</remoteHost>
        <port>${logstash.port}</port>
<!--        這個(gè)值只能配置2的N次冪(2,4,8,16...),默認(rèn)8192,單位是B-->
        <queueSize>1048576</queueSize>
?
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
         <!-正常應(yīng)該是error級(jí)別,但為了看到效果 設(shè)為info-->
            <level>INFO</level>
            <!--匹配到上面level的ERROR等級(jí)日志時(shí),禁止輸出到日志文件中-->
            <onMatch>ACCEPT</onMatch>
            <!--匹配到上面的ERROR日志時(shí),輸出到日志文件中,(還有一個(gè)指令NEUTRAL,代表當(dāng)前這條策略不做操作,讓下一條策略去匹配)-->
            <onMismatch>DENY</onMismatch>
        </filter>
?
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "severity":"%level",
                        "service": "%contextName",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message->%ex{full}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
?
    <!--root代表整個(gè)項(xiàng)目的日志等級(jí)-->
    <root level="info">
        <!--上面配置的appender中的name-->
        <appender-ref ref="consoleLog"/>
        <appender-ref ref="fileInfoLog"/>
        <appender-ref ref="fileErrorLog"/>
        <appender-ref ref="LOGSTASH"/>
    </root>
</configuration>

3.啟動(dòng)項(xiàng)目

  1. 查看結(jié)果

使用logstash將項(xiàng)目的日志存儲(chǔ)到Elasticsearch中(詳細(xì)!新手避坑點(diǎn)!)

linux中l(wèi)ogstash中打印如下信息,即為成功。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-443377.html

到了這里,關(guān)于使用logstash將項(xiàng)目的日志存儲(chǔ)到Elasticsearch中(詳細(xì)!新手避坑點(diǎn)?。┑奈恼戮徒榻B完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Elasticsearch + Logstash + Kibana 日志分析系統(tǒng)搭建

    Elasticsearch、Logstash 和 Kibana 組成了一個(gè)開源的日志分析系統(tǒng)簡(jiǎn)稱 ELK Stack。 Elasticsearch: 一個(gè)基于 Lucene 的搜索引擎,可以快速存儲(chǔ)、檢索和分析大量數(shù)據(jù) Logstash: 一個(gè)日志收集和處理工具,可以將來(lái)自不同來(lái)源的數(shù)據(jù)收集到 Elasticsearch 中 Kibana: 一個(gè)數(shù)據(jù)可視化平臺(tái),可以實(shí)時(shí)地

    2024年02月08日
    瀏覽(25)
  • 日志系統(tǒng)一(elasticsearch+filebeat+logstash+kibana)

    日志系統(tǒng)一(elasticsearch+filebeat+logstash+kibana)

    目錄 一、es集群部署 安裝java環(huán)境 部署es集群 安裝IK分詞器插件 二、filebeat安裝(docker方式) 三、logstash部署 四、kibana部署 背景:因業(yè)務(wù)需求需要將nginx、java、ingress日志進(jìn)行收集。 架構(gòu):filebeat+logstash+es+kibana 服務(wù)器規(guī)劃: 192.168.7.250(es) 192.168.6.216(filebeat,es) 192.168.7

    2024年02月03日
    瀏覽(27)
  • ELK日志平臺(tái)(elasticsearch+logstash+kibana)搭建

    ELK日志平臺(tái)(elasticsearch+logstash+kibana)搭建

    提示:文章寫完后,目錄可以自動(dòng)生成,如何生成可參考右邊的幫助文檔 為了實(shí)現(xiàn)分布式日志數(shù)據(jù)統(tǒng)一收集,實(shí)現(xiàn)集中式查詢和管理 故障排查 安全信息和事件管理 ELK 是三個(gè)開源項(xiàng)目的首字母縮寫,這三個(gè)項(xiàng)目分別是: Elasticsearch 、 Logstash 和 Kibana 。 ? Elasticsearch 是一個(gè)搜索

    2024年02月03日
    瀏覽(22)
  • ELK(Elasticsearch+Logstash+Kibana)日志分析系統(tǒng)

    ELK(Elasticsearch+Logstash+Kibana)日志分析系統(tǒng)

    目錄 前言 一、ELK日志分析系統(tǒng)概述 1、三大組件工具介紹 1.1?Elasticsearch 1.1.1?Elasticsearch概念 1.1.2?關(guān)系型數(shù)據(jù)庫(kù)和ElasticSearch中的對(duì)應(yīng)關(guān)系 1.1.3?Elasticsearch提供的操作命令 1.2?Logstash 1.2.1 Logstash概念 1.2.2 Logstash的主要組件 1.2.3?Logstash主機(jī)分類 1.2.4?Logstash工作過(guò)程 1.3?Kiabana 2、

    2024年04月25日
    瀏覽(44)
  • elk(elasticsearch+logstash+kibana)搭建日志監(jiān)控平臺(tái)

    elk(elasticsearch+logstash+kibana)搭建日志監(jiān)控平臺(tái)

    目錄 elk架構(gòu)原理 安裝部署elasticsearch 什么是elasticsearch 創(chuàng)建elasticserch docker容器 ?安裝部署kibana 什么是Kinana 創(chuàng)建Kibana docker容器 ? ? ? ? 拉取鏡像 ? ? ? ? 創(chuàng)建配置文件:D:Programsdockerkibanakibana.yml ? ? ? ? ?創(chuàng)建并運(yùn)行kibana容器 ? ? ? ? 驗(yàn)證登錄kibana 安裝部署logstash 什么

    2024年02月04日
    瀏覽(51)
  • ELK企業(yè)級(jí)日志分析系統(tǒng)(elasticsearch+logstash+kibana)

    ELK企業(yè)級(jí)日志分析系統(tǒng)(elasticsearch+logstash+kibana)

    目錄 一.ELK概述 1.定義 (1)ElasticSearch (2)Kiabana (3)Logstash (4)Filebeat 2.filebeat結(jié)合logstash帶來(lái)好處 3.為什么要是用ELK? 4.完整日志系統(tǒng)基本特征 5.ELK 的工作原理 二.部署ELK 1.環(huán)境配置 2.ELK集群部署(node1、node2) 3.部署 Elasticsearch 軟件 4.安裝Elasticsearch-head 插件 (1)編譯安

    2024年04月22日
    瀏覽(49)
  • ELK【elasticsearch+logstash+kibana】企業(yè)級(jí)日志分析系統(tǒng)

    ELK【elasticsearch+logstash+kibana】企業(yè)級(jí)日志分析系統(tǒng)

    ELK平臺(tái)是一套完整的日志集中處理解決方案,將 elasticsearch、logstash 和 kiabana 三個(gè)開源工具配合使用,完成更加強(qiáng)大的用戶對(duì)日志的查詢、排序、統(tǒng)計(jì)需求。 ElasticSearch:是基于Lucene(一個(gè)全文檢索引擎的架構(gòu))開發(fā)的分布式存儲(chǔ)檢索引擎,用來(lái)存儲(chǔ)各類日志。 Elasticsearch 是用

    2024年02月08日
    瀏覽(22)
  • ElasticSearch+Kibana+Logstash實(shí)現(xiàn)日志可視化運(yùn)維監(jiān)控

    ElasticSearch+Kibana+Logstash實(shí)現(xiàn)日志可視化運(yùn)維監(jiān)控

    1.目標(biāo) 1.安裝ElasticSearch 2.安裝Kibana 3.安裝Logstash采集/var/log/messages日志內(nèi)容 4.圖表化展示日志監(jiān)控結(jié)果 2.版本 這三者的版本號(hào)要完全一樣 ElasticSearch 6.1.1 Kibana 6.1.1 Logstash 6.1.1 Jdk1.8.0_181 3.安裝ElasticSearch 安裝包:https://cloud.189.cn/t/zuQz6v2YZRVb (訪問(wèn)碼:6sbf) 下載網(wǎng)站:https://www.elast

    2024年02月10日
    瀏覽(20)
  • Elasticsearch系列組件:Logstash強(qiáng)大的日志管理和數(shù)據(jù)分析工具

    Elasticsearch系列組件:Logstash強(qiáng)大的日志管理和數(shù)據(jù)分析工具

    Elasticsearch 是一個(gè)開源的、基于 Lucene 的分布式搜索和分析引擎,設(shè)計(jì)用于云計(jì)算環(huán)境中,能夠?qū)崿F(xiàn)實(shí)時(shí)的、可擴(kuò)展的搜索、分析和探索全文和結(jié)構(gòu)化數(shù)據(jù)。它具有高度的可擴(kuò)展性,可以在短時(shí)間內(nèi)搜索和分析大量數(shù)據(jù)。 Elasticsearch 不僅僅是一個(gè)全文搜索引擎,它還提供了分布

    2024年02月08日
    瀏覽(21)
  • Filebeat ? Logstash 將日志文件輸出到 Elasticsearch 或 Amazon S3

    filebeat是什么 Filebeat 是一個(gè)開源的輕量級(jí)日志數(shù)據(jù)收集器,由 Elastic 公司開發(fā)。它主要用于實(shí)時(shí)收集、解析和傳輸日志數(shù)據(jù),將日志數(shù)據(jù)從不同的源頭(如文件、日志文件、系統(tǒng)日志等)傳輸?shù)侥繕?biāo)位置(如 Elasticsearch、Logstash 等),以便進(jìn)行存儲(chǔ)、分析和監(jiān)控。 Filebeat 的主

    2024年02月11日
    瀏覽(17)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包