一、場景
測試環(huán)境中頻繁操作產(chǎn)生日志例如打印刻錄日志會比較浪費(fèi)時間,想到將日志保存到本地文件匯總,然后使用logstash將本地文件作為input輸入,即可在不實(shí)際操作的情況下對日志進(jìn)行格式分析
二、解決方案
- 先將產(chǎn)生的日志保存到本地文件中,這里為了測試我使用的是
stdin
輸入插件獲取內(nèi)容;使用file
輸出插件保存日志到本地文件
input{
stdin{}
}
output{
file{
path=>"/export/server/logstash-8.1.2/test.txt"
# 這句的作用是將文件作為json格式保存
codec=>"json"
}
}
2. 本地獲取到日志之后再次啟動logstash,使用file
輸入插件將本地文件輸入,使用stdout
將日志輸出,測試配置文件效果(啟動logstash之后沒有輸出,在test.txt文件后加或刪一個換行)
input{
file{
path=>"/export/server/logstash-8.1.2/test.txt"
# 以json格式解析數(shù)據(jù)
codec=>"json"
}
}
output{
stdout{}
}
3. 檢查發(fā)現(xiàn)還有很多冗余字段例如host.name
、log
等,使用mutate
過濾插件對字段進(jìn)行處理(當(dāng)logstash不加載本地文件時,對文件進(jìn)行簡單操作即可,例如增加或刪除一個空行)文章來源:http://www.zghlxwxcb.cn/news/detail-537041.html
input{
file{
path=>"/export/server/logstash-8.1.2/test.txt"
# 以json格式解析數(shù)據(jù)
codec=>"json"
}
}
filter{
mutate {
remove_field =>[
"[log][file]",
"[host][name]"
]
replace =>{
"[event][original]"=>"%{message}"
}
}
}
output{
stdout{}
}
文章來源地址http://www.zghlxwxcb.cn/news/detail-537041.html
到了這里,關(guān)于logstash~logstash將本地文件中的日志作為input處理的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!