問題描述
發(fā)現(xiàn)kibana中日志不在更新了,停留在了一個時間點沒有繼續(xù)更新,然后就去檢查各個服務,發(fā)現(xiàn)es、logstash、kibana均正常,不過發(fā)現(xiàn)es里面沒有新日志產(chǎn)生,初步懷疑是logstash沒有成功推送過來日志。
問題解決
1.檢查logstash日志,logstahs是java開發(fā)的,筆者將日志記錄到了nohup.out文件中
檢查日志文件發(fā)現(xiàn)錯誤:Attempted to resurrect connection to dead ES instance, but got an error
2.然后再次檢查es服務健康度,發(fā)現(xiàn)es的三個結(jié)點均無問題。
3.再次懷疑是logstash問題,發(fā)現(xiàn)logstash接收日志都正常,只是將日志輸送到es時出了問題,最后還是懷疑問題出在了es。
4.然后c了一下,有網(wǎng)友提供修改es索引數(shù)量限制的配置,筆者嘗試了下,發(fā)現(xiàn)不行。
5.檢查es日志(elasticsearch.yml里面配置的日志路徑),發(fā)現(xiàn)日志里報出了大量的overheap,雖然不是OOM,但是猜測還是和jvm的對大小配置有關(guān),嘗試將所有結(jié)點的堆容量提升了一倍,棧大小提升了9倍。配置如下:
-Xms4g
-Xmx4g
-Xss10m
6.然后重啟了es三個結(jié)點、logstash、kibana,之后恢復正常。文章來源:http://www.zghlxwxcb.cn/news/detail-516059.html
問題總結(jié)
定位問題,排除了所有不可能,即使剩下的選項再不可能,那問題也一定是在他身上。大膽假設小心求證,就能順利解決問題。文章來源地址http://www.zghlxwxcb.cn/news/detail-516059.html
到了這里,關(guān)于logstash問題記錄:Attempted to resurrect connection to dead ES instance, but got an error的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!