一、下載、安裝、配置、啟動(dòng)：
1、下載
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.2-linux-x86_64.tar.gz
2、解壓：
tar -zxvf elasticsearch-8.3.2-linux-x86_64
3、配置
啟動(dòng)Elasticsearch，進(jìn)入/bin目錄下./elasticsearch，不出意外的外會(huì)報(bào)以下錯(cuò)誤：
報(bào)錯(cuò)1：能打開的文件或進(jìn)程數(shù)太低。
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
解決方法：
修改/etc/security/limits.conf 配置文件，添加配置如下：
hard nofile 655360
soft nofile 131072
hard nproc 4096
soft nproc 2048
# nofile - 打開文件的最大數(shù)目
# noproc - 進(jìn)程的最大數(shù)目
# soft 指的是當(dāng)前系統(tǒng)生效的設(shè)置值
# hard 表明系統(tǒng)中所能設(shè)定的最大值
報(bào)錯(cuò)2：
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解決方法：
修改/etc/sysctl.conf 配置文件，添加配置如下：
vm.max_map_count=655360
# 缺省配置下，單個(gè)jvm能開啟的最大線程數(shù)為其一半
fs.file-max=655360
# 設(shè)置 系統(tǒng)所有進(jìn)程一共可以打開的文件數(shù)量
修改完之后執(zhí)行命令：sysctl -p
配置3：
根據(jù)自身主機(jī)內(nèi)存大小設(shè)置es，修改/jvm.options配置文件，太大或太小都可能導(dǎo)致啟動(dòng)失敗
-Xmx2g
-Xms2g
配置4：外網(wǎng)訪問
修改elasticearsh.yml文件：
network.host: 0.0.0.0
# 設(shè)置為自己的ip或0.0.0.0
開放端口號(hào)，重啟防火墻：
firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --query-port=9200/tcp
systemctl restart firewalld.service
配置Kibana
同樣下載解壓縮Kibana，打開/config/kibana.yml設(shè)置連接ES信息：
elasticsearch.hosts: ["IP:9200"]
elasticsearch.username: name
elasticsearch.password: password
二、索引生命周期和索引模板
日志信息不可能永久的存儲(chǔ)在ES中，所以需要對(duì)索引進(jìn)行管理，按照采集的日志的保存時(shí)長定期刪除，可通過程序定時(shí)任務(wù)每天檢查到期的索引然后刪除，也可以使用ES的索引生命周期對(duì)索引進(jìn)行管理，使用索引生命周期需結(jié)合綁定索引模板搭配使用。
生命周期策略及索引模板的創(chuàng)建及使用參考文章：ElasticSearch——索引生命周期管理
2.1、創(chuàng)建索引生命周期策略
如上圖所示，只啟用了熱階段和刪除階段，索引建立30天之后刪除。
2.2、創(chuàng)建索引模板
如上圖所示，創(chuàng)建索引模板并關(guān)聯(lián)生命周期策略，設(shè)置索引分片數(shù)量和副本數(shù)量。因?yàn)槲磫⒂脽犭A段的滾動(dòng)更新，所以不用設(shè)置別名。
測試時(shí)可將熱階段到刪除階段過程縮短到幾分鐘，但生命周期策略刷新時(shí)間默認(rèn)是10min，我們?cè)跍y試的時(shí)候可以設(shè)置的短一些，如1min：文章來源：http://www.zghlxwxcb.cn/news/detail-454426.html
PUT _cluster/settings
{
"transient": {
"indices.lifecycle.poll_interval": "1min"
}
}
如圖所示，新創(chuàng)建的索引根據(jù)索引模板關(guān)聯(lián)上了生命周期策略，30天后進(jìn)入刪除階段進(jìn)行刪除。文章來源地址http://www.zghlxwxcb.cn/news/detail-454426.html
到了這里，關(guān)于Filebeat+Kafka+ELK日志采集(五)——Elasticsearch的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
