国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

linux搭建單機(jī)ES,集成ik分詞器,文本抽取,Kibana可視化平臺

這篇具有很好參考價值的文章主要介紹了linux搭建單機(jī)ES,集成ik分詞器,文本抽取,Kibana可視化平臺。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報違法"按鈕提交疑問。

Elasticsearch單機(jī)(Linux)

準(zhǔn)備工作

第一項:

創(chuàng)建運(yùn)行Elasticsearch和Kibana專用的普通用戶,因?yàn)?elasticsearch 和 kibana 不允許使用 root用戶啟動,所以需要創(chuàng)建新用戶啟動。

linux用root權(quán)限創(chuàng)建一個用戶賦權(quán)即可,注意權(quán)限要給足

第二項(啟動沒有報相關(guān)錯誤此項可以不做調(diào)整):

設(shè)置linux的虛擬內(nèi)存

vim /etc/sysctl.conf

修改參數(shù)(自定義,我這里是設(shè)置成1024*256這么大)

vm.max_map_count=262144

虛擬內(nèi)存生效

 sysctl -p

第三項(啟動沒有報相關(guān)錯誤此項可以不做調(diào)整):
修改linux系統(tǒng)句柄配置,通過以下命令

vim /etc/security/limits.conf

修改或添加配置(一定要放在# End of file之前)

nofile - 打開文件的最大數(shù)目
noproc - 進(jìn)程的最大數(shù)目
soft 指的是當(dāng)前系統(tǒng)生效的設(shè)置值
hard 表明系統(tǒng)中所能設(shè)定的最大值

* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 65536

使配置生效

source /etc/security/limits.conf

開始部署

第一步:

下載地址:官網(wǎng)下載地址
我這里下載的是7.16.0版本(下面網(wǎng)盤自?。?/p>

鏈接: https://pan.baidu.com/s/1GT47H3gdiYI361eYD6l5EA?pwd=abb2 提取碼: abb2

第二步:

將下載的包放到服務(wù)器上,使用解壓命令解壓
解壓命令

tar -zxvf  需要解壓的包路徑

如果需要解壓其他目錄,用命令

tar -zxvf  需要解壓的包路徑 -C 目標(biāo)路徑

第三步:

在服務(wù)器上創(chuàng)建兩個文件夾用于ES修改配置時使用
一個存放es的data,一個存放es的log

Path to directory where to store the data (separate multiple locations by comma)
存儲數(shù)據(jù)的目錄的路徑(用逗號分隔多個位置)
path.data: esdata的路徑
Path to log files:
日志文件路徑:
path.logs: eslog的路徑

第四步:
修改配置文件內(nèi)容
配置文件在ES的解壓目錄下的config目錄下的elasticsearch.yml文件,修改配置文件

#集群名稱
cluster.name: es-app
#集群節(jié)點(diǎn)名稱
node.name: node-1
#存儲數(shù)據(jù)的路徑
path.data: /usr/local/esdata
#日志文件路徑
path.logs: /usr/local/eslog
#網(wǎng)絡(luò)公開的IP地址(設(shè)置為0.0.0.0表示所有IP都可以訪問)
network.host: 0.0.0.0
#http端口
http.port: 9200
#集群節(jié)點(diǎn)IP列表
discovery.seed_hosts: ["127.0.0.1"]
#集群節(jié)點(diǎn)名稱列表
cluster.initial_master_nodes: ["node-1"]

第五步:
修改ES的JVM
該配置文件在解壓目錄下的config目錄下的jvm.options文件,修改以下配置

-Xms1g
-Xmx1g

第六步:
配置ES的java環(huán)境

從ES7.0之后,ES就自帶jdk了,因?yàn)轫椖康恼江h(huán)境所用的java環(huán)境有可能不適用于ES的java環(huán)境變量,ES從6.0就支持JAVA11了,如果項目正式環(huán)境的java環(huán)境符合ES的java環(huán)境,此步驟可以略過。

在解壓目錄下有一個jdk目錄,這里就是ES自帶的java環(huán)境,我們需要在解壓目錄下的bin目錄下的elasticsearch-env文件,修改JAVA_HOME為ES自帶的java環(huán)境

# now set the path to java
if [ ! -z "$ES_JAVA_HOME" ]; then
  JAVA="$ES_JAVA_HOME/bin/java"
  JAVA_TYPE="ES_JAVA_HOME"
elif [ ! -z "$JAVA_HOME" ]; then
  # fallback to JAVA_HOME
  echo "warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME" >&2
  #JAVA="$JAVA_HOME/bin/java"
  #修改這一塊********************************************
  JAVA="/usr/local/elasticsearch-7.16.0/jdk/bin/java"
  JAVA_TYPE="JAVA_HOME"
  #end*************************************************
else
  # use the bundled JDK (default)
  if [ "$(uname -s)" = "Darwin" ]; then
    # macOS has a different structure
    JAVA="$ES_HOME/jdk.app/Contents/Home/bin/java"
  else
    JAVA="$ES_HOME/jdk/bin/java"
  fi
  JAVA_TYPE="bundled JDK"
fi

if [ ! -x "$JAVA" ]; then
  echo "could not find java in $JAVA_TYPE at $JAVA" >&2
  exit 1
fi

修改完保存即可
注意:如果修改了還會出現(xiàn)JAVA環(huán)境變量的問題,可以把這一段的所有有關(guān)java的路徑全都修改了

第七步:
啟動ES
在解壓目錄下的bin目錄下執(zhí)行下面命令(后臺啟動)

./elasticsearch -d

查看日志:在自己配置的ES的log目錄下的logs目錄下查看日志

驗(yàn)證是否啟動成功(如訪問不到,請先開放linux防火墻的端口)
瀏覽器訪問地址:IP+端口
出現(xiàn)以下信息即為啟動成功
linux 安裝ik分詞器,ES,linux,elasticsearch,kibaba,ik

集成ik分詞器

準(zhǔn)備工作:

Elasticsearch部署成功
有maven環(huán)境可以使用mvn命令
在ES解壓目錄下的plugins目錄下創(chuàng)建ik文件夾(mkdir ik)

第一步:
下載ik分詞器,這里也準(zhǔn)備了配套的ik分詞器zip包,用的7.16.2版本,解壓后與ES的版本一致,下面網(wǎng)盤自取

鏈接: https://pan.baidu.com/s/1ZISaAqK476DNl0RG8RPaqA?pwd=qr4f 提取碼: qr4f

第二步:
把下載好的ik分詞器zip包放到服務(wù)器上,方便操作可以放在在ES解壓目錄下的plugins目錄下,通過下面命令解壓

unzip ik分詞器的zip包

第二步:
進(jìn)入到解壓后的ik分詞器的目錄中,執(zhí)行下面命令打包

mvn clean install

第三步:
打包成功后可以在ik分詞器解壓目錄下看到target目錄,找到releases目錄下的zip,移動到提前在ES解壓目錄下的plugins目錄下創(chuàng)建好的ik目錄下,我這里通過mv命令移動

mv releases目錄下的zip 目標(biāo)目錄路徑

第四步:
在ES解壓目錄下的plugins目錄下的ik目錄下解壓剛才移動過來的zip包(使用unzip命令解壓),解壓后會看到如下圖所示
linux 安裝ik分詞器,ES,linux,elasticsearch,kibaba,ik
把這里面的zip包刪除,最后ik目錄下的文件就下圖所示即可
linux 安裝ik分詞器,ES,linux,elasticsearch,kibaba,ik
最后把與ik目錄同級的ik分詞器的zip包及其解壓后的包刪除

第五步:
重新啟動ES,查看ik分詞器插件是否集成成功
查看ES進(jìn)程命令

ps -ef|grep elasticsearch

ES啟動后會有兩個進(jìn)程,通過PPID的進(jìn)程號kill掉就能停止ES

ES停止后在解壓目錄下的bin目錄下執(zhí)行下面命令重啟ES(后臺啟動)

./elasticsearch -d

第六步:
檢查插件是否安裝,在ES解壓目錄下的bin目錄下執(zhí)行下面命令

./elasticsearch-plugin list

執(zhí)行命令后出現(xiàn)以下內(nèi)容即為ik分詞器集成成功
linux 安裝ik分詞器,ES,linux,elasticsearch,kibaba,ik

文本抽取

準(zhǔn)備工作

Elasticsearch部署成功

文本抽取是為了抽取上傳的文件里面的內(nèi)容,類似于文件內(nèi)容的識別,可抽取word、excel、txt,pdf文件的內(nèi)容,用于ES查詢的時候可以對文件內(nèi)容做模糊匹配查詢

在ES解壓目錄下的bin目錄下執(zhí)行下面命令進(jìn)行文本抽取插件的安裝

elasticsearch-plugin install ingest-attachment

安裝后同ik分詞器一樣需要重啟ES以及通過插件查詢命令查看是否集成成功

Kibana可視化平臺(Linux)

準(zhǔn)備工作:

Elasticsearch部署成功

第一步:
下載地址:官方下載地址
我這里下載的是7.16.0版本(下面網(wǎng)盤自?。?/p>

鏈接: https://pan.baidu.com/s/19N0RNifc0fxj7eoUUZQEKA?pwd=mmxt 提取碼: mmxt

第二步:
將下載的包放到ES解壓目錄下并進(jìn)行解壓,解壓命令參考ES部署的第二步

第三步:
修改Kibana配置
在Kibana的解壓目錄下的config目錄下的kibana.yml文件,修改配置文件

#Kibana提供服務(wù)的端口
server.port: 5601
#指定Kibana服務(wù)器將綁定到的地址,設(shè)置為0.0.0.0表示所有IP都可以訪問
server.host: "0.0.0.0"
#用于所有查詢的Elasticsearch實(shí)例的url
elasticsearch.hosts: ["http://127.0.0.1:9200"]
#設(shè)置語言:英文 en,默認(rèn)為中文 zh-CN。
i18n.locale: "zh-CN"

第四步:
啟動Kibanaq啟動命令如下:

nohup ./kibana &

查找Kibana進(jìn)程的命令:

ps -ef|grep node

有 node 不一定就是 kibana 的進(jìn)程。kibana 對外的 tcp 端口是 5601,如果改了自行調(diào)整命令,所以可以進(jìn)一步使用如下命令查到進(jìn)程號

netstat -tunlp|grep 5601

關(guān)閉命令,通過kill -9 殺死即可

第五步:

訪問Kibana,通過IP+Kibana端口進(jìn)行訪問,如果訪問不了,先查看下linux防火墻有沒有開放端口文章來源地址http://www.zghlxwxcb.cn/news/detail-756539.html

到了這里,關(guān)于linux搭建單機(jī)ES,集成ik分詞器,文本抽取,Kibana可視化平臺的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Docker安裝ElasticSearch、Kibana、IK分詞器以及設(shè)置ES賬戶密碼

    Docker安裝ElasticSearch、Kibana、IK分詞器以及設(shè)置ES賬戶密碼

    版本聲明: 系統(tǒng) :CentOS 7.9(云服務(wù)器) ES版本 :7.6.1 Kibana :7.6.1 Ik分析器版本 :7.6.1 1、拉取鏡像 2、創(chuàng)建掛載目錄 設(shè)置所有用戶讀寫執(zhí)行權(quán)限 : sudo chmod -R 777 /docker_config/elasticsearch/ 3、創(chuàng)建elasticsearch.yml 配置文件 4、創(chuàng)建容器 參數(shù)說明 : -p 端口映射 -e discovery.type=single

    2023年04月09日
    瀏覽(34)
  • 最新安裝es8.12.2、es-ik分詞器、kibana-8.12.2

    最新安裝es8.12.2、es-ik分詞器、kibana-8.12.2

    目錄 下載官網(wǎng)安裝包 百度網(wǎng)盤 提取碼:koko Elasticsearch官網(wǎng) es-ik分詞器下載地址 kibana下載地址 es安裝部署 上傳安裝包 解壓 添加用戶組添加用戶 更改目錄 Owner 更換es用戶 修改 config 包下配置文件 elasticsearch.yml 如下: 修改啟動內(nèi)存大小 啟動es 測試驗(yàn)證 本地訪問不了原因: 1、

    2024年03月18日
    瀏覽(41)
  • docker-compse安裝es(包括IK分詞器擴(kuò)展)、kibana、libreoffice

    docker-compse安裝es(包括IK分詞器擴(kuò)展)、kibana、libreoffice

    Kibana是一個開源的分析與可視化平臺,設(shè)計出來用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的數(shù)據(jù)。 Kibana與Elasticsearch的交互方式是各種不同的圖表、表格、地圖等,直觀的展示數(shù)據(jù),從而達(dá)到高級的數(shù)據(jù)分析與可視化的目的。 Elasticsearch、Log

    2024年04月22日
    瀏覽(23)
  • linux安裝搭建配置docker,mysql,nacos,redis哨兵集群,kafka,elasticsearch,kibana,IK分詞器,安裝Rabbitmq,安裝并配置maven

    linux安裝搭建配置docker,mysql,nacos,redis哨兵集群,kafka,elasticsearch,kibana,IK分詞器,安裝Rabbitmq,安裝并配置maven

    目錄 搭建docker 1.2安裝yum工具? 1.3更新阿里鏡像源 1.4下載docker 1.5關(guān)閉防火墻 1.6啟動docker 1.7查看docker版本 1.8配置阿里云鏡像 1.8.1 創(chuàng)建文件夾 1.8.2在文件夾內(nèi)新建一個daemon.json文件 1.8.3重載文件 1.9重啟docker 2安裝MySQL 3安裝nacos 3.1拉取nacos鏡像并啟動 3.2啟動nacos命令 3.3命令敲完

    2024年02月03日
    瀏覽(31)
  • 搜索引擎elasticsearch :安裝elasticsearch (包含安裝組件kibana、IK分詞器、部署es集群)

    搜索引擎elasticsearch :安裝elasticsearch (包含安裝組件kibana、IK分詞器、部署es集群)

    kibana可以幫助我們方便地編寫DSL語句,所以還要裝kibana 因?yàn)槲覀冞€需要部署kibana容器,因此需要讓es和kibana容器互聯(lián)。這里先創(chuàng)建一個網(wǎng)絡(luò): 這里我們采用elasticsearch的7.12.1版本的鏡像,這個鏡像體積非常大,接近1G。不建議大家自己pull。 課前資料提供了鏡像的tar包: 大家將

    2024年02月16日
    瀏覽(26)
  • 服務(wù)器安裝配置elasticsearch,kibana,IK分詞器和拼音分詞器,集群搭建教程

    服務(wù)器安裝配置elasticsearch,kibana,IK分詞器和拼音分詞器,集群搭建教程

    elasticsearch安裝教程大全 elasticsearch學(xué)習(xí)筆記(一) elasticsearch學(xué)習(xí)筆記(二) elasticsearch學(xué)習(xí)筆記(三) 可參考:Debian安裝docker Centos安裝docker (docker-compose可以直接互連) 因?yàn)槲覀冞€需要部署kibana容器,因此需要讓es和kibana容器互聯(lián)。這里先創(chuàng)建一個網(wǎng)絡(luò): Elasticsearch 和 kibana 版

    2023年04月08日
    瀏覽(62)
  • Linux Elasticsearch kibana ik分詞器 安裝部署

    Linux Elasticsearch kibana ik分詞器 安裝部署

    1.1 elasticsearch下載 找到對應(yīng)版本 點(diǎn)擊下載linux版本 1.2 kibana 下載地址 訪問地址后 和elasticsearch 下載操作一樣 版本下載和elasticsearch 一樣的 1.3 ik分詞器下載 這個需要訪問github 如果訪問不通 可以嘗試安裝瀏覽器的插件加速一下github即可 分詞器版本硬性要求 和 elasticsearch必須一

    2024年02月04日
    瀏覽(54)
  • 在 Linux 上使用 Docker 安裝 Elasticsearch 和 Kibana 并配置 IK 分詞器和停用詞典

    在 Linux 上使用 Docker 安裝 Elasticsearch 和 Kibana 并配置 IK 分詞器和停用詞典

    首先要創(chuàng)建一個網(wǎng)絡(luò),以便讓 ES 和 Kibana 容器互聯(lián)。 使用 Docker 拉取 Elasticsearch7.17.11 版本的鏡像: 拉取完鏡像后使用 Docker 運(yùn)行 ES 容器: 注: -e \\\"ES_JAVA_OPTS=-Xms512m -Xmx512m\\\" :設(shè)置堆大?。J(rèn)堆大小為 1GB 1 ) -e \\\"discovery.type=single-node\\\" :單節(jié)點(diǎn)模式 -v es-data:/usr/share/elasticsear

    2024年02月05日
    瀏覽(33)
  • Linux系統(tǒng)下安裝es中ik分詞器詳解

    Linux系統(tǒng)下安裝es中ik分詞器詳解

    首先下載ik分詞器: Releases · medcl/elasticsearch-analysis-ik · GitHub 選擇和自己下載的es版本匹配的ik分詞器版本: 注意: es-ik分詞插件版本一定要和es安裝的版本對應(yīng) 在es安裝目錄下的plugins目錄新建ik文件夾 下載到本地后,借助finalshell工具將文件傳輸?shù)椒?wù)器指定位置: 在服務(wù)器

    2024年02月13日
    瀏覽(22)
  • 安裝elasticsearch、kibana、IK分詞器、擴(kuò)展IK詞典

    安裝elasticsearch、kibana、IK分詞器、擴(kuò)展IK詞典

    后面還會安裝 kibana ,這個會提供可視化界面方面學(xué)習(xí)。 需要注意的是 elasticsearch 和 kibana 版本一定要一樣!?。?否則就像這樣 1、創(chuàng)建網(wǎng)絡(luò) 因?yàn)槲覀冞€需要部署kibana容器,因此需要讓es和kibana容器互聯(lián)。這里先創(chuàng)建一個網(wǎng)絡(luò): 2、鏡像安裝 pull 安裝 因?yàn)殓R像文件比較大,將

    2024年02月02日
    瀏覽(45)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包