一、IK 分詞器簡介
elasticsearch 默認(rèn)的內(nèi)置分詞器對(duì)中文的分詞效果可能并不理想,因?yàn)樗鼈冎饕轻槍?duì)英文等拉丁語系的文本設(shè)計(jì)的。如果要在中文文本上獲得更好的分詞效果,我們可以考慮使用中文專用的分詞器。
IK 分詞器是一個(gè)開源的中文分詞器插件,特別為 Elasticsearch 設(shè)計(jì)和優(yōu)化。它在中文文本的分詞處理上表現(xiàn)出色,能夠根據(jù)中文語言習(xí)慣進(jìn)行精細(xì)的分詞。
以下是 IK 分詞器的一些特點(diǎn)和功能:
1. 支持細(xì)粒度分詞:
IK 分詞器能夠?qū)⒅形奈谋景凑赵~語級(jí)別進(jìn)行切分,實(shí)現(xiàn)更加細(xì)粒度的分詞效果。它可以將一個(gè)詞語切分成多個(gè)合理的子詞,提高了搜索命中率。
2. 支持多種分詞模式:
IK 分詞器提供了兩種分詞模式,即細(xì)粒度和智能模式。細(xì)粒度模式會(huì)將文本切分成盡可能多的詞語,而智能模式則會(huì)根據(jù)上下文進(jìn)行合理的切分,保留詞語的完整性。
3. 支持自定義詞典:
IK 分詞器允許用戶自定義詞典,可以添加新詞、調(diào)整詞頻等,以便更好地適應(yīng)特定的領(lǐng)域或需求。自定義詞典可以提高分詞的準(zhǔn)確性和召回率。
4. 支持拼音分詞:
IK 分詞器還提供了拼音分詞功能,可以將中文文本轉(zhuǎn)換為拼音,方便進(jìn)行拼音搜索和拼音排序。
5. 易于集成和使用:
IK 分詞器是一個(gè)獨(dú)立的插件,可以輕松地集成到 Elasticsearch 中,并且提供了簡單易用的 API 接口。
總的來說,IK 分詞器是一個(gè)功能強(qiáng)大、易于使用的中文分詞器插件,可以顯著改善 Elasticsearch 在中文文本上的分詞效果。通過細(xì)粒度的分詞、多種分詞模式、自定義詞典等功能,IK 分詞器能夠更好地滿足中文語境下的搜索需求。
二、安裝步驟
1、下載 IK 分詞器插件:
下載網(wǎng)址:https://github.com/medcl/elasticsearch-analysis-ik/
找到對(duì)應(yīng)版本,下載安裝包
2、安裝 IK 分詞器插件:
新建 ik 文件夾,將ik壓縮包解壓到這里
將下載的插件文件解壓縮到 Elasticsearch 安裝目錄的 plugins 文件夾中。
3. 安裝完ik分詞器閃退問題
這里需要注意es版本與ik的版本一致,我的es版本是7.17.7,但是發(fā)現(xiàn)官網(wǎng)沒有對(duì)應(yīng)的ik版本:
所以,下了個(gè)7.17.6的ik,需要修改下 plugin-descriptor.properties文件
version=7.17.7
elasticsearch.version=7.17.7
重新啟動(dòng)es就不會(huì)閃退了
4、重啟 Elasticsearch:
完成插件安裝后,重啟 Elasticsearch 服務(wù)以使其加載新的插件。
三、ik分詞器模式介紹
IK分詞器是一款開源的中文分詞工具,它提供了兩種模式用于分詞:細(xì)粒度和智能分詞模式。
1. 細(xì)粒度分詞模式(ik_smart):
這是默認(rèn)的分詞模式,它會(huì)盡可能地將句子切分為最小的詞語單元。它不僅可以識(shí)別普通詞匯,還可以識(shí)別一些常見的專有名詞、地名、人名等。
2. 智能分詞模式(ik_max_word):
這種模式會(huì)在細(xì)粒度分詞的基礎(chǔ)上,對(duì)長詞進(jìn)行進(jìn)一步的切分。它可以識(shí)別更多的詞語,但也會(huì)增加一些不必要的詞語。
這兩種模式可以根據(jù)具體的需求選擇使用。如果需要更細(xì)粒度的分詞結(jié)果,可以選擇細(xì)粒度分詞模式;如果需要更全面的分詞結(jié)果,可以選擇智能分詞模式。
3. 分詞器演示:
3.1 ik_smart
sql:文章來源:http://www.zghlxwxcb.cn/news/detail-641016.html
POST _analyze
{
"analyzer": "ik_smart",
"text": "萬般都是命,半點(diǎn)不由人"
}
kibnana演示:
3.2 ik_max_word
sql:
POST _analyze
{
"analyzer": "ik_max_word",
"text": "萬般都是命,半點(diǎn)不由人"
}
kibnana演示:文章來源地址http://www.zghlxwxcb.cn/news/detail-641016.html
到了這里,關(guān)于ElasticSearch之IK分詞器安裝以及使用介紹的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!