作者：Matt Riley

今天我們將向大家介紹 Elasticsearch Relevance Engine?（ESRE?），這是一種創(chuàng)建高度相關(guān)的 AI 搜索應(yīng)用程序的新功能。ESRE 建立在 Elastic 在搜索領(lǐng)域的領(lǐng)導(dǎo)地位以及超過(guò)兩年的機(jī)器學(xué)習(xí)研究和開(kāi)發(fā)基礎(chǔ)之上。Elasticsearch Relevance Engine 結(jié)合了 AI 的最佳實(shí)踐和 Elastic 的文本搜索。ESRE 為開(kāi)發(fā)人員提供了一整套將復(fù)雜的檢索算法和與大型語(yǔ)言模型（LLM）集成的能力。不僅如此，ESRE 使用 Elastic 的簡(jiǎn)單、統(tǒng)一 API，開(kāi)發(fā)人員可以立即開(kāi)始以提高搜索相關(guān)性，因?yàn)檫@些 API 已經(jīng)得到 Elastic 社區(qū)的信任和廣泛應(yīng)用。

Elasticsearch Relevance Engine 的可配置功能可通過(guò)以下方式提高相關(guān)性:

• 應(yīng)用高級(jí)相關(guān)性排名功能，包括 BM25f，這是混合搜索的關(guān)鍵組成部分
• 使用 Elastic 的向量數(shù)據(jù)庫(kù)創(chuàng)建、存儲(chǔ)和搜索密集向量
• 使用各種自然語(yǔ)言處理（NLP）任務(wù)和模型處理文本
• 讓開(kāi)發(fā)人員在 Elastic 中管理和使用自己的 transformer 模型，以適應(yīng)業(yè)務(wù)特定的上下文
• 通過(guò) API 與第三方轉(zhuǎn)換器模型集成（如 OpenAI 的 GPT-3 和 4），從 Elasticsearch 集群中匯總的客戶數(shù)據(jù)存儲(chǔ)的檢索內(nèi)容中提取直觀摘要
• 使用 Elastic 的開(kāi)箱即用的 Learned Sparse Encoder 模型實(shí)現(xiàn)基于 ML 的搜索，無(wú)需訓(xùn)練或維護(hù)模型，可在各種領(lǐng)域提供高度相關(guān)、語(yǔ)義化的搜索
• 與第三方工具集成，例如 LangChain，以幫助構(gòu)建復(fù)雜的數(shù)據(jù)管道和生成式 AI 應(yīng)用程序

搜索的發(fā)展始終受到提高相關(guān)性和不斷改進(jìn)搜索應(yīng)用程序交互方式的需求的推動(dòng)。高度相關(guān)的搜索結(jié)果可以導(dǎo)致搜索應(yīng)用程序上的用戶參與度增加，對(duì)收入和生產(chǎn)力產(chǎn)生重大的影響。在新的 LLM 和生成式 AI 世界中，搜索可以走得更遠(yuǎn)，理解用戶意圖，提供前所未有的響應(yīng)特定性。

值得注意的是，每一次搜索進(jìn)步都提供了更好的相關(guān)性，同時(shí)解決了新興技術(shù)和不斷變化的用戶行為所帶來(lái)的新挑戰(zhàn)。無(wú)論是擴(kuò)展關(guān)鍵字搜索以提供語(yǔ)義搜索，還是為視頻和圖像啟用新的搜索模式，新技術(shù)都需要獨(dú)特的工具來(lái)為搜索用戶提供更好的體驗(yàn)。同樣，當(dāng)今人工智能世界需要一個(gè)新的、高度可擴(kuò)展的開(kāi)發(fā)人員工具包，該工具包應(yīng)建立在被廣泛印證、被客戶測(cè)試過(guò)的技術(shù)堆棧上。

隨著生成式 AI 的發(fā)展勢(shì)頭和 ChatGPT 等技術(shù)的日益普及，以及對(duì)大型語(yǔ)言模型能力的日益增強(qiáng)的認(rèn)識(shí)，開(kāi)發(fā)人員渴望嘗試使用技術(shù)來(lái)改進(jìn)他們的應(yīng)用程序。Elasticsearch Relevance Engine 為生成式 AI 世界帶來(lái)了新的能力，并以強(qiáng)大的工具迎接當(dāng)今時(shí)代，任何開(kāi)發(fā)團(tuán)隊(duì)都可以立即使用。

Elasticsearch Relevance Engine 現(xiàn)在可以在 Elastic Cloud 上使用，這是唯一一個(gè)包含此最新版本中所有新功能的托管 Elasticsearch 服務(wù)。您還可以下載 Elastic Stack 和我們的云編排產(chǎn)品 Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes，以在自建集群上獲得體驗(yàn)。

想了解更多關(guān)于 Elasticsearch Relevance Engine? 的信息？請(qǐng)查看這些技術(shù)博客：

• ChatGPT and Elasticsearch
• Elastic Learned Sparse Encoder blog
• Accessing machine learning models in Elastic
• Privacy-first AI search using LangChain and Elasticsearch

克服生成式 AI 模型的局限性

Elasticsearch Relevance Engine? 可以很好地幫助開(kāi)發(fā)人員快速發(fā)展并應(yīng)對(duì)自然語(yǔ)言搜索的這些挑戰(zhàn)，包括生成 AI。

1）企業(yè)數(shù)據(jù)/上下文感知： 模型可能沒(méi)有足夠的與特定領(lǐng)域相關(guān)的內(nèi)部知識(shí)。這源于訓(xùn)練模型的數(shù)據(jù)集。為了定制 LLM 生成的數(shù)據(jù)和內(nèi)容，企業(yè)需要一種方法來(lái)為模型提供專有數(shù)據(jù)，以便他們能夠?qū)W習(xí)提供更多相關(guān)的、特定于業(yè)務(wù)的信息。

2）卓越的相關(guān)性： Elasticsearch 相關(guān)性引擎讓來(lái)自私有數(shù)據(jù)源的數(shù)據(jù)集成起來(lái)變得簡(jiǎn)單，只需生成和存儲(chǔ) embeddings，就可以使用語(yǔ)義搜索檢索上下文。embeddings 是對(duì)單詞、短語(yǔ)或文檔的數(shù)值表示，可以幫助 LLM 理解單詞的含義和關(guān)系。這些 embeddings 可以提高轉(zhuǎn)換器模型的輸出速度和規(guī)模。ESRE 還允許開(kāi)發(fā)者將自己的轉(zhuǎn)換器模型引入 Elastic 或與第三方模型集成。

我們還意識(shí)到，后期交互模型的出現(xiàn)使我們能夠提供開(kāi)箱即用的功能——無(wú)需對(duì)第三方數(shù)據(jù)集進(jìn)行大量培訓(xùn)或微調(diào)。由于并非每個(gè)開(kāi)發(fā)團(tuán)隊(duì)都有資源或?qū)I(yè)知識(shí)來(lái)訓(xùn)練和維護(hù)機(jī)器學(xué)習(xí)模型，也不了解規(guī)模、性能和速度之間的權(quán)衡，因此 Elasticsearch Relevance Engine 還提供了 Elastic Learned Sparse Encoder，一個(gè)為跨領(lǐng)域語(yǔ)義搜索而構(gòu)建的檢索模型。該模型將稀疏向量與基于關(guān)鍵字的傳統(tǒng) BM25 搜索配對(duì)，為混合搜索提供了一個(gè)易于使用的 Reciprocal Rank Fusion (RRF)評(píng)分器。ESRE 在第一天就為開(kāi)發(fā)人員提供了機(jī)器學(xué)習(xí)驅(qū)動(dòng)的相關(guān)性和混合搜索技術(shù)。

3）隱私和安全：數(shù)據(jù)隱私是企業(yè)使用和安全地在網(wǎng)絡(luò)和組件之間傳遞專有數(shù)據(jù)的核心，即使是在構(gòu)建創(chuàng)新的搜索體驗(yàn)時(shí)也是如此。

Elastic 提供基于角色和基于屬性的訪問(wèn)控制的原生支持，以確保只有那些有權(quán)訪問(wèn)數(shù)據(jù)的角色才能看到它，即使對(duì)于聊天和問(wèn)答應(yīng)用程序也是如此。Elasticsearch 可以支持您的組織保持某些文檔可供特權(quán)個(gè)人訪問(wèn)的需求，從而幫助您的組織維護(hù)所有搜索應(yīng)用程序的通用隱私和訪問(wèn)控制。

當(dāng)隱私是最重要的關(guān)注點(diǎn)時(shí)，將所有數(shù)據(jù)保留在您組織的網(wǎng)絡(luò)內(nèi)不僅是至關(guān)重要的，而且是必須的。從允許您的組織實(shí)現(xiàn)在隔離環(huán)境中部署應(yīng)用程序，到支持訪問(wèn)安全網(wǎng)絡(luò)，ESRE 提供了您需要的工具來(lái)幫助您的組織保護(hù)您的數(shù)據(jù)安全。

4）規(guī)模和成本： 由于數(shù)據(jù)量和所需的計(jì)算能力和內(nèi)存，使用大型語(yǔ)言模型對(duì)于許多企業(yè)來(lái)說(shuō)可能是不切實(shí)際的。然而，想要構(gòu)建自己的生成式 AI 應(yīng)用程序（如聊天機(jī)器人）的企業(yè)需要將 LLM 與他們的私有數(shù)據(jù)結(jié)合起來(lái)。

Elasticsearch Relevance Engine 為企業(yè)提供了一種高效地提供相關(guān)性的引擎，它使用精確的上下文窗口來(lái)幫助減少數(shù)據(jù)占用空間，而不會(huì)帶來(lái)麻煩和費(fèi)用。

5）過(guò)時(shí)： 模型在收集訓(xùn)練數(shù)據(jù)時(shí)，被凍結(jié)在過(guò)去的某時(shí)間點(diǎn)上。因此，生成式 AI 模型創(chuàng)建的內(nèi)容和數(shù)據(jù)只有在它們被訓(xùn)練時(shí)才是最新的。將企業(yè)數(shù)據(jù)集成起來(lái)是使 LLM 能夠提供及時(shí)結(jié)果的內(nèi)在需求。

6）幻覺(jué)：在回答問(wèn)題或交互式對(duì)話時(shí)，LLM 可能會(huì)編造一些聽(tīng)起來(lái)可信且令人信服的事實(shí)，但實(shí)際上是不不符合事實(shí)的預(yù)測(cè)。這也是為什么需要將 LLM 與具有上下文、定制化知識(shí)相結(jié)合，以使模型在商業(yè)環(huán)境中可用的另一個(gè)至關(guān)重要的原因。

Elasticsearch Relevance Engine 讓開(kāi)發(fā)者可以通過(guò)生成式AI模型中的一個(gè)上下文窗口，連接到他們自己的數(shù)據(jù)存儲(chǔ)。添加的搜索結(jié)果可以提供來(lái)自私有源或?qū)I(yè)領(lǐng)域的最新信息，因此在被提示時(shí)可以返回更多的事實(shí)信息，而不是僅僅依賴于模型所謂的 “參數(shù)化” 知識(shí)。

借助向量數(shù)據(jù)庫(kù)的強(qiáng)大功能

Elasticsearch Relevance Engine 包含了一個(gè)經(jīng)過(guò)設(shè)計(jì)的彈性、生產(chǎn)級(jí)的向量數(shù)據(jù)庫(kù)。它為開(kāi)發(fā)者提供了一個(gè)構(gòu)建豐富的語(yǔ)義搜索應(yīng)用程序的基礎(chǔ)。使用 Elastic 的平臺(tái)，開(kāi)發(fā)團(tuán)隊(duì)可以使用密集向量檢索來(lái)創(chuàng)建更直觀的問(wèn)答，不受關(guān)鍵字或同義詞的限制。他們可以使用圖像等非結(jié)構(gòu)化數(shù)據(jù)來(lái)構(gòu)建多模態(tài)搜索，甚至可以對(duì)用戶畫(huà)像進(jìn)行建模來(lái)獲取個(gè)性化的搜索結(jié)果，以用于產(chǎn)品和發(fā)現(xiàn)、求職或配對(duì)應(yīng)用程序。這些NLP轉(zhuǎn)換器模型還可以實(shí)現(xiàn)情感分析、命名實(shí)體識(shí)別和文本分類等機(jī)器學(xué)習(xí)任務(wù)。Elastic的向量數(shù)據(jù)庫(kù)讓開(kāi)發(fā)者可以創(chuàng)建、存儲(chǔ)和查詢向量，這些向量具有高度的可擴(kuò)展性和性能，適用于真正的生產(chǎn)應(yīng)用程序。

Elasticsearch 擅長(zhǎng)高相關(guān)性的搜索檢索。有了 ESRE，Elasticsearch 為生成式 AI 提供了與企業(yè)專有數(shù)據(jù)相連接的上下文窗口，讓開(kāi)發(fā)者可以構(gòu)建更吸引人、更準(zhǔn)確的搜索體驗(yàn)。搜索結(jié)果根據(jù)用戶的原始查詢返回，開(kāi)發(fā)者可以將數(shù)據(jù)傳遞給他們選擇的語(yǔ)言模型，以提供帶有額外上下文的答案。Elastic 利用來(lái)自您企業(yè)存儲(chǔ)的相關(guān)上下文數(shù)據(jù)內(nèi)容，為問(wèn)答和個(gè)性化功能提供加速，這些數(shù)據(jù)是私有的，也是針對(duì)您業(yè)務(wù)定制的。

為所有開(kāi)發(fā)人員提供開(kāi)箱即用的卓越相關(guān)性

隨著 Elasticsearch Relevance Engine 的發(fā)布，我們正在使 Elastic 的專有檢索模型隨時(shí)可用。該模型易于下載，并且可以與我們所有的攝取機(jī)制（如 Elastic 網(wǎng)絡(luò)爬蟲(chóng)、連接器或 API）一起使用。開(kāi)發(fā)者可以將其與他們可搜索的語(yǔ)料庫(kù)一起開(kāi)箱即用，而且它足夠小，可以適應(yīng)筆記本電腦的內(nèi)存。Elastic Learned Sparse Encoder 為諸如知識(shí)庫(kù)、學(xué)術(shù)期刊、法律發(fā)現(xiàn)和專利數(shù)據(jù)庫(kù)等搜索用例提供了跨領(lǐng)域的語(yǔ)義搜索，無(wú)需調(diào)整或訓(xùn)練就能提供高度相關(guān)的搜索結(jié)果。

大多數(shù)真實(shí)世界的測(cè)試顯示，混合排名技術(shù)正在產(chǎn)生最相關(guān)的搜索結(jié)果集。直到現(xiàn)在，我們一直缺少一個(gè)關(guān)鍵組件 —— RRF。我們現(xiàn)在為您的應(yīng)用程序搜索需求提供 RRF，這樣您就可以將向量和文本搜索能力結(jié)合起來(lái)。

機(jī)器學(xué)習(xí)在增強(qiáng)搜索結(jié)果與語(yǔ)義上下文的相關(guān)性方面處于領(lǐng)先地位，但是往往由于成本、復(fù)雜性和資源需求而使得開(kāi)發(fā)者難以有效地實(shí)施它。開(kāi)發(fā)者通常需要專業(yè)機(jī)器學(xué)習(xí)或數(shù)據(jù)科學(xué)團(tuán)隊(duì)的支持來(lái)構(gòu)建高度相關(guān)的 AI 驅(qū)動(dòng)的搜索。這些團(tuán)隊(duì)花費(fèi)大量時(shí)間選擇合適的模型，在特定領(lǐng)域的數(shù)據(jù)集上進(jìn)行訓(xùn)練，并隨著數(shù)據(jù)及其關(guān)系變化而維護(hù)模型。

了解 Go1 如何使用 Elastic 的向量數(shù)據(jù)庫(kù)進(jìn)行可擴(kuò)展的語(yǔ)義搜索。

沒(méi)有專業(yè)團(tuán)隊(duì)支持的開(kāi)發(fā)者也可以實(shí)施語(yǔ)義搜索，并從一開(kāi)始就受益于 AI 驅(qū)動(dòng)的搜索相關(guān)性，而無(wú)需其他替代方案所需的努力和專業(yè)知識(shí)。從今天開(kāi)始，所有客戶都擁有構(gòu)建塊來(lái)幫助實(shí)現(xiàn)更好的相關(guān)性和更現(xiàn)代、更智能的搜索。

試試看

了解這些功能以及查看更多信息。

現(xiàn)有的 Elastic Cloud 客戶可以直接從 Elastic Cloud 控制臺(tái)訪問(wèn)其中的許多功能。沒(méi)有利用 Elastic on Cloud？了解如何將 Elasticsearch 與 LLM 和生成式 AI 結(jié)合使用。

本博文中描述的任何特性或功能的發(fā)布和時(shí)間安排均由 Elastic 自行決定。任何目前還沒(méi)有的功能或特性，可能會(huì)延期或者根本不會(huì)出現(xiàn)。
Elastic、Elasticsearch、Elasticsearch Relevance Engine、ESRE、Elastic Learned Sparse Encoder 和相關(guān)標(biāo)記是 Elasticsearch NV 在美國(guó)和其他國(guó)家/地區(qū)的商標(biāo)、徽標(biāo)或注冊(cè)商標(biāo)。所有其他公司和產(chǎn)品名稱均為其各自所有者的商標(biāo)、徽標(biāo)或注冊(cè)商標(biāo)。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-458719.html

到了這里，關(guān)于Elastic 發(fā)布 Elasticsearch Relevance Engine? — 為 AI 革命提供高級(jí)搜索能力的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！