作者：Matt Riley

Elastic 的創(chuàng)新投資支持開放的生態(tài)系統(tǒng)和更簡單的開發(fā)者體驗(yàn)。

在本博客中，我們希望分享 Elastic? 為簡化你構(gòu)建 AI 應(yīng)用程序的體驗(yàn)而進(jìn)行的投資。 我們知道，開發(fā)人員必須在當(dāng)今快速發(fā)展的人工智能環(huán)境中保持靈活性。 然而，常見的挑戰(zhàn)使得構(gòu)建生成式人工智能應(yīng)用變得不必要的僵化和復(fù)雜。 僅舉幾例：

• 向量 — 從可以使用多少向量到可以使用哪些向量以及如何對(duì)大段文本進(jìn)行分塊
• 評(píng)估、交換和管理大型語言模型 (LLM)
• 設(shè)置有效的語義搜索（特別是如果你的開發(fā)團(tuán)隊(duì)資源有限或有技能上的差距）
• 利用現(xiàn)有投資和當(dāng)前架構(gòu)，同時(shí)平衡技術(shù)債務(wù)
• 從概念驗(yàn)證擴(kuò)展到生產(chǎn)
• 確保最終用戶應(yīng)用程序快速、經(jīng)濟(jì)高效，并在響應(yīng)查詢時(shí)反映安全、最新的專有數(shù)據(jù)
• 實(shí)施分散且復(fù)雜

靈活的工具可幫助你快速適應(yīng)、響應(yīng)變化并加速你的項(xiàng)目。 這就是為什么 Elastic 建立在 Apache Lucene 的基礎(chǔ)上，提供最好的開放代碼向量數(shù)據(jù)庫和搜索引擎。 Elastic 還積極與整個(gè)生態(tài)系統(tǒng)合作，以擴(kuò)大對(duì)轉(zhuǎn)換器（transformer）和基礎(chǔ)模型的支持。

此外，我們還利用 Elastic 專有的 Learned Sparse EncodeR 模型 ELSER（現(xiàn)已已正式發(fā)布）讓開箱即用的高度相關(guān)語義搜索變得更加容易。 我們正在減少與檢索增強(qiáng)生成 (RAG) 相關(guān)的成本和處理時(shí)間，該檢索過程為自定義用例的從專有數(shù)據(jù)源到 LLM 的自然語言查詢提供相關(guān)響應(yīng)。 而且，我們正在簡化 Elasticsearch? 的開發(fā)人員體驗(yàn)，以便實(shí)現(xiàn)簡單明了。

開發(fā)人員正在積極塑造生成式人工智能應(yīng)用程序的未來。 Elastic 的突破性投資（以及即將到來的更多投資）反映了為什么我們的人工智能搜索分析平臺(tái)是新一代搜索工作負(fù)載的最佳選擇。

一切都在 Apache Lucene 上

這一切都始于 Apache Lucene，這是一個(gè)開源搜索引擎軟件庫，經(jīng)受住了時(shí)間的考驗(yàn)，并為 Elasticsearch 提供了基礎(chǔ)。 雖然 Elasticsearch 憑借其在向量搜索、可擴(kuò)展性和性能方面的創(chuàng)新，已成為下載次數(shù)最多的向量數(shù)據(jù)庫，但我們平臺(tái)的優(yōu)勢源于 Elastic 和 Lucene 社區(qū)首先投資于 Apache Lucene 的這些進(jìn)步。 事實(shí)上，Elastic 有著增強(qiáng) Lucene 功能的歷史，例如數(shù)字和地理空間搜索功能、Weak AND 支持以及改進(jìn)的列式存儲(chǔ)。 推動(dòng) Lucene 社區(qū)的發(fā)展意味著每個(gè)人都走得更遠(yuǎn)、更快。 作為這些投資的推動(dòng)者意味著 Elastic 用戶首先會(huì)獲得根據(jù)其搜索需求量身定制的價(jià)值。

在 Elastic，我們知道 Lucene 具有超越全文搜索的潛力：開發(fā)人員需要全面的功能來構(gòu)建搜索應(yīng)用程序和生成式 AI 體驗(yàn)，包括聚合、過濾、分面等。最終，我們有望使 Lucene 成為最領(lǐng)先的 - 全球領(lǐng)先的向量數(shù)據(jù)庫，并與全球數(shù)百萬 Elasticsearch 用戶分享其功能。 這就是為什么 Elastic 的開發(fā)人員定期向 Lucene 提交代碼并利用其基礎(chǔ)代碼進(jìn)行新項(xiàng)目的原因，例如：

• 將最大內(nèi)積引入 Lucene
• 使用 SIMD 指令加速向量搜索
• 提供完整的文檔向量搜索，允許文檔在一個(gè)字段內(nèi)具有多個(gè)向量，并按最相似的向量進(jìn)行排名 - 處理從長文本段落派生的正確評(píng)分向量的復(fù)雜性，以解決一個(gè)常見的挑戰(zhàn) - 當(dāng)使用文本嵌入時(shí)，維護(hù)大型文本的整體上下文
• Lucene 中的融合乘加 (FMA)

由于 Elasticsearch 構(gòu)建在 Lucene 之上，因此當(dāng)你升級(jí)到我們的最新版本時(shí)，你將自動(dòng)受益于所有最新改進(jìn)。 我們已經(jīng)開始通過向 Lucene 添加標(biāo)量量化支持（一項(xiàng)關(guān)鍵的成本節(jié)約功能）來貢獻(xiàn)客戶所需的下一個(gè)基礎(chǔ)投資。

在語義搜索和 RAG 方面首屈一指

開發(fā)人員的任務(wù)是構(gòu)建相關(guān)、高性能且經(jīng)濟(jì)高效的搜索和生成人工智能應(yīng)用程序。 很簡單，你需要能夠從所有專有數(shù)據(jù)源檢索數(shù)據(jù)來構(gòu)建 RAG，從而提供最佳、最相關(guān)的結(jié)果。 為此，我們?yōu)槠髽I(yè)數(shù)據(jù)庫和流行的生產(chǎn)力工具以及 OneDrive、Google Drive、GitHub、ServiceNow、Sharepoint、Teams、Slack 等內(nèi)容源添加了更多本機(jī)連接器和連接器客戶端。

更值得注意的是，在 Elastic 8.11 版本中，我們宣布全面推出 Elastic Learned Sparse EncodeR (ELSER)。 這是我們專有的人工智能模型，用于提供世界一流的語義搜索。 ELSER 是一種預(yù)先訓(xùn)練的文本檢索模型，可提供跨領(lǐng)域高度相關(guān)的結(jié)果，并允許你通過執(zhí)行幾個(gè)簡單的步驟來實(shí)現(xiàn)語義搜索。 自 5 月份推出技術(shù)預(yù)覽版以來，ELSER 已得到廣泛采用，使我們能夠根據(jù)客戶反饋進(jìn)行改進(jìn)。 我們的正式版 ELSER 模型提高了相關(guān)性并減少了攝取和檢索時(shí)間。 你現(xiàn)在可以升級(jí)以利用這些增強(qiáng)功能。

生成式人工智能領(lǐng)域面臨的另一個(gè)障礙是：更高的計(jì)算成本和更慢的響應(yīng)時(shí)間。 生成式 LLM 調(diào)用會(huì)產(chǎn)生每個(gè) token 的成本，并且需要額外的處理，這需要時(shí)間。 然而，憑借嵌入和快速 k 最近鄰算法 (kNN) 的強(qiáng)大功能，Elastic 可以用作生成式 AI 應(yīng)用程序的緩存層，輕松識(shí)別類似的查詢和響應(yīng)，并提供更快、更具成本效益的答案。 就成本效率而言，在 AWS 上，我們現(xiàn)在還提供向量搜索優(yōu)化的 Elastic Cloud 硬件配置文件，具有最佳的默認(rèn) RAM 比率，能夠以經(jīng)濟(jì)高效的方式存儲(chǔ)更多向量。

Elastic 在使語義搜索和 RAG 易于一起使用方面做得越好，開發(fā)人員就能越快地為最終用戶打造出色的生成式 AI 體驗(yàn)。 這就是為什么我們專注于讓開發(fā)人員能夠輕松實(shí)用地使用該技術(shù)。

整個(gè)生態(tài)系統(tǒng)的選擇和靈活性

通過開放平臺(tái)幫助你快速響應(yīng)人工智能時(shí)代的變化，你可以在其中使用各種工具和一致的標(biāo)準(zhǔn)，這是加速生成式人工智能項(xiàng)目的關(guān)鍵。 這就是為什么開發(fā)人員可以在 Elasticsearch 中靈活使用和托管各種 Transformer 模型，包括私有和公共 Hugging Face 模型。 你還可以將由 AWS SageMaker、Google Vertex AI、Cohere、OpenAI 等第三方服務(wù)生成的向量存儲(chǔ)在 Elasticsearch 中。

我們還擴(kuò)大了對(duì)生態(tài)系統(tǒng)工具的支持，以便你可以輕松地將 Elasticsearch 與 LangChain 和 LlamaIndex 一起用作向量數(shù)據(jù)庫。 事實(shí)上，我們最近與 LangChain 團(tuán)隊(duì)就 LangChain Templates 進(jìn)行了合作，以幫助開發(fā)人員構(gòu)建可立即投入生產(chǎn)的生成式 AI 應(yīng)用程序。 感謝我們的社區(qū)，Elastic 已經(jīng)成為 LangChain 上最受歡迎的矢量商店之一。 現(xiàn)在，借助新的 RAG 模板，你可以使用 LangSmith 和 Elasticsearch 創(chuàng)建生產(chǎn)級(jí)功能。

簡單的開發(fā)者體驗(yàn)

我們致力于打造簡化的開發(fā)者體驗(yàn)。 我們正在發(fā)布簡化的命令，這些命令抽象了推理和模型管理工作流的復(fù)雜性，你可以在一個(gè)簡單的 API 后面使用這些工作流。 我們正在改進(jìn)密集向量的默認(rèn)設(shè)置，并提供自動(dòng)映射。 通過一次調(diào)用，你可以總結(jié)結(jié)果或?qū)⑽谋厩度肴魏文Ｐ偷南蛄?，從而減少構(gòu)建和學(xué)習(xí)所需的時(shí)間。

很快，我們將推出 Elastic 的新無服務(wù)器（severless）架構(gòu)，這是一個(gè)新的部署選項(xiàng)，適合那些想要專注于創(chuàng)造創(chuàng)新體驗(yàn)而不是管理底層基礎(chǔ)設(shè)施的開發(fā)人員。 我們專注于為你提供所需的所有工具，因此我們?cè)?Python、PHP、JavaScript、Ruby、Java、.Net 和 Go 的無服務(wù)器架構(gòu)中添加新的語言客戶端。

我們還清楚地意識(shí)到，開始使用快速變化的新技術(shù)可能具有挑戰(zhàn)性，這就是為什么我們?yōu)槊總€(gè) Elastic 部署選項(xiàng)提供簡單的入門指導(dǎo)和代碼，包括實(shí)際示例來幫助你快速啟動(dòng)新項(xiàng)目。

現(xiàn)在是成為一名 Elasticsearch 開發(fā)人員的最佳時(shí)機(jī)。 我們最近的研究和開發(fā)工作正在使 Lucene 成為世界上最好的向量數(shù)據(jù)庫。 我們確保語義搜索和 RAG 在易用性、相關(guān)性、速度、規(guī)模和成本效率方面無與倫比。 我們將生態(tài)系統(tǒng)的開放性、靈活性和簡單性作為開發(fā)者體驗(yàn)的核心。

準(zhǔn)備好開始在 Elasticsearch 上構(gòu)建下一代搜索了嗎？ 嘗試 Elasticsearch Relevance Engine?，這是我們用于構(gòu)建 AI 搜索應(yīng)用程序的開發(fā)人員工具套件。

本文中描述的任何特性或功能的發(fā)布和時(shí)間安排均由 Elastic 自行決定。 當(dāng)前不可用的任何特性或功能可能無法按時(shí)交付或根本無法交付。

在這篇博文中，我們可能使用或引用了第三方生成人工智能工具，這些工具由其各自所有者擁有和運(yùn)營。 Elastic 對(duì)第三方工具沒有任何控制權(quán)，我們對(duì)其內(nèi)容、操作或使用不承擔(dān)任何責(zé)任，也不對(duì)你使用此類工具可能產(chǎn)生的任何損失或損害負(fù)責(zé)。 使用人工智能工具處理個(gè)人、敏感或機(jī)密信息時(shí)請(qǐng)務(wù)必謹(jǐn)慎。 你提交的任何數(shù)據(jù)都可能用于人工智能培訓(xùn)或其他目的。 無法保證你提供的信息將得到安全或保密。 在使用之前，你應(yīng)該熟悉任何生成式人工智能工具的隱私慣例和使用條款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相關(guān)標(biāo)記是 Elasticsearch N.V. 在美國和其他國家/地區(qū)的商標(biāo)、徽標(biāo)或注冊(cè)商標(biāo)。 所有其他公司和產(chǎn)品名稱均為其各自所有者的商標(biāo)、徽標(biāo)或注冊(cè)商標(biāo)。

原文：Paving the way for modern search workflows and generative AI apps | Elastic Blog文章來源地址http://www.zghlxwxcb.cn/news/detail-758661.html

到了這里，關(guān)于Elasticsearch：為現(xiàn)代搜索工作流程和生成式人工智能應(yīng)用程序鋪平道路的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！