?? 為什么選擇上下文增強(qiáng)？LLM的局限

LLM 在人類和數(shù)據(jù)之間提供了一個(gè)自然語(yǔ)言接口。廣泛可用的模型是在大量公開數(shù)據(jù)（如維基百科、郵件列表、教科書、源代碼等）上預(yù)先訓(xùn)練的。然而，雖然 LLM 是在大量數(shù)據(jù)上訓(xùn)練的，但它們并沒有在你的數(shù)據(jù)上訓(xùn)練，這些數(shù)據(jù)可能是私有的，也可能是特定于你試圖解決的問題。它位于 API 后面、SQL 數(shù)據(jù)庫(kù)中，或被困在 PDF 和幻燈片中。

您可以選擇使用您的數(shù)據(jù)微調(diào)?LLM，但是：LLM是昂貴的。由于培訓(xùn)成本高昂，很難用最新信息更新?LLM。缺乏可觀測(cè)性。當(dāng)你問一個(gè)LLM一個(gè)問題時(shí)，LLM是如何得出答案的并不明顯。

無(wú)需微調(diào)，而是可以使用稱為檢索增強(qiáng)生成 （RAG）?的上下文增強(qiáng)模式來獲取與特定數(shù)據(jù)相關(guān)的更準(zhǔn)確的文本生成。RAG 涉及以下高級(jí)步驟：首先從數(shù)據(jù)源中檢索信息，將其作為上下文添加到您的問題中，然后要求 LLM 根據(jù)豐富的提示回答。

通過這樣做，RAG 克服了微調(diào)方法的所有三個(gè)弱點(diǎn)：不涉及培訓(xùn)，所以很便宜。只有在您提出要求時(shí)才會(huì)獲取數(shù)據(jù)，因此數(shù)據(jù)始終是最新的。LlamaIndex 可以向您顯示檢索到的文檔，因此更值得信賴。

?? 為什么選擇 LlamaIndex 進(jìn)行上下文增強(qiáng)？

首先，LlamaIndex 對(duì)您使用 LLM 的方式?jīng)]有限制。您仍然可以將 LLM 用作自動(dòng)完成、聊天機(jī)器人、半自主代理等（請(qǐng)參閱左側(cè)的用例）。它只會(huì)使 LLM 與您更相關(guān)。LlamaIndex 提供以下工具來幫助您快速建立生產(chǎn)就緒的 RAG 系統(tǒng)：

數(shù)據(jù)連接器從其本機(jī)源和格式引入現(xiàn)有數(shù)據(jù)。這些可以是 API、PDF、SQL 等等。

數(shù)據(jù)索引以中間表示形式構(gòu)建數(shù)據(jù)，這些表示形式對(duì) LLM 來說既簡(jiǎn)單又高效。

引擎提供對(duì)數(shù)據(jù)的自然語(yǔ)言訪問。例如：查詢引擎是用于知識(shí)增強(qiáng)輸出的強(qiáng)大檢索接口。聊天引擎是用于與數(shù)據(jù)進(jìn)行多消息“來回”交互的對(duì)話界面。

數(shù)據(jù)代理是由 LLM 驅(qū)動(dòng)的知識(shí)工作者，通過工具進(jìn)行增強(qiáng)，從簡(jiǎn)單的幫助程序函數(shù)到 API 集成等。

應(yīng)用程序集成將?LlamaIndex 重新綁定到生態(tài)系統(tǒng)的其余部分。這可能是 LangChain、Flask、Docker、ChatGPT 或......別的東西！

開始

要安裝庫(kù)，請(qǐng)執(zhí)行以下操作：

pip?install?llama-index

我們建議您從如何閱讀這些文檔開始，這些文檔將根據(jù)您的經(jīng)驗(yàn)水平為您指明正確的位置。

檢索增強(qiáng)生成 （RAG）

LLM 是在大量數(shù)據(jù)上訓(xùn)練的，但它們不是在您的數(shù)據(jù)上訓(xùn)練的。檢索增強(qiáng)生成 （RAG） 通過將數(shù)據(jù)添加到 LLM 已經(jīng)有權(quán)訪問的數(shù)據(jù)中來解決這個(gè)問題。在本文檔中，您將經(jīng)?？吹綄?duì) RAG 的引用。在 RAG 中，您的數(shù)據(jù)被加載并準(zhǔn)備用于查詢或“索引”。用戶查詢作用于索引，索引將數(shù)據(jù)篩選到最相關(guān)的上下文。然后，此上下文和您的查詢會(huì)隨著提示一起轉(zhuǎn)到 LLM，LLM 會(huì)提供響應(yīng)。即使您正在構(gòu)建的是聊天機(jī)器人或代理，您也希望了解將數(shù)據(jù)導(dǎo)入應(yīng)用程序的 RAG 技術(shù)。

RAG 中的階段

RAG 中有五個(gè)關(guān)鍵階段，而這些階段又將成為您構(gòu)建的任何大型應(yīng)用程序的一部分。這些是：

• 加載：這是指將數(shù)據(jù)從其所在位置（無(wú)論是文本文件、PDF、其他網(wǎng)站、數(shù)據(jù)庫(kù)還是 API）獲取到管道中。LlamaHub?提供數(shù)百種連接器供您選擇。

• 索引：這意味著創(chuàng)建一個(gè)允許查詢數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。對(duì)于 LLM 來說，這幾乎總是意味著創(chuàng)建數(shù)據(jù)含義的數(shù)字表示，以及許多其他元數(shù)據(jù)策略，以便輕松準(zhǔn)確地找到上下文相關(guān)的數(shù)據(jù)。vector?embeddings

• 存儲(chǔ)：數(shù)據(jù)編制索引后，您幾乎總是希望存儲(chǔ)索引以及其他元數(shù)據(jù)，以避免重新編制索引。

• 查詢：對(duì)于任何給定的索引策略，您可以通過多種方式利用 LLM 和 LlamaIndex 數(shù)據(jù)結(jié)構(gòu)進(jìn)行查詢，包括子查詢、多步查詢和混合策略。

• 評(píng)估：任何管道中的關(guān)鍵步驟是檢查它相對(duì)于其他策略的有效性，或者何時(shí)進(jìn)行更改。評(píng)估提供了客觀的衡量標(biāo)準(zhǔn)，以衡量您對(duì)查詢的響應(yīng)的準(zhǔn)確性、忠實(shí)度和速度。

每個(gè)步驟中的重要概念

您還會(huì)遇到一些術(shù)語(yǔ)，這些術(shù)語(yǔ)指的是每個(gè)階段中的步驟。