一、前言

繼OpenAI和Google的產(chǎn)品發(fā)布會(huì)之后，大模型的能力進(jìn)化速度之快令人驚嘆，然而，對(duì)于很多個(gè)人和企業(yè)而言，為了數(shù)據(jù)安全不得不考慮私有化部署方案，從GPT-4發(fā)布以來，國(guó)內(nèi)外的大模型就拉開了很明顯的差距，能夠?qū)崿F(xiàn)的此路徑無非就只剩下國(guó)內(nèi)的開源大模型可以選擇了。而現(xiàn)階段切入大模型應(yīng)用落地最合適的方案依然是結(jié)合大模型基于RAG檢索增強(qiáng)來實(shí)現(xiàn)知識(shí)庫(kù)的檢索和生存。從而構(gòu)建個(gè)人或者企業(yè)私有化的本地知識(shí)庫(kù)。

你只需要將本地私有的 PDF、Word 文檔和文本文件嵌入到本地向量庫(kù)，連接上LLM，然后就可以通過對(duì)話、搜索的方式進(jìn)行回答問題、提供見解，甚至生成摘要。

接下來我們就介紹一下 Mintplex Labs 的兩個(gè)高度創(chuàng)新的開源項(xiàng)目。它們是 AnythingLLM（一種企業(yè)級(jí)解決方案，專為創(chuàng)建自定義 ChatBot（包括 RAG 模式）而設(shè)計(jì)）和 Vector Admin（一種用于有效管理多個(gè)向量存儲(chǔ)的復(fù)雜管理 GUI）。

AnythingLLM 不僅僅是另一個(gè)聊天機(jī)器人。它是一個(gè)全棧應(yīng)用程序，這意味著它融合了從數(shù)據(jù)處理到用戶界面的所有技術(shù)優(yōu)勢(shì)。最好的部分？它是開源且可定制的。這意味著如果您有技能，您可以根據(jù)自己的喜好進(jìn)行調(diào)整?；蛘?，如果您像我一樣更喜歡現(xiàn)成的東西，那么它開箱即用，效果非常好。

二、概述

2.1、AnythingLLM 介紹

AnythingLLM 是 Mintplex Labs Inc. 開發(fā)的一款開源 ChatGPT 等效工具，用于在安全的環(huán)境中與文檔等進(jìn)行聊天，專為想要使用現(xiàn)有文檔進(jìn)行智能聊天或構(gòu)建知識(shí)庫(kù)的任何人而構(gòu)建。

AnythingLLM 能夠把各種文檔、資料或者內(nèi)容轉(zhuǎn)換成一種格式，讓LLM（如ChatGPT）在聊天時(shí)可以引用這些內(nèi)容。然后你就可以用它來和各種文檔、內(nèi)容、資料聊天，支持多個(gè)用戶同時(shí)使用，還可以設(shè)置誰能看或改哪些內(nèi)容。 支持多種LLM、嵌入器和向量數(shù)據(jù)庫(kù)。

2.2、AnythingLLM 特點(diǎn)

• 多用戶支持和權(quán)限管理：允許多個(gè)用戶同時(shí)使用，并可設(shè)置不同的權(quán)限。

• 支持多種文檔類型：包括 PDF、TXT、DOCX 等。

• 簡(jiǎn)易的文檔管理界面：通過用戶界面管理向量數(shù)據(jù)庫(kù)中的文檔。

• 兩種聊天模式：對(duì)話模式保留之前的問題和回答，查詢模式則是簡(jiǎn)單的針對(duì)文檔的問答

• 聊天中的引用標(biāo)注：鏈接到原始文檔源和文本。

• 簡(jiǎn)單的技術(shù)棧，便于快速迭代。

• 100% 云部署就緒。

• “自帶LLM”模式：可以選擇使用商業(yè)或開源的 LLM。

• 高效的成本節(jié)約措施：對(duì)于大型文檔，只需嵌入一次，比其他文檔聊天機(jī)器人解決方案節(jié)省 90% 的成本。

• 完整的開發(fā)者 API：支持自定義集成。

2.3、支持的 LLM、嵌入模型和向量數(shù)據(jù)庫(kù)

• LLM：包括任何開源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。

• 嵌入模型：AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAi。

• 向量數(shù)據(jù)庫(kù)：LanceDB（默認(rèn)）、Pinecone、Chroma、Weaviate 和 QDrant。

2.4、技術(shù)概覽

整個(gè)項(xiàng)目設(shè)計(jì)為單線程結(jié)構(gòu)，主要由三部分組成:收集器、前端和服務(wù)器。

• collector：Python 工具，可快速將在線資源或本地文檔轉(zhuǎn)換為 LLM 可用格式。

• frontend：ViteJS + React 前端，用于創(chuàng)建和管理 LLM 可使用的所有內(nèi)容。

• server：NodeJS + Express 服務(wù)器，處理所有向量數(shù)據(jù)庫(kù)管理和 LLM 交互。

首先，收集器是一個(gè)實(shí)用的Python工具，它使用戶能夠快速將來自在線資源（如指定的YouTube頻道的視頻、Medium文章、博客鏈接等）或本地文檔中的可公開訪問數(shù)據(jù)轉(zhuǎn)換為L(zhǎng)LM可用的格式。該應(yīng)用程序的前端采用了vitejs 和React進(jìn)行構(gòu)建，通過Node.js和Express服務(wù)器處理所有LLM交互和VectorDB管理。這種設(shè)計(jì)使得用戶能夠在直觀友好的界面中進(jìn)行操作，并且通過高效的服務(wù)器架構(gòu)實(shí)現(xiàn)快速響應(yīng)和管理大規(guī)模的數(shù)據(jù)。

三、AnythingLLM 部署

接下來開始完成本地模型（特別是文本嵌入和生成）以及向量存儲(chǔ)的部署，所有這些都旨在與上述解決方案無縫集成。為此，我們將結(jié)合使用 LocalAI 和 Chroma。

3.1、安裝 Chroma Vectorstore

該過程首先克隆官方存儲(chǔ)庫(kù)并啟動(dòng) Docker 容器。

git clone https://github.com/chroma-core/chroma.git
cd chroma
docker compose up -d --build

為了驗(yàn)證向量存儲(chǔ)的可用性，我們連接到其 API 文檔，網(wǎng)址為：http://localhost:8000/docs

使用此 API，我們繼續(xù)創(chuàng)建一個(gè)新集合，恰當(dāng)?shù)孛麨椤皃layground”。

curl -X 'POST' 'http://localhost:8000/api/v1/collections?tenant=default_tenant&database=default_database' 
  -H 'accept: application/json' 
  -H 'Content-Type: application/json' 
  -d '{ "name": "playground", "get_or_create": false}'

接下來，我們檢查結(jié)果以確保設(shè)置正確。

curl http://localhost:8000/api/v1/collections

[
  {
    "name": "playground",
    "id": "0072058d-9a5b-4b96-8693-c314657365c6",
    "metadata": {
      "hnsw:space": "cosine"
    },
    "tenant": "default_tenant",
    "database": "default_database"
  }
]

3.2、LocalAI 的部署

LocalAi 是一個(gè)功能齊全的 CLI 應(yīng)用程序，你可以運(yùn)行它來輕松啟動(dòng) API 服務(wù)器，以便與 HuggingFace 上找到的開源模型聊天以及運(yùn)行嵌入模型！

接下來，我們的重點(diǎn)轉(zhuǎn)移到建立 LocalAI Docker 容器。

git clone https://github.com/go-skynet/LocalAI
cd LocalAI
docker compose up -d --pull always

一旦容器運(yùn)行，我們就開始下載、安裝和測(cè)試兩個(gè)特定模型。

我們的第一個(gè)模型是來自 Bert 的句子轉(zhuǎn)換器嵌入模型：MiniLM L6。

curl http://localhost:8080/models/apply 
  -H "Content-Type: application/json" 
  -d '{ "id": "model-gallery@bert-embeddings" }'

curl http://localhost:8080/v1/embeddings 
  -H "Content-Type: application/json" 
  -d '{ "input": "The food was delicious and the waiter...",
        "model": "bert-embeddings" }'

{
  "created": 1702050873,
  "object": "list",
  "id": "b11eba4b-d65f-46e1-8b50-38d3251e3b52",
  "model": "bert-embeddings",
  "data": [
    {
      "embedding": [
        -0.043848168,
        0.067443006,
    ...
        0.03223838,
        0.013112408,
        0.06982294,
        -0.017132297,
        -0.05828256
      ],
      "index": 0,
      "object": "embedding"
    }
  ],
  "usage": {
    "prompt_tokens": 0,
    "completion_tokens": 0,
    "total_tokens": 0
 }
}

隨后，我們探索 Hugging Face 的LLM：Zephyr-7B-β，這是基礎(chǔ) Mistral 7B 模型的改進(jìn)版本。

curl http://localhost:8080/models/apply 
  -H "Content-Type: application/json" 
  -d '{ "id": "huggingface@thebloke__zephyr-7b-beta-gguf__zephyr-7b-beta.q4_k_s.gguf", 
        "name": "zephyr-7b-beta" }'

curl http://localhost:8080/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{ "model": "zephyr-7b-beta", 
        "messages": [{
          "role": "user", 
          "content": "Why is the Earth round?"}], 
        "temperature": 0.9 }'

{
  "created": 1702050808,
  "object": "chat.completion",
  "id": "67620f7e-0bc0-4402-9a21-878e4c4035ce",
  "model": "thebloke__zephyr-7b-beta-gguf__zephyr-7b-beta.q4_k_s.gguf",
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": "\nThe Earth appears round because it is
actually a spherical body. This shape is a result of the 
gravitational forces acting upon it from all directions. The force 
of gravity pulls matter towards the center of the Earth, causing 
it to become more compact and round in shape. Additionally, the 
Earth's rotation causes it to bulge slightly at the equator, 
further contributing to its roundness. While the Earth may appear 
flat from a distance, up close it is clear that our planet is 
indeed round."
      }
    }
  ],
  "usage": {
    "prompt_tokens": 0,
    "completion_tokens": 0,
    "total_tokens": 0
  }
}

3.3、部署和配置 AnythingLLM

成功安裝模型和向量存儲(chǔ)后，我們的下一步是部署 AnythingLLM 應(yīng)用程序。為此，我們將利用 Mintplex Labs 提供的官方 Docker 鏡像。

docker pull mintplexlabs/anythingllm:master

export STORAGE_LOCATION="/var/lib/anythingllm" && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm:master

通過導(dǎo)航到 http://localhost:3001 可以訪問應(yīng)用程序，我們可以在其中使用直觀的 GUI 開始配置過程。

在配置中，我們選擇 LocalAI 后端，可通過 http://127.0.0.1:8080/v1 URL 訪問，并集成 Zephyr 模型。值得注意的是，AnythingLLM 還支持其他后端，例如 OpenAI、Azure OpenAI、Anthropic Claude 2 和本地可用的 LM Studio。

接下來，我們將嵌入模型與相同的 LocalAI 后端保持一致，確保系統(tǒng)具有凝聚力。

接下來，我們選擇 Chroma 向量數(shù)據(jù)庫(kù)，使用 URL http://127.0.0.1:8000。值得一提的是，AnythingLLM 還與其他向量存儲(chǔ)兼容，例如 Pinecone、QDrant、Weaviate 和 LanceDB。

AnythingLLM 的自定義選項(xiàng)包括添加徽標(biāo)以個(gè)性化實(shí)例的可能性。但是，為了本教程的簡(jiǎn)單起見，我們將跳過這一步。同樣，雖然有配置用戶和權(quán)限管理的選項(xiàng)，但我們將繼續(xù)進(jìn)行簡(jiǎn)化的單用戶設(shè)置。

然后，我們繼續(xù)創(chuàng)建一個(gè)工作區(qū)，恰當(dāng)?shù)孛麨椤癙layground”，反映了我們?cè)缙?Chroma 系列的名稱。

AnythingLLM 起始頁(yè)旨在通過類似聊天的界面向用戶提供初始說明，并可以靈活地根據(jù)特定需求定制此內(nèi)容。

從我們的“Playground”工作區(qū)，我們可以上傳文檔，進(jìn)一步擴(kuò)展我們的設(shè)置的功能。

我們監(jiān)控日志以確認(rèn) AnythingLLM 有效地將相應(yīng)的向量插入到 Chroma 中。

Adding new vectorized document into namespace playground
Chunks created from document: 4
Inserting vectorized chunks into Chroma collection.
Caching vectorized results of custom-documents/techsquad-3163747c-a2e1-459c-92e4-b9ec8a6de366.json to prevent duplicated embedding.
Adding new vectorized document into namespace playground
Chunks created from document: 8
Inserting vectorized chunks into Chroma collection.
Caching vectorized results of custom-documents/techsquad-f8dfa1c0-82d3-48c3-bac4-ceb2693a0fa8.json to prevent duplicated embedding.

此功能使我們能夠與文檔進(jìn)行交互式對(duì)話。

AnythingLLM 的一個(gè)有趣功能是它能夠顯示構(gòu)成其響應(yīng)基礎(chǔ)的內(nèi)容。

總之，AnythingLLM 及其中的每個(gè)工作區(qū)都提供了一系列可配置參數(shù)。其中包括系統(tǒng)提示、響應(yīng)溫度、聊天記錄、文檔相似度閾值等，從而實(shí)現(xiàn)定制化、高效的用戶體驗(yàn)。

3.4、安裝和配置 Vector Admin

為了完成我們的架構(gòu)，我們現(xiàn)在專注于安裝 Vector Admin GUI，它是一個(gè)強(qiáng)大的工具，用于可視化和管理 AnythingLLM 在 Chroma 中存儲(chǔ)的向量。

安裝過程涉及利用 Mintplex Labs 提供的 Docker 容器：一個(gè)用于 Vector Admin 應(yīng)用程序，另一個(gè)用于 PostgreSQL 數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)存儲(chǔ)應(yīng)用程序的配置和聊天歷史記錄。

git clone https://github.com/Mintplex-Labs/vector-admin.git
cd vector-admin/docker/
cp .env.example .env

我們修改 .env 文件，將服務(wù)器端口從 3001 調(diào)整為 3002，避免與 AnythingLLM 已使用的端口發(fā)生沖突。在Linux系統(tǒng)上，還需要為PostgreSQL連接字符串設(shè)置默認(rèn)的Docker網(wǎng)關(guān)IP地址。

SERVER_PORT=3002
DATABASE_CONNECTION_STRING="postgresql://vectoradmin:password@127.0.0.1:5433/vdbms"

此外，我們配置 SYS_EMAIL 和 SYS_PASSWORD 變量來定義第一個(gè) GUI 連接的憑據(jù)。

鑒于默認(rèn)端口的更改，我們還在 docker-compose.yaml 和 Dockerfile 中反映了此修改。

配置完后端之后，我們將注意力轉(zhuǎn)向前端安裝。

cd ../frontend/
cp .env.example .env.production

在 .env.production 文件中，我們更新端口以與 Docker 網(wǎng)關(guān)保持一致。

GENERATE_SOURCEMAP=false
VITE_API_BASE="http://127.0.0.1:3002/api"

完成這些設(shè)置后，我們構(gòu)建并啟動(dòng) Docker 容器。

docker compose up -d --build vector-admin

通過 http://localhost:3002 訪問 GUI 非常簡(jiǎn)單。初始連接使用 .env 文件中指定的 SYS_EMAIL 和 SYS_PASSWORD 值。僅在首次登錄時(shí)需要這些憑據(jù)，以從 GUI 創(chuàng)建主管理員用戶并開始配置該工具。

GUI 中的第一步是創(chuàng)建組織，然后建立向量數(shù)據(jù)庫(kù)連接。對(duì)于數(shù)據(jù)庫(kù)類型，我們選擇 Chroma，盡管 Pinecone、QDrant 和 Weaviate 也是兼容的選項(xiàng)。

同步工作區(qū)數(shù)據(jù)后，存儲(chǔ)在 Chroma 內(nèi)“playground”集合中的文檔和向量變得可見。

這些載體的詳細(xì)信息也可用于深入分析。

關(guān)于功能的說明：直接通過 Vector Admin 編輯向量?jī)?nèi)容目前受到限制，因?yàn)樗?OpenAI 的嵌入模型。由于我們選擇了 s-BERT MiniLM，因此此功能不可用。如果我們選擇 OpenAI 的模型，上傳新文檔并將向量直接嵌入到 Chroma 中是可能的。

Vector Admin 還擁有其他功能，如用戶管理和高級(jí)工具，包括相似性搜索中的自動(dòng)偏差檢測(cè)、即將推出的快照以及組織之間的遷移功能（以及擴(kuò)展后的 vectostores）。

該工具特別令人欽佩的是它能夠完全控制載體，從而大大簡(jiǎn)化其管理。

四、總結(jié)

至此，我們對(duì)Mintplex Labs的AnythingLLM和Vector Admin進(jìn)行了全面探索。這些工具簡(jiǎn)化了RAG模式的設(shè)置流程，并使得與文檔的對(duì)話交互成為可能。隨著這些項(xiàng)目不斷進(jìn)化，新功能也在不斷推出。因此，關(guān)注他們的更新并開始使用這些工具來交互式處理您的文件將是一個(gè)明智的選擇。

五、References

[1]. AnythingLLM GitHub: https://github.com/Mintplex-Labs/anything-llm

[2]. LocalAI Docs: https://localai.io/

[3]. VectorAdmin: https://vectoradmin.com/

[4]. AnythingLLM: https://useanything.com/文章來源地址http://www.zghlxwxcb.cn/news/detail-764840.html

到了這里，關(guān)于AnythingLLM：基于RAG方案構(gòu)專屬私有知識(shí)庫(kù)（開源｜高效｜可定制）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！