書接上文，由于家境貧寒的原因，導致我本地的GPU資源無法滿足搭建Langchain-Chatchat本地知識庫的需求，具體可以看一下這篇文章，于是我只能另辟蹊徑，考慮一下能不能白嫖一下云服務器資源，于是去找網上找，您還別說，還真有，具體的領取方法可以查看我的這篇文章：【AI】阿里云免費GPU服務資源領取方法。

1.準備工作

1.1進入云服務器

服務器資源準備好之后就可以去做我們的開發(fā)任務了，首先在阿里云人工智能PAI控制臺打開我們的實例。

打開之后如下圖所示：

1.2查看服務器磁盤情況，創(chuàng)建本地工作目錄

這一步可以省略，只是為了保險起見，我們查看一下磁盤容量及掛載情況，因為模型通常比較大，會比較浪費磁盤資源，我們先查看一下最大的磁盤資源掛載哪個目錄下面，可以在那個目錄下面操作我們的數據。

在主界面的Terminal頁面，輸入lsblk查看磁盤掛載情況：

可以看到我們當前的目錄/mnt/workspace是建立在100G的磁盤之上的，可以放心使用。

1.3拉取源碼，并安裝依賴

拉取源碼可以直接使用Git工具，這個鏡像中已經安裝完成，不需要我們再進行安裝了。
我們在工作目錄下創(chuàng)建一個文件夾，用于我們的項目，然后再將代碼拉去到這個文件夾下面。

mkdir chatchat
cd chatchat
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
# 進入項目內部
cd # 進入目錄
cd Langchain-Chatchat
# 安裝全部依賴
pip install -r requirements.txt 

1.4下載模型文件

由于我們在服務器上，下載速度不需要擔心，我們可以使用git來拉取模型文件。

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

這里的模型文件位于huggingface，如果不具備魔法上網的能力話，是沒有辦法拉取下來的，所以我們換成國內鏡像魔搭社區(qū)

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git

2.運行模型

2.1 初始化知識庫和配置文件

python copy_config_example.py
python init_database.py --recreate-vs

2.2 一鍵啟動

python startup.py -a

等待模型啟動

點擊url就可以跳轉到我們本地的瀏覽器，展示知識庫對話界面：

3.本地知識庫

3.1 測試sample知識庫

模型啟動后自動創(chuàng)建了一個測試的知識庫，我們可以用來測試一下知識庫對話：
左側側邊欄選擇：

知識庫這邊默認就是sample知識庫

然后可以在右邊的對話框中輸入測試的問題了：

3.2 創(chuàng)建個人知識庫

在知識庫管理中選擇新建知識庫：

填入知識庫的名字即可創(chuàng)建完成。
然后上傳知識庫文檔，注意如果上傳txt文檔時，要注意文檔編碼是否是utf-8，否則容易出錯

選中下圖中的文檔，然后點擊添加至向量庫，然后構建向量，點擊依據源文件重建向量庫完成知識庫創(chuàng)建

然后就可以進行本地知識庫問答了。
測試中使用了ChatGLM3-6B模型和embedding模型bge-large-zh，由于顯存問題，又出現了out of memory的問題，看來16g的顯存也不足以滿足模型運行需求。測試使用int8量化模型：
修改配置文件：

然后重新運行python startup.py -a，可以正常使用了。問答效果如下：

文章來源地址http://www.zghlxwxcb.cn/news/detail-774436.html

到了這里，關于【AI】使用阿里云免費服務器搭建Langchain-Chatchat本地知識庫的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！