FastGPT 是一款專為客服問答場景而定制的開箱即用的 AI 知識(shí)庫問答系統(tǒng)。該系統(tǒng)具備可視化工作流功能，允許用戶靈活地設(shè)計(jì)復(fù)雜的問答流程，幾乎能滿足各種客服需求。
在國內(nèi)市場環(huán)境下，離線部署對于企業(yè)客戶尤為重要。由于數(shù)據(jù)安全和隱私保護(hù)的考慮，企業(yè)通常不愿意將敏感數(shù)據(jù)上傳到線上大型 AI 模型 (如 ChatGPT、Claude 等)。因此，離線部署成為一個(gè)剛需。
幸運(yùn)的是，FastGPT 本身是開源的，除了可以使用其在線服務(wù)外，也允許用戶進(jìn)行私有化部署。相關(guān)的開源項(xiàng)目代碼可以在 GitHub 上找到：https://github.com/labring/FastGPT
正好上周 ChatGLM 系列推出了其最新一代的開源模型——ChatGLM3-6B。該模型在保留前兩代模型流暢對話和低部署門檻的優(yōu)點(diǎn)基礎(chǔ)上，帶來了以下新特性：
-
更強(qiáng)大的基礎(chǔ)模型：ChatGLM3-6B 的基礎(chǔ)模型，名為 ChatGLM3-6B-Base，具有更豐富的訓(xùn)練數(shù)據(jù)、更合理的訓(xùn)練策略和更多的訓(xùn)練步數(shù)。在語義、數(shù)學(xué)、推理、代碼、知識(shí)等不同角度的數(shù)據(jù)集上測評(píng)顯示，ChatGLM3-6B-Base 具有在 10B 以下的預(yù)訓(xùn)練模型中優(yōu)秀的性能。
-
更完善的功能：ChatGLM3-6B 引入了全新設(shè)計(jì)的 Prompt 格式，除了支持正常的多輪對話，還原生支持如工具調(diào)用 (Function Call)、代碼執(zhí)行 (Code Interpreter) 和 Agent 任務(wù)等復(fù)雜場景。
-
更全面的開源計(jì)劃：除了 ChatGLM3-6B，該團(tuán)隊(duì)還開源了基礎(chǔ)模型 ChatGLM-6B-Base 和長文本對話模型 ChatGLM3-6B-32K。以上所有權(quán)重對學(xué)術(shù)研究完全開放，在登記后亦允許免費(fèi)商業(yè)使用。
本文接下來將詳細(xì)介紹如何私有化部署 ChatGLM3-6B，并與 FastGPT 結(jié)合，構(gòu)建一個(gè)完完全全私有化的 AI 知識(shí)庫問答系統(tǒng)。
通過這樣的整合，企業(yè)不僅可以保證數(shù)據(jù)安全，還能利用最新、最強(qiáng)大的 AI 技術(shù)來提升客服效率和用戶體驗(yàn)。
原文鏈接：https://forum.laf.run/d/1085
One API 部署
FastGPT 可以通過接入 One API 來實(shí)現(xiàn)對各種大模型的支持，你可以參考 FastGPT 的文檔來部署 One API。
FastGPT 部署
如果你不嫌麻煩，可以選擇在本地使用 Docker Compose 來部署 FastGPT。
我推薦直接使用 Sealos 應(yīng)用模板來一鍵部署，Sealos 無需服務(wù)器、無需域名，支持高并發(fā) & 動(dòng)態(tài)伸縮。打開以下鏈接即可一鍵部署 ??
https://cloud.sealos.top/?openapp=system-fastdeploy%3FtemplateName%3Dfastgpt
- root password 是默認(rèn)的密碼，默認(rèn)用戶名是 root。
- base url 填入 One API 提供的 API 接口。假設(shè) One API 地址是 https://xxx.cloud.sealos.top，那么 base url 就是 https://xxx.cloud.sealos.top/v1。如果你的 One API 和 FastGPT 都部署在 Sealos 中，這里的 base url 可以填入 One API 的內(nèi)網(wǎng)地址，例如我的內(nèi)網(wǎng)地址是：http://one-api-wkskpejy.ns-sbjre322.svc.cluster.local:3000/v1
- api key 填入由 One API 提供的令牌。
填好參數(shù)之后，點(diǎn)擊【部署應(yīng)用】：
部署完成后，點(diǎn)擊【確認(rèn)】跳轉(zhuǎn)到應(yīng)用詳情。
等待應(yīng)用的狀態(tài)變成 running 之后，點(diǎn)擊外網(wǎng)地址即可通過外網(wǎng)域名直接打開 FastGPT 的 Web 界面。
我們暫時(shí)先不登錄，先把 ChatGLM3-6B 模型部署好，然后再回來接入 FastGPT。
ChatGLM3-6B 部署
ChatGLM3 的項(xiàng)目地址為：https://github.com/THUDM/ChatGLM3
該項(xiàng)目 README 已經(jīng)提供了在 GPU 環(huán)境中如何進(jìn)行部署的詳細(xì)步驟。但本文我們將專門討論如何在沒有 GPU 支持的情況下，僅使用 CPU 來運(yùn)行 ChatGLM3。
首先登錄 Sealos 國內(nèi)版集群：https://cloud.sealos.top/
然后打開【應(yīng)用管理】：
應(yīng)用名稱隨便填，鏡像名為：registry.cn-hangzhou.aliyuncs.com/ryyan/chatglm.cpp:chatglm3-q5_1
CPU 和內(nèi)存拉到最大值，不然跑不起來。容器暴露端口設(shè)置為 8000。然后點(diǎn)擊右上角的【部署】：
部署完成后，點(diǎn)擊查看運(yùn)行日志：
很好，三分鐘解決戰(zhàn)斗！
將 ChatGLM3-6B 接入 One API
打開 One API 的 Web 界面，添加新的渠道：
- 類型選擇 OpenAI。
- 名稱按自己的心意填。
- 模型名稱可以通過自定義模型名稱來設(shè)置，例如：ChatGLM3。
- 密鑰隨便填。
- 代理地址填入 ChatGLM3-6B 的 API 地址。如果你按照本教程把 One API 和 ChatGLM3-6B 全部部署在 Sealos 中，那就可以直接填 ChatGLM3-6B 的內(nèi)網(wǎng)地址。
最后點(diǎn)擊【提交】即可。
將 ChatGLM3-6B 接入 FastGPT
最后我們來修改 FastGPT 的配置，將 ChatGLM3-6B 接入 FastGPT。
首先在 FastGPT 的應(yīng)用詳情中點(diǎn)擊【變更】：
然后點(diǎn)擊配置文件中的 /app/data/config.json：
將文件值修改為如下的值：
{
"SystemParams": {
"pluginBaseUrl": "",
"openapiPrefix": "openapi",
"vectorMaxProcess": 15,
"qaMaxProcess": 15,
"pgIvfflatProbe": 10
},
"ChatModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"price": 0,
"maxToken": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1.2,
"censor": false,
"defaultSystemChatPrompt": ""
}
],
"QAModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"maxToken": 8000,
"price": 0
}
],
"CQModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"maxToken": 8000,
"price": 0,
"functionCall": true,
"functionPrompt": ""
}
],
"ExtractModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"maxToken": 8000,
"price": 0,
"functionCall": true,
"functionPrompt": ""
}
],
"QGModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"maxToken": 4000,
"price": 0
}
],
"VectorModels": [
{
"model": "text-embedding-ada-002",
"name": "Embedding-2",
"price": 0.2,
"defaultToken": 700,
"maxToken": 3000
},
{
"model": "m3e",
"name": "M3E（測試使用）",
"price": 0.1,
"defaultToken": 500,
"maxToken": 1800
}
]
}
修改完成后，點(diǎn)擊【確認(rèn)】，然后點(diǎn)擊右上角的【變更】，等待 FastGPT 重啟完成后，再次訪問 FastGPT，點(diǎn)擊【立即開始】進(jìn)入登錄界面，輸入默認(rèn)賬號(hào)密碼后進(jìn)入 FastGPT 控制臺(tái)：
新建一個(gè)應(yīng)用，模板選擇【簡單的對話】，點(diǎn)擊【確認(rèn)創(chuàng)建】。
AI 模型選擇 ChatGLM3，然后點(diǎn)擊【保存并預(yù)覽】。
點(diǎn)擊左上角【對話】打開一個(gè)聊天會(huì)話窗口：
按國際慣例先來測試一下它的自我認(rèn)知：
再來檢測一下數(shù)學(xué)能力：
邏輯推理能力：
文章來源：http://www.zghlxwxcb.cn/news/detail-739204.html
接入 M3E 向量模型
剛剛我們只是測試了模型的對話能力，如果我們想使用 FastGPT 來訓(xùn)練知識(shí)庫，還需要一個(gè)向量模型。FastGPT 線上服務(wù)默認(rèn)使用了 OpenAI 的 embedding 模型，如果你想私有部署的話，可以使用 M3E 向量模型進(jìn)行替換。M3E 的部署方式可以參考文檔：https://doc.fastgpt.in/docs/custom-models/m3e/文章來源地址http://www.zghlxwxcb.cn/news/detail-739204.html
到了這里，關(guān)于使用 Sealos 將 ChatGLM3 接入 FastGPT，打造完全私有化 AI 客服的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
