1,關(guān)于bisheng 項目
https://www.bilibili.com/video/BV1xi4y1e7MD/
【大模型知識庫】(2):開源大模型+知識庫方案,docker-compose部署本地知識庫和大模型,畢昇+fastchat的ChatGLM3,BGE-zh模型
2,關(guān)于bisheng 項目
Bisheng是一款領(lǐng)先的開源大模型應(yīng)用開發(fā)平臺,賦能和加速大模型應(yīng)用開發(fā)落地,幫助用戶以最佳體驗進(jìn)入下一代應(yīng)用開發(fā)模式。
“畢昇”是活字印刷術(shù)的發(fā)明人,活字印刷術(shù)為人類知識的傳遞起到了巨大的推動作用。我們希望“畢昇”同樣能夠為智能應(yīng)用的廣泛落地提供有力的支撐。歡迎大家一道參與。
Bisheng 基于 Apache 2.0 License 協(xié)議發(fā)布,于 2023 年 8 月底正式開源。
產(chǎn)品亮點
便捷:即使是業(yè)務(wù)人員,基于我們預(yù)置的應(yīng)用模板,通過簡單直觀的表單填寫方式快速搭建以大模型為核心的智能應(yīng)用。
靈活:對大模型技術(shù)有了解的人員,我們緊跟最前沿大模型技術(shù)生態(tài)提供數(shù)百種開發(fā)組件,基于可視化且自由的流程編排能力,可開發(fā)出任意類型的大模型應(yīng)用,而不僅是簡單的提示詞工程。
可靠與企業(yè)級:當(dāng)前許多同類的開源項目僅適用于實驗測試場景,缺少真正生產(chǎn)使用的企業(yè)級特性,包括:高并發(fā)下的高可用、應(yīng)用運營及效果持續(xù)迭代優(yōu)化、貼合真實業(yè)務(wù)場景的實用功能等,這些都是畢昇平臺的差異化能力;另外,更直觀的是,企業(yè)內(nèi)的數(shù)據(jù)質(zhì)量參差不齊,想要真正把所有數(shù)據(jù)利用起來,首先需要有完備的非結(jié)構(gòu)化數(shù)據(jù)治理能力,而這是過去幾年我們團(tuán)隊所積累的核心能力,在畢昇的demo環(huán)境中您可以通過相關(guān)組件直接接入這些能力,并且這些能力免費不限量使用。
產(chǎn)品應(yīng)用
使用畢昇平臺,我們可以搭建各類豐富的大模型應(yīng)用:
分析報告生成
知識庫問答
對話
要素提取
我們認(rèn)為在企業(yè)真實場景中,“對話”僅是眾多交互形式中的一種,未來我們還將新增流程自動化、搜索等更多應(yīng)用形態(tài)的支持。
https://dataelem.feishu.cn/wiki/BSCcwKd4Yiot3IkOEC8cxGW7nPc
3,下載項目
git clone https://github.com/dataelement/bisheng
cd bisheng/docker
docker-compose up -d
或者使用我的鏡像部署帶 fastchat 版本的:
git clone https://gitee.com/fly-llm/bisheng-docker-compose
啟動成功:
帳號:admin
密碼:1234
如果要是出現(xiàn)這個錯誤:
需要重啟下后端服務(wù),沒有連接上數(shù)據(jù)庫造成的。
docker restart backend
然后就可以使用了:
3,然后啟動chatglm3大模型
參考之前的文章:
https://blog.csdn.net/freewebsys/article/details/134631859
啟動之后就可以進(jìn)行配置了:
配置一個prompt :
你是一個翻譯助手:
將用戶輸入的內(nèi)容:
{input}
翻譯成英文。
然后點擊右下角編譯,然后聊天:
還可以配置好 API 接口:
文章來源:http://www.zghlxwxcb.cn/news/detail-765899.html
4,總結(jié)
通過拖拽的方式可以實現(xiàn)模型的配置編程,可以快速的開發(fā)應(yīng)用。
或者提供對外接口,非常的方便。
這個只是演示了配置chatglm3 接口的部分。
持續(xù)研究中。文章來源地址http://www.zghlxwxcb.cn/news/detail-765899.html
到了這里,關(guān)于【大模型知識庫】(2):開源大模型+知識庫方案,docker-compose部署本地知識庫和大模型,畢昇+fastchat的ChatGLM3,BGE-zh模型,通過拖拽/配置方式實現(xiàn)大模型編程的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!