中文多模態(tài)模型 IDPChat 和大家見面了。
隨著GPT4、文心一言等的發(fā)布，預(yù)訓(xùn)練大模型正式開啟由單模態(tài)向多模態(tài)模型演進(jìn)。多模態(tài)的特性為語(yǔ)言模型帶來(lái)更加豐富的應(yīng)用場(chǎng)景。
我們認(rèn)為，未來(lái)的AI應(yīng)用將主要以大模型為核心基石。
而在大模型的領(lǐng)域，基于基礎(chǔ)模型（Foundation model）構(gòu)建領(lǐng)域或企業(yè)自有的大模型，會(huì)是近中期的重要發(fā)展趨勢(shì)。
但在私有化大模型微調(diào)和應(yīng)用方面，企業(yè)和機(jī)構(gòu)仍面臨著微調(diào)復(fù)雜、部署困難、成本較高等種種工程化挑戰(zhàn)。
白海作為AI基礎(chǔ)軟件服務(wù)商，我們希望能夠從AI Infra層面，提供端到端的大模型微調(diào)、部署和應(yīng)用工具，降低大模型微調(diào)和應(yīng)用的門檻。白?？萍糏DP平臺(tái)目前提供了從大模型數(shù)據(jù)源接入到大模型微調(diào)訓(xùn)練、模型發(fā)布的全流程功能。
我們以IDP平臺(tái)為工具支撐，以預(yù)訓(xùn)練大語(yǔ)言模型LLaMA和開源文生圖預(yù)訓(xùn)練模型Stable Diffusion為基礎(chǔ)，快速構(gòu)建了多模態(tài)大模型應(yīng)用IDPChat。開發(fā)者們可根據(jù)場(chǎng)景需求，便捷地對(duì)其進(jìn)行微調(diào)優(yōu)化。
項(xiàng)目地址：https://github.com/BaihaiAI/IDPChat
IDPChat 能做什么
IDPChat目前可以同時(shí)支持文字對(duì)話和圖片生成。
首先是圖像生成，我們可以讓模型根據(jù)文字描述畫一幅畫。
基礎(chǔ)的文字對(duì)話聊天示例，可支持中文。
IDPChat 快速上手
僅需簡(jiǎn)單的5步和單GPU，即可快速啟用IDPChat。
操作步驟如下：
1.??修改 ./backend/app/stable_diffusion/generate_image.py 文件，設(shè)置 diffusion_path 的值為本地 stable-diffusion 模型存儲(chǔ)路徑，設(shè)置 trans_path 的值為本地中文翻譯模型的存儲(chǔ)路徑
2.??修改 ./backend/app/llama/generate_text.py 文件，設(shè)置 load_model 的 base 參數(shù)值為本地 llama 模型的存儲(chǔ)路徑
3.??執(zhí)行 build.sh 腳本進(jìn)行編譯
4.??編譯成功后執(zhí)行 run.sh 腳本啟動(dòng)服務(wù)
5.??服務(wù)啟動(dòng)成功后，在瀏覽器中打開http://127.0.0.1:8000
在應(yīng)用之前，需要下載準(zhǔn)備所需的模型，LLaMA、Stable diffusion和相應(yīng)的翻譯模型。
具體所需的環(huán)境、模型、和操作步驟可以參考https://github.com/BaihaiAI/IDPChat
目前發(fā)布IDPChat初步版本，打通模型微調(diào)的全流程。
后續(xù)我們會(huì)繼續(xù)對(duì)模型進(jìn)行優(yōu)化和豐富，如多模態(tài)部分增加圖像描述功能。
當(dāng)然要實(shí)現(xiàn)特定領(lǐng)域更高質(zhì)量、針對(duì)性的表現(xiàn)，還需要基于領(lǐng)域數(shù)據(jù)的finetune和優(yōu)化。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-484374.html
對(duì) IDPChat 和 IDP 平臺(tái)感興趣的開發(fā)者小伙伴、場(chǎng)景應(yīng)用伙伴等歡迎關(guān)注Github并聯(lián)系我們。我們相信 IDP 平臺(tái)和 IDPChat 將成為您探索多模態(tài)大模型應(yīng)用和私有化大模型構(gòu)建的得力助手。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-484374.html
到了這里，關(guān)于IDPChat：探索基于LLaMA和Stable Diffusion的「開源」中文多模態(tài)AI大模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
