最近清華大學(xué)開(kāi)源的ChatGLM-6B語(yǔ)言模型在國(guó)際上大出風(fēng)頭，僅僅62億參數(shù)的小模型，能力卻很強(qiáng)。很期待他們后續(xù)1300億參數(shù)模型130B的發(fā)布。
為什么一些能力較弱的小模型，這么受追捧？因?yàn)镃hatGPT、GPT-4雖好，畢竟被國(guó)外封鎖，而且還要付費(fèi)，更重要的是，LLM要在各行業(yè)提高生產(chǎn)力，很多企業(yè)接下來(lái)肯定是要自己部署語(yǔ)言模型的，畢竟誰(shuí)也不敢泄漏自己商業(yè)數(shù)據(jù)給別人的AI去訓(xùn)練，為他人做嫁衣，最后砸了自己的飯碗。
這里根據(jù)我的實(shí)操經(jīng)驗(yàn)，分享一下如何自己搭建一個(gè)語(yǔ)言模型服務(wù)器。最后效果如下：
首先需要搞一臺(tái)GPU較強(qiáng)的機(jī)器，推薦先租一臺(tái)騰訊云、阿里云等AI訓(xùn)練的機(jī)器，T4顯卡就行，一般價(jià)格是按量付費(fèi)幾毛錢(qián)一個(gè)小時(shí)。我是搶到了騰訊云秒殺活動(dòng)的主機(jī)，60塊錢(qián)半個(gè)月，白菜價(jià)。土豪可以自己去裝機(jī)長(zhǎng)期玩。
能干這個(gè)活的都是碼農(nóng)吧，那就不廢話了，直接上sh命令（：文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-512261.html
#我的主機(jī)環(huán)境是 Ubuntu Server 18.04 LTS 64位，預(yù)裝了
# Pytorch 1.9.1 Ubuntu 18.04 GPU基礎(chǔ)鏡像（預(yù)裝460驅(qū)動(dòng)）
#以下命令從 /root 目錄位置開(kāi)始進(jìn)行操作的
#更新Ubuntu軟件源
apt-get update
#創(chuàng)建目錄用于存放ChatGLM源代碼
mkdir ChatGLM
cd ChatGLM/
#克隆ChatGLM-6B程序源代碼
git clone https://github.com/THUDM/ChatGLM-6B.git
#創(chuàng)建目錄用于存放ChatGLM6B-int4量化模型
mkdir model
cd model/
#安裝git-lfs便于文件管理
apt install git-lfs
#當(dāng)前目錄初始化為git倉(cāng)庫(kù)、安裝lfs
git init
git lfs install
#克隆ChatGLM-6B的int4量化模型
git clone https://huggingface.co/THUDM/chatglm-6b-int4
#安裝python調(diào)用cuda的工具包
apt install nvidia-cuda-toolkit
cd ChatGLM-6B/
#添加三行依賴：
vim requirements.txt
chardet
streamlit
streamlit-chat
#安裝所需的python依賴庫(kù)
pip install -r requirements.txt
#代碼中2處修改為模型絕對(duì)路徑：
vim web_demo2.py
/root/ChatGLM/model/chatglm-6b-int4
#運(yùn)行ChatGLM6B 的web版聊天程序，即可訪問(wèn)http://主機(jī)IP:8080進(jìn)行聊天
python3 -m streamlit run ./web_demo2.py --server.port 8080
本文來(lái)自知識(shí)星球：ConnectGPT ，一個(gè)致力于探索AI、語(yǔ)言模型的應(yīng)用技術(shù)的小圈子。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-512261.html
到了這里，關(guān)于模型訓(xùn)練系列：1、用清華ChatGLM-6B模型部署自己的本地AI助手的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
