簡(jiǎn)介（來(lái)自官方）
ChatGLM-6B 是一個(gè)開源的、支持中英雙語(yǔ)的對(duì)話語(yǔ)言模型，基于?General Language Model (GLM)?架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術(shù)，針對(duì)中文問(wèn)答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能生成相當(dāng)符合人類偏好的回答，更多信息請(qǐng)參考我們的博客。
為了方便下游開發(fā)者針對(duì)自己的應(yīng)用場(chǎng)景定制模型，我們同時(shí)實(shí)現(xiàn)了基于?P-Tuning v2?的高效參數(shù)微調(diào)方法?(使用指南)?，INT4 量化級(jí)別下最低只需 7GB 顯存即可啟動(dòng)微調(diào)。
不過(guò)，由于 ChatGLM-6B 的規(guī)模較小，目前已知其具有相當(dāng)多的局限性，如事實(shí)性/數(shù)學(xué)邏輯錯(cuò)誤，可能生成有害/有偏見內(nèi)容，較弱的上下文能力，自我認(rèn)知混亂，以及對(duì)英文指示生成與中文指示完全矛盾的內(nèi)容。請(qǐng)大家在使用前了解這些問(wèn)題，以免產(chǎn)生誤解。更大的基于 1300 億參數(shù)?GLM-130B?的 ChatGLM 正在內(nèi)測(cè)開發(fā)中。
準(zhǔn)備工作
硬件要求（騰訊云V100顯卡，一個(gè)月大幾千，肉疼）
| 量化等級(jí) | 最低 GPU 顯存（推理） | 最低 GPU 顯存（高效參數(shù)微調(diào)） |
|---|---|---|
| FP16（無(wú)量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
代碼clone（怎么安裝Git工具不贅述）
git clone https://github.com/THUDM/ChatGLM-6B.git環(huán)境安裝
使用 pip 安裝依賴：pip install -r requirements.txt，其中?transformers?庫(kù)版本為?4.27.1（就用這個(gè)就行）。
注意：Python要3.8以上！?。?！否則能坑死你！
模型以及配置文件準(zhǔn)備
1、官方下載：清華大學(xué)云盤
2、huggingface開源社區(qū)下載：THUDM/chatglm-6b at main
把對(duì)應(yīng)的模型以及配置文件記得下載全，結(jié)果是這樣的：
?
?
踩坑：記得教研一下模型的SHA256是否跟官方一致，否則模型肯定加載失??！
3、準(zhǔn)備啟動(dòng)：
三種方式均可：
python3.8 web_demo.py
python3.8 web_demo2.py
streamlit run web_demo2.py
4、注意：web方式記得把云服務(wù)器的端口開放了，否則用不了！
效果展示：
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-513002.html
大家又遇到坑的地方，歡迎留言！?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-513002.html
到了這里，關(guān)于騰訊云部署清華大學(xué)ChatGLM-6B實(shí)戰(zhàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
