感謝清華大學(xué)開(kāi)源的ChatGLM2-6B軟件，讓我們國(guó)人有屬于自己的AI聊天機(jī)器人，期待新版本的推出。
前期準(zhǔn)備：
1.電腦配置 （低于以下配置無(wú)法安裝）
python版本要求：3.8以上
沒(méi)有安裝python的沒(méi)有關(guān)系，我們?cè)谙旅姘惭banaconda中會(huì)自動(dòng)生成python，有了python的建議刪除，通過(guò)anaconda安裝python以便于后面創(chuàng)建虛擬環(huán)境。
windows系統(tǒng)：Windows 10 以上，推薦N卡（NVIDIA顯卡20系列以上）
注意：處理器為AMD容易報(bào)錯(cuò)，intel的不容易報(bào)錯(cuò)，配置越高最后的響應(yīng)速度越快。
查看：按住win+e,點(diǎn)此電腦，右鍵點(diǎn)屬性即可查看自己電腦系統(tǒng)和配置
顯卡：6G以上GPU
如何看電腦的顯卡內(nèi)存（操作如下）：
按住Ctrl + Shift + ESC跳出界面，選擇性能，選擇GPU0/GPU1
查看專屬GPU內(nèi)存：因?yàn)镃hatGLM2內(nèi)存要求6GB以上才可以發(fā)揮出性能要求。
下表為ChatGLM2-2B的根據(jù)顯存大小決定的問(wèn)答性能。
| 量化等級(jí) | 最低 GPU 顯存（推理） | 最低 GPU 顯存（高效參數(shù)微調(diào)） |
|---|---|---|
| FP16（無(wú)量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
2.安裝anaconda
從anaconda官網(wǎng)，推薦最新版anaconda，下載鏈接: anaconda，進(jìn)去之后點(diǎn)Download。細(xì)節(jié)具體教程詳見(jiàn): anaconda安裝教程
自動(dòng)配置環(huán)境變量是一定要打勾的，對(duì)自己不會(huì)配置環(huán)境變量的人！
安裝完成之后：win + R 輸入cmd調(diào)出命令框。
輸入命令1：
conda -V
出現(xiàn)conda的版本如下：
輸入命令2：
python
出現(xiàn)python版本如下：
這里anaconda就安裝完畢了，關(guān)閉命令框即可。
3.安裝對(duì)應(yīng)版本的CUDA
按住win + R 調(diào)出命令終端，輸出cmd
查看你NVIDIA版本，命令如下：
nvidia-smi
查看到本機(jī)可裝CUDA版本最高為12.0，版本向下兼容，意思就是CUDA 12.0及以下版本的都可以安裝，但一般不建議使用最新版本的。
CUDA安裝鏈接如下: CUDA.
選擇CUDA Toolkit11.8.0
根據(jù)自己的win系統(tǒng)選擇對(duì)應(yīng)的下載即可。
具體教程見(jiàn)：鏈接: CUDA安裝教程.
安裝完后，注意需要看下系統(tǒng)環(huán)境變量中地址有沒(méi)有相應(yīng)版本的cuda，比如我的電腦就是配置了下面幾個(gè)環(huán)境變量 （我之前安裝11.7，現(xiàn)在推薦11.8）
除上面兩個(gè)之外 ，還可以加入以下環(huán)境變量，以保證不會(huì)出錯(cuò)。我沒(méi)配置下面兩個(gè)，也沒(méi)出錯(cuò)，所以大家根據(jù)實(shí)際情況選擇是否加入下面兩個(gè)環(huán)境配置。
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\extras\CUPTI\lib64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\include
不配置可能會(huì)報(bào)錯(cuò)，Could not load dynamic library ‘cudart64_110.dll’; dlerror: cudart64_110.dll not found
同理，如上：win+R輸出cmd 調(diào)出命令行
輸入命令1：
nvcc -V
出現(xiàn)NVIDIA版本號(hào)為你下載的版本號(hào)一致即可，關(guān)閉命令框。
4.配置ChatGLM2-6B Conda環(huán)境
按照上面步驟安裝完了anaconda之后，按住win + R輸入cmd。輸入以下命令，新建一個(gè)名字為ChatGLM2B的環(huán)境。
conda create --name ChatGLM2B python==3.8.10
新建環(huán)境過(guò)程中選擇y，進(jìn)入下一步
安裝成功之后如下：
激活ChatGLM的環(huán)境
conda activate ChatGLM2B
此時(shí)你的前面就出現(xiàn)了一個(gè)如下圖（ChatGLM2B的虛擬環(huán)境）：
6.現(xiàn)在在虛擬環(huán)境下安裝pytorch（版本一致）
接上述（ChatGLM2B虛擬環(huán)境）命令框：安裝GPU版本的pytorch，（上面我們的CUDA安裝的11.8版本），pytorch也要選擇11.8版本,否則后面開(kāi)始報(bào)錯(cuò)），鏈接如下: pytorch.
在命令行輸入下面命令即可：torch11.8版本
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
運(yùn)行結(jié)果如下：
輸入y:
出現(xiàn)done，下載即完成：
如何在下面命令行輸入下面命令：
python
出現(xiàn)python版本：
依次在輸入：
import torch
print(torch.cuda.is_available())
出現(xiàn)True即為安裝成功
輸入：
exit（）
重新回到ChatGLM2的虛擬環(huán)境。
ChatGLM2-6B最新版模型環(huán)境部署及安裝
1.源碼下載
方法1：ChatGLM2-6B 鏈接：ChatGLM2-6B.
有時(shí)候沒(méi)有魔法上網(wǎng)進(jìn)不去
點(diǎn)Code，點(diǎn)Dowmload ZIP，即可下載。
方法2：直接使用git命令clone （這個(gè)需要Git軟件）
想采用這種方式下的小伙伴先下一個(gè)Git，具體教程: Git下載安裝.
下載之后以后就可以git clone了
git clone https://github.com/THUDM/ChatGLM-6B.git
下載不了的小伙伴們也沒(méi)有關(guān)系，我已經(jīng)將所有ChatGLM2-6B所需的所有插件都打開(kāi)放入百度網(wǎng)盤，如果需要請(qǐng)關(guān)注抖音號(hào)：cqupt_xr_1213。
下載完成之后，將下載好的文件放在除C盤之外的磁盤里面，推薦E/F盤
我的如下：
在該路徑下新建一個(gè)model文件 （為了后面的12G的模型下載）：
2.ChatGLM2-6B的模型下載
從: hugging face.下載所有文件，放在model文件下。 （全部下就對(duì)了）
其中模型文件（大于 1G 的）如果下載速度慢，可以在國(guó)內(nèi)清華云源中單獨(dú)下載這幾個(gè)模型文件（其他這個(gè)源沒(méi)有的文件還是需要在 huggingface 上下載）
國(guó)內(nèi)清華云源鏈接: 鏡像文件.
下載之后，放到model文件下，顯示如圖：
3.相關(guān)庫(kù)安裝：
接上面的虛擬環(huán)境命令框，最先是C盤，我們切換在自己下的盤，輸入E：。
不會(huì)切盤的去搜網(wǎng)上教程
在虛擬環(huán)境下進(jìn)入ChatGLM-6B安裝的目錄
輸入命令：
pip3 install -r requirements.txt
直到出現(xiàn)successfully built ffmpy即可：
4.修改web_demo.py的數(shù)據(jù)
在運(yùn)行之前，需要先修改web_demo.py文件中的模型地址，具體為第5行與第6行，具體如下：沒(méi)有pycharm的我們用記事本打開(kāi)
修改為：我的顯存為6G，所以我改為4 bit量化
溫馨提示，根據(jù)實(shí)際顯卡顯存 （如何看自己的顯存，前面我已經(jīng)講過(guò)了，自己的顯存要和下面代碼對(duì)應(yīng)，不對(duì)應(yīng)就會(huì)報(bào)錯(cuò)并且燒壞顯卡，注意注意?。。?/mark>，可以更改第6行關(guān)于model運(yùn)行方式：
# 6G 顯存可以 4 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(4).cuda()
# 10G 顯存可以 8 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(8).cuda()
# 14G 以上顯存可以直接不量化，博主顯存為16G選擇的就是這個(gè)
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda()
在終端輸入命令，注意不要用python3，因?yàn)榭赡軙?huì)使用到其它環(huán)境下的python。
python web_demo.py
接著瀏覽器會(huì)自動(dòng)打開(kāi)：
視頻如下：
搭建就完成了，如果要調(diào)用API的詳情請(qǐng)參考Github的API部署。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-590945.html
參考資料
ChatGLM-6B博客.
GitHub的ChatGLM2-6B鏈接.文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-590945.html
到了這里，關(guān)于清華大學(xué)開(kāi)源ChatGLM2-6B開(kāi)源模型在anaconda下的虛擬環(huán)境詳細(xì)部署及安裝教程的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
