前言
如果你要問我為什么直接部署ChatGLM2的模型？
因為當(dāng)我在8月份在上海召開的全球人工智能大會上了解到清華-智譜發(fā)布的ChatGLM模型時，它已經(jīng)發(fā)布了新的版本ChatGLM2，并且推理的效果提升了不少，那么本著只要最好的原則，我就直接上手先玩新版本了。
模型簡介
部署的環(huán)境
作為AIGC方面的小白來說，我抱著非常天真的想法，想讓它在我的工作筆記本上用i5的CPU去跑，至于為什么這么想，當(dāng)然是因為我沒有GPU，身邊也沒有其他的帶顯卡電腦
恰好，在騰訊云看到了GN7的顯示優(yōu)惠活動，60塊錢15天，Nvidia T4的AI卡，直接斥巨資購買了15天
并且為了方便訪問模型資源，我這里選擇了新加坡的節(jié)點
軟件環(huán)境
騰訊云的服務(wù)器，我選擇了自己常用ubuntu鏡像，同時此模型都是基于python語言，pytorch框架訓(xùn)練的模型，為了便于管理python版本庫，使用anaconda來管理。
具體軟件環(huán)境版本如下：
? ? ? ? conda 4.8.2
? ? ? ? python 3.9
? ? ? ? pytorch2.0.1
? ? ? ? cuda 11.7
具體的軟件環(huán)境搭建過程，另起一篇去記錄
代碼工程及模型準備
1. github工程準備
git clone?https://github.com/THUDM/ChatGLM2-6B.git
下載完后，進入到工程目錄下 需要執(zhí)行 pip install -r requirements.txt 安裝需要的依賴
2. 模型權(quán)重準備
模型權(quán)重一般在huggingface上，但是現(xiàn)在huggingface被墻了，國內(nèi)的同學(xué)需要科學(xué)上網(wǎng)才行，這里國內(nèi)的小伙伴推薦去國內(nèi)的modelscope下載模型權(quán)重
下載前需要安裝git-lfs
sudo?apt-get?install?git-lfs
使用git下載：
git lfs clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b.git
運行
1.修改運行腳本cli_demo.sh
將模型路徑修改為本地路徑，即剛剛從modelscope下載的
2.運行推理
跑一個命令行的對話
python cli_demo.py
同時，官方也提供了 網(wǎng)頁版的web_demo,同樣只需要修改模型路徑為本地即可文章來源：http://www.zghlxwxcb.cn/news/detail-735557.html
體驗
文章來源地址http://www.zghlxwxcb.cn/news/detail-735557.html
到了這里，關(guān)于AIGC - ChatGLM大模型：ChatGLM2-6B模型推理部署的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
