目錄
一、環(huán)境配置
1、安裝anaconda或者miniconda進(jìn)行環(huán)境的管理
2、安裝CUDA
3、環(huán)境安裝
二、配置加載模型
1、建立THUDM文件夾
三、遇到的問題
1、pip install -r requirements.txt
?2、運(yùn)行python web_demo.py遇到的錯(cuò)誤——TypeError: Descriptors cannot not be created directly.
?3、運(yùn)行python web_demo.py遇到的錯(cuò)誤——AttributeError: module 'numpy' has no attribute 'object'.
四、網(wǎng)頁版Demo
基于Streamlit的網(wǎng)頁版Demo
五、命令行Demo
六、總結(jié)
前言：ChatGLM2-6B 是開源中英雙語對話模型ChatGLM-6B的第二代版本，在保留了初代模型對話流暢、部署門檻較低等眾多優(yōu)秀特性的基礎(chǔ)之上，ChatGLM2-6B擁有更強(qiáng)大的性能、更長的上下文、更高的推理和更開放的協(xié)議。
項(xiàng)目倉庫鏈接：https://github.com/THUDM/ChatGLM2-6B
一、環(huán)境配置
1、安裝anaconda或者miniconda進(jìn)行環(huán)境的管理
安裝鏈接：ubuntu安裝Miniconda_Baby_of_breath的博客-CSDN博客
2、安裝CUDA
Ubuntu 安裝 CUDA11.3_計(jì)算機(jī)視覺從零學(xué)的博客-CSDN博客
3、環(huán)境安裝
git clone https://github.com/THUDM/ChatGLM2-6B #下載倉庫
cd ChatGLM2-6B #進(jìn)入文件夾
#創(chuàng)建conda環(huán)境
conda create -n chatglm python==3.8
conda activate chatglm #進(jìn)入創(chuàng)建的conda環(huán)境
#使用pip安裝所需要的依賴項(xiàng)
pip install -r requirements.txt二、配置加載模型
1、建立THUDM文件夾
mkdir THUDM #在ChatGLM2-6B項(xiàng)目文件夾內(nèi)建立
mkdir chatglm2-6b #將下載的模型和配置文件全部放入到這文件夾中
#文件位置瀏覽
/home/wxy/ChatGLM2-6B/THUDM/chatglm2-6b
然后在huggingface中將所有的模型文件和配置文件下載下來，建議手動(dòng)下載然后放入到ChatGLM2-6B/THUDM/chatglm2-6b中。
三、遇到的問題
1、pip install -r requirements.txt
當(dāng)pip安裝requirements.txt時(shí)可能會(huì)遇到一些依賴項(xiàng)無法安裝，如下圖所示：
解決方法：直接pip缺少的依賴項(xiàng)
pip install oauthlib==3.0.0
pip install tensorboard==1.15
pip install urllib3==1.25.0
pip install requests-oauthlib==1.3.1
pip install torch-tb-profiler==0.4.1
pip install google-auth==2.18.0
?2、運(yùn)行python web_demo.py遇到的錯(cuò)誤——TypeError: Descriptors cannot not be created directly.
出現(xiàn)上面截圖的錯(cuò)誤TypeError: Descriptors cannot not be created directly。表示protobuf?庫的版本問題導(dǎo)致的。錯(cuò)誤提示提到需要使用 protoc 的版本大于等于 3.19.0 重新生成代碼。
解決方法：
pip uninstall protobuf #卸載protobuf
pip install protobuf==3.19.0 #重新安裝3.19.0版本的
?3、運(yùn)行python web_demo.py遇到的錯(cuò)誤——AttributeError: module 'numpy' has no attribute 'object'.
?如果出現(xiàn)了AttributeError: module 'numpy' has no attribute 'object'這個(gè)錯(cuò)誤，解決方案如下：
pip uninstall numpy #卸載numpy
pip install numpy==1.23.4 #安裝numpy1.23.4
四、網(wǎng)頁版Demo
首先安裝 Gradio：
pip install gradio然后運(yùn)行倉庫中的web_demo.py，就可以顯示如下web頁面
python web_demo.py
基于Streamlit的網(wǎng)頁版Demo
五、命令行Demo
運(yùn)行倉庫中的cli_demo.py，在終端中就會(huì)顯示如下頁面。程序會(huì)在命令行中進(jìn)行交互式的對話，在命令行中輸入指示并回車即可生成回復(fù)，輸入 clear可以清空對話歷史，輸入 stop終止程序。
python cli_demo.py
文章來源：http://www.zghlxwxcb.cn/news/detail-824552.html
六、總結(jié)
總體來說ChatGLM2-6B表現(xiàn)的效果還是十分出色的，推理的速度也是非常快，而且輸出的篇幅比gpt要多還更有邏輯性，只不過在進(jìn)行網(wǎng)頁版demo和命令行demo的時(shí)候會(huì)占用很多的顯存，因此也是比較消耗計(jì)算量的，大概占用了13GB的顯存，但是倉庫中也給出了低成本的部署，這一點(diǎn)還是比較人性化的。由于我使用的顯卡是RTX3090，顯存24GB所以我也就沒有進(jìn)行低成本的部署，感興趣的可以去試一試。文章來源地址http://www.zghlxwxcb.cn/news/detail-824552.html
到了這里，關(guān)于Ubuntu部署ChatGLM2-6B踩坑記錄的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
