第一步 官網(wǎng)官方驅動 | NVIDIA下載驅動
# 切換root賬號操作
# 進行一些依賴庫的升級也很必要, eg:
# yum -y install epel-release
# yum -y install gcc gcc-c++ kernel-headers kernel-devel dkms
# 卸載驅動和cuda（非必要操作，直接更新cuda即可）
# nvidia-uninstall
# cuda-uninstaller
#安裝（非必要操作，直接更新cuda即可）
# chmod a+x NVIDIA-Linux-x86_64-515.76.run
# ./NVIDIA-Linux-x86_64-470.86.run
# nvidia 安裝成功
# nvidia-smi
# 安裝cuda：
sh cuda_11.7.1_515.65.01_linux.run #默認更新driver從495到515，cuda從11.5到11.7
# 不要勾選 nvidia-fs(mofed是啥？)
# 成功之后按照提示添加路徑：
vim /etc/profile
export CUDA_HOME=/usr/local/cuda-11.7
export LD_LIBRARY_PATH=${CUDA_HOME}/lib64:${CUDA_HOME}/extras/CUPTI/lib64
export PATH=${CUDA_HOME}/bin:${PATH}
source /etc/profile
第二步?下載官方代碼包 ?
git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git
安裝python環(huán)境，此處建議使用conda管理環(huán)境。
conda create -n glm python=3.10.6
比如glm就 conda activate glm
sd 就conda activate sd
第三步 重新更新你的cuda的支持(非常重要)
進入你的代碼目錄下
pip install -r requment.txt 下載依賴
這里可能有的朋友會有問題會出現(xiàn)某些包下載不了，這里建議直接使用阿里源即可，在確定你的cuda版本之后(使用nvidia-smi確定cuda版本)
命令行執(zhí)行
pip uninstall torch torchvision torchaudio
卸載掉剛才pip安裝的版本!!!!因為此處安裝的版本還缺少cuda的支持，確定卸載掉之后
執(zhí)行
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cuX此處X為你的cuda版本，例如你的cuda版本為11.8那么此處就是118。
在安裝完成后 執(zhí)行pip list，如果此處是這樣的?
那么恭喜你，成功了
第四步 下載對應的模型包
無論是chatglm-6b還是int4 int8的量化版本都可以，根據(jù)自己服務器的顯存來決定
第五步 進入代碼目錄，修改config/model_config.py文件
將里面的模型目錄修改為你本地的即可
第六步 啟動項目
python webui.py 啟動，這一步很多人會出現(xiàn)報錯，大部分人都會報錯，但按照第三步來執(zhí)行操作，基本99%不會出問題
另外：
有少部分報錯會提示cudnn沒有運行，那是因為你真的沒有安裝cuda，直接百度搜索即可解決 。
如果報out of memory 是你的顯存太小了運行不起來。
如果代碼運行起來了，你上傳docx知識庫報錯，那么你需要安裝libreoffice擴展，看該文章https://blog.csdn.net/an129/article/details/126766228進行安裝，安裝后有少部分朋友還是會報這個錯誤，你需要把你安裝目錄加入到環(huán)境變量(/etc/profile)中，如下圖所示文章來源：http://www.zghlxwxcb.cn/news/detail-579770.html
該問題即可解決。文章來源地址http://www.zghlxwxcb.cn/news/detail-579770.html
到了這里，關于CentOS7上部署langchain-chatglm或stable-diffusion可能遇到的Bug的解決方案的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
