Windows部署
win10
通過wsl部署
常見問題：
torch.cuda.OutOfMemoryError: CUDA out of memory.
在Windows的系統(tǒng)環(huán)境變量中增加
變量名：PYTORCH_CUDA_ALLOC_CONF
變量值：max_split_size_mb:32
文檔書寫時(shí)使用3090 24G顯存配置，其他規(guī)格酌情調(diào)整 32 至其他值，如未設(shè)置變量默認(rèn)值128極大概率導(dǎo)致 CUDA OOM
無法正常啟動(dòng)：比如命令卡死、無響應(yīng)、不繼續(xù)執(zhí)行等等非報(bào)錯(cuò)異常
無敵三步走
1.Ctrl+C 終止命令執(zhí)行，重新執(zhí)行命令
2.退出實(shí)例exit,關(guān)閉實(shí)例wsl --shutdown，啟動(dòng)并進(jìn)入實(shí)例wsl
3.重啟電腦，重新進(jìn)入實(shí)例，重新執(zhí)行命令
查看虛擬化是否啟用文章來源：http://www.zghlxwxcb.cn/news/detail-440530.html
調(diào)取任務(wù)管理器
Ctrl+Shift+Esc或Win+X -> T或任務(wù)欄-> 右鍵 -> 任務(wù)管理器
性能 -> CPU -> 右下角虛擬化已啟用
其他方式自行搜索文章來源地址http://www.zghlxwxcb.cn/news/detail-440530.html
- 前置準(zhǔn)備
到了這里，關(guān)于清華大學(xué)開源的chatGLM-6B部署實(shí)戰(zhàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
