自然語言訓(xùn)練似乎一夜之間就被chatgpt帶火了。而因?yàn)槲覀冃枰鲎匀徽Z言訓(xùn)練開發(fā)，所以就找了清華大學(xué)的chatglm來開發(fā)。在部署中我們遇到了很多的問題，當(dāng)然也是各種百度去解決。最終功夫不負(fù)有心人，我們嘗試了各種方法，完成了整體的訓(xùn)練。下面我就把完整的流程和你肯定會(huì)遇到的錯(cuò)誤提示一一寫明修改方式。
一、環(huán)境
1、首先不推薦華為的免費(fèi)試用空間，那個(gè)空間不支持cuda，所以說運(yùn)行的時(shí)候會(huì)報(bào)找不到libcuda.so.1，這個(gè)錯(cuò)誤解決不了。
2、我用的是阿里云的PAI環(huán)境，阿里云是有免費(fèi)的探索者版，但是探索者版能做到的，最多就是告訴你這個(gè)代碼能不能跑。可以訓(xùn)練，但是4g的內(nèi)存太小了，訓(xùn)練數(shù)據(jù)直接就干炸了。
首先在阿里云要先創(chuàng)建一個(gè)DSW，選擇ecs.gn7i-c8g1.2xlarge即可，最重要的是，在官方鏡像中，一定要選擇pytorch，py39版本的。否則是無法運(yùn)行numba的。
3、創(chuàng)建好了之后，需要等待很長一段時(shí)間準(zhǔn)備環(huán)境。
4、進(jìn)入之后，新建一個(gè)Terminal，然后輸入git clone https://github.com/THUDM/ChatGLM-6B，然后會(huì)生成一個(gè)ChatGLM-6B文件夾。
5、打開文件夾，有一個(gè)requirements.txt文件，右鍵點(diǎn)擊，選擇copy path（這個(gè)操作會(huì)經(jīng)常用到，我會(huì)簡稱cp一下）。在命令行輸入：pip install -r ctv（ctv為ctrl+v，粘貼一下cp的內(nèi)容），回車。會(huì)安裝好。之后再pip install四個(gè)文件：
pip install jieba
pip install rouge_chinese
pip install nltk
pip install datasets
6、在根目錄建一個(gè)文件夾，名稱training。這個(gè)我們留著后面用到。
7、打開ChatGLM-6B中ptuning文件夾，里面有兩個(gè)文件非常重要，一個(gè)是train.sh，一個(gè)是main.py入口文件。
8、打開train.py文件，我們要修改幾個(gè)東西：
① 首先把python3改成python，這里如果不修改，你會(huì)遇到找不到numpy的報(bào)錯(cuò)；
② cp一下main.py，把python后面的main.py改成cp的內(nèi)容，粘貼一下；
③ train_file和validation_file是你要訓(xùn)練的文件的路徑，這就是第三大步在根目錄建的training的原因。
這三步做完，保存退出。
9、這時(shí)候開始寫你需要訓(xùn)練的文件。首先先說訓(xùn)練文件必須是json格式，“content”是輸入的問題，“summary”是輸出的內(nèi)容。但是這里我們要注意第二個(gè)問題，就是我們在本地用dict[key]=value的形式寫成字典的時(shí)候，返回的值是單引號(hào)的，這時(shí)候一定要改成雙引號(hào)。比如{“content”:“1”,“summary”:“2”}，而不是{‘content’:‘1’,‘summary’:‘2’}。最后將文件保存成.json格式。然后在數(shù)據(jù)中，如果有\(zhòng)n\r的也是無法被json的。
10、把文件傳到training目錄下，cp一下路徑，將train.sh文件中train_file和validation_file后面改為cp的路徑。
11、這時(shí)候返回Terminal，cp一下train.sh，輸入文章來源：http://www.zghlxwxcb.cn/news/detail-461598.html
bash cp路徑/train.sh
即可啟動(dòng)訓(xùn)練。
對(duì)于windows系統(tǒng)，最難的也是環(huán)境配置，這里再重申一遍硬件配置：
python：3.9
內(nèi)存最低：16g
顯存最低：16g
硬盤一定是固態(tài)硬盤。文章來源地址http://www.zghlxwxcb.cn/news/detail-461598.html
到了這里，關(guān)于chatglm——從部署到訓(xùn)練全流程&&你遇到的錯(cuò)誤都在這里。的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
