本文目的

本文僅僅是測試一下ptuning技術(shù)方案，使用少量數(shù)據(jù)測試下微調(diào)流程

環(huán)境

  系統(tǒng)：CentOS-7
  CPU: 14C28T
  顯卡：Tesla P40 24G
  驅(qū)動(dòng): 515
  CUDA: 11.7
  cuDNN: 8.9.2.26

模型文件

https://huggingface.co/THUDM/chatglm2-6b
下載模型相關(guān)文件到自己目錄
我的是/models/chatglm2-6b

[root@ai-server chatglm2-6b]# pwd
/models/chatglm2-6b
[root@ai-server chatglm2-6b]# ll -h
total 12G
-rw-r--r--. 1 root root   678 Jul 29 09:30 cli.py
-rw-r--r--. 1 root root  1.2K Jul 29 09:30 config.json
-rw-r--r--. 1 root root  2.2K Jul 29 09:30 configuration_chatglm.py
-rw-r--r--. 1 root root   50K Jul 29 09:30 modeling_chatglm.py
-rw-r--r--. 1 root root  4.1K Jul 29 09:30 MODEL_LICENSE.txt
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00001-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00002-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00003-of-00007.bin
-rw-r--r--. 1 root root  1.7G Jul 29 09:33 pytorch_model-00004-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00005-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00006-of-00007.bin
-rw-r--r--. 1 root root 1005M Jul 29 09:32 pytorch_model-00007-of-00007.bin
-rw-r--r--. 1 root root   20K Jul 29 09:30 pytorch_model.bin.index.json
-rw-r--r--. 1 root root   15K Jul 29 09:30 quantization.py
-rw-r--r--. 1 root root   348 Jul 29 09:30 README-env.md
-rw-r--r--. 1 root root  7.9K Jul 29 09:30 README.md
-rw-r--r--. 1 root root  9.9K Jul 29 09:30 tokenization_chatglm.py
-rw-r--r--. 1 root root   244 Jul 29 09:30 tokenizer_config.json
-rw-r--r--. 1 root root  995K Jul 29 09:30 tokenizer.model

創(chuàng)建環(huán)境安

conda create --name glm2 python=3.10
conda activate glm2

下載代碼工程

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

安裝依賴

pip install rouge_chinese nltk jieba datasets  -i https://pypi.tuna.tsinghua.edu.cn/simple

準(zhǔn)備訓(xùn)練數(shù)據(jù)

參考數(shù)據(jù)

data/train.json 文章開頭【自我意識(shí)-訓(xùn)練數(shù)據(jù)train.json】
可以替換【AI小木】【小呂】來構(gòu)建你自己的自我認(rèn)識(shí)數(shù)據(jù)集

一定注意數(shù)據(jù)中格式，符號(hào)中英文等等

data/dev.json
我使用和train.json一致，正式使用是要使用真實(shí)數(shù)據(jù)

調(diào)整代碼

cd ptuning

修改 train.sh
    --train_file data/train.json \
    --validation_file data/dev.json \
    --model_name_or_path /models/chatglm2-6b \
    --max_steps 100 \
    --logging_steps 1 \
    --save_steps 50 \

開始微調(diào)

sh train.sh

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 515.65.01    Driver Version: 515.65.01    CUDA Version: 11.7     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla P40           Off  | 00000000:03:00.0 Off |                    0 |
| N/A   78C    P0   196W / 250W |   7845MiB / 23040MiB |    100%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+


{'train_runtime': 2787.9684, 'train_samples_per_second': 0.574, 'train_steps_per_second': 0.036, 'train_loss': 1.142700309753418, 'epoch': 20.0}                                 
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [46:27<00:00, 27.88s/it]***** train metrics *****
  epoch                    =       20.0
  train_loss               =     1.1427
  train_runtime            = 0:46:27.96
  train_samples            =         80
  train_samples_per_second =      0.574
  train_steps_per_second   =      0.036

train_loss 要小，如果1,2這種未調(diào)出的效果很差

如果調(diào)整了數(shù)據(jù)集，要清理緩存，緩存目錄如下
/root/.cache/huggingface/datasets

驗(yàn)證新模型

output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-100

命令行驗(yàn)證

vim cli.py

import logging
import os
import sys
import json

import torch
from transformers import AutoConfig, AutoModel, AutoTokenizer

# 載入Tokenizer
tokenizer = AutoTokenizer.from_pretrained("/models/chatglm2-6b", trust_remote_code=True)

config = AutoConfig.from_pretrained("/models/chatglm2-6b", trust_remote_code=True, pre_seq_len=128)
model = AutoModel.from_pretrained("/models/chatglm2-6b", config=config, trust_remote_code=True)
prefix_state_dict = torch.load(os.path.join("./output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-100", "pytorch_model.bin"))
new_prefix_state_dict = {}
for k, v in prefix_state_dict.items():
    if k.startswith("transformer.prefix_encoder."):
        new_prefix_state_dict[k[len("transformer.prefix_encoder."):]] = v
model.transformer.prefix_encoder.load_state_dict(new_prefix_state_dict)

# 之后根據(jù)需求可以進(jìn)行量化
# Comment out the following line if you don't use quantization
#model = model.quantize(4)
model = model.half().cuda()
model.transformer.prefix_encoder.float()
model = model.eval()

response, history = model.chat(tokenizer, "你是誰", history=[])

print(response)

python cli.py

Web驗(yàn)證

cat web_demo.sh 
PRE_SEQ_LEN=128

CUDA_VISIBLE_DEVICES=0 python3 web_demo.py \
    --model_name_or_path /models/chatglm2-6b \
    --ptuning_checkpoint output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-100 \
    --pre_seq_len $PRE_SEQ_LEN

注意

web_demo.py
    外網(wǎng)訪問
    demo.queue().launch(share=False, inbrowser=True,server_name='0.0.0.0')

sh web_demo.sh 

http://192.168.0.0:7860/

好，可以體驗(yàn)了文章來源地址http://www.zghlxwxcb.cn/news/detail-636485.html

到了這里，關(guān)于第七篇-Tesla P40+ChatGLM2+P-Tuning的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！