Lora微調(diào)的概念：
????????lora是Low-Rank Adaptation的縮寫，是微軟的Hu等人于2021年掛在ArXiv上（后又發(fā)表在ICLR2022上）的一篇論文《LoRA: Low-Rank Adaptation of Large Language Models》中提出的，通俗來(lái)講，是一種降低模型可訓(xùn)練參數(shù)，又盡量不損失模型表現(xiàn)的大模型微調(diào)方法。為什么時(shí)隔兩年，lora又突然火了一把呢？這一切都要感謝ChatGPT。
????????這里就簡(jiǎn)單介紹這么多，LORA微調(diào)系列(一)：LORA和它的基本原理 - 知乎 (zhihu.com)這篇文章講解的非常詳細(xì)，有興趣的同學(xué)可以去看一看。隨著大模型的爆火，lora已經(jīng)成為必不可少的工具之一了。下面就開(kāi)始講述如何在UI頁(yè)面可視化的微調(diào)大模型。
step 1 下載源碼
????????ChatGLM的微調(diào)
?git clone?https://github.com/hiyouga/ChatGLM-Efficient-Tuning.git????????Llama的微調(diào)：
git clone?https://github.com/hiyouga/LLaMA-Efficient-Tuning.gitstep 2 準(zhǔn)備數(shù)據(jù)集
????????準(zhǔn)備好數(shù)據(jù)集（json文件），放入./ChatGLM-Efficient-Tuning-main/data文件夾中
Step 3 查看數(shù)據(jù)集SHA-1哈希值
?sha1sum /path/to/your/file.txtStep 4 添加數(shù)據(jù)集
????????將SHA-1哈希值添加到dataset_info.json文件中，例如：
"alpaca_gpt4_zh": {
"file_name": "alpaca_gpt4_data_zh.json",
"file_sha1": "3eaa3bda364ccdd59925d7448a698256c31ef845"
},Step 5 運(yùn)行程序
安裝依賴：
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
?運(yùn)行程序：
python ./ChatGLM-Efficient-Tuning-main/src/train_web.pyStep 6 修改參數(shù)&運(yùn)行
????????UI頁(yè)面：
Step 6.1 訓(xùn)練
????????1.修改Model Path：本地模型的地址
????????2.修改Fintuning method：微調(diào)方式（默認(rèn)為lora）
????????3.選擇需要訓(xùn)練的數(shù)據(jù)集
????????4.修改以下的超參數(shù)：
????????????????Learning rate：學(xué)習(xí)率（e-3~e-5），Epochs，Batchsize，Save steps
? ? ? ? ? ? ? ? 這里的Save steps是每多少步就保存一次Checkpoint文件。例如有3000個(gè)Total steps，Save steps為1000，那么就是每1000個(gè)step就保存一次Checkpoint文件，最后一共三個(gè)文件。
????????5.開(kāi)始訓(xùn)練： 點(diǎn)擊start
Step 6.2 測(cè)試
????????點(diǎn)擊Evaluate，選擇數(shù)據(jù)集，修改相關(guān)的參數(shù)，點(diǎn)start
Step 6.3 Chat
????????點(diǎn)擊Load model（可以實(shí)時(shí)的查看微調(diào)結(jié)果或者模型結(jié)果）
Step 6.4 導(dǎo)出模型
????????輸入導(dǎo)出模型的地址，以及模型最大文件的大小。
Llama的微調(diào)方式和ChatGLM的微調(diào)方式一樣，這里就不多贅述了。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-777581.html
最后，希望大家都可以煉丹成功！！！文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-777581.html
到了這里，關(guān)于一文帶你UI界面玩轉(zhuǎn)ChatGLM以及Llama的微調(diào)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[玩轉(zhuǎn)AIGC]LLaMA2之如何微調(diào)模型](https://imgs.yssmx.com/Uploads/2024/02/772550-1.png)
