轉(zhuǎn)載請(qǐng)備注出處: https://www.cnblogs.com/zhiyong-ITNote文章來源：http://www.zghlxwxcb.cn/news/detail-840267.html
微調(diào)框架概述
模型的微調(diào)有多種方式，對(duì)于入門的來說，一般都是基于官方的文檔微調(diào)；最近發(fā)現(xiàn)很多開源庫，其目的就是支持應(yīng)用多種微調(diào)策略來微調(diào)模型，簡(jiǎn)化模型的微調(diào)門檻。比如 ChatGLM-Efficient-Tuning、LLaMA-Factory。其架構(gòu)邏輯如下：
最近試玩了這兩個(gè)框架，個(gè)人覺得蠻好的，先不說實(shí)際的調(diào)試效果，這取決于多種因素，總的來說還是很方便快捷的。方便快捷的基于多種微調(diào)策略調(diào)試LLM；同時(shí)支持多種數(shù)據(jù)集類型。
LLaMA-Factory
這個(gè)開源庫相比較其余的庫，更全面，更方便。有如下幾點(diǎn)我是比較喜歡的。
- 訓(xùn)練方法
- 如圖，多種訓(xùn)練方法都支持，很全面。不過這里的預(yù)訓(xùn)練，我理解為是增量預(yù)訓(xùn)練；即準(zhǔn)備大量的文本數(shù)據(jù)訓(xùn)練。
- 支持全參數(shù)、部分參數(shù)、LoRA等策略微調(diào)。
- 降低門檻，一鍵訓(xùn)練。對(duì)于學(xué)習(xí)來說，可以增加知識(shí)面及使用。
- 數(shù)據(jù)集
- 支持多種數(shù)據(jù)集：增量預(yù)訓(xùn)練數(shù)據(jù)集、指令微調(diào)數(shù)據(jù)集、偏好數(shù)據(jù)集；在官方文檔都是有說明的。
- 每次微調(diào)前，我都需要斟酌數(shù)據(jù)集的準(zhǔn)備、格式等；但開源庫已經(jīng)準(zhǔn)備的很齊全而且各種場(chǎng)景的數(shù)據(jù)格式都有，直接參考即可；比如單輪對(duì)話、多輪對(duì)話、指令格式等等。這就極大的方便了數(shù)據(jù)集的準(zhǔn)備。
- 其它
- 當(dāng)然還有分布式訓(xùn)練、web界面操作等等
ChatGLM-Finetuning
Finetuning 是專門基于GLM系列的微調(diào)庫，我個(gè)人也試用，還是很方便快速的，而且文檔比較清晰，只是在部署時(shí)比較簡(jiǎn)陋，但對(duì)于要學(xué)習(xí)了解微調(diào)及LLM一些原理來說，還是很適合入門鉆研的。
應(yīng)用
目前絕大多數(shù)的大模型都是基于基座模型(GLM、QWen、LlaMa、BaiChuan)等微調(diào)訓(xùn)練而來，不過實(shí)現(xiàn)的邏輯卻是有多種，要么基于官方的微調(diào)文檔，要么基于開源微調(diào)庫實(shí)現(xiàn)。CareGPT 就是基于開源微調(diào)庫LLaMA-Factory實(shí)現(xiàn)的醫(yī)療領(lǐng)域大模型。其架構(gòu)設(shè)計(jì)如下：
在其架構(gòu)設(shè)計(jì)中，有兩個(gè)部分比較值得關(guān)注：
- 微調(diào)框架的集成
- 通過集成了微調(diào)框架，調(diào)用底層具備的能力，準(zhǔn)備多種格式的數(shù)據(jù)集微調(diào)模型。
- 數(shù)據(jù)開放
- 基于開源醫(yī)療數(shù)據(jù)集，準(zhǔn)備增量預(yù)訓(xùn)練預(yù)料、指令監(jiān)督預(yù)料、SFT預(yù)料等等；擴(kuò)充基座模型的領(lǐng)域知識(shí)能力。
總結(jié)
基于個(gè)人使用及學(xué)習(xí)的角度，介紹了微調(diào)框架的概述及其應(yīng)用。在這里面的道道還是蠻多的，有一定的大模型知識(shí)再基于這些庫去做參考去做應(yīng)用，將極大的降低LLM的應(yīng)用門檻。更有甚者可以了解底層的實(shí)現(xiàn)邏輯。
轉(zhuǎn)載請(qǐng)備注出處: https://www.cnblogs.com/zhiyong-ITNote
首發(fā)于個(gè)人公眾號(hào)
文章來源地址http://www.zghlxwxcb.cn/news/detail-840267.html
到了這里，關(guān)于聊聊大模型的微調(diào)實(shí)現(xiàn)及其應(yīng)用的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
