在人工智能領(lǐng)域，大語言模型（LLMs）已成為推動技術(shù)進(jìn)步的關(guān)鍵力量。它們在理解和生成自然語言方面展現(xiàn)出了卓越的能力，從而在問答系統(tǒng)、機(jī)器翻譯、信息提取等多樣化任務(wù)中發(fā)揮著重要作用。然而，要將這些模型適配到特定的下游任務(wù)中，通常需要進(jìn)行微調(diào)（fine-tuning），這是一個資源密集型的過程。高效的微調(diào)方法因此成為了研究的熱點(diǎn)，旨在減少訓(xùn)練成本，同時保持或提升模型性能。

盡管如此，實現(xiàn)這些方法在不同模型上的應(yīng)用仍然需要非凡的努力。為了解決這一問題，研究者們開發(fā)了各種框架來簡化微調(diào)流程，提高資源利用率，并通過友好的用戶界面降低技術(shù)門檻。這些框架的出現(xiàn)，使得更多的研究者和開發(fā)者能夠利用LLMs，推動了人工智能技術(shù)的民主化。

LLAMA FACTORY是一個旨在普及LLMs微調(diào)的框架。它通過可擴(kuò)展的模塊統(tǒng)一了多種高效微調(diào)方法，使得數(shù)百種語言模型能夠在資源有限的情況下進(jìn)行高吞吐量的微調(diào)。此外，該框架還簡化了常用的訓(xùn)練方法，如生成式預(yù)訓(xùn)練、監(jiān)督式微調(diào)、基于人類反饋的強(qiáng)化學(xué)習(xí)以及直接偏好優(yōu)化等。用戶可以通過命令行或Web界面，以最小或無需編碼的方式自定義和微調(diào)他們的語言模型。

分享幾個網(wǎng)站

GPT-3.5研究測試：
https://hujiaoai.cn

GPT-4研究測試：
https://higpt4.cn

Claude-3研究測試（全面吊打GPT-4）：
https://hiclaude3.com

LLAMA FACTORY的有效性和效率已通過語言建模和文本生成任務(wù)得到實證驗證。該框架已在GitHub上發(fā)布，并獲得了超過13,000個星標(biāo)和1,600個分支。

論文標(biāo)題:
LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models

論文鏈接:
https://arxiv.org/pdf/2403.13372.pdf

項目鏈接：
https://github.com/hiyouga/LLaMA-Factory

LLAMA FACTORY框架的核心組成

下圖顯示了LLAMA FACTORY由三個主要模塊組成：模型加載器（Model Loader）、數(shù)據(jù)工作者（Data Worker）和訓(xùn)練器（Trainer）。

1. 模型加載器：支持100+語言模型的準(zhǔn)備工作

LLAMA FACTORY框架的模型加載器是其核心組件之一，負(fù)責(zé)準(zhǔn)備和加載超過100種不同的語言模型。這一模塊通過建立模型注冊表，精確地為預(yù)訓(xùn)練模型附加適配器，識別并處理模型的各個層次。此外，模型加載器還負(fù)責(zé)模型的初始化、模型補(bǔ)丁、模型量化和適配器附加等關(guān)鍵任務(wù)，確保了框架能夠靈活地擴(kuò)展到數(shù)百種模型和數(shù)據(jù)集。

2. 數(shù)據(jù)工作器：處理和標(biāo)準(zhǔn)化不同任務(wù)的數(shù)據(jù)集

數(shù)據(jù)工作器是LLAMA FACTORY框架的另一個關(guān)鍵模塊，它通過一系列的數(shù)據(jù)處理流程，包括數(shù)據(jù)加載、數(shù)據(jù)對齊、數(shù)據(jù)合并和數(shù)據(jù)預(yù)處理，來處理和標(biāo)準(zhǔn)化不同任務(wù)的數(shù)據(jù)集。該模塊利用數(shù)據(jù)描述規(guī)范（下表）來統(tǒng)一不同格式的數(shù)據(jù)集，使其能夠適應(yīng)各種任務(wù)。例如，對于文本生成模型的訓(xùn)練，數(shù)據(jù)工作器提供了多種聊天模板，這些模板可以根據(jù)模型類型自動選擇，并通過分析器編碼句子。

3. 訓(xùn)練器：整合多種高效微調(diào)方法

訓(xùn)練器是LLAMA FACTORY框架的第三個核心模塊，它整合了多種高效的微調(diào)方法，如LoRA+和GaLore，通過替換默認(rèn)組件來適應(yīng)不同的任務(wù)和數(shù)據(jù)集。這些訓(xùn)練方法與訓(xùn)練器相互獨(dú)立，易于應(yīng)用于各種任務(wù)。訓(xùn)練器還支持分布式訓(xùn)練，可以與DeepSpeed等工具結(jié)合使用，進(jìn)一步降低內(nèi)存消耗。

高效微調(diào)技術(shù)的分類與應(yīng)用

高效的LLM微調(diào)技術(shù)可以分為兩個主要類別：一類專注于優(yōu)化，另一類旨在計算。

1. 高效優(yōu)化技術(shù)：減少參數(shù)調(diào)整成本

高效優(yōu)化技術(shù)的主要目標(biāo)是在保持成本最低的同時調(diào)整LLMs的參數(shù)。LLAMA FACTORY框架中包含的高效優(yōu)化技術(shù)（下表）有freeze-tuning（凍結(jié)大部分參數(shù)，僅微調(diào)少量解碼器層的參數(shù)）、GaLore（將梯度投影到低維空間，以內(nèi)存高效的方式進(jìn)行全參數(shù)學(xué)習(xí)）、LoRA（凍結(jié)所有預(yù)訓(xùn)練權(quán)重，引入可訓(xùn)練的低秩矩陣）以及DoRA（將預(yù)訓(xùn)練權(quán)重分解為幅度和方向組件，僅對方向組件應(yīng)用LoRA）等。

2. 高效計算技術(shù)：降低計算所需的時間或空間

高效計算技術(shù)旨在減少LLMs所需的計算時間或空間。LLAMA FACTORY框架整合了一系列高效計算技術(shù)（上表），如混合精度訓(xùn)練、激活檢查點(diǎn)、flash attention（一種硬件友好的注意力計算方法）、S2 attention（解決塊稀疏注意力中上下文擴(kuò)展的挑戰(zhàn)）以及各種量化策略（使用低精度表示權(quán)重以減少內(nèi)存要求）。此外，Unsloth技術(shù)通過Triton實現(xiàn)LoRA的反向傳播，減少了梯度下降過程中的浮點(diǎn)運(yùn)算，加速了LoRA訓(xùn)練。

LLAMA FACTORY的實用工具和特性

在當(dāng)今大數(shù)據(jù)時代，高效地調(diào)整和優(yōu)化LLMs對于實現(xiàn)其在下游任務(wù)中的最佳性能至關(guān)重要。LLAMA FACTORY框架應(yīng)運(yùn)而生，為廣大研究者和開發(fā)者提供了一個統(tǒng)一、高效的LLM微調(diào)平臺。以下是LLAMA FACTORY的一些核心工具和特性：

1. 加速推理：提供高吞吐量的并發(fā)推理服務(wù)

LLAMA FACTORY通過集成先進(jìn)的計算技術(shù)，如混合精度訓(xùn)練、激活檢查點(diǎn)以及特定的注意力機(jī)制優(yōu)化（例如Flash Attention和S2 Attention），顯著提高了模型的推理速度。這些技術(shù)共同作用，使得在進(jìn)行大規(guī)模模型推理時，能夠以更低的內(nèi)存占用和更高的吞吐量執(zhí)行，從而加速了模型的部署和應(yīng)用。

2. 綜合評估：包含多種評估LLMs的指標(biāo)

為了全面評估微調(diào)后模型的性能，LLAMA FACTORY集成了一系列評估指標(biāo)，包括多項選擇任務(wù)的評估（如MMLU、CMMLU和C-Eval）以及文本相似度評分（如BLEU-4和ROUGE）。這些綜合評估工具不僅支持自動評估模型的性能，還能通過人工評估提供更加深入的洞察，幫助用戶從多個維度理解模型的優(yōu)勢和局限。

LLAMABOARD：用戶友好的界面

為了降低LLM微調(diào)的門檻，LLAMA FACTORY提供了LLAMABOARD，一個基于Gradio構(gòu)建的用戶友好界面，使得用戶無需編寫任何代碼即可輕松地進(jìn)行模型的配置、訓(xùn)練和評估（下圖）。

1. 易于配置：無需編碼即可自定義微調(diào)參數(shù)

通過LLAMABOARD，用戶可以通過簡單的圖形界面來配置微調(diào)參數(shù)，如學(xué)習(xí)率、批次大小等。該界面為用戶提供了默認(rèn)的參數(shù)值推薦，同時也允許用戶根據(jù)自己的需求進(jìn)行自定義，極大地簡化了模型微調(diào)的配置過程。

2. 可監(jiān)控訓(xùn)練：實時可視化訓(xùn)練日志和損失曲線

在模型訓(xùn)練過程中，LLAMABOARD實時更新并可視化訓(xùn)練日志和損失曲線，使用戶能夠?qū)崟r監(jiān)控訓(xùn)練進(jìn)度和模型性能。這一特性為用戶提供了及時調(diào)整訓(xùn)練策略的依據(jù)，有助于提高模型微調(diào)的效率和效果。

3. 靈活評估：支持自動和人工評估模型性能

LLAMABOARD支持在數(shù)據(jù)集上自動計算文本相似度分?jǐn)?shù)來評估模型性能，同時也提供了與模型交互的界面，允許用戶通過與模型的對話來進(jìn)行人工評估。這種靈活的評估方式使用戶能夠從不同角度全面了解模型的性能，為進(jìn)一步優(yōu)化模型提供了寶貴的反饋。

通過這些實用的工具和特性，LLAMA FACTORY為廣大研究者和開發(fā)者提供了一個高效、便捷的平臺，以促進(jìn)LLMs在各種應(yīng)用場景中的發(fā)展和應(yīng)用。

實證研究：框架的訓(xùn)練效率和任務(wù)適應(yīng)性驗證

1. 訓(xùn)練效率的實驗設(shè)置和結(jié)果分析

在LLAMA FACTORY框架的訓(xùn)練效率實驗中，研究者們選擇了PubMed數(shù)據(jù)集作為訓(xùn)練材料，該數(shù)據(jù)集包含超過3600萬條生物醫(yī)學(xué)文獻(xiàn)記錄。從這些文獻(xiàn)的摘要中提取了約40萬個token作為訓(xùn)練樣本。實驗涉及了多種不同的高效微調(diào)方法，包括全參數(shù)微調(diào)（Full-tuning）、凍結(jié)微調(diào)（Freeze-tuning）、GaLore、LoRA以及4位QLoRA。實驗中，研究者們使用了Gemma-2B、Llama2-7B和Llama2-13B模型，并通過計算在訓(xùn)練樣本上的困惑度（Perplexity, PPL）來評估不同方法的效率。

實驗結(jié)果顯示（下表，粗體字是最佳結(jié)果），QLoRA在內(nèi)存占用上一致表現(xiàn)最佳，這得益于其在低精度下表示預(yù)訓(xùn)練權(quán)重。而LoRA則在吞吐量上表現(xiàn)更優(yōu)，這是由于使用了Unsloth對LoRA層進(jìn)行的優(yōu)化。在大型模型上，GaLore在降低PPL方面表現(xiàn)更好，而在較小的模型上，LoRA則具有優(yōu)勢。這些結(jié)果凸顯了高效微調(diào)方法在適應(yīng)特定任務(wù)時的有效性。

2. 在下游任務(wù)上的微調(diào)效果評估

為了評估不同高效微調(diào)方法的任務(wù)適應(yīng)性，研究者們在多個下游任務(wù)上進(jìn)行了實驗。這些任務(wù)包括CNN/DM、XSum和AdGen，分別代表了文本摘要和廣告文案生成等文本生成任務(wù)。實驗中選取了多個指令調(diào)優(yōu)模型，并采用序列到序列的任務(wù)進(jìn)行微調(diào)。比較了全參數(shù)微調(diào)（FT）、GaLore、LoRA和4位QLoRA的效果，并在每個任務(wù)的測試集上計算了ROUGE得分。

實驗結(jié)果表明（下表，粗體字是最佳結(jié)果），除了Llama2-7B和ChatGLM3-6B模型在CNN/DM和AdGen數(shù)據(jù)集上，LoRA和QLoRA在大多數(shù)情況下都取得了最佳性能。這表明這些高效微調(diào)方法在特定任務(wù)上具有良好的適應(yīng)性。此外，Mistral-7B模型在英文數(shù)據(jù)集上表現(xiàn)更好，而Qwen1.5-7B模型在中文數(shù)據(jù)集上得分更高，這表明微調(diào)后模型的性能也與其在特定語言上的固有能力有關(guān)。

結(jié)論與未來工作：總結(jié)LLAMA FACTORY的貢獻(xiàn)和展望

LLAMA FACTORY框架通過模塊化設(shè)計，最小化了模型、數(shù)據(jù)集和訓(xùn)練方法之間的依賴性，并提供了一個集成化的方法，可以使用多種高效微調(diào)技術(shù)對超過100種語言模型進(jìn)行微調(diào)。此外，該框架還提供了一個靈活的Web UI LLAMABOARD，使用戶能夠在無需編碼的情況下自定義微調(diào)和評估語言模型。通過在語言建模和文本生成任務(wù)上的實證驗證，證明了框架的效率和有效性。

未來，研究者們計劃持續(xù)將LLAMA FACTORY與最新的模型和高效微調(diào)技術(shù)保持同步，并歡迎開源社區(qū)的貢獻(xiàn)。在未來的版本中，研究者們將探索更先進(jìn)的并行訓(xùn)練策略和多模態(tài)高效微調(diào)語言模型。

文章來源地址http://www.zghlxwxcb.cn/news/detail-858764.html

到了這里，關(guān)于Github萬星！北航發(fā)布零代碼大模型微調(diào)平臺LlamaFactory的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！