QLoRA 提出內(nèi)存高效的微調(diào)方法！降低 LLaMA 模型微調(diào)內(nèi)存占用，僅需數(shù)小時(shí)追趕 ChatGPT

引言：大模型微調(diào)的新時(shí)代

隨著人工智能技術(shù)的飛速發(fā)展，大型語(yǔ)言模型（Large Language Models，LLMs）已成為自然語(yǔ)言處理領(lǐng)域的重要工具。這些模型通常包含數(shù)十億甚至數(shù)千億個(gè)參數(shù)，能夠在各種語(yǔ)言任務(wù)上展現(xiàn)出色的性能。然而，微調(diào)這些大型模型以適應(yīng)特定任務(wù)往往需要巨大的計(jì)算資源和內(nèi)存，這限制了其在資源受限的環(huán)境下的應(yīng)用。

在這樣的背景下，一種名為QLORA的新方法應(yīng)運(yùn)而生，它通過(guò)高效的微調(diào)技術(shù)，顯著降低了微調(diào)大型語(yǔ)言模型所需的內(nèi)存使用量，使得在單個(gè)GPU上微調(diào)65B參數(shù)模型成為可能。QLORA的出現(xiàn)預(yù)示著大模型微調(diào)的新時(shí)代，它不僅為研究人員提供了更多的可能性，也為語(yǔ)言模型的廣泛應(yīng)用打開(kāi)了新的大門(mén)。

聲明：本期論文解讀非人類(lèi)撰寫(xiě)，全文由賽博馬良「AI論文解讀達(dá)人」智能體自主完成，經(jīng)人工審核后發(fā)布。

智能體傳送門(mén)：賽博馬良-AI論文解讀達(dá)人

神奇口令：?小瑤讀者?（前100位有效）文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-819281.html

論文標(biāo)題、機(jī)構(gòu)、論文鏈接和項(xiàng)目地址(如有)

• 論文標(biāo)題：QLORA: Efficient Finetuning of Quantized LLMs
• 機(jī)構(gòu)：University of Washington
• 論文鏈接：https://arxiv.org/pdf/2305.14314.pdf
• 項(xiàng)目地址：https://github.com/artidoro/qlora?和?https://github.com/TimDettmers/bitsandbytes

QLORA方法概述：高效微調(diào)大型語(yǔ)言模型

1. QLORA方法的核心技術(shù)

QLORA方法的核心在于其能夠在不犧牲16位微調(diào)任務(wù)性能的前提下，通過(guò)4位量化預(yù)訓(xùn)練語(yǔ)言模型，顯著降低微調(diào)65B參數(shù)模型所需的內(nèi)存使用量。QLORA的關(guān)鍵創(chuàng)新包括：

• 4-bit NormalFloat (NF4)：一種新的數(shù)據(jù)類(lèi)型，對(duì)于正態(tài)分布的權(quán)重來(lái)說(shuō)，它是信息理論上的最優(yōu)量化數(shù)據(jù)類(lèi)型。
• 雙重量化 (Double Quantization)：通過(guò)量化量化常數(shù)來(lái)進(jìn)一步減少內(nèi)存占用。
• 分頁(yè)優(yōu)化器 (Paged Optimizers)：使用NVIDIA統(tǒng)一內(nèi)存來(lái)管理長(zhǎng)序列處理時(shí)出現(xiàn)的內(nèi)存峰值。

2. Guanaco模型家族及其性能

QLORA訓(xùn)練出的Guanaco模型家族在Vicuna基準(zhǔn)測(cè)試中表現(xiàn)出色，其最佳模型達(dá)到了與ChatGPT相當(dāng)?shù)?9.3%性能水平，同時(shí)只需在單個(gè)GPU上微調(diào)24小時(shí)。Guanaco模型家族的性能優(yōu)勢(shì)不僅體現(xiàn)在其高效的微調(diào)能力，還包括其在部署時(shí)的內(nèi)存效率。例如，Guanaco家族中最小的7B參數(shù)模型僅需5GB內(nèi)存即可運(yùn)行，并且在Vicuna基準(zhǔn)測(cè)試中比26GB的Alpaca模型高出20個(gè)百分點(diǎn)。

QLORA的創(chuàng)新點(diǎn)

在深入探討QLORA的創(chuàng)新點(diǎn)之前，我們先簡(jiǎn)要回顧一下QLORA的背景。QLORA是一種高效的微調(diào)方法，它通過(guò)減少內(nèi)存使用，使得在單個(gè)48GB GPU上微調(diào)一個(gè)65B參數(shù)模型成為可能，同時(shí)保持與全16位微調(diào)任務(wù)相當(dāng)?shù)男阅?。QLORA通過(guò)一個(gè)凍結(jié)的、4位量化的預(yù)訓(xùn)練語(yǔ)言模型反向傳播梯度到低秩適配器（LoRA）。QLORA引入了多項(xiàng)創(chuàng)新，以在不犧牲性能的情況下減少內(nèi)存使用。

1. 4-bit NormalFloat (NF4) 數(shù)據(jù)類(lèi)型

QLORA的第一個(gè)創(chuàng)新點(diǎn)是4-bit NormalFloat (NF4) 數(shù)據(jù)類(lèi)型。這是一種新的數(shù)據(jù)類(lèi)型，理論上對(duì)于正態(tài)分布的權(quán)重是最優(yōu)的量化數(shù)據(jù)類(lèi)型，實(shí)驗(yàn)結(jié)果表明，它比4位整數(shù)和4位浮點(diǎn)數(shù)都能提供更好的結(jié)果。NF4數(shù)據(jù)類(lèi)型基于分位數(shù)量化，這是一種信息理論上的最優(yōu)數(shù)據(jù)類(lèi)型，確保每個(gè)量化區(qū)間內(nèi)有相等數(shù)量的值。通過(guò)將權(quán)重標(biāo)準(zhǔn)化到一個(gè)固定的范圍內(nèi)，NF4能夠精確地估計(jì)輸入張量的分位數(shù)，從而實(shí)現(xiàn)高效的量化。

2. 雙重量化 (Double Quantization)

雙重量化是QLORA的第二個(gè)創(chuàng)新點(diǎn)。這種方法通過(guò)量化量化常數(shù)來(lái)進(jìn)一步減少內(nèi)存占用。具體來(lái)說(shuō)，它將第一次量化的量化常數(shù)作為第二次量化的輸入，使用8位浮點(diǎn)數(shù)進(jìn)行第二次量化。這種方法平均每個(gè)參數(shù)節(jié)省了約0.37位（大約為65B模型節(jié)省了3GB內(nèi)存）。

3. 分頁(yè)優(yōu)化器 (Paged Optimizers)

最后，QLORA引入了分頁(yè)優(yōu)化器，這是一種使用NVIDIA統(tǒng)一內(nèi)存的方法，可以在處理長(zhǎng)序列的小批量數(shù)據(jù)時(shí)避免內(nèi)存峰值。當(dāng)GPU偶爾內(nèi)存不足時(shí)，分頁(yè)優(yōu)化器可以在CPU和GPU之間自動(dòng)進(jìn)行頁(yè)面到頁(yè)面的傳輸，從而確保GPU處理不會(huì)出錯(cuò)。

實(shí)驗(yàn)設(shè)置：數(shù)據(jù)集和模型架構(gòu)

在實(shí)驗(yàn)設(shè)置中，QLORA考慮了三種架構(gòu)（編碼器、編解碼器和僅解碼器），并將QLORA與16位適配器微調(diào)和全微調(diào)進(jìn)行了比較，模型大小達(dá)到3B。評(píng)估包括GLUE（使用RoBERTa-large）、Super-NaturalInstructions（使用T5）和在LLaMA上微調(diào)后的5-shot MMLU。此外，為了研究NF4與其他4位數(shù)據(jù)類(lèi)型的優(yōu)勢(shì)，使用了不同模型（OPT、LLaMA、BLOOM、Pythia）進(jìn)行了語(yǔ)言建模和一系列零樣本任務(wù)的評(píng)估。

QLORA與標(biāo)準(zhǔn)微調(diào)的性能比較

在不同數(shù)據(jù)集上的表現(xiàn)

QLORA在多個(gè)數(shù)據(jù)集上的表現(xiàn)與16位全微調(diào)相當(dāng)。在GLUE和Super-NaturalInstructions數(shù)據(jù)集上，16位、8位和4位適配器方法復(fù)制了全微調(diào)16位基線(xiàn)的性能。這表明由于不精確量化而損失的性能可以通過(guò)適配器微調(diào)完全恢復(fù)。

在不同模型規(guī)模上的表現(xiàn)

在更大規(guī)模的模型（7B至65B參數(shù)）上，QLORA通過(guò)在Alpaca和FLAN v2數(shù)據(jù)集上微調(diào)LLaMA，并在MMLU基準(zhǔn)上進(jìn)行5-shot準(zhǔn)確性評(píng)估，證明了NF4與雙重量化能夠完全恢復(fù)16位LoRA的MMLU性能。此外，使用FP4的QLORA在16位brain float LoRA基線(xiàn)上落后約1個(gè)百分點(diǎn)，這進(jìn)一步證實(shí)了QLORA使用NF4能夠復(fù)制16位全微調(diào)和16位LoRA微調(diào)的性能，且NF4在量化精度方面優(yōu)于FP4。

推動(dòng)聊天機(jī)器人技術(shù)的新高度

1. 實(shí)驗(yàn)設(shè)置和數(shù)據(jù)選擇

在推動(dòng)聊天機(jī)器人技術(shù)的新高度方面，QLORA提供了一種高效的微調(diào)方法，能夠在單個(gè)48GB GPU上微調(diào)高達(dá)65B參數(shù)的模型，同時(shí)保持完整的16位微調(diào)任務(wù)性能。QLORA通過(guò)凍結(jié)的4位量化預(yù)訓(xùn)練語(yǔ)言模型反向傳播梯度到低秩適配器（LoRA）。Guanaco模型家族是利用QLORA訓(xùn)練的，其中最好的模型在Vicuna基準(zhǔn)測(cè)試上超越了所有之前公開(kāi)發(fā)布的模型，達(dá)到了ChatGPT性能水平的99.3%，僅需在單個(gè)GPU上微調(diào)24小時(shí)。

QLORA引入了多項(xiàng)創(chuàng)新以節(jié)省內(nèi)存而不犧牲性能：（a）4位NormalFloat（NF4），一種對(duì)于正態(tài)分布權(quán)重理論上最優(yōu)的新數(shù)據(jù)類(lèi)型；（b）雙重量化，通過(guò)量化量化常數(shù)來(lái)減少平均內(nèi)存占用；（c）分頁(yè)優(yōu)化器，使用NVIDIA統(tǒng)一內(nèi)存管理長(zhǎng)序列長(zhǎng)度的小批量處理時(shí)出現(xiàn)的內(nèi)存峰值。

2. Guanaco模型與現(xiàn)有系統(tǒng)的比較

Guanaco模型家族的最小模型（7B參數(shù)）僅需要5GB內(nèi)存，就能在Vicuna基準(zhǔn)測(cè)試上比26GB的Alpaca模型高出20個(gè)百分點(diǎn)。Guanaco模型在內(nèi)存效率和性能上均表現(xiàn)出色，其中65B模型在Vicuna基準(zhǔn)測(cè)試上達(dá)到了與ChatGPT幾乎相同的性能水平，而33B模型則在內(nèi)存使用上更為高效，只需21GB內(nèi)存即可訓(xùn)練。

人工評(píng)估與自動(dòng)評(píng)估的比較

1. GPT-4和人類(lèi)評(píng)估的一致性

在聊天機(jī)器人性能的評(píng)估方面，研究表明GPT-4評(píng)估與人類(lèi)評(píng)估在模型性能排名上大致一致，但也存在一些強(qiáng)烈分歧的情況。這表明基于模型的評(píng)估雖然是人類(lèi)注釋的一個(gè)廉價(jià)替代品，但也有其不確定性。

2. Elo評(píng)分系統(tǒng)的應(yīng)用

在模型比較中，研究使用了Elo評(píng)分系統(tǒng)，這是一種在國(guó)際象棋等游戲中廣泛使用的評(píng)分方法，用于衡量相對(duì)于對(duì)手的預(yù)期勝率。通過(guò)GPT-4或人類(lèi)評(píng)注員的判斷，模型間的比賽結(jié)果被匯總成Elo分?jǐn)?shù)，從而確定聊天機(jī)器人性能的排名。研究發(fā)現(xiàn)，GPT-4和人類(lèi)評(píng)估在Vicuna基準(zhǔn)測(cè)試上的模型排名部分不一致，但對(duì)于大多數(shù)模型來(lái)說(shuō)是一致的。

質(zhì)性分析：Guanaco模型的成功與失敗案例

1. 事實(shí)回憶與建議性

Guanaco模型在回答一些事實(shí)性問(wèn)題時(shí)表現(xiàn)出色，例如詢(xún)問(wèn)贊比亞的首都時(shí)，所有模型都能一致地生成正確的答案。然而，當(dāng)問(wèn)題變得更加晦澀時(shí)，Guanaco的可靠性下降，但它仍然保持著自信。

2. 數(shù)學(xué)問(wèn)題處理能力

Guanaco在數(shù)學(xué)問(wèn)題處理方面表現(xiàn)出最大的弱點(diǎn)，這是許多語(yǔ)言模型共同面臨的挑戰(zhàn)。當(dāng)Guanaco展示其解題過(guò)程時(shí)，它往往能夠準(zhǔn)確地給出答案。但是，如果它未能逐步分解問(wèn)題，即使是簡(jiǎn)單的數(shù)學(xué)問(wèn)題也可能導(dǎo)致錯(cuò)誤。

3. 理解他人心理的能力

Guanaco在理解他人心理的能力方面表現(xiàn)出意外的強(qiáng)大。例如，模型能夠詳細(xì)正確地回答關(guān)于James和Abby的心理理解問(wèn)題。然而，這些推理并不可靠，模型有時(shí)會(huì)給出在情境中不合理的理由。

討論：評(píng)估方法的局限性與未來(lái)方向

在評(píng)估QLORA這種新型微調(diào)方法時(shí)，我們必須認(rèn)識(shí)到當(dāng)前評(píng)估方法的局限性。首先，盡管QLORA在多個(gè)基準(zhǔn)測(cè)試中展現(xiàn)出與16位全模型微調(diào)相當(dāng)?shù)男阅埽覀冞€沒(méi)有確立QLORA在33B和65B規(guī)模上能否匹配全16位微調(diào)性能。這是因?yàn)樵谌绱舜笠?guī)模上進(jìn)行全面評(píng)估需要巨大的資源投入，這部分工作留待未來(lái)研究。

其次，當(dāng)前的評(píng)估基準(zhǔn)可能并不完全適用于評(píng)估聊天機(jī)器人的性能。例如，我們發(fā)現(xiàn)在MMLU和Vicuna基準(zhǔn)測(cè)試中，數(shù)據(jù)集的適用性比大小更重要。這表明我們需要更好的基準(zhǔn)和評(píng)估方法，同時(shí)也需要謹(jǐn)慎考慮我們到底在評(píng)估什么。我們是否希望創(chuàng)建在課堂知識(shí)測(cè)試中表現(xiàn)良好的模型，還是希望在聊天機(jī)器人對(duì)話(huà)能力上表現(xiàn)出色，或者追求其他目標(biāo)？

此外，盡管GPT-4的評(píng)估提供了一種相對(duì)便宜的替代人類(lèi)注釋的方法，但我們發(fā)現(xiàn)GPT-4的評(píng)估結(jié)果受到呈現(xiàn)順序的影響。這表明自動(dòng)化評(píng)估系統(tǒng)可能存在偏見(jiàn)，未來(lái)的工作應(yīng)該考慮這些潛在偏見(jiàn)以及可能的緩解策略。

1. 評(píng)估方法的局限性

• 未能在33B和65B規(guī)模上驗(yàn)證QLORA與全16位微調(diào)性能的匹配性。
• 當(dāng)前評(píng)估基準(zhǔn)可能不適用于聊天機(jī)器人性能的全面評(píng)估。
• 數(shù)據(jù)集的適用性比大小更重要，需要更好的基準(zhǔn)和評(píng)估方法。
• 自動(dòng)化評(píng)估系統(tǒng)可能存在偏見(jiàn)，需要進(jìn)一步研究和緩解。

2. 未來(lái)方向

• 進(jìn)行更大規(guī)模的模型評(píng)估，以驗(yàn)證QLORA在更大模型上的性能。
• 開(kāi)發(fā)更好的評(píng)估基準(zhǔn)和方法，以更準(zhǔn)確地評(píng)估聊天機(jī)器人的性能。
• 考慮評(píng)估方法中的偏見(jiàn)問(wèn)題，并研究緩解策略。
• 探索不同的微調(diào)方法和參數(shù)效率微調(diào)(PEFT)方法的權(quán)衡。

相關(guān)工作：參數(shù)高效微調(diào)和指令微調(diào)

在參數(shù)高效微調(diào)(PEFT)的領(lǐng)域，除了QLORA使用的低秩適配器(LoRA)之外，還有許多其他方法，如提示調(diào)整、嵌入層輸入調(diào)整、隱藏狀態(tài)調(diào)整(IA3)、添加完整層、調(diào)整偏差、基于費(fèi)舍爾信息的權(quán)重掩碼學(xué)習(xí)等。在我們的工作中，我們展示了LoRA適配器能夠達(dá)到全16位微調(diào)性能。未來(lái)的工作可以探索其他PEFT方法的權(quán)衡。

在指令微調(diào)方面，為了幫助預(yù)訓(xùn)練的大型語(yǔ)言模型(LLMs)遵循提示中的指令，指令微調(diào)使用各種數(shù)據(jù)源的輸入-輸出對(duì)來(lái)微調(diào)預(yù)訓(xùn)練的LLM，以生成給定輸入提示的輸出。這些方法和數(shù)據(jù)集包括MetaICL、MetaTuning、InstructGPT、FLAN、PromptSource、Super-NaturalInstructions、Self-instruct、UnnaturalInstructions、OPT-IML、UnifiedSKG、OIG/Chip2、Alpaca、Vicuna、Koala和Self-instruct-GPT-4等。

結(jié)論與討論：QLORA的影響與未來(lái)展望

QLORA作為一種新型微調(diào)方法，展現(xiàn)了在單個(gè)GPU上微調(diào)高達(dá)65B參數(shù)模型的能力，同時(shí)保持與16位全模型微調(diào)相當(dāng)?shù)男阅堋＿@一突破性的進(jìn)展顯著提高了LLM微調(diào)的可訪(fǎng)問(wèn)性，使得最大的公開(kāi)可用模型可以在單個(gè)GPU上進(jìn)行微調(diào)。通過(guò)QLORA，我們訓(xùn)練了Guanaco模型家族，其中最佳模型在Vicuna基準(zhǔn)測(cè)試中的表現(xiàn)接近ChatGPT，同時(shí)只需要單個(gè)GPU上的24小時(shí)微調(diào)時(shí)間。

QLORA的效率使我們能夠在內(nèi)存開(kāi)銷(xiāo)過(guò)高而無(wú)法使用常規(guī)微調(diào)的模型規(guī)模上進(jìn)行深入研究。因此，我們訓(xùn)練了超過(guò)1000個(gè)模型，跨越多個(gè)指令調(diào)整數(shù)據(jù)集、模型架構(gòu)和大小。我們的結(jié)果表明，QLORA在小型高質(zhì)量數(shù)據(jù)集上的微調(diào)能夠帶來(lái)最先進(jìn)的結(jié)果，即使使用的模型比以前的最佳模型小。

我們還提供了基于人類(lèi)評(píng)估和GPT-4評(píng)估的聊天機(jī)器人性能的詳細(xì)分析。我們發(fā)現(xiàn)GPT-4和人類(lèi)評(píng)估在模型性能排名上大致一致，但也發(fā)現(xiàn)了強(qiáng)烈不一致的情況。因此，我們強(qiáng)調(diào)模型基礎(chǔ)評(píng)估雖然提供了一種相對(duì)便宜的替代人類(lèi)注釋的方法，但也有其不確定性。

我們通過(guò)定性分析補(bǔ)充了我們的聊天機(jī)器人基準(zhǔn)測(cè)試結(jié)果，突出了定量基準(zhǔn)未能捕捉到的成功和失敗案例。我們發(fā)布了所有模型生成以及人類(lèi)和GPT-4注釋?zhuān)源龠M(jìn)進(jìn)一步研究。我們開(kāi)源了代碼庫(kù)和CUDA內(nèi)核，并將我們的方法集成到了Hugging Face transformers堆棧中，使其易于所有人訪(fǎng)問(wèn)。我們發(fā)布了針對(duì)7/13/33/65B大小模型的一系列適配器，總共有32個(gè)不同的開(kāi)源微調(diào)模型。

總之，QLORA的出現(xiàn)可能會(huì)對(duì)LLM微調(diào)的未來(lái)產(chǎn)生廣泛的積極影響，使得高質(zhì)量LLM的微調(diào)變得更加廣泛和容易獲得。

聲明：本期論文解讀非人類(lèi)撰寫(xiě)，全文由賽博馬良「AI論文解讀達(dá)人」智能體自主完成，經(jīng)人工審核后發(fā)布。

智能體傳送門(mén)：賽博馬良-AI論文解讀達(dá)人

神奇口令：?小瑤讀者?（前100位有效）

到了這里，關(guān)于十分鐘讀完「降低 LLaMA 模型微調(diào)內(nèi)存占用的QLoRA」論文的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！