Lion：閉源大語言模型的對抗蒸餾

Lion，由香港科技大學(xué)提出的針對閉源大語言模型的對抗蒸餾框架，成功將?ChatGPT?的知識轉(zhuǎn)移到了參數(shù)量?7B的?LLaMA?模型（命名為?Lion），在只有?70k訓(xùn)練數(shù)據(jù)的情況下，實(shí)現(xiàn)了近?95%的?ChatGPT?能力近似。此外，框架的普適性使它不僅可以用于蒸餾?ChatGPT，還可方便地適用于其他閉源?LLMs。

論文題目：

Lion：閉源大語言模型的對抗蒸餾

Lion:?Adversarial?Distillation?of?Closed-Source?Large?Language?Model

論文鏈接：

https://arxiv.org/abs/2305.12870

項(xiàng)目地址：

https://github.com/YJiangcm/Lion

方法概覽

具體來說，作者設(shè)計(jì)?prompt?讓閉源?LLM?充當(dāng)一個(gè)“裁判”?Referee?來判別出教師的回答和學(xué)生的回答存在顯著性能差距的難指令。并且，作者設(shè)計(jì)?prompt?讓閉源?LLM?充當(dāng)一個(gè)“生成器”?Generator?來生成新的指令，這些生成的指令模擬了對應(yīng)于被判別出的難指令的數(shù)據(jù)分布。提出的對抗蒸餾框架如下圖所示，每一輪迭代包括三個(gè)階段：

1）模仿階段，對于一組指令，將學(xué)生的響應(yīng)與老師的響應(yīng)對齊；

2）區(qū)分階段，識別出難指令；

3）生成階段，根據(jù)識別出的難指令，產(chǎn)生新的難指令以增加對學(xué)生模型的挑戰(zhàn)。

考慮到學(xué)生模型在學(xué)習(xí)過程中可能會出現(xiàn)災(zāi)難性遺忘的問題，作者也生成了同等數(shù)量的新的簡單指令，來增加訓(xùn)練數(shù)據(jù)的多樣性。具體細(xì)節(jié)請查閱原論文：

https://arxiv.org/abs/2305.12870

本質(zhì)上，這個(gè)對抗性框架形成了一個(gè)正向的反饋循環(huán)，有效地提升了學(xué)生模型的能力。

實(shí)****驗(yàn)結(jié)果

為了驗(yàn)證方法的有效性，作者將提出的對抗蒸餾框架應(yīng)用于知名的閉源大語言模型?ChatGPT，?將其知識轉(zhuǎn)移到一個(gè)開源的基礎(chǔ)預(yù)訓(xùn)練模型?LLaMA，該模型由?70?億參數(shù)組成。作者選擇了?Alpaca?的訓(xùn)練數(shù)據(jù)（僅由?175?個(gè)手動(dòng)選擇的種子指令生成）作為初始的訓(xùn)練指令，并進(jìn)行了?3?次?AKD?迭代，總共使用了?70K?的?instruction-following?數(shù)據(jù)進(jìn)行訓(xùn)練。最終訓(xùn)練好的模型被命名為?Lion。

作者選取了此前的一系列工作包括?LLaMA，Alpaca，Vicuna?和?WizardLM?作為基線。為了公平比較，模型的參數(shù)量都定為?7B。按照先前的研究工作，作者使用了兩種評估方法：1）使用?GPT-4?自動(dòng)評估；2）根據(jù)“對齊標(biāo)準(zhǔn)”進(jìn)行人工評估。

**3.1?Automatic?Evaluation?with?GPT-**4

根據(jù)先前的研究表明，GPT-4?在比較聊天機(jī)器人的回答時(shí)具有生成高度一致的排名和全面評估的潛力。這里，作者利用?GPT-4?對兩個(gè)模型在?80?個(gè)?Vicuna-Instructions?上的回答質(zhì)量進(jìn)行自動(dòng)評分（評分從?1?到?10）。作者選取?ChatGPT?的答案作為參照，將?ChatGPT?和其他模型兩兩進(jìn)行比較，通過計(jì)算得分之和的比率得到不同模型相對?ChatGPT?的整體回答質(zhì)量。

如下圖所示，Lion（7B）相比其他基準(zhǔn)模型至少提高了?5.45%?的相對得分，并且接近于?ChatGPT94.74%?的回復(fù)質(zhì)量。

為了全面比較?Lion?與其他基準(zhǔn)模型在生成高質(zhì)量回復(fù)方面的能力，作者在不同任務(wù)類別上繪制了相對回復(fù)質(zhì)量的對比，具體見下圖。值得注意的是，Lion?在通用、知識、常識和反事實(shí)任務(wù)類別中均稍微超過了?ChatGPT。此外，Lion?在數(shù)學(xué)任務(wù)上相比基線模型得分至少高出?26.67％，在代碼生成任務(wù)上也超過了大部分基準(zhǔn)模型。

3.2?Human?Evaluation?with?Alignment?Criteria

為了評估?LLM?的對齊質(zhì)量，作者遵循了此前研究采用的?3H?標(biāo)準(zhǔn)：只有具備?helpful、honest?和?harmless（HHH）特征的模型才被認(rèn)為是對齊的。這些標(biāo)準(zhǔn)被用于衡量人工智能（AI）系統(tǒng)與人類價(jià)值觀的一致程度。

作者在?252?個(gè)?User-Oriented-Instructions?進(jìn)行了人工評估，并在下圖中比較了?Lion?和不同模型之間勝、平、負(fù)的頻率。人工評估的結(jié)果表明，Lion?生成的回答優(yōu)于除?ChatGPT?之外的其他基準(zhǔn)模型。具體來說，與?WizardLM?相比，Lion?在?252?個(gè)用戶指令中有?81?次取得勝利，而僅在?58?次指令中輸?shù)簟＿@些發(fā)現(xiàn)表明，作者提出的框架使得?Lion?在學(xué)習(xí)各種指令方面非常高效。

結(jié)論

文章提出了一種創(chuàng)新的對抗知識蒸餾（AKD）框架，用于將閉源的大語言模型（LLM）蒸餾到一個(gè)“緊湊”的開源學(xué)生模型中。先前的方法集中在單向知識傳遞上，而作者的方法試圖將老師和學(xué)生相互的“反饋”融入到學(xué)習(xí)過程中。作者利用?LLM?的多功能角色適應(yīng)性，使用不同的?prompt?讓閉源模型識別“難”的指令，并為學(xué)生模型生成新的“難”指令，從而創(chuàng)建了一個(gè)包含模仿、辨別和生成的三階段對抗循環(huán)。

這種方法能夠迭代地、高效地提升學(xué)生模型的性能。應(yīng)用該框架，作者將?ChatGPT?蒸餾為一個(gè)僅有?70?億參數(shù)的開源學(xué)生模型?LLaMA（作者將得到的模型命名為?Lion）。盡管只在?70k?的指示遵循數(shù)據(jù)上訓(xùn)練，Lion?展現(xiàn)出了接近?95%?的?ChatGPT?能力，在?GPT-4?自動(dòng)化評估和人工評估中都超過了以往的基線。作者希望?Lion?模型可以作為反映?ChatGPT?性能的基線，以及?NLP?社區(qū)中開源指令遵循模型的基線。

局限和討論

作者在最后指出，Lion?模型仍然存在以下局限：

1）該模型在處理涉及復(fù)雜編程或數(shù)學(xué)計(jì)算的任務(wù)方面能力有限；

2）訓(xùn)練數(shù)據(jù)不包括對話，因此?Lion?模型在多輪對話方面的能力較弱；

3）模型的輸入序列長度上限為?4096，輸出新序列的長度上限為?1024，因此無法實(shí)現(xiàn)超長文檔處理；

4）模型的安全性，輸出內(nèi)容的毒性、偏好性未經(jīng)優(yōu)化。

作者也指出，對于如何衡量大模型的能力，一個(gè)統(tǒng)一的、全面的評價(jià)指標(biāo)是必要的。

參考資料：https://it.sohu.com/a/680520547_121119001文章來源地址http://www.zghlxwxcb.cn/news/detail-521411.html

到了這里，關(guān)于Lion：閉源大語言模型的對抗蒸餾的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！