當(dāng)大多數(shù)人都還在卷誰(shuí)的大模型參數(shù)規(guī)模大的時(shí)候，聰明人已經(jīng)開始搞“小模型”了（doge）。

這里的小模型指的小型語(yǔ)言模型（Small Language Model，簡(jiǎn)稱SLM），通常用于解決資源受限或?qū)崟r(shí)性要求較高的場(chǎng)景，比如一些邊緣設(shè)備（智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和嵌入式系統(tǒng)等），大模型難以運(yùn)行其上。

目前我們對(duì)大模型的探索已經(jīng)到了瓶頸，因高能耗、巨大的內(nèi)存需求和昂貴的計(jì)算成本，我們的技術(shù)創(chuàng)新工作受到了挑戰(zhàn)與限制。而對(duì)比大模型，小模型耗資少、響應(yīng)快、可移植性強(qiáng)、泛化能力高...在一些特定情況下，可以提供更高效、更靈活的選擇。因此，更多人開始著眼于小巧且兼具高性能的小模型相關(guān)的研究。

我今天就幫同學(xué)們整理了目前效果不錯(cuò)的高性能小模型，以及一些優(yōu)秀的小模型性能優(yōu)化方案和應(yīng)用成果，包括研究者們?cè)?strong>大模型與小模型結(jié)合方面做出的嘗試。原文共16篇。

這些模型與方案的配套論文和項(xiàng)目代碼我全都打包完畢，需要的同學(xué)看看文末

高性能小模型

TinyLlama-1.1B

論文：TinyLlama: An Open-Source Small Language Model

一個(gè)開源的小型語(yǔ)言模型

「模型簡(jiǎn)介：」本文介紹了TinyLlama小型語(yǔ)言模型，該模型在大約1萬(wàn)億個(gè)標(biāo)記上進(jìn)行了約3個(gè)周期的預(yù)訓(xùn)練，具有緊湊的1.1B參數(shù)規(guī)模。TinyLlama基于Llama 2（Touvron等人，2023b）的架構(gòu)和分詞器構(gòu)建，利用了開源社區(qū)貢獻(xiàn)的各種先進(jìn)技術(shù)（例如FlashAttention（Dao，2023）），實(shí)現(xiàn)了更好的計(jì)算效率。盡管其規(guī)模相對(duì)較小，但TinyLlama在一系列下游任務(wù)中表現(xiàn)出色，顯著優(yōu)于現(xiàn)有規(guī)模相當(dāng)?shù)拈_源語(yǔ)言模型。

LiteLlama

「模型簡(jiǎn)介：」SLM-LiteLlama是對(duì) Meta AI 的 LLaMa 2 的開源復(fù)刻版本，但模型規(guī)模顯著縮小。它有 460M 參數(shù)，由 1T token 進(jìn)行訓(xùn)練。LiteLlama-460M-1T 在RedPajama數(shù)據(jù)集上進(jìn)行訓(xùn)練，并使用 GPT2Tokenizer 對(duì)文本進(jìn)行 token 化。作者在 MMLU 任務(wù)上對(duì)該模型進(jìn)行評(píng)估，結(jié)果證明，在參數(shù)量大幅減少的情況下，LiteLlama-460M-1T 仍能取得與其他模型相媲美或更好的成績(jī)。

Phi-1、Phi-1.5、Phi-2

論文：Textbooks Are All You Need II: phi-1.5 technical report

phi -1.5技術(shù)報(bào)告

「模型簡(jiǎn)介：」本文繼續(xù)研究基于Transformer的小型語(yǔ)言模型的能力。之前的工作包括一個(gè)1000萬(wàn)參數(shù)的模型，可以產(chǎn)生連貫的英語(yǔ)，以及一個(gè)13億參數(shù)的模型，其Python編程性能接近最先進(jìn)水平。作者采用了“Textbooks Are All You Need”的方法，專注于自然語(yǔ)言中的常識(shí)推理，并創(chuàng)建了一個(gè)新的13億參數(shù)模型，名為phi-1.5。該模型在自然語(yǔ)言任務(wù)上的性能與大5倍的模型相當(dāng)，在更復(fù)雜的推理任務(wù)上超越了大多數(shù)非前沿的大型語(yǔ)言模型。

RoBERTa

論文：RoBERTa: A Robustly Optimized BERT Pretraining Approach

一種魯棒優(yōu)化的BERT預(yù)訓(xùn)練方法

「模型簡(jiǎn)介：」本文介紹了BERT預(yù)訓(xùn)練的復(fù)制研究，仔細(xì)測(cè)量了許多關(guān)鍵超參數(shù)和訓(xùn)練數(shù)據(jù)大小的影響。作者發(fā)現(xiàn)BERT的訓(xùn)練不足，并且可以匹配或超過所有在其之后發(fā)布的模型的性能。作者的最佳模型在GLUE、RACE和SQuAD上取得了最先進(jìn)的結(jié)果。這些結(jié)果強(qiáng)調(diào)了以前被忽視的設(shè)計(jì)選擇的重要性，并對(duì)最近報(bào)告的改進(jìn)來源提出了質(zhì)疑。

FLAME

論文：FLAME: A Small Language Model for Spreadsheet Formulas

一種用于電子表格公式的小型語(yǔ)言模型

「模型簡(jiǎn)介：」FLAME是一個(gè)專為電子表格公式設(shè)計(jì)的輕量級(jí)語(yǔ)言模型。它基于Transformer架構(gòu)，通過在Excel公式上訓(xùn)練，實(shí)現(xiàn)了高效、精準(zhǔn)的公式創(chuàng)作和修復(fù)功能。與大型語(yǔ)言模型相比，F(xiàn)LAME具有更小的參數(shù)規(guī)模（60M）和更少的訓(xùn)練數(shù)據(jù)需求，同時(shí)保持了出色的性能。通過利用領(lǐng)域知識(shí)，F(xiàn)LAME在公式修復(fù)、補(bǔ)全和檢索方面超越了其他大型模型，如Codex的Davinci和Cushman變體以及CodeT5。

SLaDe

論文：SLaDe: A Portable Small Language Model Decompiler for Optimized Assembly

用于優(yōu)化匯編的便攜式小型語(yǔ)言模型反編譯器

「模型簡(jiǎn)介：」SLaDe是一個(gè)針對(duì)優(yōu)化匯編的便攜式小型語(yǔ)言模型反編譯器。它基于Transformer架構(gòu)，通過在真實(shí)世界的代碼上進(jìn)行訓(xùn)練，并使用類型推理引擎，能夠生成更可讀和更準(zhǔn)確的程序。與傳統(tǒng)的反編譯器相比，SLaDe能夠推斷出上下文之外的類型，并生成正確的代碼。在評(píng)估中，SLaDe在4000多個(gè)ExeBench函數(shù)上的準(zhǔn)確度比最先進(jìn)的工業(yè)級(jí)反編譯器Ghidra高出6倍，比大型語(yǔ)言模型ChatGPT高出4倍，并且生成的代碼更易于閱讀。

大模型結(jié)合小模型

Small Models are Valuable Plug-ins for Large Language Models

小模型是大型語(yǔ)言模型的有價(jià)值的插件

「簡(jiǎn)述：」論文介紹了一種名為Super In-Context Learning（SuperICL）的方法，它允許黑盒大型語(yǔ)言模型與本地微調(diào)的小型模型一起工作，從而在監(jiān)督任務(wù)上獲得更好的性能。作者的實(shí)驗(yàn)表明，SuperICL可以提高性能，超越最先進(jìn)的微調(diào)模型，同時(shí)解決上下文學(xué)習(xí)中的不穩(wěn)定性問題。此外，SuperICL還可以增強(qiáng)小型模型的能力，例如多語(yǔ)言性和可解釋性。

An Emulator for Fine-Tuning Large Language Models using Small Language Models

使用小型語(yǔ)言模型微調(diào)大型語(yǔ)言模型的模擬器

「簡(jiǎn)述：」論文介紹了emulated fine-tuning（EFT）方法，用于分離大型語(yǔ)言模型預(yù)訓(xùn)練和微調(diào)階段獲得的知識(shí)與技能。作者使用強(qiáng)化學(xué)習(xí)框架，引入了一種模擬預(yù)訓(xùn)練和微調(diào)不同規(guī)模結(jié)果的方法。實(shí)驗(yàn)表明，擴(kuò)大微調(diào)規(guī)?？梢蕴岣邘椭裕鴶U(kuò)大預(yù)訓(xùn)練規(guī)?？梢蕴岣哒鎸?shí)性。此外，EFT還能夠在測(cè)試時(shí)調(diào)整競(jìng)爭(zhēng)性行為特征，而無(wú)需額外的訓(xùn)練。最后，作者提出了一種特殊形式的EFT，稱為L(zhǎng)M up-scaling，通過將小型微調(diào)模型與大型預(yù)訓(xùn)練模型進(jìn)行集成來提高指令遵循模型的幫助性和真實(shí)性，而無(wú)需額外的超參數(shù)或訓(xùn)練。

優(yōu)化方案與熱門應(yīng)用

Orca 2: Teaching Small Language Models How to Reason

教小型語(yǔ)言模型如何推理

「簡(jiǎn)述：」Orca 2是一個(gè)教小型語(yǔ)言模型如何推理的系統(tǒng)。它繼續(xù)探索如何通過改進(jìn)訓(xùn)練信號(hào)來增強(qiáng)小型LM的推理能力。與之前的系統(tǒng)不同，Orca 2不僅模仿大型模型的輸出，還教小型模型使用不同的策略來處理不同的任務(wù)。這種策略選擇基于每種任務(wù)的最有效解決方案。Orca 2在15個(gè)基準(zhǔn)測(cè)試中表現(xiàn)出色，超越了類似大小的其他模型，并在評(píng)估高級(jí)推理能力的復(fù)雜任務(wù)上達(dá)到了與大5-10倍的模型相似的性能水平。

It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners

小型語(yǔ)言模型也是少量學(xué)習(xí)者

「簡(jiǎn)述：」論文介紹了一種名為“綠色語(yǔ)言模型”的小型語(yǔ)言模型，它可以通過將文本輸入轉(zhuǎn)換為包含任務(wù)描述的填空問題，并結(jié)合基于梯度的優(yōu)化來實(shí)現(xiàn)與GPT-3類似的性能。這種小型語(yǔ)言模型的參數(shù)數(shù)量比大型語(yǔ)言模型小幾個(gè)數(shù)量級(jí)，因此更加環(huán)保且易于使用。此外，利用未標(biāo)記的數(shù)據(jù)可以進(jìn)一步提高其性能。作者還指出了成功實(shí)現(xiàn)自然語(yǔ)言理解所需的關(guān)鍵因素。

FINETUNED LANGUAGE MODELSARE ZERO-SHOT LEARNERS

微調(diào)語(yǔ)言網(wǎng)絡(luò) FLAN

「簡(jiǎn)述：」論文介紹了一種簡(jiǎn)單的方法來提高語(yǔ)言模型的零樣本學(xué)習(xí)能力。作者通過指令微調(diào)——在一系列數(shù)據(jù)集上對(duì)語(yǔ)言模型進(jìn)行微調(diào)，這些數(shù)據(jù)集用自然語(yǔ)言指令模板描述——顯著提高了未見過的任務(wù)的零樣本性能。作者將這個(gè)經(jīng)過指令微調(diào)的模型稱為FLAN，并在多個(gè)NLP數(shù)據(jù)集上進(jìn)行評(píng)估。結(jié)果顯示，F(xiàn)LAN比未經(jīng)修改的對(duì)應(yīng)模型和GPT-3的少數(shù)樣本表現(xiàn)更好。該方法的關(guān)鍵因素包括微調(diào)數(shù)據(jù)集的數(shù)量、模型規(guī)模和自然語(yǔ)言指令。

Transcending Scaling Laws with 0.1% Extra Compute

用 0.1% 的額外計(jì)算超越縮放定律

「簡(jiǎn)述：」論文介紹了UL2R方法，可以在少量額外計(jì)算和不需要新數(shù)據(jù)的情況下，通過在幾個(gè)步驟上繼續(xù)訓(xùn)練最先進(jìn)的大型語(yǔ)言模型（如PaLM）來顯著提高現(xiàn)有語(yǔ)言模型及其縮放曲線的性能。作者介紹了一組新的模型，稱為U-PaLM，其規(guī)模分別為8B、62B和540B。令人印象深刻的是，在540B規(guī)模下，U-PaLM實(shí)現(xiàn)了與最終的PaLM 540B模型相同的性能，但只花費(fèi)了大約一半的計(jì)算預(yù)算。該方法證明了U-PaLM在許多自然語(yǔ)言處理任務(wù)中具有更好的性能。

Scaling Instruction-Finetuned Language Models

擴(kuò)展指令微調(diào)語(yǔ)言模型的規(guī)模

「簡(jiǎn)述：」指令微調(diào)是一種改進(jìn)語(yǔ)言模型性能的方法。通過在指令形式的數(shù)據(jù)集上進(jìn)行微調(diào)，可以提高模型對(duì)未見任務(wù)的泛化能力。本文重點(diǎn)探討了三個(gè)方面的擴(kuò)展：任務(wù)數(shù)量、模型規(guī)模和思維鏈數(shù)據(jù)上的微調(diào)。研究發(fā)現(xiàn)，這些方面的指令微調(diào)可以顯著提高各種模型類別、提示設(shè)置和評(píng)估基準(zhǔn)的性能。Flan-PaLM 540B在多個(gè)基準(zhǔn)測(cè)試中取得了最佳性能，如五次射擊的MMLU測(cè)試中達(dá)到了75.2%的準(zhǔn)確率。此外，作者還公開了Flan-T5的檢查點(diǎn)，即使與更大規(guī)模的模型相比，它也具有出色的少量樣本性能。

LLaVA-?: Efficient Multi-Modal Assistant with Small Language Model

具有小型語(yǔ)言模型的高效多模態(tài)助手

「簡(jiǎn)述：」論文介紹了LLaVA-?高效多模態(tài)助手，它使用小型語(yǔ)言模型Phi-2來促進(jìn)多模態(tài)對(duì)話。研究表明，即使只有2.7B參數(shù)的更小的語(yǔ)言模型，只要使用高質(zhì)量的語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，也可以有效地參與涉及文本和視覺元素的復(fù)雜對(duì)話。該模型在公開可用的基準(zhǔn)測(cè)試中表現(xiàn)出色，并在實(shí)時(shí)環(huán)境中進(jìn)行交互的系統(tǒng)和應(yīng)用方面具有潛力。

TinyGSM: achieving > 80% on GSM8k with small language models

使用小型語(yǔ)言模型在GSM8k上實(shí)現(xiàn)> 80%的性能

「簡(jiǎn)述：」論文介紹了TinyGSM方法，使用小型語(yǔ)言模型來解決小學(xué)數(shù)學(xué)問題。作者提出了一個(gè)由12.3M個(gè)小學(xué)數(shù)學(xué)問題和相應(yīng)的Python解決方案組成的合成數(shù)據(jù)集TinyGSM，完全由GPT-3.5生成。在經(jīng)過微調(diào)后，作者發(fā)現(xiàn)一個(gè)由兩個(gè)參數(shù)為1.3B的模型組成的對(duì)可以實(shí)現(xiàn)81.5%的準(zhǔn)確性，超過了現(xiàn)有模型幾個(gè)數(shù)量級(jí)。該方法非常簡(jiǎn)單，包括兩個(gè)關(guān)鍵組件：高質(zhì)量的數(shù)據(jù)集TinyGSM和使用驗(yàn)證器從多個(gè)候選生成中選擇最終輸出。

Length-Adaptive Distillation: Customizing Small Language Model for Dynamic Token Pruning

為動(dòng)態(tài)標(biāo)記剪枝定制小型語(yǔ)言模型

「簡(jiǎn)述：」長(zhǎng)度自適應(yīng)蒸餾方法可以幫助加速模型推理，通過讓小型語(yǔ)言模型更適應(yīng)動(dòng)態(tài)標(biāo)記剪枝來提高速度。它包括兩個(gè)階段的知識(shí)蒸餾框架，第一階段是模仿和重建教師模型的輸出，第二階段是適應(yīng)標(biāo)記剪枝并吸收特定任務(wù)的知識(shí)。這種方法可以使小型語(yǔ)言模型更加定制化，并在速度和性能之間實(shí)現(xiàn)更好的權(quán)衡。在GLUE基準(zhǔn)上的實(shí)驗(yàn)結(jié)果證明了這種方法的有效性。

關(guān)注下方《學(xué)姐帶你玩AI》??????

回復(fù)“小模型”獲取全部論文+代碼

碼字不易，歡迎大家點(diǎn)贊評(píng)論收藏文章來源地址http://www.zghlxwxcb.cn/news/detail-795033.html

到了這里，關(guān)于高性能小模型SLM最新優(yōu)化方案和熱門應(yīng)用盤點(diǎn)，附配套模型和開源代碼的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！