一.介紹
1.1 前置知識
1.1.1?in-context learning
At the limit, GPT-3 (Brown et al, 2020) can be deployed using in-context learning, which is a form of prompting, without modifying any LM parameters.
"部署" 指的是將 GPT-3 模型用于實際應(yīng)用或特定任務(wù)的過程。
"In-context learning" 是一種通過提供上下文或附加信息來指導(dǎo)模型生成的方法。在這種情況下，用戶可以向 GPT-3 提供一些上下文或提示（prompt），以引導(dǎo)模型生成相關(guān)的回復(fù)或執(zhí)行特定任務(wù)，而不必重新訓(xùn)練或微調(diào)模型。模型根據(jù)提示生成響應(yīng)，并且可以根據(jù)提示的不同來執(zhí)行不同的任務(wù)。這種方式可以讓 GPT-3 在不修改模型參數(shù)的情況下，適應(yīng)多種任務(wù)。
1.2 簡介
微調(diào)(頂部)更新所有LM參數(shù)(紅色Transformer框)，并且需要為每個任務(wù)存儲完整的模型副本。我們提出prefixtuning(底部)，它凍結(jié)LM參數(shù)并只優(yōu)化前綴(紅色前綴塊)。因此，我們只需要為每個任務(wù)存儲前綴，使前綴調(diào)優(yōu)模塊化且節(jié)省空間。
前綴調(diào)優(yōu)（prefix-tuning）將一系列，被稱之為前綴（prefix），連續(xù)的特定于任務(wù)的向量添加到輸入中。為了生成每個令牌，LM可以像處理“虛擬令牌”序列一樣處理前綴，但與提示不同的是，前綴完全由不對應(yīng)于真實令牌的自由參數(shù)組成。
1.3 理解
基于前綴的架構(gòu)使我們能夠在單個批處理中處理來自多個用戶/任務(wù)的示例，這是其他輕量級微調(diào)方法(如adaptertuning)無法實現(xiàn)的。
二 .
2.1 問題建模
一個條件生成任務(wù)，其中輸入x是一個上下文，輸出y是一個令牌序列。有兩種模式：第一種是像GPT2的自回歸模型，第二種是類似于BART的encoder-decoder架構(gòu)來建模上述問題
2.1.1 自回歸建模
表示在時間步驟i的到第j層的激活向量。
一個自回歸神經(jīng)LM計算作為的函數(shù)和過去在其左側(cè)上下文中的激活，如下所示:
最后一層使用Softmax計算下一個token的分布
2.1.2 編碼器解碼器架構(gòu)
由雙向編碼器編碼，解碼器自回歸預(yù)測y(以編碼的x及其左側(cè)上下文為條件)
通過雙向編碼器獲得當(dāng)時的，通過自回歸解碼器獲得當(dāng)時的
2.2?Prefix-Tuning
上下文可以通過指導(dǎo)從x中提取什么來影響任務(wù)輸入x的編碼，并且可以通過指導(dǎo)下一個令牌分布來影響任務(wù)輸出y的生成。比較直觀的想法就是直接使用詞嵌入來替代在使用過程中提供上下文信息和額外信息
- 自回歸 ：?增加一個前綴，得到z = [prefix;x;y]
- encoder-decoder架構(gòu)：為編碼器和解碼器都添加前綴，得到z = [PREFIX;x;;y]
直接更新Pθ參數(shù)會導(dǎo)致優(yōu)化不穩(wěn)定，直接重參數(shù)化為一個小的矩陣和一個大前饋神經(jīng)網(wǎng)絡(luò)MLP，即?。一旦訓(xùn)練完成，這些重參數(shù)化參數(shù)可以被丟棄，只需要保存前綴
2.3 實驗結(jié)論
- 當(dāng)訓(xùn)練樣本數(shù)量較少時，前綴調(diào)優(yōu)具有相對優(yōu)勢
- 前綴長度：更長的前綴意味著更多可訓(xùn)練的參數(shù)。當(dāng)前綴長度增加到一個閾值(時，性能會增加，然后出現(xiàn)輕微的性能下降。
- 增強表現(xiàn)力的鏈:離散提示< embedding-only < prefix-tuning
embedding-only就是“虛擬令牌”的連續(xù)嵌入的實例化實現(xiàn)文章來源：http://www.zghlxwxcb.cn/news/detail-722044.html
- 前綴調(diào)優(yōu)由優(yōu)于中綴調(diào)優(yōu)
作者認為這是因為前綴調(diào)優(yōu)可以影響x和y的激活，而中綴調(diào)優(yōu)只能影響y的激活。文章來源地址http://www.zghlxwxcb.cn/news/detail-722044.html
到了這里，關(guān)于【論文解讀】Prefix-Tuning: Optimizing Continuous Prompts for Generation的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
