論文筆記 | 谷歌 Soft Prompt Learning
ptuning -> Prefix-Tuning?-> soft promt -> p tuning v2
"The Power of Scale for Parameter-Efficient Prompt Tuning" EMNLP 2021 Google Brain
人能理解的不一定是模型需要的，所以不如讓模型自己訓(xùn)練所需的prompt。
External Links:
- 論文作者：Brian Lester,?Rami Al-Rfou
- Google Blog: "Guiding Frozen Language Models with Learned Soft Prompts"
- Github Repo
- Jeff Dean 的推文
Motivation
As models become larger, storing and serving a tuned copy of the model for each downstream task becomes impractical.
- 基于prompt的大模型application范式非常有前景，但是hand-craft prompts費時費力，受長度限制，且不一定效果好。
- 因此提出tunable soft prompts，使用隱式的"learnable vectors"代替顯式的"tokens"作為prompts。
- soft prompts相比于比離散的文本prompt，可以蘊含更質(zhì)密的信息 (成千上萬個examples)
Approach
Prompts are typically composed of a task description and/or several canonical examples. Prompt tuning only requires storing a small task-specific prompt for each task, and enables mixed-task inference using the original pretrained model
大致流程：
- 每個任務(wù)訓(xùn)練一個prompt vector
- prompt的初始化是從vocabulary embedding采樣
- 初始化prompt?
as a fixed-length sequence of vectors (e.g., 20 tokens long), 然后和輸入?
拼接，交給模型。根據(jù)模型生成的內(nèi)容?
?計算loss，反向傳播更新 prompt vectors，而不更新模型的參數(shù)。
?
?
?
一些小細節(jié)：
- 對T5的實驗進行了特別設(shè)計:
- Span Corruption: T5原本的模型
- Span Corruption + Sentinel: 在prompt前加入sentinel，以適應(yīng)T5的預(yù)訓(xùn)練模式
- LM Adaptation: 用語言模型對T5做了二次預(yù)訓(xùn)練
- JAX-based T5X framewok
- prompt的長度5~100
- 大學(xué)習(xí)率(0.3)
和Adapter Learning的區(qū)別：
Adapters modify the actual function that acts on the input representation, parameterized by the neural network, by allowing the rewriting of activations at any given layer. Prompt tuning modifies behavior by leaving the function fixed and adding new input representations that can affect how subsequent input is processed.
和前作們的區(qū)別：
- 把Prefix-Tuning的reparametrization去掉了，以及只在encoder的輸入前放soft prompts
- 不使用P-tuning中prompt的穿插放置方式
Results
- Benchmark：SuperGLUE?(8個NLU任務(wù)，沒有生成類任務(wù))
prompt tuning beats GPT-3 prompt design by a large margin, with prompt tuned T5-Small matching GPT-3 XL (over 16 times larger), and prompt-tuned T5-Large beating GPT-3 175B (over 220 times larger).
Prompt tuning比hand-craft prompts好，但在小模型上仍不如model tuning
- 消融實驗：prompt長度在20就很好；用vocab sampled embedding初始化就很好；用LM objective預(yù)訓(xùn)練的模型更適合prompt learning
- 與prompt learning前作們相比，需要訓(xùn)練的參數(shù)更少
- prompt tuning相比model tuning，更不容易過擬合
在cross-domain數(shù)據(jù)集進行訓(xùn)練和zero-shot測試文章來源：http://www.zghlxwxcb.cn/news/detail-500867.html
- 訓(xùn)練N種prompt表示，就可以做Prompt Ensembling(類似于bag of models)，用來提高性能。
文章來源地址http://www.zghlxwxcb.cn/news/detail-500867.html
- 通過分析prompt vector在embedding空間的近鄰可以發(fā)現(xiàn)，學(xué)到的prompt和任務(wù)/數(shù)據(jù)集有很強的關(guān)聯(lián)。
延伸閱讀
- Prompt learning前作:?Prefix Tuning,?WARP,?P-Tuning,?soft words
- automatic prompt generation:?Jiang et al., 2020;?Shin et al., 2020
- Task Adaptors:?Houlsby et al., 2019,?MAD-X
- prompt tuning experiments in?FLAN
- the?BigScience T0 model
到了這里，關(guān)于論文筆記 | 谷歌 Soft Prompt Learning ，Prefix-Tuning的 -＞ soft promt -＞ p tuning v2的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
