国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models

這篇具有很好參考價(jià)值的文章主要介紹了[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

Exploring Lottery Prompts for Pre-trained Language Models

文章鏈接

清深的工作,比較有意思的一篇。作者先給出假設(shè),對(duì)于分類問(wèn)題,在有限的語(yǔ)料空間內(nèi)總能找到一個(gè)prompt讓這個(gè)問(wèn)題分類正確,作者稱之為lottery prompt。為此,作者組織了一個(gè)prompt集合,每個(gè)prompt的組成都很簡(jiǎn)單,名詞+動(dòng)詞+介詞/形容詞/副詞+<MASK>,語(yǔ)料都是從常用英語(yǔ)詞庫(kù)中選出的,整個(gè)prompt集合一共包含76725個(gè)prompt。

之后,作者在RoBERTa-large和GPT-2上進(jìn)行了測(cè)試,每個(gè)數(shù)據(jù)集1000個(gè)樣例,對(duì)于每個(gè)樣例,只要76725個(gè)prompt里有一個(gè)prompt能讓模型預(yù)測(cè)正確,那么就算這個(gè)樣例回答正確,結(jié)果表明幾乎每個(gè)輸入都有一個(gè)prompt可以作對(duì)這個(gè)分類。說(shuō)明至少對(duì)于這些分類問(wèn)題,lottery prompt是存在的。
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然語(yǔ)言處理,語(yǔ)言模型,人工智能,自然語(yǔ)言處理
之后作者分析了搜索到一個(gè)正確的prompt所需要的次數(shù),這里的搜索按照作者的說(shuō)法其實(shí)就是在7w個(gè)prompt里面枚舉的。發(fā)現(xiàn)任務(wù)越困難,需要的搜索次數(shù)就越多,同時(shí)在同一個(gè)任務(wù)中,需要的搜索次數(shù)多的也是困難的輸入。
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然語(yǔ)言處理,語(yǔ)言模型,人工智能,自然語(yǔ)言處理
而模型的能力也對(duì)搜索次數(shù)有影響,越大的模型需要的搜索次數(shù)越少。同時(shí)沒(méi)有訓(xùn)練過(guò)的模型很難找到有效的prompt,經(jīng)過(guò)一定的訓(xùn)練后成功找到的概率則顯著上升,搜索次數(shù)顯著下降。這說(shuō)明lottery prompt存在確實(shí)不是考運(yùn)氣,而是基于模型確實(shí)掌握了語(yǔ)言知識(shí)。
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然語(yǔ)言處理,語(yǔ)言模型,人工智能,自然語(yǔ)言處理
除了多個(gè)prompt對(duì)一個(gè)input,那自然也有一個(gè)prompt對(duì)多個(gè)input,作者統(tǒng)計(jì)了prompt在整個(gè)數(shù)據(jù)集上的表現(xiàn),除了有66個(gè)類的最難的Few-NERD,其他數(shù)據(jù)集都能找到一個(gè)表現(xiàn)不錯(cuò)的prompt。

[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然語(yǔ)言處理,語(yǔ)言模型,人工智能,自然語(yǔ)言處理
分析這些優(yōu)秀的prompt作者也發(fā)現(xiàn)他們有一些相似的特征,這里就不詳述了。

基于此,作者提出了一種集成prompt方法,在少量的訓(xùn)練集上選出優(yōu)秀的prompt以后,根據(jù)他們的表現(xiàn)賦予不同的權(quán)重,表現(xiàn)越好的prompt權(quán)重越高,之后將這些prompt的分類預(yù)測(cè)加權(quán)在一起,得到最后的分類。他們的整個(gè)集合只有10個(gè)prompt,訓(xùn)練集大小為16shot和32shot,效果驚人的不錯(cuò)。
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然語(yǔ)言處理,語(yǔ)言模型,人工智能,自然語(yǔ)言處理
這個(gè)方法可以說(shuō)是很簡(jiǎn)潔,得到的prompt結(jié)構(gòu)都很簡(jiǎn)單,集成方式同樣簡(jiǎn)單,整個(gè)方法甚至都沒(méi)有參數(shù),但是打敗了像RLPrompt這樣參數(shù)量巨大的prompt方式。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-671062.html

到了這里,關(guān)于[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 深入理解深度學(xué)習(xí)——GPT(Generative Pre-Trained Transformer):基礎(chǔ)知識(shí)

    深入理解深度學(xué)習(xí)——GPT(Generative Pre-Trained Transformer):基礎(chǔ)知識(shí)

    分類目錄:《深入理解深度學(xué)習(xí)》總目錄 相關(guān)文章: · GPT(Generative Pre-Trained Transformer):基礎(chǔ)知識(shí) · GPT(Generative Pre-Trained Transformer):在不同任務(wù)中使用GPT · GPT(Generative Pre-Trained Transformer):GPT-2與Zero-shot Learning · GPT(Generative Pre-Trained Transformer):GPT-3與Few-shot Learning

    2024年02月10日
    瀏覽(32)
  • Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models

    Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models

    論文鏈接:https://arxiv.org/abs/2211.10655 GitHub鏈接:https://github.com/HJ-harry/DiffusionMBIR 【score-MRI作者】 擴(kuò)散模型已成為具有高質(zhì)量樣本的新的藝術(shù)生成模型,具有模式覆蓋和高靈活性等有趣的特性。它們也被證明是有效的逆問(wèn)題求解器,充當(dāng)分布的先驗(yàn),而正演模型的信息可以在采

    2024年02月09日
    瀏覽(26)
  • A Survey of Knowledge-Enhanced Pre-trained Language Models

    本文是LLM系列的文章,針對(duì)《A Survey of Knowledge-Enhanced Pre-trained Language Models》的翻譯。 預(yù)訓(xùn)練語(yǔ)言模型(PLM)通過(guò)自監(jiān)督學(xué)習(xí)方法在大文本語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練,在自然語(yǔ)言處理(NLP)的各種任務(wù)中都取得了良好的性能。然而,盡管具有巨大參數(shù)的PLM可以有效地?fù)碛袕拇罅坑?xùn)練

    2024年02月09日
    瀏覽(41)
  • A Survey on Knowledge-Enhanced Pre-trained Language Models

    自然語(yǔ)言處理(NLP)已經(jīng)通過(guò)使用BERT等預(yù)訓(xùn)練語(yǔ)言模型(plm)發(fā)生了革命性的變化。盡管幾乎在每個(gè)NLP任務(wù)中都創(chuàng)造了新的記錄, 但plm仍然面臨許多挑戰(zhàn),包括可解釋性差,推理能力弱,以及在應(yīng)用于下游任務(wù)時(shí)需要大量昂貴的注釋數(shù)據(jù)。通過(guò)將外部知識(shí)集成到plm中,知識(shí)增強(qiáng)預(yù)

    2024年02月11日
    瀏覽(23)
  • 深入理解深度學(xué)習(xí)——GPT(Generative Pre-Trained Transformer):在不同任務(wù)中使用GPT

    深入理解深度學(xué)習(xí)——GPT(Generative Pre-Trained Transformer):在不同任務(wù)中使用GPT

    分類目錄:《自然語(yǔ)言處理從入門到應(yīng)用》總目錄 相關(guān)文章: · GPT(Generative Pre-Trained Transformer):基礎(chǔ)知識(shí) · GPT(Generative Pre-Trained Transformer):在不同任務(wù)中使用GPT · GPT(Generative Pre-Trained Transformer):GPT-2與Zero-shot Learning · GPT(Generative Pre-Trained Transformer):GPT-3與Few-s

    2024年02月10日
    瀏覽(25)
  • Pre-trained Language Models Can be Fully Zero-Shot Learners

    本文是LLM系列文章,針對(duì)《Pre-trained Language Models Can be Fully Zero-Shot Learners》的翻譯。 在沒(méi)有標(biāo)記或額外的未標(biāo)記數(shù)據(jù)的情況下,我們?nèi)绾螌㈩A(yù)先訓(xùn)練的模型擴(kuò)展到許多語(yǔ)言理解任務(wù)?經(jīng)過(guò)預(yù)訓(xùn)練的語(yǔ)言模型(PLM)對(duì)于廣泛的NLP任務(wù)是有效的。然而,現(xiàn)有的方法要么需要對(duì)下游

    2024年02月07日
    瀏覽(23)
  • 【論文閱讀24】Better Few-Shot Text Classification with Pre-trained Language Model

    【論文閱讀24】Better Few-Shot Text Classification with Pre-trained Language Model

    論文標(biāo)題:Label prompt for multi-label text classification(基于預(yù)訓(xùn)練模型對(duì)少樣本進(jìn)行文本分類) 發(fā)表時(shí)間:2021 領(lǐng)域:多標(biāo)簽文本分類 發(fā)表期刊:ICANN(頂級(jí)會(huì)議) 相關(guān)代碼:無(wú) 數(shù)據(jù)集:無(wú) 最近,預(yù)先訓(xùn)練過(guò)的語(yǔ)言模型在許多基準(zhǔn)測(cè)試上都取得了非凡的性能。通過(guò)從一個(gè)大型的

    2024年02月14日
    瀏覽(33)
  • 深入理解深度學(xué)習(xí)——GPT(Generative Pre-Trained Transformer):GPT-3與Few-shot Learning

    深入理解深度學(xué)習(xí)——GPT(Generative Pre-Trained Transformer):GPT-3與Few-shot Learning

    分類目錄:《深入理解深度學(xué)習(xí)》總目錄 相關(guān)文章: · GPT(Generative Pre-Trained Transformer):基礎(chǔ)知識(shí) · GPT(Generative Pre-Trained Transformer):在不同任務(wù)中使用GPT · GPT(Generative Pre-Trained Transformer):GPT-2與Zero-shot Learning · GPT(Generative Pre-Trained Transformer):GPT-3與Few-shot Learning

    2024年02月10日
    瀏覽(40)
  • 深入理解深度學(xué)習(xí)——GPT(Generative Pre-Trained Transformer):GPT-2與Zero-shot Learning

    深入理解深度學(xué)習(xí)——GPT(Generative Pre-Trained Transformer):GPT-2與Zero-shot Learning

    分類目錄:《深入理解深度學(xué)習(xí)》總目錄 相關(guān)文章: · GPT(Generative Pre-Trained Transformer):基礎(chǔ)知識(shí) · GPT(Generative Pre-Trained Transformer):在不同任務(wù)中使用GPT · GPT(Generative Pre-Trained Transformer):GPT-2與Zero-shot Learning · GPT(Generative Pre-Trained Transformer):GPT-3與Few-shot Learning

    2024年02月10日
    瀏覽(32)
  • LLMs領(lǐng)域適應(yīng)的預(yù)訓(xùn)練Pre-training for domain adaptation

    LLMs領(lǐng)域適應(yīng)的預(yù)訓(xùn)練Pre-training for domain adaptation

    到目前為止,我強(qiáng)調(diào)了在開發(fā)應(yīng)用程序時(shí),您通常會(huì)使用現(xiàn)有的LLM。這為您節(jié)省了大量時(shí)間,并可以更快地得到一個(gè)工作原型。 但是,有一種情況下,您可能會(huì)發(fā)現(xiàn)有必要從頭開始預(yù)訓(xùn)練自己的模型。如果您的目標(biāo)領(lǐng)域使用的詞匯和語(yǔ)言結(jié)構(gòu)在日常語(yǔ)言中并不常用,您可能需

    2024年02月11日
    瀏覽(29)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包