国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<li id="asv6v"></li>

<bdo id="asv6v"><span id="asv6v"><small id="asv6v"></small></span></bdo>

Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning

2年前作者：UnknownBody分類：Toy博客閱讀(25)違法舉報

這篇具有很好參考價值的文章主要介紹了Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

本文是LLM系列的文章，針對《Decoupling Knowledge from Memorization:
Retrieval

摘要

提示學習方法在仍然遵循基于參數(shù)的學習范式的同時，通過誘導更好的小樣本表現(xiàn)，在自然語言處理中掀起了波瀾；學習中的遺忘和死記硬背問題可能會遇到不穩(wěn)定的泛化問題。具體來說，在完全監(jiān)督的訓練中，樸素的提示學習可能很難死記硬背地利用非典型實例，或者用低樣本數(shù)據(jù)過度擬合淺層模式。為了緩解這些限制，我們開發(fā)了RETROPROMPT，其動機是將知識與記憶脫鉤，以幫助模型在泛化和記憶之間取得平衡。與普通的提示學習相比，RETROPROPT從訓練實例中構建了一個開卷知識庫，并在輸入、訓練和推理過程中實現(xiàn)了檢索機制，從而使模型能夠從訓練語料庫中檢索相關上下文作為增強的線索。大量的實驗表明，RETROPROPT可以在小樣本和零樣本設置中獲得更好的性能。此外，我們還進一步說明了我們提出的RETROPROPT可以在新的數(shù)據(jù)集上產(chǎn)生更好的泛化能力。對記憶的詳細分析確實表明，RETROPROMPT可以減少語言模型對記憶的依賴；因此，提高了下游任務的泛化能力。

1 引言

2 提示學習的前言

3 RETROPROMPT：檢索增強的提示學習

4 實驗

5 相關實驗

6 結論與未來工作

我們提出了通過引入檢索增強來將知識與記憶解耦的RETROPROPT，以進一步提高輸入端提示學習的泛化能力以及模型訓練和預測的整個過程。RETROPROPT是一種簡單而有效的檢索方法，它結合了神經(jīng)演示、用于訓練和預測的kNN指南。我們的廣泛研究結果表明，它在小樣本、零樣本和全監(jiān)督設置中優(yōu)于其他演示增強提示方法和知識增強提示方法。分析記憶的本質，驗證了知識與記憶脫鉤的有效性。有趣的未來方向包括：1）應用于其他任務，如QA和NLG，2）探索用于無監(jiān)督學習的噪聲數(shù)據(jù)挖掘，3）進一步提高大型數(shù)據(jù)集的檢索效率，等等。文章來源地址http://www.zghlxwxcb.cn/news/detail-674322.html

到了這里，關于Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如若轉載，請注明出處：如若內(nèi)容造成侵權/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領支付寶紅包贊助服務器費用

【論文閱讀】REPLUG: Retrieval-Augmented Black-Box Language Models
原文地址：REPLUG: Retrieval-Augmented Black-Box Language Models 本文提出 REPLUG ，一個將語言模型視為黑盒檢索增強的語言模型架構。在 REPLUG 中，僅將檢索得到的文檔拼接到原有輸入前面即可，不需要像以前一樣更新語言模型參數(shù)。該架構中可以通過更新檢索器進一步提升性能。給一
2024年02月11日
瀏覽(51)
論文筆記：Retrieval-Augmented Generation forAI-Generated Content: A Survey
北大202402的RAG綜述近年來，人們對人工智能生成內(nèi)容（AIGC）的興趣激增。各種內(nèi)容生成工具已經(jīng)精心設計，用于生產(chǎn)各種模態(tài)下的多樣化對象文本代碼：大型語言模型（LLM），包括GPT系列和LLAMA系列圖像：DALL-E和Stable Diffusion 視頻：Sora \\\"AIGC\\\"這一詞強調(diào)內(nèi)容是由高級生成模型
2024年04月24日
瀏覽(17)
Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training
諸神緘默不語-個人CSDN博文目錄諸神緘默不語的論文閱讀筆記和分類論文名稱：REALM: Retrieval-Augmented Language Model Pre-Training 模型名稱：Retrieval-Augmented Language Model pre-training (REALM) 本文是2020年ICML論文，作者來自谷歌，關注RAG+LLM。目標是解決純用LM參數(shù)儲存知識就得讓LM尺寸越來
2024年02月04日
瀏覽(25)
GPT學習筆記-Enterprise Knowledge Retrieval（企業(yè)知識檢索）--私有知識庫的集成
openai-cookbook/apps/enterprise-knowledge-retrieval at main · openai/openai-cookbook · GitHub 終于看到對于我解決現(xiàn)有問題的例子代碼，對于企業(yè)私有知識庫的集成。我對\\\"Retrieval\\\"重新理解了一下，源自動詞\\\"retrieve\\\"，其基本含義是“取回”，“恢復”，或“檢索”。在不同的上下文中，\\\"retriev
2024年02月11日
瀏覽(50)
【論文筆記】ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting
提出了ResRep，一種無損通道修剪的新方法，它通過減少卷積層的寬度（輸出通道數(shù)）來縮小CNN的尺寸。建議將CNN重新參數(shù)化為記憶部分和遺忘部分，前者學習保持性能，后者學習修剪。通過對前者使用常規(guī) SGD 進行訓練，對后者使用帶有懲罰梯度的新穎更新規(guī)則進行訓練，
2024年04月13日
瀏覽(22)
Empowering Long-tail Item Recommendation through Cross Decoupling Network (CDN)
來源： KDD\\\'2023 Google Research 目錄 Empowering Long-tail Item Recommendation through Cross Decoupling Network (CDN) 長尾問題分析 CDN Item Memorization and Generalization Decoupling 記憶特征（Memorization features）泛化特征（Generalization features）物品表征學習 User Sample Decoupling Cross Learning 總結參考長尾問題是個
2024年02月10日
瀏覽(20)
LangChain（4）檢索增強 Retrieval Augmentation
Large Language Models (LLMs) 的能力或者知識來自兩方面：模型在訓練時候的輸入；模型訓練好后以提示詞方式輸入到模型中的知識source knowledge。檢索增強就是指后期輸入到模型中的附加信息。按順序安裝包：使用 Pinecone 存儲向量。按批將數(shù)據(jù)插入索引庫中有時 LLM 回答不著邊，
2024年02月16日
瀏覽(16)
【論文筆記】Active Retrieval Augmented Generation
論文題目：Active Retrieval Augmented Generation 論文地址：Active Retrieval Augmented Generation - ACL Anthology 會議：EMNLP 2023 main （Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing） github 鏈接：jzbjyb/FLARE: Forward-Looking Active REtrieval-augmented generation (FLARE) (github.com) 筆記參考：
2024年03月20日
瀏覽(43)
Authenticated private information retrieval-論文筆記
論文發(fā)表在 32nd USENIX Security Symposium (USENIX Security 23), 2023?usenix.org 論文作者：Simone Colombo, EPFL; Kirill Nikitin, Cornell Tech; Henry Corrigan-Gibbs, MIT;David J. Wu, UT Austin; Bryan Ford, EPFL 論文鏈接：https://www.usenix.org/system/files/sec23fall-prepub-78-colombo.pdf 1.1? Private Information Retrieval ????????隱私
2024年02月04日
瀏覽(26)
知識蒸餾(Knowledge Distillation)
?論文：[1503.02531] Distilling the Knowledge in a Neural Network (arxiv.org) 知識蒸餾是一種模型壓縮方法，是一種基于“教師-學生網(wǎng)絡思想”的訓練方式，由于其簡單，有效，并且已經(jīng)在工業(yè)界被廣泛應用。知識蒸餾使用的是Teacher—Student模型，其中teacher是“知識”的輸出者，student是“
2024年02月06日
瀏覽(25)