Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training

2年前作者：諸神緘默不語(yǔ)分類：Toy博客閱讀(24)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

諸神緘默不語(yǔ)-個(gè)人CSDN博文目錄
諸神緘默不語(yǔ)的論文閱讀筆記和分類

論文名稱：REALM: Retrieval-Augmented Language Model Pre-Training
模型名稱：Retrieval-Augmented Language Model pre-training (REALM)

本文是2020年ICML論文，作者來(lái)自谷歌，關(guān)注RAG+LLM。目標(biāo)是解決純用LM參數(shù)儲(chǔ)存知識(shí)就得讓LM尺寸越來(lái)越大+模塊化+可解釋。解決方案思路不復(fù)雜，就是從維百里找文章，加到輸入里面做QA，預(yù)訓(xùn)練檢索表征模塊，在微調(diào)時(shí)隔好幾步就重新更新一下檢索表征。檢索是可以更新的（可以在老數(shù)據(jù)上預(yù)訓(xùn)練，在新數(shù)據(jù)上做表征）

Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training,人工智能學(xué)習(xí)筆記,語(yǔ)言模型,人工智能,自然語(yǔ)言處理,RAG,LLM,REALM,NLP
這玩意也能端到端真是太牛逼了
retrieve-then-predict
從維百中檢索知識(shí)（檢索到文章），將原文和檢索到的文本拼一起預(yù)訓(xùn)練

這個(gè)具體如何實(shí)現(xiàn)端到端訓(xùn)練其實(shí)我沒(méi)太看懂，總之就是說(shuō)想了個(gè)辦法，這個(gè)檢索文檔的過(guò)程可以定義為Maximum Inner Product Search (MIPS)

下游任務(wù)是Open-QA，傳統(tǒng)解決方案是從語(yǔ)料庫(kù)中找出問(wèn)題對(duì)應(yīng)的原文（retrieval-based），或者直接生成（generation-based）

Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training,人工智能學(xué)習(xí)筆記,語(yǔ)言模型,人工智能,自然語(yǔ)言處理,RAG,LLM,REALM,NLP

1. REALM模塊

預(yù)訓(xùn)練：MLM
retrieve, then predict
檢索文檔 $z$
預(yù)測(cè)： $p (y ∣ z, x)$
微調(diào)：Open-QA
neural knowledge retriever：內(nèi)積

表征模型：BERT-style Transformers

對(duì)[CLS]表征做線性轉(zhuǎn)換降維：

這玩意兒還專門(mén)分開(kāi)表征標(biāo)題和正文，真詳細(xì)啊。
knowledge-augmented encoder
join $x$ and $z$
MLM預(yù)訓(xùn)練：

微調(diào)時(shí)假設(shè)答案 $y$ 是 $z$ 中的連續(xù)tokens。 $S (z, y)$ 是spans：

所有span指向的可能性是加總
訓(xùn)練：最大似然
簡(jiǎn)化在所有語(yǔ)料庫(kù)文檔上的求和→top k文檔求和
然后這里有一塊我沒(méi)看懂的MIPS，略，大概就是說(shuō)需要經(jīng)常重算 $(z ∣ x)$ 以簡(jiǎn)化計(jì)算balabala

這個(gè)僅用于預(yù)訓(xùn)練，微調(diào)不更新知識(shí)庫(kù)向量

數(shù)學(xué)分析看不懂，略。

Injecting inductive biases into pre-training
Salient span masking：mask那種需要world knowledge的span
Null document：不用檢索的時(shí)候就放個(gè)這個(gè)
Prohibiting trivial retrievals：這個(gè)是考慮到有時(shí)給我們找到原句了，這不得行，所以在預(yù)訓(xùn)練時(shí)直接把這種情況給刪了
Initialization：這個(gè)主要是擔(dān)心retriever的表征不好（冷啟動(dòng)問(wèn)題）： Inverse Cloze Task (ICT) 預(yù)測(cè)句子出處。knowledge-augmented encoder用BERT

2. 實(shí)驗(yàn)

數(shù)據(jù)集里面那個(gè)CuratedTrec有點(diǎn)怪啊

主實(shí)驗(yàn)結(jié)果：
Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training,人工智能學(xué)習(xí)筆記,語(yǔ)言模型,人工智能,自然語(yǔ)言處理,RAG,LLM,REALM,NLP

消融實(shí)驗(yàn)：
Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training,人工智能學(xué)習(xí)筆記,語(yǔ)言模型,人工智能,自然語(yǔ)言處理,RAG,LLM,REALM,NLP

Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training,人工智能學(xué)習(xí)筆記,語(yǔ)言模型,人工智能,自然語(yǔ)言處理,RAG,LLM,REALM,NLP

3. 其他

附錄開(kāi)篇上來(lái)就是數(shù)學(xué)公式，害怕。 Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training,人工智能學(xué)習(xí)筆記,語(yǔ)言模型,人工智能,自然語(yǔ)言處理,RAG,LLM,REALM,NLP

附錄還沒(méi)看，如果以后有相關(guān)研究需求的話再來(lái)細(xì)看。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-758902.html

到了這里，關(guān)于Re58：讀論文 REALM: Retrieval-Augmented Language Model Pre-Training的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

論文筆記：Retrieval-Augmented Generation forAI-Generated Content: A Survey
北大202402的RAG綜述近年來(lái)，人們對(duì)人工智能生成內(nèi)容（AIGC）的興趣激增。各種內(nèi)容生成工具已經(jīng)精心設(shè)計(jì)，用于生產(chǎn)各種模態(tài)下的多樣化對(duì)象文本代碼：大型語(yǔ)言模型（LLM），包括GPT系列和LLAMA系列圖像：DALL-E和Stable Diffusion 視頻：Sora \\\"AIGC\\\"這一詞強(qiáng)調(diào)內(nèi)容是由高級(jí)生成模型
2024年04月24日
瀏覽(17)
RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 論文閱讀
2020 NeuralPS 文章地址：https://arxiv.org/abs/2005.11401 源碼地址：GitHub - huggingface/transformers: ?? Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX.? ? ? ?- 142 RAG 目錄 0、背景 1、摘要 2、導(dǎo)言? ? ?? 3、結(jié)論 4、模型 5、實(shí)驗(yàn) 6、與REALM比較 7、想法 ????????Language Mod
2024年02月05日
瀏覽(28)
論文閱讀---Albert :Few-shot Learning with Retrieval Augmented Language Models
增強(qiáng)語(yǔ)言模型 Augmented Language Models https://arxiv.org/abs/2208.03299 提前知識(shí)： BERT （Bidirectional Encoder Representations from Transformers）是一種預(yù)訓(xùn)練語(yǔ)言模型，它通過(guò)在大規(guī)模文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)文本的雙向表示，并在多種NLP任務(wù)中展現(xiàn)出卓越的性能。BERT的雙向性意味著它能夠
2024年04月23日
瀏覽(34)
Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning
本文是LLM系列的文章，針對(duì)《Decoupling Knowledge from Memorization: Retrieval 提示學(xué)習(xí)方法在仍然遵循基于參數(shù)的學(xué)習(xí)范式的同時(shí)，通過(guò)誘導(dǎo)更好的小樣本表現(xiàn)，在自然語(yǔ)言處理中掀起了波瀾；學(xué)習(xí)中的遺忘和死記硬背問(wèn)題可能會(huì)遇到不穩(wěn)定的泛化問(wèn)題。具體來(lái)說(shuō)，在完全監(jiān)督的訓(xùn)練
2024年02月11日
瀏覽(25)
【論文筆記】Active Retrieval Augmented Generation
論文題目：Active Retrieval Augmented Generation 論文地址：Active Retrieval Augmented Generation - ACL Anthology 會(huì)議：EMNLP 2023 main （Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing） github 鏈接：jzbjyb/FLARE: Forward-Looking Active REtrieval-augmented generation (FLARE) (github.com) 筆記參考：
2024年03月20日
瀏覽(43)
論文閱讀：Making Large Language Models A Better Foundation For Dense Retrieval
論文鏈接密集檢索需要學(xué)習(xí)區(qū)分性文本嵌入來(lái)表示查詢和文檔之間的語(yǔ)義關(guān)系?？紤]到大型語(yǔ)言模型在語(yǔ)義理解方面的強(qiáng)大能力，它可能受益于大型語(yǔ)言模型的使用。然而，LLM是由文本生成任務(wù)預(yù)先訓(xùn)練的，其工作模式與將文本表示為嵌入完全不同。因此，必須研究如何正確
2024年01月21日
瀏覽(25)
跨模態(tài)檢索論文閱讀：Learnable Pillar-based Re-ranking for Image-Text Retrieval(LeadRR)基于可學(xué)習(xí)支柱的圖像文本檢索重排
圖像-文本檢索旨在彌合模態(tài)鴻溝，根據(jù)語(yǔ)義相似性檢索跨模態(tài)內(nèi)容。之前的工作通常側(cè)重于成對(duì)關(guān)系（即一個(gè)數(shù)據(jù)樣本是否與另一個(gè)樣本匹配），但忽略了高階鄰接關(guān)系（即多個(gè)數(shù)據(jù)樣本之間的匹配結(jié)構(gòu)）。重新排序是一種流行的后處理方法，它揭示了在單模態(tài)檢索任務(wù)中捕
2024年01月16日
瀏覽(27)
Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （一）
最近看了一個(gè)同事的幾個(gè)視頻。他總結(jié)的很好。在使用 LangChain 時(shí)，根據(jù) LangChain 的官方文檔?https://integrations.langchain.com/vectorstores，目前有三種方法可以進(jìn)行使用：ElasticVectorSearch，ElasticsearchStore 及?ElasticKnnSearch。我們從上面的小紅心來(lái)看，Elasticsearch 無(wú)疑是最受歡迎的向量
2024年02月03日
瀏覽(20)
Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （三）
這是繼之前文章： Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （一） Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （二）的續(xù)篇。在今天的文章中，我將詳述如何使用?ElasticsearchStore。這也是被推薦的使用方法。如果你還沒(méi)有設(shè)置好
2024年02月08日
瀏覽(34)
Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （四）
這篇博客是之前文章： Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （一） Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （二） Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （三）的續(xù)篇。在這篇文章中，我們將學(xué)
2024年02月05日
瀏覽(48)