相關(guān)文章

• 

  視頻理解大模型調(diào)研論文《Video Understanding with Large Language Models: A Survey》簡(jiǎn)要介紹

  本文是關(guān)于綜述論文《Video Understanding with Large Language Models: A Survey》的部分介紹。文章調(diào)研了將視頻理解和大語(yǔ)言模型結(jié)合的最新技術(shù)，從任務(wù)、方法、評(píng)價(jià)、應(yīng)用等方面對(duì)視頻大語(yǔ)言模型進(jìn)行介紹。本文寫于2024年4月。 有關(guān)本專欄的更多內(nèi)容，請(qǐng)參考大語(yǔ)言模型論文調(diào)研專

  2024年04月26日

  瀏覽(28)
• 

  論文筆記--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

  標(biāo)題：ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding 作者：Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Hao Tian, Hua Wu, Haifeng Wang 日期：2020 期刊：AAAI ??文章給出了一種新的NLP預(yù)訓(xùn)練模型的訓(xùn)練方法，并提出了ERNIE2.0(Enhanced Representation through kNowledge IntErgration)。ERNIE2.0在ERNIE

  2024年02月09日

  瀏覽(37)
• 

  【論文精讀】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

  自然語(yǔ)言處理（Natural Language Processing，NLP）領(lǐng)域內(nèi)的 預(yù)訓(xùn)練語(yǔ)言模型 ，包括基于RNN的ELMo和ULMFiT，基于Transformer的OpenAI GPT及Google BERT等。預(yù)訓(xùn)練語(yǔ)言模型的成功，證明了我們可以從海量的無(wú)標(biāo)注文本中學(xué)到潛在的語(yǔ)義信息，而無(wú)需為每一項(xiàng)下游NLP任務(wù)單獨(dú)標(biāo)注大量訓(xùn)練數(shù)據(jù)。

  2024年02月14日

  瀏覽(37)
• 

  [arxiv論文閱讀] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

  Yang, S., Liu, J., Zhang, R., Pan, M., Guo, Z., Li, X., Chen, Z., Gao, P., Guo, Y., Zhang, S. (2023). LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding. In arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2312.14074 最近，大型語(yǔ)言模型（LLMs）和多模態(tài)大型語(yǔ)言模型（MLLMs）在 指令跟隨 和 2D圖像理解

  2024年02月02日

  瀏覽(33)
• 

  【GPT-2】論文解讀：Language Models are Unsupervised Multitask Learners

  論文：Language Models are Unsupervised Multitask Learners 作者：Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, I. Sutskever 時(shí)間：2019 GPT-2 是一個(gè)有15億參數(shù)的模型，GPT-2的想法是轉(zhuǎn)向一個(gè)通用的系統(tǒng)，不需要進(jìn)行數(shù)據(jù)集的標(biāo)注就可以執(zhí)行許多的任務(wù)； 因?yàn)閿?shù)據(jù)集的創(chuàng)建是很難的，我們很難

  2024年02月22日

  瀏覽(20)
• 

  LLaMA(Open and Efficient Foundation Language Models )論文解讀(二)

  此篇博客主題:LLAMA模型數(shù)據(jù)、訓(xùn)練時(shí)長(zhǎng)、功耗及碳排放量 LLaMA: Open and Efficient Foundation Language Models paper https://arxiv.org/pdf/2302.13971v1.pdf Overall, our entire training dataset contains roughly 1.4T tokens after tokenization. For most of our training data, each token is used only once during training, with the exception of t

  2024年02月16日

  瀏覽(25)
• 

  論文解讀：(UPL)Unsupervised Prompt Learning for Vision-Language Models

  存在的問(wèn)題 之前的來(lái)自目標(biāo)數(shù)據(jù)集的標(biāo)記數(shù)據(jù)(有監(jiān)督學(xué)習(xí))可能會(huì)限制可伸縮性。 動(dòng)機(jī) 通過(guò)無(wú)監(jiān)督提示學(xué)習(xí)(UPL)方法，以避免提示工程，同時(shí)提高類clip視覺(jué)語(yǔ)言模型的遷移性能。 主張top-k而不是top-p 注：top-k是指挑選概率最大的k個(gè)，top-p是指挑選預(yù)測(cè)概率大于p的那些數(shù)據(jù) 看

  2024年04月23日

  瀏覽(69)
• 

  《Training language models to follow instructions》論文解讀--訓(xùn)練語(yǔ)言模型遵循人類反饋的指令

  目錄 1摘要 2介紹 方法及實(shí)驗(yàn)細(xì)節(jié) 3.1高層次方法論 3.2數(shù)據(jù)集 3.3任務(wù) 3.4人體數(shù)據(jù)收集 ?3.5模型 3.6評(píng)價(jià) 4 結(jié)果 4.1 API分布結(jié)果 4.2公共NLP數(shù)據(jù)集的結(jié)果 4.3定性結(jié)果 問(wèn)題 1.什么是rm分?jǐn)?shù) 更多資料 使語(yǔ)言模型更大并不能使它們更好地遵循用戶的意圖。例如，大型語(yǔ)言模型可能生成不

  2024年01月24日

  瀏覽(27)
• 

  論文解讀: 2023-Lost in the Middle: How Language Models Use Long Contexts

  大模型使用的關(guān)鍵在于Prompt，然而大模型存在幻覺(jué)現(xiàn)象，如何減少這種現(xiàn)象的發(fā)生成為迫切解決的問(wèn)題。外部知識(shí)庫(kù)+LLM的方法可以緩解大模型幻覺(jué)，但是如何撰寫Prompt才能發(fā)揮LLM的性能。下面介紹這篇論文說(shuō)明上下文信息出現(xiàn)在Prompt什么位置使模型表現(xiàn)最佳，以及上下文文本

  2024年02月17日

  瀏覽(24)
• 

  一個(gè)開(kāi)源的大型語(yǔ)言模型LLaMA論文簡(jiǎn)單解讀，LLaMA: Open and Efficient Foundation Language Models

  返回論文和資料目錄 LLaMA 是 Meta AI 發(fā)布的包含 7B、13B、33B 和 65B 四種參數(shù)規(guī)模的基礎(chǔ)語(yǔ)言模型集合，LLaMA-13B 僅以 1/10 規(guī)模的參數(shù)在多數(shù)的 benchmarks 上性能優(yōu)于 GPT-3(175B)，LLaMA-65B 與業(yè)內(nèi)最好的模型 Chinchilla-70B 和 PaLM-540B 比較也具有競(jìng)爭(zhēng)力。開(kāi)源的代碼在github上可以很方便獲得

  2024年02月09日

  瀏覽(24)