相關文章

• 

  []從model-based推導到model-free(到PG+general advantage estimation)

  這篇博客很久之前就想做了，一直在拖是因為覺得自己對知識點理解還沒有足夠的透徹。但是每當去復盤基本概念的時候又很難理清邏輯，所以覺得即便現(xiàn)在半吊子水平，但是也想通過博客記錄一下自己膚淺的學習心得，權當是為自己鞏固和梳理一遍知識點。 這篇博客主要借

  2024年02月14日

  瀏覽(16)
• 

  論文閱讀-A General Language for Modeling Social Media Account Behavior

  ? 論文鏈接：https://arxiv.org/pdf/2211.00639v1.pdf 目錄 摘要 1 Introduction 2 Related work 2.1 Automation 2.2 Coordination 3 Behavioral Language for Online Classification ?3.1 BLOC alphabets 3.1.1 Action alphabet 3.1.2 Content alphabets 3.2 BLOC models 3.2.1語言模式 3.2.2 Vector models 4 Discriminative power of BLOC 4.1 Characterizing individu

  2024年02月09日

  瀏覽(25)
• 

  論文解讀 X-CLIP : Expanding Language-Image Pretrained Models for General Video Recognition

  如何將現(xiàn)有的圖像 - 文本多模態(tài)大模型（例如 OpenAI CLIP）用于視頻內(nèi)容理解，是一個非常實用且具有前景的研究課題 。它不僅可以充分挖掘圖像大模型的潛力，還可以為視頻大模型的設計和研究鋪平道路。 在視頻內(nèi)容理解領域，為節(jié)省計算 / 數(shù)據(jù)開銷，視頻模型通常 「微調(diào)

  2024年02月02日

  瀏覽(21)
• 

  語言模型（language model）

  語言模型是一種用于預測文本序列中下一個詞或字符的概率分布的模型。它可以捕獲語言結構的某些方面，如語法、句式和上下文信息。傳統(tǒng)的語言模型通常使用N-gram方法或隱藏馬爾可夫模型，但這些模型往往不能捕捉到長距離依賴和復雜的語義信息。 通俗來講 語言模型評

  2024年02月11日

  瀏覽(46)

• LLM(Large Language Model)大語言模型

  語言模型夠大，訓練的語料夠多，涌現(xiàn)出推理能力飆升等 ? Generative Pre-trained Transformer 3（GPT-3）是最著名的LLM之一，擁有1750億個參數(shù)。該模型在文本生成、翻譯和其他任務中表現(xiàn)出顯著的性能，在全球范圍內(nèi)引起了熱烈的反響，目前OpenAI已經(jīng)迭代到了GPT-4版本 Generative ：能產(chǎn)

  2024年02月15日

  瀏覽(25)
• 

  100% RNN language model ChatRWKV 相關開源項目

  ????RWKV(讀作RwaKuv)借鑒了RNN的移動平均模型（MA），將transformer的 O ( T 2 d ) O(T^2d) O ( T 2 d ) 復雜度降低到 O ( T d ) O(Td) O ( T d ) ，同時保持較好的結果表現(xiàn)。RWKV也是一個開源模型，甚至其介紹主頁的html代碼都有開源。以下為發(fā)現(xiàn)的與RWKV相關的開源項目，其中包括模型結構，任

  2024年02月15日

  瀏覽(19)

• Truncation Sampling as Language Model Desmoothing

  本文是LLM系列文章，針對《Truncation Sampling as Language Model Desmoothing》的翻譯。 來自神經(jīng)語言模型的長文本樣本可能質(zhì)量較差。截斷采樣算法（如top-p或top-k）通過在每一步將一些單詞的概率設置為零來解決這一問題。這項工作為截斷的目的提供了框架，并為此目的提供了一種改

  2024年02月10日

  瀏覽(23)

• LARGE LANGUAGE MODEL AS AUTONOMOUS DECISION MAKER

  本文是LLM系列文章，針對《LARGE LANGUAGE MODEL AS AUTONOMOUS DECISION MAKER》的翻譯。 盡管大型語言模型（LLM）表現(xiàn)出令人印象深刻的語言理解和上下文學習能力，但在解決現(xiàn)實世界任務時，它們的決策能力仍然嚴重依賴于特定任務專家知識的指導。為了釋放LLM作為自主決策者的潛力

  2024年02月10日

  瀏覽(27)

• Shepherd: A Critic for Language Model Generation

  本文是LLM系列的相關文章，針對《Shepherd: A Critic for Language Model Generation》的翻譯。 隨著大型語言模型的改進，人們對利用這些模型的能力來完善其自身輸出的技術越來越感興趣。在這項工作中，我們介紹了Shepherd，這是一個專門針對批評模型響應和建議改進的語言模型，它超

  2024年02月12日

  瀏覽(23)

• 神經(jīng)網(wǎng)絡語言模型（Neural Network Language Model，NNLM）

  神經(jīng)網(wǎng)絡語言模型（Neural Network Language Model，NNLM）是一種用神經(jīng)網(wǎng)絡建模語言的方法。NNLM 通過學習文本序列中的詞匯之間的概率關系，能夠捕捉到語言的結構和語境，從而能夠生成自然語言文本或進行其他與語言相關的任務。 想象一下，你正在閱讀一本小說。每當你讀到一

  2024年02月02日

  瀏覽(21)