相關(guān)文章

• 

  論文閱讀_增強(qiáng)語言模型綜述

  name_en: Augmented Language Models: a Survey name_ch: 增強(qiáng)語言模型綜述 paper_addr: http://arxiv.org/abs/2302.07842 date_read: 2023-05-20 date_publish: 2023-02-15 tags: [‘深度學(xué)習(xí)’,‘自然語言處理’,‘大模型’] author: Grégoire Mialon，Meta 文章是一篇增強(qiáng)語言模型（Augmented Language Models，ALMs）綜述，這里的增

  2024年02月15日

  瀏覽(21)

• 【Agent論文】大型語言模型智能評(píng)估新尺度：AGENTBENCH（Agentbench: Evaluating llms as agents）

  論文題目：Agentbench: Evaluating llms as agents 論文鏈接：https://arxiv.org/pdf/2308.03688 目錄： 摘要 總覽 方法 代碼環(huán)境中的智能Agent評(píng)估 操作系統(tǒng)環(huán)境：OS 數(shù)據(jù)庫環(huán)境：DB 知識(shí)圖譜環(huán)境：KG 游戲環(huán)境中的智能Agent評(píng)估 數(shù)字卡牌游戲：策略與決策的試金石 橫向思維謎題：非傳統(tǒng)思維的展

  2024年01月22日

  瀏覽(25)
• 

  【論文閱讀】Lora

  概述 目的在原有大模型上進(jìn)行fine tune，訓(xùn)練個(gè)性化模型 idea：將pretrained model參數(shù)凍住，額外訓(xùn)練一個(gè)module進(jìn)行調(diào)整，最終輸出是原始輸出+經(jīng)過module的輸出。 技巧：通過低秩分解大大降低了需要訓(xùn)練參數(shù)的數(shù)量。矩陣分解：對(duì)于一個(gè) m ? n m*n m ? n 的矩陣，若它的秩是r，則可

  2024年02月09日

  瀏覽(19)
• 

  SCIBERT論文閱讀（預(yù)訓(xùn)練語言模型 - 科學(xué)文本）

  【論文基本信息】 標(biāo)題：SCIBERT: A Pretrained Language Model for Scientific Text 來源：EMNLP 2019（CCF推薦國際學(xué)術(shù)會(huì)議-人工智能-B類） 作者：Allen Institute for Artificial Intelligence, Seattle 原文：https://arxiv.org/abs/1903.10676 報(bào)告時(shí)間：2022年11月 為科學(xué)領(lǐng)域的自然語言處理任務(wù)獲取大規(guī)模帶標(biāo)注的

  2024年02月06日

  瀏覽(19)
• 

  一個(gè)開源的大型語言模型LLaMA論文簡單解讀，LLaMA: Open and Efficient Foundation Language Models

  返回論文和資料目錄 LLaMA 是 Meta AI 發(fā)布的包含 7B、13B、33B 和 65B 四種參數(shù)規(guī)模的基礎(chǔ)語言模型集合，LLaMA-13B 僅以 1/10 規(guī)模的參數(shù)在多數(shù)的 benchmarks 上性能優(yōu)于 GPT-3(175B)，LLaMA-65B 與業(yè)內(nèi)最好的模型 Chinchilla-70B 和 PaLM-540B 比較也具有競爭力。開源的代碼在github上可以很方便獲得

  2024年02月09日

  瀏覽(24)
• 

  論文閱讀_大語言模型_Llama2

  英文名稱: Llama 2: Open Foundation and Fine-Tuned Chat Models 中文名稱: Llama 2：開源的基礎(chǔ)模型和微調(diào)的聊天模型 文章: http://arxiv.org/abs/2307.09288 代碼: https://github.com/facebookresearch/llama 作者: Hugo Touvron 日期: 2023-07-19 引用次數(shù): 110 這是一篇77頁的論文，正文也有36頁，讓人望而卻步。整體分

  2024年02月07日

  瀏覽(81)
• 

  邁向高效LLM微調(diào)：低秩適應(yīng)（LoRA）技術(shù)的原理與實(shí)踐

  在快速發(fā)展的人工智能領(lǐng)域中，以高效和有效的方式使用大型語言模型（LLM）變得越來越重要。在本文中，您將學(xué)習(xí)如何以計(jì)算高效的方式使用低秩適應(yīng)（LoRA）對(duì)LLM進(jìn)行調(diào)整！ 預(yù)訓(xùn)練的大型語言模型通常被視為基礎(chǔ)模型，原因很充分：它們?cè)诟鞣N任務(wù)上表現(xiàn)良好，我們可以

  2024年01月16日

  瀏覽(35)
• 

  【論文閱讀】用于大型城市場(chǎng)景的網(wǎng)格引導(dǎo)神經(jīng)輻射場(chǎng)

  paper peoject 由于模型容量有限，純基于 MLP 的神經(jīng)輻射場(chǎng)（基于 NeRF 的方法）在大型場(chǎng)景上經(jīng)常會(huì)出現(xiàn)渲染模糊的欠擬合問題。最近的方法提出在地理上劃分場(chǎng)景并采用多個(gè)子 NeRF 分別對(duì)每個(gè)區(qū)域進(jìn)行建模，從而導(dǎo)致訓(xùn)練成本和子 NeRF 的數(shù)量隨著場(chǎng)景的擴(kuò)展而線性增加。另一種

  2024年02月09日

  瀏覽(21)
• 

  【論文閱讀】Latent Consistency Models (LDMs)、LCM-LoRa

  提出 Latent Consistency Models (LCMs) ，圖像生成速度更快、質(zhì)量更好. 提出一種簡單高效的 one-stage guided consistency distillation 方法，用極少的采樣步數(shù)蒸餾 Stable Diffusion ，進(jìn)一步提出 skipping-step 技術(shù)加快收斂過程. 介紹針對(duì) LCMs 的微調(diào)方法. 使用 empirical PF-ODE 表示模型的逆擴(kuò)散過程：

  2024年01月16日

  瀏覽(23)
• 

  論文《LoRA: Low-Rank Adaptation of Large Language Models》閱讀

  今天帶來的是由微軟Edward Hu等人完成并發(fā)表在ICLR 2022上的論文《LoRA: Low-Rank Adaptation of Large Language Models》，論文提出了大模型 tuning 框架 LoRA （ Lo w- R ank A daptation）。 論文地址：https://openreview.net/pdf?id=nZeVKeeFYf9 附錄下載地址：https://openreview.net/attachment?id=nZeVKeeFYf9name=supplementa

  2024年02月11日

  瀏覽(23)