相關(guān)文章

• 

  類ChatGPT模型LLaMA的解讀與其微調(diào)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙

  近期，除了研究ChatGPT背后的各種技術(shù)細(xì)節(jié) 不斷看論文(至少100篇，100篇目錄見此：ChatGPT相關(guān)技術(shù)必讀論文100篇)，還開始研究一系列開源模型(包括各自對應(yīng)的模型架構(gòu)、訓(xùn)練方法、訓(xùn)練數(shù)據(jù)、本地私有化部署、硬件配置要求、微調(diào)等細(xì)節(jié))? 本文一開始是作為此文《ChatGPT技術(shù)

  2024年02月16日

  瀏覽(27)
• 

  【LLM】Windows本地CPU部署民間版中文羊駝模型（Chinese-LLaMA-Alpaca）踩坑記錄

  目錄 前言 準(zhǔn)備工作 Git? Python3.9? Cmake 下載模型? 合并模型 部署模型? 想必有小伙伴也想跟我一樣體驗(yàn)下部署大語言模型, 但礙于經(jīng)濟(jì)實(shí)力, 不過民間上出現(xiàn)了大量的量化模型, 我們平民也能體驗(yàn)體驗(yàn)啦~, 該模型可以在筆記本電腦上部署, 確保你電腦至少有16G運(yùn)行內(nèi)存 開原地址

  2024年02月04日

  瀏覽(53)
• 

  深入理解LLaMA, Alpaca, ColossalChat 系列模型

  知乎：紫氣東來 https://zhuanlan.zhihu.com/p/618695885 1.1 LLaMA 概要與實(shí)踐 LLaMA(Large Language Model Meta AI) 是由 Meta AI 發(fā)布了一款全新的大型語言模型，共有7B、13B、33B、65B 四種版本，其模型參數(shù)如下表所示： 與原始的 transformer Decoder 相比，LLaMA主要有以下改進(jìn)： 預(yù)歸一化(Pre-normalizatio

  2023年04月18日

  瀏覽(15)
• 

  [大模型] LLaMA系列大模型調(diào)研與整理-llama/alpaca/lora（部分）

  ：大模型，LLaMA，Alpaca，Lora，Belle，模型訓(xùn)練，模型微調(diào)，指令微調(diào) 最近嘗試在領(lǐng)域數(shù)據(jù)進(jìn)行生成式大模型的再訓(xùn)練和微調(diào)，在調(diào)研和實(shí)驗(yàn)中整理了一些項(xiàng)目論文的基本信息，后續(xù)會持續(xù)完善和補(bǔ)充。 項(xiàng)目地址 ： https://github.com/facebookresearch/llama LLaMa語料數(shù)據(jù)如下，對

  2024年02月08日

  瀏覽(19)
• 

  LLaMA的解讀與其微調(diào)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2

  近期，除了研究ChatGPT背后的各種技術(shù)細(xì)節(jié) 不斷看論文(至少100篇，100篇目錄見此：ChatGPT相關(guān)技術(shù)必讀論文100篇)，還開始研究一系列開源模型(包括各自對應(yīng)的模型架構(gòu)、訓(xùn)練方法、訓(xùn)練數(shù)據(jù)、本地私有化部署、硬件配置要求、微調(diào)等細(xì)節(jié))? 本文一開始是作為此文《ChatGPT技術(shù)

  2024年02月17日

  瀏覽(26)
• 

  類ChatGPT項(xiàng)目的部署與微調(diào)(上)：從LLaMA到Alpaca、Vicuna、BELLE

  近期，除了研究ChatGPT背后的各種技術(shù)細(xì)節(jié) 不斷看論文(至少100篇，100篇目錄見此：ChatGPT相關(guān)技術(shù)必讀論文100篇)，還開始研究一系列開源模型(包括各自對應(yīng)的模型架構(gòu)、訓(xùn)練方法、訓(xùn)練數(shù)據(jù)、本地私有化部署、硬件配置要求、微調(diào)等細(xì)節(jié))? 本文一開始是作為此文《ChatGPT技術(shù)

  2023年04月12日

  瀏覽(27)
• 

  類ChatGPT的部署與微調(diào)(上)：從LLaMA、Alpaca/Vicuna/BELLE、中文版

  近期，除了研究ChatGPT背后的各種技術(shù)細(xì)節(jié) 不斷看論文(至少100篇，100篇目錄見此：ChatGPT相關(guān)技術(shù)必讀論文100篇)，還開始研究一系列開源模型(包括各自對應(yīng)的模型架構(gòu)、訓(xùn)練方法、訓(xùn)練數(shù)據(jù)、本地私有化部署、硬件配置要求、微調(diào)等細(xì)節(jié))? 本文一開始是作為此文《ChatGPT技術(shù)

  2024年02月04日

  瀏覽(33)
• 

  類ChatGPT的部署與微調(diào)(上)：LLaMA到Alpaca、Vicuna、BELLE、中文版

  近期，除了研究ChatGPT背后的各種技術(shù)細(xì)節(jié) 不斷看論文(至少100篇，100篇目錄見此：ChatGPT相關(guān)技術(shù)必讀論文100篇)，還開始研究一系列開源模型(包括各自對應(yīng)的模型架構(gòu)、訓(xùn)練方法、訓(xùn)練數(shù)據(jù)、本地私有化部署、硬件配置要求、微調(diào)等細(xì)節(jié))? 本文一開始是作為此文《ChatGPT技術(shù)

  2023年04月25日

  瀏覽(24)

• NLP之LLMs：《Zeno Chatbot Report》的翻譯與解讀—CMU副教授詳測七款個(gè)類ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Coher

  NLP之LLMs：《Zeno Chatbot Report》的翻譯與解讀—CMU副教授詳測七款個(gè)類ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command和ChatGPT) 目錄 《Zeno Chatbot Report》的翻譯與解讀—CMU副教授詳細(xì)測評七款個(gè)類ChatGPT大模型 Overview概覽 Setup設(shè)置 Model Settings模型設(shè)置 Evaluation Metrics評估指

  2024年02月09日

  瀏覽(19)
• 

  足夠驚艷，使用Alpaca-Lora基于LLaMA(7B)二十分鐘完成微調(diào)，效果比肩斯坦福羊駝

  之前嘗試了 從0到1復(fù)現(xiàn)斯坦福羊駝（Stanford Alpaca 7B） ，Stanford Alpaca 是在 LLaMA 整個(gè)模型上微調(diào)，即對預(yù)訓(xùn)練模型中的所有參數(shù)都進(jìn)行微調(diào)（full fine-tuning）。但該方法對于硬件成本要求仍然偏高且訓(xùn)練低效。 因此， Alpaca-Lora 則是利用 Lora 技術(shù)，在凍結(jié)原模型 LLaMA 參數(shù)的情況下

  2024年02月03日

  瀏覽(23)