相關(guān)文章

• 

  【類ChatGPT】本地CPU部署中文羊駝大模型LLaMA和Alpaca

  昨天在github上看到一個在本地部署中文大模型的項目，和大家分享一下。先把地址po出來。 項目名稱：中文LLaMAAlpaca大語言模型+本地部署 (Chinese LLaMA Alpaca LLMs) 項目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca 以下是原github中給出的體驗GIF，可以看到這個模型還是具備一定的指令

  2023年04月23日

  瀏覽(34)
• 

  【類ChatGPT】中文LLaMA-2、Alpaca-2 二代羊駝大模型體驗

  Meta發(fā)布的一代LLaMA已經(jīng)掀起了一股開源大模型熱潮，也有很多相關(guān)工作不斷涌現(xiàn)。最近Meta全新發(fā)布了Llama-2，效果更上一層樓。而且最重要的是模型可以相對隨意分發(fā)了，不像一代一樣，meta不讓開發(fā)者發(fā)布基于llama模型訓(xùn)練出來的權(quán)重（原版當(dāng)然更不可以）。 既然有了Llama-

  2024年02月12日

  瀏覽(24)

• Llama中文大模型-模型預(yù)訓(xùn)練

  Atom系列模型包含Atom-7B和Atom-13B，基于Llama2做了中文能力的持續(xù)優(yōu)化。Atom-7B和Atom-7B-Chat目前已完全開源，支持商用，可在Hugging Face倉庫獲取模型: https://huggingface.co/FlagAlpha 大規(guī)模的中文數(shù)據(jù)預(yù)訓(xùn)練 原子大模型Atom在Llama2的基礎(chǔ)上，采用大規(guī)模的中文數(shù)據(jù)進行持續(xù)預(yù)訓(xùn)練，包含百

  2024年04月28日

  瀏覽(31)
• 

  [玩轉(zhuǎn)AIGC]LLaMA2訓(xùn)練中文文章撰寫神器（數(shù)據(jù)準(zhǔn)備，數(shù)據(jù)處理，模型訓(xùn)練，模型推理）

  好久沒更新這個專欄的文章了，今天抽空寫了一篇?！?023.12.28 摘要：文體包括新聞，法律文書，公告，廣告等，每種文體的書寫風(fēng)格不一樣，如果擁有自己的數(shù)據(jù)集，想針對特定文體來訓(xùn)練一個內(nèi)容生成的工具，來幫助自己寫點文章，如果沒接觸過AIGC，可能一開始會

  2024年01月17日

  瀏覽(25)
• 

  基于中文金融知識的 LLaMA 系微調(diào)模型的智能問答系統(tǒng)：LLaMA大模型訓(xùn)練微調(diào)推理等詳細教學(xué)

  項目設(shè)計集合（人工智能方向）：助力新人快速實戰(zhàn)掌握技能、自主完成項目設(shè)計升級，提升自身的硬實力（不僅限NLP、知識圖譜、計算機視覺等領(lǐng)域） ：匯總有意義的項目設(shè)計集合，助力新人快速實戰(zhàn)掌握技能，助力用戶更好利用 CSDN 平臺，自主完成項目設(shè)計升級，提升自

  2024年02月14日

  瀏覽(21)
• 

  大語言模型之十五-預(yù)訓(xùn)練和監(jiān)督微調(diào)中文LLama-2

  這篇博客是繼《大語言模型之十二 SentencePiece擴充LLama2中文詞匯》、《大語言模型之十三 LLama2中文推理》和《大語言模型之十四-PEFT的LoRA》 前面博客演示了中文詞匯的擴充以及給予LoRA方法的預(yù)訓(xùn)練模型參數(shù)合并，并沒有給出LoRA模型參數(shù)是如何訓(xùn)練得出的。 本篇博客將分析

  2024年02月08日

  瀏覽(23)
• 

  LLM-LLaMA中文衍生模型：LLaMA-ZhiXi【沒有對詞表進行擴增、全參數(shù)預(yù)訓(xùn)練、部分參數(shù)預(yù)訓(xùn)練、指令微調(diào)】

  下圖展示了我們的訓(xùn)練的整個流程和數(shù)據(jù)集構(gòu)造。整個訓(xùn)練過程分為兩個階段： （1）全量預(yù)訓(xùn)練階段。該階段的目的是增強模型的中文能力和知識儲備。 （2）使用LoRA的指令微調(diào)階段。該階段讓模型能夠理解人類的指令并輸出合適的內(nèi)容。 ? 3.1 預(yù)訓(xùn)練數(shù)據(jù)集構(gòu)建 為了在保

  2024年02月12日

  瀏覽(35)
• 

  中文LLaMA模型和指令精調(diào)的Alpaca大模型：中文數(shù)據(jù)進行二次預(yù)訓(xùn)練，進一步提升了中文基礎(chǔ)語義理解能力

  項目設(shè)計集合（人工智能方向）：助力新人快速實戰(zhàn)掌握技能、自主完成項目設(shè)計升級，提升自身的硬實力（不僅限NLP、知識圖譜、計算機視覺等領(lǐng)域） ：匯總有意義的項目設(shè)計集合，助力新人快速實戰(zhàn)掌握技能，助力用戶更好利用 CSDN 平臺，自主完成項目設(shè)計升級，提升自

  2024年02月12日

  瀏覽(21)

• LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【擴充詞表、Lora部分參數(shù)預(yù)訓(xùn)練、微調(diào)】

  GitHub：GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMAAlpaca大語言模型+本地CPU/GPU訓(xùn)練部署 (Chinese LLaMA Alpaca LLMs) 中文LLaMA模型 中文LLaMA模型在原版的基礎(chǔ)上擴充了中文詞表，使用了中文通用純文本數(shù)據(jù)進行二次預(yù)訓(xùn)練。 模型名稱 訓(xùn)練數(shù)據(jù) 重構(gòu)模型[1] 大小[2] LoRA下載[3] Chinese-LLaMA-7B 通用

  2024年02月15日

  瀏覽(22)
• 

  羊駝系列大模型LLaMa、Alpaca、Vicuna

  羊駝系列大模型：大模型的安卓系統(tǒng) GPT系列：類比ios系統(tǒng)，不開源 LLaMa優(yōu)勢 用到的數(shù)據(jù)：大部分英語、西班牙語，少中文 模型下載地址 https://huggingface.co/meta-llama Alpaca是斯坦福從Meta的LLaMA 7B微調(diào)而來的全新模型 (套殼)僅用了52k數(shù)據(jù)，性能約等于GPT-3.5。 訓(xùn)練成本奇低，總成本

  2024年01月21日

  瀏覽(48)