相關文章

• 

  【AI實戰(zhàn)】從零開始搭建中文 LLaMA-33B 語言模型 Chinese-LLaMA-Alpaca-33B

  2023年2月25日消息，Meta 推出了一種針對研究社區(qū)的基于人工智能 (AI) 的新型大型語言模型，與微軟、谷歌等一眾受到 ChatGPT 刺激的公司一同加入人工智能競賽。 Meta 的 LLaMA 是“大型語言模型 Meta AI” （Large Language Model Meta AI）的縮寫，它可以在非商業(yè)許可下提供給政府、社區(qū)

  2024年02月13日

  瀏覽(46)

• 中文版LLaMA：Chinese-LLaMA-Alpaca

  GitHub：GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMAAlpaca大語言模型+本地CPU/GPU訓練部署 (Chinese LLaMA Alpaca LLMs) 以ChatGPT、GPT-4等為代表的大語言模型（Large Language Model, LLM）掀起了新一輪自然語言處理領域的研究浪潮，展現(xiàn)出了類通用人工智能（AGI）的能力，受到業(yè)界廣泛關注。然而，

  2024年02月12日

  瀏覽(20)
• 

  NLP-分詞器：SentencePiece【參考Chinese-LLaMA-Alpaca在通用中文語料上訓練的20K中文詞表并與原版LLaMA模型的32K詞表進行合并的代碼】

  隨著ChatGPT迅速出圈，最近幾個月開源的大模型也是遍地開花。目前，開源的大語言模型主要有三大類：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom衍生的大模型（Bloomz、BELLE、Phoenix等）。其中，ChatGLM-6B主要以中英雙

  2024年02月11日

  瀏覽(22)
• 

  LLMs：Chinese-LLaMA-Alpaca的簡介(擴充中文詞表+增量預訓練+指令精調(diào))、安裝、案例實戰(zhàn)應用之詳細攻略

  LLMs：Chinese-LLaMA-Alpaca的簡介(擴充中文詞表+增量預訓練+指令精調(diào))、安裝、案例實戰(zhàn)應用之詳細攻略 導讀 ：2023年4月17日，哈工大訊飛聯(lián)合實驗室，本項目開源了中文LLaMA模型和指令精調(diào)的Alpaca大模型，以進一步促進大模型在中文NLP社區(qū)的開放研究。 Chinese-LLaMA 在原版LLaMA的基

  2024年01月20日

  瀏覽(28)

• AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

  生成的文件在 .buildbin ，我們要用的是 main.exe ， binmain.exe -h 查看使用幫助 本項目基于Meta發(fā)布的可商用大模型Llama-2開發(fā)，是中文LLaMAAlpaca大模型的第二期項目，開源了中文LLaMA-2基座模型和Alpaca-2指令精調(diào)大模型。這些模型在原版Llama-2的基礎上擴充并優(yōu)化了中文詞表，使用

  2024年04月25日

  瀏覽(33)

• LLM-LLaMA：手動模型轉換與合并【Step 1: 將原版LLaMA模型轉換為HF(HuggingFace)格式；Step 2: 合并LoRA權重，生成全量模型權重】

  準備工作 運行前確保拉取倉庫最新版代碼： git pull 確保機器有足夠的內(nèi)存加載完整模型（例如7B模型需要13-15G）以進行合并模型操作。 務必確認基模型和下載的LoRA模型完整性，檢查是否與SHA256.md所示的值一致 ，否則無法進行合并操作。原版LLaMA包含： tokenizer.model 、 tokeni

  2024年02月13日

  瀏覽(38)
• 

  Chinese-LLaMA-Alpaca代碼實戰(zhàn)

  項目地址： https://github.com/ymcui/Chinese-LLaMA-Alpaca 由于LLaMA 原生僅支持 Latin 或 Cyrillic 語系，對于中文支持不是特別理想，并不像ChatGLM 和 Bloom 原生支持中文。但由于LLaMA模型在英文上的效果本身還是不錯的，因此使用 模型詞表擴充（中文詞表） ，配合二次預訓練及微調(diào)的方式

  2024年02月09日

  瀏覽(16)
• 

  Chinese-LLaMA-Alpaca本地搭建（四）

  中文羊駝模型只是一些LoRA權重模型文件，與原版LLaMA模型合并后就可以生成一個完整模型使用了，在這過程中可以不斷訓練LoRA權重模型文件，無限訓練后達到專業(yè)領域的效果，理論上就能投入使用了，但注意禁止商用的問題。 Facebook官方發(fā)布的LLaMA模型禁止商用，并且官方?jīng)]

  2024年02月14日

  瀏覽(19)
• 

  Chinese-LLaMA-Alpaca本地搭建（三）

  中文羊駝模型只是一些LoRA權重模型文件，與原版LLaMA模型合并后就可以生成一個完整模型使用了，在這過程中可以不斷訓練LoRA權重模型文件，無限訓練后達到專業(yè)領域的效果，理論上就能投入使用了，但注意禁止商用的問題。 Facebook官方發(fā)布的LLaMA模型禁止商用，并且官方?jīng)]

  2024年01月22日

  瀏覽(21)

• LLMs之Chinese-LLaMA-Alpaca-2：源碼解讀(run_clm_sft_with_peft.py文件)—模型訓練前置工作(參數(shù)解析+配置日志)→模型初始化(檢測是否存在訓練過的che

  LLMs之Chinese-LLaMA-Alpaca-2：源碼解讀(run_clm_sft_with_peft.py文件)—模型訓練前置工作(參數(shù)解析+配置日志)→模型初始化(檢測是否存在訓練過的checkpoint+加載預訓練模型和tokenizer)→數(shù)據(jù)預處理(監(jiān)督式任務的數(shù)據(jù)收集器+指令數(shù)據(jù)集【json格式】)→優(yōu)化模型配置(量化模塊+匹配模型voca

  2024年02月06日

  瀏覽(23)