相關(guān)文章

• 

  小白也能微調(diào)大模型：LLaMA-Factory使用心得

  大模型火了之后，相信不少人都在嘗試將預(yù)訓(xùn)練大模型應(yīng)用到自己的場(chǎng)景上，希望得到一個(gè)垂類(lèi)專(zhuān)家，而不是通用大模型。 目前的思路，一是RAG(retrieval augmented generation)，在模型的輸入prompt中加入盡可能多的“目標(biāo)領(lǐng)域”的相關(guān)知識(shí)，引導(dǎo)模型在生成時(shí)盡量靠攏目標(biāo)領(lǐng)域，運(yùn)

  2024年04月13日

  瀏覽(32)
• 

  Python - 深度學(xué)習(xí)系列30 - 使用LLaMA-Factory微調(diào)模型

  最實(shí)用的一種利用大語(yǔ)言模型的方式是進(jìn)行微調(diào)。預(yù)訓(xùn)練模型與我們的使用場(chǎng)景一定會(huì)存在一些差異，而我們又不可能重頭訓(xùn)練。 微調(diào)的原理并不復(fù)雜，載入模型，灌新的數(shù)據(jù)，然后運(yùn)行再訓(xùn)練，保留checkpoints。但是不同項(xiàng)目的代碼真的不太一樣，每一個(gè)都要單獨(dú)去看的話(huà)比

  2024年04月12日

  瀏覽(26)
• 

  快速上手！LLaMa-Factory最新微調(diào)實(shí)踐，輕松實(shí)現(xiàn)專(zhuān)屬大模型

  Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息發(fā)布的新一代基礎(chǔ)語(yǔ)言大模型，該模型擁有優(yōu)異的數(shù)學(xué)、代碼能力。自發(fā)布以來(lái)，Yuan2.0已經(jīng)受到了業(yè)界廣泛的關(guān)注。當(dāng)前Yuan2.0已經(jīng)開(kāi)源參數(shù)量分別是102B、51B和2B的3個(gè)基礎(chǔ)模型，以供研發(fā)人員做進(jìn)一步的開(kāi)發(fā)。 LLM（大語(yǔ)言模型）微

  2024年01月20日

  瀏覽(24)
• 

  LLaMA-Factory可視化界面微調(diào)chatglm2；LoRA訓(xùn)練微調(diào)模型 簡(jiǎn)單案例

  參考：https://github.com/huggingface/peft https://github.com/hiyouga/LLaMA-Factory 類(lèi)似工具還有流螢，注意是做中文微調(diào)訓(xùn)練這塊；來(lái)訓(xùn)練微調(diào)的chatglm2需要完整最新文件，不能是量化后的模型；另外測(cè)試下來(lái)顯卡資源要大于20來(lái)G才能順利，這邊T4單卡訓(xùn)練中間顯存不足，需要開(kāi)啟4bit量化才行

  2024年02月05日

  瀏覽(35)
• 

  自定義數(shù)據(jù)集使用llama_factory微調(diào)模型并導(dǎo)入ollama

  本文所有操作均在linux系統(tǒng)下完成 參考github的安裝命令 參考github，使用以下命令啟動(dòng)LLaMA Factory web頁(yè)面：（web ui界面只支持單卡運(yùn)行，如需多卡微調(diào)請(qǐng)參考github相關(guān)部分） 此外可以選擇模型下載源，這里推薦國(guó)內(nèi)用戶(hù)使用魔搭社區(qū)下載渠道。 ?成功啟動(dòng)后會(huì)進(jìn)入web操作界面：

  2024年04月26日

  瀏覽(26)
• 

  LLaMA-Factory微調(diào)（sft）ChatGLM3-6B保姆教程

  下載LLaMA-Factory 下載ChatGLM3-6B 下載ChatGLM3 windows下載CUDA ToolKit 12.1 （本人是在windows進(jìn)行訓(xùn)練的，顯卡GTX 1660 Ti） CUDA安裝完畢后，通過(guò)指令 nvidia-smi 查看 1、選擇下載目錄：E:llm-trainLLaMA-Factory，并打開(kāi) 2、創(chuàng)建新的python環(huán)境，這里使用conda創(chuàng)建一個(gè)python空環(huán)境，選擇python3.10 參考

  2024年04月13日

  瀏覽(33)
• 

  llama-factory SFT系列教程 (二)，大模型在自定義數(shù)據(jù)集 lora 訓(xùn)練與部署

  文章列表： llama-factory SFT系列教程 (一)，大模型 API 部署與使用 llama-factory SFT系列教程 (二)，大模型在自定義數(shù)據(jù)集 lora 訓(xùn)練與部署 llama-factory SFT系列教程 (三)，chatglm3-6B 命名實(shí)體識(shí)別實(shí)戰(zhàn) 模型名 模型大小 默認(rèn)模塊 Template Baichuan2 7B/13B W_pack baichuan2 BLOOM 560M/1.1B/1.7B/3B/7.1B/176

  2024年04月25日

  瀏覽(31)
• 

  llama-factory SFT 系列教程 (四)，lora sft 微調(diào)后，使用vllm加速推理

  llama-factory SFT系列教程 (一)，大模型 API 部署與使用 llama-factory SFT系列教程 (二)，大模型在自定義數(shù)據(jù)集 lora 訓(xùn)練與部署 llama-factory SFT系列教程 (三)，chatglm3-6B 命名實(shí)體識(shí)別實(shí)戰(zhàn) llama-factory SFT 系列教程 (四)，lora sft 微調(diào)后，使用vllm加速推理 llama-factory 提供了 vllm API 部署，但筆

  2024年04月27日

  瀏覽(20)

• 本地部署中文LLaMA模型實(shí)戰(zhàn)教程，民間羊駝模型

  博文1：本地部署中文LLaMA模型實(shí)戰(zhàn)教程，民間羊駝模型（本博客） 博文2：本地訓(xùn)練中文LLaMA模型實(shí)戰(zhàn)教程，民間羊駝模型 博文3：精調(diào)訓(xùn)練中文LLaMA模型實(shí)戰(zhàn)教程，民間羊駝模型 LLaMA大部分是英文語(yǔ)料訓(xùn)練的，講中文能力很弱。如果我們想微調(diào)訓(xùn)練自己的LLM模型，基于一個(gè)大

  2024年02月04日

  瀏覽(35)

• Llama3-8B+ LLaMA-Factory 中文微調(diào)

  Llama3是目前開(kāi)源大模型中最優(yōu)秀的模型之一，但是原生的Llama3模型訓(xùn)練的中文語(yǔ)料占比非常低，因此在中文的表現(xiàn)方便略微欠佳！ 本教程就以Llama3-8B-Instruct開(kāi)源模型為模型基座，通過(guò)開(kāi)源程序LLaMA-Factory來(lái)進(jìn)行中文的微調(diào)，提高Llama3的中文能力！LLaMA-Factory是一個(gè)開(kāi)源的模型訓(xùn)

  2024年04月27日

  瀏覽(31)