LLMs：LLaMA Efficient Tuning(一款可高效微調(diào)【全參數(shù)/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【預(yù)訓(xùn)練+指令監(jiān)督微調(diào)+獎勵模型訓(xùn)練+PPO 訓(xùn)練+DPO 訓(xùn)練】)的簡介、安裝、使用方法之詳細攻略

目錄

相關(guān)文章

LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微調(diào)ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tuning V2/Freeze Tuning/全量微調(diào)】)的簡介、安裝、使用方法之詳細攻略

LLMs：LLaMA Efficient Tuning(一款可高效微調(diào)【全參數(shù)/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具【預(yù)訓(xùn)練+指令監(jiān)督微調(diào)+獎勵模型訓(xùn)練+PPO 訓(xùn)練+DPO 訓(xùn)練】)的簡介、安裝、使用方法之詳細攻略

LLaMA Efficient Tuning的簡介

1、支持的模型

2、支持的訓(xùn)練方法

3、可使用的數(shù)據(jù)集：用于預(yù)訓(xùn)練、用于指令監(jiān)督微調(diào)、用于獎勵模型或 DPO訓(xùn)練

LLaMA Efficient Tuning的的安裝

1、配置環(huán)境依賴

(1)、Python依賴

2、環(huán)境搭建

3、數(shù)據(jù)準備：構(gòu)建自定義數(shù)據(jù)集

4、微調(diào)/測試

(1)、瀏覽器一鍵微調(diào)/測試

(2)、單 GPU 訓(xùn)練：預(yù)訓(xùn)練、指令監(jiān)督微調(diào)、獎勵模型訓(xùn)練、PPO 訓(xùn)練、DPO 訓(xùn)練

(3)、多 GPU 分布式訓(xùn)練：T1、使用 Huggingface Accelerate、T2、使用 DeepSpeed

5、多種推理方式：API、CLI、GUI

6、指標評估、模型預(yù)測

7、導(dǎo)出微調(diào)模型

LLaMA Efficient Tuning的使用方法

相關(guān)文章

LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微調(diào)ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tuning V2/Freeze Tuning/全量微調(diào)】)的簡介、安裝、使用方法之詳細攻略

https://yunyaniu.blog.csdn.net/article/details/131427931

LLMs：LLaMA Efficient Tuning(一款可高效微調(diào)【全參數(shù)/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具【預(yù)訓(xùn)練+指令監(jiān)督微調(diào)+獎勵模型訓(xùn)練+PPO 訓(xùn)練+DPO 訓(xùn)練】)的簡介、安裝、使用方法之詳細攻略

https://yunyaniu.blog.csdn.net/article/details/132012771

LLaMA Efficient Tuning的簡介

? ? ? 2023年6月發(fā)布的LLaMA Efficient Tuning，它是一款可高效微調(diào)【全參數(shù)/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具，包括預(yù)訓(xùn)練、指令監(jiān)督微調(diào)、獎勵模型訓(xùn)練、PPO 訓(xùn)練、DPO 訓(xùn)練等功能。目前該項目仍在持續(xù)更新。

官方地址：
GitHub - hiyouga/LLaMA-Efficient-Tuning: Easy-to-use LLM fine-tuning framework (LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, ChatGLM2)

1、支持的模型

• 默認模塊是?--lora_target?參數(shù)的部分可選項。請使用?python src/train_bash.py -h?查看全部可選項。
• 對于所有“基座”（Base）模型，--template?參數(shù)可以是?default,?alpaca,?vicuna?等任意值。但“對話”（Chat）模型請務(wù)必使用對應(yīng)的模板。

2、支持的訓(xùn)練方法

• 使用?--quantization_bit 4/8?參數(shù)來啟用 QLoRA 訓(xùn)練。

3、可使用的數(shù)據(jù)集：用于預(yù)訓(xùn)練、用于指令監(jiān)督微調(diào)、用于獎勵模型或 DPO訓(xùn)練

• 用于預(yù)訓(xùn)練：
  • Wiki Demo (en)
  • RefinedWeb (en)
  • StarCoder (en)
  • Wikipedia (en)
  • Wikipedia (zh)
• 用于指令監(jiān)督微調(diào)：
  • Stanford Alpaca (en)
  • Stanford Alpaca (zh)
  • GPT-4 Generated Data (en&zh)
  • Open Assistant (multilingual)
  • Self-cognition (zh)
  • ShareGPT (zh)
  • Guanaco Dataset (multilingual)
  • BELLE 2M (zh)
  • BELLE 1M (zh)
  • BELLE 0.5M (zh)
  • BELLE Dialogue 0.4M (zh)
  • BELLE School Math 0.25M (zh)
  • BELLE Multiturn Chat 0.8M (zh)
  • Firefly 1.1M (zh)
  • LIMA (en)
  • CodeAlpaca 20k (en)
  • Alpaca CoT (multilingual)
  • Web QA (zh)
  • UltraChat (en)
  • WebNovel (zh)
• 用于獎勵模型或 DPO 訓(xùn)練：
  • HH-RLHF (en)
  • Open Assistant (multilingual)
  • GPT-4 Generated Data (en&zh)

使用方法請參考?data/README.md?文件。

部分數(shù)據(jù)集的使用需要確認，我們推薦使用下述命令登錄您的 Hugging Face 賬戶。

pip install --upgrade huggingface_hub

huggingface-cli login

LLaMA Efficient Tuning的的安裝

1、配置環(huán)境依賴

(1)、Python依賴

2、環(huán)境搭建

3、數(shù)據(jù)準備：構(gòu)建自定義數(shù)據(jù)集

關(guān)于數(shù)據(jù)集文件的格式，請參考 data/example_dataset 文件夾的內(nèi)容。構(gòu)建自定義數(shù)據(jù)集時，既可以使用單個 .json 文件，也可以使用一個數(shù)據(jù)加載腳本和多個文件。
注意：使用自定義數(shù)據(jù)集時，請更新 data/dataset_info.json 文件，該文件的格式請參考 data/README.md。

源代碼地址：

https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/main/data/dataset_info.json

# 定位到數(shù)據(jù)集文件目錄(data/dataset_info.json )修改對應(yīng)的配置信息
{
  "dataset_DIY": {
    "file_name": "dataset_DIY.json",
    # "file_sha1": "607f94a7f581341e59685aef32f531095232cf23"
  },

4、微調(diào)/測試

(1)、瀏覽器一鍵微調(diào)/測試

(2)、單 GPU 訓(xùn)練：預(yù)訓(xùn)練、指令監(jiān)督微調(diào)、獎勵模型訓(xùn)練、PPO 訓(xùn)練、DPO 訓(xùn)練

(3)、多 GPU 分布式訓(xùn)練：T1、使用 Huggingface Accelerate、T2、使用 DeepSpeed

5、多種推理方式：API、CLI、GUI

6、指標評估、模型預(yù)測

7、導(dǎo)出微調(diào)模型

LLaMA Efficient Tuning的使用方法

更新中……文章來源地址http://www.zghlxwxcb.cn/news/detail-696788.html

到了這里，關(guān)于LLMs：LLaMA Efficient Tuning(一款可高效微調(diào)【全參數(shù)/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具【預(yù)訓(xùn)練+指令監(jiān)督微調(diào)+的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！