Llama2 簡介

2023年7月19日：Meta 發(fā)布開源可商用模型 Llama2。

Llama2 是一個(gè)預(yù)訓(xùn)練和微調(diào)的生成文本模型的集合，其規(guī)模從70億到700億個(gè)參數(shù)不等。

LLaMA2 的詳細(xì)介紹可以參考這篇文章：【大模型】更強(qiáng)的 LLaMA2 來了，開源可商用、與 ChatGPT 齊平

下面介紹幾個(gè)高 star 的 GitHub 開源項(xiàng)目：

star 數(shù)量截止日期2023年8月23日

開源項(xiàng)目匯總

NO1. FlagAlpha/Llama2-Chinese

• star：4.2K

• GitHub地址：
  https://github.com/FlagAlpha/Llama2-Chinese

• 介紹：
  Llama中文社區(qū)，最好的中文Llama大模型，完全開源可商用。

• 良好的社區(qū)
  

• 開放且不斷增加的數(shù)據(jù)
  

• 開源可下載可商用的模型
  我們基于中文指令數(shù)據(jù)集對Llama2-Chat模型進(jìn)行了微調(diào)，使得Llama2模型有著更強(qiáng)的中文對話能力。LoRA參數(shù)以及與基礎(chǔ)模型合并的參數(shù)均已上傳至Hugging Face https://huggingface.co/FlagAlpha，目前包含7B和13B的模型。

• 詳細(xì)的模型微調(diào)過程
  
• 其他
  包括：模型量化、推理假設(shè)、模型評測、集成LangChain框架等

NO2. hiyouga/LLaMA-Efficient-Tuning

• star：3.2K

• GitHub地址：
  https://github.com/hiyouga/LLaMA-Efficient-Tuning

• 介紹：
  Easy-to-use LLM fine-tuning framework (LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, ChatGLM2)

• 開放且不斷增加的數(shù)據(jù)
  

• 開源可下載可商用的模型，且支持很多開源模型
  

• 支持多種模型訓(xùn)練、微調(diào)方法
  
  支持單卡訓(xùn)練、分布式多級多卡并行訓(xùn)練，腳本很詳細(xì)，建議看作者的GitHub。

NO3. yangjianxin1/Firefly

• star：2.1K

• GitHub地址：
  https://github.com/yangjianxin1/Firefly

• 介紹：
  Firefly(流螢): 中文對話式大語言模型(全量微調(diào)+QLoRA)，支持微調(diào)Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom等大模型

• 本項(xiàng)目主要內(nèi)容如下：

  ?? 支持全量參數(shù)指令微調(diào)、QLoRA低成本高效指令微調(diào)、LoRA指令微調(diào)(后續(xù)將會提供支持)。
  ?? 支持絕大部分主流的開源大模型，如百川baichuan、Ziya、Bloom、LLaMA等。
  ?? 支持lora與base model進(jìn)行權(quán)重合并，推理更便捷。
  ??? 模型裁剪：通過LLMPruner：大語言模型裁剪工具 ，開源裁剪后的Bloom模型權(quán)重 。在保留預(yù)訓(xùn)練中文知識的前提下，有效減少模型參數(shù)量，降低訓(xùn)練成本，提高訓(xùn)練效率。
  ?? 整理并開源指令微調(diào)數(shù)據(jù)集：firefly-train-1.1M 、moss-003-sft-data、ultrachat、 WizardLM_evol_instruct_V2_143k、school_math_0.25M。
  ?? 開源Firefly系列指令微調(diào)模型權(quán)重 。

• 開放且不斷增加的數(shù)據(jù)
  

• 開源可下載可商用的模型
  

• 詳細(xì)的模型微調(diào)過程
  目前支持全量參數(shù)指令微調(diào)、QLoRA指令微調(diào)，后續(xù)會添加對LoRA的支持（經(jīng)過實(shí)測，QLoRA的效率與效果優(yōu)于LoRA）。
  

• 其他
  包括：權(quán)重合并、模型推理等

NO4. LinkSoul-AI/Chinese-Llama-2-7b

• star：1.7K

• GitHub地址：
  https://github.com/LinkSoul-AI/Chinese-Llama-2-7b

• 介紹：
  開源社區(qū)第一個(gè)能下載、能運(yùn)行的中文 LLaMA2 模型！
  全部開源，完全可商用的中文版 Llama2 模型及中英文 SFT 數(shù)據(jù)集，輸入格式嚴(yán)格遵循 llama-2-chat 格式，兼容適配所有針對原版 llama-2-chat 模型的優(yōu)化。

• 開放且不斷增加的數(shù)據(jù)
  我們使用了中英文 SFT 數(shù)據(jù)集，數(shù)據(jù)量 1000 萬。
  數(shù)據(jù)集：https://huggingface.co/datasets/LinkSoul/instruction_merge_set

• 開源可下載可商用的模型
  

• 詳細(xì)的模型微調(diào)過程

DATASET="LinkSoul/instruction_merge_set"

DATA_CACHE_PATH="hf_datasets_cache"
MODEL_PATH="/PATH/TO/TRANSFORMERS/VERSION/LLAMA2"

output_dir="./checkpoints_llama2"

torchrun --nnodes=1 --node_rank=0 --nproc_per_node=8 \
    --master_port=25003 \
        train.py \
        --model_name_or_path ${MODEL_PATH} \
        --data_path ${DATASET} \
        --data_cache_path ${DATA_CACHE_PATH} \
        --bf16 True \
        --output_dir ${output_dir} \
        --num_train_epochs 1 \
        --per_device_train_batch_size 4 \
        --per_device_eval_batch_size 4 \
        --gradient_accumulation_steps 1 \
        --evaluation_strategy 'no' \
        --save_strategy 'steps' \
        --save_steps 1200 \
        --save_total_limit 5 \
        --learning_rate 2e-5 \
        --weight_decay 0. \
        --warmup_ratio 0.03 \
        --lr_scheduler_type cosine \
        --logging_steps 1 \
        --fsdp 'full_shard auto_wrap' \
        --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
        --tf32 True \
        --model_max_length 4096 \
        --gradient_checkpointing True

NO5. wenge-research/YaYi

• star：1.5K

• GitHub地址：
  https://github.com/wenge-research/YaYi

• 介紹：
  雅意大模型在百萬級人工構(gòu)造的高質(zhì)量領(lǐng)域數(shù)據(jù)上進(jìn)行指令微調(diào)得到，訓(xùn)練數(shù)據(jù)覆蓋媒體宣傳、輿情分析、公共安全、金融風(fēng)控、城市治理等五大領(lǐng)域，上百種自然語言指令任務(wù)。雅意大模型從預(yù)訓(xùn)練初始化權(quán)重到領(lǐng)域模型的迭代過程中，我們逐步增強(qiáng)了它的中文基礎(chǔ)能力和領(lǐng)域分析能力，并增加了多輪對話和部分插件能力。同時(shí)，經(jīng)過數(shù)百名用戶內(nèi)測過程中持續(xù)不斷的人工反饋優(yōu)化，我們進(jìn)一步提升了模型性能和安全性。

  通過雅意大模型的開源為促進(jìn)中文預(yù)訓(xùn)練大模型開源社區(qū)的發(fā)展，貢獻(xiàn)自己的一份力量，通過開源，與每一位合作伙伴共建雅意大模型生態(tài)。

  News: ?? 雅意大模型已開源基于 LLaMA 2 的中文優(yōu)化模型版本，探索適用于中文多領(lǐng)域任務(wù)的最新實(shí)踐。

• 開放且不斷增加的數(shù)據(jù)
  雅意大模型基于中科聞歌百萬級高質(zhì)量領(lǐng)域指令微調(diào)數(shù)據(jù)集訓(xùn)練而來，我們本次開源 5w 條訓(xùn)練數(shù)據(jù)集，可在我們的 Huggingface 數(shù)據(jù)倉庫 https://huggingface.co/wenge-research 下載。數(shù)據(jù)集主要涵蓋了金融、安全、輿情、媒體等幾大領(lǐng)域，我們?yōu)楦黝I(lǐng)域任務(wù)大部分指令數(shù)據(jù)添加了離散 prompt 前綴，以區(qū)分各領(lǐng)域數(shù)據(jù)。此外，訓(xùn)練數(shù)據(jù)中還包含部分安全增強(qiáng)數(shù)據(jù)、插件能力數(shù)據(jù)、多輪對話數(shù)據(jù)等。

• 開源可下載可商用的模型
  

• 詳細(xì)的模型微調(diào)過程

  1. 指令數(shù)據(jù)全參數(shù)微調(diào)
  2. 指令數(shù)據(jù) LoRA 微調(diào)
  3. 多輪對話數(shù)據(jù)全參數(shù)微調(diào)
  4. 多輪對話數(shù)據(jù) LoRA 微調(diào)

NO6. michael-wzhu/Chinese-LlaMA2

• star：686

• GitHub地址：
  https://github.com/michael-wzhu/Chinese-LlaMA2

• 介紹：
  就在不久前，Meta最新開源了Llama 2模型，完全可商用，看來Meta勢必要與OpenAI (ClosedAI) 硬剛到底。雖然Llama 2對原版的LlaMA模型做了升級，但是其仍然對中文沒有太好的支持，需要在中文上做定制化。所以我們決定在次開展Llama 2的中文漢化工作：

  ?? Chinese-LlaMA2-chat-sft：對Llama-2直接進(jìn)行有監(jiān)督微調(diào)，
  采用開源指令微調(diào)數(shù)據(jù)，如UltraChat, 各種版本的中文alpaca語料(如Chinese-alpaca, BELLE)等；
  注意LlaMA詞表本身是支持中文的，所以我們會訓(xùn)練不擴(kuò)充詞表版本和擴(kuò)充詞表版本
  ? Chinese-LlaMA2: 對Llama 2進(jìn)行大規(guī)模中文預(yù)訓(xùn)練；
  第一步：先在42G中文語料上進(jìn)行訓(xùn)練；后續(xù)將會加大訓(xùn)練規(guī)模
  ? Chinese-LlaMA2-chat: 對Chinese-LlaMA2進(jìn)行指令微調(diào)和多輪對話微調(diào)，以適應(yīng)各種應(yīng)用場景和多輪對話交互。
  注意，遵循相應(yīng)的許可，我們將發(fā)布完整的, 合并LoRA權(quán)重的完整，且同時(shí)發(fā)布LoRA權(quán)重，方便開源社區(qū)使用。

  同時(shí)，我們將會圍繞Chinese-LlaMA2打造各種垂直領(lǐng)域模型：

  ?Chinese-LlaMA2-chatmed: Chinese-LlaMA2醫(yī)學(xué)領(lǐng)域大模型，支持多輪在線問診；
  ?Chinese-LlaMA2-tcm: Chinese-LlaMA2中醫(yī)藥大模型，專注于中醫(yī)藥細(xì)分領(lǐng)域，賦能中醫(yī)藥傳承

  【】后續(xù)工作值得期待

• 團(tuán)隊(duì)介紹
  本項(xiàng)目由華東師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院智能知識管理與服務(wù)團(tuán)隊(duì)完成，團(tuán)隊(duì)指導(dǎo)老師為王曉玲教授。

• 指令微調(diào)

  對LlaMA-2進(jìn)行指令微調(diào)(不擴(kuò)充詞表/擴(kuò)充詞表)，也就是現(xiàn)在常見的SFT，見SFT-README.md

• 擴(kuò)充詞表和擴(kuò)展embedding層
  我們現(xiàn)在采用的方案是：使用Chinese-LLaMA的詞表，該詞表是對llama原始詞表的擴(kuò)充，將詞匯量從32000擴(kuò)展到49953大小。同時(shí)LlaMA-2模型會進(jìn)行embedding層的resize，即采用隨機(jī)初始化的參數(shù)擴(kuò)展embedding層和lm_head層。

• 繼續(xù)預(yù)訓(xùn)練
  由于擴(kuò)展詞表后，LlaMA-2的embedding層和lm_head層會有隨機(jī)初始化的參數(shù)，所以我們需要采用大規(guī)模的預(yù)訓(xùn)練學(xué)習(xí)中文語料的知識。繼續(xù)預(yù)訓(xùn)練運(yùn)行以下命令(數(shù)據(jù)，模型的路徑，卡數(shù)等需要自行配置)：文章來源地址http://www.zghlxwxcb.cn/news/detail-685029.html

  CUDA_VISIBLE_DEVICES="2,3" ./src/further_ft/run_train.sh
  

到了這里，關(guān)于【大模型】基于 LlaMA2 的高 star 的 GitHub 開源項(xiàng)目匯總的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！