地址

GitHub地址：https://github.com/hpcaitech/ColossalAI/tree/main/applications/Colossal-LLaMA-2

時(shí)間

2023年9月25日

作者

Colossal-AI

簡介

像LLaMA-2這樣的大型語言模型已經(jīng)使用了多種高質(zhì)量數(shù)據(jù)集進(jìn)行訓(xùn)練，取得了令人鼓舞的成果。提升LLaMA-2在中文語料庫中的性能，同時(shí)保持其在英語中的熟練度，關(guān)鍵取決于兩個(gè)關(guān)鍵因素：數(shù)據(jù)集的組成，涵蓋了英語和中文內(nèi)容，以及每個(gè)組成數(shù)據(jù)集的質(zhì)量。

以下圖表顯示了用于Colossal-LLaMA-2的數(shù)據(jù)處理流程。

??重要提示：我們將很快開源我們的數(shù)據(jù)處理工具包，敬請關(guān)注！

簡介

原始LLaMA-2詞匯表包含不到一千個(gè)漢字，因此在有效編碼全面的中文文本方面表現(xiàn)不佳。其次，使用BPE字節(jié)標(biāo)記對于Transformers編碼器，來捕捉漢字的語義細(xì)微差別構(gòu)成了挑戰(zhàn)。

為了解決上述問題，我們將LLaMA-2詞匯表從32,000擴(kuò)展到69,104。為了使LLaMA-2模型適用于Colossal-LLaMA-2分詞器，我們通過計(jì)算原始LLaMA-2嵌入的均值來初始化新的單詞嵌入，然后將這些新行附加到原始嵌入矩陣的末尾。

擴(kuò)展詞匯表大小的優(yōu)勢

擴(kuò)展詞匯表大小的優(yōu)勢：

>> 提高字符串序列編碼的壓縮率。

>> 增強(qiáng)信息的完整性。

>> 使編碼的序列包含更多有價(jià)值的信息，從而在理論上提高了章節(jié)級編碼的能力。

在資源有限的情況下，大詞匯量大小的優(yōu)勢：

>> 訓(xùn)練數(shù)據(jù)集有限，存在大量未使用的標(biāo)記，這些標(biāo)記可能沒有被有效地學(xué)習(xí)。

>> 過多的詞匯擴(kuò)展會導(dǎo)致嵌入相關(guān)參數(shù)增加，導(dǎo)致內(nèi)存使用增加，從而影響訓(xùn)練過程的效率。

為了平衡兩方面的需求，我們最終將詞匯表構(gòu)建為69,104個(gè)大小。下表比較了7B級別的各種模型。

簡介

為了增強(qiáng)模型的性能并充分發(fā)揮原始LLaMA-2的潛力，我們開發(fā)了多階段訓(xùn)練策略。此策略旨在在一系列階段中系統(tǒng)地釋放模型的能力。

三階段

因此，我們將訓(xùn)練過程分為三個(gè)階段：

>> 大規(guī)模預(yù)訓(xùn)練階段（由LLaMA-2進(jìn)行）：這個(gè)初始階段旨在從頭開始建立模型的基本能力。它需要使用包含不少于1萬億標(biāo)記的大型數(shù)據(jù)集。

>> 注入中文知識階段：在這個(gè)階段，我們將中文知識引入模型。它需要訪問一個(gè)包含與中文語言相關(guān)的全面知識的高質(zhì)量數(shù)據(jù)集。

>> 知識重播階段：通過問答（QA）機(jī)制重播知識，包括中文和英文領(lǐng)域。

完成這個(gè)多階段訓(xùn)練過程后，模型在英語和中文基準(zhǔn)測試中表現(xiàn)出了顯著的改進(jìn)。

上圖說明了訓(xùn)練Colossal-LLaMA-2的三個(gè)階段。

背景

我們的實(shí)驗(yàn)表明，訓(xùn)練數(shù)據(jù)集中的分布以及各種與主題相關(guān)的數(shù)據(jù)點(diǎn)的排列，顯著影響了模型的整體性能，特別是在持續(xù)預(yù)訓(xùn)練LLaMA-2的情況下。

簡介

為了實(shí)現(xiàn)更平衡的分布并控制數(shù)據(jù)集的排序，我們采用了一種方法，將每個(gè)子數(shù)據(jù)集劃分為離散的箱。然后將這些箱組合在一起，構(gòu)建單獨(dú)的數(shù)據(jù)桶，其中每個(gè)子數(shù)據(jù)集貢獻(xiàn)一個(gè)箱。

我們在4個(gè)數(shù)據(jù)集上進(jìn)行了全面評估，并將我們的Colossal-Llama-2-7b-base模型與各種模型進(jìn)行了比較。

>> 我們對MMLU使用了5-shot，并基于第一個(gè)預(yù)測的標(biāo)記的邏輯值計(jì)算分?jǐn)?shù)。

>> 我們對CMMLU使用了5-shot，并基于第一個(gè)預(yù)測的標(biāo)記的邏輯值計(jì)算分?jǐn)?shù)。

>> 我們對AGIEval使用了5-shot，只計(jì)算了4個(gè)選擇題的得分，使用了精確匹配和第一個(gè)預(yù)測的標(biāo)記的邏輯值的組合指標(biāo)。如果精確匹配或第一個(gè)預(yù)測的標(biāo)記中的任何一個(gè)是正確的，模型將獲得分?jǐn)?shù)。

>> 我們對GAOKAO-Bench使用了0-shot，只基于第一個(gè)預(yù)測的標(biāo)記的邏輯值計(jì)算4個(gè)選擇題的得分。所有數(shù)據(jù)集的生成配置都是貪婪搜索。

>> 我們還提供了CEval分?jǐn)?shù)，這些分?jǐn)?shù)來自其最新的排行榜或模型的官方存儲庫。

括號中的分?jǐn)?shù)對應(yīng)于模型的官方存儲庫中的分?jǐn)?shù)。

>> 我們對ChatGLM模型使用zero-shot。

>> Qwen-7B現(xiàn)在在Hugging Face中無法訪問，我們使用的是它在無法訪問之前的最新版本。僅對于數(shù)據(jù)集MMLU，提示將是"xxx Answer:"（去掉冒號后的空格），并且我們會計(jì)算Qwen-7B的"A"、"B"、"C"和"D"的邏輯值。與其他模型相比，Qwen-7B更具確定性。例如，"A"上的邏輯值可以為-inf，softmax將精確為0。

>> 對于其他模型和其他數(shù)據(jù)集，我們計(jì)算"A"、"B"、"C"和"D"的邏輯值。

??有關(guān)評估方法的更多詳細(xì)信息和結(jié)果的再現(xiàn)，請參閱ColossalEval。

硬件配置

此實(shí)驗(yàn)在總共8臺計(jì)算節(jié)點(diǎn)上執(zhí)行，配有64個(gè)A800?GPU，用于LLaMA-2-7B（約1000美元成本）。節(jié)點(diǎn)之間使用RDMA連接，節(jié)點(diǎn)內(nèi)的GPU通過NVLink完全連接。此腳本在CUDA 11.7上進(jìn)行了測試，CUDA版本要求11.7或更高。

您還可以在8個(gè)A100/A800服務(wù)器上完成大約5天的工作。

框架版本

PyTorch。PyTorch版本應(yīng)低于2.0.0且高于1.12.1。

所需的軟件包

cd Colossal-LLaMA-2
pip install -r requirements.txt

其它包

安裝xentropy、layer_norm和rotary

git clone git@github.com:Dao-AILab/flash-attention.git
# At the root folder
cd csrc/xentropy && pip install .
# At the root folder
cd csrc/layer_norm && pip install .
# At the root folder
cd csrc/rotary && pip install .

jsonl格式存儲

使用附加的中文標(biāo)記初始化新的標(biāo)記器。附加的中文標(biāo)記以jsonl格式存儲，如下所示：

{"piece": "你好"}

{"piece": "人工智能"}

腳本命令

初始化新標(biāo)記器的命令如下：

export PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION='python'

python colossal_llama2/tokenizer/init_tokenizer.py

--source_tokenizer_dir "<SOURCE_TOKENIZER_DIR>"

--target_tokenizer_dir "<TARGET_TOKENIZER_DIR>"

--expand_tokens_file "<NEW_TOKENS_FILE>.jsonl"

CLI參數(shù)的詳細(xì)信息

以下是關(guān)于CLI參數(shù)的詳細(xì)信息：

源標(biāo)記器目錄：--source_tokenizer_dir。源標(biāo)記器的目錄。它至少應(yīng)包含三個(gè)文件：special_tokens_map.json、tokenizer.model和tokenizer_config.json。

目標(biāo)標(biāo)記器目錄：--target_tokenizer_dir。目標(biāo)標(biāo)記器的目錄。

要添加的標(biāo)記：--expand_tokens_file。要添加到標(biāo)記器的附加標(biāo)記。

腳本命令

通過計(jì)算原始模型檢查點(diǎn)的均值來初始化新的模型檢查點(diǎn)。初始化新模型檢查點(diǎn)的命令如下：

python colossal_llama2/model/init_model.py

--source_model_and_tokenizer_path "<SOURCE_MODEL_AND_TOKENIZER_DIR>"

--target_tokenizer_path "<TARGET_TOKENIZER_DIR>"

--target_model_path "<TARGET_MODEL_DIR>"

"<TARGET_MODEL_DIR>"可以與"<TARGET_TOKENIZER_DIR>"相同。

CLI參數(shù)的詳細(xì)信息

以下是關(guān)于CLI參數(shù)的詳細(xì)信息：

源模型和標(biāo)記器路徑：--source_model_and_tokenizer_path。源文件夾包含模型和標(biāo)記器，例如Hugging Face格式的LLaMA-2模型。

目標(biāo)標(biāo)記器路徑：--target_tokenizer_path。新標(biāo)記器文件夾的路徑，從上一步生成。

目標(biāo)模型路徑：--target_model_path。保存新模型的路徑，以Hugging Face格式保存。

重要提示

重要提示：一旦初始化新模型檢查點(diǎn)，復(fù)制您的新標(biāo)記器文件（special_tokens_map.json、tokenizer.model和tokenizer_config.json）到新模型文件夾中。

jsonl格式數(shù)據(jù)

原始數(shù)據(jù)應(yīng)格式化為jsonl格式。每個(gè)數(shù)據(jù)點(diǎn)應(yīng)具有以下字段：

>> source（str，必需）：在計(jì)算損失時(shí)忽略此部分。默認(rèn)可以為空。

>> target（str，必需）：將計(jì)算損失。

>> category（str，必需）：每個(gè)數(shù)據(jù)點(diǎn)的標(biāo)簽。

示例：

{"source": "", "target": "Lionel Andrés Messi(Spanish pronunciation: [ljo?nel an?d?es ?mesi] (i); born 24 June 1987), also known as Leo Messi, is an Argentine professional footballer who plays as a forward for and captains both Major League Soccer club Inter Miami and the Argentina national team.", "category": "sports"}

{"source": "猜謎語：一身卷卷細(xì)毛，吃的青青野草，過了數(shù)九寒冬，無私獻(xiàn)出白毛。（打一動(dòng)物）", "target": "白羊", "category": "riddle"}

您可以自定義類別標(biāo)簽或使用未知來定義類別。

腳本命令

將jsonl數(shù)據(jù)集轉(zhuǎn)換為arrow格式的命令如下：

python prepare_pretrain_dataset.py

--data_input_dirs "<JOSNL_DIR_1>,<JOSNL_DIR_2>,<JOSNL_DIR_3>"

--tokenizer_dir "<TOKENIZER_DIR>"

--data_cache_dir "jsonl_to_arrow_cache"

--data_jsonl_output_dir "spliced_tokenized_output_jsonl"

--data_arrow_output_dir "spliced_tokenized_output_arrow"

--max_length 4096

--num_spliced_dataset_bins 10

CLI參數(shù)的詳細(xì)信息

以下是關(guān)于CLI參數(shù)的詳細(xì)信息：

源數(shù)據(jù)目錄：data_input_dirs。每個(gè)<JOSNL_DIR>可以包含多個(gè)jsonl格式的文件。

標(biāo)記器目錄：tokenizer_dir。Hugging Face格式的標(biāo)記器的路徑。

數(shù)據(jù)緩存目錄：data_cache_dir。用于存儲Hugging Face數(shù)據(jù)緩存的目錄。默認(rèn)情況下將在本地創(chuàng)建緩存文件夾。

jsonl格式輸出目錄：data_jsonl_output_dir。用于存儲以jsonl格式轉(zhuǎn)換的數(shù)據(jù)集的輸出目錄。

arrow格式輸出目錄：data_arrow_output_dir。用于存儲以arrow格式轉(zhuǎn)換的數(shù)據(jù)集的輸出目錄，可以直接用于訓(xùn)練。

最大長度：max_length。切割樣本的最大長度。默認(rèn)值為4096。

每個(gè)類別的箱數(shù)：num_spliced_dataset_bins。每個(gè)類別的箱數(shù)，用于基于桶的訓(xùn)練。

腳本命令

您可以使用colossalai run來啟動(dòng)多節(jié)點(diǎn)訓(xùn)練：

colossalai run --nproc_per_node 每個(gè)節(jié)點(diǎn)的GPU數(shù)量 --hostfile 主機(jī)文件 \

train.py --其他配置

示例主機(jī)文件

以下是一個(gè)示例主機(jī)文件：

hostname1

hostname2

hostname3

hostname4

確保主節(jié)點(diǎn)可以通過ssh無需密碼訪問所有節(jié)點(diǎn)（包括自身）。

CLI參數(shù)的詳細(xì)信息

以下是關(guān)于CLI參數(shù)的詳細(xì)信息：

預(yù)訓(xùn)練模型路徑：--pretrained。預(yù)訓(xùn)練模型在Hugging Face格式中的路徑。

數(shù)據(jù)集路徑：--dataset。預(yù)標(biāo)記數(shù)據(jù)集的路徑。

Booster插件：--plugin。支持gemini、gemini_auto、zero2、zero2_cpu和3d。有關(guān)更多詳情，請參閱Booster插件。

要加載的中間檢查點(diǎn)：--load_checkpoint。中間檢查點(diǎn)的路徑。保存的檢查點(diǎn)包含了lr_scheduler、optimizer、running_states.json和模型。如果load_checkpoint指向模型文件夾，只會加載模型權(quán)重，而不加載其他支持多階段訓(xùn)練的狀態(tài)。

保存間隔：--save_interval。保存檢查點(diǎn)的間隔（步數(shù)）。默認(rèn)值為1000。

檢查點(diǎn)目錄：--save_dir。保存檢查點(diǎn)和中間狀態(tài)的目錄路徑。中間狀態(tài)包括lr_scheduler、optimizer、running_states.json和模型。

Tensorboard目錄：--tensorboard_dir。保存Tensorboard日志的路徑。

配置文件：--config_file。保存配置文件的路徑。

訓(xùn)練周期數(shù)：--num_epochs。訓(xùn)練周期數(shù)。默認(rèn)值為1。

微批量大小：--micro_batch_size。每個(gè)GPU的批量大小。默認(rèn)值為1。

學(xué)習(xí)率：--lr。學(xué)習(xí)率。默認(rèn)值為3e-4。

最大長度：--max_length。上下文的最大長度。默認(rèn)值為4096。

混合精度：--mixed_precision。混合精度。默認(rèn)值為"fp16"。支持"fp16"和"bf16"。

梯度剪裁：--gradient_clipping。梯度剪裁。默認(rèn)值為1.0。

權(quán)重衰減：-w、--weight_decay。權(quán)重衰減。默認(rèn)值為0.1。

熱身步數(shù)：-s、--warmup_steps。熱身步數(shù)。默認(rèn)值由0.025的熱身比例計(jì)算得出。

梯度檢查點(diǎn)：--use_grad_checkpoint。是否使用梯度檢查點(diǎn)。默認(rèn)值為False。這會節(jié)省內(nèi)存但會降低速度。建議在使用大批量大小進(jìn)行訓(xùn)練時(shí)啟用此選項(xiàng)。

閃存注意力：--use_flash_attn。如果要使用閃存注意力，必須安裝flash-attn和相關(guān)軟件包。默認(rèn)值為False。這有助于加速訓(xùn)練并節(jié)省內(nèi)存。建議始終使用閃存注意力。

凍結(jié)非嵌入?yún)?shù)：--freeze_non_embeds_params。凍結(jié)非嵌入?yún)?shù)。在擴(kuò)展詞匯量大小后對齊嵌入很有幫助。

張量并行規(guī)模：--tp。三維并行規(guī)模。默認(rèn)值為1。

零階段：--zero。三維并行的零階段。默認(rèn)值為1。

實(shí)驗(yàn)的示例bash

還提供了一個(gè)實(shí)驗(yàn)的示例bash。以下是運(yùn)行實(shí)驗(yàn)的步驟：

>> 創(chuàng)建您自己的主機(jī)文件：cp hostfile.example hostfile。

>> 創(chuàng)建您自己的bash：cp train.example.sh train.sh。

>> 將您的真實(shí)主機(jī)IP或主機(jī)名添加到主機(jī)文件中。

>> 在您的train.sh中更新全局變量和參數(shù)。

>> 使用bash train.sh運(yùn)行實(shí)驗(yàn)。

全局變量的詳細(xì)信息

以下是每個(gè)實(shí)驗(yàn)的全局變量的詳細(xì)信息：

PROJECT_NAME：每個(gè)實(shí)驗(yàn)的項(xiàng)目名稱。

PARENT_SAVE_DIR：保存模型檢查點(diǎn)的父文件夾。

PARENT_TENSORBOARD_DIR：保存Tensorboard日志的父文件夾。

PARENT_CONFIG_FILE：保存每個(gè)實(shí)驗(yàn)配置的父文件夾。

PRETRAINED_MODEL_PATH：本地預(yù)訓(xùn)練模型檢查點(diǎn)的路徑。

dataset：所有準(zhǔn)備好的數(shù)據(jù)的路徑。通常是準(zhǔn)備數(shù)據(jù)的輸出路徑、--data_arrow_output_dir的子文件夾列表，如果有多個(gè)子文件夾，請列出它們所有。例如：

declare -a dataset=(

????"<DIR_1>/part-00000"

????"<DIR_1>/part-00001"

????"<DIR_2>/part-00000"

)