本文翻譯自：https://ai.meta.com/blog/meta-llama-3/

要點(diǎn)

• 今天，我們將介紹 Meta Llama 3，它是我們最先進(jìn)的開源大型語(yǔ)言模型的下一代。
• Llama 3 模型即將在 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 上推出，并得到 AMD、AWS、Dell、Intel、NVIDIA 和高通 提供的硬件平臺(tái)的支持。
• 我們致力于以負(fù)責(zé)任的方式開發(fā) Llama 3，并且我們提供各種資源來(lái)幫助其他人也負(fù)責(zé)任地使用它。這包括引入 Llama Guard 2、Code Shield 和 CyberSec Eval 2 等新的信任和安全工具。
• 在接下來(lái)的幾個(gè)月中，我們預(yù)計(jì)將推出新功能、更長(zhǎng)的上下文窗口、額外的模型大小和增強(qiáng)的性能，并且我們將分享 Llama 3 研究論文。
• 采用 Llama 3 技術(shù)構(gòu)建的 Meta AI 現(xiàn)在是世界領(lǐng)先的人工智能助手之一，可以提高您的智力并減輕您的負(fù)擔(dān)，幫助您學(xué)習(xí)、完成工作、創(chuàng)建內(nèi)容和連接，以充分利用每一刻。你可以在這里嘗試Meta AI 。

今天，我們很高興與大家分享下一代 Llama（Meta Llama 3）的前兩個(gè)型號(hào)，可供廣泛使用。

此版本具有經(jīng)過(guò)預(yù)訓(xùn)練和指令微調(diào)的語(yǔ)言模型，具有 8B 和 70B 參數(shù)，可以支持廣泛的用例。

下一代 Llama 在各種行業(yè)基準(zhǔn)上展示了最先進(jìn)的性能，并提供了新功能，包括改進(jìn)的推理能力。

我們相信這些是同類時(shí)期最好的開源模型。為了支持我們長(zhǎng)期以來(lái)的開放態(tài)度，我們將 Llama 3 交給社區(qū)。我們希望在整個(gè)堆棧中啟動(dòng)人工智能的下一波創(chuàng)新浪潮——從應(yīng)用程序到開發(fā)人員工具，從評(píng)估到推理優(yōu)化等等。我們迫不及待地想看看您構(gòu)建的內(nèi)容并期待您的反饋。

我們對(duì) Llama 3 的目標(biāo)

通過(guò) Llama 3，我們著手構(gòu)建與當(dāng)今最好的專有模型相媲美的最佳開放模型。

我們希望解決開發(fā)人員的反饋意見，以提高 Llama 3 的整體實(shí)用性，并在這樣做的同時(shí)繼續(xù)在負(fù)責(zé)任地使用和部署 LLM 方面發(fā)揮主導(dǎo)作用。

我們擁護(hù) 盡早發(fā)布并經(jīng)常發(fā)布的開源精神，以使社區(qū)能夠在這些模型仍處于開發(fā)階段時(shí)訪問(wèn)它們。

我們今天發(fā)布的基于文本的模型是 Llama 3 模型系列中的第一個(gè)。
我們近期的目標(biāo)是使 Llama 3 成為多語(yǔ)言和多模式、具有更長(zhǎng)的上下文，并繼續(xù)提高推理和編碼等核心 LLM 能力的整體性能。

最先進(jìn)的性能

我們新的 8B 和 70B 參數(shù) Llama 3 模型是 Llama 2 的重大飛躍，并為這些規(guī)模的 LLM 模型建立了新的最先進(jìn)技術(shù)。

由于預(yù)訓(xùn)練和訓(xùn)練后的改進(jìn)，我們的預(yù)訓(xùn)練和指令微調(diào)模型是當(dāng)今 8B 和 70B 參數(shù)規(guī)模的最佳模型。

我們訓(xùn)練后程序的改進(jìn)大大降低了錯(cuò)誤拒絕率，改善了一致性，并增加了模型響應(yīng)的多樣性。

我們還看到了推理、代碼生成和指令跟蹤等功能的極大改進(jìn)，使 Llama 3 更加易于操控。

*請(qǐng)參閱評(píng)估詳細(xì)信息以了解計(jì)算這些評(píng)估的設(shè)置和參數(shù)。

在 Llama 3 的開發(fā)過(guò)程中，我們研究了標(biāo)準(zhǔn)基準(zhǔn)上的模型性能，并尋求優(yōu)化現(xiàn)實(shí)場(chǎng)景的性能。

為此，我們開發(fā)了一套新的高質(zhì)量人類評(píng)估集。該評(píng)估集包含 1,800 個(gè)提示，涵蓋 12 個(gè)關(guān)鍵用例：尋求建議、頭腦風(fēng)暴、分類、封閉式問(wèn)答、編碼、創(chuàng)意寫作、提取、塑造角色/角色、開放式問(wèn)答、推理、重寫和總結(jié)。為了防止我們的模型在此評(píng)估集上意外過(guò)度擬合，即使我們自己的建模團(tuán)隊(duì)也無(wú)法訪問(wèn)它。下圖顯示了我們針對(duì) Claude Sonnet、Mistral Medium 和 GPT-3.5 對(duì)這些類別和提示進(jìn)行人工評(píng)估的匯總結(jié)果。

人類注釋者根據(jù)此評(píng)估集進(jìn)行的偏好排名突顯了我們的 70B 指令跟蹤模型與現(xiàn)實(shí)場(chǎng)景中同等大小的競(jìng)爭(zhēng)模型相比的強(qiáng)大性能。

我們的預(yù)訓(xùn)練模型還為這些規(guī)模的LLM模型建立了新的最先進(jìn)水平。

*請(qǐng)參閱評(píng)估詳細(xì)信息以了解計(jì)算這些評(píng)估的設(shè)置和參數(shù)。

為了開發(fā)出色的語(yǔ)言模型，我們認(rèn)為創(chuàng)新、擴(kuò)展和優(yōu)化以實(shí)現(xiàn)簡(jiǎn)單性非常重要。

我們?cè)?Llama 3 項(xiàng)目中采用了這一設(shè)計(jì)理念，重點(diǎn)關(guān)注四個(gè)關(guān)鍵要素：模型架構(gòu)、預(yù)訓(xùn)練數(shù)據(jù)、擴(kuò)大預(yù)訓(xùn)練和指令微調(diào)。

模型架構(gòu)

根據(jù)我們的設(shè)計(jì)理念，我們?cè)?Llama 3 中選擇了相對(duì)標(biāo)準(zhǔn)的僅解碼器 Transformer 架構(gòu)。

與 Llama 2 相比，我們做了幾個(gè)關(guān)鍵的改進(jìn)。

Llama 3 使用具有 128K 標(biāo)記詞匯表的標(biāo)記器，可以更有效地對(duì)語(yǔ)言進(jìn)行編碼，從而顯著提高模型性能。

為了提高 Llama 3 模型的推理效率，我們?cè)?8B 和 70B 大小上采用了分組查詢注意力 (GQA)。

我們?cè)?8,192 個(gè)標(biāo)記的序列上訓(xùn)練模型，使用掩碼確保自注意力不會(huì)跨越文檔邊界。

訓(xùn)練數(shù)據(jù)

為了訓(xùn)練最好的語(yǔ)言模型，管理大型、高質(zhì)量的訓(xùn)練數(shù)據(jù)集至關(guān)重要。根據(jù)我們的設(shè)計(jì)原則，我們?cè)陬A(yù)訓(xùn)練數(shù)據(jù)上投入了大量資金。
Llama 3 經(jīng)過(guò)超過(guò) 15T token 的預(yù)訓(xùn)練，這些 token 全部從公開來(lái)源收集。
我們的訓(xùn)練數(shù)據(jù)集比 Llama 2 使用的數(shù)據(jù)集大七倍，并且包含四倍多的代碼。
為了為即將到來(lái)的多語(yǔ)言用例做好準(zhǔn)備，超過(guò) 5% 的 Llama 3 預(yù)訓(xùn)練數(shù)據(jù)集由涵蓋 30 多種語(yǔ)言的高質(zhì)量非英語(yǔ)數(shù)據(jù)組成。
但是，我們預(yù)計(jì)這些語(yǔ)言的性能水平不會(huì)與英語(yǔ)相同。

為了確保 Llama 3 接受最高質(zhì)量數(shù)據(jù)的訓(xùn)練，我們開發(fā)了一系列數(shù)據(jù)過(guò)濾管道。這些管道包括使用啟發(fā)式過(guò)濾器、NSFW 過(guò)濾器、語(yǔ)義重復(fù)數(shù)據(jù)刪除方法和文本分類器來(lái)預(yù)測(cè)數(shù)據(jù)質(zhì)量。
我們發(fā)現(xiàn)前幾代 Llama 非常擅長(zhǎng)識(shí)別高質(zhì)量數(shù)據(jù)，因此我們使用 Llama 2 為為 Llama 3 提供支持的文本質(zhì)量分類器生成訓(xùn)練數(shù)據(jù)。

我們還進(jìn)行了廣泛的實(shí)驗(yàn)，以評(píng)估在最終預(yù)訓(xùn)練數(shù)據(jù)集中混合不同來(lái)源的數(shù)據(jù)的最佳方法。
這些實(shí)驗(yàn)使我們能夠選擇一個(gè)數(shù)據(jù)組合，確保 Llama 3 在各種用例（包括瑣事問(wèn)題、STEM、編碼、歷史知識(shí)等）中表現(xiàn)良好。

擴(kuò)大預(yù)訓(xùn)練規(guī)模

為了有效利用 Llama 3 模型中的預(yù)訓(xùn)練數(shù)據(jù)，我們投入了大量精力來(lái)擴(kuò)大預(yù)訓(xùn)練規(guī)模。
具體來(lái)說(shuō)，我們?yōu)橄掠位鶞?zhǔn)評(píng)估制定了一系列詳細(xì)的縮放法則。
這些縮放法則使我們能夠選擇最佳的數(shù)據(jù)組合，并就如何最好地使用我們的訓(xùn)練計(jì)算做出明智的決策。
重要的是，縮放法則使我們能夠在實(shí)際訓(xùn)練模型之前預(yù)測(cè)最大模型在關(guān)鍵任務(wù)上的性能（例如，在 HumanEval 基準(zhǔn)上評(píng)估的代碼生成 - 見上文）。
這有助于我們確保最終模型在各種用例和功能上都具有強(qiáng)大的性能。

在 Llama 3 的開發(fā)過(guò)程中，我們對(duì)縮放行為進(jìn)行了一些新的觀察。
例如，雖然 8B 參數(shù)模型的 Chinchilla 最佳訓(xùn)練計(jì)算量對(duì)應(yīng)于約 200B 個(gè)標(biāo)記，但我們發(fā)現(xiàn)即使在模型建立之后，模型性能仍在繼續(xù)提高接受了兩個(gè)數(shù)量級(jí)以上的數(shù)據(jù)訓(xùn)練。
在我們對(duì)多達(dá) 15T 代幣進(jìn)行訓(xùn)練后，我們的 8B 和 70B 參數(shù)模型都繼續(xù)以對(duì)數(shù)線性方式改進(jìn)。
較大的模型可以用較少的訓(xùn)練計(jì)算來(lái)匹配這些較小模型的性能，但較小的模型通常是首選，因?yàn)樗鼈冊(cè)谕评磉^(guò)程中效率更高。

為了訓(xùn)練我們最大的 Llama 3 模型，我們結(jié)合了三種類型的并行化：數(shù)據(jù)并行化、模型并行化和管道并行化。
當(dāng)同時(shí)在 16K GPU 上進(jìn)行訓(xùn)練時(shí)，我們最高效的實(shí)現(xiàn)可實(shí)現(xiàn)每個(gè) GPU 超過(guò) 400 TFLOPS 的計(jì)算利用率。
我們?cè)趦蓚€(gè)定制的24K GPU 集群上進(jìn)行了訓(xùn)練。
為了最大限度地延長(zhǎng) GPU 的正常運(yùn)行時(shí)間，我們開發(fā)了一種先進(jìn)的新訓(xùn)練堆棧，可以自動(dòng)執(zhí)行錯(cuò)誤檢測(cè)、處理和維護(hù)。
我們還極大地改進(jìn)了硬件可靠性和靜默數(shù)據(jù)損壞檢測(cè)機(jī)制，并且開發(fā)了新的可擴(kuò)展存儲(chǔ)系統(tǒng)，以減少檢查點(diǎn)和回滾的開銷。這些改進(jìn)使總體有效培訓(xùn)時(shí)間超過(guò) 95%。
綜合起來(lái)，這些改進(jìn)使 Llama 3 的訓(xùn)練效率比 Llama 2 提高了約三倍。

指令微調(diào)

為了充分釋放我們的預(yù)訓(xùn)練模型在聊天用例中的潛力，我們還對(duì)指令調(diào)整方法進(jìn)行了創(chuàng)新。我們的后訓(xùn)練方法是監(jiān)督微調(diào)（SFT）、拒絕采樣、近端策略優(yōu)化（PPO）和直接策略優(yōu)化（DPO）的組合。
SFT 中使用的提示質(zhì)量以及 PPO 和 DPO 中使用的偏好排名對(duì)對(duì)齊模型的性能有著巨大的影響。
我們?cè)谀Ｐ唾|(zhì)量方面的一些最大改進(jìn)來(lái)自于仔細(xì)整理這些數(shù)據(jù)并對(duì)人類注釋者提供的注釋進(jìn)行多輪質(zhì)量保證。

通過(guò) PPO 和 DPO 從偏好排名中學(xué)習(xí)也極大地提高了 Llama 3 在推理和編碼任務(wù)上的性能。
我們發(fā)現(xiàn)，如果你向模型提出一個(gè)它難以回答的推理問(wèn)題，該模型有時(shí)會(huì)產(chǎn)生正確的推理軌跡：模型知道如何產(chǎn)生正確的答案，但不知道如何選擇它。對(duì)偏好排名的訓(xùn)練使模型能夠?qū)W習(xí)如何選擇它。

與 Llama 3 一起建造

我們的愿景是讓開發(fā)人員能夠定制 Llama 3 以支持相關(guān)用例，并更輕松地采用最佳實(shí)踐并改善開放生態(tài)系統(tǒng)。
在此版本中，我們提供了新的信任和安全工具，包括 Llama Guard 2 和 Cybersec Eval 2 的更新組件，并引入了 Code Shield——一種用于過(guò)濾 LLM 生成的不安全代碼的推理時(shí)間防護(hù)欄。

我們還與 torchtune 共同開發(fā)了 Llama 3 ，torchtune 是新的 PyTorch 原生庫(kù)，可以輕松地使用 LLM 進(jìn)行創(chuàng)作、微調(diào)和實(shí)驗(yàn)。

torchtune 提供完全用 PyTorch 編寫的內(nèi)存高效且可破解的訓(xùn)練方法。
該庫(kù)與 Hugging Face、Weights & Biases 和 EleutherAI 等流行平臺(tái)集成，甚至支持 Executorch，以便在各種移動(dòng)和邊緣設(shè)備上運(yùn)行高效推理。

從快速工程到將 Llama 3 與 LangChain 結(jié)合使用，我們提供了全面的入門指南，指導(dǎo)您從下載 Llama 3 一直到在生成式 AI 應(yīng)用程序中進(jìn)行大規(guī)模部署。

系統(tǒng)級(jí)責(zé)任方法

我們?cè)O(shè)計(jì)的 Llama 3 模型能夠最大限度地提供幫助，同時(shí)確保采用行業(yè)領(lǐng)先的方法來(lái)負(fù)責(zé)任地部署它們。
為了實(shí)現(xiàn)這一目標(biāo)，我們采用了一種新的系統(tǒng)級(jí)方法來(lái)負(fù)責(zé)任地開發(fā)和部署 Llama。
我們將 Llama 模型視為更廣泛系統(tǒng)的一部分，讓開發(fā)人員掌握主導(dǎo)權(quán)。
Llama 模型將作為開發(fā)人員在設(shè)計(jì)時(shí)考慮到其獨(dú)特的最終目標(biāo)的系統(tǒng)的基礎(chǔ)部分。

指令微調(diào)在確保模型的安全性方面也發(fā)揮著重要作用。
我們的指令微調(diào)模型已經(jīng)通過(guò)內(nèi)部和外部的努力進(jìn)行了安全紅隊(duì)（測(cè)試）。
我們的紅隊(duì)方法利用人類專家和自動(dòng)化方法來(lái)生成對(duì)抗性提示，試圖引發(fā)有問(wèn)題的響應(yīng)。

例如，我們應(yīng)用全面的測(cè)試來(lái)評(píng)估與化學(xué)、生物、網(wǎng)絡(luò)安全和其他風(fēng)險(xiǎn)領(lǐng)域相關(guān)的濫用風(fēng)險(xiǎn)。
所有這些努力都是迭代的，并用于為正在發(fā)布的模型進(jìn)行安全微調(diào)提供信息。
您可以在模型卡中詳細(xì)了解我們的努力。

Llama Guard 模型旨在成為快速響應(yīng)安全的基礎(chǔ)，并且可以根據(jù)應(yīng)用需求輕松進(jìn)行微調(diào)以創(chuàng)建新的分類法。
作為起點(diǎn)，新的 Llama Guard 2 使用最近宣布的MLCommons 分類法，努力支持這一重要領(lǐng)域行業(yè)標(biāo)準(zhǔn)的出現(xiàn)。
此外，CyberSecEval 2 在其前身的基礎(chǔ)上進(jìn)行了擴(kuò)展，添加了對(duì) LLM 允許濫用其代碼解釋器的傾向、攻擊性網(wǎng)絡(luò)安全功能以及對(duì)提示注入攻擊的敏感性的測(cè)量（在我們的技術(shù)論文中了解更多信息）。
最后，我們引入了 Code Shield，它增加了對(duì) LLM 生成的不安全代碼的推理時(shí)過(guò)濾的支持。
這可以緩解不安全代碼建議、代碼解釋器濫用預(yù)防和安全命令執(zhí)行方面的風(fēng)險(xiǎn)。

隨著生成人工智能領(lǐng)域的發(fā)展速度，我們相信開放的方法是將生態(tài)系統(tǒng)整合在一起并減輕這些潛在危害的重要方式。
作為其中的一部分，我們正在更新我們的負(fù)責(zé)任使用指南(RUG)，該指南為L(zhǎng)LM負(fù)責(zé)任的開發(fā)提供了全面的指南。
正如我們?cè)?RUG 中概述的那樣，我們建議根據(jù)適合應(yīng)用程序的內(nèi)容指南檢查和過(guò)濾所有輸入和輸出。
此外，許多云服務(wù)提供商提供內(nèi)容審核 API 和其他用于負(fù)責(zé)任部署的工具，我們鼓勵(lì)開發(fā)人員也考慮使用這些選項(xiàng)。

大規(guī)模部署 Llama 3

Llama 3 很快將在所有主要平臺(tái)上提供，包括云提供商、模型 API 提供商等等。 Llama 3 將無(wú)處不在。

我們的基準(zhǔn)測(cè)試顯示，標(biāo)記生成器提高了標(biāo)記效率，與 Llama 2 相比，生成的標(biāo)記最多減少了 15%。
此外，Llama 3 8B 現(xiàn)在也添加了組查詢注意 (GQA)。
結(jié)果，我們觀察到，盡管與 Llama 2 7B 相比，模型的參數(shù)多了 1B，但改進(jìn)的分詞器效率和 GQA 有助于保持與 Llama 2 7B 相同的推理效率。

有關(guān)如何利用所有這些功能的示例，請(qǐng)查看Llama Recipes，其中包含我們所有的開源代碼，這些代碼可用于從微調(diào)到部署再到模型評(píng)估的所有內(nèi)容。

Llama 3 的下一步是什么？

Llama 3 8B 和 70B 型號(hào)標(biāo)志著我們計(jì)劃為 Llama 3 發(fā)布的產(chǎn)品的開始。接下來(lái)還會(huì)有更多產(chǎn)品。

我們最大的模型有超過(guò) 400B 個(gè)參數(shù)，雖然這些模型仍在訓(xùn)練中，但我們的團(tuán)隊(duì)對(duì)它們的趨勢(shì)感到興奮。
在接下來(lái)的幾個(gè)月中，我們將發(fā)布多個(gè)具有新功能的模型，包括多模態(tài)、以多種語(yǔ)言交談的能力、更長(zhǎng)的上下文窗口和更強(qiáng)的整體功能。
一旦我們完成 Llama 3 的訓(xùn)練，我們還將發(fā)布一份詳細(xì)的研究論文。

為了讓您先睹為快，了解這些模型在繼續(xù)訓(xùn)練時(shí)的現(xiàn)狀，我們認(rèn)為可以分享一些關(guān)于我們最大的 LLM 模型趨勢(shì)的快照。
請(qǐng)注意，此數(shù)據(jù)基于 Llama 3 的早期檢查點(diǎn)，該檢查點(diǎn)仍在訓(xùn)練中，并且今天發(fā)布的模型不支持這些功能。

*請(qǐng)參閱評(píng)估詳細(xì)信息以了解計(jì)算這些評(píng)估的設(shè)置和參數(shù)。

我們致力于開放人工智能生態(tài)系統(tǒng)的持續(xù)增長(zhǎng)和發(fā)展，以負(fù)責(zé)任地發(fā)布我們的模型。我們長(zhǎng)期以來(lái)一直相信，開放可以帶來(lái)更好、更安全的產(chǎn)品、更快的創(chuàng)新以及更健康的整體市場(chǎng)。這對(duì) Meta 有利，對(duì)社會(huì)也有利。
我們對(duì) Llama 3 采取社區(qū)優(yōu)先的方法，從今天開始，這些模型可在領(lǐng)先的云、托管和硬件平臺(tái)上使用，未來(lái)還會(huì)有更多模型。

立即嘗試 Meta Llama 3

我們已將最新模型集成到 Meta AI 中，我們相信它是世界領(lǐng)先的人工智能助手。它現(xiàn)在采用 Llama 3 技術(shù)構(gòu)建，并可在更多國(guó)家/地區(qū)通過(guò)我們的應(yīng)用程序使用。

您可以在 Facebook、Instagram、WhatsApp、Messenger 和網(wǎng)絡(luò)上使用 Meta AI來(lái)完成工作、學(xué)習(xí)、創(chuàng)建和連接對(duì)您重要的事物。您可以在此處閱讀有關(guān) Meta AI 體驗(yàn)的更多信息。

請(qǐng)?jiān)L問(wèn)Llama 3 網(wǎng)站下載模型并參考入門指南以獲取所有可用平臺(tái)的最新列表。

您很快就可以在我們的 Ray-Ban Meta 智能眼鏡上測(cè)試多模式 Meta AI。

一如既往，我們期待看到您使用 Meta Llama 3 構(gòu)建的所有令人驚嘆的產(chǎn)品和體驗(yàn)。

2024-04-19（五）文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-856820.html

到了這里，關(guān)于Meta Llama 3 簡(jiǎn)介的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！