国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

LLaMA：Open and Efficient Foundation Language Models

2年前作者：HanZee分類：Toy博客閱讀(21)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了LLaMA：Open and Efficient Foundation Language Models。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

Introduction

在大規(guī)模數(shù)據(jù)下訓(xùn)練的大模型，已經(jīng)展示了很好的表現(xiàn)，當(dāng)模型足夠大的時(shí)，模型會(huì)出現(xiàn)一個(gè)涌現(xiàn)的能力，如下圖：

LLaMA：Open and Efficient Foundation Language Models
最近的一項(xiàng)研究表明，在有限的算力下，表現(xiàn)最好的模型不是參數(shù)最大的，而是小一點(diǎn)模型搭配了更多數(shù)據(jù)。

這項(xiàng)工作的重點(diǎn)是訓(xùn)練一系列語言模型，通過對(duì)比通常使用的更多的token進(jìn)行訓(xùn)練，在各種推理預(yù)算下達(dá)到最佳性能。由此產(chǎn)生的模型被稱為L(zhǎng)LaMA，參數(shù)范圍從7B到65B，與現(xiàn)有的最好的LLM相比，性能具有競(jìng)爭(zhēng)力。

Approach

方法主要受到了 Chinchilla的啟發(fā)，采用了大量的數(shù)據(jù)和標(biāo)準(zhǔn)的優(yōu)化器。

Pre-training Data

訓(xùn)練數(shù)據(jù)集是多個(gè)來源的混合，如表 1 所示，涵蓋了不同的領(lǐng)域。
在大多數(shù)情況下，我們重復(fù)使用已用于訓(xùn)練其他 LLM 的數(shù)據(jù)源，但僅限于使用公開可用且與開源兼容的數(shù)據(jù)。
LLaMA：Open and Efficient Foundation Language Models

Architecture

Pre-normlization
SwiGLU
Rotary Embedding

模型使用 AdamW 優(yōu)化器（Loshchilov 和 Hutter，2017）進(jìn)行訓(xùn)練，具有以下超參數(shù)：β1 = 0.9，β2 = 0.95。

使用余弦學(xué)習(xí)率計(jì)劃，使最終學(xué)習(xí)率等于最大學(xué)習(xí)率的 10%。

使用 0.1 的權(quán)重衰減和 1.0 的梯度裁剪。我們使用 2, 000 個(gè)預(yù)熱步驟，并根據(jù)模型的大小改變學(xué)習(xí)率和批量大?。ㄔ斠姳?2）。

LLaMA：Open and Efficient Foundation Language Models 文章來源地址http://www.zghlxwxcb.cn/news/detail-486770.html

到了這里，關(guān)于LLaMA：Open and Efficient Foundation Language Models的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

論文筆記--LLaMA: Open and Efficient Foundation Language Models
標(biāo)題：LLaMA: Open and Efficient Foundation Language Models 作者：Touvron, Hugo, et al. 日期：2023 期刊：arxiv preprint ??文章利用公開數(shù)據(jù)集訓(xùn)練并發(fā)布了一系列大語言模型LLaMA，在多個(gè)NLP下游任務(wù)中性能超過了GPT-3和PALM等模型。 English CommonCrawl(67%): 訓(xùn)練集的大部分構(gòu)成為2017～2020年間的Com
2024年02月09日
瀏覽(32)
LLaMA(Open and Efficient Foundation Language Models )論文解讀(二)
此篇博客主題:LLAMA模型數(shù)據(jù)、訓(xùn)練時(shí)長(zhǎng)、功耗及碳排放量 LLaMA: Open and Efficient Foundation Language Models paper https://arxiv.org/pdf/2302.13971v1.pdf Overall, our entire training dataset contains roughly 1.4T tokens after tokenization. For most of our training data, each token is used only once during training, with the exception of t
2024年02月16日
瀏覽(25)
LLaMA模型論文《LLaMA: Open and Efficient Foundation Language Models》閱讀筆記
LLaMA是meta在2023年2月開源的大模型，在這之后，很多開源模型都是基于LLaMA的，比如斯坦福大學(xué)的羊駝模型。 LLaMA的重點(diǎn)是比通常情況下使用更多的語料，來訓(xùn)練一系列可在各種推理預(yù)算下實(shí)現(xiàn)可能的最佳性能的語言模型。摘要翻譯：我們?cè)诖私榻BLLaMA，這是一個(gè)參數(shù)范圍從
2024年02月15日
瀏覽(32)
【LLM系列之LLaMA】LLaMA: Open and Efficient Foundation Language Models
LLaMA 是 Meta AI 發(fā)布的包含 7B、13B、33B 和 65B 四種參數(shù)規(guī)模的基礎(chǔ)語言模型集合，LLaMA-13B 僅以 1/10 規(guī)模的參數(shù)在多數(shù)的 benchmarks 上性能優(yōu)于 GPT-3(175B)，LLaMA-65B 與業(yè)內(nèi)最好的模型 Chinchilla-70B 和 PaLM-540B 比較也具有競(jìng)爭(zhēng)力。主要貢獻(xiàn)：開源一系列語言模型，可以與SOTA模型競(jìng)爭(zhēng)
2024年02月10日
瀏覽(18)
2023-arxiv-LLaMA: Open and Efficient Foundation Language Models
Paper：https://arxiv.org/abs/2302.13971 Code: https://github.com/facebookresearch/llama 本文介紹了 LLaMA，這是?個(gè)包含 7B 到 65B 參數(shù)的基礎(chǔ)語?模型的集合。作者在數(shù)萬億個(gè)令牌上訓(xùn)練模型，并表明可以僅使?公開可?的數(shù)據(jù)集來訓(xùn)練最先進(jìn)的模型。特別是， LLaMA-13B 在?多數(shù)基準(zhǔn)測(cè)試中都優(yōu)于
2024年02月12日
瀏覽(48)
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻譯與解讀
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻譯與解讀導(dǎo)讀：該論文提出了一個(gè)開源的大規(guī)模語言模型LLaMA，2048個(gè)A100-80G訓(xùn)練21天。該模型有以下幾個(gè)核心技術(shù)點(diǎn)：模型架構(gòu)=Transformer+集合多個(gè)算法的優(yōu)秀技術(shù)(RMSNorm+SwiGLU+RoPE+AdamW+xformers庫(kù)+漸進(jìn)式學(xué)習(xí)率) ：LLaMA模型
2024年02月12日
瀏覽(23)
AIGC之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻譯與解讀
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻譯與解讀導(dǎo)讀：該論文提出了一個(gè)開源的大規(guī)模語言模型LLaMA，2048個(gè)A100-80G訓(xùn)練21天。該模型有以下幾個(gè)核心技術(shù)點(diǎn)：模型架構(gòu)=Transformer+集合多個(gè)算法的優(yōu)秀技術(shù)(RMSNorm+SwiGLU+RoPE+AdamW+xformers庫(kù)+漸進(jìn)式學(xué)習(xí)率) ：LLaMA模型
2024年02月09日
瀏覽(31)
一個(gè)開源的大型語言模型LLaMA論文簡(jiǎn)單解讀，LLaMA: Open and Efficient Foundation Language Models
返回論文和資料目錄 LLaMA 是 Meta AI 發(fā)布的包含 7B、13B、33B 和 65B 四種參數(shù)規(guī)模的基礎(chǔ)語言模型集合，LLaMA-13B 僅以 1/10 規(guī)模的參數(shù)在多數(shù)的 benchmarks 上性能優(yōu)于 GPT-3(175B)，LLaMA-65B 與業(yè)內(nèi)最好的模型 Chinchilla-70B 和 PaLM-540B 比較也具有競(jìng)爭(zhēng)力。開源的代碼在github上可以很方便獲得
2024年02月09日
瀏覽(24)
Llama 2: Open Foundation and Fine-Tuned Chat Models
Paper name Llama 2: Open Foundation and Fine-Tuned Chat Models Paper Reading Note Paper URL: https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/ Blog URL：https://huggingface.co/blog/llama2 Meta 出品的 Llama 續(xù)作 Llama2，一系列模型（7b、13b、70b）均開源可商用。Llama2 在各個(gè)榜單上精度全面
2024年02月16日
瀏覽(28)
Llama 2- Open Foundation and Fine-Tuned Chat Models＜2＞
3.2 人類反饋強(qiáng)化學(xué)習(xí)（RLHF） RLHF 是一種模型訓(xùn)練過程，應(yīng)用于微調(diào)的語言模型，以進(jìn)一步使模型行為與人類偏好和指令遵循保持一致。我們收集代表根據(jù)經(jīng)驗(yàn)采樣的人類偏好的數(shù)據(jù)，人類注釋者可以選擇他們更喜歡的兩個(gè)模型輸出中的哪一個(gè)。這種人類反饋隨后用于訓(xùn)練獎(jiǎng)
2024年01月19日
瀏覽(41)