斯坦福的 Alpaca 模型基于 LLaMA-7B 和指令微調(diào),僅使用約 5 萬條訓練數(shù)據(jù),就能達到類似 GPT-3.5 的效果。
斯坦福70億參數(shù)開源模型媲美GPT-3.5,100美元即可復現(xiàn)?
Alpaca 的訓練流程很簡單,只有兩個步驟:文章來源:http://www.zghlxwxcb.cn/news/detail-560086.html
- 將 175 個人工設(shè)計的指令任務(wù)作為種子,使用 text-davinci-003 隨機生成指令,最終生成了 52,000 條指令數(shù)據(jù)。例如:
{
"instruction": "Rewrite the following sentence in the third person",
"input": "I am anxious",
"output": "She is anxious."
}, {
"instruction": "What are the three primary colors?",
"input": "",
"output": "The three primary colors are red, blue, and yellow."
},
2. 用指令數(shù)據(jù)基于 Hugging Face 的訓練框架微調(diào) LLaMA 模型。文章來源地址http://www.zghlxwxcb.cn/news/detail-560086.html
到了這里,關(guān)于LLM-2023:Alpaca(羊駝)【Stanford】【性能與GPT3.5相當比GPT4遜色,訓練成本不到100美元,基于LLaMA和指令微調(diào),僅使用約5萬條訓練數(shù)據(jù)就能達到類似GPT-3.5】的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!