Llama 2 with langchain項(xiàng)目詳解(一)
2023年2月25日,美國Meta公司發(fā)布了Llama 1開源大模型。隨后,于2023年7月18日,Meta公司發(fā)布了Llama 2開源大模型,該系列包括了70億、130億和700億等不同參數(shù)規(guī)模的模型。相較于Llama 1,Llama 2的訓(xùn)練數(shù)據(jù)增加了40%,上下文長度提升至4096,是Llama 1的兩倍,并且引入了分組查詢注意力機(jī)制。具體而言,Llama 2大模型在2萬億個(gè)標(biāo)記上進(jìn)行了訓(xùn)練,并使用了100萬個(gè)人類標(biāo)注的數(shù)據(jù)進(jìn)行微調(diào),如圖17-1所示。
圖17- 1 Llama 2模型和Llama 1模型的比較
據(jù)測評結(jié)果顯示,Llama 2在包括推理、編碼、知識測試等許多外部基準(zhǔn)測試中都優(yōu)于其他開源語言模型,如圖17-2所示。Gavin大咖微信:NLP_Matrix_Space
圖17- 2 Llama 2基準(zhǔn)測試比較
如圖17-3所示,Llama 2在與同等參數(shù)量級的大模型進(jìn)行比較時(shí),在大多數(shù)情況下都取得了勝利。Gavin大咖微信:NLP_Matrix_Space文章來源:http://www.zghlxwxcb.cn/news/detail-629842.html
圖17- 3 Llama 2與同等參數(shù)量級的大模型進(jìn)行比較
如圖17-4所示&文章來源地址http://www.zghlxwxcb.cn/news/detail-629842.html
到了這里,關(guān)于Llama 2 with langchain項(xiàng)目詳解(一)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!