書接上回：https://blog.csdn.net/nlpstarter/article/details/129834424推薦一個在本地部署中文類ChatGPT大模型的開源項目https://blog.csdn.net/nlpstarter/article/details/129834424
之前在推薦了一個中文類ChatGPT的大模型，感興趣的可以看一下上面的鏈接。今天看到最新推出了13B版本的模型，迫不及待下載體驗了。再貼一下項目地址：
項目名稱：中文LLaMA&Alpaca大語言模型+本地部署 (Chinese LLaMA & Alpaca LLMs)
項目地址：GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大語言模型+本地部署 (Chinese LLaMA & Alpaca LLMs)
根據(jù)官方的發(fā)布文檔說明，本次主要更新了以下內(nèi)容：
- 重磅更新了13B版本的LLaMA和Alpaca模型，其中Alpaca模型是類ChatGPT的交互模型
- 官方進(jìn)一步細(xì)化了評測方法，以GPT-4作為評分員，對7B版本和13B版本進(jìn)行了效果對比，最后7B版本總平均分是49分，13B版本是71分，看起來提升還是很大的。
- 另外官方還提供了谷歌colab的在線轉(zhuǎn)換腳本，方便低資源用戶進(jìn)行模型轉(zhuǎn)換
獲取和轉(zhuǎn)換模型的步驟和之前完全一致，這里就不詳細(xì)說了，還是進(jìn)入到大家最關(guān)心的測試環(huán)節(jié)！
順便插播一句：13B版本肯定是要比7B慢一些的，但是幾乎不會有太大的體感，量化模型的整體輸出還是非常順暢的，沒有什么卡殼的情況。
還是問一下關(guān)于溫室效應(yīng)的問題
和7B一樣，答的還是很切題的，甚至可以在聊幾輪過后讓它寫一個小作文。
數(shù)學(xué)問題：騎7個猴
這道題上次答的不盡人意，這次也是一樣。說明目前的訓(xùn)練數(shù)據(jù)以及模型規(guī)模不足以讓模型能夠很好的掌握數(shù)學(xué)運算和推理問題。
如何制作宮保雞??？
這道題上次答的還行，不過整體上看起來并不像是在做宮保雞丁。這回似乎也不是很好，材料里有豬肉。
寫一封信
上一次的信寫的還是可以的，這回我增加了難度?？梢钥闯?/p>
- 信件的內(nèi)容更加豐富了
- 令我驚訝的是，居然可以讓他按照我的要求重新改一份，而且是由針對性的修改。為什么覺得驚訝呢，是因為官方并沒有使用多輪的數(shù)據(jù)，不知道是因為LLaMA模型自帶的上下文理解能力還是其他的一些magic。
- 整體的上下文理解比7B更加準(zhǔn)確，對細(xì)節(jié)把控的更好
文學(xué)方面
官方這次給出了10大類的任務(wù)評測。里面包含一個文學(xué)方面的內(nèi)容，我也試著進(jìn)行了一些提問。可以看出事實性非常好，而且能夠聯(lián)系上下文進(jìn)行簡要的剖析。
我用GPT-4給上面的對話進(jìn)行了打分，可以看出GPT-4對這段對話很滿意，對四段對話都給出了9/10的高分。?
情感方面
雖然官方?jīng)]有評測這個類別，我覺得還是可以評一下的，看看機器有沒有共情能力。從以下的截圖中可以看出，機器還是提供了一些情感建議的，點贊。
角色扮演
官方也沒有評測這個類別，我也試試。看似是有一些模仿能力，但是中間夾雜著一些奇怪的emoji符號，看樣子是訓(xùn)練數(shù)據(jù)里沒有類似的數(shù)據(jù)供擬合。?
文章來源：http://www.zghlxwxcb.cn/news/detail-458759.html
總結(jié)
可以看到13B在事實性方面，上下文理解方面得到了進(jìn)一步的進(jìn)化，在書信、寫作等長文本能力上也得到了很大的進(jìn)步。但是也能看到目前模型在數(shù)值推理等場景還是做的很差。這部分能力似乎是各種任務(wù)里比較困難的部分了，光靠簡單的精調(diào)數(shù)據(jù)去擬合應(yīng)該是遠(yuǎn)遠(yuǎn)不夠的。不過，考慮到目前的模型量級以及訓(xùn)練數(shù)據(jù)量來看還是可以的。期待未來更多更好的模型出現(xiàn)。文章來源地址http://www.zghlxwxcb.cn/news/detail-458759.html
到了這里，關(guān)于【類ChatGPT】中文羊駝大模型Alpaca-13B體驗的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
