??????最近，隨著備受關(guān)注的文心一言正式免費(fèi)向全社會(huì)開(kāi)放，再次引起了社會(huì)層面對(duì)國(guó)產(chǎn)大模型的興趣。

以文心一言為代表的國(guó)產(chǎn)大模型性能究竟如何？如果將它們相互比較，并且和GPT系列模型等國(guó)際前沿水平的LLM進(jìn)行比較，會(huì)得到什么樣的結(jié)果呢？筆者對(duì)此非常好奇，于是決定自己動(dòng)手試試。

01

評(píng)估策略與數(shù)據(jù)準(zhǔn)備

全面評(píng)估大型語(yǔ)言模型的性能是一件相當(dāng)復(fù)雜的任務(wù)。不僅需要制定周全的策略，還需要準(zhǔn)備大量的數(shù)據(jù)和評(píng)估程序，并結(jié)合自動(dòng)化驗(yàn)證指標(biāo)和主觀評(píng)價(jià)來(lái)進(jìn)行綜合判斷。

筆者目前還是一名學(xué)生，沒(méi)有能力投入足夠資源做全面評(píng)估，所以選擇在一個(gè)垂直領(lǐng)域當(dāng)中做一下力所能及的小數(shù)據(jù)集測(cè)試。

當(dāng)下，筆者正在做一個(gè)知識(shí)圖譜項(xiàng)目，整理了一份春秋戰(zhàn)國(guó)時(shí)期的歷史類(lèi)知識(shí)圖譜，根據(jù)圖譜內(nèi)容，正好可以整理出若干問(wèn)題答案。于是，我們選取了20個(gè)與春秋戰(zhàn)國(guó)相關(guān)的問(wèn)題。

這些問(wèn)題的特點(diǎn)是：既具備知識(shí)性，又是歷史數(shù)據(jù)（不是最新資訊，不用考慮信息是否已經(jīng)存儲(chǔ)在 LLM中的問(wèn)題），同時(shí)還可以根據(jù)現(xiàn)有知識(shí)圖譜直接獲得正確答案。

因此，我們實(shí)際上是生成了一份樣本數(shù)為 20 的問(wèn)題答案對(duì)數(shù)據(jù)集（QA pair dataset）。

借助這個(gè)小小的數(shù)據(jù)集，我們用來(lái)對(duì)文心一言、訊飛星火、GPT-4和GPT3.5進(jìn)行評(píng)估測(cè)試。

02

文心一言、訊飛星火、GPT-4與GPT3.5的問(wèn)答結(jié)果

我們采用的評(píng)估方式為將這20個(gè)問(wèn)題分別輸入到以上四個(gè)大型語(yǔ)言模型（LLM）的網(wǎng)頁(yè)版界面中，并要求它們進(jìn)行回答。各個(gè)LLM都給出了答案，但效果不同。關(guān)于各個(gè)模型問(wèn)答的詳情請(qǐng)參考本文最后的 “06 附錄：數(shù)據(jù)詳情” 部分，此處，我們先看結(jié)果：

文心一言答對(duì)18題，正確率為90%

訊飛星火答對(duì)13題，正確率為65%

GPT-4答對(duì)12題，正確率為60%

GPT3.5答對(duì)11題，正確率為55%

經(jīng)過(guò)與標(biāo)準(zhǔn)答案的對(duì)比，我們發(fā)現(xiàn)文心一言在準(zhǔn)確率上遠(yuǎn)高于訊飛星火、GPT-4和GPT3.5，達(dá)到了驚人的90%。而相較之下，訊飛星火、GPT-4和GPT3.5的準(zhǔn)確率分別為65%、60%和55%，三者比較接近。

03

用戶體驗(yàn)打分

此外，為了讓實(shí)驗(yàn)數(shù)據(jù)更加細(xì)化以及實(shí)現(xiàn)多樣化的評(píng)估，我們又人工對(duì)每個(gè)模型的答案進(jìn)行了打分，其中每道題的滿分為5分。打分的規(guī)則如下：

• 5分：答案正確、完整，語(yǔ)言清晰易懂（在無(wú)法給出正確答案的同時(shí)，答案意為“不知道”也評(píng)為5分）

• 4分：答案正確、不完整、語(yǔ)言清晰易懂

• 3分：答案正確，語(yǔ)言晦澀、不流暢

• 2分：答案部分正確、語(yǔ)言清晰易懂

• 1分：答案少部分正確

• 0分：答案錯(cuò)誤

四個(gè)模型的打分情況詳情請(qǐng)見(jiàn)：https://github.com/microsoft/SmartKG/blob/master/Resources/Data/Excel/input/SprintAutumn/大語(yǔ)言模型對(duì)20個(gè)問(wèn)題的回答及打分.xlsx

總之，在打分評(píng)估方面，文心一言仍然顯著領(lǐng)先，獲得了出色的平均分4.3 分，訊飛星火平均分為3.0分，勉強(qiáng)及格。而GPT-4和GPT3.5的平均分分別為 2.8 和 2.35， 均未及格。

04

比較、分析和猜想

我們發(fā)現(xiàn)，GPT3.5和GPT-4對(duì)歷史事件的細(xì)節(jié)掌握較差，尤其是針對(duì)關(guān)于某個(gè)具體歷史事件或人物的問(wèn)題，文心一言可以給出準(zhǔn)確答案時(shí)，GPT系列模型卻回答錯(cuò)誤。這可能是因?yàn)镚PT系列模型的訓(xùn)練數(shù)據(jù)集并不包含春秋戰(zhàn)國(guó)時(shí)期的具體信息。而文心一言作為百度開(kāi)發(fā)的大型語(yǔ)言模型，其訓(xùn)練數(shù)據(jù)集很可能包含了大量關(guān)于中國(guó)歷史的資料，從而對(duì)于歷史事件的細(xì)節(jié)掌握更加準(zhǔn)確。

GPT3.5 和GPT-4回答錯(cuò)誤的題目中有6道題目具有較高的重合度，這可能是由于它們所使用的訓(xùn)練數(shù)據(jù)集在春秋戰(zhàn)國(guó)時(shí)期的數(shù)據(jù)較為相似，并且都基于Transformer架構(gòu)，底層邏輯較為類(lèi)似，所以導(dǎo)致模型在處理某些問(wèn)題時(shí)得出相似的錯(cuò)誤答案。

然而，相較于其他三個(gè)模型，GPT-4在提供更具體描述的答案方面表現(xiàn)更出色。舉例來(lái)說(shuō)，在回答問(wèn)題16：“哪些人物有不止一個(gè)稱號(hào)？”時(shí)，GPT-4不僅提供了人物的名字，還額外提供了具體的人物稱號(hào)。針對(duì)問(wèn)題17：“著名的春秋五霸分別來(lái)自哪五個(gè)國(guó)家？”，GPT-4除了回答國(guó)名，還額外給出了春秋五霸是誰(shuí)。GPT-4在這個(gè)方面之所以更出色的原因，可能是因?yàn)槠溆?xùn)練數(shù)據(jù)更加豐富，模型規(guī)模更大，具備通用的語(yǔ)言理解和上下文感知能力，因此能夠提供更為全面的答案。

訊飛星火模型雖然在準(zhǔn)確率和分?jǐn)?shù)上略高于GPT系列模型，但其回答表現(xiàn)仍有待提高，其中一個(gè)主要問(wèn)題是，當(dāng)遇到一些無(wú)法回答的問(wèn)題時(shí)，訊飛星火模型可能會(huì)采用一種類(lèi)似于“答非所問(wèn)”的方式來(lái)回應(yīng)。當(dāng)問(wèn)題涉及某個(gè)事件對(duì)某個(gè)國(guó)家或個(gè)人的影響時(shí)（例如問(wèn)題5：“齊國(guó)和魏國(guó)為什么爆發(fā)了桂林之戰(zhàn)？” 和 問(wèn)題 7：“春秋戰(zhàn)國(guó)時(shí)期的長(zhǎng)平之戰(zhàn)對(duì)于趙國(guó)和秦國(guó)的發(fā)展有何影響？”），訊飛星火模型可能會(huì)給出類(lèi)似于“有重大影響”這樣的泛泛答案，試圖以此來(lái)模糊問(wèn)題或逃避具體回答。

05

結(jié)尾

根據(jù)上面的實(shí)驗(yàn)結(jié)果可以看出，不同模型在回答春秋戰(zhàn)國(guó)問(wèn)題時(shí)各有優(yōu)勢(shì)和不足。文心一言在準(zhǔn)確性和歷史細(xì)節(jié)方面表現(xiàn)出色，適合被應(yīng)用于需要精確的答案的場(chǎng)景。而GPT-4則在提供更具體和豐富描述方面更強(qiáng)，適合需要更深入分析的情境。GPT3.5和訊飛星火的總體表現(xiàn)稍顯不足。

當(dāng)然，本文陳述的只是筆者個(gè)人通過(guò)一個(gè)細(xì)分垂直領(lǐng)域的極小數(shù)據(jù)集得出的手動(dòng)測(cè)評(píng)結(jié)果，距離全面完整的評(píng)估、比較各中LLM還相距甚遠(yuǎn)。在此分享感受與做法，也是拋磚引玉，希望能看到更多領(lǐng)域、更大范圍的對(duì)LLM的評(píng)估結(jié)果。

06

附錄：數(shù)據(jù)詳情

四個(gè)LLM回答中國(guó)春秋戰(zhàn)國(guó)歷史知識(shí)二十個(gè)問(wèn)題的結(jié)果如下所示（其中紅色部分為錯(cuò)誤回答）：

問(wèn)題一

《孫子兵法》的作者是誰(shuí)，他是哪個(gè)國(guó)家的軍事家？

正確答案：《孫子兵法》的作者是孫武，他是中國(guó)/齊國(guó)的軍事家。

文心一言

《孫子兵法》的作者是孫武，他是春秋時(shí)期齊國(guó)的軍事家。

訊飛星火

《孫子兵法》的作者是孫武，他是春秋時(shí)期的齊國(guó)人。

GPT-4

《孫子兵法》的作者是孫武，他是中國(guó)的軍事家。

GPT3.5

《孫子兵法》的作者是孫武，他是中國(guó)的軍事家。

問(wèn)題二

成語(yǔ)“千金買(mǎi)骨”的出處是哪里，解釋是什么？

正確答案：成語(yǔ)“千金買(mǎi)骨”出自《戰(zhàn)國(guó)策·燕策一》，意思是指用重金買(mǎi)下千里馬的骨頭，表示對(duì)求賢若渴的態(tài)度和決心。

文心一言

成語(yǔ)“千金買(mǎi)骨”出自《戰(zhàn)國(guó)策·燕策一》，意思是指用重金買(mǎi)下千里馬的骨頭，表示對(duì)求賢若渴的態(tài)度和決心。

訊飛星火

成語(yǔ)“千金買(mǎi)骨”的出處是《戰(zhàn)國(guó)策》。這個(gè)成語(yǔ)的意思是比喻為了得到人才而不惜代價(jià)。

GPT-4

成語(yǔ)“千金買(mǎi)骨”的出處是《左傳》，解釋通常為用重金購(gòu)買(mǎi)戰(zhàn)士的尸骨以表敬重，也可比喻人的才干或品質(zhì)有很高的價(jià)值。

GPT3.5

成語(yǔ)“千金買(mǎi)骨”的出處是《后漢書(shū)·馬援傳》，意為用千金購(gòu)買(mǎi)一塊骨頭，比喻不惜重金購(gòu)得珍貴之物。

問(wèn)題三

參加城濮之戰(zhàn)的楚國(guó)將領(lǐng)有哪些？? ?

正確答案：參加城濮之戰(zhàn)的楚國(guó)將領(lǐng)是成得臣（子玉）。

文心一言

參加城濮之戰(zhàn)的楚國(guó)將領(lǐng)是成得臣。

訊飛星火

參加城濮之戰(zhàn)的楚國(guó)將領(lǐng)有成得臣、斗越椒等。

GPT-4

參加城濮之戰(zhàn)的楚國(guó)將領(lǐng)包括樓緩、壤地方等。

GPT3.5

參加城濮之戰(zhàn)的楚國(guó)將領(lǐng)包括春申君黃歇、伍子胥等。

問(wèn)題四

同時(shí)參加城濮之戰(zhàn)和邲之戰(zhàn)的國(guó)家有哪些？

正確答案：同時(shí)參加城濮之戰(zhàn)和邲之戰(zhàn)的國(guó)家有晉國(guó)和楚國(guó)。

文心一言

同時(shí)參加城濮之戰(zhàn)和邲之戰(zhàn)的國(guó)家有晉國(guó)和楚國(guó)。

訊飛星火

同時(shí)參加城濮之戰(zhàn)和邲之戰(zhàn)的國(guó)家有晉國(guó)、楚國(guó)、齊國(guó)、衛(wèi)國(guó)、魯國(guó)、宋國(guó)、陳國(guó)、蔡國(guó)和秦國(guó)。

GPT-4

同時(shí)參加城濮之戰(zhàn)和邲之戰(zhàn)的國(guó)家有齊國(guó)和宋國(guó)。

GPT3.5

同時(shí)參加城濮之戰(zhàn)和邲之戰(zhàn)的國(guó)家是楚國(guó)和秦國(guó)。

問(wèn)題五

齊國(guó)和魏國(guó)為什么爆發(fā)了桂林之戰(zhàn)？

正確答案：齊國(guó)和魏國(guó)爆發(fā)了桂林之戰(zhàn)是因?yàn)辇R國(guó)干涉了魏國(guó)和趙國(guó)之間的戰(zhàn)爭(zhēng)。

文心一言

齊國(guó)和魏國(guó)爆發(fā)了桂林之戰(zhàn)是因?yàn)辇R國(guó)干涉了魏國(guó)和趙國(guó)之間的戰(zhàn)爭(zhēng)。

訊飛星火

齊國(guó)和魏國(guó)爆發(fā)了桂林之戰(zhàn)，這場(chǎng)戰(zhàn)爭(zhēng)對(duì)趙國(guó)和秦國(guó)的發(fā)展有很大影響。

GPT-4

齊國(guó)和魏國(guó)爆發(fā)桂林之戰(zhàn)的原因主要是爭(zhēng)奪土地和權(quán)力。

GPT3.5

齊國(guó)和魏國(guó)爆發(fā)桂林之戰(zhàn)是因?yàn)閮蓢?guó)爭(zhēng)奪桂林地區(qū)的控制權(quán)。

問(wèn)題六

戰(zhàn)國(guó)七雄中的哪個(gè)國(guó)家最終統(tǒng)一了中國(guó)，開(kāi)創(chuàng)了秦朝？

正確答案：戰(zhàn)國(guó)七雄中的秦國(guó)最終統(tǒng)一了中國(guó)，開(kāi)創(chuàng)了秦朝。

文心一言

戰(zhàn)國(guó)七雄中的秦國(guó)最終統(tǒng)一了中國(guó)，開(kāi)創(chuàng)了秦朝。

訊飛星火

秦國(guó)最終統(tǒng)一了中國(guó)，開(kāi)創(chuàng)了秦朝。

GPT-4

戰(zhàn)國(guó)七雄中秦國(guó)最終統(tǒng)一了中國(guó)，開(kāi)創(chuàng)了秦朝。

GPT3.5

戰(zhàn)國(guó)七雄中最終統(tǒng)一中國(guó)、開(kāi)創(chuàng)了秦朝的國(guó)家是秦國(guó)。

問(wèn)題七

春秋戰(zhàn)國(guó)時(shí)期的長(zhǎng)平之戰(zhàn)對(duì)于趙國(guó)和秦國(guó)的發(fā)展有何影響？

正確答案：長(zhǎng)平之戰(zhàn)對(duì)于趙國(guó)和秦國(guó)的發(fā)展造成深遠(yuǎn)影響，趙國(guó)削弱，秦國(guó)得以強(qiáng)大。

文心一言

春秋戰(zhàn)國(guó)時(shí)期的長(zhǎng)平之戰(zhàn)對(duì)于趙國(guó)和秦國(guó)的發(fā)展有何影響。這個(gè)問(wèn)題的答案比較復(fù)雜，可以參考相關(guān)歷史文獻(xiàn)。

訊飛星火

長(zhǎng)平之戰(zhàn)是發(fā)生在戰(zhàn)國(guó)時(shí)期趙國(guó)和秦國(guó)之間的一場(chǎng)著名戰(zhàn)役，這場(chǎng)戰(zhàn)役對(duì)于趙國(guó)和秦國(guó)的發(fā)展都有很大的影響。

GPT-4

春秋戰(zhàn)國(guó)時(shí)期的長(zhǎng)平之戰(zhàn)使趙國(guó)元?dú)獯髠?，?guó)勢(shì)日衰；對(duì)秦國(guó)而言，鞏固了國(guó)力，為統(tǒng)一六國(guó)奠定了基礎(chǔ)。

GPT3.5

長(zhǎng)平之戰(zhàn)對(duì)于趙國(guó)和秦國(guó)的發(fā)展造成深遠(yuǎn)影響，趙國(guó)削弱，秦國(guó)得以強(qiáng)大。

問(wèn)題八

哪件事件標(biāo)志著春秋時(shí)期的結(jié)束和戰(zhàn)國(guó)時(shí)期的開(kāi)始？

正確答案：標(biāo)志著春秋時(shí)期的結(jié)束和戰(zhàn)國(guó)時(shí)期的開(kāi)始的事件是三家分晉

文心一言

標(biāo)志著春秋時(shí)期的結(jié)束和戰(zhàn)國(guó)時(shí)期的開(kāi)始的事件是三家分晉和田陳篡齊。

訊飛星火

春秋時(shí)期結(jié)束和戰(zhàn)國(guó)時(shí)期開(kāi)始的標(biāo)志是公元前475年吳越爭(zhēng)霸戰(zhàn)爭(zhēng)的失敗。

GPT-4

公元前403年館陶之戰(zhàn)（即晉國(guó)滅趙國(guó)，將其分化為韓、趙、魏三國(guó)）標(biāo)志著春秋時(shí)期的結(jié)束和戰(zhàn)國(guó)時(shí)期的開(kāi)始。

GPT3.5

春秋時(shí)期結(jié)束、戰(zhàn)國(guó)時(shí)期開(kāi)始的標(biāo)志事件是鄭國(guó)滅亡（戰(zhàn)國(guó)初期的齊桓公四年）。

問(wèn)題九

蘇秦和張儀共同訪問(wèn)過(guò)哪些國(guó)家？

正確答案：蘇秦和張儀共同訪問(wèn)過(guò)趙國(guó)、魏國(guó)、燕國(guó)、齊國(guó)、楚國(guó)、韓國(guó)等。

文心一言

蘇秦和張儀共同訪問(wèn)過(guò)的國(guó)家有趙國(guó)、燕國(guó)和韓國(guó)。

訊飛星火

蘇秦和張儀共同訪問(wèn)過(guò)中山國(guó)、燕國(guó)、齊國(guó)等國(guó)家。

GPT-4

蘇秦和張儀共同訪問(wèn)過(guò)齊、楚、燕、漢、趙、韓、魏等國(guó)家。

GPT3.5

蘇秦和張儀共同訪問(wèn)過(guò)趙國(guó)、魏國(guó)、燕國(guó)等。

問(wèn)題十

成語(yǔ)“懸梁刺股”是從誰(shuí)的經(jīng)歷衍生的？

正確答案：成語(yǔ)“懸梁刺股”是從蘇秦/孫敬的經(jīng)歷中衍生的。

文心一言

成語(yǔ)“懸梁刺股”是從蘇秦的經(jīng)歷中衍生的。

訊飛星火

“懸梁刺股”是從孫敬的經(jīng)歷中衍生出來(lái)的。

GPT-4

成語(yǔ)“懸梁刺股”是從蘇軾的故事中衍生的。

GPT3.5

成語(yǔ)“懸梁刺股”源于戰(zhàn)國(guó)時(shí)期的鄭國(guó)大夫子產(chǎn)的經(jīng)歷。

問(wèn)題十一

“管仲治齊”和“商鞅變法”有哪些共同點(diǎn)？

正確答案：“管仲治齊”和“商鞅變法”的共同點(diǎn)是它們都推行了法家思想，注重法制建設(shè)和經(jīng)濟(jì)改革。

文心一言

“管仲治齊”和“商鞅變法”的共同點(diǎn)是它們都推行了法家思想，注重法制建設(shè)和經(jīng)濟(jì)改革。

訊飛星火

“管仲治齊”和“商鞅變法”有很多共同點(diǎn)，比如都強(qiáng)調(diào)以法治國(guó)，都有改革措施等。

GPT-4

“管仲治齊”和“商鞅變法”的共同點(diǎn)主要有：加強(qiáng)封建中央集權(quán)，推行法治，重視農(nóng)業(yè)和發(fā)展國(guó)民經(jīng)濟(jì)，實(shí)行嚴(yán)格的軍隊(duì)管理和征兵制度。

GPT3.5

“管仲治齊”和“商鞅變法”都是戰(zhàn)國(guó)時(shí)期改革的代表，致力于國(guó)家的發(fā)展與強(qiáng)大。

問(wèn)題十二

春秋戰(zhàn)國(guó)時(shí)期秦國(guó)在誰(shuí)的治理下變得強(qiáng)盛起來(lái)？

正確答案：秦國(guó)在商鞅/秦穆公的治理下變得強(qiáng)盛起來(lái)。

文心一言

秦國(guó)在商鞅的治理下變得強(qiáng)盛起來(lái)。

訊飛星火

秦國(guó)在秦穆公的治理下變得強(qiáng)盛起來(lái)。

GPT-4

秦國(guó)在商鞅的治理下變得強(qiáng)盛起來(lái)。

GPT3.5

秦國(guó)在秦穆公的治理下變得強(qiáng)盛起來(lái)。

問(wèn)題十三

齊桓公和秦孝公作為春秋時(shí)期的明君，他們的治國(guó)策略有何相似之處？

正確答案：齊桓公和秦孝公作為春秋時(shí)期的明君，他們的治國(guó)策略相似之處包括：重視法治、強(qiáng)化中央集權(quán)、擴(kuò)大國(guó)土、倡導(dǎo)和平共處。

文心一言

齊桓公和秦孝公作為春秋時(shí)期的明君，他們的治國(guó)策略的相似之處在于都推行了改革，注重經(jīng)濟(jì)發(fā)展和國(guó)家實(shí)力提升。

訊飛星火

齊桓公和秦孝公作為春秋時(shí)期的明君，他們的治國(guó)策略相似之處在于都強(qiáng)調(diào)以德治國(guó)。

GPT-4

齊桓公和秦孝公作為春秋時(shí)期的明君，他們的治國(guó)策略相似之處包括：重視法治、強(qiáng)化中央集權(quán)、擴(kuò)大國(guó)土、倡導(dǎo)和平共處。

GPT3.5

齊桓公和秦孝公都推行了改革政策，重用人才，提升國(guó)力，促進(jìn)國(guó)家繁榮。

問(wèn)題十四

歷史上第一次經(jīng)濟(jì)改革是哪個(gè)事件？

正確答案：歷史上第一次經(jīng)濟(jì)改革是管仲改革。

文心一言

歷史上第一次經(jīng)濟(jì)改革是管仲改革。

訊飛星火

歷史上第一次經(jīng)濟(jì)改革是管仲的改革。

GPT-4

歷史上第一次經(jīng)濟(jì)改革通常被認(rèn)為是中國(guó)戰(zhàn)國(guó)時(shí)期的商鞅變法。

GPT3.5

歷史上第一次經(jīng)濟(jì)改革是商鞅變法，發(fā)生在戰(zhàn)國(guó)時(shí)期的秦國(guó)。

問(wèn)題十五

哪些國(guó)家參與了不止一次著名戰(zhàn)役？

正確答案：參與了不止一次著名戰(zhàn)役的國(guó)家有晉國(guó)、齊國(guó)、秦國(guó)、楚國(guó)等。

文心一言

參與了不止一次著名戰(zhàn)役的國(guó)家有晉國(guó)、齊國(guó)、秦國(guó)、楚國(guó)等。

訊飛星火

參與了不止一次著名戰(zhàn)役的國(guó)家有晉國(guó)、楚國(guó)、齊國(guó)、秦國(guó)等。

GPT-4

參與過(guò)不止一次著名戰(zhàn)役國(guó)家的例子包括楚國(guó)、秦國(guó)等。

GPT3.5

參與了不止一次著名戰(zhàn)役的國(guó)家包括秦國(guó)、楚國(guó)、趙國(guó)等。

問(wèn)題十六

哪些人物有不止一個(gè)稱號(hào)？

正確答案：不止一個(gè)稱號(hào)的人物例子有：孔子（稱號(hào)：孔子，孔夫子）、老子（稱號(hào)：老子，李耳、太上老君）等。

文心一言

有不止一個(gè)稱號(hào)的人物有姜小白、田文、趙雍等。

訊飛星火

有不止一個(gè)稱號(hào)的人物有孔子（儒家學(xué)派創(chuàng)始人）、荀子（荀況）、韓非子（法家代表人物）等。

GPT-4

不止一個(gè)稱號(hào)的人物例子有：孔子（稱號(hào)：孔子，孔夫子）、老子（稱號(hào)：老子，李耳、太上老君）等。

GPT3.5

有不止一個(gè)稱號(hào)的人物包括孔子（孔夫子、仲尼）、孟子（孟子、孟軻）等。

問(wèn)題十七

著名的春秋五霸分別來(lái)自哪五個(gè)國(guó)家？

正確答案：春秋時(shí)期的五霸分別來(lái)自齊國(guó)、晉國(guó)、秦國(guó)、楚國(guó)和燕國(guó)。

文心一言

著名的春秋五霸分別來(lái)自齊國(guó)、晉國(guó)、楚國(guó)、宋國(guó)、秦國(guó)。

訊飛星火

著名的春秋五霸分別來(lái)自齊桓公、晉文公、楚莊王、吳王闔閭和越王勾踐所在的國(guó)家。

GPT-4

著名的春秋五霸分別來(lái)自齊國(guó)（齊桓公）、晉國(guó)（晉景公）、秦國(guó)（秦穆公）、晉國(guó)（晉文公）、楚國(guó)（楚莊王）。

GPT3.5

春秋時(shí)期的五霸分別來(lái)自齊國(guó)、晉國(guó)、秦國(guó)、楚國(guó)和燕國(guó)。

問(wèn)題十八

孔子是什么學(xué)派的創(chuàng)始人？

正確答案：孔子是儒家學(xué)派的創(chuàng)始人。

文心一言

孔子是儒家學(xué)派的創(chuàng)始人。

訊飛星火

孔子是儒家學(xué)派的創(chuàng)始人。

GPT-4

孔子是儒家學(xué)派的創(chuàng)始人。

GPT3.5

孔子是儒家學(xué)派的創(chuàng)始人。

問(wèn)題十九

孔子的弟子中有誰(shuí)在晉國(guó)擔(dān)任過(guò)帝師？

正確答案：子夏在晉國(guó)擔(dān)任過(guò)帝師。

文心一言

孔子的弟子中在晉國(guó)擔(dān)任過(guò)帝師的是端木賜。

訊飛星火

孔子的弟子中有曾子在晉國(guó)擔(dān)任過(guò)帝師。

GPT-4

孔子的弟子子夏（字：卜商）在晉國(guó)擔(dān)任過(guò)帝師。

GPT3.5

孔子的弟子子貢曾在晉國(guó)擔(dān)任過(guò)帝師。

問(wèn)題二十

春秋戰(zhàn)國(guó)時(shí)期的"春秋五霸"中，誰(shuí)是最后一個(gè)被稱為"霸"的國(guó)君？

正確答案：春秋戰(zhàn)國(guó)時(shí)期的"春秋五霸"中，最后一位被稱為"霸"的國(guó)君是越王勾踐/楚莊王。

文心一言

春秋戰(zhàn)國(guó)時(shí)期的"春秋五霸"中，最后一位被稱為"霸"的國(guó)君是越王勾踐。

訊飛星火

春秋五霸中最后一個(gè)被稱為“霸”的國(guó)君是越王勾踐。

GPT-4

春秋戰(zhàn)國(guó)時(shí)期的"春秋五霸"中，楚莊王（春秋末期）是最后一個(gè)被稱為"霸"的國(guó)君。

GPT3.5

春秋戰(zhàn)國(guó)時(shí)期的“春秋五霸”中，最后一個(gè)被稱為“霸”的國(guó)君是韓國(guó)的韓昭侯。

歡迎關(guān)注微軟 ATP 官方賬號(hào)

微軟 ATP 一手資訊搶先了解

點(diǎn)擊“閱讀原文” | 了解更多 AI 賦能案例文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-734681.html