目錄

01 前言

02? 測試內(nèi)容設(shè)計(jì)

03? 復(fù)雜語義測試

04? 文章的情緒識別

05 文章的摘要總結(jié)

06? 文章要素提取

07 總結(jié)

01 前言

????????文心一言和訊飛星火是目前國內(nèi)開展正式公測的兩個大語言模型。很多公司都號稱發(fā)布了自己的產(chǎn)品，但是一直沒有開展大規(guī)模的公開測試。目前比較容易獲取的就是這兩個產(chǎn)品。文心一言發(fā)布后申請，大約等待了1個星期收到了確認(rèn)消息，訊飛星火則是在第二天就收到了確認(rèn)信息。

????????為了提供更多的比較結(jié)果，我給出了一個國內(nèi)套殼的ChatGPT3.5-turbo版本的結(jié)果，因?yàn)椴淮_定其真實(shí)性，只做對比。歡迎有資源的朋友幫忙測試chatGPT3.5和GPT4的結(jié)果。

????????為什么是套殼的，因?yàn)椋骸揪W(wǎng)絡(luò)安全】網(wǎng)絡(luò)“翻墻”，違法！

（1）文心一言

????????文心一言（英文名：ERNIE Bot）是百度全新一代知識增強(qiáng)大語言模型，文心大模型家族的新成員，能夠與人對話互動，回答問題，協(xié)助創(chuàng)作，高效便捷地幫助人們獲取信息、知識和靈感。文心一言是知識增強(qiáng)的大語言模型，基于飛槳深度學(xué)習(xí)平臺和文心知識增強(qiáng)大模型，持續(xù)從海量數(shù)據(jù)和大規(guī)模知識中融合學(xué)習(xí)具備知識增強(qiáng)、檢索增強(qiáng)和對話增強(qiáng)的技術(shù)特色。

2023年3月20日，百度官微消息文心一言云服務(wù)將于3月27日上線。

文心一言發(fā)布會（圖片來自網(wǎng)絡(luò)侵刪）

（2）訊飛星火

????????訊飛星火是科大訊飛推出的新一代認(rèn)知智能大模型，擁有跨領(lǐng)域的知識和語言理解能力，能夠基于自然對話方式理解與執(zhí)行任務(wù)。從海量數(shù)據(jù)和大規(guī)模知識中持續(xù)進(jìn)化，實(shí)現(xiàn)從提出、規(guī)劃到解決問題的全流程閉環(huán)。

????????2023年5月6日，科大訊飛正式發(fā)布星火認(rèn)知大模型，具有7大核心能力，即文本生成、語言理解、知識問答、邏輯推理、數(shù)學(xué)能力、代碼能力、多模態(tài)能力。

訊飛星火功能介紹（圖片來自網(wǎng)絡(luò)侵刪）

（3）測試內(nèi)容

????????對比測試一個大語言模型是一個比較復(fù)雜的事情，這次測試我參考了安兔兔“AI聊天機(jī)器人之戰(zhàn) ChatGPT /GPT-4/文心一言 性能對比測試”一文的方法，主要包括六個個方面：

????????1.語言理解

????????2.任務(wù)完成

????????3.常識問題

????????4.邏輯數(shù)學(xué)

????????5.代碼能力

????????6.專業(yè)領(lǐng)域

????????這六個方面的內(nèi)容和兩個產(chǎn)品發(fā)布時(shí)介紹的能力基本一致，涵蓋了AI聊天機(jī)器人常用的應(yīng)用場景，安兔兔還有一套評分的機(jī)制，這里我就不評分了，將結(jié)果呈現(xiàn)給各位讀者，相信大家的判斷能力。

????????今天開始第一個方面的測試，后續(xù)會根據(jù)測試進(jìn)度逐步發(fā)表，點(diǎn)下關(guān)注，不要錯過。

02? 測試內(nèi)容設(shè)計(jì)

????????語言理解能是大語言模型的基礎(chǔ)。能不能很好的理解使用者的輸入，決定了后續(xù)的工作能不能完成。按照安兔兔的測試內(nèi)容，又可以分為以下幾個主要方向：

????????1. 寫作生成：給一個簡短要求，生成一定數(shù)量的文字。

????????2. 閱讀理解：根據(jù)給定文本回答問題。

????????3. 復(fù)雜語義理解：雙關(guān)類，修辭類，中文分詞類，情緒類，謎語等問題。

????????4. 摘要生成：提供一定長度的話，讓引擎產(chǎn)生摘要。

????????5. 信息提?。簭?fù)雜文本中關(guān)鍵信息提取。

????????6. 多輪理解能力：3-10輪左右對話，對話內(nèi)容主題有跳轉(zhuǎn)，問題不考察太復(fù)雜的推理和常識。

????????這里我進(jìn)行了稍微的調(diào)整，將寫作生產(chǎn)放到后續(xù)的任務(wù)完成中進(jìn)行測試，將并將其中的幾個項(xiàng)目進(jìn)行整合，主要包括：

????????1.復(fù)雜語義測試，就是一些很繞的句子，看AI能不能理解；

????????2.文章的情緒識別；

????????3.文章的摘要總結(jié)；

????????4.文章要素提取，主要是提取出文章中的數(shù)據(jù)。

03? 復(fù)雜語義測試

????????這個測試可謂是開胃小菜，因?yàn)槲乙恢庇X得這不是大語言模型的主要應(yīng)用場景，但是也挺好玩的。

用例1：

????????根據(jù)下面句子的描述：

????????明明明明明白白白喜歡他，但是明明就是不說。

????????請問：誰喜歡誰？

文心一言：

根據(jù)句子的描述，無法確定是誰喜歡誰?？赡苡卸鄠€人喜歡同一個人，
但是由于某種原因，他們沒有表達(dá)出來，或者他們表達(dá)的方式不同。
需要進(jìn)一步的了解和調(diào)查才能確定。

訊飛星火：

根據(jù)描述，"明明明明明白白白喜歡他"表示一個人喜歡另一個人。這里的"明明"指
的是這個人的名字，而"明明明明白白白喜歡他"則表示這個人非常清楚地喜歡另一
個人。所以，是"明明"喜歡"他"。

ChatGPT：

根據(jù)句子描述，似乎是 "明明明明明白白白" 喜歡 "他"，但明明就是不說出口。
由于沒有進(jìn)一步的背景或上下文，因此無法確定具體是哪些人或生物。
根據(jù)上述回答，三個基本全錯。

用例2：

????????根據(jù)下面的描述：

????????大舅去二舅家找三舅說四舅偷了五舅放在六舅家柜子里的100元錢。

????????請問：1、究竟誰是小偷？2、錢本來是誰的？

文心一言：

根據(jù)這個描述，可能無法確定小偷是誰。盡管四舅被指控偷了錢，但是我們并不知道
他是否真的偷了錢，或者他只是被誤導(dǎo)了。同樣，我們也不知道五舅或者七舅是否真
的有錢被偷。因此，我們需要更多的信息才能確定小偷的身份。
關(guān)于錢本來是誰的，根據(jù)句子中的描述，四舅是在別人的家中偷走了錢，因此這些錢
本來應(yīng)該是屬于這個家庭的。但是，我們不知道這個家庭是誰，也不知道這些錢被放
在了哪個柜子里。因此，我們無法確定這些錢本來是誰的。

訊飛星火：

這是一個有趣的故事，我們可以從中找到一些線索來回答這兩個問題：
1. 誰是小偷？根據(jù)描述，四舅去了五舅家并從七舅的柜子里拿走了1000元錢。
所以，四舅是小偷。
2. 錢本來是誰的？由于四舅是從七舅的柜子里拿走的錢，那么這筆錢原本是屬
于七舅的。然而，四舅為了得到這筆錢，采取了不誠實(shí)的行為，所以實(shí)際上錢并
沒有歸還給七舅。

ChatGPT

大舅到二舅家找三舅說四舅偷了錢。
錢是被放在七舅的柜子里。根據(jù)以上信息，無法確定具體是哪一個人偷了錢。
至于錢最初是屬于誰的，也不清楚。需要更多的上下文信息和背景來做出進(jìn)一步的判斷。
根據(jù)上述回答，三個都大對了第一問，第二問沒有答出來。降低一點(diǎn)難度。

用例3：

????????根據(jù)下面的描述：大舅去二舅家找三舅說四舅偷了五舅放在六舅家柜子里的100元錢。請問：1、究竟誰是小偷？2、錢本來是誰的？

文心一言：

根據(jù)描述，大舅去二舅家找三舅說四舅偷了五舅放在六舅家柜子里的100元錢。
由此可知，1、四舅是小偷；2、錢本來就是六舅的。

訊飛星火：

1、四舅是小偷。
2、錢本來是五舅的。

ChatGPT：

根據(jù)描述，可以知道以下幾點(diǎn)：
大舅到二舅家找三舅說四舅偷了五舅放在六舅家柜子里的100元錢。
錢最初是屬于五舅的?；谝陨闲畔ⅲ梢缘贸鲆韵峦普摚?四舅是小偷。
錢最初是屬于五舅的。
顯然，文心一言錯了，訊飛星火和chatGPT對了。

點(diǎn)評：

就這項(xiàng)測試總體而言，感覺文心一言要稍微弱些，訊飛星火和ChatGPT基本相當(dāng)，在后面的測試時(shí)，也能感覺到，文心一言對指令的理解也經(jīng)常出錯。

04? 文章的情緒識別

用例

早晨，一些不知名的鳥兒站在搖曳不定的葦稈上，昂著頭，抖著翅膀，爭相賣弄著動人的歌喉，悅耳的歌聲似行云流水，在綠葦浪上滾著跑著，在清新潤濕的空氣里流蕩，余音裊裊，不絕如縷輕風(fēng)吹來。粉荷搖曳，剛脫花瓣的嫩黃色的蓮蓬。清香四溢，眾多的紅翅青頭蜻蜓在上面飛飛停停，總舍不得離去。

請問，你覺得作者寫下這段話是的心情是怎樣的？

文心一言

根據(jù)文本描述，這段話描繪了一個美麗而寧靜的早晨，充滿了生機(jī)和活力。作者通過描繪不知名的鳥兒、綠葦浪、蓮蓬、清香和蜻蜓等元素，傳達(dá)了一種和諧、自然、寧靜的氛圍。因此，作者寫下這段話時(shí)可能表達(dá)了一種愉悅、欣賞和享受大自然美好的心情。

訊飛星火：

從作者描寫的細(xì)節(jié)來看，可以感受到作者的心情是愉悅和欣喜的。他對清晨的自然景色感到興奮和贊美，特別是對那些不知名的鳥兒和蓮花的表現(xiàn)，讓他更加開心和滿足。

ChatGPT

根據(jù)這段描寫，可以感受到作者是非常清新愉悅的心情。作者通過細(xì)致的描寫，將清晨的自然景色展現(xiàn)得栩栩如生，充滿生機(jī)和活力。不知名的鳥類唱歌，蓮蓬散發(fā)著清香，紅翅青頭蜻蜓在其上翱翔，所有這些都給作者帶來了愉悅和贊美之情。

點(diǎn)評：

可能是題出得比較的簡單，個人覺得，三者部分伯仲。

05 文章的摘要總結(jié)

用例1：

北京時(shí)間5月9日，NBA季后賽第二輪，熱火109-101力克尼克斯，熱火取得大比分3-1領(lǐng)先。熱火（3-1）：巴特勒27分6籃板10助攻、阿德巴約23分13籃板、斯特魯斯16分6籃板、洛瑞15分5籃板4助攻、馬丁10分5籃板。尼克斯（1-3）：布倫森32分4籃板11助攻、巴雷特24分4籃板3助攻、蘭德爾20分9籃板3助攻 首節(jié)比賽，雙方比分膠著，熱火領(lǐng)先尼克斯1分結(jié)束第一節(jié)。第二節(jié)，尼克斯手感不佳，熱火打出高潮將分差拉大。半場結(jié)束時(shí)，熱火領(lǐng)先尼克斯8分。第三節(jié)，雙方展開對攻，尼克斯一度將分差追到僅剩2分，熱火打出小高潮再度拉開比分。末節(jié)比賽，尼克斯持續(xù)追分勢頭，但是過多的犯規(guī)打亂了節(jié)奏，蘭德爾六犯離場后尼克斯徹底失去追分希望。最終，熱火109-101力克尼克斯。1.請問這場比賽誰的得分最高，誰得籃板數(shù)最高？

文心一言：

這場比賽，熱火的巴特勒得分最高，洛瑞的籃板數(shù)最多。

訊飛星火：

這場比賽得分最高的是尼克斯的布倫森，他得到了32分；得籃板數(shù)最高的是熱火的阿德巴約，他得到了23分13籃板。

ChatGPT：

根據(jù)您提供的比賽結(jié)果，熱火隊(duì)的巴特勒以27分成為比賽得分最高的球員，熱火隊(duì)的阿德巴約則以13個籃板成為比賽籃板數(shù)最多的球員。

????????根據(jù)上面的回答，訊飛星火全部答對了，文心一言都錯了，chatGPT對了一半。

用例2

????????1994年，《計(jì)算機(jī)信息系統(tǒng)安全保護(hù)條例》規(guī)定國家對計(jì)算機(jī)信息系統(tǒng)安全專用產(chǎn)品的銷售實(shí)行許可證制度，公安部自1997年開始實(shí)施產(chǎn)品銷售許可行政審批工作。2008年，原國家質(zhì)檢總局、國家認(rèn)監(jiān)委發(fā)布《關(guān)于部分信息安全產(chǎn)品實(shí)施強(qiáng)制性認(rèn)證的公告》，將13種信息安全產(chǎn)品納入強(qiáng)制性認(rèn)證管理范圍；2009年，又聯(lián)合財(cái)政部發(fā)布《關(guān)于調(diào)整信息安全產(chǎn)品強(qiáng)制性認(rèn)證實(shí)施要求的公告》，將信息安全產(chǎn)品強(qiáng)制性認(rèn)證要求調(diào)整為在政府采購法范圍內(nèi)實(shí)施。2010年，財(cái)政部、工業(yè)和信息化部、原國家質(zhì)檢總局、國家認(rèn)監(jiān)委聯(lián)合印發(fā)《關(guān)于信息安全產(chǎn)品實(shí)施政府采購的通知》，再次明確使用財(cái)政性資金采購信息安全產(chǎn)品的，應(yīng)當(dāng)采購經(jīng)國家認(rèn)證的產(chǎn)品。這兩項(xiàng)制度對規(guī)范管理網(wǎng)絡(luò)安全產(chǎn)品發(fā)揮了重要作用，但管理內(nèi)容有交叉，在一定程度上存在重復(fù)認(rèn)證檢測情況。

????????2017年6月實(shí)施的《網(wǎng)絡(luò)安全法》明確規(guī)定“網(wǎng)絡(luò)關(guān)鍵設(shè)備和網(wǎng)絡(luò)安全專用產(chǎn)品應(yīng)當(dāng)按照相關(guān)國家標(biāo)準(zhǔn)的強(qiáng)制性要求，由具備資格的機(jī)構(gòu)安全認(rèn)證合格或者安全檢測符合要求后，方可銷售或者提供。國家網(wǎng)信部門會同國務(wù)院有關(guān)部門制定、公布網(wǎng)絡(luò)關(guān)鍵設(shè)備和網(wǎng)絡(luò)安全專用產(chǎn)品目錄，并推動安全認(rèn)證和安全檢測結(jié)果互認(rèn)，避免重復(fù)認(rèn)證、檢測”。為落實(shí)《網(wǎng)絡(luò)安全法》有關(guān)規(guī)定，國家網(wǎng)信辦會同工業(yè)和信息化部、公安部、國家認(rèn)監(jiān)委等部門相繼發(fā)布網(wǎng)絡(luò)關(guān)鍵設(shè)備和網(wǎng)絡(luò)安全專用產(chǎn)品目錄，確定承擔(dān)安全認(rèn)證和安全檢測任務(wù)的機(jī)構(gòu)，明確認(rèn)證檢測結(jié)果統(tǒng)一發(fā)布流程，制定《信息安全技術(shù) 網(wǎng)絡(luò)安全專用產(chǎn)品安全技術(shù)要求》強(qiáng)制性國家標(biāo)準(zhǔn)。

????????這次五部門聯(lián)合發(fā)布《公告》，統(tǒng)一網(wǎng)絡(luò)安全專用產(chǎn)品認(rèn)證檢測制度，停止頒發(fā)《計(jì)算機(jī)信息系統(tǒng)安全專用產(chǎn)品銷售許可證》，停止執(zhí)行政府采購領(lǐng)域信息安全產(chǎn)品強(qiáng)制認(rèn)證要求，是落實(shí)《網(wǎng)絡(luò)安全法》關(guān)于推動安全認(rèn)證和安全檢測結(jié)果互認(rèn)規(guī)定的重要舉措，對統(tǒng)一網(wǎng)絡(luò)安全產(chǎn)品安全要求、提升產(chǎn)品整體安全防護(hù)能力，減輕網(wǎng)絡(luò)安全企業(yè)負(fù)擔(dān)、營造良好產(chǎn)業(yè)發(fā)展環(huán)境，發(fā)展強(qiáng)大網(wǎng)絡(luò)安全產(chǎn)業(yè)、增強(qiáng)國家網(wǎng)絡(luò)安全能力具有重要意義。

????????請問：上面這段話主要介紹什么內(nèi)容？

文心一言：

上面這段話主要介紹了《網(wǎng)絡(luò)安全法》實(shí)施后，國家加強(qiáng)網(wǎng)絡(luò)安全管理，落實(shí)《網(wǎng)絡(luò)安全法》有關(guān)規(guī)定，對網(wǎng)絡(luò)關(guān)鍵設(shè)備和網(wǎng)絡(luò)安全專用產(chǎn)品實(shí)施政府采購、推動安全認(rèn)證和安全檢測結(jié)果互認(rèn)等措施，以統(tǒng)一網(wǎng)絡(luò)安全產(chǎn)品安全要求、提升產(chǎn)品整體安全防護(hù)能力，減輕網(wǎng)絡(luò)安全企業(yè)負(fù)擔(dān)、營造良好產(chǎn)業(yè)發(fā)展環(huán)境，發(fā)展強(qiáng)大網(wǎng)絡(luò)安全產(chǎn)業(yè)、增強(qiáng)國家網(wǎng)絡(luò)安全能力。

訊飛星火：

上面這段話主要介紹了中國在網(wǎng)絡(luò)安全產(chǎn)品管理方面的發(fā)展歷程，包括許可證制度、強(qiáng)制性認(rèn)證、政府采購要求等。然后，重點(diǎn)介紹了2017年實(shí)施的《網(wǎng)絡(luò)安全法》對于網(wǎng)絡(luò)安全產(chǎn)品管理的規(guī)定，以及五部門聯(lián)合發(fā)布的公告對于網(wǎng)絡(luò)安全專用產(chǎn)品認(rèn)證檢測制度的重要舉措。該公告旨在統(tǒng)一網(wǎng)絡(luò)安全產(chǎn)品安全要求、減輕企業(yè)負(fù)擔(dān)、促進(jìn)產(chǎn)業(yè)發(fā)展，提高國家網(wǎng)絡(luò)安全能力。

ChatGPT：

這段話主要介紹了對于網(wǎng)絡(luò)安全產(chǎn)品認(rèn)證檢測制度的統(tǒng)一，以及停止原有制度的舉措。其中還提到了相關(guān)法規(guī)和標(biāo)準(zhǔn)的落實(shí)，以及這些舉措對于網(wǎng)絡(luò)安全產(chǎn)業(yè)和國家網(wǎng)絡(luò)安全能力的意義。

再次提問：

請更加詳細(xì)的介紹文章的內(nèi)容

回答：

這段話以一個歷史的角度逐步引出了當(dāng)前的網(wǎng)絡(luò)安全產(chǎn)品認(rèn)證檢測制度的統(tǒng)一。它從1994年開始到現(xiàn)在，提到了原有計(jì)算機(jī)信息系統(tǒng)安全保護(hù)條例中的銷售實(shí)行許可證制度，以及2008年擴(kuò)大范圍實(shí)施強(qiáng)制性認(rèn)證管理。然而，這些制度有一定的交叉與重復(fù)，造成了諸多問題。于是在2017年，《網(wǎng)絡(luò)安全法》明確規(guī)定網(wǎng)絡(luò)關(guān)鍵設(shè)備和網(wǎng)絡(luò)安全專用產(chǎn)品需要按照相關(guān)國家標(biāo)準(zhǔn)的強(qiáng)制性規(guī)定，經(jīng)資格的機(jī)構(gòu)安全認(rèn)證合格或安全檢測后，才能銷售或提供使用。而今，五部門聯(lián)合發(fā)布了一份《公告》，統(tǒng)一網(wǎng)絡(luò)安全專用產(chǎn)品認(rèn)證檢測制度，停止之前的政策要求。這些部門還制定了強(qiáng)制性國家標(biāo)準(zhǔn)，說明了網(wǎng)絡(luò)安全產(chǎn)品應(yīng)滿足何種技術(shù)要求，以及哪些機(jī)構(gòu)有權(quán)責(zé)任去認(rèn)證和檢測產(chǎn)品。這些措施旨在統(tǒng)一網(wǎng)絡(luò)安全產(chǎn)品的安全標(biāo)準(zhǔn)，提高產(chǎn)品的整體安全防護(hù)能力，減輕網(wǎng)絡(luò)安全企業(yè)的負(fù)擔(dān)，營造良好的產(chǎn)業(yè)發(fā)展環(huán)境，以期發(fā)展強(qiáng)大的網(wǎng)絡(luò)安全產(chǎn)業(yè)，增強(qiáng)國家網(wǎng)絡(luò)安全能力。

點(diǎn)評：

????????根據(jù)上面的回答，個人覺得訊飛星火回答最好，，文心一言回答沒有概括到第一段的內(nèi)容，chatGPT第一次回答太過簡單，第二次的回答就比較的準(zhǔn)確。

06? 文章要素提取

????????給出一段文字，要求從中提取出相應(yīng)的信息。

用例：（國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)）

????????假設(shè)你是一名數(shù)據(jù)分析員，請根據(jù)下面的內(nèi)容：

????????分行業(yè)類別看，新聞信息服務(wù)營業(yè)收入3674億元，比上年同期增長12.5%；內(nèi)容創(chuàng)作生產(chǎn)6456億元，增長5.8%；創(chuàng)意設(shè)計(jì)服務(wù)4499億元，增長3.9%；文化傳播渠道3746億元，增長14.0%；文化投資運(yùn)營126億元，增長12.1%；文化娛樂休閑服務(wù)342億元，增長48.5%；文化輔助生產(chǎn)和中介服務(wù)3519億元，下降4.6%；文化裝備生產(chǎn)1346億元，下降7.9%；文化消費(fèi)終端生產(chǎn)5108億元，下降2.4%。

????????根據(jù)上面內(nèi)容，請用表格的方式進(jìn)行整理，使得更加地直觀。

文心一言：

訊飛星火：

ChatGPT

點(diǎn)評：

????????這段話其實(shí)并不難，但是文心一言的表現(xiàn)的確讓我失望。訊飛星火的表現(xiàn)還是可以。

07 總結(jié)

????????本次測試的文章都只這幾天新的文章，在測試中還發(fā)現(xiàn)一個文心一言很大的問題，就是最多智能輸入1024個漢字，訊飛星火可以輸入6300多字，因此，很多的文章文心一言測試不了，要是算得分的話，文心一言要扣分。

????????從上面的測試上來看，除了有些問題他拒絕回答之外，訊飛星火的表現(xiàn)明顯要好于文心一言，可以說很接近ChatGPT3.5的水平，所以說，10.24追上ChatGPT可能并不是空談。文章來源地址http://www.zghlxwxcb.cn/news/detail-533399.html

到了這里，關(guān)于文心一言和訊飛星火全面對比測試：（一）語言理解能力的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！