夕小瑤科技說(shuō) 原創(chuàng)
作者 | 天于刀刀 Python
當(dāng)前大型語(yǔ)言模型的火爆程度我們不用再進(jìn)行贅述了，伴隨著百度文心一言打響國(guó)內(nèi)商業(yè)大模型第一槍，華為盤(pán)古，阿里通義千問(wèn)，智譜ChatGLM,科大訊飛星火等國(guó)內(nèi)公司紛紛開(kāi)始布局。
另一方面由于眾所周知的政策原因，和如火如荼層出不窮的各個(gè)大模型相比，現(xiàn)在國(guó)內(nèi)AIGC內(nèi)容生成的商業(yè)落地產(chǎn)品則是寥寥無(wú)幾。根據(jù)2023年4月11日國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布的生成式人工智能服務(wù)管理辦法（征求意見(jiàn)稿）：
第四條 提供生成式人工智能產(chǎn)品或服務(wù)應(yīng)當(dāng)遵守法律法規(guī)的要求，尊重社會(huì)公德、公序良俗...?
第五條 利用生成式人工智能產(chǎn)品提供聊天和文本、圖像、聲音生成等服務(wù)的組織和個(gè)人（以下稱“提供者”），包括通過(guò)提供可編程接口等方式支持他人自行生成文本、圖像、聲音等，承擔(dān)該產(chǎn)品生成內(nèi)容生產(chǎn)者的責(zé)任；涉及個(gè)人信息的，承擔(dān)個(gè)人信息處理者的法定責(zé)任，履行個(gè)人信息保護(hù)義務(wù)。
第六條 利用生成式人工智能產(chǎn)品向公眾提供服務(wù)前，應(yīng)當(dāng)按照《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)安全評(píng)估規(guī)定》向國(guó)家網(wǎng)信部門(mén)申報(bào)安全評(píng)估，并按照《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》履行算法備案和變更、注銷(xiāo)備案手續(xù)。
換句話說(shuō)，哪怕是人工智能也得遵守基本法，需要正能量！
這也就意味著，現(xiàn)在行業(yè)中急需一個(gè)專門(mén)用于檢測(cè)漢語(yǔ)大型語(yǔ)言模型道德觀法律觀的評(píng)估方法！
而來(lái)自清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系的CoAI小組為我們帶來(lái)了一套系統(tǒng)的安全評(píng)測(cè)框架！他們的工作已經(jīng)整理成論文的形式[1]，并且相關(guān)的公開(kāi)基準(zhǔn)數(shù)據(jù)集也已經(jīng)發(fā)布在 HuggingFace 平臺(tái)[2]。想要進(jìn)一步對(duì)模型進(jìn)行多樣化安全評(píng)測(cè)的團(tuán)隊(duì)和個(gè)人也可以聯(lián)系CoAI團(tuán)隊(duì)[3][4]，在隱藏測(cè)評(píng)數(shù)據(jù)上進(jìn)行測(cè)試。
該團(tuán)隊(duì)的一個(gè)主要貢獻(xiàn)是設(shè)計(jì)和總結(jié)了一個(gè)較為完備的安全分類(lèi)體系：
8種典型安全場(chǎng)景和6種指令攻擊的安全場(chǎng)景。
下圖展示了截至目前在公開(kāi)測(cè)試集上安全性能前10名的模型 leaderboard。
我們可以看到一些商用的大模型，如文心一言和通義千問(wèn)并沒(méi)有參加測(cè)試，因此并沒(méi)有上榜。這可能是因?yàn)樽髡邎F(tuán)隊(duì)時(shí)間有限導(dǎo)致的。
不過(guò)由于大模型生成內(nèi)容的隨機(jī)性，作者團(tuán)隊(duì)設(shè)計(jì)的測(cè)試流程不可避免地會(huì)涉及到一些人工測(cè)評(píng)的工作。這也是當(dāng)前評(píng)估基準(zhǔn)測(cè)試流程的一個(gè)痛點(diǎn)：效率和成本相互沖突。?作者也在論文中提到他們之后會(huì)進(jìn)一步增加更多有挑戰(zhàn)性的攻擊性提示，并且會(huì)進(jìn)一步優(yōu)化評(píng)估流程。
不過(guò)對(duì)于那些急需上線 AIGC 服務(wù)的公司來(lái)說(shuō)，這個(gè)基準(zhǔn)測(cè)試集不失為一個(gè)快速檢驗(yàn)產(chǎn)品能力和局限性的優(yōu)秀資源。想要利用大模型賺錢(qián)的同學(xué)們可千萬(wàn)不要錯(cuò)過(guò)這個(gè)好項(xiàng)目哦。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-456078.html
沖鴨~文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-456078.html
[1]Safety Assessment of Chinese Large Language Models, https://arxiv.org/pdf/2304.10436.pdf
[2]Datasets: thu-coai/Safety-Prompts, https://huggingface.co/datasets/thu-coai/Safety-Prompts
[3]Github: thu-coai/Safety-Prompts, https://github.com/thu-coai/Safety-Prompts
[4]中文大模型安全評(píng)測(cè)平臺(tái), http://coai.cs.tsinghua.edu.cn/leaderboard/
到了這里，關(guān)于清華發(fā)布首個(gè)最全大模型安全評(píng)測(cè)系統(tǒng)，ChatGPT登榜首！的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
