微軟亞洲研究院、中國(guó)科學(xué)院自動(dòng)化研究所、中國(guó)科學(xué)技術(shù)大學(xué)和卡內(nèi)基梅隆大學(xué)聯(lián)合開源了，用于評(píng)估、分析大語(yǔ)言模型的統(tǒng)一測(cè)試平臺(tái)——PromptBench。
Prompt Bench支持目前主流的開源、閉源大語(yǔ)言模型，例如，ChatGPT、GPT-4、Phi、Llma1/2、Gemini、Baichuan、Yi 等。
PromptBench內(nèi)置了豐富的評(píng)估工具，包括提示構(gòu)建、提示工程、數(shù)據(jù)集和模型、對(duì)抗性提示攻擊、性能評(píng)測(cè)等。用戶可以根據(jù)實(shí)際開發(fā)情況靈活配置，非常簡(jiǎn)單高效。
開源地址：https://github.com/microsoft/promptbench
論文地址：https://arxiv.org/abs/2312.07910
對(duì)大型語(yǔ)言模型進(jìn)行評(píng)估、分析是理解其真實(shí)輸出、減少潛在風(fēng)險(xiǎn)的重要開發(fā)環(huán)節(jié)。
研究人員表示，目前多數(shù)大型語(yǔ)言模型對(duì)文本提示非常敏感，容易受到對(duì)抗性提示攻擊，同時(shí)易受到數(shù)據(jù)污染的影響，這給安全和隱私帶來(lái)了巨大挑戰(zhàn)。
雖然有很多類似lm-eval-harness的評(píng)估框架，但其評(píng)估模塊和功能較少，無(wú)法滿足飛速發(fā)展的大語(yǔ)言模型領(lǐng)域。
所以，微軟等研究人員希望開發(fā)一個(gè)統(tǒng)一的評(píng)估平臺(tái)，幫助開發(fā)者提升測(cè)試效率，同時(shí)減少大模型的非法內(nèi)容輸出。
PromptBench簡(jiǎn)單介紹
PromptBench可以從多個(gè)維度對(duì)大語(yǔ)言模型進(jìn)行評(píng)估，涵蓋多個(gè)任務(wù)、評(píng)估協(xié)議、對(duì)抗性提示攻擊和提示工程技術(shù)、數(shù)據(jù)集等。
評(píng)估協(xié)議是PromptBench的核心模塊之一，主要定義了評(píng)估大語(yǔ)言模型性能的方法和流程。
PromptBench支持多種評(píng)估協(xié)議，包括靜態(tài)評(píng)估和動(dòng)態(tài)評(píng)估。靜態(tài)評(píng)估是，通過提供預(yù)定義的提示來(lái)測(cè)試大語(yǔ)言模型的性能；
動(dòng)態(tài)評(píng)估，則允許在交互過程中動(dòng)態(tài)生成和修改提示。這種靈活性使研究人員能夠更全面地評(píng)估大語(yǔ)言模型的能力和魯棒性。
對(duì)抗性提示攻擊，是評(píng)估大語(yǔ)言模型安全性的重要方法之一。PromptBench提供了多種對(duì)抗性提示攻擊的測(cè)試方法，包括，字符級(jí)修改、詞級(jí)替換、句級(jí)添加和語(yǔ)義級(jí)改寫等攻擊。有效模擬了提示使用中可能遇到的各類偏差情況,檢驗(yàn)了模型的攻擊魯棒性。
數(shù)據(jù)集是評(píng)估大語(yǔ)言模型性能的關(guān)鍵部分。PromptBench提供了20多個(gè)公開的評(píng)估數(shù)據(jù)集，涵蓋了文本分類、語(yǔ)法糾錯(cuò)、句子相似度判定、自然語(yǔ)言推理、多任務(wù)問答、閱讀理解、翻譯、數(shù)學(xué)推理、邏輯推理等，可以充分測(cè)試大語(yǔ)言模型在不同場(chǎng)景下的表現(xiàn)和能力。
支持哪些大語(yǔ)言模型
PromptBench支持目前市面上主流的開源、閉源大語(yǔ)言模型，包括Flan-T5-large、Dolly系列、Cerebras-13B 、Llama系列、Vicuna 、GPT-NEOX；
Flan-UL2、Phi 、PaLM 2、ChatGPT、GPT-4、Gemini、Mistral、Mixtral、Baichuan、Yi等。
研究人員表示，未來(lái)會(huì)持續(xù)更新對(duì)大語(yǔ)言模型的支持，將打造成一個(gè)涵蓋模型最多、評(píng)估功能最全的統(tǒng)一測(cè)試平臺(tái)。
本文素材來(lái)源PromptBench論文，如有侵權(quán)請(qǐng)聯(lián)系刪除文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-813066.html
END文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-813066.html
到了這里，關(guān)于微軟等開源評(píng)估ChatGPT、Phi、Llma等，統(tǒng)一測(cè)試平臺(tái)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
