1. 文章簡(jiǎn)介
- 標(biāo)題：OpenPrompt: An Open-source Framework for Prompt-learning
- 作者：Ning Ding, Shengding Hu, Weilin Zhao, Yulin Chen, Zhiyuan Liu, Hai-Tao Zheng, Maosong Sun
- 日期：2022
- 期刊：ACL
2. 文章概括
??文章介紹了一種開源的工具OpenPrompt，該工具將prompt-learning的一些操作進(jìn)行封裝處理，設(shè)計(jì)成為一種用戶友好的開源三方庫，使用起來非常方便。
??OpenPrompt使用的基本方法為
3 文章重點(diǎn)技術(shù)
- PLMs：文章支持Huggingface transformers上的PLMs（預(yù)訓(xùn)練模型），開發(fā)者可通過下述操作直接加載PLMs:
from openprompt.plms import load_plm
plm, tokenizer, model_config, WrapperClass = load_plm("bert", path_to_bert)
- 預(yù)訓(xùn)練模型PLMs：文章支持Huggingface transformers上的PLMs（預(yù)訓(xùn)練模型），開發(fā)者可通過下述操作直接加載PLMs:
from openprompt.plms import load_plm
plm, tokenizer, model_config, WrapperClass = load_plm("bert", path_to_bert)
- 分詞Tokenization：文章特別設(shè)計(jì)了針對(duì)prompt learning的分詞模塊，可以自動(dòng)選擇合適的分詞器，從而簡(jiǎn)化用戶操作。分詞器通過上述代碼直接加載
- 模板Templates：Templates將原始文本和軟編碼或是硬編碼（文本）template結(jié)合，一般來說會(huì)包含上下文相關(guān)的token和掩碼token。OpenPrompt接受用Python中的字典語法編寫的template：
from openprompt.prompts import ManualTemplate
promptTemplate = ManualTemplate(
text = '{"placeholder":"text_a"} It was {"mask"}',
tokenizer = tokenizer,
)
文章給出了一些常用的templates的示例，見下表
- 言語化Verbalizer：Verbalizer將原始的標(biāo)簽映射到詞表中的label words，文章接受手動(dòng)設(shè)計(jì)Verbalizer或直接調(diào)用AutomaticVerbalizer/SoftVerbalizer/…等API自帶的verbalizer方法。下面為一個(gè)手動(dòng)設(shè)計(jì)verbalizer的示例：
from openprompt.prompts import ManualVerbalizer
promptVerbalizer = ManualVerbalizer(
classes = classes,
label_words = {
"negative": ["bad"],
"positive": ["good", "wonderful", "great"],
},
tokenizer = tokenizer,
)
- PromptModel：OpenPrompt使用
PromptModel模塊來用于訓(xùn)練和推理，用戶只需把上述template\ Verbalizer\ PLMs結(jié)合在一起即可以完成此步驟：
from openprompt import PromptForClassification
promptModel = PromptForClassification(
template = promptTemplate,
plm = plm,
verbalizer = promptVerbalizer,
4. 文章亮點(diǎn)
??文章給出了開源工具OpenPrompt，將Prompt learning中涉及到的一些基本操作進(jìn)行封裝，形成了一個(gè)方便的pipeline。用戶只需安裝openprompt三方庫并下載一個(gè)PLM，就可以進(jìn)行簡(jiǎn)單的prompt learning了～文章來源：http://www.zghlxwxcb.cn/news/detail-580594.html
5. 原文傳送門
OpenPrompt: An Open-source Framework for Prompt-learning
源代碼文章來源地址http://www.zghlxwxcb.cn/news/detail-580594.html
到了這里，關(guān)于論文筆記--OpenPrompt: An Open-source Framework for Prompt-learning的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[論文筆記] In Search of an Understandable Consensus Algorithm (Extended Version)](https://imgs.yssmx.com/Uploads/2024/02/434538-1.png)
