本文是知識(shí)圖譜系列相關(guān)的文章,針對(duì)《Generated Knowledge Prompting for Commonsense Reasoning》的翻譯。
摘要
結(jié)合外部知識(shí)是否有利于常識(shí)推理,同時(shí)保持預(yù)訓(xùn)練序列模型的靈活性,這仍然是一個(gè)懸而未決的問(wèn)題。為了研究這個(gè)問(wèn)題,我們開(kāi)發(fā)了生成知識(shí)提示,它包括從語(yǔ)言模型中生成知識(shí),然后在回答問(wèn)題時(shí)提供知識(shí)作為額外輸入。我們的方法不需要對(duì)知識(shí)集成進(jìn)行特定任務(wù)的監(jiān)督,也不需要訪(fǎng)問(wèn)結(jié)構(gòu)化的知識(shí)庫(kù),但它提高了大規(guī)模、最先進(jìn)的模型在四個(gè)常識(shí)推理任務(wù)上的性能,在數(shù)值常識(shí)(NumerSense)、一般常識(shí)(CommonsenseQA 2.0)和科學(xué)常識(shí)(QASC)基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的結(jié)果。生成的知識(shí)提示突出了大規(guī)模語(yǔ)言模型作為外部知識(shí)的靈活來(lái)源,以改進(jìn)常識(shí)推理。我們的代碼可在github.com/liujch1998/GKP上獲得。文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-688609.html
1 引言
2 生成知識(shí)提示
3 實(shí)驗(yàn)設(shè)置
4 實(shí)驗(yàn)結(jié)果
5 相關(guān)工作
6 結(jié)論
我們介紹了生成知識(shí)提示,這是一種從語(yǔ)言模型中引出和整合知識(shí)的簡(jiǎn)單方法,可以提高常識(shí)推理任務(wù)的性能。特別是,我們通過(guò)提示一個(gè)語(yǔ)言模型來(lái)生成知識(shí)陳述,該模型具有特定任務(wù)的、人性化的、小樣本的問(wèn)題知識(shí)對(duì)演示。我們表明,只需在推理時(shí)插入知識(shí),就可以對(duì)知識(shí)進(jìn)行集成,而無(wú)需對(duì)知識(shí)集成模型進(jìn)行微調(diào)。我們的方法在多個(gè)數(shù)據(jù)集上顯示了有效性,在三個(gè)常識(shí)性推理任務(wù)上設(shè)置了新的技術(shù)狀態(tài),并在各種設(shè)置下工作。該方法的成功突出了語(yǔ)言模型作為常識(shí)推理的靈活、高質(zhì)量知識(shí)的來(lái)源。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-688609.html
到了這里,關(guān)于Generated Knowledge Prompting for Commonsense Reasoning的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!