1 模型創(chuàng)新

零樣本信息提?。↖nformation Extraction）旨在從未注釋的文本中構(gòu)建IE系統(tǒng)。由于很少涉及人類干預(yù)，這是一項具有挑戰(zhàn)性的工作。零樣本IE具有挑戰(zhàn)性但值得一提，它減少了數(shù)據(jù)標(biāo)記所需的時間和數(shù)據(jù)標(biāo)注的麻煩

我們使用兩階段框架（ChatIE）將零樣本IE任務(wù)轉(zhuǎn)換為多輪問題解答問題。在三個IE任務(wù)上對我們的框架進(jìn)行了廣泛的評估：

• 實體關(guān)系三重提?。╡ntity–relation triple extract,RE）
• 命名實體識別(name entity-relation,NER)
• 事件提取(event extraction,EE)

在兩種語言的六個數(shù)據(jù)集上的經(jīng)驗結(jié)果表明，ChatIE取得了令人印象深刻的性能。

2 前期調(diào)研

2.1 難以解決的問題

包含多個相關(guān)元素的結(jié)構(gòu)化數(shù)據(jù)很難通過一次性預(yù)測來提取，尤其是對于RE等一些復(fù)雜任務(wù)。以前的工作將這些復(fù)雜任務(wù)分解為不同的部分，并訓(xùn)練幾個模塊來解決每個部分。

• 例如，在RE任務(wù)中，pipline方法PURE首先識別兩個實體，然后預(yù)測它們之間的關(guān)系。然而，在該模型中，需要通過標(biāo)記數(shù)據(jù)進(jìn)行監(jiān)督。此外，Li等人將RE視為一個問答過程，首先提取主題，然后根據(jù)關(guān)系模板提取對象

3 Method

3.1 方法

Zero-shoot任務(wù)轉(zhuǎn)換為具有兩階段框架的多回合問答問題。

• 第一階段，我們的目標(biāo)是找出句子中可能存在的相應(yīng)元素類型。
• 第二階段，我們對階段I中的每個元素類型執(zhí)行鏈?zhǔn)叫畔⑻崛?。每個階段都通過多回合QA過程實現(xiàn)。
  

3.2 數(shù)據(jù)集

3.2.1 RE

NYT11-HRL:包含12種預(yù)定義的關(guān)系類型。

DuIE2.0:業(yè)界最大的基于模式的中文RE數(shù)據(jù)集，包含48種預(yù)定義的關(guān)系類型

3.2.2 NER

conll2003:包含4種實體類型

MSRA:是一個以中文命名的新聞領(lǐng)域?qū)嶓w識別數(shù)據(jù)集，包含3種實體類型

3.2.3 EE

DuEE1.0:百度發(fā)布的一個中文事件提取數(shù)據(jù)集，包含65種事件類型。

ACE053語料庫提供了來自新聞專線和在線論壇等多個領(lǐng)域的文檔和句子級別的事件注釋。

3.3 評價指標(biāo)

3.3.1 RE

我們報告了標(biāo)準(zhǔn)的微觀F1測量，并采用了兩個評估指標(biāo)：

1）邊界值（BE）:如果主體和對象以及關(guān)系的整個實體跨度都是正確的，則提取的關(guān)系三元組（主體、關(guān)系、對象）被認(rèn)為是正確的。

2） 嚴(yán)格評估（SE）:除了訂單評估中需要的內(nèi)容外，主體和客體的類型也必須正確。我們在NYT11-HRL上使用be，因為沒有實體類型的注釋，而在DuIE2.0上使用SE

3.3.2 NER

只考慮完全匹配，并使用微觀F1來評估NER任務(wù)。只有當(dāng)預(yù)測實體和真實實體的邊界和類型相同時，我們才會將其視為正確的預(yù)測

3.3.3 EE

我們在DuEE1.0數(shù)據(jù)集和ACE05數(shù)據(jù)集上采用了不同的評估指標(biāo)。對于DuEE1.0數(shù)據(jù)集，根據(jù)單詞水平匹配對F-measure（$F{1}^4$）進(jìn)行評分。對于ACE05數(shù)據(jù)集，預(yù)測的自變量結(jié)果與實體級別的手動標(biāo)記自變量結(jié)果相匹配，并由micro F1進(jìn)行評估

TP: Ture Positive 把正的判斷為正的數(shù)目。
FN: False Negative 把正的錯判為負(fù)的數(shù)目。
FP: False Positive 把負(fù)的錯判為正的數(shù)目。
TN: True Negative 把負(fù)的判為負(fù)的數(shù)目。

P(Precision)查準(zhǔn)率,精確率:精確率就是算正樣本中有多少是正確的。（簡單來說是你預(yù)測為正的樣本中有多少是正確的） 公式：P=TP/(TP+FP)

R(Recall)查全率,召回率:召回率是所有的正樣本中有多少被預(yù)測正確了公式：R=TP/(TP+FN)

P , R是一對矛盾的度量，一般一個的值高了，另一個的值就會降低，

F1就是綜合P,R公式：F1=2PR/(R+P)文章來源地址http://www.zghlxwxcb.cn/news/detail-406445.html

4 效果

• 在六個廣泛使用的IE數(shù)據(jù)集上，ChatIE通常平均提高18.98%的性能。值得注意的是，與少鏡頭方法相比，這種提高變得更加顯著。
• 監(jiān)督學(xué)習(xí)模型計算密集，需要高質(zhì)量的標(biāo)記數(shù)據(jù)。此外，對于每項任務(wù)，都會從頭開始訓(xùn)練一個單獨的模型。相比之下，ChatIE在沒有任何微調(diào)和訓(xùn)練來更新參數(shù)的情況下工作。它大大減少了計算和時間投入。

到了這里，關(guān)于【NLP文章閱讀】Zero-Shot Information Extraction via Chatting with ChatGPT的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！