EMNLP| 2019 BERT for Coreference Resolution: Baselines and Analysis

1.問題

基于前面提出的端到端的共指消解模型，如何在基準數(shù)據(jù)集上表現(xiàn)更好的效能

2.解決方法

使用Bert來進行改進，在OntoNotes ( + 3.9 F1 )和GAP ( + 11.5 F1 )基準上取得了顯著提升

3.摘要

優(yōu)點：論文采用的Bert-large模型與ELMo和Bert-base相比，在區(qū)分相關但不同的實體方面特別好

缺點：在文檔級上下文、會話和提及釋義的建模方面仍有進步的空間

4.前言

• Bert的優(yōu)勢：

  • Bert在多個nlp任務[QA\NLI\NER(命名實體識別)] 上取得了顯著提升
  • Bert具有更好的雙向推理能力
  • Bert可以進行段落級別的訓練，可以更好的建模較長的序列

• 有兩種改進c2f-coref模型[基于ELMo]的方法：獨立變量和重疊變量

  • 獨立變量：使用互不重疊的片段，每個片段作為Bert的獨立實例

  • 重疊變量：將文檔分割成重疊的片段，為模型提供超過512個token的上下文

• Bert-large在使用更長的上下文窗口(384)時更有優(yōu)勢，但在更長的上下文窗口(512)表現(xiàn)更差

• Bert-large比ELMo在區(qū)分相關但截然不同的實體或概念方面具有顯著的優(yōu)勢，但兩者都面對共同的問題：

  • 區(qū)分相關但不同的實體，困難在于區(qū)分它們需要世界知識的案例
  • 代詞的建模仍然困難，尤其是在會話中

• 重疊變量企圖將上下文窗口擴展到512個token之外的失敗說明使用更大的上下文窗口進行預訓練可能無法轉化為有效的遠程特征用于下游任務。同時較大的模型也加劇了跨度表示的記憶密集性

5.解決方法

• 采用高階共指模型（c2f-coref）

• 在c2f-coref中用Bert transformer 替換整個LSTM-based encoder(以ELMo和GloVe嵌入作為輸入)

• 數(shù)據(jù)集：GAP和OntoNotes

• 對兩種變體（變量）進行實驗：

  • 獨立變量：使用互不重疊的片段，每個片段作為BERT的獨立實例。這種變體的編碼能力有限，特別是對于位于其片段的開頭或結尾的token
  • 重疊變量：將文檔分割的重疊片段分別進行編碼，然后將重疊部分的表示放在一起得到最終的表示

6.實驗

• 在段落級別的GAP數(shù)據(jù)集和文檔級別的英文OntoNotes 5.0數(shù)據(jù)集上評估基于Bert的模型

• 擴展c2f-coref和Bert的原始Tensorflow實現(xiàn)

• 參數(shù)設置：

  • epoch：20
  • dropout：0.3
  • learning rates：1e-5
  • Bert參數(shù)和task參數(shù)的linear decay：2e-4
  • 在所有參數(shù)使用相同的學習率的情況下，產(chǎn)生了2 - 3 %的影響
  • 訓練模型的片段長度：128[bert-base表現(xiàn)最好]、256、384[bert-large表現(xiàn)最好]、512
  • 批處理大小：大小為1的文檔

• Baselines：將c2f - coref + BERT系統(tǒng)與兩個主要的基線進行了比較

  • 原始的基于ELMo的c2f - coref系統(tǒng)( Lee et al . , 2018)

  • 2018的前身，e2e-coref (Lee et al., 2017）

    【c2f - coref除了比e2e - coref具有更高的計算效率外，還利用注意力對跨度表示進行迭代精化以進行高階推理】

• Paragraph Level: GAP

  

• Document Level: OntoNotes

雖然基于特征的方法具有更高的記憶效率，但微調(diào)后的模型似乎能產(chǎn)生更好的結果。

7.分析

• 優(yōu)勢：Bert-base模型和ELMo之間沒有存在顯著的質量差異，Bert-large表現(xiàn)更好

• 劣勢：

  • 模型在較長文檔上表現(xiàn)較差

    

  • 模型都無法有效的表示較大的片段，并且在使用最大片段長度450和512時表現(xiàn)更差

    

  • 使用重疊片段提供額外上下文并沒有改善結果

  • large模型可以更好的編碼更長的上下文，但是加劇了廣度表示的記憶密集型

    ——》未來預訓練方法的研究應考慮使用稀疏表示來編碼文檔級別的上下文

  • 會話上下文中的代詞建模對所有模型來說仍然是困難的

  • 模型仍然無法解決需要提及釋義的案例文章來源地址http://www.zghlxwxcb.cn/news/detail-755618.html

8.相關工作

• 評分跨度或提及對可能是共指消解中最主要的范式之一
  上下文

  • 會話上下文中的代詞建模對所有模型來說仍然是困難的

  • 模型仍然無法解決需要提及釋義的案例

8.相關工作

• 評分跨度或提及對可能是共指消解中最主要的范式之一
• 最近（2019），共指消解和其他NLP任務的進展都是由無監(jiān)督的語境化表征推動的。其中，BERT顯著地使用了對段落級序列(結合雙向掩蔽語言的建模目標)的預訓練來更有效地建模長程依賴關系。SpanBERT專注于預訓練跨度表示，以獨立的變體實現(xiàn)OntoNotes上當前最先進的結果

到了這里，關于BERT for Coreference Resolution Baselines and Analysis論文閱讀的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！