摘要

• 本文工作聚焦于從領(lǐng)域泛化的視角提升AES模型的泛化能力，在該情況下，目標主題的數(shù)據(jù)在訓練時不能被獲得。
• 本文提出了一個主題感知的神經(jīng)AES模型（PANN）來抽取用于作文評分的綜合的表示，包括主題無關(guān)（prompt-invariant）和主題相關(guān)（prompt-specific）的特征。
• 為了提升表示的泛化能力，我們進一步提出了一個新的解纏繞表示學習框架（disentangled representation learning）。在這個框架中，設(shè)計了一個對比的模長-角度對齊策略（norm-angular alignment）和一個反事實自訓練策略（counterfactual self-training）用于解開表示中主題無關(guān)和主題相關(guān)的特征信息。

引言

• 本文提出一個主題感知的神經(jīng)AES模型，它能夠基于一篇作文的編碼器（比如說預訓練的BERT）來抽取作文的質(zhì)量特征，并且基于一個文本匹配模塊來抽取主題遵循度特征。
• 存在兩個問題：
  • 從編碼器中抽取到的作文質(zhì)量特征，比如BERT，可能編碼了質(zhì)量和內(nèi)容信息，并且它們在特征中是相互纏繞的。怎樣從特征中解開獨立的質(zhì)量信息是第一個問題；
  • 主題關(guān)聯(lián)特征和作文質(zhì)量特征都是基于作文抽取得到的。因此，從因果的角度看，作文是兩種特征的混淆因素，導致主題關(guān)聯(lián)度和作文質(zhì)量間的有誤導性的關(guān)聯(lián)。比如，一篇作文可能有不同的主題關(guān)聯(lián)性但是一樣的質(zhì)量，在不同的主題下。所以，怎樣解開這種誤導性的關(guān)聯(lián)，使得這兩種特征獨立得貢獻于最終的分數(shù)是第二個問題。

方法

• 解纏繞表示學習框架（DRL）是基于預訓練和微調(diào)的范式進行設(shè)計的。
  • 在預訓練階段，設(shè)計了一個對比的norm-angular對齊策略來預訓練文章質(zhì)量特征，目的是解綁特征中的質(zhì)量和內(nèi)容信息。
  • 在微調(diào)階段，應用了一個反事實自訓練策略來微調(diào)整個PANN模型，目的是解綁文章質(zhì)量特征和主題相關(guān)特征之間的誤導性的關(guān)聯(lián)。
  • 最后，使用完全訓練好的PANN來評分目標主題的作文。

PANN的模型架構(gòu)

• 三個主要組成：

  • 作文質(zhì)量網(wǎng)絡（EQ-net）：只把作文作為輸入，抽取主題無關(guān)的作文質(zhì)量特征。
  • 主題關(guān)聯(lián)網(wǎng)絡（PA-net）：把作文和主題都作為輸入，抽取主題特定的主題遵循度特征。因為這樣的基于交互的文本匹配模型能夠只關(guān)注作文和主題的詞級的相似度，它能夠避免編碼到和作文質(zhì)量相關(guān)的信息，比如句法和內(nèi)聚力，從而使得特征只特定于主題遵循度。
  • 作文評分預測器（ESP）：結(jié)合兩種特征來預測整體分數(shù)。
    

  解纏繞表示學習DRL

  • EQ-net可能會編碼主題無關(guān)的質(zhì)量信息和主題相關(guān)的內(nèi)容信息，并且內(nèi)容信息會在不同主題間切換，它會阻止EQ-net的泛化能力。
  • 并且，PA-net和EQ-net都把作文作為輸入，這使得作文變成主題關(guān)聯(lián)度特征和作文質(zhì)量特征的混淆因素，導致他們之間具有誤導性的關(guān)聯(lián)。

質(zhì)量-內(nèi)容解纏（Quality-Content Disentanglement）

• 我們提出了一個對比的模長-角度對齊策略（Contrastive Norm-Angular Alignment，CNAA）來在作文質(zhì)量特征中的質(zhì)量和內(nèi)容信息。
• 這個策略的設(shè)計是基于模長不變性（norm invariant）和角度切換（angular shift）的假設(shè)，它假設(shè)質(zhì)量和內(nèi)容信息能夠通過分別對齊就模長和角度而言的特征來被解綁。
• 對于模長不變性，我們假設(shè)相似質(zhì)量的作文能夠本分布具有相似的模長，并且這些模長可能是各個主題都不變的。
• 對于角度切換，我們假設(shè)具有相似內(nèi)容的作文（i.e.,主題）能夠被分布具有相似的角度，但是這些角度應該在不同的主題上切換。

數(shù)據(jù)增強

• 為了準備數(shù)據(jù)用于對比的模長-角度對齊，我們首先從訓練集中抽取所有的高分和低分作文來組成原始數(shù)據(jù)$D_o$。
• 通過兩兩拼接這些作文來構(gòu)建衍生的數(shù)據(jù)$D_d$。
• 隨機降低分數(shù)給拼接后的作文的原因是：
  • 拼接兩篇文章可能會降低那篇更高分數(shù)的作文的質(zhì)量（比如，內(nèi)聚力和組織）。
  • 拼接來自不同主題的兩篇文章可能會降低作文的主題遵循度（對兩個主題都是）。

模長不變性&角度切換 對齊

• 基于成對的對比學習，包括模長不變的質(zhì)量對齊和角度切換的內(nèi)容對齊。
  

質(zhì)量-遵循度解纏（Quality-Content Disentanglement）

• 本文嘗試提出和回答以下問題：“如果一篇文章的質(zhì)量保持不變，但它的題目符合度不同，那么最終得分會是多少？”
  

預評分指導的自訓練

• 本文把每個反事實實例的預打好的預分數(shù)和模型預測的偽分數(shù)結(jié)合作為它的最終分數(shù)。以這種方式，在預分數(shù)中提供的先驗知識和編碼在偽分數(shù)中的模型知識能夠被很好得融合。

實驗

• ASAP數(shù)據(jù)集和TOEFL11數(shù)據(jù)集
  

實驗結(jié)果

• 我們和主題泛化設(shè)置的方法進行比較，包括三類方法：基于手工特征的，基于神經(jīng)網(wǎng)絡的和混合的。
  

• 可以看到，我們的PANN模型能夠超過大多數(shù)的基準方法，在兩個數(shù)據(jù)集上都達到最好的整體性能。這表明我們的方法對于主題泛化的作文評分是有用的。

• 結(jié)合PA-net和EQ-net兩個部分比單獨的PA-net或者EQ-net的性能好。這表明PA-net和EQ-net都能夠為作文評分提供有用的信息。
• 當EQ-net被用NIA和ASA預訓練，EQ-net的性能被提升。但是當EQ-net被只有他們中的一個預訓練的時候，在TOEFL11數(shù)據(jù)集上性能下降了。相似的現(xiàn)象也可以在PA-net+EQ-net上觀察到。這可能是由于兩個損失需要被同時使用來解開質(zhì)量和內(nèi)容信息的纏繞。
• 并且，CTS也需要和CNAA策略一起使用來獲得更好的性能。

進一步分析

• 數(shù)據(jù)增強的影響：可以發(fā)現(xiàn)PANN和EQ-net能夠從數(shù)據(jù)增強中受益，特別是在ASAP的P3上，和TOEFL11數(shù)據(jù)集的P5上。

• PA-net的影響：是否PA-net能夠獨立的影響最終的分數(shù)預測?？梢钥吹?，PANN為在不匹配的主題下的高分作文預測了平均更低的分數(shù)；由于EQ-net在兩種設(shè)置下輸出的特征是不變的，所以PA-net能夠感知主題上的變化，能夠獨立影響分數(shù)預測。
• 數(shù)據(jù)大小的影響：在數(shù)據(jù)大小增大時，我們的PANN的預測性能相應提升，但是BERT的性能先上升后下降。這表明我們的表示解纏繞策略能夠處理主題個數(shù)增長時帶來的纏繞的信息的問題，所以模型能夠從數(shù)據(jù)增長中獲益。

特征可視化

文章來源地址http://www.zghlxwxcb.cn/news/detail-629442.html

• 展示了EQ-net有和沒有CNAA策略時的特征分布。
• (a)圖三個等級的分數(shù)相對很好的分開了（left），但是不同主題的作文沒有完全分開，特別時低分和中等分數(shù)的作文。
• (b)圖中使用了本文的CNAA策略，分數(shù)能夠很好的分開根據(jù)不同的模長，主題能夠很好的分開根據(jù)不同的角的方向。

到了這里，關(guān)于【論文閱讀】通過解纏繞表示學習提升領(lǐng)域泛化能力用于主題感知的作文評分的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！