筆記整理：田家琛，天津大學(xué)博士，研究方向為文本分類

鏈接：https://ojs.aaai.org/index.php/AAAI/article/view/26599

動機

近年來，隨著預(yù)訓(xùn)練語言模型（PLMs）在情感分類領(lǐng)域的廣泛應(yīng)用，PLMs中存在的命名實體情感偏差問題也引起了越來越多的關(guān)注。具體而言，當(dāng)前的PLMs基于神經(jīng)上下文編碼器，傾向于將某些命名實體上下文中的情感信息應(yīng)用到表示學(xué)習(xí)過程中，使得命名實體與情感之間容易形成虛假的相關(guān)性。本文提出了一種基于自適應(yīng)Gumbel攻擊的情感分類器Gater，在保證文本語義一致性的前提下，利用對抗攻擊策略緩解情感偏差問題。首先，該分類器內(nèi)置多個可生成Gumbel噪聲的專家網(wǎng)絡(luò)，通過最小化網(wǎng)絡(luò)輸出之間的互信息來增加噪聲多樣性。然后，在模型訓(xùn)練期間，利用Gumel噪聲攻擊分類器輸出，根據(jù)攻擊前后置信度的變化情況判斷攻擊是否有效。最后，采用多路參數(shù)優(yōu)化算法將多個專家網(wǎng)絡(luò)參數(shù)和分類器參數(shù)進行融合，使分類器對專家網(wǎng)絡(luò)模擬的情感偏差產(chǎn)生免疫。實驗結(jié)果表明，該方法在不破壞情感分類性能的前提下，有效地緩解了PLMs中存在的命名實體情感偏差問題。

亮點

Gater的亮點主要包括：

(1) 提出利用Gumbel噪聲緩解命名實體情感偏差。Gumbel分布作為第一類型的廣義極值分布，采樣噪聲大部分來自于分布的尾部，對分類器輸出的改動幅度較小，有利于保護其原有的語義分布。

(2) 提出多路參數(shù)優(yōu)化算法。根據(jù)專家網(wǎng)絡(luò)的攻擊效果，將多個專家網(wǎng)絡(luò)的參數(shù)融合到分類模型中，有效地豐富了模型的參數(shù)更新方向。

模型簡介

如圖1所示，在前向傳播階段，Gater自適應(yīng)地為原始分類器??添加??個專家網(wǎng)絡(luò)，每個專家網(wǎng)絡(luò)包含一個攻擊模塊??和一個基礎(chǔ)模塊??，其中??。??負(fù)責(zé)模擬有情感偏差的情況，??負(fù)責(zé)模擬沒有情感偏差的情況，它們經(jīng)過對比之后輸出模擬的情感偏差，用來攻擊??中的情感偏差。

具體而言，??和??的輸入是僅包含命名實體的文本向量表示。訓(xùn)練每個專家網(wǎng)絡(luò)時，Gater通過最大化??輸入與輸出之間的互信息（損失函數(shù)??），保證??中的情感偏差不再變化；通過最大化??輸出與加入Gumbel噪聲的輸入之間的互信息（損失函數(shù)??），使??學(xué)會Gumbel攻擊；通過最小化??之間的互信息（損失函數(shù)??），保證Gumbel噪聲的多樣性。此外，模型使用Softmax層的輸出來評估采樣效果。在下一輪的訓(xùn)練中，效果不好的專家網(wǎng)絡(luò)將被重置參數(shù)。

在反向傳播階段，多路參數(shù)優(yōu)化算法的目標(biāo)是融合??與每個??和??的參數(shù)，使??獲得情感去偏的能力。例如，對于??進行參數(shù)更新，首先使用梯度下降算法更新??的參數(shù)，并進一步融合??、??和??的參數(shù)。即：

其中，??指的是??在第??個訓(xùn)練批次時的參數(shù)。??是選擇的損失函數(shù)。??是??在第??個訓(xùn)練批次時的平均置信度。當(dāng)?μ?時，表明第??個專家網(wǎng)絡(luò)無法降低情感偏差，因此分類器??的參數(shù)應(yīng)該遠(yuǎn)離第??個專家網(wǎng)絡(luò)的參數(shù)。當(dāng)?μ?時，表示第??個專家網(wǎng)絡(luò)實現(xiàn)了情感去偏，因此分類器??的參數(shù)應(yīng)該與第??個專家網(wǎng)絡(luò)的參數(shù)接近。當(dāng)?μ?時，表示第??個專家網(wǎng)絡(luò)無效，應(yīng)該保持分類器??原有的參數(shù)更新方向。

圖1??Gater總體架構(gòu)圖

實驗

本文在七個真實數(shù)據(jù)集上進行實驗，它們分別是IMDb、SST-2、YELP-2、YELP-5、Amazon-2、Amazon-5和SemEval。此外，本文選擇的預(yù)訓(xùn)練模型分別是BERT、RoBERT、ALBERT和ELECTRA。

之前的研究發(fā)現(xiàn)，目前的去偏方法可能會過度去偏，導(dǎo)致下游任務(wù)的性能下降。實驗結(jié)果表明（表1），Gater可以有效地避免過度去偏問題，且每個PLM的分類性能都比原始版本提升了0.0到2.0。

表1 分類性能

本文使用NLTK版本的詞性標(biāo)記工具從每個數(shù)據(jù)集中隨機選擇400個命名實體，然后通過情感轉(zhuǎn)移測試計算這些命名實體的情感得分。得分越高，情感偏差越嚴(yán)重。圖2反映了這些實體在使用Gater前后的情感偏差變化。對于每個數(shù)據(jù)集，Gater將情感偏差保持在較低的水平，即這些命名實體的情感得分接近于0。相比之下，在不使用Gater的情況下，這些命名實體具有較高的情感得分。這說明Gater有效地減少了情感偏差。

圖2?情感去偏

總結(jié)

本文提出了一種基于自適應(yīng)Gumbel攻擊的情感分類器Gater，從對抗攻擊的角度緩解了PLMs中的命名實體情感偏差。現(xiàn)實世界中的命名實體是復(fù)雜和多樣的，它們的特征和屬性會隨著時間和不同的環(huán)境而變化。隨著PLMs在現(xiàn)實場景中的廣泛應(yīng)用，Gater可以快速調(diào)整PLMs對命名實體的情感傾向性，從而有效地提高情感分類系統(tǒng)的魯棒性。

---

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網(wǎng)站。
文章來源地址http://www.zghlxwxcb.cn/news/detail-686953.html