論文鏈接：https://arxiv.org/pdf/2011.05367.pdf

摘要

????????社交媒體被故意用于惡意目的，包括政治操縱和虛假信息。大多數(shù)研究都集中在高資源語言上。然而，惡意行為者會跨國家/地區(qū)和語言共享內(nèi)容，包括資源匱乏的語言。

????????在這里，我們調(diào)查是否以及在何種程度上可以在低資源語言設(shè)置中檢測到惡意行為者。我們發(fā)現(xiàn)，2016 年美國總統(tǒng)大選后，Twitter 打擊干擾行動的一部分是，大量用他加祿語發(fā)布的賬戶被暫停。

??????? 通過結(jié)合文本嵌入和遷移學(xué)習(xí)，我們的框架可以準(zhǔn)確地檢測到用他加祿語發(fā)布的惡意用戶，而無需事先了解該語言的惡意內(nèi)容或?qū)ζ溥M(jìn)行訓(xùn)練。

????????我們首先獨(dú)立學(xué)習(xí)每種語言的嵌入模型，即高資源語言（英語）和低資源語言（他加祿語）。

????????然后，我們學(xué)習(xí)兩個潛在空間之間的映射來傳輸檢測模型。

????????我們證明，所提出的方法顯著優(yōu)于包括 BERT 在內(nèi)的最先進(jìn)模型，并且在訓(xùn)練數(shù)據(jù)非常有限的環(huán)境中產(chǎn)生顯著優(yōu)勢——這是處理在線平臺中檢測惡意活動時的常態(tài)。

引言

????????虛假信息和政治操縱由來已久：例如，早在社交媒體時代到來之前的 1984 年，一個聲稱艾滋病毒是美國政府作為生物武器制造的故事在全世界瘋傳。如今，社交媒體以前所未有的速度放大和加速信息傳播。 Twitter 和 Facebook 等在線社交網(wǎng)絡(luò) (OSN) 一直面臨惡意內(nèi)容的大量增長，這破壞了在線話語的真實(shí)性和真實(shí)性 [1, 21, 24, 32, 74, 77]。

????????各種研究表明，OSN 已被用于惡意目的，損害了我們社會的多個組成部分 [42, 75]，從地緣政治事件 [22, 27, 44, 58, 63] 到公共衛(wèi)生 [14, 25, 28、52、78]。機(jī)器人和巨魔是社交媒體操縱和虛假信息活動的主要參與者 [3, 11, 26, 45, 62]，通常以協(xié)調(diào)一致的方式 [29, 51, 53, 64, 67, 76]。

????????人們特別關(guān)注政治背景下大規(guī)模輿論操縱的風(fēng)險，最好的例子就是2016年美國總統(tǒng)討論選舉中的網(wǎng)絡(luò)干擾[4, 6]。從那時起，OSN 一直在努力打擊濫用行為，并在其平臺上保持信任和健康的對話。盡管付出了努力，巨魔和機(jī)器人的活動似乎仍然存在[36,43,72]。例如，Twitter 識別并暫停了來自不同國家（包括俄羅斯、伊朗、孟加拉國和委內(nèi)瑞拉）的惡意帳戶[71]，這表明存在協(xié)調(diào)一致的努力來操縱跨國家和跨語言的在線言論。最近，皮埃里等人[58] 在烏克蘭和俄羅斯之間持續(xù)沖突的背景下記錄了平臺濫用和隨后的 Twitter 干預(yù)的證據(jù) [57]。雖然其他人已經(jīng)探索了高資源語言中惡意用戶的各種策略[41,43,69,70]以實(shí)現(xiàn)他們的檢測[12,13,33,49]，但在這里我們提出了一種使用遷移學(xué)習(xí)來檢測惡意用戶的新方法能夠自動識別低資源語言中的行為不當(dāng)帳戶。

這項(xiàng)工作的貢獻(xiàn)

????????我們的目的是調(diào)查文本內(nèi)容是否可以以及在多大程度上可以用作代理來檢測社交媒體上的惡意活動，特別關(guān)注以低資源語言共享消息的帳戶?？偟膩碚f，我們的目標(biāo)是回答兩個主要研究問題：

????????RQ1：我們可以僅根據(jù)帳戶共享的內(nèi)容將其歸類為惡意帳戶嗎？我們探索從推文中學(xué)習(xí)單詞表示以識別暫停帳戶的有效性。

????????RQ2：我們可以從高資源語言（英語）學(xué)習(xí)模型并將知識轉(zhuǎn)移到低資源語言（他加祿語）來檢測暫停帳戶嗎？我們研究學(xué)習(xí)兩個獨(dú)立訓(xùn)練的詞嵌入之間的映射是否有利于識別行為不當(dāng)?shù)膸簟?/p>

數(shù)據(jù)：美國2016年總統(tǒng)選舉

????????在本研究中，我們使用 Twitter 作為測試平臺來檢測關(guān)注 2016 年美國總統(tǒng)大選的惡意賬戶的活動。該數(shù)據(jù)集由近 600 萬不同用戶發(fā)布了約 4200 萬條推文，由 [6] 首次發(fā)布。通過 Twitter Streaming API 使用 23 個選舉關(guān)鍵詞收集推文（唐納德·特朗普 5 個、希拉里·克林頓 4 個、第三方候選人 3 個，大選任期11）。該收集是在 2016 年 9 月 16 日至 2016 年 10 月 21 日期間進(jìn)行的。從收集的推文集中，刪除了重復(fù)的推文，這些重復(fù)的推文可能是通過對 Twitter API 的意外冗余查詢捕獲的。表 1 列出了最流行的關(guān)鍵詞和相關(guān)推文數(shù)量。雖然所有關(guān)鍵詞都是英文，但也收集了其他語言的推文。

????????我們確定了 60 多種不同的語言，其中用歐洲語言編寫的推文數(shù)量最多。其中，近 500 萬用戶發(fā)布了超過 3760 萬條英文推文。我們發(fā)現(xiàn)大量他加祿語的推文，他加祿語是一種南島語，是菲律賓四分之一人口的第一語言，也是菲律賓一半以上人口的第二語言。按使用人數(shù)計(jì)算，他加祿語是美國第四大常用語言 [73]，僅次于英語、西班牙語和中文，按推文數(shù)量計(jì)算，他加祿語是我們數(shù)據(jù)中排名第一的低資源語言。美國也是菲律賓境外菲律賓移民人口最多的國家之一。此外，對其維基百科規(guī)模的分析進(jìn)一步證實(shí)了他加祿語的資源匱乏狀況——維基百科是估計(jì)一種語言的數(shù)字資源量的常用指標(biāo)。他加祿語的維基百科目前按文章數(shù)量排名第 101 位，與其在我們數(shù)據(jù)集中的流行程度形成鮮明對比。因此，我們將注意力集中在他加祿語作為這項(xiàng)工作的目標(biāo)語言。

4 方法論

4.1 詞表示

????????為了學(xué)習(xí)詞嵌入和訓(xùn)練分類模型，我們使用 FastText 框架。 FastText 沒有將單詞視為文本的原子單元，而是將單詞表示為一袋字符 n-gram [8]，其中每個 n-gram 都有自己的向量表示，并且單詞表示為其組成字符 n-gram 的總和。這使得模型能夠適應(yīng)形態(tài)豐富、詞匯量大的語言，并能更好地從較小的訓(xùn)練語料庫中進(jìn)行泛化。

????????盡管基于神經(jīng)網(wǎng)絡(luò)的模型在文本分類任務(wù)中取得了相當(dāng)大的成功，但它們的訓(xùn)練和部署成本仍然相當(dāng)昂貴。 FastText 利用分層 softmax 來服務(wù)作為 softmax 分類器的快速近似，用于計(jì)算給定類別的概率分布 [38]。使用特征修剪、量化、散列和再訓(xùn)練來顯著減小模型大小而不犧牲準(zhǔn)確性或速度，這種方法允許在大型文本語料庫上訓(xùn)練模型比基于神經(jīng)網(wǎng)絡(luò)的方法快得多[37]。

4.2 遷移學(xué)習(xí)

????????用于自然語言處理的傳統(tǒng)機(jī)器學(xué)習(xí)方法側(cè)重于為特定任務(wù)訓(xùn)練專用模型。然而，這需要大量數(shù)據(jù)，而對于資源匱乏的語言來說，這是很難獲取的。歷史上，這引發(fā)了對高資源語言（主要是歐洲語言）的更多研究，從而為這些語言創(chuàng)建了更多資源，從而促進(jìn)了這一循環(huán)。遷移學(xué)習(xí)最近興起，作為一種利用從源語言（或源任務(wù)）學(xué)到的知識并利用它來提高目標(biāo)語言（或目標(biāo)任務(wù)）性能的方法。

????????為了解決本工作中分析的目標(biāo)語言數(shù)據(jù)稀缺的問題，我們使用 MUSE，這是一個框架，用于在同一空間中對齊來自不同語言的單語詞嵌入，并允許它們之間的知識轉(zhuǎn)移。 MUSE 使用 Procrustes 對齊來學(xué)習(xí)從源空間到目標(biāo)空間的映射，以最小化兩種語言中相似單詞之間的距離 [40]。它接受兩組預(yù)訓(xùn)練的單語言單詞嵌入（例如 FastText 學(xué)習(xí)的單詞嵌入）作為輸入，每種語言一組，并且可以以監(jiān)督或無監(jiān)督的方式學(xué)習(xí)它們之間的映射。監(jiān)督方法需要使用雙語詞典，通過識別在共享空間中應(yīng)該靠近的相似單詞對來幫助將兩個嵌入對齊在一起。在沒有這樣的字典的情況下，無監(jiān)督替代方案利用逆向訓(xùn)練來初始化源空間和目標(biāo)空間之間的線性映射并生成合成并行字典。 [15]表明，這種方法可以用于執(zhí)行無監(jiān)督單詞翻譯，而無需使用任何并行數(shù)據(jù)，其結(jié)果在某些情況下甚至優(yōu)于先前的監(jiān)督方法。

4.3 學(xué)習(xí)任務(wù)

????????單語文本分類。在第一種方法中，我們使用每種語言各自的數(shù)據(jù)集從頭開始訓(xùn)練獨(dú)立的文本分類模型。出于分類目的，我們使用 FastText 框架，它將文本表示為詞袋（BoW），并將它們的單獨(dú)表示平均化為組合文本表示。然后，將該文本表示形式用作具有 softmax 函數(shù)的線性分類器的輸入，該函數(shù)計(jì)算標(biāo)簽類的概率分布以進(jìn)行預(yù)測。文章來源地址http://www.zghlxwxcb.cn/news/detail-651322.html

到了這里，關(guān)于（WWW2023）論文閱讀-Detecting Social Media Manipulation in Low-ResourceLanguages的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！