論文鏈接：https://arxiv.org/pdf/2102.11165.pdf
?文章來源地址http://www.zghlxwxcb.cn/news/detail-625488.html
目錄
摘要：
引言
問題定義
方法
Graph Deviation Networks
Cross-network Meta-learning
摘要：
????????網(wǎng)絡異常檢測旨在找到與絕大多數(shù)行為顯著不同的網(wǎng)絡元素（例如節(jié)點、邊、子圖）。它對從金融、醫(yī)療保健到社交網(wǎng)絡分析等各種應用產(chǎn)生了深遠的影響。
????????由于難以承受的標簽成本，現(xiàn)有方法主要是以無監(jiān)督的方式開發(fā)的。盡管如此，由于缺乏對感興趣的異常的先驗知識，他們識別的異?？赡軙兂蓴?shù)據(jù)噪聲或無趣的數(shù)據(jù)實例。
????????因此，研究和開發(fā)網(wǎng)絡異常檢測的小樣本學習至關重要。在現(xiàn)實場景中，很少有標記的異常也很容易在與目標網(wǎng)絡相同域的類似網(wǎng)絡上訪問，而大多數(shù)現(xiàn)有工作都忽略了利用它們，而僅僅關注單個網(wǎng)絡。
????????利用這一潛力，在這項工作中，我們通過（1）提出一個新的圖神經(jīng)網(wǎng)絡系列——圖偏差網(wǎng)絡（GDN）來解決小樣本網(wǎng)絡異常檢測的問題，它可以利用少量標記的異常來檢測強制網(wǎng)絡上異常節(jié)點和正常節(jié)點之間存在統(tǒng)計顯著偏差； (2)為所提出的GDN配備了一種新的跨網(wǎng)絡元學習算法，通過從多個輔助網(wǎng)絡傳輸元知識來實現(xiàn)??小樣本網(wǎng)絡異常檢測。廣泛的評估證明了所提出的方法在少量甚至一次性網(wǎng)絡異常檢測方面的有效性。
引言
????????由于標記異常是高度勞動密集型的，并且需要專門的領域知識，現(xiàn)有的方法主要是以無監(jiān)督的方式開發(fā)的。作為一種流行的范式，人們嘗試用基于自動編碼器的模型的重建誤差[6, 18]或基于矩陣分解的方法的殘差[2,17,34]來測量節(jié)點的異常。
????????然而，由于缺乏對感興趣的異常的先驗知識，他們識別的異常可能會變成數(shù)據(jù)噪聲或不感興趣趣的數(shù)據(jù)實例。該問題的一個潛在解決方案是利用有限或很少的標記異常作為先驗知識來學習異常通知模型，因為它在現(xiàn)實場景中成本相對較低 - 一小組標記異?？梢詠碜砸巡渴鸬臋z測系統(tǒng)或由用戶反饋提供。與此同時，這些有價值的知識通常分散在目標網(wǎng)絡同一域內(nèi)的其他網(wǎng)絡中，可以進一步利用這些網(wǎng)絡來提取監(jiān)督信號。
????????可以將 ACM 和 DBLP 視為計算機科學領域中具有類似引文關系的引文網(wǎng)絡。根據(jù)之前的研究[33,51,52]，由于拓撲結(jié)構(gòu)和節(jié)點屬性的相似性，將有價值的知識從源網(wǎng)絡轉(zhuǎn)移到目標網(wǎng)絡，從而提高目標網(wǎng)絡的性能是可行的。因此，在這項工作中，我們建議研究跨網(wǎng)絡設置下的少樣本網(wǎng)絡異常檢測的新問題。
????????盡管如此，解決這個尚未探索的問題仍然很重要，主要是由于以下原因：（1）從微觀（網(wǎng)絡內(nèi)）的角度來看，由于我們對異常的了解有限，因此很難精確地描述異常模式。如果我們直接采用現(xiàn)有的半監(jiān)督[37]或PU[40]學習技術，這些方法往往無法達到令人滿意的結(jié)果，因為它們可能仍然需要相對較大比例的正例[23]。為了處理如圖1（a）所示的這種不完全監(jiān)督挑戰(zhàn)[47]，有必要探索如何利用盡可能少的標記異常來學習正常模式的高級抽象，而不是關注異常節(jié)點； (2)從宏觀(網(wǎng)絡間)的角度來看，雖然同一域內(nèi)的網(wǎng)絡總體上可能具有相似的特征，但不同網(wǎng)絡中存在的異?？赡軄碜苑浅２煌牧餍?。先前關于跨網(wǎng)絡學習的研究[29, 41]大多集中于僅從單個網(wǎng)絡遷移知識，這可能會導致結(jié)果不穩(wěn)定和負遷移的風險。由于從多個網(wǎng)絡中學習可以提供有關異常特征的更全面的知識，因此非常需要一種能夠適應這些知識的跨網(wǎng)絡學習算法
?（圖 1：由于異常通常具有不同的模式，(a) 現(xiàn)有方法可能很容易無法將它們與潛在表示空間中的正常節(jié)點區(qū)分開來，而標記的異常很少，(b) 雖然它們可以在異常得分空間中通過以下方式很好地分離：強制異常節(jié)點和正常節(jié)點之間存在統(tǒng)計顯著偏差。）
????????為了應對上述挑戰(zhàn)，我們在這項工作中首先設計了一種新的 GNN 架構(gòu)，即圖形偏差網(wǎng)絡（GDN），以便在標注數(shù)據(jù)有限的情況下進行網(wǎng)絡異常檢測。具體來說，給定一個任意網(wǎng)絡，GDN 首先使用一個 GNN 骨干異常得分學習器為每個節(jié)點分配異常得分，然后根據(jù)先驗概率定義異常得分的平均值，作為指導后續(xù)異常得分學習的參考得分。通過利用偏差損失[23]，GDN 能夠在異常得分空間中強制執(zhí)行異常節(jié)點的異常得分與正常節(jié)點的異常得分在統(tǒng)計上的顯著偏差（如圖 1(b)所示）。為了進一步將這一能力從多個網(wǎng)絡轉(zhuǎn)移到目標網(wǎng)絡，我們提出了一種跨網(wǎng)絡元學習算法，從多個少量網(wǎng)絡異常檢測任務中學習通用性良好的 GDN 初始化。無縫集成的框架 Meta-GDN 能夠提取用于檢測多個網(wǎng)絡異常的綜合元知識，這在很大程度上緩解了從單一網(wǎng)絡遷移的局限性。隨后，初始化可以通過微調(diào)輕松適應目標網(wǎng)絡，只需少量甚至一個標注異常點，就能在很大程度上提高目標網(wǎng)絡的異常檢測性能?？偠灾?，我們的主要貢獻有三個方面：
????????問題：據(jù)我們所知，我們是第一個研究小樣本網(wǎng)絡異常檢測這一新問題的人。值得注意的是，我們建議通過跨多個網(wǎng)絡轉(zhuǎn)移知識來解決這個問題。
????????算法：我們提出了一個原則框架 Meta-GDN，它集成了一系列新的圖神經(jīng)網(wǎng)絡（即 GDN）和跨網(wǎng)絡元學習，以檢測帶有少量標記實例的異常。
????????評估：我們進行了大量的實驗來證實我們方法的有效性。實驗結(jié)果證明了 Meta-GNN 在網(wǎng)絡異常檢測方面優(yōu)于最先進的方法。
問題定義
????????在本節(jié)中，我們正式定義少樣本跨網(wǎng)絡異常檢測問題。在整篇論文中，我們使用粗體大寫字母表示矩陣（例如，A），粗體小寫字母表示向量（例如，u），小寫字母表示標量（例如，??），并使用書法字體來表示集合（例如，V）。值得注意的是，在這項工作中，我們專注于屬性網(wǎng)絡以實現(xiàn)更通用的目的。給定一個屬性網(wǎng)絡 G = (V, E, X)，其中 V 是節(jié)點集，即 {??1, ??2,…。 。 。 , ????}，E 表示邊的集合，即 {??1, ??2, . 。 。 ，????}。節(jié)點屬性由 X = [x T 1 , x T 2 , · · · , x T ?? ] ∈ R ??×?? 表示，x?? 是節(jié)點 ???? 的屬性向量。更具體地說，我們將屬性網(wǎng)絡表示為 G = (A, X)，其中 A = {0, 1} ??×?? 是表示網(wǎng)絡結(jié)構(gòu)的鄰接矩陣。具體來說，A??,?? = 1 表示節(jié)點 ???? 和節(jié)點 ???? 之間存在邊；否則，A??,?? = 0
????????一般來說，少樣本跨網(wǎng)絡異常檢測旨在通過從輔助網(wǎng)絡傳輸非常有限的ground truth異常監(jiān)督知識來最大限度地提高目標網(wǎng)絡的檢測性能。除了目標網(wǎng)絡 G?? 之外，在這項工作中，我們假設還存在 ?? 輔助網(wǎng)絡 G ?? = {G?? 1 , G?? 2 , 。 。 。 , G?? ?? } 與 G?? 共享相同或相似的域。對于屬性網(wǎng)絡，標記的異常節(jié)點的集合表示為 V??，未標記的節(jié)點的集合表示為 V?? 。請注意 V = {V?? , V?? } 并且在我們的問題中 |V?? |? |V?? |因為只給出了少量的標記數(shù)據(jù)。由于網(wǎng)絡異常檢測通常被表述為排序問題[1]，我們正式定義少樣本跨網(wǎng)絡異常檢測問題如下：
????????問題 1. 小樣本跨網(wǎng)絡異常檢測：給定： ?? 輔助網(wǎng)絡，即 G ?? = {G?? 1 = (A ?? 1 , X ?? 1 ), G?? 2 = (A ?? 2 , X ?? 2 ), 。 。 。 , G?? ?? = (A ?? ?? , X ?? ?? )} 和目標網(wǎng)絡 G?? = (A ?? , X ?? )，每個網(wǎng)絡都包含一組少樣本標記異常（即 V?? 1 , V?? 2 , . . . , V?? ?? 和 V?? ?? )
????????目標：學習一個異常檢測模型，該模型能夠利用來自多個輔助網(wǎng)絡的真實異常知識，即 {G?? 1 , G?? 2 , . 。 。 , G?? ?? }，檢測目標網(wǎng)絡 G?? 中的異常節(jié)點。理想情況下，檢測到的異常應該比正常節(jié)點具有更高的排名分數(shù)。
方法
????????在本節(jié)中，我們將介紹所提出的框架 - 用于小樣本網(wǎng)絡異常檢測的 Meta-GDN 的詳細信息。具體來說，Meta-GDN 通過以下兩個關鍵貢獻解決了所討論的挑戰(zhàn)：（1）圖偏差網(wǎng)絡（GDN），一個新的圖神經(jīng)網(wǎng)絡系列，可以使用有限的標記數(shù)據(jù)對任意單個網(wǎng)絡進行異常檢測； (2) 跨網(wǎng)絡元學習算法，使 GDN 能夠跨多個輔助網(wǎng)絡傳輸元知識，以實現(xiàn)對目標網(wǎng)絡的小樣本異常檢測。圖 2 概述了擬議的 Meta-GDN。
Graph Deviation Networks
?????????為了能夠在具有少量標記數(shù)據(jù)的任意網(wǎng)絡上進行異常檢測，我們首先提出了一個新的圖神經(jīng)網(wǎng)絡系列，稱為圖偏差網(wǎng)絡（GDN）。
????????由三個關鍵構(gòu)建塊組成，包括（1）用于學習節(jié)點表示的網(wǎng)絡編碼器； (2)異常評估器，用于評估每個節(jié)點的異常得分； (3) 用于優(yōu)化帶有少量標記異常的模型的偏差損失。詳情如下所示：
????????網(wǎng)絡編碼器。為了從輸入網(wǎng)絡學習表達節(jié)點表示，我們首先構(gòu)建網(wǎng)絡編碼器模塊。具體來說，它由多個 GNN 層構(gòu)建，將每個節(jié)點編碼為低維潛在表示。一般來說，GNN 遵循鄰域消息傳遞機制，并通過以迭代方式聚合局部鄰域的特征來計算節(jié)點表示。形式上，通用 GNN 層使用兩個關鍵函數(shù)計算節(jié)點表示：
?????????為了捕獲網(wǎng)絡中的遠程節(jié)點依賴性，我們在網(wǎng)絡編碼器中堆疊多個 GNN 層。因此，網(wǎng)絡編碼器可以表示為：
?????????異常評估器。然后，從網(wǎng)絡編碼器學習到的節(jié)點表示將被傳遞給異常評估器??????（·），以進一步估計每個節(jié)點的異常情況。具體來說，異常評估器由兩個前饋層構(gòu)建，將中間節(jié)??點表示轉(zhuǎn)換為標量異常分數(shù)：
?????????偏差損失。本質(zhì)上，GDN 的目標是根據(jù)計算出的帶有少樣本標簽的異常分數(shù)來區(qū)分正常節(jié)點和異常節(jié)點。在這里，我們建議采用偏差損失[23]來強制模型為那些特征顯著偏離正常節(jié)點的節(jié)點分配較大的異常分數(shù)。為了指導模型學習，我們首先定義一個參考分數(shù)（即????）作為一組隨機選擇的正常節(jié)點的異常分數(shù)的平均值。它可以作為量化異常節(jié)點的分數(shù)與正常節(jié)點的偏差程度的參考。
????????根據(jù)之前的研究 [15, 23]，高斯分布通常是擬合各種數(shù)據(jù)集的異常分數(shù)的穩(wěn)健選擇?；谶@個假設，我們首先從高斯先驗分布中采樣一組 ?? 異常分數(shù)，即 R = {??1, ??2, 。 。 。 , ???? } ～ N(??, ??2 )，其中每一個表示隨機正常節(jié)點的異常。參考分數(shù)計算為所有采樣分數(shù)的平均值：
?????????有了參考分數(shù)????，節(jié)點????的異常分數(shù)與參考分數(shù)之間的偏差可以用標準分數(shù)的形式定義：
?????????其中 ???? 是采樣異常分數(shù)集的標準差 R = {??1, . 。 。 ，????}。然后，通過將距離函數(shù)替換為式（6）中的偏差，可以從對比損失[11]中導出最終的目標函數(shù)：
?????????其中 ???? 是輸入節(jié)點 ???? 的真實標簽。如果節(jié)點 ???? 是異常節(jié)點，則 ???? = 1，否則，???? = 0。請注意，?? 是定義偏差周圍半徑的置信邊際
????????通過最小化上述損失函數(shù)，GDN 會將正常節(jié)點的異常分數(shù)盡可能接近 ????，同時強制 ???? 與異常節(jié)點的異常分數(shù)之間至少有 ?? 的較大正偏差。這樣，GDN 就能夠?qū)W習正常模式的高級抽象，而標記的異常要少得多，并使節(jié)點表示學習能夠區(qū)分正常節(jié)點和罕見異常。因此，如果節(jié)點的模式顯著偏離學習到的正常模式的抽象，則將向該節(jié)點分配較大的異常分數(shù)
????????我們的初步結(jié)果表明，只要 ?? 不太大，GDN 對 ?? 和 ?? 的選擇并不敏感。具體來說，我們在實驗中設置??=0和??=1，這有助于GDN在不同數(shù)據(jù)集上實現(xiàn)穩(wěn)定的檢測性能。還值得一提的是，由于我們無法訪問正常節(jié)點的標簽，因此我們簡單地將 V?? 中未標記的節(jié)點視為正常節(jié)點。請注意，這樣剩余的未標記異常和所有正常節(jié)點將被視為正常，從而將污染引入到訓練集中（即未標記異常與總未標記訓練數(shù)據(jù) V?? 的比率）。值得注意的是，GDN 通過使用這種簡單的策略表現(xiàn)非常好，并且對不同的污染水平具有魯棒性。第 2 節(jié)評估了不同污染水平對模型性能的影響。 5.4.
Cross-network Meta-learning
????????有了所提出的圖偏差網(wǎng)絡（GDN），我們能夠有效地檢測具有有限標記數(shù)據(jù)的任意網(wǎng)絡上的異常。當來自目標網(wǎng)絡同一域的輔助網(wǎng)絡可用時，如何傳遞這些有價值的知識是在目標網(wǎng)絡上實現(xiàn)少樣本異常檢測的關鍵。盡管它具有可行性，但如果我們直接借用現(xiàn)有跨網(wǎng)絡學習方法的思想，性能將相當有限。主要原因是這些方法僅僅專注于從單個網(wǎng)絡轉(zhuǎn)移知識[29, 41]，這可能會由于不同網(wǎng)絡上的異常特征不同而導致負轉(zhuǎn)移。為此，我們轉(zhuǎn)而利用多個輔助網(wǎng)絡來提取異常的全面知識。
????????作為提取和轉(zhuǎn)移知識的有效范式，元學習由于在各種高影響力領域的廣泛應用，最近受到越來越多的研究關注[8,19,20,27,36,38]。本質(zhì)上，元學習的目標是在各種學習任務上訓練模型，使得學習到的模型能夠有效地適應很少甚至只有一個標記數(shù)據(jù)的新任務[13]。特別是，芬恩等人?[10]提出了一種與模型無關的元學習算法來顯式地學習模型參數(shù)，使得模型可以通過少量的梯度步驟和有限的標記數(shù)據(jù)實現(xiàn)對新任務的良好泛化。受這項工作的啟發(fā)，我們建議學習一個元學習器（即 Meta-GDN）作為來自多個輔助網(wǎng)絡的 GDN 的初始化，它具有有效識別新目標網(wǎng)絡上異常節(jié)點的泛化能力。具體來說，Meta-GDN 在訓練階段從輔助網(wǎng)絡上的不同小樣本網(wǎng)絡異常檢測任務中提取真實異常的元知識，并將針對目標網(wǎng)絡上的新任務進行進一步微調(diào)，使得模型可以做出快速有效的適應。
????????我們將每個學習任務定義為在單個網(wǎng)絡上執(zhí)行少量異常檢測，其目標是強制將大異常分數(shù)分配給等式（7）中定義的異常。 令 T?? 表示由網(wǎng)絡 G?? ?? 構(gòu)建的少樣本網(wǎng)絡異常檢測任務，那么每個時期我們都有 ?? 學習任務。我們考慮由帶有參數(shù) ?? 的參數(shù)化函數(shù) ???? 表示的 GDN 模型。給定 ?? 任務，優(yōu)化算法首先針對每個學習任務 T?? 獨立調(diào)整初始模型參數(shù) ?? 至 ?? ′ ??。具體來說，更新的參數(shù) ?? ′ ?? 是使用 LT?? 對從 G?? ?? 中的 V?? ?? 和 V?? ?? 采樣的一批訓練數(shù)據(jù)計算的。形式上，一步梯度的參數(shù)更新可以表示為：
?????????通過在所有學習任務中優(yōu)化 ???? 相對于 ?? 的最佳性能來訓練模型參數(shù)。更具體地，元目標函數(shù)定義如下：
?????????通過優(yōu)化 GDN 的目標，更新后的模型參數(shù)可以保留檢測每個網(wǎng)絡異常的能力。由于元優(yōu)化是在參數(shù)??上執(zhí)行的，目標是使用所有任務的更新參數(shù)計算的，相應地，模型參數(shù)被優(yōu)化，使得目標任務（網(wǎng)絡）上的一個或少量梯度步驟將產(chǎn)生巨大的效果。
????????形式上，我們利用隨機梯度下降（SGD）來更新所有任務的模型參數(shù)??，使得模型參數(shù)??更新如下：
?????????其中 ?? 是元步長。完整的算法總結(jié)在算法 1 中。具體來說，對于每個批次，我們從未標記數(shù)據(jù)（即 V?? ）和標記異常數(shù)據(jù)（即 V?? ）中隨機采樣相同數(shù)量的節(jié)點，分別表示正常和異常節(jié)點（步驟- 4).
文章來源：http://www.zghlxwxcb.cn/news/detail-625488.html
?
到了這里，關于論文閱讀 - Few-shot Network Anomaly Detection via Cross-network Meta-learning的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
