?
目錄
摘要
一、引言
1.背景（介紹聯(lián)邦學(xué)習(xí)的出現(xiàn)，同時引出挑戰(zhàn)）
2.研究現(xiàn)狀
3.提出方法
4.貢獻總結(jié)
二、DBA方法介紹
1.總體框架
2.DBA
3.DBA的觸發(fā)因素
三、實驗
1.數(shù)據(jù)集和實驗設(shè)置
2.分布式后門攻擊VS集中式后門攻擊
3.實驗準(zhǔn)備
4.實驗結(jié)果
5.分布式攻擊的魯棒性
6.通過特征可視化和特征重要性進行解釋
四、分布式后門攻擊觸發(fā)因素分析
1.Effects of Scale
2.Effects of Trigger Location
3.Effects of Trigger Gap
4.Effects of Trigger Size
5.Effects of poison interval
6.Effects of poison ratio
7.Effects of data distribution
五、相關(guān)工作
1.聯(lián)邦學(xué)習(xí)
2.基于FL的后門攻擊
3.魯棒FL
六、總結(jié)
摘要
1.介紹后門攻擊
后門攻擊的目的是通過注入對抗觸發(fā)器來操縱訓(xùn)練數(shù)據(jù)的子集，這樣在篡改數(shù)據(jù)集上訓(xùn)練的機器學(xué)習(xí)模型將在1嵌入相同觸發(fā)器的測試集上做出任意（有針對性的）預(yù)測。
2.背景
目前針對聯(lián)邦學(xué)習(xí)的后門攻擊主要都是集中式后門攻擊——每個參與方在訓(xùn)練過程中嵌入相同的全局觸發(fā)器。
3.提出新方法
本文提出了分布式后門攻擊DBA——一種通過利用FL的分布式特性開發(fā)的新型威脅評估框架。DBA將全局觸發(fā)模式分解為單獨的局部模式，并將它們分別嵌入到不同的敵對方的訓(xùn)練集中。
4.貢獻
a.提出了一種新的攻擊方法DBA，與標(biāo)準(zhǔn)的集中式后門相比DBA在不同數(shù)據(jù)集（如金融和圖像數(shù)據(jù)）上對FL的持久性和隱蔽性更強。
b.實驗發(fā)現(xiàn)DBA可以避開針對集中式后門攻擊的兩種最先進的魯棒算法：RFA和FoolsGold
c.此外，還通過特征可視化解釋和特征重要性排序來解釋DBA的有效性。
d.為了進一步探索DBA的特性，作者通過改變不同的觸發(fā)因素來測試攻擊性能，包括局部觸發(fā)變化（大小、間隙和位置）、FL中的比例因子、數(shù)據(jù)分布以及中毒比和間隔。
一、引言
1.背景（介紹聯(lián)邦學(xué)習(xí)的出現(xiàn)，同時引出挑戰(zhàn)）
聯(lián)邦學(xué)習(xí)被提出來解決訓(xùn)練機器學(xué)習(xí)模型而不能直接訪問各種訓(xùn)練數(shù)據(jù)的問題，特別是對于隱私敏感的任務(wù)。
盡管FL能夠聚合不同方提供的分散信息來訓(xùn)練更好的模型，但分布式學(xué)習(xí)方法以及跨不同方的非獨立同分布數(shù)據(jù)可能無意中為新的攻擊提供了場所。特別是后門攻擊。
2.研究現(xiàn)狀
目前對聯(lián)邦學(xué)習(xí)后門攻擊的研究都沒有充分利用FL的分布式學(xué)習(xí)方法，它們都是將相同的全局觸發(fā)模式嵌入到所有敵對方。我們稱之為集中式后門攻擊。
3.提出方法
本文提出了針對FL的分布式后門攻擊，給定與集中式攻擊相同的全局觸發(fā)模式，DBA將其分解為本地模式并分別嵌入到不同的敵對方。
4.貢獻總結(jié)
提出了一種基于FL的分布式后門攻擊策略DBA，并證明了DBA比集中式后門攻擊更具持久性和有效性。
在評估兩種最近的魯棒方法對集中式后門攻擊的魯棒性時，我們發(fā)現(xiàn)DBA更有效，更隱蔽，因為它的本地觸發(fā)模式更隱蔽，因此更容易繞過魯棒聚合規(guī)則。
通過特征可視化解釋和特征重要性排序來解釋DBA的有效性。
對DBA的幾個觸發(fā)因素進行了全面的分析和消融研究，包括局部觸發(fā)變化（大小、間隙和位置）、FL中的比例因子、數(shù)據(jù)分布以及中毒比和間隔。
二、DBA方法介紹
1.總體框架
a.FL
聯(lián)邦學(xué)習(xí)的訓(xùn)練目標(biāo)可以轉(zhuǎn)化為有限和優(yōu)化。有N個參與方，即N個局部模型，每個模型都以局部目標(biāo)進行訓(xùn)練，基于私有數(shù)據(jù)集Di。FL的目標(biāo)是在對N方的分布式訓(xùn)練結(jié)果進行聚合后，得到一個能夠很好泛化測試數(shù)據(jù)Dtest的全局模型。
中央服務(wù)器將使用自己的學(xué)習(xí)率對所有更新進行平均
Gt全局模型?? Lit+1 新的本地模型 Gt+1 新的全局模型
b.攻擊者能力
強攻擊者，完全控制自己的局部訓(xùn)練過程，如后門數(shù)據(jù)注入和更新，包括E和lr在內(nèi)的局部訓(xùn)練超參數(shù)。
但是攻擊者無法影響中心服務(wù)器的特權(quán)，也無法篡改其他方的訓(xùn)練過程和模型更新。
函數(shù)R使用一組參數(shù)φ將任何類中的干凈數(shù)據(jù)轉(zhuǎn)換為具有攻擊者選擇的觸發(fā)模式的后門數(shù)據(jù)。篡改數(shù)據(jù)將預(yù)測目標(biāo)標(biāo)簽改為τ
?
c.后門攻擊的目的
誤導(dǎo)訓(xùn)練模型在任何嵌入了攻擊者選擇的模式(即觸發(fā)器)的輸入數(shù)據(jù)上預(yù)測目標(biāo)標(biāo)簽τ。
2.DBA
該機制將一個集中的攻擊分解為M個分布式的子攻擊問題。
φ*i =(φ,O(i))，O(i)包含基于全局觸發(fā)φ的mi觸發(fā)分解規(guī)則。
DBA攻擊者會在間隔I的毒害下毒，并在提交給聚合器之前使用比例因子γ來操縱他們的更新。
3.DBA的觸發(fā)因素
觸發(fā)大小TS、觸發(fā)間隙TG、觸發(fā)位置TL、Scale γ、中毒比r、中毒間隔I、數(shù)據(jù)分布
????????Scale γ: γ = η/N? 攻擊者用來擴大惡意模型權(quán)重，
????????????????例如，第i個惡意本地模型是X，那新的本地模型Li t+1=γ(X ? Gt) + Gt
????????中毒比r：該比值控制每個訓(xùn)練批次添加后門樣本的比例。不能太大致使模型無用
????????中毒間隔I：the round intervals between two poison steps, 兩個中毒步驟之間的輪數(shù)間隔。
????????????????例如，I = 0 表示沒有間隔，即所有的本地觸發(fā)器都嵌入在一個回合（一輪）中
????????????????I = 1即間隔為1，這里指本地觸發(fā)器嵌入在連續(xù)的回合中。
三、實驗
1.數(shù)據(jù)集和實驗設(shè)置
Lending Club Load Data、MNIST、CIFAR-10 and Tiny-imagenet? ?4個non-iid數(shù)據(jù)集? 用??????????????????分布劃分
按照標(biāo)準(zhǔn)設(shè)置，我們使用SGD并且進行E個局部epoch訓(xùn)練，局部學(xué)習(xí)率為lr，批大小為64。所有參與者訓(xùn)練一個共享的全局模型，每輪抽取10個參與者進行匯總。
2.分布式后門攻擊VS集中式后門攻擊
實驗評估了A-M和A-S兩種攻擊場景。攻擊A-M研究后門成功注入的難易程度，而攻擊A-S研究后門效果消失的速度。
A-M指攻擊者是經(jīng)過多輪選擇的，并且累積的惡意更新是成功攻擊所必需的;否則，“后門”將被良性更新削弱，并很快被全局模式所遺忘。我們在每一輪都進行了完整的攻擊，也就是說，所有的DBA攻擊者或分布式攻擊者都一直被選中。良性的參與方被隨機選中來組成一共10人的參與。
????????【每一輪都攻擊】
A-S意味著每個DBA攻擊者或集中式攻擊者只需要一次射擊即可成功嵌入其后門觸發(fā)器。為了實現(xiàn)這一點，攻擊者對其惡意更新進行了縮放來保證可以壓制住良性更新并確保在聚合階段后門仍被保留。?? 放大了100倍??！
????????【只選取一輪進行攻擊】
3.實驗準(zhǔn)備
實驗中，我們使用相同的全局觸發(fā)器來評估DBA和集中式攻擊的成功率。為了公平比較，DBA的全局觸發(fā)像素總數(shù)接近甚至小于集中式后門攻擊的后門像素總數(shù)（它們的比值，MNIST= 0.964, CIFAR=0.990)
為了避免測試攻擊成功率時受到原始標(biāo)簽的影響，我們將真實標(biāo)簽等于后門攻擊目標(biāo)的測試數(shù)據(jù)去除。
在全局模型的主任務(wù)準(zhǔn)確率收斂時開始攻擊，在A-M中，MNIST大約是在第10輪，CIFAR大約是在200輪。CIFAR的全局學(xué)習(xí)率η為0.1，其他為1，攻擊A-S的所有數(shù)據(jù)集的全局學(xué)習(xí)率η為0.1。
4.實驗結(jié)果
在攻擊A-M中，DBA的攻擊成功率在所有情況下都高于集中式攻擊，如圖4所示。在MNIST中，DBA的收斂速度更快，甚至產(chǎn)生更高的攻擊成功率。
在DBA下，我們發(fā)現(xiàn)一個突出的現(xiàn)象，即全局觸發(fā)器的攻擊成功率高于任何局部觸發(fā)器，即使全局觸發(fā)器從未實際出現(xiàn)在任何局部訓(xùn)練數(shù)據(jù)集中。全局觸發(fā)器的攻擊性能收斂速度比局部觸發(fā)器快。
集中式攻擊者嵌入整個模式，對任何局部觸發(fā)器的攻擊成功率都很低。
由于持續(xù)中毒，LOAN對局部觸發(fā)器的攻擊率仍然增加，但在MNIST和Tiny-imagenet中沒有出現(xiàn)這種現(xiàn)象，這說明全局觸發(fā)器的成功并不需要局部觸發(fā)器的成功。
XXXXXDBA更持久
5.分布式攻擊的魯棒性
RFA和FoolsGold是最近提出的兩種基于距離或相似性指標(biāo)的魯棒FL聚合算法，特別是RFA據(jù)稱能夠檢測到更細(xì)微的異常值，這些異常值超出了實驗設(shè)置的最壞情況。
此外，由于縮放操作，攻擊A-S更容易被檢測到，我們將重點評估攻擊A-M設(shè)置下DBA和集中式后門攻擊對RFA和FoolsGold的攻擊有效性。
????????如何使得算法可以在A-S設(shè)置下也同樣有效，我覺得這是一個實驗出發(fā)點
a.Robust Aggregation Defence RAF算法
RFA聚合模型的參數(shù)來進行更新，通過用近似幾何中位數(shù)取代聚合步驟中的加權(quán)算術(shù)平均值，對異常值（離群點）具有魯棒性。RFA要求迭代的異常值的總權(quán)重嚴(yán)格小于1/2，以便它可以在有異常值的情況下依然可以收斂到一個結(jié)果。
RFA的最大迭代次數(shù)設(shè)置為10，而實際上它收斂得很快，可以在大約4次迭代內(nèi)給出高質(zhì)量的解決方案。
為了解釋DBA的有效性，我們計算了攻擊者模型參數(shù)更新和最終幾何中位數(shù)之間的歐幾里得范數(shù)作為距離度量。DBA攻擊者提交的惡意更新比集中式攻擊者在所有數(shù)據(jù)集上的更新距離要小，這有助于DBA攻擊者更好地繞過防御。
?b.Mitigating Sybils Defence(FoolsGold)
?FoolsGold降低了重復(fù)提供相似梯度更新的參與方的聚合權(quán)重，同時保留了提供不同梯度更新的參與方的權(quán)重。
盡管FoolsGold為DBA攻擊者提供了更小的權(quán)重，但是總體而言，DBA的權(quán)重總和是大于集中式攻擊者的。
6.通過特征可視化和特征重要性進行解釋
我們使用Grad-CAM可視化方法來解釋為什么DBA更穩(wěn)定，通過檢查他們對原始和后門目標(biāo)標(biāo)簽的解釋，分別為干凈的數(shù)據(jù)輸入和具有本地和全局觸發(fā)器的后門樣本。我們發(fā)現(xiàn)每個局部觸發(fā)的圖像單獨是一個弱攻擊，因為它們都不能改變預(yù)測(沒有注意左上角嵌入的觸發(fā)器)。然而，當(dāng)作為全局觸發(fā)器組裝在一起時，攻擊效果又變得非常明顯，這表明了DBA的隱蔽性。
基于soft decision tree軟決策樹，結(jié)果表明，不重要的特征在中毒后的預(yù)測中變得非常重要，即中毒后的觸發(fā)區(qū)域?qū)τ跊Q策確實變得更加重要。
四、分布式后門攻擊觸發(fā)因素分析
在這里，我們將研究攻擊A-S下2.3節(jié)中引入的DBA觸發(fā)因素。我們在每個實驗中只改變一個因素，其他因素保持與3.1節(jié)相同。
在攻擊A-S中，
DBA-ASR表示攻擊成功率。
Main-Acc表示最后一個DBA local tigger嵌入時 global model的準(zhǔn)確性。
DBA- ASR -t是執(zhí)行完整DBA后的t輪攻擊成功率，顯示持久性。
Main - Acc -t為t輪后的main accuracy
總得來說，我們希望 main task accuracy 有更小的降低。
一般來說，我們預(yù)計在DBA之后主任務(wù)的準(zhǔn)確性會有一個小的下降，但是在幾輪訓(xùn)練之后最終會恢復(fù)正常。
1.Effects of Scale
1）擴大縮放因子會增加DBA-ASR,DBA-ASR-t，并且縮小他們之間的gap。
2）模型架構(gòu)越復(fù)雜，隨著縮放因子的增加，main accuracy下降地越明顯。因為縮放破壞了復(fù)雜架構(gòu)中更多的模型參數(shù)。
3）更大的縮放因子會減輕DBA的中央服務(wù)器的平均影響，這會帶來更有效、更持久的攻擊表現(xiàn)，但也造成全局模型的main accuracy的下降。此外，使用大的縮放因子會導(dǎo)致異于其他良性更新的異常更新，這在基于參數(shù)量級的檢測中是很容易被發(fā)現(xiàn)的。因此，在選擇縮放因子時存在一個trade-off。
2.Effects of Trigger Location
對于圖像數(shù)據(jù)集，我們將global trigger 從左上角移到中心，然后移到右下角。
1）我們觀察到了一個U形曲線，這是因為通常來說圖像中央包含主要對象。在這種區(qū)域做DBA很難成功而且會被更快遺忘，因為這些像素對main accuracy更加有用。
2）在a中可以看到，在attacking round和隨后的round中，DBA使用低重要性的特征有更高的攻擊成功率。
3.Effects of Trigger Gap
1)當(dāng)四個local trigger位于圖像的四個角上時，DBA-ASR和DBA-ASR-t在圖像數(shù)據(jù)集上都是低的。這可能是因為局部卷積操作以及l(fā)ocal trigger之間的大距離使得全局模型沒有識別出global trigger
2)在a圖中，DBA-ASR,DBA-ASR-t曲線在中間有個顯著的降低。當(dāng)右側(cè)更低的local trigger擋住了中心區(qū)域時會發(fā)生這種情況
3)使用zero trigger gap，DBA仍然可以成功，但是我們發(fā)現(xiàn)后門也會更快被遺忘。所以我們建議在實施DBA時使用non-zero trigger gap。
4.Effects of Trigger Size
1）在圖像數(shù)據(jù)集中，更大的trigger size會有更高的DBA-ASR和DBA-ASR-t.然而一旦trigger size足夠大，他們就穩(wěn)定了，這表明over-size的trigger幾乎不會有更多提升。
2）當(dāng)TS=1時，DBA-ASR是比較低的，這是因為每個local trigger太小了以至于無法在global trigger中被識別出來。在同樣環(huán)境下，使用4像素的global pattern的中心化攻擊并不是非常成功而且其ASR在4 round內(nèi)很快就下降到低于10%了，這表明在Attack A-S下，帶有太小的trigger的后門攻擊是無效的。
5.Effects of poison interval
1)當(dāng)所有分布式攻擊者在同一輪（I = 0）提交縮放更新時，攻擊性能會下降，因為縮放的影響太大以至于大量改變了全局模型的參數(shù)，導(dǎo)致其在main accuracy的降低。另外，如果poison interval太大的話也是無效的，因為這會導(dǎo)致早期嵌入的trigger被完全遺忘。
2)A,b兩幅圖的頂峰表明存在一個最優(yōu)的poison round interval。DBA攻擊者可以等待直到全局模型收斂然后前輸入下一個local trigger來最大化后門性能，這是相比于中心化攻擊的一個有競爭性的優(yōu)勢
3)在c,d中可以看到interval從1到50都沒有引起DBA-ASR,DBA-ASR-t有一個明顯的變化，這表明local trigger的影響可以持續(xù)并會對global trigger的攻擊性能有影響。從這方面來看，分布式攻擊是更大的威脅因素。
6.Effects of poison ratio
如上所示，x軸是投毒樣本的量，從1開始增加，DBA-ASR和DBA-AST-t首先增加然后降低。這是因為更多的投毒樣本可以實現(xiàn)更好的后門攻擊性能，但是太多的話意味著攻擊者提升了低準(zhǔn)確率的局部模型的權(quán)重，這將會導(dǎo)致在主任務(wù)中全局模型的失效。
所以我們在攻擊時應(yīng)該保持一個合理的投毒樣本比例。
7.Effects of data distribution
使用不同的數(shù)據(jù)分布，DBA-ASR是穩(wěn)定的，表明了DBA的實用性和魯棒性。
當(dāng)訓(xùn)練數(shù)據(jù)是非獨立同分布時，良性參與者之間的更新已經(jīng)具有較高的多樣性，因此植入的惡意更新更容易隱藏在其中，并且不太可能被檢測到。
在我們的實驗中，在 CIFAR 和 Tiny-imagenet 中，DBA 更容易在更為非獨立同分布的數(shù)據(jù)分布下成功地對抗 RFA 和 FoolsGold。文章來源：http://www.zghlxwxcb.cn/news/detail-820744.html
五、相關(guān)工作
1.聯(lián)邦學(xué)習(xí)
2.基于FL的后門攻擊
3.魯棒FL
六、總結(jié)
通過在LOAN和三個不同設(shè)置的圖像數(shù)據(jù)集上的大量實驗，我們表明，在標(biāo)準(zhǔn)FL中，我們提出的DBA比集中式后門攻擊更具持久性和有效性:DBA在單次攻擊和多次攻擊場景下都具有更高的攻擊成功率、更快的收斂速度和更好的彈性。我們還證明了DBA更隱蔽，可以成功地逃避兩種魯棒FL方法。使用特征可視化解釋來解釋DBA的有效性，以檢查其在聚合中的作用。我們還對DBA特有的重要因素進行了深入分析，以探索其特性和局限性。我們的結(jié)果表明，DBA是一種比當(dāng)前后門攻擊更強大的針對FL的新攻擊。我們的分析和發(fā)現(xiàn)可以為評估FL的對抗性魯棒性提供新的威脅評估工具和新的見解。文章來源地址http://www.zghlxwxcb.cn/news/detail-820744.html
到了這里，關(guān)于DBA: DISTRIBUTED BACKDOOR ATTACKS AGAINST FEDERATED LEARNING 論文閱讀筆記的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
