摘要

出于對(duì)擴(kuò)展通信和潛在攻擊的擔(dān)憂，一次性FL將通信限制在單一回合，同時(shí)試圖保持性能。

然而，一次性FL方法在高統(tǒng)計(jì)異質(zhì)性的情況下往往會(huì)退化，無(wú)法提高管道的安全性，或者需要一個(gè)輔助的公共數(shù)據(jù)集。

為了解決這些局限性，我們提出了兩種新的無(wú)數(shù)據(jù)的一次性FL方法:FEDCVAE-ENS和它的擴(kuò)展FEDCVAEKD。這兩種方法都使用條件變分自動(dòng)編碼器(CVAE)重構(gòu)局部學(xué)習(xí)任務(wù)，以解決高統(tǒng)計(jì)異質(zhì)性。

此外，F(xiàn)EDCVAE-KD利用知識(shí)蒸餾將客戶端解碼器的集合壓縮到單個(gè)解碼器中。我們提出了一種改變CVAE先驗(yàn)分布中心的方法，并通過實(shí)驗(yàn)證明這種方法提高了安全性，并展示了這兩種方法是如何結(jié)合異構(gòu)局部模型的。

論文通過在多個(gè)基準(zhǔn)數(shù)據(jù)集（MNIST, FashionMNIST, SVHN）上進(jìn)行實(shí)驗(yàn)，證明了這兩種方法相較于其他一次性FL方法的優(yōu)越性。特別是在極端統(tǒng)計(jì)異質(zhì)性情況下（即客戶端僅觀察到一到兩個(gè)類別），F(xiàn)EDCVAE-ENS和FEDCVAE-KD的準(zhǔn)確度分別達(dá)到了最佳基線方法的1.75倍、2倍和2.75倍。

背景

FEDCVAE-ENS 和 FEDCVAE-KD

• 模型介紹：這兩個(gè)模型利用條件變分自編碼器（CVAE）重新定義了本地學(xué)習(xí)任務(wù)。CVAE能夠輕松學(xué)習(xí)簡(jiǎn)化的數(shù)據(jù)分布，這對(duì)于處理高統(tǒng)計(jì)異質(zhì)性環(huán)境中出現(xiàn)的狹窄條件數(shù)據(jù)分布特別有用。
• 本地訓(xùn)練：在高統(tǒng)計(jì)異質(zhì)性的環(huán)境中，這兩種方法在本地訓(xùn)練CVAE，以捕獲狹窄的條件數(shù)據(jù)分布。
• 客戶端解碼器專業(yè)化：如圖1所示，客戶端的解碼器成為它們觀察到的少數(shù)類別的專家。

兩種方法的具體實(shí)現(xiàn)

• FEDCVAE-ENS：使用集成方法將客戶端解碼器結(jié)合起來(lái)。
• FEDCVAE-KD：使用一種輕量級(jí)的知識(shí)蒸餾程序緊湊地聚合模型。在這種方法中，客戶端解碼器作為教師模型，服務(wù)器解碼器作為學(xué)生模型。
• 圖像生成示例：圖1還展示了由服務(wù)器解碼器生成的圖像。

總結(jié)

• FEDCVAE-ENS和FEDCVAE-KD通過利用CVAE在本地學(xué)習(xí)特定于客戶端的數(shù)據(jù)分布，為高度異構(gòu)的數(shù)據(jù)環(huán)境下的聯(lián)邦學(xué)習(xí)提供了有效的解決方案。
• 通過集成和知識(shí)蒸餾，這兩種方法能夠有效整合來(lái)自不同客戶端的信息，同時(shí)減少通信成本和保護(hù)數(shù)據(jù)隱私。
• 這些方法展示了在保持?jǐn)?shù)據(jù)自由和通信效率的同時(shí)，如何在FL設(shè)置中實(shí)現(xiàn)高質(zhì)量的模型訓(xùn)練和數(shù)據(jù)生成。

• 高統(tǒng)計(jì)異質(zhì)性的展示：圖中展示了在非常高的統(tǒng)計(jì)異質(zhì)性條件下，每個(gè)客戶端只觀察到十個(gè)可用類別中的一到兩個(gè)。例如，客戶端2只觀察到數(shù)字4和7，導(dǎo)致其解碼器成為生成這些數(shù)字的專家。
• 客戶端解碼器的專業(yè)化：圖中用大小不等的點(diǎn)表示每個(gè)客戶端觀察到的樣本數(shù)量，每個(gè)客戶端因?yàn)橛^察到有限的類別，其解碼器在這些類別上具有專業(yè)生成能力。
• 知識(shí)蒸餾在FEDCVAE-KD中的應(yīng)用：FEDCVAE-KD通過輕量級(jí)知識(shí)蒸餾訓(xùn)練程序，將本地學(xué)習(xí)緊湊地集成到單個(gè)服務(wù)器解碼器中。這個(gè)服務(wù)器解碼器能夠生成所有可用類別（數(shù)字0-9）的高質(zhì)量樣本。
• 服務(wù)器解碼器的下游應(yīng)用：經(jīng)過訓(xùn)練的服務(wù)器解碼器可用于任何下游任務(wù)，例如分類。

總結(jié)

• 這個(gè)圖例說(shuō)明了FEDCVAE-ENS和FEDCVAE-KD如何解決高統(tǒng)計(jì)異質(zhì)性問題，即通過使每個(gè)客戶端專注于有限的類別，然后通過知識(shí)蒸餾將這些專業(yè)知識(shí)整合到服務(wù)器端。
• 通過這種方法，即使在每個(gè)客戶端只觀察到一部分?jǐn)?shù)據(jù)類別的情況下，整個(gè)系統(tǒng)仍能有效地學(xué)習(xí)和生成所有類別的數(shù)據(jù)。
• 這種方法不僅提高了數(shù)據(jù)利用效率，還提高了模型的靈活性和適用性，特別是在需要處理來(lái)自不同客戶端的高度異質(zhì)數(shù)據(jù)時(shí)。

PRELIMINARIES

條件變分自動(dòng)編碼器

一次性聯(lián)邦學(xué)習(xí)（One-Shot Federated Learning）

1. 概念：在聯(lián)邦學(xué)習(xí)的設(shè)置中，存在一組客戶端，每個(gè)客戶端都擁有自己的私有數(shù)據(jù)集。在傳統(tǒng)的FL方法中，假設(shè)每個(gè)客戶端有一個(gè)本地的可微模型，通常是由參數(shù)化的深度神經(jīng)網(wǎng)絡(luò)。
2. 通信限制：與多輪通信的傳統(tǒng)FL不同，一次性FL僅限于單輪通信，這極大地限制了通信成本，但也增加了分布式學(xué)習(xí)任務(wù)的難度。
3. 統(tǒng)計(jì)異質(zhì)性問題：現(xiàn)有的一次性FL方法要么忽略了統(tǒng)計(jì)異質(zhì)性問題（即不同客戶端數(shù)據(jù)分布的不同），要么未能全面探索統(tǒng)計(jì)異質(zhì)性對(duì)性能的影響，或者即使在中等水平的統(tǒng)計(jì)異質(zhì)性下也表現(xiàn)不佳。

Method

FEDCVAE-KD是一種結(jié)合了條件變分自編碼器（CVAE）和知識(shí)蒸餾（KD）的聯(lián)邦學(xué)習(xí)方法。這個(gè)流程包含以下幾個(gè)關(guān)鍵步驟：

1. 客戶端訓(xùn)練（m clients）：

• 每個(gè)客戶端都有自己的數(shù)據(jù)集。
• 客戶端使用自己的數(shù)據(jù)訓(xùn)練CVAE模型，這包括一個(gè)編碼器（E）和一個(gè)解碼器（D）。
• 編碼器（E）將數(shù)據(jù)編碼到潛在空間，解碼器（D）從潛在空間重構(gòu)數(shù)據(jù)。

• 通信：

• 客戶端將他們的解碼器（D）權(quán)重和標(biāo)簽分布上傳到服務(wù)器。
• 這個(gè)上傳過程是單輪的，符合一次性聯(lián)邦學(xué)習(xí)的框架，旨在減少通信成本。

• 服務(wù)器端訓(xùn)練解碼器（Train server decoder via KD）：

• 服務(wù)器使用客戶端上傳的解碼器權(quán)重和標(biāo)簽分布來(lái)通過知識(shí)蒸餾訓(xùn)練一個(gè)全局解碼器。
• 這個(gè)過程涉及到最小化知識(shí)蒸餾損失（KD loss），這通常是指減少客戶端解碼器輸出和服務(wù)器解碼器輸出之間的差異。

• 訓(xùn)練分類器（Train classifier on decoder samples）：

• 服務(wù)器使用訓(xùn)練好的全局解碼器生成合成標(biāo)記樣本。
• 這些合成樣本隨后用于訓(xùn)練一個(gè)分類器（C），這個(gè)分類器最終可以用于新數(shù)據(jù)的預(yù)測(cè)。

Fedcvae-kd:利用知識(shí)蒸餾的譯碼器聚合

算法

因?yàn)镕EDCVAE-KD集成客戶端解碼器來(lái)創(chuàng)建一個(gè)標(biāo)記的數(shù)據(jù)集DEns來(lái)訓(xùn)練服務(wù)器解碼器，每個(gè)客戶端可以有一個(gè)獨(dú)特的CVAE模型架構(gòu)，以適應(yīng)每個(gè)客戶端的計(jì)算限制。此外，分類器架構(gòu)的決定可以推遲到FL完成后，不會(huì)影響學(xué)習(xí)過程。FEDCVAE-KD可以應(yīng)用于任何需要標(biāo)記數(shù)據(jù)集的任務(wù)，這比分類更普遍;在學(xué)習(xí)發(fā)生之前，沒有對(duì)特定的終端任務(wù)的承諾。雖然我們沒有研究擴(kuò)展的通信設(shè)置，但我們注意到FEDCVAE-KD通過將通過KD獲得的服務(wù)器解碼器參數(shù)傳遞給所有客戶端，并在非終端通信輪中重復(fù)概述的過程，從而自然地進(jìn)行了擴(kuò)展

安全提升擴(kuò)展

定義了一個(gè)安全的數(shù)據(jù)傳輸管道，其特點(diǎn)是即使外部攻擊者獲取了傳輸?shù)臄?shù)據(jù)，也無(wú)法訓(xùn)練出有效的分類器。特別針對(duì)的是FEDCVAE-ENS和FEDCVAE-KD模型，在這兩個(gè)模型中，即使攻擊者截獲了所有客戶端的解碼器和本地標(biāo)簽分布，也不能生成用于訓(xùn)練高質(zhì)量分類器的高質(zhì)量樣本。

文中提到條件變分自編碼器（CVAEs）使用潛在空間上的先驗(yàn)分布來(lái)訓(xùn)練編碼器和解碼器模型。盡管通常出于方便使用多變量標(biāo)準(zhǔn)正態(tài)分布，但任何正態(tài)分布都是可接受的。為了提高安全性，建議將先驗(yàn)分布的中心μ隨機(jī)移動(dòng)到實(shí)空間中的某個(gè)位置（即 μ ∈ Rd），這個(gè)位置可以通過離線方式或加密方法在服務(wù)器和客戶端之間進(jìn)行通信。實(shí)驗(yàn)顯示，從正態(tài)先驗(yàn)的中心過遠(yuǎn)地采樣潛在向量會(huì)產(chǎn)生質(zhì)量較差的數(shù)據(jù)樣本，這阻止了沒有μ知識(shí)的竊聽攻擊者。

促進(jìn)安全

我們驗(yàn)證了我們所提出的分布移位擴(kuò)展對(duì)于保護(hù)上傳信息的有效性。假設(shè)一個(gè)竊聽攻擊者能夠在上傳過程中攔截所有客戶端的標(biāo)簽分布、解碼器權(quán)重和解碼器架構(gòu)。在不知道多元正態(tài)先驗(yàn)的共享中心的情況下，我們證明訓(xùn)練一個(gè)性能分類器是不可行的，因?yàn)楹茈y從客戶端解碼器中提取高質(zhì)量的樣本。特別是，即使攻擊者從一個(gè)與先前的高密度區(qū)域重疊的廣闊區(qū)域(即以μ為中心的均勻分布)對(duì)潛在向量z進(jìn)行采樣，訓(xùn)練的分類器對(duì)最終樣本的準(zhǔn)確率也會(huì)隨著采樣區(qū)域的增長(zhǎng)而急劇下降(圖5)。10)對(duì)于n (0, I)的正常先驗(yàn)導(dǎo)致3 - 30%的準(zhǔn)確性下降，這取決于數(shù)據(jù)集。對(duì)于U(?1000,1000)的更現(xiàn)實(shí)的猜測(cè)會(huì)導(dǎo)致33 - 67%的分?jǐn)?shù)下降。因此，這個(gè)簡(jiǎn)單的FEDCVAE-ENS和FEDCVAE-KD擴(kuò)展降低了竊聽攻擊者從上傳的解碼器中提取高質(zhì)量樣本或訓(xùn)練性能下游模型的能力，降低了通信風(fēng)險(xiǎn)。

拓展

訓(xùn)練有素的解碼器樣本的質(zhì)量。為了從經(jīng)過訓(xùn)練的CVAE中生成高質(zhì)量的樣本，通常是直接從先驗(yàn)(通常是多元標(biāo)準(zhǔn)正態(tài)分布，即zi ~ N(0, I))或從先驗(yàn)分布均值附近有嚴(yán)格邊界的其他分布(例如，截?cái)嗟臉?biāo)準(zhǔn)正態(tài)分布或均勻分布)中采樣潛向量zi。訓(xùn)練過程中，CVAE會(huì)在先驗(yàn)分布密度最高的區(qū)域大量觀察到潛伏載體;對(duì)于標(biāo)準(zhǔn)正態(tài)分布，這是在中心μ= 0附近。與訓(xùn)練好的解碼器一起使用時(shí)，遠(yuǎn)離中心的潛在向量不能產(chǎn)生高質(zhì)量的樣本。作為一種證明，我們訓(xùn)練了一個(gè)集中的CVAE，并在靠近先驗(yàn)中心(即zi ~ U(?1,1))和遠(yuǎn)離先驗(yàn)中心(即zi ~ U(5,20))的地方進(jìn)行樣本采集。生成的圖像樣本如圖7所示。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-765356.html

到了這里，關(guān)于（FEDCVAE-KD）DATA-FREE ONE-SHOT FEDERATED LEARNING UNDER VERY HIGH STATISTICAL HETEROGENEITY論文筆記的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！