論文信息

原文地址：https://doi.org/10.1145/3534678.3539112

摘要

The incredible development of federated learning (FL) has benefited various tasks in the domains of computer vision and natural language processing, and the existing frameworks such as TFF and FATE has made the deployment easy in real-world applications. However, federated graph learning (FGL), even though graph data are prevalent, has not been well supported due to its unique characteristics and requirements. The lack of FGL-related framework increases the efforts for accomplishing reproducible research and deploying in real-world applications. Motivated by such strong demand, in this paper, we first discuss the challenges in creating an easy-to-use FGL package and accordingly present our implemented package FederatedScope-GNN (FS-G), which provides (1) a unified view for modularizing and expressing FGL algorithms; (2) comprehensive DataZoo and ModelZoo for out-of-the-box FGL capability; (3) an efficient model auto-tuning component; and (4) off-the-shelf privacy attack and defense abilities. We validate the effectiveness of FS-G by conducting extensive experiments, which simultaneously gains many valuable insights about FGL for the community. Moreover, we employ FS-G to serve the FGL application in real-world E-commerce scenarios, where the attained improvements indicate great potential business benefits. We publicly release FS-G, as submodules of FederatedScope, at https://github.com/alibaba/FederatedScope to promote FGL’s research and enable broad applications that would otherwise be infeasible due to the lack of a dedicated package.

聯(lián)邦學(xué)習(xí)( FL )的驚人發(fā)展使計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理領(lǐng)域的各種任務(wù)受益，TFF和FATE等現(xiàn)有框架使其在實(shí)際應(yīng)用中易于部署。然而，盡管圖數(shù)據(jù)是普遍的，聯(lián)邦圖學(xué)習(xí)( FGL )由于其獨(dú)特的特點(diǎn)和要求，沒(méi)有得到很好的支持。FGL相關(guān)框架的缺乏增加了在實(shí)際應(yīng)用中實(shí)現(xiàn)可重復(fù)研究和部署的努力。在這種強(qiáng)烈需求的驅(qū)動(dòng)下，本文首先討論了創(chuàng)建一個(gè)易于使用的FGL包所面臨的挑戰(zhàn)，并在此基礎(chǔ)上提出了我們實(shí)現(xiàn)的FederatedScope-GNN ( FS-G )包，該包提供了:
( 1 )對(duì)FGL算法進(jìn)行模塊化表示的統(tǒng)一視圖；
( 2 )全面的DataZoo和ModelZoo實(shí)現(xiàn)開箱即用的FGL功能；
( 3 )高效的模型自校正組件；
( 4 )現(xiàn)成的隱私攻防能力。
我們通過(guò)大量的實(shí)驗(yàn)驗(yàn)證了FS - G的有效性，同時(shí)也為社會(huì)提供了許多關(guān)于FGL的有價(jià)值的見解。此外，我們使用FS - G服務(wù)于現(xiàn)實(shí)世界電子商務(wù)場(chǎng)景中的FGL應(yīng)用程序，所實(shí)現(xiàn)的改進(jìn)表明了巨大的潛在業(yè)務(wù)效益。我們?cè)趆ttps://github.com/alibaba/FederatedScope公開發(fā)布了FS - G，作為FederatedScope的子模塊，以促進(jìn)FGL的研究，并實(shí)現(xiàn)廣泛的應(yīng)用。

FederatedScope-GNN（FGL）

總體框架如下：

1. 選擇在事件驅(qū)動(dòng)的FL框架FederationScope上構(gòu)建FS - G，該框架通過(guò)定義消息處理程序?qū)⒔粨Q的數(shù)據(jù)抽象為消息，并描述每個(gè)參與者的行為。需要開發(fā)FGL算法的用戶可以簡(jiǎn)單地定義(異構(gòu))消息和處理程序，從而省去協(xié)調(diào)參與者的工作。同時(shí)，可以使用各自的圖形學(xué)習(xí)后端(比如torch_geometric、tf_geometric)實(shí)現(xiàn)不同的處理程序。
2. 為了便于對(duì)標(biāo)相關(guān)的FGL方法，F(xiàn)S - G提供了一個(gè)集成了適用于大多數(shù)現(xiàn)有圖數(shù)據(jù)集的豐富分裂機(jī)制的Graph Data Zoo和一個(gè)集成了許多最先進(jìn)的FGL算法的GN - NModel Zoo。因此，用戶可以毫不費(fèi)力地再現(xiàn)相關(guān)作品的結(jié)果。值得一提的是，我們識(shí)別了來(lái)自圖結(jié)構(gòu)的圖數(shù)據(jù)的唯一協(xié)變量偏移，并設(shè)計(jì)了一個(gè)聯(lián)邦隨機(jī)圖模型進(jìn)行相應(yīng)的進(jìn)一步研究。
3. FS - G還提供了一個(gè)用于調(diào)優(yōu)FGL方法的組件。一方面，它提供了實(shí)現(xiàn)低保真HPO的基本功能，使FS - G的用戶能夠?qū)F(xiàn)有的HPO算法推廣到FL設(shè)置中。另一方面，當(dāng)單個(gè)模型不足以處理非i.i.d.圖數(shù)據(jù)時(shí)，我們的模型調(diào)優(yōu)組件提供了豐富的度量來(lái)監(jiān)控客戶端之間的相異性，并提供了一種參數(shù)分組機(jī)制來(lái)統(tǒng)一描述各種個(gè)性化算法。
4. 考慮FGL中額外交換的異構(gòu)數(shù)據(jù)，展示各種攻擊下的隱私泄露水平，并提供有效的防御策略是必不可少的。FS - G包含一個(gè)專用組件，提供各種現(xiàn)成的隱私攻擊和防御能力，這些功能被封裝為FGL過(guò)程的插件功能。

基于FederatedScope的開發(fā)

為了滿足FGL的獨(dú)特需求，基于一個(gè)名為FederatedScope的事件驅(qū)動(dòng)FL框架開發(fā)了FS - G，它將FL過(guò)程中的數(shù)據(jù)交換抽象為消息傳遞。在FederationScope的幫助下，實(shí)現(xiàn)FGL的方法可以概括為兩個(gè)方面：( 1 )定義應(yīng)該交換什么類型的消息；
( 2 )描述服務(wù)器/客戶端處理這些消息的行為。
從這個(gè)角度來(lái)看，一個(gè)標(biāo)準(zhǔn)的FL過(guò)程如下圖：

其中，服務(wù)器和客戶機(jī)傳遞同構(gòu)消息(即，模型參數(shù))。在接收消息時(shí)，它們分別執(zhí)行聚合和本地更新。

FS - G的目標(biāo)既包括對(duì)現(xiàn)有FGL方法的便捷使用，也包括對(duì)新FGL方法的靈活擴(kuò)展。得益于FederatedScope，異構(gòu)交換的數(shù)據(jù)和各種子程序可以方便地表示為消息和處理程序，這支持我們通過(guò)提供不同類型的消息(例如,模型參數(shù)、節(jié)點(diǎn)嵌入、輔助模型、鄰接列表等)和參與者行為(例如,廣播、集群等)來(lái)實(shí)現(xiàn)許多最新的FGL方法，包括FedSage +、FedGNN和GCFL +。將整個(gè)FGL過(guò)程模塊化為消息和處理程序，使得開發(fā)人員可以靈活地單獨(dú)表達(dá)自定義FGL方法中定義的各種操作，而不用考慮協(xié)調(diào)靜態(tài)計(jì)算圖中的參與者。

GRAPHDATAZOO

要為FGL提供一個(gè)統(tǒng)一的實(shí)驗(yàn)平臺(tái)，一個(gè)全面的Graph Data Zoo必不可少。為了滿足不同的實(shí)驗(yàn)?zāi)康模试S用戶通過(guò)配置Dataset、Splitter、Transform和Dataloader的選擇來(lái)構(gòu)成FL數(shù)據(jù)集。

定義在圖數(shù)據(jù)上的任務(wù)通常分為以下幾類：

• 節(jié)點(diǎn)級(jí)任務(wù)：每個(gè)實(shí)例都是與其標(biāo)簽相關(guān)聯(lián)的節(jié)點(diǎn)。為了對(duì)一個(gè)節(jié)點(diǎn)進(jìn)行預(yù)測(cè)，它的??跳鄰域通常被認(rèn)為是GNN的輸入。
• 鏈路級(jí)任務(wù)：目標(biāo)是預(yù)測(cè)任意給定的節(jié)點(diǎn)對(duì)是否連通或者每個(gè)給定鏈路的標(biāo)簽。
• 圖級(jí)任務(wù)：每個(gè)實(shí)例都是與它的標(biāo)簽相關(guān)聯(lián)的單個(gè)圖。

對(duì)于鏈接/節(jié)點(diǎn)級(jí)別的任務(wù)，直推式設(shè)置是常用的，其中已標(biāo)記和未標(biāo)記的鏈接/節(jié)點(diǎn)都出現(xiàn)在同一個(gè)圖中。至于圖級(jí)任務(wù)，一個(gè)獨(dú)立的數(shù)據(jù)集通常由一組圖組成。

FederatedScope為研究人員提供了豐富的數(shù)據(jù)集，包括圖像、文本、圖形、推薦系統(tǒng)和演講。DataZoo包含真實(shí)的聯(lián)邦數(shù)據(jù)集以及具有不同拆分器的模擬聯(lián)邦數(shù)據(jù)集。

GNNMODELZOO

作為一個(gè)FGL包，F(xiàn)S - G提供了一個(gè)GNNModelZoo。FS - G的NN模塊中，將一個(gè)通用的神經(jīng)網(wǎng)絡(luò)模型模塊化為四部分：

1. 編碼器：嵌入原始節(jié)點(diǎn)屬性或邊屬性，如原子編碼器和鍵編碼器。
2. GNN：從節(jié)點(diǎn)的原始表示(原始或編碼)和圖結(jié)構(gòu)中學(xué)習(xí)節(jié)點(diǎn)的判別性表示。
3. 解碼器：將這些隱藏的表示恢復(fù)成原始的節(jié)點(diǎn)屬性或鄰接關(guān)系。
4. Readout：將節(jié)點(diǎn)表示聚合成圖表示，例如均值池化。

隨著每個(gè)類別中豐富的選擇集合，用戶可以開箱即用地構(gòu)建各種神經(jīng)網(wǎng)絡(luò)模型。

聯(lián)邦超參數(shù)優(yōu)化（Hyper-parameter Optimization，HPO）

一般來(lái)說(shuō)，HPO是一個(gè)試錯(cuò)過(guò)程，在每個(gè)試驗(yàn)中，都會(huì)提出一個(gè)特定的超參數(shù)配置并進(jìn)行評(píng)估。HPO方法主要在利用每個(gè)試次的反饋和探索基于先前試次的搜索空間方面有所不同。無(wú)論哪種方法，其中一個(gè)最受影響的問(wèn)題是做出準(zhǔn)確評(píng)估的成本，它對(duì)應(yīng)著整個(gè)培訓(xùn)過(guò)程，然后進(jìn)行評(píng)估。

從算法示例中確定保存和恢復(fù)FGL訓(xùn)練的功能需求。這些功能對(duì)于實(shí)現(xiàn)可靠的故障轉(zhuǎn)移機(jī)制也是必不可少的。因此，我們首先說(shuō)明哪些因素決定了FL課程的狀態(tài)：
( 1 )服務(wù)器端：基本上，當(dāng)前輪數(shù)和全局模型參數(shù)必須保存。當(dāng)攻擊者是有狀態(tài)的，例如，考慮到動(dòng)量，它的保持狀態(tài)，例如，一定數(shù)量的移動(dòng)平均，需要保持。
( 2 )客戶端：當(dāng)使用小批量訓(xùn)練進(jìn)行本地更新時(shí)，客戶端特定的數(shù)據(jù)加載器通常是有狀態(tài)的，其索引和順序可能需要保留。

在使用個(gè)性化設(shè)置時(shí)，需要保存客戶端特定的模型參數(shù)。只要保存足夠的因子作為檢查點(diǎn)，F(xiàn)S - G就可以從中恢復(fù)一個(gè)FGL訓(xùn)練過(guò)程并繼續(xù)進(jìn)行。

同時(shí)，遵循FederatedScope的設(shè)計(jì)，將FS - G的入口作為一個(gè)可調(diào)用的FGL運(yùn)行器，接收一個(gè)配置并返回已執(zhí)行的FGL訓(xùn)練課程(全部或不)的度量值集合。因此，我們的模型校正組件中包含的每個(gè)HPO算法都可以抽象為一個(gè)代理，反復(fù)調(diào)用FGL轉(zhuǎn)輪來(lái)收集反饋。受益于這種接口設(shè)計(jì)以及保存和恢復(fù)FGL訓(xùn)練課程的能力，任何一個(gè)單發(fā)HPO方法都可以毫不費(fèi)力地推廣到FS - G上的FGL設(shè)置。

監(jiān)控與個(gè)性化

通過(guò)可視化訓(xùn)練損失和驗(yàn)證性能曲線來(lái)監(jiān)視學(xué)習(xí)過(guò)程，以了解學(xué)習(xí)是否已經(jīng)收斂，以及GNN模型是否已經(jīng)過(guò)擬合。當(dāng)涉及到FGL時(shí)，我們既考慮了客戶端的度量，如本地訓(xùn)練損失，也考慮了服務(wù)器端要計(jì)算的一些度量。具體來(lái)說(shuō)，我們已經(jīng)實(shí)現(xiàn)了幾個(gè)度量，包括B - local相異性和梯度的協(xié)方差矩陣，從聚合消息中計(jì)算，以反映客戶端之間的統(tǒng)計(jì)異質(zhì)性。這些度量越大，不同的客戶端圖就越多。

然后，我們?cè)谙嚓P(guān)工具包(例如, WandB和TensorBoard)上構(gòu)建監(jiān)視功能，以記錄和可視化指標(biāo)。為了使用現(xiàn)成的度量，用戶只需要指定配置的min。同時(shí)，F(xiàn)S - G提供了API供用戶注冊(cè)在本地更新/聚合期間計(jì)算/估計(jì)的任何數(shù)量，并在執(zhí)行過(guò)程中進(jìn)行監(jiān)視。

一旦一些受監(jiān)控的指標(biāo)顯示存在非i.i.d.，用戶可以通過(guò)個(gè)性化模型參數(shù)甚至超參數(shù)來(lái)進(jìn)一步調(diào)整GNN。為了滿足這樣的目的，F(xiàn)S - G首先允許用戶單獨(dú)實(shí)例化每個(gè)參與者的模型。然后，我們?cè)诘讓訖C(jī)器學(xué)習(xí)引擎的命名系統(tǒng)上構(gòu)建一個(gè)靈活的參數(shù)分組機(jī)制。具體來(lái)說(shuō)，該機(jī)制允許用戶輕松地將模型的每個(gè)部分(具有靈活的粒度)聲明為客戶端特定的或共享的。只有共享的部分才會(huì)被交換。

隱私攻擊及防御

FederationScope的隱私攻擊和防御組件集成了各種現(xiàn)成的被動(dòng)隱私攻擊方法，包括類代表推斷攻擊、成員推斷攻擊、屬性推斷攻擊以及訓(xùn)練輸入和標(biāo)簽推斷攻擊。這些方法已經(jīng)被封裝為我們的GNNTrainer的可選hooks。一旦用戶選擇了特定的hooks，GNN模型和一些需要的關(guān)于目標(biāo)數(shù)據(jù)的信息就會(huì)在訓(xùn)練過(guò)程中自動(dòng)反饋到鉤子中。除了以前的被動(dòng)攻擊設(shè)置(對(duì)手誠(chéng)實(shí)但好奇)之外，F(xiàn)S-G還支持惡意對(duì)手設(shè)置。攻擊者可以通過(guò)修改消息來(lái)偏離FL協(xié)議。為了防御被動(dòng)的隱私攻擊，F(xiàn)S - G可以利用FederationScope的插件防御策略，包括差分隱私、MPC和數(shù)據(jù)壓縮。

同時(shí)，F(xiàn)ederationScope提供信息檢查機(jī)制，有效檢測(cè)異常消息，防御惡意攻擊。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-809521.html

到了這里，關(guān)于【論文導(dǎo)讀】- FederatedScope-GNN（FederatedScope-GNN：邁向統(tǒng)一、全面、高效的聯(lián)邦圖學(xué)習(xí)包）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！