論文信息

FASTGNN: A Topological Information Protected Federated Learning Approach forTraf?c Speed Forecasting

原文地址：https://ieeexplore.ieee.org/document/9340313

摘要

Federated learning has been applied to various tasks in intelligent transportation systems to protect data privacy through decentralized training schemes. The majority of the state-of-the-art models in intelligent transportation systems (ITS) are graph neural networks (GNN)-based for spatial information learning. When applying federated learning to the ITS tasks with GNN-based models, the existing frameworks can only protect the data privacy; however, ignore the one of topological information of transportation networks. In this article, we propose a novel federated learning framework to tackle this problem. Specifically, we introduce a differential privacy-based adjacency matrix preserving approach for protecting the topological information. We also propose an adjacency matrix aggregation approach to allow local GNN-based models to access the global network for a better training effect. Furthermore, we propose a GNN-based model named attention-based spatial-temporal graph neural networks (ASTGNN) for traffic speed forecasting. We integrate the proposed federated learning framework and ASTGNN as FASTGNN for traffic speed forecasting. Extensive case studies on a real-world dataset demonstrate that FASTGNN can develop accurate forecasting under the privacy preservation constraint.

聯(lián)合學習已被應(yīng)用于智能交通系統(tǒng)中的各種任務(wù)，以通過分散的訓練方案保護數(shù)據(jù)隱私。智能交通系統(tǒng)（ITS）中最先進的模型的主要優(yōu)點是基于圖神經(jīng)網(wǎng)絡(luò)（GNN）的空間信息學習。當將前饋學習應(yīng)用于基于GNN模型的ITS任務(wù)時，現(xiàn)有的框架只能保護數(shù)據(jù)隱私；然而，忽略了傳輸網(wǎng)絡(luò)的拓撲信息。在本文中，我們提出了一種新的分布式學習框架來解決這個問題。具體地，我們引入了一種基于差分隱私的鄰接矩陣保護方法來保護拓撲信息。我們還提出了一種鄰接矩陣聚合方法，允許基于局部GNN的模型接入全局網(wǎng)絡(luò)，以獲得更好的訓練效果。此外，我們提出了一種基于GNN的模型，稱為基于注意力的時空圖神經(jīng)網(wǎng)絡(luò)（ASTGNN），用于交通速度預測。我們將所提出的聯(lián)合學習框架和ASTGNN集成為FASTGNN，用于交通速度預測。對真實世界數(shù)據(jù)集的大量案例研究表明，F(xiàn)ASTGNN可以在隱私保護約束下進行準確的預測。

Contributions

1. 我們提出了一種拓撲信息保護的FL框架FASTGNN，用于交通速度預測概率。該框架利用先進的時空技術(shù)集成了基于 GNN 的預測器。這樣的框架可以通過不同組織在本地訓練模型來提供強大的隱私保護交易速度預測，而無需原始數(shù)據(jù)和拓撲信息交換。
2. 在提出的FL框架中，我們引入了一種基于DP的鄰接矩陣保留方法，以保護拓撲信息。我們還開發(fā)了一種鄰接矩陣聚合機制來生成一個保留的全局網(wǎng)絡(luò)鄰接矩陣。這兩種方法保證了我們的框架在隱私和性能之間實現(xiàn)權(quán)衡。
3. 對真實世界的交通數(shù)據(jù)集進行了一系列全面的案例研究，以證明所提出的FASTGNN框架的有效性。

PRELIMINARY

Traf?c Speed Forecasting on Transportation Networks

一個交通網(wǎng)絡(luò)可以用無向圖表示，，其中，V 是節(jié)點集，我們將每個節(jié)點定義為路段，E 是邊的集合，A是G 的鄰接矩陣。? vi, vj ∈ V, 如果vi, vj是有連接的，則Aij = 1，否則為0。將 G 上觀察到的流量速度表示為圖范圍的特征矩陣 X ，令X^t在時間t處的交通速度觀察，因此可以將問題定義為學習一個函數(shù)f（·），給定歷史交通流量預測后續(xù)時間戳的交通流量。

Federated Learning on Transportation Networks

在本文中，我們構(gòu)建了用于交通網(wǎng)絡(luò)上交通速度預測的 FL 框架。我們將“global-network”G定義為一個地區(qū)的整個交通網(wǎng)絡(luò)。這個領(lǐng)域被幾個組織（例如公司、政府）劃分。令表示組織集，其中 p 是組織的數(shù)量。令表示局部網(wǎng)絡(luò)集。這些組織各自的數(shù)據(jù)庫是Di，它們從其運營的本地網(wǎng)絡(luò)收集流量速度數(shù)據(jù)。特別的，我們有，其中，分別表示從本地網(wǎng)絡(luò)收集的歷史交通流量數(shù)據(jù)和拓撲信息。

此外，本文基于組織之間沒有重疊區(qū)域和數(shù)據(jù)，即對于任何兩個組織i和j，Di∩ Dj = ?。我們的目標是在云中訓練一個強大的模型，該模型可以使用來自 Di 的本地流量速度數(shù)據(jù)預測全局網(wǎng)絡(luò)范圍的流量速度。盡管如此，出于隱私考慮，這些組織被禁止共享其運營的本地網(wǎng)絡(luò)的原始流量數(shù)據(jù)和拓撲信息（即他們只能訪問本地網(wǎng)絡(luò)）。
為了在上述隱私約束下實現(xiàn)我們的目標，需要在 FL 框架中采用安全參數(shù)聚合機制 （SPAM）。具體而言，由每個組織 Oi 構(gòu)建的基于圖的深度學習模型 Mi 利用來自 Di 的本地訓練數(shù)據(jù)和相應(yīng)本地網(wǎng)絡(luò) G?i 的拓撲信息計算一組更新的模型參數(shù)φi。在所有組織完成參數(shù)更新后，其規(guī)范參數(shù)將上傳到云中。全局模型最終通過聚合這些上傳的參數(shù)來開發(fā)。

METHODOLOGY

Attention-Based Spatial-Temporal Graph Neural Networks

針對全網(wǎng)流量速度預測問題，提出ASTGNN作為局部預測模型。如圖所示，ASTGNN由特征嵌入模塊、空間依賴性捕獲模塊、時間依賴性捕獲模塊和預測輸出模塊四個模塊組成。

特征嵌入模塊

特征嵌入模塊將輸入的時間序列數(shù)據(jù)轉(zhuǎn)換為特征向量，之后可由空間依賴性捕獲模塊進行處理。具體來說，給定時間序列值為的序列（長度 = T），每個特征向量可以表述為：

其中h^t是時間 t 處的網(wǎng)絡(luò)范圍特征向量; F 是向量的維度，其物理含義等效于過去的窗口大小。這意味著我們實際上將一系列序列數(shù)據(jù)嵌入到特征向量中，其長度與過去的窗口大小相同。通過這種方式，我們可以獲得特征向量序列 h1， h2， . . . ， hT。

空間依賴性捕獲模塊

空間依賴性捕獲模塊用于利用交通網(wǎng)絡(luò)中不同路段（節(jié)點）之間的空間依賴性（圖）。我們通過跟隨圖注意力網(wǎng)絡(luò)（GAT）來構(gòu)建該模塊，該網(wǎng)絡(luò)利用注意力機制獲得空間相關(guān)性。本模塊的操作步驟可描述為以下步驟。

1. 我們從計算注意力分數(shù)開始。對于任何有序的節(jié)點對（vi，vj）∈ V，從vj 感知到 vi 的注意力得分可以表述為：
   。其中表示注意力得分，hti 和 htj 分別是節(jié)點 vi 和 vj 在時間 t 的特征向量，W是可以將特征向量轉(zhuǎn)換為更高維度 Fh 的權(quán)重矩陣，concat（·） 表示串聯(lián)操作，a是權(quán)重向量，T 表示轉(zhuǎn)置操作。
2. 隨后，我們使用激活函數(shù)來規(guī)范注意力得分并獲得注意力效率，可以表示為。其中，表示注意系數(shù)，LeakyReLU（·） 表示LeakyReLU激活函數(shù)，softmax（·） 表示 softmax激活函數(shù)。
3. 接下來，我們過濾得到的注意力系數(shù)，僅對連接的節(jié)點對存活注意力系數(shù)，可以公式化為。其中A_ij是鄰接矩陣 A 中節(jié)點 vi 和 vj 的條目，我們可以推斷，當 Aij = 1 時，注意力系數(shù)仍然存在，否則被丟棄（即等于 0）。
4. 最后，利用注意力系數(shù)更新節(jié)點vi的特征向量，可以表述為：
   。其中，是節(jié)點vi 在t時刻的更新特征向量，被視為該模塊的輸出，N（i）是節(jié)點vi緊鄰節(jié)點的集合，W^o是權(quán)重矩陣。

時間依賴性捕獲模塊

時態(tài)依賴關(guān)系捕獲模塊旨在了解數(shù)據(jù)的潛在時態(tài)依賴關(guān)系。我們在這個模塊中使用了兩層GRU神經(jīng)網(wǎng)絡(luò)。GRU引入了一組門控單元和細胞狀態(tài)來處理輸入信息，可以解決學習過程中的梯度消失問題。門口單元有兩種類型，即復位門r和更新門z。給定輸入數(shù)據(jù) x^t，1 隱藏層輸出 h^t_g 可以由下式計算:

預測輸出模塊

該模塊中集成了一個完全連接的層，以生成期貨時間戳的流量速度。這種由全連接層進行的線性變換公式為：

其中，W^（fc）是將時態(tài)模塊中GRU的隱藏輸出映射到s預測輸出的權(quán)重矩陣，b是偏置。

Federated Learning Framework for ASTGNN

如圖所示，每個組織運行一個ASTGNN作為本地模型，其輸入是來自其本地流量數(shù)據(jù)庫的交通速度數(shù)據(jù)和拓撲信息。在組織端實現(xiàn)基于DP的鄰接矩陣保持算法，保護本地拓撲信息。云服務(wù)器負責聚合保存的本地拓撲信息和ASTGNN模型參數(shù)，并廣播聚合后的拓撲信息。相關(guān)算法的詳細闡述可以在下面看到。

1. FASTGNN Communication Protocol
   如第 III-B 節(jié)中所定義，每個組織只能訪問自己的流量數(shù)據(jù)和本地網(wǎng)絡(luò)拓撲信息以進行本地模型的訓練。僅使用本地網(wǎng)絡(luò)拓撲信息訓練局部模型的一個問題是，本地網(wǎng)絡(luò)不包含 ASTGNN 計算注意力系數(shù)的所有基本拓撲信息。這個問題可能會導致最終的低學習效果（相關(guān)的實驗比較將在V-C節(jié)中演示）。因此，必須將全局網(wǎng)絡(luò)的拓撲信息饋送到局部模型以獲得更好的結(jié)果。為了在不損害本地網(wǎng)絡(luò)拓撲信息的隱私性的情況下實現(xiàn)這一目標，我們提出了一種算法1中所示的FL通信協(xié)議。

然后詳細介紹了拓撲信息隱私保護算法、本地網(wǎng)絡(luò)拓撲信息聚合機制、SPAM和整個FL過程。

2. DP-Based Adjacency Matrix Preserving
   在本文中，我們將局部網(wǎng)絡(luò)的鄰接矩陣作為拓撲信息的載體。我們引入了一種基于DP的方法，為鄰接矩陣提供隱私保護，同時保持其在ASTGNN學習過程中的實用性。給定要保護的鄰接矩陣 A，算法如下所示：
   （1）生成兩個高斯隨機矩陣和其中 M 是隨機投影的數(shù)量。通過這種方式，R（p）和R（q）的每個條目都從高斯分布中獨立采樣。
   （2）計算投影矩陣 A^（p），A^（p）=A R^（p）通過這樣做，A的每一行從高維RN投影到低維RM
   （3）擾動 A（p）與高斯隨機矩陣 R（q） ，

擾動矩陣被視為保留的原始鄰接矩陣 A 之一。鄰接矩陣的頂部特征向量主要用于基于GNN的模型來計算空間相關(guān)性。

采用步驟i中所述的隨機投影保留了A的頂部特征向量，這為保留的鄰接矩陣在后續(xù)ASTGNN預測器中的有效性提供了保證。此外，該算法使我們能夠涉及少量的隨機擾動，這進一步提高了擾動矩陣的效用。在這項工作的案例研究中，我們憑經(jīng)驗設(shè)置M = 10和σ = 0.5。

3. Local-Network Topological Information Aggregation Mechanism
   FASTGNN通信協(xié)議的步驟ii要求云服務(wù)器聚合上傳的Z^（pp）_G。因此，我們提出一種鄰接矩陣聚合機制。給定一組上傳的受保護的本地網(wǎng)絡(luò)鄰接矩陣，其中 p 是涉及的本地網(wǎng)絡(luò)的數(shù)量，它們對應(yīng)的大小為。由于這些矩陣的大小不同，我們首先使用矩陣對齊方法使它們具有相同的大小，同時保留自己的拓撲信息。具體如圖所示，我們使用零填充將它們的維度與全局網(wǎng)絡(luò)的大小對齊，從而獲得一組對齊矩陣。
   

此外，考慮到不同局部網(wǎng)絡(luò)（如圖3所示的陰影區(qū)域）之間的連通性對于學習注意力的重要性，我們?yōu)樗鼈儤?gòu)建了一個隨機連接。具體來說，我們使用IV-B2節(jié)中介紹的方法生成一個與陰影區(qū)域大小相同的高斯隨機矩陣，并對稱地替換原始部分。最后，通過將對齊矩陣相加得到聚合保留的鄰接矩陣，可以表述為

4. Learning Process of FASTGNN
在 FASTGNN 中，我們使用 FedAvg 算法作為SPAM來聚合上傳的參數(shù)并得到全局模型。

最后，如算法 2 所示，F(xiàn)ASTGNN 中每一輪的整個學習過程包括三個步驟：

（1）云服務(wù)器廣播帶有初始參數(shù)的全局模型以及受保護的全局網(wǎng)絡(luò)鄰接矩陣到每個組織。
（2）每個組織通過本地數(shù)據(jù)訓練并更新全局模型參數(shù)。
（3）服務(wù)器通過聯(lián)邦平均算法聚合每個組織訓練的模型參數(shù)得到新的全局模型。文章來源地址http://www.zghlxwxcb.cn/news/detail-488544.html

5. Theoretical Discussion of DP-Based Adjacency Matrix Preserving on Model Performance
   許多現(xiàn)有的研究表明，DP算法添加到數(shù)據(jù)中的噪聲可能導致退化的學習，并進一步影響模型性能。在我們提出的方法中，噪聲被添加到鄰接矩陣而不是數(shù)據(jù)中。在每個局部模型的學習過程中，采用聚合DP處理的全局鄰接矩陣-A（聚合）僅過濾（4）中所述的注意力系數(shù)。由于 ?A（聚合）近似于二元矩陣（即 （0，1）-矩陣）經(jīng)過 DP 處理和聚合，因此注意力系數(shù)的值不會受到顯著影響。因此，可以保證有希望的最終模型性能。此外，現(xiàn)有的性能損失是由于在鄰接矩陣上處理和聚合DP后，原始全局拓撲與新全局拓撲之間的差異。

到了這里，關(guān)于【論文導讀】- A Topological Information Protected Federated Learning Approach for Traf?c Speed Forecasting的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！