高級分布式系統(tǒng)匯總：高級分布式系統(tǒng)目錄匯總-CSDN博客
聯(lián)邦學習
兩種常見的架構：客戶-服務器架構和對等網(wǎng)絡架構
聯(lián)邦學習在傳統(tǒng)的分布式機器學習基礎上的變化。
傳統(tǒng)的分布式機器學習：在數(shù)據(jù)中心或計算集群中使用并行訓練，因為有高速通信連接，所以通信開銷相對很小，計算開銷將會占主導地位。
聯(lián)邦學習：通信需要依靠互聯(lián)網(wǎng)，甚至是無線網(wǎng)絡，所以通信代價是占主導地位的。
減少通信輪次的方法
? 增加并行度：加入更多的參與方，讓它們在通信輪次間各自獨立地進行模型訓練。
? 增加每一個參與方中的計算：每一個參與方可以在兩個通信輪次之間進行更復雜的計算。
最經(jīng)典的聯(lián)邦學習算法——FedAvg
1、服務器初始化訓練模型，并隨機選擇所有客戶端中的一部分將模型廣播給被選擇的用戶。
2、被選擇的客戶端先將接受到的模型作為初始化模型，在利用本地數(shù)據(jù)進行訓練，然后將結(jié)果上傳給服務器。
3、服務器聚合收到的模型，然后再隨機選擇所有客戶端中的一部分，將模型廣播給被選擇的用戶。
4、重復2和3，直至模型收斂。
FedAvg存在的兩個缺陷：
? 設備異質(zhì)性：不同的設備間的通信和計算能力是有差異的。在FedAvg中，被選中的客戶端在本地都訓練相同的epoch，雖然作者指出提升epoch可以有效減小通信成本，但較大的epoch下，可能會有很多設備無法按時完成訓練。無論是直接drop掉這部分客戶端的模型還是直接利用這部分未完成的模型來進行聚合，都將對最終模型的收斂造成不好的影響。
? 數(shù)據(jù)異質(zhì)性：不同設備中數(shù)據(jù)可能是非獨立同分布的。如果數(shù)據(jù)是獨立同分布的，那么本地模型訓練較多的epoch會加快全局模型的收斂；如果不是獨立同分布的，不同設備在利用非IID的本地數(shù)據(jù)進行訓練并且訓練輪數(shù)較大時，本地模型將會偏離初始的全局模型。
FedProx——FedAvg的改進
異步與同步聯(lián)邦學習的結(jié)合
Resource-Efficient Federated Learning with Hierarchical Aggregation in Edge Computing(IEEE INFOCOM 2021)
聯(lián)邦學習算法的優(yōu)化分類方法
文章來源：http://www.zghlxwxcb.cn/news/detail-791362.html
聯(lián)邦學習涉及的應用研究
文章來源地址http://www.zghlxwxcb.cn/news/detail-791362.html
到了這里，關于高級分布式系統(tǒng)-第15講 分布式機器學習--聯(lián)邦學習的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
