面向互聯(lián)自動駕駛汽車的分散聯(lián)邦學(xué)習(xí)方法
基于自主區(qū)塊鏈的聯(lián)邦學(xué)習(xí)(BFL)
用于隱私感知和高效的車載通信網(wǎng)絡(luò)，其中本地車載機(jī)器學(xué)習(xí)(oVML)模型更新以分布式方式交換和驗(yàn)證。BFL利用區(qū)塊鏈的共識機(jī)制，實(shí)現(xiàn)無需任何集中訓(xùn)練數(shù)據(jù)或協(xié)調(diào)的車載機(jī)器學(xué)習(xí)。
基于更新獎勵方法，我們開發(fā)了一個數(shù)學(xué)框架，該框架具有可控制的網(wǎng)絡(luò)和BFL參數(shù)，如重傳限制、塊大小、塊到達(dá)率和幀大小，從而捕捉它們對系統(tǒng)級性能的影響。
下一代無線網(wǎng)絡(luò)在任何地方、時間以及移動狀態(tài)中都保持低延遲和超高可靠性，才能滿足即將出現(xiàn)的自動駕駛車輛的實(shí)時通信約束----->>車載機(jī)器學(xué)習(xí)（oVML）-----讓每輛車都能保持其最佳機(jī)器學(xué)習(xí)模型，從而做出明智的決策。訓(xùn)練這樣的oVML模型需要比每個車輛收集的樣本更多的數(shù)據(jù)樣本。因此，它需要與相鄰車輛進(jìn)行數(shù)據(jù)交易(和知識交流)。在本文中，我們通過利用與相鄰車輛的聯(lián)合學(xué)習(xí)來解決訓(xùn)練每個oVML模型的挑戰(zhàn)。
所以邏輯是，為了隨時隨地低時延高可靠，所以采用oVML，但是為了訓(xùn)練這個模型，得需要聯(lián)邦學(xué)習(xí)交換其他車輛的數(shù)據(jù)。
本地收集的數(shù)據(jù)樣本是由每輛車擁有的，它們的交易和知識共享應(yīng)該使原始數(shù)據(jù)對鄰近的其他車輛保密。谷歌的聯(lián)邦學(xué)習(xí)(GFL)的建議，每輛車交換其本地訓(xùn)練的模型更新，(主要是梯度參數(shù)和學(xué)習(xí)權(quán)重)而不是原始數(shù)據(jù)。由于自動駕駛汽車的潛在數(shù)量很高，并且需要快速對現(xiàn)實(shí)世界的情況做出反應(yīng)，現(xiàn)有的基于云的方法可能會產(chǎn)生安全風(fēng)險。 聯(lián)邦學(xué)習(xí)可以作為限制數(shù)據(jù)傳輸量和加速學(xué)習(xí)過程的解決方案。從交易模型中再生原始數(shù)據(jù)是不可能的，因此保證了隱私。由于閉環(huán)交換(局部訓(xùn)練的模型更新，然后是全局聚合的模型更新，觸發(fā)下一次局部訓(xùn)練迭代)，GFL的訓(xùn)練完成延遲比較高。
這段的邏輯是，數(shù)據(jù)交流應(yīng)該保密，應(yīng)該數(shù)據(jù)量小，應(yīng)該延遲低。延遲高容易產(chǎn)生風(fēng)險。GFL只交換模型更新，既保證了隱私，又保證了小數(shù)據(jù)量，還加快了學(xué)習(xí)過程。但GFL閉環(huán)訓(xùn)練迭代的延遲太高。
怎么保證小數(shù)據(jù)量的？梯度聚合、壓縮通信、本地更新、差分隱私
怎么保證加快學(xué)習(xí)過程的？并行化訓(xùn)練、本地迭代訓(xùn)練、增量學(xué)習(xí)、優(yōu)化聚合算法、梯度壓縮和差分隱私
聯(lián)邦學(xué)習(xí)是怎么限制數(shù)據(jù)傳輸量和加速學(xué)習(xí)過程的？
聯(lián)邦學(xué)習(xí)通過一些技術(shù)手段來限制數(shù)據(jù)傳輸量和加速學(xué)習(xí)過程，以下是一些常見的方法：
1. 梯度聚合（Gradient Aggregation）：在聯(lián)邦學(xué)習(xí)中，每個參與方（例如不同的汽車）在本地訓(xùn)練自己的模型，然后將本地模型的梯度信息傳輸給中央服務(wù)器。中央服務(wù)器通過聚合這些梯度信息來更新全局模型。梯度聚合可以有效減少傳輸?shù)臄?shù)據(jù)量，因?yàn)橹恍枰獋鬏斕荻刃畔⒍皇窃紨?shù)據(jù)。
2. 壓縮通信（Compressed Communication）：在梯度聚合的過程中，可以采用壓縮算法來減少傳輸?shù)臄?shù)據(jù)量。通過壓縮梯度信息，可以顯著減少數(shù)據(jù)傳輸所需的帶寬和時間，從而加速學(xué)習(xí)過程。
3. 本地更新（Local Updates）：在聯(lián)邦學(xué)習(xí)中，每個參與方可以進(jìn)行多輪的本地訓(xùn)練，然后將本地模型的更新信息傳輸給中央服務(wù)器，而不是在每一輪訓(xùn)練后立即傳輸。這樣可以減少傳輸?shù)念l率，從而降低數(shù)據(jù)傳輸量。
4. 差分隱私（Differential Privacy）：差分隱私是一種保護(hù)隱私的技術(shù)，通過向模型參數(shù)添加噪聲來保護(hù)個體數(shù)據(jù)的隱私。在聯(lián)邦學(xué)習(xí)中，差分隱私可以幫助限制數(shù)據(jù)傳輸量，因?yàn)椴恍枰獋鬏斣嫉膫€體數(shù)據(jù)，而是傳輸帶有噪聲的模型參數(shù)。
這些方法可以幫助限制數(shù)據(jù)傳輸量和加速學(xué)習(xí)過程，從而在聯(lián)邦學(xué)習(xí)中實(shí)現(xiàn)更高效的模型訓(xùn)練。通過減少數(shù)據(jù)傳輸量和加速學(xué)習(xí)過程，聯(lián)邦學(xué)習(xí)可以更好地適應(yīng)大規(guī)模、分布式的數(shù)據(jù)，同時保護(hù)個體數(shù)據(jù)的隱私。
聯(lián)邦學(xué)習(xí)是怎么加速學(xué)習(xí)過程的？
聯(lián)邦學(xué)習(xí)通過以下幾種方式加速學(xué)習(xí)過程：
1. 并行化訓(xùn)練：在聯(lián)邦學(xué)習(xí)中，各個參與方可以并行地進(jìn)行本地模型的訓(xùn)練。這意味著在聯(lián)邦學(xué)習(xí)中，可以同時利用多個參與方的計算資源來進(jìn)行模型訓(xùn)練，從而加速整個學(xué)習(xí)過程。
2. 本地迭代訓(xùn)練：參與方在本地進(jìn)行多輪的模型訓(xùn)練，然后將本地模型的更新信息傳輸給中央服務(wù)器。這樣可以減少傳輸?shù)念l率，從而降低通信開銷，同時允許每個參與方在本地進(jìn)行更多輪次的訓(xùn)練，從而提高模型的收斂速度。
3. 增量學(xué)習(xí)（Incremental Learning）：在聯(lián)邦學(xué)習(xí)中，可以采用增量學(xué)習(xí)的方式，即在全局模型的基礎(chǔ)上，對每個參與方的本地模型進(jìn)行增量更新。這種方式可以避免每次從頭開始訓(xùn)練模型，而是在已有模型的基礎(chǔ)上進(jìn)行更新，從而加速學(xué)習(xí)過程。
4. 聚合算法的優(yōu)化：在聯(lián)邦學(xué)習(xí)中，中央服務(wù)器需要對來自不同參與方的模型更新信息進(jìn)行聚合。優(yōu)化聚合算法可以減少計算的復(fù)雜度和通信開銷，從而加速模型更新的過程。
5. 梯度壓縮和差分隱私：采用梯度壓縮和差分隱私等技術(shù)可以減少傳輸?shù)臄?shù)據(jù)量，從而加速模型更新的過程。
通過以上方式，聯(lián)邦學(xué)習(xí)可以在保護(hù)數(shù)據(jù)隱私的前提下，充分利用分布式的計算資源，加速模型的訓(xùn)練過程。這種分布式、并行的學(xué)習(xí)方式可以更快地收斂到一個較好的全局模型，同時保護(hù)個體數(shù)據(jù)的隱私。
智能駕駛的聯(lián)邦學(xué)習(xí)不是在訓(xùn)練模型嗎？又不是在開車，為什么也需要低時延？為什么也需要對現(xiàn)實(shí)世界的情況做出反應(yīng)？
聯(lián)邦學(xué)習(xí)并不是在實(shí)際的駕駛過程中進(jìn)行，而是用于訓(xùn)練模型。因此，在這種情況下，為什么還需要低時延以及對現(xiàn)實(shí)世界的情況做出反應(yīng)呢？
首先，即使聯(lián)邦學(xué)習(xí)是在訓(xùn)練模型時進(jìn)行的，仍然需要低時延。這是因?yàn)樵诼?lián)邦學(xué)習(xí)中，模型更新是在多個參與方之間進(jìn)行的，并且這些參與方可能分布在不同的地理位置上。因此，為了確保模型的及時更新和一致性，需要保證低時延的通信和協(xié)調(diào)。否則，如果模型更新的延遲過高，可能會導(dǎo)致模型的過時或不一致，從而影響模型的性能和準(zhǔn)確性。
其次，雖然聯(lián)邦學(xué)習(xí)的主要目的是在訓(xùn)練模型時進(jìn)行，但也需要對現(xiàn)實(shí)世界的情況做出反應(yīng)。這是因?yàn)樵谥悄荞{駛的場景下，車輛需要能夠及時地感知和理解周圍的交通情況、道路狀況等，并做出相應(yīng)的決策。因此，訓(xùn)練出的模型需要能夠快速地適應(yīng)不斷變化的交通環(huán)境，這就需要訓(xùn)練過程中考慮到對現(xiàn)實(shí)世界情況的反應(yīng)，以確保訓(xùn)練出的模型在實(shí)際應(yīng)用中能夠具有良好的適應(yīng)性和實(shí)時性。
總之，盡管聯(lián)邦學(xué)習(xí)不是在實(shí)際駕駛過程中進(jìn)行，但仍然需要低時延和對現(xiàn)實(shí)世界情況的反應(yīng)，以確保訓(xùn)練出的模型能夠具有良好的性能和實(shí)時性。
GFL依賴于單個全局服務(wù)器， 容易受到服務(wù)器故障的影響， 高度依賴于網(wǎng)絡(luò)連接， 并且由于瓶頸而受到嚴(yán)重影響。
這段的邏輯是，GFL對中央服務(wù)器和網(wǎng)絡(luò)太依賴。
為了解決GFL的上述兩個限制， 我們刪除GFL的集中式全局服務(wù)器并使用區(qū)塊鏈，并提出一種基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)(BFL)方法， 其中網(wǎng)絡(luò)系統(tǒng)能夠交換來自車輛的本地模型更新， 同時提供和驗(yàn)證其相應(yīng)的獎勵。BFL， 它在自動駕駛車輛網(wǎng)絡(luò)系統(tǒng)中優(yōu)于GFL， 克服了集中故障問題， 并通過本地訓(xùn)練模塊的驗(yàn)證過程將其聯(lián)邦的范圍擴(kuò)展到公共網(wǎng)絡(luò)中不可信的車輛。 更重要的是， 通過提供與數(shù)據(jù)樣本大小的有用性成正比的獎勵， BFL促進(jìn)了具有更大數(shù)據(jù)樣本大小的車輛。礦工在物理上既可以是移動的車輛， 也可以是網(wǎng)絡(luò)邊緣的獨(dú)立節(jié)點(diǎn)(如WiFi接入點(diǎn)或蜂窩基站)。這些節(jié)點(diǎn)的計算能力相對強(qiáng)大。每個oVML執(zhí)行本地學(xué)習(xí)， 并將本地模型更新發(fā)送到網(wǎng)絡(luò)中與其相關(guān)的挖掘器。 所有礦工交換和驗(yàn)證他們所有的本地模型更新， 然后執(zhí)行他們的工作證明。當(dāng)?shù)V工完成其工作量證明時，它會通過記錄已驗(yàn)證的本地模型更新來生成一個區(qū)塊。 最后，該區(qū)塊(由聚集的本地模型更新組成的生成區(qū)塊)被插入到區(qū)塊鏈的分布式賬本中。 然后，所有相關(guān)車輛可以使用這個新插入
的塊來計算所需的全局模型更新。
這段的邏輯是，BFL的好處1.克服了集中故障（區(qū)塊鏈代替了中央服務(wù)器）2.更大數(shù)據(jù)樣本（提供獎勵）3.把聯(lián)邦范圍擴(kuò)大到公共網(wǎng)絡(luò)中不可信車輛（通過本地模塊的驗(yàn)證）
以及BFL怎么工作的：每個oVML本地學(xué)習(xí)---把本地模型更新到網(wǎng)絡(luò)中的挖掘器上---礦工交換驗(yàn)證所有的本地模型更新---執(zhí)行工作量證明---通過記錄更新生成一個區(qū)塊---插入到區(qū)塊鏈分布式賬本中---所有車輛可以使用這個塊來更新全局模型
礦工既可以是車輛，也可以是網(wǎng)絡(luò)邊緣節(jié)點(diǎn)
使用BFL， 可以觀察到全局模型更新在每個車輛上都是局部可計算的。 此外， 我們的BFL設(shè)計還保證了礦工、節(jié)點(diǎn)或車輛的故障或失敗不會對任何其他車輛(整個網(wǎng)絡(luò)系統(tǒng))的全局模型更新產(chǎn)生不利影響。 然而， 有一個權(quán)衡:為了掌握上述所有好處， 與GFL相比， BFL由于系統(tǒng)中的區(qū)塊鏈管理而導(dǎo)致額外的延遲。 為了量化(并解決)區(qū)塊鏈帶來的延遲， 我們通過計算工作量證明、 通信和計算延遲， 對具有BFL的系統(tǒng)進(jìn)行了總端到端延遲分析。 有了模型的相關(guān)見解， 我們通過動態(tài)調(diào)整塊到達(dá)率， 即區(qū)塊鏈系統(tǒng)工作量證明的復(fù)雜性， 最小化了系統(tǒng)的整體感知延遲。
這段的邏輯是，BFL的缺點(diǎn)：區(qū)塊鏈管理帶來額外延遲。解決：動態(tài)調(diào)整塊到達(dá)率，即區(qū)塊鏈系統(tǒng)工作量證明的復(fù)雜性，來減少
聯(lián)邦學(xué)習(xí):問題與解決方案
對于GFL， 求解方程(1)的默認(rèn)思路是使用隨機(jī)梯度算法在每個oVML上進(jìn)行局部訓(xùn)練， 然后通過分布式牛頓方法進(jìn)行全局訓(xùn)練以聚合局部更新。
隨機(jī)梯度算法（SGD）是一種優(yōu)化算法，用于在每個oVML上進(jìn)行局部訓(xùn)練。它通過計算每個訓(xùn)練樣本的梯度，并根據(jù)該梯度更新模型參數(shù)。具體來說，SGD在每個oVML上隨機(jī)選擇一個訓(xùn)練樣本，計算該樣本對模型參數(shù)的梯度，然后使用該梯度更新模型參數(shù)。這個過程不斷重復(fù)，直到達(dá)到一定的迭代次數(shù)或者收斂條件。
分布式牛頓方法是一種全局訓(xùn)練方法，用于聚合局部更新。它通過將每個oVML上的局部更新聚合起來，然后使用牛頓方法進(jìn)行全局優(yōu)化。具體來說，分布式牛頓方法通過收集每個oVML上的局部更新，并計算全局更新的方向和步長，然后使用這些信息來更新全局模型參數(shù)。文章來源：http://www.zghlxwxcb.cn/news/detail-767265.html
訓(xùn)練樣本的梯度是指損失函數(shù)對模型參數(shù)的偏導(dǎo)數(shù)，它表示了損失函數(shù)在當(dāng)前模型參數(shù)下的變化率。在機(jī)器學(xué)習(xí)中，我們希望通過調(diào)整模型參數(shù)來最小化損失函數(shù)，從而使模型能夠更好地擬合訓(xùn)練數(shù)據(jù)。文章來源地址http://www.zghlxwxcb.cn/news/detail-767265.html
到了這里，關(guān)于A Decentralized Federated Learning Approach For Connected Autonomous Vehicles 學(xué)習(xí)筆記---聯(lián)邦學(xué)習(xí)、區(qū)塊鏈與自動駕駛的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
