3.2 邊緣智能概述

路線圖的右邊是AI邊緣。我們將這種工作命名為AIE 邊緣智能 (Artificial Intelligence on Edge)，因?yàn)樗芯康氖侨绾卧诰W(wǎng)絡(luò)邊緣上對(duì)AI模型進(jìn)行訓(xùn)練和推理。通過(guò)自頂向下的分解，我們將邊緣人工智能的研究分為三類:模型自適應(yīng)、框架設(shè)計(jì)和推理加速。

考慮到模型自適應(yīng)的研究工作是基于現(xiàn)有的訓(xùn)練和推理框架，讓我們首先介紹框架設(shè)計(jì)。

3.2.1 框架設(shè)計(jì)

框架設(shè)計(jì)的目的是在不修改現(xiàn)有人工智能模型的情況下，為邊緣提供更好的訓(xùn)練和推理架構(gòu)。研究人員試圖為模型訓(xùn)練和模型推理設(shè)計(jì)新的框架。

3.2.2 模型訓(xùn)練

對(duì)于模型訓(xùn)練，除了那些基于知識(shí)提煉的框架外，所有提出的框架都是分布式的。分布式訓(xùn)練框架可以分為數(shù)據(jù)分割和模型分割[30]。

數(shù)據(jù)分割可以進(jìn)一步分為主設(shè)備分割、輔助設(shè)備分割和設(shè)備-設(shè)備分割。不同之處在于訓(xùn)練樣本來(lái)自哪里，以及如何組裝和匯總?cè)帜Ｐ汀?/p>

模型分割將神經(jīng)網(wǎng)絡(luò)的層分開(kāi)，并將它們部署在不同的設(shè)備上。它高度依賴于復(fù)雜的管道?；谥R(shí)提煉的框架可能是分散的，也可能不是，它們依賴于遷移學(xué)習(xí)技術(shù)[31]。知識(shí)蒸餾可以提高淺層學(xué)生網(wǎng)絡(luò)的準(zhǔn)確性。它首先在一個(gè)基本數(shù)據(jù)集上訓(xùn)練一個(gè)基本網(wǎng)絡(luò)。之后，可以將學(xué)習(xí)到的特征轉(zhuǎn)移到學(xué)生網(wǎng)絡(luò)中，分別在他們的數(shù)據(jù)集上進(jìn)行訓(xùn)練?；A(chǔ)網(wǎng)絡(luò)可以在云或邊緣服務(wù)器上進(jìn)行訓(xùn)練，而這些學(xué)生網(wǎng)絡(luò)可以分別通過(guò)許多帶有y隱私數(shù)據(jù)的移動(dòng)終端設(shè)備進(jìn)行訓(xùn)練。我們相信，在基于知識(shí)提煉的邊緣模型訓(xùn)練框架中，存在著許多值得探索的途徑。

模型訓(xùn)練中最流行的工作是聯(lián)邦學(xué)習(xí)[11]。在以分布式方式訓(xùn)練dnn時(shí)，提出了聯(lián)邦學(xué)習(xí)來(lái)保護(hù)隱私。

在不將用戶私有數(shù)據(jù)聚合到中央數(shù)據(jù)中心的情況下，聯(lián)邦學(xué)習(xí)Federated Learning可以在多個(gè)客戶機(jī)上訓(xùn)練一系列本地模型。然后，通過(guò)平均每個(gè)客戶端的訓(xùn)練梯度來(lái)優(yōu)化全局模型。我們不打算在本文中詳細(xì)闡述聯(lián)邦學(xué)習(xí)。

對(duì)于存儲(chǔ)和計(jì)算資源有限的邊緣節(jié)點(diǎn)，單獨(dú)訓(xùn)練一個(gè)全面的模型是不現(xiàn)實(shí)的。因此，一種更適用的方法是分布式訓(xùn)練，這種方法需要邊緣節(jié)點(diǎn)之間的協(xié)調(diào)。對(duì)于邊緣節(jié)點(diǎn)之間的通信，挑戰(zhàn)在于如何從分布式局部模型中優(yōu)化全局梯度。無(wú)論采用何種學(xué)習(xí)算法，隨機(jī)梯度體面(Stochastic Gradient Decent, SGD)都是模型訓(xùn)練的必要條件。分布式邊緣節(jié)點(diǎn)使用SGD基于它們自己的數(shù)據(jù)集更新它們的局部梯度，這些數(shù)據(jù)集可以被視為一個(gè)小批量。之后，它們將更新后的梯度發(fā)送到中心節(jié)點(diǎn)進(jìn)行全局模型升級(jí)。在這個(gè)過(guò)程中，必須考慮模型性能和通信開(kāi)銷之間的權(quán)衡。如果所有邊緣節(jié)點(diǎn)同時(shí)發(fā)送本地梯度，可能會(huì)導(dǎo)致網(wǎng)絡(luò)擁塞。更好的方法是選擇性地選擇有較大改進(jìn)的局部梯度。在這種情況下，可以保證全局模型的模型性能，同時(shí)降低通信開(kāi)銷。

3.2.3 模型推理

雖然模型分割在模型訓(xùn)練中很難實(shí)現(xiàn)，但它是一種常用的模型推理方法。模型分割/劃分可以看作是模型推理的框架。其他方法，如模型壓縮、輸入過(guò)濾、早期退出等，可以看作是對(duì)現(xiàn)有框架的改編，這些將在下一段中介紹，并在小節(jié)V-A中詳細(xì)闡述。在邊緣上進(jìn)行模型推理的一個(gè)典型例子是[32]，其中將DNN分成兩部分并協(xié)同進(jìn)行。計(jì)算密集型部分在邊緣服務(wù)器上運(yùn)行，而另一部分在移動(dòng)設(shè)備上運(yùn)行。問(wèn)題在于根據(jù)推理精度的限制，在哪里劃分層以及何時(shí)退出復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)。

3.2.4 模型自適應(yīng)

模型適應(yīng)基于現(xiàn)有的訓(xùn)練和推理框架(通常是聯(lián)邦學(xué)習(xí))進(jìn)行適當(dāng)?shù)母倪M(jìn)，使它們更適用于邊緣。聯(lián)邦學(xué)習(xí)有在邊緣運(yùn)行的潛力。然而，聯(lián)邦學(xué)習(xí)的普通版本對(duì)通信效率有很強(qiáng)的要求，因?yàn)橥暾谋镜啬Ｐ蛻?yīng)該被發(fā)送回中央服務(wù)器。因此，許多研究人員開(kāi)發(fā)了更有效的模型更新和聚合策略。許多工作致力于在保證系統(tǒng)性能的同時(shí)降低成本和提高魯棒性。實(shí)現(xiàn)模型自適應(yīng)的方法包括但不限于模型壓縮、6條件計(jì)算、算法異步化和徹底去中心化。模型壓縮利用梯度和權(quán)值固有的稀疏性結(jié)構(gòu)?？赡艿姆椒òǖ幌抻诹炕?、降維、剪枝、精度降階、組件共享、截止等。這些方法可以通過(guò)奇異V值分解(SVD)、霍夫曼編碼(Huffman Coding)、主成分分析(PCA)等方法實(shí)現(xiàn)。條件計(jì)算是通過(guò)選擇性地關(guān)閉dnn的一些不重要的計(jì)算來(lái)減少計(jì)算量的一種替代方法。

可能的方法包括但不限于組件關(guān)閉、輸入過(guò)濾、提前退出、結(jié)果緩存等。條件計(jì)算可以看作是逐塊退出[33]。此外，利用隨機(jī)八卦通信可以減少不必要的計(jì)算和模型更新。

算法異步嘗試以異步方式聚合局部模型。它旨在克服聯(lián)邦學(xué)習(xí)中模型更新的低效和冗長(zhǎng)的同步步驟。徹底的去中心化消除了中央聚合器，以避免任何可能的泄漏并解決中央服務(wù)器的故障。實(shí)現(xiàn)完全去中心化的方法包括但不限于區(qū)塊鏈技術(shù)和博弈論方法。

4 邊緣智能

我們將邊緣人工智能的研究分為模型自適應(yīng)、框架設(shè)計(jì)和處理器加速三個(gè)方面。現(xiàn)有的模型訓(xùn)練和推理框架很少。訓(xùn)練框架包括聯(lián)邦學(xué)習(xí)和知識(shí)蒸餾，推理框架包括模型抽取和模型劃分。由于相對(duì)有限的計(jì)算和存儲(chǔ)能力，邊緣人工智能模型與基于云的預(yù)測(cè)相比是有限的。如何在資源稀缺的設(shè)備上進(jìn)行模型訓(xùn)練和推理是一個(gè)亟待解決的問(wèn)題。因此，與設(shè)計(jì)新框架相比，邊緣計(jì)算的研究人員更感興趣的是改進(jìn)現(xiàn)有框架，使其更適合邊緣，通常會(huì)減少資源占用。因此，基于聯(lián)邦學(xué)習(xí)的模型自適應(yīng)得到了蓬勃發(fā)展。

4.1 模型壓縮

如圖3所示，模型壓縮的方法包括量化、降維、剪枝、組件共享、精度降階等。它們利用梯度和權(quán)值固有的稀疏結(jié)構(gòu)來(lái)盡可能地減少內(nèi)存和信道占用。權(quán)重壓縮和量化技術(shù)包括但不限于奇異V值分解(SVD)、霍夫曼編碼和主成分分析。由于篇幅有限，本文將不提供對(duì)這些內(nèi)容的全面介紹。考慮到許多作品同時(shí)使用上述方法，我們不進(jìn)一步劃分模型壓縮技術(shù)的狀態(tài)。還有一點(diǎn)需要明確指出的是，模型壓縮既適用于模型訓(xùn)練也適用于模型推理。因此，我們不刻意區(qū)分它們。

正如我們前面提到的，溝通效率對(duì)聯(lián)邦學(xué)習(xí)至關(guān)重要。當(dāng)我們將聯(lián)邦學(xué)習(xí)移動(dòng)到邊緣時(shí)，最小化通信輪數(shù)是主要目標(biāo)，因?yàn)槿绻粋€(gè)或多個(gè)本地設(shè)備脫機(jī)或網(wǎng)絡(luò)擁塞，可能無(wú)法實(shí)現(xiàn)更新全局模型。

因此，從不同的角度來(lái)看，許多工作都集中在減少聯(lián)邦學(xué)習(xí)的通信開(kāi)銷上。

在不降低推理精度的前提下對(duì)訓(xùn)練好的模型進(jìn)行壓縮是實(shí)現(xiàn)這一目標(biāo)的最佳途徑之一。例如，在[53]中，提出了結(jié)構(gòu)化更新和草圖更新以降低上行通信成本。對(duì)于結(jié)構(gòu)化更新，從受限的低維空間學(xué)習(xí)局部更新;對(duì)于草圖更新，上傳模型在發(fā)送到中央服務(wù)器之前被壓縮。
一些研究還探討了基于分割dnn的模型壓縮。例如，Li等人提出了一種用于邊緣和云之間協(xié)同推理的自調(diào)諧神經(jīng)網(wǎng)絡(luò)量化框架[66]。首先，對(duì)DNN進(jìn)行分區(qū)。第一部分在邊緣設(shè)備上量子化執(zhí)行，第二部分在云中全精度執(zhí)行。[67]中的工作提出了一個(gè)框架來(lái)加速和壓縮模型訓(xùn)練和推理。它根據(jù)深度將dnn劃分為多個(gè)部分，并根據(jù)不同部分的中間特征構(gòu)建分類器。

此外，通過(guò)知識(shí)蒸餾提高了分類器的準(zhǔn)確率。

除了聯(lián)邦學(xué)習(xí)之外，還有研究統(tǒng)計(jì)學(xué)習(xí)模型或其他流行的深度模型(如ResNet和VGG架構(gòu))在資源有限的終端設(shè)備上的執(zhí)行的工作。例如，Gupta等人提出了一種壓縮且精確的k-最近鄰(kNN)算法ProtoNN[61]。ProtoNN通過(guò)隨機(jī)鄰域壓縮(Stochastic Neighborhood Compression, SNC)學(xué)習(xí)少量的原型來(lái)表示整個(gè)訓(xùn)練集[68]，然后用稀疏投影矩陣將整個(gè)數(shù)據(jù)投影到較低的維度。它在明確的模型尺寸約束下對(duì)投影和原型進(jìn)行聯(lián)合優(yōu)化。

模型壓縮是目前人工智能領(lǐng)域一個(gè)非?；钴S的方向，因?yàn)樗苋菀讓?shí)現(xiàn)。然而，最先進(jìn)的工作通常與邊緣計(jì)算系統(tǒng)的特定應(yīng)用場(chǎng)景無(wú)關(guān)。構(gòu)建邊緣平臺(tái)和硬件的新作品有機(jī)會(huì)出現(xiàn)。

4.2 條件計(jì)算

如圖3所示，條件計(jì)算的方法包括組件共享、組件關(guān)閉、輸入過(guò)濾、早期退出、結(jié)果緩存等。簡(jiǎn)單地說(shuō)，條件計(jì)算就是選擇性地關(guān)閉一些不重要的計(jì)算。因此，可以將其視為逐塊退出[33]。

許多工作都致力于排序和選擇最值得計(jì)算的部分，或者在達(dá)到置信閾值時(shí)提前停止。例如，Hostetler等人實(shí)例化了一個(gè)運(yùn)行時(shí)可節(jié)流的神經(jīng)網(wǎng)絡(luò)，它可以自適應(yīng)地平衡學(xué)習(xí)精度和資源占用，以響應(yīng)控制信號(hào)[62]。它通過(guò)塊級(jí)門控實(shí)現(xiàn)了條件計(jì)算。

這個(gè)想法也可以用于參與者的選擇。

它選擇聯(lián)邦學(xué)習(xí)中最有價(jià)值的參與者進(jìn)行模型更新。沒(méi)有價(jià)值的參與者不會(huì)參與全球模型的聚合。據(jù)我們所知，目前還沒(méi)有專門針對(duì)參與者選擇的工作。我們熱切地期待著它令人興奮的工作。

4.3 算法異步

算法異步嘗試以異步方式聚合局部模型用于聯(lián)邦學(xué)習(xí)。如前所述，由于無(wú)線網(wǎng)絡(luò)擁塞，參與的本地用戶有很大的概率無(wú)法完成模型的上傳和下載。除了模型壓縮之外，另一種方法是點(diǎn)對(duì)點(diǎn)交換權(quán)重和梯度來(lái)降低無(wú)線信道的高并發(fā)性。隨機(jī)八卦交流就是一個(gè)典型的例子?；陔S機(jī)八卦算法，Blot等

提出GoSGD異步訓(xùn)練dnn[63]。在大規(guī)模邊緣系統(tǒng)中，最具挑戰(zhàn)性的訓(xùn)練問(wèn)題是收斂速度的下降。為了克服這個(gè)問(wèn)題，Daily等人引入了GossipGraD，它可以大大降低通信復(fù)雜度，保證快速收斂

4.4 徹底分權(quán)

徹底去中心化試圖移除中央聚合器，以避免任何可能的泄漏。盡管聯(lián)邦學(xué)習(xí)不需要消費(fèi)者的私有數(shù)據(jù)，但是模型更新仍然包含私有信息，因?yàn)槿匀恍枰獙?duì)協(xié)調(diào)訓(xùn)練的服務(wù)器的某種信任。為了完全避免隱私泄露，區(qū)塊鏈技術(shù)和博弈論方法可以幫助完全去中心化。

通過(guò)利用區(qū)塊鏈，特別是智能合約，不再需要用于模型聚合的中央服務(wù)器。

因此，可以避免由模型聚合引發(fā)的崩潰。此外，用戶隱私可以得到保護(hù)。我們相信基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)將在未來(lái)幾年成為一個(gè)熱門領(lǐng)域和繁榮方向。存在著將其付諸實(shí)踐的作品。在[65]中，提出了基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)架構(gòu)BlockFL，將邊緣節(jié)點(diǎn)作為礦工。礦工交換并驗(yàn)證每個(gè)設(shè)備貢獻(xiàn)的所有本地模型更新，然后運(yùn)行工作量證明(PoW)。首先完成PoW的礦工生成一個(gè)新的區(qū)塊，并從區(qū)塊鏈網(wǎng)絡(luò)獲得挖礦獎(jiǎng)勵(lì)。最后，每個(gè)設(shè)備從最新的塊更新其本地模型。本文將區(qū)塊鏈與聯(lián)邦學(xué)習(xí)有效集成，構(gòu)建可信的邊緣學(xué)習(xí)環(huán)境。

4.5 邊緣智能面臨的挑戰(zhàn)

從數(shù)據(jù)可用性、模型選擇和協(xié)調(diào)機(jī)制三個(gè)方面分別列出了邊緣人工智能面臨的重大挑戰(zhàn)。

1)數(shù)據(jù)可用性:最嚴(yán)峻的挑戰(zhàn)在于原始訓(xùn)練數(shù)據(jù)的可用性和可用性，因?yàn)榭捎玫臄?shù)據(jù)是一切的開(kāi)始。首先，移動(dòng)用戶提供數(shù)據(jù)可能需要適當(dāng)?shù)募?lì)機(jī)制。否則，原始數(shù)據(jù)可能無(wú)法用于模型訓(xùn)練和推理。此外，來(lái)自各種終端設(shè)備的原始數(shù)據(jù)可能存在明顯的偏差，這將極大地影響學(xué)習(xí)性能。雖然聯(lián)邦學(xué)習(xí)可以克服非智能學(xué)習(xí)帶來(lái)的問(wèn)題。樣本在一定程度上，訓(xùn)練程序在魯棒通信協(xié)議的設(shè)計(jì)上仍然面臨很大的困難。因此，在數(shù)據(jù)可用性方面存在巨大的挑戰(zhàn)。

2)模型選擇:目前，從模型本身到訓(xùn)練框架和硬件，需要訓(xùn)練的AI模型的選擇面臨著以下幾個(gè)方面的嚴(yán)峻挑戰(zhàn)。首先，如何選擇適合人工智能模型學(xué)習(xí)精度和規(guī)模的閾值，以便快速部署和交付。其次，在資源有限的情況下，如何選擇探針訓(xùn)練框架和加速器架構(gòu)。模型選擇與資源分配和管理相耦合，問(wèn)題復(fù)雜且具有挑戰(zhàn)性。

3)協(xié)調(diào)機(jī)制:由于異構(gòu)邊緣設(shè)備之間的計(jì)算能力和通信資源可能存在巨大差異，因此所提出的模型適應(yīng)方法可能無(wú)法普遍適用。這可能會(huì)導(dǎo)致同一種方法在不同的移動(dòng)設(shè)備集群中獲得不同的學(xué)習(xí)結(jié)果。因此，異構(gòu)邊緣設(shè)備之間的兼容性和協(xié)調(diào)性至關(guān)重要。硬件和中間件中云、邊緣和設(shè)備之間的靈活協(xié)調(diào)機(jī)制是迫切需要設(shè)計(jì)的。

它為無(wú)處不在的邊緣設(shè)備提供了統(tǒng)一的邊緣學(xué)習(xí)API接口的研究機(jī)會(huì)。

6 總結(jié)

邊緣智能雖然仍處于早期階段，但已經(jīng)吸引了越來(lái)越多的研究人員和公司參與研究和使用它。本文試圖通過(guò)簡(jiǎn)潔有效的分類提供可能的研究機(jī)會(huì)。具體來(lái)說(shuō)，我們首先討論邊緣計(jì)算與人工智能之間的關(guān)系。我們認(rèn)為，兩者相互促進(jìn)、相互加強(qiáng)。然后，我們將邊緣智能分為邊緣人工智能和邊緣人工智能，并繪制了研究路線圖。前者側(cè)重于借助流行和豐富的人工智能技術(shù)為邊緣計(jì)算中的關(guān)鍵問(wèn)題提供更好的解決方案，而后者研究如何在邊緣上進(jìn)行人工智能模型的訓(xùn)練和推理。無(wú)論是面向邊緣的人工智能還是邊緣上的人工智能，研究路線圖都以層次結(jié)構(gòu)的形式呈現(xiàn)。

通過(guò)自底向上的方法，我們將邊緣計(jì)算的研究分為拓?fù)洹?nèi)容和服務(wù)，并介紹了如何用智能激活邊緣的一些例子。

通過(guò)自頂向下的分解，將邊緣人工智能的研究分為模型自適應(yīng)、框架設(shè)計(jì)和處理器加速，并介紹了一些現(xiàn)有的研究成果。最后，我們?cè)贏I for edge和AI on edge的幾個(gè)熱門話題中介紹了當(dāng)前的技術(shù)狀況和重大挑戰(zhàn)。我們?cè)噲D為邊緣智能這個(gè)新興領(lǐng)域提供一些啟發(fā)性的想法。我們希望本文能夠激發(fā)對(duì)邊緣智能未來(lái)潛在研究方向的富有成效的討論。

參考文獻(xiàn)：[1] Deng S , Zhao H , Fang W ,et al.Edge Intelligence: The Confluence of Edge Computing and Artificial Intelligence[J]. 2019.DOI:10.1109/JIOT.2020.2984887.文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-501616.html

到了這里，關(guān)于邊緣智能:邊緣計(jì)算和人工智能的深度融合的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！