?博主簡(jiǎn)介：熱愛(ài)科研的Matlab仿真開(kāi)發(fā)者，修心和技術(shù)同步精進(jìn)，Matlab項(xiàng)目合作可私信。
??個(gè)人主頁(yè)：海神之光
??代碼獲取方式：
海神之光Matlab王者學(xué)習(xí)之路—代碼獲取方式
??座右銘：行百里者，半于九十。

更多Matlab仿真內(nèi)容點(diǎn)擊??
Matlab圖像處理（進(jìn)階版）
路徑規(guī)劃（Matlab）
神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)與分類（Matlab）
優(yōu)化求解（Matlab）
語(yǔ)音處理（Matlab）
信號(hào)處理（Matlab）
車間調(diào)度（Matlab）

?一、多無(wú)人機(jī)協(xié)同作業(yè)簡(jiǎn)介

0 引言
多架無(wú)人機(jī)組成無(wú)人機(jī)集群可以協(xié)同完成任務(wù)，是未來(lái)無(wú)人機(jī)的發(fā)展方向。組成無(wú)人機(jī)集群的多架無(wú)人機(jī)通過(guò)機(jī)間鏈路互相通信實(shí)現(xiàn)協(xié)作，可以迅速準(zhǔn)確地執(zhí)行路徑規(guī)劃、協(xié)同偵察、協(xié)同感知和協(xié)同攻擊等復(fù)雜任務(wù)。
為實(shí)現(xiàn)無(wú)人機(jī)集群協(xié)作的誘人前景，國(guó)內(nèi)外都積極開(kāi)展了相關(guān)研究工作。美國(guó)方面，美國(guó)國(guó)防預(yù)先研究計(jì)劃局(DARPA)于2015年推出“小精靈”項(xiàng)目，計(jì)劃研制具備自組織和智能協(xié)同能力的無(wú)人機(jī)蜂群系統(tǒng)。美國(guó)防部戰(zhàn)略能力辦公室(SCO)2014年啟動(dòng)了“無(wú)人機(jī)蜂群”項(xiàng)目，旨在通過(guò)有人機(jī)空射“灰山鶉”微型無(wú)人機(jī)蜂群執(zhí)行低空態(tài)勢(shì)感知和干擾任務(wù)。美國(guó)海軍研究局(ONR)于2015年公布了“低成本無(wú)人機(jī)蜂群”(LOCUST)項(xiàng)目，研發(fā)可快速連續(xù)發(fā)射的無(wú)人機(jī)蜂群，無(wú)人機(jī)之間利用近距離射頻網(wǎng)絡(luò)共享態(tài)勢(shì)信息，協(xié)同執(zhí)行掩護(hù)、攻擊或防御任務(wù)。2017年，在 DARPA 會(huì)議中心舉辦“進(jìn)攻性集群戰(zhàn)術(shù)”(OFFSET)項(xiàng)目的提案人活動(dòng)，目標(biāo)是發(fā)展基于游戲的開(kāi)放架構(gòu)，為城市作戰(zhàn)的無(wú)人集群系統(tǒng)生成、評(píng)估和集成集群戰(zhàn)術(shù)。
歐洲方面，2016 年，歐洲防務(wù)局啟動(dòng)了“歐洲蜂群”項(xiàng)目，開(kāi)展了無(wú)人機(jī)蜂群的自主決策、協(xié)同飛行等關(guān)鍵技術(shù)研究。2016年，英國(guó)國(guó)防部發(fā)起無(wú)人機(jī)蜂群競(jìng)賽，參賽的多個(gè)團(tuán)隊(duì)控制無(wú)人機(jī)蜂群實(shí)現(xiàn)了通信中繼、協(xié)同干擾、目標(biāo)跟蹤定位和區(qū)域測(cè)繪等任務(wù)。2017 年，俄羅斯無(wú)線電電子技術(shù)集團(tuán)對(duì)外發(fā)表研究計(jì)劃稱，在戰(zhàn)斗機(jī)上裝載多架蜂群無(wú)人機(jī)可實(shí)現(xiàn)協(xié)同偵察和攻擊的新型作戰(zhàn)樣式。
國(guó)內(nèi)也相繼展開(kāi)相關(guān)研究。最近，中國(guó)電科(CETC)電子科學(xué)研究院發(fā)布了陸軍協(xié)同無(wú)人機(jī)“蜂群”視頻，引起廣泛關(guān)注。
面對(duì)這一重要課題，本文研究總結(jié)了無(wú)人機(jī)協(xié)同應(yīng)用的發(fā)展趨勢(shì)，對(duì)其當(dāng)前研究進(jìn)展和發(fā)展方向進(jìn)行了探討，并提出無(wú)人機(jī)集群任務(wù)協(xié)作的發(fā)展趨勢(shì)是多智能體協(xié)同。

1 無(wú)人機(jī)協(xié)同應(yīng)用發(fā)展趨勢(shì)
對(duì)現(xiàn)有研究工作的分析如圖1所示，無(wú)人機(jī)協(xié)同應(yīng)用大體上可以分為3個(gè)階段，分別是分布式協(xié)同，群體智能協(xié)同和未來(lái)的多智能體協(xié)同。

圖1 無(wú)人機(jī)協(xié)同技術(shù)的發(fā)展趨勢(shì)
無(wú)人機(jī)集群協(xié)同發(fā)展的第1個(gè)階段是簡(jiǎn)單分布式協(xié)同。在該階段，協(xié)同任務(wù)根據(jù)執(zhí)行條件，預(yù)先在簡(jiǎn)單連接和組合的集群成員之間經(jīng)過(guò)計(jì)算處理后分配執(zhí)行。集群基本沒(méi)有能力根據(jù)環(huán)境與目標(biāo)的變化動(dòng)態(tài)調(diào)整任務(wù)分配，各無(wú)人機(jī)分擔(dān)的任務(wù)通常是確定的。

鑒于預(yù)分配方式的局限性，受生物集群活動(dòng)的啟發(fā)，群體智能被應(yīng)用于無(wú)人機(jī)集群，使無(wú)人機(jī)集群協(xié)同發(fā)展到第2個(gè)階段——群體智能協(xié)同。在該階段中，各個(gè)無(wú)人機(jī)節(jié)點(diǎn)被賦予初級(jí)智能，能夠進(jìn)行簡(jiǎn)單的認(rèn)知和決策；通過(guò)集群個(gè)體之間更為緊密的耦合，可以根據(jù)執(zhí)行中的反饋調(diào)整優(yōu)化方式或者優(yōu)化目標(biāo)，使整個(gè)無(wú)人機(jī)集群系統(tǒng)有能力構(gòu)成自組織、高穩(wěn)定的分布式系統(tǒng)。群體智能協(xié)同階段當(dāng)前正處于研究和應(yīng)用迅速發(fā)展時(shí)期。

隨著節(jié)點(diǎn)計(jì)算能力的進(jìn)一步提升和人工智能技術(shù)的飛速發(fā)展，無(wú)人機(jī)協(xié)同即將進(jìn)入發(fā)展的第3個(gè)階段——多智能體協(xié)同。在多智能體協(xié)同發(fā)展階段，集群中的各個(gè)無(wú)人機(jī)都將是一個(gè)獨(dú)立的綜合智能體，具有多維度認(rèn)知計(jì)算和高級(jí)智能處理能力，從而實(shí)現(xiàn)更高效的自主學(xué)習(xí)和決策，并在此基礎(chǔ)上，完成更復(fù)雜、更艱巨的任務(wù)。

2 分布式協(xié)同
從無(wú)人機(jī)集群出現(xiàn)開(kāi)始就被用于解決協(xié)同路徑規(guī)劃、協(xié)同感知和協(xié)同任務(wù)規(guī)劃等分布式協(xié)作任務(wù)。早期的無(wú)人機(jī)分布式協(xié)同任務(wù)通常都是提前進(jìn)行充分的計(jì)算和分配，無(wú)人機(jī)節(jié)點(diǎn)按照既定算法或者方案予以執(zhí)行。根據(jù)計(jì)算結(jié)果，分布式協(xié)同無(wú)人機(jī)群可組織執(zhí)行配置好的任務(wù)，如圖2所示。

圖2 分布式協(xié)同階段的任務(wù)執(zhí)行方式
2.1 協(xié)同路徑規(guī)劃
協(xié)同路徑規(guī)劃中，要求在給定目標(biāo)或者搜索目標(biāo)后，無(wú)人機(jī)節(jié)點(diǎn)根據(jù)當(dāng)前的任務(wù)狀態(tài)來(lái)確定飛行路徑。針對(duì)協(xié)同搜索和跟蹤任務(wù)的路線規(guī)劃，無(wú)人機(jī)集群可采用最大化目標(biāo)功能來(lái)檢測(cè)最重要的目標(biāo)，并在關(guān)鍵時(shí)刻對(duì)其進(jìn)行跟蹤，從而獲得最有價(jià)值的信息。而協(xié)同搜索的路徑規(guī)劃可以分成無(wú)人機(jī)工作區(qū)間劃分和全區(qū)域覆蓋搜索路徑規(guī)劃2個(gè)子問(wèn)題，將多機(jī)協(xié)同搜索轉(zhuǎn)化為子區(qū)域上的單機(jī)搜索，對(duì)目標(biāo)區(qū)域快速進(jìn)行劃分并生成飛行路線。基于改進(jìn)遺傳算法的多無(wú)人機(jī)協(xié)同偵察航跡規(guī)劃算法，可用于解決面向復(fù)雜戰(zhàn)場(chǎng)環(huán)境中高效偵察多種類型目標(biāo)過(guò)程中的路徑規(guī)劃問(wèn)題，并能夠有效地提高航跡規(guī)劃精度和效率。

2.2 協(xié)同感知
協(xié)同感知是多無(wú)人機(jī)集群共同探測(cè)感知某一目標(biāo)區(qū)域狀態(tài)的任務(wù)形式。在這類任務(wù)中最常見(jiàn)的是協(xié)同頻譜感知。針對(duì)協(xié)同頻譜感知任務(wù)特點(diǎn)，采用最佳融合準(zhǔn)則的分布式協(xié)同任務(wù)執(zhí)行方案可以優(yōu)化檢測(cè)性能，使協(xié)作頻譜感知總錯(cuò)誤率達(dá)到最小，并能降低協(xié)作感知時(shí)間，節(jié)省感知過(guò)程開(kāi)銷。

2.3 協(xié)同任務(wù)規(guī)劃
協(xié)同任務(wù)規(guī)劃要求集群系統(tǒng)能夠根據(jù)目標(biāo)任務(wù)和執(zhí)行情況，對(duì)任務(wù)進(jìn)行系統(tǒng)分配。例如，針對(duì)協(xié)同打擊任務(wù)，通過(guò)建立無(wú)人機(jī)毀傷代價(jià)指標(biāo)函數(shù)、航程代價(jià)指標(biāo)函數(shù)和價(jià)值收益指標(biāo)函數(shù)，可以實(shí)現(xiàn)多無(wú)人機(jī)協(xié)同打擊任務(wù)的分配[5];而通過(guò)建立多目標(biāo)優(yōu)化模型并采用遺傳算法，能有效提高任務(wù)的完成效率。針對(duì)協(xié)同搜救任務(wù)，使用一種新的基于通信保持的拍賣方法的自適應(yīng)反饋調(diào)節(jié)遺傳算法，能夠改善傳統(tǒng)遺傳算法存在易陷入局部最優(yōu)的弱點(diǎn)。

通過(guò)以上3種類型協(xié)同任務(wù)的相關(guān)研究工作可以看出，無(wú)人機(jī)集群的分布式協(xié)同方式雖然充分考慮了“分布式”特點(diǎn)，能夠根據(jù)任務(wù)目標(biāo)和集群特征，設(shè)置有效的目標(biāo)函數(shù)和優(yōu)化方法去尋求最優(yōu)或者較優(yōu)的結(jié)果，但是其任務(wù)執(zhí)行環(huán)境和求解目標(biāo)需要在任務(wù)執(zhí)行之前進(jìn)行優(yōu)化計(jì)算，然后分配執(zhí)行，不能適應(yīng)實(shí)際中動(dòng)態(tài)的任務(wù)目標(biāo)和環(huán)境變化，缺乏“智能性”的感知和適應(yīng)性行為。隨著人們對(duì)“蜂群”“鳥(niǎo)群”等生物群體智能研究的深入，群體智能協(xié)同被進(jìn)一步引入到無(wú)人機(jī)的協(xié)同中。

3 群體智能協(xié)同
“鳥(niǎo)群”“蟻群”等生物群體，雖然其中的個(gè)體智能有限，但是群體卻展現(xiàn)出高度的自組織性，這一特點(diǎn)與無(wú)人機(jī)集群自主協(xié)同的需求相符，因而群體智能在無(wú)人機(jī)協(xié)同應(yīng)用領(lǐng)域也得到了廣泛研究，使無(wú)人機(jī)集群協(xié)同具有了初步的智能性。具備群體智能的無(wú)人機(jī)集群系統(tǒng)在任務(wù)拆解和執(zhí)行過(guò)程中引入了群體反饋和適變能力，可執(zhí)行較復(fù)雜的動(dòng)態(tài)任務(wù)，其過(guò)程如圖3所示。

圖3 群體智能協(xié)同階段的任務(wù)執(zhí)行方式
3.1 協(xié)同路徑規(guī)劃
山區(qū)路徑規(guī)劃任務(wù)受到地形特征的強(qiáng)烈影響，難以預(yù)先確定性分配執(zhí)行，簡(jiǎn)單的分布式協(xié)同無(wú)法勝任。例如，為了執(zhí)行山區(qū)應(yīng)急物資運(yùn)輸?shù)穆窂揭?guī)劃任務(wù)，一種考慮路徑安全度的改進(jìn)蟻群算法可快速收斂并生成更短路徑。蟻群算法也被用于無(wú)人機(jī)協(xié)同飛抵空戰(zhàn)場(chǎng)的航跡規(guī)劃任務(wù)中;一種基于改進(jìn)混沌蟻群算法更能克服傳統(tǒng)蟻群智能算法中易出現(xiàn)局部極值、收斂效率低的缺陷，提升算法的全局尋優(yōu)能力和搜索效率。針對(duì)協(xié)同攻擊移動(dòng)目標(biāo)場(chǎng)景的航跡規(guī)劃，另一種改進(jìn)的蟻群算法建立了結(jié)合任務(wù)分配的無(wú)人機(jī)群協(xié)同航跡規(guī)劃模型，可以快速地對(duì)地面多個(gè)移動(dòng)目標(biāo)規(guī)劃出有效的航跡。

3.2 協(xié)同感知
在協(xié)同感知任務(wù)中，群體智能也得到應(yīng)用。針對(duì)無(wú)人機(jī)集群通信場(chǎng)景和需求，出現(xiàn)了考慮結(jié)合認(rèn)知無(wú)線電技術(shù)指導(dǎo)下的智能通信思想和匯聚有限智慧的群體智能理論方法，構(gòu)建了群體智能協(xié)同通信模型和智能協(xié)同感知模型。

3.3 協(xié)同任務(wù)規(guī)劃
協(xié)同作戰(zhàn)是協(xié)同任務(wù)規(guī)劃中的典型場(chǎng)景，結(jié)合群體智能優(yōu)化算法的優(yōu)勢(shì)，基于粒子群-整數(shù)編碼狼群算法的集群組網(wǎng)任務(wù)分配算法適合解決此類協(xié)同問(wèn)題;由于無(wú)人機(jī)集群協(xié)同決策困難，還可以結(jié)合狼群算法的認(rèn)知與協(xié)作能力，實(shí)現(xiàn)在復(fù)雜環(huán)境下迅速對(duì)目標(biāo)進(jìn)行跟蹤和包圍。這種協(xié)同任務(wù)，是第一類簡(jiǎn)單協(xié)同所不能勝任的。

雖然無(wú)人機(jī)集群和群體智能的結(jié)合可以充分發(fā)揮無(wú)人機(jī)集群優(yōu)勢(shì)，增強(qiáng)分布式協(xié)同智能性，可在任務(wù)執(zhí)行過(guò)程中與環(huán)境和任務(wù)執(zhí)行中間過(guò)程產(chǎn)生一定交互和反饋，使之具備一定的自適應(yīng)能力，但是，這種智能仍然是非常有限的，其本質(zhì)仍然是基于特定計(jì)算模式和反饋模式下的分布式優(yōu)化算法。

4 多智能體協(xié)同
隨著人工智能技術(shù)和節(jié)點(diǎn)自身算力的不斷增強(qiáng)，未來(lái)無(wú)人機(jī)集群中的個(gè)體將具備更強(qiáng)的智能性，能夠獨(dú)立對(duì)環(huán)境和任務(wù)進(jìn)行感知和評(píng)估，實(shí)現(xiàn)多個(gè)智能體之間的交互和協(xié)同，從而具備多智能體協(xié)同能力。

近年來(lái)，人工智能領(lǐng)域研究取得了突破性進(jìn)展。其中，深度強(qiáng)化學(xué)習(xí)在諸多領(lǐng)域得到了成功應(yīng)用。無(wú)線通信網(wǎng)絡(luò)基于多智能體深度強(qiáng)化學(xué)習(xí)的資源分配技術(shù)也得到了深入研究。多智能體深度強(qiáng)化學(xué)習(xí)模型早已被用于解決車聯(lián)網(wǎng)中頻譜資源分配問(wèn)題,這種應(yīng)用已經(jīng)與無(wú)人機(jī)集群系統(tǒng)頗為接近。例如一種基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式動(dòng)態(tài)功率分配方案?；诙嘀悄荏w深度強(qiáng)化學(xué)習(xí)的策略還可被用于二者的結(jié)合——用無(wú)人機(jī)輔助車輛網(wǎng)絡(luò)進(jìn)行多維資源管理。

雖然基于強(qiáng)化學(xué)習(xí)的多智能體通信網(wǎng)絡(luò)資源分配問(wèn)題已經(jīng)得到了廣泛研究，但是由于網(wǎng)絡(luò)特性的不同，傳統(tǒng)的針對(duì)其他通信網(wǎng)絡(luò)的研究成果不能直接用于無(wú)人機(jī)集群網(wǎng)絡(luò)。因而基于強(qiáng)化學(xué)習(xí)的多智能體自主協(xié)同應(yīng)用逐漸成為未來(lái)無(wú)人機(jī)多智能體自主協(xié)同的一個(gè)研究熱點(diǎn)。針對(duì)無(wú)人機(jī)群的通信網(wǎng)絡(luò)資源動(dòng)態(tài)分配問(wèn)題而提出的多智能體深度強(qiáng)化學(xué)習(xí)方案也陸續(xù)出現(xiàn),例如，一種基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式干擾協(xié)調(diào)策略被用于受到干擾的無(wú)人機(jī)網(wǎng)絡(luò)中的文件下載業(yè)務(wù)。智能體在適用于無(wú)人機(jī)網(wǎng)絡(luò)特點(diǎn)的獨(dú)立強(qiáng)化學(xué)習(xí)中，其行為策略通常只能根據(jù)它們對(duì)全局環(huán)境的局部個(gè)體觀察來(lái)制定。針對(duì)這種局限性，聯(lián)合采用2種不同規(guī)模的智能體可解決智能體之間的通信問(wèn)題。

無(wú)人機(jī)集群協(xié)同，經(jīng)常會(huì)處理動(dòng)態(tài)高維離散和連續(xù)動(dòng)作狀態(tài)空間的優(yōu)化求解問(wèn)題，近來(lái)出現(xiàn)的演員-評(píng)論家算法是深度強(qiáng)化學(xué)習(xí)的一個(gè)新興方向，結(jié)合了基于值函數(shù)和基于策略函數(shù)的深度強(qiáng)化學(xué)習(xí)兩大分支的優(yōu)勢(shì)，非常適用于無(wú)人機(jī)集群的智能協(xié)同。利用演員-評(píng)論家算法，在無(wú)線信道和可再生能源再生率都是隨機(jī)變化，且環(huán)境動(dòng)態(tài)變化條件下，可尋求資源分配最佳策略,如用于解決車聯(lián)網(wǎng)中復(fù)雜動(dòng)態(tài)環(huán)境下的資源分配問(wèn)題。應(yīng)用設(shè)備到設(shè)備(D2D)網(wǎng)絡(luò)的異構(gòu)蜂窩網(wǎng)絡(luò)環(huán)境下，基于演員-評(píng)論家算法的策略可用于智能化節(jié)能模式選擇和資源分配。

隨著節(jié)點(diǎn)智能算力的不斷增強(qiáng)，無(wú)人機(jī)集群中的每架無(wú)人機(jī)可以作為一個(gè)具有深度強(qiáng)化學(xué)習(xí)能力的智能體，而整個(gè)集群可通過(guò)合作構(gòu)成多智能體。相鄰無(wú)人機(jī)之間通過(guò)通信網(wǎng)絡(luò)進(jìn)行信息交換與分發(fā)。如圖4所示，每架無(wú)人機(jī)都與局部環(huán)境相互作用，根據(jù)從周圍環(huán)境或者同伴無(wú)人機(jī)得到的信息，針對(duì)承載的任務(wù)需求，通過(guò)深度強(qiáng)化學(xué)習(xí)，智能地產(chǎn)生動(dòng)作策略，進(jìn)行自身資源與行為的分配與調(diào)整，進(jìn)而與環(huán)境和同伴互動(dòng)，并獲得個(gè)體獎(jiǎng)勵(lì)。

圖4 基于多智能體的無(wú)人機(jī)集群
每架無(wú)人機(jī)的深度強(qiáng)化學(xué)習(xí)智能體由2個(gè)深度神經(jīng)網(wǎng)絡(luò)構(gòu)成，包括演員網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)，如圖5所示。

圖5 基于演員評(píng)論家算法的無(wú)人機(jī)智能體
演員網(wǎng)絡(luò)負(fù)責(zé)輸出動(dòng)作，評(píng)論家網(wǎng)絡(luò)負(fù)責(zé)評(píng)價(jià)演員的動(dòng)作，以獲得相互促進(jìn)的效果。與傳統(tǒng)的深度強(qiáng)化學(xué)習(xí)方法相比，演員-評(píng)論家算法同時(shí)吸取了基于值函數(shù)方法和基于策略函數(shù)方法的優(yōu)點(diǎn)，從價(jià)值和策略兩方面來(lái)訓(xùn)練提升智能體，訓(xùn)練的更快，效果也更好。通過(guò)訓(xùn)練和學(xué)習(xí)，期望智能體的評(píng)論家網(wǎng)絡(luò)可以獲得最佳效用評(píng)估函數(shù)：

智能體從周圍環(huán)境中觀察得到狀態(tài)信息St ,例如干擾狀態(tài)、相鄰無(wú)人機(jī)等。演員網(wǎng)絡(luò)擬合動(dòng)作策略函數(shù)π(St;ωπ),根據(jù)狀態(tài)信息St,動(dòng)作策略函數(shù)輸出當(dāng)前時(shí)隙的動(dòng)作at,也就是資源分配結(jié)果，并應(yīng)用到環(huán)境中得到個(gè)體的即時(shí)獎(jiǎng)勵(lì)rt。獎(jiǎng)勵(lì)由獎(jiǎng)勵(lì)函數(shù)計(jì)算得到，負(fù)責(zé)反饋一個(gè)即時(shí)的、合理的、具有指導(dǎo)意義的獎(jiǎng)勵(lì)值，從而激勵(lì)智能體向目標(biāo)更新策略。評(píng)論家網(wǎng)絡(luò)擬合效用評(píng)估函數(shù)Q(St,at,ω),負(fù)責(zé)預(yù)測(cè)和評(píng)估在當(dāng)前狀態(tài)St采用動(dòng)作at所能得到的狀態(tài)動(dòng)作價(jià)值，即長(zhǎng)期性回報(bào)Rt為：

式中，γ是折扣因子，γ表示了當(dāng)前對(duì)于未來(lái)收益的重視程度，取值在0～1之間，取值0則表示智能體忽視未來(lái)收益，只看重當(dāng)前的收益rt,取值1則表示智能體將未來(lái)每個(gè)時(shí)刻的收益都視為與當(dāng)前時(shí)刻收益一樣的重要性。獲得最大的長(zhǎng)期性回報(bào)是智能體的最終目的，這個(gè)目標(biāo)可以根據(jù)任務(wù)的性質(zhì)被定義為不同的評(píng)判標(biāo)準(zhǔn)。

評(píng)論家網(wǎng)絡(luò)的最佳效用評(píng)估函數(shù)對(duì)應(yīng)的演員網(wǎng)絡(luò)動(dòng)作策略即為最佳動(dòng)作策略π*。動(dòng)作策略函數(shù)的參數(shù)通過(guò)策略梯度的方法進(jìn)行更新，效用評(píng)估函數(shù)的參數(shù)采用最小化損失函數(shù)進(jìn)行更新：

式中，yt為優(yōu)勢(shì)函數(shù)，用來(lái)衡量計(jì)算執(zhí)行動(dòng)作后的實(shí)際效用評(píng)估值。通過(guò)更新，智能體的演員網(wǎng)絡(luò)的動(dòng)作策略輸出的動(dòng)作越來(lái)越好，而評(píng)論家網(wǎng)絡(luò)的效用評(píng)估也會(huì)越來(lái)越準(zhǔn)確。基于多智能體的無(wú)人機(jī)群的每架無(wú)人機(jī)都會(huì)朝著收益最大的方向執(zhí)行動(dòng)作，從而實(shí)現(xiàn)集群的收益最大化。

?二、部分源代碼

clear
clc
addpath(‘./sub/’)
data;
disp(‘1-Question 1, the path of S1’)
disp(‘2-Question 1, the path of S2’)
disp(‘3-Question 3, the path of missile_plane & bmob_plane’)
key=input('Please select the num: ');
switch key
case 1
disp(‘Please wait until the calculation is finished…’);
disp(‘It might be a long time’);
close all
Draw_Map;
camara=2;
sig=1;
[result1,seq1,point1,l1]=Get_Total_Rader_Dist1(camara,A01,A02,A08,A09,A03,sig);
[result2,seq2,point2,l2]=Get_Total_Rader_Dist2(camara,A06,A05,A07,A10,A04,sig);
disp(‘result1,seq1,point1,l1,result2,seq2,point2,l2 has recorded all the results of this question’);
result=sum(result1)+sum(result2);
Show_Result(['The minimum rader traveling distance is ’ num2str(result)]);
case 2
disp(‘Please wait until the calculation is finished…’);
disp(‘It might be a long time’);
close all
Draw_Map;
Question_2;
disp(‘result,point,l has recorded all the results of this question’);
Show_Result(['The minimum rader traveling distance is ’ num2str(result)]);
case 3
disp(‘Please wait until the calculation is finished…’);
disp(‘It might be a long time’);
close all
Draw_Map;
Question_3;
disp(‘min_point,min_value has recorded all the results of this question’);
Show_Result(['The minimum rader traveling distance is ’ num2str(min_value)]);
end

rmpath(‘./sub/’)

?三、運(yùn)行結(jié)果

?四、matlab版本及參考文獻(xiàn)

1 matlab版本
2014a

2 參考文獻(xiàn)
[1]趙發(fā),綦秀利,余曉晗,張所娟,李本凌.基于多無(wú)人機(jī)自主協(xié)作任務(wù)規(guī)劃的區(qū)域搜索與目標(biāo)圍捕問(wèn)題研究[J].電子技術(shù)與軟件工程. 2022,(11)

3 備注
簡(jiǎn)介此部分摘自互聯(lián)網(wǎng)，僅供參考，若侵權(quán)，聯(lián)系刪除

?? 仿真咨詢
1 各類智能優(yōu)化算法改進(jìn)及應(yīng)用
生產(chǎn)調(diào)度、經(jīng)濟(jì)調(diào)度、裝配線調(diào)度、充電優(yōu)化、車間調(diào)度、發(fā)車優(yōu)化、水庫(kù)調(diào)度、三維裝箱、物流選址、貨位優(yōu)化、公交排班優(yōu)化、充電樁布局優(yōu)化、車間布局優(yōu)化、集裝箱船配載優(yōu)化、水泵組合優(yōu)化、解醫(yī)療資源分配優(yōu)化、設(shè)施布局優(yōu)化、可視域基站和無(wú)人機(jī)選址優(yōu)化

2 機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方面
卷積神經(jīng)網(wǎng)絡(luò)（CNN）、LSTM、支持向量機(jī)（SVM）、最小二乘支持向量機(jī)（LSSVM）、極限學(xué)習(xí)機(jī)（ELM）、核極限學(xué)習(xí)機(jī)（KELM）、BP、RBF、寬度學(xué)習(xí)、DBN、RF、RBF、DELM、XGBOOST、TCN實(shí)現(xiàn)風(fēng)電預(yù)測(cè)、光伏預(yù)測(cè)、電池壽命預(yù)測(cè)、輻射源識(shí)別、交通流預(yù)測(cè)、負(fù)荷預(yù)測(cè)、股價(jià)預(yù)測(cè)、PM2.5濃度預(yù)測(cè)、電池健康狀態(tài)預(yù)測(cè)、水體光學(xué)參數(shù)反演、NLOS信號(hào)識(shí)別、地鐵停車精準(zhǔn)預(yù)測(cè)、變壓器故障診斷

3 圖像處理方面
圖像識(shí)別、圖像分割、圖像檢測(cè)、圖像隱藏、圖像配準(zhǔn)、圖像拼接、圖像融合、圖像增強(qiáng)、圖像壓縮感知

4 路徑規(guī)劃方面
旅行商問(wèn)題（TSP）、車輛路徑問(wèn)題（VRP、MVRP、CVRP、VRPTW等）、無(wú)人機(jī)三維路徑規(guī)劃、無(wú)人機(jī)協(xié)同、無(wú)人機(jī)編隊(duì)、機(jī)器人路徑規(guī)劃、柵格地圖路徑規(guī)劃、多式聯(lián)運(yùn)運(yùn)輸問(wèn)題、車輛協(xié)同無(wú)人機(jī)路徑規(guī)劃、天線線性陣列分布優(yōu)化、車間布局優(yōu)化

5 無(wú)人機(jī)應(yīng)用方面
無(wú)人機(jī)路徑規(guī)劃、無(wú)人機(jī)控制、無(wú)人機(jī)編隊(duì)、無(wú)人機(jī)協(xié)同、無(wú)人機(jī)任務(wù)分配

6 無(wú)線傳感器定位及布局方面
傳感器部署優(yōu)化、通信協(xié)議優(yōu)化、路由優(yōu)化、目標(biāo)定位優(yōu)化、Dv-Hop定位優(yōu)化、Leach協(xié)議優(yōu)化、WSN覆蓋優(yōu)化、組播優(yōu)化、RSSI定位優(yōu)化

7 信號(hào)處理方面
信號(hào)識(shí)別、信號(hào)加密、信號(hào)去噪、信號(hào)增強(qiáng)、雷達(dá)信號(hào)處理、信號(hào)水印嵌入提取、肌電信號(hào)、腦電信號(hào)、信號(hào)配時(shí)優(yōu)化

8 電力系統(tǒng)方面
微電網(wǎng)優(yōu)化、無(wú)功優(yōu)化、配電網(wǎng)重構(gòu)、儲(chǔ)能配置

9 元胞自動(dòng)機(jī)方面
交通流 人群疏散 病毒擴(kuò)散 晶體生長(zhǎng)

10 雷達(dá)方面
卡爾曼濾波跟蹤、航跡關(guān)聯(lián)、航跡融合文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-490440.html

到了這里，關(guān)于【協(xié)同任務(wù)】基于matlab多無(wú)人機(jī)協(xié)同任務(wù)規(guī)劃【含Matlab源碼 2515期】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！