摘要：中科院自動化所蒲志強教授團(tuán)隊，提出一種基于關(guān)系圖的深度強化學(xué)習(xí)方法，應(yīng)用于多目標(biāo)避碰包圍問題(MECA)，使用NOKOV度量動作捕捉系統(tǒng)獲取多機器人位置信息，驗證了方法的有效性和適應(yīng)性。研究成果在2022年ICRA大會發(fā)表。

?文章來源地址http://www.zghlxwxcb.cn/news/detail-793631.html

在多機器人系統(tǒng)的研究領(lǐng)域中，包圍控制是一個重要的課題。其在民用和軍事領(lǐng)域都有廣泛的應(yīng)用場景，包括協(xié)同護(hù)航、捕獲敵方目標(biāo)、偵察監(jiān)視、無人水面艦艇巡邏狩獵等。

這些應(yīng)用的核心問題是如何控制一個多機器人系統(tǒng)，涉及多目標(biāo)分配，同時解決目標(biāo)包圍和避碰子問題。這是一個巨大的挑戰(zhàn)，特別是對于分散的多機器人系統(tǒng)。

中科院自動化所蒲志強教授團(tuán)隊在2022年ICRA大會發(fā)表論文，提出了一種基于關(guān)系圖的深度強化學(xué)習(xí)方法，對各種條件下的多目標(biāo)避碰包圍(MECA)問題具有良好的適應(yīng)性。

?

?

定義任務(wù)

該研究定義了一個MECA任務(wù)，即在具有L個靜態(tài)障礙物(黑色圓圈)的環(huán)境中，由N個機器人(綠色圓圈)組成的多機器人系統(tǒng)，協(xié)同包圍K (1 < K < N)個靜止或運動的目標(biāo)(紅色圓圈)。

所有機器人需要自動形成多組，包圍所有目標(biāo)，每組需要形成圓形隊形，包圍一個獨立的目標(biāo)，同時避免碰撞。這涉及到以下三個子問題：

1) 動態(tài)多目標(biāo)分配與分組

2) 每組分別包圍

3) 相互之間避免碰撞

?

分散式多機器人系統(tǒng)的MECA圖解

??

方法框架

在MECA問題中，存在三種類型的實體，即機器人、目標(biāo)和障礙物。不同的實體對機器人有不同的影響關(guān)系，例如避障、包圍目標(biāo)、與其他機器人合作等。

研究提出了一種基于機器人級和目標(biāo)級關(guān)系圖(RGs)的DRL分散方法，命名為MECA-DRL-RG方法。

具體而言：

1. 利用圖注意網(wǎng)絡(luò)(GATs)對機器人級RGs進(jìn)行建模和學(xué)習(xí)，該RGs由每個機器人與其他機器人、目標(biāo)和障礙物之間的三個異構(gòu)關(guān)系圖組成。
2. 利用GAT構(gòu)建目標(biāo)級RG，構(gòu)建機器人與各目標(biāo)之間的空間關(guān)系。目標(biāo)的運動由目標(biāo)級RG建模，并通過監(jiān)督學(xué)習(xí)進(jìn)行學(xué)習(xí)，以預(yù)測目標(biāo)的軌跡。
3. 此外，定義了一個知識嵌入式復(fù)合獎勵函數(shù)，解決MECA中的多目標(biāo)問題。采用基于集中式訓(xùn)練和去中心化執(zhí)行框架的演員-評論家訓(xùn)練算法對策略網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

?

MECA-DRL-RG方法的整體結(jié)構(gòu)

?

實驗驗證

研究團(tuán)隊分別進(jìn)行了仿真實驗和真實環(huán)境實驗。在真實實驗中，情景設(shè)置為：6個機器人在有2個障礙物的環(huán)境中包圍2個移動的目標(biāo)。機器人的位置和速度數(shù)據(jù)由NOKOV度量動作捕捉系統(tǒng)提供。?

6個機器人在有2個障礙物的環(huán)境中包圍2個移動目標(biāo)

?

仿真實驗和真實實驗都驗證了，相比于其他方法，MECA-DRL-RG方法使機器人能夠從周圍環(huán)境中，學(xué)習(xí)異構(gòu)空間關(guān)系圖，并預(yù)測目標(biāo)的軌跡，從而促進(jìn)每個機器人對其周圍環(huán)境的理解和預(yù)測。證實了MECA-DRL-RG方法的有效性。

并且，無論機器人、障礙物或目標(biāo)的數(shù)量增加，抑或是目標(biāo)的移動速度加快，MECA-DRL-RG方法都表現(xiàn)出良好的性能，具有廣泛的適應(yīng)性。

?

MECA-DRL-RG方法訓(xùn)練曲線

?

?

參考文獻(xiàn)：

T. Zhang, Z. Liu, Z. Pu and J. Yi, "Multi-Target Encirclement with Collision Avoidance via Deep Reinforcement Learning using Relational Graphs," 2022 International Conference on Robotics and Automation (ICRA), Philadelphia, PA, USA, 2022, pp. 8794-8800, doi: 10.1109/ICRA46639.2022.9812151.

?

到了這里，關(guān)于中科院自動化所：基于關(guān)系圖深度強化學(xué)習(xí)的機器人多目標(biāo)包圍問題新算法的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！