?作者：董澤宇 李肖兵 葉彤 李秉宸 吳雅霏

單位：廣西大學(xué) 電氣工程學(xué)院

指導(dǎo)老師：李勇 雷圓媛

? ? ? 為應(yīng)對(duì)特殊條件下不便于實(shí)地進(jìn)行移動(dòng)式操作的問(wèn)題，本作品設(shè)計(jì)了一套基于混合現(xiàn)實(shí)的可移動(dòng)機(jī)械臂操作控制系統(tǒng)。該系統(tǒng)分為人機(jī)交互、機(jī)械驅(qū)動(dòng)、虛擬現(xiàn)實(shí)三個(gè)模塊，人機(jī)交互模塊通過(guò)攝像頭識(shí)別操作者肢體手勢(shì)動(dòng)作并發(fā)布相應(yīng)操作指令，機(jī)械驅(qū)動(dòng)模塊解析由人機(jī)交互模塊發(fā)布的操作指令后完成相應(yīng)動(dòng)作并反饋設(shè)備工作狀態(tài)，虛擬現(xiàn)實(shí)模塊接收機(jī)械驅(qū)動(dòng)模塊反饋信息后將設(shè)備運(yùn)行情況在構(gòu)建好的虛擬場(chǎng)景中還原，實(shí)現(xiàn)對(duì)設(shè)備運(yùn)行情況的實(shí)時(shí)監(jiān)控。我們利用可移動(dòng)機(jī)械臂平臺(tái)進(jìn)行測(cè)試，最終結(jié)果表明操作者通過(guò)本系統(tǒng)可以實(shí)現(xiàn)對(duì)可移動(dòng)機(jī)械臂的遠(yuǎn)程精準(zhǔn)控制與實(shí)時(shí)監(jiān)控，系統(tǒng)響應(yīng)速度能夠達(dá)到60~100ms/幀。

1. 引言

? ? ? 2022年5月-6月，國(guó)內(nèi)發(fā)生了多起自然災(zāi)害[1]以及其他諸如火災(zāi)、毒氣泄漏等突發(fā)事故。救援隊(duì)進(jìn)入或接近現(xiàn)場(chǎng)進(jìn)行搶救工作的安全成本與技術(shù)難度極大。為提供一種解決此類問(wèn)題的技術(shù)思路，本文提出了一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程機(jī)械臂操作控制系統(tǒng)。該系統(tǒng)通過(guò)搭建混合現(xiàn)實(shí)系統(tǒng)框架，輔助使用者實(shí)現(xiàn)對(duì)極端環(huán)境下工作的災(zāi)后救援機(jī)器人遠(yuǎn)程操縱與監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)思路。

? ? ? 混合現(xiàn)實(shí)技術(shù)將可視化、人機(jī)交互和自動(dòng)分析方法整合為一體，支持用戶以視覺(jué)的方式感知數(shù)據(jù)，通過(guò)交互方式對(duì)數(shù)據(jù)進(jìn)行探索[2]。傳統(tǒng)的人機(jī)交互功能依賴可視化交互設(shè)備實(shí)現(xiàn)可視化交互功能，其中信息的輸出通過(guò)二維顯示屏實(shí)現(xiàn)、指令的輸入功能則是依賴鍵盤與鼠標(biāo)實(shí)現(xiàn)。隨著混合現(xiàn)實(shí)技術(shù)的發(fā)展，如今出現(xiàn)了更加自然直觀的多模態(tài)人機(jī)交互方式，其中包含了大數(shù)據(jù)可視化交互、基于聲場(chǎng)感知的交互、混合現(xiàn)實(shí)實(shí)物交互、可穿戴設(shè)備交互、人機(jī)對(duì)話交互、及其他人機(jī)交互方式[3]。人機(jī)交互的目的在于感知人類的交互意圖，當(dāng)前已有一些用于人機(jī)交互的設(shè)備，例如，Vahid Pooryousef等人通過(guò)對(duì)柔性印制線路板進(jìn)行設(shè)計(jì)開(kāi)發(fā)，制作出依賴觸覺(jué)進(jìn)行交互的虛擬手套[4]、Microsoft公司開(kāi)發(fā)了能夠應(yīng)用在動(dòng)作捕捉中的深度攝像頭Kinect[5]等，然而這些產(chǎn)品的成本相對(duì)較高，在使用時(shí)會(huì)受到一定程序的限制。

? ? ? 此外，目前應(yīng)用于機(jī)械臂的主動(dòng)控制方法[6-7]一種是通過(guò)由搖桿與按鍵組合而成的控制設(shè)備進(jìn)行指令發(fā)布工作，另一種則是通過(guò)力反饋傳感設(shè)備實(shí)現(xiàn)對(duì)機(jī)械臂的遙操作控制。兩種主流的控制方式都對(duì)于操作環(huán)境的局限性極大，并不利于對(duì)機(jī)械臂的應(yīng)用普及。然而，兩種機(jī)械臂的主動(dòng)控制方式都需要一定的空間用于布置控制設(shè)施，這便對(duì)使用者操作環(huán)境造成了非常固定的局限。如今新興的人機(jī)交互方式同樣需要特定的環(huán)境布置傳感設(shè)備，其成本與應(yīng)用環(huán)境的局限性極大。因此，為降低應(yīng)用成本與環(huán)境因素限制，以使得此類技術(shù)能夠用于在特殊環(huán)境下的機(jī)械臂操作，本文采用基于視覺(jué)的動(dòng)作捕捉功能以實(shí)現(xiàn)人機(jī)交互，采用Unity引擎構(gòu)建虛擬仿真環(huán)境，同時(shí)通過(guò)ROS系統(tǒng)實(shí)現(xiàn)無(wú)線數(shù)據(jù)通訊功能實(shí)現(xiàn)指令的發(fā)布與接收，構(gòu)建了一套基于混合現(xiàn)實(shí)的可移動(dòng)機(jī)械臂操作控制系統(tǒng)。

2. 總體架構(gòu)

2.1 軟件系統(tǒng)

? ? ? 如下圖所示，基于混合現(xiàn)實(shí)的可移動(dòng)機(jī)械臂操作控制系統(tǒng)的軟件模塊分為人機(jī)交互、機(jī)械驅(qū)動(dòng)、虛擬現(xiàn)實(shí)三個(gè)功能模塊，分別實(shí)現(xiàn)指令信號(hào)的輸入、執(zhí)行與反饋功能。不同模塊間通過(guò)基于消息隊(duì)列遙測(cè)傳輸協(xié)議(Message Queuing Telemetry Transport, MQTT)的網(wǎng)絡(luò)通訊通道[8]與局域網(wǎng)通訊通道[9]結(jié)合，實(shí)現(xiàn)對(duì)指令信號(hào)的格式化、發(fā)布與接收功能。在保證系統(tǒng)良好的穩(wěn)定性的同時(shí)，具有良好的拓展性。

2.2 硬件系統(tǒng)

? ? ? 本系統(tǒng)結(jié)構(gòu)為鋼材結(jié)構(gòu)構(gòu)成，機(jī)械臂與底盤Meacanum輪組分別由機(jī)器時(shí)代（北京）科技有限公司的“探索者”創(chuàng)新平臺(tái)開(kāi)發(fā)的Basra主控板進(jìn)行控制。兩塊Basra主控板都通過(guò)藍(lán)牙串口通信，連接至基于樹莓派的ROS系統(tǒng)內(nèi)，進(jìn)行基于物聯(lián)網(wǎng)的通信網(wǎng)絡(luò)搭建，主控板如下圖所示：

3. 人機(jī)交互模塊

? ? ? 肢體動(dòng)作是人類表達(dá)自我意識(shí)的一種重要手段，更是一種便捷的人機(jī)交互方式。該模塊通過(guò)攝像頭獲取包含使用者肢體手勢(shì)動(dòng)作的圖像數(shù)據(jù)，通過(guò)感知哈希算法進(jìn)行濾波后提取使用者的關(guān)鍵點(diǎn)2D數(shù)據(jù)，最后對(duì)關(guān)鍵點(diǎn)進(jìn)行深度估計(jì)，最終實(shí)現(xiàn)對(duì)使用者的肢體手勢(shì)動(dòng)作識(shí)別功能。

3.1 感知哈希算法

? ? ? 目標(biāo)檢測(cè)對(duì)于設(shè)備性能要求高且費(fèi)時(shí)，而對(duì)視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)時(shí)由于攝像頭、檢測(cè)對(duì)象以及目標(biāo)檢測(cè)算法等多方面因素影響，對(duì)于輸出結(jié)果的精度影響極大。因此本系統(tǒng)利用感知哈希算法對(duì)輸入視頻進(jìn)行預(yù)處理，減少關(guān)鍵點(diǎn)檢測(cè)工作的任務(wù)量并減小因使用者抖動(dòng)等原因產(chǎn)生的誤差，提高系統(tǒng)輸出指令的有效率與準(zhǔn)確性。

? ? ? 感知哈希算法[10]是一種判斷圖像相似性的一類哈希算法的總稱，包括了均值哈希算法(aHash)、感知哈希算法(pHash)、差異值哈希算法(dHash)等。為保證該部分有效提高系統(tǒng)的處理速度，本文采用差異值哈希算法進(jìn)行對(duì)圖像的預(yù)處理。

? ? ? 啟動(dòng)攝像頭后系統(tǒng)保存第一幀圖像作為待處理圖像，隨后計(jì)算攝像頭讀取圖像與待處理圖像的Hamming距離。當(dāng)Hamming距離大于預(yù)設(shè)閾值時(shí)，將此幀攝像頭讀取圖像替換待處理圖像，并進(jìn)行后續(xù)處理。

3.2 基于RGB圖像的人體關(guān)鍵點(diǎn)坐標(biāo)提取

? ? ? 本系統(tǒng)通過(guò)MediaPipe框架[11]實(shí)現(xiàn)對(duì)使用者的關(guān)鍵點(diǎn)坐標(biāo)提取。MediaPipe框架是由Google開(kāi)發(fā)的一種基于機(jī)器學(xué)習(xí)的目標(biāo)檢測(cè)框架。關(guān)鍵點(diǎn)坐標(biāo)提取流程與分布如下圖所示，在關(guān)鍵點(diǎn)追蹤過(guò)程中，系統(tǒng)首先預(yù)測(cè)虛擬關(guān)鍵點(diǎn)坐標(biāo)實(shí)現(xiàn)對(duì)各關(guān)節(jié)關(guān)鍵點(diǎn)的匹配，最終實(shí)現(xiàn)動(dòng)作捕捉功能。

? ? ? 系統(tǒng)在獲得待處理圖像后，首先對(duì)使用者與背景環(huán)境進(jìn)行分割處理，隨后進(jìn)入人體關(guān)鍵點(diǎn)坐標(biāo)預(yù)測(cè)環(huán)節(jié) (Pose_Landmarker_GPU)，利用提前訓(xùn)練好的人體關(guān)鍵點(diǎn)模型（關(guān)鍵點(diǎn)分布如下圖所示）與目標(biāo)進(jìn)行匹配，從而獲取在該圖像中目標(biāo)的關(guān)鍵點(diǎn)分布坐標(biāo)，并通過(guò)坐標(biāo)檢測(cè)環(huán)節(jié)確定其置信度。最后由圖像渲染環(huán)節(jié)(Pose_Renderer_GPU)接收由圖像分割處理輸出的圖像數(shù)據(jù)流與坐標(biāo)檢測(cè)環(huán)節(jié)校正后輸出的關(guān)鍵點(diǎn)分布坐標(biāo)，在圖像數(shù)據(jù)流中進(jìn)行標(biāo)記，最終輸出標(biāo)記了關(guān)鍵點(diǎn)的圖像流與關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)。

3.3 關(guān)鍵點(diǎn)深度估計(jì)

? ? ? 系統(tǒng)通過(guò)人體運(yùn)動(dòng)特征結(jié)合幾何原理，實(shí)現(xiàn)對(duì)關(guān)鍵點(diǎn)的深度估算[12]?；谙聢D所示的人體關(guān)鍵點(diǎn)分布，系統(tǒng)將11、12、23、24號(hào)關(guān)鍵點(diǎn)作為特征關(guān)鍵點(diǎn)，并將特征關(guān)鍵點(diǎn)組成四邊形的幾何特征建立特征關(guān)鍵點(diǎn)矩陣A，最后通過(guò)空間幾何原理實(shí)現(xiàn)對(duì)關(guān)鍵點(diǎn)的深度預(yù)測(cè)，生成深度矩陣H。矩陣A、H如下所示,其中為i、j關(guān)鍵點(diǎn)間距離，hi為i關(guān)鍵點(diǎn)深度值。

? ? ? 當(dāng)使用者所在平面平行于攝像頭平面時(shí)，以特征關(guān)鍵點(diǎn)所圍圖形中心為原點(diǎn)，以平行于11、12號(hào)關(guān)鍵點(diǎn)組成線段為x軸，以垂直于該平面且指向攝像頭所在平面為z軸正方向，建立如上圖所示空間坐標(biāo)系。建立基準(zhǔn)特征關(guān)鍵點(diǎn)矩陣A0，并保存各關(guān)鍵點(diǎn)間距離，作為基準(zhǔn)單位長(zhǎng)度lt0? ，此時(shí)深度矩陣記作

? ? ? 系統(tǒng)運(yùn)行過(guò)程中，由矩陣A與矩陣A0的變換關(guān)系，得到基準(zhǔn)關(guān)鍵點(diǎn)沿z軸移動(dòng)矩陣Hz、沿x軸旋轉(zhuǎn)矩陣Hx、沿y軸旋轉(zhuǎn)矩陣Hy。最終通過(guò)運(yùn)動(dòng)學(xué)的疊加原理[13]，合成基準(zhǔn)點(diǎn)深度矩陣H。矩陣關(guān)系如下所示，i、j、k為基準(zhǔn)點(diǎn)特征常量，與攝像頭捕捉的圖像寬度w與高度h以及矩陣A相關(guān)。

特征關(guān)鍵點(diǎn)所圍圖形沿x軸旋轉(zhuǎn)時(shí)，有

特征關(guān)鍵點(diǎn)所圍圖形沿y軸旋轉(zhuǎn)時(shí)，有

特征關(guān)鍵點(diǎn)所圍圖形沿z軸平移時(shí)，有

4. 機(jī)械驅(qū)動(dòng)模塊

? ? ? 機(jī)械驅(qū)動(dòng)模塊的建立基于ROS操作系統(tǒng)，可以實(shí)時(shí)讀取設(shè)備運(yùn)行情況并利用固定在機(jī)械臂上的攝像頭采集設(shè)備的工作環(huán)境信息，最終通過(guò)局域網(wǎng)遠(yuǎn)程控制通訊功能，有效地實(shí)現(xiàn)對(duì)可移動(dòng)機(jī)械臂的遠(yuǎn)距離操作控制，輔助使用者完成作業(yè)。

4.1 基于D-H參數(shù)的機(jī)械臂驅(qū)動(dòng)控制

? ? ? 系統(tǒng)通過(guò)該模塊實(shí)現(xiàn)對(duì)目標(biāo)物體搬運(yùn)與環(huán)境信息采集工作。系統(tǒng)通過(guò)人機(jī)交互模塊實(shí)現(xiàn)對(duì)動(dòng)作的捕捉與判斷后將使用者的姿勢(shì)映射為相應(yīng)的機(jī)械臂驅(qū)動(dòng)控制指令，并對(duì)指令執(zhí)行發(fā)布、接收、解析工作，從而實(shí)現(xiàn)對(duì)機(jī)械臂的遠(yuǎn)程控制。

? ? ? 機(jī)械臂的鏈路由被稱作連桿的剛體組成，在已知機(jī)械臂的各個(gè)關(guān)節(jié)連桿參數(shù)的情況下，通過(guò)控制機(jī)械臂各關(guān)節(jié)舵機(jī)轉(zhuǎn)動(dòng)角度，即可驅(qū)動(dòng)機(jī)械臂的運(yùn)動(dòng)到指定位置[14]。其中Denavit-Hartenberg（D-H）參數(shù)算法是本模塊的核心[15]。針對(duì)本研究的需求，選擇使用基于幾何結(jié)構(gòu)的正運(yùn)動(dòng)學(xué)[16]解法，為機(jī)械臂的結(jié)構(gòu)建立D-H矩陣。

? ? ? 針對(duì)系統(tǒng)需求，采用的機(jī)械臂自由度為6。使用基于幾何結(jié)構(gòu)的運(yùn)動(dòng)學(xué)求解。通過(guò)余弦定理和連桿機(jī)構(gòu)在笛卡爾坐標(biāo)系的投影，推斷每條機(jī)械臂的運(yùn)動(dòng)學(xué)正解方程組，并且系統(tǒng)采用D-H矩陣參數(shù)法，將其初始位姿和零點(diǎn)旋轉(zhuǎn)至同一笛卡爾坐標(biāo)系下進(jìn)行計(jì)算。

? ? ? 在三維空間中，為方便確定各個(gè)連桿之間的幾何參數(shù)關(guān)系，通常規(guī)定兩個(gè)參數(shù)連桿距離a和連桿轉(zhuǎn)角α來(lái)描述。兩軸之間公垂線上的直線距離稱為連桿距離，記為a。兩軸線在與公垂線垂直的平面上投影的夾角稱為連桿轉(zhuǎn)角，記為α。

? ? ? 相鄰的兩連桿之間具有一個(gè)公共的軸，兩連桿沿公共關(guān)節(jié)軸偏移的距離稱為連桿偏移，記為d。兩相鄰連桿繞公共關(guān)節(jié)軸轉(zhuǎn)動(dòng)的角度稱為關(guān)節(jié)角，記為θ。機(jī)械臂的每個(gè)連桿軸都可以用上述四個(gè)參數(shù)來(lái)描述，對(duì)于旋轉(zhuǎn)關(guān)節(jié)，只有關(guān)節(jié)角θ是變量，其余參數(shù)作為常量一經(jīng)確定不再發(fā)生改變。對(duì)于移動(dòng)關(guān)節(jié)，只有連桿偏移是變量，其余參數(shù)為常量。

? ? ? 定義各個(gè)連桿坐標(biāo)系后，根據(jù)上述機(jī)械臂的四個(gè)連桿參數(shù)列出下列D-H參數(shù)表：

? ? ? 得到D-H參數(shù)表后，根據(jù)上述公式可以得到相鄰連桿之間的變換矩陣，最后按照上式將各個(gè)矩陣連乘即可得到機(jī)械臂的末端位置。人機(jī)交互模塊識(shí)別使用者的肢體姿勢(shì)數(shù)據(jù)后，優(yōu)化處理后的數(shù)據(jù)通過(guò)局域網(wǎng)傳輸，即可實(shí)現(xiàn)從不同的人機(jī)維度進(jìn)行人機(jī)協(xié)作，對(duì)機(jī)器的控制更加靈活、高效和穩(wěn)定。

4.2 基于正運(yùn)動(dòng)學(xué)的Mecanum輪式機(jī)器人運(yùn)動(dòng)控制

? ? ? 系統(tǒng)選取Mecanum輪式結(jié)構(gòu)作為機(jī)械臂平臺(tái)的運(yùn)動(dòng)驅(qū)動(dòng)底盤。該部分根據(jù)人機(jī)交互模塊發(fā)布的信息，實(shí)現(xiàn)在平面的全方向移動(dòng)。Mecanum輪式機(jī)器人的全方位系統(tǒng)結(jié)構(gòu)依賴輪組的速度組合即可實(shí)現(xiàn)穩(wěn)定可靠且控制簡(jiǎn)單的全方位運(yùn)動(dòng)效果[17]。然而由于在復(fù)雜地形環(huán)境下Mecanum輪式機(jī)器人的底盤受力情況并非理想狀態(tài)，實(shí)際運(yùn)動(dòng)軌跡與預(yù)測(cè)軌跡存在較大差異[18]，因此需要人工輔助控制。所以本系統(tǒng)通過(guò)人機(jī)交互模塊實(shí)現(xiàn)對(duì)Mecanum輪式機(jī)器人進(jìn)行遠(yuǎn)程控制，以滿足在不利于使用者進(jìn)入的極端條件下對(duì)設(shè)備進(jìn)行主動(dòng)控制的需求。

? ? ? 為實(shí)現(xiàn)對(duì)麥克納姆輪的機(jī)械控制，系統(tǒng)對(duì)每個(gè)Mecanum輪添加三個(gè)獨(dú)立的端口進(jìn)行指令發(fā)布，從而實(shí)現(xiàn)對(duì)三自由度Mecanum輪的控制。因此，本系統(tǒng)基于4個(gè)Mecanum輪式結(jié)構(gòu)構(gòu)成移動(dòng)平臺(tái)，實(shí)現(xiàn)平面全向移動(dòng)。其中四輪Mecanum輪式系統(tǒng)存在六種布局結(jié)構(gòu)，如下圖所示的結(jié)構(gòu)是最適用于本系統(tǒng)的運(yùn)動(dòng)結(jié)構(gòu)[19]，能夠較為有效地保證系統(tǒng)的穩(wěn)定性、載重能力和控制力。

? ?? 由于輪式機(jī)器人在平面進(jìn)行工作，因此本文對(duì)Mecanum輪式機(jī)器人建立坐標(biāo)系，進(jìn)行運(yùn)動(dòng)學(xué)分析。設(shè)機(jī)器人在平面內(nèi)的運(yùn)動(dòng)速度v，并v將分解為x軸平移速度y軸平移速度yaw軸自傳角速度，設(shè)r為幾何中心指向輪子軸心的矢量，為N號(hào)輪子軸心的速度矢量。因此可以得出 ? ? ?的運(yùn)動(dòng)方程15以及其x軸與y軸分量：

? ? 由Mecanum輪結(jié)構(gòu)可知為設(shè)備提供動(dòng)力運(yùn)動(dòng)的x軸與y軸分量來(lái)源于平行于輥?zhàn)臃较虻乃俣?。易知?dāng)輥?zhàn)优c輪子本身夾角呈45。時(shí)效率最大，設(shè)輪子平行于輥?zhàn)臃较虻乃俣葹関，并可得其與軸心位置速度關(guān)系如下：

不妨設(shè)車的旋轉(zhuǎn)中心到各輪子的距離坐標(biāo)為(a,b)，因此可以得到速度分量方程組：

所以對(duì)于4個(gè)輪子的轉(zhuǎn)速為：

矩陣方程(上式)即為機(jī)器人的逆運(yùn)動(dòng)學(xué)模型，反之則可以求得機(jī)器人的正運(yùn)動(dòng)學(xué)模型如下：

? ? ? 所以當(dāng)已知各個(gè)電機(jī)的轉(zhuǎn)速或小車的運(yùn)動(dòng)狀態(tài)時(shí)，便可以求得相應(yīng)時(shí)刻小車運(yùn)動(dòng)狀態(tài)與電機(jī)轉(zhuǎn)速。

5. 虛擬現(xiàn)實(shí)模塊

? ? ? 數(shù)字孿生技術(shù)可以實(shí)現(xiàn)對(duì)設(shè)備與工作環(huán)境建立五維結(jié)構(gòu)模型與應(yīng)用預(yù)測(cè) [20]，可以改變傳統(tǒng)模式下設(shè)備運(yùn)行的“黑箱”狀態(tài)[21]，輔助使用者更好操作設(shè)備。系統(tǒng)通過(guò)Unity引擎搭建可移動(dòng)機(jī)械臂的數(shù)字孿生模型，實(shí)現(xiàn)對(duì)設(shè)備反饋數(shù)據(jù)的形象化展示，此即系統(tǒng)的虛擬現(xiàn)實(shí)模塊。

? ? ? 虛擬現(xiàn)實(shí)模塊的節(jié)點(diǎn)分布如下圖所示，建立了Car、Even兩個(gè)主要節(jié)點(diǎn)，其中Car節(jié)點(diǎn)部署了可移動(dòng)機(jī)械臂的數(shù)字化模型，Even節(jié)點(diǎn)則用于搭載工作環(huán)境數(shù)字化虛擬模型并展示由固定在機(jī)械臂上的攝像頭采集的工作實(shí)際場(chǎng)景。在系統(tǒng)運(yùn)行狀態(tài)下，該模塊將接收到機(jī)械臂的數(shù)據(jù)反饋，驅(qū)動(dòng)模型運(yùn)動(dòng)，給使用者直觀形象的設(shè)備工況反饋。

? ? ? 該模塊的運(yùn)動(dòng)控制腳本掛載在Car節(jié)點(diǎn)中，負(fù)責(zé)接收、解析與模擬由移動(dòng)機(jī)械臂平臺(tái)發(fā)布的設(shè)備工況數(shù)據(jù)。Even節(jié)點(diǎn)中掛載的腳本則執(zhí)行簡(jiǎn)單的設(shè)備碰撞檢測(cè)以及解析顯示安裝在機(jī)械臂端的攝像頭捕捉畫面。場(chǎng)景3D展示效果如下圖所示：

6. 系統(tǒng)測(cè)試

6.1 感知哈希閾值選取

? ? ? 本文通過(guò)差異值哈希算法對(duì)輸入圖像進(jìn)行預(yù)處理判斷。其中三種感知哈希算法運(yùn)算效率與動(dòng)作差異值的結(jié)果輸出如下表所示。

? ? ? 本文通過(guò)感知哈希算法，以實(shí)現(xiàn)對(duì)輸入圖像的濾波，故選擇算法處理速度更快的差異值哈希算法，其流程圖如下圖所示。本文將輸入的對(duì)比圖像壓縮為11′10單通道后拆分為[0:10, 0:10]與[1:11, 0:10]兩向輸入圖像，兩向圖像通過(guò)比較像素大小，生成bool-hash矩陣。最后計(jì)算并輸出兩項(xiàng)矩陣的Hamming距離。

? ? ? 為區(qū)分使用者期待發(fā)布指令與使用者因抖動(dòng)等問(wèn)題造成的抖動(dòng)誤差指令，本文通過(guò)對(duì)三項(xiàng)控制方法分別進(jìn)行四組測(cè)試，其中機(jī)械臂夾具控制的前后圖像差異值最小，且不同使用者該動(dòng)作前后圖像的Hamming距離都不小于5，因此本文選取Hamming距離5作為輸入圖像預(yù)處理的閾值。

6.2 系統(tǒng)響應(yīng)速度測(cè)試

? ? ? 本文將系統(tǒng)按模塊分別搭建在Windows8系統(tǒng)（電腦配置為八內(nèi)核Intel Core i7-3635QM，內(nèi)存8GB，CPU主頻2.40GHz）與jetson nano（設(shè)備配置為四內(nèi)核ARMA57，內(nèi)存4GB，CPU主頻1.43GHz）。為實(shí)現(xiàn)對(duì)系統(tǒng)響應(yīng)速度的測(cè)試，本文通過(guò)在主函數(shù)內(nèi)嵌入time.perf_counter()函數(shù)調(diào)取設(shè)備性能計(jì)數(shù)器測(cè)試系統(tǒng)相鄰兩次的處理時(shí)間。經(jīng)過(guò)對(duì)五次測(cè)試數(shù)據(jù)的統(tǒng)計(jì)，繪制如下圖所示的系統(tǒng)響應(yīng)速度測(cè)試折

? ? ? 由折線圖可見(jiàn)，系統(tǒng)的響應(yīng)速度穩(wěn)定在60~100ms/次。第一次指令發(fā)布過(guò)程中，由于系統(tǒng)需要進(jìn)行攝像頭激活、服務(wù)器連接等工作，因此產(chǎn)生一定的延遲，此后每一次指令的發(fā)布耗時(shí)都穩(wěn)定在60~100ms。在運(yùn)行過(guò)程中，當(dāng)使用者的輸入圖像變化差異值小于閾值時(shí)系統(tǒng)處于靜默狀態(tài)，故靜默狀態(tài)系統(tǒng)的響應(yīng)速度相比于發(fā)布指令時(shí)的速度有較大差異。因此加入輸入圖像預(yù)處理環(huán)節(jié)能有效降低系統(tǒng)對(duì)設(shè)備處理性能的占用率，且系統(tǒng)對(duì)于設(shè)備的性能要求較低。

6.3 角度估計(jì)測(cè)試

? ? ? 系統(tǒng)選擇肢體關(guān)鍵點(diǎn)23-11-13、11-13-15、手部關(guān)鍵點(diǎn)4-5-12所成夾角，手臂如下圖所示，由(a)運(yùn)動(dòng)至(c)：

? ? ? 在上圖的測(cè)試中，(a)項(xiàng)測(cè)試平均標(biāo)準(zhǔn)差為2.49、(b)項(xiàng)測(cè)試平均標(biāo)準(zhǔn)差為3.77、(c)項(xiàng)測(cè)試平均標(biāo)準(zhǔn)差為11.77。本項(xiàng)測(cè)試選取五人完成該動(dòng)作，其中起點(diǎn)位置與終點(diǎn)位置為預(yù)先設(shè)定位置，故在測(cè)試過(guò)程中使用者的運(yùn)動(dòng)軌跡存在一定波動(dòng)，但各關(guān)鍵點(diǎn)夾角的變化趨勢(shì)相似且最終都向目標(biāo)角度收斂，因此可以證明該方法的穩(wěn)定性可以滿足大部分對(duì)于精度要求不高的環(huán)境下機(jī)械臂的操作工作。

? ? ? 最終獲取三個(gè)夾角變化折線圖如下圖所示：

? ? ? 由上圖所示的實(shí)驗(yàn)結(jié)果可知，將機(jī)械臂夾具的控制閾值設(shè)為60°，可以保障系統(tǒng)當(dāng)且僅當(dāng)手勢(shì)調(diào)整至指定動(dòng)作后，方可執(zhí)行夾取與釋放指令，有效避免系統(tǒng)運(yùn)行過(guò)程中手勢(shì)動(dòng)作存在的波動(dòng)。

6.4 系統(tǒng)運(yùn)行效果展示

? ? ? 系統(tǒng)運(yùn)行效果最終展示效果如下圖所示，使用者首先在個(gè)人計(jì)算機(jī)中部署人機(jī)交互模塊與虛擬現(xiàn)實(shí)模塊，然后先后啟動(dòng)機(jī)械驅(qū)動(dòng)模塊與部署在個(gè)人計(jì)算機(jī)的模塊，建立兩者的通訊通道，隨后使用者即可通過(guò)肢體手勢(shì)動(dòng)作對(duì)機(jī)械臂平臺(tái)進(jìn)行遠(yuǎn)程操作控制。

? ? ? 由上圖所示的實(shí)驗(yàn)結(jié)果可知：設(shè)備在運(yùn)動(dòng)過(guò)程中，由于肢體部分的關(guān)鍵點(diǎn)分布結(jié)構(gòu)相比于手部關(guān)鍵點(diǎn)相互遮擋概率小，故肢體部分關(guān)鍵點(diǎn)分布預(yù)測(cè)精度相較于手勢(shì)部分高，更適合作為系統(tǒng)的線性輸入變量，并將手勢(shì)指令通過(guò)階躍函數(shù)處理，實(shí)現(xiàn)對(duì)夾具的布爾控制。此外相比于未加入感知哈希函數(shù)，本系統(tǒng)對(duì)于使用者肢體在使用過(guò)程中產(chǎn)生的自然抖動(dòng)具有良好的濾波效果。

? ? ? 系統(tǒng)通過(guò)讀取使用者右臂及右手的空間狀態(tài)，并通過(guò)函數(shù)關(guān)系式映射為機(jī)械臂的運(yùn)動(dòng)控制指令，最終輔助使用者實(shí)現(xiàn)對(duì)設(shè)備的預(yù)期運(yùn)動(dòng)控制效果。

7. 結(jié)語(yǔ)

? ? ? 混合現(xiàn)實(shí)技術(shù)是解決特殊環(huán)境或要求條件下實(shí)現(xiàn)使用者遠(yuǎn)程操控設(shè)備的一種重要技術(shù)手段，本文提出了基于混合現(xiàn)實(shí)的可移動(dòng)機(jī)械臂操作控制系統(tǒng)。控制系統(tǒng)軟件部分涵蓋了人機(jī)交互、機(jī)械驅(qū)動(dòng)、虛擬現(xiàn)實(shí)三個(gè)主要功能模塊。本文亦搭建了一整套硬件測(cè)試平臺(tái)，測(cè)試表明該平臺(tái)可以實(shí)現(xiàn)對(duì)使用者肢體手勢(shì)動(dòng)作的解析，并將解析后的數(shù)據(jù)映射為機(jī)械控制指令，實(shí)現(xiàn)對(duì)機(jī)械臂的精準(zhǔn)控制，能夠解決特殊條件下操作者對(duì)設(shè)備無(wú)法進(jìn)行實(shí)地操作的問(wèn)題，具有一定的應(yīng)用價(jià)值。測(cè)試中，常規(guī)狀態(tài)下平臺(tái)運(yùn)行的響應(yīng)速度能夠達(dá)到60~100ms/幀，且響應(yīng)速度與硬件設(shè)備性能具有較大的相關(guān)性，系統(tǒng)具有實(shí)現(xiàn)實(shí)時(shí)處理的前景，為該技術(shù)未來(lái)應(yīng)用場(chǎng)景的選擇和配套硬件設(shè)備的選擇提供了參考。

? ? ? 此外本系統(tǒng)需要在攝像頭捕捉到頭部后才會(huì)進(jìn)行下一步的關(guān)鍵點(diǎn)檢測(cè)功能，這對(duì)于個(gè)人計(jì)算機(jī)的攝像頭捕捉視角范圍提出了一定的要求，而對(duì)于未在攝像頭視野范圍內(nèi)的肢體部分的預(yù)測(cè)處理則是系統(tǒng)下一步發(fā)展的一個(gè)方向。

參考文獻(xiàn)

[1] 李生才,安瑩.2022年5—6月國(guó)內(nèi)環(huán)境事件[J].安全與環(huán)境學(xué)報(bào), 2022,22(04):2292-2296.DOI:10.13637/j.issn.1009-6094.2022.1537.

[2] 溫圳,李鵬,王敘萌,黃文琦,梁凌宇,周越凡,陳為.基于混合現(xiàn)實(shí)的可視分析綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2022,34(06):821-829.

[3] 陶建華,巫英才,喻純,翁冬冬,李冠君,韓騰,王運(yùn)濤,劉斌.多模態(tài)人機(jī)交互綜述[J].中國(guó)圖象圖形學(xué)報(bào),2022,27(06):1956-1987.

[4] Vahid Pooryousef, Ross Brown, and Selen Turkay. 2019. Shape Recognition and Selection in Medical Volume Visualisation with Haptic Gloves. In Proceedings of the 31st Australian Conference on Human-Computer-Interaction (OZCHI'19). Association for Computing Machinery, New York, NY, USA, 433–436.

[5] CAO, C.; SHAN, B.; ZHANG, H. Pattern Recognition of Wushu Routine Action Decomposition Process Based on Kinect. athematical Problems in Engineering, [s. l.], p. 1–11, 2022. DOI 10.1155/2022/ 3876487. Disponível em:

?direct=true&db=a9h&AN=158754607&lang=zh-cn&site=ehost-live. Acesso em: 1 out. 2022.

[6] 朱曉俊,王學(xué)謙,馬云萱,梁斌,孫漢旭.繩驅(qū)超冗余空間柔性機(jī)械臂遙操作系統(tǒng)設(shè)計(jì)與實(shí)驗(yàn)研究[J].機(jī)器人,2022,44(01):9-18.DOI:10. 13973/j.cnki.robot.210228.

[7] 高曉科,孫亮,張偉軍.高壓帶電引流作業(yè)機(jī)器人系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[J].機(jī)械設(shè)計(jì)與研究,2021,37(05):10-14+20.DOI:10.13952/j. cnki.jofmdr.2021.0171.

[8] 孔垂躍,陳羽,趙乾名.基于MQTT協(xié)議的配電物聯(lián)網(wǎng)云邊通信映射研究[J].電力系統(tǒng)保護(hù)與控制,2021,49(08):168-176.DOI:10.19783/ j.cnki.pspc.200775.)

[9] 歐軍,吳清秀,裴云,張洪.基于socket的網(wǎng)絡(luò)通信技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2011(07):19-21.

[10] 許庚林,冉峰,鄧良,史華康,郭愛(ài)英.輕量化神經(jīng)網(wǎng)絡(luò)和哈希跟蹤算法在嵌入式人臉抓拍系統(tǒng)中的應(yīng)用[J].上海大學(xué)學(xué)報(bào)(自然科學(xué)版),2021,27(06):1018-1028.

[11] https://doi.org/10.48550 /arXiv.2006.10204.

[12] 許宇能,朱西產(chǎn),馬志雄,李霖.基于單目攝像頭的車輛前方道路三維重建[J].汽車技術(shù),2014(02):48-52.

[13] 丁學(xué)成,馮曉敏,宋增云.疊加原理在力學(xué)中的應(yīng)用[J].物理通報(bào),2018 (07):25-27.

[14] 任敬軼,孫漢旭.一種新穎的笛卡爾空間軌跡規(guī)劃方法[J].機(jī)器人,2002(03):217-221.DOI:10.13973/j.cnki.robot.2002.03.006.

[15] S. Wen, Z. Ma, S. Wen, Y. Zhao and J. Yao, "The study of NAO robot arm based on direct kinematics by using D-H method," 2014 UKACC International Conference on Control (CONTROL), 2014, pp. 515-518, doi: 10.1109/CONTROL. 2014.6915193.

[16] 冷舒,吳克,居鶴華.機(jī)械臂運(yùn)動(dòng)學(xué)建模及解算方法綜述[J].宇航學(xué)報(bào),2019,40(11):1262-1273.

[17] 夏長(zhǎng)安,肖雨琴,岳義,趙現(xiàn)朝,韋寶琛.基于Mecanum輪的移動(dòng)機(jī)器人運(yùn)動(dòng)建模與仿真[J].機(jī)械設(shè)計(jì)與研究,2022,38(04):17-21.DOI:10. 13952/j.cnki.jofmdr.2022.0096.

[18] 楊霖. Mecanum輪式全向移動(dòng)平臺(tái)減振技術(shù)的研究[D].大連交通大學(xué),2016.

[19] 王一治,常德功.Mecanum四輪全方位系統(tǒng)的運(yùn)動(dòng)性能分析及結(jié)構(gòu)形式優(yōu)選[J].機(jī)械工程學(xué)報(bào),2009,45(05):307-310+316.

[20] Tao, Fei and Meng Zhang. “Digital Twin Shop-Floor: A New Shop-Floor Paradigm Towards Smart Manufacturing.” IEEE Access 5 (2017): 20418-20427.

[21] 陶飛,劉蔚然,劉檢華,等.數(shù)字孿生及其應(yīng)用探索[J].計(jì)算機(jī)集成制造系統(tǒng),2018,24(01):1-18.DOI:10.13196/j.cims.2018.01.001

更多詳情請(qǐng)見(jiàn) 【S053】基于混合現(xiàn)實(shí)的可移動(dòng)機(jī)械臂平臺(tái)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-813795.html

到了這里，關(guān)于機(jī)器人制作開(kāi)源方案 | 基于混合現(xiàn)實(shí)的可移動(dòng)機(jī)械臂平臺(tái)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！