如今，在各種期刊頂會都能看到平面抓取檢測的論文，他們聲稱能應(yīng)對多物體堆疊場景，然而實(shí)際效果都不盡人意，我認(rèn)為主要原因有如下幾點(diǎn)：
- 缺乏多物體堆疊場景的抓取數(shù)據(jù)集?，F(xiàn)在最常用的Cornell Grasp Dataset, Jacquard數(shù)據(jù)集都是單目標(biāo)場景。（像Dex-Net數(shù)據(jù)集和Google機(jī)器人工廠這種東西普通研究者就只能看著了）
- 現(xiàn)在的研究者過于強(qiáng)調(diào)端到端檢測。
- 沒有一個合適的抓取表示法。
如何利用少量數(shù)據(jù)集學(xué)習(xí)一個端到端網(wǎng)絡(luò)或者整個方法中的一個子網(wǎng)絡(luò)，實(shí)現(xiàn)堆疊場景中的平面抓取檢測亟待解決。這里所說的堆疊場景是下左圖，而不是大多數(shù)論文所說的右圖：
簡單說一下Dex-Net系列算法。Dex-Net共包括1.0--4.0四個版本，1.0為傳統(tǒng)的解析法。2.0基于深度學(xué)習(xí)對平行板抓取配置進(jìn)行質(zhì)量評估，3.0針對吸盤進(jìn)行設(shè)計，4.0結(jié)合了2.0和3.0兩個算法。
算法輸入為深度圖，輸出為平面抓取表示，即坐標(biāo)點(diǎn)和抓取角，然后張開平行板抓取器至最大并垂直抓取。
算法主要包括兩部分：采樣抓取候選，抓取質(zhì)量評估。
- 采樣抓取候選：從給定深度圖中采樣很多個候選的抓取配置——采用cross entropy method
- 抓取質(zhì)量評估：評估上一步每個抓取配置的質(zhì)量[0,1]，然后輸出質(zhì)量最高的抓取配置作為Grasp candidates，如下圖。
- 其中，第一步采用的傳統(tǒng)方法，第二步采用的深度學(xué)習(xí)，為了訓(xùn)練這個網(wǎng)絡(luò)，作者生成了一個包含670萬個樣本的數(shù)據(jù)集。為了完成兩個階段的銜接，神經(jīng)網(wǎng)絡(luò)的輸入也不能是傳統(tǒng)的深度圖，而是經(jīng)過精心設(shè)計裁剪后的深度圖。整個算法最妙的地方在于突破了傳統(tǒng)的抓取思路：端到端地抓取檢測，直接預(yù)測最優(yōu)的抓取配置。?
Dex-Net2.0采用的抓取表示為(x,y,theta)，其中(x,y)為抓取點(diǎn)在深度圖中的坐標(biāo)，theta為抓取方向，在抓取時，抓取手張到最大然后垂直抓取，如下圖：
抓取質(zhì)量評估
?為了完成兩個階段的銜接，輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)就不能是傳統(tǒng)的深度圖，而是以抓取點(diǎn)為中心，抓取方向水平的一個深度圖像塊，下面詳細(xì)介紹：
經(jīng)過第一階段，得到了很多個(x,y,theta)。既然是評估每個(x,y,theta)的質(zhì)量，就必須把(x,y,theta)和深度圖像都做為網(wǎng)絡(luò)的輸入，那么以何種方式輸入呢？作者給的方案是：以抓取點(diǎn)(x,y)為中心，將深度圖像旋轉(zhuǎn)theta角，使抓取方向與圖像的水平軸平行，然后以抓取點(diǎn)(x,y)為中心，切出一塊32*32大小的深度圖塊，將這個深度圖塊輸入網(wǎng)絡(luò)，除此之外，還將抓取點(diǎn)(x,y)相對于桌面的高度z作為另一個輸入。如下圖。
采集數(shù)據(jù)集
從Dex-Net1.0中篩選了1500個3D物體模型（Dex-Net1.0是一個3D物體模型及抓取數(shù)據(jù)集），對其中的每個物體，采取同樣的操作：將物體隨機(jī)放在虛擬桌子上，獲取當(dāng)前狀態(tài)下的垂直抓取表示即(x,y,theta)（可從Dex-Net1.0的標(biāo)注中直接生成），這些抓取有些是可以用于實(shí)際抓取的，有些無法用于抓取。然后使用虛擬深度相機(jī)拍攝深度圖，然后對每個抓取表示執(zhí)行和2.1網(wǎng)絡(luò)輸入同樣的操作，就得到了670萬個正負(fù)樣本，如下圖：文章來源：http://www.zghlxwxcb.cn/news/detail-530605.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-530605.html
到了這里，關(guān)于機(jī)器人抓取檢測——Dex-Net的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
