毫無(wú)疑問(wèn)，Vision Pro在眼球追蹤+手勢(shì)的融合交互體驗(yàn)上，給AR/VR頭戴設(shè)備帶來(lái)了新突破，在用戶體驗(yàn)上的提升非常明顯。

?那么，為什么Vision Pro上這一功能會(huì)被如此值得關(guān)注呢？為了弄清楚，我們先來(lái)看看主流VR設(shè)備是如何做的。

主流VR和Vision Pro的差異

在此之前，很多主流AR/VR產(chǎn)品已經(jīng)采用這兩種技術(shù)方案，只不過(guò)并未把兩種交互方式融合，這其中有幾點(diǎn)原因：

1，手勢(shì)方面，包括Quest等主流VR設(shè)備以手柄交互體驗(yàn)為主，手勢(shì)追蹤僅作為補(bǔ)充式體驗(yàn)，即便從功能層面可以替代大部分手柄上的按鍵和功能。

而Vision Pro沒(méi)有手柄，首選方式是通過(guò)眼球追蹤+手勢(shì)來(lái)完成，當(dāng)然也提供了輔助功能（含手勢(shì)射線模式）。

2，主流VR的手勢(shì)追蹤必須將手放在攝像頭FOV范圍內(nèi)，使用時(shí)雙手必須微抬或舉在身體前面，時(shí)間一長(zhǎng)就非常累，導(dǎo)致用戶體驗(yàn)差。

而Vision Pro則擁有6顆SLAM+手勢(shì)攝像頭，其中有兩顆向下的攝像頭專門(mén)捕捉手垂放在腿上的視角。另外，還有兩顆斜向下的攝像頭同時(shí)兼顧SLAM和手勢(shì)。甚至為了弱光環(huán)境下手勢(shì)識(shí)別準(zhǔn)確性，蘋(píng)果還加入了兩顆紅外LED進(jìn)行輔助。

這種垂直視角的攝像頭，專門(mén)用于捕捉大部分時(shí)間、不抬手的時(shí)候的手勢(shì)，因?yàn)楹芏鄷r(shí)候雙手應(yīng)該自然垂放在腿或桌子上，符合人體工學(xué)邏輯。蘋(píng)果Vision Pro是AR/VR中的首家采用這一方案的設(shè)備，更是獨(dú)一份。

Vision Pro 直接手勢(shì)

因?yàn)樘O(píng)果在開(kāi)發(fā)文檔中也提到，如果使用直接手勢(shì)（雙手直接觸碰虛擬物體，比如虛擬鍵盤(pán)等），需要將雙手抬起至頭顯透鏡FOV的視野之內(nèi)，盡管它的捕捉攝像頭范圍夠廣，?必須讓雙手在FOV可見(jiàn)范圍內(nèi)才行。而多次/頻繁的直接手勢(shì)操作會(huì)帶來(lái)疲勞感，應(yīng)盡量避免。

3，眼球追蹤方面，主流VR設(shè)備更注重VR應(yīng)用內(nèi)的場(chǎng)景，比如VR游戲凝視交互、Avatar眼球動(dòng)作等，甚至也可以用于注視點(diǎn)渲染提升幀率等，確實(shí)提升了游戲體驗(yàn)。

凝視的高光變化

Vision Pro凝視+手勢(shì)捏合

而Vision Pro采用的visionOS系統(tǒng)底層邏輯是大量2D窗口交互，包括文字選中、菜單選擇都可以通過(guò)眼球+手勢(shì)來(lái)完成，這其中眼球+手勢(shì)融合交互就非常重要。當(dāng)然，PS VR2部分游戲也提供眼球凝視菜單選項(xiàng)，體驗(yàn)尚可。

4，產(chǎn)品定位和價(jià)格方面的因素。VR一體機(jī)都是在主流價(jià)位去推廣，通過(guò)SLAM攝像頭同時(shí)完成頭顯定位和手柄追蹤以及手勢(shì)追蹤，因此SLAM攝像頭的安裝角度主要照顧了頭顯的定位，而非手勢(shì)追蹤的體驗(yàn)。

這也就導(dǎo)致了，包括Quest等VR設(shè)備上通過(guò)斜向下的攝像頭同時(shí)來(lái)捕捉手勢(shì)，而雙手放在腿部或靠下時(shí)完全不在捕捉范圍。

而Vision Pro高舉高打，不在乎售價(jià)意在通過(guò)高規(guī)格硬件提供高規(guī)格的體驗(yàn)。

當(dāng)然，這里面還沒(méi)有提到Vision Pro專門(mén)為攝像頭、傳感器準(zhǔn)備的R1芯片，就是為了低延遲處理這些視覺(jué)數(shù)據(jù)，從而實(shí)現(xiàn)更精準(zhǔn)交互方案，可以說(shuō)Vision Pro的交互邏輯從軟件、硬件、芯片、算法等多方位于一體，是一個(gè)鴻溝式的差異。

二、眼球+手勢(shì)和純手勢(shì)對(duì)比

由上文得知，Vision Pro和之前的VR交互方式上存在較大差異。那么，兩種交互方式又帶來(lái)了哪些差異呢？

據(jù)青亭網(wǎng)了解，今年4月19日在ACM公布的一份論文“A Fitts' Law Study of Gaze-Hand Alignment for Selection in 3D User Interfaces”中，就明確提到了凝視+捏合的交互類型，并且對(duì)手勢(shì)射線的供5種交互方式進(jìn)行對(duì)比。

該論文第一作者Uta Wagner來(lái)自于由丹麥奧胡斯大學(xué)計(jì)算機(jī)科學(xué)系，這里我們將其中的2類代表“僅基于手勢(shì)射線”和“基于凝視射線+手勢(shì)捏合”的測(cè)試差異進(jìn)行對(duì)比。

2-1，選擇目標(biāo)測(cè)試

該研究基于菲茨定律研究進(jìn)行設(shè)計(jì)，在FOV內(nèi)不同深度呈現(xiàn)目標(biāo)來(lái)進(jìn)行“選擇目標(biāo)測(cè)試”，如上圖，得出的結(jié)果是：

• 吞吐量:凝視射線+捏合(2.1bits)>手勢(shì)射線(1.4bits)；
• 錯(cuò)誤率:無(wú)明顯差異；
• 物理消耗：凝視射線+捏合(2)>手勢(shì)射線(4)。

2-2，AR菜單激活和選擇測(cè)試

在進(jìn)行AR菜單激活和選擇測(cè)試中，得出的結(jié)果是：

• 速度：凝視射線+捏合(2.5s)>手勢(shì)射線(4.6s)；
• 錯(cuò)誤：手勢(shì)射線（1%）>凝視射線+捏合(3%)；
• 測(cè)試人員的喜好：凝視射線+捏合（6/16）>手勢(shì)射線（0/16）。

論文中所有測(cè)試方案

基于本論文的研究，得出的結(jié)論還有：

• 1，所有測(cè)試方案中，結(jié)合凝視的方案在效率更高、速度更快，始終比手勢(shì)射線表現(xiàn)更優(yōu)秀；
• 2，論文中提出的凝視射線+手勢(shì)射線融合方案性能和其它相當(dāng)，也比較受測(cè)試者歡迎，僅次于凝視射線+捏合；
• 3，視察因素對(duì)平面圖像中交互更為不利。

綜上所述，基于凝視射線+捏合（蘋(píng)果Vision Pro的方案，只不過(guò)它隱藏了凝視射線，但在UI中結(jié)合了高光等進(jìn)行提示）在速度、效率上更高，也最受歡迎。同時(shí)，也表明凝視+手勢(shì)結(jié)合的交互方式在今后AR/VR交互中更具潛力。不過(guò)要說(shuō)的體感反饋，當(dāng)然還是現(xiàn)在的手柄在體驗(yàn)和成本方面優(yōu)勢(shì)明顯，今后在無(wú)手持設(shè)備的凝視+手勢(shì)交互時(shí)代，智能手環(huán)或智能戒指也有望成為體感反饋的重要工具。

參考：Apple、ACM文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-530102.html

到了這里，關(guān)于蘋(píng)果Vision Pro手勢(shì)+眼球融合交互的奧秘的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！