此教程相關(guān)的詳細(xì)教案，文檔，思維導(dǎo)圖和工程文件會(huì)放入 Spatial XR 社區(qū)。這是一個(gè)高質(zhì)量知識(shí)星球 XR 社區(qū)，博主目前在內(nèi)擔(dān)任 XR 開(kāi)發(fā)的講師。此外，該社區(qū)提供教程答疑、及時(shí)交流、進(jìn)階教程、外包、行業(yè)動(dòng)態(tài)等服務(wù)。
社區(qū)鏈接：
Spatial XR 高級(jí)社區(qū)（知識(shí)星球）
Spatial XR 高級(jí)社區(qū)（愛(ài)發(fā)電）
??教程說(shuō)明
這篇教程將會(huì)介紹 Meta XR SDK（舊版叫做 Oculus Integration）中處理手部數(shù)據(jù)的基本流程和交互的流程，并且配置一個(gè)基本的玩家物體，在虛擬場(chǎng)景中能夠看到擁有手勢(shì)追蹤的手部模型。（下文中提到的 Oculus Integration 同樣使用于 Meta XR SDK）
系列教程專欄：https://blog.csdn.net/qq_46044366/category_12118293.html
配套的視頻鏈接：【2023 VR+MR全硬件開(kāi)發(fā)教程】三（上）、Quest Integration基本原理概念與結(jié)構(gòu)(上)-知識(shí)點(diǎn)講解（主講：YY）
【2023 VR+MR全硬件開(kāi)發(fā)教程】 三 (下)： 手勢(shì)追蹤與玩家角色配置（主講：YY）
環(huán)境配置可參考：https://blog.csdn.net/qq_46044366/article/details/133967343
?電腦操作系統(tǒng)：Windows 11
使用的 VR 設(shè)備：Meta Quest 3（Quest 系列都適用）
使用的 Unity 版本：2021.3.5 LTS (這里推薦使用 2021 及以上的 LTS 版本)
Oculus Integration 版本：v57
官方文檔：https://developer.oculus.com/documentation/unity/unity-gs-overview/
https://developer.oculus.com/documentation/unity/unity-isdk-architectural-overview/
??輸入數(shù)據(jù)
VR 中的雙手要么就是用手柄控制，要么就是用手勢(shì)追蹤控制。當(dāng)我們使用手柄作為輸入的時(shí)候，虛擬世界中的手部會(huì)同步現(xiàn)實(shí)世界中手柄的位置和旋轉(zhuǎn)，使用手勢(shì)追蹤作為輸入的時(shí)候，虛擬世界中的手部會(huì)同步現(xiàn)實(shí)世界中手的姿態(tài)。然后 VR 中的頭部由頭顯控制，也就是說(shuō)我們的視角可以根據(jù)現(xiàn)實(shí)中頭顯的位置和旋轉(zhuǎn)發(fā)生變化。因此，現(xiàn)實(shí)世界中頭顯和手柄的追蹤數(shù)據(jù)會(huì)被傳輸給虛擬世界中的頭部和手部，然后虛擬世界中的頭和手就會(huì)同步現(xiàn)實(shí)中的位置和旋轉(zhuǎn)。同樣，這個(gè)概念適用于所有的 VR SDK。
那么 Oculus Integration 中用了一系列 From OVR…Source 組件來(lái)獲取追蹤的數(shù)據(jù)。在 Oculus Integration V57 版本中具體分為這 5 個(gè)組件：
From OVR Body Data Source：獲取上半身身體運(yùn)動(dòng)姿態(tài)數(shù)據(jù)。
From OVR Controller Data Source：獲取手柄姿態(tài)數(shù)據(jù)，在虛擬世界中以手柄模型來(lái)表示。
From OVR Controller Hand Data Source：獲取手柄姿態(tài)數(shù)據(jù)，在虛擬世界中以手部模型來(lái)表示。
From OVR Hand Data Source：獲取手勢(shì)追蹤的手部姿態(tài)數(shù)據(jù)。
From OVR Hmd Data Source：獲取頭顯的姿態(tài)數(shù)據(jù)。
獲取了追蹤數(shù)據(jù)之后，Oculus Integration 會(huì)用相應(yīng)的接口去處理對(duì)應(yīng)類型的數(shù)據(jù)，這些接口分為 IController, IHand, IHmd, and IBody，對(duì)追蹤數(shù)據(jù)進(jìn)行處理和包裝之后，才能適配 SDK 中的一些組件。這樣，這些組件就能夠利用獲取的數(shù)據(jù)去實(shí)現(xiàn)相應(yīng)的交互功能。
??Oculus Integration 處理手部數(shù)據(jù)的推薦流程
首先通過(guò) FromOVRHandDataSource 獲取頭顯追蹤到的手部數(shù)據(jù)。
然后數(shù)據(jù)會(huì)被傳給 HandFilter 組件，這個(gè)組件就實(shí)現(xiàn)了 IHand 接口，它能夠進(jìn)行一些防抖的處理。
接下來(lái) SynthethicHand 組件會(huì)對(duì)手部關(guān)節(jié)的數(shù)據(jù)進(jìn)行進(jìn)一步的處理，它會(huì)在特定情況下覆寫，也就是 override 手部關(guān)節(jié)的數(shù)據(jù)，從而限定虛擬手部的手勢(shì)。比如我在 VR 中用手按壓一個(gè)按鈕，當(dāng)我按到底的時(shí)候，按常理來(lái)說(shuō)我的手是不能再往下按了，否則就會(huì)穿過(guò)按鈕，產(chǎn)生穿?，F(xiàn)象。但是因?yàn)槲以诂F(xiàn)實(shí)世界中可能沒(méi)有在按一個(gè)真的按鈕，所以現(xiàn)實(shí)中的手是可以繼續(xù)往下按的，而 VR 中的手需要同步現(xiàn)實(shí)世界里手部的位置，那么這種情況下 VR 中的手就必定會(huì)穿過(guò)按鈕。而 SynthethicHand 組件就能夠限制虛擬手部的位置，當(dāng)按鈕按到底的時(shí)候，這個(gè)組件就能限制 VR 中的手無(wú)法繼續(xù)向下移動(dòng)。還有 VR 中的抓取也是類似的原理，當(dāng)你用手抓到這個(gè)物體的時(shí)候，會(huì)呈現(xiàn)出一個(gè)抓取的手勢(shì)，而 SynthethicHand 組件能夠限定住抓取手勢(shì)的姿態(tài)。
當(dāng) SynthethicHand 對(duì)手部數(shù)據(jù)進(jìn)行處理之后，就會(huì)由 HandVisual 組件來(lái)渲染虛擬手部的姿態(tài)。
??VR 中交互的基本概念
VR 中的交互需要有兩個(gè)對(duì)象參與。一個(gè)是 Interactor，一個(gè)是 Interactable。Interactor 是發(fā)起交互的對(duì)象，Interactable 是可以被交互的對(duì)象。以抓取交互為例，抓取的流程就是用手去抓一個(gè)物體的過(guò)程，那么手就是發(fā)起抓取的對(duì)象，也就是 Interactor，物體就是可以被抓取的對(duì)象，也就是 Interactable。這個(gè) Interactor 和Interactable 的概念會(huì)在我們后續(xù)的教程中經(jīng)常用到，這個(gè)概念在其他的 VR SDK 中也會(huì)見(jiàn)到。
??Oculus Integration 中的交互流程
Oculus Integration 中有不同的 Interactor 組件，它們通常被掛載到表示手部或者手柄的物體上。當(dāng) Oculus Integration 獲取了設(shè)備的追蹤數(shù)據(jù)后，它就知道虛擬世界中的手或者手柄的位置和旋轉(zhuǎn)角度應(yīng)該是什么樣的，這個(gè)時(shí)候手部或者手柄物體上的 Interactor 就會(huì)尋找對(duì)應(yīng)的 Interactable。比如抓取相關(guān)的 Interactor 會(huì)尋找周圍有沒(méi)有可以被抓取的對(duì)象，點(diǎn)觸（Poke）相關(guān)的 Interactor 會(huì)尋找周圍有沒(méi)有可以被點(diǎn)擊的對(duì)象，如下圖所示：
當(dāng) Interactor 檢測(cè)到 Interactable 對(duì)象時(shí)，會(huì)進(jìn)入到 Hover 狀態(tài)。不過(guò)判斷是否檢測(cè)到需要一些條件，以手勢(shì)追蹤為例，需要滿足下面這幾個(gè)條件：
- 手要靠近 Interactable 對(duì)象
- 確保當(dāng)前手上沒(méi)有其他的 Interactor 正在與對(duì)應(yīng)的 Interactable 對(duì)象交互
- 手要做出 Interactor 觸發(fā)需要的手勢(shì)。比如用手點(diǎn)擊 UI 按鈕的交互，需要伸出食指，如果伸出的是小拇指，就無(wú)法觸發(fā)。
滿足條件后，就會(huì)進(jìn)入 Hover 狀態(tài)，相當(dāng)于準(zhǔn)備開(kāi)始交互的階段。Hover 可以類比成鼠標(biāo)懸停的操作。
進(jìn)入 Hover 狀態(tài)后，完成交互動(dòng)作就能進(jìn)入 Select 狀態(tài)。比如還是點(diǎn)擊 UI 按鈕的交互，當(dāng)我伸出食指并且靠近按鈕時(shí)，會(huì)進(jìn)入 Hover 狀態(tài)，用食指戳到按鈕的時(shí)候就會(huì)轉(zhuǎn)變?yōu)?Select 狀態(tài)，表示點(diǎn)擊的交互動(dòng)作完成。然后當(dāng)我取消點(diǎn)擊動(dòng)作之后，也就是將手遠(yuǎn)離按鈕的這一過(guò)程中，交互狀態(tài)就會(huì)先由 Select 變?yōu)?Hover，再由 Hover 變?yōu)?Normal。那么我這里給出 Meta 官方提供的 Interactor-Interactable 交互狀態(tài)切換圖（https://developer.oculus.com/documentation/unity/unity-isdk-interactor-interactable-lifecycle/）：
Disabled 就是無(wú)法發(fā)生交互的狀態(tài)。然后默認(rèn)狀態(tài)是 Normal，當(dāng)交互功能被開(kāi)啟的時(shí)候，就會(huì)在 Normal，Hover，Select 這三個(gè)狀態(tài)之間互相切換。
??配置一個(gè)基本的玩家物體
現(xiàn)在，我們已經(jīng)對(duì) Oculus Integration 中的處理手部數(shù)據(jù)的流程和交互的基本概念有了初步的認(rèn)識(shí)。接下來(lái)，我們?cè)?Unity 中配置一個(gè)玩家物體，之后在介紹各種交互功能的時(shí)候就可以在這個(gè)玩家物體上不斷添加功能。
前置的環(huán)境配置可以參考這篇教程：Unity Meta Quest 一體機(jī)開(kāi)發(fā)：前期準(zhǔn)備和環(huán)境配置（2023 版，Oculus Integration v57）
首先新建一個(gè)場(chǎng)景，刪去場(chǎng)景中的 Main Camera，然后添加一個(gè) Plane 物體作為地面。
?OVRCameraRig
然后在如下文件夾中找到 OVRCameraRig 預(yù)制體，或者在 Project 窗口中搜索這個(gè)物體：
將該物體拖到場(chǎng)景中，找到它身上的 OVR Manager 腳本，將 Tracking Origin Type 改為 Floor Level：
選擇 Floor Level，會(huì)以安全區(qū)的地面（打開(kāi) VR 設(shè)備一般都會(huì)先設(shè)置地面高度，然后劃安全區(qū)）作為參考系，運(yùn)行程序后頭部高度會(huì)以地面作為參考點(diǎn)，初始高度相當(dāng)于擺放在場(chǎng)景中的眼部相機(jī)的高度加上現(xiàn)實(shí)中玩家頭顯到安全區(qū)地面的距離。Tracking Origin Type 的區(qū)別可以參考這篇文章：https://blog.csdn.net/qq_46044366/article/details/131616046
?OVRInteraction
搜索 OVRInteraction 預(yù)制體，將它拖入 Hierarchy 面板，作為 OVRCameraRig 的子物體。這個(gè) OVRInteraction 物體就是負(fù)責(zé)所有交互功能的父物體。
OVRInteraction 下自帶一個(gè) OVRHmd 物體，用于獲取頭顯追蹤姿態(tài)的數(shù)據(jù)。
?OVRHandPrefab
搜索 OVRHandPrefab 預(yù)制體，先將它拖到 OVRCameraRig > TrackingSpace > LeftHandAnchor 下：
打開(kāi) OVRHandPrefab 的 Inspector 面板，除了 OVR Hand 和 OVR Skeleton 腳本，其他的腳本先取消勾選：
然后在 OVR Skeleton 腳本里, 勾選 Enable Physics Capsules：
然后將這個(gè) OVRHandPrefab 復(fù)制一份，作為 RightHandAnchor 的子物體：
將右手 OVRHandPrefab 的 OVRHand 和 OVRSkeleton 腳本的 Hand Type 從 Hand Left 改為 Hand Right：
?OVRHands
搜索 OVRHands 預(yù)制體，將它作為 OVRInteraction 的子物體：
我們可以展開(kāi)這個(gè)預(yù)制體：
點(diǎn)擊 OVRHandDataSource 物體，它上面掛載了 FromOVRHandDataSource 腳本，用于獲取手部的姿態(tài)數(shù)據(jù)：
點(diǎn)擊 HandDataLeft，它上面掛載了一些實(shí)現(xiàn) IHand 接口的腳本，用于處理獲取到的手部追蹤數(shù)據(jù)，其中 Hand Filter 就是剛剛介紹的用于防抖處理的腳本：
展開(kāi) HandVisualsLeft，它有個(gè) OVRLeftHandVisual 子物體，上面有一個(gè) Hand Visual 組件，用于渲染手部模型：
但是默認(rèn)的 OVRHands 預(yù)制體下沒(méi)有掛載了 SynthethicHand 腳本的物體，我們可以手動(dòng)添加。
?OVRLeftHandSynthetic/OVRRightHandSynthetic
搜索 OVRLeftHandSynthetic 和 OVRRightHandSynthetic 預(yù)制體，將它們作為 OVRHands 的子物體：
找到 OVRLeftHandSynthetic 物體上的 SyntheticHand腳本，將 LeftHand 物體拖入 I Modify Data From Source Mono 變量，右手同理：
然后我們展開(kāi)這兩個(gè)預(yù)制體，它們下面各有一個(gè) HandVisual 子物體，用于渲染手部模型。
但是 OVRHands 物體的 LeftHand 和 RightHand 下也有用于渲染手部模型的物體，這時(shí)候如果我們運(yùn)行程序，會(huì)發(fā)現(xiàn)手部模型閃爍。這是因?yàn)閳?chǎng)景中會(huì)渲染兩雙手，手部模型重合在一起就會(huì)發(fā)生閃爍。
因此，我們需要把 LeftHand 和 RightHand 下的 HandVisualsLeft 和 HandVisualsRight 物體隱藏掉，保證渲染的是 SyntheticHand。
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-764518.html
現(xiàn)在運(yùn)行程序，如果你能看到手勢(shì)追蹤的雙手，就說(shuō)明玩家物體配置成功了。不過(guò) SyntheticHand 的效果要結(jié)合具體的交互組件來(lái)看，我會(huì)在后續(xù)的教程中詳細(xì)說(shuō)明。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-764518.html
到了這里，關(guān)于Unity Meta Quest 一體機(jī)開(kāi)發(fā)（三）：【手勢(shì)追蹤】Oculus Integration 基本原理、概念與結(jié)構(gòu)+玩家角色基本配置的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
