一、先別被VR/AR/MR/XR搞暈，說(shuō)說(shuō)區(qū)別

虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）等業(yè)務(wù)以其三維化、自然交互、空間計(jì)算等完全不同于當(dāng)前移動(dòng)互聯(lián)網(wǎng)的特性，被認(rèn)為將是下一代通用計(jì)算平臺(tái)。自 2012 年谷歌發(fā)布 AR 眼鏡 Google Glass, 2014 年 Facebook 收購(gòu) VR 頭顯廠商 Oculus 以來(lái)，VR/AR 行業(yè)歷經(jīng)了 2015 年至 2017 年的創(chuàng)業(yè)和資本的狂熱，2018 年的行業(yè)退潮。隨著 2019 年底全球 5G 正式展開(kāi)部署，VR/AR 作為 5G 核心的商業(yè)場(chǎng)景重新被認(rèn)識(shí)和重視，行業(yè)重回升勢(shì)。

2020 年雖然受疫情的影響，全球各生產(chǎn)生活都受到了不同程度的沖擊，然而 VR/AR 行業(yè)因禍得福，因疫情造成的社交隔離激發(fā)了 VR 游戲、虛擬會(huì)議、AR 測(cè)溫等需求爆發(fā)。Steam 平臺(tái) VR 活躍用戶翻倍增長(zhǎng)，虛擬會(huì)議，云端展覽案例層出不窮，當(dāng)前 VR/AR/MR/XR 各種 *R 概念紛飛，讓人眼花繚亂。本期希望能先辨析清楚這幾個(gè)概念，后續(xù)將進(jìn)一步分析當(dāng)前的 XR 核心技術(shù)，梳理當(dāng)前應(yīng)用場(chǎng)景和產(chǎn)業(yè)情況，以及展望未來(lái)發(fā)展。

虛擬現(xiàn)實(shí)（Virtual Reality，VR）

概念：VR 是已包裝好的視覺(jué)、音頻場(chǎng)景數(shù)字內(nèi)容的渲染版本。渲染旨在模擬觀察者或用戶在應(yīng)用程序定義的范圍內(nèi)移動(dòng)時(shí)盡可能自然地模擬現(xiàn)實(shí)世界中的視覺(jué)和音頻感官刺激。VR 通常（但非必須）要求用戶佩戴頭部顯示器，以模擬的視覺(jué)組件完全取代用戶的視野，并佩戴耳機(jī)，以向用戶提供配套的音頻。通常還需要在 VR 中對(duì)用戶進(jìn)行某種形式的頭部和動(dòng)作跟蹤，以便更新模擬的視覺(jué)和音頻組件，以確保從用戶的角度來(lái)看，圖像和聲源與用戶的動(dòng)作保持一致。還可以提供與虛擬現(xiàn)實(shí)仿真進(jìn)行交互的其他手段，但非必須 [1]。

發(fā)展歷程：虛擬現(xiàn)實(shí) VR 為夢(mèng)想而生，讓夢(mèng)成 “真”。1935 年小說(shuō)家 Stanley Weinbaum 在小說(shuō)中描述了一款 VR 眼鏡，以眼鏡為基礎(chǔ)，包括視覺(jué)，嗅覺(jué)，觸覺(jué)等全方位沉浸式體驗(yàn)的虛擬現(xiàn)實(shí)概念，該小說(shuō)被認(rèn)為是世界上率先提出虛擬現(xiàn)實(shí)概念的作品。有了方向，接下來(lái)就是追夢(mèng)者的舞臺(tái)，1957 年，電影攝影師 Morton Heiling 發(fā)明了名為 Sensorama 的仿真模擬器，是通過(guò)三面顯示屏來(lái)形成空間感，無(wú)比巨大，用戶需要坐在椅子上將頭探進(jìn)設(shè)備內(nèi)部，才能體驗(yàn)到沉浸感，如圖 1-1 左側(cè)。

圖 1-1. 早期 VR 設(shè)備

1968 年美國(guó)計(jì)算機(jī)圖形學(xué)之父、圖靈獎(jiǎng)獲得者 Ivan Sutherland 開(kāi)發(fā)了第一個(gè)計(jì)算機(jī)圖形驅(qū)動(dòng)的頭盔顯示器 The Sword of Damocles（達(dá)摩克利斯之劍），如圖 1-1 右側(cè)，它同時(shí)也是增強(qiáng)現(xiàn)實(shí)的雛形。VR 向用戶呈現(xiàn)的是和現(xiàn)實(shí)環(huán)境阻隔的純虛擬環(huán)境，通常以頭部顯示器的方式，沉浸感優(yōu)越，因而主要作為娛樂(lè)和社交工具進(jìn)入大眾視野，消費(fèi)級(jí)產(chǎn)品層出不窮，當(dāng)前整個(gè)產(chǎn)業(yè)已經(jīng)趨于成熟。

比較典型的 VR 頭顯有如下幾類：

圖 1-2. VR 頭顯樣例

手機(jī)盒子：這類頭顯的顯示效果的好壞，完全取決于眼鏡里插入的手機(jī)的屏幕分辨率、處理器速度、傳感器精度。Google的 Cardboard和三星的Gear VR就屬于此類，市面價(jià)格最低。

PC/PS4 主機(jī)頭顯：為了達(dá)到極優(yōu)秀的顯示效果，它們需要連接 PC（Sony 的 PSVR 是連接 PS4），使用 PC 的 CPU 和顯卡來(lái)進(jìn)行運(yùn)算。見(jiàn)示意圖會(huì)有很多連線，觀影效果好但是移動(dòng)便捷性差。比較典型有 HTC VIVO PRO EYE，還有 SONY 的 PlayStation?VR。

一體機(jī)頭顯：一體機(jī)使用移動(dòng)芯片（如高通驍龍系列）來(lái)進(jìn)行圖像和定位計(jì)算。脫離了 PC/PS4 或者手機(jī)等外部設(shè)備的連線束縛，即開(kāi)即用，非常方便。當(dāng)前比較典型的有 Oculus quest，Pico 的 Neo CV。當(dāng)前一體機(jī)已經(jīng)漸漸成為主流。

VR Glass：當(dāng)前最輕便的 VR 頭顯，類似主機(jī)頭顯，需要連接手機(jī)，用手機(jī)芯片來(lái)處理數(shù)據(jù)。比較典型的是華為的 VR 眼鏡，眼鏡重量 200g, 極為輕便。

VR 的阻斷隔離式的沉浸感是優(yōu)點(diǎn)也是缺點(diǎn)，但是因?yàn)楹同F(xiàn)實(shí)的脫節(jié)，導(dǎo)致其實(shí)用性不足，因此分化出第二條發(fā)展路線 AR。

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）

概念：AR 是指向用戶提供其他信息或人工生成的對(duì)象或內(nèi)容覆蓋其當(dāng)前環(huán)境的圖像。此類附加信息或內(nèi)容通常是視覺(jué)或聽(tīng)覺(jué)的，并且對(duì)當(dāng)前環(huán)境的觀察可以是直接的，沒(méi)有中間轉(zhuǎn)換，處理和渲染，或者是間接的，因?yàn)樗鼈儗?duì)環(huán)境的感知是通過(guò)傳感器進(jìn)行中繼的，并且可以得到增強(qiáng)或處理 [1]。人物的第一視角看到的環(huán)境仍為現(xiàn)實(shí)場(chǎng)景，通過(guò)技術(shù)手段（顯示器、眼鏡等）在人眼所見(jiàn)的現(xiàn)實(shí)場(chǎng)景中融入虛擬內(nèi)容，虛擬內(nèi)容不基于對(duì)現(xiàn)實(shí)環(huán)境的實(shí)時(shí)理解，只是相對(duì)簡(jiǎn)單的拼湊在一起。

發(fā)展歷程：增強(qiáng)現(xiàn)實(shí)AR是為實(shí)用性而生。時(shí)間軸如下圖所示。

圖 1-3. AR 發(fā)展歷程

AR 的發(fā)展一波三折，從最初的原型開(kāi)始 AR 就采用先進(jìn)的光學(xué)透視式的顯示的方式，但是進(jìn)展并不順利，沉寂多年。AR 概念是在 1990 年由波音公司的研究員 Tom Caudell 提出的，隨后在 ToB 專業(yè)領(lǐng)域嶄露頭角，比如美國(guó)空軍研發(fā)的虛擬幫助系統(tǒng)，哥倫比亞大學(xué)的 KARMA 修理幫助系統(tǒng)等。而增強(qiáng)現(xiàn)實(shí)走進(jìn)大眾視野是通過(guò)平面顯示器（電腦、電視、手機(jī)）將現(xiàn)實(shí)圖像和虛擬物品疊加顯示的方式達(dá)成的，1998 年 AR 第一次用于直播展示橄欖球比賽進(jìn)攻黃線，而帶來(lái)革命的是第一個(gè)增強(qiáng)現(xiàn)實(shí) SDK ARToolkit，作為第一個(gè) AR 開(kāi)源框架被發(fā)布，使 AR 技術(shù)走出專業(yè)的研究機(jī)構(gòu)之中，許多普通程序員也都可以利用它開(kāi)發(fā)自己的 AR 應(yīng)用?，F(xiàn)在有多個(gè) AR 引擎，支持手機(jī)應(yīng)用的開(kāi)發(fā)，使 AR 進(jìn)入到我們的日常生活，但是通過(guò)平面顯示器的展現(xiàn)方式沉浸感較低。

所以人們并沒(méi)有放棄沉浸感更高的穿戴設(shè)備的 AR 實(shí)現(xiàn)，Google 在 2012 年 6 月推出 Google Glass，但是效果不盡如人意，未能成為精品，時(shí)至今日雖有消費(fèi)級(jí) AR 眼鏡的出現(xiàn)，但是成熟度不高，近兩年極有可能會(huì)有突破。

圖 1-4. AR 眼鏡樣例

混合現(xiàn)實(shí)（Mixed Reality，MR）

概念：MR 是 AR 的一種高級(jí)形式，虛擬元素被融入到物理場(chǎng)景中，目的是提供一種虛擬和現(xiàn)實(shí)結(jié)合的場(chǎng)景，即這些元素是真實(shí)場(chǎng)景的一部分 [1]。在 MR 場(chǎng)景下，大部分虛擬內(nèi)容基于現(xiàn)實(shí)理解而產(chǎn)生，因此比純虛擬化的場(chǎng)景更具有體驗(yàn)上的真實(shí)感。

發(fā)展歷程：混合現(xiàn)實(shí) MR 是將夢(mèng)境和現(xiàn)實(shí)融合。混合現(xiàn)實(shí)出現(xiàn)時(shí)間比 VR 和 AR 晚，理解存在爭(zhēng)議，尤其是同 AR 的邊界較難劃分。早在 1994 年，Paul Milgram 和 Fumio Kishino 在論文中提出了混合現(xiàn)實(shí)的定義，并利用虛擬連續(xù)體（Virtuality Continuum）坐標(biāo)的形式闡述了三者關(guān)系。最初的概念見(jiàn)圖 1-5，左側(cè)可理解為人裸眼所見(jiàn)的真實(shí)物理世界，隨著坐標(biāo)軸向右，對(duì)現(xiàn)實(shí)世界的虛擬化（或稱數(shù)字化）程度逐漸增大，AR 階段所見(jiàn)的視覺(jué)信息仍是現(xiàn)實(shí)環(huán)境為主，到最右側(cè)就是與現(xiàn)實(shí)脫鉤，處在完全虛擬化的環(huán)境中就是 VR。而從真實(shí)世界向完全虛擬化環(huán)境 VR 的轉(zhuǎn)變過(guò)程，統(tǒng)稱為 MR，即現(xiàn)實(shí)與虛擬的融合過(guò)程。（論文中提到了增強(qiáng)虛擬的概念，目前大眾接受度不高，沒(méi)有形成單獨(dú)的產(chǎn)品。）

圖 1-5. 現(xiàn)實(shí)與虛擬的坐標(biāo)對(duì)比[2]

根據(jù)這個(gè)定義，MR 最初是一個(gè)過(guò)程的概念，并非特定技術(shù)棧，而在此過(guò)程中，按照人眼所見(jiàn)現(xiàn)實(shí)與虛擬的結(jié)合程度，出現(xiàn)了 VR/AR 這樣不同體驗(yàn)的產(chǎn)品類別。但是，隨著產(chǎn)業(yè)的發(fā)展，以微軟為代表的一些廠商把 MR 定義成 VR/AR 的融合技術(shù)，提供將現(xiàn)實(shí)場(chǎng)景虛擬化的體驗(yàn)，此時(shí)，人眼所見(jiàn)的虛擬場(chǎng)景是基于現(xiàn)實(shí)數(shù)字化得來(lái)的。

微軟是這樣區(qū)分三者的關(guān)系的：在物理世界的視頻流中疊加圖形的體驗(yàn)是“增強(qiáng)現(xiàn)實(shí)”。 遮擋視線以呈現(xiàn)數(shù)字圖像的體驗(yàn)是“虛擬現(xiàn)實(shí)”。 在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)之間實(shí)現(xiàn)的體驗(yàn)形成了“混合現(xiàn)實(shí)”。

圖 1-6. 微軟對(duì) VR、AR、MR 的劃分

相比 AR 主要是實(shí)現(xiàn)虛擬的對(duì)象直接顯示在現(xiàn)實(shí)世界的圖像上，而 MR 是讓虛擬物品不僅僅是作為圖像出現(xiàn)在現(xiàn)實(shí)世界，而是 “以更逼真的存在的方式” 融入現(xiàn)實(shí)世界，或者反過(guò)來(lái)讓現(xiàn)實(shí)空間的對(duì)象，融入到虛擬空間的方式，打破兩個(gè)空間的隔離性，兩個(gè)空間的實(shí)體可以互相交互，給人一種渾然一體的體驗(yàn)。技術(shù)難度在三者中是最高的。MR 是 AR 的增強(qiáng)，與其說(shuō) MR 眼鏡，不如說(shuō)有 MR 功能的 AR 眼鏡或者 VR 眼鏡更恰當(dāng)。目前主流市場(chǎng)上也僅有微軟 HoloLens 和 Magic Leap 等提供 MR 功能的產(chǎn)品，但都不太成熟。

圖 1-7. MR 功能眼鏡樣例

通過(guò)下面組圖來(lái)進(jìn)一步幫大家一起區(qū)分AR和MR。首先看圖 1-8 是真實(shí)的現(xiàn)實(shí)物理的辦公室場(chǎng)景。

圖 1-8. 真實(shí)辦公室場(chǎng)景

圖 1-9 是識(shí)別現(xiàn)實(shí)辦公室中真實(shí)存在的平面后，將虛擬對(duì)象狗、地球、顯示器、花瓶等是嵌入現(xiàn)實(shí)世界圖像的平面上。因此，展示內(nèi)容是一種典型的 AR 場(chǎng)景。

圖 1-9. AR 場(chǎng)景

圖 1-10，調(diào)整環(huán)境，使其虛擬化，整個(gè)辦公室面目全非，但是辦公室的邊界清晰可見(jiàn)，真實(shí)的人化身為一個(gè)虛擬形象，現(xiàn)實(shí)沒(méi)有建模的物品會(huì)消失如便攜電腦，此時(shí)數(shù)字化的現(xiàn)實(shí)場(chǎng)景和虛擬場(chǎng)景是互相理解，融為一體。因而，與 VR 提供的是與人眼所見(jiàn)現(xiàn)實(shí)脫鉤的另外一個(gè)完全數(shù)字化的虛擬場(chǎng)景體驗(yàn)完全不同，觀察者在此視角下走動(dòng)時(shí)，可以根據(jù)眼前虛擬的現(xiàn)實(shí)場(chǎng)景，避開(kāi)現(xiàn)實(shí)中的桌子、墻面和人物。因此，在此概念中，MR 可視為 VR 和 AR 的融合技術(shù)。

圖 1-10. MR 場(chǎng)景

擴(kuò)展現(xiàn)實(shí)（eXtended Reality，XR）

概念：XR 是指由計(jì)算機(jī)技術(shù)和可穿戴設(shè)備生成的所有真實(shí)和虛擬組合環(huán)境以及人機(jī)交互。代表性的形式有 AR，MR 和 VR 以及在他們之間的交叉場(chǎng)景。虛擬級(jí)別的范圍從部分感官輸入 AR 到完全沉浸式 VR。XR 的一個(gè)關(guān)鍵方面是人類體驗(yàn)的擴(kuò)展，尤其是與存在感（以 VR 為代表）和認(rèn)知的獲得（以 AR 為代表）有關(guān) [1]。

發(fā)展歷程：由于很多時(shí)候 MR 和 AR 之間是很難有明確區(qū)分的邊界，而且三者發(fā)展互相有關(guān)聯(lián)技術(shù)有交集，因而 2016 年 11 月擴(kuò)展現(xiàn)實(shí) XR 概念被提了出來(lái)，尤其高通對(duì)這個(gè)概念最為熱衷，推出了虛擬現(xiàn)實(shí) / 增強(qiáng)現(xiàn)實(shí)一體化的 XR 芯片。根據(jù)高通的定義，擴(kuò)展現(xiàn)實(shí) XR 是一個(gè)概括性術(shù)語(yǔ)，囊括了增強(qiáng)現(xiàn)實(shí)（AR），虛擬現(xiàn)實(shí)（VR），混合現(xiàn)實(shí)（MR）以及介于他們之間的所有內(nèi)容。盡管 AR 和 VR 提供了迥然不同的革命性體驗(yàn)，但是相同的基礎(chǔ)技術(shù)正在推動(dòng) XR 的發(fā)展。

更早的時(shí)候，XR 在視覺(jué)領(lǐng)域被提出作為擴(kuò)展人類可見(jiàn)光譜范圍之意，如紫外線紅外線等，但是并非和虛擬現(xiàn)實(shí) / 增強(qiáng)現(xiàn)實(shí)領(lǐng)域相關(guān)的概念，在此不細(xì)述。

以上是對(duì)XR概念的介紹，后續(xù)會(huì)對(duì)XR的關(guān)鍵技術(shù)、應(yīng)用場(chǎng)景、產(chǎn)業(yè)情況以及未來(lái)趨勢(shì)繼續(xù)討論。

圖1 VR、AR、MR、XR關(guān)系圖

雖然在體驗(yàn)上 AR 和 VR差異很大，但是兩者卻有著相同的技術(shù)基礎(chǔ)，多領(lǐng)域技術(shù)交叉重合，而MR一般被理解為AR能力的增強(qiáng)，和AR技術(shù)棧高度復(fù)合，國(guó)內(nèi)一般統(tǒng)一把他們作為虛擬/增強(qiáng)現(xiàn)實(shí)領(lǐng)域一起分析，本文也采用了這種分析方式。

二、說(shuō)說(shuō)XR相關(guān)技術(shù)架構(gòu)

當(dāng)前XR相關(guān)技術(shù)和產(chǎn)品還在發(fā)展期，信通院在其白皮書中給出的范疇比較全面，因此在此引用了其技術(shù)體系展開(kāi)[2][4]。首先在頂層定義了“五橫兩縱”技術(shù)架構(gòu)見(jiàn)圖2?！拔鍣M”是指近眼顯示、感知交互、網(wǎng)絡(luò)傳輸、渲染處理與內(nèi)容制作五大技術(shù)領(lǐng)域。“兩縱”是指支撐虛擬現(xiàn)實(shí)發(fā)展的關(guān)鍵器件/設(shè)備與內(nèi)容開(kāi)發(fā)工具/平臺(tái)。

圖2 “五橫兩縱”技術(shù)架構(gòu)

橫向技術(shù)維度可細(xì)分為三層體系，第一層為五類技術(shù)領(lǐng)域，每個(gè)領(lǐng)域可再細(xì)分子領(lǐng)域和技術(shù)點(diǎn)，見(jiàn)圖3 示意。這種分類方法可能不是最有深度的，但是相對(duì)是最全的。本文后面會(huì)對(duì)每個(gè)熱點(diǎn)技術(shù)展開(kāi)基礎(chǔ)了解，如果深入每個(gè)點(diǎn)都是一個(gè)獨(dú)立的技術(shù)領(lǐng)域。

圖3 XR關(guān)鍵技術(shù)體系

XR熱門技術(shù)點(diǎn)成熟度曲線見(jiàn)下圖，很多技術(shù)都處在爬坡期。技術(shù)供需面臨多重挑戰(zhàn)，存在超長(zhǎng)的產(chǎn)業(yè)鏈條致使創(chuàng)新投入力不從心，現(xiàn)實(shí)效果與用戶預(yù)期存在落差等問(wèn)題。根據(jù)虛擬現(xiàn)實(shí)產(chǎn)業(yè)推進(jìn)會(huì)（VRPC）產(chǎn)業(yè)分析與體驗(yàn)調(diào)優(yōu)平臺(tái)數(shù)據(jù)統(tǒng)計(jì)，用戶體驗(yàn)痛點(diǎn)清單按優(yōu)先級(jí)排序可歸納為“用貴笨視暈傳知”，即高品質(zhì)爆款內(nèi)容缺乏；高性能終端存在一定價(jià)格門檻；外觀形態(tài)吸引力不足，佩戴不夠輕便；分辨率、視場(chǎng)角等方面的畫面視覺(jué)質(zhì)量有限；頭動(dòng)響應(yīng)（MTP）時(shí)延、輻輳調(diào)節(jié)沖突（VAC）。

圖4 虛擬/增強(qiáng)現(xiàn)實(shí)技術(shù)成熟度曲線2020（信通院）

為了度量XR的發(fā)展階段，參考國(guó)際上自動(dòng)駕駛汽車智能化程度分級(jí)信通院將虛擬現(xiàn)實(shí)技術(shù)發(fā)展劃分為如下五個(gè)階段，得到國(guó)內(nèi)產(chǎn)業(yè)內(nèi)一定的認(rèn)同，指標(biāo)見(jiàn)下圖。

圖5 虛擬/增強(qiáng)現(xiàn)實(shí)沉浸體驗(yàn)分級(jí)

三、分領(lǐng)域看看核心技術(shù)點(diǎn)

根據(jù)以上分級(jí)，我們當(dāng)前的水平處于部分沉浸期，主要表現(xiàn)為 1.5K-2K 單眼分辨率、100-120度視場(chǎng)角、百兆碼率、20毫秒MTP時(shí)延、4K/90幀率渲染處理能力、由內(nèi)向外的追蹤定位與沉浸聲等技術(shù)指標(biāo)，正在向深度沉浸過(guò)度。下面我們就分領(lǐng)域討論核心技術(shù)點(diǎn)的內(nèi)容。

1. 近眼顯示

沒(méi)有頭戴設(shè)備的XR應(yīng)用場(chǎng)景，沉浸感無(wú)從談起，XR頭顯/眼鏡的近眼顯示技術(shù)是沉浸感提升的前提。

在具體介紹技術(shù)點(diǎn)之前先說(shuō)一下基礎(chǔ)概念視場(chǎng)，它主要表示人眼所能看到的圖像最大角度范圍。一般人的話，我們水平方向雙眼是200度，會(huì)有120度的重疊。雙眼重疊部分對(duì)于人眼構(gòu)建立體和景深非常重要，而垂直視角大約為 130 度。

圖6 視場(chǎng)示意圖

再介紹一下顯示方式的分類，當(dāng)前主要分三種。完全沉浸，傳統(tǒng)的VR都是這種情況，和現(xiàn)實(shí)完全的隔離的顯示方式；光學(xué)透視型，當(dāng)前主流的AR/MR眼鏡都是這種類型；視頻透視型，把顯示場(chǎng)景通過(guò)攝像頭視頻的方式呈現(xiàn)在用戶眼前，帶MR能力的VR眼鏡是這種類型，是當(dāng)前VR眼鏡的主流發(fā)展方向，如oculus quest2有四個(gè)攝像頭，在MR場(chǎng)景下可以比較清楚的“看”到周邊的環(huán)境。從顯示原理上看我可以粗分為VR類型（非透視型顯示）和AR類型（透視型顯示）兩種，后面我們就以VR和AR兩種場(chǎng)景進(jìn)行分析。

圖7 顯示器類型示意圖

近眼顯示是XR的沉浸感提升的核心技術(shù)，一直備受矚目。但是受限于核心光學(xué)器件與新型顯示的發(fā)展，整體相對(duì)遲緩。2020年隨著市場(chǎng)需求日漸清晰，業(yè)界對(duì)近眼顯示領(lǐng)域表現(xiàn)出更高的期待。

顯示器領(lǐng)域

VR類型非透視型和AR類型光學(xué)透視型顯示對(duì)應(yīng)當(dāng)前兩種主流顯示器類型，快速響應(yīng)液晶（Fast-LCD）和硅基OLED（OLEDoS），處于實(shí)質(zhì)規(guī)模量產(chǎn)階段。

VR類型顯示器首選Fast-LCD。2020新VR終端多采用Fast-LCD，如 Facebook Quest 2因性價(jià)比替換了上代產(chǎn)品中AMOLED。

AR類型顯示器當(dāng)前首選為OLEDoS，在對(duì)比度、功耗與響應(yīng)時(shí)間等方面的性能表現(xiàn)都能達(dá)到要求。而LBS激光掃描顯示被應(yīng)用在微軟等高端產(chǎn)品，亮度、功耗與體積等方面的優(yōu)勢(shì)使得該技術(shù)獲得業(yè)界關(guān)注，但需搭配較為復(fù)雜的光學(xué)架構(gòu)實(shí)現(xiàn)功能，且雖然技術(shù)先進(jìn)，但最終在分辨率、偏色等方面表現(xiàn)一般，應(yīng)用前景不明。

微型發(fā)光二極管（Micro-LED）適用于以上兩種顯示類型，是未來(lái)的發(fā)展方向。Micro-LED具備低功耗、高亮度、高對(duì)比度、反應(yīng)速度快、厚度薄與高可靠等性能優(yōu)勢(shì)，但現(xiàn)階段LED受限于工藝問(wèn)題未能量產(chǎn)，根據(jù)當(dāng)前產(chǎn)業(yè)相關(guān)發(fā)展情況預(yù)計(jì)其規(guī)模量產(chǎn)時(shí)間在2022年左右。2020 年 Mojo Vision發(fā)布了首款內(nèi)置Micro LED的AR隱形眼鏡，當(dāng)前智能隱形眼鏡尚處于萌芽狀態(tài)。

未來(lái)，近眼顯示系統(tǒng)有望由當(dāng)前眼球外安置（頭顯終端/眼鏡）向眼球上（隱形眼鏡）、眼球內(nèi)（晶狀體、視網(wǎng)膜）乃至視覺(jué)皮層轉(zhuǎn)移。

光學(xué)領(lǐng)域

在光學(xué)領(lǐng)域，發(fā)展方向是以人為中心的光學(xué)架構(gòu)，視覺(jué)質(zhì)量、眼動(dòng)框范圍、體積重量、視場(chǎng)角、光學(xué)效率與量產(chǎn)成本間的權(quán)衡取舍、優(yōu)化組合成為驅(qū)動(dòng)技術(shù)創(chuàng)新的主要?jiǎng)右颉?/p>

VR領(lǐng)域難度低比較成熟。當(dāng)前超薄VR（Pancake）利用半透半反偏振膜的雙透鏡系統(tǒng)折疊光學(xué)路徑，將頭顯重量降至 200g 以內(nèi)，且可保證較好的顯示效果及更大的視場(chǎng)角。

AR領(lǐng)域難度大發(fā)展相對(duì)緩慢。折反式（Birdbath）設(shè)計(jì)因難度低和成本低是當(dāng)前消費(fèi)級(jí)AR的首選，但其厚度問(wèn)題導(dǎo)致其未來(lái)發(fā)展空間小。自由曲面在早期得到業(yè)界認(rèn)可，其顯示效果、光效表現(xiàn)較好，但量產(chǎn)難以保證較高精度而導(dǎo)致真實(shí)世界扭曲和水波紋樣畸變，發(fā)展前景也不被看好。光波導(dǎo)相比其他光學(xué)架構(gòu)，光波導(dǎo)外觀形態(tài)趨近日常眼鏡，且通過(guò)增大眼動(dòng)框范圍更易適配不同臉型用戶，有助于推動(dòng)消費(fèi)級(jí) AR 產(chǎn)品顯著升級(jí)，是AR領(lǐng)域主流技術(shù)。

波導(dǎo)的概念，顧名思義，它是一種物理光學(xué)結(jié)構(gòu)設(shè)計(jì)，可以使光線曲折進(jìn)入人的眼睛。這被用于內(nèi)部的反射以及光線進(jìn)出的控制，工業(yè)上有四種波導(dǎo)結(jié)構(gòu)設(shè)計(jì)。

全息波導(dǎo) (Holographic waveguide)這是光學(xué)元件中的一種簡(jiǎn)單的波導(dǎo)類型，例如用于通過(guò)一系列內(nèi)部反射進(jìn)行耦合（進(jìn)入）和外耦合（退出）。這種類型用于Sony 的 Smart Eyeglass。

圖8 全息波導(dǎo)

衍射波導(dǎo) (Diffractive waveguide)精準(zhǔn)的起伏表面起伏光柵用于實(shí)現(xiàn)內(nèi)部反射，從而通過(guò)顯示器實(shí)現(xiàn)無(wú)縫3D圖形的覆蓋。這些波導(dǎo)用于許多Vuzix 顯示設(shè)備和Microsoft的Hololens中。

圖9 衍射波導(dǎo)

偏振波導(dǎo) (Polarized waveguide)光進(jìn)入波導(dǎo)并通過(guò)部分偏振表面上的進(jìn)行一系列內(nèi)部反射。選定的光波會(huì)抵消（偏振）并進(jìn)入觀看者的眼睛。該方法由Lumus DK-50 AR眼鏡使用。

圖10 偏振波導(dǎo)

反射波導(dǎo) (Reflective waveguide)類似于全息波導(dǎo)，其中單個(gè)平面光導(dǎo)與一個(gè)或多個(gè)半反射鏡一起使用。在愛(ài)普生的Moverio和Google Glass中都可以看到這種波導(dǎo)。

圖11 反射波導(dǎo)

當(dāng)前衍射光波導(dǎo)理論上具有較高的可加工性，成本可控，批量生產(chǎn)難度顯著低于陣列光波導(dǎo)，現(xiàn)已成為國(guó)內(nèi)外標(biāo)桿企業(yè)研發(fā)創(chuàng)新的活力區(qū)。

眩暈控制

發(fā)展符合人眼雙目視覺(jué)特性的近眼顯示技術(shù)成為虛擬現(xiàn)實(shí)眩暈控制的技術(shù)制高點(diǎn)。從人眼雙目視覺(jué)特性看，業(yè)界公認(rèn)的眩暈感主要源自三方面。一是顯示畫質(zhì)，紗窗、拖尾、閃爍等過(guò)低的畫面質(zhì)量引發(fā)的視覺(jué)疲勞容易引發(fā)眩暈，提高屏幕分辨率、響應(yīng)時(shí)間、刷新率，降低頭動(dòng)和視野延遲（MTP）成為技術(shù)趨勢(shì)。二是視覺(jué)與其他感官通道的沖突，強(qiáng)化視覺(jué)與聽(tīng)覺(jué)、觸覺(jué)、前庭系統(tǒng)、動(dòng)作反饋的協(xié)同一致成為發(fā)展方向，目前除前庭刺激、服用藥物等非主流方式外，全向跑步機(jī)成為緩解此方面眩暈感的主要技術(shù)。三是輻輳調(diào)節(jié)沖突（Vergence Accommodation Conflict，VAC），由于雙目視差在產(chǎn)生3D效果的同時(shí)，造成雙目焦點(diǎn)調(diào)節(jié)與視覺(jué)景深不匹配，VR 頭顯難以如實(shí)反映類似真實(shí)世界中觀看遠(yuǎn)近物體的清晰/模糊變化。目前，可變焦顯示（Vari-focal Display）成為解決VAC問(wèn)題的重要技術(shù)，F(xiàn)acebook已經(jīng)應(yīng)用到其產(chǎn)品，并在不斷優(yōu)化，有望極大程度的優(yōu)化了頭顯體積重量與系統(tǒng)可靠性。還有全息顯示也是解決VAC的技術(shù)路徑，但是當(dāng)前技術(shù)成熟度低。

總體我國(guó)在近眼顯示領(lǐng)域與國(guó)際一流水平差距不大，需強(qiáng)化部分前瞻領(lǐng)域技術(shù)攻關(guān)。

2. 內(nèi)容制作

作為新一代人機(jī)交互界面，虛擬/增強(qiáng)現(xiàn)實(shí)契合時(shí)下新媒體所追求視覺(jué)沉浸感與用戶交互性的發(fā)展趨勢(shì)。虛擬現(xiàn)實(shí)內(nèi)容制作技術(shù)開(kāi)始廣泛應(yīng)用，在“采、編、播” 以及交互等環(huán)節(jié)注入了創(chuàng)新活力。

內(nèi)容采編播

內(nèi)容采集環(huán)節(jié)，由于虛擬、增強(qiáng)現(xiàn)實(shí)可提供360度、720度的全景視頻，需要360度拍攝，編導(dǎo)與攝影師等工作人員站位、觀眾視覺(jué)興趣點(diǎn)引導(dǎo)、多相機(jī)同步控制等新問(wèn)題對(duì)內(nèi)容采集帶來(lái)挑戰(zhàn)。用于全景拍攝的相機(jī)可分為手機(jī)式、一體單目式、一體多目式、陣列式、光場(chǎng)式等。全景相機(jī)發(fā)展呈兩極化演變態(tài)勢(shì)，一方面為方便更多UGC快速便捷的制作虛擬現(xiàn)實(shí)內(nèi)容，會(huì)朝著小型化、易用化、多功能、機(jī)內(nèi)拼接、降低成本方向發(fā)展。另一方面為滿足高端 PGC 生產(chǎn)高質(zhì)量視頻內(nèi)容，更高分辨率、自由度、更多視頻格式與斯坦尼康等拍攝輔助器材支持成為又一發(fā)展路線。全景聲麥克風(fēng)（Ambisonic）可以采集單點(diǎn)所有方向的聲音，作為一項(xiàng)既有拾音技術(shù)隨著虛擬現(xiàn)實(shí)的興起被業(yè)界關(guān)注，目前谷歌、Oculus 已將其作為 VR 的聲音格式。

內(nèi)容編輯環(huán)節(jié)，由于虛擬現(xiàn)實(shí)相機(jī)涉及多鏡頭同時(shí)拍攝，從而產(chǎn)生出視頻間精準(zhǔn)拼接縫分割內(nèi)容編輯技術(shù)。根據(jù)實(shí)現(xiàn)方式的不同，可分為實(shí)時(shí)、離線拼接與自動(dòng)、手動(dòng)拼接等。英偉達(dá)推出其拼接編輯軟件 VRWorks360，可實(shí)現(xiàn)單一VR相機(jī)中多達(dá)32個(gè)拍攝鏡頭的跨平臺(tái)的實(shí)時(shí)拼接。除全景視頻所須的拼接分割外，為進(jìn)一步增加內(nèi)容互動(dòng)性與社交性，可通過(guò)虛擬化身技術(shù)實(shí)現(xiàn)以機(jī)器或是以真實(shí)用戶為對(duì)象的模擬，后面的交互體驗(yàn)部分會(huì)詳述。

內(nèi)容播放環(huán)節(jié)，由于虛擬現(xiàn)實(shí)需要解決如何將內(nèi)容編制時(shí)的平面媒體格式轉(zhuǎn)化為用戶最終看到的全景球面視頻，因此運(yùn)用了傳統(tǒng)視頻沒(méi)有涉及的投影技術(shù)。其中，等角投影是 YouTube、愛(ài)奇藝等采用的主流技術(shù)，但存在畫質(zhì)失真、壓縮效率低等問(wèn)題，多面體投影成為發(fā)展方向。

平臺(tái)技術(shù)

操作系統(tǒng)有挑戰(zhàn)。相比手機(jī)OS對(duì)于虛擬現(xiàn)實(shí)用戶姿態(tài)變化難以做出實(shí)時(shí)性響應(yīng)，虛擬現(xiàn)實(shí)OS不論用戶主動(dòng)操作與否，從姿態(tài)到渲染保持穩(wěn)定運(yùn)行，MTP時(shí)延約束成為實(shí)時(shí)性挑戰(zhàn)。由于虛擬現(xiàn)實(shí)空間可極大延展，支持用戶同時(shí)可見(jiàn)更加豐富信息，操作系統(tǒng)多任務(wù)特性成為必然需求。在三維系統(tǒng)中的多任務(wù)化須實(shí)現(xiàn)系統(tǒng)多應(yīng)用的三維化合成，在虛擬現(xiàn)實(shí)空間中布置各應(yīng)用的運(yùn)行位置，并實(shí)現(xiàn) 3D 交互，如微軟 Hololens、Facebook Quest等代表性終端對(duì)操作系統(tǒng)三維化多任務(wù)運(yùn)行的支持。2020年虛擬現(xiàn)實(shí)操作系統(tǒng)持續(xù)演進(jìn)，VR、AR OS在感知交互方面日漸趨同，基于計(jì)算機(jī)視覺(jué)成為發(fā)展重點(diǎn)，F(xiàn)acebook發(fā)布 Oculus Quest 系列驗(yàn)證了計(jì)算機(jī)視覺(jué)實(shí)現(xiàn)的可行性和準(zhǔn)確性，但是掛載4顆以上實(shí)時(shí)性要求較高的攝像頭，操作系統(tǒng)亦須適配調(diào)優(yōu)。

WebXR生態(tài)發(fā)展。2020年7月W3C 發(fā)布新版WebXR規(guī)范草案，與此前WebVR相比，WebXR新增了對(duì)6DoF追蹤定位、交互外設(shè)與AR應(yīng)用的支持，多個(gè)網(wǎng)頁(yè)開(kāi)發(fā)框架均已支持。當(dāng)前，內(nèi)容不足是XR面臨的主要痛點(diǎn)，內(nèi)容生態(tài)效率受制于碎片化的軟硬件平臺(tái)的影響，2019年7月Khronos對(duì)此發(fā)布了 OpenXR 旨在實(shí)現(xiàn)內(nèi)容應(yīng)用無(wú)須修改移植即可跨頭顯平臺(tái)運(yùn)行。同時(shí)，OpenXR強(qiáng)化了對(duì)WebXR網(wǎng)頁(yè)開(kāi)發(fā)框架的支撐，適配了手勢(shì)、眼動(dòng)追蹤等多元化交互方式，豐富了5G邊緣計(jì)算等應(yīng)用場(chǎng)景。在操作系統(tǒng)方面，實(shí)時(shí)性、多任務(wù)、感知交互與端云協(xié)同成為當(dāng)前發(fā)展焦點(diǎn)。

云化虛擬技術(shù)。對(duì)于云化虛擬現(xiàn)實(shí)業(yè)務(wù)需求，如何同步終端和云端數(shù)據(jù)成為操作系統(tǒng)技術(shù)演進(jìn)焦點(diǎn)，如微軟推出 Hololens云方案，用戶可在云端記錄三維地圖掃描信息。開(kāi)發(fā)引擎方面，基于OpenGL ES底層框架，面向移動(dòng)設(shè)備的低功耗、可視化開(kāi)發(fā)引擎助力VR應(yīng)用開(kāi)發(fā)效率提升。對(duì)于移動(dòng)虛擬現(xiàn)實(shí)設(shè)備，如何平衡性能和功耗成為選擇虛擬現(xiàn)實(shí)開(kāi)發(fā)引擎的關(guān)鍵因素。

交互體驗(yàn)

從用戶與內(nèi)容應(yīng)用間的交互程度看，虛擬/增強(qiáng)現(xiàn)實(shí)業(yè)務(wù)可分為弱交互與強(qiáng)交互兩類。前者通常以被動(dòng)觀看的全景視頻點(diǎn)播、直播為主，后者常見(jiàn)于游戲、互動(dòng)教育、社交等形式，內(nèi)容須根據(jù)用戶輸入的交互信息進(jìn)行實(shí)時(shí)渲染，自由度、實(shí)時(shí)性與交互感更強(qiáng)。

在弱交互領(lǐng)域，虛擬/增強(qiáng)現(xiàn)實(shí)視頻的社交性、沉浸感的提升，強(qiáng)弱交互內(nèi)容界線趨于模糊。當(dāng)前體育賽事、綜藝節(jié)目、新聞報(bào)道與教育培訓(xùn)等直播商業(yè)落地相對(duì)成熟。VR直播新形式根據(jù)交互體驗(yàn)自由度劃分，虛擬現(xiàn)實(shí)視頻可分為基于視野轉(zhuǎn)動(dòng)的3DoF、面向狹小空間內(nèi)有限移動(dòng)的 3DoF+、房間級(jí)一定空間內(nèi)6DoF-及多房間或超大開(kāi)放空間中的6DoF視頻。與現(xiàn)階段3DoF視頻相比，六自由度視頻攝制技術(shù)（3DoF+及以上）可大幅提升虛擬現(xiàn)實(shí)用戶體驗(yàn)沉浸性。預(yù)計(jì)未來(lái)三年，可適配高質(zhì)量六自由度的內(nèi)容采集系統(tǒng)、攝制表現(xiàn)手法、云網(wǎng)端支撐環(huán)境、場(chǎng)景表示與編解碼算法等細(xì)分領(lǐng)域?qū)⒊蔀闈撛谔魬?zhàn)及有關(guān)標(biāo)準(zhǔn)工作的推進(jìn)方向。此外，相比傳統(tǒng)無(wú)交互視頻中單視角單結(jié)局、既往輕交互 VR 視頻中多視角單結(jié)局的表現(xiàn)形式，個(gè)性化 VR 視頻除呈現(xiàn)多視角多結(jié)局、敘事線進(jìn)程可變的特點(diǎn)，即“你在看視頻，視頻也在看你。

在強(qiáng)交互領(lǐng)域，VR社交成為游戲以外重要應(yīng)用場(chǎng)景，虛擬化身正在拉開(kāi)虛擬現(xiàn)實(shí)社交大幕。VR場(chǎng)景對(duì)虛擬化身的感知與控制構(gòu)成了交互閉環(huán)，即追蹤采集的用戶數(shù)據(jù)被實(shí)時(shí)投射于虛擬化身外觀及行為表現(xiàn)。得益于3D沉浸視頻、超大視角及進(jìn)階追蹤能力，位置、外貌、注意力、姿態(tài)、情緒等日益多元精細(xì)的身態(tài)語(yǔ)匯激活了虛擬化身潛藏的社交表現(xiàn)力。通過(guò)營(yíng)造多人共享的臨場(chǎng)感，VR社交進(jìn)一步放大了虛擬現(xiàn)實(shí)強(qiáng)交互業(yè)務(wù)的互動(dòng)程度，并結(jié)合日常交流所須的適宜間距、注視轉(zhuǎn)頭、手勢(shì)表情等潛藏的通識(shí)準(zhǔn)則來(lái)優(yōu)化虛擬化身。如何持續(xù)提高虛擬化身真實(shí)感，同時(shí)精準(zhǔn)調(diào)和外貌與行為擬真度間的配伍關(guān)系，成為 VR 社交虛擬化身的主要技術(shù)挑戰(zhàn)與發(fā)展方向。

在技術(shù)選型上，基于口、眼、表情、上肢擬真等的虛擬化身技術(shù)初步成熟，現(xiàn)已開(kāi)始用于 VR 社交應(yīng)用。口型方面，依托三維掃描人類發(fā)聲時(shí)對(duì)應(yīng)的面部拓?fù)涮卣?，?gòu)建包含廣譜語(yǔ)音口型的模型庫(kù)，借助機(jī)器學(xué)習(xí)訓(xùn)練音畫同步網(wǎng)絡(luò)，通過(guò)語(yǔ)音實(shí)時(shí)驅(qū)動(dòng)面部動(dòng)畫。當(dāng)前存在問(wèn)題是口型如聲音的匹配問(wèn)題，業(yè)界通過(guò)解構(gòu)不同語(yǔ)音對(duì)各面部肌群的協(xié)同牽引關(guān)系，旨在發(fā)展出更加自然可靠的音畫同步技術(shù)。眼動(dòng)方面，虛擬化身可精細(xì)模擬一系列眼動(dòng)眼神行為，如下意識(shí)眨眼、交談間注視、移動(dòng)物體追視、多物體快速掃視、飽含情感凝視及特定情況下瞳孔放大、視野舒適區(qū)外轉(zhuǎn)頭等情景，進(jìn)而極大程度地豐富了VR 社交的表現(xiàn)力與真實(shí)感。預(yù)計(jì)未來(lái)三年，除現(xiàn)有口型、眼動(dòng)、微表情、手勢(shì)肢體等上半身虛擬化身細(xì)分領(lǐng)域的優(yōu)化迭代外，全身型虛擬化身有望興起。

總體看，我國(guó)在內(nèi)容制作方面與國(guó)際一流水平各有所長(zhǎng)，須強(qiáng)化對(duì)部分重點(diǎn)領(lǐng)域的技術(shù)攻關(guān)。

3 感知交互

感知交互強(qiáng)調(diào)與其他領(lǐng)域的技術(shù)協(xié)同，各大巨頭與初創(chuàng)公司對(duì)此深度布局，積極投入。當(dāng)前，追蹤定位、沉浸聲場(chǎng)、手勢(shì)追蹤、眼球追蹤、三維重建、機(jī)器視覺(jué)、肌電傳感、語(yǔ)音識(shí)別、氣味模擬、虛擬移動(dòng)、觸覺(jué)反饋、腦機(jī)接口等諸多感知交互技術(shù)百花齊放，共存互補(bǔ)，并在各細(xì)分場(chǎng)景各具優(yōu)勢(shì)。未來(lái)，理想的人機(jī)交互可讓虛擬/增強(qiáng)現(xiàn)實(shí)用戶聚焦交互活動(dòng)本身，而忘記交互界面及手段的存在，越來(lái)越“透明”，自然化、情景化與智能化成為感知交互技術(shù)發(fā)展的主要方向。

追蹤定位

追蹤定位是感知交互的基礎(chǔ)和前提，只有確定了現(xiàn)實(shí)位置與虛擬位置的映射關(guān)系，方才進(jìn)行后續(xù)諸多交互動(dòng)作。追蹤定位技術(shù)呈現(xiàn)由外向內(nèi)的空間位姿跟蹤（Outside-In Position Tracking）向由內(nèi)向外的空間位姿跟蹤（Inside-Out）的發(fā)展趨勢(shì)。

當(dāng)前Inside-out 技術(shù)全面成熟，追蹤定位將呈現(xiàn)集視覺(jué)相機(jī)、IMU慣性器件、深度相機(jī)、事件相機(jī)等多傳感融合的發(fā)展趨勢(shì)。在VR領(lǐng)域，存在outside-in和inside-out兩條技術(shù)路線。通過(guò)超聲、激光、電磁、慣導(dǎo)等多種傳感器融合定位較單一慣性和光學(xué)定位減少了計(jì)算資源消耗，在一定程度上優(yōu)化了功耗與魯棒性表現(xiàn)。目前，基于視覺(jué)+IMU的inside-out追蹤定位技術(shù)實(shí)現(xiàn)產(chǎn)品化，開(kāi)始大量應(yīng)用于頭顯終端，代表產(chǎn)品有 Oculus Quest1/2、HTC Vive Focus等。在AR領(lǐng)域，Inside-out是唯一主流技術(shù)路線，基于終端平臺(tái)的差異，視頻投射式AR（video see-through）以蘋果 ARKit、谷歌ARCore、華為AREngine 以及商湯 SensAR為代表的AR SDK普遍遵循單目視覺(jué)+IMU融合定位的技術(shù)路線，在2019年對(duì)其跟蹤精度和魯棒性進(jìn)行了進(jìn)一步提升，毫米級(jí)別的定位精度使得AR尺子等空間測(cè)距等應(yīng)用大量出現(xiàn)。光學(xué)投射式 AR（optical see-through）以微軟Hololen2、Magic Leap One為代表的AR眼鏡普遍遵循雙目/多目視覺(jué) + IMU 融合的技術(shù)路線，可提供毫米級(jí)別精準(zhǔn)度的定位輸出和世界級(jí)規(guī)模的6DoF追蹤定位，其中SLAM算法的穩(wěn)定性主要受光線與環(huán)境復(fù)雜程度影響。由于室外光線會(huì)影響到攝像頭的使用，Oculus 在黑暗條件下難以提取環(huán)境信息，從而影響 SLAM 結(jié)果。Hololens2采用TOF 提供主動(dòng)光輔助定位，在一定程度上緩解了該問(wèn)題。環(huán)境復(fù)雜度表現(xiàn)為AR眼鏡受限于攝像頭可實(shí)現(xiàn)高精準(zhǔn)度獲取信息的范圍限制，在過(guò)于空曠（無(wú)參照物）的環(huán)境中，難以實(shí)現(xiàn)厘米級(jí)別定位。此外，隨著基于神經(jīng)擬態(tài)視覺(jué)傳感器（dynamic vision sensor）的事件型相機(jī)技術(shù)發(fā)展，利用其高幀率、抗光照等特性，追蹤定位技術(shù)魯棒性有望進(jìn)一步提升。

手勢(shì)追蹤初步成熟，將成為虛擬現(xiàn)實(shí)輸入交互新模式。手勢(shì)追蹤技術(shù)的價(jià)值優(yōu)勢(shì)在于手是天然的輸入工具無(wú)需購(gòu)買鏈接設(shè)備，且手勢(shì)信息等身態(tài)語(yǔ)表現(xiàn)力強(qiáng)，賦予了內(nèi)容開(kāi)發(fā)者更大的創(chuàng)作空間。當(dāng)前基于黑白/RGB 攝像頭的機(jī)器視覺(jué)技術(shù)路徑已成為標(biāo)記點(diǎn)、3D深度攝像頭方案外手勢(shì)追蹤的重點(diǎn)實(shí)現(xiàn)方式。當(dāng)前，手勢(shì)追蹤技術(shù)在多維發(fā)展方向上初步成熟。在算法魯棒性優(yōu)化方面，通過(guò)收集用于深度學(xué)習(xí)的多類人群手勢(shì)及環(huán)境數(shù)據(jù)，可探知手部位置及關(guān)節(jié)指尖等特征點(diǎn)信息，進(jìn)而結(jié)合反向動(dòng)力學(xué)算法構(gòu)建手部3D 模型。在計(jì)算及功耗開(kāi)銷控制方面，通過(guò)深度神經(jīng)網(wǎng)絡(luò)量化壓縮技術(shù)，精準(zhǔn)可靠的手勢(shì)追蹤算法得以在移動(dòng)式虛擬現(xiàn)實(shí)終端上（一體式、手機(jī)伴侶）以較低算力、時(shí)延與功耗預(yù)算運(yùn)行。在交互表現(xiàn)性探索方面，時(shí)下業(yè)界圍繞人因工程視角，就輸入交互進(jìn)行創(chuàng)新設(shè)計(jì)，以“捏”代“按”，可有效節(jié)省交互空間，明確交互起止時(shí)點(diǎn)，獲知輸入反饋。除單手追蹤外，雙手、手與筆、手與鍵盤、手與控制器等外設(shè)配合成為手部交互表現(xiàn)性探索的新方向。

眼動(dòng)追蹤成為虛擬現(xiàn)實(shí)終端的新標(biāo)配。早期虛擬現(xiàn)實(shí)終端以頭動(dòng)追蹤為主，當(dāng)前用戶需求開(kāi)始對(duì)眼動(dòng)追蹤提出了更高要求。眼動(dòng)追蹤主要涵蓋注視點(diǎn)追蹤、瞳孔位置尺寸追蹤、眼瞼數(shù)據(jù)采集、生物識(shí)別等，得益于該領(lǐng)域在虛擬現(xiàn)實(shí)融合創(chuàng)新與以人為中心研發(fā)思路上的技術(shù)潛力，眼動(dòng)追蹤日漸成為VR/AR 終端的新標(biāo)配，且應(yīng)用場(chǎng)景趨于多元。例如，注視點(diǎn)追蹤可用于眼控交互、可變注視點(diǎn)渲染與注視點(diǎn)光學(xué)、FOV一致性補(bǔ)償、可變焦顯示系統(tǒng)中的輻輳調(diào)節(jié)沖突控制等任務(wù)場(chǎng)景。眼動(dòng)追蹤技術(shù)主要分為基于特征與基于圖像的發(fā)展路徑。兩種方案均須紅外攝像頭與 LED完成，前者通過(guò)光線在角膜外表面上普爾欽斑（Purkinje image）反射以推算瞳孔位置，已成為業(yè)界主流技術(shù)方案。當(dāng)前，眼動(dòng)追蹤技術(shù)發(fā)展的難點(diǎn)在于眼動(dòng)算法如何基于所采集的原始眼動(dòng)行為來(lái)“透視”用戶意圖。此外，除追蹤精度指標(biāo)外，用戶個(gè)體與環(huán)境差異（眼球角膜、佩戴眼鏡、周圍光線等）對(duì)系統(tǒng)通用性提出了更高要求。

環(huán)境理解

環(huán)境理解以及3D重建將成為虛擬現(xiàn)實(shí)感知交互領(lǐng)域技術(shù)內(nèi)核之一。環(huán)境理解呈現(xiàn)由有標(biāo)識(shí)點(diǎn)識(shí)別向無(wú)標(biāo)識(shí)點(diǎn)的場(chǎng)景分割與重建的方向發(fā)展。相比VR，AR大部分視野中呈現(xiàn)真實(shí)場(chǎng)景，如何識(shí)別和理解現(xiàn)實(shí)場(chǎng)景和物體，并將虛擬物體更為真實(shí)可信的疊加到現(xiàn)實(shí)場(chǎng)景中成為 AR/MR感知交互的首要任務(wù)，而基于機(jī)器視覺(jué)的環(huán)境理解成為這一領(lǐng)域的技術(shù)焦點(diǎn)。

在AR應(yīng)用的早期，絕大部分AR引擎通過(guò)獲取圖像中標(biāo)識(shí)點(diǎn)（Marker）的特征信息并與預(yù)存的模板進(jìn)行匹配，來(lái)識(shí)別當(dāng)前Marker 的種類及位置信息，Marker從如ARToolkit等有明確邊緣信息和規(guī)則的幾何形狀演進(jìn)到任意圖像，這類基于標(biāo)識(shí)點(diǎn)的識(shí)別技術(shù)使用限制較多，應(yīng)用場(chǎng)景較為狹窄。隨著深度學(xué)習(xí)和即時(shí)定位與地圖構(gòu)建（SLAM）等識(shí)別和定位重建技術(shù)的發(fā)展普及，未來(lái)的VR/AR將不僅局限在對(duì)特定Marker的識(shí)別，而會(huì)逐漸拓展到對(duì)現(xiàn)實(shí)場(chǎng)景的語(yǔ)義與幾何理解。在語(yǔ)義理解方面，主要任務(wù)是利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)單幀圖像或連續(xù)多幀視頻中所出現(xiàn)的物體和場(chǎng)景進(jìn)行識(shí)別和分割，大致分為分類、檢測(cè)、語(yǔ)義與物體分割，即確定圖像中物體類別、大概位置、物體基本邊緣輪廓以及針對(duì)分割出的同類物體，進(jìn)一步分割底層組成部分。在幾何理解方面，SLAM早期應(yīng)用在機(jī)器人領(lǐng)域，以出發(fā)地點(diǎn)為起始位置，在運(yùn)動(dòng)過(guò)程中通過(guò)重復(fù)觀測(cè)到的地圖特征來(lái)定位自身位置和姿態(tài)，再根據(jù)自身位置增量構(gòu)建地圖，達(dá)到同時(shí)定位和地圖構(gòu)建的目的。在XR領(lǐng)域，SLAM 廣泛用于Inside-Out追蹤定位中。

3D重建，在數(shù)據(jù)采集方面，由于早期發(fā)展受到深度圖像傳感（RGBD）器件功耗和精度的限制，環(huán)境重建技術(shù)門檻較高。隨著OPPO、三星華為等主流手機(jī)廠商旗艦機(jī)型上預(yù)制深度相機(jī)，激光雷達(dá)大幅降價(jià)，以及微軟發(fā)布的 Kinect V4版本可提供720P高精度深度圖，使得低成本、高速率生成可用于VR/AR的高質(zhì)量3D模型成為可能，對(duì)周邊環(huán)境和物體的理解和建模逐漸平民化?；赗GBD相機(jī)的動(dòng)態(tài)語(yǔ)義化重建技術(shù)逐漸成熟，針對(duì)人體形狀、運(yùn)動(dòng)、材質(zhì)不易描述等難點(diǎn)，基于參數(shù)化人體模型和人體語(yǔ)義分割的語(yǔ)義化分層人體表達(dá)、約束及求解方式，在提升人體三維重建精度的同時(shí)，實(shí)現(xiàn)了人體動(dòng)態(tài)三維信息的多層語(yǔ)義化重建。在數(shù)據(jù)處理方面，隨著AI能力的滲透釋放，2019年學(xué)界出現(xiàn)較多基于單目RGB進(jìn)行深度估計(jì)、人體建模、環(huán)境建模的學(xué)術(shù)論文，并開(kāi)始快速進(jìn)行技術(shù)產(chǎn)業(yè)化推進(jìn)。AI與三維重建技術(shù)的融合創(chuàng)新使二維到三維圖像轉(zhuǎn)化以及三維場(chǎng)景理解成為可能。通過(guò)海量真實(shí)三維重建數(shù)據(jù)的訓(xùn)練，能夠?qū)崿F(xiàn)單目深度圖像估算，通過(guò)二維照片估算出真實(shí)空間的三維深度數(shù)據(jù)，從而生成準(zhǔn)確的 3D 模型。借助點(diǎn)云金字塔模型提取出三維點(diǎn)云在多個(gè)尺度上的局部特征，再通過(guò)圖模型的三維點(diǎn)云語(yǔ)義分割和特征聚合，可完成三維點(diǎn)云體素級(jí)別的分類并最終實(shí)現(xiàn)基于三維點(diǎn)云數(shù)據(jù)的場(chǎng)景理解。

沉浸式聲場(chǎng)

沉浸聲場(chǎng)尚待發(fā)掘，如聽(tīng)音辨位、空間混響、通感移覺(jué)等成為發(fā)展重點(diǎn)。虛擬現(xiàn)實(shí)沉浸體驗(yàn)的進(jìn)階提升有賴于對(duì)視覺(jué)、聽(tīng)覺(jué)等多感官通道一致性與關(guān)聯(lián)性的強(qiáng)化。由于周邊環(huán)境、頭耳構(gòu)型等多重因素會(huì)影響雙耳聽(tīng)覺(jué)聞聲辨位，人們通過(guò)轉(zhuǎn)頭尋視聲源，以消除定位判定的模糊性。虛擬現(xiàn)實(shí)可結(jié)合用戶頭部追蹤特性，解決數(shù)字內(nèi)容長(zhǎng)久以來(lái)雙耳聽(tīng)覺(jué)的問(wèn)題。基于多通道3D全景聲場(chǎng)拾音技術(shù)（Ambisonics），聲音表現(xiàn)可依據(jù)用戶頭動(dòng)情況進(jìn)行動(dòng)態(tài)解碼，虛擬現(xiàn)實(shí)用戶即可實(shí)現(xiàn)更加精準(zhǔn)的聽(tīng)音辨位。另外，耳機(jī)佩戴致使 3D 全景聲被“壓扁”，如何解決因聲音高低位置出現(xiàn)的辨位失真成為關(guān)鍵問(wèn)題。目前，各大巨頭對(duì)沉浸聲場(chǎng)積極投入，并結(jié)合人體 3D 掃描開(kāi)始構(gòu)建差異化的頭部相關(guān)傳遞函數(shù)（HRTF）數(shù)據(jù)庫(kù)，旨在進(jìn)一步實(shí)現(xiàn)虛擬現(xiàn)實(shí)聲音的“私人定制”。由于游戲等應(yīng)用僅可準(zhǔn)確渲染直達(dá)聲，缺少對(duì)房間聲學(xué)中早期反射和混響的逼真模擬。在混響聲模擬技術(shù)方面，以往開(kāi)發(fā)人員須將混響手工添加至虛擬環(huán)境中的各個(gè)位置，操作修改復(fù)雜耗時(shí)，對(duì)算力與內(nèi)存資源需求較高，且因各聲學(xué)響應(yīng)預(yù)先計(jì)算，僅用于結(jié)構(gòu)保持固定的靜態(tài)環(huán)境。

當(dāng)前，F(xiàn)acebook等企業(yè)在房間聲學(xué)上取得了一定成果，混響聲可根據(jù)環(huán)境的幾何形狀自動(dòng)精準(zhǔn)生成，且符合實(shí)時(shí)虛擬現(xiàn)實(shí)應(yīng)用嚴(yán)格要求的計(jì)算和內(nèi)存預(yù)算，同時(shí)實(shí)現(xiàn)了隨環(huán)境空間構(gòu)型變化的動(dòng)態(tài)混響聲模擬，如VR密室等探秘游戲。

總體看感知交互領(lǐng)域國(guó)內(nèi)外存在一定差距，且差距呈現(xiàn)擴(kuò)大趨勢(shì)。

4 渲染處理

渲染處理主要涉及兩部分，一是內(nèi)容渲染（生產(chǎn)過(guò)程），在內(nèi)容制作過(guò)程中將三維虛擬空間場(chǎng)景投影到平面形成平面圖像的過(guò)程。二是終端渲染（展示過(guò)程），即對(duì)內(nèi)容渲染生成的平面圖像進(jìn)行光學(xué)畸變、色散校正，以及根據(jù)用戶姿態(tài)進(jìn)行插幀的處理過(guò)程。所有的渲染技術(shù)旨在提升渲染性能，以小的開(kāi)銷來(lái)渲染更高分辨率、達(dá)成用戶可感知的細(xì)節(jié)內(nèi)容。其中，VR 渲染關(guān)鍵在于復(fù)雜的內(nèi)容運(yùn)算，如兩倍于普通3D應(yīng)用的GPU運(yùn)算量、實(shí)時(shí)光影效果等，AR（MR）渲染技術(shù)與VR基本一致，但應(yīng)用場(chǎng)景側(cè)重于與現(xiàn)實(shí)世界的融合，如虛實(shí)遮擋、光影渲染、材質(zhì)反光渲染等。未來(lái)，虛擬現(xiàn)實(shí)渲染技術(shù)將持續(xù)向更加豐富、逼真的沉浸體驗(yàn)方向發(fā)展，因此，在硬件能力、成本和功耗制約及 2020 年前后 5G 商用的情況下，注視點(diǎn)渲染、云端渲染、渲染專用芯片、光場(chǎng)渲染等有望成為業(yè)界主流。

注視點(diǎn)渲染

注視點(diǎn)渲染（Foveated Rendering）基于人眼由中心向外圍視覺(jué)感知逐漸模糊的生理特性，搭配眼球追蹤技術(shù)，在不影響用戶體驗(yàn)的情況下，顯著降低注視點(diǎn)四周的渲染負(fù)載，最多可減少近80%畫面渲染。除注視點(diǎn)渲染突出的技術(shù)成效外，由于該技術(shù)與MultiView、多分辨率渲染、眼球追蹤、實(shí)時(shí)路徑追蹤、注視點(diǎn)傳輸以及可減少視覺(jué)偽影的注視點(diǎn)圖像處理等熱點(diǎn)技術(shù)交織關(guān)聯(lián)。

基于眼球追蹤的注視點(diǎn)渲染與注視點(diǎn)光學(xué)成為熱點(diǎn)技術(shù)架構(gòu)。由于提供高分辨率與色彩視覺(jué)的視錐細(xì)胞集中分布在人眼最中心區(qū)域（Fovea），眼球中央向外的區(qū)域視覺(jué)感知加速模糊（30°內(nèi)每遠(yuǎn)離 2.5°視覺(jué)分辨率降低一半），業(yè)界據(jù)此提出注視點(diǎn)渲染技術(shù)，通過(guò)對(duì)視場(chǎng)角內(nèi)各部分畫面進(jìn)行差異化渲染，顯著節(jié)省算力開(kāi)銷。2020年10月Facebook發(fā)售第二代VR一體機(jī) Quest 2，新增動(dòng)態(tài)固定注視點(diǎn)功能（Dynamic Fixed Foveated Rendering, DFFR），系統(tǒng)可根據(jù)GPU幀率高低自動(dòng)決定是否觸發(fā)固定注視點(diǎn)渲染。此外，注視點(diǎn)光學(xué)通過(guò)組合低分辨率/大FOV（60+°）與高分辨率/小FOV（20°）兩個(gè)顯示系統(tǒng)，且以手機(jī)面板與微顯示器或兩個(gè)不同分辨率的微機(jī)電（MEMS）掃描顯示系統(tǒng)為常見(jiàn)搭配，旨在實(shí)現(xiàn)用戶體驗(yàn)分辨率不因渲染算力與顯示像素?cái)?shù)減少而降低。當(dāng)前，注視點(diǎn)渲染與注視點(diǎn)光學(xué)日益成為支撐上述目標(biāo)的焦點(diǎn)性技術(shù)架構(gòu)已成為時(shí)下技術(shù)產(chǎn)業(yè)化的主攻方向。

圖12 各類注視點(diǎn)技術(shù)基本情況

云渲染

云渲染聚焦云網(wǎng)邊端的協(xié)同渲染，時(shí)延不確定性成為關(guān)鍵技術(shù)挑戰(zhàn)。將虛擬現(xiàn)實(shí)交互應(yīng)用所須的渲染能力導(dǎo)入云端，有助于降低終端配置成本，幫助用戶在移動(dòng)頭顯平臺(tái)獲得媲美高價(jià)PC級(jí)的渲染質(zhì)量。

在云化架構(gòu)的引領(lǐng)下，各類內(nèi)容應(yīng)用可更便捷地適配差異化的終端設(shè)備，也有助于實(shí)施更嚴(yán)格的內(nèi)容版權(quán)保護(hù)措施，遏制內(nèi)容盜版，緩解用戶體驗(yàn)痛點(diǎn)清單中的部分問(wèn)題。本地渲染與云渲染并非完全對(duì)立，相比單機(jī)版渲染依賴終端完成，云渲染并非完全依靠云側(cè)進(jìn)行，要解決的是云網(wǎng)邊端協(xié)同分工，旨在實(shí)現(xiàn)云網(wǎng)協(xié)同。當(dāng)前，針對(duì)時(shí)延、帶寬、丟包、抖動(dòng)等技術(shù)挑戰(zhàn)，業(yè)界通過(guò)調(diào)節(jié)CPU與GPU協(xié)同編碼、前向糾錯(cuò)率、緩沖區(qū)大小等方式實(shí)現(xiàn)QoS保障。除流媒體QoS視角外，ATW/ASW成為虛擬現(xiàn)實(shí)渲染標(biāo)配的“棄幀保險(xiǎn)”，由于ATW導(dǎo)致視覺(jué)黑邊，可通過(guò)擴(kuò)大渲染面積予以解決。

此外，在虛擬現(xiàn)實(shí)體驗(yàn)過(guò)程中用戶即便沒(méi)有位移，眼睛亦會(huì)發(fā)生位置改變，因而引入ASW，前者適用于遠(yuǎn)景靜物，后者側(cè)重近景動(dòng)畫。下圖為中國(guó)移動(dòng) 5G 聯(lián)合創(chuàng)新中心《5G云XR端到端能力需求研究報(bào)告》給出的數(shù)據(jù)。

圖13 基于時(shí)延不確定性的云渲染情況示意

人工智能

人工智能將成為虛擬現(xiàn)實(shí)渲染質(zhì)量與效能的倍增器與調(diào)和劑。當(dāng)前，業(yè)界日益聚焦深度學(xué)習(xí)渲染這一熱點(diǎn)領(lǐng)域，以期針對(duì)多樣化的業(yè)務(wù)場(chǎng)景，解鎖平衡質(zhì)量、速度、能耗、帶寬、成本等多維渲染指標(biāo)間的技術(shù)定式。

在渲染質(zhì)量方面，比之基于傳統(tǒng)渲染軟硬件架構(gòu)的超采樣（SSAA）、多重采樣（MSAA）、快速近似（FXAA）、子像素增強(qiáng)（SMAA）、覆蓋采樣（CSAA）、時(shí)間性抗鋸齒（TXAA）等抗鋸齒技術(shù)，在 2018 年英偉達(dá)發(fā)布 GeForce RTX 20 系列顯卡中，推出了包含深度學(xué)習(xí)超采樣（DLSS）功能的驅(qū)動(dòng)程序，通過(guò)以較低分辨率渲染圖像再經(jīng)AI算法填充像素的方式，顯著提升了畫面精細(xì)程度。

在渲染效能方面，為在移動(dòng)終端平臺(tái)加載高質(zhì)量的虛擬現(xiàn)實(shí)沉浸體驗(yàn)，業(yè)界結(jié)合深度學(xué)習(xí)與人眼注視點(diǎn)特性，積極探索在不影響畫質(zhì)感知的情況下，如何進(jìn)一步優(yōu)化渲染效能的技術(shù)路徑。臉書提出一種基于AI的注視點(diǎn)渲染系統(tǒng)DeepFovea，利用生成對(duì)抗網(wǎng)絡(luò)（GAN）的新近研究進(jìn)展，通過(guò)饋送數(shù)百萬(wàn)個(gè)真實(shí)視頻片段模擬注視點(diǎn)外圍像素密度降低來(lái)訓(xùn)練 DeepFovea 網(wǎng)絡(luò)，GAN 的設(shè)計(jì)有助于神經(jīng)網(wǎng)絡(luò)根據(jù)訓(xùn)練視頻的統(tǒng)計(jì)信息來(lái)補(bǔ)缺細(xì)節(jié)，進(jìn)而得到可基于稀疏輸入生成自然視頻片段的渲染系統(tǒng)。測(cè)試顯示該方案可將渲染計(jì)算負(fù)載降低約十倍，且能夠管理外圍視場(chǎng)的閃爍、鋸齒和其他視頻偽影。

在圖像預(yù)處理方面，預(yù)先對(duì)圖像進(jìn)行降噪處理有助于提升后續(xù)圖像分割、目標(biāo)識(shí)別、邊緣提取等任務(wù)的實(shí)際效果，與傳統(tǒng)降噪方法相比，深度學(xué)習(xí)降噪可獲得更優(yōu)的峰值信噪比（PSNR）與結(jié)構(gòu)相似性（SSIM），如英偉達(dá) OptiX 6.0 采用人工智能加速高性能降噪處理，從而減少高保真圖像渲染時(shí)間。

在端云協(xié)同架構(gòu)方面，隨著電信運(yùn)營(yíng)商云化虛擬現(xiàn)實(shí)發(fā)展推廣，針對(duì)多樣化的應(yīng)用場(chǎng)景與網(wǎng)絡(luò)環(huán)境，人工智能有望成為渲染配置自優(yōu)化的重要探索。

總體看，在渲染領(lǐng)域，國(guó)內(nèi)外差距顯著，當(dāng)前注視點(diǎn)技術(shù)和人工智能方面主要是跟隨為主，但是國(guó)內(nèi)已經(jīng)有企業(yè)開(kāi)始積極投入。

5 網(wǎng)絡(luò)傳輸

面向虛擬現(xiàn)實(shí)的網(wǎng)絡(luò)傳輸強(qiáng)調(diào)基于針對(duì)虛擬現(xiàn)實(shí)帶寬、時(shí)延雙敏感的業(yè)務(wù)特性，優(yōu)化適配各類網(wǎng)絡(luò)傳輸技術(shù)，探索網(wǎng)聯(lián)式云化虛擬現(xiàn)實(shí)技術(shù)路徑，旨在保證不斷進(jìn)階視覺(jué)沉浸性與內(nèi)容交互性的同時(shí)，著力提升用戶使用移動(dòng)性，降低大眾軟硬件購(gòu)置成本，加速虛擬現(xiàn)實(shí)普及推廣。與VR相比，由于AR側(cè)重與真實(shí)環(huán)境的人機(jī)交互，須將攝像頭捕捉到的圖片/視頻上傳云端，云端實(shí)時(shí)下載需要增強(qiáng)疊加顯示的虛擬信息，因此需求更多的上行帶寬。鑒于虛擬現(xiàn)實(shí)網(wǎng)絡(luò)傳輸涉及接入網(wǎng)、承載網(wǎng)、數(shù)據(jù)中心、網(wǎng)絡(luò)運(yùn)維與監(jiān)控及投影、編碼壓縮等技術(shù)領(lǐng)域，有關(guān)技術(shù)產(chǎn)業(yè)化進(jìn)程。

和超高清類似在接入網(wǎng)、承載網(wǎng)等方面相關(guān)技術(shù)，如網(wǎng)絡(luò)切片，邊緣計(jì)算等在此不詳述，只討論XR相關(guān)的部分。

在數(shù)據(jù)編解碼傳輸方面，傳輸預(yù)處理，目前虛擬現(xiàn)實(shí)視頻編碼仍主要使用HEVC，針對(duì)VR 360度視頻的編碼已經(jīng)標(biāo)準(zhǔn)化，編碼工具已經(jīng)成熟。MPEG 等標(biāo)準(zhǔn)組織的研究表明，對(duì)應(yīng)于HEVC 的下一代編碼技術(shù)（H.266）的壓縮效率可提升30%。VR傳輸方案兩種方式，一種是全視角（等質(zhì)量）傳輸，終端接收到的一幀數(shù)據(jù)中包含了用戶可看到的空間球?qū)?yīng)的全部視角信息，屬于用“帶寬換時(shí)延”的做法，很大一部分傳送到用戶端的內(nèi)容數(shù)據(jù)被浪費(fèi)。另一種是FOV傳輸技術(shù)漸漸成為主流，終端接收到的一幀數(shù)據(jù)是根據(jù)用戶視角姿態(tài)構(gòu)造對(duì)應(yīng)的幀數(shù)據(jù)，終端判斷用戶轉(zhuǎn)頭改變視角的姿態(tài)位置，并發(fā)送至云端，請(qǐng)求新姿態(tài)對(duì)應(yīng)的幀數(shù)據(jù)。該技術(shù)對(duì)帶寬要求降低，時(shí)延要求變高，屬于“時(shí)延換帶寬”?，F(xiàn)階段FOV傳輸技術(shù)存在以下三條發(fā)展路徑，一是Facebook提出的金字塔模型，即在內(nèi)容準(zhǔn)備側(cè)，針對(duì)每個(gè)視角準(zhǔn)備一個(gè)全視角的質(zhì)量不均勻的碼流，模型底部為高質(zhì)量用戶視角區(qū)域，隨著金字塔高度的上升，其他區(qū)域通過(guò)亞采樣降低分辨率。終端根據(jù)用戶當(dāng)前視角姿態(tài)位置， 向服務(wù)器請(qǐng)求對(duì)應(yīng)的視角文件。缺點(diǎn)是多耗費(fèi)頭端 GPU 編碼、CDN 存儲(chǔ)和傳輸帶寬。二是基于視頻分塊（Tile）的 TWS 傳輸方案，在內(nèi)容準(zhǔn)備側(cè)，將VR畫面劃分為多個(gè)Tile，每個(gè)區(qū)域?qū)?yīng)一個(gè)可以獨(dú)立解碼的碼流，同時(shí)準(zhǔn)備一個(gè)低質(zhì)量全視角的 VR 碼流，根據(jù)用戶視點(diǎn)和視角只傳輸觀看范圍內(nèi)容的高質(zhì)量Tile視頻分塊和最低質(zhì)量全視角視頻。該方案被 MPEG 組織 OMAF 工作組采納，并寫入了新近標(biāo)準(zhǔn)文檔《ISO/IEC FDIS 23090-2 Omnidirectional Media Format》中，被推薦采用。三是 FOV+方案，F(xiàn)OV+不是全視角編碼，而是不同視點(diǎn)的剪切視頻流編碼，通過(guò)傳輸比FOV角度略大畫面來(lái)應(yīng)對(duì)網(wǎng)絡(luò)和處理時(shí)延，降低交互體驗(yàn)對(duì)網(wǎng)絡(luò)的要求。

總體看，在網(wǎng)絡(luò)傳輸方面我國(guó)處在世界領(lǐng)先水平。

以上從近眼顯示、內(nèi)容制作、感知交互、渲染處理、網(wǎng)絡(luò)傳輸?shù)确矫鎸?duì)XR關(guān)鍵技術(shù)的分析，深度有限，內(nèi)容相對(duì)較全面?？傮w看國(guó)內(nèi)在感知交互和渲染處理領(lǐng)域發(fā)展滯后于國(guó)外，尤其技術(shù)前瞻預(yù)研方面，需要大力加強(qiáng)。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-793921.html