目錄
0 XR在Web3里的作用
1 XR的概念、特征、技術(shù)、設(shè)備、平臺(tái)、應(yīng)用和工具
1.1 VR的概念、特征和技術(shù)
1.2 AR的概念、特征和技術(shù)
1.2 XR的設(shè)備、平臺(tái)、應(yīng)用和工具
2 選擇XR的方法
2.1 何時(shí)使用VR
2.2 何時(shí)使用AR
3 開發(fā)XR作品的4個(gè)步驟
4 成為XR構(gòu)建者的路徑
4.1 三種開發(fā)XR作品的方式
4.2 從2D到3D的轉(zhuǎn)換
致謝
其他參考資料
我曾在?【實(shí)戰(zhàn)技能】Google I/O 2022大會(huì)AI/ML給開發(fā)者的啟發(fā) 里提到ML在ARCore的應(yīng)用，也就是機(jī)器學(xué)習(xí)在AR平臺(tái)的應(yīng)用。
今天為大家介紹虛擬現(xiàn)實(shí)技術(shù)XR在Web3的作用，XR的概念、特征、技術(shù)、設(shè)備、平臺(tái)、應(yīng)用和工具，選擇XR技術(shù)的方法、開發(fā)XR作品的4個(gè)步驟以及成為XR開發(fā)者的路徑，希望能幫助新手在Web3時(shí)代成為優(yōu)秀的XR創(chuàng)建者。
0 XR在Web3里的作用
先簡(jiǎn)單解釋XR的相關(guān)概念。
VR =?虛擬現(xiàn)實(shí)（計(jì)算機(jī)生成的虛擬世界）
AR =?增強(qiáng)現(xiàn)實(shí)（增強(qiáng)物理世界）
MR =?混合現(xiàn)實(shí)（包括AR+AV，通常不是VR）
XR =?擴(kuò)展現(xiàn)實(shí)（X是A、V或M的通配符）
對(duì)熱門概念Web3，相信大家都有一些了解
Web3 = Read + Write+ Own
XR在Web3技術(shù)中屬于人機(jī)交互層，通過構(gòu)建虛擬世界，可以為用戶帶來更豐富的體驗(yàn)和更多的應(yīng)用場(chǎng)景。
1 XR的概念、特征、技術(shù)、設(shè)備、平臺(tái)、應(yīng)用和工具
1.1 VR的概念、特征和技術(shù)
VR Virtual?Reality虛擬現(xiàn)實(shí)：虛實(shí)獨(dú)立，具有沉浸式3D界面，是指在計(jì)算機(jī)軟硬件及各種傳感器(如高性能計(jì)算機(jī)、圖形圖像生成系統(tǒng)，以及特制服裝、特制手套、特別眼鏡等)的支持下生成一個(gè)逼真的、三維的，具有一定的視、聽、觸、嗅等感知能力的環(huán)境，以便用戶在這些軟硬件設(shè)備的支持下，能以簡(jiǎn)捷、自然的方法與計(jì)算機(jī)所生成的“虛擬”世界中的對(duì)象進(jìn)行交互作用。
特征是：
- 可以探索一些三維立體視圖的虛擬環(huán)境
- 保護(hù)空間互動(dòng)與聲音的沉浸式任務(wù)
- 具有可信的體驗(yàn)，不需要逼真的效果
概念包括：自主性/機(jī)構(gòu)、存在感和沉浸感、體現(xiàn)與化身、認(rèn)知與移情、本體感覺與暈動(dòng)癥、觸覺與偽觸覺、邊界與重定向行走等。
技術(shù)包括：360照片和視頻、立體顯示、洞穴CAVE（?一個(gè)虛擬現(xiàn)實(shí)空間）、3 DOF與6 DOF（Degrees?of?freedom自由度）跟蹤、由外向內(nèi)與由內(nèi)向外追蹤、手部跟蹤和空間音頻等。
高級(jí)VR技術(shù)包括程序生成、重定向行走和自定義控制器。
1.2 AR的概念、特征和技術(shù)
AR?Augmented Reality增強(qiáng)現(xiàn)實(shí)：虛實(shí)結(jié)合，融合真實(shí)和虛擬內(nèi)容。借助光電顯示技術(shù)、交互技術(shù)、計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并通過傳感技術(shù)將虛擬對(duì)象準(zhǔn)確地“放置”在真實(shí)環(huán)境中，利用顯示設(shè)備將產(chǎn)生的虛擬對(duì)象和真實(shí)環(huán)境融為一體，呈現(xiàn)給用戶一個(gè)感官效果真實(shí)的新環(huán)境，使用戶從感官效果上確信虛擬環(huán)境是其周圍真實(shí)環(huán)境的有機(jī)組成部分。
特征是：
- 是一個(gè)可以查看與現(xiàn)實(shí)世界融合的虛擬物體的融合環(huán)境
- 可實(shí)現(xiàn)虛擬物體對(duì)現(xiàn)實(shí)世界的信息進(jìn)行編碼的信息任務(wù)
- 具有全息圖幻覺，虛擬物體看起來好像是真實(shí)世界的一部分
概念包括：增強(qiáng)與調(diào)解、強(qiáng)的AR與弱的AR、基于標(biāo)記的AR與無標(biāo)記的AR、
SLAM（Simultaneous Localization And Mapping）與VIO（Visual Inertial Odometry）同時(shí)定位和繪圖與視覺慣性測(cè)距法、跟蹤和注冊(cè)、視野、平面檢測(cè)與物體識(shí)別。
技術(shù)包括：標(biāo)志物跟蹤、運(yùn)動(dòng)跟蹤、身體跟蹤、空間映射、場(chǎng)景理解、投影映射和光線估計(jì)。
高級(jí)AR包括三維重建、物體跟蹤和定制顯示器。
1.2 XR的設(shè)備、平臺(tái)、應(yīng)用和工具
設(shè)備
獨(dú)立式和內(nèi)置式有：Quest, HoloLens, …
拴住的/適配器式的有：Cardboard, Rift, VIVE, ...
平臺(tái)
專有的有：Oculus, VIVE, Magic Leap, …
跨平臺(tái)的有：SteamVR, WMR, WebXR, …
應(yīng)用
XR應(yīng)用 ：Beat Saber, Snapchat, …
具有XR視角/模式的應(yīng)用：IKEA, Amazon Shopping, ...
工具
設(shè)計(jì)工具：Tilt Brush, Quill, Aero, …等
開發(fā)工具有：A-Frame, Unity, Unreal, …等
圖1 AR的平臺(tái)和設(shè)備
圖片來源：Dr.Michael Nebeling
圖2 VR的平臺(tái)和設(shè)備
圖片來源：Dr.Michael Nebeling
2 選擇XR的方法
2.1 何時(shí)使用VR
如果應(yīng)用情景包括有以下特點(diǎn)，VR是理想選擇
- 大量的視覺元素
- 3D空間互動(dòng)
- 物理操作
- 無限分辨率的互動(dòng)
應(yīng)用情景如果包含以下特點(diǎn)時(shí)，VR就不是理想的選擇了
- 許多非視覺元素
- 需要閱讀或輸入大量的文字
- 需要觸覺反饋
- 需要與現(xiàn)實(shí)世界的聯(lián)系
2.2 何時(shí)使用AR
如果應(yīng)用情景包括有以下特點(diǎn)，AR是理想選擇
- 一些視覺元素
- 三維空間互動(dòng)
- 物理操作
- 1:1或更小比例的互動(dòng)
應(yīng)用情景如果包含以下特點(diǎn)時(shí)，AR就不是理想的選擇了
- 許多非視覺元素
- 大量的文字需要閱讀或輸入
- 需要觸覺反饋
- 與現(xiàn)實(shí)世界沒有聯(lián)系
3 開發(fā)XR作品的4個(gè)步驟
開發(fā)XR作品和開發(fā)其他軟件作品類似，XR的特色在于要開發(fā)和測(cè)試3D。
- 尋找需求和頭腦風(fēng)暴：通過場(chǎng)景和用例、角色和競(jìng)爭(zhēng)對(duì)手來確定問題的框架，可采用故事地圖確定作品想要支持的目標(biāo)和任務(wù)。
- 故事板和原型設(shè)計(jì)：使用物理（紙質(zhì)）和數(shù)字工具創(chuàng)建模擬模型，包括XR設(shè)備，這是做好XR作品的關(guān)鍵一步。這個(gè)過程中需要基于內(nèi)容（環(huán)境和3D角色）、上下文（環(huán)境和3D角色）和故事（3D角色和互動(dòng)）設(shè)計(jì)用戶體驗(yàn)。
- 開發(fā)和測(cè)試 3D：使用WebXR、Unity/Unreal或本地SDK創(chuàng)建應(yīng)用程序，并開展用戶測(cè)試。
- 部署和分析：在XR設(shè)備上部署應(yīng)用程序，在使用過程中收集數(shù)據(jù)，驗(yàn)證功能。
4 成為XR構(gòu)建者的路徑
對(duì)具備軟件開發(fā)經(jīng)驗(yàn)的開發(fā)者來說，如何成為XR構(gòu)建者呢？
4.1 三種開發(fā)XR作品的方式
圖3 成為XR構(gòu)建者的路徑
圖片來源：Dr.Michael Nebeling
如圖3所示，目前有三種主要的XR開發(fā)方法：使用WebXR進(jìn)行基于Web的開發(fā)，使用Unity和Unreal進(jìn)行跨平臺(tái)開發(fā)，以及使用特定平臺(tái)的SDK進(jìn)行原生開發(fā)，如Oculus、VIVE、ARKit或ARCore。
對(duì)于不同背景的開發(fā)者，學(xué)習(xí)曲線有些不一樣，似乎具有游戲開發(fā)背景和移動(dòng)端開發(fā)背景的開發(fā)者更有優(yōu)勢(shì)。：）
基于Web： 基于WebXR標(biāo)準(zhǔn)建立網(wǎng)絡(luò)技術(shù)來創(chuàng)建AR/VR應(yīng)用程序。開發(fā)者使用常見的Web語言、HTML、CSS和JavaScript，以及專門為開發(fā)AR/VR顯示和跟蹤技術(shù)而創(chuàng)建的新庫就可以為各種AR和VR設(shè)備創(chuàng)建應(yīng)用程序。這與使用Web技術(shù)構(gòu)建在安卓和iOS設(shè)備上運(yùn)行的移動(dòng)應(yīng)用程序方法類似。
跨平臺(tái)： 即使用一個(gè)開發(fā)工具包，使用一套通用的方法和工具針對(duì)多個(gè)AR/VR設(shè)備進(jìn)行開發(fā)。Unity和Unreal已經(jīng)發(fā)展成為復(fù)雜的AR/VR開發(fā)工具箱，被廣泛使用。其中Unity對(duì)許多AR/VR顯示和跟蹤技術(shù)有很多內(nèi)置支持。為開發(fā)交互行為，Unity需要C#或JavaScript，而Unreal需要C++或其視覺腳本語言Blueprint。
原生開發(fā)： 即開發(fā)者使用一個(gè)特定的軟件開發(fā)工具包（SDK）來開發(fā)特定的AR或VR設(shè)備。開發(fā)者如果熟悉相關(guān)的編程語言和平臺(tái)，如Windows的C#（WMR）或C++（Oculus/VIVE），Android的Java（ARCore），或iOS的Swift（ARKit），就很容易開發(fā)出作品。通常如果遇到需要開發(fā)特定的AR/VR應(yīng)用程序所需要的功能，并且只在單一平臺(tái)上可用，我們可以首選原生開發(fā)這種方法。
4.2 從2D到3D的轉(zhuǎn)換
開發(fā)者要完成從2D到3D的轉(zhuǎn)換，需要理解以下內(nèi)容。
1 二維布局與三維幾何
- 變換=位置、旋轉(zhuǎn)、比例
- 左手與右手的坐標(biāo)系統(tǒng)（Unity與A-Frame）
2 二維設(shè)計(jì)vs.三維材料
- 材質(zhì)是紋理貼圖的加強(qiáng)版
- 關(guān)于材質(zhì)還有很多要學(xué)習(xí)的，例如，基于物理的渲染（PBR）。
3 3D模型與360照片
- 開發(fā)者不需要成為一個(gè)3D藝術(shù)家，有很多方法可以獲得3D模型。例如可以在以下網(wǎng)站Sketchfab - The best 3D viewer on the web,?3D Warehouse,Clara.io: Online 3D Modeling, 3D Rendering, Free 3D Models,Mixamo尋找3D模型，可使用Blender,Tinkercad,Maya or Maya LT,3ds Max,Cinema4D構(gòu)建3D模型。
- 360照片是環(huán)境的三維模型的很好的占位符，可使用Google的Tour Creator，微軟的Sketch 360等工具構(gòu)建。
關(guān)于其他開發(fā)XR的具體細(xì)節(jié)，如開發(fā)VR應(yīng)用的內(nèi)容和交互以及開發(fā)基于標(biāo)記的AR和五標(biāo)記的AR的區(qū)別，以后有機(jī)會(huì)再和大家交流。
當(dāng)然，要做好XR作品，掌握熟練的技術(shù)是一方面，另一方面還需要從人、任務(wù)和技術(shù)的角度去思考和設(shè)計(jì)用戶體驗(yàn)和交互設(shè)計(jì)。
致謝
感謝Dr.Michael Nebeling提供的英文圖片文章來源：http://www.zghlxwxcb.cn/news/detail-499377.html
其他參考資料
- 工業(yè)和信息化部、教育部、文化和旅游部、國(guó)家廣播電視總局、國(guó)家體育總局印發(fā)《虛擬現(xiàn)實(shí)與行業(yè)應(yīng)用融合發(fā)展行動(dòng)計(jì)劃（2022-2026年）》（鏈接：http://www.gov.cn/zhengce/zhengceku/2022-11/01/5723273/files/23f1b69dcf8b4923a20bd6743022a56f.pdf
- 關(guān)于印發(fā)《上海市“元宇宙”關(guān)鍵技術(shù)攻關(guān)行動(dòng)方案（2023—2025年）》的通知_規(guī)劃計(jì)劃_上海市科學(xué)技術(shù)委員會(huì)
希望以上內(nèi)容能幫助開發(fā)者找到成為XR創(chuàng)建者的路徑，期待大家早日做出優(yōu)秀的作品。文章來源地址http://www.zghlxwxcb.cn/news/detail-499377.html
到了這里，關(guān)于【新手上路】如何在Web3時(shí)代成為XR創(chuàng)建者的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
