本文旨在介紹虛擬現(xiàn)實中眼動跟蹤的新興領(lǐng)域。虛擬現(xiàn)實本身是消費市場上的一項新興技術(shù)，這將為研究創(chuàng)造許多新機會。它提供了一個高度沉浸的實驗室環(huán)境，并與現(xiàn)實密切相關(guān)。一個使用虛擬現(xiàn)實的實驗是在高度受控的環(huán)境中進(jìn)行的，可以收集關(guān)于受試者動作的更深入的信息。眼球跟蹤技術(shù)是一個多世紀(jì)前引入的，現(xiàn)在已經(jīng)成為心理學(xué)實驗中的一種成熟技術(shù)，但最近的發(fā)展使其具有多功能性，價格合理。結(jié)合這兩種技術(shù)，可以在半現(xiàn)實條件下前所未有地監(jiān)測和控制人類行為。

本文將以一個案例研究為例，探索在虛擬現(xiàn)實中使用眼睛跟蹤進(jìn)行實驗的方法和工具。在技術(shù)描述的同時，我們展示了該技術(shù)的有效性，并展示了在虛擬現(xiàn)實中使用眼睛跟蹤時可以獲得什么樣的結(jié)果。

它旨在引導(dǎo)讀者通過將虛擬現(xiàn)實與眼睛跟蹤相結(jié)合的過程進(jìn)入實驗室，并激發(fā)新實驗的想法。

引言

最近的技術(shù)進(jìn)步導(dǎo)致了虛擬現(xiàn)實技術(shù)的快速發(fā)展。虛擬現(xiàn)實技術(shù)的發(fā)展在一定程度上受到游戲行業(yè)的推動，游戲行業(yè)為商業(yè)目的大量生產(chǎn)虛擬現(xiàn)實套件。

因此，它被不斷地進(jìn)一步開發(fā)和改進(jìn)，從而獲得更高的分辨率、更高的刷新率和更大的視野。高性能顯示器、圖形卡和其他計算機硬件使得以合理的價格生產(chǎn)強大的虛擬現(xiàn)實工具包成為可能（虛擬現(xiàn)實學(xué)會，2017）。這些發(fā)展使虛擬現(xiàn)實成為一種非常有價值和更容易獲得的研究工具。

虛擬現(xiàn)實的優(yōu)點是控制良好的實驗裝置，同時仍然讓受試者自由移動，并將其放置在相對自然的環(huán)境中。就像在現(xiàn)實世界中一樣，受試者可以通過移動頭部向各個方向看。在頭部運動的同時，可以高精度測量與受試者位置相關(guān)的刺激位置。

事實上，可以實現(xiàn)全身運動，例如轉(zhuǎn)向物體，甚至走路。通過身體運動和提供給眼睛的圖像的同步，可以實現(xiàn)主體與虛擬環(huán)境的高度沉浸。通過向感官提供有關(guān)該環(huán)境的信息，受試者在非物理環(huán)境中獲得存在感（Mestre&Vercher，2011）。

這有助于與人工創(chuàng)建的刺激進(jìn)行更自然的交互。運動跟蹤允許記錄受試者的所有運動。因此，在受控條件下跟蹤行為，這些條件可以在多個試驗中相同。受試者對3D世界的更直觀探索以及受試者運動和環(huán)境變化之間的對應(yīng)關(guān)系提高了實驗范式的生態(tài)有效性。因此，虛擬現(xiàn)實的發(fā)展與在更少人工條件下進(jìn)行實驗的努力是一致的，這被認(rèn)為是真正理解認(rèn)知過程所必需的（Jungnickel和Gramann，2016）。

眼睛跟蹤是一種成熟的技術(shù)，廣泛用于研究人類認(rèn)知。20世紀(jì)初，它首次使用帶有指針的特殊隱形眼鏡（休伊，1908）。30年后，通過使用光束并記錄其在膠片上的反射，這項技術(shù)得到了優(yōu)化（Buswell，1938）。眼動研究的現(xiàn)代方法是在20世紀(jì)60年代發(fā)展起來的（Tatler、Wade、Kwan、Findlay和Velichkovsky，2010；Yarbus，1968），并從那時起得到進(jìn)一步完善。在過去幾年中，監(jiān)測眼球運動的確切方法發(fā)生了很大變化。如今，使用計算機視覺技術(shù)的基于視頻的系統(tǒng)占主導(dǎo)地位（Hansen和Ji，2010）。

由于為智能手機等設(shè)備開發(fā)了小型、高質(zhì)量的攝像頭，現(xiàn)在有可能擁有輕便、方便的眼球跟蹤系統(tǒng)，甚至可以安裝在虛擬現(xiàn)實耳機或便攜式眼鏡中。這些可以快速準(zhǔn)確地監(jiān)測眼球運動，提供大量數(shù)據(jù)。由于眼球運動與認(rèn)知之間的密切關(guān)系（Deubel&Schneider，1996；J.E.Hoffman&Subramaniam，1995），眼球跟蹤在各種實驗環(huán)境中受到越來越多的關(guān)注。隨著眼球跟蹤領(lǐng)域的技術(shù)進(jìn)步和研究量的增加，它現(xiàn)在已經(jīng)發(fā)展成為一種可以在各種裝置中有效地用于研究人類認(rèn)知過程的技術(shù)。

與經(jīng)典的眼球跟蹤相比，虛擬現(xiàn)實中的眼球跟蹤是一個相對較新且有希望的發(fā)展，它在本世紀(jì)初首次出現(xiàn)在文獻(xiàn)中（Duchowski等人，2000）。它為開展有關(guān)人類感知和行為的研究開辟了許多新的可能性。它為搜索者提供了以前無法使用的工具。

這些工具包括VR系統(tǒng)的全身運動跟蹤以及眼動跟蹤器的視線跟蹤。雖然受試者發(fā)現(xiàn)自己處于一個相對自然的環(huán)境中，對自己的動作和動作做出反應(yīng)，但所有實驗設(shè)置都可以具體控制。眼睛跟蹤和虛擬現(xiàn)實的結(jié)合使我們能夠在3D空間中計算受試者的凝視，并觀察受試者在會話期間的注視位置。與真實世界的眼睛跟蹤相反，在虛擬現(xiàn)實眼睛跟蹤中，很容易在三維空間中定義感興趣的區(qū)域，并及時跟蹤點，以確定觀察區(qū)域的時間。眼球跟蹤和虛擬現(xiàn)實技術(shù)的結(jié)合，具有更自然的刺激、更自然的運動、受控的環(huán)境和受控的數(shù)據(jù)采集等優(yōu)點，使得以一種徹底創(chuàng)新的方式回答許多研究問題成為可能。

本文將介紹虛擬現(xiàn)實中眼睛跟蹤的技術(shù)和實踐方面，旨在使其更廣泛、更容易實現(xiàn)。我們將簡要概述這種新的方法組合，并詳細(xì)描述如何在您自己的實驗室中設(shè)置和實現(xiàn)它。我們將研究該工具在研究環(huán)境中的使用場景，以及其優(yōu)點和潛在缺點。此外，我們將描述可以收集的數(shù)據(jù)類型。重點是使用帶有運動跟蹤器和內(nèi)置眼動跟蹤器的虛擬現(xiàn)實系統(tǒng)，因為這些是收集數(shù)據(jù)的主要方法?？梢允褂枚喾N軟件和硬件解決方案。

沒有任何關(guān)于使用最佳軟件或硬件的聲明，部分原因是我們的經(jīng)驗受到我們使用的硬件和軟件的偏見，部分原因是因為這是一個蓬勃發(fā)展的行業(yè)，經(jīng)常出現(xiàn)新的選擇。工具和軟件將通過適當(dāng)?shù)姆绞教峁ｉ喿x本文時，有關(guān)實現(xiàn)的一些技術(shù)方面可能已經(jīng)改變或變得更容易。目的是為這一領(lǐng)域的新手提供基本介紹和可能的指導(dǎo)。這些信息應(yīng)該有助于獲得一個良好的開端，我們的樣本數(shù)據(jù)可以向任何考慮使用這種技術(shù)進(jìn)行研究的人展示虛擬現(xiàn)實的巨大可能性，并為未來的實驗激發(fā)新的想法。

【方法】

【實驗裝置的組成】

在虛擬現(xiàn)實中使用眼睛跟蹤的完整實驗裝置包含許多部分。這里概述了典型設(shè)置的硬件和軟件組件。

VR硬件設(shè)置。

這包括頭戴式顯示器（HMD）、運動跟蹤器和與虛擬世界交互所需的控制器（圖1A）。Oculus 1和閥門公司以及HTC 2提供了一套完整的高品質(zhì)組件。另一種選擇是索尼3的PlayStation VR，您也可以使用Unity開發(fā)應(yīng)用程序（Unity Technologies，2017）。微軟還提供消費者虛擬現(xiàn)實耳機，您可以為其開發(fā)自己的應(yīng)用程序4。此外，還提供了僅使用智能手機屏幕和硬紙盒的簡單而廉價的解決方案5。然而，由于較低的刷新率、較低的計算能力以及到目前為止還沒有現(xiàn)有的眼球跟蹤解決方案，這些都不是研究的最佳選擇6。

軟件。

設(shè)計虛擬實驗的常用工具是Unity 7、Unreal Engine 8或Vizard 9。前兩個是游戲引擎，免費提供，而后一個更具體的虛擬現(xiàn)實。Unity使用JavaScript和C作為編程語言。Unreal使用C++并擁有一個可視化腳本系統(tǒng)。在Vizard中，使用Python編寫腳本。通過這三種方式，您可以創(chuàng)建簡單或復(fù)雜的3D環(huán)境，編寫不同對象行為的腳本，并提取有關(guān)主體行為的信息。

PC硬件。

盡管PC硬件在過去三十年中有了長足的發(fā)展，但當(dāng)前的虛擬現(xiàn)實應(yīng)用甚至測試了最新系統(tǒng)的計算能力。這尤其適用于渲染具有許多可能是動態(tài)對象、詳細(xì)紋理或照明變化的復(fù)雜場景。以高幀速率運行虛擬現(xiàn)實環(huán)境很重要，因為反應(yīng)滯后和抖動運動很容易導(dǎo)致受試者暈車。計算機通常用作眼動跟蹤器和虛擬現(xiàn)實硬件之間的接口，并用于收集有關(guān)受試者行為的所有數(shù)據(jù)。

?

眼動跟蹤器。

這些是專門為不同類型的頭戴而設(shè)計的。目前為頭盔顯示器提供眼動跟蹤器的公司有小學(xué)生實驗室（圖1C）10和Tobii 11。FOVE目前提供了一款已經(jīng)集成了眼動跟蹤器12的頭盔顯示器。

耳機。

這些可以減少來自外部的分心聲音，并支持強烈的沉浸感。當(dāng)然，它們也可以用于特定的聽覺實驗。聲音可以在3D空間中從不同的來源播放，因此音量可以根據(jù)主體轉(zhuǎn)動頭部的方式而變化（圖1A）。

電纜管理。

大多數(shù)虛擬現(xiàn)實設(shè)置涉及將頭盔顯示器（和眼動跟蹤器）連接到計算機的多條電纜。由于受試者通常在虛擬現(xiàn)實環(huán)境中移動，他們可能會被耳機的電纜纏住。這可以通過安裝一個簡單的電纜管理系統(tǒng)（圖1B）來避免，因此我們強烈建議安裝該系統(tǒng)。一些供應(yīng)商為HMD 13提供無線解決方案，這是一個很好的替代方案。然而，大多數(shù)頭盔顯示器眼睛跟蹤器仍需要某種電纜管理。一次性衛(wèi)生蓋。虛擬現(xiàn)實設(shè)置是在考慮單個客戶的情況下進(jìn)行的。然而，在實驗室環(huán)境中，許多人會使用相同的耳機。具體來說，耳機坐墊會接觸受試者的面部，溫暖會導(dǎo)致出汗。因此，為了有一個舒適的體驗，并增加衛(wèi)生程序，強烈建議使用耳機接觸受試者皮膚的一次性護(hù)蓋。

【虛擬現(xiàn)實中的運動病、疲勞和其他問題】?

運動病通常由視覺和前庭刺激之間的差異引起。例如，在船內(nèi)，由于眼睛看到穩(wěn)定的場景，但前庭系統(tǒng)檢測到運動，因此會引起暈船。

在虛擬現(xiàn)實中會出現(xiàn)相反的效果。在虛擬現(xiàn)實中，眼睛檢測場景的運動和玩家的明顯運動，而在大多數(shù)情況下，真實的人是站在椅子上。來自眼睛的輸入和來自前庭系統(tǒng)的輸入之間的這種差異導(dǎo)致了虛擬現(xiàn)實中運動病的主要部分。維護(hù)實驗所必需的功能，例如能夠四處走動或使用更大、更復(fù)雜的場景是很困難的。避免暈車的最簡單解決方案是設(shè)計一個虛擬環(huán)境，在那里受試者不必走路。在游戲虛擬現(xiàn)實中，最常見的走動方式是隱形傳態(tài)14，因為這可以通過減少感覺不匹配而導(dǎo)致輕微運動病的方式實現(xiàn)。然而，這不是一種非常自然的運動方式，因此許多研究問題都不需要這種選擇。另一種選擇是讓子對象在現(xiàn)實世界中的跑步機上行走，以便接收到的運動與虛擬現(xiàn)實中看到的運動相匹配。然而，這很難實現(xiàn)，尤其是當(dāng)主體可以自由地向各個方向移動時。一個解決方案是使用全方位跑步機，但這項技術(shù)還沒有很好的發(fā)展，而且相當(dāng)昂貴。

作為一種替代方法，可以讓主體坐在轉(zhuǎn)椅上自由旋轉(zhuǎn)，從而忽略真實空間中的平移。總的來說，關(guān)于虛擬現(xiàn)實中運動的最佳決定取決于一個人的實驗和他想回答的問題的類型。此外，該領(lǐng)域目前有大量的發(fā)展，并且經(jīng)常出現(xiàn)預(yù)防運動病的新想法。除了優(yōu)化虛擬現(xiàn)實中所需的動作外，調(diào)整3D環(huán)境和實驗設(shè)置的細(xì)節(jié)有助于將暈車降到最低。與傳統(tǒng)顯示器相比，虛擬現(xiàn)實中的子對象對小干擾更敏感，因為它們對現(xiàn)實有更高的期望。例如，電腦游戲的潛伏期可能為50ms或更高，但在虛擬現(xiàn)實中，超過15-20ms的潛伏期可能會導(dǎo)致嚴(yán)重的頭暈和惡心（Abras，2012）。這是因為虛擬現(xiàn)實中的主體假設(shè)虛擬世界遵循與真實世界相同的規(guī)則。因此，如果受試者轉(zhuǎn)頭，虛擬世界也會隨之發(fā)生輕微延遲，則會被視為干擾并導(dǎo)致疾病。除了延遲之外，不同的幀速率也會引起惡心。因此，作為虛擬現(xiàn)實實驗開發(fā)人員，在決定實驗場景的復(fù)雜性時，應(yīng)該記住幀速率。

除了暈車，對大多數(shù)受試者來說，長時間戴著耳機也會非常累人。因為它有點重，所以會將受試者的頭部向前拉，有人抱怨說頸部疼痛或鼻子受壓。此外，在溫暖的夏天，耳機下會變得很熱，使大多數(shù)受試者出汗。為了使受試者保持舒適，應(yīng)提供足夠的空調(diào)。虛擬現(xiàn)實的另一個挑戰(zhàn)是視覺和注意力之間的差異（圖2）。這被稱為焦點適應(yīng)沖突（D.M.Hoffman、Girshick、Akeley和Banks，2008）。在現(xiàn)實世界中，我們的大腦接收來自會聚和眼睛晶狀體焦點的深度信息。相反，我們在虛擬現(xiàn)實中只接收到關(guān)于收斂的信息。由于虛擬場景僅在固定距離的單個平面上呈現(xiàn)，即HMD顯示，因此無法從鏡頭的焦點中提取任何深度信息。對于大多數(shù)人來說，這不是一個大問題，盡管一些人無法單獨從收斂中提取很多深度信息，因此3D體驗較弱。它還可能導(dǎo)致眼睛疲勞和疲勞（Forsyth，2015）。額外缺乏焦點模糊可能會導(dǎo)致對虛擬環(huán)境中對象的大小和距離的不同感知（Eggleston、Janson和Aldrich，1996）。因此，目前的技術(shù)可能仍然限制了虛擬現(xiàn)實在運動病和疲勞方面的應(yīng)用。然而，在改善這些缺點方面還有很多工作要做。已經(jīng)提出了包括焦點模糊在內(nèi)的基于眼睛跟蹤的中心凹渲染解決方案（Weier、Roth、Hinkenjann和Slusallek，2018a；Weier等人，2016）。

人眼可以在自然環(huán)境下 聚焦遠(yuǎn)處 but在戴眼鏡VR環(huán)境下 焦距比較近？？？？？？？？？？？?

【虛擬現(xiàn)實中眼動跟蹤器的標(biāo)定與驗證】

校準(zhǔn)和驗證是確保眼睛跟蹤測量準(zhǔn)確性的常見做法。對于這兩種程序，受試者在屏幕上的不同位置顯示目標(biāo)點，并指示其注視這些點。在校準(zhǔn)過程中，眼動跟蹤器使用這些目標(biāo)作為參考點來調(diào)整其凝視計算，以匹配子對象正在觀看的位置。在驗證過程中，計算眼動跟蹤器返回的坐標(biāo)與目標(biāo)實際坐標(biāo)之間的視角，并提供校準(zhǔn)的質(zhì)量度量。根據(jù)我們的經(jīng)驗，由于漂移，例如在虛擬現(xiàn)實實驗期間，受試者頭部的耳機輕微滑動，眼睛跟蹤的精度會慢慢下降。因此，在實驗過程中每隔五到十分鐘重復(fù)這兩個步驟是有意義的。有一些方法可用于連續(xù)重新校準(zhǔn)（Tripathi&Guenter，2016）。然而，他們使用了關(guān)于受試者觀看行為的額外知識，例如由于高度顯著的刺激、場景中的移動或由于執(zhí)行鼠標(biāo)點擊。因此，它們會干擾實驗裝置，并且僅限于特殊情況。因此，在虛擬現(xiàn)實實驗中經(jīng)常需要重復(fù)校準(zhǔn)，以抵消耳機可能出現(xiàn)的滑動頁面，并確保精確的眼球跟蹤數(shù)據(jù)。

在執(zhí)行校準(zhǔn)或驗證程序時，重要的部分是在屏幕空間而不是世界空間中顯示固定點。這使得它們與主體的頭部一起移動，因此不可能將頭部轉(zhuǎn)向周圍的目標(biāo)，以便將其映射到視野中心。

這樣可以確保所有目標(biāo)顯示在預(yù)期位置，并覆蓋整個視野。此外，主要在視野中心進(jìn)行驗證是有意義的，因為外圍部分在虛擬現(xiàn)實中的有效分辨率較低（Kreylos，2017）。這有助于主體在虛擬現(xiàn)實環(huán)境中把頭轉(zhuǎn)向他想看的物體，而不是將眼睛移向遠(yuǎn)處的偏心位置。因此，確保視野中心凹部分的更高準(zhǔn)確性是有意義的。

?【結(jié)合眼球跟蹤和虛擬現(xiàn)實】

為了找出受試者在3D世界中的視線，需要計算從受試者眼睛到其視線方向的3D凝視向量。當(dāng)使用3D眼睛模型進(jìn)行瞳孔檢測時，眼動跟蹤器可以隨時確定3D凝視。理論上，通過計算雙眼凝視的交點，可以從雙眼的發(fā)散度計算深度。然而，該計算不精確，僅返回最完美校準(zhǔn)的可接受結(jié)果（Jansen、Onat和K?nig，2009）。例如，當(dāng)試圖基于視線發(fā)散將注視20m距離物體的視線與無限距離進(jìn)行區(qū)分時，并假設(shè)眼睛間距離為70mm，則必須通過使用非常小的發(fā)散度差（Cos（α）=0.07m/20m=0.0035）來進(jìn)行判斷。α ~ 0.2°). 因此，與眼間距相比，在較大距離處估計相對深度需要一定程度的精度，這是不可行的。由于這一精度很難達(dá)到當(dāng)前眼球跟蹤技術(shù)的精度，我們必須使用更可靠的方法進(jìn)行深度計算。研究表明，使用多種特征回歸注視深度可以改善結(jié)果（Weier、Roth、Hinkenjann和Slusallek，2018b）。

在這里，我們提出了一種更簡單的方法，該方法利用了以下事實：在虛擬世界中，所有精確的物體位置都是已知的，并且凝視深度通常在到達(dá)表面的地方停止。

在虛擬現(xiàn)實中，我們有一個3D眼睛模型的優(yōu)勢，并且完全了解眼睛和物體之間的距離。這使得可以簡單地計算注視點在三維空間中的深度。

假設(shè)與眼動跟蹤器的不精確性相比，固定對象的空間范圍較大，這會產(chǎn)生良好的結(jié)果。為了將眼球跟蹤數(shù)據(jù)與虛擬現(xiàn)實環(huán)境相結(jié)合，我們需要將2D凝視位置轉(zhuǎn)換為虛擬世界中的3D向量。對于這種方法，我們從兩只眼睛的2D歸一化眼睛位置開始。然后，可以基于頭部位置和世界中的旋轉(zhuǎn)，將該2D位置轉(zhuǎn)換為對虛擬世界的3D凝視。從這個3D凝視中，可以通過計算虛擬世界中物體的下一個截面來檢索深度信息。在游戲引擎中，計算3D注視向量相對容易?？梢詫γ恐谎劬为氝M(jìn)行，也可以使用獨眼視力位置。在這種情況下，我們通過計算兩只眼睛的平均值來使用后者。

接下來，需要從受試者眼睛的單眼水平和垂直坐標(biāo)計算注視向量。這必須根據(jù)受試者的位置和頭部方向進(jìn)行。由于在虛擬現(xiàn)實中，受試者的頭部可以沿三個軸旋轉(zhuǎn)，并在一定半徑內(nèi)移動其位置，因此很難手動計算。這個問題的一個簡單解決方案是創(chuàng)建主題的子對象15。該物體的位置將在相對于主體頭部的坐標(biāo)系內(nèi)變化。該參考對象將根據(jù)眼睛的運動和頭部的運動在其子坐標(biāo)系內(nèi)移動。這意味著，如果玩家向右看，物體就會相對于主體頭部的位置和旋轉(zhuǎn)向右移動。

現(xiàn)在，當(dāng)從頭部位置通過虛擬世界坐標(biāo)系內(nèi)該參考對象的位置繪制向量時，該向量表示3D中的凝視（見圖3）。然后，該向量是主體的注視向量，為了簡單起見，也可以對其進(jìn)行歸一化。然后，可以通過從參考點的位置減去頭部的位置來簡單地獲得注視向量。

通過此過程，可以在游戲引擎內(nèi)將2D凝視坐標(biāo)轉(zhuǎn)換為3D凝視向量。

?【定義感興趣的區(qū)域】

在計算注視向量后，下一步是確定主體是否正在注視特定的對象或感興趣的區(qū)域。到目前為止，凝視向量僅提供方向。為了計算眼睛到被觀察對象的距離，需要確定該向量與虛擬世界中的對象之間的交點。

為此，可以使用游戲開發(fā)軟件（如Unity或Unreal Engine）中的光線投射系統(tǒng)。它的工作方式可以想象為從原點向一個方向發(fā)射一束看不見的光線。

然后，這條射線檢測何時擊中物體，并返回關(guān)于擊中點和擊中物體的信息。在我們的例子中，我們將從受試者的頭部位置向注視向量的方向發(fā)射一束光線。從這條光線中，可以提取與之相交的第一個物體的信息。

一個應(yīng)該被射線檢測到的物體需要連接一個對撞機。通過這種方式，可以定義感興趣區(qū)域（ROI）。碰撞器的大小和形狀也決定了ROI的大小和形狀。每當(dāng)射線在一個ROI周圍與碰撞器相交時，我們就會引出附著在碰撞器上的物體的名稱和射線的長度，直到擊中點（玩家的眼睛到物體的距離）。如果證明有必要在三維環(huán)境中設(shè)置不標(biāo)記ROI的碰撞器，而只是為了物理學(xué)的目的，不應(yīng)該用射線投射的方式來記錄，我們可以用標(biāo)簽來區(qū)分這兩種碰撞器。例如，可以為每個投資回報率創(chuàng)建一個標(biāo)簽，然后只記錄凝視向量與被標(biāo)記的碰撞器的交點。然后，從射線投射中提取的信息可以用記錄注視向量的相同幀率進(jìn)行保存。 提取注視向量和第一個碰撞點的交點需要計算能力，可能會減慢VR應(yīng)用的速度。因此，我們建議在會話結(jié)束后進(jìn)行離線操作，以避免不必要的計算降低VR應(yīng)用的速度。在這一點上，將那些眼球追蹤器給出的數(shù)據(jù)點分類出來是有意義的。

這些數(shù)據(jù)點要么是受試者閉著眼睛的時候，要么是眼球追蹤器在識別瞳孔時出現(xiàn)問題。只要眼球追蹤器的精度足以區(qū)分不同深度的典型物體的固定，這種方法就能產(chǎn)生可靠的凝視矢量長度的深度數(shù)據(jù)。

【

一些注意事項】

不同的軟件通常使用不同的坐標(biāo)系統(tǒng)。將眼球跟蹤軟件中的數(shù)據(jù)與3D引擎中的數(shù)據(jù)相結(jié)合，并用另一個軟件分析這些數(shù)據(jù)，這就需要注意這些形式上的差異。通常，x、y和z并不表示程序之間的相同尺寸。在離線分析數(shù)據(jù)時，也需要考慮這一點。另一個轉(zhuǎn)換問題是，二維平面上的原點可以位于平面的角點或中間。例如，瞳孔實驗室使用標(biāo)準(zhǔn)化坐標(biāo)系，原點0,0位于左下角，1,1位于右上角，而Unity的原點位于平面的中心。為了得到有效的結(jié)果，有必要仔細(xì)處理不同步驟的參考框架，并在文件中明確說明，以供以后使用。另一個問題是不同應(yīng)用程序之間的幀速率差異。運行虛擬現(xiàn)實應(yīng)用程序的游戲引擎的幀速率通常低于眼動跟蹤器。3D應(yīng)用程序中的幀速率也可能因視線中的對象而異。當(dāng)看到一個非常復(fù)雜的物體時，它會突然下降，而當(dāng)看到一個簡單的物體時，它會飆升。增加和穩(wěn)定幀速率的解決方案正在開發(fā)中，例如中心凹的ren-dering（Patney等人，2016），預(yù)計很快就會實現(xiàn)。在大型浸入式3D環(huán)境中，即使使用強大的硬件，幀速率的下降也是難以避免的。在計劃獲取詳細(xì)的熱圖或其他需要高眼動幀速率的信息時，應(yīng)考慮這一點。一般來說，很難收集具有一致高幀的數(shù)據(jù)。如果需要，您應(yīng)該設(shè)計一個非常簡單、低多邊形的3D場景，沒有光線變化或其他影響，以降低計算復(fù)雜度，從而確保以高幀速率錄制。瞳孔實驗室提供時間戳，以在外部以高幀速率記錄眼球運動。這使您能夠稍后將其與用戶在虛擬現(xiàn)實環(huán)境中的動作同步。然而，希望在應(yīng)用程序中保持較高的幀速率，以便稍后與高頻瞳孔記錄同步。否則，由于同步和幀插值不好，三維注視向量的精度將下降。如果這足以解決廣告問題，則以低幀速率記錄注視向量可以是確保穩(wěn)定和完整記錄的解決方案。

然而，如果人們對精確定義的注視或眼跳動力學(xué)感興趣，則有必要解決眼睛跟蹤的同步和更高采樣率問題。一般來說，人們應(yīng)該始終追求較高且相對恒定的幀速率，使眼球追蹤器和VR引擎之間的同步更容易和更準(zhǔn)確。

在虛擬現(xiàn)實中，當(dāng)觀看靜態(tài)2D場景時，固定的定義不如眼睛跟蹤過程中定義的好。需要建立一種明確的方法來區(qū)分從平滑追蹤中的固定或視動性眼球震顫。A clear way to differentiate fixations from smooth pursuit or optokinetic nystagmus needs to be established.?必須記住，對于3D環(huán)境中的眼睛跟蹤，固定和掃視等既定概念不再像2D屏幕前那樣明確定義。然而，最近的研究首次嘗試解決這個問題（Steil，Huang，&Bulling，2018）。在規(guī)劃數(shù)據(jù)分析時，應(yīng)考慮這些與2D屏幕上傳統(tǒng)眼球跟蹤研究的差異。

【作為示例應(yīng)用的初步研究】

在下一節(jié)中，我們將介紹我們在虛擬城市試點研究期間收集的程序和數(shù)據(jù)。這是我們實驗室研究真實世界中房屋和街道空間信息編碼的后續(xù)研究（K?nig、Goeke、Meilinger和K?nig，2017）。在各自的研究中，受試者執(zhí)行各種任務(wù)，包括拍攝他們家鄉(xiāng)的房屋和街道照片，即Osnabrück，作為刺激。然而，受試者對刺激的熟悉程度只能在事后進(jìn)行主觀評估。因此，我們進(jìn)行了第二輪實驗，設(shè)計了一個虛擬城市，并對其進(jìn)行了30分鐘的探索。通過這種方式，我們可以控制和監(jiān)控受試者的探索行為，并客觀評估他們對不同刺激的熟悉程度。在提出的初步研究中，我們在虛擬現(xiàn)實中探索城市時，重點關(guān)注了受試者的視覺行為。調(diào)查受試者在探索虛擬城市時的視線，擴大了可用于了解其導(dǎo)航行為的數(shù)據(jù)范圍。由于空間知識應(yīng)該隨著熟悉度的提高而提高，因此獲得關(guān)于受試者對測試刺激熟悉度的更客觀的測量值非常重要。以下全面研究正在進(jìn)行中，將另行報告。

試點研究

據(jù)報道，調(diào)查空間知識獲取的研究包含一個30分鐘的虛擬現(xiàn)實培訓(xùn)課程，參與者在其中自由探索名為Seahaven的城市。該虛擬城市的設(shè)計方式使其最適合原始研究的任務(wù)（K?nig等人，2017年）。這意味著它不包括高地標(biāo)，也不是在常規(guī)網(wǎng)格中構(gòu)建的，即曼哈頓風(fēng)格。此外，這些房屋展示了各種各樣的風(fēng)格，看起來很容易相互區(qū)分，因為它們在整個研究的訓(xùn)練后任務(wù)中起到了刺激作用?？偟膩碚f，該市由214棟房屋組成，這些房屋分布在復(fù)雜的城市布局中。虛擬現(xiàn)實環(huán)境還包括移動的太陽，以提供自然照明條件和估計基本方向的方法。在我們的初步研究中，我們記錄了31名受試者的數(shù)據(jù)，其中兩人患有運動病，無法完成治療。在兩次會議期間，技術(shù)困難導(dǎo)致數(shù)據(jù)集不完整。因此，這里提供了剩余27名受試者（11名女性，16名男性）的數(shù)據(jù)，平均年齡為24.2歲。由于這些是初步測量，我們在前10名受試者的測量過程中改變了3D環(huán)境的次要方面，以改進(jìn)設(shè)計。這包括添加丟失的對撞機、修復(fù)錯位的物體或不相交的人行道、重新縮放看起來太大/太小的房屋、重新縮放太陽和玩家的體型。由于這些變化，我們不會將數(shù)據(jù)作為空間導(dǎo)航的實際結(jié)果。然而，由于這些變化的性質(zhì)較小，我們預(yù)計不會對結(jié)果產(chǎn)生任何相關(guān)影響。在本文中，我們使用我們的數(shù)據(jù)作為虛擬現(xiàn)實實驗的示例，并演示眼睛跟蹤數(shù)據(jù)的使用。我們旨在通過將這些方法應(yīng)用于一個特定的實驗裝置來演示這些方法。

【實驗課的結(jié)構(gòu)】

在會議開始之前，受試者接受研究介紹并給予書面同意。在解釋了虛擬現(xiàn)實的機制和運動病的潛在風(fēng)險后，將耳機放在受試者的頭上，受試者調(diào)整瞳孔間距離，校準(zhǔn)眼動跟蹤器，受試者在小練習(xí)區(qū)內(nèi)的虛擬現(xiàn)實中變得適應(yīng)運動。一旦受試者感到舒適，他或她就會被安置在虛擬現(xiàn)實城市海港，并在鎮(zhèn)內(nèi)自由探索30分鐘。在課程結(jié)束時，受試者通過轉(zhuǎn)向那個方向主觀地估計北方。然后會話終止。接下來是一個簡短的任務(wù)，我們向受試者展示了位于虛擬現(xiàn)實城市內(nèi)的50棟房屋的照片。這些房屋是隨機挑選的，均勻分布在全市。所有受試者以隨機順序觀看相同的50間房屋，并對每張圖像的兩個陳述進(jìn)行評分（圖5）。第一句話是“我能很好地記得這所房子的景象”，我們稱之為熟悉度評級。第二句話是“我相信我能找到回這所房子的路”，我們稱之為導(dǎo)航評級。在李克特量表上，評分范圍從1分到5分，代表“完全不同意”回答沒有時間限制。任務(wù)完成后，受試者填寫了一份簡短的問卷，了解其在虛擬現(xiàn)實中的體驗。作為激勵，受試者要么獲得金錢補償，要么獲得研究項目所需的一個學(xué)分。每次會議持續(xù)約一小時。

?

?【

設(shè)置】

設(shè)置?

在我們的工作中，我們決定使用HTC Vive頭盔，它有兩個用于運動跟蹤的基站和一個用于在虛擬世界中運動的控制器（圖1A，B）。我們的眼球追蹤器是Pupil Labs的HMD眼球追蹤器（圖1C）。該眼球追蹤器是專門為HTC Vive設(shè)計的，可以很容易地安裝在頭戴式設(shè)備上。我們通過IPC主干網(wǎng)將信息從Unity發(fā)送到Pupil Service。我們在Pupil Capture和Unity之間通信的解決方案的代碼可以在我們的GitHub存儲庫中找到16。 圖6顯示了我們在研究中使用的校準(zhǔn)和驗證點的分布。為了確保眼球追蹤器在整個視野中具有良好的準(zhǔn)確性，即在校準(zhǔn)點之間的區(qū)域也是如此，我們在校準(zhǔn)時將固定點顯示在與驗證時不同的位置。通過這些措施，眼球追蹤器的精度有可能經(jīng)常達(dá)到1.5°或更好。在實驗過程中，我們只使用總的平均數(shù)進(jìn)行驗證，并決定一個受試者是否被校準(zhǔn)得足夠好（如果平均精度低于2°，則不能進(jìn)行測量）。事后分析表明，中心點的準(zhǔn)確度平均高于周邊的點。然而，包括中心點在內(nèi)的驗證平均精度通常仍保持在1.5度以下。

對于軟件開發(fā)，我們使用Unity。在Unity和MATLAB中進(jìn)行了數(shù)據(jù)分析。

?

?

?

【海港中的單元】

重要的是，以直觀的方式縮放虛擬城市的所有對象，以便主體對他或她正在探索的虛擬城市有一個自然的印象。由于海港包括來自不同來源的風(fēng)格和大小不同的各種類型的房屋，我們努力縮放所有模型以達(dá)到自然比例。我們對海港中的每件事物都進(jìn)行了尺寸測量，使現(xiàn)實世界中大約一米的距離類似于一個單位。圖7顯示了標(biāo)準(zhǔn)大小的塊，以直觀地顯示縮放。玩家看不到的玩家形象大約有兩米高（圖7B）。

一個單位與一米的近似對應(yīng)關(guān)系稍后可用于解釋結(jié)果。

?

【基本變量的記錄】

?為了提取有關(guān)受試者視覺行為的信息，有必要以預(yù)定的時間間隔檢查基本變量。我們將數(shù)據(jù)提取放入一個固定幀率的循環(huán)中，并將數(shù)據(jù)與時間戳一起保存。在這個固定的幀速率下，我們可以檢查某些信息并加以保存，如注視方向和玩家的位置。

為了客觀地評估熟悉程度，我們收集了每個參與者在探索虛擬城市時查看每座房子的時間信息。我們對所看的具體房子和看房子的距離很感興趣，以便將其與后面的任務(wù)表現(xiàn)聯(lián)系起來。我們在每秒30次的時間里反復(fù)檢查這種形成，并將結(jié)果儲存起來供以后分析。用同樣的方法，我們還保存了關(guān)于被試者的其他信息，如頭部方向和位置。

【勘探行為的測量和可視化】

首先，我們有興趣了解我們的子項目在自由探索虛擬城市期間的位置。

因此，我們通過在地圖上顯示受試者的行走路徑來可視化其導(dǎo)航行為。在圖8A中，我們顯示了單個主題在30分鐘會話中所走過的路徑。圖8B顯示了所有受試者的步行路徑，展示了對整個城市的均勻覆蓋。圖8C顯示了城市不同地區(qū)的受試者數(shù)量，這也揭示了海港的覆蓋年齡。因此，我們可以得出結(jié)論，在自由探索的30分鐘內(nèi)，大部分虛擬城市都被訪問過。

?

作為第二步，我們想評估在探索期間看了多少房子。記錄的眼球追蹤數(shù)據(jù)顯示，在30分鐘的會議期間，平均看到177.9間房屋，占城市的83%。27名參與者中，平均有22.5人觀看了一所特定的房子。超過一半的受試者看到了97%的房屋。總之，我們的結(jié)果表明，受試者的房屋分布均勻。

為了計算對一棟房子的熟悉程度，我們調(diào)查了一棟房子被看了多長時間。結(jié)果表明，平均看一棟房子5.53秒。對觀看次數(shù)最多和最少的房屋（總居住時間）進(jìn)行的調(diào)查顯示，與沿街排成一排的普通房屋相比，更大的房屋綜合體和更特別的獨立式房屋看起來更長。通過提取每次記錄的時間戳，我們獲得了一個表示在哪個時間點看到哪個對象的時間線。圖9顯示了一個受試者的時間線摘錄，每個房子的水平時間線堆疊在一起。黃色的方塊代表各個房子被觀察的時間。人們通常會在一定的時間間隔內(nèi)對房屋進(jìn)行觀察，其間會有一些短暫的跳躍。作為熟悉度度量，我們使用了從查看房屋的時間線中提取的單個房屋的查看時間。

?

接下來，我們想可視化受試者在3D環(huán)境中的觀看行為（圖10）。我們使用光線投射技術(shù)計算注視向量，并用彩色球體標(biāo)記虛擬環(huán)境中的每個命中點。在此過程中，同時提取觀察對象的信息。為了更好地可視化，我們根據(jù)受試者觀察該特定點的距離（遠(yuǎn)->近=紅色->藍(lán)色）對球體進(jìn)行了顏色編碼。值得注意的是，圖10所示的圖像與受試者觀察標(biāo)記球體的角度不一致。這意味著，例如，如果你在同一個物體上看到許多不同顏色的球體，如右圖10所示，受試者從很遠(yuǎn)的地方看這個物體，然后走近看它（反之亦然）---------------------所以我們看見的近處是紅色，其實對于受試者是遠(yuǎn)處

。由于球體是在3D模型中可視化的，我們現(xiàn)在可以在這個模型中四處走動，探索主體的視線。因為我們只為每個房子使用少量的盒碰撞器來提高應(yīng)用程序的性能，所以一些碰撞點并不完全對應(yīng)于對象的形狀。例如，這可以在右側(cè)圖片中兩個廣告面板之間的空白處看到。然而，在3D環(huán)境中直接標(biāo)記視覺點擊點提供了一種方便靈活的方式來可視化和調(diào)查探索虛擬城市海港的受試者的觀看行為。

【

分析眼球跟蹤數(shù)據(jù)與其他變量的關(guān)系】

一旦開始分析眼睛跟蹤數(shù)據(jù)與實驗期間記錄的其他數(shù)據(jù)的關(guān)系，虛擬現(xiàn)實中眼睛跟蹤的優(yōu)勢就顯而易見。這些數(shù)據(jù)可能是受試者的位置或旋轉(zhuǎn)、行走速度、在虛擬現(xiàn)實環(huán)境中的動作或在虛擬現(xiàn)實內(nèi)外的任務(wù)中的表現(xiàn)或主觀評價。在下一節(jié)中，我們將以我們的研究為例，介紹一系列廣泛的此類分析。

【觀看房屋與任務(wù)績效的相關(guān)性】

之前的研究（K?nig等人，2017）通過執(zhí)行空間任務(wù)后的主觀熟悉度評價來評估刺激物的熟悉度，即奧斯納布呂克的房屋。

然而，我們不可能客觀地評估十個受試者中究竟有多少人去過相應(yīng)的地點。在VR中，我們可以提取觀察特定房屋的總時間作為客觀的熟悉度測量，并將其與主觀的熟悉度測量聯(lián)系起來。因此，在我們的試驗研究中，受試者必須回答一個熟悉度問題（"我可以很好地記住這個房子的樣子"）。答案的范圍從1到5，1代表 "完全不同意"，5代表 "非常同意"。所有分項的平均評分是2.81。觀看時間和主觀熟悉度評分之間的相關(guān)性為0.293。用同樣的程序，我們計算了對有關(guān)空間導(dǎo)航問題（"我有信心能找到回這個房子的路"）的回答的平均數(shù)。在這里，受試者的總平均值為2.46。導(dǎo)航評分和觀看時間之間的相關(guān)性為0.316。圖11顯示了每個房子和子項目的觀看時間的分布，以及對它的熟悉程度的評價?？傮w結(jié)果支持我們的預(yù)期，即一個房子的主觀熟悉度評分隨著看房子的時間增加而增加。然而，這種關(guān)系比我們預(yù)期的要低。

（不咋高啊 就是熟悉度不咋高?。。?！ ）

接下來，我們調(diào)查了看房子的距離是否對被試對房子的熟悉程度有任何影響（圖12）。我們沒有發(fā)現(xiàn)熟悉度和房子的觀看距離之間有很強的關(guān)系（相關(guān)度為-0.047）。另外，對于導(dǎo)航評級來說，也找不到與平均觀看距離的相關(guān)性（相關(guān)性為-0.056）。看房子的距離的變化似乎也不影響評分。

?

【觀察點的空間分布】NONONONONONONONONONONONNONO

觀察點的空間分布?

VR設(shè)置允許確定觀察點的全三維分布17。在大多數(shù)的實驗室實驗中，使用的是二維的視覺刺激或固定位置在二維平面上的投影。相反，在VR中，我們有真正的三維信息可用，并可以使用三維熱圖構(gòu)建觀察點的三維分布，以可視化凝視運動。在收集眼動跟蹤數(shù)據(jù)后生成二維熱圖以確定空間偏差是現(xiàn)在的普遍做法。使用VR，我們現(xiàn)在也可以看一下三維空間中的偏差，增加與二維平面的距離。受試者觀察物體的距離將是我們?nèi)S熱圖的第三個維度，可以進(jìn)一步了解三維環(huán)境的視覺覆蓋。

?圖13顯示了一個單一主體的三維空間分布的例子。為了在小距離上有更高的分辨率，我們把注視點的分布繪制成距離的自然對數(shù)的函數(shù)。大約ln(160)≈5.0的距離值代表了我們虛擬世界中的遠(yuǎn)剪平面，這是主體能看到的最遠(yuǎn)距離。顯示在剪裁平面后面的點的平面代表沒有擊中任何物體的注視，例如，注視天空。圖中顯示，受試者最常直視的中等距離約為23個單位（約23米）。

這個三維熱圖包括觀看者的屬性以及環(huán)境的屬性。具體來說，用戶和房屋之間的距離統(tǒng)計可能發(fā)揮了作用。為了調(diào)整環(huán)境的屬性，我們使用了兩種不同的隨機化方法。首先，我們對原始注視向量進(jìn)行洗牌，并將其隨機分配到用戶的記錄位置。這意味著會話開始時的凝視向量可以用于會話結(jié)束時訪問的一個位置（以頭為中心的坐標(biāo)），并在不同的距離上擊中不同的物體。由此產(chǎn)生的熱圖看起來與原始熱圖相似，最大密度為ln(14)=2.6。在水平和垂直維度上，數(shù)據(jù)點是相同的，因為我們使用的是這個子項目的原始注視向量。洗牌給各個點在距離軸上分配了新的值。當(dāng)從原始熱圖中減去隨機數(shù)據(jù)時，我們可以看到，原始命中點在更遠(yuǎn)距離上的點的密度高于洗牌后的凝視所產(chǎn)生的命中點（圖14）。這表明受試者系統(tǒng)地看了更遠(yuǎn)的物體。請注意，這與在經(jīng)典實驗室條件下用3D顯示器顯示的靜態(tài)圖像得到的結(jié)果相反（Jansen等人，2009）。這強調(diào)了在自然條件下調(diào)查行為的重要性。

在第二個對照中，我們隨機創(chuàng)建了具有平坦概率函數(shù)的新注視向量，并將其應(yīng)用于被試的記錄位置。當(dāng)你看距離軸時，你會看到一個曲線狀的圖案和一個在最遠(yuǎn)距離的平面（圖13，底部）。遠(yuǎn)處剪裁平面上的點的積累代表了所有進(jìn)入天空或遠(yuǎn)處物體不再出現(xiàn)在顯示屏上的凝視。曲線形狀的圖案直觀地顯示了落到地面上的目光。凝視越往下走，它就越早到達(dá)地面，因此在熱圖中顯示的距離越短。它看起來與根據(jù)原始凝視矢量創(chuàng)建的熱圖非常不同，并且更多反映了三維世界的屬性。這表明，沒有任何隨機化的原始熱圖顯示的是實際的觀看行為，而不僅僅是環(huán)境的產(chǎn)物。

【二維凝視可視化與分析】

在觀察許多虛擬現(xiàn)實會話時出現(xiàn)的一個問題是，當(dāng)受試者轉(zhuǎn)動頭部時，他的注視是否不同。有多種方法可以根據(jù)其他感興趣的參數(shù)觀察物體的2D凝視。在我們的案例中，我們對眼球運動感興趣，眼球運動與虛擬環(huán)境中的不同身體運動相關(guān)。為此，我們將記錄的眼睛位置分為三組：右轉(zhuǎn)超過20度的10幀時間窗口中的眼睛位置，左轉(zhuǎn)超過20度的10幀時間窗口中的眼睛位置，以及所有其他幀中受試者旋轉(zhuǎn)變化不超過20度的眼睛位置。在繪制這三個類別時，我們看到左轉(zhuǎn)和右轉(zhuǎn)通常伴隨著各自方向的凝視（圖15）。因此，對于這些頭部或身體的大轉(zhuǎn)角，協(xié)同探索性眼球運動主導(dǎo)著補償性穩(wěn)定眼球運動（Einh?user等人，2009）。

?

此外，我們檢查了行走時的眼動與站立時的眼動（圖16A，B）。圖16A表明，站立時的凝視（橙色）中心濃度高于行走時的凝視。當(dāng)站在熱圖上從凝視中減去行走時的凝視時，可以看到同樣的情況（圖16B）。這表明，在給定的實驗條件下，受試者在行走時對環(huán)境有更強烈的視覺探索。然而，這也可能是受試者在虛擬世界中導(dǎo)航方式的副作用。由于受試者的行走方向由頭戴式耳機的方向決定，因此行走過程中頭部的移動會使其難以朝所需方向行走。這可能會使受試者在行走時更多地向周圍移動眼球，而不是移動頭部。站立時，受試者可以簡單地將頭部四處移動，并更多地注視HMD屏幕的中心。

?

?

【討論】

在本文中，我們描述并討論了一種在虛擬環(huán)境中輕松跟蹤眼球運動的方法。這是通過使用基本幾何計算來實現(xiàn)的，即首先從2D瞳孔位置構(gòu)建3D凝視向量，然后將該向量與3D世界中的對象相交。我們還提出了可以應(yīng)用于記錄數(shù)據(jù)的分析建議，以及技術(shù)實現(xiàn)的一些細(xì)節(jié)和可能的問題來源?，F(xiàn)在，我們將對這項技術(shù)進(jìn)行更深入的討論，特別是它帶來的局限性和可能性。

【虛擬現(xiàn)實的局限性和可能性】

在虛擬現(xiàn)實城市的發(fā)展和后續(xù)的試點研究中，我們得出結(jié)論，虛擬現(xiàn)實是一個非常強大的研究工具。它提供了大量有價值的數(shù)據(jù)，同時很好地模擬了真實世界，使主體能夠相對自由地移動。虛擬環(huán)境比通常的實驗室環(huán)境更接近自然條件，并且比在真實世界中進(jìn)行的研究更易于控制。這使得它成為探索空間導(dǎo)航和許多其他領(lǐng)域的廣泛問題的非常有價值的工具。以合理的精度跟蹤受試者的身體運動和眼球運動的選項為研究者提供了有關(guān)受試者在虛擬環(huán)境中行為的大量信息。它可以分析受試者的行為與其所觀察的內(nèi)容的關(guān)系，以及分析受試者的行為與其所觀察的位置的關(guān)系。以如此精確和簡單的方式研究身體運動和凝視運動的相互作用的可能性為回答許多新問題提供了可能性。此外，3D熱圖的創(chuàng)建也證明了這一研究觀看行為的寶貴工具。在提出研究或構(gòu)建新假設(shè)時，將3D模型內(nèi)的注視模式可視化的可能性也可以是一個有用的工具。有更多的方法可以將虛擬現(xiàn)實和眼球跟蹤結(jié)合起來，發(fā)揮你的優(yōu)勢。我們看到了這項新技術(shù)的巨大潛力，以及促進(jìn)未來研究的許多機會。

然而，這些優(yōu)勢伴隨著挫折而來。目前的主要問題是人們在虛擬現(xiàn)實中體驗運動病的趨勢。在我們的研究中，在問卷調(diào)查中報告的31名受試者中，有12名受試者在運動過程中因運動病而感到輕微不適。此外，由于這個原因，兩名參與者不得不中斷培訓(xùn)。只有6名參與者在問卷調(diào)查中表示，他們通常在汽車或其他車輛中出現(xiàn)運動障礙。受試者中運動病的發(fā)病率很高，因此很難進(jìn)行任何持續(xù)時間超過30分鐘的實驗，并導(dǎo)致許多參與者在一次會議期間不得不停止。運動病也會阻止受試者完全參與探索（或任何其他任務(wù)），因為他們的注意力將集中在控制頭暈或惡心。此外，運動病會導(dǎo)致適應(yīng)的導(dǎo)航行為，這意味著，例如，行走速度較慢、行走時不轉(zhuǎn)頭、停下來環(huán)顧四周或長時間只看一個物體來對抗運動病?；加羞\動病的受試者的所有這些適應(yīng)性阻礙了我們分析其自然導(dǎo)航行為的能力。

這個問題的一個潛在解決方案是將會話分割為較短的時間跨度。例如，三次10分鐘的訓(xùn)練，中間有兩次休息，而不是一次30分鐘的訓(xùn)練。另一種解決方法是找到一種更自然的方式在虛擬環(huán)境中移動。這將同時解決兩個問題。這將減少運動病，使模擬條件更接近自然條件。為了在探索我們的虛擬城市時進(jìn)行連續(xù)運動，受試者坐在可旋轉(zhuǎn)的椅子上，只通過拇指操作控制器并旋轉(zhuǎn)椅子來影響他們的運動。這與自然運動不同，也不清楚它在多大程度上影響導(dǎo)航行為。例如，它可以使人側(cè)身和向后行走，這是一種不常見的現(xiàn)象。此外，行走方向受頭部方向的影響，朝一個方向移動，而朝另一個方向看需要一些訓(xùn)練和協(xié)調(diào)。然而，目前很難找到一種更自然的方式在虛擬現(xiàn)實中移動，這不會引起運動病。對于許多研究問題來說，在像遠(yuǎn)程搬運這樣的游戲中使用的解決方案是不可行的。

另一個可能的幫助是給受試者一個積極的任務(wù)，這可以分散他們對暈車的注意力。這是一些受試者的建議，他們報告說，沒有任務(wù)時，他們有很多時間來關(guān)注自己的感覺，并注意到暈車比他們在執(zhí)行任務(wù)時預(yù)期的更容易。然而，很難找到一個不干擾實驗主要目的的好任務(wù)。由于每個任務(wù)都會影響主題的導(dǎo)航行為，因此將其添加到會話設(shè)置中是有問題的。另一方面，自然導(dǎo)航行為通常由任務(wù)或目標(biāo)驅(qū)動，因此通過在分析中考慮精心設(shè)計的任務(wù)的影響，這也可能是一種可能的解決方案。

總的來說，在虛擬現(xiàn)實中設(shè)計實驗時應(yīng)該考慮這些缺點。一些研究問題可能需要重新制定或使用不同的方法回答。然而，在許多應(yīng)用程序中，虛擬現(xiàn)實是一個強大的工具，用于收集以前極難評估的各種主題的信息。隨著虛擬現(xiàn)實領(lǐng)域當(dāng)前發(fā)展的步伐、計算能力的提高和更高效的算法，我們期望在不久的將來能夠解決其中許多問題。

【人眼跟蹤在虛擬現(xiàn)實中的應(yīng)用】

虛擬現(xiàn)實中的眼睛跟蹤是一個很好的解決方案，它結(jié)合了經(jīng)典實驗室設(shè)置、固定監(jiān)視器屏幕和真實世界的優(yōu)點。本文向您介紹了一種在任何虛擬現(xiàn)實設(shè)置中實現(xiàn)眼睛跟蹤的方法，該方法定義了感興趣的對象，并收集了有關(guān)觀察對象的時間、觀察者到對象的距離以及他觀察的確切點的數(shù)據(jù)。通過三維可視化，您可以了解哪些對象以及對象的哪些部分被看得最多。

當(dāng)然，也有一些小缺點。一個缺點是受試者戴眼鏡不能總是參與虛擬現(xiàn)實實驗。另一個因素是需要校準(zhǔn)和驗證眼動跟蹤器，這需要額外的時間，并且可能會在更長的時間內(nèi)造成破壞。此外，在校準(zhǔn)后，參與者不能再移動頭戴式耳機，這就是為什么你需要在課程開始時確保它舒適地坐在臉上的原因。VR中的快速移動可能會導(dǎo)致耳機在臉上移動，應(yīng)避免。在分析過程中，一些眼睛比其他眼睛更容易被跟蹤可能是一個問題（通常明亮的眼睛比黑暗的眼睛好）。由于我們只記錄置信度高于0.5的注視點，因此一些受試者比其他受試者有更多的注視點需要分析。

【虛擬現(xiàn)實中行為與真實世界行為的可比性】

在考慮了上述所有因素后，剩下一個問題：我們在虛擬現(xiàn)實中觀察到的行為在多大程度上與現(xiàn)實世界中的實際行為相對應(yīng)？換句話說，我們可以將我們在虛擬現(xiàn)實中獲得的結(jié)果概括為正常的人類（觀看）行為嗎？與正常屏幕上的實驗相比，真實世界的相似性有所提高，通常是在頭部固定的情況下，這似乎證明了使用虛擬現(xiàn)實的合理性。然而，在解釋我們的結(jié)果時，我們需要記住一些差異。

首先，與外部部件相比，屏幕中央的有效分辨率更高（Kreylos，2017）。這會影響頭部和眼睛移動之間的關(guān)系，因為受試者需要移動頭部才能在虛擬現(xiàn)實中以高分辨率看到感興趣的對象。當(dāng)前頭盔顯示器的視野相當(dāng)有限，這也可能導(dǎo)致這種效果。

關(guān)于觀看行為，真實世界和虛擬世界之間的主要區(qū)別之一是趨同沖突。由于兩個屏幕到眼睛的距離總是相同的，我們的透鏡不需要轉(zhuǎn)移焦點來觀察不同深度的物體。由于所有信息都是在單個焦平面上提供的，而不是像在現(xiàn)實世界中那樣從多個焦平面獲取，因此傳遞的深度信息也較少。缺乏像模糊這樣的景深線索會導(dǎo)致對物體大小的不同感知（Eggleston等人，1996）。目前，在虛擬現(xiàn)實中有幾種解決方案正在開發(fā)中，包括光場顯示（Lanman和Luebke，2013）或通過眼睛跟蹤實現(xiàn)邊緣模糊（Parkin，2016；Weier等人，2018a）。然而，我們必須考慮，類似的限制適用于典型的監(jiān)視器設(shè)置，即，這不是一個特定于虛擬現(xiàn)實的問題。盡管如此，虛擬世界對主體的不同呈現(xiàn)仍應(yīng)予以考慮，因為它可能會影響視覺行為。

在更大的虛擬環(huán)境中自然行走是很難實現(xiàn)的，因為它需要全方位的跑步機，目前正在開發(fā)18，但在消費者市場上仍然很難買到，而且價格昂貴。另一種解決方案可能是安裝一個與虛擬環(huán)境一樣大的跟蹤區(qū)域，但這需要很大的空間和一個電纜解決方案，如VR背包19或無線信息傳輸20。這些地區(qū)正在進(jìn)行大量開發(fā)，這就是為什么我們期望在不久的將來出現(xiàn)新的、價格合理的解決方案。

涉及與物體交互的實驗可能需要手跟蹤系統(tǒng)，而不是使用控制器。有一些可用的解決方案涉及使用紅外攝像機21或使用手套22的系統(tǒng)進(jìn)行手部跟蹤，這也可以提供一些力反饋23。

這些與現(xiàn)實世界的差異是否會影響結(jié)果，在很大程度上取決于研究問題，但在設(shè)計實驗和評估結(jié)果時，應(yīng)考慮所有這些差異。

【結(jié)論】

總的來說，眼球跟蹤是研究虛擬現(xiàn)實中各種問題的非常有用的工具。它工作準(zhǔn)確，使用本文提出的方法，您可以輕松地將眼睛注視與虛擬環(huán)境中的不同對象匹配。模擬各種環(huán)境并控制其各個方面的可能性在研究中具有很高的價值，應(yīng)在未來進(jìn)一步開發(fā)。另一方面，虛擬現(xiàn)實在自然運動和運動病方面給實驗者帶來了一些挑戰(zhàn)，目前尚未找到完美的解決方案。雖然由于虛擬現(xiàn)實技術(shù)領(lǐng)域的快速變化，我們預(yù)計這些問題的解決方案將很快被發(fā)現(xiàn)。最后，在我們的研究中，使用虛擬現(xiàn)實的可能性大于缺點，這為分析受試者在虛擬現(xiàn)實城市中的行為開辟了許多新的機會。總之，我們相信虛擬現(xiàn)實中的眼睛跟蹤具有巨大的研究潛力，可以在回答有關(guān)人類認(rèn)知和行為的進(jìn)一步問題方面發(fā)揮巨大作用。我們希望通過本文激發(fā)一些新的想法，并在未來進(jìn)一步利用這項技術(shù)的優(yōu)勢。文章來源地址http://www.zghlxwxcb.cn/news/detail-412832.html

到了這里，關(guān)于虛擬現(xiàn)實中的眼睛跟蹤的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！