基于視覺空間定向理論的虛擬現(xiàn)實空間重構

夏振平，胡伏原，程 成，顧敏明

(1. 蘇州科技大學 電子與信息工程學院，江蘇 蘇州 215009；2. 蘇州市虛擬現(xiàn)實智能交互及應用技術重點實驗室，江蘇 蘇州 215009)

1 引 言

歸功于虛擬現(xiàn)實(Virtual Reality, VR)技術的迅速發(fā)展，計算機模擬的虛擬世界越來越逼真。VR技術超越了傳統(tǒng)的交互手段，使人們可以更加直接地與計算機互動，以解決更加復雜的問題。因此，VR技術在娛樂、教育、醫(yī)療、軍事、科學研究等領域得到了廣泛的應用[1]。在所有的VR應用場景當中，沉浸式的感受至關重要[2]。實現(xiàn)沉浸式體驗最重要的是增強生動性和交互性。生動性是指媒體技術如何全面地給用戶呈現(xiàn)模擬的環(huán)境。交互性是指用戶可以實時、準確地對媒體技術呈現(xiàn)的場景進行作用和修正[3]。大規(guī)模的商業(yè)投資使得虛擬現(xiàn)實技術水平不斷提升的同時，價格也降低到消費級的水平。盡管如此，虛擬現(xiàn)實技術中還有大量的問題需要研究和解決，以進一步提高VR技術的生動性和交互性[4]。

對于自我所處位置的意識，在真實世界和虛擬世界的體驗中都很重要。三維空間中物體的感知，需要確定物體相對自我所處的距離和方向。距離信息來源于雙眼視網(wǎng)膜上同一物體的視差信息，以及其他諸如陰影、相對大小、遮擋等單眼深度線索[5]。雙目視覺下的方向判斷依賴于雙眼視線方向信息，最終融合成單一的雙目視覺方向信息。雙目視覺下的視覺方向計算對立體空間感知和物體形狀感知尤其重要[6]。對于自我位置的意識基于人的中央眼的位置。中央眼是一個虛擬眼，它是雙目視覺下判斷物體相對自身方位的參考點[7]。由于人的雙眼功能通常情況下不可能完全一致，因此中央眼的位置在雙眼中間位置附近，并且存在個體差異[8]。目前，虛擬現(xiàn)實技術中簡單假設了中央眼的位置位于雙眼連線的中心位置，沒有考慮用戶存在的個體差異[9]。這種理想假設與實際情況的差異會導致不同用戶感知體驗存在差異，同時會產(chǎn)生用戶與VR設備的交互沖突。

本文基于雙目視覺下空間定位的原理，提出了基于中央眼的虛擬現(xiàn)實場景重構方法，試圖解決個體視覺特性差異帶來的交互沖突。

2 基于視覺的空間定向

視覺空間中一個物體的絕對視覺方向主要依賴于兩點：(1)由左右眼視網(wǎng)膜提供的眼中心方向信息；(2)左右眼的注視方向。圖1是立體視覺空間定向的幾何結構示意圖。雙眼注視點F的同時點P也在視野范圍內(nèi)，在左右眼視網(wǎng)膜上點P相對于注視點F的眼中心方向分別用θ和φ表示。虛擬的中央眼是雙目視覺下相對方向的判斷基準，又稱為雙目視覺方向中心和自我中心。雙目視覺下，點P相對于注視點F的眼中心方向用γ表示。

圖1 立體視覺空間定向的幾何結構Fig.1 Geometric construction of visual space orientation

中央眼的位置存在個體差異，是眼優(yōu)勢[10]的一種表現(xiàn)形式。如果在雙目視覺方向判斷上左眼更占優(yōu)勢，則中央眼更靠近左眼，反之亦然。與左右手的使用情況類似，有2/3左右的人中央眼更靠近右眼，即右眼在雙目方向判斷上更占優(yōu)勢。在雙眼連線方向上，中央眼的位置通常向優(yōu)勢眼偏移0～1 cm。因為人眼視覺系統(tǒng)對物體相對位置偏移的分辨精度已經(jīng)超越了視網(wǎng)膜上感光細胞的分布精度，其對位置的微小變化極其敏感，微小的偏移會影響相對位置的判斷。游標卡尺就是依據(jù)這個原理發(fā)明的，利用人眼的這一特性提高測量的精度。立體空間的相對位置判斷雖然會受到深度不同的影響，但還是達到了極高的靈敏度[11]。研究表明，立體空間中不同深度的物體相對位置偏移敏感度閾值達到了34 arc sec[12]。

3 基于視覺感知的交互

VR技術中，立體顯示技術是最關鍵的信息交互媒介，承載著從計算機向用戶的視覺信息傳遞。用戶再根據(jù)接受到的視覺信息，向計算機反饋信息。要達到準確的信息交互，不但要了解計算機的立體影像呈現(xiàn)方式，而且要厘清特定用戶的視覺感知方式。

基于視覺感知的交互中，一個典型的例子就是第一人稱下的射擊游戲。玩家需要根據(jù)感知到的視覺信息瞄準射擊，計算機要根據(jù)玩家的射擊數(shù)據(jù)進行是否命中目標的反饋?，F(xiàn)有VR系統(tǒng)大多使用紅外線瞄準，僅僅作為游戲貌似問題不大，但有些特殊的情況下就不適用了。有一種不能使用紅外瞄準的飛碟射擊場景，為了迅速準確地判斷目標的飛行速度和距離，射手需要在雙目視覺下瞄準目標并射擊。不管是使用VR作為游戲平臺還是訓練的手段，都希望VR系統(tǒng)能夠真實、準確地模擬真實場景下的情形。因此，準確掌握特定玩家的立體視覺空間定位信息尤為重要。

VR用戶的立體視覺空間定位信息指的是中央眼的位置。在VR系統(tǒng)不了解用戶中央眼位置時，VR系統(tǒng)默認理想情況下中央眼的位置位于雙眼位置的中心，稱之為“理想”情況。對用戶進行中央眼測試獲得的中央眼位置稱為“實際”情況。圖2展示了4位受測者參與的模擬射擊測試結果。實驗首先測試了受測者的中央眼位置(表1)，然后讓受測者參與模擬射擊實驗。為保持對稱性，目標分布在對稱的左右15°視角位置，對應圖2中每個受測者的左半圖和右半圖。目標位置固定，瞄準器位置由實驗程序隨機呈現(xiàn)，受測者判斷瞄準器是否瞄準了目標，如果是就按下射擊鍵，否則變換位置繼續(xù)瞄準。每個受測者對每個目標都有上百個射擊的機會，所有成功射擊(按下射擊鍵)的數(shù)據(jù)都被記錄下來。分別根據(jù)“理想”和“實際”情況下中央眼的位置，計算射擊點的視角和目標視角的偏差，計算結果的平均值和標準差如圖2所示。同時，“理想”和“實際”情況之間差異的顯著性等級也用“*”號標識出來。結果表明，中央眼的位置偏移(理想情況為雙眼的中央位置)對場景中物體相對位置的判斷具有顯著性的影響。如果不考慮用戶特定的立體空間定向信息，VR系統(tǒng)與用戶互動時將產(chǎn)生沖突。

除了互動沖突以外，具有不同中央眼位置的用戶觀看同一立體影像內(nèi)容時因為是從不同視角觀看，其感受也不同，這和內(nèi)容設計者的初衷也不一致。

表1 中央眼相關測試數(shù)據(jù) Tab.1 Testing results of cyclopean eye

圖2 比較理想和實際情況下射擊誤差的判斷差異Fig.2 Shooting error judgment difference between ideal and actual situations

4 虛擬空間重構

為了解決因不同用戶中央眼位置不同造成的VR系統(tǒng)與用戶的互動沖突，以及不同用戶感知內(nèi)容不同的問題，本文提出了一種基于中央眼的虛擬空間校正方法。如圖3所示，虛擬現(xiàn)實系統(tǒng)的虛擬空間構建經(jīng)歷了立體影像獲取、立體影像呈現(xiàn)和虛擬空間感知的過程。首先，真實世界或計算機模擬的世界空間(Xw,Yw,Zw)場景(圖3(a))中的物點Po分別投射到左右相機的感光元件上形成Ol和Or，該投射在物體空間(Xo,Yo,Zo)進行。然后，Ol和Or分別呈現(xiàn)在立體顯示屏平面對應的Sl和Sr位置(圖3(b))。最后，雙眼圖像融合后呈現(xiàn)在圖像空間(Xi,Yi,Zi)的Pi位置。

(a)立體影像獲取(a) Stereoscopic content acquisition

(b)立體影像呈現(xiàn)與感知(b) Stereoscopic content presenting and perception圖3 虛擬現(xiàn)實技術影像獲取、呈現(xiàn)與感知過程。Fig.3 The content acquisition, display and perception of virtual reality.

因立體空間定向依據(jù)中央眼的位置，因此在圖像空間以中央眼為原點建立了感知空間(Xp,Yp,Zp)。感知空間直接代表了特定用戶的主觀感知角度。所有空間定向在感知空間進行。類似中央眼的概念，本文提出了中央相機的概念。由于左右相機的性能幾乎完全一致，虛擬的中央相機位于兩個相機的連線中心位置。中央相機剛好位于物體空間的原點，中央相機的定義是為了更直接地表明物體空間與世界空間的平移關系。

圖像空間和感知空間之間是直接的平移關系，如式1所示。其中[xce,yce,zce]T是中央眼在圖像空間的位置坐標。

(1)

類似地，物體空間和世界空間也存在簡單的平移關系，如式(2)所示。其中，[xcc,ycc,zcc]T是中央相機在世界空間的位置坐標。

[Xo,Yo,Zo]T=[Xw,Yw,Zw]T-[xcc,ycc,zcc]T，

(2)

為了簡化表述，本文暫不考慮因立體影像獲取與顯示過程中的參數(shù)不匹配所導致的空間畸變問題[13]。相關參數(shù)完美匹配的情況下，圖像空間與物體空間一致(如式3所示)。

[Xi,Yi,Zi]T=[Xo,Yo,Zo]T，

(3)

本文最終的目的是使所有用戶從同一視角看到同一空間場景，即感知空間與世界空間一致(如式4所示)。在此前提下VR系統(tǒng)與用戶的交互也將不存在沖突。

[Xp,Yp,Zp]T=[Xw,Yw,Zw]T，

(4)

最終，根據(jù)式(1)～(4)可以推導出式(5)。中央相機的位置依據(jù)中央眼在圖像空間的位置偏移，向相反方向偏移相同的偏移量。

[xcc,ycc,zcc]T=-[xce,yce,zce]T，

(5)

5 結 論

立體視覺中，虛擬的中央眼是立體空間定向的依據(jù)。中央眼位置存在個體差異，現(xiàn)有虛擬現(xiàn)實技術在立體影像呈現(xiàn)過程中尚未考慮到中央眼的個體差異。理想情況下，中央眼位于雙眼連線的中央位置，而一般人中央眼都有些許的偏移。立體空間中，人眼對物體之間相對方向的判斷極其敏感，中央眼的微小偏移會帶來顯著性的感知差異。虛擬現(xiàn)實技術模擬真實場景的擬真性和交互性可以通過考慮個體中央眼位置的方式進行提升。本文提出了基于中央眼位置的虛擬空間重構方法，采用對立體相機系統(tǒng)反方向平移的方法補償由于中央眼平移帶來的偏差。