沉浸式虛擬現(xiàn)實(shí)語境下肢體交互模式實(shí)現(xiàn)探析

趙錕

（中國傳媒大學(xué) 動畫與數(shù)字藝術(shù)學(xué)院，北京 100024）

沉浸式虛擬現(xiàn)實(shí)是與桌面式虛擬現(xiàn)實(shí)相對的概念，主要是指通過佩戴頭戴式虛擬現(xiàn)實(shí)眼鏡進(jìn)行內(nèi)容體驗的系統(tǒng)設(shè)備，產(chǎn)品和分類包括以HTC vive等為代表的外接式設(shè)備①，以及以三星GearVR為代表的移動端設(shè)備和以Hololens為代表的一體式設(shè)備②3種。其普遍性優(yōu)勢是將屏幕拉近至觀眾眼前，體驗者以第一視角欣賞體驗畫面內(nèi)容。同樣，共同的不足之處是在交互模式上，仍無法擺脫手柄作為交互工具的模式。

當(dāng)體驗者佩戴VR眼鏡體驗時，交互的抽象程度直接決定了其身份認(rèn)同度和沉浸感。盡管人體能夠通過大腦對游戲中的拓展身體進(jìn)行關(guān)聯(lián)學(xué)習(xí)，但由體驗感受肢體的直接交互才是最自然、最符合人體行為的交互模式。

1 局部精確式輸入

在進(jìn)行交互設(shè)計的過程中，手部的交互往往是最集中也是最容易實(shí)現(xiàn)的，因此，可以將手部動作直接輸入設(shè)備作為一種交互方式。常見的實(shí)現(xiàn)方式有2種，一種是計算機(jī)視覺，另一種是慣性傳感器運(yùn)動捕捉。深度捕捉技術(shù)的常用工具是Leap Motion，基本原理是通過紅外 LED和攝像頭，以不同位置和角度記錄目標(biāo)軌跡信息并傳回計算機(jī)進(jìn)行計算后來完成對手指的追蹤。

Leap Motion是一款面向PC和Mac的體感控制器，其識別范圍為上方25～600 mm的錐形區(qū)域，識別對象僅限手部動作，能夠識別手部所有骨骼的運(yùn)動。為了方便開發(fā)者使用，Leap官方發(fā)布了Unity和Unreal引擎的SDK，由于需要配合PC平臺使用，需選取PC外接式VR設(shè)備，比如HTC vive或Oculus rift等。為了方便與VR眼鏡組裝，在接入方面，Leap公司發(fā)售了VR眼鏡黏帖式接入卡槽，如圖1所示。體驗者在佩戴組裝VR頭盔后，能在虛擬空間中觀察到自己的雙手并同步動作，利用交互設(shè)備實(shí)現(xiàn)抓握、點(diǎn)擊、推拉和擊打等一系列動作，相比通過手柄等設(shè)備實(shí)現(xiàn)的關(guān)聯(lián)學(xué)習(xí)，體驗的真實(shí)性和沉浸感得到很大提升。這種配備Leap Motion的VR頭顯設(shè)備弊端也很明顯，即虛擬空間中只能出現(xiàn)手部模型，需忽略體驗者除頭部和手部其他所有身體部分的感知，且在使用時手部如果離開攝像頭檢測范圍或遇到遮擋，數(shù)據(jù)傳輸會中斷或出錯。

圖1 使用專用卡槽組裝VR眼鏡與Leap Motion

慣性傳感器技術(shù)在局部肢體輸入模式中常用的設(shè)備是數(shù)據(jù)手套。數(shù)據(jù)手套是一種虛擬現(xiàn)實(shí)仿真交互硬件，研究開始于20世紀(jì)70年代，配有多種傳感器裝置的特制手套可將手部動作數(shù)據(jù)輸入虛擬空間中。其實(shí)現(xiàn)的基本原理是，通過模/數(shù)轉(zhuǎn)換器將分布在數(shù)據(jù)手套上的傳感器模擬量轉(zhuǎn)換為數(shù)字量，并傳送到計算機(jī)I/O接口。技術(shù)關(guān)鍵在于手掌各有效部位的彎曲測量和姿態(tài)反演。目前，市場上比較成熟的數(shù)據(jù)手套有Gloveone、Senso、Control VR等，如圖2所示，它們均能與主流PC外接式VR頭盔兼容，比如HTC vive、Oculus rift等，且配有Unity、Unreal引擎的SDK開發(fā)工具包。數(shù)據(jù)手套依托穩(wěn)定的物理介質(zhì)，配合VR眼鏡使用時最大優(yōu)勢是穩(wěn)定、準(zhǔn)確，不易受外部環(huán)境的干擾。但其本身沒有定位功能，位置數(shù)據(jù)獲取還需要借助外接時VR眼鏡自帶的空間定位技術(shù)。另外，其不足之處是用戶體驗成本比較高，既表現(xiàn)在設(shè)備穿戴上，在VR眼鏡之余身體還需要負(fù)擔(dān)更多設(shè)備，也表現(xiàn)在數(shù)據(jù)手套的造價比較高上，因此，它目前僅在科研和教育領(lǐng)域使用得比較多。

圖2 VR眼鏡與數(shù)據(jù)手套的穿戴效果

2 單向式整體輸入

單向式整體輸入，是指通過1臺體感設(shè)備輸入體驗者的整個肢體活動信息的交互手段，比如微軟Kinect、Intel公司RealSense等產(chǎn)品。這實(shí)質(zhì)上是一種無標(biāo)記點(diǎn)的光學(xué)運(yùn)動捕捉技術(shù)，其基本原理是：通過配備3個攝像頭即紅外線投射攝像頭（IR，lnfrared Ray）、紅外線接收攝像頭（單色CMOS攝像頭）和普通的RGB攝像頭獲取空間的深度圖像，計算出三維物理空間中所捕捉到各個點(diǎn)的三維坐標(biāo)位置，并將這些位置的空間變化數(shù)據(jù)傳輸?shù)接嬎銠C(jī)中計算后進(jìn)而控制虛擬空間中三維模型的空間位移。

Kinect攝像頭是微軟公司2010年推出的一款體感外設(shè)，其配備的RGB攝像頭分辨率可以達(dá)到640×480；IR攝像頭負(fù)責(zé)記錄空間中經(jīng)物體反射回來的紅外線散斑，再透過晶片計算成具有3D深度的圖像，其分辨率可以達(dá)到320×2 400.微軟公司推出了2種Kinect產(chǎn)品，一種專門適配Xbox游戲主機(jī)使用；另一種即“Kinect for Windows”，配有Windows SDK，可將Kinect作為PC外接式VR眼鏡的輸入設(shè)備。作為微軟的同類競品，Intel推出的RealSense是使用相同原理開發(fā)的體感設(shè)備，相對于Kinect體積更小，捕捉精準(zhǔn)度更高。相比局部肢體輸入交互模式，單向整體輸入的優(yōu)勢在于體驗者可以使用整個身體進(jìn)行交互，體驗時大腦進(jìn)行的關(guān)聯(lián)性學(xué)習(xí)成本被大大降低，沉浸感和對虛擬身份的認(rèn)同感將會極大提升。在VR設(shè)備中，使用單向式整體輸入時也同樣存在問題，即光學(xué)捕捉的不穩(wěn)定性，受體驗環(huán)境的影響比較大，遮擋會影響數(shù)據(jù)傳入，比如背向攝像頭時，手臂的動作無法被接收到，這點(diǎn)是單向攝像頭設(shè)備的通病。

3 多向式整體輸入

多向式整體輸入模式，是指體驗者的運(yùn)動數(shù)據(jù)傳入不受方向的影響，可在某個固定空間內(nèi)自由活動，虛擬空間中的肢體運(yùn)動與物理空間保持一致。實(shí)現(xiàn)多向肢體運(yùn)動輸入，主要基于專業(yè)運(yùn)動捕捉系統(tǒng)的人體運(yùn)動實(shí)時輸入和計算。

這里涉及到VR設(shè)備的空間定位技術(shù)問題。根據(jù)目前市場上主流設(shè)備的數(shù)據(jù)，VR眼鏡的空間定位技術(shù)主要包括以下幾種：①激光定位。例如，HTC vive的Lighhouse技術(shù)，依靠激光和光敏傳感器確定物體位置，激光發(fā)射燈塔每秒分別發(fā)射6次激光，利用其內(nèi)置雙掃描模塊對水平和垂直方向進(jìn)行坐標(biāo)定位，頭顯和手柄有70余個光敏傳感器來確定其準(zhǔn)確位置。這種技術(shù)的優(yōu)勢是可獲得較大捕捉范圍，可同時支持多目標(biāo)定位。但是，激光掃描設(shè)備容易發(fā)生機(jī)械性磨損，進(jìn)而導(dǎo)致定位失靈。②紅外線定位。例如，Oculus rift設(shè)備使用的九軸定位系統(tǒng)，使用紅外發(fā)射攝像頭對空間進(jìn)行掃描，在Touch手柄和頭盔上安裝多紅外發(fā)射光點(diǎn)，經(jīng)多次反射返回的紅外光可經(jīng)運(yùn)算計算出被定為物體的位置。同時，對于其內(nèi)置的九州傳感器，當(dāng)紅外線被遮擋或模糊時，可通過計算獲得相應(yīng)的數(shù)據(jù)。這種技術(shù)設(shè)備的使用壽命比HTC的激光發(fā)射器要更長，但其局限性也很明顯，即捕捉空間比較小，大致在1.5 m×1.5 m內(nèi)，且很難支持多物體定位。③可見光定位。可見光定位的技術(shù)原理與紅外線定位技術(shù)相似，被追蹤的物體上安裝了不同顏色的發(fā)光燈，攝像頭捕捉這些顏色信息以確定其位置，產(chǎn)品代表為索尼的Playstation VR。

基于VR設(shè)備的空間定位技術(shù)實(shí)現(xiàn)多向式無死角的立體式輸入，可采用運(yùn)動捕捉技術(shù)與VR技術(shù)相結(jié)合的方式，即設(shè)置Maker點(diǎn)，經(jīng)過特殊處理分布于身體重要關(guān)節(jié)，比如肘、手腕、膝關(guān)節(jié)、腰部、腳部等，如圖3（左）所示。除了光學(xué)捕捉，另一種是慣性傳感器運(yùn)動捕捉。慣性捕捉技術(shù)我們在第一部分中已經(jīng)提到，數(shù)據(jù)手套即其中局部輸入的一種，需要穿戴全身設(shè)備捕捉整體動作，如圖3（右）所示，其不足之處是體驗者負(fù)重比較大，使用成本過高。

圖3 光學(xué)動捕設(shè)備與慣性動捕設(shè)備

結(jié)合已有的PC外接式VR設(shè)備，HTC vive的激光塔配合背包式PC主機(jī)應(yīng)用VR無線傳輸技術(shù)再加之可穿戴Maker標(biāo)志，可實(shí)現(xiàn)體驗者在一個相對自由的空間內(nèi)身體運(yùn)動的完整輸入和自由移動，達(dá)到對虛擬世界的最大程度認(rèn)同，從根本上克服交互體驗的窄帶性。目前，市場上已有的商業(yè)級產(chǎn)品，比如Zero Latency和國內(nèi)的StepVR等公司已將其應(yīng)用到大型VR體驗場館中。

4 結(jié)束語

從肢體輸入技術(shù)與VR設(shè)備的結(jié)合來看，目前主要集中于外接式VR眼鏡，而移動端VR卻缺少成熟的產(chǎn)品和技術(shù)。出現(xiàn)這種情況的主要原因是，移動設(shè)備的處理能力依然有限，運(yùn)動捕捉、VR無線傳輸都對CPU和GPU提出了較高的要求，即使在PC端仍捉襟見肘，造價和穿戴成本令很多玩家望而卻步。但從商業(yè)價值和實(shí)用性上來看，無標(biāo)記點(diǎn)光學(xué)捕捉技術(shù)應(yīng)用于移動端的可行性更高。

總體來說，實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)語境下肢體輸入的技術(shù)手段有光學(xué)技術(shù)和物理感應(yīng)技術(shù)2大類，在此技術(shù)基礎(chǔ)上，各功能類型產(chǎn)品又可根據(jù)交互方式和輸入特點(diǎn)分為局部輸入、整體單向輸入和整體多向輸入3種模式。這3種模式之間沒有優(yōu)劣之分，只是需要根據(jù)設(shè)計需求選擇輸入方式才能將沉浸式交互的魅力發(fā)揮到最大。

注釋：①Hololens作為MR產(chǎn)品，從功能上無法實(shí)現(xiàn)完全虛擬空間的肢體輸入。因此，本文討論的沉浸式VR語境中僅包含前兩者。②外接式設(shè)備包括PC外接式VR眼鏡，比如如HTC vive和視頻游戲主機(jī)外接設(shè)備，比如PlayStation VR等。

［1］王國強(qiáng).基于深度圖像的人體部位識別及動作識別［D］.廣州：華南理工大學(xué)，2014.

［2］渡邊修司，中村彰憲.游戲性是什么：如何更好地創(chuàng)作與體驗游戲［M］.北京：人民郵電出版社，2015：76.

［3］楊林.基于Kinect的人體目標(biāo)檢測與跟蹤［D］.大連：大連海事大學(xué)，2013.

［4］劉楊.基于Unity和Leapmotion的國家動漫園虛擬漫游的研究與實(shí)現(xiàn)［J］.天津科技，2015，42（3）：38.

［5］潘尚仕.虛擬現(xiàn)實(shí)（VR）情境下的界面設(shè)計模式解析［J］.藝術(shù)科技，2015（12）：261.

［6］黃俊，景紅.基于Leap Motion的手勢控制技術(shù)初探［J］.計算機(jī)系統(tǒng)應(yīng)用.2015，24（10）：259.