沉浸式環(huán)境手勢(shì)交互評(píng)估模型

張巍瀚，吳亞?wèn)|，張曉蓉，王賦攀

(1.西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 四川 綿陽(yáng) 621000；2.四川輕化工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 四川 自貢 643000)

沉浸式虛擬現(xiàn)實(shí)(Virtual Reality，VR)技術(shù)，又稱靈境技術(shù)，是以沉浸性、交互性和構(gòu)想性為基本特征的計(jì)算機(jī)高級(jí)人機(jī)界面[1]。隨著HTC Vive和Oculus等的消費(fèi)級(jí)設(shè)備的普及，基于VR設(shè)備的沉浸式交互軟件開(kāi)始開(kāi)發(fā)。沉浸式環(huán)境下以使用者為中心設(shè)計(jì)的交互方式與以計(jì)算機(jī)為中心設(shè)計(jì)的交互方式不同，傳統(tǒng)通過(guò)鼠標(biāo)和鍵盤進(jìn)行交互不再適用于沉浸式環(huán)境。于是，以使用者為中心，通過(guò)人體自然信息進(jìn)行交互方式應(yīng)運(yùn)而生。其中，由于手勢(shì)交互具有穩(wěn)固、直觀和靈活的特點(diǎn)，與沉浸式環(huán)境具有良好的適配性。隨著Leap Motion等非接觸式手勢(shì)獲取[2]設(shè)備的興起，使得使用手勢(shì)在沉浸式環(huán)境下進(jìn)行交互成為近年來(lái)人機(jī)交互領(lǐng)域的研究熱點(diǎn)。然而在沉浸式環(huán)境下可使用的手勢(shì)種類繁多[3]，傳統(tǒng)的評(píng)估軟件的方法也難以評(píng)估沉浸式設(shè)備是否精確有效。這時(shí)通過(guò)建立新的評(píng)估模型，設(shè)計(jì)新的評(píng)估體系以保證能對(duì)VR沉浸式設(shè)備下軟件的交互性和精確性進(jìn)行評(píng)估顯得尤為必要。

在人機(jī)交互領(lǐng)域，評(píng)估的目的是為了在滿足設(shè)計(jì)者設(shè)計(jì)需求的同時(shí)為交互的有效性提供佐證。Sharp等[4]認(rèn)為，評(píng)估是交互設(shè)計(jì)過(guò)程中重要的組成部分，而評(píng)估模型的結(jié)構(gòu)直接影響到全局的評(píng)估是否有效。Louise等[5]在對(duì)人機(jī)交互領(lǐng)域的評(píng)估方法做調(diào)查時(shí)發(fā)現(xiàn)，現(xiàn)有評(píng)估方法已從原有以計(jì)算機(jī)為中心的原型評(píng)估方式，向以人為中心的定性方式做出轉(zhuǎn)變。綜合國(guó)內(nèi)外研究情況，本文共整合出主觀等級(jí)評(píng)定法、內(nèi)容評(píng)估、生理評(píng)估三大類評(píng)估方法。

主觀等級(jí)評(píng)定法是心理學(xué)常用的評(píng)估方法。主觀等級(jí)評(píng)定法一般通過(guò)制作并分析使用者問(wèn)卷或者量表的回答來(lái)得出使用者的心理狀態(tài)，從而對(duì)系統(tǒng)進(jìn)行評(píng)估。Witmer[6]在測(cè)量評(píng)估虛擬環(huán)境的臨境感時(shí)，設(shè)計(jì)了包含控制、自然度、界面3個(gè)子卷的7點(diǎn)量調(diào)查量表。Vi等[7]在評(píng)估利用五感設(shè)計(jì)交互的博物館時(shí)，采用了李克特量表來(lái)記錄使用者的心理狀態(tài)。主觀等級(jí)評(píng)定法直接對(duì)受試者本身的心理狀態(tài)做出評(píng)估，能很好地了解受試者的主觀心理狀態(tài)，以滿足設(shè)計(jì)者的調(diào)查需求。但是直接進(jìn)行主觀等級(jí)評(píng)定法會(huì)使得被試者注意力偏向評(píng)價(jià)本身產(chǎn)生一定的情感偏差。

內(nèi)容評(píng)估法主要針對(duì)于沉浸式環(huán)境本身的一些特質(zhì)，通過(guò)分析軟件的指標(biāo)結(jié)合績(jī)效測(cè)量的方式，觀測(cè)受試者使用軟件的精準(zhǔn)度或時(shí)間，可以客觀地反應(yīng)對(duì)應(yīng)軟件的交互性。Nash等[8]研究表明，在沉浸式環(huán)境下交互情境的操作績(jī)效與VR環(huán)境的真實(shí)程度之間存在正相關(guān)關(guān)系。Witmer[6]在評(píng)估虛擬環(huán)境中的臨境感時(shí)也發(fā)現(xiàn)，任務(wù)完成情況和虛擬環(huán)境的構(gòu)建呈正比關(guān)系。內(nèi)容評(píng)估法圍繞設(shè)計(jì)軟件內(nèi)容進(jìn)行，評(píng)價(jià)的指標(biāo)一般具有量化性，在明確交互需求的情境下，能以較客觀的方式對(duì)軟件進(jìn)行評(píng)估。但由于面向軟件本身的特點(diǎn)，客觀評(píng)估法往往忽略了測(cè)試人員的主觀心理狀態(tài)。單一片面的客觀評(píng)估，也無(wú)法覆蓋整個(gè)交互過(guò)程。

生理評(píng)估法同樣面向于人體本身，但采取了更為客觀和可量化的人體生理指標(biāo)進(jìn)行評(píng)測(cè)。Michael等[9]的研究發(fā)現(xiàn)，虛擬環(huán)境和相對(duì)應(yīng)的真實(shí)環(huán)境越接近，受試者在兩種環(huán)境中的生理變化越相似。在有關(guān)交互的研究中，人體動(dòng)作的軌跡為方向上的預(yù)測(cè)提供了有力的支持和幫助，同樣地，人體動(dòng)作軌跡也為探究人體的狀態(tài)提供了指導(dǎo)[10]。由于生理的數(shù)值受外部干擾因素和人體個(gè)人因素影響較大，單純地利用生理評(píng)估法難以對(duì)沉浸式環(huán)境進(jìn)行準(zhǔn)確評(píng)估。

從現(xiàn)有技術(shù)上看，人機(jī)交互的評(píng)估發(fā)展仍需要多學(xué)科的理論支持。通過(guò)檢測(cè)人體自然行為判斷人體感知狀態(tài)的評(píng)估方式仍存在很多困難[11]，雖然現(xiàn)在已經(jīng)能通過(guò)傳感器獲取人體在交互過(guò)程中產(chǎn)生的一些交互信息和生理信號(hào)，但是這些信息或信號(hào)只是人的行為或狀態(tài)的大致測(cè)量，對(duì)人的自然行為或狀態(tài)的刻畫仍然不夠精確。雖然借助機(jī)器學(xué)習(xí)[12]、模式識(shí)別[13]等技術(shù)，計(jì)算機(jī)己能部分地、簡(jiǎn)單地理解人類的意圖，但人體狀態(tài)轉(zhuǎn)換以及復(fù)雜動(dòng)作的意圖理解還具有很多不確定性問(wèn)題。

基于以上研究，本文結(jié)合各類評(píng)估方式設(shè)計(jì)了用于沉浸式環(huán)境下基于手勢(shì)動(dòng)作軌跡的客觀評(píng)估模型——GT(Gesture & Task)評(píng)估模型。通過(guò)設(shè)計(jì)VR沉浸式環(huán)境下的交互任務(wù)，研究沉浸式環(huán)境下利用手勢(shì)進(jìn)行交互時(shí)受試者的交互狀態(tài)，獲取受試者客觀評(píng)估數(shù)據(jù)以完成評(píng)估。同時(shí)將評(píng)估模型數(shù)據(jù)與主觀數(shù)據(jù)做出對(duì)比驗(yàn)證，確保評(píng)估模型的有效性。最后，通過(guò)分析實(shí)驗(yàn)結(jié)果提出提供物理反饋和深度感知優(yōu)化兩種優(yōu)化方式，以輔助沉浸式環(huán)境下使用手勢(shì)的交互設(shè)計(jì)。

1 GT評(píng)估模型

GT評(píng)估模型是從分析沉浸式環(huán)境中手勢(shì)交互設(shè)計(jì)原型系統(tǒng)的交互過(guò)程出發(fā)，結(jié)合人機(jī)交互評(píng)估領(lǐng)域中的運(yùn)動(dòng)軌跡測(cè)量法與績(jī)效測(cè)量法兩種評(píng)估方法，收集手勢(shì)軌跡數(shù)據(jù)和交互任務(wù)完成情況數(shù)據(jù)兩部分?jǐn)?shù)據(jù)，評(píng)估沉浸式環(huán)境中手勢(shì)交互設(shè)計(jì)原型系統(tǒng)有效性和可用性的評(píng)估模型。

1.1 GT評(píng)估模型的建立準(zhǔn)則

根據(jù)Remy[14]提供的指導(dǎo)準(zhǔn)則，沉浸式環(huán)境中手勢(shì)交互設(shè)計(jì)系統(tǒng)評(píng)估模型的建立準(zhǔn)則由評(píng)估目標(biāo)、評(píng)估機(jī)制、評(píng)估指標(biāo)、評(píng)估方法、評(píng)估適用范圍5點(diǎn)構(gòu)成。

評(píng)估目標(biāo)：在60 Hz圖像刷新率的沉浸三維空間下，受試者以坐姿狀態(tài)使用手勢(shì)進(jìn)行交互的舒適性和精準(zhǔn)性。

評(píng)估機(jī)制：通過(guò)行為測(cè)量法中的姿態(tài)軌跡變化計(jì)算受試者的手勢(shì)動(dòng)作軌跡；績(jī)效測(cè)量法獲取任務(wù)完成情況與任務(wù)完成時(shí)間，綜合三者權(quán)重給出受試者完成任務(wù)的情況的量化數(shù)據(jù)，保證評(píng)估涵蓋整個(gè)交互過(guò)程。

評(píng)估指標(biāo)：客觀動(dòng)作指標(biāo)由通過(guò)Leap Motion記錄的手勢(shì)動(dòng)作軌跡所計(jì)算的軌跡穩(wěn)定程度，由沉浸式環(huán)境程序記錄的任務(wù)完成的精準(zhǔn)度和任務(wù)完成時(shí)間構(gòu)成。

評(píng)估方法：以任務(wù)驅(qū)動(dòng)為方式，通過(guò)讓受試者佩戴Oculus Rift使用手勢(shì)對(duì)三維空間方塊進(jìn)行抓取、移動(dòng)和旋轉(zhuǎn)3個(gè)動(dòng)作。利用Leap Motion和沉浸式環(huán)境記錄受試者使用手勢(shì)執(zhí)行操作任務(wù)，以獲取評(píng)估指標(biāo)。

評(píng)估適用范圍：受設(shè)備與環(huán)境限制，GT模型的評(píng)估適用于以坐姿為身體姿態(tài)、以手勢(shì)交互為交互方式的沉浸式程序。

沉浸式三維空間基于Unity 3D實(shí)現(xiàn)，使用Oculus Rift作為沉浸式頭戴顯示設(shè)備，Leap Motion作為交互傳感器設(shè)備和記錄姿態(tài)設(shè)備。通過(guò)將Leap Motion安置于頭盔前方，減少受試者的學(xué)習(xí)負(fù)擔(dān)，提升設(shè)備便捷性與自由度。沉浸式環(huán)境的圖像刷新頻率將穩(wěn)定在60 Hz左右。同時(shí)為了讓受試者擁有更好的沉浸感和質(zhì)感，沉浸式環(huán)境采用2K材質(zhì)進(jìn)行制作。

1.2 GT評(píng)估模型的評(píng)估流程

本文通過(guò)結(jié)合當(dāng)前人機(jī)交互領(lǐng)域評(píng)估方法中的績(jī)效測(cè)量法和運(yùn)動(dòng)軌跡測(cè)量法，建立以任務(wù)驅(qū)動(dòng)的方式收集客觀數(shù)據(jù)的GT評(píng)估模型，整體流程如圖1所示。

圖1 GT評(píng)估模型流程與驗(yàn)證流程

首先，利用Untiy 3D為編程工具，Oculus Rift作為沉浸式頭戴顯示設(shè)備，建立沉浸式環(huán)境，同時(shí)加入通過(guò)三維模型構(gòu)建的虛擬雙手，以虛擬化身[15]的方式控制交互體驗(yàn)。其次，利用沉浸式環(huán)境與Leap Motion記錄下交互任務(wù)時(shí)動(dòng)作軌跡穩(wěn)定程度、任務(wù)完成情況的客觀數(shù)據(jù)。計(jì)算得出各數(shù)據(jù)量化評(píng)估指標(biāo)。最后，整合動(dòng)作軌跡穩(wěn)定程度與任務(wù)完成情況的量化數(shù)據(jù)，形成GT評(píng)估模型的評(píng)估數(shù)據(jù)，并于量化的主觀心理數(shù)據(jù)進(jìn)行對(duì)比，驗(yàn)證評(píng)估數(shù)據(jù)的有效性，并通過(guò)評(píng)估模型設(shè)計(jì)隱式輔助，優(yōu)化沉浸式環(huán)境下的手勢(shì)交互。

1.3 GT評(píng)估模型的評(píng)估指標(biāo)

1.3.1 手勢(shì)軌跡數(shù)據(jù)

圖2 利用手部關(guān)節(jié)點(diǎn)數(shù)據(jù)繪制的交互軌跡

通過(guò)分析人體若干關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)軌跡就能描述人的動(dòng)作行為，并且隨著關(guān)節(jié)點(diǎn)的增多能夠消除對(duì)動(dòng)作行為的模糊理解[16]。隨著人機(jī)交互的發(fā)展，人體動(dòng)作本身也發(fā)展成為交互方式，作為一種時(shí)變連續(xù)信號(hào)，人體動(dòng)作軌跡具有天然的時(shí)間性和空間性[16]。由于GT評(píng)估模型通過(guò)使用Leap Motion實(shí)時(shí)跟蹤手部運(yùn)動(dòng)軌跡。使用者對(duì)沉浸式環(huán)境下的物體進(jìn)行手勢(shì)操作時(shí)，依幀數(shù)記錄使用者掌心與五指的關(guān)節(jié)點(diǎn)數(shù)據(jù)，形成由手部動(dòng)作軌跡構(gòu)成的時(shí)態(tài)數(shù)據(jù)。

首先，利用Leap Motion采集單個(gè)任務(wù)每5幀的手部關(guān)節(jié)點(diǎn)數(shù)據(jù)。通過(guò)時(shí)序繪制，形成使用者在沉浸式空間下的交互軌跡，如圖2所示。

其次，計(jì)算時(shí)序軌跡中每?jī)蓚€(gè)相鄰時(shí)序點(diǎn)之間形成的空間向量，并計(jì)算相鄰空間向量的夾角θi，計(jì)算的公式推導(dǎo)如下。

設(shè)空間中有n(n>2)個(gè)時(shí)序點(diǎn)，坐標(biāo)為(a1，b1，c1),(a2，b2，c2),…,(an，bn，cn)，則相鄰時(shí)序點(diǎn)所形成的第m(m=n-1且m>1)個(gè)空間向量Am為

Am={an-an-1，bn-bn-1，cn-cn-1}，

(1)

則相鄰空間向量所形成的第i(i=m-1=n-2且i>0)個(gè)夾角θi為

(2)

最后，計(jì)算單次交互形成的空間時(shí)序軌跡的平均夾角S，公式為

(3)

通過(guò)以上公式進(jìn)行計(jì)算得出手勢(shì)軌跡數(shù)據(jù)的穩(wěn)定程度，最終形成動(dòng)作軌跡穩(wěn)定評(píng)估指標(biāo)。

1.3.2 任務(wù)完成情況數(shù)據(jù)

GT評(píng)估模型的任務(wù)完成情況數(shù)據(jù)由任務(wù)完成精準(zhǔn)度與任務(wù)完成時(shí)間兩個(gè)指標(biāo)構(gòu)成。

(1)任務(wù)完成精準(zhǔn)度

由于沉浸式環(huán)境下使用手勢(shì)進(jìn)行交互時(shí)，受試者的手處于懸空狀態(tài)且并未與真實(shí)物體接觸，會(huì)導(dǎo)致手部生理性震顫的生理現(xiàn)象出現(xiàn)。Bilodeau等[17]在研究慣用手和非慣用手之間的手部震顫時(shí)發(fā)現(xiàn)，手指非彎曲狀態(tài)下的生理性震顫振幅達(dá)到0.5 mm。且由于交互的操作多需要手指彎曲且受試者在沉浸式環(huán)境下的心理感受不同，手部震顫的振幅將會(huì)在0.5～1.5 mm之間。鑒于以上原因，如果直接記錄任務(wù)完成數(shù)據(jù)，或以懸停滿一定時(shí)間的方式記錄完成數(shù)據(jù)，會(huì)使得任務(wù)完成精準(zhǔn)度出現(xiàn)一定程度的誤差。

GT評(píng)估模型的任務(wù)完成精準(zhǔn)度指標(biāo)通過(guò)一個(gè)隱式球形空間進(jìn)行記錄。通過(guò)計(jì)算交互方塊中心點(diǎn)與目標(biāo)方塊中心點(diǎn)的距離，構(gòu)建出半徑為2 mm的球形交互任務(wù)完成區(qū)域，該區(qū)域又以每0.4 mm半徑劃分5個(gè)任務(wù)子空間。使用者完成交互任務(wù)時(shí)，對(duì)相應(yīng)的區(qū)域進(jìn)行記數(shù)，當(dāng)滿足區(qū)域記數(shù)上限時(shí)，記錄為該區(qū)域任務(wù)完成精準(zhǔn)度。

(2)任務(wù)完成時(shí)間

任務(wù)完成時(shí)間是人機(jī)交互領(lǐng)域常用的評(píng)估方法。優(yōu)秀的交互設(shè)計(jì)會(huì)使受試者能迅速完成設(shè)定好的任務(wù)，因此任務(wù)完成時(shí)間是最為直觀且最易量化的交互評(píng)估指標(biāo)。然而從任務(wù)完成時(shí)間效率出發(fā)的評(píng)估極易忽略受試者的心里感受和生理狀態(tài)，且易受受試者對(duì)交互設(shè)計(jì)的學(xué)習(xí)時(shí)間影響。所以任務(wù)完成時(shí)間往往作為交互評(píng)估的輔助評(píng)估指標(biāo)。

GT評(píng)估模型的任務(wù)完成時(shí)間指標(biāo)由記錄受試者開(kāi)始任務(wù)至達(dá)成任務(wù)目標(biāo)所花費(fèi)的時(shí)間構(gòu)成。

1.4 GT評(píng)估模型的評(píng)估權(quán)重計(jì)算

通過(guò)實(shí)驗(yàn)任務(wù)，共獲取了動(dòng)作軌跡的軌跡穩(wěn)定程度、任務(wù)完成精準(zhǔn)度、任務(wù)完成時(shí)間三部分?jǐn)?shù)據(jù)。但由于各項(xiàng)數(shù)據(jù)單位并不統(tǒng)一且各項(xiàng)數(shù)據(jù)所占權(quán)重?zé)o法確定，GT模型采用熵值法來(lái)歸一各項(xiàng)數(shù)據(jù)并確認(rèn)各項(xiàng)數(shù)據(jù)的權(quán)重。

首先對(duì)第n個(gè)評(píng)估數(shù)據(jù)的3個(gè)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理，Xij為第i個(gè)數(shù)據(jù)的第j個(gè)指標(biāo)的數(shù)值(i=1,2,…,n；j=1,2,3)。由于三部分?jǐn)?shù)據(jù)全為負(fù)向評(píng)估數(shù)據(jù)(即數(shù)據(jù)數(shù)值越低評(píng)估得分越高)，因此，進(jìn)行標(biāo)準(zhǔn)化時(shí)，對(duì)三部分?jǐn)?shù)據(jù)進(jìn)行正向化計(jì)算，計(jì)算方法如下：

(4)

則第j項(xiàng)指標(biāo)下第i個(gè)數(shù)值占指標(biāo)的比重Pij(i=1,2,…,n；j=1,2,3)為

(5)

其熵值ej為

(6)

最終獲取該指標(biāo)權(quán)值

(7)

通過(guò)以上對(duì)各項(xiàng)指標(biāo)的權(quán)值考量，整合分析，平均計(jì)算各項(xiàng)占比，最終得出三項(xiàng)數(shù)據(jù)各自在評(píng)估模型中所占的權(quán)重。并計(jì)算每次數(shù)據(jù)的綜合得分為

(8)

2 實(shí)驗(yàn)與分析

為驗(yàn)證評(píng)估模型的有效性，設(shè)計(jì)了沉浸式虛擬化學(xué)實(shí)驗(yàn)場(chǎng)景。虛擬化學(xué)實(shí)驗(yàn)場(chǎng)景由模仿學(xué)?；瘜W(xué)實(shí)驗(yàn)室場(chǎng)景設(shè)計(jì)而成，由實(shí)驗(yàn)臺(tái)構(gòu)成基礎(chǔ)場(chǎng)景，實(shí)驗(yàn)儀器作為任務(wù)的主要交互對(duì)象，可對(duì)試管等化學(xué)實(shí)驗(yàn)常用儀器設(shè)備進(jìn)行抓取、移動(dòng)和旋轉(zhuǎn)。

2.1 實(shí)驗(yàn)任務(wù)設(shè)計(jì)

為交互任務(wù)能有效反應(yīng)受試者在沉浸式環(huán)境下的交互狀態(tài)，沉浸式虛擬化學(xué)實(shí)驗(yàn)場(chǎng)景的交互任務(wù)與化學(xué)實(shí)驗(yàn)常用手勢(shì)相關(guān)。實(shí)驗(yàn)任務(wù)由化學(xué)實(shí)驗(yàn)常用試管操作出發(fā)，受試者對(duì)沉浸式環(huán)境下的試管3D模型完成抓取、移動(dòng)、旋轉(zhuǎn)3個(gè)任務(wù)操作。

2.1.1 任務(wù)一：抓取試管

抓取操作是利用手勢(shì)進(jìn)行交互的常用操作，抓取的主要目的是為了選中目標(biāo)，便于受試者對(duì)關(guān)注的目標(biāo)進(jìn)行更多操作。抓取試管任務(wù)的目標(biāo)主體由目標(biāo)試管和目標(biāo)試管架構(gòu)成。為保證受試者進(jìn)行抓取任務(wù)時(shí)能從同一自然起點(diǎn)開(kāi)始，任務(wù)的起點(diǎn)設(shè)計(jì)為一個(gè)可以交互的點(diǎn)擊按鈕，放置于沉浸式場(chǎng)景中，保證人體能調(diào)整位置，自然地抓取到目標(biāo)試管進(jìn)行交互。任務(wù)計(jì)時(shí)從受試者選擇測(cè)試抓取任務(wù)點(diǎn)擊按鈕開(kāi)始，抓取試管并成功將試管取離試管架結(jié)束。

2.1.2 任務(wù)二：移動(dòng)試管

移動(dòng)操作也是手勢(shì)交互的常用操作，主要用于改變目標(biāo)位置達(dá)成某一目標(biāo)。移動(dòng)試管任務(wù)基于抓取試管任務(wù)，計(jì)時(shí)由抓取任務(wù)試管取離試管架開(kāi)始，移動(dòng)試管至目標(biāo)位置結(jié)束。任務(wù)目標(biāo)指引由一個(gè)與抓取試管形狀大小相同但無(wú)碰撞體積的高亮試管構(gòu)成，同時(shí)保證其位置在受試者可以自然移動(dòng)到的范圍內(nèi)，保證受試者能自然地完成目標(biāo)。

2.1.3 任務(wù)三：旋轉(zhuǎn)試管

旋轉(zhuǎn)操作與移動(dòng)操作相似，要用于改變目標(biāo)角度達(dá)成某一目標(biāo)。旋轉(zhuǎn)試管任務(wù)同樣基于抓取試管任務(wù)，計(jì)時(shí)由抓取任務(wù)試管取離試管架開(kāi)始，旋轉(zhuǎn)試管至目標(biāo)角度結(jié)束。任務(wù)試管由一個(gè)前后貼圖不同的試管構(gòu)成，保證受試者能自然接受任務(wù)指引。

2.2 李克特量表設(shè)計(jì)

表1 李克特量表問(wèn)題

由于GT評(píng)估模型的評(píng)估目標(biāo)核心為使用手勢(shì)進(jìn)行交互的舒適性和精準(zhǔn)性，為驗(yàn)證評(píng)估模型的有效性，本文針對(duì)相應(yīng)的沉浸式環(huán)境設(shè)計(jì)了驗(yàn)證評(píng)估模型的李克特量表(表1)。

量表由6個(gè)顯式或隱式問(wèn)題隨機(jī)構(gòu)成。通過(guò)以上顯式和隱式的問(wèn)題交叉收集，控制使用者因問(wèn)題本身而產(chǎn)生的注意力分散問(wèn)題。由于使用者脫離沉浸式環(huán)境產(chǎn)生回憶偏差，紙質(zhì)的調(diào)查表格無(wú)法準(zhǔn)確估計(jì)使用者使用手勢(shì)的情況。本文特地將李克特量表也放入設(shè)計(jì)好的沉浸式環(huán)境中，在執(zhí)行完每一次的任務(wù)之后自動(dòng)彈出李克特量表，使用者利用Leap Motion攜帶的Slider插件從評(píng)分1～7分中滑動(dòng)選擇評(píng)價(jià)交互情況。

2.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)一共招募了16名參與者(14名男性和2名女性)，參與者的年齡為19～24歲，慣用手均為右手，其中5名受試者有手勢(shì)交互的經(jīng)驗(yàn)，16人均無(wú)沉浸式環(huán)境下的交互經(jīng)驗(yàn)。本文的實(shí)驗(yàn)結(jié)果包括GT評(píng)估模型數(shù)值和主觀心理數(shù)值。

2.3.1 GT評(píng)估模型數(shù)值

GT評(píng)估模型得分由手勢(shì)軌跡數(shù)據(jù)、任務(wù)完成精準(zhǔn)度數(shù)據(jù)、任務(wù)完成時(shí)間數(shù)據(jù)、平均任務(wù)得分構(gòu)成，具體數(shù)值如圖3所示。

圖3 GT評(píng)估模型數(shù)值

根據(jù)GT評(píng)估模型實(shí)驗(yàn)結(jié)果，可以看到在移動(dòng)時(shí)手勢(shì)動(dòng)作軌跡相比抓取和旋轉(zhuǎn)的角度偏大，幀間角度平均達(dá)到5.2°；對(duì)于任務(wù)完成精準(zhǔn)度而言，旋轉(zhuǎn)的精準(zhǔn)度最高，平均精準(zhǔn)度誤差在0.2 mm以內(nèi)；對(duì)于任務(wù)完成時(shí)間而言，抓取任務(wù)的平均完成幀數(shù)為282幀，而移動(dòng)任務(wù)和旋轉(zhuǎn)任務(wù)的平均完成幀數(shù)為872幀和952幀。綜合上述3類權(quán)重，整合出的評(píng)分中，抓取任務(wù)評(píng)分為92分，移動(dòng)任務(wù)的評(píng)分為61分，旋轉(zhuǎn)任務(wù)的評(píng)分為83分。

2.3.2 GT評(píng)估模型與主觀心理數(shù)值對(duì)比

為驗(yàn)證GT評(píng)估模型能有效替代主觀心理評(píng)估的數(shù)值，本文隨機(jī)選擇10組任務(wù)(每組100個(gè)實(shí)驗(yàn)任務(wù)數(shù)據(jù))的平均GT評(píng)估模型數(shù)據(jù)與其平均主觀心理數(shù)據(jù)進(jìn)行歸一化對(duì)比，結(jié)果如圖4所示。

曲線①為10個(gè)數(shù)據(jù)組的李克特量平均得分進(jìn)行曲線擬合可視化之后的結(jié)果，曲線②為對(duì)應(yīng)數(shù)據(jù)組的GT評(píng)估模型平均得分進(jìn)行曲線擬合可視化之后的結(jié)果，通過(guò)分析實(shí)驗(yàn)結(jié)果可視化分析對(duì)比發(fā)現(xiàn)：除了第7組數(shù)據(jù)有異常以外，通過(guò)實(shí)驗(yàn)結(jié)果中GT評(píng)估模型的分?jǐn)?shù)與使用者的主觀評(píng)價(jià)所獲取的評(píng)分曲線基本一致。

2.4 實(shí)驗(yàn)數(shù)據(jù)的分析

2.4.1 整體數(shù)據(jù)分析

圖4 評(píng)估模型的值與主觀評(píng)估數(shù)值的對(duì)比

從實(shí)驗(yàn)結(jié)果來(lái)看，在有關(guān)沉浸式環(huán)境下使用手勢(shì)交互設(shè)計(jì)中，對(duì)于有明確目的的交互任務(wù)，交互物體的位置與大小、手勢(shì)的精確性與可控性需要有嚴(yán)格的要求。

對(duì)于抓取任務(wù)而言，對(duì)于無(wú)論是否有沉浸式環(huán)境下手勢(shì)交互經(jīng)驗(yàn)的受試者而言都是快速且準(zhǔn)確的，但受試者反饋所抓取物體的大小影響了其使用手勢(shì)的方式。過(guò)大的物體會(huì)導(dǎo)致使用者手指保持張開(kāi)狀，過(guò)小的物體會(huì)導(dǎo)致使用者手部蜷縮，以致Leap Motion的追蹤失敗。

對(duì)于移動(dòng)任務(wù)而言，消耗的時(shí)間較長(zhǎng)，且精準(zhǔn)度偏低。根據(jù)對(duì)受試者的調(diào)查發(fā)現(xiàn)，在進(jìn)行移動(dòng)任務(wù)時(shí)，受試者在沉浸式空間抓取了物體，但在現(xiàn)實(shí)中并沒(méi)有合適的觸覺(jué)反饋，使得受試者的手指用力并不自然，導(dǎo)致生理震顫的加劇。同時(shí)還發(fā)現(xiàn)，當(dāng)受試者抓取任務(wù)試管靠近目標(biāo)試管時(shí)，會(huì)自覺(jué)減速以方便與目標(biāo)試管校準(zhǔn)，但都會(huì)產(chǎn)生一定的偏差。

對(duì)于旋轉(zhuǎn)任務(wù)而言，進(jìn)行任務(wù)所消耗的時(shí)間同樣較長(zhǎng)，但精準(zhǔn)度較高。通過(guò)同移動(dòng)任務(wù)做對(duì)比發(fā)現(xiàn)，旋轉(zhuǎn)時(shí)受試者通過(guò)自然地旋轉(zhuǎn)手腕就能精確地將試管旋轉(zhuǎn)至指定的目標(biāo)角度。

通過(guò)以上實(shí)驗(yàn)結(jié)果，得出結(jié)論，抓取任務(wù)具有良好的準(zhǔn)確性且消耗時(shí)間短，能很好地幫助使用者在沉浸式環(huán)境下選中物體。移動(dòng)任務(wù)則精準(zhǔn)度偏低，時(shí)間消耗較長(zhǎng)，但由于其交互自然，可以幫助使用者在沉浸式環(huán)境下做簡(jiǎn)單的交互操作。旋轉(zhuǎn)任務(wù)的時(shí)間消耗偏長(zhǎng)，但具有良好的精準(zhǔn)度，可用于沉浸式環(huán)境下的精確交互操作。

2.4.2 特殊數(shù)據(jù)分析

由于在對(duì)比實(shí)驗(yàn)中出現(xiàn)了一組特殊的與主觀評(píng)價(jià)相反的實(shí)驗(yàn)結(jié)果數(shù)據(jù)，本文特意將第7組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了分析，如表2所示。

表2 第7組實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

在第7組實(shí)驗(yàn)任務(wù)中，旋轉(zhuǎn)任務(wù)占了整個(gè)任務(wù)的53%，且該組旋轉(zhuǎn)任務(wù)的主觀評(píng)估平均得分較整體旋轉(zhuǎn)任務(wù)的主觀評(píng)估平均得分差距較大。更進(jìn)一步的分析發(fā)現(xiàn)，53個(gè)旋轉(zhuǎn)任務(wù)中有37個(gè)數(shù)據(jù)是受試者在進(jìn)行前10次旋轉(zhuǎn)任務(wù)時(shí)收集的。詢問(wèn)受試者發(fā)現(xiàn)，在執(zhí)行旋轉(zhuǎn)任務(wù)的初期，由于Leap Motion對(duì)于蜷縮狀態(tài)的手掌無(wú)法精確判定其關(guān)節(jié)點(diǎn)坐標(biāo)，在沉浸式環(huán)境下繪制的手掌虛擬化身與受試者真實(shí)的手掌產(chǎn)生了偏差，使得受試者在進(jìn)行旋轉(zhuǎn)任務(wù)時(shí)感到不適，從而造成主觀評(píng)估得分偏低。但由于偏差本身不大，經(jīng)過(guò)一定時(shí)間的習(xí)慣之后，受試者很快適應(yīng)了該類情況，主觀評(píng)估得分?jǐn)?shù)據(jù)呈現(xiàn)正常狀態(tài)。

2.5 虛擬現(xiàn)實(shí)環(huán)境下手勢(shì)交互的優(yōu)化方法

初步的實(shí)驗(yàn)數(shù)據(jù)分析清晰地指出，沉浸式環(huán)境中，即使受試者任務(wù)目標(biāo)明確，使用手勢(shì)交互仍會(huì)產(chǎn)生一定的偏差。偏差的產(chǎn)生原因是由缺乏物理約束、視覺(jué)障礙、沉浸式環(huán)境所產(chǎn)生的認(rèn)知偏差和手部的生理震顫等多種因素導(dǎo)致的。值得注意的是，實(shí)驗(yàn)的結(jié)果描述了沒(méi)有虛擬現(xiàn)實(shí)手勢(shì)交互經(jīng)驗(yàn)的使用者的交互狀態(tài)。通過(guò)實(shí)踐和經(jīng)驗(yàn)的總結(jié)，可以提高交互精準(zhǔn)度。

由此，在保證沉浸式環(huán)境下的臨近感與手勢(shì)交互自然性的前提下，本文提出兩種利用GT評(píng)估模型的數(shù)據(jù)分析來(lái)優(yōu)化虛擬現(xiàn)實(shí)環(huán)境下的手勢(shì)交互的方法，分別為提供物理反饋和深度感知優(yōu)化。

2.5.1 提供物理反饋

在實(shí)驗(yàn)過(guò)程中，受試者受虛擬物體大小的影響，有過(guò)數(shù)次出現(xiàn)因抓握過(guò)度導(dǎo)致手勢(shì)識(shí)別失敗的情況。根據(jù)受試者的反饋，由于虛擬物體并不能提供真實(shí)的物理反饋，使得受試者在交互時(shí)，只能通過(guò)手的虛擬化身來(lái)判別抓取狀態(tài)。由此提供可移動(dòng)的物理平臺(tái)，或提供輕微的震動(dòng)刺激輔助交互，可以提供更加自然的觸覺(jué)反饋，而不降低受試者在沉浸式環(huán)境下的臨近感。

2.5.2 深度感知優(yōu)化

除開(kāi)物理因素外，沉浸式環(huán)境天然的三維環(huán)境也會(huì)導(dǎo)致受試者產(chǎn)生視覺(jué)障礙。通過(guò)實(shí)驗(yàn)觀察發(fā)現(xiàn)，受試者在使用手勢(shì)進(jìn)行3個(gè)交互動(dòng)作時(shí)的軌跡雖然平滑，但仍有明顯上下波動(dòng)，且都會(huì)在達(dá)成目標(biāo)時(shí)自覺(jué)減速方便與目標(biāo)矯正。但此類矯正都會(huì)使得實(shí)驗(yàn)?zāi)苡^測(cè)到的生理震顫加劇，導(dǎo)致交互精準(zhǔn)度降低。因此，提供一定的深度感知和方向引導(dǎo)能有效避免深度感知所帶來(lái)的問(wèn)題?？梢岳萌?D網(wǎng)格、建立與目標(biāo)的輔助連線、高亮可交互物體、從近至遠(yuǎn)霧化等方式輔助交互。

3 結(jié)語(yǔ)

本文設(shè)計(jì)了一個(gè)評(píng)估在沉浸式環(huán)境下使用手勢(shì)進(jìn)行交互的GT評(píng)估模型。GT評(píng)估模型通過(guò)任務(wù)實(shí)驗(yàn)獲取了人體運(yùn)動(dòng)軌跡和實(shí)驗(yàn)任務(wù)完成情況兩種量化評(píng)估指標(biāo)，并結(jié)合熵值法綜合各項(xiàng)結(jié)論的權(quán)重，得出適用于沉浸式環(huán)境使用手勢(shì)進(jìn)行交互的評(píng)估參考。然后設(shè)計(jì)了沉浸式虛擬化學(xué)環(huán)境與交互任務(wù)，通過(guò)實(shí)驗(yàn)驗(yàn)證了GT評(píng)估模型的有效性。最后通過(guò)分析實(shí)驗(yàn)數(shù)據(jù)，提出了提供物理反饋和深度感知優(yōu)化兩種沉浸式環(huán)境下使用手勢(shì)進(jìn)行交互的優(yōu)化方法。

未來(lái)的研究有以下兩個(gè)方向：

(1)結(jié)合更多的非接觸式設(shè)備，使評(píng)估能更有效地涵蓋整個(gè)實(shí)驗(yàn)過(guò)程。受設(shè)備所限，本文僅收集了人體的手勢(shì)交互信息數(shù)據(jù)，而人體除了主要用于交互的手勢(shì)外，還有身體姿態(tài)、目光和心率變化等客觀生理數(shù)據(jù)，通過(guò)整合各類非接觸設(shè)備的信息接口，擴(kuò)大收集人體在交互中的各類指標(biāo)，可以更全面地保證評(píng)估的有效性。

(2)通過(guò)人工智能和機(jī)器學(xué)習(xí)，擴(kuò)大評(píng)估模型的有效范圍。目前本文所設(shè)計(jì)的GT評(píng)估模型，評(píng)估范圍僅限于沉浸式三維空間下，受試者以坐姿狀態(tài)使用手勢(shì)進(jìn)行交互的舒適性和精準(zhǔn)性。通過(guò)加入人工智能和機(jī)器學(xué)習(xí)的方法，可以將該評(píng)估范圍向非沉浸式、自由姿態(tài)和身體交互方向進(jìn)行擴(kuò)展。