實時手勢交互的泉州東西塔虛擬現(xiàn)實實現(xiàn)技術

吳伊萍，林偉洲

(1.泉州師范學院 數(shù)學與計算機科學學院，福建 泉州 362001；2.福建省大數(shù)據(jù)管理新技術與知識工程重點實驗室，福建 泉州 362001;3.智能計算與信息處理福建省高等學校重點實驗室，福建 泉州 362001)

虛擬現(xiàn)實為人們跨越時空、身臨其境游覽世界遺產(chǎn)提供了可能.盡管基于虛擬現(xiàn)實的文化遺產(chǎn)研究較為成熟，然而，傳統(tǒng)虛擬遺產(chǎn)中使用鼠標、鍵盤或手柄進行虛擬遺產(chǎn)的漫游.近年來，隨著人機交互技術的發(fā)展，基于手勢、身體、眼球等人體非語言方式的自然交互在虛擬現(xiàn)實中逐漸興起.在自然交互的虛擬現(xiàn)實應用中，體驗者可以與藝術品自然互動[1]，彈奏古樂器[2]，控制木偶表演[3]，學習陶藝[4]，有效提升體驗者在虛擬現(xiàn)實系統(tǒng)中的真實感、沉浸感、參與感和學習效果.

隨著Kinect、Leap Motion、Real Sense等手勢控制器的發(fā)展，手勢識別的準確率、識別速度不斷提升.基于自然手勢的虛擬現(xiàn)實研究，為文化遺產(chǎn)體驗引入了新的方式.Baraldi等[1]基于分布式的自我姿態(tài)和藝術品識別，理解用戶與藝術品的自然交互；Hariadi等[2]利用Leap Motion采集手勢與印尼虛擬的傳統(tǒng)樂器Sasando交互；Lin等[4]在虛擬手套木偶中嘗試讓用戶通過手勢操控虛擬木偶，還可選擇不同的人偶、背景和音樂；林瑩瑩等[4]提出了虛擬環(huán)境中，基于自然手勢交互的陶藝體驗；Popovici等[5]提出了用戶沉浸在虛擬環(huán)境中，通過簡單的手勢無觸摸地與重建文物互動.王嘉琪等[6]比較了交互方式和性別差異對游客使用移動增強現(xiàn)實旅游產(chǎn)品的影響.林瑩瑩等[4]從完成度、沉浸感、操易度、趣味性上比較了手勢交互在虛擬現(xiàn)實和非虛擬現(xiàn)實模式下的差異.Popovici等[5]關注虛擬現(xiàn)實系統(tǒng)在博物館的文化遺產(chǎn)教育中的可用性和滿意度.王嘉琪等[6]的研究表明在移動增強現(xiàn)實旅游產(chǎn)品中觸摸交互可用性體驗更好，手勢交互中個體神經(jīng)生理激活水平更高.受上述研究啟發(fā)，本文將手勢交互引入泉州東西塔虛擬漫游，同時增加用戶與東西塔之間的交互，以增進用戶對世界遺產(chǎn)東西塔的認識.

1 泉州東西塔手勢交互設計

1.1 系統(tǒng)開發(fā)環(huán)境

系統(tǒng)硬件開發(fā)環(huán)境CPU為AMD 銳龍5 4600H，顯卡為NVIDIA GeForce GTX 1650 Ti，內存16 GB，Leap Motion手勢控制器.顯示器分辨率為1 920×1 080，交互幀率運動狀態(tài)下40幀以上，靜止狀態(tài)下60幀以上，實現(xiàn)了三維場景下的實時交互.Leap Motion傳感器[7]是Leap公司在2013年發(fā)布的體感控制器，它遵循右手坐標系，坐標系中單位與世界中1 mm相對應，典型視場為140×120°，最佳的跟蹤范圍在10～60 cm，最深可達80 cm.它通過兩個高幀率紅外攝像頭，保障在夜晚或光線較弱的環(huán)境下也能夠精確追蹤到手部.系統(tǒng)基于Unity 3D引擎，Visual Studio和Leap Motion SDK開發(fā).Unity3D是目前主流的跨平臺的虛擬現(xiàn)實引擎，可實現(xiàn)實時互動的2D和3D內容創(chuàng)作，在Visual Studio中編寫C#腳本，完成交互內容的設計與實現(xiàn).基于Leap Motion SDK實現(xiàn)手勢控制器的連接、用戶手勢信息的識別.

1.2 手勢定義與交互空間映射

根據(jù)三維場景中自然手勢交互范式的研究[8]，以及本研究中東西塔漫游、交互與虛擬拼裝等任務，定義了基于手勢、交互語義、手勢特征及用戶狀態(tài)的交互范式，見表1.

表1 手勢定義語義映射表

根據(jù)用戶的狀態(tài)和交互手勢確定手勢特征，由用戶的狀態(tài)和手勢特征確定當前范式下的交互語義.為模擬現(xiàn)實世界中用戶的裸手與虛擬世界虛擬物體交互，需建立顯示空間與交互空間的坐標映射.顯示空間指計算機顯示器或虛擬顯示頭盔，交互空間指Leap Motion控制器紅外攝像頭檢測到的用戶手關節(jié)所處的物理空間.利用Leap Motion控制器獲取體驗者的手關節(jié)坐標，通過三維場景中主攝像機的世界坐標將手關節(jié)坐標轉換為屏幕坐標.由于交互空間范圍受限，當虛擬物體與主攝像機位置較遠時，主攝像機先獲取食指指尖關節(jié)坐標，再將食指指尖關節(jié)坐標轉換為屏幕坐標，再變換為顯示空間中的射線，通過射線建立用戶手關節(jié)同交互虛擬物體之間的連接.

1.3 東西塔模型優(yōu)化

為實現(xiàn)對東西塔局部塔身部件的交互，對原始模型進行調整、拆分、優(yōu)化，并且依照東西塔的真實尺寸做出相應的縮放調整.根據(jù)王寒楓所著《泉州東西塔》的信息[9]，對原有東塔的部件進行分解，使華拱、胡孫頭、角昂、下昂、橑檐枋、補間二朵斗拱、羅漢枋等部件成為獨立的三維模型，為用戶與塔身部件交互進行準備.同時，使用Maya的UV編輯器對塔身材質貼圖優(yōu)化，東塔的優(yōu)化效果見圖1.最后，將優(yōu)化后的模型導入到unity中，并按照用戶通過坐姿與虛擬東西塔模型進行手勢交互，對東西塔三維模型的高度進行調整.

圖1 東塔三維模型

2 泉州東西塔手勢交互系統(tǒng)實現(xiàn)

2.1 手勢引導

本實驗設計了手勢引導，幫助用戶學習手勢及其所對應的功能，讓用戶能夠更好地體驗東西塔漫游系統(tǒng).手勢引導步驟如圖2所示，引導用戶完成前進、后退、旋轉、查看、退出等操作.

圖2 手勢學習

2.2 虛擬漫游

2.2.1 東西塔虛擬漫游手勢交互設計 東西塔虛擬漫游的交互手勢分為當前狀態(tài)、常態(tài)、交互態(tài)三種.當前狀態(tài)用來確定能夠進行的動作；常態(tài)控制自身的位置信息；交互態(tài)能與物體進行交互.

在東西塔虛擬漫游時，為了能夠讓用戶近距離看清楚所交互的對象，設計查看交互對象按鈕，供用戶與虛擬東西塔交互.通過計算用戶與交互物體距離的比例，確定交互按鈕的位置信息，自適應交互按鈕視角，分遠視角和近視角.

用戶在漫游時，可以從各個位置通過交互按鈕前往初始路點.為防止出現(xiàn)穿模、死路等問題，為各個交互對象分配不同的路點并結合協(xié)程完成尋路導航.以用戶位于東塔正前方為例，如圖3所示，東塔上方、正前方、左、右各設置了4個不同初始路點(黃色StartPos01至StartPos04)，供用戶在不同位置進行導航.其次，用戶在尋路時，通過比較用戶當前位置與每個路點的距離，獲取最近的路點進行追蹤，借助協(xié)程完成用戶位置、交互物體近點、起始位置的逐段位移的計算，并確定路徑.

圖3 東塔路點設置

2.3 東西塔塔體的交互

2.3.1 東西塔塔體的交互設計 東西塔塔體主要包括用戶在東西塔的上下層移動、旋轉查看塔，查看塔部件以及塔浮雕等.用戶可以根據(jù)特定的交互手勢，完成所要的交互，了解東西塔塔身建筑部件的信息、塔身浮雕的歷史信息等.

2.3.2 上下塔與旋轉塔 為了能夠讓用戶從各個角度觀察東西塔，通過手勢6、手勢7來控制用戶在東西塔的上下層移動，手勢4、手勢5來控制用戶繞塔旋轉.上下層移動需要通過檢測手指捏合的特征開始記錄起始捏合位置，比較當前位置與起始位置的高度差，進而確定手勢的上下方向，實現(xiàn)用戶在東西塔上下層移動的控制.同理，繞塔旋轉則是通過叉乘得出手勢的左右方向，進而控制繞塔旋轉的方向.

2.3.3 與塔部件進行交互 為了使用戶能夠了解塔的部件，對塔身的斗拱、猢猻頭、角昂、華拱、下昂、羅漢枋、橑檐枋等7個部件建立標簽.如圖4所示，當用戶(通過手勢8)食指指向想要了解塔身的建筑部件的位置，首先獲取該部件的坐標位置，進行坐標轉換.其次，對該目標建筑部件輪廓進行高光處理，使該部件視覺更加清晰.最后，根據(jù)標簽返回每個部件的名稱，將部件輪廓高亮并顯示部件名稱在交互面板上.

圖4 顯示塔部件名稱 圖5 浮雕交互

2.3.4 與浮雕進行交互 東西塔的浮雕采用由手心位置控制的光圈進行交互.首先，對塔身的每個浮雕單獨添加碰撞體，并且為每個碰撞體添加編號以區(qū)分不同的浮雕.如圖5，當光圈與之交互時，根據(jù)當前所在層信息以及浮雕的標號從浮雕管理器中獲取對應的浮雕信息，顯示在用戶界面面板上.

2.3.5 東塔微縮模型交互 根據(jù)手的朝向(圖6)，當用戶左手手心朝向自己時(圖6(a))，左手托住東塔微縮模型.當手心離開身體一定角度(圖6(b))，東塔模型收入手心.當右手靠近東塔微縮模型時(圖6(c))，東塔微縮模型放大.

圖6 東塔微縮模型交互

2.4 東塔虛擬拼裝

2.4.1 東塔虛擬拼裝設計 東塔虛擬拼裝為用戶理解東塔的建筑結構、各塔層的歷史內涵之間的關系提供了一個橋梁.用戶通過手勢拾取東塔每一層，逐層向上虛擬拼裝過程，視覺上可以看到東塔各層不同的浮雕、各層之間的上下位置關系.東塔虛擬拼裝，可為用戶進一步了解東塔的建筑結構和各層信息.本文設計了一個虛擬實驗室供用戶進行東塔的虛擬拼裝.當右手捏合手勢捏取模型塔(手勢10)，用戶將進入虛擬實驗室中，開始東塔模型的虛擬拼裝.在虛擬實驗室中，東塔的微縮模型由低到高分別為塔基、人天乘、聲聞乘、緣覺乘、菩薩乘、佛乘(含塔剎)6個部分.拼裝過程需按照該順序逐層捏取對應的層級，由塔基至佛乘依次向上拼.在拾取每一層模型時，該層的模型高度、虛影高度、層的名稱及介紹等信息會彈出.其次，用戶在拼裝的過程中，設計了NPC在左上角進行提示，協(xié)助用戶拼裝模型.最后在拼裝完成時還會對用戶拼裝完成的模型進行檢測，NPC會向用戶反饋拼裝結果是否正確.

2.4.2 東塔的拾取與拼裝 由于交互空間受限，模擬用戶抓取虛擬東塔子層時，利用交互空間映射，將用戶食指指尖特征轉換為射線，通過射線來協(xié)助完成模型的拾取與拼裝操作.手部虎口附近處的光圈表示檢測的位置，實現(xiàn)遠處模型的拾取.在模型拾取的過程，將虛擬實驗臺桌面與單層東塔虛擬模型分開檢測，根據(jù)層級進行操作.當虛擬東塔子層被檢測到要被抓取時，呈現(xiàn)輪廓綠光高亮，表示拾取成功，并在其上方顯示對應的塔層名稱.

用戶對待拼裝模型的拼裝或拆卸的操作是根據(jù)待拼裝模型的位置來判斷的.當捏取的待拼裝塔層模型位于桌面上，待拼裝模型會跟隨用戶手部一起移動.當捏取的待拼裝模型靠近目標模型時，目標模型上方會顯示出待拼裝模型的虛影，此時松開會自動將待拼裝模型放置到目標模型的上方中，人天乘已安裝到塔基上.其次，還可先將兩層拼裝在一起.

3 結果與分析

實驗過程分為四部分：(1)手勢引導；(2)體驗東西塔虛擬漫游；(3)東塔三維模型虛擬拼裝；(4)用戶問卷和訪談.

實驗采用李克特(Liket)五級量表[10],每個被測者通過“非常同意”“同意”“不一定”“不同意”“非常不同意”，共10個問題如表2和圖7所示，覆蓋手勢的易用性、交互內容的豐富性、用戶的對手勢交互持有的態(tài)度.本實驗共招募了32名大學本科生，其中16名男性、16名女性，平均年齡21.2歲.

表2 問卷描述

圖7 手勢交互可用性評估

方差檢驗如表3所示，Q5、Q7～Q10方差值高于其余5個問題，體現(xiàn)出用戶通過體驗系統(tǒng)對東西塔的了解、對手勢交互的興趣及未來發(fā)展持肯定態(tài)度；反之，Q3、Q4方差值最低，體現(xiàn)了用戶在實驗過程中準確完成操作、手勢交互反饋的流暢性上有待改進.

表3 方差檢驗

在性別差異上，Q1～Q4、Q5、Q7～Q10男性用戶的方差值高于女性用戶，表現(xiàn)為男性用戶在手勢交互的技術上的接受度更高,在東西塔歷史知識等信息的獲取度更高,對手勢交互的興趣、態(tài)度更好，更期待手勢交互的應用,東西塔模型的逼真度上(Q6)，女性用戶更滿意.

在用戶訪談中，多數(shù)用戶表達了對泉州東西塔虛擬現(xiàn)實手勢交互系統(tǒng)的喜愛，同時也提出玩的內容太少了,希望可以繼續(xù)完善；少數(shù)用戶反應手酸，或容易忘記手勢.

綜上，性別在虛擬現(xiàn)實實時手勢交互中存在明顯差異.男性用戶在手勢技術的接受度、手勢操作的熟練度上高于女性用戶，對手勢交互技術所持的態(tài)度更友好，因而交互過程體驗更流暢，交互中獲得的建筑遺產(chǎn)知識更多.女性用戶更關注虛擬現(xiàn)實中的視覺效果，如模型的逼真度；在手勢交互技術的接受度、操作熟練度略遜色于男性用戶.其次，鑒于部分用戶出現(xiàn)遺忘手勢、手酸等問題，后續(xù)將對交互任務進行進一步細化尋找更精簡的手勢集來完成虛擬現(xiàn)實中的實時手勢交互任務.

4 結論

本文提出了基于實時手勢交互的泉州東西塔虛擬現(xiàn)實系統(tǒng)，基于Leap Motion實現(xiàn)了泉州東西塔虛擬漫游、東西塔手勢交互、東塔虛擬拼裝.用戶體驗實驗結果表明，手勢交互表現(xiàn)出明顯的性別差異，男性用戶在手勢交互技術的接受度、操作的熟練度上優(yōu)于女性，交互過程對男性用戶更有吸引力、趣味性和新穎性，使他們在東西塔的建筑結構和歷史信息收獲上更高；女性用戶對東西塔三維模型的逼真度更滿意.所提系統(tǒng)對虛擬現(xiàn)實中的實時手勢交互應用提供了借鑒.