基于Leap Motion 的Unity3D 游戲操控

葉招娣 陳海祺 尹婭琳 余小希 鄭譽(yù)煌

（1.廣東第二師范學(xué)院物理與信息工程學(xué)院 廣東省廣州市 510303）

（2.廣東第二師范學(xué)院教務(wù)處 廣東省廣州市 510303）

隨著近年來(lái)虛擬現(xiàn)實(shí)技術(shù)的迅猛發(fā)展，特別是與現(xiàn)實(shí)世界產(chǎn)生了越來(lái)越多的結(jié)合技術(shù)，它可以建立人工構(gòu)造的三維虛擬環(huán)境，用戶(hù)可以以自然地方式與虛擬環(huán)境中的物體進(jìn)行交互作用、相互影響，幫助人類(lèi)不斷增強(qiáng)認(rèn)識(shí)世界和適應(yīng)世界的能力，尤其是當(dāng)今疫情時(shí)代，虛擬現(xiàn)實(shí)技術(shù)的開(kāi)發(fā)和利用幫助人們解決了教育、金融、醫(yī)療等各方面的問(wèn)題。此外，游戲產(chǎn)業(yè)作為娛樂(lè)產(chǎn)業(yè)中的一員，在全世界得到飛速發(fā)展，而玩家在游戲過(guò)程中，對(duì)于游戲的操控性和游戲的代入感的需求也在不斷地增加。其中，體感游戲是一種新穎的游戲類(lèi)型，憑借它的可操控、可玩性和體驗(yàn)感越來(lái)越受許多玩家的喜愛(ài)。不論是國(guó)內(nèi)還是國(guó)外，對(duì)于體感游戲的開(kāi)發(fā)尚處于一個(gè)研究探索的階段，還沒(méi)有完整地開(kāi)發(fā)技術(shù)。

基于上述研究背景，本文主要利用Unity3D 強(qiáng)大的游戲引擎和Leap Motion 體感控制的技術(shù)，研究從科普的視角建立一個(gè)基礎(chǔ)修車(chē)過(guò)程游戲，利用3Dmax 三維建模軟件，建立一個(gè)自行車(chē)維修的場(chǎng)景，構(gòu)建自行車(chē)模型和工具模型并導(dǎo)入unity3D的游戲引擎中，在Leap Motion的手勢(shì)識(shí)別功能下，共同打造基于體感交互技術(shù)的三維車(chē)輛維修的基礎(chǔ)游戲，實(shí)現(xiàn)用戶(hù)手部虛擬抓取物體等人機(jī)交互功能，推動(dòng)體感游戲在國(guó)內(nèi)的發(fā)展。

1 游戲整體設(shè)計(jì)

為了增進(jìn)人們對(duì)車(chē)輛結(jié)構(gòu)的了解，本游戲系統(tǒng)設(shè)計(jì)了一個(gè)基于Leap Motion 的Unity3D 的三維車(chē)輛維修游戲，該游戲的整體設(shè)計(jì)共由四部分組成。第一個(gè)是游戲的UI 設(shè)計(jì)，在游戲中添加UI 設(shè)計(jì)增加趣味交互性， UI 界面和游戲的交互模式是整個(gè)游戲系統(tǒng)的基礎(chǔ)，游戲中的菜單需要用到UI界面進(jìn)行實(shí)現(xiàn)。

第二個(gè)是本游戲的三維模型模塊，本游戲利用Unity3D平臺(tái)搭建一個(gè)車(chē)輛維修虛擬場(chǎng)景，利用unity 的Hierarchy 組件調(diào)節(jié)燈光的明暗以適應(yīng)不同的玩家視角角度。我們使用3dmax 建構(gòu)游戲核心模型自行車(chē)，自行車(chē)三維模型由導(dǎo)向系統(tǒng)、驅(qū)動(dòng)系統(tǒng)、制動(dòng)系統(tǒng)所組成。導(dǎo)向系統(tǒng)包括車(chē)把、前軸、前輪等，主要用來(lái)保持平衡和改變行駛方向；而驅(qū)動(dòng)系統(tǒng)包括腳蹬、鏈條、飛輪、后軸等，主要用來(lái)驅(qū)動(dòng)前進(jìn)；制動(dòng)系統(tǒng)主要有車(chē)閘，方便操縱車(chē)閘減速、停駛。 在場(chǎng)景的另外一個(gè)位置上，我們還設(shè)計(jì)了維修自行車(chē)所需要使用的一些工具，例如扳手、鉗子、螺絲等等。

第三個(gè)模塊就是利用Leap Motion 控制器的手勢(shì)識(shí)別技術(shù)實(shí)現(xiàn)用戶(hù)抓取物體的交互功能，Leap Motion 的抓取交互功能主要是在實(shí)時(shí)捕獲的人手運(yùn)動(dòng)數(shù)據(jù)的基礎(chǔ)上，驅(qū)動(dòng)虛擬手部的變換動(dòng)作，并根據(jù)虛擬手的動(dòng)作狀態(tài)與環(huán)境中待抓取對(duì)象的聯(lián)系，判斷是否滿(mǎn)足抓取條件，進(jìn)而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)抓取動(dòng)作的數(shù)字化仿真。在游戲中通過(guò)手勢(shì)識(shí)別技術(shù)達(dá)到抓取、放置、放大等操作，擺脫傳統(tǒng)鼠標(biāo)和鍵盤(pán)的約束，運(yùn)用肢體動(dòng)作將現(xiàn)實(shí)和虛擬相結(jié)合，使得用戶(hù)更有代入感與更好的體驗(yàn)感，真正實(shí)現(xiàn)unity3D 引擎與Leap Motion 控制器相結(jié)合的交互式游戲。在虛擬自行車(chē)游戲中無(wú)法使用單一手勢(shì)來(lái)進(jìn)行識(shí)別交互，所以利用動(dòng)態(tài)識(shí)別抓捕來(lái)實(shí)現(xiàn)操作，所以用戶(hù)在不同的操作中需用到不同的動(dòng)作來(lái)進(jìn)行交互。例如我們要完成抓取自行車(chē)輪胎的動(dòng)作，首先將手部放置在Leap Motion 正上方距離大概30cm 至50cm，手掌向著Leap Motion 所在的一面上，確保每個(gè)手指都被識(shí)取到傳感器中，手勢(shì)輸出后屏幕內(nèi)就會(huì)出現(xiàn)一個(gè)虛擬手部，這個(gè)虛擬手部會(huì)隨著用戶(hù)手部的移動(dòng)而移動(dòng)，當(dāng)移動(dòng)至輪胎處，輪胎會(huì)出現(xiàn)光圈狀態(tài)，此刻做出手掌緊握即五指需保持彎曲的狀態(tài)即可抓取輪胎。另外放大車(chē)輛某個(gè)部分的動(dòng)態(tài)動(dòng)作是拳頭變手掌即五指保持伸直的狀態(tài)，縮小即是五指合并即是五指伸直合并在一起的狀態(tài)。利用抓獲這些特定的動(dòng)作來(lái)用于控制游戲。在能直接在車(chē)輛進(jìn)行的交互動(dòng)作外，還可以使用維修工具來(lái)進(jìn)行操作，在墻面會(huì)有常見(jiàn)的維修器件，可通過(guò)Leap Motion 的交互模式來(lái)抓取并移動(dòng)至車(chē)輛來(lái)達(dá)到拆裝的效果，在這里能實(shí)現(xiàn)的動(dòng)作是用戶(hù)在Leap Motion 上首先用手抓取想要的零件，并將它移至到自行車(chē)可拆卸處即會(huì)自動(dòng)拆分，等拆分完成后會(huì)有復(fù)原的按鍵，這就能使用戶(hù)在了解車(chē)輛組成的基礎(chǔ)上更有趣味性的學(xué)習(xí)。

第四個(gè)模塊是游戲的動(dòng)畫(huà)設(shè)計(jì)，我們選用的是unity中的animation 組件，主要用于展示輪胎維修的過(guò)程。在windows—animator 打開(kāi)動(dòng)畫(huà)制作界面。首先鎖定游戲?qū)ο蟮囊苿?dòng)主體（即輪胎），確認(rèn)輪胎的移動(dòng)軌跡、距離和時(shí)間后，進(jìn)行animator 錄制，添加游戲?qū)ο蟪跏嘉恢米鳛榈谝粠缓筮x中輪胎，拖動(dòng)其緩緩向既定位置移動(dòng)，添加新的一幀，結(jié)束錄制，一個(gè)動(dòng)畫(huà)就即可完成。

2 游戲開(kāi)發(fā)環(huán)境

2.1 Unity3D概述

Unity3D 是一款國(guó)際領(lǐng)先的跨平臺(tái)的專(zhuān)業(yè)游戲引擎，Unity 平臺(tái)提供了一套完善的游戲軟件設(shè)計(jì)到開(kāi)發(fā)的完整解決方案，可用于設(shè)計(jì)、創(chuàng)作、運(yùn)營(yíng)任何一款2D 或3D 游戲，而且還跨平臺(tái)支持各種平臺(tái)，包括iOS、Android、Windows、Mac 等各類(lèi)硬件平臺(tái)，充分體現(xiàn)了Unity 強(qiáng)大功能，在使用過(guò)程中，它的跨平臺(tái)游戲開(kāi)發(fā)的特性為開(kāi)發(fā)者解決了大量移植過(guò)程中的不必要的麻煩，并且相較于其他游戲的開(kāi)發(fā)平臺(tái)，Unity3D 的基于腳本的監(jiān)聽(tīng)機(jī)制使得開(kāi)發(fā)者僅僅需要編寫(xiě)相應(yīng)的游戲腳本即可，由游戲腳本響應(yīng)unity 系統(tǒng)平臺(tái)上的各個(gè)模塊的組件，以此實(shí)現(xiàn)相應(yīng)的功能。作為一款商業(yè)游戲引擎，Unity 可支持更高級(jí)別的引擎功能，在游戲制作后期可以移植和打包，大大便利了開(kāi)發(fā)者進(jìn)行使用。

2.2 Leap Motion

Leap Motion 是一款面向PC 以及Mac 平臺(tái)的體感控制器。Leap Motion 具有很好地軟硬件結(jié)合能力，Leap Motion控制器可追蹤全部10 只手指，精度高達(dá) 1/100 毫米。它遠(yuǎn)比現(xiàn)有的運(yùn)動(dòng)跟蹤控制技術(shù)更為精確，同時(shí)，它可以實(shí)現(xiàn)用手指瀏覽網(wǎng)頁(yè)、閱讀、彈鋼琴或者其他小游戲，基于此功能，本游戲采用Unity3D 和Leap Motion 相結(jié)合的游戲操控方式，增加游戲過(guò)程中的體驗(yàn)感和趣味性。

2.3 C#語(yǔ)言

C#是微軟公司發(fā)布的一種由C 和C++衍生出來(lái)的面向?qū)ο蟮木幊陶Z(yǔ)言、運(yùn)行于.NET Framework 和.NET Core(完全開(kāi)源，跨平臺(tái))之上的高級(jí)程序設(shè)計(jì)語(yǔ)言，它是一種安全的、穩(wěn)定的、簡(jiǎn)單的、優(yōu)雅的面向?qū)ο缶幊陶Z(yǔ)言，它在繼承C 和C++強(qiáng)大功能的同時(shí)去掉了一些它們的復(fù)雜特性（例如沒(méi)有宏以及不允許多重繼承）。C#綜合了VB 簡(jiǎn)單的可視化操作和C++的高運(yùn)行效率，以其強(qiáng)大的操作能力、優(yōu)雅的語(yǔ)法風(fēng)格、創(chuàng)新的語(yǔ)言特性和便捷的面向組件編程的支持成為.NET 開(kāi)發(fā)的首選語(yǔ)言。目前，大多數(shù)unity 開(kāi)發(fā)游戲所使用的語(yǔ)言是C#，它比較普及并且所具有的參考資料較豐富。

3 抓取物體交互功能的實(shí)現(xiàn)

3.1 Unity資源包

要實(shí)現(xiàn)從Leap Motion 設(shè)備捕捉手部動(dòng)作到Unity 中手模型的綁定，最后再實(shí)現(xiàn)與游戲中物品的交互，整個(gè)過(guò)程需要使用許多的Unity 數(shù)據(jù)包。首先，我們需要將Leap Motion 核心驅(qū)動(dòng)導(dǎo)入U(xiǎn)nity 平臺(tái)，并采用Leap Motion 的核心core 文件來(lái)實(shí)現(xiàn)，本游戲使用的是核心組件的4.6 版本，如圖1 所示。

圖1： 核心組件

將Leap Motion 連接電腦之后，通過(guò)Leap Motion 的攝像頭以及自帶的內(nèi)部代碼，玩家的手在Leap Motion 的內(nèi)置監(jiān)視器中將被套上默認(rèn)的球棍模型骨架如圖2 所示，這為開(kāi)發(fā)者在unity 中代入模型提供了極大的便利。

圖2： 內(nèi)置攝像頭默認(rèn)球棍模型

打開(kāi)Unity 軟件，需要在平臺(tái)中創(chuàng)建一些組件（即Unity 平臺(tái)中的create empty 創(chuàng)建的一個(gè)GameObject）來(lái)配合Leap Motion 進(jìn)行工作，本文以最簡(jiǎn)單的抓握這一交互動(dòng)作為例子，描述利用四個(gè)主要組件組成完成交互動(dòng)作所需的流程，四個(gè)組件分別為L(zhǎng)eap Motion 支持組件、手模型管理組件、交互管理組件、物品交互組件。

本游戲的抓取交互主要有四個(gè)步驟，也就是布置四個(gè)組件：Leap service provider 組件負(fù)責(zé)連接Leap Motion 硬件與Unity 平臺(tái)；Hand model manager 給Unity 導(dǎo)入綁定好手部模型；Interaction manager 負(fù)責(zé)給交互的主體以及受體賦予交互方式以及主體的接觸點(diǎn)；最后是給交互物體設(shè)置好碰撞體以及物理邏輯。完成這樣一套流程之后，基本的抓取交互就完成了，下面本文將詳細(xì)介紹這一過(guò)程。

3.2 導(dǎo)入實(shí)時(shí)捕獲的手動(dòng)作

要完成在游戲中實(shí)時(shí)捕捉玩家的手部動(dòng)作，需要在unity 中加入的第一個(gè)組件是Leap Motion 的服務(wù)支持組件，該組件是由腳本leap service provider 構(gòu)成，如圖3 所示。

圖3： leap service provider 組件界面

它能夠?qū)eap Motion 攝像頭實(shí)時(shí)捕捉的動(dòng)作輸入到unity 平臺(tái)之中，同時(shí)該組件中的腳本編寫(xiě)中還具有改變Leap Motion 攝像頭監(jiān)視模式的功能edit time pose（監(jiān)視模式包括桌面模式desktop mode 以及頭盔式Head mounted），根據(jù)Leap Motion 的放置方式可以選擇不同的監(jiān)視模式。該組件同樣包括交互體可視化Interaction volume visualization選項(xiàng)，可以適配Leap Motion 公司其他產(chǎn)品，剩余是有關(guān)交互時(shí)物理方面的反饋和表現(xiàn)等選項(xiàng)。

3.3 對(duì)Unity內(nèi)手模型的轉(zhuǎn)化和控制

在將leap service provide 導(dǎo)入后，需要我們建立的Unity組件是手模型管理組件，將Leap Motion 內(nèi)置攝像頭捕捉的手部圖像轉(zhuǎn)換為Unity 內(nèi)對(duì)虛擬手模型的控制。這一組件是由腳本hand model manager 構(gòu)成，如圖4 所示，該組件的主要功能是將與之前設(shè)置的leap service provide 綁定起來(lái)，把攝像頭捕捉的圖像導(dǎo)入進(jìn)來(lái)；其次是創(chuàng)建一個(gè)model pool（模型池）用來(lái)放置虛擬手模型，同時(shí)可以設(shè)置手模型的有關(guān)參數(shù)。

圖4： hand model manager 組件界面

在該組件中的模型池里放置了一雙手模型后，該組件擁有兩個(gè)子組件rigged hand，分為左手和右手。由圖4 和圖5也可以看出兩者均是由腳本rigged hand 構(gòu)成的組件，該組件的主要功能有：分別設(shè)定單獨(dú)手模型的左右；設(shè)定手模型的大小，該功能用于協(xié)調(diào)好手模型與其他模型的比例關(guān)系；設(shè)置一個(gè)列表用于放置手指模型，可以把五個(gè)手指的模型綁定好；設(shè)定手掌坐標(biāo)，用于確定整個(gè)手的位置；設(shè)定前臂、腕關(guān)節(jié)、肘關(guān)節(jié)的位置，該功能在運(yùn)用更加詳盡的手部模型的時(shí)候能夠增加控制坐標(biāo)，調(diào)整位置，增加真實(shí)感；最后一個(gè)功能是設(shè)定手模型的初始待機(jī)動(dòng)作。

圖5： rigged hand（左手）組件界面

簡(jiǎn)單版本的手模型僅有手掌和五個(gè)手指（thumb 拇指、index 食指、middle 中指、ring 無(wú)名指、pinky 小指），其中手指部分又被分為三個(gè)更小的單元（A、B、C），如圖6 所示的L_Finger_Thumb_A 是大拇指，就被分為了三個(gè)GameObject，分別對(duì)應(yīng)了手指指尖部分，手指中間部分以及手指末端關(guān)節(jié)凸起處；這樣可以靈活調(diào)單獨(dú)每根手指的長(zhǎng)度，協(xié)調(diào)手部比例，看起來(lái)更加真實(shí)自然。

圖6： 完整的簡(jiǎn)單版本手模型目錄

3.4 設(shè)定交互對(duì)象和動(dòng)作

在完成了以leap service provide 為腳本的Leap Motion支持組件和以hand model manager 為腳本的手模型管理組件之后，最后需要?jiǎng)?chuàng)建的就是交互管理組件，如圖7 和圖8 所示，該組件的腳本為Interaction Manager。組件的主要功能是：設(shè)定需要進(jìn)行交互的對(duì)象，即虛擬手模型；設(shè)定交互設(shè)置，包括懸停觸發(fā)半徑以及觸碰觸發(fā)半徑；交互層級(jí)設(shè)置。

圖7： Interaction Manager 組件界面

圖8： Interaction hand（左手）組件界面

所謂的懸停（hover）是指當(dāng)虛擬手模型接近交互物品時(shí)的反饋，通過(guò)懸停我們可以判斷手距離交互物品的距離，官方組件中給出的反饋方式是給交互物品上色，通過(guò)設(shè)置可以使物品從原本的淺色變?yōu)樯钌值木嚯x越近則顏色越深，反過(guò)來(lái)設(shè)置也同樣可以實(shí)現(xiàn)。所以說(shuō)，懸停觸發(fā)半徑就是指虛擬手模型以及交互物品之間的反饋半徑。觸碰觸發(fā)半徑則是虛擬手模型和交互物品發(fā)生碰撞，抓取等物理動(dòng)作的發(fā)生半徑。

與手模型管理組件類(lèi)似，該組件下有兩個(gè)子組件：Interaction Hand。該組件的功能是要綁定好Leap Motion 攝像頭（leap service provider），同時(shí)也將交互主體綁定為之前導(dǎo)入的虛擬手模型；設(shè)定手的交互模式，包括懸停、接觸和抓取三種；分別設(shè)定單獨(dú)手模型的左右；設(shè)定主懸停的指尖，可以理解為之前提到的懸停觸發(fā)半徑計(jì)算的出發(fā)點(diǎn)。

3.5 設(shè)置物品的交互屬性

在設(shè)置完虛擬手模型以及交互管理之后，下一步需要對(duì)要交互的物體進(jìn)行設(shè)置。這里可以使用Unity 平臺(tái)中自帶的腳本rigid body 對(duì)物品設(shè)置物理規(guī)則（界面如圖9 所示），讓物品能夠像現(xiàn)實(shí)生活中一樣遵循常識(shí)的運(yùn)動(dòng)和互動(dòng)。組件的主要功能是：設(shè)置該物品的質(zhì)量；設(shè)定拖動(dòng)時(shí)會(huì)產(chǎn)生的各種阻力，角阻力系數(shù)；設(shè)定是否應(yīng)用重力，是否符合運(yùn)動(dòng)學(xué)邏輯；設(shè)定插入，沖突檢測(cè)，最終也可以讓物品凍結(jié)在某一地點(diǎn)。

圖9： rigid body 組件界面

首先對(duì)游戲中的輪胎進(jìn)行交互設(shè)置，rigid body 組件賦予了輪胎重力，以及和物體接觸時(shí)的力，我們需要給輪胎設(shè)計(jì)一個(gè)碰撞體積，在unity 中自帶了許多碰撞體構(gòu)建組件包括box（方盒形），capsule（膠囊型），sphere（橢球型），mesh（網(wǎng)格）。

由于輪胎屬于不太規(guī)則的幾何體，這里采用的是mesh collider，在輪胎的外部構(gòu)建一層網(wǎng)格覆蓋，這樣可以最大限度的確保輪胎的碰撞體積接近現(xiàn)實(shí)，具體效果如圖10 所示。

圖10： 碰撞體類(lèi)型及輪胎的網(wǎng)格碰撞效果圖

這樣，虛擬手就可以與輪胎進(jìn)行最簡(jiǎn)單的交互了，包括用手推動(dòng)輪胎，雙指捏合拿取輪胎等等。

本游戲demo 中第二交互物品是工具，原理和輪胎的交互過(guò)程是相似的。同樣的，在之前的三個(gè)組件搭建完成以后，可以通過(guò)給工具加入rigid body 以及碰撞體使得工具符合真實(shí)的物理規(guī)則進(jìn)行手與物體的交互或是物體與物體的交互，如圖11 所示。

圖11： 部分工具的網(wǎng)格碰撞效果圖

4 游戲效果展示

打開(kāi)游戲，選擇進(jìn)入游戲，可以看見(jiàn)游戲主場(chǎng)景，在空曠的修車(chē)房中央，擺放著一輛破舊的自行車(chē)，這輛自行車(chē)，就是我們游戲的主要游戲?qū)ο螅趫?chǎng)景后方擺放著修理車(chē)輛所需要的相關(guān)工具。

將Leap Motion 連接至設(shè)備，在場(chǎng)景中會(huì)出現(xiàn)手部模型，如圖12 所示。我們可以通過(guò)將手放在Leap Motion 攝像頭前面的動(dòng)作變化來(lái)控制場(chǎng)景內(nèi)手部建模的同步變化。同時(shí)，我們也可以通過(guò)手指捏合、張開(kāi)等方式來(lái)做到游戲場(chǎng)景內(nèi)物體的拿取或者放下。

圖12： Leap Motion 接入設(shè)備

以修理自行車(chē)輪胎為例，將Leap Motion 接入主機(jī)，移動(dòng)手以控制游戲畫(huà)面中的手部建模移動(dòng)至自行車(chē)破損的前輪胎處，雙指捏合，拆下破損的輪胎，如圖13 所示。

圖13： 卸下破損輪胎

等破損輪胎被拆下后，重新控制建模移動(dòng)到后面的新輪胎處，通過(guò)雙指捏合，將新輪胎安裝在車(chē)上。具體效果請(qǐng)看圖14、15 和圖16。

圖14： 場(chǎng)景內(nèi)新輪胎的放置

圖15： 安裝新輪胎

圖16： 總效果圖

5 結(jié)語(yǔ)

隨著科技的不斷發(fā)展，虛擬現(xiàn)實(shí)技術(shù)在近幾年的發(fā)展中愈發(fā)迅速，手勢(shì)識(shí)別技術(shù)作為人機(jī)交互的方向尤為重要。本文以基于Leap Motion 的Unity3D 的三維車(chē)輛維修游戲?yàn)槔敿?xì)地介紹了游戲的整體設(shè)計(jì)模塊，以及如何利用Leap Motion 實(shí)現(xiàn)抓取物體時(shí)的交互功能，還利用Unity3D 中的animation 組件實(shí)現(xiàn)物體交互的動(dòng)畫(huà)過(guò)程，極大的提高了用戶(hù)在游戲過(guò)程中的可玩性和操控性。