基于Leap Motion 和Unity3D 的體感游戲開發(fā)與集成

袁田琛　胡新榮　趙儉輝

摘要：隨著人機交互技術的發(fā)展，體感技術是當今游戲開發(fā)領域中的一個重要研究方向。Leap Motion是帶有兩個攝像頭和其他傳感器的體感控制器，能高精度實時檢測手掌、手指的位置和速度等信息，為體感游戲應用開發(fā)提供了一種有效途徑。本文以Unity3D游戲引擎開發(fā)第三人稱射擊游戲為例，采用Leap Motion控制器對游戲中的角色進行操作控制，包括用手勢控制游戲角色的行走、瞄準、射擊以及攝像機鏡頭的全方位移動等動作控制，擺脫了傳統(tǒng)的鍵盤和鼠標操作，實現(xiàn)了Leap Motion控制器和Unity3D游戲引擎的交互式體感游戲的開發(fā)與集成。

關鍵詞： 人機交互；Leap Motion控制器；Unity3D；體感游戲

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2015）13-0201-04

游戲和電腦動畫是多媒體和虛擬現(xiàn)實技術中一個迅速發(fā)展的領域。市場調查發(fā)現(xiàn)，近年來，游戲在大眾娛樂中所占的比例越來越大，其中手機游戲占有很大部分，其次是電腦中的網(wǎng)絡游戲和單機游戲。然而，這些游戲在創(chuàng)造了很多經(jīng)濟價值和社會價值的同時也出現(xiàn)很多不利的一面，在這些游戲中，多數(shù)的設計需要游戲者沉溺其中，并投入很多時間和金錢，這在很大程度上影響了游戲者的正常生活和身體健康，因此利弊摻半的手機游戲設計和開發(fā)是許多人不贊成的。隨著人機交互技術的發(fā)展，人機交互向著多元化、多功能的方向邁進，如語音識別、手勢識別等更加接近人的自然行為將成為未來游戲發(fā)展的方向[1]。

作為一種新穎的交互式設備，Leap公司于2013年推出了Leap Motion雙目體感攝像機，它依賴于內(nèi)置雙目相機和紅外LED高精度地捕獲、跟蹤和分析手指和手的運動，再通過軟件處理圖像數(shù)據(jù)，將其轉化為手勢和觸摸事件。目前國內(nèi)展開的Leap Motion相關應用研究及開發(fā)的數(shù)量較少。在應用研究方面，陳童等人實現(xiàn)基于Leap Motion的中國古琴聲畫結合的交互設計，通過基于虛擬現(xiàn)實設備與手勢識別技術的古琴音樂的虛擬演奏，真實表現(xiàn)了中國傳統(tǒng)音畫的意蘊與氣韻，提供了更具視覺震撼力的古琴互動體驗[2]。Leap Motion的功能有點類似Kinect，它能在PC及Mac上通過手勢控制電腦，只需揮動手指即可瀏覽網(wǎng)頁、閱讀文章、翻看照片及播放音樂。Leap Motion在體感游戲領域有著自身的獨特優(yōu)勢就是其高精度的手勢識別。人與電腦間的開闊空間，現(xiàn)已成為雙手和手指的舞臺。不論他們的每一次移動多么細微，又或是多么大幅度，Leap Motion 控制器都能精確地追蹤，從技術上說，這就是一個 8 立方英尺的可交互式 3D 空間，深度體現(xiàn)了人機交互的理念。 正因為Leap Motion能高精度實時檢測、手掌、手指的位置和速度等信息，它為體感游戲應用開發(fā)提供了一種有效的技術途徑[3]。

Unity3D不僅是一款單純的游戲引擎，而且是涉及多種不同領域的一個跨平臺的三維游戲與虛擬現(xiàn)實開發(fā)工具，該工具從一開始就被設計成易于使用的產(chǎn)品，包括用戶界面、支持多腳本語言以及強大的物理引擎等特點，這些讓Unity3D成為深受廣大虛擬現(xiàn)實工程師歡迎的開發(fā)平臺。Unity3D 支持眾多領域的3D交互開發(fā)，主要包括游戲開發(fā)、增強現(xiàn)實、3D Web、建筑、時裝、商品宣傳等，所有領域的開發(fā)都支持跨平臺發(fā)布，能在很短時間內(nèi)開發(fā)出需要的產(chǎn)品，并且是最好的開發(fā)工具之一[4-5]。

截止目前，國內(nèi)還未見將Leap Motion和Unity3D結合起來進行應用研究與開發(fā)方面的報道。本文以Unity3D游戲引擎開發(fā)第三人稱射擊游戲為例，采用Leap Motion控制器對游戲中的角色進行操作控制，包括用手勢控制游戲角色的行走、瞄準、射擊以及攝像機鏡頭的全方位移動等操控，從而擺脫鍵盤和鼠標操作，實現(xiàn)Unity3D游戲引擎和Leap Motion控制器的一種交互式游戲應用開發(fā)。首先介紹Leap Motion與Unity3D游戲引擎集成方法和Unity3D游戲場景、游戲角色的建模過程；然后，闡述Leap Motion與Unity3D體感游戲開發(fā)與集成步驟，最后給出相關的實驗結果。

1 Leap Motion與Unity3D集成方法

Leap Motion系統(tǒng)是可以檢測并跟蹤手掌、手指和類似手指的物體，而且該控制器能在高精確度和高跟蹤幀率下工作。這與Kinect將整個人視為控制器的設計理念有著本質上的區(qū)別。

不論是精確地模擬隔空取物，還是實現(xiàn)科幻電影中用手勢去控制智能電腦、機器人的操作，無一不展現(xiàn)其強大。從Leap Motion設備中展現(xiàn)出的體感控制技術更為精準、穩(wěn)定，基于Leap Motion的新應用和游戲在App Home上動態(tài)更新發(fā)布。

隨著電腦的普及，人們對娛樂休閑的需求一直在增加，PC游戲的發(fā)展速度也不斷加快，不少游戲開發(fā)平臺應運而生。開發(fā)者渴望一款高效便捷的游戲引擎，Unity3D的及時出現(xiàn)滿足了他們的期盼。功能完備的編輯器，更安全的編程方式，可實時編輯查看效果的功能，代碼驅動的開發(fā)模式，良好的生態(tài)圈等使它成為了游戲開發(fā)平臺中的佼佼者。

關于應用程序編程接口（API： Application Program Interface），Leap Motion提供良好的開發(fā)環(huán)境和Unity3D游戲引擎進行集成。Unity3D游戲引擎能通過Leap開發(fā)包（SDK： Software Development Kit）中提供的API與Leap Motion集成，Leap SDK支持 C++、C#、JavaScript 等程序設計語言，用Leap Motion控制器代替原有的鼠標和鍵盤，從而實現(xiàn)對Unity3D第三人稱射擊游戲的體感控制。Leap SDK提供兩種API從Leap Motion服務中獲取追蹤數(shù)據(jù)，第一種是原生接口（Native Interface），第二種是網(wǎng)頁套接字（Web Socket）。原生接口能讓開發(fā)者創(chuàng)建新的Leap應用程序動態(tài)鏈接庫（DLL： Dynamic Link Library）。網(wǎng)頁套接字接口和JavaScript客戶端庫能方便便開發(fā)者創(chuàng)建基于Leap的應用程序[6]。

本文采用的是原生接口，其API由動態(tài)鏈接庫（DLL）提供。該庫能連接到Leap Motion服務，并為應用程序提供追蹤數(shù)據(jù)，這里使用C#和Java綁定鏈接。

2 Unity3D游戲場景、游戲角色建模

Unity3D游戲場景、游戲角色建模主要內(nèi)容如下：（1）將Maya中設計好的3D模型以FBX格式導出，3D模型具體制作過程此略，F(xiàn)BX格式文件導出時需檢查法線是否正確、貼圖是否完整等。（2）在Unity3D中建立地形、導入模型并將其擺放到合適的位置，布置好燈光、陰影以及天空盒。（3） 添加游戲角色、游戲管理模塊、武器系統(tǒng)，進行相關設置。（4）添加第三人稱攝像機，以便對游戲角色進行跟隨。（5）所有參與運動的模型需添加各自的腳本代碼并完成碰撞器的設置。具體建模過程見圖1-圖3所示。

這里以Unity3D游戲引擎開發(fā)一種第三人稱射擊游戲為例，采用Unity3D游戲引擎對游戲場景及游戲角色建模后，得到游戲場景全局視圖如圖4所示，游戲角色近景圖如圖5所示。

3 Leap Motion與Unity3D體感游戲開發(fā)與集成

當Leap Motion接入電腦的USB后，若采用Leap Motion作為人機交互設備，需要設置Leap Motion設備、修改游戲角色腳本代碼、修改第三人稱攝像機腳本以及Leap Motion操作可視化等，這樣Leap Motion設備便可取代鼠標或鍵盤操作，從而借助Leap Motion體感設備用手勢實現(xiàn)游戲角色的操控功能。為了實驗Leap Motion與Unity3D的融合，需要將Leap Motion與Unity3D進行集成并添加相應的腳本代碼。Leap Motion與Unity3D體感游戲腳本開發(fā)與集成步驟闡述如下。

步驟1：下載安裝Leap SDK

Leap Motion提供了用于Unity3D的SDK，能使開發(fā)人員便捷地將Leap Motion設備集成到要開發(fā)的游戲應用程序中。Leap SDK下載安裝成功后，需要檢測其是否連接有效，可在Leap Motion App Home中運行一個簡單的應用程序以檢測Leap Motion設備是否連接至電腦。

步驟2：添加支持Leap Motion的DLL文件

在此步驟中，先查找SDK安裝目錄中關于Unity3D的examples文件夾，復制其assets目錄中的plugins文件夾，plugins文件夾中包含了Leap Motion設備接口的三個DLL文件，它們分別是leap.dll、leapCSharp.dll和leapCSharp.net3.5.dll，將plugins文件夾粘貼到Unity3D游戲工程的assets文件夾中；再查找script文件夾中的leap文件夾，復制LeapUnityExtensions.cs并將其粘貼到plugins文件夾中。

步驟3：編寫LeapInput.cs C#腳本代碼

為了編制LeapInput.cs C#腳本代碼，這里給出了圖6所示的Leap Motion三維XYZ坐標系和鼠標在屏幕中的XY坐標系。借助該圖中的兩個坐標系，可幫助我們理解作為主控制器的Leap Motion所實現(xiàn)的主要功能：

（1） Leap Motion體感交互中的歸一化

Leap Motion控制游戲角色行走動作引入了交互盒類（Interaction Box），該類支持Leap Motion體感交互中的歸一化操作，即將手掌原始空間坐標轉換為游戲角色中的相對位置等效值。從編程角度而言，就是用交互盒類描述Leap Motion視野中的物體運動，將Leap Motion體感交互范圍中的坐標歸一化到[0，1]區(qū)間范圍。具體來講，在LeapInput.cs C#腳本代碼中，若所設置的手掌消失范圍在[-0.5，+0.5]區(qū)間外，返回值需進行換算，當返回值小于-0.5時返回-1 ，大于+0.5返回+1，其余情況返回0。

圖7是圖6中Leap Motion控制器X、Z軸所圍成的平面XZ直角坐標系示意圖。在該圖XZ坐標系中，若坐標返回值valX=0、valZ=-1，那么游戲角色就向前移動（即向Z軸負方向移動）；若坐標返回值valX=+1、valZ=-1，則游戲角色向右前方移動。這樣，Leap Motion就可代替鍵盤的輸入行為，從而用Leap Motion控制游戲角色的行走。

（2） Leap Motion對屏幕XY坐標系中鼠標移動的支持

為了控制第三人稱攝像機，需要添加Leap Motion對屏幕XY坐標系中鼠標移動的支持功能（鼠標在屏幕中的XY坐標系見圖6所示），它用于獲取手掌的位置、方向，因此游戲玩家觀察視角并非固定。移動手掌游戲玩家便能觀察游戲場景中的上下左右四個方向。

（3） Leap Motion手勢操控游戲角色

借助Leap Motion設備手勢操控游戲角色中的瞄準、射擊動作。當Leap Motion設備識別的手指數(shù)超過兩只時（如手指叉開），腳本代碼表示執(zhí)行開火動作，當然也可設計為其他手勢動作。當鼠標X軸正偏移值大于0.5、負偏移值小于0.25時，則開啟持續(xù)瞄準模式，即表示槍的準心縮小、攝像機觀察鏡頭放大一定倍數(shù)。

若手離開Leap Motion設備識別范圍，則Leap Motion返回默認軸信息，游戲角色返回初始設定的Idle動畫狀態(tài)。

步驟4：修改游戲角色控制Java腳本代碼

Leap Motion捕捉手的位置如圖7所示X、Z軸的對應表示。在此步驟中，將游戲角色與Leap Motion綁定以實現(xiàn)角色移動，將所規(guī)定的手勢（如瞄準、開火等手勢動作）與Leap Motion綁定。

步驟5：添加Leap Motion關于第三人稱攝像機的Java腳本代碼

此步若設置了Leap Motion開關，則可用Leap Motion控制第三稱攝像機。當游戲玩家處于無操作狀態(tài)時，游戲角色將重置idle動畫動作行為。

步驟6：Leap Motion操作可視化

這是Leap Motion集成及程序開發(fā)的最后步驟，此步中需添加可視化虛擬面板及其腳本代碼，其主要目的是將Leap Motion操作可視化，操作游戲角色的各動作都將顯示在可視化虛擬面板中。

可視化虛擬面板見圖8所示。在圖9中，（a）圖是鼠標X、Y軸可視化虛擬面板，該面板中央的手掌圖標用于顯示第三人稱攝像機的上下左右擺動；（b）圖從左到右是Leap Motion鍵盤虛擬面板，分別表示游戲角色9個方向的運動（其中第五個為靜止狀態(tài)或者手離開狀態(tài)）。

4 實驗結果

本文硬件實驗環(huán)境為：Intel第三代酷睿i7-3612@2.1GHZ四核CPU，4GB內(nèi)存，NVIDIA GeForce 740M 2GB顯卡，Leap Motion體感控制器。本文使用的軟件開發(fā)工具為Unity3D 4.10，Autodesk Maya 2012， Adobe Photoshop CS6，MonoDevelp。軟件開發(fā)工具中，MonoDevelp是一種開源代碼開發(fā)環(huán)境，利用它可開發(fā)跨平臺的應用程序。

軟件硬件平臺搭建成功后，便可按前面所述開發(fā)與集成方案設計并實現(xiàn)Leap Motion與Unity3D融合的體感游戲，我們設計實現(xiàn)的一種Leap Motion融合Unity3D操控第三人稱射擊游戲的典型實驗過程截圖見圖9所示。

在圖9中，（a）圖表示手向前移動、游戲角色前進；（b）圖表示手向后移動、游戲角色后退；（c） 圖表示手向左和向右擺動，游戲角色執(zhí)行向左和向右移動動作，第三人稱攝像機隨之轉動；（d） 圖表示手壓低和抬高，第三人稱攝像機向下和向上擺動；（e） 圖表示手指叉開，Leap Mtion檢測到手指數(shù)大于2時，執(zhí)行開火動作；（f） 圖表示手離開Leap Motion設備，Leap Motion返回默認軸信息，游戲角色返回初始設定的Idle動畫狀態(tài)并循環(huán)。

設備啟動無異常，游戲場景數(shù)據(jù)讀取調用正常，游戲視角可以通過手部動作來控制，游戲角色能正確執(zhí)行行走、瞄準、開槍這些基本動作。從圖9可以看出開發(fā)者借助Leap Motion能實現(xiàn)穩(wěn)定地控制Unity3D第三人稱射擊游戲，表明Leap Motion與Unity3D游戲的結合從技術上是可行的。

在實驗過程中，我們發(fā)現(xiàn)用手完成復雜的動作并不是一件容易的事情，畢竟只有一只手在完成原來兩只手的鍵鼠操作。雖然Leap Motion能過濾細微的晃動，但是較久的保持手的懸空狀態(tài)難免會發(fā)生少量的操作失誤。

5結束語

本文完整闡述了融合Leap Motion體感控制器和Unity3D游戲引擎進行體感游戲的開發(fā)與集成技術。Leap SDK能使開發(fā)者方便地建立游戲的實時手勢交互、創(chuàng)建出更多不同種類的游戲應用程序或其他應用程序。結果表明，采用Leap Motion與Unity3D游戲引擎相結合的方法進行游戲集成與軟件應用開發(fā)具有較高的應用價值，對下一代體感游戲及其他虛擬現(xiàn)實應用軟件開發(fā)提供了新的思路。

參考文獻：

[1] 劉晉鋼， 劉衛(wèi)斌， 劉晉霞. Kinect與Unity3D數(shù)據(jù)整合技術在體感游戲中的應用研究[J]. 電腦開發(fā)與應用，2014， 27（11）： 7-11.

[2] 陳童， 王妍， 趙琦. 基于LeapMotion的中國古琴聲畫結合交互設計研究[J]. 文藝評論， 2014（9）： 77-81.

[3] 徐崇斌， 周明全， 沈俊辰，等. 一種基于Leap Motion的直觀體交互技術[J]. 電子與信息學報， 2015， 37（2）： 354-359.

[4] 郭海新. Unity3D與HTML交互機理研究[J]. 煤炭技術， 2011， 30（9）： 228-229.

[5] 曾勇. 基于Unity3D的挖掘機模擬訓練系統(tǒng)研究[D]. 長安大學， 2013.

[6] Mischa Spiegelmock. Leap Motion Development Essentials. Published Packt Publishing Ltd.， UK.， 2013.