基于增強(qiáng)現(xiàn)實(shí)與人體動(dòng)作識(shí)別的互動(dòng)游戲應(yīng)用設(shè)計(jì)＊

胡莉，張力偉

（1 河北師范大學(xué)，石家莊 050024；2 中國(guó)移動(dòng)通信集團(tuán)河北有限公司，石家莊 050001）

增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)是一種通過(guò)利用攝影機(jī)獲取影像，并結(jié)合圖像及視頻處理、3D建模等技術(shù)，將現(xiàn)實(shí)世界呈現(xiàn)在屏幕上，實(shí)現(xiàn)現(xiàn)實(shí)與虛擬世界的互動(dòng)。

當(dāng)前游戲市場(chǎng)發(fā)展較快，從最先前的游戲機(jī)發(fā)展到現(xiàn)在的電腦手機(jī)游戲，并且體感游戲越來(lái)越受歡迎，游戲的類型在隨著社會(huì)發(fā)展不斷創(chuàng)新升級(jí)。目前這些體感游戲是通過(guò)電腦合成的虛擬畫(huà)面，用戶并不能體驗(yàn)到更為真實(shí)的面對(duì)面對(duì)戰(zhàn)效果。通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)，結(jié)合人體動(dòng)作識(shí)別技術(shù)，可以將電腦虛擬出的特效與實(shí)際場(chǎng)景進(jìn)行融合，開(kāi)發(fā)一個(gè)實(shí)時(shí)的遠(yuǎn)程互動(dòng)游戲，這可以進(jìn)一步提高游戲過(guò)程中的沉浸感。

1 AR技術(shù)原理

AR技術(shù)是把實(shí)際場(chǎng)景與虛擬場(chǎng)景進(jìn)行“無(wú)縫”集成的一種新技術(shù)，通過(guò)計(jì)算機(jī)圖像處理等技術(shù)手段，將實(shí)際場(chǎng)景內(nèi)的特定時(shí)間空間內(nèi)的信息進(jìn)行模擬仿真，人們可以通過(guò)體驗(yàn)虛擬信息去感知真實(shí)世界，并且能實(shí)現(xiàn)超越真實(shí)世界的感官體驗(yàn)。

基礎(chǔ)實(shí)現(xiàn)原理如圖1所示。

圖1 增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)原理圖

AR技術(shù)則把虛擬對(duì)象帶入到用戶的物理世界中，通過(guò)聽(tīng)、看、觸摸虛擬信息，來(lái)增強(qiáng)對(duì)物理世界的感知。增強(qiáng)現(xiàn)實(shí)具有3個(gè)典型特點(diǎn)：實(shí)時(shí)處理與交互性強(qiáng)；集成現(xiàn)實(shí)與虛擬場(chǎng)景信息；通過(guò)3D建模技術(shù)在三維空間添加虛擬實(shí)體。

2 人體動(dòng)作識(shí)別技術(shù)

人與計(jì)算機(jī)交互過(guò)程，從最初的鼠標(biāo)和鍵盤(pán)等輸入設(shè)備之后，發(fā)展到近幾年的觸摸屏方式后，但存在一個(gè)明顯不足，要求人與觸摸屏的距離要保持一定距離。而隨著體感交互的興起，逐漸被大家得到認(rèn)可，并被應(yīng)用到游戲領(lǐng)域中。體感交互與傳統(tǒng)方式相比，不受輸入設(shè)備的限制，只需要用戶進(jìn)行特定的肢體姿勢(shì)就可實(shí)現(xiàn)人際交互過(guò)程，進(jìn)而提升了沉浸感。

體感交互包括接觸和非接觸兩種交互方式，本文聚焦非接觸人體交互方式，非接觸式的人體動(dòng)作識(shí)別方法通常需要利用Kinect采集人體骨架信息，根據(jù)采集到的信息進(jìn)行計(jì)算處理。一般常用的方式是采集手心位置變化軌跡計(jì)算分析做了什么手勢(shì)，這種方法的前提是需要采集多人數(shù)據(jù)進(jìn)行訓(xùn)練，然后根據(jù)訓(xùn)練結(jié)果進(jìn)行計(jì)算判斷，具體做了什么手勢(shì)。由于僅僅采集手心節(jié)點(diǎn)的運(yùn)動(dòng)軌跡，在識(shí)別復(fù)雜一點(diǎn)動(dòng)作時(shí)就增加誤判的概率。例如左手向前與左手上舉兩個(gè)動(dòng)作，很有可能會(huì)出現(xiàn)判斷失誤，因?yàn)樽笫窒蚯芭c左手上舉兩個(gè)動(dòng)作基本都有向上和向前，兩個(gè)動(dòng)作幅度略微不同。所以需要多采集其它骨架信息進(jìn)行計(jì)算，區(qū)分這兩個(gè)動(dòng)作。

骨架節(jié)點(diǎn)信息如下所示。

rjian.x rshou.x ＞0.1，//右肩x值比右手心x值大0.1m。

rjian.x rshou.x ＜0.4，//右肩x值比右手心x值小0.4m。

rshou.y rzhou.x ＞0.15，//右手心y值比右肘x值大0.15m。

rjian.x rshou.x ＞0.4，//右肩x值比右手心x值大0.4m。

abs（rshou.y rzhou.y）＜0.15，//右手心和右肘y值相差不超0.15m。

這種方法有很多優(yōu)點(diǎn)，可以只用一個(gè)函數(shù)就實(shí)現(xiàn)整個(gè)判定過(guò)程，判定條件可以手動(dòng)添加并且不需要找很多采樣點(diǎn)進(jìn)行數(shù)據(jù)訓(xùn)練，并且該方法對(duì)于多種動(dòng)作支持識(shí)別，也不局限于手勢(shì)?？紤]到Kinect識(shí)別的關(guān)節(jié)點(diǎn)相關(guān)信息與人的肉眼能夠感覺(jué)到的信息有一些差異，所以為了確定最佳的判定條件，需要進(jìn)行多次測(cè)試。

3 交互系統(tǒng)的設(shè)計(jì)

構(gòu)建一個(gè)互動(dòng)游戲應(yīng)用，首先要搭建一個(gè)基礎(chǔ)系統(tǒng)，實(shí)現(xiàn)實(shí)時(shí)的立體呈現(xiàn)與遠(yuǎn)程交互。該系統(tǒng)實(shí)現(xiàn)一些具備基礎(chǔ)功能的組件，在基礎(chǔ)功能組建基礎(chǔ)上，可以結(jié)合實(shí)際場(chǎng)景進(jìn)行擴(kuò)展，比如互動(dòng)游戲應(yīng)用。該系統(tǒng)組成基本示意如圖2所示。

圖2 增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)原理圖

通過(guò)本系統(tǒng)應(yīng)實(shí)現(xiàn)5個(gè)子目標(biāo)：遠(yuǎn)程視頻實(shí)時(shí)交互、增強(qiáng)虛擬現(xiàn)實(shí)效果、友好的人機(jī)交互方式并且響應(yīng)實(shí)時(shí)、系統(tǒng)能夠?qū)崿F(xiàn)對(duì)端發(fā)送信息或指令控制另一端完成指定操作、能夠通過(guò)語(yǔ)音方式進(jìn)行交互。

4 互動(dòng)游戲應(yīng)用設(shè)計(jì)

在交互系統(tǒng)開(kāi)發(fā)的基礎(chǔ)上，不改動(dòng)任何硬件，只需在系統(tǒng)基礎(chǔ)功能上添加如下組件，就可以實(shí)現(xiàn)互動(dòng)游戲應(yīng)用的基本功能。

（1） 繪制游戲所用虛擬效果。通過(guò)利用游戲引擎或者導(dǎo)入模型文件來(lái)繪制游戲所用的虛擬效果。

（2） 定義游戲中的動(dòng)作。采用非接觸式人體動(dòng)作識(shí)別的思路，通過(guò)采集骨架變化信息來(lái)精確定義特定人體動(dòng)作。

（3） 定義對(duì)戰(zhàn)狀態(tài)信息。這其中包括能量條、血條、剩余時(shí)間等信息，剩余時(shí)間和血條尤為重要，一般在游戲中作為判定勝負(fù)的依據(jù)。

（4） 游戲開(kāi)始、結(jié)束界面。游戲開(kāi)始時(shí)，需增加兩端用戶進(jìn)入游戲時(shí)的界面；游戲結(jié)束時(shí)，明確勝負(fù)結(jié)果或者游戲時(shí)間剩余為0，需增加游戲結(jié)束或再來(lái)一局的提示畫(huà)面。

（5） 需改進(jìn)虛擬物體運(yùn)動(dòng)方向校正、雙目視差校正等功能。

5 展望

基于AR技術(shù)，再結(jié)合人體動(dòng)作識(shí)別等技術(shù)的互動(dòng)游戲應(yīng)用目前還處在實(shí)驗(yàn)階段，但隨著技術(shù)的發(fā)展及演進(jìn)，距離走上市場(chǎng)的時(shí)間將會(huì)越來(lái)越近。并且對(duì)于基于AR的其它擴(kuò)展應(yīng)用，也將會(huì)隨著5G網(wǎng)絡(luò)的建設(shè)及商用，會(huì)快速實(shí)現(xiàn)并進(jìn)行發(fā)展，應(yīng)用的體驗(yàn)也將得到不斷改善并被認(rèn)可。并且隨著AR產(chǎn)業(yè)應(yīng)用的不斷創(chuàng)新，同時(shí)會(huì)促進(jìn)運(yùn)營(yíng)商網(wǎng)絡(luò)技術(shù)的發(fā)展，以適應(yīng)更廣大的客戶群體，相信不遠(yuǎn)的將來(lái)AR技術(shù)會(huì)帶給我們的生活帶來(lái)無(wú)限的精彩和驚喜。

[1] 趙亞洲. 智能+：AR、VR、AI、IW正在顛覆每個(gè)行業(yè)的新商業(yè)浪潮[M]. 北京：北京聯(lián)合出版公司,2017.

[2] 齊越, 馬紅妹. 增強(qiáng)現(xiàn)實(shí)：特點(diǎn)、關(guān)鍵技術(shù)和應(yīng)用[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2004,25(5):900-903.

[3] 王健弘. 基于視頻的人體動(dòng)作識(shí)別關(guān)鍵技術(shù)研究[D]. 東南大學(xué), 2017.

[4] 翟言，黃心淵，趙國(guó)英. 基于體感交互技術(shù)的虛擬展示系統(tǒng)[J].電視技術(shù), 2013,37(21):16-20.

[5] 琚旋．深度與彩色相機(jī)的聯(lián)合標(biāo)定及其在增強(qiáng)現(xiàn)實(shí)中的應(yīng)用[D].浙江大學(xué), 2014.