基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

沈潔

摘 要： 傳統(tǒng)虛擬攝影系統(tǒng)使用手動(dòng)式控制識(shí)別，無(wú)法實(shí)現(xiàn)短距離交互式非觸感識(shí)別，為此設(shè)計(jì)基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)。使用Kinect深度圖像模型對(duì)手勢(shì)圖像進(jìn)行分割預(yù)處理，完成手勢(shì)關(guān)鍵節(jié)點(diǎn)定位；使用Kinect屬性傳感器剝離環(huán)境條件以及手勢(shì)表面噪音數(shù)據(jù)；以數(shù)據(jù)編程形式對(duì)手勢(shì)特征進(jìn)行提取并標(biāo)記關(guān)鍵節(jié)點(diǎn)；計(jì)算定位延遲，實(shí)現(xiàn)交互式虛擬手勢(shì)姿態(tài)定位。試驗(yàn)結(jié)果表明，設(shè)計(jì)的交互式虛擬攝影系統(tǒng)比傳統(tǒng)虛擬攝影系統(tǒng)的Miuyg參數(shù)高出20%，說(shuō)明設(shè)計(jì)的系統(tǒng)具備極高的有效性。

關(guān)鍵詞： 手勢(shì)識(shí)別技術(shù)； 交互式； 虛擬； 數(shù)據(jù)編程； 攝影系統(tǒng)； 系統(tǒng)設(shè)計(jì)

中圖分類號(hào)： TN919.3?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）05?0093?04

Abstract： The traditional virtual photography system uses the manual mode for recognition control， which can′t realize the short?distance interactive non?tactile recognition. Therefore， an interactive virtual photography system based on gesture recognition technology was designed. The Kinect depth image model is used to perform the segmentation and preprocessing for the gesture image to locate the gesture key nodes. The Kinect attribute sensor is used to eliminate the environmental conditions and gesture surface noise data. In the form of data programming， the gesture characteristics are extracted and key nodes are marked. The positioning delay is calculated to realize the interactive virtual gesture positioning. The experimental results show that the Miuyg parameter of the interactive virtual photography system is 20% higher than that of the traditional photography system， which indicates that the designed system has higher effectiveness.

Keywords： gesture recognition technology； interaction； virtualization； data programming； photography system； system design

0 引 言

在虛擬攝影系統(tǒng)中多數(shù)使用接觸式控制進(jìn)行虛擬攝影的調(diào)試。傳統(tǒng)虛擬攝影系統(tǒng)由于對(duì)呈現(xiàn)方式的需求，需要一定的短程識(shí)別調(diào)試[1]。手勢(shì)識(shí)別技術(shù)通過(guò)數(shù)學(xué)算法來(lái)識(shí)別手勢(shì)的變化，對(duì)不同動(dòng)作的識(shí)別實(shí)現(xiàn)短程的虛擬控制，繼而能夠有效地實(shí)現(xiàn)虛擬攝影系統(tǒng)的短程控制。針對(duì)上述背景，本文設(shè)計(jì)基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)。使用Kinect深度圖像模型對(duì)虛擬圖像進(jìn)行手勢(shì)節(jié)點(diǎn)定位，經(jīng)過(guò)手勢(shì)圖像的預(yù)處理去除環(huán)境影響因素以及手勢(shì)表面噪音，使用編程進(jìn)行圖像特征的提取，通過(guò)延遲計(jì)算實(shí)現(xiàn)交互式虛擬手勢(shì)姿態(tài)定位，完成交互式虛擬攝影系統(tǒng)設(shè)計(jì)。為保證設(shè)計(jì)的有效性，模擬使用環(huán)境進(jìn)行仿真試驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)表明本文設(shè)計(jì)的交互式虛擬攝影系統(tǒng)具備極高的有效性。

1 交互式虛擬攝影系統(tǒng)硬件模塊設(shè)計(jì)

1.1 手勢(shì)圖像分割預(yù)處理

手勢(shì)圖像分割預(yù)處理過(guò)程主要使用Kinect深度圖像模型的深度相機(jī)對(duì)手勢(shì)進(jìn)行圖像采集預(yù)處理，如圖1所示為針孔攝像機(jī)與識(shí)別手勢(shì)的模擬圖[2]。假設(shè)手勢(shì)圖像的光源是從場(chǎng)景或者很遠(yuǎn)的地方射過(guò)來(lái)的非點(diǎn)光源，經(jīng)過(guò)影像的倒置投放到成像平面上，成像平面為相機(jī)鏡頭所在平面，相機(jī)鏡頭到成像平面的焦距為表示相機(jī)鏡頭到手勢(shì)圖像的距離，即識(shí)別深度。為手勢(shì)的識(shí)別長(zhǎng)度，是成像平面上手勢(shì)所成的圖像。

一般情況下，Kinect深度圖像模型使用針孔攝像機(jī)采集手勢(shì)圖像，并對(duì)手勢(shì)圖像進(jìn)行整理，使用多種等價(jià)形式對(duì)手勢(shì)圖像進(jìn)行保存[3]。如圖2所示，將一張采集后的手勢(shì)圖像放置在一個(gè)坐標(biāo)系中進(jìn)行多點(diǎn)的等價(jià)置換。這樣可以去除數(shù)學(xué)上的符號(hào)變化，使得記錄結(jié)果更加簡(jiǎn)潔。理想情況下，Kinect深度圖像模型將手勢(shì)圖像的主點(diǎn)設(shè)置在成像芯片的中心處，但實(shí)際上會(huì)存在偏差，芯片的中心設(shè)定在主光軸上，為此，Kinect深度圖像模型使用兩個(gè)參數(shù)和分別修正手勢(shì)圖像在軸和軸方向的偏移，這樣手勢(shì)圖像對(duì)于相機(jī)坐標(biāo)系里的一點(diǎn)始終保持不變，并且可以標(biāo)定手勢(shì)圖像的有效坐標(biāo)為

1.2 手勢(shì)圖像深度處理

Kinect深度圖像模型中包含的Kinect屬性傳感器會(huì)對(duì)圖像進(jìn)行一定程度的噪音抵消[4?5]。但是由于受虛擬攝影系統(tǒng)的內(nèi)部結(jié)構(gòu)以及手勢(shì)圖像中的場(chǎng)景環(huán)境條件等因素影響，造成手勢(shì)圖像出現(xiàn)各種噪聲以及影響識(shí)別因子，對(duì)手勢(shì)圖像分割過(guò)程造成的影響很大，為此需要消除Kinect屬性傳感器、手勢(shì)圖像場(chǎng)景環(huán)境、手勢(shì)表面特性噪音。

消除Kinect屬性傳感器的噪音，可以使用TOF原理，消除Kinect傳感器中由紅外光源造成的相關(guān)性周期抖動(dòng)的噪音，TOF原理對(duì)手勢(shì)圖像進(jìn)行深度測(cè)量，恢復(fù)手勢(shì)圖像的實(shí)際深度位置。同時(shí)針孔攝像機(jī)經(jīng)常出現(xiàn)的噪聲也會(huì)通過(guò)TOF原理進(jìn)行抵消，在圖像分割預(yù)處理過(guò)程中的邊緣噪音能夠使用TOF原理進(jìn)行修正[6?7]。endprint

手勢(shì)圖像場(chǎng)景環(huán)境噪音主要由手勢(shì)圖像場(chǎng)景內(nèi)光照條件造成，其中Kinect深度圖像模型內(nèi)置補(bǔ)光能夠補(bǔ)充的不是很多，余留的差別光源造成嚴(yán)重的光源噪聲。消除方式使用點(diǎn)對(duì)點(diǎn)的置換消除，通過(guò)環(huán)境的多重刻畫(huà)進(jìn)行圖像的光源替換，雖然不能全部消除，但是能夠抵消絕大多數(shù)的噪音影響[8]。

手勢(shì)表面特性噪音產(chǎn)生的方式是由于不同的物體表面的反射率不同，當(dāng)光源變化造成反射率較低時(shí)，手勢(shì)圖像入射光量會(huì)減少，因此手勢(shì)圖像會(huì)出現(xiàn)顏色深度變化，比如手勢(shì)圖像中黑色物體吸收的光不足，在圖像中的測(cè)量無(wú)法對(duì)物體輪廓進(jìn)行選定[9]。在消除過(guò)程中，增設(shè)光線置換系統(tǒng)，對(duì)光線不足的情況進(jìn)行補(bǔ)充，對(duì)光線較強(qiáng)的地方進(jìn)行光線削弱，以此消除由于光線造成的手勢(shì)表面特性噪音。

本文設(shè)計(jì)的手勢(shì)圖像深度處理流程如圖3所示。

2 交互式虛擬攝影系統(tǒng)軟件設(shè)計(jì)

2.1 手勢(shì)圖像的特征提取

在手勢(shì)圖像特征提取的過(guò)程中，需要參照手距離虛擬攝影系統(tǒng)的距離、手勢(shì)的姿態(tài)位置以及交互式的條件等，一個(gè)好的關(guān)鍵特征能夠區(qū)別出不同的手勢(shì)大小以及姿態(tài)，還能夠去除環(huán)境因素的影響，手勢(shì)圖像關(guān)鍵特征要滿足以下幾個(gè)條件：首先旋轉(zhuǎn)、平移、縮放不會(huì)發(fā)生變性；其次滿足歸一化轉(zhuǎn)動(dòng)慣量變化，并能夠使用傅里葉原理進(jìn)行描述；最后滿足圖像不變矩和幾何特征描述[10]。

手勢(shì)圖像特征提取通過(guò)空間的分布情況，在概率統(tǒng)計(jì)中用空間表示手勢(shì)圖像特征的分布情況，手勢(shì)圖像分割過(guò)程中會(huì)得到特征二維密度分布狀態(tài)，使用不同的名稱進(jìn)行標(biāo)注，再經(jīng)過(guò)數(shù)據(jù)編程進(jìn)行提取。本文手勢(shì)圖像的特征提取關(guān)鍵編碼如下：

#include

#include

using namespace std

int main（int argc，手勢(shì)圖像）

IplImage * 標(biāo)定特征= cvLoadImage（"E：＼＼Download＼＼test1.jpg"，1）；

IplImage*特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage*h_特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage*s_特征=cvCreateImage（cvGetSize（src），位置，非有效）；

IplImage* v_特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage* planes[] ={ h_plane， s_plane }；

/*H分量劃分16個(gè)特征節(jié)點(diǎn)，S分量劃分為8個(gè)提取等級(jí)*/

int h_bins = 提取， s_bins =保留；

int hist_size[] = {h_bins， s_bins}；

cvRectangle（ hist_img， cvPoint（i*bin_w，height），

cvPoint（（i+1）*bin_w，height ? intensity），

color， ?1， 重新提取， 0 ）；

cvNamedWindow（ "定位"， 1 ）；

cvWaitKey（0）；

2.2 交互式虛擬手勢(shì)圖像姿態(tài)定位

在手勢(shì)圖像進(jìn)行交互過(guò)程中，交互式虛擬機(jī)本機(jī)振蕩會(huì)產(chǎn)生與手勢(shì)圖像關(guān)鍵節(jié)點(diǎn)信號(hào)相同的一組P碼（或C/A碼），由于延時(shí)器與圖像接收器的頻率不同，在延時(shí)器的延時(shí)頻率強(qiáng)于圖像接收器時(shí)，當(dāng)兩組信號(hào)彼此重合，手勢(shì)圖像便進(jìn)行了雙重定位[11]。

假設(shè)交互式虛擬器中手勢(shì)圖像時(shí)鐘為在圖像坐標(biāo)值處的第個(gè)關(guān)鍵節(jié)點(diǎn)出現(xiàn)時(shí)，手勢(shì)圖像的鐘面時(shí)為，此時(shí)虛擬攝影系統(tǒng)時(shí)鐘的鐘面時(shí)為由于手勢(shì)圖像鐘、交互式虛擬器時(shí)鐘以及虛擬攝影系統(tǒng)時(shí)鐘不同步，其時(shí)鐘差分別為：

式中：分別表示手勢(shì)圖像時(shí)鐘差、虛擬攝影系統(tǒng)時(shí)鐘差[12]。設(shè)某一手勢(shì)圖像信號(hào)在時(shí)刻采集到虛擬攝影系統(tǒng)接收的時(shí)刻為則手勢(shì)圖像的傳播延遲為： 由此可得手勢(shì)圖像與虛擬攝影系統(tǒng)的距離為：

式中：表示光速[13]；表示延遲間距。在實(shí)際使用中，測(cè)得的信號(hào)收發(fā)時(shí)刻具有一定的誤差，手勢(shì)圖像鐘面時(shí)以及虛擬攝影系統(tǒng)接收時(shí)刻鐘面時(shí)手勢(shì)圖像的實(shí)際延遲量應(yīng)為將結(jié)果式代入式（3）中得：

式中：則式（4）可表示為：

式中：表示定位距離，實(shí)際使用中會(huì)有一定誤差，因此計(jì)算值往往大于實(shí)際值。經(jīng)過(guò)定位距離的選定也實(shí)現(xiàn)了交互式虛擬攝影系統(tǒng)設(shè)計(jì)。

3 試驗(yàn)分析

為了驗(yàn)證設(shè)計(jì)的基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)有效性，解決短距離識(shí)別控制問(wèn)題，以某博物館中的虛擬攝影系統(tǒng)為實(shí)驗(yàn)對(duì)象，分別進(jìn)行Miuyg參數(shù)對(duì)比試驗(yàn)以及交互虛擬影響控制實(shí)驗(yàn)，為保證本文試驗(yàn)的有效性，使用本文設(shè)計(jì)的基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)與傳統(tǒng)虛擬攝影系統(tǒng)進(jìn)行對(duì)比，對(duì)比結(jié)果在統(tǒng)一數(shù)據(jù)圖中顯示。

3.1 數(shù)據(jù)準(zhǔn)備

在設(shè)計(jì)的交互式虛擬攝影系統(tǒng)基礎(chǔ)上，試驗(yàn)采用雙攝像頭，設(shè)計(jì)了一款“猜拳游戲”，即用兩個(gè)攝像頭同時(shí)捕捉并識(shí)別兩個(gè)使用者的手勢(shì)，然后對(duì)手勢(shì)圖像進(jìn)行比較，并將比較結(jié)果顯示在屏幕上。按照“猜拳游戲”規(guī)則，共有三種手勢(shì)，均為已經(jīng)標(biāo)定的手勢(shì)，如圖4所示。試驗(yàn)準(zhǔn)備數(shù)據(jù)如表1所示。

3.2 Miuyg參數(shù)對(duì)比試驗(yàn)

Miuyg參數(shù)是衡量虛擬攝影系統(tǒng)短距離控制有效度的參數(shù)，能夠有效對(duì)虛擬攝影系統(tǒng)進(jìn)行綜合評(píng)估，在不同條件下手勢(shì)圖像得到的Miuyg參數(shù)是不同的，經(jīng)過(guò)平均值的求取得到最終Miuyg參數(shù)結(jié)果。

本文設(shè)計(jì)的基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)與傳統(tǒng)虛擬攝影系統(tǒng)的Miuyg參數(shù)對(duì)比試驗(yàn)結(jié)果如圖5所示。

通過(guò)對(duì)圖5分析可知，本文設(shè)計(jì)的基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)在Miuyg參數(shù)測(cè)試結(jié)果上明顯高于傳統(tǒng)虛擬攝影系統(tǒng)，并且Miuyg參數(shù)節(jié)點(diǎn)的波動(dòng)幅度呈現(xiàn)規(guī)律變化，無(wú)較大的數(shù)據(jù)波動(dòng)說(shuō)明系統(tǒng)運(yùn)行平穩(wěn)。傳統(tǒng)虛擬攝影系統(tǒng)數(shù)據(jù)平穩(wěn)后比本文設(shè)計(jì)系統(tǒng)低20%左右，因此說(shuō)明本文設(shè)計(jì)的基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)具備極高的有效性。

3.3 交互式虛擬影響控制實(shí)驗(yàn)

交互式虛擬影響控制實(shí)驗(yàn)對(duì)比結(jié)果見(jiàn)圖6。通過(guò)對(duì)圖6分析可知，本文設(shè)計(jì)的基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)的交互影響參數(shù)更加貼近于標(biāo)準(zhǔn)值。交互影響參數(shù)是一個(gè)綜合性參數(shù)，能夠反映攝影系統(tǒng)的交互控制調(diào)節(jié)能力，交互影響參數(shù)越大攝影系統(tǒng)越具備完備性。通過(guò)圖6可以說(shuō)明，本文設(shè)計(jì)的基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)具備短程控制調(diào)節(jié)有效性。

4 結(jié) 語(yǔ)

本文設(shè)計(jì)了基于手勢(shì)識(shí)別技術(shù)的交互式虛擬攝影系統(tǒng)，使用手勢(shì)識(shí)別技術(shù)實(shí)現(xiàn)短程有效控制，實(shí)驗(yàn)數(shù)據(jù)表明，本文設(shè)計(jì)的攝影系統(tǒng)具備極高的有效性。希望通過(guò)本文的研究能提升虛擬攝影系統(tǒng)的短程控制能力。

參考文獻(xiàn)

[1] 周天彤，徐飛林，張旖帆，等.基于unity和kinect的交警手勢(shì)識(shí)別仿真系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J].計(jì)算機(jī)測(cè)量與控制，2016，24（5）：156?159.

ZHOU Tiantong， XU Feilin， ZHANG Yifan， et al. Design and implementation of simulation system about traffic police gesture′s recognition based on unity and kinect [J]. Computer measurement & control， 2016， 24（5）： 156?159.

[2] 梅明亮，王翠鳳，何炳蔚.基于視覺(jué)的手勢(shì)識(shí)別技術(shù)及在小車控制中的應(yīng)用[J].長(zhǎng)春大學(xué)學(xué)報(bào)，2016，26（8）：24?31.

MEI Mingliang， WANG Cuifeng， HE Bingwei. Vision?based gesture recognition technology and its application in automobile control [J]. Journal of Changchun University， 2016， 26（8）： 24?31.

[3] 江鐵成.基于視覺(jué)手勢(shì)識(shí)別技術(shù)的實(shí)踐研究[J].合肥師范學(xué)院學(xué)報(bào)，2016，34（3）：31?34.

JIANG Tiecheng. Practical research on recognition technology based on visual gesture [J]. Journal of Hefei Normal University， 2016， 34（3）： 31?34.

[4] 張玉軍，孟曉軍，王剛.基于手勢(shì)交互的三維電子沙盤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].指揮控制與仿真，2016，38（2）：110?114.

ZHANG Yujun， MENG Xiaojun， WANG Gang. Design and implementation of 3D electronic sand table system based on gesture interaction [J]. Command control & simulation， 2016， 38（2）： 110?114.

[5] 吳福理，丁胤，丁維龍，等.基于Leap Motion的虛擬農(nóng)作物人機(jī)交互系統(tǒng)設(shè)計(jì)[J].農(nóng)業(yè)工程學(xué)報(bào)，2016，32（23）：144?151.

WU Fuli， DING Yin， DING Weilong， et al. Design of human computer interaction system of virtual crops based on Leap Motion [J]. Transactions of the Chinese society of agricultural engineering， 2016， 32（23）： 144?151.

[6] 潘志庚，劉從晉，葛瑩瑩，等.支持自然交互的虛擬跑步機(jī)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2017，29（11）：2753?2759.

PAN Zhigeng， LIU Congjin， GE Yingying， et al. Design and implementation of virtual treadmill system supporting natural interaction [J]. Journal of system simulation， 2017， 29（11）： 2753?2759.

[7] 李朝新，張俊平，吳利青.虛擬現(xiàn)實(shí)技術(shù)支持下的GIS立體顯示系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].測(cè)繪通報(bào)，2016（9）：119?122.

LI Chaoxin， ZHANG Junping， WU Liqing. Design and implementation of GIS stereo display system based on virtual reality technology [J]. Bulletin of surveying and mapping， 2016（9）： 119?122.

[8] 于寧波，李思宜，趙營(yíng)泉，等.基于共享控制的人機(jī)靈巧力觸覺(jué)交互系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].儀器儀表學(xué)報(bào)，2017，38（3）：602?611.endprint

YU Ningbo， LI Siyi， ZHAO Yingquan， et al. Design and implementation of a dexterous human?robot interaction system based on haptic shared control [J]. Chinese journal of scientific instrument， 2017， 38（3）： 602?611.

[9] 趙康.基于GIS的虛擬景觀平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].測(cè)繪科學(xué)，2017，42（3）：165?168.

ZHAO Kang. Research on virtual landscape platform based on GIS and VR [J]. Science of surveying and mapping， 2017， 42（3）： 165?168.

[10] WANG L， ZHANG G， LIU Z， et al. Design and implementation of real time gesture recognition system based on monocular vision [J]. Electronic science & technology， 2017， 8（6）： 12?45.

[11] ZHANG B， SUN X， WU Y. Design and implementation of gesture recognition algorithm based on convolution neural network [J]. Microcomputer & its applications， 2017， 78（1）： 120?133.

[12] LI Y T， YU D C， JIN L P， et al. The design and implement of cognitive training system based on leapMotion gesture recognition [J]. Electronic design engineering， 2016， 5（2）： 55?61.

[13] ZHANG Y J， MENG X J， WANG G. Design and implementation of 3D electronic sand table system based on gesture interaction [J]. Command control & simulation， 2016， 38（2）： 356?390.endprint