虛擬運(yùn)動(dòng)目標(biāo)人機(jī)交互方法設(shè)計(jì)與仿真

龍 年，劉智惠

(湖北工業(yè)大學(xué)工程技術(shù)學(xué)院，湖北 武漢 430000)

1 引言

目前，人機(jī)交互技術(shù)已得到全面發(fā)展，但是仍存在一些技術(shù)方面問題未得到有效解決。傳統(tǒng)人機(jī)交互技術(shù)主要通過鍵盤等機(jī)械化設(shè)備完成。隨著智能傳感和人機(jī)交互技術(shù)的日益成熟，使其被廣泛應(yīng)用于視頻以及語言信息交換中，但是部分人機(jī)交互只能通過感知技術(shù)完成，這樣會(huì)導(dǎo)致用戶體驗(yàn)感下降，無法高精度實(shí)現(xiàn)人機(jī)交互。

為更好解決上述問題，相關(guān)專家給出了一些較好的研究成果，例如張凱樂等人通過文本對(duì)話和體感交互兩種技術(shù)實(shí)現(xiàn)用戶情緒調(diào)節(jié)，同時(shí)還通過融入情緒因素的Sep 2 Sep模型完成人機(jī)交互。張興旺等人分析總結(jié)南海海圖可視化的人機(jī)交互技術(shù)理論，構(gòu)建了一種可視化人機(jī)交互模型和體系結(jié)構(gòu)，同時(shí)針對(duì)相應(yīng)的應(yīng)用模式進(jìn)行分析和研究。但是以上傳統(tǒng)方法忽略了對(duì)多體感特征的融合，無法高精度識(shí)別和跟蹤目標(biāo)，導(dǎo)致虛擬手型逼真度偏低。

為解決傳統(tǒng)方法的弊端，結(jié)合多體感融合技術(shù)，提出一種基于多體感融合的虛擬運(yùn)動(dòng)目標(biāo)人機(jī)交互方法。仿真結(jié)果表明，所提方法能夠獲取逼近的虛擬手型，同時(shí)還能精準(zhǔn)跟蹤和識(shí)別目標(biāo)，獲取更加滿意的人機(jī)交互結(jié)果。

2 基于多體感融合的虛擬運(yùn)動(dòng)目標(biāo)人機(jī)交互

2.1 虛擬運(yùn)動(dòng)目標(biāo)識(shí)別和跟蹤

采用Kinect跟蹤識(shí)別虛擬運(yùn)動(dòng)目標(biāo)時(shí)，需優(yōu)先解決目標(biāo)識(shí)別問題，但是由于Kinect并不具備識(shí)別功能，因此需要借助顏色直方圖進(jìn)行目標(biāo)識(shí)別；同時(shí)Kinect也無法直接對(duì)人體進(jìn)行骨骼跟蹤，骨骼數(shù)據(jù)是在深度圖像的基礎(chǔ)上經(jīng)過去噪以及分割等相關(guān)技術(shù)獲取的。其中，目標(biāo)識(shí)別和跟蹤主要包括虛擬目標(biāo)的身份識(shí)別和目標(biāo)人員的位置跟蹤，具體的操作步驟如圖1所示。

圖1 虛擬運(yùn)動(dòng)目標(biāo)識(shí)別和跟蹤流程圖

在實(shí)際工作的過程中，會(huì)同時(shí)出現(xiàn)多個(gè)虛擬運(yùn)動(dòng)目標(biāo)，為了獲取更好的識(shí)別結(jié)果，以下主要通過基于圖像信息的人員識(shí)別方法進(jìn)行分析研究，采用Kinect對(duì)研究區(qū)域內(nèi)的彩色圖像進(jìn)行拍攝，同時(shí)通過顏色直方圖匹配結(jié)果精準(zhǔn)識(shí)別研究區(qū)域內(nèi)的虛擬目標(biāo)。其中，顏色直方圖主要用來描述各個(gè)色彩在整個(gè)圖像中所占的百分比。顏色直方圖匹配對(duì)應(yīng)的計(jì)算式為

(1)

卡方匹配和相交匹配對(duì)應(yīng)的計(jì)算公式為

(2)

式中，

d

(

H

，

H

)代表卡方；

d

代表相交。

通過式(1)和式(2)可知，相關(guān)和相交匹配算法的計(jì)算結(jié)果取值越大，則說明直方圖匹配程度越高，其中完全匹配值為1；卡方匹配算法的計(jì)算結(jié)果取值越小，也可以證明直方圖的匹配程度越高，完全匹配時(shí)取值為0。

為剔除圖像中含有的全部噪聲，采用中值濾波方法進(jìn)行去噪處理。其中，中值濾波公式為

(3)

式中，

f

(

x

，

y

)代表濾波輸出值；

S

代表圖像中全部的像素點(diǎn)數(shù)量；

g

(

x

，

y

)代表像素的灰度值。

繪制虛擬目標(biāo)的結(jié)構(gòu)圖像，需要優(yōu)先將虛擬運(yùn)動(dòng)目標(biāo)在深度圖像中分離出來，以下主要使用基于用戶索引號(hào)的目標(biāo)檢測和背景分割方法，具體的操作流程如圖2所示。

圖2 虛擬運(yùn)動(dòng)目標(biāo)檢測和背景分割操作流程

1)優(yōu)先利用Kinect獲取各個(gè)研究場景的深度圖像；

2)通過深度圖像提取像素點(diǎn)的深度值和用戶索引編號(hào)。

3)通過步驟2)獲取的索引編號(hào)標(biāo)記虛擬運(yùn)動(dòng)目標(biāo)。

4)二值化處理采集圖像，同時(shí)設(shè)定研究區(qū)域內(nèi)的像素取值為255，剩余節(jié)點(diǎn)的像素取值均設(shè)定為0，進(jìn)而將目標(biāo)從背景中分離出來。

在進(jìn)行虛擬運(yùn)動(dòng)識(shí)別前期，需要明確虛擬目標(biāo)運(yùn)動(dòng)的起點(diǎn)和結(jié)束點(diǎn)。其中虛擬運(yùn)動(dòng)目標(biāo)的起點(diǎn)和結(jié)束點(diǎn)的主要判定依據(jù)為手心球半徑，通過SDK即可獲取手心球半徑，同時(shí)設(shè)定閾值的取值為30 mm。當(dāng)手心半球半徑高于閾值時(shí)，則說明目標(biāo)的手掌處于張開狀態(tài)；反之，則處于閉合狀態(tài)。如果手心球半徑從低于30 mm逐漸增加到30 mm，則說明該點(diǎn)起點(diǎn)，當(dāng)Leap Motion再次捕捉到閾值小于30 mm，則停止識(shí)別。

虛擬運(yùn)動(dòng)目標(biāo)識(shí)別和跟蹤定位的實(shí)現(xiàn)就是在已有的目標(biāo)輪廓圖像中準(zhǔn)確識(shí)別出各個(gè)結(jié)構(gòu)，同時(shí)確定關(guān)節(jié)點(diǎn)的具體坐標(biāo)。上述操作過程主要是通過機(jī)器學(xué)習(xí)技術(shù)完成的。優(yōu)先訓(xùn)練決策樹樣本，獲取基于決策樹的分類模型，利用機(jī)器學(xué)習(xí)對(duì)深度圖像像素點(diǎn)的特征值分類和評(píng)估，進(jìn)而獲取對(duì)應(yīng)的部位結(jié)構(gòu)。為有效消除虛擬運(yùn)動(dòng)目標(biāo)自身與外部因素對(duì)數(shù)據(jù)噪聲的影響，本研究主要通過Kalman濾波算法對(duì)數(shù)據(jù)得到最優(yōu)值和測量值進(jìn)行迭代消除，有效濾除數(shù)據(jù)中的噪聲。

Kalman濾波算法是在時(shí)間的動(dòng)態(tài)系統(tǒng)上完成濾波操作的，因此需要在算法中加入離散控制系統(tǒng)，計(jì)算公式如式(4)所示

x

+1=

F

+1

x

+

B

+1

u

+1

(4)

式中，

x

+1代表在

k

+1時(shí)刻系統(tǒng)的運(yùn)行狀態(tài)；

x

代表在

k

時(shí)刻系統(tǒng)的運(yùn)行狀態(tài)；

F

+1代表作用在

x

上的變換矩陣；

B

+1代表系統(tǒng)的控制參數(shù)；

u

+1代表控制矩陣。在

k

+1時(shí)刻，系統(tǒng)中的測量值需要滿足以下條件

Z

+1=

H

+1

x

+1+

v

+1

(5)

式中，

H

+1代表在

x

+1時(shí)刻的狀態(tài)投射到測量空間的測量矩陣；

v

+1代表測量噪聲。通過式(4)能夠推導(dǎo)出在

k

+1時(shí)刻的狀態(tài)，具體計(jì)算式為

x

(

k

+1|

k

)=

F

+1

x

(

k

|

k

)+

B

+1

u

(

k

+1)

(6)

式中，

x

(

k

+1|

k

)代表利用系統(tǒng)在

k

時(shí)刻的狀態(tài)值預(yù)測

k

+1時(shí)刻的最優(yōu)值；

x

(

k

|

k

)代表系統(tǒng)在

k

時(shí)刻的最優(yōu)值；

u

(

k

+1)代表在

k

+1時(shí)刻系統(tǒng)的測量值，設(shè)定

u

(

k

+1)的取值為0，則式(6)能夠簡化為

x

(

k

+1|

k

)=

F

+1

x

(

k

|

k

)

(7)

在Kalman濾波預(yù)測階段，主要采用leap SDK獲取對(duì)下一時(shí)間段的位置和位姿信息進(jìn)行預(yù)測。設(shè)定在

k

時(shí)刻，虛擬運(yùn)動(dòng)目標(biāo)的中心坐標(biāo)為

p

，結(jié)合運(yùn)動(dòng)定律能夠獲取以下形式的計(jì)算式

(8)

式中，

v

代表虛擬運(yùn)動(dòng)目標(biāo)的運(yùn)行速度；

a

代表加速度；

p

+1代表在時(shí)間

t

時(shí)刻的坐標(biāo)位置，

s

代表虛擬目標(biāo)運(yùn)動(dòng)變化規(guī)律，則有

(9)

根據(jù)計(jì)算獲取在

k

+1時(shí)刻的預(yù)測值，其中

k

+1時(shí)刻的測量值是通過傳感器得到的，則在

k

+1時(shí)刻的最優(yōu)值為

x

(

k

+1|

k

+1)=

x

(

k

+1|

k

)+

g

(

k

+1)

Z

(

k

+1-

h

(

k

+1|

k

))

(10)

基于上述分析，通過深度圖像提取虛擬運(yùn)動(dòng)目標(biāo)結(jié)構(gòu)信息，融合全部提取的結(jié)構(gòu)信息，跟蹤識(shí)別人機(jī)交互目標(biāo)。

2.2 基于多體感融合的虛擬運(yùn)動(dòng)目標(biāo)人機(jī)交互

虛擬運(yùn)動(dòng)目標(biāo)位姿和機(jī)械臂末端的轉(zhuǎn)換是實(shí)現(xiàn)人機(jī)交互的重要環(huán)節(jié)，轉(zhuǎn)換的主要目的為確保目標(biāo)和機(jī)械臂兩者能夠更好地在笛卡爾空間進(jìn)行映射，同時(shí)兩者之間存在密切關(guān)聯(lián)。由于虛擬運(yùn)動(dòng)目標(biāo)的機(jī)體結(jié)構(gòu)和感知系統(tǒng)具有一定的局限性，如果操作員的位置保持不變，在運(yùn)動(dòng)空間

S

內(nèi)的任意一點(diǎn)均能夠和目標(biāo)進(jìn)行關(guān)聯(lián)。

為了更好實(shí)現(xiàn)人機(jī)交互，在控制機(jī)械臂執(zhí)行任務(wù)的過程中，需要將虛擬運(yùn)動(dòng)目標(biāo)和機(jī)械臂末端的運(yùn)動(dòng)方向和速度保持一致。其中，兩者之間的空間映射能夠定義為

(11)

上式中，

S

和

S

代表位姿矩陣；

k

代表映射比例矩陣，則有

(12)

式中，

S

代表在

k

時(shí)刻的位姿變化；

S

-1代表在

k

-1時(shí)刻的位姿變化；Δ

S

，-1代表

k

-1時(shí)刻到

k

時(shí)刻的位姿變化情況。不同的映射比例矩陣

k

會(huì)造成虛擬運(yùn)動(dòng)目標(biāo)和運(yùn)動(dòng)空間之間的映射不同，形成不一樣的映射結(jié)果。為了更好實(shí)現(xiàn)研究目標(biāo)和機(jī)械臂末端兩者之間的映射，需要結(jié)合實(shí)際需求和相關(guān)約束條件進(jìn)行映射比例矩陣設(shè)計(jì)。由于在研究區(qū)域內(nèi)各個(gè)虛擬運(yùn)動(dòng)目標(biāo)是獨(dú)立的，則

k

有

(13)

式中，

ξ

代表線性參數(shù)。由于操作人員在進(jìn)行機(jī)器人人機(jī)交互的過程中，慣性測量單元會(huì)影響目標(biāo)的姿態(tài)變換。為了更好解決上述問題，設(shè)定

ξ

、

ξ

和

ξ

三者的取值均小于1。同時(shí)慣性測量單元存在噪聲，為了避免對(duì)人機(jī)交互結(jié)果產(chǎn)生影響，以下主要通過靜態(tài)閾值過濾進(jìn)行濾波處理，具體的計(jì)算式為

(14)

式中，

δ

和

δ

代表機(jī)械手臂自然轉(zhuǎn)動(dòng)最小值和最大值。

在上述分析的基礎(chǔ)上，全面分析阻尼理論對(duì)數(shù)據(jù)穩(wěn)定性的影響，根據(jù)機(jī)器人和虛擬運(yùn)動(dòng)目標(biāo)兩者之間的結(jié)構(gòu)特征，組建兩者間的笛卡爾映射關(guān)系，有效實(shí)現(xiàn)虛擬運(yùn)動(dòng)目標(biāo)人機(jī)交互。

3 仿真研究

為驗(yàn)證所提基于多體感融合的虛擬運(yùn)動(dòng)目標(biāo)人機(jī)交互方法的有效性，分別從三個(gè)方面進(jìn)行測試分析，具體實(shí)驗(yàn)操作過程如下所示：

1)虛擬手勢測試

為了驗(yàn)證所提方法的應(yīng)用有效性，選取虛擬手作為測試對(duì)象。優(yōu)先測試手部關(guān)節(jié)旋轉(zhuǎn)的正確性，其中真實(shí)測試對(duì)象如圖3所示，獲取的實(shí)驗(yàn)結(jié)果如圖4所示。

圖3 測試對(duì)象

圖4 虛擬手勢仿真結(jié)果

分析圖4的實(shí)驗(yàn)結(jié)果可知，獲取的虛擬手勢仿真結(jié)果和真實(shí)結(jié)果更加接近，同時(shí)整個(gè)手型的變化也更加自然，同時(shí)滿足基本變化規(guī)律，全面證實(shí)了所提方法的優(yōu)越性。

2)交互動(dòng)作識(shí)別性能測試

為了測試用戶對(duì)各個(gè)類型手臂動(dòng)作的識(shí)別性能，實(shí)驗(yàn)選取20名學(xué)生參與測試，要求全部參與者做7個(gè)不同的動(dòng)作各10次，共計(jì)總樣本數(shù)量1400次。以下詳細(xì)給出所提方法的準(zhǔn)確識(shí)別次數(shù)和識(shí)別率變化情況，具體實(shí)驗(yàn)結(jié)果如表1所示。

表1 交互動(dòng)作識(shí)別結(jié)果測試

分析表1中的實(shí)驗(yàn)數(shù)據(jù)可知，所提方法對(duì)于各個(gè)類型的交互動(dòng)作都具有較高的識(shí)別率，主要是因?yàn)樗岱椒ㄔ趯?shí)際研究的過程中，對(duì)虛擬運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤識(shí)別，全面增強(qiáng)了交互動(dòng)作識(shí)別結(jié)果的準(zhǔn)確性。

3)標(biāo)記跟蹤能力

為了驗(yàn)證所提方法的標(biāo)記跟蹤能力，重點(diǎn)分析標(biāo)記尺寸和循環(huán)有效范圍兩者之間的關(guān)系，具體實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 循環(huán)有效范圍和標(biāo)記尺寸兩者之間的關(guān)系分析

分析圖5中的實(shí)驗(yàn)數(shù)據(jù)可知，隨著標(biāo)記尺寸的持續(xù)增加，循環(huán)有效范圍也逐漸增加，更加充分證明了所提方法的有效性。

4 結(jié)束語

人機(jī)交互一直是機(jī)器人研究領(lǐng)域的熱點(diǎn)話題，體感傳感器的出現(xiàn)有效改變了傳統(tǒng)人機(jī)交互模式。為了使人機(jī)交互更加自然和直接，結(jié)合多體感融合技術(shù)，提出一種基于多體感融合的虛擬運(yùn)動(dòng)目標(biāo)人機(jī)交互方法。仿真結(jié)果表明，所提方法能夠獲取更真實(shí)的虛擬手型，同時(shí)還能夠提升目標(biāo)跟蹤和識(shí)別結(jié)果的準(zhǔn)確性，更好地實(shí)現(xiàn)人機(jī)交互。

雖然現(xiàn)階段所提方法取得了一些顯著的研究成果，但是由于受到時(shí)間因素的限制，導(dǎo)致所提方法仍然存在一定的不足，后續(xù)將重點(diǎn)針對(duì)以下幾方面的內(nèi)容展開研究：

1)目前手勢設(shè)計(jì)還不夠豐富，后續(xù)可以加入旋轉(zhuǎn)手勢，以獲取更多的無縫銜接效果。

2)后續(xù)可以將虛擬角色替換為更加可愛的形象，全面激發(fā)小孩游戲的趣味性。

3)在濾波算法的基礎(chǔ)上，進(jìn)一步提升人機(jī)交互算法的穩(wěn)定性和可靠性。

4)可在所提的人機(jī)交互方法中加入移動(dòng)互聯(lián)網(wǎng)技術(shù)，同時(shí)開展人機(jī)交互的新模式，例如用戶可以利用網(wǎng)頁完成機(jī)器人控制等。

5)由于所提方法受到硬件的限制，當(dāng)大部分關(guān)鍵點(diǎn)重合在一起時(shí)，獲取的識(shí)別結(jié)果并不理想。為了更好地解決上述問題，可以優(yōu)化交互邊緣，為用戶制定相應(yīng)的規(guī)則，促使整體性能得到進(jìn)一步提升。