基于Kinect動態(tài)手勢識別的機械臂實時位姿控制系統(tǒng)

倪 濤 趙泳嘉 張紅彥 劉香福 黃玲濤

(吉林大學機械科學與工程學院, 長春 130022)

基于Kinect動態(tài)手勢識別的機械臂實時位姿控制系統(tǒng)

倪 濤 趙泳嘉 張紅彥 劉香福 黃玲濤

(吉林大學機械科學與工程學院, 長春 130022)

基于Kinect動態(tài)手勢識別達到實時控制機械臂末端位姿的效果。位置控制信息的獲取采用Kinect計算手部4個關(guān)節(jié)點在控制中的位置變動，數(shù)據(jù)噪聲在控制中易引起機械臂誤動作和運動振動等問題，為了避免噪聲對實時控制的不利影響，采用卡爾曼濾波跟蹤降噪。姿勢控制信息通過采集手部點云經(jīng)濾波處理后應用最小二乘擬合的方式獲取掌心所在平面,運用迭代器降噪處理。系統(tǒng)通過對手部位置和姿勢信息的整合、手勢到機械臂空間坐標映射及運動學求解來實時控制機械臂末端位姿。實驗結(jié)果證明，手勢控制系統(tǒng)滿足控制要求,簡單、易于操作，機械臂實時響應速度快、運動準確。

手勢控制； Kinect傳感器； 卡爾曼濾波； 機械臂位姿控制； 人機交互

引言

隨著機器人相關(guān)領(lǐng)域的快速發(fā)展，人機交互形式正朝多樣化的方向發(fā)展，機器人技術(shù)受人工智能發(fā)展情況的制約，短時間內(nèi)難以達到機器人自主決策的要求，因此機器人的控制及應用勢必離不開人的參與。為了較好地實現(xiàn)人機交互，基于機器視覺的人體動作和手勢識別是實現(xiàn)新一代人機交互系統(tǒng)不可缺少的一項關(guān)鍵技術(shù)。手勢識別是一種新型的自然用戶接口[1](Natural user interface,NUI)，文獻[1-4]采用隱馬爾科夫模型(HMM)對人體姿勢進行分類來控制類人機器人的姿勢。文獻[5-7]從深度圖中計算手部的特定屬性，能夠識別一個靜態(tài)手勢指定的對象來引導機器人拾取用戶所指對象。HERNANDEZ-BELMONTE等[8]提出一種多級的手勢分類器，通過基于實時變形檢測和提高訓練的分類系統(tǒng)對特定手勢進行有效識別。CICIRELLI等[9]通過對10種手勢用神經(jīng)網(wǎng)絡進行分類訓練，在室內(nèi)環(huán)境中3個Kinect相機放置在不同的位置，使用手勢控制自主移動機器人。MA等[10]提出一種新算法，采用指尖識別建立手勢，通過無線傳輸控制六角機器人。盧曉敏[11]采用多傳感器融合方式，即Kinect和慣性測量單元采集數(shù)據(jù)，實現(xiàn)機械臂到指定位姿的運動控制。文獻[12-14]對手部信息通過輪廓提取的方式將手勢分離出來并識別，進而控制六邊形機器人?，F(xiàn)有的研究主要是操作員根據(jù)預設的手勢來控制機器人完成指定動作[15-19]，不容易把握操作機器人的運動尺度，無法提供操作員靈活控制的條件，而多數(shù)其他人體穿戴傳感器通用性不強且可維護性差。本文通過對手的空間位置動態(tài)變化信息及手掌心姿態(tài)信息的采集來獲取控制指令，實時控制6-DOF機械臂完成指定的手部控制指令。

1 系統(tǒng)結(jié)構(gòu)組成

系統(tǒng)結(jié)構(gòu)組成如圖1所示，由主端和從端機械臂組成。信息采集設備采用Kinect 2體感攝像頭，通過采集的骨骼數(shù)據(jù)及手部點云數(shù)據(jù)完成手勢信息的采集，通過計算機算法進行濾波、信息整合、空間映射及運動求解后，將數(shù)據(jù)傳輸?shù)搅杂啥葠燮丈鷻C械臂控制端實現(xiàn)控制。Kinect 2較上一代具有很大的性能提升，更寬的視角和更遠的識別距離，能夠識別4個手部關(guān)節(jié)點信息。Kinect在傳輸數(shù)據(jù)幀時，能夠達到30 fps的數(shù)據(jù)密度。Kinect正面左側(cè)為RGB色彩攝像頭，色彩攝像頭右側(cè)為CMOS 紅外傳感器即深度攝像頭，中間部分是紅外發(fā)射器，在弱光條件下能夠保證識別精度。

圖1 系統(tǒng)結(jié)構(gòu)組成Fig.1 Structure of system

采用Kinect追蹤骨骼點數(shù)據(jù)，其內(nèi)部原理是基于機器學習技術(shù)，將捕獲的深度信息傳入SDK，對信息進行處理,解算出代表骨骼信息的特征向量，將其與隨機決策庫中的數(shù)據(jù)進行匹配，進而得出骨骼點信息。通過對手部點云信息和關(guān)節(jié)點信息進行濾波和整合處理，手勢控制指令指定控制系統(tǒng)的控制階段，將手勢信息映射到機械臂運動控制空間，完成手勢控制信息的運動學解算，進而將其轉(zhuǎn)換為控制信號,控制機械臂對手勢控制指令做出響應。

2 手部位置和姿態(tài)獲取

2.1 手部位置獲取

Kinect獲取手部關(guān)節(jié)點的實時信息，包括追蹤狀態(tài)和坐標信息，圖2為Kinect坐標系設定。手部追蹤的骨骼點分布情況如圖1所示，采集手部4個關(guān)節(jié)點信息，分別為：右手腕、 右手掌、 右手指、右拇指(以右手為例)。Kinect骨骼數(shù)據(jù)信息中包含每個骨骼點的追蹤狀態(tài)，分為：未跟蹤到、推測、跟蹤到3種狀態(tài)，是進行手勢控制的重要數(shù)據(jù)。

圖2 Kinect坐標Fig.2 Kinect coordinates

在手部骨骼信息采集過程中，由于人手部運動的模糊性、隨機性、時變性，以及攝像頭自身在采集數(shù)據(jù)過程中產(chǎn)生噪聲的共同作用下，使數(shù)據(jù)中存在大量噪聲，如果數(shù)據(jù)直接用于控制機械臂，將導致受控中的機械臂運動可能產(chǎn)生抖動和誤動作。機械臂運動抖動會帶來控制器工作不穩(wěn)定及機械臂運動器件損耗，機械臂誤動作在實際控制中會出現(xiàn)控制安全問題，因此對于手勢骨骼點位置信息進行降噪很有必要。對于坐標點的濾波問題是離散隨機過程屬線性問題，卡爾曼濾波對于此類問題能夠達到很好的濾波效果[20-21]?？柭鼮V波算法的濾波效果受用戶所設置的過程噪聲方差Q和測量噪聲方差RN影響。為達到預期的濾波效果，需要對Kinect采集到的數(shù)據(jù)進行分析，查看數(shù)據(jù)的穩(wěn)定性來調(diào)整方差參數(shù)的選取。

卡爾曼濾波用于估計未知的狀態(tài)向量x∈Rn，離散時間隨機過程由隨機線性差分方程給出

xk+1=Axk+wk

(1)

其中

wk∈N(0,Q)

式中A——轉(zhuǎn)移矩陣

xk——k時刻系統(tǒng)狀態(tài)

wk——過程噪聲

測量矩陣y∈Rm，計算式為

yk=Hxk+vk

(2)

其中

vk∈n(0,R)

式中H——測量矩陣vk——測量噪聲

預測階段

(3)

Pk-1——后驗協(xié)方差矩陣

更新階段

(4)

(5)

(6)

式中Kk——卡爾曼增益矩陣

Kk用于更新階段對卡爾曼的追蹤狀態(tài)進行更新。

根據(jù)實際控制中降噪要求,采用如下參數(shù)設定：

狀態(tài)轉(zhuǎn)移矩陣

通過以上參數(shù)選取，融合后的手掌中心位置坐標經(jīng)卡爾曼濾波處理達到的效果如圖3所示。

圖3 坐標X、Y、Z分量卡爾曼效果圖Fig.3 Coordinates of point X, Y and Z component Kalman rendering

圖3表明Kalman濾波對Kinect采集到的手部位置數(shù)據(jù)能夠達到很好的濾波效果，解決由于識別結(jié)果突變和數(shù)據(jù)波動所帶來的控制系統(tǒng)不穩(wěn)定問題。

2.2 手部姿態(tài)獲取

Kinect點云信息采集距離理論為0.5～8.0 m。設置參數(shù)中可以設定每米點云識別個數(shù)，實質(zhì)上在Kinect中識別點云以空間中小的立體像素(voxel)為基本單元，實驗中設定識別密度為256體素即1 000/256=3.9 mm/體素，識別寬度設定在X、Y、Z方向上，識別單元數(shù)為384，即識別結(jié)構(gòu)寬度為384/256=1.5 m。

研究中采用Kinect采集到的點云信息，由骨骼信息得到手部的中心位置，以中心位置為基準對點云信息中的點進行篩選和濾波。篩選原則為在Kinect坐標系下Z坐標的差值在手部寬度閾值范圍內(nèi)，立體像素單元距離中心點小于手部寬度閾值的二分之一，通過篩選能夠得到手部點云信息的集合。

(7)

式中w——手掌尺寸閾值

對于得到的手掌點云信息，進行處理后得到手掌所在平面，研究中采用最小二乘擬合法得到手掌點云的最佳擬合平面。由協(xié)方差矩陣的SVD變換可知，最小奇異值對應的奇異向量即平面的方向。圖4所示是在某次控制中數(shù)據(jù)采集端順次采集到的手部點云及擬合平面。圖中能夠明顯地分辨出手部輪廓，可見手部點云信息在手部閾值限定下篩選準確。

圖4 點云依順序擬合平面圖Fig.4 Point cloud fitting results for plane in order

3 基于手勢識別的機器人控制策略設計

圖5 Kinect手部啟閉狀態(tài)識別Fig.5 Kinect hand opening and closing states recognition

為能夠?qū)崟r控制機械臂完成指定動作，要求手勢控制信號能夠?qū)崟r解算，以達到機械臂對手勢控制指令快速做出響應?？刂浦校蕾嚥杉降氖植课蛔俗儎觼懋a(chǎn)生機械臂控制信號，控制啟停條件需要人為指定，控制中將手部從關(guān)閉狀態(tài)(Closed)(圖5b)過渡到開啟狀態(tài)(Open)(圖5a)視為控制啟動，手部從開啟狀態(tài)(Open)過渡到非開啟狀態(tài)視為當前次控制終止，控制啟動后以200 ms間隔對手部的啟閉狀態(tài)進行核對，若始終處于開啟狀態(tài)，則對機械臂運動進行持續(xù)控制。采用手部啟合狀態(tài)判定來指定控制狀態(tài)，判定結(jié)果準確，同時操作人員易于實現(xiàn)操作。

圖6 手部位置采集過程Fig.6 Hand position acquisition process

采集手部信息如圖6所示，要求lOO′≥0.5 m來保證手部信息采集效果。位置信息是手部關(guān)節(jié)點向量lAA′、lBB′、lCC′、lDD′在X、Y、Z軸方向上的分量，在計算位移分量前要采用卡爾曼濾波進行處理。為減小誤差，3個方向上的4個分量計算位移應用加權(quán)融合的方式?？刂撇呗灾胁捎脵?quán)重融合是充分考慮到手部在識別中的不穩(wěn)定性，由于識別中手部4個點的識別結(jié)果存在大量變動，例如右拇指在手部沒有移動的時候，攝像頭的隨機決策樹判定結(jié)果始終存在變動，因此采用權(quán)重融合是解決問題的有效手段。權(quán)重的選擇依據(jù)各個關(guān)節(jié)點的跟蹤狀態(tài)來指定，分為6種情形，如表1所示，其中信任比重分配設定為Tracked為5、Inferred為3、NotTracked為1。對于手部4個點，分別求解起止點的位置坐標變化，依據(jù)權(quán)重信息進行融合，計算出手部位置變化置。

表1 跟蹤狀態(tài)及權(quán)重分配Tab.1 Tracking status and weight distribution

(8)

(9)

式中Ri——應分配的權(quán)重

xiK1、xiK2、yiK1、yiK2、ziK1、ziK2——單次識別過程起、終點經(jīng)過卡爾曼濾波后的x、y、z分量

在實際試驗中，對點云信息的處理是提升控制精度的有效途經(jīng)，手部姿勢控制信息通過實時求解點云最小二乘擬合平面，在姿勢獲取中采用手部閾值篩選出手部的有效點云，但是實際中發(fā)現(xiàn)點云依然存在大量的噪聲點影響擬合平面的準確性，為提高求得平面精度就需要對點云中的點進行進一步甄選。本文設計一個迭代器來完成數(shù)據(jù)點除噪，原理如圖7所示。將點云信息求解得擬合平面I的法向量δ，求平面T與擬合平面垂直法向量γ，將點和面向已知平面投影，圖7中l(wèi)為點云所在平面的投影直線，取距直線距離閾值范圍內(nèi)的點，將范圍外的點視為離群點而舍棄，重復上述步驟至沒有點落在閾值限定線外，通過以上迭代過程能夠?qū)崿F(xiàn)很好的降噪效果，有效濾除離群點對手勢信息采集準確性的影響。

圖7 迭代器原理示意圖Fig.7 Diagram of iterator principle

擬合后平面的法向量分別為α和β，將其視為控制始末姿勢狀態(tài)，應用羅德里格旋轉(zhuǎn)公式，求出旋轉(zhuǎn)矩陣R。

R=I+sinθM+(1-cosθ)M2

(10)

式中M——叉積矩陣

通過Z-Y-X歐拉角來計算旋轉(zhuǎn)變換，旋轉(zhuǎn)角分別為α、β、γ，計算得

(11)

式中 atan2——雙參變量反正切函數(shù)

在實際應用中，機械臂與手部不是在同一坐標系下且運動范圍不同，因此人手與機械臂末端的空間映射關(guān)系是實現(xiàn)控制的關(guān)鍵問題。根據(jù)人手和機械臂的數(shù)學模型進行笛卡爾空間映射，將人手位姿轉(zhuǎn)換為機械臂末端位姿，假設其映射關(guān)系函數(shù)為f，將人手和機械臂末端之間笛卡爾空間映射定義為線性關(guān)系[11]。人手運動空間為SH，機械臂的運動空間為SR，滿足關(guān)系式

Sr,k=Sr,k-1+f(ΔSh,k)=Sr,k-1+KΔSh,k

(12)

其中

式中 ΔSh——人手位姿矩陣

Sr——機械臂位姿矩陣

K——坐標空間映射的比例矩陣

根據(jù)不同的控制環(huán)境需要人為選取機械臂的響應靈敏度，不同的比例矩陣決定不同的映射條件及響應靈敏度，比例因子過大會超出機械臂末端運動范圍，過小則響應速度變慢，即控制效率低，空間映射的比例矩陣要根據(jù)所控制的機械臂自身屬性及工作階段共同決定。圖6中坐標系T為機器人坐標系，不同人機交互場合可以改變坐標系相對布置，進而對空間映射比例矩陣進行變換和調(diào)整參數(shù)值以適應控制要求，其中控制比例因子多通過機械臂的運動范圍和比例映射機制確定。坐標系變換方式為

控制中往往需要在運動初期迅速接近目標位置，選用快速接近的映射條件，接近運動終點時需要采用慢速靠近的機制來實現(xiàn)更為精準的控制，使用微調(diào)整的映射條件，如圖8所示。因此實際控制要求在相應的控制階段調(diào)整映射條件來達到控制要求，能夠迅速接近目標位置，再通過手勢控制指令精準完成控制，適當選擇映射條件是實現(xiàn)高效控制的重要環(huán)節(jié)。

圖8 手勢決策控制階段Fig.8 Gestures decision control stage

通過以上討論，將手勢數(shù)據(jù)實時轉(zhuǎn)化為機械臂空間上的控制數(shù)據(jù)，通過運動學反解得出控制機械臂各關(guān)節(jié)的運動信號。對于一個確定的控制目標，達到控制終點可以通過手部多次運動控制指令來實現(xiàn)控制?？刂铺幱诓煌A段時，通過雙手手勢信息來使用不同的控制比例因子，在人機交互界面實時顯示控制進行狀態(tài)以及控制終端位置信息。

圖10 控制效果圖Fig.10 Rendering diagrams of control

4 實驗

圖9 不同控制路徑對比圖Fig.9 Different control path comparison charts

控制系統(tǒng)能夠?qū)崿F(xiàn)以手部控制指令自由規(guī)劃機械臂控制末端位姿?？刂浦型ㄟ^骨骼點的卡爾曼濾波、點云信息的降噪處理以及最小二乘擬合來提高控制信號的精度及穩(wěn)定性，使得控制能夠達到很高的魯棒性。圖9為手勢控制路徑、未經(jīng)卡爾曼濾波機械臂末端運動路徑和經(jīng)卡爾曼濾波的機械臂末端運動路徑對比圖，通過路徑對比圖可以看出卡爾曼濾波對機械臂運動穩(wěn)定性作用效果顯著，同時可以看出控制階段中采用不同控制比例因子所產(chǎn)生的效果，紅線為采用快速接近控制因子對應的手-機械臂末端軌跡對比，藍線為采用微調(diào)整控制因子對應的手-機械臂末端軌跡對比，可見在不同控制階段，機械臂末端運動軌跡滿足控制要求。機械臂能夠在手部位置變化下，接受指令達到目標運動位姿。實驗中，機械臂對手勢控制指令響應迅速，動作準確。

圖10為實驗中控制機械臂實時運動效果圖，圖10c、10d和圖10g、10h分別為機械臂的始末姿態(tài)，圖10a、10e和圖10b、10f為手勢位置變化及控制終點手部點云擬合平面，位置和姿勢在控制中能夠按照手部指令完成相應的響應。通過實驗結(jié)果可以發(fā)現(xiàn)，手勢對機械臂的控制能夠?qū)崿F(xiàn)位置和姿勢的雙重控制。

對以上手勢控制指令，機械臂相應地按順序做出響應。實驗發(fā)現(xiàn)，控制中由于濾波效果顯著，機械臂運動平穩(wěn)，運動準確且沒有誤動作及其他控制異常。手勢控制簡單易于操作，同時機械臂響應速度快。

5 結(jié)束語

基于Kinect動態(tài)手勢信息對6DOF機械臂末端位姿進行實時控制，采用卡爾曼濾波進行數(shù)據(jù)降噪處理，對手掌點云進行濾波及最小二乘處理，同時將數(shù)據(jù)信息進行運動學解算作為機械臂的控制指令。實驗中，機械臂能夠按照動態(tài)手勢信息實時做出運動響應，對于控制的不同階段，通過規(guī)劃不同的控制比例因子來提高控制效率。機械臂受控中運動平穩(wěn)、動作準確、實時性強。手勢控制指令簡單易于操作，操作員手勢操作機器人負擔輕、臨場感強。對于確定的機械臂末端控制要求能迅速完成，達到了位姿隨動控制的效果。

1 DING J, CHANG C W.An adaptive hidden Markov model-based gesture recognition approach using Kinect to simplify large-scale video data processing for humanoid robot imitation[J].Multimedia Tools and Applications, 2016，75(23):15537-15551.

2 QIAN K, NIU J, YANG H.Developing a gesture based remote human-robot interaction system using kinect[J].International Journal of Smart Home, 2013, 7(4)：203-208.

3 FUJII T, LEE J H, OKAMOTO S.Gesture recognition system for human-robot interaction and its application to robotic service task[C]∥Proceedings of the International Multi-Conference of Engineers and Computer Scientists (IMECS), 2014, 1:1-6.

4 張毅, 張爍, 羅元, 等.基于 Kinect 深度圖像信息的手勢軌跡識別及應用[J].計算機應用研究, 2012, 29(9): 3547-3550.

ZHANG Yi, ZHANG Shuo, LUO Yuan, et al.Gesture track recognition based on Kinect depth image information and its applications[J].Aplication Research of Computers, 2012, 29(9): 3547-3550.(in Chinese)

5 CANAL G, ESCALERA S, ANGULO C.A real-time human-robot interaction system based on gestures for assistive scenarios[J].Computer Vision and Image Understanding, 2016, 149: 65-77.

6 KAURA H K, HONRAO V, PATIL S, et al.Gesture controlled robot using image processing[J].International Journal of Advanced Research in Artificial Intelligence, 2013, 2(5): 65-77.

7 GANAPATHYRAJU S.Hand gesture recognition using convexity hull defects to control an industrial robot[C]∥2013 3rd International Conference on Instrumentation Control and Automation (ICA), 2013: 63-67.

8 HERNANDEZ-BELMONTE U H, AYALA-RAMIREZ V.Real-time hand posture recognition for Human-Robot interaction tasks[J].Sensors, 2016, 16(1):36.

9 CICIRELLI G, ATTOLICO C, GUARAGNELLA C, et al.A kinect-based gesture recognition approach for a natural human robot interface[J].International Journal of Advanced Robotic Systems, 2015, 12(3):12-22.

10 MA Biao, XU Wensheng, WANG Songlin.A robot control system based on gesture recognition using Kinect[J].Indonesian Journal of Electrical Engineering and Computer Science, 2013, 11(5): 2605-2611.

11 盧曉敏.基于混合傳感器的機器人人機交互技術(shù)研究[D].廣州：華南理工大學, 2014.

LU Xiaomin.The research of human-robot interaction technology based on hybrid sensors[D].Guangzhou: South China University of Technology, 2014.(in Chinese)

12 王松林.基于 Kinect 的手勢識別與機器人控制技術(shù)研究[D].北京：北京交通大學, 2014.

WANG Songlin.Research on Kinect-based gesture recognition and robot control technology[D].Beijing: Beijing Jiaotong University, 2014.(in Chinese)

13 談家譜.基于指尖信息的手勢識別與人機交互應用研究[D].北京：北京交通大學，2016.

TAN Jiapu.Research on fingertip-based gesture recognition and human-computer interaction applications[D].Beijing: Beijing Jiaotong University, 2016.(in Chinese)

14 郭小爽.人機交互中的動態(tài)手勢識別及應用研究[D].西安：西安電子科技大學, 2014.

GUO Xiaoshuang.Research on dynamic gesture recognition and its application in human-computer interaction[D].Xi’an: Xidian University, 2014.(in Chinese)

15 QIAN K, NIU J, YANG H.Developing a gesture based remote human-robot interaction system using kinect[J].International Journal of Smart Home, 2013, 7(4): 203-208.

16 MARIN G, DOMINIO F, ZANUTTIGH P.Hand gesture recognition with leap motion and kinect devices[C]∥2014 IEEE International Conference on Image Processing (ICIP), 2014: 1565-1569.

17 POZZATO G, MICHIELETTO S, MENEGATTI E, et al.Human-robot interaction with depth-based gesture recognition[C]∥Proceedings of IAS-13 Workshops, 2014.

18 阮曉鋼, 田重陽, 李望博.基于 Kinect 視覺功能的機器人控制方法[J].北京工業(yè)大學學報, 2016, 42(4): 487-491.

RUAN Xiaogang, TIAN Chongyang, LI Wangbo.Control method for robots based on the visual function of Kinect[J].Journal of Beijing University of Technology, 2016, 42(4): 487-491.(in Chinese)

19 權(quán)龍哲, 李成林, 馮正陽, 等.體感操控多臂棚室機器人作業(yè)決策規(guī)劃算法研究[J/OL].農(nóng)業(yè)機械學報, 2017,48(3):14-23.http:∥www.jcsam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170302&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2017.03.002.

QUAN Longzhe,LI Chenglin,FENG Zhengyang, et al.Algorithm of works’ decision for three arms robot in greenhouse based on control with motion sensing technology[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(3):14-23.(in Chinese)

20 LOUMPONIAS K, VRETOS N, DARAS P, et al.Using Kalman filter and tobit kalman filter in order to improve the motion recorded by kinect sensor II[C]∥Proceedings of the 29th Panhellenic Statistics Conference, 2016.

21 PARK S, YU S, KIM J, et al.3D hand tracking using Kalman filter in depth space[J].EURASIP Journal on Advances in Signal Processing, 2012: 36.

Real-timeMechanicalArmPositionandPoseControlSystembyDynamicHandGestureRecognitionBasedonKinectDevice

NI Tao ZHAO Yongjia ZHANG Hongyan LIU Xiangfu HUANG Lingtao

(CollegeofMechanicalScienceandEngineering,JilinUniversity,Changchun130022,China)

The research achieved to control the mechanical arm position and pose by using real-time dynamic gesture recognition based on Kinect device.The information of the position controlling was obtained by calculating the position changes of the four hand joint points.The noise of the joints was liable to lead mechanical arm misoperation and the vibration of motion during the control of the mechanical arm.Aiming to avoid the negative impact of the noise in real-time controlling, Kalman filter was adopted to track position and reduce noise.According to the hand point cloud information, the information of the posture controlling was obtained by means of using least squares fitting to get the plane of hand mind.The end of the position and pose of the mechanical arm was controlled by integrating the position and posture information, space coordinate mapping and the resolving of kinematics in real-time.The result of the experiment indicated that the gesture control was easy to operate and mechanical arm responded at high speed.The effect of filter was so remarkable that the motion of the mechanical arm was controlled accurately and smoothly, and no mechanical arm misoperation and others controlling anomaly.Gesture control system could meet the requirement of actually controlling.System could be applied to a variety of human-computer interaction.

gesture control; Kinect sensor; Kilman filter; mechanical arm position and pose control; human-computer interaction

10.6041/j.issn.1000-1298.2017.10.053

TP241; TP311.52

A

1000-1298(2017)10-0417-07

2017-01-05

2017-02-19

國家自然科學基金項目(51305153、51575219)

倪濤(1978—)，男，教授，博士生導師，主要從事機器人遙操作、虛擬現(xiàn)實和機器人技術(shù)研究，E-mail: nitao@jlu.edu.cn

張紅彥(1973—)，女，副教授，主要從事智能車輛研究，E-mail：zhanghy@jlu.edu.cn