基于深度圖像的人體運動姿態(tài)跟蹤和識別算法

楊 凱 魏本征 任曉強 王慶祥 劉懷輝

(1.山東中醫(yī)藥大學理工學院，濟南，250355； 2.齊魯工業(yè)大學信息技術(shù)學院，濟南，250353； 3.山東警察學院公共基礎(chǔ)教研部，濟南，250101)

?

基于深度圖像的人體運動姿態(tài)跟蹤和識別算法

楊 凱1魏本征1任曉強2王慶祥2劉懷輝3

(1.山東中醫(yī)藥大學理工學院，濟南，250355； 2.齊魯工業(yè)大學信息技術(shù)學院，濟南，250353； 3.山東警察學院公共基礎(chǔ)教研部，濟南，250101)

由于人體運動的復雜性，現(xiàn)有基于低質(zhì)量深度圖像的三維立體姿態(tài)跟蹤和識別方法的準確性較低、魯棒性較差。針對低質(zhì)量深度圖像的人體運動姿態(tài)和識別問題，本文設(shè)計了一種基于三步搜索算法的人體運動姿態(tài)的跟蹤和識別方法。該方法首先對獲取的深度信息進行分析，從而判定人體輪廓；然后通過基于深度圖像的骨骼跟蹤方法跟蹤特定骨骼點，并采用三步搜索算法進行運動估計，跟蹤獲取人體運動軌跡；最后利用獲取的骨骼點坐標實現(xiàn)人體運動姿態(tài)的識別。實驗結(jié)果表明，該算法克服光照影響的魯棒性較強，且能有效地提高人體運動姿態(tài)跟蹤與識別的準確性。

智能監(jiān)控；匹配與跟蹤；特征選擇

引 言

計算機三維立體視覺是被動式測距方法中最重要的距離感知技術(shù)之一，是一種模擬人類感知處理視覺目標的方式，可以在多種條件下靈活測量目標的立體信息，其相關(guān)技術(shù)模型在社會各領(lǐng)域發(fā)揮著重要的作用。近年來在人體運動姿態(tài)跟蹤與識別領(lǐng)域，隨著三維立體視覺技術(shù)的發(fā)展，一方面，人們更加關(guān)注如何準確、快速、清晰的獲取人體運動姿態(tài)；另一方面，伴隨新興三維立體視覺圖像采集技術(shù)的發(fā)展，如微軟Kinect等深度攝像機的出現(xiàn)，如何利用低質(zhì)深度圖像來實時解決人體運動姿態(tài)識別問題，逐漸成為當前機器視覺領(lǐng)域備受關(guān)注的研究熱點和難點。在機器視覺領(lǐng)域中，人體運動跟蹤與識別主要是處理和分析視頻序列圖像中感興趣的目標，包括人體運動姿態(tài)跟蹤估計和行為識別兩個方面。在跟蹤過程中，按照人體運動姿態(tài)跟蹤方法中是否引入人體輪廓模型作為分類依據(jù)，可將現(xiàn)有跟蹤方法分為兩類：基于運動特征或區(qū)域的非模型跟蹤算法[1-5]和基于人體運動輪廓的模型跟蹤算法[6-7]。在人體行為識別研究方面，按照視頻描述方式的不同，現(xiàn)有的識別方法可以分為兩類：基于整體視頻描述符法[8]和基于局部視頻描述符法[9-10]。

在基于特征或區(qū)域的非模型跟蹤算法研究方面，文獻[1]設(shè)計了一種基于統(tǒng)計混合顏色和模型的方法，該方法能有效獲取頭部和雙手的2D圖像，并采用3個特征點予以表示。文獻[2]設(shè)計了一個綜合利用多幀圖像結(jié)構(gòu)信息的過渡穩(wěn)定丟失(Wandering stable lost,WSL)跟蹤框架算法，使用最大期望(Expectation maximization,EM)算法實現(xiàn)參數(shù)的優(yōu)化，可有效實現(xiàn)臉部輪廓的自動跟蹤監(jiān)測?；趫D像信息的視覺特征和跟蹤目標的形狀輪廓，文獻[3]構(gòu)造了一個半?yún)?shù)化的跟蹤模型，除能有效實現(xiàn)人體運動姿態(tài)跟蹤，還可有效解決人體運動的遮擋問題，在2012年人體運動姿態(tài)跟蹤有了突破性的進展。文獻[4]提出了一種基于P-N學習的自動檢測框架的跟蹤方法，該方法在進行跟蹤的同時，可自動學習和檢測，即使目標離開觀察范圍，當其再次進入時仍能有效地實現(xiàn)跟蹤。文獻[5]提出一種改進的高斯混合概率假設(shè)密度濾波(Gaussian mixture cardinalized probability hypothesis density filter,GM-CPHD)方法，有效降低了算法的計算復雜度的同時，多目標跟蹤效果良好。但是，此類方法主要的缺點是前期需要大量的預處理，例如標定身上的跟蹤點、建立模型等，以及較高的設(shè)備要求、大量的時間和人力，不利于實時人體運動姿態(tài)的跟蹤。在基于模型跟蹤算法研究方面，文獻[6]利用隱形馬爾科夫模型構(gòu)造了一個從三維模型到二維陰影的映射，并基于映射估計建立了人體三維概率模型實現(xiàn)跟蹤。文獻[7]則設(shè)計了一種利用可穿戴式慣性傳感器跟蹤人體運動姿態(tài)的方法。這類方法的不足之處，主要是由于在跟蹤過程中需要標定人體的特殊點，會限制人體的運動行為，且操作較為復雜。在人體運動行為識別方面，文獻[8]利用整體視頻序列描述符提取時空特征，實現(xiàn)對人體運動的行為識別。文獻[9]提出了一種基于跟蹤特征軌跡的行為識別方法，而文獻[10]則根據(jù)視頻與時空特征相對應(yīng)的興趣點，在視頻中構(gòu)建特征來識別行為。隨著深度攝像機的發(fā)展，諸多研究者將深度信息作為行為識別的特征之一。文獻[11]基于骨骼點的LOP(Local occupancy pattern)特征，設(shè)計了一種人體運動行為識別的新模型。文獻[12]提出了一種基于骨骼點數(shù)據(jù)的模塊化融合特征提取方法，該方法首先分割收集到的骨骼點信息，得到不同的模塊分類，之后采用自下而上的特征提取方法訓練同類模塊，最后通過融合每一個模塊得到的分類特征與局部特征匹配，達到行為識別的目的。其算法準確率較高和計算復雜度較低，但其有兩個主要的缺點：(1)只能采用預先錄制好的視頻，無法實時監(jiān)控；(2)只利用了骨骼點信息，忽略了深度圖和目標外觀特征在某些條件下對提高識別準確性的影響。

當前，有效的對人體運動姿態(tài)進行跟蹤估計和行為識別促進了人機交互系統(tǒng)的實現(xiàn)。一個成功的人機交互系統(tǒng)需要滿足以下兩點[12]：高準確性和魯棒性。在提高系統(tǒng)對環(huán)境等外界干擾適應(yīng)能力的同時，克服人體行為識別的空間復雜性和時間復雜性，已成為本領(lǐng)域的研究重點[13]。在基于深度圖像的跟蹤算法方面，文獻[14]用單一的深度圖像預測人體骨骼點位置，將復雜的估計問題轉(zhuǎn)化為簡單的分類問題，在人體運動姿態(tài)跟蹤算法研究上取得了突破性進展。深度攝像技術(shù)有效地克服了上述人體運動空間信息采集復雜的問題，提高了采集圖像的質(zhì)量。其技術(shù)優(yōu)勢在于：(1)深度圖像具有空間顏色無關(guān)性，避免了光照、陰影等因素的影響；(2)利用圖像深度信息的模式識別，相當于一種單目三維空間模式識別，可有效地克服遮擋和重疊問題；(3)深度攝像機標定的魯棒性較好，在使用過程中自調(diào)節(jié)重新標定時不需要測量標定物，更易滿足周圍環(huán)境變化的需求。在利用Kinect三維立體視覺技術(shù)估計人體運動姿態(tài)的基礎(chǔ)上[15],為實現(xiàn)低質(zhì)深度圖像運動跟蹤算法的高速率識別，即實時識別，提高算法在光照影響下的魯棒性，本文設(shè)計了一種基于深度信息的人體運動跟蹤和行為識別算法。

1 深度圖像獲取及跟蹤估計算法設(shè)計

1.1 Kinect骨骼圖像的獲取

本文采用Kinect獲取深度圖像，其結(jié)構(gòu)中RGB鏡頭可采集分辨率為640×480像素點的彩色圖像，每秒最多獲取30幀圖像；紅外發(fā)射器和紅外CMOS攝像頭可采集分辨率為320×240像素點的深度圖像[16-17]。人體骨骼圖像的獲取可以分為以下3個步驟：

(1) Kinect左右兩側(cè)的傳感器分別負責發(fā)射和接收紅外線。首先Kinect通過左側(cè)紅外線發(fā)射器向環(huán)境中發(fā)射紅外線，其在空間中任意兩個不同位置所反射形成的光斑都不相同，對環(huán)境形成立體的“光編碼”；再通過右側(cè)的紅外線接收器來采集Kinect視野中的紅外線圖像；最終利用這幅紅外圖像和Kinect原始參數(shù)進行一系列復雜的計算，得到視野中的三維深度信息[18]，即深度數(shù)據(jù)。深度數(shù)據(jù)是骨骼跟蹤的基礎(chǔ)和前提。

(2) 將獲取的深度數(shù)據(jù)轉(zhuǎn)換成骨骼點圖像。首先，將人體深度圖從背景環(huán)境中剝離；其次，將人體分為32個部位，相鄰部位用不同色著色；最后，考慮到圖像中人體部位的重疊現(xiàn)象，分別從正面、側(cè)面、俯視角度去分析處理深度圖，根據(jù)每一個可能的像素來確定關(guān)節(jié)點。

(3) 根據(jù)“骨骼跟蹤”的20個關(guān)節(jié)點生成骨架系統(tǒng)，準確地評估人體實際所處位置[19]。

如文獻[17]所述，針對Kinect深度攝像頭采集的每一幀深度圖像，基本處理過程是先將人體深度圖像進行顏色分類并標定，再進行三維關(guān)節(jié)點的位置估計，最后將標定的顏色與三維關(guān)節(jié)點進行匹配。圖1為由目標圖像生成骨骼點圖像的過程示意圖。

圖1 由目標圖像生成骨骼點圖像的過程示意圖Fig．1 Schematic diagram of process from target image to skeletal point image

1.2 三步搜索算法

文獻[20]提出的三步搜索算法(Three-step search，TSS)最初被用于壓縮視頻搜索中。在三步搜索算法的設(shè)計方面，文獻[21]進一步改進該算法，用中心偏置檢查點模式代替原來的均勻分配檢查點模式，提高了搜索效率和精度；文獻[22]采用Moravec方法提取相關(guān)特征并用三步搜索算法對運動物體進行跟蹤；文獻[23]基于中心偏置和平行運動矢量提出了一種多步搜索策略。

三步搜索算法的基本原理是：在一幅待搜索的圖像中，從起始點按設(shè)定步長依次搜索周圍的8個像素點，并與誤差閾值進行匹配運算。三步搜索算法按照最小絕對值差模式進行塊匹配運算[24]，采用由粗到細的搜索模式，是一種近似全局搜索方法。其中，塊匹配法[25]是一種基于平移運動假設(shè)的運動估計算法，在相鄰幀尋找像素的最佳位置，計算運動矢量，塊匹配原理示意圖，如圖2所示[26]。

圖2 塊匹配原理示意圖Fig．2 Schematic diagram of block matching theory

在人體運動跟蹤過程中，為實時的對目標進行追蹤，搜索的速度和準確度均需要達到特定的要求。三步搜索算法能有效的對運動的目標進行運動估計，實現(xiàn)誤差補償，提高搜索性能。不同于已有的算法，本文將在骨骼圖像上進行運動估計，可降低周圍環(huán)境對檢測目標的影響，達到有效跟蹤估計的目的。三步搜索算法如圖3所示。

圖3 三步搜索基本原理示意圖Fig．3 Schematic diagram of three-step search algorithm

三步搜索算法計算步驟如下：

(1) 比較標記為1的9個參考點，上下左右距離為4個像素點，做塊匹配計算并比較；(2) 比較標記為2的9個參考點，上下左右距離為2個像素點，做塊匹配計算并比較；(3) 比較標記為3的9個參考點，上下左右距離為1個像素點，計算最小絕對值差，小于設(shè)定誤差閾值，則為最佳匹配模塊，否則返回(2)。

上述三步搜索算法采用的是塊匹配準則中的最小絕對值差(Mean absolute difference,MAD)方法

(1)

式中：B為M×N個宏塊，所謂宏塊是指塊匹配運算中目標圖像被分成的小區(qū)域塊；(dx,dy) 為目標運動矢量；fk為第k幀的灰度值。若在某一個點(xi,yi)處，MAD(dx,dy)達到最小，則該點即為要找的最優(yōu)匹配點。

1.3 行為識別算法設(shè)計

在人體運動姿態(tài)行為識別方面，本文算法主要針對猝倒行為設(shè)計。圖4為深度攝像機Kinect得到的骨骼點三維坐標信息圖。由圖4可知，當人體由站立的正常姿態(tài)變化為倒地的危險姿態(tài)的過程中，主要是骨骼點的Z坐標會發(fā)生變化，產(chǎn)生位移。針對此問題，需對特定的骨骼點P(xi,yi,zi)進行提取，其中(xi,yi,zi)代表骨骼點的三維坐標。之后，采用歐氏距離[27]進行計算位移量D，將其與根據(jù)經(jīng)驗得到的閾值作比較。如果D大于設(shè)定閾值，則判定為危險行為；否則，判斷行為正常，繼續(xù)跟蹤識別。

若(xi,yi,zi)和(xj,yj,zj)分別為待計算的兩個骨骼點的三維坐標數(shù)據(jù)，由于z坐標表示攝像頭到檢測目標的距離，在此暫不予以考慮。則位移量

(2)

圖4 人體三維骨骼點姿態(tài)示意圖Fig．4 3D skeletal point images of human body

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)采集

為驗證算法的有效性和魯棒性，在固定場景下，即周圍噪聲及人為干擾對實驗場景不產(chǎn)生明顯影響的條件下,實驗采用Kinect Xbox 360傳感器分別在光照良好和光照不足的條件下采集每秒30幀320×240像素的三維人體運動姿態(tài)圖像(運動序列圖像)。整個實驗共分為4組。

第1組 在光照條件良好的條件下，對差別較大的兩個動作進行運動估計，檢驗該方法在動作幅度明顯的情況下的運動估計效果。

第2組 在光照不足的條件下，對連續(xù)的兩幀動作進行運動估計，檢驗該方法在運動幅度不明顯的情況下的運動估計效果。

第3組 對光照不足條件下的RGB圖像以及骨骼點圖像進行三步搜索算法運動估計，檢驗該方法在不同光照影響下的魯棒性。

第4組 光照條件良好和不足的條件下進行10次猝倒實驗。在光照條件良好的條件下進行10次假猝倒實驗，并在相同時間內(nèi)，用正常行為作對比實驗之后，在1 min內(nèi)進行猝倒行為測試，計算識別率。對于同一個動作的RGB、深度和骨骼點運動圖像，利用軟件開發(fā)包(Software development kit,SDK)將采集好的骨骼點數(shù)據(jù)進行提取，并歸一化處理為256×256×8的BMP圖像。

2.2 實驗結(jié)果

圖5，6為不同光照條件下的運動姿態(tài)跟蹤圖像，RGB圖像受到光照條件影響較大，而深度圖像和骨骼點圖像則受光照條件影響較小。利用三步搜索算法進行運動估計的實驗結(jié)果如圖7，8所示。結(jié)果表明，三步搜索算法能有效地對采集的骨骼點跟蹤圖像進行運動估計，得到有效的矢量位移以及幀間差。由此可以得出人體的運動軌跡以及運動方向，進而判斷出人體行為。該方法能簡化三維人體姿態(tài)跟蹤的前期處理過程，有利于后期的算法設(shè)計與應(yīng)用創(chuàng)新。圖9為在不同光照條件下三步搜索算法的矢量圖。實驗結(jié)果表明光照條件對RGB圖像的運動估計產(chǎn)生了較大的影響，而本文的方法在環(huán)境變化這一因素上具有較好的魯棒性。

為進一步驗證算法的有效性，本文對三步搜索算法與全搜索算法對同一個運動行為的運動估計效率做了對比實驗。全搜索算法也是一種基于模塊匹配的估計算法，該算法精度較好，但算法復雜度較高，采用的是求和絕對誤差(Sum of absolute difference，SAD)。

(3)

圖5 光照良好條件下的兩幀圖像Fig．5 Two frames images under good light conditions

圖6 光照不足條件下的兩幀圖像Fig．6 Two frames images under poor light conditions

圖7 光照良好條件下的骨骼點運動估計實驗結(jié)果Fig．7 Experiment results of skeletal point motion estimation under good light conditions

圖8 光照不足條件下的骨骼點運動估計示意圖Fig．8 Experiment results of skeletal point motion estimation under poor light conditions

圖9 不同光照條件下RGB圖像的三步搜索算法的運動矢量圖Fig．9 RGB images motion vector results with three-step search algorithm under different light conditions

式中：B為M×N個宏塊；(dx,dy) 為運動矢量；fk為當前幀的灰度值。全搜索算法需要對目標區(qū)域所有的點計算求和絕對誤差值，從而得到最小的求和絕對誤差值，而運動矢量便是得到的位移偏量。

表1為兩種算法在不同光照條件下的平均計算時間統(tǒng)計表，其結(jié)果表明：在不同光照條件下，三步搜索算法的平均計算時間均優(yōu)于全搜索算法，這是因為全搜索算法對搜索范圍內(nèi)所有點計算最優(yōu)匹配點，而三步搜索算法是一種由粗到細的搜索模式，是搜索分割的宏塊來達到最優(yōu)匹配的目的；而同一種算法在兩種光照條件下的平均計算時間接近，則有效表明基于骨骼點的運動估計對光照影響的魯棒性較好。圖10為上述兩種算法對同一運動的運動估計矢量圖。

圖10 三步搜索算法和全搜索算法對同一運動的運動估計矢量圖Fig．10 Comparison between three-step search algorithm and full search algorithm on same motion estimation

實驗結(jié)果表明，在兩種光照情況下，三步搜索算法相對于全局搜索算法，運算速度較快，而光照限制對骨骼點運動估計沒有影響。兩種算法的運動估計矢量圖的矢量位移近似，且運動估計方向一致整齊。計算兩種算法在運動矢量圖的0°，45°，90°，135°上的灰度共生矩陣的逆差矩，其結(jié)果近似，表明兩種算法估計均勻性較好，效果都很好。

在本文中采用三步搜索算法，更有利于對人體運動姿態(tài)進行實時跟蹤，且其算法計算過程比全搜索算法的過程更簡單。

表1 三步搜索算法和全搜索算法的平均計算時間統(tǒng)計表

第4組實驗的人體行為識別準確率的檢測實驗結(jié)果，如表2所示。

表2 人體行為識別統(tǒng)計數(shù)據(jù)表

上述實驗的研究結(jié)果表明，利用Kinect采集的骨骼點數(shù)據(jù)，采用歐氏距離計算特定骨骼點的三維坐標識別運動行為，能有效地判斷人體運動姿態(tài)并快速識別運動行為，便于實時地跟蹤識別，能更好滿足低質(zhì)量視頻監(jiān)控的需求。

3 結(jié)束語

本文采用基于Kinect采集的深度數(shù)據(jù)的人體運動跟蹤和識別算法，利用三步搜索算法進行運動估計，結(jié)合存儲的數(shù)據(jù)，采用歐氏距離計算特定骨骼點的三維坐標進行行為識別，可以有效地解決光照等環(huán)境因素的影響。系統(tǒng)本身基于紅外深度信息，刻畫人體輪廓，進一步生成人體的20個骨骼點信息，并可以獲取骨骼點三維坐標數(shù)據(jù)以及相對位移矢量信息，相對于其他跟蹤算法，更加快速、直觀。本文設(shè)計的跟蹤和識別算法簡化了前期標定等一系列準備工作，算法性能良好、魯棒性較強，在基于低質(zhì)視頻監(jiān)控的應(yīng)用上具有良好的應(yīng)用前景，對同類研究工作具有一定的借鑒價值?；诒疚乃崴惴ǎ谖磥淼墓ぷ髦?，除可就提高獲取圖像的質(zhì)量、有效避免自遮擋現(xiàn)象對骨骼點坐標信息獲取的影響等問題做深入的研究之外，還可以將RGB圖像與深度圖像相結(jié)合，利用混合模型來避免光照、遮擋等干擾對單一模型的影響。

[1] Wren C R, Azarbayejani A, Darrell T, et al. Pfinder: Real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7): 780-785.

[2] Jepson A D, Fleet D J, El-Maraghi T F. Robust online appearance models for visual tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(10): 1296-1311.

[3] Yilmaz A, Li X, Shah M.Contour-based object tracking with occlusion handling in video acquired using mobile cameras[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(11): 1531-1536.

[4] Kalal Z, Mikolajczyk K, Matas J.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[5] 章濤,吳仁彪.自適應(yīng)門限 GM-CPHD 多目標跟蹤算法[J].數(shù)據(jù)采集與處理, 2014, 29(4): 549-554.

Zhang Tao,Wu Renbiao.Adaptive gating GM-CPHD filter for multitarget tracking[J].Journal of Data Acquisition and Processing,2014,29(4):549-554.

[6] Brand M.Shadow puppetry[C]∥ 7th IEEE International Conference on Computer Vision. Kerkyra, Greece: IEEE Computer Society Press, 1999: 1237-1244.

[7] Valtazanos A, Arvind D K, Ramamoorthy S.Using wearable inertial sensors for posture and position tracking in unconstrained environments through learned translation manifolds[C]∥ 12th International Conference on Information Processing in Sensor Networks. Beijing, China: ACM, 2013: 241-252.

[8] Gorelick L, Moshe B, Shechtman E, et al. Actions as space-time shapes [C]∥ 10th IEEE International Conference on Computer Vision. Beijing, China: IEEE Computer Society Press, 2005: 1395-1402.

[9] Pyry M, Martial H, Rahul S, et al.Trajectons: Action recognition through the motion analysis of tracked features [C]∥ 12th International Conference on Computer Vision Workshops (ICCV Workshops). Kyoto, Japan: IEEE Computer Society Press, 2009: 514-521.

[10]Laptev I, Lindeberg T. On space-time interest points[J]. International Journal of Computer Vision,2005,64(2/3): 107-123.

[11]Wang Jiang, Liu Zicheng, Wu Ying, et al. Mining actionlet ensemble for action recognition with depth cameras [C]∥ 25th IEEE Conference on Computer Vision and Pattern Recognition. Providence, Rhode Island: IEEE Computer Society Press, 2012: 1290-1297.

[12]Jiang Xinbo, Zhong Fan, Peng Qunsheng, et al. Robust action recognition based on a hierarchical model[C]∥ 12th International Conference on Cyberworlds. Yokohama, Japan: IEEE Computer Society Press, 2013: 191-198.

[13]李瑞峰,王亮亮,王珂.人體動作行為識別研究綜述[J].模式識別與人工智能,2014,27(1): 35-48.

Li Ruifeng,Wang Liangliang,Wang Ke.A review of the human behavior action recognition[J].Pattern Recognition and Artificial Intelligence,2014,27(1):35-48.

[14]Shotton J, Sharp T, Kipman A, et al. Real-time human pose recognition in parts from single depth images[J].Communications of The ACM,2013,56(1):116-124.

[15]Yang Kai, Wei Benzheng, Wang Qingxiang, et al. A 3-D depth information based human motion pose tracking algorithms[J].Sensors & Transducers Journal,2014,174(7):253-260.

[16]Zhang Zhenyou. Microsoft Kinect sensor and its effect[J].IEEE Transactions on Multimedia,2012,19(2):4-10.

[17]楊曉敏，張奇志，周亞麗.基于Kinect深度信息的人體運動跟蹤算法[J].北京信息科技大學學報：自然科學版，2013，28(1)：33-37.

Yang Xiaomin,Zhang Qizhi,Zhou Liya. Human motion tracing algorithm based on Kinect depth information[J].Journal of Beijing Information Science & Technology University,2013,28(1):33-37.

[18]吳國斌，李斌，閻驥洲.Kinect人體交互開發(fā)實踐[M].北京：人民郵電出版社，2013:12-13.

Wu Guobin,Li Bin,Yan Jizhou.Kinect human interaction development practices[M].Beijing: People Post Press,2013:12-13.

[19]余濤.Kinect應(yīng)用開發(fā)實戰(zhàn)：用最自然的方式與機器對話[M].北京：機械工業(yè)出版社,2013:2-65.

Yu Tao.Kinect application development combat: The most natural way to dialogue with machine[M].Beijing: China Machine Press, 2013:2-65

[20]Koga T, Iinuma K, Hirano A, et al. Motion-compensated interframe coding for video conferencing[C]∥1981 National Telecommunications Conference. New Orleans,USA: IEEE Computer Society Press, 1981: 5-3.

[21]Li R X, Zeng B, Liou M L. A new three-step search algorithm for block motion estimation [J].IEEE Transactions on Circuits and Systems for Video Technology,1994, 4(4): 438-442.

[22]張鵬,盧廣山,王合龍,等.基于三步搜索法的特征相關(guān)目標跟蹤算法[J].電光與控制, 2004, 11(4): 38-40.

Zhang Peng,Lu Guangshan,Wang Helong, et al.Relevant target tracking algorithm based on the characteristics of the three-step search method[J].Electronics Optics and Control, 2004,11(4):38-40.

[23]Sun Ningning, Chao Fan, Xia Xu. An effective three-step search algorithm for motion estimation[C]∥ 2nd International Symposium on IT in Medicine & Education. Jinan, China: IEEE Computer Society Press, 2009: 400-403.

[24]杜娟.人群的密度估計與運動估計 [D].大連：大連理工大學,2006.

Du Juan.Crwod's densiy and motion estimation[D].Dalian:Dalian University of Technology, 2006.

[25]向友君.視頻壓縮編碼運動估計算法研究 [D]. 西安：西安電子科技大學, 2003.

Xiang Youjun.A researching on motion estimation of video compression coding[D].Xi′an: Xidian University ,2003.

[26]湯子成.運動估計算法優(yōu)化技術(shù)研究與應(yīng)用[D]. 廣州：中山大學，2007.

Tang Zicheng. Research and application on improvement technology of motion estimation algorithm[D].Guangzhou: Sun Yat-Den University,2007.

[27]謝亮,廖宏建,楊玉寶.基于 Kinect 的姿勢識別與應(yīng)用研究[J].計算機技術(shù)與發(fā)展,2013,23(5): 258-260.

Xie Liang,Liao Hongjian,Yang Yubao.Recognition and application research of Kinect-based gesture[J].Computer Technology and Development,2013,23(5): 258-260.

Depth Image Based Human Motion Tracking and Recognition Algorithm

Yang Kai1, Wei Benzheng1, Ren Xiaoqiang2, Wang Qingxiang2, Liu Huaihui3

(1. College of Science and Technology, Shandong University of Traditional Chinese Medicine, Jinan， 250355， China； 2. School of Information, QiLu University College of Technology, Jinan， 250355， China; 3. Department of Basic Courses, Shandong Police College, Jinan， 250101， China)

In the three-dimensional vision system, recognizing and tracking human motion gesture is the crucial step to identify human motion in machine vision field. Due to the complexity of human motion, the existing methods, based on the low quality depth images, cannot provide a high accuracy and a good robust for 3D gesture tracking and recognition. Adressing the low quality depth images of the human gesture tracking and recognition, a method is presented based on three-step search algorithm. Firstly, the obtained depth images are analyzed to achieve the human body contour. Then, the settled special skeleton points are tracked based on the depth images, and the three-step search algorithm is utilized to access the motion estimation and get the track motion of the human gesture. Finally, the motion recognition is achieved by using the obtained skeleton point coordinates. Experimental results show that the proposed method is robust to overcome the impact of the illumination, and it also provides improved accurate results of human motion tracking and gesture recognition.

intelligent monitoring; matching and tracking; feature selection

NSFC-廣東聯(lián)合基金重點支持(U1201258)資助項目；山東省自然科學基金(ZR2011FQ033)資助項目；濟南市高校院所自主創(chuàng)新計劃(201202012，201303004)資助項目；濟南市青年科技明星計劃(20110302，201406004)資助項目。

2014-11-24；

2014-12-29

TP18

A

楊凱(1990-)，男，碩士研究生，研究方向：圖像處理和機器學習，E-mail:453783508@qq.com。

王慶祥(1978-)，男，講師，研究方向：計算機視覺。

魏本征(1976-)，男，副教授，研究方向：醫(yī)學圖像處理、模式識別和醫(yī)學信息工程。

劉懷輝(1964-)，男，副教授，研究方向：計算機可視化和數(shù)學建模。

任曉強(1977-)，男，副教授，研究方向：數(shù)據(jù)挖掘。