基于深度信息的人體姿態(tài)識別研究綜述

田 元，李方迪

華中師范大學(xué) 教育信息技術(shù)學(xué)院，武漢430079

1 引言

隨著人工智能技術(shù)飛速發(fā)展以及許多新興智能科技在人們?nèi)粘Ｉ钪写罅科占?，在人工智能領(lǐng)域，計算機視覺和人機交互技術(shù)具有重要的地位，人體姿態(tài)識別在人機交互領(lǐng)域具有重要作用，并且在道路行為監(jiān)控、人體運動分析、醫(yī)療康復(fù)訓(xùn)練、舞蹈教育培訓(xùn)等方面都有重要應(yīng)用前景。根據(jù)輸入圖像的類型，姿態(tài)識別又分為基于RGB圖像和基于深度圖像的方法。彩色圖像在復(fù)雜環(huán)境和光照變化下魯棒性較差，而用于采集深度圖像信息的設(shè)備，如Microsoft推出的Kinect設(shè)備和ASUS公司的Xtion，性價比高，可以捕捉彩色和深度信息，能夠在光線不好的條件下工作，并且可以提供骨骼信息，簡化人體檢測任務(wù)[1]。Li等人[2]綜合利用了Kinect提供的深度數(shù)據(jù)、骨架數(shù)據(jù)，通過人體測量學(xué)知識和反向傳播神經(jīng)網(wǎng)絡(luò)，有效提高了姿態(tài)識別的實時性和魯棒性。朱大勇等人[3]則利用Kinect攝像機采集人體的骨骼信息以及關(guān)節(jié)點對應(yīng)的3D數(shù)據(jù)來進行動作識別。Reddy等人[4]同樣是采用Kinect設(shè)備獲取深度信息，設(shè)計了專門針對坐姿和站姿的人體姿態(tài)識別系統(tǒng)。因此，基于深度信息的人體姿態(tài)識別技術(shù)已成為目前的熱門研究課題。

如圖1所示，基于深度信息的人體姿態(tài)識別的主要步驟分為三部分：首先對深度信息傳感設(shè)備采集到的圖像數(shù)據(jù)進行預(yù)處理，然后提取出相應(yīng)的人體姿態(tài)圖像特征，最后采用合適的分類算法進行姿態(tài)分類識別?；谏疃刃畔⒌娜梭w姿態(tài)識別技術(shù)應(yīng)用領(lǐng)域十分廣泛[5]。例如在游戲領(lǐng)域，通過體感技術(shù)來獲取玩家的姿態(tài)動作進行人機交互操作，能夠使游戲玩家擺脫傳統(tǒng)游戲交互設(shè)備的約束，從而大大提升玩家的游戲體驗。在醫(yī)療領(lǐng)域，通過深度信息進行自然肢體運動檢測，可以使醫(yī)護工作人員的工作量得到有效減少，并且患者康復(fù)訓(xùn)練的效果也得到了有效提高。在教育領(lǐng)域，通過把基于深度信息的人機交互技術(shù)融合進課堂教學(xué)中，為師生提供了更為自然的人機交互方式。

圖1 基于深度信息的人體姿態(tài)識別流程圖

本文對近幾年基于深度信息的人體姿態(tài)識別研究相關(guān)文獻進行了歸納梳理，從深度圖像預(yù)處理、特征提取和人體姿態(tài)識別算法三方面進行了研究概述，重點闡述了不同算法在人體姿態(tài)識別過程中的主要應(yīng)用和改進思路。首先，介紹了在深度圖像預(yù)處理中的空洞填充和圖像平滑的研究進展和解決方法；然后，介紹了特征提取的方法以及圖像特征的幾大類型；接下來，介紹了卷積神經(jīng)網(wǎng)絡(luò)、支持向量機、隨機森林等算法在人體姿態(tài)識別中的應(yīng)用發(fā)展；最后，總結(jié)歸納出目前的主流研究方法，根據(jù)存在的不足，為未來研究方向提供思路。

2 深度圖像預(yù)處理

使用RGB-D獲取的深度圖像信息可以很好地反映目標(biāo)的三維信息，但是由于測量時受到一些外在不確定因素的影響，在一定程度上會導(dǎo)致采集到的深度信息不穩(wěn)定，因此深度圖像的修復(fù)在進行人體姿態(tài)識別過程中占有重要地位。為了使數(shù)據(jù)更加精確，在進行圖像特征提取之前，需要對原始的深度圖像數(shù)據(jù)進行空洞修復(fù)、圖像平滑等預(yù)處理操作。

2.1 空洞修復(fù)

由于受物體表面的材質(zhì)、相互遮擋以及陰影輪廓等諸多因素的影響而造成數(shù)據(jù)缺失或者匹配失敗，從而導(dǎo)致了深度圖中部分區(qū)域的深度測量值為0的情況，也稱為黑洞噪聲。關(guān)于深度圖像的空洞修復(fù)問題，最簡單的處理辦法就是利用空洞區(qū)域邊緣的有效像素點來對空洞部分進行填充。

針對Microsoft公司的Kinect傳感器所獲取的深度圖像，Yang等人[6]提出了一種基于8通道的空洞填充方法。該算法首先將具有8個連通度的空洞聚類，通過分析相鄰像素的深度分布，為每個聚類分配一個深度值。該方法在深度顏色信息不相關(guān)的情況下，通過賦予適當(dāng)?shù)纳疃戎?，有效地進行了空洞修復(fù)。該算法使整個連通域中的像素成為一個整體，并沒有考慮每個像素的差異，因而具有一定的局限性。

不同于Yang等人只采用深度信息進行空洞填充的方法，趙旭[7]結(jié)合了彩色圖像信息，提出了一個能進行自適應(yīng)處理的迭代聯(lián)合三邊濾波器。即在單幀的情況下，把彩色圖像的邊緣和深度圖像的邊緣沒有對齊的深度像素點坐標(biāo)都重置為0，通過該濾波器進行黑洞填充。但是在深度圖中如果存在范圍較大的空洞，該算法修復(fù)的效果并不理想。

對于空洞較大的情況，王福偉等人[8]通過與彩色圖像信息結(jié)合來引導(dǎo)填充深度圖像存在的空洞。首先對深度圖中空洞點的具體位置坐標(biāo)進行定位，然后根據(jù)彩色圖像的顏色特性具有相似性，來判斷空洞點的位置是在前景還是在背景，有效地進行了像素級別的填充。不過該算法對環(huán)境背景有一定要求，如果是在復(fù)雜背景或者較暗的環(huán)境中，算法的處理效果不太理想，導(dǎo)致修復(fù)的深度數(shù)據(jù)可能具有較大的誤差。

鄭歡[9]對于空洞產(chǎn)生原因進行了詳細(xì)了解，并提出了一種基于區(qū)域大小的黑洞填充方法。首先對深度圖像的黑洞進行連通域分析，對由被投射物體表面材質(zhì)的吸收、折射和反射所產(chǎn)生的黑洞，利用黑洞周圍的鄰域中值信息來進行填充；對由遮擋產(chǎn)生的黑洞，利用基于區(qū)域大小的黑洞填充方法進行修復(fù)，其中利用鄰域信息對較小的黑洞區(qū)域進行修復(fù)。

依據(jù)空洞區(qū)域大小來進行空洞填充的思路，胡天佑[10]根據(jù)分割區(qū)域里的空洞大小將區(qū)域分為沒有空洞的區(qū)域、空洞較小的區(qū)域、空洞較大的區(qū)域和全部都是空洞的區(qū)域。針對不同的區(qū)域分別采用合適的空洞修復(fù)策略，空洞較大的區(qū)域使用中值填補算法，空洞較小的區(qū)域采用快速行進算法進行填補，對于出現(xiàn)的大面積空洞，則通過非局部均值處理，利用鄰近相似區(qū)域?qū)斩催M行填充。

與之前的空洞填充方法不同，錢銳[11]則把RGB-D攝像機同步采集到的彩色圖像利用C-means聚類算法進行區(qū)域分割，從而使物體的結(jié)構(gòu)信息在目標(biāo)場景中更加明顯，通過鄰域內(nèi)的同類像素來不斷對邊緣空洞點進行填充，使有效像素值不斷向空洞內(nèi)部擴散，最后完成全部空洞區(qū)域的修復(fù)。

目前的空洞填充方法大多數(shù)都是基于空間相關(guān)性的思想，也就是利用深度圖周圍像素的深度值來估計空洞部分的深度信息，從而達(dá)到空洞修復(fù)的目的。然而空洞區(qū)域由于大小和背景環(huán)境存在差別，同一算法對不同的空洞區(qū)域修復(fù)效果也存在區(qū)別，同時對于處理大量深度圖像信息的情況，空洞填充算法的性能也至關(guān)重要，耗時太長也會對后續(xù)識別效率有所影響。因此，空洞填充方法的普遍性和魯棒性有待進一步提高。

2.2 圖像平滑

深度攝像機獲取深度圖像時會存在一些常見的噪聲，例如椒鹽噪聲、高斯噪聲等，通過抑制噪聲對圖像的影響使圖像亮度得到改善的方法就是圖像平滑。圖像平滑常用的方法就是對其進行濾波操作，圖像處理領(lǐng)域常用的濾波有中值濾波、高斯濾波、雙邊濾波等。中值濾波（Median Filter，MF）處理椒鹽噪聲的效果比較好，但是對深度圖像中高斯噪聲濾波效果不好；高斯濾波（Gaussian Filter，GF）雖然能夠有效地平滑深度圖像，但會丟失深度圖像的邊緣信息；雙邊濾波（Bilateral Filter，BF）可以在濾波的同時保留原始圖像的一些邊緣信息，但是往往會帶來偽邊緣效應(yīng)，同時不能夠有效地去除外點，并且計算量相對較大。

針對雙邊濾波存在的權(quán)值不穩(wěn)定性問題，聯(lián)合雙邊濾波（Joint Bilateral Filter，JBF）在雙邊濾波器的思想上進行了拓展，將指導(dǎo)圖像替換為另一個特征比原圖像清晰的圖像，用來獲取圖像像素值之間的權(quán)重系數(shù)。Feng等人[12]將空域距離原則和彩色圖相似原則進行了結(jié)合，提出了一種能夠自適應(yīng)噪聲平滑的聯(lián)合雙邊濾波。

為了改善聯(lián)合雙邊濾波在原始場景中深度信息的精確度，余亞玲等人[13]提出一種新的預(yù)處理算法。通過構(gòu)建深度圖的測量和采樣模型，從而得到深度圖的蒙特卡羅不確定度評價模型，然后利用計算的深度值估計區(qū)間來判定和濾除深度圖像中的噪聲點和非噪聲點，從而達(dá)到修復(fù)噪聲點的作用。

深度相機和彩色相機之間的立體匹配誤差使得其成像結(jié)果之間存在一些偏差，這就使得深度圖像的物體邊緣信息和彩色圖像中的物體邊緣信息并不相同。因此Jung[14]使用了自適應(yīng)的聯(lián)合三邊濾波器來對深度圖像和彩色圖像進行增強，并且提出了一種基于二值模式的塊匹配方法，對深度圖像和彩色圖像進行塊匹配，然后根據(jù)塊之間的相似度，依次對彩色圖像和深度圖像進行聯(lián)合三邊濾波。

不同于以上算法，基于全局的圖像增強方法通?？梢员Ａ舾嗾w結(jié)構(gòu)信息。Diebel等人[15]最先提出了一種基于馬爾可夫隨機場的深度升采樣方法。Park等人[16]通過改進原始馬爾可夫隨機場模型中的平滑約束項，并使用彩色圖像的分割信息以及彩色圖像的梯度信息作為新的約束項，解決了之前方法處理結(jié)果中的深度圖像邊緣過平滑的問題。Kim與Yoon[17]使用雙向圖像梯度作為權(quán)重項對馬爾可夫隨機場模型的平滑項進行修改，消除了深度圖像中由物體邊界區(qū)域的噪聲造成的影響。

圖像平滑是深度圖像預(yù)處理的關(guān)鍵環(huán)節(jié)，針對深度圖像存在不同的噪聲類型，采取合適的濾波器進行圖像平滑處理具有重要的意義。不過圖像平滑處理也應(yīng)適度保留特征信息，不能過度平滑，否則會對最后的圖像識別結(jié)果造成一定的影響。

3 特征提取

從圖像序列中將描述人體姿勢的有效特征提取出來是保證準(zhǔn)確識別動作的重要前提[18]，不同特征的效果會與目標(biāo)跟環(huán)境的特性具有很大的關(guān)聯(lián)。同一特征對于不同類別動作的描述能力會有些差異，不同特征對于同一類別動作的描述能力也參差不齊，特征描述根據(jù)不同特點可以分類為全局特征描述和局部特征描述[19]，因此如何根據(jù)已有的數(shù)據(jù)信息和識別目標(biāo)來選擇合適的特征描述符是人體姿勢識別的關(guān)鍵。

3.1 基于全局的特征描述

全局特征描述就是采用一種自上而下的描述方式，把識別目標(biāo)當(dāng)作一個整體[19]。全局特征涵蓋了全面的人體信息，由于容易受到識別目標(biāo)定位的準(zhǔn)確性以及背景剔除等圖像預(yù)處理的影響，全局特征描述也具有一定的局限性，例如對噪聲、遮擋以及攝像機視角變化等因素十分敏感。

輪廓和形狀特征是兩種比較常見的全局特征描述。Bobick等人[20]以兩種方式把監(jiān)測視頻里運動目標(biāo)的輪廓變化信息聚合成二維圖像，采用運動歷史圖（Motion History Image，MHI）來反映不同姿勢在運動過程中存在的先后順序。Ni等人[21]在MHI的基礎(chǔ)上提出了三維運動歷史圖（3D-MHI），也就是在原來運動歷史圖的基礎(chǔ)上增加了兩個附加的通道，分別是前進的運動歷史圖和后退的運動歷史圖。Liang等人[22]把運動歷史圖擴展到三維圖像，并提出了三維運動軌跡模型（3D Motion Trail Model，3DMTM）。

除此之外，也可以采用光流軌跡來代替形狀信息，光流特征能夠利用圖像序列中像素在時間維度上的變化和相鄰圖像幀之間的相關(guān)性來描述目標(biāo)的運動特征，且不依賴于環(huán)境背景的減除。也就是說，光流特征表示的是時變圖像中識別目標(biāo)的運動速度，但是光流特征會受到動態(tài)環(huán)境背景的噪聲影響[19]。

3.2 基于局部的特征描述

局部特征描述是一種由下到上的描述方式，就是只提取運動目標(biāo)中有用的部位，將觀察目標(biāo)視為一個局部描述子或者局部圖像塊的集合[19]。與全局特征對比，局部特征不會隨著環(huán)境背景噪聲、物體遮擋或者人體運動的變化而改變，對尺度、平移和旋轉(zhuǎn)等動作也具有較好的穩(wěn)定性。局部特征的提取一般分為局部特征區(qū)域的檢測和對局部特征區(qū)域描述兩部分。

3.2.1 時空興趣點

局部特征區(qū)域檢測中比較常用的方法就是檢測局部的時空興趣點。時空興趣點一般是由運動突變引起的，在運動幅度較大的地方含有豐富的信息。3DHarris、Dollar、Hessian3D是三種比較常見的時空興趣點檢測器。

其中3Dharris是Laptev[23]提出的，它是為了檢測在局部的時空維度里運動目標(biāo)同時產(chǎn)生較大變化的點，將二維Harris角點檢測擴展到了時空域。為了改善3DHarris檢測到的穩(wěn)定興趣點特征分辨力較低、不利于識別的問題，Dollar等人[24]通過將輸入的視頻序列進行高斯平滑和一維Gabor濾波，從而提出了一種新的檢測算法。Shotton等人[25]保留了Harris檢測子尺度不變的優(yōu)點，把二維的Hessian算法擴展到三維圖像當(dāng)中，提出的Hessian3D檢測算法也可以和Dollar檢測子一樣獲得稠密的興趣點。

3.2.2 局部描述子

梯度分布的描述子是局部特征區(qū)域描述中最常用的方法，它的基本思想是不用知道梯度或者邊緣精確的位置信息，而是通過局部強度梯度的分布或者目標(biāo)邊緣方向來對局部目標(biāo)的外觀和形狀進行特征描述。

Lowe[26]首先提出了尺度不變特征變換（Scale-Invariant Feature Transform，SIFT），利用階梯式的濾波方法來確定不同空間中尺度變化都比較突出的關(guān)鍵信息點。Scovanner等人[27]在SIFT的基礎(chǔ)上提出了能夠很好地描述三維數(shù)據(jù)的時空信息，并且具有良好性能的3DSIFT描述子。

為了實現(xiàn)人體檢測，Dalal等人[28]提出了基于統(tǒng)計圖像密集局部單元格中梯度方向的直方圖特征（Histogram of Oriented Gradient，HOG）。HOG特征能夠?qū)\動目標(biāo)的局部形狀信息進行很好的描述，魯棒性較好。Kl?ser等人[29]在HOG的基礎(chǔ)上提出了計算三維梯度并且對時間與空間方向上的梯度進行量化的HOG3D描述子，HOG3D能夠很好地描述運動特征信息。

針對SIFT和HOG只能描述局部圖像的零階統(tǒng)計量這一問題，Li等人[30]提出了一種利用多變量高斯函數(shù)將每個像素點與其鄰域相關(guān)聯(lián)來表示局部圖像一階和二階統(tǒng)計量的L2EMG（Local Log-Euclidean Multivariate Gaussian）描述子。L2EMG既可以表示局部圖像的低階統(tǒng)計量，也可以表示局部圖像的高階統(tǒng)計量。Shi等人[31]根據(jù)L2EMG描述子可以表征圖像的高階統(tǒng)計量的優(yōu)點進行特征提取，并且使用寬度學(xué)習(xí)算法進行學(xué)生學(xué)習(xí)姿態(tài)識別，取得了很好的效果。

Ojala等人[32]提出了一種可以描述圖像的局部空間結(jié)構(gòu)的局部二值模式（Local Binary Patterns，LBP）。LBP描述子在紋理特征的分類中有很好的區(qū)分能力，運算簡單，計算效率高，并且不受旋轉(zhuǎn)和灰度的變化影響。為了在每個關(guān)節(jié)節(jié)點附近的局部區(qū)域提取深度外觀信息，Wang等人[33]提出了能夠提取交互物體的尺寸、形狀等信息的局部占有模型（Local Occupancy Patterns，LOP）。LOP是針對每幀圖片中每個骨骼關(guān)節(jié)節(jié)點周圍的局部三維空間進行特征提取工作。

4 姿態(tài)分類識別算法

分類器是姿態(tài)識別過程中最后也是最關(guān)鍵的一步，根據(jù)表征人體動作的特征向量進行訓(xùn)練，從而給每一個被測對象進行不同類別的標(biāo)記。根據(jù)選取的特征描述來選擇合適的姿態(tài)識別算法具有重要意義。在姿態(tài)分類識別中，主流的分類算法有動態(tài)時間規(guī)劃、隱馬爾可夫模型、支持向量機以及卷積神經(jīng)網(wǎng)絡(luò)等方法。

4.1 動態(tài)時間規(guī)劃法

動態(tài)時間規(guī)劃（Dynamic Time Warping，DTW）最早應(yīng)用于語音識別中，主要用于孤立詞的識別，在姿態(tài)識別中可以解決不同目標(biāo)完成動作的時間長度不一的問題。DTW屬于模板匹配算法，通過給定距離矩陣，找到一條從左上角到右下角的路徑，以便路徑傳遞的元素值之和最小。

針對DTW算法在每次運行時都要規(guī)劃路徑，存在巨大的計算量和占用大量空間等問題，何劍彬等人[34]對DTW算法進行了改進，提出了一種新的全局路徑窗口，減少運算量且不降低正確率，但對于肢體遮擋問題具有局限性。針對動態(tài)時間規(guī)整在動作識別中存在時間結(jié)構(gòu)突變、光照變化敏感等不足，方云錄等人[35]提出了一種改進的動作識別算法。該算法利用DTW對圖像序列抽樣形成的隨機時間規(guī)整反復(fù)進行隨機抽樣，提取序列數(shù)據(jù)的時間彈性TE特征，然后采用主成分分析（Principal Component Analysis，PCA）降維生成序列子空間，最后利用線性判別分析完成姿勢識別，不過對于運動姿態(tài)識別率不高。針對DTW算法在人體動作識別中的時效性問題，桑海峰等人[36]提出了一種快速動態(tài)時間彎曲距離算法，有效地解決了動作序列在時間軸上扭曲問題，并為了加快識別速度提出了下界函數(shù)和提前終止技術(shù)。但由于動作庫局限性，該算法只能識別自定義動作，在人機交互中存在一定局限性。

4.2 生成模型

隱馬爾可夫模型（Hidden Markov Model，HMM）是一種關(guān)于時序的概率模型，有兩個獨立的假設(shè)：一個是隨機過程假設(shè)，即每個隱含狀態(tài)序列發(fā)生與否只與前一個狀態(tài)有關(guān)聯(lián)；另一個是觀察狀態(tài)獨立假設(shè)，即觀察狀態(tài)的序列之間相互獨立，每個觀察狀態(tài)只與當(dāng)前對應(yīng)的隱含狀態(tài)有關(guān)系，與其他隱含狀態(tài)無關(guān)。針對傳統(tǒng)的基于混合高斯的隱馬爾可夫模型（GMM-HMM）的動作識別，楊世強等人[37]提出了基于深度置信網(wǎng)絡(luò)的隱馬爾可夫模型（DBN-HMM），由訓(xùn)練好的深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）模型結(jié)合GMM-HMM模型獲得的狀態(tài)轉(zhuǎn)移概率矩陣求出更準(zhǔn)確的觀察概率，從而對動作序列進行識別，不過該方法對于不同動作魯棒性較差。

在假設(shè)選取的特征之間存在強獨立關(guān)系的情況下，樸素貝葉斯分類器（Naive Bayesian Classifier，NBC）是一種基于貝葉斯定理的簡單概率分類器。對于給出的待分類項，求解在此項出現(xiàn)的條件下各個類別出現(xiàn)的概率，哪個最大，就認(rèn)為此待分類項屬于哪個類別。陳平平等人[38]對傳統(tǒng)樸素貝葉斯算法進行了改進，通過數(shù)據(jù)分析方法對康復(fù)訓(xùn)練動作進行分析，從而針對不同人群進行閾值計算，處理掉在閾值誤差范圍外的動作關(guān)節(jié)點信息，由此提高人體姿態(tài)的識別率，但是識別對象局限于中風(fēng)患者，缺乏普遍性。

4.3 判別模型

與生成模型相比，判別模型不僅需要的樣本數(shù)量較少，且準(zhǔn)確率也較高，大大節(jié)約了計算資源。由于不需要求解不同類別的條件概率，簡化了學(xué)習(xí)問題，但是當(dāng)樣本數(shù)量較多時，收斂速度沒有生成模型快。

4.3.1 傳統(tǒng)分類器

隨機森林（Random Forest）是由一組相互獨立的決策樹所組成的組合分類器，預(yù)測結(jié)果是由每棵決策樹對預(yù)測值進行投票而決定的。隨機森林學(xué)習(xí)框架主要包括四部分：隨機選擇樣本，隨機選擇特征，構(gòu)建決策樹，根據(jù)決策樹的投票情況進行分類。在原有基礎(chǔ)上，許多學(xué)者進行了創(chuàng)新改進，例如蔡軼珩等人[39]提出了一種多級隨機森林整合算法，其算法流程首先是采用排列組合思想對各分類結(jié)果進行兩兩求與運算，同時保留相同的分類點，去掉不同的分類點；然后考慮不同分類結(jié)果之間的差異性，針對第一階段的整合結(jié)果依次進行求或運算，最終可以得到更加準(zhǔn)確的動作識別結(jié)果。該方法魯棒性好，但是對于遮擋情況的處理效果不好，實時性有待證明。

支持向量機（Support Vector Machine，SVM）是機器學(xué)習(xí)領(lǐng)域最常用的一種分類方法，它的目標(biāo)是找到一個最大限度分離兩個類別的二分類超平面。因其在圖像分類方面具有良好的性能，支持向量機也是常用的姿態(tài)識別分類器。使用SVM進行姿態(tài)識別的文獻很多，例如Manzi等人[1]利用X-means算法提取關(guān)鍵位姿特征，經(jīng)過自組織特征映射網(wǎng)絡(luò)優(yōu)化訓(xùn)練后采用多類SVM進行分類識別。該方法識別準(zhǔn)確率高，但是不能識別數(shù)據(jù)集以外的未知動作。

4.3.2 卷積神經(jīng)網(wǎng)絡(luò)

由于隨機森林和支持向量機等傳統(tǒng)分類算法對輸入的深度圖像有一定要求，無法對原始的圖像進行處理運算，因此卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）具有很明顯的優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋型神經(jīng)網(wǎng)絡(luò)，由于該網(wǎng)絡(luò)避免了對圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而在姿態(tài)識別領(lǐng)域也獲得到了廣泛應(yīng)用。Mohamed等人[40]利用RGB-D相機提供的不同類型的視覺數(shù)據(jù)，分別采用SVM和CNN兩種方法進行了對比。SVM使用的是RGB-D相機提供的3D基礎(chǔ)骨骼特征，CNN使用的是2D深度圖像。最后在FLIC數(shù)據(jù)集和LSP數(shù)據(jù)集上的實驗結(jié)果表明，這兩種方法具有相當(dāng)?shù)男阅芎洼^高的精度，在深度圖像上應(yīng)用時，基于CNN的方法略勝一籌。

針對提取圖像特征時不同圖像區(qū)域和提取出的不同抽象特征被平等對待的問題，趙勇等人[41]在CNN基礎(chǔ)上，根據(jù)圖像的全局特征和局部特征來計算關(guān)節(jié)的最終定位概率，從而進行動作識別。實驗結(jié)果表明，此算法收斂速度更快，在FLIC數(shù)據(jù)集和LSP數(shù)據(jù)集上測試的平均估計準(zhǔn)確度也有所提升，但是此算法在人體各關(guān)節(jié)位置變化較快的情況下識別率并不高，具有一定的局限性。在趙勇研究的基礎(chǔ)上，韓貴金[42]提出了一種基于改進CNN和加權(quán)SVDD（Support Vector Data Description）算法的關(guān)節(jié)外觀模型，并將其用于人體姿態(tài)估計。該算法對各個部位的估計準(zhǔn)確度都具有一定的提升，但是當(dāng)人體關(guān)節(jié)存在遮擋時，識別率不高。

Eleni等人[43]將卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）相結(jié)合用于手勢識別，取得了不錯的效果。與之類似，張儒鵬等人[44]將Inception卷積神經(jīng)網(wǎng)絡(luò)進行了優(yōu)化，設(shè)計了用多個小卷積核替換一個大卷積核的O-Inception結(jié)構(gòu)，并且與LSTM進行了結(jié)合，提出了一種基于OI-LSTM神經(jīng)網(wǎng)絡(luò)的姿態(tài)識別模型。該模型在WISDM數(shù)據(jù)集和UCI數(shù)據(jù)集上都具有較高的識別率和魯棒性，但是由于測試數(shù)據(jù)集的差異性，該模型性能的普遍性有待進一步研究。

4.4 主流算法優(yōu)缺點分析

對于姿態(tài)識別主流算法，不同的算法由于自身算法結(jié)構(gòu)的差異性，以及特征提取的不同，所使用的范圍也具有一定的差異，不存在絕對完美的算法，使其能夠適用所有的分類問題，因此要使人體姿態(tài)識別效果達(dá)到相對較高的水平，根據(jù)不同的特征條件和適用范圍選取合適的算法具有重要意義。表1對本文提到的不同改進算法進行了總結(jié)。

表1 基于深度信息的人體姿態(tài)識別常用算法

5 存在的問題及展望

本文通過廣泛調(diào)研基于深度數(shù)據(jù)的人體姿態(tài)識別相關(guān)文獻，從深度圖像預(yù)處理、特征提取以及姿態(tài)分類識別算法三方面進行了總結(jié)概述。對于RGB-D攝像機采集到的深度圖存在空洞、噪點等問題，介紹了聯(lián)合雙邊濾波器、自適應(yīng)迭代聯(lián)合三邊濾波器、基于馬爾可夫隨機場的深度升采樣等方法來進行空洞填充和圖像平滑；對描述人體姿態(tài)的不同特征進行了分類介紹，例如光流特征、MHI、3DHarris以及SIFT、HOG等特征并進行姿勢特征提取；從動態(tài)時間規(guī)劃法、隱馬爾可夫模型、支持向量機以及卷積神經(jīng)網(wǎng)絡(luò)等方法介紹了目前主流的姿態(tài)識別分類算法。

基于深度信息的人體姿態(tài)識別具有很大的發(fā)展前景，但要使人體姿態(tài)識別方法走向?qū)嵱没?，還有以下問題亟需解決。

（1）多人姿態(tài)識別

目前大部分文獻研究的重點都是單人姿態(tài)識別，多人姿態(tài)識別要比單人姿態(tài)識別的難度大，在許多應(yīng)用環(huán)境中，多人姿態(tài)識別也有較高的重要性。例如在課堂上對不同學(xué)生個體進行姿態(tài)識別和學(xué)習(xí)分析時，需要多人姿態(tài)識別技術(shù)，實時監(jiān)測學(xué)生的學(xué)習(xí)情況。同時，多人姿態(tài)識別在道路交通安全方面也有很大的應(yīng)用價值，通過多人姿態(tài)識別技術(shù)可以在道路監(jiān)控中對行人動作進行檢測，及時反饋危險行為信息。因此，多人姿態(tài)識別方面需要進行更多的創(chuàng)新和提升，如何提高識別準(zhǔn)確率使其能夠達(dá)到應(yīng)用的標(biāo)準(zhǔn)將是未來研究的熱點。

（2）肢體遮擋問題

由于目前姿態(tài)識別算法對靜止物體的識別相對簡單，但是對于運動的人體就存在肢體遮擋問題。在人機交互領(lǐng)域，運動姿態(tài)的識別具有很大的應(yīng)用前景。由于人體運動存在著復(fù)雜和不規(guī)范的問題，在使用RGB-D攝像機采集數(shù)據(jù)時，如果出現(xiàn)肢體遮擋情況，很容易影響識別結(jié)果的準(zhǔn)確性，因此對肢體遮擋修復(fù)算法的研究具有重要作用。例如李昕迪等人[45]將人體運動結(jié)構(gòu)簡化為骨架運動，通過計算骨骼長度范圍對人體關(guān)節(jié)點運動范圍進行約束分析，最后通過幾何原理修復(fù)了被遮擋關(guān)節(jié)點的位置信息。不過鄧益儂等人[46]提到人體動作具有時間連續(xù)性，姿態(tài)連續(xù)性信息可以對遮擋修復(fù)問題提供另一種解決思路。

對于復(fù)雜的人體姿態(tài)識別，肢體遮擋是一個常見的問題。目前對于骨骼信息的遮擋修復(fù)研究取得了很大的進步，但是由于不同的人在同一個姿態(tài)上的表現(xiàn)也會存在一定的差異性，需要研究更具有魯棒性的算法，從而提高人體姿態(tài)的識別率。

（3）頭部姿態(tài)和手部姿態(tài)識別

人體姿態(tài)包含頭部姿態(tài)和手部姿態(tài)，但是在識別過程中并沒有重點關(guān)注頭部和手部具體的動作。陳甜甜等人[47]對目前基于深度信息的手勢識別方法進行了總結(jié)，提出在特征選擇和復(fù)雜手勢方面都存在一些熱點問題有待研究。對于頭部姿態(tài)，梁令羽等人[48]將頭部姿態(tài)識別問題視為分類問題，提出了一種基于Bagging-SVM集成分類器來估計頭部姿態(tài)的算法，具有良好的識別效果。

如果姿態(tài)識別能夠細(xì)化到手勢識別和頭部姿態(tài)識別，將會對被識別者進行更詳細(xì)的信息分類，但是增加更多特征點會使算法識別速度變慢，識別準(zhǔn)確率也會有所影響。因此如何將人體姿態(tài)識別與手勢識別進行融合，也是今后有待思考的問題。

（4）構(gòu)建更精確的包含深度信息的人體姿態(tài)數(shù)據(jù)集

姿態(tài)識別算法的訓(xùn)練精度跟所訓(xùn)練的數(shù)據(jù)集息息相關(guān)，同一算法在不同數(shù)據(jù)集中表現(xiàn)情況不盡相同。目前網(wǎng)絡(luò)公布的人體姿態(tài)數(shù)據(jù)集各有千秋，常見的單人數(shù)據(jù)集有FLIC圖像集[49]、LSP圖像集[50]等，但是包含更詳細(xì)精確信息的數(shù)據(jù)集卻很少。由于缺少深度信息姿態(tài)數(shù)據(jù)集，基于深度信息的人體姿態(tài)識別算法模型的訓(xùn)練效果和識別效果也有待驗證。因此，構(gòu)建一個權(quán)威的更精確的人體姿態(tài)數(shù)據(jù)集對今后算法的比較研究具有重要意義。

（5）提高人體姿態(tài)識別的準(zhǔn)確性、魯棒性和實時性

人體姿態(tài)識別技術(shù)如果要在日常生活中發(fā)揮作用，必須保證其準(zhǔn)確性、魯棒性和實時性都達(dá)到較高的水平。目前存在的人體姿態(tài)識別方法具有多樣性，各具特色，而且對于單個算法的優(yōu)化已經(jīng)接近飽和狀態(tài)，很難實現(xiàn)更大的突破。在目前的研究中，往往根據(jù)不同算法的優(yōu)缺點將算法進行融合，使得融合結(jié)果在姿態(tài)識別數(shù)據(jù)集中的表現(xiàn)均優(yōu)于單個算法。因此，通過算法結(jié)合的方式來提高姿態(tài)識別的準(zhǔn)確性、魯棒性和實時性將會成為今后研究的熱點。