基于特征融合的人體行為識(shí)別算法

周 霞，柳絮青，王 憲，孫子文，鄧 源

◎圖形圖像處理◎

基于特征融合的人體行為識(shí)別算法

周 霞，柳絮青，王 憲，孫子文，鄧 源

針對(duì)HOG特征在人體行為識(shí)別中僅僅表征人體局部梯度特征的不足，提出了一種擴(kuò)展HOG（ExHOG）特征與CLBP特征相融合的人體行為識(shí)別方法。用背景差分法從視頻中提取出完整的人體運(yùn)動(dòng)序列，并提取出擴(kuò)展梯度方向直方圖ExHOG及完備局部二值模式CLBP兩種互補(bǔ)特征；利用K-L變換將這兩種互補(bǔ)特征融合生成一個(gè)分類能力更強(qiáng)的行為特征；采用徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)RBFNN對(duì)行為特征進(jìn)行識(shí)別分類。在KTH和Weizman行為公共數(shù)據(jù)庫上進(jìn)行了多組實(shí)驗(yàn)，結(jié)果表明提出的方法能夠有效地識(shí)別人體運(yùn)動(dòng)類別。

行為識(shí)別；梯度方向直方圖；完備局部二值模式；徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

1 引言

近年來，人體運(yùn)動(dòng)的視覺分析已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域中的研究熱點(diǎn)[1]。人體行為識(shí)別作為一個(gè)重要的研究方向，在智能視頻監(jiān)控、視頻注解、人機(jī)交互和虛擬現(xiàn)實(shí)等領(lǐng)域有著廣泛的應(yīng)用價(jià)值。人體行為識(shí)別解決的主要問題，是通過計(jì)算機(jī)對(duì)傳感器（攝像機(jī)）采集的原始圖像或圖像序列數(shù)據(jù)進(jìn)行處理、分析、學(xué)習(xí)并理解其中人的動(dòng)作行為[2]。目前對(duì)于人體行為識(shí)別的方法主要有三種：（1）模板匹配的方法；（2）狀態(tài)空間的方法；（3）基于模型的方法。這些方法通常在提高識(shí)別準(zhǔn)確度和降低計(jì)算復(fù)雜度間進(jìn)行折中。作為相互制約的兩個(gè)指標(biāo)，如何同時(shí)提高行為識(shí)別準(zhǔn)確度和降低計(jì)算復(fù)雜度，始終是這一領(lǐng)域研究所關(guān)注的焦點(diǎn)。

Huang[3]等人對(duì)運(yùn)動(dòng)歷史圖像序列（Motion History Image，MHI）數(shù)據(jù)進(jìn)行處理，從中提取HOG特征作為人體行為描述，并利用SVM進(jìn)行行為分類。但是高維的特征限制了樣本的訓(xùn)練數(shù)量，也增加了計(jì)算的復(fù)雜度。Naiel[4]等人提出采用2DPCA-HOG特征作為人體行為描述，再通過K-NN分類。但是單獨(dú)采用HOG特征表征人體行為姿態(tài)會(huì)忽略圖像中較多的其他細(xì)節(jié)信息，影響識(shí)別效果。

本文提出一種ExHOG特征與CLBP特征相融合的人體行為識(shí)別方法。首先對(duì)人體行為的圖像序列進(jìn)行規(guī)范化處理，從中提取具有互補(bǔ)性的ExHOG特征和CLBP特征，采用離散K-L變換對(duì)這兩種互補(bǔ)特征進(jìn)行信息壓縮、融合，這樣在消除多特征中冗余信息的同時(shí)也最大程度上保留了有效鑒別信息；最后通過RBFNN對(duì)行為特征進(jìn)行識(shí)別分類。實(shí)驗(yàn)結(jié)果表明該方法具有較好的性能。

2 行為特征提取

背景減除法在攝像機(jī)靜止的情況下，通過輸入圖像和背景圖像的比較，將區(qū)別較大的部分判定為運(yùn)動(dòng)目標(biāo)區(qū)域。實(shí)際運(yùn)用中，先產(chǎn)生一個(gè)背景模型，然后利用統(tǒng)計(jì)學(xué)中的假設(shè)檢驗(yàn)方法來判斷當(dāng)前輸入圖像的像素是否屬于背景。它的優(yōu)點(diǎn)就在于能獲得較完整的運(yùn)動(dòng)目標(biāo)區(qū)域。通過背景減除法截取運(yùn)動(dòng)圖像并歸一化成48×48的灰度圖，如圖1所示。

圖1 背景減除法提取圖像信息

2.1 擴(kuò)展的梯度方向直方圖特征

梯度方向直方圖HOG是一種局部描述符，它描述了圖像局部區(qū)域的梯度強(qiáng)度和梯度方向的分布情況。該分布情況能很好地表征局部區(qū)域目標(biāo)的外觀和形狀，因而可將HOG特征應(yīng)用于人體行為識(shí)別。傳統(tǒng)的HOG的算法問題在于，一個(gè)cell里相反方向的梯度會(huì)映射到直方圖同一個(gè)通道，從而導(dǎo)致兩個(gè)不同的模型可能擁有相同的特征表示，因此無法區(qū)分一些不同的模型。本文采用一種ExHOG特征[5]算法來解決上述問題，描述如下。

設(shè)梯度方向θ選0°～360°有符號(hào)的梯度方向空間，充分考慮不同方向的梯度，提取的梯度直方圖特征為HG，梯度方向θ選0°～180°無符號(hào)的梯度方向空間，提取的梯度方向直方圖特征為HOG，i為量化的梯度方向θ的通道，MHG()

i為HG第i通道的值，L為HG通道的數(shù)目，則HOG可以通過公式（1）計(jì)算得出。為了解決HOG存在的問題，設(shè)DiffHG為HG每個(gè)cell中的差的絕對(duì)值，如式（2）所示；將HOG和DiffHG串聯(lián)起來就得到一個(gè)cell中的ExHOG，如式（3）所示。

由于復(fù)雜背景下的人體圖像往往存在輪廓噪聲點(diǎn)和強(qiáng)度突變，提取的HG（圖2（a））特征會(huì)出現(xiàn)極大的梯度峰值。由公式（1）、（2）可見，由于HOG和DiffHG特征分別由HG特征經(jīng)加操作和減操作變換得出，因此HOG和DiffHG特征也會(huì)出現(xiàn)極大的梯度峰值。這樣上述提取的ExHOG特征并不能對(duì)噪聲抑制，即使對(duì)梯度峰值截短，也只能抑制ExHOG中HOG部分的梯度峰值，對(duì)DiffHG部分的梯度峰值沒有影響。因此，在提取每一個(gè)cell的HG特征后，即采用L2范數(shù)對(duì)梯度直方圖進(jìn)行歸一化，并對(duì)梯度峰值進(jìn)行截短，再重新歸一化HG特征。這樣提取的ExHOG特征對(duì)其HOG和DiffHG部分的梯度峰值達(dá)到同時(shí)抑制，使其對(duì)噪聲干擾具有很好的魯棒性。

2.2 CLBP特征

圖2 一個(gè)cell中的ExHOG提取過程

LBP[6]是一種有效的紋理描述算子，能夠提取圖像中局部鄰近區(qū)域的紋理特征，具有高分辨率、對(duì)灰度單調(diào)變化不敏感和高可計(jì)算性等優(yōu)點(diǎn)。然而基本的LBP算子提取的局部特征并不完整，它僅僅對(duì)局部差異的符號(hào)值進(jìn)行分析，忽略了局部幅度差值的信息。為了完善LBP算子所提取的特征，本文提出的分塊CLBP增加了對(duì)中心像素灰度值和局部差異的幅度值進(jìn)行編碼，提取了豐富的局部特征，完善了基本LBP算子提取的特征。敘述如下：

定義gc為中心像素的灰度值，gp為中心像素鄰域內(nèi)的第 p個(gè)采樣點(diǎn)的灰度值，dp=gp-gc為gc與 gp之間灰度差值。局部差異向量[d0，d1，…，dp-1]表示中心像素 gc的局部結(jié)構(gòu)，dp可以進(jìn)一步表示為：

其中，c是閾值，設(shè)置為整幅圖像的mp均值。中心像素的灰度值表征圖像的局部灰度水平，同樣具有鑒別信息。利用全局閾值將中心像素的灰度值轉(zhuǎn)換成二進(jìn)制數(shù)值。定義：CLBP_CP，R=t(gc，cI)。t函數(shù)的定義如式（6），閾值cI的取值為整個(gè)圖像的平均灰度值。由于CLBP_CP，R的取值只有0和1，所以該算子提取的特征只有兩維。算子與均勻LBP算子相同，記為

分塊CLBP特征提取的過程如圖3所示。首先將人體圖像進(jìn)行分塊處理，對(duì)每一個(gè)分塊分別進(jìn)行中心像素灰度值和局部差異值分析。然后利用算子來提取每個(gè)分塊的局部差異符號(hào)值特征、幅值特征以及中心像素灰度值特征，并求取它們的統(tǒng)計(jì)直方圖，將求取的三種特征的直方圖連接起來，作為這一分塊的直方圖特征CLBP_SMC。最后再將所有分塊的特征連接起來，作為這幅人體圖像的特征。

2.3 特征融合

本文采用離散Karhunen-Loeve（K-L）變換，對(duì)提取的特征進(jìn)行信息壓縮與融合。K-L變換是一種在均方誤差準(zhǔn)則下的最優(yōu)正交變換，具有保熵性、保能量性、去相關(guān)性以及能量重新分配和集中等優(yōu)點(diǎn)。在ExHOG特征和CLBP特征融合之前，需要對(duì)其分別進(jìn)行歸一化處理。采用Z-score[7]方法進(jìn)行歸一化，設(shè) XExHOG表示ExHOG特征，XCLBP表示CLBP特征，則歸一化后的特征向量為：

其中，μExHOG和 μCLBP分別表示ExHOG特征向量均值和CLBP特征向量均值；σExHOG和σCLBP分別表示ExHOG特征向量和CLBP特征向量的標(biāo)準(zhǔn)差。

采用離散K-L變換對(duì)歸一化后的ExHOG和CLBP特征數(shù)據(jù)進(jìn)行融合。設(shè)Y為N維隨機(jī)向量，則Y的K-L展開可表示為：其中，T為正交變換矩陣，其元素由Y的協(xié)方差的特征向量組成，即。Y的協(xié)方差矩陣為：

圖3 分塊CLBP特征提取過程

對(duì)提取的特征向量進(jìn)行K-L變換后，得到若干組新的特征數(shù)據(jù)，其中每個(gè)特征點(diǎn)均是原來N個(gè)特征的線性組合，然后在其中選出前K個(gè)數(shù)據(jù)組成一個(gè)子集來描述被處理對(duì)象的特性。雖然特征個(gè)數(shù)由N個(gè)降為K個(gè)，但在這K個(gè)特征中均包含了原N個(gè)特征的影響。

3 行為識(shí)別

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBFNN），屬于前饋神經(jīng)網(wǎng)絡(luò)[8-9]，具有良好逼近的能力同時(shí)也具有較強(qiáng)的聚類分析屬性。本文所用的RBFNN的結(jié)構(gòu)示于圖4，它有三層：輸入層、隱含層和輸出層。這里是輸入向量，為一個(gè)視頻序列的融合特征；G為隱藏層的映射函數(shù)；y是 p維輸出向量，而K是樣本數(shù)。

RBF第i個(gè)輸出單元為：

其中，‖‖˙是歐幾里得范數(shù)，U是一個(gè)m維輸入矢量，Ci為第i個(gè)隱單元的中心矢量，與U維數(shù)相同。n是隱單元數(shù)，Gi(x)為第i個(gè) RBF單元，本文選擇Gi(x)為高斯函數(shù)：

RBF的第 j個(gè)輸出 yj() x為：

其中，wji是第i個(gè)隱藏節(jié)點(diǎn)到第 j個(gè)輸出的權(quán)重。

圖4 RBF網(wǎng)絡(luò)結(jié)構(gòu)

為了使用RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行人體動(dòng)作識(shí)別，設(shè)置輸入層的節(jié)點(diǎn)數(shù)為特征向量U的維數(shù)，每一個(gè)輸入節(jié)點(diǎn)對(duì)應(yīng)樣本特征向量的一個(gè)分量；輸出節(jié)點(diǎn)數(shù)量等于數(shù)據(jù)庫中行為的類別數(shù)，所有輸出節(jié)點(diǎn)組成一個(gè)輸出列向量，一個(gè)輸出列向量對(duì)應(yīng)一個(gè)類別。RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練主要是決定高斯函數(shù)的中心和標(biāo)準(zhǔn)偏差。本文采用K-average算法來獲得基函數(shù)中心，使用如下公式來確定基函數(shù)方差。

當(dāng)上述步驟完成后，就可以把RBFNN看做一個(gè)從輸入到輸出的線性方程，然后通過最小二乘法獲得輸出層的權(quán)重。

4 實(shí)驗(yàn)結(jié)果與分析

在KTH公共數(shù)據(jù)庫（分辨率為160×120，25幀/s）和Weizmann公共數(shù)據(jù)庫（分辨率為180×144，25幀/s）上，對(duì)本文提出的行為序列識(shí)別方法進(jìn)行驗(yàn)證。KTH數(shù)據(jù)庫由25個(gè)人分別完成6種行為：box、clap、jog、run、walk、wave。Weizmann數(shù)據(jù)庫由9個(gè)人分別完成10種行為：bend、jack、jump、run、side、skip、walk、wavel、wave2、piump。實(shí)驗(yàn)在Core2 2.0 GHz的CPU，2 G內(nèi)存，Matlab 2010a的計(jì)算機(jī)上進(jìn)行仿真。算法基本過程如下：

步驟1用背景差分法提取出視頻序列10幀到20幀的人體運(yùn)動(dòng)序列，并歸一化成48×48的灰度圖。

步驟2分別提取人體運(yùn)動(dòng)序列的ExHOG特征和CLBP特征。

步驟3使用K-L變換將兩種特征融合成一個(gè)特征向量作為一個(gè)視頻序列的特征向量。

步驟4采用RBFNN進(jìn)行行為的訓(xùn)練和識(shí)別。

實(shí)驗(yàn)中，將KTH數(shù)據(jù)庫中每個(gè)人行為分成了4個(gè)場(chǎng)景，本文選取室外、視角水平的場(chǎng)景，從中隨機(jī)選取10個(gè)人的行為作為訓(xùn)練樣本，剩余15人的行為作為測(cè)試樣本，20次隨機(jī)實(shí)驗(yàn)結(jié)果如表1所示。Weizmann數(shù)據(jù)庫中視頻隨機(jī)分成9組，每組擁有10種行為的各1個(gè)樣本。選取其中8組來訓(xùn)練，1組用來測(cè)試，并重復(fù)使每組樣本都可以用來作為測(cè)試樣本，隨機(jī)分組30次實(shí)驗(yàn)結(jié)果如表2所示。實(shí)驗(yàn)定義識(shí)別率為正確的識(shí)別樣本數(shù)和總樣本數(shù)的百分比。

表1 KTH數(shù)據(jù)庫識(shí)別結(jié)果

文獻(xiàn)[3]采用運(yùn)動(dòng)歷史圖像序列中人的運(yùn)動(dòng)，從中提取HOG特征作為行為描述特征；文獻(xiàn)[4]采用2DPCA-HOG特征作為行為描述特征。圖5給出了本文與文獻(xiàn)[3]和文獻(xiàn)[4]的描述特征在Weizmann庫和KTH庫的實(shí)驗(yàn)結(jié)果比較。在Weizmann庫中本文平均識(shí)別率、文獻(xiàn)[3]和文獻(xiàn)[4]平均識(shí)別率分別為95.0%、83.8%、91.6%。在KTH庫中平均識(shí)別率分別為95.6%、92.5%、92.3%。

圖5 三種特征在Weizmann庫和KTH庫中的識(shí)別率對(duì)比

表2 Weizmann數(shù)據(jù)庫識(shí)別結(jié)果

由圖5的實(shí)驗(yàn)結(jié)果可知：雖然MHI-HOG、2DPCA-HOG方法在KTH和Weizmann數(shù)據(jù)庫中均能取得一定的識(shí)別效果。但是HOG特征僅僅能夠表征人體形態(tài)的局部梯度特征，這樣單獨(dú)提取HOG特征來表征人體形態(tài)容易導(dǎo)致相近人體姿勢(shì)的誤判。相對(duì)于MHI-HOG、2DPCA-HOG方法，本文采用ExHOG特征與CLBP特征相融合的運(yùn)動(dòng)人體行為識(shí)別算法，能夠很好地把HOG提取的人體輪廓形狀特征和CLBP提取的紋理特征相結(jié)合，達(dá)到表征人體行為，取得了更好的分類效果。

5 總結(jié)

本文提出了一種基于特征融合的人體行為識(shí)別方法。將ExHOG和CLBP兩種具有互補(bǔ)性的特征采用K-L變換進(jìn)行融合后用于人體行為識(shí)別，使用RBF神經(jīng)網(wǎng)絡(luò)作為分類器，在KTH庫和Weizmann庫的基礎(chǔ)上進(jìn)行實(shí)驗(yàn)；實(shí)驗(yàn)結(jié)果表明提出的方法用于人體行為識(shí)別效果較好。今后的工作方向是選擇更為優(yōu)越的融合特征和融合策略，以達(dá)到更好的分類效果。

[1]Ronald P.A survey on vision-based human action recognition[J]. Image and Vision Computing，2010，28（6）：976-990.

[2]Aggarwal J K，Ryoo M S.Human activity analysis：a review[J]. ACM Computing Surveys，2011，43（3）.

[3]Huang C P，Hsieh C H.Human action recognition using histogram of oriented gradient of motion history image[C]// Proceedings of the International Conference on Instrumentation，Measurement，Computer，Communication and Control，2011.

[4]Naiel M A，Abdelwahab M M.Simultaneous human detection and action recognition employing 2DPCA-HOG[C]//Proceedings of the Circuits and Systems（MWSCAS）Conference，2011.

[5]Satpathy A.Extended histogram of gradients with asymmetric principal component and discriminant analyses for human detection[C]//Proceedings of Canadian Conference on Computer and Robot Vision，2011.

[6]Ahonen T，Hadid A，Pietikainen M.Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，8（12）：2037-2041.

[7]敦文杰，穆志純.基于特征融合的人臉人耳多生物身份鑒別[J].天津大學(xué)學(xué)報(bào)，2009，42（7）：636-641.

[8]Katidiotis A，Tsagkaris K，Demestichas P.Performance evaluation of artificial neural network-based learning schemes for cognitive radio systems[J].Computersand ElectricalEngineering，2010，36（3）：518-535.

[9]Srinivasan S，MitalD P，HaqueS.A novelsolution for maze traversal problems using artificial neural networks[J]. Computers and Electrical Engineering，2004，30（8）.

ZHOU Xia,LIU Xuqing,WANG Xian,SUN Ziwen,DENG Yuan

江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫 214122

Key Laboratory of Advanced Process Control for Light Industry Ministry of Education,Jiangnan University,Wuxi,Jiangsu 214122,China

For the inadequate of Histogram of Oriented Gradients（HOG）feature for local gradient features of the human body in human action recognition,this paper presents a recognition algorithm of human action based on multi-features fusion using extended HOG feature and Complete Local Binary Pattern（CLBP）feature.The background subtraction algorithm is used to extract the complete human motion sequence in the video,and it extracts Extended HOG and CLBP feature of human body which are complementary.Then it fuses these two group features by K-L transform to get a new feature which has a higher discriminating power.At last,the paper uses radial basic function neural network to realize the action of multi class classification. The experimental results in the KTH and Weizmann behavior databases show the effectiveness of the proposed algorithm.

action recognition;Histogram of Oriented Gradients（HOG）;Complete Local Binary Pattern（CLBP）;radial basic function neural network

A

TP391

10.3778/j.issn.1002-8331.1210-0077

ZHOU Xia,LIU Xuqing,WANG Xian,et al.Multi-features fusion algorithm for human action recognition.Computer Engineering and Applications,2013,49（7）：162-166.

國(guó)家自然科學(xué)基金（No.60574051）；江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金-前瞻性聯(lián)合研究（No.BY201267）。

周霞（1970—），女，講師，主要研究方向?yàn)榍度胧郊皥D像處理；柳絮青（1989—），男，碩士研究生，研究方向?yàn)槟Ｊ阶R(shí)別與智能系統(tǒng)。E-mail：zhouxia501@163.com

2012-10-10

2012-12-03

1002-8331（2013）07-0162-05