雙視角下多特征信息融合的步態(tài)識(shí)別

李一波，李昆

(沈陽(yáng)航空航天大學(xué)自動(dòng)化學(xué)院，遼寧沈陽(yáng)110136)

步態(tài)識(shí)別是生物特征識(shí)別領(lǐng)域一個(gè)具有廣闊應(yīng)用前景的研究方向，旨在根據(jù)人們走路的姿勢(shì)進(jìn)行身份的識(shí)別，具有遠(yuǎn)距離、非侵犯性、易于感知、難于偽裝等特點(diǎn)［1］.鑒于步態(tài)識(shí)別的諸多優(yōu)勢(shì)及其在智能監(jiān)控、人機(jī)交互等領(lǐng)域的應(yīng)用前景，廣大科研工作者積極投入相關(guān)的研究當(dāng)中［2］.近年來(lái)，隨著對(duì)步態(tài)識(shí)別研究的深入，涌現(xiàn)出許多算法.根據(jù)視角數(shù)目的不同，步態(tài)研究可分為單視角和多視角.單視角研究是指對(duì)單個(gè)視角下的視頻序列進(jìn)行特征提取和識(shí)別.由于單視角下的步態(tài)序列存在遮擋、視角局限性等影響因素，所能提供的步態(tài)信息有限，因此特征選取至關(guān)重要.Kusakunniran等［3］提出了加權(quán)二值模式(weighted binary pattern，WBP)的方法;張浩等［4］提出了加權(quán)動(dòng)態(tài)時(shí)間規(guī)整(dynamic time warping，DTW)距離的自動(dòng)步態(tài)識(shí)別算法;Bashir等［5］提出了基于光流場(chǎng)的步態(tài)特征表示方法.針對(duì)單視角研究存在的不足，人們發(fā)展出了基于多視角的步態(tài)識(shí)別方法，對(duì)多個(gè)視角下的步態(tài)序列展開研究.多視角能消除圖像中的遮擋影響，提供更多的步態(tài)信息，形成不同視角之間的步態(tài)信息互補(bǔ).Kusakunniran等［6］為了解決視角變化對(duì)步態(tài)識(shí)別造成的影響，提出了基于視角轉(zhuǎn)換模型(view transformation model，VTM)的交叉視覺和多視角步態(tài)識(shí)別算法;趙永偉等［7］提出了基于多特征和多視角信息融合的步態(tài)識(shí)別方法;劉海濤［8］引入立體視覺的方法，構(gòu)造了以三維人體輪廓的質(zhì)心為參考中心的三維人體輪廓描述子(3D body contour descriptor，3D-BCD).

多視角能提供更多的步態(tài)信息，但如何有效利用這些信息是一個(gè)研究難點(diǎn).本文嘗試從雙視角對(duì)步態(tài)識(shí)別開展研究，選取正面視角和側(cè)面視角的步態(tài)序列作為研究對(duì)象，各自獨(dú)立地獲取特征，利用融合策略進(jìn)行雙視角下的步態(tài)識(shí)別.

1 雙視角步態(tài)識(shí)別算法

雙視角步態(tài)識(shí)別的整體流程如圖1所示.首先對(duì)正面視角和側(cè)面視角的步態(tài)序列進(jìn)行預(yù)處理，得到單連通人體輪廓圖形，然后針對(duì)正面視角的人體輪廓特征和側(cè)面視角人體行走的動(dòng)態(tài)特征分別進(jìn)行Procrustes均值形狀和動(dòng)作能量圖(active energy image，AEI)計(jì)算，并對(duì)動(dòng)作能量圖采用二維局部保留映射(two-dimensional locality preserving projections，2DLPP)進(jìn)行降維，最后對(duì)2個(gè)視角的識(shí)別結(jié)果進(jìn)行決策融合達(dá)到最終識(shí)別的目的.

圖1 雙視角下多特征信息融合的步態(tài)識(shí)別Fig.1 Flow chart of gait recognition of multiple feature information fusion under dual-view

1.1 預(yù)處理

預(yù)處理是步態(tài)識(shí)別中的重要步驟，它的目的在于將人體輪廓從背景中提取出來(lái).在構(gòu)建背景時(shí)采用中值法，選取連續(xù)N幀圖像像素的中值作為背景圖像的像素值，即背景圖像b可通過式(1)獲取.

選用文獻(xiàn)［9］中的方法進(jìn)行差分和二值化:

式中:a(x，y)與b(x，y)分別是當(dāng)前圖像和背景圖像在像素(x，y)處的灰度值，該函數(shù)可根據(jù)背景圖像的亮度來(lái)檢測(cè)其敏感性變化［9］.對(duì)二值化處理后得到的運(yùn)動(dòng)目標(biāo)進(jìn)行形態(tài)學(xué)處理即可得到單連通人體目標(biāo)區(qū)域，如圖2所示.

圖2 雙視角下單連通人體目標(biāo)區(qū)域Fig.2 The simply connected human target area of two views

1.2 特征提取

由于不同視角下所獲取的步態(tài)序列所表達(dá)的信息不同，因此對(duì)正面視角和側(cè)面視角采用不同的特征進(jìn)行表示.

1.2.1 正面視角

正面視角采用Procrustes均值形狀對(duì)步態(tài)進(jìn)行表征.Procrustes均值形狀分析法是方向統(tǒng)計(jì)學(xué)中一種特別流行的方法，非常適用于編碼二維形狀，并提供了一種好的工具來(lái)尋找一組形狀的均值形狀［10］.

正面視角的步態(tài)序列存在著從小到大的變化過程［11］，需要進(jìn)行歸一化處理，以步態(tài)周期最后一幀人體輪廓的大小作為歸一化的標(biāo)準(zhǔn).此外，從正面觀察，人體質(zhì)心存在周期性的左右偏離，因此采用質(zhì)心到人體輪廓外接矩形左右兩側(cè)的距離比進(jìn)行周期檢測(cè).人體質(zhì)心計(jì)算公式為:

對(duì)一段視頻序列的周期檢測(cè)如圖3所示，從圖中可以看出該步態(tài)序列的步態(tài)周期在24幀左右.

圖3 正面視角步態(tài)周期檢測(cè)Fig.3 Gait cycle detection of the front view

由于Canny算子具有很好的邊緣檢測(cè)性能，不容易受噪聲干擾，能夠檢測(cè)到真正的弱邊緣，使用2種不同的閾值能分別檢測(cè)強(qiáng)邊緣和弱邊緣，并且當(dāng)弱邊緣和強(qiáng)邊緣相連時(shí)，才將弱邊緣包含在輸出圖像中［12］，因此采用Canny算子提取輪廓線.對(duì)提取的輪廓線，用等角度間隔采樣對(duì)選取的2個(gè)連續(xù)周期的輪廓線進(jìn)行采樣.等角度間隔采樣首先需要把輪廓點(diǎn)的直角坐標(biāo)(x，y)轉(zhuǎn)化成以人體質(zhì)心為原點(diǎn)的極坐標(biāo)，然后以相同的角度θ=360/N(N為預(yù)定的采樣點(diǎn)數(shù))對(duì)輪廓點(diǎn)序列進(jìn)行采樣，輪廓線采樣如圖4(b).

圖4 正面視角輪廓線提取及采樣Fig.4 The contour extraction and sampling of front view

采樣后的輪廓線可描述為k個(gè)復(fù)數(shù)組成的向量，即 Z=［z1z2… zk］T，其中:zi=xi+jyi，(xi，yi)是輪廓線采樣后的坐標(biāo).一個(gè)步態(tài)周期含有n幀圖像，則可得到n個(gè)這樣的復(fù)數(shù)向量，計(jì)算配置矩陣，則S的最大特征值對(duì)應(yīng)的特征向量即為所求的Procrustes均值形狀，如圖 5 所示，圖中給出了3個(gè)不同目標(biāo)的 Procrustes均值形狀.

圖5 正面視角Procrustes均值形狀Fig.5 The Procrustes mean shape of front-view

1.2.2 側(cè)面視角

選用動(dòng)作能量圖(AEI)［14］作為側(cè)面視角的步態(tài)特征.對(duì)于給定的步態(tài)序列F={f0，f1，…，fN－1}，ft表示第t幀圖像，N表示單周期步態(tài)序列的幀數(shù)，首先計(jì)算相鄰2幀間的幀差圖:

圖6 側(cè)面視角動(dòng)作能量圖計(jì)算Fig.6 The calculation of side-view active energy image

圖7 不同目標(biāo)的動(dòng)作能量圖Fig.7 Active energy image of different objectives

對(duì)得到的AEI采用二維局部保留映射(2DLPP)［15］進(jìn)行降維.2DLPP 是基于矩陣的子空間學(xué)習(xí)方法，它能夠保留原始圖像中的空間結(jié)構(gòu)并且能緩解“維數(shù)災(zāi)難”問題.

對(duì)于給定的一組 AEI圖像 Ai(i=1，2，…，N)，其大小為m×n，2DLPP的目標(biāo)函數(shù)是

式中:Yi=Aiv，v是n維轉(zhuǎn)移向量;Sij是相似矩陣，其定義為:當(dāng)Ai是Aj的k近鄰或者Aj是Ai的k近鄰時(shí)，Sij=exp{－ ‖Ai－ Aj‖2/t};否則 Sij=0，t和 k是2個(gè)合適的常量.經(jīng)過運(yùn)算，目標(biāo)函數(shù)可以轉(zhuǎn)化為，其中 AT=，L=D－S是一個(gè)拉普拉斯矩陣，D是一個(gè)對(duì)角矩陣表示矩陣的克羅內(nèi)克乘積，Im是m階單位矩陣.為了移除嵌入中的任意縮放因子，添加限制條件:

因此最小化問題轉(zhuǎn)化為

運(yùn)用拉格朗日乘數(shù)法，將式(2)轉(zhuǎn)化為g(a，λ)=vTATLAv+λ(1－vTATDAv).那么式(2)的解可通過求?g/?v=0得到，因此轉(zhuǎn)換向量v可以通過求解式(3)的特征值問題獲得.

讓 v1，v2，…，vd表示式(3)的d個(gè)最小特征值0≤λ1≤λ2≤…≤λd對(duì)應(yīng)的單一正交解向量.那么轉(zhuǎn)移矩陣v=［v1v2… vd］，每一幅AEI圖像Ai的投影為 Yi=Aiv，i=1，2，…，N.

1.3 識(shí)別算法

首先計(jì)算步態(tài)特征X對(duì)各自訓(xùn)練步態(tài)序列c的隸屬度，計(jì)算公式為

式中:b＞1是一個(gè)常數(shù)，可以控制聚類結(jié)果的模糊程度.然后取2個(gè)視角下隸屬度之和最大的樣本作為最終的識(shí)別結(jié)果，即

2 實(shí)驗(yàn)結(jié)果與分析

本文使用的是中科院自動(dòng)化所提供的DatasetB多視角數(shù)據(jù)庫(kù)［16］中的正面視角樣本和側(cè)面視角樣本進(jìn)行實(shí)驗(yàn).該數(shù)據(jù)庫(kù)是一個(gè)大規(guī)模多視角的步態(tài)庫(kù)，共有124個(gè)人，每個(gè)人有11個(gè)視角(0°，18°，…，180°)，在3種行走條件下(普通條件、穿大衣、攜帶包裹條件)采集得到.

步態(tài)人體輪廓序列的提取采用背景減除法.正面視角采用Canny算子對(duì)人體輪廓提取輪廓線，大約420個(gè)點(diǎn)，并對(duì)輪廓線進(jìn)行等角度間隔采樣，得到210個(gè)點(diǎn)的固定長(zhǎng)度，然后利用2個(gè)周期的輪廓采樣點(diǎn)計(jì)算Procrustes均值形狀;側(cè)面視角利用輪廓的寬高比確定步態(tài)周期，計(jì)算一個(gè)完整周期的動(dòng)作能量圖，在利用2DLPP對(duì)動(dòng)作能量圖進(jìn)行降維時(shí)，選取前20個(gè)最小特征值對(duì)應(yīng)的單一正交解向量作為轉(zhuǎn)換矩陣.

實(shí)驗(yàn)選取普通行走條件的樣本庫(kù)對(duì)算法進(jìn)行驗(yàn)證.DatasetB數(shù)據(jù)庫(kù)中普通行走條件的樣本共有6組，選取正面視角和側(cè)面視角下其中的任意3組作為訓(xùn)練集，用剩下3組作為測(cè)試集分別進(jìn)行測(cè)試.訓(xùn)練時(shí)，對(duì)相應(yīng)視角提取對(duì)應(yīng)的特征，存入訓(xùn)練樣本庫(kù)中;識(shí)別時(shí)，先計(jì)算正面視角和側(cè)面視角各自測(cè)試步態(tài)序列的隸屬度，取2個(gè)視角下隸屬度之和最大的樣本作為最終識(shí)別結(jié)果.分別采用數(shù)量為40和100的樣本進(jìn)行實(shí)驗(yàn)，所獲得的平均識(shí)別率如表1所示，本文所提方法與其他方法的識(shí)別率對(duì)比見表2.表2中文獻(xiàn)［6］采用了神經(jīng)網(wǎng)絡(luò)構(gòu)造視角轉(zhuǎn)換模型;文獻(xiàn)［7］在每個(gè)視角下進(jìn)行了3種特征融合，然后再進(jìn)行多視角融合;文獻(xiàn)［8］采用了立體視覺的研究方法，構(gòu)建了三維人體輪廓描述子.

表1 本文算法的正確識(shí)別率Table 1 The correct recognition of proposed algorithm%

表2 識(shí)別結(jié)果對(duì)比Table 2 Comparison of recognition results %

從表2中可以看出，本文方法的識(shí)別率高于文獻(xiàn)［8］雙視角的識(shí)別率，與文獻(xiàn)［6-7］的三視角識(shí)別率相當(dāng)，這是因?yàn)閯?dòng)作能量圖能很好地表征側(cè)面視角的動(dòng)態(tài)特征，而Procrustes均值形狀又能夠?qū)φ嬉暯堑妮喞w特征進(jìn)行較好的表示，通過對(duì)兩者的融合可以提升單視角下對(duì)應(yīng)特征的識(shí)別率.同時(shí)本文的整個(gè)計(jì)算過程簡(jiǎn)單，計(jì)算量較小，3個(gè)測(cè)試序列從特征提取到最終識(shí)別的平均運(yùn)算時(shí)間如圖8所示.

圖8 測(cè)試樣本平均運(yùn)算時(shí)間Fig.8 The average computation time of test sample

3 結(jié)束語(yǔ)

本文提出了一種在雙視角下多特征融合的步態(tài)識(shí)別算法，實(shí)驗(yàn)數(shù)據(jù)證明了正面視角和側(cè)面視角融合識(shí)別的有效性，也說(shuō)明了對(duì)于雙視角的步態(tài)識(shí)別，可以通過尋找合適的特征表示，來(lái)提高識(shí)別的快速性和準(zhǔn)確性.另外將多視角的步態(tài)識(shí)別研究具體化，更貼近實(shí)用，并且還提出了正面視角質(zhì)心到人體輪廓最小外接矩形左右兩側(cè)的距離比進(jìn)行周期檢測(cè)的方法.在CASIA步態(tài)數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)驗(yàn)證了算法的有效性，獲得了較高的識(shí)別率，并且計(jì)算量較小.但是該算法還存在許多需要改進(jìn)的地方:正面視角的步態(tài)輪廓邊緣線很容易受到噪聲干擾，需要對(duì)預(yù)處理算法進(jìn)行優(yōu)化;2DLPP在求取轉(zhuǎn)換矩陣時(shí)需要所有訓(xùn)練樣本參與計(jì)算，對(duì)訓(xùn)練樣本數(shù)量的變化較為敏感.未來(lái)的工作重點(diǎn)在于擴(kuò)展算法的通用性，使其能適應(yīng)各種視角的情況，解決在背包、穿大衣等復(fù)雜行走條件下的識(shí)別問題.

［1］NIXON M S，CARTER J N，NASH J M，et al.Automatic gait recognition［C］//IEEE Colloquium on Motion Analysis and Tracking.London，UK，1999:1-6.

［2］王科俊，侯本博.步態(tài)識(shí)別綜述［J］.中國(guó)圖象圖形學(xué)報(bào)，2007，12(7):1153-1160.WANG Kejun，HOU Benbo.A survey of gait recognition［J］.Journal of Image and Graphics，2007，12(7):1153-1160.

［3］KUSAKUNNIRAN W，WU Qiang，LI Hongdong，et al.Automatic gait recognition using weighted binary pattern on video［C］//Proceedings of the 2009 Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance.Genova，Italy，2009:49-54.

［4］張浩，劉志鏡.加權(quán)DTW距離的自動(dòng)步態(tài)識(shí)別［J］.中國(guó)圖象圖形學(xué)報(bào)，2010，15(5):830-836.ZHANG Hao，LIU Zhijing.Automated gait recognition using weighted DTW distance［J］.Journal of Image and Graphics，2010，15(5):830-836.

［5］BASHIR K，XIANG Tao，GONG Shaogang.Gait representation using flow fields［C］//The British Machine Vision Conference.London，UK，2009:113.1-113.11.

［6］KUSAKUNNIRAN W，WU Qiang ，ZHANG Jian，et al.Cross-view and multi-view gait recognitions based on view transformation model using multi-layer perceptron［J］.Pattern Recognition Letters，2012，33(7):882-889.

［7］趙永偉，張二虎，魯繼文，等.多特征和多視角信息融合的步態(tài)識(shí)別［J］.中國(guó)圖象圖形學(xué)報(bào)，2009，14(3):388-393.ZHAO Yongwei，ZHANG Erhu，LU Jiwen，et al.Gait recognition via multiple features and views information fusion［J］.Journal of Image and Graphics，2009，14(3):388-393.

［8］劉海濤.基于立體視覺的步態(tài)識(shí)別研究［D］.合肥:中國(guó)科學(xué)技術(shù)大學(xué)，2010:47-52.LIU Haitao.Gait recognition based on stereo vision［D］.Hefei:University of Science and Technology of China，2010:47-52.

［9］王亮，胡衛(wèi)明，譚鐵牛.基于步態(tài)的身份識(shí)別［J］.計(jì)算機(jī)學(xué)報(bào)，2003，26(3):353-360.WANG Liang，HU Weiming，TAN Tieniu.Gait based human identification［J］.Chinese Journal of Computers，2003，26(3):353-360.

［10］WANG Liang，NING Huazhong，HU Weiming.Gait recognition based on Procrustes shape analysis［C］//Proceedings of the International Conference on Image Processing.Rochester，New York，USA，2002，3:433-436.

［11］高海燕，阮秋琦.正面視角的步態(tài)識(shí)別［J］.智能系統(tǒng)學(xué)報(bào)，2011，6(2):119-125.GAO Haiyan，RUAN Qiuqi.A gait recognition method based on front-view［J］.CAAI Transactions on Intelligent Systems，2011，6(2):119-125.

［12］阮秋琦.數(shù)字圖像處理［M］.北京:電子工業(yè)出版社，2007:204-209.

［13］楊靜，阮秋琦，李小利.基于頻譜分析的Procrustes統(tǒng)計(jì)步態(tài)識(shí)別算法［J］.智能系統(tǒng)學(xué)報(bào)，2011，6(5):432-439.YANG Jing，RUAN Qiuqi，LI Xiaoli.A Procrustes statistical gait recognition algorithm based on spectrum analysis［J］.CAAI Transactions on Intelligent Systems，2011，6(5):432-439.

［14］ZHANG Erhu，ZHAO Yongwei，XIONG Wei，et al.Active energy image plus 2DLPP for gait recognition［J］.Signal Processing，2010，90(7):2295-2302.

［15］CHEN Sibo，ZHAO Haifeng，KONG Min，et al.2D-LPP:a two-dimensional extension of locality preserving projections［J］.Neurocomputing，2007，70(4/5/6):912-921.

［16］WANG Yuan，YU Shiqi，WANG Yunhong，et al.Gait recognition based on fusion of multi-view gait sequences［C］//Proceedings of International Association of Pattern Recognition International Conference on Biometrics.Hong Kong，China，2006:605-611.