步態(tài)能量圖和KFDA的步態(tài)識別研究

王　竣，王修暉

(中國計量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

?

步態(tài)能量圖和KFDA的步態(tài)識別研究

王竣，王修暉

(中國計量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

【摘要】為了有效地獲取步態(tài)連續(xù)性的動態(tài)特征，快速準(zhǔn)確地進(jìn)行身份識別.特提出了一個基于步態(tài)能量圖(Gait Energy Image,GEI)和核Fisher判別分析(Kernel-based Fisher Discrimination Analysis,KFDA)的分類識別算法.算法首先以步態(tài)能量圖(GEI)按列向量作為輸入，求得最優(yōu)子空間Wopt和αopt.利用提取步態(tài)能量圖(GEI)的步態(tài)信息向量計算在αopt上的投影，并計算其投影軌跡.在分類階段，采用最近鄰分類器(Nearest neighbor classifier).最終在中科院自動化研究所CASIA B步態(tài)數(shù)據(jù)庫上進(jìn)行實驗，對比多項式、高斯徑向基核函數(shù)和其他四種算法的結(jié)果顯示，本文算法取得了較高的識別率.

【關(guān)鍵詞】步態(tài)能量圖；核Fisher判別分析；多項式核函數(shù)；高斯徑向基核函數(shù)

近些年，隨著計算機(jī)視覺領(lǐng)域和生物特征識別的發(fā)展，步態(tài)識別作為一種新的生物特征認(rèn)證技術(shù)，受到了研究者們密切的關(guān)注.步態(tài)識別旨在通過人的走路姿勢來進(jìn)行身份識別，相比于其他生物特征(如指紋、掌紋、人臉等)，其優(yōu)勢在于可以遠(yuǎn)距離進(jìn)行識別，具有非接觸性、非侵犯性、不易被察覺、難于隱藏和偽裝的特點，因此被廣泛應(yīng)用在門禁系統(tǒng)、醫(yī)療診斷、安全監(jiān)控等領(lǐng)域.

步態(tài)識別由運(yùn)動檢測、特征提取和特征識別三個階段所組成.步態(tài)特征提取方法對于識別結(jié)果會有一定程度的影響，通常分為兩類:基于構(gòu)建人體模型的方法和基于非模型的方法.基于構(gòu)建人體模型的方法將人體按生理特征進(jìn)行建模，如YOO[1]等構(gòu)建的擺角模型、Cunado[2]等建立的鐘擺模型、URTASUN[3]等建立的3D運(yùn)動模型.采用構(gòu)建人體模型的方法通常需要獲取輪廓清晰的步態(tài)序列，缺點在于對步態(tài)序列的質(zhì)量要求高，構(gòu)建模型的時間復(fù)雜度高.而基于非模型的方法主要考慮人的運(yùn)動情況，主要提取人體目標(biāo)移動時的側(cè)影圖形狀.如KALE[4]等將人體步態(tài)輪廓寬度作為步態(tài)特征，SARKAR[5]等提取了步態(tài)的側(cè)影序列作為特征.

HAN[6]等人在2005年將步態(tài)能量圖(GEI)應(yīng)用到步態(tài)識別中，取得了較好的識別效果.步態(tài)能量圖定義為一個步態(tài)序列周期內(nèi)的平均側(cè)影輪廓圖像.由于步態(tài)能量圖在計算過程中的隨機(jī)噪聲被抑制，因此步態(tài)能量圖具有較強(qiáng)的魯棒性，節(jié)省了存儲空間和計算時間.近些年的研究中，基于核函數(shù)的Fisher判別分析(KFDA)方法已被廣泛地應(yīng)用到模式識別中.KFDA已在人臉識別領(lǐng)域取得了比其他方法(如PCA,FLD,KPCA)更好的識別效果,文獻(xiàn)[7]通過對比GKFD(KFDA)和其他幾種方法(PCA、FLD、PCA+KFDA)的誤識率，實驗結(jié)果表明KFDA方法的誤識率是最低的.本文以步態(tài)能量圖作為步態(tài)特征，采用基于核函數(shù)的Fisher判別分析(KFDA)方法進(jìn)行分類，在識別階段采用最近鄰分類器.本文算法實驗結(jié)果表明，利用步態(tài)能量圖的列向量作為步態(tài)特征，并采用KFDA的分類方法取得了較高的識別率，并且對于衣著的遮擋具有魯棒性.

1步態(tài)序列預(yù)處理和周期檢測

在實際步態(tài)序列采集過程中，由于存在干擾因素的影響，所以在步態(tài)特征提取前需要對采集到的視頻序列進(jìn)行處理.

由于采集環(huán)境中的步態(tài)序列背景是相對不變的，因此可以對背景進(jìn)行建模，建模后采用背景減除法對人體輪廓進(jìn)行提取,通常用當(dāng)前步態(tài)幀與建模后的背景幀相減，得到的差值再與與事先給定的閾值比較，大于閾值的幀作為人體輪廓，小于閾值的幀則為背景,相減后對圖像進(jìn)行二值化處理，得到初始的步態(tài)輪廓圖.基于初始的步態(tài)輪廓圖，利用形態(tài)學(xué)腐蝕和膨脹算法消除噪聲和陰影，對像素點連通性進(jìn)行分析，選擇最大的像素連通域作為人體步態(tài)輪廓.

本文針對二值化得到的步態(tài)輪廓圖進(jìn)行歸一化處理，降低計算的時間復(fù)雜度和多余的信息，因此將240×240的步態(tài)圖像歸一化為64×64.

由于本文主要對特征提取和分類進(jìn)行研究，所以對于步態(tài)周期的選取采用常用的方法，即考慮側(cè)影圖像幀的寬度和高度比周期性的變化，在兩次寬高比最大值出現(xiàn)時的時間差可以將其作為一個步態(tài)周期.

2步態(tài)能量圖

獲取有效的步態(tài)特征對于步態(tài)識別具有重要的意義，但由于步態(tài)特征隱藏在行走階段，包括人行走的頻率、腳踝變化、擺臂姿勢等，僅從一幅步態(tài)幀提取特征并不能準(zhǔn)確地體現(xiàn)步態(tài)之間的相關(guān)性，所以通常需要進(jìn)行周期性的步態(tài)序列提取.而在實際處理過程中，提取周期性的步態(tài)序列幀會導(dǎo)致計算的復(fù)雜度過大，考慮到選取步態(tài)特征時既要考慮減少步態(tài)圖像的樣本數(shù)，又要盡可能多的保留步態(tài)的主要特征.步態(tài)能量圖較好地解決了上述問題，最早由HAN[6]等人提出，它的主要思想是利用加權(quán)平均算法將一個步態(tài)周期的圖像合成一張圖像，這幅圖像保留了原始步態(tài)輪廓的相位和步態(tài)頻率信息.步態(tài)能量圖反映了一個步態(tài)周期內(nèi)的累積能量圖，像素的亮度值反映了身體在此位置出現(xiàn)的頻率(能量).

給定步態(tài)序列的側(cè)影輪廓圖像Bt(x,y)，步態(tài)能量圖(Gait Energy Image,GEI)的定義如下:

(1)

式(1)中，N表示一個步態(tài)周期的幀數(shù)；t代表幀數(shù)；x,y代表圖像中二維平面坐標(biāo)值；Bt(x,y)代表第t幀圖像在點(x,y)的像素值.一個步態(tài)周期內(nèi)90°視角下的步態(tài)能量圖如圖1.

圖1　正常行走時不同視角下的步態(tài)能量圖Figure 1　GEI of different views under normally walking

圖2　一個人90°視角下三種狀態(tài)下的步態(tài)能量圖Figure 2　GEI of three conditions under the view of 90°

3核Fisher判別分析方法

3.1核函數(shù)定義

核函數(shù)方法定義為:通過非線性變換φ(x)，將隨機(jī)矢量x映射到高維的特征空間F中.即:x→φ(x)∈F.核函數(shù)因其將線性方法推廣到非線性方法，在實際應(yīng)用中具有重要的意義.

3.2Fisher線性鑒別分析

線性鑒別分析算法主要基于Fisher準(zhǔn)則.Fisher準(zhǔn)則函數(shù)定義如下:

(2)

其中，Sb、Sw、St表示類間、類內(nèi)離散度和總體樣本的散度矩陣(協(xié)方差矩陣)，三者定義如下:

(3)

(4)

(5)

其中，C表示類別數(shù)，Ni是Ci類的樣本數(shù)，u表示樣本向量均值，ui是Ci類樣本均值，xji是Ci類中的第j個樣本.

Fisher線性鑒別分析算法的核心思想是求得最優(yōu)的投影矩陣Wopt，目的是使在低維空間里類別相異的樣本最大可能的分離，同類樣本最大可能的聚集，以測試樣本在矩陣Wopt上的投影作為鑒別特征，從而進(jìn)行識別.

3.3基于核函數(shù)的Fisher判別法

假設(shè)有n個樣本{x1,x2,…,xn}隸屬于c類{X1,X2,…,Xc}中的一類.根據(jù)Fisher線性鑒別分析，非線性函數(shù)φ(x)將n個樣本數(shù)據(jù)映射到特征空間F中，可以得到最優(yōu)子空間Wopt.

=[w1,w2,…,wm].

(6)

(7)

(8)

其中，

(9)

(10)

(11)

其中，

(12)

(13)

(14)

同樣地，(6)式的分母可以改寫為

(15)

其中，

(16)

Kj為n×nj矩陣，并且，

(Kj)nm=k(xn,xm),xm∈Xj.

(17)

通過將(6)式的分子和分母化簡，(6)式可以表示為

(18)

最優(yōu)子空間Wopt為

Wopt=[w1,w2,…,wm]=

(19)

當(dāng)給定非線性映射函數(shù)φ(x)，樣本x在特征空間F上的映射結(jié)果為

φ(x)Wopt=

(20)

4基于GEI的核Fisher判別分析

假設(shè)有m個人，每個人對應(yīng)于不同角度下的步態(tài)序列.本文算法提取每一個人的步態(tài)能量圖(GEI)所包含的步態(tài)信息組成向量作為輸入樣本.

考慮到步態(tài)序列中的樣本數(shù)為mi，i=1,2,…,q,樣本集為{x1,1,x1,2,…,x1,n1,x2,1,…,x2,n2,…,xq,nq}，輸入樣本n=n1+n2+…+nq.

步態(tài)序列的訓(xùn)練和分類算法流程如下:

1) 計算K(x,y)：因為特征空間F的維數(shù)較高，為了在特征空間F上運(yùn)用Fisher線性判別分析方法，通常使用內(nèi)積核函數(shù)近似運(yùn)算，即

K(x,y)=φ(x)·φ(y)

(21)

通過核函數(shù)，在特征空間F中，向量φ(x)和φ(y)的內(nèi)積可以替換為x和y的內(nèi)積.

2) 計算類間離散度矩陣Sb和類內(nèi)離散度矩陣Sw.

3) 計算αopt.

4)將一個步態(tài)序列的步態(tài)能量圖映射到最優(yōu)特征空間Wopt,獲得步態(tài)序列在Wopt上的軌跡.

5) 在訓(xùn)練階段已求得Wopt，把GEI映射到Wopt中，得到訓(xùn)練特征Train Features(T1,T2,…,Tu).在測試階段，把步態(tài)序列的步態(tài)能量圖(GEI)映射到最優(yōu)特征空間Wopt中，得到測試特征Test Features(t1,t2,…,tv).利用兩者之間的歐式距離(Euclidean Distance)度量訓(xùn)練和測試序列的相似度，從而進(jìn)行分類.對于訓(xùn)練集Tx(x=1,2,…,u)與測試集ty(y=1,2,…,v)之間的歐式距離定義為

(22)

使dl最小值對應(yīng)的第l類則為測試步態(tài)序列隸屬的類，即它被分類到離它最近樣本所屬的類中.

6) 計算識別率.

5實驗與結(jié)果分析

5.1步態(tài)數(shù)據(jù)庫

為了驗證本文算法的識別效果，采用中國科學(xué)院自動化研究所提供的CASIA Dataset B(多視角庫)數(shù)據(jù)庫上進(jìn)行實驗，實驗環(huán)境為Matlab 2014a.

Dataset B數(shù)據(jù)庫是一個擁有124個人、11個視角，(0°，18°，36°，…，180°)的步態(tài)數(shù)據(jù)庫，有正常，穿大衣，攜帶包裹三種狀態(tài)的步態(tài)序列.在同一個視角下有10個視頻，其中包含6個正常步態(tài)序列(A)，兩個攜帶包裹序列(B)和兩個穿大衣序列(C).

5.2實驗過程

步態(tài)檢測和跟蹤主要針對步態(tài)圖像進(jìn)行檢測步態(tài)序列每個人的側(cè)影圖，依據(jù)側(cè)影圖進(jìn)行輪廓的提取.本文主要研究的重點是特征提取和分類，因此，對于如何獲得人體輪廓的過程不展開分析，采用CASIA數(shù)據(jù)庫里面的人體側(cè)影圖提取特征和識別.由于步態(tài)能量圖(GEI)是一個步態(tài)周期內(nèi)側(cè)影圖平均得到的，也是時間歸一化得到的累積能量圖.我們把每一個人的步態(tài)能量圖按列向量展開作為輸入樣本，在特征訓(xùn)練階段，選取不同角度下的前一半序列作為測試樣本，剩余樣本進(jìn)行測試.在計算完樣本之后，采用核函數(shù)的Fisher判別分析方法對特征進(jìn)行訓(xùn)練，得到αopt和最優(yōu)特征空間Wopt.當(dāng)?shù)玫溅羙pt和Wopt之后，將樣本向量在最優(yōu)特征空間Wopt上投影,分別得到訓(xùn)練特征Train_Features和測試特征Test_Features.在分類識別階段，將測試樣本在特征空間上投影，計算測試序列和訓(xùn)練序列之間的歐式距離，將測試歸為與它距離最小的訓(xùn)練樣本所屬的類.

5.3識別結(jié)果與分析

5.3.1實驗結(jié)果

實驗1數(shù)據(jù)庫采用CASIA B庫，該庫中總共124人，在11個視角下(0°，18°,36°，…，180°)采集，選取正常狀態(tài)下的步態(tài)序列在每一視角下的前3組圖像作為訓(xùn)練集，剩余的3組圖像作為測試集，其訓(xùn)練樣本數(shù)為372，測試樣本數(shù)為372,見表1和表2.

表1　實驗1中不同核函數(shù)的識別率

表2　實驗1中不同核函數(shù)的識別時間

實驗2實驗選取90°視角下的3組正常狀態(tài)，1組背包狀態(tài)和1組穿大衣狀態(tài)下的步態(tài)能量圖作為訓(xùn)練集，訓(xùn)練集樣本數(shù)為620.測試集選取3組正常狀態(tài)，1組背包狀態(tài)和1組穿大衣狀態(tài)，測試集樣本數(shù)也為620.見表3.

表3實驗2中不同核函數(shù)的識別率和識別所需時間

Table 3Identification rate of five algorithms in experiment 2

核函數(shù)測試集正常狀態(tài)所有測試集k(x,y)=[(x·y)+1]297.58%8.83s98.38%23.03sk(x,y)=[(x·y)+1]397.58%8.53s99.19%17.91s

實驗3數(shù)據(jù)庫采用CASIA B庫，該庫中總共124人，在11個視角下(0°，18°，36°，…，180°)采集，實驗選取正常狀態(tài)下的步態(tài)序列在每一視角下的前3組圖像作為訓(xùn)練集，剩余的3組圖像作為測試集，其訓(xùn)練樣本數(shù)為372，測試樣本數(shù)為372.見表4.

5.3.2結(jié)果分析

在分類識別中引入正確分類率CCR(Correct Classification Rate)作為一種合理的評價指標(biāo).在測試集中，將測試樣本Ti輸入到訓(xùn)練集得到的k個分類器，Ci輸出唯一的+1，其他輸出-1，則成功地識別出Ci,正確分類率CCR定義為

(24)

其中T表示正確識別的樣本數(shù)，N表示總測試樣本數(shù).

表4　實驗3中五種方法的識別率

由于在實驗1中對比了多項式核函數(shù)和高斯核函數(shù)的識別率，多項式核函數(shù)的識別率明顯優(yōu)于高斯核函數(shù)，所以在實驗2中只對多項式核函數(shù)進(jìn)行了識別率的驗證.

在應(yīng)用核Fisher判別法進(jìn)行特征提取時，向量矩陣αk是由向量空間α的k個按遞減順序排列的特征值所對應(yīng)的特征向量所組成.從表1可以看出，當(dāng)選擇多項式核函數(shù)時，由于CASIA中同一個人在正常狀態(tài)下行走的步態(tài)序列有6組，即類別數(shù)為6.當(dāng)降維至5時，選取5個按遞減順序特征值對應(yīng)的特征向量，此時的識別率均在95%以上.考慮到本方法選取k-1個大于零按遞減順序?qū)?yīng)的特征向量αopt=αk-1,α為n×n維，樣本數(shù)n>>k-1，在用α計算樣本x在特征空間F上的映射結(jié)果時，需要n2次乘法運(yùn)算和n×(n-1)次加法運(yùn)算，時間復(fù)雜度為O(n2)；而用αopt計算時，則只需要n×(k-1)次乘法運(yùn)算和(n-1)×(k-1)次加法運(yùn)算，時間復(fù)雜度為O(n)，節(jié)省了分類識別所需的時間.實驗2在選取訓(xùn)練集考慮了正常行走、背包和穿大衣的情況，實驗結(jié)果表明在選取多項式核函數(shù)進(jìn)行識別時取得了較高的識別率.實驗3對比了PCA(主成分分析法)，KPCA(核主成分分析法)，KSPP(核稀疏保留投影法)，PCA+SPP(主成分分析法和稀疏保留投影法)，KFDA(本文算法)五種方法的識別率.在本文實驗中，高斯核函數(shù)在KPCA中為σ2=0.1，在KSPP中為σ2=0.02.從表1中看出，KPCA和PCA識別率相比，因為核函數(shù)參數(shù)設(shè)置唯一，導(dǎo)致在某些視角上提高了識別率，某些視角上降低了識別率.將主成分分析法和稀疏保留投影相結(jié)合，對于識別率較低的視角下取得了提升，主要因為稀疏保留投影方法計算得到的系數(shù)矩陣在保留最大稀疏度的同時也保留了原始數(shù)據(jù)的局部信息，使得特征具有更好的可分性.而通過基于KFDA的方法，最終的識別率在每一個視角上都有提升，說明本文算法對于不同數(shù)據(jù)具有很高的穩(wěn)定性.

由此可見，基于核Fisher判別分析法的步態(tài)識別方法在小樣本步態(tài)數(shù)據(jù)集上是一種可行的方法.

6結(jié)語

步態(tài)識別作為一種快速發(fā)展的生物特征識別技術(shù)，近年來受到廣泛關(guān)注.本文主要在步態(tài)特征提取和識別進(jìn)行了研究.并通過實驗驗證了KFDA應(yīng)用到步態(tài)識別的可行性，比較了針對不同的核函數(shù)進(jìn)行步態(tài)識別的效果，本文算法有很強(qiáng)的應(yīng)用價值.由于本文僅測試了多項式核函數(shù)和高斯徑向基核函數(shù)，并且步態(tài)數(shù)據(jù)庫都是小樣本，在接下來的研究中將考慮上述因素，期望獲得更好的研究成果.

【參考文獻(xiàn)】

[1]YOOJH,NIXONMS,HARRISCJ,etal.Extractinghumangaitsignaturesbybodysegmentproperties[C]∥Image Analysis and Interpretation.[s.l.]:IEEE,2002:35-39.

[2]CUNADO D, NIXON M S, CARTER J N,et al. Using gait as a biometric, via phase-weighted magnitude spectra[C]∥International Conference on Audio-& Video-Based Biometric Person Authentication.Berlin: Springer-Verlag,1997:93-102.

[3]LU H, PLATANIOTIS K N, VENETSANOPOULOS A N,et al. A full-body layered deformable model for automatic model-based gait recognition[J]. Eurasip Journal on Advances in Signal Processing,2008(1):1-13.

[4]URTASUN R, FUA P. 3D Tracking for gait characterization and recognition[C]∥IEEE International Conference on Automatic Face and Gesture Recognition.Seoul：IEEE,2004:17-22.

[5]SARKAR S, PHILLIPS P J, LIU Z, et al. The human ID gait challenge problem: data sets, performance, and analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2005,27(2):162-77.

[6]JU H, BIR B. Individual recognition using gait energy image.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2006,28(2):316-322.

[7]GAO Wengao, JIANG Kang, YU Zhenhua. et al. Human face recognition using generalizd kernel fisher discriminant and wavelet transform [C]∥2006 IEEE International Conference on Information Acquisition. Shandong: IEEE,2006:1258-1262.

[8]SCH?LKOPF B, SMOLA A, MüLLER K, et al. Nonlinear component analysis as a kernel eigen value problem[J]. Neural Computation,1998,10(5):1299-1319.

[9]HOFMANN M, GEIGER J, BACHMANN S, et al. The TUM gait from audio, image and depth (GAID) database: multimodal recognition of subjects and traits[J]. Journal of Visual Communication & Image Representation,2014,25(1):195-206.

[10]JENSSEN R. Mean vector component analysis for visualization and clustering of nonnegative data[J]. IEEE Transactions on Neural Networks & Learning Systems,2013,24(10):1553-1564.

[11]BEN X, MENG W, YAN R, et al. An improved biometrics technique based on metric learning approach[J]. Neurocomputing,2012,97(1):44-51.

【文章編號】1004-1540(2016)02-0216-07

DOI:10.3969/j.issn.1004-1540.2016.02.016

【收稿日期】2016-03-06《中國計量學(xué)院學(xué)報》網(wǎng)址：zgjl.cbpt.cnki.net

【基金項目】國家自然科學(xué)基金資助項目(No.61303146).

【作者簡介】王竣(1991-),男,吉林省吉林人,碩士研究生,主要研究方向為計算機(jī)圖形學(xué)和計算機(jī)視覺. E-mail:846411409@qq.com 通信聯(lián)系人：王修暉,男,副教授.E-mail: wangxiuhui@cjlu.edu.cn

【中圖分類號】TP301.6

【文獻(xiàn)標(biāo)志碼】A

Gait recognition based on GEI and KFDA

WANG Jun, WANG Xiuhui

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

Abstract:To effectively captures the dynamic features of the gait and accelerate the authentication and identification, a novel gait recognition algorithm was presented and a gait recognition algorithm based on GEI (gait energy image) and KFDA (kernel-based fisher discrimination analysis) was introduced. Firstly, the vector of the gait energy image(GEI) was used as the input to get the optimal subspace Woptand αopt. Then the extracted GEI vectors were used to compute the projection on αoptwith its projected path calculated. The nearest neighbor classifier was used for the classification.This method was evaluated on the CASIA B gait database.The comparison of the polynomial, the Gaussian kernel function and other four algorithms shows that the proposed method can obtain stable classification and performs satisfactory recognition results.

Key words:gait energy image; kernel-based fisher discrimination analysis; polynomial kernel function; gauss radial basis kernel function