基于密集光流的步態(tài)識別

商 磊， 張 宇， 李 平

( 浙江大學(xué) 控制科學(xué)與工程學(xué)院， 浙江 杭州 310027 )

?

基于密集光流的步態(tài)識別

商 磊， 張 宇*， 李 平

( 浙江大學(xué) 控制科學(xué)與工程學(xué)院， 浙江 杭州 310027 )

作為一種生物特征，步態(tài)在視頻監(jiān)控、行為分析等領(lǐng)域具有很大的應(yīng)用前景．提取步態(tài)特征的關(guān)鍵在于對步態(tài)在時間、空間兩個維度上的變化模式進(jìn)行描述．基于密集光流提出了一種步態(tài)特征提取算法，通過密集光流表征每幀圖像人體區(qū)域各部位的運(yùn)動強(qiáng)度和方向，綜合一個步態(tài)周期內(nèi)所有單幀特征作為步態(tài)周期的特征．利用主成分分析、線性判別分析對步態(tài)特征進(jìn)行降維處理，用支持向量機(jī)進(jìn)行分類，驗(yàn)證提取特征的分類性能．實(shí)驗(yàn)結(jié)果表明，所提算法采用光流特征，提供了豐富的動態(tài)信息，可以很好地描述步態(tài)在時間維度上的變化，在與現(xiàn)有步態(tài)特征描述算法的對比中，體現(xiàn)出了良好的識別性能．

步態(tài)識別；背景減除；密集光流；降維

0 引 言

隨著視頻監(jiān)控技術(shù)和設(shè)備的成熟，視頻監(jiān)控網(wǎng)絡(luò)在安全領(lǐng)域已經(jīng)有了大規(guī)模的應(yīng)用，隨之也產(chǎn)生了大量的視頻數(shù)據(jù)．用人工方式對視頻進(jìn)行分析會帶來巨大的任務(wù)量，長時間進(jìn)行視頻分析會造成識別效率和準(zhǔn)確率的降低，視頻監(jiān)控領(lǐng)域?qū)χ悄芑曨l監(jiān)控的需要也越來越迫切．

現(xiàn)有的智能化視頻監(jiān)控系統(tǒng)多是對目標(biāo)進(jìn)行行為分析，通過判斷目標(biāo)行為是否屬于預(yù)設(shè)的違法犯罪行為來報警．但是由于多種違法犯罪行為和普通行為之間普遍存在的類內(nèi)多樣性和類間相似性[1]，監(jiān)控系統(tǒng)識別效率會受到影響．現(xiàn)有視頻監(jiān)控網(wǎng)絡(luò)對公安機(jī)關(guān)的輔助作用更多地體現(xiàn)在案發(fā)后對案件偵破提供線索，也就是在視頻監(jiān)控網(wǎng)絡(luò)中對嫌疑目標(biāo)進(jìn)行追蹤．該應(yīng)用背景可以被抽象成為一個多攝像頭目標(biāo)跟蹤問題．

現(xiàn)有的多攝像頭跟蹤算法，多使用傳統(tǒng)的圖像學(xué)特征，如顏色直方圖[2]，以及SIFT、LBP、HOG等描述灰度紋理的特征描述子[3-4]．這些特征僅僅對目標(biāo)區(qū)域進(jìn)行靜態(tài)描述，且在實(shí)際應(yīng)用中會不穩(wěn)定，當(dāng)目標(biāo)存在偽裝時會很容易失效．因此，在安全領(lǐng)域，一些基于生物學(xué)特征的方法得到了關(guān)注，也有了大量的研究成果，比如虹膜、指紋識別等．

然而上述的圖像學(xué)特征以及虹膜和指紋等生物學(xué)特征都是靜態(tài)的特征，除了這些靜態(tài)特征，人體目標(biāo)在運(yùn)動的過程中還蘊(yùn)含著豐富的動態(tài)信息，基于這些動作特征同樣可以對人體目標(biāo)進(jìn)行識別和分類．對動作特征的相關(guān)研究表明，可以利用步態(tài)信息來對目標(biāo)進(jìn)行識別[5-6]．步態(tài)描述了目標(biāo)行走時所具有的一些動作上的特征，相較于指紋、虹膜等特征，步態(tài)特征具有更明顯的優(yōu)勢：一是無須接觸和干擾，不需要被測試者配合，不具有侵犯性；二是其信息可以在相對較遠(yuǎn)的距離獲得．基于這些優(yōu)點(diǎn)，步態(tài)識別在門禁系統(tǒng)、安全監(jiān)控、人機(jī)交互、醫(yī)療診斷等領(lǐng)域具有廣泛的應(yīng)用前景和經(jīng)濟(jì)價值．

對步態(tài)識別的研究可以分為基于模型的方法和無模型的方法．基于模型的方法通過建立人體運(yùn)動模型，從視頻序列中判斷關(guān)鍵幀目標(biāo)的姿態(tài)，通過分析參數(shù)來進(jìn)行步態(tài)識別．Lee等[7]用7個橢圓擬合人體各部位，提取橢圓參數(shù)以及人體結(jié)構(gòu)參數(shù)共29個參數(shù)作為步態(tài)特征．Yam等[8]將腿建模為耦合鐘擺模型，對大腿和小腿的擺動進(jìn)行分析，在頻域?qū)Σ綉B(tài)進(jìn)行分析．基于模型的方法都涉及對身體部位的估計(jì)，一旦身體部位的估計(jì)出現(xiàn)偏差就會影響后續(xù)的分析．基于無模型的方法通常是對人體輪廓進(jìn)行分析，以人體輪廓形狀的變化模式來分析步態(tài)．Foster等[9]采用區(qū)域度量的方法將各種掩膜圖像與人體形狀信息進(jìn)行疊加產(chǎn)生用于識別的特征．Collins等[10]基于關(guān)鍵幀分析實(shí)現(xiàn)對序列的匹配．Sarkar等[11]利用提取的二元人體輪廓區(qū)域的相似性度量作為特征．Kusakunniran等[12]利用步態(tài)能量圖(GEI)的方法實(shí)現(xiàn)了對步態(tài)特征的分類．Lam等[13]通過計(jì)算人體二值化輪廓區(qū)域的變化情況，用GFI特征表達(dá)步態(tài)．Makihara等[14]對人體輪廓區(qū)域進(jìn)行離散傅里葉變換在頻域?qū)Σ綉B(tài)特征進(jìn)行表達(dá)(FG特征)．這些無模型方法所使用的特征都是基于輪廓或輪廓的變化情況，沒有提取人體區(qū)域在步態(tài)周期每個時刻的動態(tài)信息，因而損失了人體區(qū)域內(nèi)豐富的信息．

為了更好地表達(dá)步態(tài)的動態(tài)信息，本文提出一種基于密集光流的步態(tài)特征描述算法，用每個時刻人體輪廓區(qū)域上各個像素點(diǎn)的光流特征來表征這一時刻步態(tài)所具有的動態(tài)信息．再對一個步態(tài)周期內(nèi)各個時刻的特征進(jìn)行綜合表征，最終在中國科學(xué)院自動化研究所CASIA Gait Database B[15]上進(jìn)行實(shí)驗(yàn)驗(yàn)證，并與現(xiàn)有的GFI、FG等特征進(jìn)行對比．

1 基于密集光流的步態(tài)特征

基于密集光流的步態(tài)特征提取流程如圖1所示．

1.1 前景區(qū)域提取

從視頻序列中準(zhǔn)確地提取出人體區(qū)域是后續(xù)特征提取和識別的基礎(chǔ)．監(jiān)控?cái)z像頭在大多數(shù)情況下的背景是恒定的，但存在著緩慢的變化，如光照變化、室外環(huán)境下風(fēng)吹樹葉的變化等，直接背景差分會引入大量的噪聲．因此考慮采用混合高斯模型對背景進(jìn)行建模來抑制這些干擾，為后續(xù)特征的提取和識別提供一個良好的目標(biāo)區(qū)域．

混合高斯背景模型用M個高斯模型來表征圖像中各個像素點(diǎn)的特征，在獲得新的一幀圖像后，取其每一個像素點(diǎn)的像素值與相對應(yīng)的M個高斯背景模型進(jìn)行匹配來判斷該點(diǎn)是否為背景點(diǎn)．若被判定為背景則對原有的M個高斯背景模型進(jìn)行更新．本文根據(jù)文獻(xiàn)[16]的方法對視頻進(jìn)行背景建模，通過對比每一幀圖像得到各個幀的目標(biāo)區(qū)域．

圖1 基于密集光流的步態(tài)特征提取流程

提取到粗糙的人體區(qū)域后，用中值濾波去除零星存在的噪聲．當(dāng)人體區(qū)域和背景顏色比較接近，同時紋理特征也比較相似時，如圖2(c)中目標(biāo)的頸部，無論是采用基于顏色的方法還是基于紋理的方法均無法消除這種情況帶來的干擾．為了消除這種干擾，用合適的模板對圖像進(jìn)行閉運(yùn)算，使頭部和身體能夠連接起來，提供完整的人體區(qū)域，用提取出的人體區(qū)域與原始視頻進(jìn)行與運(yùn)算，可以得到彩色的人體區(qū)域．

1.2 單幀光流特征

步態(tài)的變化模式是進(jìn)行識別的關(guān)鍵信息，所以把提取出的人體區(qū)域原始彩色圖保持長寬比不變統(tǒng)一縮放到同一高度，并在水平方向上對齊重心后放進(jìn)W×H的模板區(qū)域內(nèi)形成一個步態(tài)幀，這種處理方式同時也減少了計(jì)算光流的時間．在兩個相鄰步態(tài)幀之間計(jì)算光流，得到t時刻目標(biāo)區(qū)域的光流信息．光流信息可以分為稀疏光流和密集光流，稀疏光流只計(jì)算相應(yīng)特征點(diǎn)的光流信息，為了獲取穩(wěn)定的光流來表征人體各區(qū)域的動態(tài)信息，本文采用文獻(xiàn)[17]的方法計(jì)算密集光流．光流信息表征了目標(biāo)區(qū)域上t時刻各個像素點(diǎn)的運(yùn)動情況．設(shè)圖像左上角為圖像坐標(biāo)系原點(diǎn)，水平方向?yàn)閤軸，豎直方向?yàn)閥軸，原始光流信息包含了每個像素點(diǎn)在x方向和y方向上的光流分量u、v，用δ代表光流強(qiáng)度，θ代表光流方向，通過式(1)、(2)計(jì)算出光流的強(qiáng)度和方向，通過式(3)、(4)對光流信息進(jìn)行歸一化．歸一化之后的光流信息即作為表征t時刻步態(tài)動態(tài)信息的特征，每個像素點(diǎn)都有兩個分量fδ和fθ，步態(tài)區(qū)域內(nèi)W×H個像素點(diǎn)的光流信息構(gòu)成了單幀步態(tài)光流圖．

(a) 背景差分 (b) 混合高斯背景建模

圖2 前景區(qū)域分割

Fig.2 Foreground region segmentation

(1)

(2)

(3)

(4)

采用Munsell顏色系統(tǒng)來實(shí)現(xiàn)步態(tài)光流圖的可視化，用不同顏色表示不同的運(yùn)動方向，顏色的深淺表示運(yùn)動的快慢．圖3 展示了一個步態(tài)周期中各個時刻的步態(tài)光流圖．

1.3 步態(tài)特征表示

一個步態(tài)周期內(nèi)所有單幀特征共同構(gòu)成了目標(biāo)的步態(tài)特征，對一個步態(tài)周期的所有單幀步態(tài)

圖3 一個步態(tài)周期中各個時刻的步態(tài)光流圖

光流圖進(jìn)行平均可以得到光流能量圖，每個像素點(diǎn)的值為對應(yīng)像素點(diǎn)在一個步態(tài)周期內(nèi)光流信息的平均值．由于步態(tài)光流圖同時包括了光流強(qiáng)度和方向，可以構(gòu)造出3種光流能量圖，F(xiàn)δ、Fθ以及Fδ+θ，對應(yīng)的維數(shù)分別為W×H、W×H和2×W×H，構(gòu)造方法如式(5)～(7)所示：

(5)

(6)

(7)

式中：N為一個步態(tài)周期中單幀步態(tài)光流圖的個數(shù)；fδi(x,y)為第i個單幀步態(tài)光流圖每個像素點(diǎn)光流強(qiáng)度的值；fθi(x,y)為第i個單幀步態(tài)光流圖每個像素點(diǎn)光流方向的值．

為了比較能量圖和頻域方法的識別效果，同時用離散傅里葉變換的方法計(jì)算出fδi(x,y)在頻域上的特征FGF．

(8)

(9)

其中DFTF(x,y,k)是對單幀步態(tài)光流圖進(jìn)行離散傅里葉變換，取離散傅里葉變換的幅值分量作為描述步態(tài)的特征，k=0對應(yīng)直流分量，選取k=1,2,3作為步態(tài)光流的頻域特征．

本文將在實(shí)驗(yàn)部分對比分析4種光流特征對于步態(tài)識別的影響．

1.4 用于比較的其他步態(tài)特征

為了將本文提出的步態(tài)特征和現(xiàn)有用于步態(tài)識別的GFI特征[13]、FG特征[14]做比較，本小節(jié)簡要介紹一下GFI和FG特征．

(1)GFI特征

Ft(x,y)=(ut(x,y),vt(x,y))=

OpticalFlow(St(x,y),St+1(x,y))

(10)

(11)

(12)

(13)

其中St(x,y)是人體區(qū)域t時刻的二值化輪廓，對相鄰兩幀二值化輪廓進(jìn)行光流計(jì)算得到Ft(x,y)，表示輪廓變化的情況．然后進(jìn)行二值化，B[Ft(x,y)] 就是二值化后的特征，同樣用能量圖的方法對一個周期內(nèi)的步態(tài)進(jìn)行描述得到GFI(x,y)．

(2)FG特征

(14)

(15)

其中DFT(x,y,k)是對輪廓序列進(jìn)行離散傅里葉變換，取k=1,2,3構(gòu)成步態(tài)的頻域特征．

1.5 特征降維

由前述方法得到的步態(tài)特征向量維數(shù)都很高，對于本文所使用的80×80模板，對應(yīng)的特征向量維數(shù)分別高達(dá)6 400、12 800和19 200．對高維度特征向量進(jìn)行學(xué)習(xí)將帶來龐大的計(jì)算量，采用主成分分析方法(principal component analysis,PCA)可以對高維特征進(jìn)行降維處理．用于訓(xùn)練的總樣本數(shù)為Mt，G(i)代表訓(xùn)練樣本集中第i個樣本(i=1,2,…,Mt)，每個樣本都是一個特征向量，由式(16)計(jì)算訓(xùn)練樣本的平均值μ，由式(17)減去均值．

(16)

(17)

令

(18)

(19)

求解協(xié)方差矩陣Σ的特征值和特征向量可以得到轉(zhuǎn)換矩陣，但是計(jì)算量比較大，可以采用奇異值分解的方法求解．

(20)

S為奇異值矩陣．U和V分別是左奇異向量和右奇異向量組成的矩陣．非負(fù)奇異值按順序排列在S的對角線上，較大的奇異值對應(yīng)的特征向量對訓(xùn)練模式有較大的影響，取前K個最大的奇異值所對應(yīng)的右奇異向量，構(gòu)成特征變換矩陣(v1v2… vK)．

每個樣本x(i)都可以通過式(21)被投影到特征子空間內(nèi)的一點(diǎn)P(i)：

P(i)=(v1v2… vK)Tx(i)

(21)

P(i)只保留了K維關(guān)鍵特征，減少了樣本維數(shù)．用式(22)表示特征向量經(jīng)過壓縮之后的性能，通過設(shè)置閾值即可決定K的取值，Sii為奇異值矩陣S對角線上的元素，可以看出主成分?jǐn)?shù)量越多，降維帶來的誤差率(error rate,Re)也就越?。?/p>

(22)

其中n為降維前原始特征的維數(shù)．

PCA方法是一種無監(jiān)督的分類方法，把原始特征投影到各樣本間差別最大的方向上，在降維的過程中會損失數(shù)據(jù)的可分特征，所以用PCA降維后的數(shù)據(jù)進(jìn)行分類效果不理想．線性判別分析(linear discrimination analysis,LDA)是一種有監(jiān)督的降維方法，用LDA降維可以最大化類間方差和類內(nèi)方差的比值，從而使降維后的數(shù)據(jù)具有良好的可分性．

(23)

(24)

(25)

式中：m為樣本總體均值向量，Sb為樣本類間離散度矩陣，Sw為樣本類內(nèi)離散度矩陣，C為總的類別數(shù)，Ci為屬于第i類樣本的個數(shù)．

通過式(26)使特征映射到新的空間中去，為了使降維后的特征具有最大的可分性，需找到合適的w使式(27)取最大值．

y=wTx

(26)

(27)

本文首先利用PCA降維，再用LDA使經(jīng)過PCA降維后的特征投影到具有最好分類性質(zhì)的特征子空間，形成具有良好分類性能的特征．

1.6 分類器

采用支持向量機(jī)(SVM)作為分類器．因?yàn)镾VM是二分類器，用SVM實(shí)現(xiàn)多類別分類通常有兩種方法．(1)一對多法(one versus rest，簡稱1-v-r SVMs)，在訓(xùn)練時依次把某個類別的樣本歸為一類，其他剩余的樣本歸為另一類，這樣就構(gòu)造出了C個SVM，分類時將樣本歸為具有最大分類函數(shù)值的那一類．(2)一對一法(one versus one，簡稱1-v-1 SVMs)，其做法是在任意兩類樣本之間設(shè)計(jì)一個SVM，這樣共需設(shè)計(jì)C(C-1)/2個SVM，對一個未知樣本進(jìn)行預(yù)測時，對分類結(jié)果進(jìn)行投票，把樣本歸為得票最多的那類．本文采用1-v-1 SVMs方法進(jìn)行學(xué)習(xí)與分類．

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)設(shè)計(jì)

本文實(shí)驗(yàn)在中國科學(xué)院自動化研究所CASIA Gait Database B[15]上進(jìn)行，CASIA Gait Database B是一個大型的步態(tài)數(shù)據(jù)庫，包含124個人在0°到180°共11個視角下3類狀態(tài)(帶包兩個、穿外套兩個、正常狀態(tài)6個)的步態(tài)視頻．選取每個人90°視角下，正常狀態(tài)的前4個視頻作為訓(xùn)練樣本庫，另外兩個作為測試樣本庫，首先提取每個視頻序列中的步態(tài)特征信息，每一個視頻序列都會包含3～5個步態(tài)周期，每一個步態(tài)周期形成的光流能量圖都作為樣本參與訓(xùn)練或是測試．

選擇正確分類率(correct classification rate,Rcc)和召回率(recall rate,Rr)作為評價指標(biāo)．評價指標(biāo)的定義為

(28)

(29)

式中：Ti表示被識別為i類的目標(biāo)中真實(shí)類別為i類的測試樣本的數(shù)量；Fi表示被識別為i類但真實(shí)類別不是i類的測試樣本的數(shù)量；Rcc是對所有C類目標(biāo)正確分類率的平均，表示分類的正確率；NCi表示真實(shí)類別是i類的樣本數(shù)量；Rr表示C類目標(biāo)中每類測試樣本被正確識別出的概率的平均．

2.2 實(shí)驗(yàn)結(jié)果及分析

分別取綜合光流信息Fδ+θ、光流強(qiáng)度分量Fδ、方向分量Fθ以及頻域特征FGF作為特征進(jìn)行訓(xùn)練和識別．設(shè)置PCA的誤差率Re分別為0.01 和0.05，由式(22)確定保留多少主成分K．TPCA、Ttrain分別表示PCA降維和SVM訓(xùn)練所用的時間．

從表1、2呈現(xiàn)的識別結(jié)果看，綜合了光流強(qiáng)度和方向的Fδ+θ特征有較好的識別效果，單獨(dú)應(yīng)用光流各個分量時，強(qiáng)度分量Fδ比方向分量Fθ的識別效果更好，實(shí)驗(yàn)結(jié)果說明在步態(tài)光流能量圖中光流的強(qiáng)度分量能夠提供更具辨別力的特征．對比能量圖法和頻域方法可以看出，頻域特征并沒有能量圖法的識別效果好，這是因?yàn)轭l域的分析方法把圖像序列中所有幀的對應(yīng)點(diǎn)在時間維度的變化情況當(dāng)作一個信號來進(jìn)行分析，對步態(tài)幀質(zhì)量要求較高，當(dāng)人體區(qū)域的完整性和人體區(qū)域的對齊不能很好地保證時會引入噪聲，從而對識別造成干擾，用能量圖的方法反而可以抑制噪聲，提供魯棒的特征表述．

表1 PCA識別結(jié)果(Re=0.01)

表2 PCA識別結(jié)果(Re=0.05)

Fδ+θ降維過程使用LDA后，特征的可分性能得到了提升．從表3可以看出，應(yīng)用LDA后識別率有大幅度提升．當(dāng)適當(dāng)降低PCA提取的特征維數(shù)，亦即Re較高時，LDA訓(xùn)練的時間更短，同時分類性能也更好．

表3 PCA+LDA識別結(jié)果

2.3 與現(xiàn)有算法的對比

從表4可以看出，本文提出的步態(tài)特征的識別效果比GFI特征和FG特征均有提高．GFI特征是計(jì)算相鄰兩幀二值化輪廓圖像的光流信息，并且把特征進(jìn)行二值化來表達(dá)步態(tài)，只能區(qū)分有運(yùn)動和無運(yùn)動區(qū)域，而本文提出的算法則是對原始圖像計(jì)算光流，能夠提供人體區(qū)域內(nèi)所有像素點(diǎn)的運(yùn)動情況，且綜合了光流強(qiáng)度和方向信息，使識別率得到大幅提升．FG特征是對二值化輪廓序列進(jìn)行傅里葉變換得到的步態(tài)在頻域上的特征，從表4可以看出，同樣考慮頻域分析的FG特征比本文提出的FGF特征略差，這是因?yàn)镕G只考慮了二值化的輪廓信息．

表4 算法對比

3 結(jié) 語

本文提出了一種基于密集光流的步態(tài)特征提取算法，對比現(xiàn)有基于輪廓的步態(tài)特征，能夠提供每個時刻步態(tài)圖像所具有的豐富的動態(tài)信息，用動態(tài)信息來表達(dá)步態(tài)在時間維度上的變化．通過綜合光流強(qiáng)度和方向信息，能夠提高識別率，對光流各個分量進(jìn)行比較，得出光流強(qiáng)度分量，也就是人體區(qū)域運(yùn)動的幅值強(qiáng)度，能夠提供比運(yùn)動方向更具辨別力的特征．實(shí)驗(yàn)結(jié)果表明利用光流能量圖可以達(dá)到較好的分類效果．

基于本文所提出的步態(tài)特征提取與識別框架，對各部分所用算法進(jìn)行深入研究和改進(jìn)，還可以進(jìn)一步提高識別效率．比如研究更可靠的光流計(jì)算方法．由于基于光流的步態(tài)識別的基礎(chǔ)就是光流信息，現(xiàn)有的光流算法對大尺度運(yùn)動和非剛體運(yùn)動的光流計(jì)算存在不足，因此研究更魯棒的光流計(jì)算方法可以為步態(tài)光流特征的準(zhǔn)確描述提供幫助，進(jìn)而提高步態(tài)識別率．本文所采用的特征是把整個光流能量圖作為高維特征向量進(jìn)行處理，再通過PCA、LDA方法進(jìn)行降維．可以參照傳統(tǒng)圖像學(xué)的一些方法，人為構(gòu)造光流能量圖中的低維有效特征，比如采用直方圖描述光流能量圖的統(tǒng)計(jì)特征，或提取穩(wěn)定特征點(diǎn)及其描述子作為光流能量圖的特征．

[1] 孫倩茹,王文敏,劉 宏. 視頻序列的人體運(yùn)動描述方法綜述[J]. 智能系統(tǒng)學(xué)報, 2013, 8(3):189-198.

SUN Qian-ru, WANG Wen-min, LIU Hong. Study of human action representation in video sequences [J]. CAAI Transactions on Intelligent Systems, 2013, 8(3):189-198. (in Chinese)

[2] Park U, Jain A K, Kitahara I,etal. ViSE:Visual search engine using multiple networked cameras [C]// Proceedings - 18th International Conference on Pattern Recognition, ICPR 2006. Piscataway:IEEE, 2006:1204-1207.

[3] WANG Xiao-gang, Doretto G, Sebastian T,etal. Shape and appearance context modeling [C] // 2007 IEEE 11th International Conference on Computer Vision, ICCV. Piscataway:IEEE, 2007:4409019.

[4] Hamdoun O, Moutarde F, Stanciulescu B,etal. Person re-identification in multi-camera system by signature based on interest point descriptors collected on short video sequences [C] // 2008 2nd ACM/IEEE International Conference on Distributed Smart Cameras, ICDSC 2008. Piscataway:IEEE Computer Society, 2008:4635689.

[5] Murray M P, Drought A B, Kory R C. Walking patterns of normal men [J]. Journal of Bone and Joint Surgery, 1964, A2(46):335-360.

[6] Murray M P. Gait as a total pattern of movement:including a bibliography on gait [J]. American Journal of Physical Medicine & Rehabilitation, 1967, 46(1):290-333.

[7] Lee L, Grimson W E L. Gait analysis for recognition and classification [C] // Proceedings - 5th IEEE International Conference on Automatic Face Gesture Recognition, FGR 2002. Piscataway:IEEE Computer Society, 2002:155-162.

[8] Yam C Y, Nixon M S, Carter J N. Automated person recognition by walking and running via model-based approaches [J]. Pattern Recognition, 2004, 37(5):1057-1072.

[9] Foster J P, Nixon M S, Prügel-Bennett A. Automatic gait recognition using area-based metrics [J]. Pattern Recognition Letters, 2003, 24(14):2489-2497.

[10] Collins R T, Gross R, Shi J. Silhouette-based human identification from body shape and gait [C] // Proceedings - 5th IEEE International Conference on Automatic Face Gesture Recognition, FGR 2002. Piscataway:IEEE Computer Society, 2002:366-371.

[11] Sarkar S, Phillips P J, Liu Z,etal. The humanID gait challenge problem:data sets, performance, and analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2):162-177.

[12] Kusakunniran W, Wu Q, Li H,etal. Automatic gait recognition using weighted binary pattern on video [C] // 6th IEEE International Conference on Advanced Video and Signal Based Surveillance, AVSS 2009. Piscataway:IEEE Computer Society, 2009:49-54.

[13] Lam T H W, Cheung K H, Liu J N K. Gait flow image:A silhouette-based gait representation for human identification [J]. Pattern Recognition, 2011, 44(4):973-987.

[14] Makihara Y, Sagawa R, Mukaigawa Y,etal. Gait recognition using a view transformation model in the frequency domain [C] // Computer Vision-ECCV 2006, 9th European Conference on Computer Vision, Proceedings. Graz:Springer Verlag, 2006:151-163.

[15] Center for Biometrics and Security Research, Institute of Automation, Chinese Academy of Sciences. CASIA Gait Database B [DB/OL]. [2015-03-30]. http://www.sinobiometrics.com.

[16] Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction [C] // Proceedings of the 17th International Conference on Pattern Recognition, ICPR 2004. Piscataway:IEEE, 2004:28-31.

[17] Farneb?ck G. Two-frame motion estimation based on polynomial expansion [C] // Image Analysis. Berlin:Springer Berlin Heidelberg, 2003:363-370.

Dense optical flow-based gait recognition

SHANG Lei, ZHANG Yu*, LI Ping

( College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China )

As a biological feature, gait has great application prospect in many fields, such as video surveillance, behavior analysis and so on. The key point of extracting gait feature is to describe the change pattern of gait both in spatial and temporal dimensions. The proposed gait feature extracting algorithm is based on dense optical flow. Dense optical flow can offer the intensity and orientation of human motion of each point in the subject region, which is the feature of a single frame. Synthesizing the features of each frame in one gait cycle can obtain the feature of a gait cycle. The dimension of gait feature is reduced by principal component analysis (PCA) and linear discrimination analysis (LDA). Then, the subjects are classified by support vector machine (SVM) to verify the classification ability of the extracted feature. The experimental results show that the proposed algorithm uses the optical flow feature to offer rich dynamic information, which can describe gait′s change in temporal dimension well, and is proved to have a better recognition performance compared with the other gait representations.

gait recognition; background subtraction; dense optical flow; dimensionality reduction

1000-8608(2016)02-0214-07

2015-10-30；

2016-01-11．

國家自然科學(xué)基金青年基金資助項(xiàng)目(61005085)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(2012QNA4024).

商 磊(1991-)，男，碩士生，E-mail:shanglei@zju.edu.cn；張 宇*(1980-)，男，博士，講師，E-mail:zhangyu80@zju.edu.cn；李 平(1954-)，男，博士，教授.

TP391.4

A

10.7511/dllgxb201602016