基于質(zhì)心和輪廓關(guān)鍵點的步態(tài)識別

陳 玲，楊天奇

CHEN Ling,YANG Tianqi

暨南大學(xué) 信息科學(xué)技術(shù)學(xué)院，廣州510632

College of Information Science and Technology,Jinan University,Guangzhou 510632,China

1 引言

步態(tài)作為一種新型的身份識別手段，相比于指紋、虹膜、臉相等生物特征，具有可遠距離感知，低分辨率獲取，非侵犯性，無需配合的識別條件，更加適用于安全敏感場合對智能非接觸式遠距離的身份識別的要求。

步態(tài)識別通常包括步態(tài)運動檢測、步態(tài)特征提取和特征識別3 個過程。其中，步態(tài)特征提取是步態(tài)識別技術(shù)的關(guān)鍵，主要分為兩類：一類是基于模型的方法，如Cunado 等[1]將大腿建模為鐘擺，從其傾斜角度信號的頻率分量獲取步態(tài)特征；Yoo 等[2]根據(jù)解剖學(xué)的知識，構(gòu)建2D 人體桿狀模型，將步態(tài)序列中的所有桿狀模型連接起來構(gòu)成步態(tài)模式?；谀Ｐ偷姆椒ㄍǔＲ螳@取到清晰的步態(tài)序列，并經(jīng)過復(fù)雜的計算構(gòu)建模型方可取得良好的識別性能，而且當身體出現(xiàn)自遮擋現(xiàn)象時識別率明顯下降。第二類是基于非模型的方法，如Han 等[3]提出步態(tài)能量圖（GEI）來反映側(cè)影形狀的變化，該算法對噪聲更具魯棒性，但是不足以反映連續(xù)幀之間的動態(tài)變化，丟失了一部分步態(tài)信息；王亮等[4]提出一種基于輪廓的解卷繞步態(tài)識別算法，用輪廓組成點到人體質(zhì)心之間的連線來表達步態(tài)特征，這種方法依賴于人體整體輪廓形狀隨時間的變化，在衣著或是擺臂姿態(tài)發(fā)生變化時，對識別率有一定的影響。陳欣等[5]提出的基于質(zhì)心的步態(tài)識別算法，將質(zhì)心的波動作為步態(tài)特征，利用頻譜分析質(zhì)心運動軌跡識別個體，取得了較高的識別率且計算代價小，但是質(zhì)心作為唯一特征容易受到噪聲的干擾，且在樣本數(shù)量增加的情況下容易出現(xiàn)質(zhì)心波動的相似性，導(dǎo)致識別難度的增加。

基于以上的研究，本文提出一種將人體質(zhì)心特征和輪廓特征相結(jié)合表示步態(tài)的識別算法。在運動檢測階段，通過時間差分法對實際目標進行檢測，得到運動目標的二值化圖像；在步態(tài)表征階段，將人體質(zhì)心高度，質(zhì)心到頭頂?shù)木嚯x，質(zhì)心到雙足邊緣的距離組成一個四維向量，用它來表征一個步態(tài)姿勢。步態(tài)序列可以看作是一組靜態(tài)姿勢所組成的模式，模式隨時間的變化可以唯一表示個體的步態(tài)。在步態(tài)識別階段，由于行人行走速率等差別，測試序列與樣本序列的時間尺度一般不同，為了解決這一問題，采用動態(tài)時間規(guī)整（DTW）對存在全局或局部擴展、壓縮或變形的模式進行匹配。實驗在中科院標準CASIA 步態(tài)數(shù)據(jù)庫上取得了較高的識別率，對視角不敏感，并且對衣著具有一定的魯棒性。

2 步態(tài)運動檢測

在對目標的檢測跟蹤環(huán)節(jié)中，先將原始視頻圖像轉(zhuǎn)換為單通道灰度圖像，再進行高斯濾波平滑圖像，最后類似文獻[6]采用三幀差分轉(zhuǎn)換為二值圖，計算如下：

式中，Tn(x)表示像素位置x處所具有統(tǒng)計意義的描述灰度變化的閾值，當某像素位置x處的灰度值In(x)相對于上一幀In-1(x) 和上兩幀In-2(x) 都有較大的變化時，認為該點像素屬于運動目標，這樣將運動目標從背景中分離出，重復(fù)操作即得到一系列前景目標圖像。

由于行走狀態(tài)的不穩(wěn)定性，目標不可能總與攝像機保持固定距離，所以此時提取的前景目標圖像序列中不同幀之間的人體側(cè)影大小是有差別的，不能直接用來提取步態(tài)特征，必須先對目標高度進行歸一化。具體方法如下：假設(shè)P(i)為視頻序列中第i幀只包含人體部分的矩形區(qū)域，其大小為m×n，利用雙線插值將P(i)進行等比例縮放，縮放之后的圖像高度為M，將序列中的所有幀進行同樣處理，獲得歸一化的人體區(qū)域圖像序列NormP，則NormP中所有圖像的高度為M。歸一化后的前景目標圖像如圖1 所示。

圖1 運動目標檢測與高度歸一化

步態(tài)實驗[7]證明步態(tài)運動具有準周期性的特點，所以提取出步態(tài)視頻中的單個周期進行步態(tài)分析，不但能完全表示一個人行走的步態(tài)特征，而且可以減少運算量和時間開銷。常用檢測周期的方法有：使用人體寬度向量變化[8]，人體下半身部分像素點的數(shù)目大小隨時間的變化曲線[9]，人體寬高比的變化[10]等。但上述方法計算過于復(fù)雜，本文直接用人體步長的周期性變化來確定步態(tài)序列的周期，圖2 表示一個步態(tài)序列中目標個體的步長變化。

圖2 步長隨時間的變化

圖2 中橫坐標為序列幀數(shù)，縱坐標為步幅大小，波峰表示雙側(cè)下肢的足跟同時著地的情況。步態(tài)周期定義為同一只腳連續(xù)兩次足跟觸底的時間間隔[11]，圖中3個連續(xù)波峰之間的時間長度即為一個步態(tài)周期。

3 質(zhì)心與輪廓特征參數(shù)提取

人體質(zhì)心是指人體各部分合重力的作用點。人在行走過程中，由于人體姿勢不停地發(fā)生改變，人體的重心也在不停地發(fā)生變化。研究[12-13]證明根據(jù)人體質(zhì)心的運動軌跡可以判斷人的步態(tài)，但僅靠質(zhì)心的波動信號來識別個體仍不夠完善。研究[4]發(fā)現(xiàn)基于步態(tài)的身份識別很大程度上依賴于人體輪廓形狀隨著時間的變化，可以用人體輪廓邊界到人體質(zhì)心的距離信號來表示步態(tài)姿勢。這種方法計算量大，而且人體外形著裝的變化很容易干擾人體輪廓的獲取，從而造成較大的誤差。通過實驗表明[14]，利用步態(tài)識別個體很大程度上是依靠人體的靜態(tài)特征，例如人的身高、肢體長度等，和人體下半身尤其是雙足相對位置的變化，雙足相對位置的周期性變化引起了人體輪廓的周期性變化。結(jié)合上述研究成果，本文提取的特征為：（1）人體質(zhì)心高度，質(zhì)心的變化可以反應(yīng)人體各個組成部分的相對變化；（2）質(zhì)心到頭頂?shù)木嚯x，頭頂作為一個受外界影響較小并且隨著步態(tài)成周期性波動的點，與質(zhì)心的距離一方面可以反映行走模式的變化，另一方面可以側(cè)面反映個體的身高；（3）質(zhì)心到左足邊緣的距離；（4）質(zhì)心到右足邊緣的距離，雙足變化作為步態(tài)變化的決定性因素，提取其相關(guān)參數(shù)能夠很好的反映行走的姿勢變化。

對步態(tài)圖片序列提取特征參數(shù)的步驟如下：

（1）確定單幀圖像中質(zhì)心和輪廓關(guān)鍵點的位置。人體的運動區(qū)域獲取以后，基于連通性的邊界跟蹤算法用于獲取它的輪廓。掃描輪廓點，容易獲得輪廓最頂端、最左端和最右端的邊緣點，分別記為頭頂邊緣點(xh,yh)，左足邊緣點(xl,yl) 和有右足邊緣點(xr,yr)。這里需要注意的是，輪廓的左右邊緣點的提取容易受到衣物或是臂擺的干擾，所以左右足關(guān)鍵點的提取限制在人體輪廓底部向上的1/4 區(qū)域內(nèi)。質(zhì)心根據(jù)輪廓點平均計算：

式中，(x,y)表示人體某一像素點的坐標，N表示人體區(qū)域像素點總個數(shù)，(xc,hc)表示人體質(zhì)心位置。

（2）單幀圖像特征參數(shù)的提取。圖像的特征參數(shù)可以表示為：tm(i)=[hc;dhc;dlc;drc]，tm(i)表示i號個體第m幀圖像的步態(tài)特征向量，hc為質(zhì)心高度，dhc、dlc和drc分別表示質(zhì)心到頭頂、左足和右足關(guān)鍵點的距離。距離的計算如式（3）所示，doc表示質(zhì)心與輪廓關(guān)鍵點之間的距離，(xo,yo)表示關(guān)鍵點的坐標。圖3 分別是0°、54°和90°視角下提取了步態(tài)參數(shù)的單幀二值化人體圖像。

圖3 不同視角下的特征參數(shù)提取情況

（3）獲取目標運動序列的步態(tài)特征。運動序列的步態(tài)特征可以由一個步態(tài)周期內(nèi)所有圖像幀的特征參數(shù)組合而成，可以表示為：

其中，T(i)表示i號個體一個周期內(nèi)的整體步態(tài)特征，tm(i)是i號個體第m幀圖像的步態(tài)特征向量，M表示周期內(nèi)的圖像總幀數(shù)。

4 動態(tài)時間規(guī)整算法

在步態(tài)識別中，由于樣本行走速率的不確定性，一個周期內(nèi)步態(tài)圖像幀數(shù)不完全相同，這使得提取出的特征參數(shù)長度不一，為了能夠?qū)Υ嬖谌只蚓植繑U展、壓縮或變形的模式進行匹配，解決動態(tài)模式的相似性度量和分類問題，選擇柔性模式匹配算法——動態(tài)時間規(guī)整（DTW）[15-16]來進行步態(tài)模式的匹配。

假設(shè)測試的步態(tài)序列為：T=[t1,t2,…,tm,…,tM]，數(shù)據(jù)庫中的模板步態(tài)序列為：R=[r1,r2,…,rn,…,rN]，參考模版和測試模版的每個分量可以是一個數(shù)或者是一個多維向量，M不一定等于N，但是每個分量的維數(shù)應(yīng)該相同。將測試模板和參考模板的分量號分別在坐標系的橫軸和縱軸標出，構(gòu)成一個M×N的網(wǎng)格。網(wǎng)格中的任何一個交叉點(m,n)表示測試模板的特征分量tm和參考模板的特征分量rn相交，交叉點的值定義為tm和rn的失真度D(tm,rn)，單個矢量之間的失真度可用歐式距離計算：D(tm,rn)=(tm-rn)2。網(wǎng)格如圖4 所示。

圖4 測試模板和參考模板的失真度網(wǎng)格

動態(tài)時間規(guī)整算法歸結(jié)為找一條通過網(wǎng)格一系列交叉點的最佳路徑，使得該路徑上所有交叉點的失真度總和達到最小。考慮到行走的實際情況，上述搜索過程中的路徑選擇并不是任意的。首先，雖然行走速率會有所改變，但是步態(tài)各個部分的先后次序不可能顛倒，因此上述路徑必然始于網(wǎng)格左下角，終于網(wǎng)格右上角；其次，步態(tài)是一個連續(xù)的行為，必須保證特征向量匹配的連續(xù)性，不能跨過某個格點去匹配；最后，為了防止盲目的搜索，一般不容許向橫軸或縱軸過分傾斜，一般規(guī)定路徑中各點處斜率的最大值為2，最小值為1/2，圖5 所示的外邊框平行四邊形說明了DTW 的搜索范圍。

圖5 動態(tài)時間規(guī)整路徑搜索范圍

為了描述DTW 路徑上交叉點的關(guān)系，定義函數(shù)Ι[(mi,ni)]為當前點(mi,ni)的前一個網(wǎng)格點，根據(jù)上述搜索限制，Ι[(mi,ni)]必須滿足以下條件之一：

定義路徑代價函數(shù)λ[(mi,ni)]，表示從網(wǎng)格起始點出發(fā)到當前點(mi,ni)的各點失真度累計值，根據(jù)以上約束，得出如下遞推公式：

由公式（6），即可計算出長度不同的測試序列T和模板序列R之間的最小失真度累計和D(T,R)=λ[(M,N)]，求得動態(tài)規(guī)整算法的最佳匹配路徑。

5 步態(tài)識別實驗

本文在MATLAB環(huán)境下進行實驗仿真，采用中科學(xué)院自動化（CASIA）步態(tài)數(shù)據(jù)庫中的Database B。Database B 是一個大規(guī)模、多視角的步態(tài)庫，共有124 個人，每個人有11 個視角（0°，18°，36°，…，180°），分別在3 種行走狀態(tài)下（普通、穿大衣、攜包）采集，在相同視角下，每個人在第一種行走狀態(tài)下有6 個圖像序列，其他狀態(tài)下各兩個序列，每個視頻序列包含2～3 個步態(tài)周期，這些彩色視頻序列的幀率是25 幀/s，圖像尺寸為320×240，長度也都在100 幀左右。本文實驗基于Database B 中的124 人，每人選取3 個視角（0°正面視角、54°斜面視角和90°側(cè)面視角），每個視角3 種行走狀態(tài)（普通、穿大衣、挎包）。為了驗證本文特征選取方法對身份識別有效性和對外在服飾攜帶物等因素的魯棒性，對每個視角下的行人選取一個普通狀態(tài)下的步態(tài)序列作為模板序列，再分別選取兩個普通狀態(tài)、大衣狀態(tài)和攜包狀態(tài)的步態(tài)序列作為測試序列、匹配模板序列和測試序列的來識別待測步態(tài)的類別。

5.1 步態(tài)特征的提取及識別

圖6、圖7，表1、表2 分別選取了4 號個體和1 號個體在90°視角下部分幀的步態(tài)特征提取圖和與之對應(yīng)的特征參數(shù)值。

圖6 4 號個體的特征參數(shù)提取圖

圖7 1 號個體的特征參數(shù)提取圖

表1 4 號個體特征參數(shù)值

表2 1 號個體的特征參數(shù)值

由以上圖表可知，不同個體歷經(jīng)相似步態(tài)姿勢時，特征參數(shù)之間顯示出顯著差異性。通過測試序列和模板序列一個周期內(nèi)全部圖像幀的參數(shù)匹配，即可識別出待測個體的身份。

測試序列和模板序列的失真度定義為測試序列和模板序列在一個周期內(nèi)所有幀數(shù)的參數(shù)向量的自動時間規(guī)整距離，步態(tài)序列之間失真度越小，說明步態(tài)越相似。表3 選取了90°視角下，4 個目標的運用DTW 算法得出的匹配度。從表中不難看出，除了待測序列中2 號個體在背包情況下的識別結(jié)果有誤，其他個體在普通狀態(tài)、背包狀態(tài)和大衣狀態(tài)均能正確分類，其匹配度明顯小于其他類別的匹配度。2 號個體在背包狀態(tài)下的測試序列與2 號個體模板序列的匹配度為199.03，略高于和4 號模板序列的匹配度195.97，這可能是由于預(yù)處理或特征提取階段的不確定因素引起的噪聲導(dǎo)致的偏差。

表3 4 個目標個體在不同行走狀態(tài)下的失真度

5.2 實驗結(jié)果分析

為了評價分類結(jié)果，引入正確分類率CCR（Correct Classification Rate）作為評價指標。運用自動時間規(guī)整（DTW）算法將不同角度和行走狀態(tài)下的測試序列和124 個模板序列進行匹配，得出與測試序列距離最小的模板序列的類別，識別為此次測試序列的類別。公式（7）可以定義正確分類率CCR，表4 為使用本實驗選取的步態(tài)特征進行DTW 識別后的正確分類率。

由表4 可知，視角和行走狀態(tài)的不同組合得到算法的識別率在85.23%～98.72%之間，算法綜合識別率為91.57%，說明對目標提取的步態(tài)特征是有效的。在正常的行走狀態(tài)下，算法的識別率最高；在0°視角穿大衣行走的狀態(tài)和90°視角背包行走的狀態(tài)識別率略低。

表4 不同視角和行走狀態(tài)下的步態(tài)識別率CCR %

5.3 算法性能和時間對比

有很多研究步態(tài)特征提取和識別的算法，本文選取3 種算法進行準確性比較：只提取人體輪廓為特征[4]；只采用人體質(zhì)心[17]；以人體區(qū)域所有像素點為特征，采用自動時間規(guī)整算法對特征進行識別[18]。由于這些算法通常是在各自的數(shù)據(jù)庫上評估性能，不同數(shù)據(jù)庫獲得的算法識別率可比性不大，所以在不同算法的數(shù)據(jù)庫中相應(yīng)實現(xiàn)了本文的算法，評價指標取該算法同等狀態(tài)和視角下的綜合最佳識別率，如表5 所示。

表5 算法性能比較

本文對單幀圖像定位質(zhì)心和輪廓關(guān)鍵點，將單幀圖像的步態(tài)模式簡化成了一個四維的向量，相比于其他的步態(tài)特征諸如光流[19]、自相關(guān)圖[20]等更加易于實現(xiàn)，自然也減少了計算代價。表6 給出了一些步態(tài)識別算法的時間代價。

表6 計算時間比較

6 結(jié)論及展望

本文提出了一種簡單的步態(tài)識別方法，利用質(zhì)心高度和質(zhì)心到人體輪廓關(guān)鍵點的距離4 個參數(shù)來有效地表示單幀圖像步行姿勢，特征向量的波動表示步行姿勢的變化。這種方法對噪聲不敏感，即使圖像內(nèi)部有噪聲或者中空，只要圖像足部和頭部邊緣的關(guān)鍵點獲取準確，依然具有較高的識別率。今后將進一步改進算法，提高某些固定視角和行走狀態(tài)的識別率，同時增加新的視角和行走狀態(tài)來驗證新算法，并根據(jù)算法思想著手搭建能夠投入實際應(yīng)用的步態(tài)識別系統(tǒng)。

[1] Cunado D，Nixon M S，Carter J N.Using gait as a biometric，via phase-weighted magnitude spectra[C]//Proceedings of Audio-and Video-based Biometric Person Authentication，1997.

[2] Yoo J H，Nixon M S，Harris C J.Extracting gait signatures based on anatomical knowledge[C]//Proceedings of BMVA Symposium on Advancing Biometric Technologies，2002.

[3] Han J，Bhanu B.Individual recognition using gait energy image[J].Pattern Analysis and Machine Intelligence，2006，28（2）：316-322.

[4] 王亮，胡衛(wèi)明，譚鐵牛.基于步態(tài)的身份識別[J].計算機學(xué)報，2003，26（3）：353-360.

[5] 陳欣，楊天奇.不受服飾攜帶物影響的步態(tài)識別方法[J/OL].計算機工程與應(yīng)用（2014-08-15）[2014-12-31].http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1403-0167.html.

[6] Collins R T.A system for video surveillance and monitoring[D].Pittsburg：Carnegie Mellon University，2000.

[7] Stevenage S V，Nixon M S，Vince K.Visual analysis of gait as a cue to identity[J].Applied Cognitive Psychology，1999，13（6）：513-526.

[8] Cutler R，Davis L S.Robust real-time periodic motion detection，analysis，and applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：781-796.

[9] Sarkar S.The humanid gait challenge problem：Data sets，performance，and analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（2）：162-177.

[10] 曾瑩.基于角度及輪廓特征的步態(tài)識別方法研究[D].長沙：中南大學(xué)，2008.

[11] Jain A K，Bolle R，Pankanti S，et al.Biometrics：Personal identification in networked society[M].Berlin Heidelberg：Springer，1999.

[12] Pogorelc B，Bosni? Z，Gams M.Automatic recognition of gait-related health problems in the elderly using machine learning[J].Multimedia Tools and Applications，2012，58（2）：333-354.

[13] 丁浩，蔣俊平，李振建.行走過程中人體重心軌跡數(shù)學(xué)模型的建立[J].江蘇警官學(xué)院學(xué)報，2009（6）：167-170.

[14] Amin T，Hatzinakos D.Determinants in human gait recognition[C]//Proceedings of the 25th IEEE Canadian Conference on Electrical & Computer Engineering（CCECE），2012.

[15] Müller M.Dynamic time warping[J].Information Retrieval for Music and Motion，2007（1）：69-84.

[16] Berndt D J，Clifford J.Using dynamic time warping to find patterns in time series[C]//Proceedings of the KDD Workshop，1994，10：359-370.

[17] 余濤，鄒建華.基于Bayes 規(guī)則與HMM 相結(jié)合的步態(tài)識別方法研究[J].計算機學(xué)報，2012，35（2）：386-396.

[18] Boulgouris N V，Plataniotis K N，Hatzinakos D.Gait recognition using dynamic time warping[C]//Proceedings of the IEEE 6th Workshop on Multimedia Signal Processing，2004：263-266.

[19] Hayfron-Acquah J B，Nixon M S，Carter J N.Automatic gait recognition by symmetry analysis[J].Pattern Recognition Letters，2003，24（13）：2175-2183.

[20] BenAbdelkader C，Cutler R，Nanda H，et al.Eigengait：Motion-based recognition of people using image selfsimilarity[M]//Audio-and Video-Based Biometric Person Authentication.Berlin Heidelberg：Springer，2001：284-294.

[21] Dupuis Y，Savatier X，Vasseur P.Feature subset selection applied to model-free gait recognition[J].Image and Vision Computing，2013，31（8）：580-591.