基于幀差能量圖遺傳算法的自遮擋步態(tài)識別

唐春林

(廣東郵電職業(yè)技術(shù)學院，廣東廣州 510630)

1.步態(tài)識別簡介

步態(tài)識別是模式識別領(lǐng)域中的一種新的生物特征識別技術(shù)，旨在通過人的行走方式識別人的身份，包括人的生理或行為特征等。自動識別身份的需求在許多領(lǐng)域持續(xù)增長，如監(jiān)控、出入境管理、智能接口等［1］。眾所周知，生物特征識別是一種可靠的、強有力的可以自動識別身份的工具，現(xiàn)有的基于生物特征的識別技術(shù)不僅包括指紋、手形等識別方法，還包括人臉識別、虹膜識別等方法［2］。然而，這些方法或者是侵入型的，或者僅限于非限制環(huán)境下，因此，目前的人臉識別技術(shù)能夠僅僅識別正臉或者接近整個正臉的圖像。當在自然條件下識別人的身份，如在戰(zhàn)略區(qū)中實施自動監(jiān)控識別身份時，生物識別技術(shù)(例如指紋或虹膜)便不再適用［3-5］。此外，借助于這種生物特征在夜間進行人身份識別(監(jiān)控中的一個重要成分)通常是不可能的。然而，通過人的“步態(tài)”可以克服上述生物識別特征的不足之處，作為一種生物識別特征，步態(tài)的優(yōu)勢之處在于它的非侵入性，并且它是某個人專屬的典型動態(tài)特征［6-8］。

步態(tài)周期［9］指一只腳從最初腳與地板接觸(足跟著地)到下一次著地之間的時間間隔，從一只腳足跟著地開始，標志著支撐相的開始，腳跟著地標志著步態(tài)周期的終止。如圖1所示為整個步態(tài)周期，腳踝彎曲使腳平放在地面上，身體重量便轉(zhuǎn)移到腳上。當腳跟離地，另一條腿便擺動到前邊，當身體重量轉(zhuǎn)移到另一只腳時，支撐它的膝蓋便彎曲。位于后邊的腳的其余部分離地便結(jié)束了支撐相。擺動相始于腳尖離地。身體重量便轉(zhuǎn)移到另一條腿上，它向前擺動在另一只腳前方接地。

圖1 步態(tài)周期

文獻［2］提出特征提取取決于多線性投射，它可采集到原始的大部分張量輸入變化?；诙嗑€性主元分析的張量目標識別框架已應(yīng)用到步態(tài)識別中。文獻［3］提出了步態(tài)表示法和識別二元輪廓的Randon變換。文獻［4］在運用異常2D特征、3D特征的基礎(chǔ)上提出了一種新型步態(tài)鑒別和認證方法。此外，遺傳算法用于從不同特征提取融合信息。文獻［6］提出將Garbor步態(tài)方法、常規(guī)張量判別分析方法與線性判別分析結(jié)合用于步態(tài)識別。文獻［7］提出了一種稱作步態(tài)能量圖的新的空間時間步態(tài)識別方法，通過描繪人類行走特征的步態(tài)進行身份識別。文獻［9］探索了基于矩陣表現(xiàn)法的步態(tài)識別，它是一種監(jiān)督式算法——張量判別分析用于進一步提高分類策略。文獻［10］闡述了一種基于隱馬爾科夫模型的新型模型，與特征相模型一起改正了從影子或背景減除法產(chǎn)生的檢測輪廓的一般錯誤。文獻［11］提出一種基于視野利用步態(tài)來識別人身份的方法，為從圖像特征得到觀察向量，采用了間接和直接的方法。文獻［12］提出利用統(tǒng)計形狀分析這樣一種簡單有效的自動步態(tài)識別算法。文獻［13］提出動態(tài)步態(tài)能量圖和流形學習的步態(tài)識別方法。動態(tài)步態(tài)能量用于提取運動體輪廓的動態(tài)變異部分，它與行走序列中步態(tài)平均圖像相對應(yīng)。

2 基于幀差能量圖的遺傳算法

基于上述分析，為了更好地在自遮擋步態(tài)識別中進行特征提取，提出了基于遺傳算法的自遮擋步態(tài)識別方法，所提方法的流程圖如圖2所示。首先，從視頻序列中分割出的輪廓有噪聲，需要進一步處理，于是，采用數(shù)學形態(tài)學圖像處理來填平空洞及消除噪聲，接著，利用一種稱作幀差能量圖像的新型步態(tài)模式表現(xiàn)法將不完整的步態(tài)圖像補充完整，最后，將自遮擋特征從輪廓圖像序列中提取出來。

圖2 自遮擋步態(tài)識別流程圖

2.1 預(yù)處理

輪廓提取:如圖3所示，輪廓通常是通過找出背景與目前圖像的不同之處或者通過分組光流提取連貫的動作。

圖3 輪廓提取

1)消噪。檢測到的部分不可避免地會產(chǎn)生偽像素，運動的物體內(nèi)部也會產(chǎn)生空洞或其他不規(guī)則現(xiàn)象，如腐蝕、膨脹等，數(shù)學形態(tài)學圖像處理已廣泛應(yīng)用在消除偽像素及填充提取出的輪廓中的小洞上。

2)獲得不完整的輪廓。步態(tài)識別依靠兩種類型的信息:形狀信息(靜態(tài)信息)、動態(tài)信息。形狀信息指外貌，例如身高、寬度、身體各部分比例，頭發(fā)，聳肩駝背情況、穿著，攜帶包裹或球等，一些形狀信息在人行走過程中保持不變或相近，從單幀提取的信息屬于形狀信息。動態(tài)信息描述了人體動作變化的特征，不包含下列底層結(jié)構(gòu)，例如，人體下肢關(guān)節(jié)軌跡，從光流得到的動作特征形狀等。

3)計算步態(tài)能量圖。步態(tài)能量圖是一種有效步態(tài)表現(xiàn)方案，它對分段錯誤辨別力強且具有魯棒性。它為識別身份節(jié)省了存儲空間和計算時間，并且在單幀下對輪廓噪聲不敏感。步態(tài)能量圖可定義如下

式中:N為每周期幀數(shù);t為本周期幀的序列數(shù);B(x，y)為時間t的輪廓圖像;G(x，y)為步態(tài)能量圖像。

3)構(gòu)建幀差能量圖。B(x，y，t)的幀差能量圖表示如下

式中:B(x，y，(t－1))為本周期最終的幀;B(x，y，t)為t時刻的輪廓圖像。

圖4所示為不完整的輪廓示例，圖5所示為圖4中輪廓前面的幀，圖6所示為圖4中輪廓的幀差能量圖。

圖4 不完整輪廓示例

圖5 對應(yīng)于第一排輪廓的前面的幀

圖6 第一排輪廓的幀差能量圖

2.2 提取特征

在前面的處理步驟之后，接下來從輪廓圖像序列中提取自遮擋特征。一般情況下，先前不知道3D場景，僅靠It圖像不能確定物體在時間t的遮擋或自遮擋。在一般跟蹤場景中，沒有3D場景信息。然而，遮擋(自遮擋和遮擋去除)可以通過觀察者在運動過程中從不同觀測點觀測到的多重圖像得到部分解決。以一個正在運動并且形狀不斷變化的物體為例，預(yù)先對時間t和時間t+1投射到成像平面的物體作判斷，便可以輕而易舉地應(yīng)用于確定遮蔽區(qū)域Ot。

自遮擋Ot－1以深色圈表示，自我遮擋去除Dt－1以淺色圈表示，兩者皆呈現(xiàn)在圖7中。

圖7 自遮擋呈現(xiàn)

實際上，原則是遮擋的區(qū)域Ot是Rt的子集，它并不對應(yīng)于It+1中的某個區(qū)域。這包括遮擋和自遮擋，給出Rt和It+1原先沒有看到物體便無法得出物體的遮擋去除和自遮擋去除。如果投射到成像平面上的物體的一部分在時間t+1進入視域，并且先前沒有觀察到，那么便無法確定新進入視野的部分是不是所關(guān)注物體的一部分，是另外一個物體或是物體沒有附加假定的背景。自遮蔽步態(tài)模型示例顯示在圖7中。

自遮擋步態(tài)模型的詳細步驟如下:

1)如圖8所示，從最開始的幀，物體便被分割成區(qū)段，通過后續(xù)幀確定物體的確切形狀，即從當前的模板到下一幀的物體(同時可檢測到自遮擋)，在大規(guī)模變形或運動時有效。

2)通過消除自遮擋部分更新變形的模板。

圖8 自遮擋步態(tài)示例

3)檢測到自遮擋消除(在當前幀進入視野的物體的部分)，模板得到更新。

4)外貌改變也考慮在內(nèi)，通過非線性觀察者進行有效的外貌過濾，模板得到更新。

5)在最新更新的模板和下一幀重復(fù)步驟2)至步驟4)。

2.3 利用遺傳算法識別步態(tài)

遺傳算法處理的數(shù)據(jù)是字符串的集合(群體)，每個字符串有自己的適合值，該值由搜索空間內(nèi)對應(yīng)點的目標函數(shù)值決定，基于適合值，遺傳算法決定當代每個字符串的概率，這些字符串將由遺傳算子處理并產(chǎn)生后代。遺傳算法中共有3個基因算子:選擇算子、交叉算子和變異算子?；谧址倪m合值，選擇算子、選擇要進行交叉和變異的字符串(為復(fù)制而作出的選擇)，在生成的后代及當代字符串中將組成下一代的字符串(為替代而作出的選擇)。機濾為pc的2個選擇字符串在交叉站點進行交叉，該站點是隨機選取的，交叉的目的是通過交換好的解決方案中的有效信息產(chǎn)生更好的解決方案。變異在0～1區(qū)間內(nèi)機濾為pm時，改變了隨機選定的站點值。通過在群體中引入額外的變動，可以在保持多樣性的前提下繼續(xù)基因搜索。這3個算子連續(xù)用于產(chǎn)生下一代，選擇的進化周期基因微擾重復(fù)進行，直到滿足終止條件為止。

3 實驗

所有的實驗均在配置有2.99 GHz主頻、4 Gbyte RAM的PC機上完成，編程環(huán)境為MATLAB 7.0，實驗在視角步態(tài)數(shù)據(jù)庫中科院自動化所-B(CASIA-B)數(shù)據(jù)庫中進行。

3.1 CASIA-B數(shù)據(jù)庫

該數(shù)據(jù)庫存儲了大量的從左手側(cè)起的11個攝像頭拍攝到的步行圖像，相鄰視角之間相差18°，也就是說，從左至右，視角分別為 0°，18°，36°，54°，72°，90°，108°，126°，144°，162°和 180°。從每個視角捕獲到的樣本幀如圖9所示，從左到右相對應(yīng)的相機編號為1至11。數(shù)據(jù)庫中包含了124個人的圖像，93名男性和31名女性，每個人有10個序列，6個正常的不行序列，2個挎包序列，2個穿著外套的序列。因此，該數(shù)據(jù)庫中總共有13 640張步態(tài)圖像，如此龐大的數(shù)據(jù)庫正適合本文的研究。

3.2 參數(shù)設(shè)置

所提方法中有2個自由參數(shù):線性子空間表示的特征維數(shù)K1、識別時的近鄰數(shù)k以及用于分類的典型相關(guān)數(shù)目K2。這部分研究并分析了各個參數(shù)對所提方法識別性能的影響，分別固定2個參數(shù)、變化其中1個參數(shù)，觀察步態(tài)識別率的變化情況。實驗取攝像機2，4，6，8，10獲取的樣本作為訓練樣本，攝像機1，3，5，7，9獲取的樣本作為測試樣本，充分利用了所有的子空間距離及典型相關(guān)系數(shù)，實驗中，所有的步態(tài)序列都在預(yù)處理階段裁剪成了66×44大小的對齊輪廓。

3.3 實驗結(jié)果

隨著不同特征維數(shù)變化的識別結(jié)果如圖10所示，從圖10中可以看出，最佳的效果顯示在多個值，并在隨后的實驗中，當線性子空間特征維數(shù)K1為13時，取得最佳識別率96.45%。K1的值取13，隨著不同的近鄰數(shù)k的變化，識別結(jié)果如圖11所示，從圖11可以看出，隨著近鄰數(shù)的增加，識別率也呈增長的趨勢，當近鄰數(shù)k為5時，取得最高識別率96.89%。K1的值取13，k值取5，隨著不同的典型相關(guān)數(shù)目的變化，識別結(jié)果如圖12所示，從圖12可以看出，隨著典型相關(guān)數(shù)目K2的增加，識別率呈現(xiàn)一定的上升趨勢，當K2取3和4時，達到最高識別率99.23%。

3.4 比較與分析

圖10 取不同的特征維數(shù)獲得的識別結(jié)果

圖11 取不同的近鄰數(shù)k獲得的識別結(jié)果

圖12 取不同典型相關(guān)數(shù)目K2獲得的識別結(jié)果

為了更好地體現(xiàn)所提方法的優(yōu)越性，這部分將所提方法與參考文獻中在步態(tài)識別方面比較先進的幾種方法進行了對比，包括鏡像融合(S-融合)［2］、特征融合(F-融合)［5］、MSR+WSD［3］，實驗取 CASIA-B 數(shù)據(jù)庫中攝像機2，4，6，8，10 所拍攝的圖像為訓練樣本，攝像機1，3，5，7，9，11拍攝的圖像作為測試樣本，所有比較方法的參數(shù)設(shè)置均與參考文獻中的一致，所提方法中，近鄰k取5，典型相關(guān)數(shù)目取3，變化k的值，如圖13所示為各方法取得的前20個最佳識別率的比較。

從圖13可以清晰地看出，所提方法的識別率比其他各個方法的識別率都高，最佳識別率接近100%，雖然MSR+WSD方法也取得了不錯的效果，但最好的識別率仍然比所提方法低了2%左右，S-融合及F-融合方法甚至比所提方法低了近20%，由此體現(xiàn)了所提方法的優(yōu)越性。

圖13 各方法的識別率比較

4 結(jié)束語

隨著視覺監(jiān)控系統(tǒng)不斷增長的需求，近年來從遠處進行人的身份識別已吸引了更多研究者的興趣，步態(tài)是一種潛在行為特征，許多類似研究已經(jīng)表明，它可以用作生物識別特征。計算機視覺技術(shù)的發(fā)展也使人們確信，未來可以進行基于視覺的自動步態(tài)分析。本文提出的系統(tǒng)在CASIA-B數(shù)據(jù)庫上取得了高達99.23%的步態(tài)識別率，與幾種先進的方法相比，所提方法明取得了更高的識別率，由此可見，所提方法可應(yīng)用于真實環(huán)境中識別人類的走路方式。今后會結(jié)合其他的算法，將所提方法運用到更多的數(shù)據(jù)庫上，改變初始參數(shù)的設(shè)置，進一步提高步態(tài)識別率。

:

［1］LU J，TAN Y.Uncorrelated discriminant simplex analysis for view-invariant gait signal computing［J］.Pattern Recognition Letters，2010，31(5):382-393.

［2］賁晛燁，安實，王健，等.基于線性插值的張量步態(tài)識別算法［J］.計算機應(yīng)用研究，2012，29(1):355-258.

［3］劉硯秋，王旭，王玉梅，等.傅里葉變換的多視角步態(tài)識別［J］.計算機工程與應(yīng)用，2012，48(6):169-171.

［4］BASHIR K，XIANG T，GONG S.Gait recognition without subject cooperation［J］.Pattern Recognition Letters，2010，31(13):2052-2060.

［5］LIU N，LU J，TAN Y P.Joint subspace learning for view-invariant gait recognition［J］.IEEE Signal Processing Letters，2011，18(7):431-434.

［6］車轔轔，孔英會.基于動態(tài)部位特征的步態(tài)識別方法［J］.計算機應(yīng)用，2012，32(12):3418-3421.

［7］KUMAR H P.NAGENDRASWAMY H S.Gait recognition based on symbolic representation［J］.International Journal of Machine Intelligence，2011，3(4):295-301.

［8］楊靜，阮秋琦，李小利.基于頻譜分析的Procrustes統(tǒng)計步態(tài)識別算法［J］.智能系統(tǒng)學報，2011，6(5):432-439.

［9］ROY A，SURAL S，MUKHERJEE J.Gait recognition using pose kinematics and pose energy image［J］.Signal Processing，2012，92(3):780-792.

［10］ARIYANTO G，NIXON M S.Model-based 3D gait biometrics［J］.International Joint Conference on Biometrics，2011，34(3):11-13.

［11］余濤，鄒建華.基于Bayes規(guī)則與HMM相結(jié)合的步態(tài)識別方法研究［J］.計算機學報，2012，35(2):386-396.

［12］SIVAPALAN S，CHEN D，DENMAN S，et al.Gait energy volumes and frontal gait recognition using depth images［J］.International Joint Conference on Biometrics，2011，32(2):1-6.

［13］SURAL R S，MUKHERJEE J.Gait recognition using pose kinematics and pose energy image［J］.Signal Processing，2012，92(3):780-792.