夜間監(jiān)控下基于步態(tài)的行人身份識別

李珊，孫鵬，郎宇博

（中國刑事警察學院 遼寧沈陽 110854）

步態(tài)是人在行走過程中的姿態(tài)的變化，其中包括了行走人的靜態(tài)體態(tài)特征和個人動態(tài)行走特征。心理學和生理學證據(jù)表明，人人都有截然不同的步態(tài)特征，因此步態(tài)可用于身份的鑒別［1］。相對于人臉、指紋、虹膜、耳廓等其他生物特征，步態(tài)對圖像質(zhì)量要求低、遠距離非受控狀態(tài)下可采集，與當今普及程度極高的視頻監(jiān)控設備相結合，成為當下生物特征技術的熱門研究方向。步態(tài)識別指利用步態(tài)信息對人的身份進行識別的技術［2］。在公安應用領域，步態(tài)能夠彌補人臉在夜間環(huán)境下識別率大大降低的缺陷，所以對夜間環(huán)境下利用步態(tài)進行人身鑒定的研究十分必要。

目前，視頻監(jiān)控下步態(tài)識別的研究集中在對步態(tài)特征的更新和對分類方法的改進?；诜悄Ｐ偷牟綉B(tài)特征從傳統(tǒng)Han 和Bhanu 提出的步態(tài)能量圖［3］到Bobick 和Davis 提出的運動能量圖和運動歷史圖［4］，再到現(xiàn)在邵虹、王呋昀提出的基于集成Gabor特征的步態(tài)特征提取方法［5］；基于模型的步態(tài)特征從傳統(tǒng)的Lee 等人提出的橢圓模型［6］到Nixon 等人提出的簡化腿部模型［7］，再到現(xiàn)在Zhao等人針對于二維模型易受遮擋問題提出的三維模型［8］；分類方法從傳統(tǒng)的決策樹算法、支持向量機SVM、BP 神經(jīng)網(wǎng)絡等到更為復雜的卷積神經(jīng)網(wǎng)絡［9］、遞歸神經(jīng)網(wǎng)絡及在原基礎上改進的各種人工神經(jīng)網(wǎng)絡算法［10］等，如近期周蘭等人提出的基于深度卷積限制玻爾茲曼機的步態(tài)識別［11］以及中科院自動化研究所吳子峰，黃永禎等提出基于深度卷積網(wǎng)絡的步態(tài)識別方法［12］。近期，深度學習與步態(tài)識別相結合、多特征融合、多視角融合這些成為熱點研究方向，但是對夜間監(jiān)控視頻下的步態(tài)識別的研究相對較少。夜間環(huán)境下光線條件差、拍攝背景復雜、行人亮度變化不明顯等因素導致在夜間對行人的輪廓特征、面部姿態(tài)、指紋等精準信息的捕捉較為困難［13］，同時采集到的步態(tài)圖像也常常具有不可避免的較強噪聲或缺損。因此，與白天環(huán)境下步態(tài)識別相比較，夜間環(huán)境下步態(tài)識別的難點在于視頻圖像預處理過程更為復雜，步態(tài)特征的選取范圍更窄。

本文首次專門性地對夜間監(jiān)控視頻下的步態(tài)識別進行探究。視頻圖像預處理上，采用去噪、閉運算、孔洞填充、邊緣平滑化和提取輪廓等形態(tài)學處理方法對夜間圖像進行降噪處理；步態(tài)特征的選取上，選取人體關鍵點間距離隨步行前進的變化作為步態(tài)特征，并且創(chuàng)新性地針對夜間行人步態(tài)圖像出現(xiàn)的缺足現(xiàn)象提取檢測及特征優(yōu)化算法；步態(tài)分類環(huán)節(jié)，選取較適合所選取步態(tài)特征的SVM分類算法進行分類，并將分類識別率與白天環(huán)境相比較。

一、夜間步態(tài)圖像預處理算法

紅外（熱感）攝像機在夜間拍攝的原始視頻序列圖像如圖1所示。將白天與夜間環(huán)境下數(shù)據(jù)庫中的步態(tài)剪影進行對比，如圖2 所示。可見夜間紅外攝像機采集到的步態(tài)圖像具有較大的噪聲且在一定部位出現(xiàn)缺損，直接采用會對后期的步態(tài)特征提取和識別階段產(chǎn)生較大影響。因此，需要進行圖像預處理操作，使得夜間步態(tài)圖像更好地用于步態(tài)識別后續(xù)操作。

針對夜間步態(tài)數(shù)據(jù)庫，進行去小塊噪聲、閉運算、孔洞填充、平滑邊緣、邊緣提取等形態(tài)學操作。去小塊噪聲主要利用連通區(qū)域的數(shù)量與大小之間的關系，對一些屬于噪聲的小塊區(qū)域進行去除；閉運算是對圖像現(xiàn)進行膨脹再腐蝕，實現(xiàn)斷連的身體部位之間的連通；孔洞填充主要對閉運算后仍然存在的孔洞進行填充，使圖像中的步態(tài)剪影成為一個整體連通區(qū)域；邊緣平滑操作將步態(tài)剪影輪廓上的高頻噪聲去除。邊緣提取過程將人體輪廓邊緣提取到，有利于后續(xù)人體特征點的定位。經(jīng)過各個步驟形態(tài)學處理后，效果如圖3所示，可見夜間步態(tài)圖像中原本具有的噪聲和缺損被消除掉。

圖1 紅外攝像頭在夜間拍攝到的步態(tài)

圖2 白天與夜晚環(huán)境下步態(tài)圖像對比

圖3 形態(tài)學處理效果

二、步態(tài)特征的提取算法

（一）步態(tài)能量圖

步態(tài)能量圖（Gait Energy Image，GEI）采用簡單的加權平均方法將一個周期的步態(tài)圖像合成一幅圖像，是步態(tài)識別最常用的步態(tài)特征。一個步態(tài)周期定義為在行進過程中，同一只腳從腳跟離地跨出到下一次該只腳腳跟離地跨出之間的行進過程。

1.步態(tài)周期的分割。步態(tài)周期最常用的分割算法就是按照人體步態(tài)剪影長寬比的周期性變化作為分割依據(jù)，如圖4 所示。連續(xù)三個波峰之間或者連續(xù)三個波谷之間可以被定義為一個步態(tài)周期。

圖4 步態(tài)周期分割依據(jù)

2.步態(tài)能量圖的計算。給出一個步態(tài)周期內(nèi)的N 張步態(tài)二值圖像，t代表周期圖像序列，Bt(x,y)代表t時刻步態(tài)二值圖像，該周期內(nèi)步態(tài)能量圖G(x,y)是對該周期內(nèi)所有步態(tài)剪影圖進行加權平均得到，計算公式如公式（1），步態(tài)能量圖式樣如圖5所示。

雖然步態(tài)能量圖計算簡單，包含步態(tài)信息豐富，但是計算量較大。本文主要針對的夜間環(huán)境下步態(tài)識別，由于多是頂光照射的原因，提取到的步態(tài)圖像常出現(xiàn)缺足現(xiàn)象，如圖6所示，此類缺損特征對步態(tài)能量圖影響較大，所以本次不選取傳統(tǒng)步態(tài)能量圖作為步態(tài)特征。

圖5 步態(tài)能量

圖6 缺足現(xiàn)象

（二）人體關鍵點特征

人體關鍵點特征實際屬于簡化的基于模型的特征，利用在行進過程中，人體骨骼關鍵點的狀態(tài)與變化規(guī)律作為人體步態(tài)的模型，但又不需要建立實際模型，降低運算復雜度和運算量。

1.特征的選取。參照論文監(jiān)控視頻中基于人體關鍵點的步態(tài)識別研究［14］，選取人體質(zhì)心-頭頂距離與嫌疑人身高比a、質(zhì)心-足右距離與嫌疑人身高比b、質(zhì)心-足左距離與嫌疑人身高比c，人體形態(tài)寬長比d四個特征在連續(xù)30張視頻圖像序列下的變化作為特征，如圖7所示，并在最終形成1*120的一維向量特征。四個特征的變化曲線如圖8所示，可以看出特征的周期性變化。

圖7 步態(tài)特征

圖8 特征值的變化曲線

2.異常特征的檢測及優(yōu)化。異常特征檢測和優(yōu)化流程圖如圖9所示。異常特征的檢測過程實際就是是否提取到足部位置的判斷問題:若提取到的特征數(shù)量與輸入的圖片數(shù)量相同，則表明該段視頻圖片序列內(nèi)無缺足現(xiàn)象。若提取到的特征數(shù)量少于輸入的圖片數(shù)量，則明該段視頻圖片序列內(nèi)出現(xiàn)缺足現(xiàn)象。優(yōu)化的過程實際是對關鍵點坐標進行濾波的過程，本文選擇巴特沃斯濾波器進行數(shù)據(jù)優(yōu)化。巴特沃斯低通濾波器可用公式（2）表示:

其中，H(ω)是振幅，n是濾波器的階數(shù)，ωc是截止頻率（振幅下降到-3dB 時的頻率），ωp是通頻帶邊緣頻率。分別對質(zhì)心點、頭頂點、右足點、左足點的橫坐標和縱坐標變化趨勢進行巴特沃斯濾波，得到的結果如圖10所示，可見濾波后的坐標在濾波前異常變化部分的波動明顯減小，達到降噪效果。將降噪后的關鍵點坐標標記于步態(tài)圖像上，與降噪前進行對比，如圖11所示，可見定位到的人體關鍵點更加準確。為保證不丟失步態(tài)的個人特征，本文只是將檢測到的具有缺足現(xiàn)象的步態(tài)關鍵點的坐標進行處理，優(yōu)化異常點，而原正常點的坐標值保持不變。將優(yōu)化前后提取到的特征值進行對比，對比圖如圖12所示，可見特征值在一些變化紊亂的圖片中的得到了優(yōu)化。

圖9 異常特征檢測和優(yōu)化流程

圖10 濾波前后關鍵點坐標變化趨勢對比

圖11 濾波優(yōu)化前后關鍵點位置對比

圖12 優(yōu)化前后特征值變化對比

三、實驗

本文實驗環(huán)境為Matlab 2018a，實驗所用數(shù)據(jù)庫來源于中科院步態(tài)數(shù)據(jù)庫中的Dataset B 和Dataset C。Dataset B 在正常環(huán)境下采集，共124 個人，每個人有11 個視角（0，18，36，……，180 度），在3種行走條件下（普通，穿大衣，攜帶包裹）采集。Dataset C 是一個用紅外（熱感）攝像機在夜間拍攝的大規(guī)模數(shù)據(jù)庫，包含153人，每個人在4種條件下行走:正常行走，快走，慢走，帶包走。白天數(shù)據(jù)較好，直接進行特征提取和分類；夜晚數(shù)據(jù)由于光線原因，具有較大噪聲和殘缺，利用本文提出的預處理和特征優(yōu)化的方法處理后，再進行分類操作。最終通過白天環(huán)境下和夜晚環(huán)境下的識別率來進行步態(tài)識別效果的對比。

（一）數(shù)據(jù)準備

本文對比實驗的數(shù)據(jù)有白天環(huán)境下步態(tài)數(shù)據(jù)和夜晚環(huán)境下步態(tài)數(shù)據(jù)。白天環(huán)境下的步態(tài)數(shù)據(jù)來源于B數(shù)據(jù)庫（本文僅探究與攝像頭成90°視角下的步態(tài)），每名實驗對象具有的10段視頻（背包+大衣+正常行走）全部備用，從每段視頻中提取20段不同的特征序列，因此每名實驗對象有200段特征序列。夜間環(huán)境下的步態(tài)數(shù)據(jù)來源于C 數(shù)據(jù)庫，從每名實驗對象具有的10 段視頻中取出6段（2 段背包+4 段正常行走）備用，從每段視頻中提取出34 段不同的特征序列，因此每名實驗對象有204段特征序列。

為盡量保證白天夜間實驗條件相同，B 和C 數(shù)據(jù)庫中每名實驗對象均取出200 段特征序列（需注意:白天環(huán)境下，每名實驗對象的步態(tài)特征來源于10 段視頻；而夜間環(huán)境下，每名實驗對象的步態(tài)特征僅來源于6段視頻）。都將3/4的數(shù)據(jù)用作訓練集，另外1/4的數(shù)據(jù)用作測試集。

（二）視頻中行人分類識別

利用Libsvm 對提取到的步態(tài)數(shù)據(jù)進行多分類，類別數(shù)從2 逐漸增至25，最終的分類識別率如表1所示。通過分類識別率可以看出:通過步態(tài)對監(jiān)控視頻中的行人進行身份識別，夜間環(huán)境下的步態(tài)識別效果略低于白天環(huán)境，但是也能夠達到較高的識別率。

表1 分類識別率結果

四、結論

本文針對夜間步態(tài)數(shù)據(jù)的噪聲和缺足現(xiàn)象，進行算法優(yōu)化后，提取人體關鍵點特征，最終用SVM 進行分類。實驗結果表明，相比于白天環(huán)境，夜間環(huán)境下的步態(tài)識別率略低，驗證了步態(tài)識別技術在夜間的可行性。雖然取得了不錯的分類效果，但是本文對步態(tài)數(shù)據(jù)的優(yōu)化算法僅考慮了對部分關節(jié)點的恢復，對現(xiàn)存步態(tài)特征算法不具有普適性，下一步工作計劃將對夜間步態(tài)數(shù)據(jù)庫中的數(shù)據(jù)優(yōu)化算法進行改進，以減少光線條件對步態(tài)識別結果的影響。