復(fù)雜背景下人體步態(tài)分析方法?

陳 松 張國(guó)輝 王西泉 陳俊彪 馬 超

（1.中國(guó)兵器工業(yè)試驗(yàn)測(cè)試研究院 華陰 714200）（2.西安工業(yè)大學(xué) 西安 710021）

1 引言

目前常用且成熟的生物識(shí)別技術(shù)有指紋識(shí)別、虹膜識(shí)別、人臉識(shí)別、DNA 識(shí)別，新興的生物識(shí)別技術(shù)有靜脈識(shí)別、步態(tài)識(shí)別［1］。利用步態(tài)進(jìn)行身份識(shí)別是近年來(lái)在生物識(shí)別領(lǐng)域的一大研究熱點(diǎn)。隨著現(xiàn)代智能社會(huì)發(fā)展，各種展覽、機(jī)場(chǎng)、車站等大范圍人流量多的地方的視頻安全監(jiān)控正在引起人們注意［2］，國(guó)此遠(yuǎn)距離、復(fù)雜背景下的步態(tài)識(shí)別方法為在這種情況下的身份認(rèn)定提供了很好的手段。

過(guò)去的幾十年里，步態(tài)識(shí)別領(lǐng)域開(kāi)展了大量研究工作，已經(jīng)取得了不少進(jìn)展［3～6］。國(guó)外對(duì)于步態(tài)分析的研究較早，2000年美國(guó)DARPA（美國(guó)國(guó)防部高級(jí)研究計(jì)劃署）開(kāi)始主持開(kāi)展HID 計(jì)劃（遠(yuǎn)距離身份識(shí)別），旨在于研究基于視頻監(jiān)控的人臉識(shí)別與步態(tài)識(shí)別的遠(yuǎn)距離身份識(shí)別［7］。2014 年Tafazzoli F等通過(guò)分析研究丟棄無(wú)用冗余信息對(duì)分類器識(shí)別效率的影響。提出一種只提取特征向量的一個(gè)子集而不會(huì)降低分類精度的遺傳算法（GA）來(lái)進(jìn)行步態(tài)提?。?］。2017 年Munif Alotaibi 等提出一種深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)用于步態(tài)識(shí)別，其優(yōu)點(diǎn)是可以明顯降低影響步態(tài)識(shí)別性能的一些因素［9］。2019 年Uddin M Z 等針對(duì)步態(tài)識(shí)別中的遮擋問(wèn)題提出了基于條件深度生成對(duì)抗網(wǎng)絡(luò)（GAN）的遮擋序列（sVideo）的輪廓序列重構(gòu)，其從重構(gòu)的序列中估計(jì)步態(tài)周期并可從一個(gè)步態(tài)周期圖像序列中提取步態(tài)特征［10］。國(guó)內(nèi)研究較晚，但也取得一定的成果，2013 年劉志勇等用局部二值模式（LBP）來(lái)提取步態(tài)能量圖（GEI）的局部特征并用于識(shí)別［11］。2019 年池凌云提出一種基于深度學(xué)習(xí)的方法來(lái)進(jìn)行多視角下的步態(tài)識(shí)別［12］。段鵬松等［13］針對(duì)現(xiàn)有無(wú)線感知步態(tài)識(shí)別研究中存在的不足，提出了將頻率能量圖引入卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了高準(zhǔn)確率的多人場(chǎng)景單目標(biāo)步態(tài)識(shí)別。目前中科院下孵化的一家公司已經(jīng)將步態(tài)識(shí)別運(yùn)用到了商業(yè)領(lǐng)域。步態(tài)識(shí)別主體分三個(gè)階段：目標(biāo)區(qū)域獲取，步態(tài)特征提取，步態(tài)識(shí)別。本文針對(duì)具有復(fù)雜背景的步態(tài)圖，運(yùn)用超像素顯著圖得到目標(biāo)區(qū)域并用Gabor 特征與動(dòng)態(tài)區(qū)域結(jié)合的方法完成步態(tài)特征的提取，達(dá)到在復(fù)雜背景下分析人體步態(tài)特征的目的。

2 步態(tài)視頻的獲取

在實(shí)際情景中，人不會(huì)一直處于行走狀態(tài)，為了獲得有用的人體步態(tài)信息，我們選擇視頻中人體完全出現(xiàn)且連續(xù)行走，并且視頻分幀期間上一步態(tài)與下一步態(tài)有明顯差異的最小幀數(shù)作為人體步態(tài)關(guān)鍵幀提取標(biāo)準(zhǔn)，之后進(jìn)行關(guān)鍵幀保存。這樣，既避免了冗余信息的存在，又保存了有用的人體步態(tài)信息，大大提高處理效率。本文對(duì)于關(guān)鍵幀的提取過(guò)程為先讀取視頻所有幀，選擇恰當(dāng)?shù)膸瑪?shù)間隔提取。對(duì)于本次實(shí)驗(yàn)拍攝視頻中，5s 左右的視頻，總共獲得170 幀左右的圖片，行人完全出現(xiàn)在鏡頭當(dāng)中并選取5 幀為間隔保存相應(yīng)幀作為關(guān)鍵幀。原始圖像大小為1080×1920。

圖1 本文提取的部分關(guān)鍵幀

3 基于超像素的目標(biāo)區(qū)域提取算法

3.1 基于超像素法的目標(biāo)區(qū)域分割

SLIC 超像素算法將目標(biāo)圖像分割成由一系列位置相鄰且具有相似特征（如顏色）的像素點(diǎn)組成的小區(qū)域。具體分割流程如下。

1）選取聚類中心。假設(shè)一幅圖像有N 個(gè)像素點(diǎn)，選取其中某個(gè)像素點(diǎn)為聚類中心將其分為K 個(gè)的同樣面積超像素，超像素大小為N×K，相鄰聚類中心距離為

2）在聚類中心3×3 范圍內(nèi)計(jì)算范圍內(nèi)所有像素的梯度值，將聚類中心重新放在梯度值最小的位置。

3）確定N 個(gè)像素點(diǎn)在選取2×2 范圍內(nèi)與聚類中心的距離，距離最近的劃分為一類。距離計(jì)算包括顏色距離和空間距離。計(jì)算方法如下：

公式中Dc表示顏色距離，Ds表示空間距離，Nc與Ns表示類內(nèi)最大空間距離。

4）重復(fù)上述步驟直到聚類中心不再發(fā)生變化。

5）對(duì)于劃分不均勻的超像素單元，需要建立標(biāo)記表，按表不重復(fù)的順序重新進(jìn)行標(biāo)簽分配，遍歷完后即可停止，其目的旨在增強(qiáng)超像素連通性，優(yōu)化結(jié)果。如圖2所示為超像素分割結(jié)果圖。

圖2 超像素分割圖

3.2 基于顯著圖法的人體區(qū)域的獲取

在計(jì)算機(jī)視覺(jué)中，顯著性是一種圖像分割的模式，而顯著圖是顯示每個(gè)像素獨(dú)特性的圖像。顯著圖旨在于突出一幅圖像中最重要的目標(biāo)。本文驗(yàn)證了四種顯著圖法（ITTI 方法、SR 方法、FA 方法及FT方法）生成的前景圖像如圖3所示。

圖3 四種方法處理結(jié)果

得到顯著區(qū)域后，對(duì)其顯著區(qū)域需進(jìn)行二值化，灰度變換與形態(tài)學(xué)處理保留最大輪廓提取前景。如圖4 為結(jié)合灰度調(diào)整與自適應(yīng)閾值的二值化分割結(jié)果。

圖4 結(jié)合灰度變換與自適應(yīng)閾值的二值化結(jié)果

圖5 部分處理結(jié)果示例

圖6 歸一化圖像

圖7 步態(tài)能量圖

二值化圖像后圖像中出現(xiàn)很多前景，包括目標(biāo)區(qū)域與部分非目標(biāo)區(qū)域。這些每一塊區(qū)域面積不同，我們計(jì)算出不同區(qū)域的面積，最后保留最大（只有我們想要的目標(biāo)前景符合條件）連通域即可。

4 步態(tài)特征的提取與識(shí)別

4.1 步態(tài)輪廓圖歸一化

由于從視頻中提取的關(guān)鍵幀，人體目標(biāo)區(qū)域不定，而且圖像較大，考慮到后續(xù)特征提取計(jì)算量，需對(duì)其進(jìn)行尺寸與中心歸一化。具體操作過(guò)程為設(shè)置好歸一化后的圖像大小，之后建立坐標(biāo)系，獲取坐標(biāo)系中關(guān)鍵幀的高度與寬度，由于高度一般比寬度大，選取高度進(jìn)行比例縮放，最后獲取人體對(duì)稱軸，將圖像居中放置。

本實(shí)驗(yàn)圖像幀原來(lái)大小為1080×1920，歸一化后大小為240×120。

4.2 步態(tài)能量圖生成

基于非模型提取步態(tài)特征方法中我們有提到基于統(tǒng)計(jì)學(xué)提取特征，其主要思想是提取無(wú)法建模的特征進(jìn)行數(shù)學(xué)計(jì)算得到概率統(tǒng)計(jì)規(guī)律來(lái)獲取步態(tài)特征。步態(tài)能量圖就屬于其中一種。步態(tài)能量圖為一個(gè)步態(tài)周期內(nèi)人體輪廓圖的加權(quán)平均圖。計(jì)算公式如下：

其中N 為總幀數(shù)，I（x，y）代表每一幀圖像，EGEI（x，y）代表一個(gè)步態(tài)周期內(nèi)的所有圖像加權(quán)平均得到的步態(tài)能量圖。

4.3 步態(tài)特征的提取

Gabor小波與人類視覺(jué)系統(tǒng)中簡(jiǎn)單細(xì)胞的視覺(jué)刺激響應(yīng)非常相似。其能夠提供良較好的尺度選擇和方向選擇特性，對(duì)于光照變化，遮擋等情況表現(xiàn)出較強(qiáng)的魯棒性與良好的適應(yīng)性。二維Gabor函數(shù)能夠增強(qiáng)邊緣以及峰、谷等底層圖像特征，在保留了整體的同時(shí)也增強(qiáng)了部分局部特性。

將步態(tài)能量圖經(jīng)正弦平面波和高斯核函數(shù)構(gòu)成的濾波器濾波，之后便能得到步態(tài)特征。正弦平面波和高斯核函數(shù)的積是二維Gabor 小波變換的濾波器。Gabor小波變換不僅僅可以提取出圖像紋理的特征，并且可以減小光照和位置對(duì)圖像識(shí)別造成的干擾。函數(shù)表達(dá)式如下：

式中，對(duì)于Gabor 核函數(shù)，u 為方向，v 為尺度，z=（x，y）即圖像坐標(biāo)，||*||表示對(duì)*進(jìn)行取模運(yùn)算。

本文中一幅圖像大小為240×120，共有40個(gè)濾波器，總共維數(shù)為240×120×40/8×8=18000 維。測(cè)試識(shí)別我們選擇CASIA B 數(shù)據(jù)庫(kù)前10 人在正常情況下行走，角度為90°生成的步態(tài)能量圖各6 幅，總共就是60×18000維，需要對(duì)其進(jìn)行降維處理。

4.4 步態(tài)識(shí)別

假定給定數(shù)據(jù)樣本X 中包含了n 個(gè)對(duì)象X=｛X1，X2，X3，…Xn｝，其中每個(gè)對(duì)象都具有m 個(gè)維度的屬性。算法的目標(biāo)是將n 個(gè)對(duì)象依據(jù)對(duì)象間的相似性聚集到指定的k 個(gè)類簇中，每個(gè)對(duì)象屬于且僅屬于一個(gè)其到類簇中心距離最小的類簇中。

首先需要初始化k 個(gè)聚類中心｛C1，C2，C3，…，Ck｝，1

其中，Xi表示第i 個(gè)對(duì)象1 ≤i≤n，Cj表示第j 個(gè)聚類中心的1 ≤i≤k，Xit表示第i 個(gè)對(duì)象的第t 個(gè)屬性，1 ≤i≤m，Cjt示第j個(gè)聚類中心的第t個(gè)屬性。

表1 為使用不同主成分百分比對(duì)其降維后數(shù)據(jù)的聚類結(jié)果，選取一種無(wú)監(jiān)督分類-K 均值聚類法對(duì)特征數(shù)據(jù)進(jìn)行分類識(shí)別，對(duì)比多次實(shí)驗(yàn)結(jié)果，其識(shí)別率穩(wěn)定在86%，表明K 均值聚類能較好的進(jìn)行步態(tài)識(shí)別。

表1 不同主成分百分比下聚類識(shí)別結(jié)果

5 結(jié)語(yǔ)

相比于目前已有的步態(tài)識(shí)別方法，本文對(duì)兩個(gè)方面進(jìn)行了改進(jìn)：第一個(gè)是使用了顯著性檢測(cè)進(jìn)行前景提取，實(shí)驗(yàn)表明FT法在這方面是效果最好的，不過(guò)也可看到對(duì)于臉部這部分提取有不足，可以做出改進(jìn)。第二個(gè)是使用了聚類的方法對(duì)已知類別的樣本進(jìn)行分類識(shí)別，表明其在已知類別數(shù)下能夠進(jìn)行有效分類。因?yàn)楝F(xiàn)實(shí)狀況的復(fù)雜性，單一使用步態(tài)仍不能夠真正做到很高的識(shí)別率，后續(xù)需要考慮現(xiàn)有成熟的識(shí)別技術(shù)如何與步態(tài)結(jié)合，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)。