基于雙流網(wǎng)絡(luò)的步態(tài)特征表述算法

杜曉雨，張學(xué)東

（遼寧科技大學(xué) 計(jì)算機(jī)與軟件工程學(xué)院，遼寧 鞍山 114051）

近年來，生物特征識(shí)別技術(shù)已經(jīng)在個(gè)人身份認(rèn)證領(lǐng)域取得很多成果［1］。指紋、人臉識(shí)別技術(shù)較為成熟，但在遠(yuǎn)距離、遮擋等復(fù)雜場(chǎng)景下識(shí)別效果不夠理想［2-4］。步態(tài)識(shí)別以其難偽裝、無需人為配合、遠(yuǎn)距離采集的優(yōu)勢(shì)，成為國(guó)內(nèi)外研究熱點(diǎn)。人體步態(tài)識(shí)別方法可分為模型方法和非模型方法［5］。模型方法是將人體運(yùn)動(dòng)時(shí)的關(guān)節(jié)角度、人體重心等進(jìn)行建模，提取其生物特征。Cunada等［6］通過傅里葉級(jí)數(shù)描述手臂的運(yùn)動(dòng)，應(yīng)用時(shí)間數(shù)據(jù)收集技術(shù)提取模型。Scaramuzza等［7］利用多個(gè)攝像頭采集人體行走時(shí)的步態(tài)圖像，將其進(jìn)行三維重建，進(jìn)而分析運(yùn)動(dòng)狀態(tài)。模型方法提取到的特征較為準(zhǔn)確，但需要建模才能實(shí)現(xiàn)，運(yùn)算量大，處理速度較慢。非模型方法也稱基于外觀的步態(tài)識(shí)別方法，主要采集人在行走時(shí)的動(dòng)態(tài)信息，并利用數(shù)學(xué)方法表示步態(tài)特征。這種方法根據(jù)外部輪廓計(jì)算步態(tài)能量圖（Gait engery image，GEI）［8］，將圖像輪廓對(duì)齊，在時(shí)間上進(jìn)行疊加取平均值，得到的圖像作為步態(tài)特征，還衍生了運(yùn)動(dòng)能量圖和幀間差能量圖［9-12］。非模型方法不需要建模，能表示運(yùn)動(dòng)過程中的動(dòng)靜信息，同時(shí)對(duì)視角的變化也具有一定的穩(wěn)定性［13］。本文針對(duì)步態(tài)幀圖像數(shù)據(jù)量大、網(wǎng)絡(luò)處理速度慢的問題，提出以步態(tài)序列集合為基礎(chǔ)的特征表述算法。該算法屬于非模型方法，通過對(duì)步態(tài)序列集合進(jìn)行邊緣檢測(cè)，再經(jīng)過主成分分析法進(jìn)行降維操作，在保證識(shí)別率的同時(shí)降低算法的復(fù)雜度，從而節(jié)省網(wǎng)絡(luò)處理時(shí)間。

1 步態(tài)特征表述

1.1 步態(tài)序列集合

網(wǎng)絡(luò)對(duì)二值圖像進(jìn)行特征提取過程中，分析的僅僅是輪廓邊緣信息，大面積的前景像素使用率較低。為了提高運(yùn)算效率，首先對(duì)步態(tài)幀圖像進(jìn)行高斯濾波處理，有效去除圖像中的高頻噪聲。再利用Soble算子計(jì)算圖像梯度的幅值M和方向θ

式中：Sobelx(x,y)和Sob ely(x,y)分別為Sobel水平和垂直算子；f為輸入圖像；dx和dy分別為水平和垂直方向的差分量。

根據(jù)梯度方向角對(duì)梯度幅值進(jìn)行非極大值抑制，使其由多像素寬圖像變?yōu)閱蜗袼貙拡D像。最后使用雙閾值篩選算法連接邊緣，去除孤立噪聲點(diǎn)，得到步態(tài)輪廓圖（Gait contour image，GCI），如圖1所示。

圖1 步態(tài)輪廓圖Fig.1 Gait profile image

步態(tài)特征既包含人體結(jié)構(gòu)特征，還包含人在行走過程中隨時(shí)間變化的行為特征。因此，通過構(gòu)造步態(tài)序列圖可以表達(dá)人在行走時(shí)的時(shí)序信息。首先將一個(gè)步態(tài)周期的步態(tài)輪廓圖進(jìn)行堆疊，再沿其m軸作nl平面的投影，得到一個(gè)步態(tài)周期的步態(tài)序列圖。生成步態(tài)序列圖的過程如圖2所示。

圖2 步態(tài)序列圖Fig.2 Gait sequence diagram

式中：m和n為步態(tài)輪廓圖的坐標(biāo)，m=0,1,…,M-1，n=0,1,…,N-1；l為幀索引，l=0,1,…,L-1；M為輪廓圖的高度；N為輪廓圖的寬度；L為步態(tài)序列的總幀數(shù)。

式中：a、b為步態(tài)序列疊加得到的像素體積；n=0,1,…,X-1；l=0,1,…,Y-1；m=0,1,…,Z-1；X為步態(tài)序列圖的寬度；Z為序列圖的高度；Y為生成的樣本總數(shù)。

由算法生成的步態(tài)序列圖與輪廓圖的大小一致，若對(duì)應(yīng)的時(shí)序長(zhǎng)度不足，則使用重采樣的方法對(duì)時(shí)序長(zhǎng)度進(jìn)行補(bǔ)齊。因此，一個(gè)序列步態(tài)輪廓圖如圖3所示。一個(gè)序列步態(tài)序列圖如圖4所示。

圖3 一個(gè)序列的步態(tài)輪廓圖Fig.3 Gait contours of a sequence

圖4 一個(gè)序列的步態(tài)序列圖Fig.4 Gait sequence diagrams of a sequence

1.2 主成分分析法

主成分分析法（Principal component analysis，PCA）是一種常見的數(shù)據(jù)分析算法，常用于高維數(shù)據(jù)的降維，提取數(shù)據(jù)的主要特征分量，最先應(yīng)用于人臉識(shí)別等方面。本文將此算法運(yùn)用于步態(tài)識(shí)別領(lǐng)域，解決步態(tài)識(shí)別過程中數(shù)據(jù)信息量大、計(jì)算困難的問題。PCA算法將步態(tài)特征維度高的圖像矩陣轉(zhuǎn)變?yōu)榈途S特征矩陣，有效壓縮圖像的數(shù)據(jù)信息。

PCA算法將n維特征映射到d維上，d維特征是經(jīng)過正交變換的主成分特征，是對(duì)原始空間進(jìn)行重新構(gòu)造。空間重構(gòu)的方法是令數(shù)據(jù)在重構(gòu)方向的投影方差值最大，數(shù)據(jù)在重構(gòu)空間的分布分散，更易于區(qū)分。

式中：λ是矩陣S的特征值；u1是矩陣S的特征向量；u^1是方差優(yōu)化函數(shù)。

主成分分析選取前d個(gè)最大的特征值對(duì)應(yīng)的特征向量，組成新的特征空間，這些新變量是兩兩不相關(guān)的。經(jīng)過邊緣檢測(cè)處理的步態(tài)特征圖尺寸為64×64，將圖片的每一列看作一個(gè)特征，則需要對(duì)64個(gè)維度的特征空間進(jìn)行主成分分析降維。主成分維度d值選取方法：對(duì)N張步態(tài)特征圖樣本集進(jìn)行降維，其協(xié)方差矩陣的維度為64×64，將矩陣特征分解后將特征值排序：λ1≥λ2≥…≥λm。t為重構(gòu)閾值，設(shè)t=0.99。按照特征值降序排列，選取d個(gè)特征值，使

成立，取最小d值，重構(gòu)的特征空間主成分貢獻(xiàn)率為原特征空間的0.99以上。

主成分貢獻(xiàn)率曲線如圖5所示。取24作為最終降維后的主成分維度，主成分貢獻(xiàn)率為0.99，64×64的特征矩陣通過PCA降維后得到64×24的特征矩陣，樣本信息密度增加，能夠簡(jiǎn)化后續(xù)的步態(tài)特征提取。

圖5 主成分貢獻(xiàn)率Fig.5 Contribution rates of principal components

1.3 雙流網(wǎng)絡(luò)模型

傳統(tǒng)雙流網(wǎng)絡(luò)的空間域和時(shí)間域主干網(wǎng)絡(luò)為8層，包括5層卷積層和3層全連接層?？臻g域網(wǎng)絡(luò)的輸入為視頻中隨機(jī)抽取的單幀圖像，時(shí)空域網(wǎng)絡(luò)的輸入為幾個(gè)相鄰幀之間疊加的光流圖像。為了進(jìn)一步提升模型的特征提取能力和網(wǎng)絡(luò)的泛化能力，本文采用殘差網(wǎng)絡(luò)ResNet替換傳統(tǒng)雙流網(wǎng)絡(luò)的8層網(wǎng)絡(luò)結(jié)構(gòu)，兩個(gè)分支子網(wǎng)絡(luò)分別進(jìn)行特征提取。網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。分支子網(wǎng)絡(luò)參數(shù)如表1所示。

表1 分支子網(wǎng)絡(luò)參數(shù)Tab.1 Trunk network parameters

圖6 雙流網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.6 Schematic diagrams of dual flow network

ResNet共有5種深度的網(wǎng)絡(luò)結(jié)構(gòu)，本文利用ResNet18作為雙流卷積網(wǎng)絡(luò)的主干網(wǎng)絡(luò)，通過設(shè)置多個(gè)殘差塊，解決訓(xùn)練過程中產(chǎn)生的梯度消失問題。網(wǎng)絡(luò)的輸入數(shù)據(jù)是尺寸為64×64的步態(tài)特征圖，特征圖經(jīng)過一層卷積層、三組殘差塊進(jìn)行特征提取，再經(jīng)過平均池化和全連接層得到特征序列，最終利用softmax函數(shù)計(jì)算概率分?jǐn)?shù)。

2 仿真實(shí)驗(yàn)

2.1 訓(xùn)練與測(cè)試策略

雙流網(wǎng)絡(luò)模型使用CASIA-B數(shù)據(jù)集［14］。首先將64×64的步態(tài)幀圖像經(jīng)過邊緣檢測(cè)得到步態(tài)輪廓圖后生成步態(tài)序列圖，再對(duì)步態(tài)輪廓圖和步態(tài)序列圖進(jìn)行主成分分析，降維得到步態(tài)特征圖，將其作為步態(tài)特征送入網(wǎng)絡(luò)。利用雙流網(wǎng)絡(luò)進(jìn)行特征融合并使用輸出層進(jìn)行分類，通過損失函數(shù)得到的誤差，判斷模型對(duì)數(shù)據(jù)的擬合程度。最后利用反向傳播優(yōu)化參數(shù)，直到模型趨于穩(wěn)定。使用訓(xùn)練中生成的網(wǎng)絡(luò)模型對(duì)測(cè)試樣本進(jìn)行特征提取分類并識(shí)別，并統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果。

2.2 仿真實(shí)驗(yàn)及結(jié)果分析

目前對(duì)于步態(tài)識(shí)別的研究主要以步態(tài)能量圖作為輸入數(shù)據(jù)［15］，而本文的算法以步態(tài)序列作為輸入數(shù)據(jù)。采用雙流網(wǎng)絡(luò)對(duì)比這兩種輸入數(shù)據(jù)的步態(tài)識(shí)別效果。

將數(shù)據(jù)集處理為步態(tài)能量圖和步態(tài)序列集合兩種形式，分別將步態(tài)能量圖與步態(tài)集合作為輸入數(shù)據(jù)，再利用雙流網(wǎng)絡(luò)進(jìn)行訓(xùn)練測(cè)試。將數(shù)據(jù)集中的數(shù)據(jù)分為相同數(shù)量的兩份，每份數(shù)據(jù)都包含62個(gè)行人的步態(tài)數(shù)據(jù)信息。一份用于模型的訓(xùn)練，一份用于模型性能的評(píng)估。將步態(tài)數(shù)據(jù)處理為一個(gè)周期的輪廓圖和序列圖，經(jīng)過雙流網(wǎng)絡(luò)進(jìn)行訓(xùn)練測(cè)試。再將步態(tài)數(shù)據(jù)處理成步態(tài)能量圖，經(jīng)過網(wǎng)絡(luò)進(jìn)行訓(xùn)練測(cè)試。

數(shù)據(jù)集包括三種步態(tài)：正常行走、背包行走和穿大衣行走，如圖7所示。仿真實(shí)驗(yàn)結(jié)果如表2所示。三種行走條件下，以步態(tài)序列集合作為網(wǎng)絡(luò)輸入的準(zhǔn)確率均高于步態(tài)能量圖。在正常行走條件下，步態(tài)序列集合比步態(tài)能量圖的精確率高7.93%。協(xié)變量因素對(duì)步態(tài)序列的干擾較小，因此，在穿大衣和背包的行走條件下準(zhǔn)確率也優(yōu)于步態(tài)能量圖。

圖7 步態(tài)數(shù)據(jù)集Fig.7 Gait dataset

表2 仿真實(shí)驗(yàn)結(jié)果Tab.2 Comparison of GEI and gait collection experiments

為了測(cè)試邊緣檢測(cè)及主成分分析降維的效果，對(duì)比數(shù)據(jù)處理前后單幀圖像和完整步態(tài)周期像素點(diǎn)的總數(shù)。單幀圖像在數(shù)據(jù)降維的過程中，數(shù)據(jù)量的變化幅度較小，降維前共有4 096個(gè)像素點(diǎn)，降維后像素點(diǎn)達(dá)到1 536個(gè)。但一個(gè)完整周期的像素總數(shù)在降維前后發(fā)生巨大變化，降維前共有98 364個(gè)像素點(diǎn)，降維后像素點(diǎn)僅有36 864個(gè)。數(shù)據(jù)量的減少使得樣本信息密度增加，但數(shù)據(jù)降維操作會(huì)舍棄部分特征向量，會(huì)對(duì)特征判別有一定的影響。

利用三種雙流卷積神經(jīng)網(wǎng)絡(luò)對(duì)降維前后的數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)，步態(tài)識(shí)別的準(zhǔn)確率結(jié)果如表3所示。在三種行走條件下，本文提出的雙流網(wǎng)絡(luò)+邊緣檢測(cè)+PCA步態(tài)識(shí)別算法準(zhǔn)確率都稍低于雙流網(wǎng)絡(luò)以及雙流網(wǎng)絡(luò)+邊緣檢測(cè)算法，但運(yùn)行時(shí)間縮短0.59 s，運(yùn)算效率提高17.3%。因?yàn)樵赑CA主成分降維過程中，丟棄的貢獻(xiàn)率低的數(shù)據(jù)也帶有一定的步態(tài)特征信息，從而影響步態(tài)識(shí)別準(zhǔn)確率。

表3 雙流網(wǎng)絡(luò)下實(shí)驗(yàn)結(jié)果對(duì)比Tab.3 Comparison of experimental results under dual flow network

3 結(jié)論

步態(tài)識(shí)別是通過攝像頭捕捉人的行走姿態(tài)，依靠算法分析進(jìn)行身份鑒定的一種遠(yuǎn)距離身份識(shí)別技術(shù)。本文提出基于邊緣檢測(cè)的步態(tài)序列集合通過主成分分析降維處理的特征表述算法。首先對(duì)步態(tài)圖像進(jìn)行邊緣檢測(cè)得到步態(tài)輪廓圖，通過構(gòu)造生成步態(tài)時(shí)序圖，再對(duì)步態(tài)輪廓圖和步態(tài)序列圖進(jìn)行主成分分析降維，得到步態(tài)特征圖，將其作為步態(tài)特征輸入網(wǎng)絡(luò)，進(jìn)行分類識(shí)別。在CASIA-B數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)表明，邊緣檢測(cè)和主成分分析法降維在保證識(shí)別率的同時(shí)，能夠提高網(wǎng)絡(luò)的計(jì)算效率。