一種LSTM與CNN相結(jié)合的步態(tài)識(shí)別方法

戚艷軍，孔月萍，王佳婧，朱旭東

(1.西安建筑科技大學(xué) 機(jī)電工程學(xué)院，陜西 西安 710055；2.西北政法大學(xué) 商學(xué)院，陜西 西安 710063；3.西安建筑科技大學(xué) 信息與控制工程學(xué)院，陜西 西安 710055)

步態(tài)識(shí)別是通過(guò)走路的姿態(tài)對(duì)行人身份進(jìn)行識(shí)別，具有非接觸、非侵入、難偽造、可遠(yuǎn)距離獲取的特點(diǎn)，在安全監(jiān)控、醫(yī)療診斷等領(lǐng)域有著廣闊的應(yīng)用前景[1]。由于步態(tài)受外部環(huán)境(拍攝視角、路面等)以及行走條件(著裝、攜帶物等)的影響較大，因此，挖掘并學(xué)習(xí)與視角無(wú)關(guān)的、可抵御行走條件變化的步態(tài)特征是步態(tài)識(shí)別研究的熱點(diǎn)之一。

現(xiàn)有步態(tài)識(shí)別方法多使用由圖像或視頻序列生成的類(lèi)能量圖(如步態(tài)能量圖、運(yùn)動(dòng)輪廓圖等)進(jìn)行表觀建模?；诒碛^建模的跨視角步態(tài)識(shí)別方法有聚類(lèi)視角估計(jì)[2-3]、投影映射法[4-5]、視覺(jué)轉(zhuǎn)換法[6-7]等。近年來(lái)，使用深度學(xué)習(xí)實(shí)現(xiàn)跨視角步態(tài)識(shí)別的方法不斷涌現(xiàn)，這些方法利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)[8-9]、3D CNN[10-11]的層級(jí)抽象特征提取能力，提取類(lèi)能量圖中與視角無(wú)關(guān)的時(shí)空特征；文獻(xiàn)[12]采用GaitGAN網(wǎng)絡(luò)解決視角、衣著等因素對(duì)步態(tài)識(shí)別性能的影響。這些方法較好地應(yīng)對(duì)了步態(tài)識(shí)別中的視角變化難題，但是類(lèi)能量圖本質(zhì)上是步態(tài)特征的二維表達(dá)，在視角跨度較大的情況下，識(shí)別性能急劇下降。同時(shí)，部分類(lèi)能量圖在步態(tài)疊加過(guò)程中也會(huì)造成步態(tài)時(shí)序信息以及細(xì)粒度的空間信息丟失問(wèn)題。

還有學(xué)者使用基于模型的步態(tài)識(shí)別方法。這類(lèi)方法對(duì)人體結(jié)構(gòu)和姿態(tài)信息進(jìn)行特征建模。文獻(xiàn)[13]利用Kinect傳感器采集的人體骨架數(shù)據(jù)研究步態(tài)，結(jié)果表明人體關(guān)節(jié)包含足夠的信息描述步態(tài)特征。從步態(tài)信息的三維本質(zhì)出發(fā)，文獻(xiàn)[14-15]嘗試使用三維成像設(shè)備或在多攝像機(jī)協(xié)作環(huán)境下重構(gòu)人體的三維步態(tài)模型，但復(fù)雜的攝像機(jī)參數(shù)調(diào)整及建模計(jì)算限制了應(yīng)用場(chǎng)景。隨著人體姿態(tài)估計(jì)方法[16]的不斷成熟，研究人員可以利用人體姿態(tài)估計(jì)從圖像或視頻中實(shí)時(shí)獲取關(guān)節(jié)姿態(tài)信息，這為基于模型的步態(tài)識(shí)別方法帶來(lái)了曙光。文獻(xiàn)[17]利用姿態(tài)估計(jì)從視頻序列中提取二維關(guān)節(jié)姿態(tài)，構(gòu)建PTSN網(wǎng)絡(luò)獲取關(guān)節(jié)序列的時(shí)空變化特征，在相同視角下取得了較好的效果，但沒(méi)有在跨視角場(chǎng)景下驗(yàn)證模型的有效性。文獻(xiàn)[18]構(gòu)建了姿態(tài)長(zhǎng)短時(shí)記憶模塊(Pose-based LSTM，PLSTM)對(duì)人體的12個(gè)關(guān)節(jié)熱圖序列進(jìn)行視角重構(gòu)，消減了視角變化對(duì)步態(tài)識(shí)別的影響，但是難以同時(shí)對(duì)3個(gè)以上跨視角步態(tài)序列進(jìn)行視角重構(gòu)。最近，LIAO等[19]首先使用三維姿態(tài)估計(jì)直接從視頻中獲取人體關(guān)節(jié)的三維坐標(biāo)，并建立關(guān)節(jié)姿態(tài)模板；然后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取關(guān)節(jié)運(yùn)動(dòng)的時(shí)空特征。該方法計(jì)算簡(jiǎn)單，在跨視角場(chǎng)景下獲得了較好的識(shí)別率。在此基礎(chǔ)上，該方法還可以進(jìn)一步考慮挖掘關(guān)節(jié)姿態(tài)的時(shí)序特征。

綜上可知，步態(tài)的三維建模對(duì)視角變化具有較高的魯棒性。而在一定運(yùn)動(dòng)周期中，視頻行人的關(guān)節(jié)運(yùn)動(dòng)及身體結(jié)構(gòu)變化存在時(shí)序相關(guān)性，可以利用行人步態(tài)的三維數(shù)字特征構(gòu)建步態(tài)的時(shí)空運(yùn)動(dòng)特征模型，進(jìn)而利用深度網(wǎng)絡(luò)挖掘行人關(guān)節(jié)點(diǎn)的三維深度時(shí)空運(yùn)動(dòng)特征，可有望提高跨視角步態(tài)識(shí)別的準(zhǔn)確率。

1 人體姿態(tài)特征建模

人體運(yùn)動(dòng)時(shí)關(guān)節(jié)夾角以及關(guān)節(jié)間的相對(duì)位置關(guān)系呈周期性變化，且下半身的運(yùn)動(dòng)變化較上半身更為明顯。關(guān)節(jié)之間的夾角、足部與行進(jìn)方向的夾角、身體重心擺動(dòng)以及身體結(jié)構(gòu)比例等變化關(guān)系相互作用、相互約束，形成一個(gè)有機(jī)的整體，能夠反映行人的步態(tài)變化特點(diǎn)。此外，每個(gè)人運(yùn)動(dòng)的快慢、位移變化狀況也能通過(guò)關(guān)節(jié)位置來(lái)表達(dá)。這些關(guān)節(jié)點(diǎn)間的關(guān)系在三維空間并不隨拍攝視角而變化，滿足視角不變性。因此，利用三維空間下的關(guān)節(jié)運(yùn)動(dòng)約束關(guān)系和關(guān)節(jié)位移變化規(guī)律可以綜合表達(dá)步態(tài)的時(shí)空特征。

圖1 人體三維姿態(tài)特征矩陣構(gòu)建流程

圖2是行人關(guān)節(jié)點(diǎn)及運(yùn)動(dòng)約束關(guān)系示意圖。

圖2 行人關(guān)節(jié)點(diǎn)及其運(yùn)動(dòng)約束關(guān)系示意圖

(1)

其中，kb為下肢關(guān)節(jié)點(diǎn)，ki、kj是與kb相鄰的關(guān)節(jié)點(diǎn)。

(2)

(3)

其中，NG為身體重心，kn、kl為下肢關(guān)節(jié)點(diǎn)。

(4)

(5)

其中，kb的含義與式(1)中的相同。

將關(guān)節(jié)運(yùn)動(dòng)約束矢量和人體結(jié)構(gòu)約束特征矢量按式(6)方式組合，得到行人的運(yùn)動(dòng)約束矩陣Mr。該矩陣保持了關(guān)節(jié)運(yùn)動(dòng)約束的時(shí)序特征。

(6)

此外，每個(gè)人在時(shí)域和空域的運(yùn)動(dòng)特點(diǎn)也存在差異，如圖3所示。

圖3 相鄰兩幀間關(guān)節(jié)點(diǎn)運(yùn)動(dòng)示意圖

(7)

(8)

2 三維姿態(tài)特征提取網(wǎng)絡(luò)構(gòu)建

為了從三維姿態(tài)特征矩陣中挖掘行人的步態(tài)特征，同時(shí)緩解視角、衣著、攜帶物等因素對(duì)步態(tài)的影響，選擇使用深度網(wǎng)絡(luò)的非線性映射能力來(lái)提取三維姿態(tài)特征矩陣中的步態(tài)時(shí)空特征。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory networks，LSTM)是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，它的記憶單元和門(mén)機(jī)制使其在學(xué)習(xí)長(zhǎng)序列數(shù)據(jù)的時(shí)序依賴關(guān)系方面有著優(yōu)良的性能，適合學(xué)習(xí)矩陣Mr中的關(guān)節(jié)約束時(shí)序特征；而卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)則通過(guò)局部連接、權(quán)值共享以及池化機(jī)制，可以逐層提取數(shù)據(jù)的局部相關(guān)特征。由于行人的關(guān)節(jié)位移在局部區(qū)域具有自相關(guān)性，可借助卷積神經(jīng)網(wǎng)絡(luò)捕捉矩陣Ma中的空間動(dòng)作關(guān)聯(lián)特征。所以，構(gòu)建了長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)并行組合的三維步態(tài)識(shí)別網(wǎng)絡(luò)，命名為“LC-POSEGAIT”，該網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖4所示。

圖4 LC-POSEGAIT網(wǎng)絡(luò)模型結(jié)構(gòu)

LC-POSEGAIT的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)分支由2個(gè)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層和Flatten層組成，運(yùn)動(dòng)約束矩陣Mr經(jīng)過(guò)兩層長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)后在Flatten層轉(zhuǎn)換為一維運(yùn)動(dòng)約束向量；卷積神經(jīng)網(wǎng)絡(luò)分支由4個(gè)卷積層、4個(gè)池化層及1個(gè)Flatten層組成，動(dòng)作特征矩陣Ma經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)分支的4次卷積和池化后，在Flatten層轉(zhuǎn)換為一維動(dòng)作特征矢量。將兩路一維向量合并后，經(jīng)過(guò)全連接層FC-1、FC-2降維得到步態(tài)特征矢量，使用FC-1層矢量作為行人三維步態(tài)特征進(jìn)行步態(tài)識(shí)別。

考慮到行人步態(tài)相似度較高，加之拍攝視角及行走條件變化會(huì)影響步態(tài)特征的類(lèi)內(nèi)變化，借鑒文獻(xiàn)[19]的思想，采用Softmax損失函數(shù)LS和Center損失函數(shù)LC聯(lián)合的多損失函數(shù)優(yōu)化網(wǎng)絡(luò)。其中，LS用于拉大行人的類(lèi)間距離，LC用于緊湊行人的類(lèi)內(nèi)距離，保證不同行人的特征可分離。因此，LC-POSEGAIT網(wǎng)絡(luò)的損失函數(shù)定義如下：

(9)

3 實(shí)驗(yàn)及分析

為了驗(yàn)證新方法的有效性，在Win10、Pytorch1.4、python3.6環(huán)境下使用中科院自動(dòng)化所發(fā)布的CASIA-B多視角步態(tài)數(shù)據(jù)庫(kù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練和行人識(shí)別驗(yàn)證。該數(shù)據(jù)庫(kù)共有124個(gè)行人，3種行走條件(即背包行走bg、穿外套行走cl和正常行走nm)，每個(gè)人分別在11個(gè)視角(每?jī)蓚€(gè)視角間隔18°，即0°，18°，…，180°)采集了10種行走狀態(tài)，即每人擁有13 640(124×10×11)個(gè)視頻片段。視頻分辨率為320×240，幀速為25幀每秒。

根據(jù)圖1流程，提取124個(gè)行人所有視頻中的關(guān)節(jié)點(diǎn)三維姿態(tài)數(shù)據(jù)，計(jì)算得到視頻片段中每一幀的14個(gè)關(guān)節(jié)運(yùn)動(dòng)約束值，然后建立運(yùn)動(dòng)約束矩陣Μr和動(dòng)作特征矩陣Μa。由于部分視角的視頻卡頓，致使數(shù)據(jù)并未完全提取到，在使用時(shí)刪除不滿足訓(xùn)練及測(cè)試要求的矩陣。圖5(a)是第001人在72°視角的10種行走狀態(tài)下的某一幀圖，圖5(b)是001人在bg-01，bg-02，cl-01，cl-02狀態(tài)下左膝關(guān)節(jié)運(yùn)動(dòng)約束值在一段時(shí)間內(nèi)的變化關(guān)系。從圖5(b)中可以看出，行人背包或穿外套行走會(huì)對(duì)步態(tài)產(chǎn)生一定的影響。

(a)第001人在72°視角10個(gè)行走狀態(tài)圖

將矩陣Mr和Ma送入網(wǎng)絡(luò)的兩個(gè)分支。在兩個(gè)分支網(wǎng)絡(luò)的最后一層，分別將關(guān)節(jié)約束二維矢量和動(dòng)作特征二維矢量展開(kāi)為一維矢量，然后將它們?nèi)诤虾笏腿肴B接層。其中訓(xùn)練集使用001#-074#行人的全部10個(gè)行走狀態(tài)數(shù)據(jù)；注冊(cè)集(gallery set)使用075#-124#行人的nm01-04數(shù)據(jù)；驗(yàn)證集(probe set)使用075#-124#行人的nm05-06、bg01-02、cl01-02數(shù)據(jù)。LC-POSEGAIT網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示。

表1 LC-POSEGAIT網(wǎng)絡(luò)參數(shù)

當(dāng)LC-POSEGAIT網(wǎng)絡(luò)訓(xùn)練完成后，將網(wǎng)絡(luò)的FC-1層輸出的128維向量作為三維步態(tài)特征向量。首先進(jìn)行跨視角、跨行走狀態(tài)的步態(tài)識(shí)別實(shí)驗(yàn)。表2是在正常行走狀態(tài)下的識(shí)別率。從表2中可以看出，在注冊(cè)集與驗(yàn)證集相同視角下，平均識(shí)別率在90%以上。當(dāng)驗(yàn)證集樣本與注冊(cè)集樣本的視角差在±36°以內(nèi)時(shí)，平均識(shí)別率為86%。

表2 CASIA-B 數(shù)據(jù)集上正常行走的跨視角識(shí)別率 %

其次，分別統(tǒng)計(jì)不同行走狀態(tài)的平均識(shí)別率，結(jié)果如表3所示，得到nm-nm的平均識(shí)別率為66.62%，nm-bg的平均識(shí)別率約為45.92%，nm-cl的平均識(shí)別率約為33.49%。其中，0°和180°視角的平均識(shí)別率最低，這和姿態(tài)估計(jì)在這兩個(gè)角度的精度有關(guān)。而且從表3中可以看出，穿外套、背包對(duì)跨視角步態(tài)識(shí)別的準(zhǔn)確率都有一定的影響。

表3 CASIA-B數(shù)據(jù)集同狀態(tài)跨視角平均識(shí)別率 %

新方法構(gòu)建的三維姿態(tài)特征矩陣著眼于人體姿態(tài)的運(yùn)動(dòng)約束和動(dòng)作特征，保持了人體運(yùn)動(dòng)系統(tǒng)的整體特點(diǎn)和時(shí)空特性。為了檢驗(yàn)兩類(lèi)特征矩陣對(duì)步態(tài)識(shí)別的有效性，將LC-POSEGAIT與LSTM分支、卷積神經(jīng)網(wǎng)絡(luò)分支分別學(xué)習(xí)步態(tài)特征得到的識(shí)別效果進(jìn)行比較，在不同行走狀態(tài)下的平均識(shí)別率如表4所示?？梢钥闯?，卷積神經(jīng)網(wǎng)絡(luò)(CNN)分支的識(shí)別率相對(duì)較低，LSTM分支次之，LC-POSEGAIT的識(shí)別率最高，說(shuō)明人體運(yùn)動(dòng)約束和關(guān)節(jié)的動(dòng)作特征能夠充分表達(dá)步態(tài)特征。同時(shí)，使用LSTM和CNN結(jié)合的模型能挖掘步態(tài)的多角度特征，提高三維步態(tài)的識(shí)別率。

表4 LC-POSEGAIT網(wǎng)絡(luò)、LSTM分支及CNN分支的跨視角平均識(shí)別率 %

最后，將新方法和基于表觀特征的SPAE[20]、GaitGANv2[21]方法以及基于模型的PoseGait[19]方法進(jìn)行識(shí)別性能對(duì)比，結(jié)果如表5所示?？梢钥闯觯路椒ㄔ?種行走狀態(tài)下的識(shí)別率均高于其他方法。與表觀特征方法SPAE、GaitGANv2相比，新方法建立的特征矩陣比類(lèi)能量圖能更好地表達(dá)行人運(yùn)動(dòng)的時(shí)空特性。新方法和PoseGait方法都采用三維姿態(tài)估計(jì)進(jìn)行步態(tài)建模，由于新方法綜合考慮了人體運(yùn)動(dòng)的整體約束性、LSTM的時(shí)序特征學(xué)習(xí)以及卷積神經(jīng)網(wǎng)絡(luò)對(duì)關(guān)節(jié)動(dòng)作局部特征的學(xué)習(xí)能力，識(shí)別率有所提高。從兩種方法的跨狀態(tài)實(shí)驗(yàn)結(jié)果和圖5(b)可以看出，正常行走狀態(tài)和其他兩種行走狀態(tài)的平均識(shí)別率有較大差異，其原因可能在于CASIA-B數(shù)據(jù)集的視頻采集分辨率不高，影響到三維姿態(tài)估計(jì)的準(zhǔn)確性；同時(shí)，三維姿態(tài)估計(jì)是兩次估計(jì)得到的值，其精度波及到三維姿態(tài)特征矩陣的向量值，導(dǎo)致識(shí)別率低于其他兩種行走狀態(tài)。

表5 PoseGait、SPAE、GaitGANv2和文中方法的跨視角平均識(shí)別率對(duì)比 %

4 結(jié)束語(yǔ)

為了緩解拍攝角度、行走狀態(tài)對(duì)行人步態(tài)識(shí)別的影響，以及部分類(lèi)能量圖在表征步態(tài)特征時(shí)造成的時(shí)序信息丟失問(wèn)題，提出了一種長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的并行網(wǎng)絡(luò)步態(tài)識(shí)別方法。相比基于步態(tài)能量圖的表觀步態(tài)建模，新方法構(gòu)建的三維姿態(tài)特征矩陣很好地表征了行人步態(tài)的時(shí)空特征，并使用深度步態(tài)網(wǎng)絡(luò)LC-POSEGAIT中的LSTM分支和卷積神經(jīng)網(wǎng)絡(luò)分支分別挖掘行人關(guān)節(jié)約束的時(shí)序特征和關(guān)節(jié)動(dòng)作的空間特征。由于采用了人體姿態(tài)估計(jì)，在三維姿態(tài)特征矩陣構(gòu)建過(guò)程中避免了行人檢測(cè)跟蹤預(yù)處理工作。所設(shè)計(jì)的深度步態(tài)網(wǎng)絡(luò)充分挖掘了三維姿態(tài)特征矩陣的時(shí)空特征，使得識(shí)別準(zhǔn)確率有所提高。對(duì)新方法在公開(kāi)步態(tài)數(shù)據(jù)庫(kù)CASIA-B上進(jìn)行評(píng)估，并未在真實(shí)場(chǎng)景中檢驗(yàn)，在有遮擋的情況下，還需要進(jìn)一步優(yōu)化三維姿態(tài)特征矩陣。