顯著性時空特征融合的多視角步態(tài)識別算法

楊凱文，李雙群，胡星

（1.中電長城圣非凡信息系統(tǒng)有限公司，北京 102209；2.中國電子信息產(chǎn)業(yè)集團有限公司第六研究所，北京 100083）

0 引言

行人步態(tài)是非常重要的生物特征之一，它具有遠程識別行人身份的唯一性能力，與人臉、虹膜、指紋等其他生物特征相比，步態(tài)具有下列顯著優(yōu)勢：①可以通過遠程、非接觸的方式獲取；②難以模仿或偽裝；③即使在低質(zhì)視頻中，仍然可以有效地獲取行人步態(tài)。近幾年來，視頻監(jiān)控系統(tǒng)中的步態(tài)識別引起了研究人員的廣泛關(guān)注，研究成果可以應用于智慧邊防、倉庫安全管理、智慧安防、智能刑偵、身份識別等領(lǐng)域，這些具有挑戰(zhàn)性的應用在很大程度上依賴于步態(tài)識別準確率。

然而，準確的步態(tài)識別仍然面臨以下主要挑戰(zhàn)：①不同視角的步態(tài)匹配非常困難，但對于步態(tài)識別應用非常重要；②精確檢測步態(tài)周期困難大，步態(tài)序列的周期性運動線索和時間特性無法被有效利用。上述因素導致行人步態(tài)具有模糊的類間差異和較大的類內(nèi)差異，部分示例［1］如圖1所示。

針對上述挑戰(zhàn)，為提升步態(tài)識別性能，研究者們提出了兩種類型步態(tài)識別方法：基于模型的步態(tài)識別方法和基于外觀的步態(tài)識別方法?；谀Ｐ偷牟綉B(tài)識別方法通過對人體四肢的運動進行建模，并從步態(tài)圖像中提取人體結(jié)構(gòu)。例如：Lombardi等［2］通過計算光流場對步態(tài)序列中的兩點數(shù)據(jù)進行統(tǒng)計，并對行人肢體運動進行編碼，稱為兩點步態(tài)；李昱等［3］融合視覺和觸覺特征建立全身步態(tài)模型，并使用支持向量機進行分類完成步態(tài)識別；Goffredo等［4］應用人體比例測量方法對人員下肢姿勢進行建模，是一種獨立于拍攝視角的步態(tài)識別方法。然而，在低質(zhì)監(jiān)控視頻中，很難精確估計行人步態(tài)的運動模型參數(shù)。

基于外觀的步態(tài)識別方法主要從獲取的步態(tài)圖像序列中提取步態(tài)特征，即使在低分辨率視頻中也可以完成步態(tài)識別任務。例如：Muramatsu等［5］提 出 了 一 種 任 意 視 角 轉(zhuǎn) 換 模 型（AVTM），用于在任意視角下準確匹配行人的步態(tài)特征；官洪運等［6］利用HSV顏色特征和局部細節(jié)特征進行步態(tài)匹配；Wang等［7］提取每個步態(tài)圖像的輪廓，然后使用多通道映射函數(shù)將步態(tài)輪廓映射到相同的步態(tài)序列中，形成步態(tài)時序模板完成步態(tài)識別。

最近，基于深度學習的步態(tài)識別方法取得良好的識別結(jié)果，Zhang等［8］使用成對的步態(tài)能量圖（GEI）作為輸入，構(gòu)建了孿生神經(jīng)網(wǎng)絡(luò)學習步態(tài)序列的時空特征，在一定程度上提高了步態(tài)識別精度。由于GEI在計算過程中會損失步態(tài)大量的動態(tài)信息，GEI僅僅能夠表示步態(tài)的少量動態(tài)信息。LSTM網(wǎng)絡(luò)采用學習有用新信息并遺忘無用舊信息機制，可以有效捕獲視頻中的運動信息，Donahue等［9］提出了一種新的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用LSTM對可變長度視頻的復雜動態(tài)特性進行建模，應用于大規(guī)模視頻的視覺描述。為了獲取豐富的行人運動信息，Mahasseni等［10］提出一種正則化LSTM網(wǎng)絡(luò)架構(gòu)，并使用視頻中行人的3D人體骨架序列進行訓練，應用于大規(guī)模視頻的行人動作識別。陳京榮［11］提出了一種結(jié)合姿態(tài)估計與Bi-LSTM網(wǎng)絡(luò)的人體跌倒檢測算法，用于檢測老年人跌倒事件的發(fā)生。

受上述研究工作的啟發(fā)，為了解決步態(tài)識別的挑戰(zhàn)性問題，本文設(shè)計了一個自動融合步態(tài)序列的框架，其顯著的空間和時間特征用于完成步態(tài)識別任務。首先，為了獲得步態(tài)的判別性外觀特征，利用步態(tài)圖像對VGG16網(wǎng)絡(luò)進行微調(diào)，并使用微調(diào)后模型提取行人步態(tài)圖像的空間特征表示步態(tài)外觀信息；其次，為了準確地捕捉行人步態(tài)的顯著周期性運動特征，設(shè)計了時序總結(jié)孿生LSTM神經(jīng)網(wǎng)絡(luò)來自動學習步態(tài)序列的顯著周期性運動特征，其中LSTM單元用于對步態(tài)序列的周期性運動進行建模、時序加權(quán)總結(jié)模塊捕捉顯著的時序信息、孿生網(wǎng)絡(luò)架構(gòu)解決步態(tài)識別中類別數(shù)量巨大而每個類別樣本數(shù)量很少的問題；最后，在OULP-C1V1-A步態(tài)數(shù)據(jù)集上對本文方法進行了實驗驗證，實驗結(jié)果表明本文方法在相同視角和交叉視角下都取得了良好的步態(tài)識別性能。

綜上所述，本文主要貢獻總結(jié)為：①設(shè)計了一種網(wǎng)絡(luò)架構(gòu)，同時利用步態(tài)圖像序列的顯著性空間特征和時間特征進行相同視角和交叉視角下的步態(tài)識別；②提出了一種時序總結(jié)孿生LSTM神經(jīng)網(wǎng)絡(luò)，自動學習步態(tài)圖像序列的顯著周期性運動特征；③探索了LSTM的層數(shù)、隱藏單元數(shù)量與步態(tài)識別準確率之間的關(guān)系，在OULP-C1V1-A步態(tài)數(shù)據(jù)集上綜合評價了本文方法在相同視角內(nèi)和交叉視角間取得的良好識別性能。

1 時序總結(jié)孿生LSTM網(wǎng)絡(luò)

1.1 算法框架

圖2展示了本文提出的時序總結(jié)孿生LSTM網(wǎng)絡(luò)模型框架。首先，以步態(tài)圖像序列對作為輸入，步態(tài)圖像序列通過微調(diào)的VGG16網(wǎng)絡(luò)提取每個圖像的空間特征；接著，將步態(tài)圖像的空間特征輸入LSTM單元，學習步態(tài)序列中與時序相關(guān)的特征集；最后，提出了一個時序總結(jié)層，用于為不同的時間步輸出分配不同的權(quán)重，生成步態(tài)序列周期性運動線索的序列級特征，用于完成步態(tài)識別任務。

1.2 步態(tài)空間特征提取

本文選擇VGG16網(wǎng)絡(luò)學習步態(tài)圖像的空間特征，由于預訓練的VGG16模型采用ImageNet作為訓練數(shù)據(jù)，不能直接應用于步態(tài)識別。因此，將預訓練VGG16模型在步態(tài)數(shù)據(jù)集上進行微調(diào)，將其遷移到步態(tài)圖像領(lǐng)域。微調(diào)解決方案：將fc8層的輸出參數(shù)設(shè)置為步態(tài)圖像類別數(shù)目，微調(diào)預訓練VGG16模型中的所有層參數(shù)。微調(diào)后VGG16模型能夠捕捉到步態(tài)圖像更為豐富的空間特征。給定一個步態(tài)序列處理單元S={s1,…,st,…sT}，其中st是時間步t的步態(tài)圖像、T為步態(tài)序列處理單元S的長度，利用微調(diào)后VGG16模型提取步態(tài)序列處理單元S的空間特征向量集X={x1,…,xt,…xT}。

1.3 步態(tài)周期特征提取

LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，通過記憶單元模塊調(diào)節(jié)特定的相關(guān)信息與其周圍環(huán)境信息之間的相互作用，有目的地保留特定相關(guān)信息，可以捕捉視頻序列中的長期時間動態(tài)信息，增強序列時序信息的判別能力。行人步態(tài)周期是區(qū)分不同行人的重要特征，因此本文采用LSTM神經(jīng)網(wǎng)絡(luò)對行人步態(tài)的周期性運動進行建模，并提取更具判別特性的周期性運動特征表示步態(tài)周期，提高行人步態(tài)識別性能。

LSTM記憶單元由四個主要部分組成：一個輸入門、一個具有自循環(huán)連接的神經(jīng)元、一個遺忘門和一個輸出門。輸入門根據(jù)輸入數(shù)據(jù)更新記憶單元的狀態(tài)或阻塞更新，自循環(huán)連接確保記憶單元的狀態(tài)具有1個時間步延遲的反饋，遺忘門允許記憶單元通過調(diào)整其自循環(huán)連接來記住或忘記其先前的狀態(tài)，輸出門允許記憶單元的狀態(tài)對其他神經(jīng)元產(chǎn)生影響或阻止影響?？傊琇STM記憶單元允許神經(jīng)網(wǎng)絡(luò)學習何時忘記先前的隱藏狀態(tài)以及何時更新隱藏狀態(tài)以保留新的相關(guān)信息。

接下來，將步態(tài)序列處理單元S的空間特征向量集X輸入LSTM模塊，學習步態(tài)序列的周期性時序信息。對于時間步t，xt和ht分別為輸入向量，Wx為輸入權(quán)重矩陣，Wh為循環(huán)權(quán)重矩陣，b為偏置向量。Sigmoid函數(shù)是一個元素級非線性激活函數(shù)，它將實數(shù)輸入映射到（0，1）范圍內(nèi)。雙曲正切函數(shù)?(x)=也是一個元素級非線性激活函數(shù)，它將輸入映射到（-1，1）范圍內(nèi)。運算符⊙表示元素級相乘運算。給定輸入xt，ht-1和ct-1，LSTM單元時間步t的更新方程可表示為：

從公式（1）～（6）可以看出，每個時間步都會得到一個隱藏單元ht∈?N。一個LSTM單元由輸入門it∈?N、遺忘門ft∈?N、輸出門ot∈?N、輸入調(diào)節(jié)門gt∈?N和記憶單元ct∈?N組成。記憶單元ct是ct-1記憶部分和被調(diào)節(jié)后it的總和。LSTM單元中的ft和gt被視為選擇性地忘記其先前記憶和考慮當前輸入的旋鈕，ot用于學習記憶單元中的哪些信息需要轉(zhuǎn)移到隱藏單元中。最后，得到步態(tài)序列處理單元S的隱藏狀態(tài)集H={h1,…,ht,…h(huán)T}，它表示步態(tài)序列S長期的時序信息，即周期性運動信息。

1.4 步態(tài)時序信息加權(quán)總結(jié)

盡管LSTM能夠捕獲到步態(tài)序列的時序信息，但它更偏重于使用后面時間步的輸出信息，這會降低步態(tài)識別性能，因為前面時間步的輸出也會包含一些有用的時序信息。為了解決這個問題，本文設(shè)計了一個時序信息加權(quán)總結(jié)（WTS）模塊，提供了一種加權(quán)解決方案來聚合總結(jié)所有時間步的信息，從而捕捉到具有強區(qū)分能力的時序特征。WTS模塊生成的步態(tài)特征向量V可形式化為：

其中T表示步態(tài)序列的時間步數(shù)（長度）、ht是LSTM在時間步t的輸出。

1.5 孿生LSTM網(wǎng)絡(luò)

在步態(tài)識別領(lǐng)域，樣本數(shù)據(jù)具有以下特點：類別數(shù)量非常多且模型訓練階段無法確定，而每個類別的樣本數(shù)量非常少。孿生架構(gòu)網(wǎng)絡(luò)可以從訓練數(shù)據(jù)中應用判別學習技術(shù)來學習相似度度量模型，不需要特定的樣本類別信息，它包含兩個結(jié)構(gòu)相同且權(quán)重共享的子網(wǎng)，將輸入對象映射到低維目標空間中進行相似性度量。因此，孿生架構(gòu)網(wǎng)絡(luò)適合解決步態(tài)識別問題，本文設(shè)計了一個孿生LSTM網(wǎng)絡(luò)用于學習步態(tài)序列的周期性運動特征，如圖2所示。由于孿生LSTM網(wǎng)絡(luò)目標空間的維數(shù)較低，能夠從每個類別的少量樣本中學習不同步態(tài)序列之間的強區(qū)分性特征。

1.5.1 網(wǎng)絡(luò)輸入

孿生LSTM網(wǎng)絡(luò)以步態(tài)序列對作為輸入，將每個步態(tài)序列映射為一個特征向量，然后進行相似性度量。對于訓練集中的所有步態(tài)序列，本文隨機選擇兩個屬于同一類別的步態(tài)序列構(gòu)成正訓練對、隨機選擇兩個屬于不同類別的序列構(gòu)成負訓練對。給定一個步態(tài)序列訓練對(Si,Sj)，Y∈[ 0,1]為訓練對的標簽，Y=1表示Si和Sj屬于同一個身份，Y=0表示它們屬于不同的身份。

如圖2所示，步態(tài)序列訓練對(Si,Sj)分別輸入微調(diào)后VGG16模型提取步態(tài)序列的空間特征向量集Xi和Xj，接著它們分別被輸入兩個并行的LSTM子網(wǎng)絡(luò)學習得到兩個步態(tài)序列的隱藏狀態(tài)集Hi和Hj，最后根據(jù)公式（7）分別對Hi和Hj進行加權(quán)總結(jié)，得到兩個步態(tài)序列的特征向量Vi和Vj。

1.5.2 對比損失函數(shù)

對于步態(tài)識別任務，需要學習一個非線性函數(shù)將步態(tài)序列映射到低維空間中的點，使正訓練對盡可能接近、而負訓練對盡可能遠離，且至少大于一個最小距離間隔。因此，本文采用對比損失層連接兩個LSTM子網(wǎng)絡(luò)。

對于步態(tài)序列的特征向量Vi和Vj，距離度量方法可表示為：

對比損失目標函數(shù)可形式化表示為：

其中正數(shù)m為不同類別步態(tài)序列之間的最小距離間隔。

1.5.3 網(wǎng)絡(luò)訓練

本文將步態(tài)識別視為一個二分類問題，訓練數(shù)據(jù)包括步態(tài)序列對和標簽。在訓練階段，采用權(quán)重共享機制同時優(yōu)化兩個LSTM子網(wǎng)絡(luò)，成對的步態(tài)序列分別輸入兩個LSTM子網(wǎng)絡(luò)，通過對比損失層計算對比損失并反向傳播來訓練孿生LSTM網(wǎng)絡(luò)模型。

由于步態(tài)序列的正訓練對數(shù)量要遠遠少于負訓練對，可能會帶來數(shù)據(jù)不平衡和過擬合問題。為了避免這些問題，在訓練過程中隨機丟棄LSTM層的50%神經(jīng)元輸出，LSTM層保留神經(jīng)元的輸出傳遞到后續(xù)層，隨著對訓練數(shù)據(jù)的多輪迭代，模型被訓練達到收斂狀態(tài)，訓練結(jié)束。

1.5.4 網(wǎng)絡(luò)測試

在測試過程中，舍棄了孿生架構(gòu)和對比損失函數(shù)，使用孿生LSTM網(wǎng)絡(luò)中的一條分支（即微調(diào)的VGG16模型和LSTM子網(wǎng)絡(luò)部分）作為特征提取器，提取參考集合和查詢集合中步態(tài)序列的外觀和周期性運動特征。在聯(lián)合步態(tài)序列的外觀和周期性運動特征時，先對它們執(zhí)行歸一化操作再進行特征融合。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集和評價準則

2.1.1 數(shù)據(jù)集

使用OULP-C1V1-A步態(tài)數(shù)據(jù)集評估本文方法的性能，它是一個規(guī)模大、覆蓋范圍廣的步態(tài)識別基準數(shù)據(jù)集，包含3836名行人對象、年齡覆蓋范圍為1歲到94歲。每個行人對象包括兩類步態(tài)序列：參考序列和查詢序列。步態(tài)序列由行人剪影圖像構(gòu)成，這些圖像被歸一化為128×88個像素。參考集合和查詢集合中的行人對象分別根據(jù)觀察視角分為五個子集，即55°、65°、75°、85°和所有角度。在實驗中，使用參考集合進行訓練，查詢集合沒有參與訓練。

2.1.2 評價準則

由于OULP-C1V1-A步態(tài)數(shù)據(jù)集中的每個查詢序列都有對應的多個交叉視角參考序列，因此采用MAP來評價所提方法的性能。MAP用于計算所有查詢步態(tài)序列的識別精度，定義如下：

其中Q表示查詢集，mj表示查詢序列j對應的參考步態(tài)序列數(shù)量，Precision (Rjk)表示查詢序列j對應參考序列k的平均識別精度（AP）。

除此之外，本文還采用累積匹配曲線（CMC）來計算Rank-1和Rank-5，分別表示所有查詢正確的參考序列排名在第一和前五的百分比，它們也是廣泛應用于評估步態(tài)識別性能的方法。

2.2 實驗設(shè)置

為了客觀評價所提方法，基于訓練數(shù)據(jù)對損失函數(shù)的負訓練對最小距離間隔、LSTM隱藏單元數(shù)量、LSTM層數(shù)進行了調(diào)整。首先，調(diào)整孿生架構(gòu)網(wǎng)絡(luò)中對比損失函數(shù)的負樣本最小距離間隔m。當m=1時，驗證性能最好；當m=0.5或m=1.5時，驗證性能沒有明顯變化；但是當m＜0.5或m＞1.5時，驗證性能明顯下降。因此，后續(xù)實驗評價過程中設(shè)置m為1。

其次，對LSTM隱藏單元數(shù)量進行了實驗嘗試，以揭示隱藏單元數(shù)量對LSTM學習能力的影響。由于數(shù)據(jù)集中行人類別數(shù)量大（3836個行人）和行人步態(tài)圖像差異性小，實驗中嘗試使用與之匹配的LSTM隱藏單元數(shù)量進行驗證，即分別使用了1024、2048、3096和5120隱藏單元數(shù)量。隨著LSTM隱藏單元數(shù)量的增大，步態(tài)識別準確率也得到了持續(xù)的提升，當隱藏單元大小達到5120時，識別準確率無法獲得進一步的提升。因此，后續(xù)實驗評價過程中LSTM隱藏單元數(shù)量設(shè)置為5120。

最后，對LSTM層數(shù)進行了實驗驗證嘗試，分別嘗試了1、2和4層LSTM網(wǎng)絡(luò)結(jié)構(gòu)，驗證結(jié)果表明1層LSTM在OULP-C1V1-A步態(tài)數(shù)據(jù)集上識別性能最好。因此，后續(xù)實驗評價過程中LSTM層數(shù)設(shè)置為1。

2.3 時序加權(quán)總結(jié)性能驗證與分析

實驗過程中，需要將步態(tài)序列的LSTM所有時間步輸出融合為單個特征向量完成步態(tài)識別，除了使用所提出的步態(tài)時序信息加權(quán)總結(jié)（WTS）融合方法之外，還使用了平均池化（Mean-pooling）和最大池化（Max-pooling）來融合LSTM所有時間步的輸出。具體地說，平均池化方法認為LSTM所有時間步輸出同等重要，而最大池化方法使用LSTM所有時間步輸出的最大激活值作為特征向量。在OULP-C1V1-A步態(tài)數(shù)據(jù)集上，基于本文設(shè)計的孿生LSTM網(wǎng)絡(luò)結(jié)構(gòu)使用時序加權(quán)總結(jié)、平均池化、最大池化分別進行了訓練和測試，對比分析了它們各自的步態(tài)識別性能。如表1和表2所示，WTS比Meanpooling和Max-pooling方法取得了更好的步態(tài)識別性能，驗證結(jié)果表明WTS方法可以更好地捕捉到步態(tài)序列的周期性運動線索。

表1 不同融合方法基于MAP評價準則的識別性能比較

表2 不同融合方法基于Rank-1識別率評價準則的識別性能比較

2.4 相同視角下的步態(tài)識別性能評價分析

首先，在相同視圖下評價本文方法，與GEI［1］、FDF［1］、woVTM［5］、CNN［8］、SiaNet［8］等方法的識別性能進行比較，性能對比結(jié)果如表3所示。本文方法在55°、65°、75°、85°視角下的識別性能優(yōu)于其他對比方法，獲得了最好的步態(tài)識別準確率。與現(xiàn)有傳統(tǒng)方法（即GEI、FDF、woVTM）相比，本文方法能夠捕獲到步態(tài)圖像的區(qū)分性外觀特征和更加豐富的行人運動信息，而大多數(shù)傳統(tǒng)方法使用GEI表示行人步態(tài)的運動信息，會導致大量有用運動信息丟失，本文方法步態(tài)識別性能獲得了顯著的提高。與現(xiàn)有基于深度學習的方法（即CNN和SiaNet）相比，本文方法通過使用孿生LSTM架構(gòu)學習步態(tài)序列的顯著周期性運動信息，而現(xiàn)有基于深度學習的方法使用GEI作為訓練數(shù)據(jù)，只能捕捉到少量運動信息，本文方法獲得了最好的步態(tài)識別性能。

表3 不同步態(tài)識別方法在相同視角下的Rank-1和Rank-5識別率對比結(jié)果

2.5 交叉視角下的步態(tài)識別性能評價分析

實際應用場景的步態(tài)序列經(jīng)常受到攝像機拍攝視角變化的影響，因此在交叉視角下對本文方法的識別性能進行評價，與woVTM［5］、AVTM［5］、AVTM_PdVS［5］、SiaNet［8］等方法進行對比分析，性能對比結(jié)果如表4所示。前三種方法通過構(gòu)建3D步態(tài)序列專門用于跨視角步態(tài)匹配，SiaNet方法使用孿生神經(jīng)網(wǎng)絡(luò)捕捉步態(tài)序列的外觀特征。本文方法同時考慮步態(tài)外觀的視角差異和顯著周期性運動信息，獲得了最好的步態(tài)識別性能。當視角差異較大時，本文方法的識別性能也會略有下降。

表4 不同步態(tài)識別方法在交叉視角下的Rank-1識別率對比結(jié)果

3 結(jié)語

本文設(shè)計了一個孿生LSTM神經(jīng)網(wǎng)絡(luò)架構(gòu)，自動學習多視角步態(tài)序列的周期性運動特征，設(shè)計了步態(tài)時序信息加權(quán)總結(jié)模塊提取步態(tài)序列的顯著性時序信息，最后融合多視角步態(tài)序列的區(qū)分性外觀特征和顯著周期性運動特征，完成步態(tài)識別任務。實驗結(jié)果表明，本文方法在相同視角和交叉視角步態(tài)識別方面都取得了良好的識別性能。