結(jié)合注意力卷積網(wǎng)絡(luò)與分塊特征的步態(tài)識別

胡少暉，王修暉

中國計量大學(xué) 信息工程學(xué)院 浙江省電磁波信息技術(shù)與計量檢測重點實驗室，杭州 310018

人體步態(tài)是在行走過程中由身體不同部位的運(yùn)動信息綜合體現(xiàn)出來的生物特征。與其他生物特征相比較，步態(tài)具有非侵犯性、無需被檢測者的刻意配合、無需特定的采集設(shè)備、無需高分辨率的圖像、難于偽裝和隱藏等優(yōu)點[1]。因此，在犯罪偵查、安全檢查等多種場景下，步態(tài)特征作為安全識別具有很大的應(yīng)用潛力。但是，因為被識別對象的衣著變化、行走速度和采集角度等外部因素的影響，步態(tài)識別研究仍然面臨著嚴(yán)峻的挑戰(zhàn)。

針對步態(tài)識別的特征表達(dá)問題，Han等人[2]首先提出了一種新的時空步態(tài)表示方法，即步態(tài)能量圖（gait energy image，GEI），并利用一種輪廓圖像失真分析方法合成步態(tài)能量圖以解決缺乏訓(xùn)練步態(tài)數(shù)據(jù)的問題，然后借助于統(tǒng)計特征融合方法在真實和合成的步態(tài)能量圖中獲取步態(tài)特征進(jìn)行個體識別。Jeevan等人[3]在提出了GPPE方法對步態(tài)時域特征進(jìn)行表征的基礎(chǔ)上，采用主成分分析和支持向量機(jī)進(jìn)行特征提取和步態(tài)分類，該方法在一定程度下能夠減小外觀變化帶來的影響。王修暉等人[4]提出了一種基于連續(xù)密度馬爾可夫模型的人體步態(tài)識別方法，該方法借助Cox回歸分析的自適應(yīng)算法對訓(xùn)練過的步態(tài)模型進(jìn)行參數(shù)自適應(yīng)和步態(tài)識別。More等人[5]提出一種融合兩種特征的步態(tài)識別方法，首先使用交叉小波變換和二部圖模型提取動態(tài)特征和靜態(tài)特征，歸一化之后進(jìn)行特征融合，最后將通過k均值聚類獲得每個特征向量和聚類中心之間的歐式距離用作相似性度量。馬勤勇等人[6]提出了一種瞬時步態(tài)能量圖，相對于步態(tài)能量圖增加了步態(tài)的運(yùn)動信息，與步態(tài)能量圖共同構(gòu)成步態(tài)特征，最后用最近鄰算法進(jìn)行步態(tài)分類。魯繼文等人[7]提出了一種基于獨(dú)立成分分析和多視角信息融合的步態(tài)識別方法，先通過對提取的步態(tài)特征使用獨(dú)立成分分析進(jìn)行壓縮，再用支持向量機(jī)進(jìn)行步態(tài)分類和識別，最后通過融合不同視角下的步態(tài)特征完成多視角下信息融合的步態(tài)識別。Wang等人[8]通過Gabor小波提取不同的方向和比例信息形成步態(tài)能量圖，然后采用二維主成分分析減小特征空間維數(shù)，最后使用支持向量機(jī)進(jìn)行步態(tài)識別。綜上所述，目前傳統(tǒng)機(jī)器學(xué)習(xí)方法已經(jīng)大量地在步態(tài)分類中得到應(yīng)用，并取得了一定的成果，但是在存在較大視角變化和著裝差異的情況下，步態(tài)識別正確率仍然難以滿足身份識別等實際應(yīng)用的要求。

近年來，深度學(xué)習(xí)技術(shù)在運(yùn)動目標(biāo)檢測與跟蹤、圖像分類與識別等方面受到日益廣泛的關(guān)注，在步態(tài)識別研究中也得到了一定的應(yīng)用。相對于傳統(tǒng)方法，卷積神經(jīng)網(wǎng)絡(luò)能夠更有效地提取特征的有用信息，從而提高實驗效果。Chen等人[9]提出基于特征圖池化的步態(tài)識別網(wǎng)絡(luò)（feature map pooling，F(xiàn)MP），從步態(tài)輪廓序列中提取和聚合有用信息，而非通過平均輪廓圖像簡單地表示步態(tài)過程，然后采用特征圖池化策略來聚合序列特征。Wolf等人[10]利用3D卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)步態(tài)運(yùn)動的時空特征。Shiraga等人[11]提出步態(tài)能量圖網(wǎng)絡(luò)（GEINet）。GEINet以GEI為輸入樣本，由兩組卷積池化歸一層和兩個連續(xù)的全連接層組成，最后用softmax進(jìn)行分類。Chao等人[12]研究的跨視角步態(tài)識別方法是首先使用度卷積VGG-D提取特征，然后用主成分分析進(jìn)行降維，最后用聯(lián)合貝葉斯進(jìn)行步態(tài)分類。Takemura等人[13]研究的是一種基于輸入/輸出結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)跨視角步態(tài)識別方法，它們設(shè)計了一個用于驗證的暹羅神經(jīng)網(wǎng)絡(luò)和用于標(biāo)識具有高級差異結(jié)構(gòu)的CNN的三元組網(wǎng)絡(luò)。Zhang等人[14]研究的是一種采用距離度量學(xué)習(xí)來驅(qū)動相似度量的暹羅神經(jīng)網(wǎng)絡(luò)，該方法中通過減小同一人和不同人的步態(tài)對的相似度量差值大小來實現(xiàn)步態(tài)識別；Tong等人[15]提出了一種應(yīng)用于步態(tài)識別的新型時空深度神經(jīng)網(wǎng)絡(luò)（spatial-temporal deep neural network，STDNN），STDNN包括時間特征網(wǎng)絡(luò)（temporal feature network，TFN）和空間特征網(wǎng)絡(luò)（spatial feature network，SFN），豐富了步態(tài)特征。Wu等人[16]提出了一種通過深度卷積神經(jīng)網(wǎng)絡(luò)（DeepCNNs）進(jìn)行相似度學(xué)習(xí)的步態(tài)識別方法。

綜上所述，現(xiàn)在的很多步態(tài)識別方法通過卷積塊獲取全局特征，忽略了對一些重要信息的加權(quán)和可以反映局部信息的步態(tài)特征。針對上述問題，本文提出了一種基于注意力卷積神經(jīng)網(wǎng)絡(luò)和分塊特征的跨視角步態(tài)識別方法，以步態(tài)輪廓圖作為輸入。首先經(jīng)過注意力卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行有效信息的提取和增強(qiáng)，然后水平分成兩塊處理用以獲取局部特征，最后將兩部分的步態(tài)特征融合后進(jìn)行步態(tài)分類。通過在兩個經(jīng)典步態(tài)數(shù)據(jù)集上的對比實驗，證明了本文方法相對現(xiàn)有的方法，具有較好的識別效果。

1 模型算法

本文提出的基于注意力卷積神經(jīng)網(wǎng)絡(luò)和分塊特征的具體網(wǎng)絡(luò)模型如圖1所示。該網(wǎng)絡(luò)主要由注意力卷積神經(jīng)網(wǎng)絡(luò)和分塊特征網(wǎng)絡(luò)組成。使用無序的步態(tài)序列作為輸入，首先用卷積神經(jīng)網(wǎng)絡(luò)提取幀級步態(tài)特征。在卷積神經(jīng)網(wǎng)絡(luò)中添加了通道和空間注意力機(jī)制[17]（convolutional block attention module，CBAM）來增加特征在空間和通道上的表現(xiàn)力，在卷積神經(jīng)網(wǎng)絡(luò)的后部分使用了多通道卷積特征融合技術(shù)使步態(tài)特征具有多樣性。然后幀級特征進(jìn)行全局最大池化處理成能代表個人身份的特征塊。分塊特征網(wǎng)絡(luò)主要是將輸出的特征塊水平分成上下兩部分，然后每部分通過池化處理各生成一條一維矢量特征。最后聯(lián)合triplet loss和softmax loss進(jìn)行訓(xùn)練，增強(qiáng)網(wǎng)絡(luò)的特征提取能力并有利于收斂。測試時通過計算訓(xùn)練時保存的序列特征與待測序列之間的歐式距離來預(yù)測待測人的身份。

圖1 基于注意力卷積神經(jīng)網(wǎng)絡(luò)和特征分塊的網(wǎng)絡(luò)模型Fig.1 Network model based on convolutional neural network with attention and part-level features

1.1 基于注意力卷積神經(jīng)網(wǎng)絡(luò)的特征提取

1.1.1 注意力機(jī)制

相對于傳統(tǒng)方法，卷積神經(jīng)網(wǎng)絡(luò)能夠更有效地提取特征的有用信息，但是在卷積和池化的操作中也會導(dǎo)致步態(tài)圖像很多重要信息的丟失，使用注意力機(jī)制可以提高對步態(tài)重要信息的關(guān)注度。因此本文在使用卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了注意力機(jī)制CBAM以更好地對步態(tài)特征進(jìn)行提取。

CBAM表示卷積模塊的注意力機(jī)制模塊，結(jié)構(gòu)如圖2所示。是一種結(jié)合了空間（spatial）和通道（channel）的注意力機(jī)制模塊。相比于SENet[18]（squeeze-andexcitation networks）只關(guān)注通道（channel）的注意力機(jī)制可以取得更好的效果。

圖2 注意力結(jié)構(gòu)圖Fig.2 Attention module map

一幅輸入的特征圖為F=?C×H×W要經(jīng)過一維的通道注意力M C=?C×1×1和二維的空間注意力M S=?1×H×W，過程表示為：

（1）通道注意力模塊

將輸入的特征進(jìn)行空間維度壓縮時，首先分別經(jīng)過基于寬和高的全局最大池化和全局平均池化，得到兩個不同一維矢量特征在一定程度上可以信息互補(bǔ)。然后分別經(jīng)過一個共享的多層感知機(jī)。最后將多層感知機(jī)輸出的特征進(jìn)行基于elementwise的加和操作，再經(jīng)過sigmoid激活操作，生成最終的通道注意特征圖。通道注意力模塊可以表示為：

其中，F(xiàn)表示輸入特征，W0和W1代表多層感知機(jī)模型中的兩層參數(shù)，σ代表sigmoid函數(shù)。

（2）空間注意力模塊

將通道注意模塊輸出的特征圖作為本模塊的輸入特征圖。首先做一個基于通道層面上的的全局最大池化和全局平均池化，得到兩個二維的特征F Savg∈?1×C×H和F Smax∈?1×C×H。接下來將這2個二維特征按通道維度拼接起來。然后經(jīng)過一個卷積（卷積核尺寸為7×7）操作，降維為1個通道。再經(jīng)過sigmoid生成最終的空間注意特征。通道注意力模塊可以表示為：

其中F表示輸入特征，f7×7表示網(wǎng)絡(luò)的卷積核尺寸是7×7。

對于一幅輸入的步態(tài)圖像，通道注意力和空間注意力分別關(guān)注圖像中的特征內(nèi)容和特征位置，在一定程度上相互補(bǔ)充，提升了網(wǎng)絡(luò)的特征提取效果。經(jīng)過多次實驗之后，將該注意力機(jī)制放在第一個卷積層之后可以獲得更好的效果。

1.1.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文在設(shè)計網(wǎng)絡(luò)時參考了經(jīng)典的VGGNet[19]網(wǎng)絡(luò)，經(jīng)過多次實驗，設(shè)計出了一個包含6個卷積層的網(wǎng)絡(luò)，如圖3所示（圖中卷積層用C表示，池化層用P表示）。每兩個卷積層后接一個池化層，后兩個卷積層的后面不需要加入池化層，具體網(wǎng)絡(luò)參數(shù)設(shè)置將在2.3節(jié)中以表格形式詳細(xì)闡述。隨機(jī)選擇了特定幀數(shù)的步態(tài)輪廓圖作為網(wǎng)絡(luò)的輸入，每幀步態(tài)圖像都經(jīng)過參數(shù)相同的卷積神經(jīng)網(wǎng)絡(luò)，從而輸出高度抽象的步態(tài)圖像特征。在模型中使用了多通道卷積特征融合技術(shù)，多通道卷積特征融合技術(shù)可以得到具有多樣性特征的步態(tài)特征。如圖1所示，將Conv-Block2和Conv-Block3的輸出在通道維度上整合在一起作為新的輸出，把多通道技術(shù)放在后層卷積的原因是后層提取的是抽象的高級圖形特征，更接近目標(biāo)特征，更有利于步態(tài)識別。

圖3 注意力卷積網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Convolutional neural network with attention module map

1.2 特征分塊和損失計算

1.2.1 特征分塊

現(xiàn)在的步態(tài)識別方法大多數(shù)只考慮全局特征，卻忽略了局部特征也具有很重要的意義。不同的區(qū)域可以有不同變化特點和區(qū)分規(guī)則，給步態(tài)識別提供了不同的積極作用。頭部相對來說變化幅度小，考慮的是一些本體特征，如腦袋形狀等。而腳部分變化幅度大，除了本體特征之外更重要的是動態(tài)特征，如腿的動作幅度和彎曲程度等。為了更好地利用局部信息提高識別效果，將經(jīng)過卷積聚合后的特征圖水平切分成了兩塊，然后用基于寬和高全局池化分別處理兩塊特征，處理過程如下：

其中，f′i表示池化處理后的特征，Zi表示第i塊特征(i∈1,2)。

池化后得到的是兩條一維矢量特征，特征長度為C（即通道數(shù)）。接下來需要將兩條特征向量進(jìn)行不同的操作。訓(xùn)練時，將兩條特征向量融合成尺寸為2×C直接進(jìn)行損失訓(xùn)練；測試時，將兩條特征向量在通道維度上進(jìn)行融合得到一條長度為2C的特征向量。

1.2.2 損失函數(shù)

本文使用的Triplet loss和Softmax loss進(jìn)行聯(lián)合訓(xùn)練網(wǎng)絡(luò)，聯(lián)合使用效果高于單獨(dú)使用任意一個損失函數(shù)。雖然基于Triplet loss的神經(jīng)網(wǎng)絡(luò)模型可以很好地對細(xì)節(jié)進(jìn)行區(qū)分，但是三元組的選取會導(dǎo)致數(shù)據(jù)的分布不一定會很均勻，所以使得訓(xùn)練過程不太穩(wěn)定，收斂慢，結(jié)合Softmax loss可以對數(shù)據(jù)分布有進(jìn)一步的約束，而且加速收斂，訓(xùn)練過程更加穩(wěn)定。

（1）Triplet loss

從訓(xùn)練組中隨機(jī)選一個樣本，稱為A，然后再隨機(jī)選取一個和A屬于同一類的P和不同類的N，構(gòu)成三元組(A,P,N)，三元組損失Ltriplet由此計算：

其中，ya、yb、y n分別表示屬于A、P、N的一類，D a,p表示A與P之間的歐式距離，Da,n表示A與N之間的歐式距離，α表示margin。

（2）Softmax loss

其中，qtarget為真實值對應(yīng)類別的預(yù)測概率。

結(jié)合后的損失為：

其中Ltriplet代表Triplet loss，Lsoftmax代表Softmax loss，β代表Triplet loss和Softmax loss之間的平衡因子，設(shè)為0.1。

2 實驗與分析

2.1 評價指標(biāo)

為了驗證該方法的有效性，選擇在CASIA-B步態(tài)數(shù)據(jù)庫和OU-ISIR-MVLP步態(tài)數(shù)據(jù)集上進(jìn)行實驗評估，并與一些方法做對比。測試時給定待測樣本庫（Probe）中的一個序列p，輸入到網(wǎng)絡(luò)中生成待測步態(tài)特征Feature_p，目標(biāo)是在目標(biāo)樣本庫（Gallery）中遍歷全部序列找到相同的ID的樣本g。同樣g也經(jīng)過網(wǎng)絡(luò)生成目標(biāo)步態(tài)特征Feature_g，待測步態(tài)特征與樣本步態(tài)特征通過計算歐式距離來判斷一次命中的識別正確率，即Rank1識別率。具體步驟如圖4所示。

圖4 Rank1識別率的計算步驟Fig.4 Rank1 recognition rate calculation steps

2.2 實驗數(shù)據(jù)與實驗環(huán)境配置

CASIA-B數(shù)據(jù)集是目前使用最廣泛的跨視角步態(tài)數(shù)據(jù)集之一。該數(shù)據(jù)集提供了124個人的步輪廓圖，每個人有正常條件（NM）、背包條件（BG）和穿大衣條件（CL）三種條件，每種條件又包含了11種不同的視角（0°，18°，…，180°）。每個人都有10組步態(tài)序列圖像，其中正常條件下的步態(tài)序列圖像有6組，背包條件下的步態(tài)序列圖像有2組，穿大衣條件下的步態(tài)序列圖像有2組。圖5展示了CASIA-B數(shù)據(jù)集中同一個人在不同條件下的步態(tài)輪廓圖。OU-ISIR-MVLP數(shù)據(jù)集是目前世界上最大的公共步態(tài)數(shù)據(jù)集。包含10 307個人，每個人有14個視角（0°，15°，…，90°；180°，195°，…，270°）。每個視角分為00和01兩個序列。這兩個數(shù)據(jù)集都屬于目前步態(tài)識別領(lǐng)域最常用的經(jīng)典步態(tài)數(shù)據(jù)集。

圖5 CASIA-B數(shù)據(jù)集中的樣圖展示Fig.5 Sample graph display in CASIA-B dataset

實驗中三元組損失的margin選擇的是0.2，用于控制三元組類間和類內(nèi)的距離。選擇Adam作為優(yōu)化器，網(wǎng)絡(luò)初始學(xué)習(xí)率設(shè)為1E-4。編程環(huán)境為Pycharm，Python版本為3.6.0。深度學(xué)習(xí)框架是PyTorch，使用的GPU型號為NVIDIA GeForce GTX TITAN X。

2.3 在數(shù)據(jù)集CASIA-B上的實驗結(jié)果及分析

在數(shù)據(jù)集CASIA-B的實驗中，所有輸入圖片的大小經(jīng)過調(diào)整后為64×44，批尺寸為（8×16），即隨機(jī)選擇8個人，然后每個人中隨機(jī)選擇16張序列圖，迭代次數(shù)為80 000次。在特征提取部分的網(wǎng)絡(luò)參數(shù)如表1所示。

表1 在數(shù)據(jù)集CASIA-B上的卷積模塊具體參數(shù)Table 1 Specific parameters of convolutional module on CASIA-B dataset

表2為各方法在CASIA-B數(shù)據(jù)集上小訓(xùn)練樣本情況下的Rank1識別率對比。對比方法為基于局部運(yùn)動特征選擇的支持向量回歸模型（support vector regression based on local motion feature selection，SVR）[20]、相關(guān)運(yùn)動聯(lián)合聚類模型（correlated motion co-clustering，CMCC）[21]、視角不變判別投影模型（view-invariant discriminative project，ViDP）[22]、深度卷積神經(jīng)網(wǎng)絡(luò)（Deep CNNs）[16]、非周期性步態(tài)識別模型（aperiodic gait recognition，AGR）[23]、注意力時空融合網(wǎng)絡(luò)（attentive spatialtemporal summary networks，ASTSN）[24]。實驗結(jié)果數(shù)據(jù)來自文獻(xiàn)[16]和文獻(xiàn)[24]，且用前24人作為訓(xùn)練，后100人用于測試，該實驗只針對正常條件（NM）下的步態(tài)測試。本文的模型在54°和126°的Rank1識別率與0°和90°的Rank1識別率有比較明顯的差距，說明角度是影響識別率的一個重要因子。同時本文模型在0°、54°、90°和126°的Rank1識別率比ASTAN的效果高3.65、12.51、9.13和12.82個百分點，比DeepCNNs的效果高2.4、1.5、3.4、3.5個百分點。由實驗結(jié)果對比證明本文方法在CASIA-B數(shù)據(jù)集上訓(xùn)練數(shù)據(jù)較小的情況下識別結(jié)果較優(yōu)，同時在小訓(xùn)練數(shù)據(jù)樣本情況下本文模型沒有出現(xiàn)過擬合問題。

表2 各方法在CASIA-B數(shù)據(jù)集上小訓(xùn)練樣本情況下的Rank1識別率Table 2 Rank1 recognition rate of each method in case of small training samples on CASIA-B dataset %

為了展示訓(xùn)練數(shù)據(jù)較充足情況下的跨視角步態(tài)識別效果，表3為各方法在CASIA-B數(shù)據(jù)集上的Rank1識別率。除了用前62個人訓(xùn)練，其余的實驗配置與表2相同。對比實驗包括基于自動編碼器的不變特征提取深度模型（auto-encoderfor invariant gait extraction，AE）[25]，生成對抗網(wǎng)絡(luò)模型（GaitGAN）[26]，多任務(wù)生成對抗網(wǎng)絡(luò)模型（MGAN）[27]。為了證明本方法在各種條件和角度下都有一定效果，本次實驗包括了三種條件和各個角度。由表結(jié)果對比可知，本文的模型在正常條件（NM）下的效果最好，其次是背包條件（BG），最后是大衣狀態(tài)（CL）。原因可能是大衣對人的體型干擾嚴(yán)重導(dǎo)致特征的辨識度降低，最終影響步態(tài)識別的效果。本文模型在正常條件、背包條件和大衣條件下11個角度的平均識別精度比MGAN方法分別高19.6、20.5、19.5個百分點。本文方法在CASIA-B數(shù)據(jù)集訓(xùn)練集較充足的情況下識別效果依然明顯。

表3 各方法在CASIA-B數(shù)據(jù)集上訓(xùn)練樣本較充足情況下的Rank1識別率Table 3 Rank1 recognition rate of each method in case of sufficient training samples on CASIA-B dataset %

2.4 在數(shù)據(jù)集OU-ISIR-MVLP上的實驗結(jié)果及分析

在OU-ISIR-MVLP的實驗中，由于實驗數(shù)據(jù)偏大，所以將批尺寸設(shè)置為20×10。將用5 153個人進(jìn)行訓(xùn)練，5 154個人進(jìn)行測試。00作為目標(biāo)樣本集（Gallery），01作為待測樣本集（Probe）。網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)與數(shù)據(jù)集CASIA-B上的相同。迭代次數(shù)為1 500 000次。表4為各方法在OU-MVLP數(shù)據(jù)集上的Rank1識別率。對比實驗包括GEINet[11]、輸入輸出結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)模型（input/output）[13]，由于目前很少有針對14個視角的實驗，因此本文實驗抽取四個視角（0°、30°、60°、90°）方便進(jìn)行實驗對比。由表4結(jié)果對比可知，本文方法的識別效果明顯優(yōu)于其他兩個對比實驗的結(jié)果。這是因為相較于對比實驗，本文模型不僅對全局特征進(jìn)行提取，還通過特征分塊對局部特征進(jìn)行獲取。這使得最終的特征更具表現(xiàn)力。綜上可知，本文方法在OU-ISIR-MVLP數(shù)據(jù)集這種人數(shù)很多有挑戰(zhàn)性的數(shù)據(jù)集上依然可以取得不錯的結(jié)果。

表4 各方法在OU-MVLP數(shù)據(jù)集上的Rank1識別率Table 4 Rank1 recognition rate of each method on OU-MVLP dataset %

2.5 消融實驗

為了證明本文提出的方法的有效性，將進(jìn)行消融實驗進(jìn)行驗證。實驗將分為以下幾部分：

（1）Baseline。此基線方法具體為先經(jīng)過卷積網(wǎng)絡(luò)，然后直接進(jìn)行全局池化（分塊），損失函數(shù)全為

Triplet loss。

（2）Baseline+Part-level。在（1）的基礎(chǔ)上進(jìn)行了分塊處理，設(shè)置該實驗的目的是證明特征分塊的有效性。

（3）Baseline+Part-level+CBAM。在（2）的基礎(chǔ)上加入了注意力機(jī)制CBAM，目的是證明CBAM的有效性。

（4）Baseline+Part-level+CBAM+Cat。在（3）的基礎(chǔ)上加入了多卷積特征融合技術(shù)，目的是證明多通道卷積技術(shù)的有效性。

（5）Baseline+Part-level+CBAM+Cat+Softmax loss。在（4）的基礎(chǔ)上將只用Triplet loss改成Triplet loss和Softmax loss聯(lián)合使用，目的是證明聯(lián)合損失的有效性。

在CASIA-B數(shù)據(jù)集上進(jìn)行上述5次實驗對比，本次實驗使用74個人作為訓(xùn)練，得到的結(jié)果如圖6~8所示，圖6、圖7和圖8分別為NM、CL、BG條件下的對比結(jié)果。

圖6 NM條件下的實驗結(jié)果Fig.6 Evalutation results under NM

圖7 BG條件下的實驗結(jié)果Fig.7 Evalutation results under BG

圖8 CL條件下的實驗結(jié)果Fig.8 Evalutation results under CL

由圖中對比結(jié)果可知，本文提出的各部分方法對步態(tài)分類的結(jié)果都有一定的貢獻(xiàn)度。尤其是特征分塊，在各條件下的提升效果都尤為顯著。經(jīng)過特征分塊，NM條件、BG條件和CL條件下的平均Rank1識別率分別提高了7.38、8.5和4.39個百分點。這說明局部特征的關(guān)注對步態(tài)識別有明顯的提升精度價值。加上注意力機(jī)制CBAM之后NM條件，BG條件和CL條件下的平均Rank1識別率在上面的基礎(chǔ)上分別又提高了1.76、3.09和2.17個百分點，說明了該注意力機(jī)制通過對通道和空間的特征處理有效地提升了特征的表現(xiàn)力。多通道卷積技術(shù)和聯(lián)合損失函數(shù)對本文模型的效果也有一定的貢獻(xiàn)度，同時聯(lián)合損失函數(shù)可以加快步態(tài)識別收斂速度，更快捷地實現(xiàn)步態(tài)特征的提取。綜合上述實驗可得，本文方法在各種尺寸和環(huán)境的數(shù)據(jù)集中都有較強(qiáng)的識別效果，同時應(yīng)用性很強(qiáng)。

3 結(jié)束語

為了更好地利用步態(tài)的局部信息，本文提出一種基于注意力卷積神經(jīng)網(wǎng)絡(luò)和分塊特征的跨視角步態(tài)識別方法，該方法首先以步態(tài)輪廓圖作為輸入，經(jīng)過相同的注意力卷積神經(jīng)網(wǎng)絡(luò)處理后融合成一個整體特征，然后通過將整體特征進(jìn)行分塊處理實現(xiàn)模型訓(xùn)練和步態(tài)識別。最后，在兩個公開數(shù)據(jù)集上進(jìn)行的對比實驗，證明了本文方法與現(xiàn)有方法相比，具有較好的識別效果。

不足之處是，本文在分塊時只是粗略地分成了兩塊，沒有對各區(qū)域的具體作用大小進(jìn)行深入探討。曾嘗試分成多塊處理，但是沒有明顯提升而且增大計算量。今后將研究更加具體的分類方法和各分塊對識別效果的作用大小，以提高分類精度。