基于多尺度特征融合的行人重識別方法

韓建棟，李曉宇

（山西大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，太原 030006）

0 引言

行人重識別主要研究對于多個(gè)攝像頭下不重疊區(qū)域的某一個(gè)指定目標(biāo)行人如何進(jìn)行快速準(zhǔn)確的重新識別的問題。在不斷增長的社會需求的推動下，行人重識別是一項(xiàng)極具挑戰(zhàn)性的課題，也有著廣泛的應(yīng)用前景和研究價(jià)值，可以有效彌補(bǔ)目前固定攝像頭的視覺局限，廣泛應(yīng)用于智能視頻監(jiān)控、智能安保等領(lǐng)域。行人重識別一詞最早是在2005 年，由Zajdel等［1］提出，指的是在同一個(gè)人離開相機(jī)視野后重新進(jìn)入時(shí)，可以重新識別出這個(gè)人。該方法主要是對于每一個(gè)行人都假設(shè)存在唯一的身份標(biāo)簽，然后通過動態(tài)貝葉斯網(wǎng)絡(luò)對標(biāo)簽和特征之間的概率進(jìn)行編碼處理，對于重新進(jìn)入視野的行人通過推斷身份標(biāo)簽的分布來確定其身份。在此基礎(chǔ)上，研究人員主要從特征表示和度量學(xué)習(xí)［2-3］兩個(gè)方面進(jìn)行研究。其中，特征表示主要致力于低級特征，如局部描述符、顏色直方圖和人體姿勢［4-5］等。

近年來，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的廣泛應(yīng)用，國內(nèi)外眾多研究者們開始研究利用深度學(xué)習(xí)來解決行人重識別問題。早期的基于深度學(xué)習(xí)方法中，人們將行人重識別任務(wù)視為分類任務(wù)或者驗(yàn)證任務(wù)，Chen 等［6］提出一種分類子網(wǎng)絡(luò)模型，首先對輸入的若干對目標(biāo)行人圖像進(jìn)行預(yù)測行人身份信息操作，然后計(jì)算出兩張圖像的誤差損失。Lin 等［7］則是利用其他一些目標(biāo)行人的性別、衣著等屬性信息作為輔助，使得模型的泛化能力有了很大的提升。此外，國內(nèi)學(xué)者們從數(shù)據(jù)集的角度提出了有效的方法，Zhong 等［8］提出了一種新的方法，通過圖像風(fēng)格遷移增加不同風(fēng)格的樣本數(shù)量，從而解決了數(shù)據(jù)集中個(gè)人身份稀缺的問題，并且通過學(xué)習(xí)不同相機(jī)之間不變的特征來提高重識別性能。而Wei 等［9］則是利用行人遷移生成對抗網(wǎng)絡(luò)（Person Transfer Generative Adversarial Network，PTGAN）來實(shí)現(xiàn)對行人圖片的背景遷移，進(jìn)而提出一個(gè)大型的行人重識別數(shù)據(jù)集MSMT17（Multi Scene Multi Time person Re-ID dataset）。隨著研究的深入，研究學(xué)者們關(guān)注到基于全局特征的方法存在一個(gè)不可避免的問題，即很難獲取到目標(biāo)行人圖像更深層的細(xì)節(jié)信息，因此，研究者們開始考慮局部特征與全局特征的結(jié)合，Varior 等［10］通過把目標(biāo)行人圖像水平等分，分別按順序送入模型中訓(xùn)練，最后將幾部分特征融合；劉紫燕等［11］通過注意力機(jī)制對行人的全局特征和局部特征進(jìn)行加權(quán)，從而提取行人顯著特征，提高行人重識別的準(zhǔn)確率。但是，上述方法在特征融合的過程中，只是局部特征和全局特征的聚合，沒有考慮到由于行人姿態(tài)和位置發(fā)生變化時(shí)行人特征在尺度上也會逐漸改變，因此，傳統(tǒng)的特征融合方法在網(wǎng)絡(luò)的傳遞中，不能很好地保留不同尺度的行人特征，更容易受到來自不相關(guān)區(qū)域的信息干擾。

針對上述問題，本文根據(jù)行人重識別任務(wù)特性對條形池化網(wǎng)絡(luò)（Strip Pooling Network，SPNet）［12］中提出的混合池化模塊（Mixed Pooling Module，MPM）和殘差金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模塊進(jìn)行改進(jìn)，將其應(yīng)用到行人重識別任務(wù)的研究中，從多尺度的特征融合角度提升行人重識別模型的性能；并且在殘差塊內(nèi)引入條形池化模塊（Strip Pooling Module，SPM），在神經(jīng)網(wǎng)絡(luò)的傳遞過程中，水平和豎直方向的池化操作有效捕獲了遠(yuǎn)距離上下文信息，降低了背景環(huán)境對行人識別的影響。

1 基于多尺度特征融合的行人重識別模型

1.1 模型概述

本文提出了一種基于多尺度特征融合的行人重識別方法，采用文獻(xiàn)［13］提出的基線作為骨干網(wǎng)絡(luò)，基本網(wǎng)絡(luò)架構(gòu)采用ResNet50 實(shí)現(xiàn)。首先，在殘差塊內(nèi)引入條形池化模塊，通過水平和豎直方向的池化操作來捕獲遠(yuǎn)距離的上下文信息，有效降低行人周圍不相關(guān)特征區(qū)域的干擾；然后，在ResNet50［14］的layer1 層之前采用混合池化模塊進(jìn)行多尺度的特征提取，聚合不同尺度的上下文信息，幫助網(wǎng)絡(luò)解析場景結(jié)構(gòu)；最后，在ResNet50 之后通過殘差金字塔池化模塊，進(jìn)一步地保留網(wǎng)絡(luò)結(jié)構(gòu)中的多尺度特征，以降低周圍無關(guān)環(huán)境對行人的影響，從而提升行人重識別任務(wù)的性能。整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，其中，BN（Batch Normalization）表示批標(biāo)準(zhǔn)化，將輸出歸一化為0～1，x表示殘差塊的輸入特征。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Overall network structure

1.2 SPM

考慮到現(xiàn)實(shí)場景中存在一些相對狹窄的物體，可能對行人識別產(chǎn)生干擾，如路燈、電線桿等。采用文獻(xiàn)［12］所提出的條形池化模塊，利用水平和豎直的條形池化操作獲取不同空間維度的遠(yuǎn)程上下文信息，幫助網(wǎng)絡(luò)改善場景解析，從而使得網(wǎng)絡(luò)能更好地降低無關(guān)信息的干擾，進(jìn)一步提升行人重識別的準(zhǔn)確率。SPM 結(jié)構(gòu)示意圖如圖2 所示。其中1D conv 表示一維卷積，Expand 表示像素的復(fù)制操作，1×1 表示卷積核大小為1。

圖2 SPM結(jié)構(gòu)示意圖Fig.2 Schematic diagram of SPM structure

首先，將特征x同時(shí)輸入到兩個(gè)水平和豎直的條形池化層，經(jīng)過一維卷積操作后分別得到一個(gè)水平和豎直的特征張量。然后，通過Expand 操作分別沿著豎直和水平方向復(fù)制得到原圖大小的特征圖，并將所得結(jié)果與輸入特征對應(yīng)相乘，這樣使得輸出張量與輸入張量建立聯(lián)系，幫助網(wǎng)絡(luò)對場景構(gòu)建遠(yuǎn)程上下文信息，從而實(shí)現(xiàn)性能提升。

1.3 MPM

現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)由于其卷積核大小固定，在圖像中只能提取到單一尺度的語義信息，因此比感受野大得多或者小得多的特征并不完整，容易影響行人特征的識別。本文采用文獻(xiàn)［12］中所提出的MPM，提取不同尺度的特征信息來提高網(wǎng)絡(luò)對于行人特征的判別能力。具體地，在條形池化的基礎(chǔ)上，通過結(jié)合金字塔池化模型［15］在捕獲長距離全局信息的同時(shí)關(guān)注短距離的信息關(guān)系，其中，金字塔池化模型分別采用2×2、3×3、4×4的池化核，并將前兩個(gè)池化后的結(jié)果上采樣后與第3 個(gè)池化的結(jié)果疊加，將疊加結(jié)果與條形池化模塊的結(jié)果進(jìn)行融合。

考慮神經(jīng)網(wǎng)絡(luò)的淺層加入多尺度的特征信息，能夠在網(wǎng)絡(luò)的傳遞過程中提取到更多的完整語義信息，從而提升網(wǎng)絡(luò)對場景的解析能力，因此，在ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)的殘差塊之前引入MPM。MPM 如圖3 所示，其中，up 表示上采樣操作，2D conv 表示3×3 的卷積核，1D conv 表示1×3 或3×1 的卷積核，Expand表示像素沿豎直和水平方向復(fù)制。

圖3 MPM結(jié)構(gòu)示意圖Fig.3 Schematic diagram of MPM structure

最后，根據(jù)行人重識別任務(wù)的特性對混合池化模塊進(jìn)行調(diào)整，對于輸入的特征，經(jīng)過MPM 聚合了不同尺度的特征。為了獲得更加豐富和密集的多尺度特征信息，本文將MPM 提取到的多尺度特征再次輸入到MPM 中，得到新的特征圖。通過比較該模塊不同循環(huán)次數(shù)的首位命中率（Rank1）和平均精度均值（mean Average Precision，mAP）得出最佳循環(huán)次數(shù)。實(shí)驗(yàn)結(jié)果表明，循環(huán)兩組混合池化模塊形成一個(gè)混合池化組，可以實(shí)現(xiàn)更優(yōu)的性能，部分實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同循環(huán)次數(shù)性能比較 單位：%Tab.1 Performance comparison of different cycle numbers unit：%

1.4 Residual ASPP模塊

為了進(jìn)一步保留網(wǎng)絡(luò)中的有效特征，在ResNet50 之后，采用文獻(xiàn)［16］所提出的Residual ASPP 模塊，通過空洞卷積［17］的組合形成ASPP，實(shí)現(xiàn)較高的學(xué)習(xí)效率，以擴(kuò)大感受野的方式提取多尺度的特征，進(jìn)一步融入不同尺度的特征信息，從而有效克服了周圍無關(guān)環(huán)境的干擾，提升模型的性能?？紤]到深層的網(wǎng)絡(luò)中包含較多的行人相關(guān)的高級語義特征，而文獻(xiàn)［16］中層疊3次Residual ASPP模塊的方式可能會導(dǎo)致一些無關(guān)信息的混入，影響對行人的判別。因此，本文對該結(jié)構(gòu)進(jìn)行相應(yīng)改進(jìn)，在本文任務(wù)中，只采用一層的Residual ASPP模塊。

此外，該模塊中不同的空洞率對于特征的提取效果也不相同，過大的空洞率變化會導(dǎo)致提取到的特征尺度變化幅度較大，對于中間尺度的特征信息網(wǎng)絡(luò)不能很好地保留，基于此，本文根據(jù)行人重識別任務(wù)的特性調(diào)整空洞卷積的空洞率，并且通過實(shí)驗(yàn)對比，得到效果最佳的空洞率選擇，部分實(shí)驗(yàn)結(jié)果如表2所示。

表2 空洞率對性能影響的比較 單位：%Tab.2 Impact comparison of dilated rate on performance unit：%

最后，本文通過6個(gè)空洞率分別為1、2、3、6、12、24的空洞卷積塊的疊加，然后采用1×1 的卷積進(jìn)行降維，最后傳遞到最后一層的輸出。Residual ASPP 模塊圖如圖4 所示。Dilated表示空洞卷積的空洞率，Conv表示1×1的卷積。

圖4 Residual ASPP模塊結(jié)構(gòu)示意圖Fig.4 Schematic diagram of residual ASPP module structure

1.5 損失函數(shù)

在本文中，沿用了文獻(xiàn)［13］所提出的損失函數(shù)。將行人重識別的訓(xùn)練過程視為圖像分類問題，即每個(gè)身份都是一個(gè)不同的類別。在測試階段，將網(wǎng)絡(luò)的輸出層用作特征提取器，給定帶有標(biāo)簽yi的輸入圖像xi，將xi的預(yù)測概率識別為yi類，并用softmax 函數(shù)（由p(yi|xi)）進(jìn)行編碼，然后通過交叉熵計(jì)算身份損失。損失函數(shù)如式（1）所示：

其中n代表每批中訓(xùn)練樣本的數(shù)量。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集和評價(jià)指標(biāo)

本文實(shí)驗(yàn)選用Market-1501［18］、CUHK03［19］、DukeMTMCreID［20］以及MSMT17［9］四個(gè)公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

Market-1501數(shù)據(jù)集創(chuàng)建于2015年夏天，是由清華大學(xué)負(fù)責(zé)取景拍攝完成，數(shù)據(jù)集是通過6 個(gè)不同分辨率的攝像頭設(shè)備采集而來，包含1 501 個(gè)不同身份的行人，其中在訓(xùn)練集中含有751 個(gè)不同身份行人的12 936 張圖像，測試集中的候選圖像集含有750 個(gè)不同身份行人的19 732 張圖像，查詢庫中包含3 368張等待查詢的目標(biāo)行人圖像。

CUHK03 數(shù)據(jù)集是由香港中文大學(xué)利用5 對攝像頭設(shè)備進(jìn)行拍攝制作的，其中共包含1 467 個(gè)行人的14 097 張圖像。該數(shù)據(jù)集每一張行人圖像是由一對成對的兩個(gè)攝像頭設(shè)備拍攝而來的。

DukeMTMC-reID 數(shù)據(jù)集是DukeMTMC 數(shù)據(jù)集基于圖像的行人重識別子集。數(shù)據(jù)集是在杜克大學(xué)校園里采集的，它是通過8 個(gè)不同位置的高分辨率相機(jī)拍攝形成的，數(shù)據(jù)集總共有1 812 個(gè)行人身份，其中包含408 個(gè)帶有干擾身份的行人圖像。

MSMT17 數(shù)據(jù)集是在CVPR2018 會議上提出的一個(gè)更接近真實(shí)場景的大型數(shù)據(jù)集，包含126 441 個(gè)邊界框，4 101 個(gè)身份，采用了安放在校園內(nèi)的15 個(gè)攝像頭，其中包含12 個(gè)戶外攝像頭和3個(gè)室內(nèi)攝像頭。

本文采用3 個(gè)評價(jià)指標(biāo)來評估所有數(shù)據(jù)集上的行人重識別算法性能：

1）首位命中率（Rank1），即在圖庫中第一次匹配成功的概率。

2）平均精度均值（mAP），它是平均精度（Average Precision，AP）的均值，表示在相似序列圖像中和等待查詢的某一確定的目標(biāo)行人身份信息相同的圖像與序列中總圖像數(shù)目之比，是對全部等待查詢的某一確定目標(biāo)行人的平均精度的平均值。AP和mAP的計(jì)算式如式（2）和（3）所示：

其中：r表示所檢索圖像的序號；P(r)表示檢索結(jié)果中相關(guān)樣本的數(shù)量占檢索樣本總數(shù)的比例；rel(r)表示檢索圖像序號的二元函數(shù)，是相關(guān)圖像則函數(shù)值為1，否則為0；m表示候選集中所有和查詢圖像匹配的待檢索圖像個(gè)數(shù)。

3）采用了文獻(xiàn)［13］所提出的評價(jià)指標(biāo)：平均逆負(fù)懲罰（mean Inverse Negative Penalty，mINP），該指標(biāo)評估了檢索最難的正確匹配項(xiàng)的能力，為測量行人重識別算法性能提供了補(bǔ)充。對于一個(gè)良好的行人重識別算法，應(yīng)該盡可能準(zhǔn)確地檢索目標(biāo)人員，即所有正確匹配都應(yīng)具有較低的排名。在實(shí)際應(yīng)用中，對于方法得到的檢索排名列表，需要進(jìn)行進(jìn)一步人工調(diào)查，考慮到不應(yīng)該從檢索最高排名列表中忽略目標(biāo)人員，因此，最難正確匹配的排名位置決定了后續(xù)任務(wù)的工作量，即相同精度下，最難正確匹配排名越大，后續(xù)人工調(diào)查工作量越大。首先，通過負(fù)懲罰（Negative Penalty，NP）中找到最難正確匹配，其中，表示最難匹配的排名，|Gi|表示查詢第i圖像的正確匹配總數(shù)。計(jì)算式如下：

2.2 網(wǎng)絡(luò)消融分析

本文算法包含3 個(gè)消融因素，即SPM、MPM 和Residual ASPP 模塊。為驗(yàn)證本文算法的有效性，在Market-1501 數(shù)據(jù)集上采用如下方式進(jìn)行消融分析：

1）采用文獻(xiàn)［13］中的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)作為基準(zhǔn)網(wǎng)絡(luò)Baseline；

2）僅在Baseline中添加SPM；

3）僅在Baseline中添加MPM；

4）僅在Baseline中添加Residual ASPP模塊；

5）對2）中添加MPM 和Residual ASPP 模塊即為本文最終算法。消融分析結(jié)果如表3所示。

表3 消融分析結(jié)果 單位：%Tab.3 Ablation analysis results unit：%

從表3中結(jié)果可以看出，本文模型中3個(gè)消融因素都可以有效提高網(wǎng)絡(luò)的性能，在多種評價(jià)指標(biāo)上都有明顯提升。

2.3 對比實(shí)驗(yàn)分析

將本文提出的算法模型分別在各公開數(shù)據(jù)集上與最近相關(guān)工作進(jìn)行對比，其中，PIE（ResNet50）［21］是一種利用位姿不變嵌入（Pose Invariant Embedding，PIE）作為行人描述符，通過構(gòu)建行人邊界框來描繪一個(gè)直立行走的人作為行人重識別的參考；注意力感知組成網(wǎng)絡(luò)（Attention-Aware Compositional Network，AACN）［22］是一種屬性注意力網(wǎng)絡(luò)，通過整合多種人體屬性和注意力圖，利用分類網(wǎng)絡(luò)框架來處理重識別問題；HA-CNN（Harmonious Attention Convolution Neural Network）［23］是一種注意力學(xué)習(xí)和特征學(xué)習(xí)相結(jié)合的方法；文獻(xiàn)［24］結(jié)合多種訓(xùn)練技巧提出了行人重識別方法；多樣化注意力行人重識別網(wǎng)絡(luò)（Attentive But Diverse person Re-ID Network，ABDNet）［25］將一對互補(bǔ)的注意力模塊融入到網(wǎng)絡(luò)中；文獻(xiàn)［13］方法是在文獻(xiàn)［24］基礎(chǔ)上提出的一種改進(jìn)方法。

表4～6 分別給出了本文方法與其他行人重識別方法在數(shù)據(jù)集Market-1501、DukeMTMC-reID、CUHK03、MSMT17 上的結(jié)果對比。從表4～6 中結(jié)果可以看出，本文方法可以獲得較好的性能。這主要得益于本文方法通過水平和豎直方向的池化操作以及不同尺度的池化操作聚合多尺度的上下文信息，然后，利用空洞卷積的組合進(jìn)一步保留網(wǎng)絡(luò)中的不同尺度特征，實(shí)現(xiàn)場景結(jié)構(gòu)的高效解析，從而提升了網(wǎng)絡(luò)的特征提取能力。如表4 所示，在Market-1501 數(shù)據(jù)集上，相較于文獻(xiàn)［11］方法和HA-CNN 特征融合方法，本文所提出的多尺度特征融合方法Rank1提高了6.4和6.9個(gè)百分點(diǎn)，而mAP則分別提高了3.2 和17.2 個(gè)百分點(diǎn)。相較于生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［8］提出的基于圖像風(fēng)格遷移的方法，本文方法的Rank1 和mAP 分別提高了17.8 和32.3 個(gè)百分點(diǎn)。

表4 Market-1501數(shù)據(jù)集上不同方法實(shí)驗(yàn)結(jié)果比較 單位：%Tab.4 Experimental results comparison of different methods on Market-1501 dataset unit：%

如表5所示，在DukeMTMC-reID 數(shù)據(jù)集上，本文方法比文獻(xiàn)［11］方法和HA-CNN 在Rank1 上分別提高了5.5 和11.6 個(gè)百分點(diǎn)，mAP 比文獻(xiàn)［11］方法提高了0.4 個(gè)百分點(diǎn)，而比HACNN方法結(jié)果提高20個(gè)百分點(diǎn)。

表5 DukeMTMC-reID數(shù)據(jù)集上不同方法實(shí)驗(yàn)結(jié)果比較 單位：%Tab.5 Experimental results comparison of different methods on DukeMTMC-reID dataset unit：%

如表6 所示，在數(shù)據(jù)集CUHK03 和MSMT17 上，將本文方法與未采用本文結(jié)構(gòu)的相關(guān)工作進(jìn)行對比，其中文獻(xiàn)［13］方法為本文所采用的基線模型，而該基線模型是在文獻(xiàn)［24］基礎(chǔ)上改進(jìn)后提出的方法。實(shí)驗(yàn)結(jié)果顯示，本文方法在各項(xiàng)指標(biāo)上均有提升。

表6 CUHK03和MSMT17數(shù)據(jù)集上不同方法實(shí)驗(yàn)結(jié)果比較 單位：%Tab.6 Experimental results comparison of different methods on CUHK03 and MSMT17 dataset unit：%

綜上所示，本文所提出的基于多尺度特征融合的方法通過在網(wǎng)絡(luò)淺層提取多尺度特征信息，并在神經(jīng)網(wǎng)絡(luò)之后再次通過多尺度空洞卷積操作，有效保留了網(wǎng)絡(luò)中的多尺度行人特征，提高了行人重識別任務(wù)的準(zhǔn)確率。

如圖5 所示，為本文方法在Market-1501 數(shù)據(jù)集上的Rank10 結(jié)果，從左到右分別是待查找的目標(biāo)行人query，以及相似度最高的10幅圖片，即Rank10，可以看出，該識別結(jié)果中只有第一行的圖像中排序第6 位行人類別識別錯(cuò)誤。如圖5（b）中的識別結(jié)果8 中由于受光照影響，行人與背景圖像區(qū)分不明顯，以及識別結(jié)果9和10中受場景無關(guān)物體干擾，在行人特征易混淆的復(fù)雜場景下，本文方法仍能準(zhǔn)確識別出目標(biāo)行人。這主要是因?yàn)楸疚奶岢龅亩喑叨忍卣魅诤戏椒◤牟煌某叨扔行Й@取更多的行人判別特征，利于區(qū)分行人和無關(guān)場景，從而可以準(zhǔn)確判斷出該行人。

圖5 Market-1501數(shù)據(jù)集上行人重識別的Rank10結(jié)果Fig.5 Rank10 results of pedestrian re-identification on Market-1501 dataset

3 結(jié)語

本文構(gòu)建了一個(gè)基于混合多尺度特征提取的行人重識別方法，通過多層次、不同尺度的池化操作同時(shí)聚合全局和局部的上下文信息，并且加入Residual ASPP 模塊來進(jìn)一步提升網(wǎng)絡(luò)的全局上下文信息表示能力，幫助網(wǎng)絡(luò)更加有效地對場景結(jié)構(gòu)進(jìn)行解析，從而提升行人重識別的準(zhǔn)確率。本文方法在Market-1501、CUHK03、DukeMTMC-reID、MSMT17 等公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相較于AACN、HA-CNN、ABD-Net 等行人重識別方法，其各項(xiàng)性能指標(biāo)均有明顯提升，驗(yàn)證了該方法的可行性和有效性。下一步工作將從提高特征的利用效率的角度進(jìn)一步提升行人重識別模型的準(zhǔn)確率。