結(jié)合MASP和語義分割的雙鏈路行人重識別方法

朱亞梅，施一萍，江悅瑩，鄧 源，劉 瑾

上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620

行人重識別旨在通過給定的圖像在不同的攝像機(jī)中搜索同一個人。由于其在視頻監(jiān)控、基于內(nèi)容的圖像檢索等實(shí)際應(yīng)用中的重要性，近年來受到了廣泛的關(guān)注?，F(xiàn)如今，行人重識別仍然面臨許多挑戰(zhàn)，如人的姿勢，光照和背景混亂等。此外，不同人群的衣著外觀相似，行人檢測不完善，進(jìn)一步增加了其在實(shí)際應(yīng)用中的難度。

傳統(tǒng)的行人重識別方法主要依賴手工設(shè)計(jì)的特征和測量學(xué)習(xí)。Li等人[1]提出在行人重識別的距離度量學(xué)習(xí)中為了克服樣本量小的問題，學(xué)習(xí)一個滿足零類內(nèi)散射和正的類間散射的有判別力的零空間，在訓(xùn)練數(shù)據(jù)的判別零空間匹配行人。Liao等人[2]提出了一種有效的特征表示方法——局部最大概率（LOMO）和一種度量學(xué)習(xí)方法——交叉視圖二次判別分析法（XQDA）。傳統(tǒng)行人重識別方法存在一些缺點(diǎn)，比如特征表示不足，相似性匹配精度低以及行人識別過程慢等。目前，基于深度學(xué)習(xí)[3]的行人重識別方法是一個熱點(diǎn)研究課題。典型的基于深度學(xué)習(xí)的行人重識別方法關(guān)注兩點(diǎn)：學(xué)習(xí)強(qiáng)有力的特征表示來描述行人以及學(xué)習(xí)一個有效的度量學(xué)習(xí)方法，使同一個行人的距離更近，不同人的距離更遠(yuǎn)。Sun等人[4]設(shè)計(jì)了一個PCB網(wǎng)絡(luò)通過硬劃分提取局部特征，然后又提出用于后續(xù)精修的池化部分RPP（refined part pooling），學(xué)習(xí)更具有區(qū)分性的部件信息。Li等人[5]通過多尺度上下文感知網(wǎng)絡(luò)（MSCAN）和空間轉(zhuǎn)換網(wǎng)絡(luò)（STN）學(xué)習(xí)行人的全特征和局部特征。Cheng等人[6]對三元組損失進(jìn)行改進(jìn)，考慮了行人的正負(fù)樣本對之間的絕對距離。Xiao等人[7]提出了一種挖掘困難樣本的方法，利用最有相似性的負(fù)樣本和最不相似的正樣本來訓(xùn)練網(wǎng)絡(luò)。

基于深度學(xué)習(xí)的方法在準(zhǔn)確率和速度上相較于傳統(tǒng)方法都有提升，但仍存在一些問題?，F(xiàn)有的行人重識別模型通常學(xué)習(xí)輸入行人圖像的全局特征表示，或者學(xué)習(xí)一個基于部位的預(yù)定義的剛性部位特征表示或者學(xué)習(xí)兩者的特征融合[8]。盡管這些模型在現(xiàn)有的行人重識別數(shù)據(jù)集上已經(jīng)得到了顯著的結(jié)果，但是仍然存在兩個問題。第一，對于特征學(xué)習(xí)，目前流行的深度學(xué)習(xí)模型通常使用單尺度卷積和最大池化層來生成深度網(wǎng)絡(luò)。隨著層數(shù)的增加，這些模型很容易丟失一些小規(guī)模的視覺線索，比如太陽鏡和鞋子。然而這些細(xì)粒度屬性對于區(qū)分類間差異較小的行人對是非常有用的，因此這些模型并不是行人特征學(xué)習(xí)的最佳選擇。第二，由于姿態(tài)變化以及行人檢測的不完善，行人圖像樣本可能會存在未對齊的情況。有時候會包含背景信息或者缺少某些部位，比如腿。在這些情況下，對于基于部位的特征表示，預(yù)定義的剛性分割網(wǎng)絡(luò)可能無法得到兩個行人圖像之間的正確部位對應(yīng)關(guān)系。因此，對于基于部位的特征學(xué)習(xí)，剛性的預(yù)定義網(wǎng)格分割遠(yuǎn)遠(yuǎn)不夠魯棒。

在本文中，提出了聯(lián)合學(xué)習(xí)行人的全局特征和語義部位特征并進(jìn)行融合。針對第一個問題，本文提出多空洞空間卷積金字塔（multiple atrous spatial pyramid，MASP）模塊，來對主干網(wǎng)絡(luò)提取的淺層特征進(jìn)行采樣，對于MASP的每個卷積層，采用具有不同感受野的空洞卷積來獲得多個特征圖，通過這種方式，增強(qiáng)了局部視覺線索的細(xì)粒度區(qū)分，然后通過級聯(lián)融合結(jié)構(gòu)連接不同卷積核的特征圖作為本層的輸出。最后，將MASP輸出的特征圖與主干網(wǎng)絡(luò)輸出的高級特征連接得到融合多尺度信息的行人全局特征。針對第二個問題，不同于剛性部位分割，本文通過語義分割得到行人部位概率圖，然后與行人特征圖加權(quán)融合，得到行人語義部位特征。

一般來說，全身特征和身體部位特征是相輔相成的，全身特征更關(guān)注全局信息，而身體部位特征更關(guān)注局部區(qū)域信息。為了更好地利用這兩種特征，本文將全局特征和局部特征連接起來，形成最終的行人表示。在測試階段，對兩個特征進(jìn)行L2歸一化，然后采用歐式距離度量相似度來進(jìn)行行人重識別。

1 結(jié)合MASP和語義分割的雙鏈路模型

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的方法的重點(diǎn)是學(xué)習(xí)強(qiáng)有力的特征表示來描述行人，該方法的總體框架如圖1所示，主要由全局特征提取鏈路、語義特征提取鏈路組成。

圖1 本文提出的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram proposed in this paper

全局特征提取鏈路首先通過主干網(wǎng)絡(luò)提取淺層特征，通過MASP模塊，使用空洞率分別為1、2、3、4的3×3的空洞卷積對特征圖進(jìn)行采樣，然后通過級聯(lián)融合結(jié)構(gòu)連接不同卷積核的特征圖作為本層的輸出。最后將輸出的特征圖與主干網(wǎng)絡(luò)輸出的高級特征連接得到行人的全局特征fg。

語義特征提取鏈路通過語義分割網(wǎng)絡(luò)，得到行人部位標(biāo)簽圖，將其縮放并變換得到通道部位圖，然后通過主干網(wǎng)絡(luò)提取中層特征，與通道部位圖按照通道相乘得到語義部位特征，最終的語義特征fp為語義各部位特征的最大值融合而得。

1.2 基于MASP的全局特征提取

在行人重識別過程中，不僅需要提取行人的高級特征，還需要提取行人的小尺度上下文信息，如帽子、太陽鏡等。采用深度神經(jīng)網(wǎng)絡(luò)提取行人特征。隨著網(wǎng)絡(luò)深度的增加，雖然可以獲得行人的高級特征，但隨著網(wǎng)絡(luò)不斷使用池化操作對特征進(jìn)行下采樣，這些小特征會丟失。針對這一問題，本文提出了一種有效的解決方案，利用不同空洞率的卷積對淺層特征圖進(jìn)行采樣，并將其連接到高級特征圖上，從而可以獲得包含多個比例的圖像上下文信息的特征表示，解決了池化操作導(dǎo)致的小規(guī)模信息丟失問題。

空洞卷積[9]操作可以根據(jù)空洞率擴(kuò)大普通卷積核的大小?？斩淳矸e核大小與原卷積核大小的關(guān)系如式（1）所示：

其中，F(xiàn)ilter2為空洞后的卷積核的大小，d為空洞率，F(xiàn)ilter1為原卷積核的大小。由式（1）可以看出，利用原卷積的相同大小，使用不同的空洞率，可得到不同大小的空洞卷積。

圖2是卷積核尺寸為3×3，空洞率為1、2、3的空洞卷積示意圖。采用空洞率為1、2、3，卷積核大小為3×3的卷積，而不采用卷積核大小為3×3、5×5、7×7的卷積，是因?yàn)楹笳邥a(chǎn)生更多的冗余信息，增加計(jì)算量。

圖2 空洞卷積示意圖Fig.2 Schematic diagram of void convolution

受文獻(xiàn)[5]的啟發(fā)，本文設(shè)計(jì)了MASP網(wǎng)絡(luò)結(jié)構(gòu)，即通過一個多尺度的信息融合模塊來提取行人的上下文信息。如圖3所示，主干網(wǎng)絡(luò)Resnet50提取淺層特征U2。然后使用空洞率分別為1、2、3、4的3×3空洞卷積，對特征圖進(jìn)行采樣，通過級聯(lián)融合結(jié)構(gòu)進(jìn)行連接，得到該層的輸出，然后采用1×1卷積調(diào)整特征圖的大小。最后將MASP模塊輸出的特征圖U5與主干網(wǎng)絡(luò)提取的高級特征U4連接，得到融合多尺度上下文信息的全局特征。

圖3 MASP網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 MASP network architecture

1.3 基于語義分割的部位特征提取

行人語義分割是一個細(xì)粒度的語義分割任務(wù)，也稱為行人解析，是指對行人圖像上的像素點(diǎn)按照人體的語義部位進(jìn)行分類。語義分割能夠精確定位身體各部位的任意輪廓，即使是在嚴(yán)重位姿變化的情況下，因此語義部位信息非常適合用于輔助行人再識別問題。

給定輸入圖像，使用現(xiàn)有的語義分割方法SCHP[10]計(jì)算語義解析圖。通過語義分割網(wǎng)絡(luò)，將行人分為5個語義區(qū)域，分別為頭發(fā)、臉、上半身、下半身和腳。圖4展示了部分行人圖片以及行人圖片通過SCHP得到的語義分割圖，第一行為行人圖片，第二行是對應(yīng)的語義分割結(jié)果，不同部位用不同的顏色表示。

圖4 行人語義分割圖示例Fig.4 Person semantic segmentation graph example

然后，通過ResNet50網(wǎng)絡(luò)來提取行人的全局特征。本文選擇網(wǎng)絡(luò)中間層提取的行人特征與行人語義解析圖加權(quán)融合。之所以選擇使用中間層，是因?yàn)殡S著網(wǎng)絡(luò)的加深，神經(jīng)網(wǎng)絡(luò)會編碼更多的抽象信息以及編碼更高的語義級別特征，比如，深層特征圖和輸入圖像的部位位置關(guān)系不是很清晰，因此將語義解析圖和神經(jīng)網(wǎng)絡(luò)中間層特征圖結(jié)合，是一個很好的選擇，因?yàn)橹虚g層沒有很多的抽象信息，并且同時對豐富的信息進(jìn)行了編碼。

為了將中間層輸出的特征圖U3與行人語義部位概率圖融合，先將中間層特征U3進(jìn)行雙線性插值變換得到U3'，然后將語義部位概率圖M縮放到與U3'同一空間尺度，得到M'，再根據(jù)分類轉(zhuǎn)為5個通道部位圖，得到{Mi∈Rw×h}i=1,2,3,4,5。

然后通過兩步得到行人的語義部位特征，先是將通道部位圖Mi和行人特征圖U3'的每個通道之間應(yīng)用逐元素乘積，再分別進(jìn)行平均池化，得到行人語義部位特征Fi=pooling(U3'×Mi),i=1,2,…,5,F∈R1×1×c×5，然后將各語義部位特征進(jìn)行最大值融合得到行人部位特征fp=(Fi)。

1.4 損失函數(shù)

為了增強(qiáng)模型學(xué)習(xí)特征的判別能力，本文結(jié)合度量損失和分類損失共同指導(dǎo)網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)。

在行人重識別的分類任務(wù)中，經(jīng)常用到交叉熵?fù)p失函數(shù)[11]。交叉熵?fù)p失函數(shù)的公式如下所示：

其中，ρ表示錯誤率，ρ可以提高模型的泛化能力。根據(jù)文獻(xiàn)[11]本文中將其設(shè)為0.1。N表示行人類別總數(shù)。當(dāng)訓(xùn)練數(shù)據(jù)相對較小時，標(biāo)簽平滑函數(shù)能夠比較有效地提升行人重識別模型的性能。使用標(biāo)簽平滑后，交叉熵?fù)p失函數(shù)表示為：

其中，bi的值為

在深度度量學(xué)習(xí)中，經(jīng)常使用三元組損失函數(shù)。三元組損失函數(shù)使同一類別行人樣本的距離更近，不同類別行人樣本之間的距離更遠(yuǎn)，從而實(shí)現(xiàn)在特征空間中對同一類行人樣本進(jìn)行聚類。但是，三元組損失只度量樣本間的相對距離，由于其不能提供全局最優(yōu)約束，所以類間的距離可能小于類內(nèi)的距離。因此本文中采用邊界樣本挖掘損失（margin sample mining loss，MSML）[7]。邊界樣本挖掘損失不僅考慮正負(fù)樣本對間的絕對距離，而且引入了難樣本采樣的思想。訓(xùn)練時，在一個batch選擇最不相似的正樣本對和最相似的負(fù)樣本對。

在公式（5）中，(x)+=max(x,0)。表示a和b的歐式距離，α是用來區(qū)分正樣本與負(fù)樣本的邊界值，a和b是最不相似的正樣本對，r和q是最相似的負(fù)樣本對。如果a和r是同一個類別中的行人，則考慮正負(fù)樣本對之間的相對距離，如果a和r不是同一個類別中的行人，則考慮正負(fù)樣本對的絕對距離。

本文中的行人重識別模型使用度量損失函數(shù)和分類損失函數(shù)聯(lián)合訓(xùn)練。語義部位特征鏈路輸出的特征向量fp使用交叉熵?fù)p失，全局特征U6使用邊界樣本挖掘損失，同時對fg使用交叉熵?fù)p失。最終的損失函數(shù)表示為：

在測試階段，將兩個鏈路中的特征fp與fg進(jìn)行級聯(lián)得到行人最終的特征表示，用于行人間的特征比對。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集和評價(jià)指標(biāo)

2.1.1 數(shù)據(jù)集

為了驗(yàn)證本文方法的有效性，所采用的實(shí)驗(yàn)數(shù)據(jù)主要來自目前行人重識別常用的數(shù)據(jù)集：Market1501[13]和DukeMTMC-reID[14]。Market-1501數(shù)據(jù)集包含6個攝像頭拍攝得到的32 668張行人圖像，是由DPM檢測得到的固定尺寸的圖像框。數(shù)據(jù)集包含1 501個行人，訓(xùn)練集有751個，測試集有750個。DukeMTMC-reID數(shù)據(jù)集包含8個高分辨率攝像機(jī)拍攝得到的1 812個行人總共36 411張行人圖像，其中有1 404個行人出現(xiàn)在兩個以上的攝像機(jī)中，408個行人僅出現(xiàn)在一個攝像機(jī)中，這408個行人身份用作干擾項(xiàng)。數(shù)據(jù)集分為兩部分，其中702個行人的16 522張圖像用來訓(xùn)練，其他的2 228張圖像用于查詢，測試集包含17 661張圖像。

2.1.2 評價(jià)指標(biāo)

本文采用兩個評價(jià)指標(biāo)來與現(xiàn)有的方法進(jìn)行對比，第一個指標(biāo)為Rank-n，是指給定查詢集中的一張圖片，計(jì)算這張圖片與圖庫集中所有圖片的相似度，從高到低排序，計(jì)算在前n個樣本中有同一個行人的概率。另一個評價(jià)指標(biāo)為mAP，同樣首先計(jì)算相似度，然后計(jì)算AP值即準(zhǔn)確率召回率曲線下方的面積并求均值得到mAP，mAP綜合考慮了查全率和查準(zhǔn)率，對性能的評價(jià)更全面。

2.2 實(shí)驗(yàn)細(xì)節(jié)

本文中的模型使用PyTorch來實(shí)現(xiàn)。在開始訓(xùn)練之前將數(shù)據(jù)集中圖片大小調(diào)整為256×128，通過隨機(jī)擦除進(jìn)行數(shù)據(jù)增強(qiáng)，隨即擦除概率為0.5。實(shí)驗(yàn)中使用的2個數(shù)據(jù)集，預(yù)先使用SCHP[10]模型進(jìn)行行人語義解析，該方法是在LIP[15]數(shù)據(jù)集上訓(xùn)練的。模型訓(xùn)練共迭代100次，每個訓(xùn)練批次由8個不同身份的行人，每個行人隨機(jī)選取4張圖片組成，即訓(xùn)練批次大小設(shè)置為32。每個批次使用隨機(jī)梯度下降來更新參數(shù)，動量設(shè)置為0.9。初始學(xué)習(xí)率設(shè)置為0.03，在經(jīng)過60個批次后學(xué)習(xí)率降為0.003。圖4顯示了Market-1501和DukeMTMC-reID的語義分割示例結(jié)果，SCHP對這兩個數(shù)據(jù)集都有很好的泛化。

2.3 對比實(shí)驗(yàn)

本節(jié)將所提出的模型與現(xiàn)有的先進(jìn)方法進(jìn)行比較。在Market-1501和DukeMTMC-reID數(shù)據(jù)集中分別測試了Rank-1和mAP性能指標(biāo)，從表1可以看出，本文提出的模型在2個數(shù)據(jù)集中都取得不錯的效果。BagTricks[11]提出了一個強(qiáng)有力的基線模型，即通過分別對backbone使用6個訓(xùn)練技巧，來提升基線模型的識別能力，證明一些訓(xùn)練技巧可以有效提升網(wǎng)絡(luò)性能，本文與BagTricks相比，重識別效果提升不是很明顯，但是研究的側(cè)重點(diǎn)不同，本文通過改進(jìn)網(wǎng)絡(luò)模型來提升重識別準(zhǔn)確率，根據(jù)BagTricks的研究結(jié)果，如果要進(jìn)一步提升識別準(zhǔn)確率，采用適當(dāng)?shù)挠?xùn)練技巧，將會有顯著提升。PCB[4]對行人的局部特征進(jìn)行了有效的學(xué)習(xí)，但是缺少對全局特征的學(xué)習(xí)，因此在Market-1501數(shù)據(jù)集上，本文方法的Rank-1提高了2.4個百分點(diǎn)，mAP提高了8.9個百分點(diǎn)；在DukeMTMC-reID數(shù)據(jù)集上Rank-1提高了5.2個百分點(diǎn)，mAP提高了9.1個百分點(diǎn)。SP-ReID[16]利用行人解析模型來提取行人的語義部位特征，并將行人的全局特征、前景特征和語義部位特征融合得到行人最終的特征表達(dá)，但是缺少對因網(wǎng)絡(luò)加深而丟失的小規(guī)模視覺線索的特征提取，因此本文方法的Rank-1在Market-1501數(shù)據(jù)集上提高了3.2個百分點(diǎn)，在DukeMTMC-reID數(shù)據(jù)集上提高了3.6個百分點(diǎn)，mAP在Market-1501數(shù)據(jù)集上提高了6.6個百分點(diǎn)，在DukeMTMC-reID數(shù)據(jù)集上提高了6.4個百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文的方法優(yōu)于當(dāng)前主流的方法。

表1 不同方法在兩個數(shù)據(jù)集上的性能比較Table 1 Performance comparison of different methods on two datasets 單位：%

考慮到采用不同空洞率的卷積以及空洞卷積的數(shù)量對行人識別效果的影響，分別設(shè)置對比實(shí)驗(yàn)來驗(yàn)證本文選取的方法的有效性。首先設(shè)置4組空洞率分別相同的卷積與本文方法進(jìn)行對比，空洞率分別設(shè)為1、2、3、4。在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖5所示。由圖可知，采用空洞率分別為1、2、3、4的卷積組合的mAP和Rank-1值均高于采用空洞率相同的卷積組合，由此證明本文采取的卷積組合性能優(yōu)于采用相同卷積的組合。

圖5 空洞率尺寸組合對性能的影響Fig.5 Effect of dilation ratio size combination on performance

其次，分別設(shè)置空洞卷積個數(shù)為1、2、3的卷積組合與本文方法進(jìn)行比較，在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖6所示。由圖可知，隨著卷積數(shù)量的增加，Rank-1識別率和mAP值也在逐步增加。當(dāng)卷積數(shù)量增加到5時，雖然Rank-1和mAP略有提升，但提升不是很大，考慮到模型復(fù)雜度，最終選取空洞卷積數(shù)量為4來提取行人的多尺度信息。

圖6 空洞卷積數(shù)量對性能的影響Fig.6 Effect of number of dilation convolution on performance

2.4 消融實(shí)驗(yàn)

本節(jié)通過消融實(shí)驗(yàn)來深入研究本文提出方法的有效性。其中基線模型是ResNet50，用LG表示，在此基礎(chǔ)之上進(jìn)行改動。用LG-P表示使用行人全局特征和語義部位特征融合的方法，但是不采用MASP模塊，LG+MASP表示加入了MASP模塊的全局特征，但是沒有融合語義部位特征，LG-P+MASP表示本文的網(wǎng)絡(luò)結(jié)構(gòu)。分別評估LG-P+MASP網(wǎng)絡(luò)、LG+MASP網(wǎng)絡(luò)、LG-P網(wǎng)絡(luò)和LG網(wǎng)絡(luò)在2個數(shù)據(jù)集上的識別性能，如圖7所示，對于每張查詢的行人圖像，按照相似度計(jì)算的結(jié)果，排列出前10張，其中正確的結(jié)果用綠色數(shù)字表示，錯誤的結(jié)果用紅色數(shù)字表示。從圖7可以看出，LG-P+MASP網(wǎng)絡(luò)的性能最優(yōu)，LG-P網(wǎng)絡(luò)和LG+MASP網(wǎng)絡(luò)次之，LG-P+MASP網(wǎng)絡(luò)和LG-P網(wǎng)絡(luò)以及LG+MASP網(wǎng)絡(luò)性能都高于ResNet50網(wǎng)絡(luò)。

圖7 行人檢索結(jié)果排序圖Fig.7 Person retrieval results sequencing map

表2所示為LG、LG-P、LG+MASP網(wǎng)絡(luò)和本文提出的LG-P+MASP網(wǎng)絡(luò)的定量實(shí)驗(yàn)結(jié)果，相較于LG，LG-P網(wǎng)絡(luò)在Market-1501數(shù)據(jù)集上，mAP提升了6.5個百分點(diǎn)，Rank-1提升了3.8個百分點(diǎn)，在DukeMTMC-reID數(shù)據(jù)集上，mAP提升了5.6個百分點(diǎn)，Rank-1提升了4.3個百分點(diǎn)，即在2個數(shù)據(jù)集上，LG-P網(wǎng)絡(luò)比ResNet50網(wǎng)絡(luò)對行人重識別的識別效果更好。實(shí)驗(yàn)結(jié)果表明，行人重識別中，全局特征和語義部位特征的結(jié)合共同作用，可以使行人重識別效果提升。語義部位信息從一定程度上補(bǔ)充了全局特征的不足，語義特征是由語義部位特征得來的，相當(dāng)于局部特征的融合，能夠與全局特征互補(bǔ)，使得最終的行人特征具有不同尺度的信息。

表2 本文提出的行人重識別方法在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental performance of person re-identification method proposed in this paper on two datasets 單位：%

相較于LG網(wǎng)絡(luò)，LG+MASP網(wǎng)絡(luò)在Market-1501數(shù)據(jù)集上Rank-1提升了5.7個百分點(diǎn)，mAP提升了8.7個百分點(diǎn)，在DukeMTMC-reID數(shù)據(jù)集上，Rank-1提升了5.5個百分點(diǎn)，mAP提升了9.5個百分點(diǎn)。相較于LG-P網(wǎng)絡(luò)，本文提出的LG-P+MASP網(wǎng)絡(luò)同樣能夠使重識別效果進(jìn)一步提升。在Market-1501數(shù)據(jù)集上，Rank-1提升了6.4個百分點(diǎn)，mAP提升了12.2個百分點(diǎn)，在DukeMTMC-reID數(shù)據(jù)集上，Rank-1提升了4.3個百分點(diǎn)，mAP提升了9.8個百分點(diǎn)。因此可知，在特征提取時采取MASP模塊對淺層特征進(jìn)行采樣，提取多尺度特征，并與高級特征連接的方式是有效的。本文提出的網(wǎng)絡(luò)結(jié)合了全局特征和語義部位特征，且通過MASP模塊獲得包含多個比例的圖像上下文信息的特征表示，相比于ResNet50網(wǎng)絡(luò)，本文提出的方法明顯使行人重識別性能有效提升。

3 結(jié)束語

由于行人重識別中存在行人姿勢多變，行人圖像樣本未對齊等問題，為了學(xué)習(xí)魯棒的特征表示來描述行人，本文提出了結(jié)合MASP和語義分割的雙鏈路行人重識別方法。通過MASP模塊對行人淺層特征通過并聯(lián)的空洞卷積進(jìn)行采樣，然后與高級特征連接，得到融合多尺度信息的行人全局特征，同時使用語義分割網(wǎng)絡(luò)輸出概率圖與主干網(wǎng)絡(luò)的中層特征加權(quán)融合提取行人的語義部位特征，并最后在測試階段，將行人全局特征和語義部位特征連接，用于相似性度量。本文方法對特征進(jìn)行了多細(xì)粒度表示，有效地提升了特征向量的復(fù)雜性和多樣性。在2個行人重識別數(shù)據(jù)集Market-1501、DukeMTMC-reID上對本文方法進(jìn)行評估，實(shí)驗(yàn)結(jié)果表明，本文方法能夠使行人重識別效果明顯增強(qiáng)。未來的工作是進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型，在不增加網(wǎng)絡(luò)復(fù)雜度的情況下，提升行人重識別的準(zhǔn)確率。