基于多分區(qū)注意力的行人重識(shí)別方法

薛麗霞，朱正發(fā)，汪榮貴，楊 娟

基于多分區(qū)注意力的行人重識(shí)別方法

薛麗霞，朱正發(fā)，汪榮貴，楊 娟*

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009

行人重識(shí)別是計(jì)算機(jī)視覺(jué)中一項(xiàng)具有挑戰(zhàn)性和實(shí)際意義的重要任務(wù)，具有廣泛的應(yīng)用前景。背景干擾、任意變化的行人姿態(tài)和無(wú)法控制的攝像機(jī)角度等都會(huì)給行人重識(shí)別研究帶來(lái)較大的阻礙。為提取更具有辨別力的行人特征，本文提出了基于多分區(qū)注意力的網(wǎng)絡(luò)架構(gòu)，該網(wǎng)絡(luò)能同時(shí)從全局圖像和不同局部圖像中學(xué)習(xí)具有魯棒性和辨別力的行人特征表示，能高效地提高行人重識(shí)別任務(wù)的識(shí)別能力。此外，在局部分支中設(shè)計(jì)了一種雙重注意力網(wǎng)絡(luò)，由空間注意力和通道注意力共同組成，優(yōu)化提取局部特征。實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)在Market-1501、DukeMTMC-reID和CUHK03數(shù)據(jù)集上的平均精度均值分別達(dá)到82.94%、72.17%、71.76%。

行人重識(shí)別；局部特征；雙重注意力網(wǎng)絡(luò)；深度神經(jīng)網(wǎng)絡(luò)

1 引 言

行人重識(shí)別任務(wù)是在跨攝像頭中進(jìn)行指定行人檢索，即對(duì)于給定一個(gè)行人圖像，在多臺(tái)不同角度、沒(méi)有視野重疊覆蓋的攝像頭不同時(shí)間段拍攝的行人圖像數(shù)據(jù)庫(kù)中找到該行人目標(biāo)。隨著監(jiān)控?cái)z像頭在公共區(qū)域的大量普及，行人重識(shí)別技術(shù)受關(guān)注程度越來(lái)越高，在視頻內(nèi)容檢索、視頻監(jiān)控以及智能安防等領(lǐng)域已成為一項(xiàng)核心技術(shù)。

解決行人重識(shí)別任務(wù)的常見(jiàn)方法是從特征提取和度量學(xué)習(xí)兩個(gè)方面考慮，首先是學(xué)習(xí)特征向量對(duì)行人圖像進(jìn)行特征表示[1-3]，然后通過(guò)度量學(xué)習(xí)準(zhǔn)確的度量圖像間的相似性[4-8]。傳統(tǒng)的行人重識(shí)別方法[4]依賴(lài)于手工提取行人特征，再進(jìn)行相似性度量。但由于監(jiān)控?cái)z像頭的分辨率低以及光照、角度等影響，同一個(gè)行人在不同攝像機(jī)中可能有很大差異，而不同的行人在外觀(guān)上可能很相似，這使得手工提取特征很難應(yīng)用到復(fù)雜的現(xiàn)實(shí)環(huán)境中。

近年來(lái)，由于深度學(xué)習(xí)強(qiáng)大的擬合和表征能力，在計(jì)算機(jī)視覺(jué)任務(wù)中都取得了出色的競(jìng)爭(zhēng)表現(xiàn)[9-10]。通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)提取的行人特征比以前的手工編碼特征具有更高的泛化能力，使得應(yīng)用深度學(xué)習(xí)模型來(lái)解決行人重識(shí)別任務(wù)的準(zhǔn)確率提高到了一個(gè)新的水平。與此同時(shí)，帶有標(biāo)簽的行人重識(shí)別數(shù)據(jù)集(如CUHK03[11]、Market-1501[12]和DukeMTMC-reID[13])的出現(xiàn)，為深度模型的訓(xùn)練在數(shù)據(jù)層面上提供了可行性。

在最初的基于深度學(xué)習(xí)的行人重識(shí)別研究方法中，研究者們主要使用最直接的從行人圖像的整體上提取識(shí)別特征方法，即通過(guò)網(wǎng)絡(luò)模型在圖像上提取行人全局特征向量用以相似性檢索[14-15]。雖然，這類(lèi)方法在各大數(shù)據(jù)集上較傳統(tǒng)方法取得了突破性進(jìn)展，但是由于只考慮到整體圖像中捕獲最顯著的外觀(guān)特征來(lái)表示不同行人之間的區(qū)別，忽略了一些不顯著或不頻繁的細(xì)節(jié)信息，從而導(dǎo)致獲取的行人特征不足以準(zhǔn)確表示復(fù)雜場(chǎng)景中的行人身份信息。

因此，行人重識(shí)別研究并不僅僅只關(guān)注在全局特征上，也開(kāi)始逐漸研究局部特征，并證明了結(jié)合局部特征的行人圖像表示是最有效的[16-17]。局部特征提取的關(guān)鍵是對(duì)整體圖像進(jìn)行分割及局部區(qū)域的精確定位。目前，效果較好的行人重識(shí)別方法在提取局部特征的功能上有所不同，大致可以概括為兩種：一是根據(jù)行人固有的身體結(jié)構(gòu)，將圖像在水平方向上分割成若干條條帶，在其上提取局部特征[18-20]；二是利用人體姿態(tài)估計(jì)和骨架關(guān)鍵點(diǎn)等先驗(yàn)知識(shí)來(lái)預(yù)測(cè)行人身體結(jié)構(gòu)信息以裁剪出更準(zhǔn)確的局部區(qū)域[21-22]。但是上述方法都有各自的缺陷。第一種水平分塊方法沒(méi)有考慮局部之間不對(duì)齊問(wèn)題；第二種局部劃分方法需要一個(gè)額外的骨架關(guān)鍵點(diǎn)或者姿態(tài)估計(jì)的模型，這會(huì)帶來(lái)額外的姿態(tài)估計(jì)誤差。

同時(shí)，研究者們還提出了針對(duì)行人重識(shí)別的注意力深度學(xué)習(xí)模型[23-24]。類(lèi)似于人類(lèi)視覺(jué)處理的注意力機(jī)制，有選擇性地傾向于注意圖像中的行人部分，而忽略其他不感興趣的區(qū)域，有助于解決行人重識(shí)別問(wèn)題。Li等[25]為展現(xiàn)不同層次的注意力機(jī)制感知和學(xué)習(xí)行人特征，提出了HA-CNN網(wǎng)絡(luò)模型，用來(lái)學(xué)習(xí)互補(bǔ)的區(qū)域級(jí)硬注意力特征和像素級(jí)軟注意力特征，增強(qiáng)柔和和兼容性程度，優(yōu)化處理未對(duì)齊圖像的特征提取技術(shù)。Liu等[26]提出了一個(gè)多級(jí)別注意力模型HydraPlus-Net，將注意力機(jī)制映射到不同的特征層，使其挖掘多級(jí)別特征信息。上述此類(lèi)方法大都將區(qū)域注意力網(wǎng)絡(luò)合并嵌入到深層的行人重識(shí)別模型中。大多數(shù)現(xiàn)有的行人重識(shí)別工作集中于使用全身圖像進(jìn)行注意力學(xué)習(xí)，忽視了從行人身體的局部部位學(xué)習(xí)的注意力特征。同時(shí)，全局注意力更多地集中在全局信息區(qū)域上，這往往會(huì)抑制或忽略行人身體部位周?chē)木植啃畔^(qū)域，從而導(dǎo)致當(dāng)人的圖像出現(xiàn)較大的姿態(tài)變化、嚴(yán)重的失調(diào)、局部遮擋等情況時(shí)，重識(shí)別效果不佳。

因而，本文重新考慮了如何利用局部特征和注意力機(jī)制學(xué)習(xí)到更加具有識(shí)別力的行人特征，設(shè)計(jì)了一個(gè)基于局部注意力的行人重識(shí)別網(wǎng)絡(luò)，即多分區(qū)注意力網(wǎng)絡(luò)模型(multi-division attention network，MDA)。圖1展示了MDA網(wǎng)絡(luò)的整體框架圖。該網(wǎng)絡(luò)主要從兩個(gè)方面解決上述提及的困難：一是同時(shí)學(xué)習(xí)全局特征和不同分塊數(shù)量的局部特征，兼顧行人的整體信息和局部細(xì)節(jié)信息，優(yōu)化深度學(xué)習(xí)中的行人重識(shí)別；二是設(shè)計(jì)了一種雙重局部注意力網(wǎng)絡(luò)，分為空間注意力網(wǎng)絡(luò)SANet和通道注意力網(wǎng)絡(luò)CANet，二者在功能上形成很強(qiáng)的互補(bǔ)性，提高行人重識(shí)別模型的性能。

2 方 法

圖1 MDA模型框架的概述

2.1 網(wǎng)絡(luò)子結(jié)構(gòu)

1) 主干網(wǎng)絡(luò)

本文中主干網(wǎng)絡(luò)采取的是ResNet50網(wǎng)絡(luò)，借助其在行人重識(shí)別領(lǐng)域的優(yōu)勢(shì)。為適應(yīng)網(wǎng)絡(luò)模型中全局和局部特征融合需求，在網(wǎng)絡(luò)層上都對(duì)ResNet50原始版本進(jìn)行簡(jiǎn)化改動(dòng)，以及只采用conv 4_1層之前的網(wǎng)絡(luò)部分，后面連上conv和conv分別進(jìn)入三個(gè)獨(dú)立的分支。conv和conv結(jié)構(gòu)大體相同，都是由conv 5_層組成。不同點(diǎn)在于為了獲得更高粒度的特征圖，conv刪除了conv 5_1位置的下采樣操作，而conv不做任何改變。

這樣，進(jìn)入局部分支的特征圖尺寸比全局分支的特征圖尺寸大一倍，會(huì)強(qiáng)制這兩個(gè)局部分支學(xué)習(xí)更高粒度的特征和更多的細(xì)節(jié)信息。conv和conv模塊獨(dú)立訓(xùn)練，不共享參數(shù)，最小化過(guò)度擬合的風(fēng)險(xiǎn)。主干網(wǎng)絡(luò)的更多細(xì)節(jié)參數(shù)展示在表1中。

這樣，對(duì)于輸入訓(xùn)練圖像，首先使用主干網(wǎng)絡(luò)提取圖像的特征，該特征可以表示為

2)全局分支

全局分支的目的是從整個(gè)行人圖像中學(xué)習(xí)最優(yōu)的全局層次的特征表示。如圖1所示，F將會(huì)經(jīng)過(guò)兩條線(xiàn)路：一條是直接與局部分支的輸出做特征融合；另一條用于計(jì)算triplet損失。在計(jì)算損失這條線(xiàn)路上，F會(huì)經(jīng)過(guò)conv層(由核為12′4最大全局池化層、1′1卷積層、BN層和ReLU層組成)，可以表示為

其中：W、b為卷積層的參數(shù)權(quán)重和偏置。式(4)的目的是將2048維的特征降維成256維y，用于計(jì)算triplet損失。

3) 局部分支

表1 Backbone network結(jié)構(gòu)

4) 特征融合

特征融合部分采用并行策略來(lái)實(shí)現(xiàn)，同時(shí)考慮到融合過(guò)程可能會(huì)對(duì)局部注意力特征向量的某些特定維度產(chǎn)生過(guò)大的響應(yīng)，加入一個(gè)非線(xiàn)性激活函數(shù)來(lái)平衡局部注意力特征響應(yīng)。融合特征可以定義為

2.2 雙重局部注意力

在行人重識(shí)別任務(wù)中引入注意力機(jī)制，是希望通過(guò)類(lèi)似于人腦注意力的機(jī)制，利用很小的感受野處理圖像中特定區(qū)域，降低了計(jì)算的維度，同時(shí)網(wǎng)絡(luò)學(xué)習(xí)圖像中高響應(yīng)區(qū)域的特征表示，使得該部分區(qū)域的特征得到增強(qiáng)。受此思想的影響，本文在局部分支中提出利用注意力機(jī)制進(jìn)一步提取出更具有分辨能力的局部特征，在具體實(shí)現(xiàn)過(guò)程中，運(yùn)用雙重局部注意力模型，即空間注意力(spatial attention network，SANet)和通道注意力(channel attention network，CANet)。

式中：U為Drop層的輸出，h、w、c為特征圖的高、寬和通道數(shù)?？梢钥闯觯珼rop層是專(zhuān)門(mén)為后續(xù)卷積層的輸入大小而設(shè)計(jì)的對(duì)參數(shù)進(jìn)行壓縮，使得參數(shù)量只有原來(lái)的。實(shí)際上，這種跨通道壓縮是合理的，因?yàn)樵谀Ｐ驮O(shè)計(jì)中，所有通道共享相同的空間注意特征圖。

然后經(jīng)過(guò)一個(gè)卷積層和ReLU層，其目的是用于提取空間注意力特征，可以表示為

CANet是約束每一個(gè)通道上的所有特征值，最后輸出長(zhǎng)度與通道數(shù)目相同的一維向量作為特征加權(quán)輸出。整個(gè)CANet有兩個(gè)支路：多通道分支和直連分支，如圖3所示。

多通道分支中的Sigmoid激活函數(shù)會(huì)導(dǎo)致其結(jié)構(gòu)①輸出歸一化為0到1之間，特征圖的輸出響應(yīng)變?nèi)?，這樣多通道疊加結(jié)構(gòu)①會(huì)使得最終輸出()的特征圖每一個(gè)點(diǎn)上的值變得很小。因此，式(10)中將()與1相加，可以很好地解決降低特征值問(wèn)題。

2.3 損失函數(shù)

圖3 CANet網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí) 驗(yàn)

本文在CUHK03[11]、Market-1501[12]和DukeMTMC-reID[13]數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)，結(jié)果表明，與現(xiàn)有的網(wǎng)絡(luò)模型相比，本文提出的模型具有更好的魯棒性和有效性。本文使用首位命中率(Rank-1)和平均精度均值(mean average precision，mAP)作為行人重識(shí)別方法的評(píng)價(jià)指標(biāo)。同時(shí)，為提高結(jié)果所反映性能的準(zhǔn)確性，使用了Re-ranking評(píng)估方法[29]。

3.1 實(shí)驗(yàn)細(xì)節(jié)

整個(gè)模型的實(shí)現(xiàn)是基于PyTorch框架來(lái)完成的，使用單個(gè)NVIDIA GEFORCE GTX 1080TI GPU來(lái)訓(xùn)練和測(cè)試模型。本文在ImageNet[28]數(shù)據(jù)集上預(yù)訓(xùn)練ResNet50網(wǎng)絡(luò)的權(quán)重參數(shù)用來(lái)初始化主干網(wǎng)絡(luò)。對(duì)于每個(gè)最小訓(xùn)練批次，隨機(jī)從數(shù)據(jù)集中選取個(gè)身份的行人和從每類(lèi)行人中隨機(jī)選取張行人圖像。在訓(xùn)練階段，先將訓(xùn)練圖像大小調(diào)整為384′128，然后依概率=0.5進(jìn)行水平翻轉(zhuǎn)，以及使用Random Erasing模擬物體遮擋情況進(jìn)行數(shù)據(jù)增強(qiáng)。在測(cè)試階段，只是將圖像大小調(diào)整為384′128。本文使用隨機(jī)梯度下降(SGD)進(jìn)行優(yōu)化，沖量為0.9，2正則化的權(quán)重衰減因子設(shè)為5E-4，初始學(xué)習(xí)率設(shè)為2E-3，每訓(xùn)練80個(gè)迭代次數(shù)下降10%。在每一個(gè)預(yù)測(cè)層之前使用dropout層，dropout比設(shè)置為0.5。

3.2 實(shí)驗(yàn)結(jié)果

在Market-1501數(shù)據(jù)集上，將本文提出的方法與9種有代表性的方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表2所示?？梢钥闯觯疚奶岢龅姆椒ㄈ〉昧溯^好的識(shí)別效果，mAP和Rank-1分別達(dá)到了82.94%和94.03%，在使用Re-ranking技術(shù)后更是達(dá)到了90.27%和94.98%，進(jìn)一步提高了識(shí)別準(zhǔn)確率。在這里選取的比較方法有以下幾種：水平分割方法(PCB+RPP[18])和借助行人姿態(tài)(Spindle[16]、PDC[22])來(lái)完成行人局部特征的提取；行人區(qū)域?qū)R方法提出的(Part-Aligned[24])；全局特征和局部特征的聯(lián)合學(xué)習(xí)(AlignedReID[31])；結(jié)合行人屬性解決行人重識(shí)別問(wèn)題(APR[30])；注意力機(jī)制的引入(HA-CNN[25]、Hydraplus-net[26]、DuATM[32])。

表2 Market-1501數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

"RK" refers to implementing re-ranking[29]operation

在圖4中，顯示了某些給定行人圖像的前10個(gè)排序結(jié)果。可以看出，即使在只有查詢(xún)圖像4(a)的背影圖時(shí)，大多數(shù)排名結(jié)果也是能夠保證準(zhǔn)確率的。對(duì)于具有相似外觀(guān)的查詢(xún)圖像4(b)和4(c)，由于網(wǎng)絡(luò)可以提取足夠的行人特征信息，因此即使待查詢(xún)圖像中存在不對(duì)齊情況，也可以獲得良好的識(shí)別精度。在查詢(xún)圖像4(d)中的行人存在嚴(yán)重遮擋和姿態(tài)問(wèn)題，本文提出的方法識(shí)別性能不是很好。

檢索的圖像全部來(lái)自Market-1501數(shù)據(jù)集中的圖像，而不是同一張相機(jī)拍攝的圖像。其中具有綠色邊框的圖像與給定查詢(xún)圖像屬于同一行人，而具有紅色邊框的圖像則不屬于同一行人。

對(duì)于更大的和更具有挑戰(zhàn)性的DukeMTMC-reID數(shù)據(jù)集，本文方法的重識(shí)別性能也很出色，分別與5種行人重識(shí)別方法進(jìn)行了比較，表3給出了實(shí)驗(yàn)結(jié)果，其在Rank-1和mAP上的性能分別達(dá)到了84.68%和72.17%，在Rank-1指標(biāo)上比PCB+RPP和HA-CNN分別高出了1.38%和4.18%，在mAP指標(biāo)上比PCB+RPP和HA-CNN分別高出了2.97%和8.37%。在這個(gè)目前最具挑戰(zhàn)性的數(shù)據(jù)集上，進(jìn)一步驗(yàn)證了本文方法的優(yōu)勢(shì)。

對(duì)于CUHK03數(shù)據(jù)集提供的兩種類(lèi)型的標(biāo)簽，CUHK03-Labeled表示為手動(dòng)標(biāo)記行人邊界框，CUHK03-Detected表示為DPM[33]檢測(cè)邊界框。本文提出的方法在CUHK03-Labeled上的Rank-1和mAP達(dá)到了75.36%和71.76%。同時(shí)，在CUHK03-Detected上的Rank-1和mAP達(dá)到了73.53%和65.91%。另外從表4中可以觀(guān)察到CUHK03-Labeled和CUHK03-Detected之間有明顯的差距。這足以證明行人圖像標(biāo)簽的標(biāo)注對(duì)行人重識(shí)別性能的重要影響，強(qiáng)調(diào)了高性能行人檢測(cè)器的重要性。

圖4 行人圖像前10個(gè)排序結(jié)果

表3 DukeMTMC-ReID數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

表4 CUHK03數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

3.3 分析與討論

為驗(yàn)證本文設(shè)計(jì)的三分支網(wǎng)絡(luò)結(jié)構(gòu)的有效性，我們?cè)贛arket-1501數(shù)據(jù)集上進(jìn)行了一系列不同分支設(shè)置策略的對(duì)比實(shí)驗(yàn)，圖5展示了各分支不同組合的比較結(jié)果。將各分支的不同組合方法分為兩類(lèi)，一是單個(gè)分支(全局分支、Part1局部分支和Part2局部分支)，二是將各分支兩兩進(jìn)行自由組合(全局分支和Part1局部分支、全局分支和Part2局部分支、Part1局部分支和Part2局部分支)。從圖中可以直觀(guān)地看出，一方面，與所有的單個(gè)分支實(shí)驗(yàn)結(jié)果相比，本文提出的分支組合方法效果更好。在僅保留全局分支時(shí)，行人重識(shí)別結(jié)果最差，Rank-1和mAP只達(dá)到84.89%和69.12%。在單個(gè)局部分支的對(duì)比實(shí)驗(yàn)中，Part2分支比Part1分支在Rank-1指標(biāo)上高2.65%，在mAP指標(biāo)上高4.81%，這說(shuō)明在一定程度上隨著局部劃分?jǐn)?shù)量的增加，行人重識(shí)別效果越來(lái)越好。另一方面，基于本文提出的多分區(qū)注意力網(wǎng)絡(luò)，可以增加或減少局部分支的數(shù)量，即將三個(gè)分支自由組合，則會(huì)發(fā)現(xiàn)性能顯著下降。原因是提出的多分區(qū)注意力網(wǎng)絡(luò)的三個(gè)分支之間存在重疊，并且可以引入不同分區(qū)之間的相關(guān)性，從而可以學(xué)習(xí)更多差異信息。

我們進(jìn)一步評(píng)估提出的雙重局部注意力DLA的效果，同樣的是在Market-1501數(shù)據(jù)集進(jìn)行的對(duì)比實(shí)驗(yàn), 實(shí)驗(yàn)結(jié)果如圖6所示。由圖可知，在沒(méi)有加任何注意力機(jī)制的全局和局部結(jié)合的純網(wǎng)絡(luò)GP中，Rank-1和mAP分別為85.33%和76.40%。在此基礎(chǔ)上開(kāi)始引入注意力機(jī)制，結(jié)合純網(wǎng)絡(luò)GP和空間注意力網(wǎng)絡(luò)SANet可以使得Rank-1和mAP分別達(dá)到89.56%和80.52%，結(jié)合純網(wǎng)絡(luò)GP和通道注意力網(wǎng)絡(luò)CANet可以使得Rank-1和mAP分別達(dá)到91.07%和81.16%。這說(shuō)明在網(wǎng)絡(luò)中嵌入注意力機(jī)制能提高行人重識(shí)別效果，但也反映出加入單一的注意力網(wǎng)絡(luò)對(duì)重識(shí)別結(jié)果影響不顯著。將本文提出的方法與前面三種網(wǎng)絡(luò)進(jìn)行比較，證實(shí)了提出的雙重局部注意力網(wǎng)絡(luò)能有效地幫助改進(jìn)行人重識(shí)別的性能，以及說(shuō)明了空間注意力和通道注意力結(jié)合的優(yōu)勢(shì)和有效性。

4 結(jié) 論

行人重識(shí)別是一個(gè)具有挑戰(zhàn)性和實(shí)際意義的計(jì)算機(jī)視覺(jué)問(wèn)題，本文將卷積神經(jīng)網(wǎng)絡(luò)和注意力思想引入行人重識(shí)別任務(wù)，提出了一種基于多分區(qū)注意力的網(wǎng)絡(luò)模型，取得了顯著性的進(jìn)展。與大多數(shù)容易產(chǎn)生局部匹配錯(cuò)位問(wèn)題或利用全局的注意力機(jī)制的現(xiàn)有行人重識(shí)別方法相比，本文提出的網(wǎng)絡(luò)能夠以端到端的形式，運(yùn)用雙重注意力機(jī)制提取具有互補(bǔ)效果的行人局部注意力特征，并與全局特征進(jìn)行融合，從而獲得具有更好的行人重識(shí)別效果性能。同時(shí)，也注意到盡管均勻分塊方法簡(jiǎn)單有效，但有待改進(jìn)，在接下來(lái)的工作中，可以結(jié)合行人姿態(tài)估計(jì)和骨架關(guān)鍵點(diǎn)分析，提取更加有效的局部特征，繼續(xù)研究準(zhǔn)確率更高、魯棒性更好的行人重識(shí)別模型。

圖5 不同分支組合比較結(jié)果圖

圖6 DLA效果圖

[1] Sun R, Fang W, Gao J,. Person Re-identification in foggy weather based on dark channel prior and metric learning[J]., 2016, 43(12): 142–146.

孫銳, 方蔚, 高雋. 暗通道和測(cè)度學(xué)習(xí)的霧天行人再識(shí)別[J]. 光電工程, 2016, 43(12): 142–146.

[2] Su C, Zhang S L, Yang F,. Attributes driven tracklet-to-tracklet person re-identification using latent prototypes space mapping[J]., 2017, 66: 4–15.

[3] Matsukawa T, Okabe T, Suzuki E,. Hierarchical gaussian descriptor for person Re-identification[C]//, Las Vegas, NV, USA, 2016: 1363–1372.

[4] Zhao R, Ouyang W L, Wang X G. Person Re-identification by salience matching[C]//, Sydney, NSW, Australia, 2013: 2528–2535.

[5] Chen D P, Yuan Z J, Hua G,. Similarity learning on an explicit polynomial kernel feature map for person re-identification[C]//, Boston, MA, USA, 2015: 1565–1573.

[6] Sun Y F, Zheng L, Deng W J,. SVDNet for pedestrian retrieval[C]//, Venice, Italy, 2017: 3820–3828.

[7] Yang X, Wang M, Tao D C. Person Re-identification with metric learning using privileged information[J]., 2018, 27(2): 791–805.

[8] Zhang L, Xiang T, Gong S G. Learning a discriminative null space for person Re-identification[C]//, Las Vegas, NV, USA, 2016: 1239–1248.

[9] Liu H, Peng L, Wen J W. Multi-occluded pedestrian real-time detection algorithm based on preprocessing R-FCN[J]., 2019, 46(9): 180606.

劉輝, 彭力, 聞繼偉. 基于改進(jìn)R-FCN的多遮擋行人實(shí)時(shí)檢測(cè)算法[J]. 光電工程, 2019, 46(9): 180606.

[10] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//, Red Hook, NY, United States, 2012, 25: 1097–1105.

[11] Li W, Zhao R, Xiao T,. DeepReID: deep filter pairing neural network for person Re-identification[C]//, Columbus, OH, USA, 2014: 152–159.

[12] Zheng L, Shen L Y, Tian L,. Scalable person Re-identification: a benchmark[C]//, Santiago, Chile, 2015: 1116–1124.

[13] Zheng Z D, Zheng L, Yang Y. Unlabeled samples generated by GAN improve the person Re-identification baseline in Vitro[C]//, Venice, Italy, 2017: 3774–3782.

[14] Sudowe P, Spitzer H, Leibe B. Person attribute recognition with a jointly-trained holistic CNN model[C]//, Santiago, Chile, 2015: 329–337.

[15] Cheng D Q, Tang S X, Feng C C,. Extended HOG-CLBC for pedstrain detection[J]., 2018, 45(8): 180111.

程德強(qiáng), 唐世軒, 馮晨晨, 等. 改進(jìn)的HOG-CLBC的行人檢測(cè)方法[J]. 光電工程, 2018, 45(8): 180111.

[16] Zhao H Y, Tian M Q, Sun S Y,. Spindle net: person Re-identification with human body region guided feature decomposition and fusion[C]//, Honolulu, HI, USA, 2017: 907–915.

[17] Wei L H, Zhang S L, Yao H T,. GLAD: global-local-alignment descriptor for pedestrian retrieval[C]//, California, Mountain View, USA, 2017: 420–428.

[18] Sun Y F, Zheng L, Yang Y,. Beyond part models: person retrieval with refined part pooling[Z]. arXiv:1711.09349[cs:CV], 2017.

[19] Zheng Z D, Zheng L, Yang Y. Pedestrian alignment network for large-scale person Re-identification[J]., 2019, 29(10): 3037–3045.

[20] Cheng D, Gong Y H, Zhou S P,. Person Re-identification by multi-channel parts-based CNN with improved triplet loss function[C]//, Las Vegas, NV, USA, 2016: 1335–1344.

[21] Zheng L, Huang Y J, Lu H C,. Pose-invariant embedding for deep person Re-identification[J]., 2019, 28(9): 4500–4509.

[22] Su C, Li J N, Zhang S L,. Pose-driven deep convolutional model for person Re-identification[C]//, Venice, Italy, 2017: 3980–3989.

[23] Li D W, Chen X T, Zhang Z,. Learning deep context-aware features over body and latent parts for person Re-identification[C]//, Honolulu, HI, USA, 2017: 7398–7407.

[24] Zhao L M, Li X, Zhuang Y T,. Deeply-learned part-aligned representations for person Re-identification[C]//, Venice, Italy, 2017: 3239–3248.

[25] Li W, Zhu X T, Gong S G. Harmonious attention network for person Re-identification[C]//, Salt Lake City, UT, USA, 2018: 2285–2294.

[26] Liu X H, Zhao H Y, Tian M Q,. HydraPlus-Net: attentive deep features for pedestrian analysis[C]//, Venice, Italy, 2017: 350–359.

[27] Hermans A, Beyer L, Leibe B. In Defense of the triplet loss for person Re-Identification[Z]. arXiv: 1703.07737[cs:CV], 2017.

[28] Deng J, Dong W, Socher R,. ImageNet: a large-scale hierarchical image database[C]//, Miami, FL, USA, 2009: 248–255.

[29] Zhong Z, Zheng L, Cao D L,. Re-ranking person Re-identification with k-reciprocal encoding[C]//, Honolulu, HI, USA, 2017: 3652–3661.

[30] Lin Y T, Zheng L, Zheng Z D,. Improving person Re-identification by attribute and identity learning[Z]. arXiv: 1703.07220[cs:CV], 2017.

[31] Zhang X, Luo H, Fan X,. AlignedReID: surpassing human-level performance in person Re-identification[Z]. arXiv: 1711.08184[cs:CV], 2017.

[32] Si J L, Zhang H G, Li C G,. Dual attention matching network for context-aware feature sequence based person Re-identification[C]//, Salt Lake City, UT, USA, 2018: 5363–5372.

[33] Felzenszwalb P F, McAllester D A, Ramanan D. A discriminatively trained, multiscale, deformable part model[C]//, Anchorage, AK, USA, 2008: 1–8.

Person re-identification by multi-division attention

Xue Lixia, Zhu Zhengfa, Wang Ronggui, Yang Juan*

College of Computer and Information, Hefei University of Technology, Hefei, Anhui 230009, China

Top-10 ranking list for some query images

Overview:With the popularity of surveillance cameras in public areas, person re-identification has become more and more important, and has become a core technology in video content retrieval, video surveillance, and intelligent security. However, in actual application scenarios, due to factors such as camera shooting angle, complex lighting changes, and changing pedestrian poses, occlusions, clothes, and background clutter in person images. It makes even the same person target have significant differences in different cameras, which poses a great challenge for person re-identification research. Therefore, in this paper we propose a research method based on deep convolutional networks, which combines global and local person feature and attention mechanisms to solve the problem of person re-identification. First, unlike traditional methods, we use ResNet50 network to initially extract person image features with more discriminating ability. Then, according to the person inherent body structure, the image is divided into several bands in the horizontal direction, and it is input into the local branch of the built-in attention mechanism to extract the person local attention features. At the same time, the global image is input to the global branch to extract the person global features. Finally, the person global features and local attention features are fused to calculate the loss function. In the network, in order to better extract the person local features, we design two local branches to segment the person images into different numbers of local area images. With the increase of the number of blocks, the network will learn more detailed and discriminative local features in each different local area, and at the same time, it can filter irrelevant information in local images to a large extent by combining the attention mechanism. Our proposed attention mechanism can make the network focus on the areas that need to be identified. The output person attention features usually have a stronger response than the non-target areas. Therefore, the attention networks we design include spatial attention networks and channel attention networks, which complement each other to learn the optimal attention feature, thereby extracting more discriminative local features. Experimental results show that the method proposed in this paper can effectively improve the performance of person re-identification.

Citation: Xue L X, Zhu Z F, Wang R G,. Person re-identification by multi-division attention[J]., 2020,47(11): 190628

Person re-identification by multi-division attention

Xue Lixia, Zhu Zhengfa, Wang Ronggui, Yang Juan*

College of Computer and Information, Hefei University of Technology, Hefei, Anhui 230009, China

Person re-identification is significant but a challenging task in the computer visual retrieval, which has a wide range of application prospects. Background clutters, arbitrary human pose, and uncontrollable camera angle will greatly hinder person re-identification research. In order to extract more discerning person features, a network architecture based on multi-division attention is proposed in this paper. The network can learn the robust and discriminative person feature representation from the global image and different local images simultaneously, which can effectively improve the recognition of person re-identification tasks. In addition, a novel dual local attention network is designed in the local branch, which is composed of spatial attention and channel attention and can optimize the extraction of local features. Experimental results show that the mean average precision of the network on the Market-1501, DukeMTMC-reID, and CUHK03 datasets reaches 82.94%, 72.17%, and 71.76%, respectively.

person re-identification; local features; dual attention network; deep neural networks

TP391.4；TP301.6

A

薛麗霞，朱正發(fā)，汪榮貴，等. 基于多分區(qū)注意力的行人重識(shí)別方法[J]. 光電工程，2020，47(11): 190628

10.12086/oee.2020.190628

: Xue L X, Zhu Z F, Wang R G,Person re-identification by multi-division attention[J]., 2020, 47(11): 190628

2019-10-17；

2020-03-10

薛麗霞(1976-)，女，博士，副教授，碩士生導(dǎo)師，主要從事智能視頻處理與分析、視頻大數(shù)據(jù)與云計(jì)算、智能視頻監(jiān)控與公共安全、嵌入式多媒體技術(shù)等的研究。E-mail：xixzzm@163.com

楊娟(1983-)，女，博士，講師，碩士生導(dǎo)師，主要從事視頻信息處理、視頻大數(shù)據(jù)處理技術(shù)、深度學(xué)習(xí)與二進(jìn)神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用等的研究。E-mail：yangjuan6985@163.com

* E-mail: yangjuan6985@163.com