基于可變形掩膜對(duì)齊卷積模型的行人再識(shí)別

劉 暢，邱衛(wèi)根，張立臣

廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州510006

在當(dāng)今社會(huì)，智能化視頻監(jiān)控的普及為公共安全提供了有力的保障。視頻監(jiān)控技術(shù)不僅能為公安部門尋找犯罪嫌疑人及破案提供有利的線索，而且還可以應(yīng)用到找回走失兒童[1]等領(lǐng)域。實(shí)際上，要想在海量的視頻數(shù)據(jù)中，查詢并確定犯罪嫌疑人仍是一項(xiàng)巨大的挑戰(zhàn)。通過(guò)人工查看監(jiān)控視頻來(lái)鎖定目標(biāo)，一方面會(huì)造成大量人力物力財(cái)力的浪費(fèi)，更會(huì)錯(cuò)失查找定位的良機(jī)，導(dǎo)致案件勘破的延遲；另一方面，觀察者由于查看海量視頻而產(chǎn)生視覺(jué)疲勞，往往會(huì)漏看關(guān)鍵人物[2]，延誤案情。利用行人再識(shí)別技術(shù)對(duì)犯罪嫌疑人和目標(biāo)對(duì)象進(jìn)行追蹤，不僅可以從海量的數(shù)據(jù)排查中釋放出巨量的人力資源，而且能快速高效地定位犯罪嫌疑人和目標(biāo)對(duì)象的活動(dòng)范圍，為勘破案件贏得寶貴的時(shí)間機(jī)會(huì)。行人再識(shí)別[3]是利用計(jì)算機(jī)視覺(jué)技術(shù)，判斷圖像或者視頻序列中是否存在特定對(duì)象或行人的技術(shù)，被認(rèn)為是一個(gè)圖像檢索的子問(wèn)題。

行人再識(shí)別的特點(diǎn)是給定一個(gè)感興趣的行人圖像，依次與不同攝像頭下出現(xiàn)的行人進(jìn)行特征匹配，緊接著，根據(jù)特征匹配的結(jié)果，判斷出行人依次出現(xiàn)在何處。然而，由于行人在不同時(shí)間段出現(xiàn)在不同攝像頭下，會(huì)出現(xiàn)尺度、光照[4]、姿態(tài)、視角[5]的變化，以及行人被遮擋等問(wèn)題，從而導(dǎo)致提取的行人特征會(huì)有所不同。以上都使得行人再識(shí)別成為計(jì)算機(jī)視覺(jué)領(lǐng)域中既具有重要研究?jī)r(jià)值，同時(shí)又極具挑戰(zhàn)性的熱門課題。

大量的行人再識(shí)別方法是以完美的行人檢測(cè)[6]為前提的。然而實(shí)際情況中，由于不完美的行人檢測(cè)[7-8]，行人再識(shí)別經(jīng)常會(huì)出現(xiàn)圖像未對(duì)齊的現(xiàn)象。文獻(xiàn)[9]提出了一種密集語(yǔ)義對(duì)齊的行人再識(shí)別框架，利用密集的語(yǔ)義分割得到人體部位的局部特征，解決行人未對(duì)齊問(wèn)題。文獻(xiàn)[10]提出了一種局部對(duì)齊的行人再識(shí)別模型，該模型采用雙流的網(wǎng)絡(luò)結(jié)構(gòu)，分別用來(lái)提取行人外觀特征以及身體部位特征，最后通過(guò)雙線性合并層將兩個(gè)特征向量融合為行人的特征表示。

本文在Resnet50主干網(wǎng)絡(luò)的基礎(chǔ)上，利用全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[11]對(duì)圖像進(jìn)行分割，并利用積分映射函數(shù)，獲取感興趣區(qū)域（Region of Interest，ROI），同時(shí)融合了多層次特征圖信息，有效地解決了圖像未對(duì)齊問(wèn)題。本文提出的方法具有三個(gè)優(yōu)點(diǎn)：

（1）利用多特征融合，充分利用局部與全局特征信息，增強(qiáng)行人特征表示的魯棒性。

（2）利用分割網(wǎng)絡(luò)獲取行人前景掩膜，緊接著將不同尺度的行人特征映射到同一維度的特征空間，從而有效地解決行人未對(duì)齊問(wèn)題。

（3）利用前景掩膜信息，獲取圖像前景特征，從而有效地解決背景雜亂的問(wèn)題。

1 相關(guān)工作

行人再識(shí)別是一項(xiàng)具有重要應(yīng)用前景，又具有嚴(yán)峻挑戰(zhàn)性的研究課題。行人再識(shí)別的前提，一般都需要將行人或?qū)ο髲膱?chǎng)景中檢測(cè)出來(lái)。緊接著利用不同的方法提取行人圖像的特征，從而得到圖像的特征空間。最后利用度量學(xué)習(xí)計(jì)算特征空間的相似度得分，依據(jù)相似度得分實(shí)現(xiàn)行人再識(shí)別。在實(shí)際場(chǎng)景中，行人在不同的時(shí)間段出現(xiàn)在不同的攝像頭下，可能會(huì)出現(xiàn)光照、遮擋、姿態(tài)和視角的變化，從而導(dǎo)致行人在不同的攝像頭下具有不同的特征，進(jìn)而影響到行人再識(shí)別的準(zhǔn)確率。

文獻(xiàn)[12]提出了一種基于顏色特征的特征描述子，用來(lái)解決行人再識(shí)別中光照變化的問(wèn)題。文獻(xiàn)[13]提出了一種基于局部特征映射的方法來(lái)解決視角不變性的行人再識(shí)別問(wèn)題。文獻(xiàn)[14]提出了對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行隨機(jī)擦除來(lái)解決目標(biāo)被遮擋的問(wèn)題。文獻(xiàn)[15]提出了通過(guò)仿射變換，將行人的姿勢(shì)轉(zhuǎn)換成標(biāo)準(zhǔn)姿勢(shì)，從而解決行人姿態(tài)變化的問(wèn)題。

在上述方法中，普遍是以一個(gè)完美的行人檢測(cè)方法作為前提。在實(shí)際情況下，行人檢測(cè)算法的性能會(huì)直接影響到后續(xù)的行人再識(shí)別工作。由于行人檢測(cè)算法的不完美性，會(huì)導(dǎo)致查詢圖像與圖庫(kù)中的圖像存在未對(duì)齊的情況。正如圖1所示，圖1（a）中矩形框標(biāo)出的是行人的頭部，而圖1（b）中與之位于同一位置的矩形框標(biāo)出的是背景。由圖1中包含同一行人的兩張圖像可看到，在比對(duì)圖像中行人的身體部位未對(duì)齊。在進(jìn)行特征匹配時(shí)，最好就是將比對(duì)圖像中行人對(duì)應(yīng)的身體部位進(jìn)行特征匹配。然而，未對(duì)齊現(xiàn)象的出現(xiàn)會(huì)影響到特征空間的相似度得分。

圖1 Market-1501數(shù)據(jù)集中的行人圖像

在解決圖像未對(duì)齊的方法中，許多是通過(guò)對(duì)人體進(jìn)行分割，從而獲取了行人的局部部位信息。文獻(xiàn)[16]提出了一個(gè)名為Spindle Net的網(wǎng)絡(luò)，是基于人體區(qū)域引導(dǎo)的多階段特征分解和樹(shù)狀結(jié)構(gòu)競(jìng)爭(zhēng)特征融合。文獻(xiàn)[17]提出了一種姿勢(shì)驅(qū)動(dòng)的深度卷積模型，是利用人體部位信息來(lái)減輕姿勢(shì)變化，使得人物對(duì)齊。文獻(xiàn)[18]強(qiáng)調(diào)每個(gè)部分內(nèi)容的一致性，將圖像水平分為若干塊，對(duì)每一塊做一個(gè)分類器，判別塊內(nèi)的內(nèi)容是否一致。文獻(xiàn)[19]將局部特征與全局特征共同學(xué)習(xí)得到最終的特征表示，其全局特征的學(xué)習(xí)受益于局部特征的學(xué)習(xí)，通過(guò)計(jì)算兩組局部特征的最短路徑來(lái)執(zhí)行對(duì)齊操作。

本文提出了一種基于可變形掩膜對(duì)齊卷積模型的行人再識(shí)別方法，用來(lái)解決行人未對(duì)齊的問(wèn)題。首先利用分割網(wǎng)絡(luò)對(duì)原圖進(jìn)行分割，提取出包含行人的掩膜。本文利用FCN分割網(wǎng)絡(luò)獲取行人前景掩膜。FCN對(duì)圖像進(jìn)行像素級(jí)的分類，從而解決了語(yǔ)義級(jí)別的圖像分割問(wèn)題，并且具有很好的分割效果。緊接著利用掩膜信息，對(duì)特征圖進(jìn)行裁剪，獲取僅包含行人的特征圖。由于進(jìn)行比對(duì)的兩張圖像，行人的分辨率是不同的，導(dǎo)致掩膜的大小不同。本文所提出的方法將表示行人的特征圖水平劃分為四塊[20]，這四塊分為表示行人的不同身體部位。緊接著將各個(gè)表示身體部位的特征進(jìn)行融合，得到行人的全身特征表示。因此，本文提出的方法可自適應(yīng)不同尺度的行人掩膜，達(dá)到可變形掩膜對(duì)齊的效果。

本文所提出的方法在Market-1501[21]和DukeMTMCreID[22]這兩大數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，均有著較為不錯(cuò)的準(zhǔn)確率。并且，本文通過(guò)消融實(shí)驗(yàn)，驗(yàn)證了掩膜對(duì)齊模塊對(duì)識(shí)別未對(duì)齊圖像有一定的幫助，使得整體識(shí)別準(zhǔn)確率得到提高。

2 本文工作

為更好地處理圖像未對(duì)齊問(wèn)題，本文提出了一種改進(jìn)的可變形掩膜對(duì)齊及相關(guān)技術(shù)。本章將從網(wǎng)絡(luò)結(jié)構(gòu)、掩膜對(duì)齊、多特征融合、損失函數(shù)四個(gè)方面，介紹本文所提出的技術(shù)。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖2 網(wǎng)絡(luò)模型

本文所提出的網(wǎng)絡(luò)模型的整體框架結(jié)構(gòu)如圖2所示，其是以Resnet50[23]作為主干網(wǎng)絡(luò)。Resnet50有很好的特征提取能力，其有4個(gè)Layer層，每層都會(huì)使得圖像的分辨率減半。如圖2中的虛線框所示，整體網(wǎng)絡(luò)模型分為三個(gè)部分，從上到下依次為：圖像淺層與深層的信息融合特征提取層、主干網(wǎng)絡(luò)特征提取層，以及利用掩膜得到的行人特征提取層。

信息融合特征提取層，提取主干網(wǎng)絡(luò)中的四個(gè)Layer層的輸出特征圖，并進(jìn)行全局平均池化操作（Global Average Pooling，GAP）[24]，再將所得到的特征向量輸入到全連接層，得到四個(gè)維度相同的特征向量。緊接著，將這四個(gè)特征向量進(jìn)行融合，融合后得到的特征向量再次經(jīng)過(guò)全連接層，得到圖像淺層與深層信息融合的特征表示。

主干網(wǎng)絡(luò)特征提取層提取圖像語(yǔ)義級(jí)別的特征，采用Resnet50作為主干網(wǎng)絡(luò)。Resnet網(wǎng)絡(luò)是深度殘差網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有殘差模塊，使得網(wǎng)絡(luò)盡可能加深，從而具有魯棒性更強(qiáng)的特征提取能力。

行人特征提取層提取Resnet50的Layer2層的特征，并利用掩膜信息，在特征圖進(jìn)行感興趣區(qū)域池化操作，池化后得到四個(gè)特征向量，再將這四個(gè)特征向量進(jìn)行融合，得到行人的特征表示。

最后，將主干網(wǎng)絡(luò)得到的2 048維特征向量和融合特征提取層的512維特征向量，以及行人特征表示提取層的512維特征向量進(jìn)行集成，得到該圖像的最終的特征表示。

2.2 掩膜對(duì)齊

將比對(duì)圖像的對(duì)應(yīng)身體部位分別進(jìn)行比對(duì)，是行人再識(shí)別中的一個(gè)重要的方法。由于比對(duì)圖像未對(duì)齊，在查詢圖像包含人物頭部的位置，在圖庫(kù)圖像中的對(duì)應(yīng)位置，可能是背景，這就造成行人再識(shí)別的一個(gè)難點(diǎn)。同時(shí)，背景雜亂也會(huì)影響再識(shí)別模型的性能。

為了解決行人未對(duì)齊的問(wèn)題，本文提出利用分割網(wǎng)絡(luò)與全局平均池化操作提取行人特征。由于行人在不同圖像中具有不同的尺度，從而行人特征的尺度會(huì)不同。因此，利用分割網(wǎng)絡(luò)獲取行人前景掩膜，根據(jù)掩膜信息獲取行人特征，將行人特征等分為若干塊，每塊代表行人特定的身體部位。對(duì)每塊對(duì)應(yīng)的特征進(jìn)行全局平均池化操作，得到固定大小的特征向量。因此，最終不同尺度的行人特征會(huì)映射到固定大小的特征空間。同時(shí)，由于可變形掩膜對(duì)齊深度卷積模型具有前景掩膜信息，可有效減少背景雜亂帶來(lái)的識(shí)別影響，提高識(shí)別準(zhǔn)確率。

為了具體實(shí)現(xiàn)掩膜對(duì)齊，本文首先利用FCN網(wǎng)絡(luò)對(duì)圖像進(jìn)行分割，得到包含行人的前景掩膜。圖3顯示了行人圖像由FCN分割后得到的掩膜圖像。當(dāng)出現(xiàn)復(fù)雜背景、行人被遮擋等問(wèn)題時(shí)，F(xiàn)CN分割網(wǎng)絡(luò)依舊能較好地獲取行人前景掩膜。在實(shí)際場(chǎng)景中，復(fù)雜背景以及行人被遮擋等問(wèn)題，均會(huì)影響到行人特征的提取。因此，獲取行人前景掩膜，對(duì)增強(qiáng)行人特征表示，具有重要的意義。緊接著，利用積分映射函數(shù)對(duì)掩膜圖像進(jìn)行處理，獲取掩膜圖像的前景感興趣區(qū)ROI。因此，在具體訓(xùn)練模型時(shí)，輸入的數(shù)據(jù)為{img,label,x1,y1,x2,y2}，其中，分別是輸入的圖像、圖像對(duì)應(yīng)的標(biāo)簽、ROI左上角坐標(biāo)、ROI右下角坐標(biāo)。

圖3 FCN分割網(wǎng)絡(luò)分割后的掩膜圖像

由于每個(gè)Layer層都會(huì)使得圖像的分辨率減半，行人圖像由四個(gè)Layer層提取后的特征圖的大小分別為64×128×256、32×64×512、16×32×1 024、8×16×2 048，其中，特征圖的維度分別由長(zhǎng)和寬，以及通道數(shù)進(jìn)行表示。在卷積神經(jīng)網(wǎng)絡(luò)中，淺層特征具有圖像的局部信息，高層特征具有圖像全局語(yǔ)義信息。主干網(wǎng)絡(luò)Resnet50的Layer1層提取圖像的局部特征，其提取的特征信息不夠充分。Layer3層提取的特征圖的大小為16×32×1 024，此時(shí)的特征圖具有較強(qiáng)的語(yǔ)義信息。但由于進(jìn)行了池化操作，導(dǎo)致圖像局部的信息丟失。為了兼具局部信息與語(yǔ)義信息，本文提取主干網(wǎng)絡(luò)Resnet50的Layer2層的特征圖。利用ROI坐標(biāo)信息，對(duì)Layer2層的特征圖進(jìn)行裁剪，得到僅包含行人的特征圖。緊接著，將僅包含行人的特征圖水平劃分為四塊，每一塊代表行人身體的一部分。對(duì)每一部分利用全局平均池化操作，從而人體每一部分是由512維的特征向量進(jìn)行表示，將人體四個(gè)部位的特征向量進(jìn)行特征融合，得到行人全身的特征表示。

2.3 多特征融合

傳統(tǒng)的行人再識(shí)別的方法中，大多只輸出最高層特征圖像作為其特征表示。當(dāng)然，高層的特征能抽象出語(yǔ)義級(jí)別的信息，對(duì)目標(biāo)識(shí)別有重要的效果。當(dāng)然，層次越高的卷積操作，感受野越大，局部信息的丟失度也更大。僅獲取高層語(yǔ)義級(jí)別的信息是不夠的，低級(jí)別的屬性特征，如衣服的顏色和紋理等，對(duì)正確分類也非常重要。因此，融合多個(gè)層次的特征圖，例如將高級(jí)別的語(yǔ)義特征和低級(jí)別的屬性特征進(jìn)行融合，可以獲取局部與全局的信息，對(duì)提高正確分類率是很有意義的。

本文中，將Resnet50的每一個(gè)Layer層的特征圖提取出來(lái)，如圖2所示，并對(duì)每一層得到的特征圖做GAP操作，并利用全連接層，得到4個(gè)512維的特征向量，再經(jīng)過(guò)Concat操作和Linear操作，就得到512維的特征向量，此即為圖像多層特征信息融合之后的特征表示。

行人的特征表示為：

其中，F(xiàn)part為人體的部分塊的特征表示，F(xiàn)body為行人全身的特征表示。

多級(jí)別特征表示為：

其中，F(xiàn)Layer是從Resnet50中的Layer層進(jìn)行特征提取后進(jìn)過(guò)全連接層映射得到的特征向量，F(xiàn)globle為多級(jí)別特征表示。

最后得到了三種特征向量，分別為主干網(wǎng)絡(luò)的2 048維特征向量和表示行人的512維特征向量，以及多層信息融合后的512維特征向量。將這三種特征向量進(jìn)行集成，得到3 072維的特征向量作為該圖像的最終特征表示。

最終行人圖像的特征表示為：

其中，⊕表示將特征向量沿著維度連接。

2.4 損失函數(shù)

為了訓(xùn)練一個(gè)魯棒性與泛化能力強(qiáng)的網(wǎng)絡(luò)，本文采用交叉熵?fù)p失函數(shù)與三元組損失函數(shù)進(jìn)行聯(lián)合訓(xùn)練。交叉熵?fù)p失函數(shù)可充分利用訓(xùn)練數(shù)據(jù)集的標(biāo)簽信息，將行人進(jìn)行分類。三元組損失函數(shù)可增加類間距離，減小類內(nèi)距離。

交叉熵?fù)p失函數(shù)：

其中，M是x的維度，class∈[0,C-1]，C是要分類的個(gè)數(shù)。ω∈RC，表示標(biāo)簽的權(quán)重。

在使用三元組損失函數(shù)進(jìn)行訓(xùn)練時(shí)，需要每次輸入三張圖像。記輸入的三元組為其中與表示同一個(gè)行人表示兩個(gè)不同的行人。將這三元組中的三張圖像分別送入網(wǎng)絡(luò)結(jié)構(gòu)相同以及參數(shù)相同的網(wǎng)絡(luò)，進(jìn)行特征的提取。記該網(wǎng)絡(luò)為φw，則三元組的特征表示為因此，三元組損失函數(shù)為：

其中[x]+=max(x,0)，α表示邊際分布，通過(guò)計(jì)算三元組特征空間的歐式距離得到行人圖像間的相似度。

因此，本網(wǎng)絡(luò)最終的損失函數(shù)為：

3 實(shí)驗(yàn)部分

為了評(píng)估本文提出的方法的有效性，在公開(kāi)的兩大數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。本章首先介紹實(shí)驗(yàn)所用到的數(shù)據(jù)集以及算法性能的評(píng)測(cè)準(zhǔn)測(cè)。緊接著，介紹具體的實(shí)驗(yàn)細(xì)節(jié)。最后，從準(zhǔn)確率的角度下比對(duì)所提出的方法與其他方法。

3.1 數(shù)據(jù)集和評(píng)估方法

本實(shí)驗(yàn)主要在兩個(gè)大的行人再識(shí)別數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，這兩大行人再識(shí)別數(shù)據(jù)集分別為Market-1501和DukeMTMC-reID。

Market-1501：該數(shù)據(jù)集是由6個(gè)攝像頭拍攝得到，共有32 668張圖像，其中有1 501個(gè)行人。整個(gè)數(shù)據(jù)集被分為訓(xùn)練集和測(cè)試集這兩部分，其中訓(xùn)練集包含751個(gè)行人，共12 936張圖像；測(cè)試集包含750個(gè)行人，共19 732張圖像。對(duì)于在測(cè)試集中的每一個(gè)行人，從每個(gè)攝像頭下挑選出一張?jiān)撔腥说膱D像作為查詢圖像，從而獲得了3 368張查詢圖像。

DukeMTMC-reID：該數(shù)據(jù)集是由8個(gè)攝像頭拍攝得到，共有36 411張圖像，其中有812個(gè)行人。該數(shù)據(jù)集中只有404個(gè)行人出現(xiàn)在超過(guò)兩個(gè)攝像頭中，其他408個(gè)行人可視為干擾者。訓(xùn)練集包含702個(gè)行人，共16 522張圖像；測(cè)試集包含702個(gè)行人，共17 661張圖像。對(duì)于測(cè)試集中的每一個(gè)行人，從每個(gè)攝像頭下挑選出一張?jiān)撔腥说膱D像作為查詢圖像，從而獲得了2 228張查詢圖像。

在以上兩個(gè)數(shù)據(jù)集上，本實(shí)驗(yàn)使用累積匹配特征曲線（Cumulative Match Characteristic，CMC）和平均精度均值（mean Average Precision，mAP）這兩個(gè)標(biāo)準(zhǔn)的評(píng)測(cè)度量方法。

CMC評(píng)測(cè)度量方法是將行人再識(shí)別問(wèn)題視為排序問(wèn)題[25]。首先提取查詢圖像與候選集中所有圖像的特征，依次計(jì)算查詢圖像特征與候選集中圖像特征的歐式距離，并將計(jì)算得到的距離進(jìn)行升序排列。在得到的排序結(jié)果中，若查詢圖中的行人在其前k張圖像中出現(xiàn)，則視為匹配成功。

mAP評(píng)測(cè)度量方法是將行人再識(shí)別問(wèn)題視為檢索問(wèn)題。在圖庫(kù)中可能存在同一個(gè)行人的多張圖像，此時(shí)給定該行人的查詢圖進(jìn)行檢索時(shí)，應(yīng)該返回所有匹配正確的結(jié)果。此時(shí)CMC評(píng)判標(biāo)準(zhǔn)就顯得不夠用了，因?yàn)闆](méi)有考慮到召回率。通過(guò)計(jì)算每一張查詢圖像的平均準(zhǔn)確率（Average Precision，AP），并對(duì)所有查詢圖像的AP值求平均，可得到mAP值。其中，可通過(guò)計(jì)算精度與召回率曲線下的面積得到查詢圖的AP值。

CMC曲線不僅能很好地表達(dá)查詢圖像的第一正確準(zhǔn)確率，還能表達(dá)其他正確準(zhǔn)確率。因此，利用CMC曲線可以很直觀地反映出行人再識(shí)別模型的效果。mAP綜合考慮了準(zhǔn)確率與召回率，是一個(gè)更加全面的評(píng)價(jià)指標(biāo)。

3.2 實(shí)驗(yàn)細(xì)節(jié)

本實(shí)驗(yàn)是基于pytorch開(kāi)源框架，并利用在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的Resnet50作為主干網(wǎng)絡(luò)來(lái)進(jìn)行。

數(shù)據(jù)增強(qiáng)：對(duì)訓(xùn)練集進(jìn)行三次樣條插值，將圖像大小調(diào)整到288×144，再對(duì)圖像進(jìn)行隨機(jī)裁剪，得到圖像大小為256×128，接著對(duì)圖像以0.5的概率進(jìn)行隨機(jī)翻轉(zhuǎn)，最后，根據(jù)正則化操作將每個(gè)圖像減去平均值并除以標(biāo)準(zhǔn)差作為網(wǎng)絡(luò)的輸入。

訓(xùn)練配置：本實(shí)驗(yàn)設(shè)置的batchsize為32，訓(xùn)練模型的Epoch設(shè)置為60，基本學(xué)習(xí)率初始化為0.1，在40個(gè)Epoch后衰減到0.01。

3.3 性能評(píng)測(cè)

本文提出的可變形掩膜對(duì)齊卷積模型在訓(xùn)練集上訓(xùn)練后得到的模型大小為128 MB。單張行人圖像通過(guò)本網(wǎng)絡(luò)進(jìn)行特征提取，耗時(shí)15 ms。相比于其他通過(guò)單獨(dú)檢測(cè)人體各個(gè)部位以解決未對(duì)齊問(wèn)題的模型，本文模型具有參數(shù)量更少、速度更快的優(yōu)勢(shì)。

本文基于Market-1501數(shù)據(jù)集和DukeMTMCreID數(shù)據(jù)集這兩大數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并和近幾年的關(guān)于行人再識(shí)別方法進(jìn)行性能對(duì)比。由表1可知，在Market-1501數(shù)據(jù)集上，本文算法rank1值和mAP值分別為88.93%和70.48%。由表2可知，在DukeMTMC-reID數(shù)據(jù)集上，本文算法rank1值和mAP值分別為78.57%和61.73%。本文算法在行人再識(shí)別的性能上有著一定的提升。

表1 Market-1501數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果

表2 DukeMTMC-reID數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

圖4 顯示的是CMC曲線圖，可明顯看到本文所提出的方法在性能上優(yōu)于其他方法。圖4中Baseline曲線是僅由Resnet50主干網(wǎng)絡(luò)在測(cè)試集上得到的CMC曲線。NoneMask曲線是由Resnet50與多特征融合模塊組合的網(wǎng)絡(luò)結(jié)構(gòu)在測(cè)試集上得到的CMC曲線。Ours曲線是由添加了掩膜對(duì)齊模塊后的網(wǎng)絡(luò)結(jié)構(gòu)在測(cè)試集上得到的CMC曲線。

圖4 CMC曲線圖

由于Baseline曲線是由Resnet50的最高層特征作為行人最終特征表示，導(dǎo)致丟失了局部信息。因此，本實(shí)驗(yàn)在Resnet50作為主干網(wǎng)絡(luò)的基礎(chǔ)上，添加了多特征融合模塊，其實(shí)驗(yàn)結(jié)果如NoneMask曲線所示，在Market-1501數(shù)據(jù)集上，模型的rank1值由73.9%提升到83.0%。因此，低級(jí)別的屬性特征與高級(jí)別的語(yǔ)義特征進(jìn)行融合，對(duì)提高識(shí)別準(zhǔn)確率有一定的效果。為了驗(yàn)證掩膜對(duì)齊模塊的效果，本文在Resnet50與多特征融合模塊組合的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，添加了掩膜對(duì)齊模塊，其實(shí)驗(yàn)結(jié)果如Ours曲線所示。對(duì)比NoneMask曲線與Ours曲線可知，在添加掩膜對(duì)齊模塊后，模型的rank1值由83.0%提升到88.9%，驗(yàn)證了掩膜對(duì)齊模塊可有效地提高行人再識(shí)別的準(zhǔn)確率。

圖5 顯示的是若干查詢圖利用本文提出的方法，在圖庫(kù)上進(jìn)行查詢所得到的匹配結(jié)果。在圖5中，第一列表示的是查詢圖，第二列到第六列分別表示匹配結(jié)果的降序等級(jí)，其中第二列是與查詢圖在特征空間中匹配度最大的圖像。圖5中紅色邊框包圍的是識(shí)別錯(cuò)誤的圖像。可從結(jié)果圖看出，本文提出的方法可很好地對(duì)未對(duì)齊圖像進(jìn)行識(shí)別，使得整體準(zhǔn)確率得到提高。

圖5 Market-1501數(shù)據(jù)集上的測(cè)試結(jié)果

圖6 顯示的是復(fù)雜背景下的行人圖像，利用本文提出的方法，在圖庫(kù)上進(jìn)行查詢所得到的匹配結(jié)果。在解決背景雜亂的問(wèn)題上，大多數(shù)的文獻(xiàn)通過(guò)檢測(cè)人體局部信息，然后集成所有檢測(cè)到的局部信息，得到行人最終的特征表示。文獻(xiàn)[26]通過(guò)利用姿勢(shì)引導(dǎo)的局部注意力模塊解決復(fù)雜背景的問(wèn)題。但由于行人在不同的攝像頭下，會(huì)有姿勢(shì)變化、視角變化等問(wèn)題，導(dǎo)致行人的部分部位無(wú)法檢測(cè)，從而影響特征的提取。考慮到人體部位會(huì)有丟失的問(wèn)題，本文引入掩膜信息，獲取行人整體的前景特征。在圖6所示的查詢圖中，行人的服裝與背景差異度小、行人被遮擋、行人處于復(fù)雜場(chǎng)景等問(wèn)題，從顯示的查詢結(jié)果看出，利用可變形掩膜對(duì)齊卷積模型，可以很好地解決上述的問(wèn)題。

圖6 行人在復(fù)雜背景下的測(cè)試結(jié)果

4 結(jié)束語(yǔ)

為了解決圖像中的行人未對(duì)齊問(wèn)題，本文提出了一種基于可變形掩膜的行人對(duì)齊的深度卷積模型。本文在Resnet50基礎(chǔ)上，提取其多層特征圖信息，進(jìn)行特征信息融合；并引入掩膜信息，利用FCN和GAP操作，實(shí)現(xiàn)了可變形掩膜。本文算法通過(guò)FCN獲取行人圖像的前景掩膜，從而根據(jù)掩膜信息可以有效地提取行人特征。并利用GAP操作，將不同尺度的行人特征映射到同一維度的特征空間，從而實(shí)現(xiàn)不同尺度的行人圖像在同一特征空間進(jìn)行比對(duì)。本文算法不僅解決了行人未對(duì)齊問(wèn)題，而且可以有效地減少雜亂背景對(duì)行人再識(shí)別的影響。本文的方法在兩個(gè)公開(kāi)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，均取得了較好的效果。