基于圖神經(jīng)網(wǎng)絡(luò)的行人重識別算法

蔣若輝 楊淇 黃煒智

（河北大學(xué)網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院 河北省保定市 071000）

行人重識別（Person re-identification）是一個(gè)非常實(shí)用的研究方向，可以廣泛應(yīng)用于監(jiān)控、安全、刑事偵查等領(lǐng)域[1]。行人重識別任務(wù)是指給定一個(gè)行人，然后在不同的地點(diǎn)、時(shí)間和攝像機(jī)中檢索出目標(biāo)行人。近年來，行人重識別技術(shù)有了很大的發(fā)展，但還沒有達(dá)到可以實(shí)際應(yīng)用的水平。主要原因是行人重識別需要解決圖像和視頻的分辨率、人體姿態(tài)、人體尺度、人體遮擋、光照等因素帶來的問題，使得我們很難對于不同攝像頭下的多姿態(tài)行人進(jìn)行準(zhǔn)確的識別。

目前，主流解決的方案是基于圖像的人物識別，包括表征學(xué)習(xí)和距離度量學(xué)習(xí)。對于表征學(xué)習(xí)，我們已經(jīng)從傳統(tǒng)的手工設(shè)計(jì)的特征過渡到深層神經(jīng)網(wǎng)絡(luò)，它可以學(xué)習(xí)更多的區(qū)分性特征。目前，在行人重識別任務(wù)中，除了提取全局特征外，人們更關(guān)注于圖像的局部特征。例如，早期采用了一些硬部件方法，后來發(fā)展到自適應(yīng)部件方法，然后發(fā)展到部件檢測的方法。提取特征的魯棒性也逐漸增強(qiáng)。距離度量學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個(gè)合適的特征空間，其中屬于一個(gè)人的特征向量非常接近，而屬于不同人的特征向量相距很遠(yuǎn)。然而，基于圖像的識別方法只能提取空間特征，獲取的特征單一，無法解決遮擋問題。此外，現(xiàn)有的人體識別模型大多是獨(dú)立地從不同的人體部位獲取特征，缺乏人體部位之間存在的聯(lián)系。

圖神經(jīng)網(wǎng)絡(luò)近些年發(fā)展迅猛，在圖上使用卷積運(yùn)算，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于非歐幾里得數(shù)據(jù)進(jìn)行特征學(xué)習(xí)。圖模型匹配與傳統(tǒng)序列形式的特征匹配相比具有較強(qiáng)的靈活性，對于物體多視角，圖像畸變，物體多態(tài)，物體遮擋等以往不好解決的因素，具有一定的特殊優(yōu)勢。

本文提出了一種新的特征提取方式，使被遮擋的部分特征接近中心特征，從而在一定程度上消除了遮擋等問題帶來的復(fù)雜因素問題。我們在Occluded-DukeMTMC 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)表明，圖神經(jīng)網(wǎng)絡(luò)在遮擋行人重識別任務(wù)中可以發(fā)揮很大的作用。

1 方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）。卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的神經(jīng)網(wǎng)絡(luò)，近年來被廣泛認(rèn)為是計(jì)算機(jī)視覺領(lǐng)域的最佳技術(shù)之一[2]。卷積神經(jīng)網(wǎng)絡(luò)通過使用多個(gè)非線性特征提取單元階段性的提取特征進(jìn)行特征提取，卷積神經(jīng)網(wǎng)絡(luò)能夠從數(shù)據(jù)中學(xué)習(xí)不同特征的信息，最后進(jìn)行整合，得到一張圖像的整體特征。卷積神經(jīng)網(wǎng)絡(luò)具有從原始輸入中自動(dòng)學(xué)習(xí)特征的能力，無需使用手工特征，并且卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量較少，使得深層卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算具有可能性。后來人們發(fā)現(xiàn)，多層卷積神經(jīng)網(wǎng)絡(luò)可以更好的對于特征進(jìn)行表述，因此誕生了許多深度卷積神經(jīng)網(wǎng)絡(luò)，如經(jīng)典的ResNet，VGG 網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)發(fā)展已經(jīng)十分成熟，并仍在繼續(xù)進(jìn)步。

1.2 基于圖像的行人重識別

近年來，人們在基于圖像的行人重識別研究中提出了大量的模型。隨著神經(jīng)卷積網(wǎng)絡(luò)的發(fā)展，特征提取方法已經(jīng)從最早的人工特征發(fā)展到通過深層神經(jīng)網(wǎng)絡(luò)進(jìn)行更穩(wěn)健的特征提取。目前主要分為表征學(xué)習(xí)和距離度量學(xué)習(xí)兩大類。表征學(xué)習(xí)使用各種CNN 結(jié)構(gòu)來提取更健壯的特征，例如基于零件的方法。PCB 方法提出了一種合理的劃分策略，可以學(xué)習(xí)區(qū)分零件的特征。對于距離度量學(xué)習(xí)，將CNN 結(jié)構(gòu)嵌入到深度學(xué)習(xí)結(jié)構(gòu)中，并共享網(wǎng)絡(luò)參數(shù)的權(quán)值，從而縮小類內(nèi)差距，增加類間差距。使用三重?fù)p失來訓(xùn)練網(wǎng)絡(luò)將同一個(gè)人的特征拉近，并將不同人的特征分開。然而，上述方法的缺點(diǎn)是無法解決遮擋問題。在我們提出的方法中，我們基于部件特征對于淺層特征進(jìn)行圖卷積，使遮擋部位特征盡量趨近于中心特征，再進(jìn)行深層次的特征提取。

1.3 基于零件的識別方法

基于零件的模型學(xué)習(xí)行人不同部位的局部特征，增強(qiáng)了全局行人特征的交叉視圖匹配?；诹慵哪Ｐ涂梢院唵蔚貙⑿腥酥啬Ｐ椭虚g層的輸出特征映射拆分為幾個(gè)水平條紋，并學(xué)習(xí)每個(gè)條紋的局部特征。另一種基于部位的模型將人體分割成有意義的身體部位，并學(xué)習(xí)每個(gè)身體部位的局部特征。但是這種識別方法對于遮擋行人的識別明顯是無意義的，將行人圖像的某一部分與遮擋物體進(jìn)行匹配，在距離空間中只會(huì)越來越遠(yuǎn)，在無遮擋的圖像中尚可，但在遮擋圖像中仍有不足之處。

1.4 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)旨在將神經(jīng)網(wǎng)絡(luò)應(yīng)用于非歐幾里得數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，圖模型的基本原理考慮了樣本之間的關(guān)系，可以很好地應(yīng)用于有監(jiān)督訓(xùn)練和半監(jiān)督學(xué)習(xí)，近年來逐漸應(yīng)用于一些計(jì)算機(jī)視覺任務(wù)中。Kpif 在 2017年提出了圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Neural Network，GCN)，它為圖結(jié)構(gòu)數(shù)據(jù)的處理提供了一種嶄新的思路，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到了圖結(jié)構(gòu)的數(shù)據(jù)中。

我們得出結(jié)論：在行人重識別與圖神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法中，圖像中的各個(gè)部分被視為圖節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)之間的關(guān)系通過構(gòu)造圖來表示。在我們的方法中，我們設(shè)計(jì)了一個(gè)新的圖神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)最終的行人特征表示。將圖片的每一部分視為一個(gè)圖節(jié)點(diǎn)，根據(jù)其關(guān)系構(gòu)造圖結(jié)構(gòu)。

2 圖卷積行人重識別網(wǎng)絡(luò)

本文的目的是提出一種基于圖卷積的行人重識別網(wǎng)絡(luò)，通過在網(wǎng)絡(luò)中增加圖卷積模塊，有效的對于遮擋部分進(jìn)行處理，使網(wǎng)絡(luò)對于遮擋的部分更加敏感。在一定程度上解決了當(dāng)匹配行人出現(xiàn)遮擋問題時(shí)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)無法準(zhǔn)確學(xué)習(xí)特征的問題。

2.1 圖卷積神經(jīng)網(wǎng)絡(luò)

在以往的研究工作中，圖神經(jīng)網(wǎng)絡(luò)利用相鄰節(jié)點(diǎn)的信息來更新自身節(jié)點(diǎn)的狀態(tài)。受這些方法的啟發(fā)，我們提出了圖卷積行人重識別網(wǎng)絡(luò)，利用人體不同位置的關(guān)系來解決行人中遮擋等不可控因素的問題。

根據(jù)人體各部位的空間關(guān)系提取人體各部位的特征。利用各部分之間的關(guān)系建立特征圖。其次，將部位特征嵌入到特征圖的節(jié)點(diǎn)中，利用相鄰特征和自身特征的信息更新節(jié)點(diǎn)特征。

圖1：圖卷積行人重識別網(wǎng)絡(luò)結(jié)構(gòu)

使用親和矩陣來表示行人映射圖中節(jié)點(diǎn)和節(jié)點(diǎn)之間的相關(guān)性，并使用投影度量來計(jì)算兩個(gè)親和矩陣的距離。最后，利用交叉熵?fù)p失對模型進(jìn)行訓(xùn)練，以減少人內(nèi)距離，增加人與人之間的距離。該模塊可以有效地計(jì)算高維特征之間的距離，減少或消除遮擋等不可控因素的影響。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1 所示，首先，輸入的行人圖片經(jīng)過淺層次的卷積提取淺層特征，對于這些淺層特征，若圖像中包含遮擋，則這些被遮擋的部分特征為負(fù)特征，對于整體的特征有一定影響，所以將淺層特征經(jīng)過圖神經(jīng)網(wǎng)絡(luò)聚合后，將遮擋部分的特征進(jìn)行綜合，自適應(yīng)地獲得聚合特征節(jié)點(diǎn)之間的內(nèi)在親和結(jié)構(gòu)信息，以達(dá)到遮擋不變性。將綜合后的特征再進(jìn)行深層次的特征提取，最后進(jìn)行融合全局特征后輸出到全連接層進(jìn)行識別。

3 主要實(shí)驗(yàn)

3.1 數(shù)據(jù)集

Occluded-DukeMTMC 數(shù)據(jù)集[3]是一個(gè)從DukeMTMC-ReID數(shù)據(jù)集衍生出來的大規(guī)模遮擋的行人重識別數(shù)據(jù)集。DukeMTMCreID 包含來自702 個(gè)人的 16522 個(gè)訓(xùn)練圖像、2228 個(gè)查詢圖像和17661 個(gè)庫圖像。在原始的DukeMTMC-reID 數(shù)據(jù)集中，訓(xùn)練集、查詢集和庫集分別包含14%、15%、10%的遮擋圖像。原始數(shù)據(jù)集的被遮擋樣本數(shù)較少，不適用于評價(jià)被遮擋的行人識別方法。在Occluded-DukeMTMC 數(shù)據(jù)集中，包含一個(gè)以上的人或一個(gè)被樹或汽車等障礙物遮擋的人的圖像被標(biāo)注為遮擋圖像，查詢集包含100%的遮擋圖像。因此，在計(jì)算查詢圖像和庫圖像之間的成對距離時(shí)，總是存在至少一個(gè)遮擋圖像。Occluded-DukeMTMC 是迄今為止最大的遮擋行人重識別數(shù)據(jù)集，它的訓(xùn)練集包含15618 幅圖像，共包括702 個(gè)身份。測試集包含1110 個(gè)身份，包括17661 個(gè)庫圖像和2210 個(gè)查詢圖像。

我們在Occluded-DukeMTMC數(shù)據(jù)集上評估了我們提出的框架。在對比實(shí)驗(yàn)中，我們提出的框架在Rank-1 評分方面達(dá)到了46.9%，顯示了有效性。

3.2 評價(jià)指標(biāo)

Rank-n：

Rank-n 簡單來說就是在置信度最高的n 個(gè)結(jié)果中有正確結(jié)果的概率，例如Rank-1，就是置信度最高的結(jié)果正確的概率，Rank-5就是置信度最高的五個(gè)預(yù)測結(jié)果中有正確結(jié)果的概率。

mAP：

mAP 為平均準(zhǔn)確率，是取所有類別AP 的平均值，衡量的是在所有類別上的平均好壞程度。

3.3 實(shí)驗(yàn)效果

表1：實(shí)驗(yàn)數(shù)據(jù)對比

本文采用Pytorch 框架進(jìn)行實(shí)驗(yàn)，分別在本文提出的方法，PCB，和傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行了實(shí)驗(yàn)。由表1 可知，在Occluded_Duke 數(shù)據(jù)集上Rank-1 達(dá)到了46.9%，mAP 達(dá)到了34.1%，并驗(yàn)證了增加圖神經(jīng)模塊的優(yōu)越性。相比于PCB 網(wǎng)絡(luò)，本文方法仍具有優(yōu)越性。

4 結(jié)束語

本文提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的行人重識別算法，利用圖像節(jié)點(diǎn)相鄰特征傳遞的信息來更新特征。該方法可以對行人各部分之間的關(guān)系構(gòu)造鄰接圖。通過鄰接圖傳遞的信息對每個(gè)部分進(jìn)行聚合，自適應(yīng)地獲得聚合特征節(jié)點(diǎn)之間的內(nèi)在親和結(jié)構(gòu)信息，為了減少遮擋等不變因素對性能的影響，提出了遮擋不變性的概念，使每個(gè)部分特征與整體特征更接近。實(shí)驗(yàn)結(jié)果證實(shí)本文方法對于遮擋行人重識別的有效性。