多屬性融合網(wǎng)絡(luò)的行人重識(shí)別方法

徐思敏，胡士強(qiáng)

上海交通大學(xué) 航空航天學(xué)院，上海200240

1 引言

行人重識(shí)別是指給定行人的圖像或一段視頻序列，在另一個(gè)無(wú)重疊區(qū)域且視角不同的攝像機(jī)拍攝的行人數(shù)據(jù)庫(kù)中識(shí)別出目標(biāo)行人[1]。由于不同攝像頭下同一行人的圖像受到背景變化、光照變化、姿態(tài)變化以及遮擋等問(wèn)題帶來(lái)的影響，目前行人重識(shí)別的識(shí)別率還難以達(dá)到實(shí)際應(yīng)用的效果。

目前行人重識(shí)別的研究主要圍繞兩個(gè)方面展開(kāi)：（1）特征提取[2-6]：基于行人外觀，尋找一個(gè)不受到光照和視角變化等影響的魯棒可靠的特征來(lái)描述不同的行人；（2）度量學(xué)習(xí)[7-11]：獲得一個(gè)新的度量空間來(lái)計(jì)算行人之間的相似度，從而區(qū)分出不同行人。在特征提取方面，根據(jù)不同的提取方法可以將其分成人工設(shè)計(jì)特征與深度網(wǎng)絡(luò)提取特征兩個(gè)階段。隨著大規(guī)模數(shù)據(jù)集的不斷增加，基于卷積神經(jīng)網(wǎng)絡(luò)模型自動(dòng)學(xué)習(xí)的深度特征在行人重識(shí)別上取得了良好的性能，大量的研究工作開(kāi)始致力于設(shè)計(jì)一個(gè)有效的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提高行人重識(shí)別的準(zhǔn)確率[12]。

現(xiàn)有的研究在基于單幀圖像的行人重識(shí)別方面已經(jīng)有了巨大的突破，而在基于視頻方面，由于大規(guī)模視頻數(shù)據(jù)集的缺乏，仍然面臨許多挑戰(zhàn)。目前基于視頻的行人重識(shí)別方法主要采取最大/平均池化層來(lái)將圖像序列整合成一個(gè)全局特征向量[13-14]，也有不少研究者受到行為識(shí)別領(lǐng)域的啟發(fā)，嘗試采用時(shí)空特征來(lái)進(jìn)行重識(shí)別[15]。盡管行人視頻序列中可利用的信息更多，同時(shí)產(chǎn)生干擾的冗余信息也會(huì)隨之增加。在為行人構(gòu)建特征表達(dá)模型時(shí)，如何整合多幀圖像從中提取出關(guān)鍵部分是這類(lèi)問(wèn)題中的難點(diǎn)。Karanam 等[16]直接對(duì)單一行人的每張圖像提取特征后，對(duì)所有圖像特征進(jìn)行平均池化，但該方法易受到遮擋等問(wèn)題的干擾，獲得的行人特征中包含較多的噪聲。為了解決部分幀圖像中存在的遮擋，Liu 等[17]提出了一種質(zhì)量評(píng)估網(wǎng)絡(luò)，它根據(jù)每張圖像的質(zhì)量為其分配權(quán)重，從而整合出行人的最終特征表達(dá)。通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)與評(píng)估過(guò)程可以判斷出圖像中是否存在遮擋，但忽略了其中的遮擋是由哪一部分造成的。因此Song 等[18]在該網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了改進(jìn)，將行人圖像分成上、中、下三個(gè)部分，并分別將每部分輸入到網(wǎng)絡(luò)中進(jìn)行評(píng)估和權(quán)重分配。通過(guò)突出行人每張圖像中未被遮擋部分的重要性，削弱遮擋部分的信息，獲得的行人特征表達(dá)在數(shù)據(jù)集上取得了顯著的結(jié)果。由于在處理圖像的過(guò)程中對(duì)其進(jìn)行了分段處理，所以此方法對(duì)于數(shù)據(jù)集中每個(gè)行人在邊界框中位置的對(duì)齊程度有一定的要求。在實(shí)際應(yīng)用中，拍攝到的行人圖像角度參差不齊，當(dāng)不同行人的相同身體部位位于整張圖像中的不同位置時(shí)，上述方法的性能將大大下降。本文在數(shù)據(jù)集中選取了一小部分行人，將他們的圖像裁去底部（28 個(gè)像素）后再重新調(diào)整為原大?。?28×64）。實(shí)驗(yàn)表明文獻(xiàn)[18]中的方法在數(shù)據(jù)集iLIDS-VID 和PRID 2011 上的rank1的重識(shí)別率分別下降了22.4%和6.2%。

由此，現(xiàn)有的針對(duì)行人視頻序列的處理方法仍舊存在待改進(jìn)之處。一方面，根據(jù)行人身份標(biāo)簽訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)提取的特征主要反映的是行人的整體外貌，在解決行人的相似細(xì)節(jié)特征和視角變化帶來(lái)的干擾上，存在一定的局限性。另一方面，盡管現(xiàn)有的方法能在一定程度上解決圖像部分遮擋的問(wèn)題，但是當(dāng)行人圖像之間對(duì)齊程度較低時(shí)，便無(wú)法準(zhǔn)確地檢測(cè)出遮擋部位。

針對(duì)上述問(wèn)題，本文提出了一種結(jié)合行人屬性標(biāo)簽的方法，作為深度全局特征的補(bǔ)充信息來(lái)提高重識(shí)別的準(zhǔn)確率。由于卷積神經(jīng)網(wǎng)絡(luò)中包含多個(gè)卷積層，每進(jìn)行一次卷積操作都能學(xué)習(xí)到圖像的某一局部特征。隨著層數(shù)的增加，通過(guò)逐層傳遞整合學(xué)習(xí)到的特征表達(dá)能力也得到增強(qiáng)，因此具有較好的光照不變性與旋轉(zhuǎn)不變性。本文中采用改進(jìn)后的GoogleNet 網(wǎng)絡(luò)，通過(guò)增加網(wǎng)絡(luò)的寬度提取到更具有魯棒性的特征，同時(shí)引入批量規(guī)范化層（batch normalization）在網(wǎng)絡(luò)隱藏層中對(duì)每一塊輸入數(shù)據(jù)進(jìn)行歸一化處理，從而提升了網(wǎng)絡(luò)的訓(xùn)練速度。近年來(lái)，屬性識(shí)別（如年齡、性別等）在視頻監(jiān)控中的應(yīng)用逐漸廣泛起來(lái)。由神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的深度特征主要表征的是行人的整體特征，易忽略不同行人之間的相似細(xì)節(jié)。當(dāng)兩個(gè)行人的外在特征十分相近時(shí)，僅僅采用深度特征進(jìn)行相似度比對(duì)無(wú)法有效的區(qū)分不同行人。而屬性特征卻能通過(guò)局部特征，如是否佩戴眼鏡或書(shū)包等語(yǔ)義信息，作為整體信息的補(bǔ)充特征。即使當(dāng)圖像部分被遮擋，或底部存在缺失而導(dǎo)致的圖像不對(duì)齊問(wèn)題出現(xiàn)時(shí)，由于行人的顯著屬性不會(huì)受到影響，依舊能得到魯棒可靠的特征。因此本文設(shè)計(jì)了一個(gè)多任務(wù)同時(shí)識(shí)別的網(wǎng)絡(luò)，在原有的分段質(zhì)量評(píng)估神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入屬性識(shí)別模塊，有效結(jié)合了深度特征和屬性特征。

為了驗(yàn)證本文所提方法的有效性，首先在視頻數(shù)據(jù)集iLIDS-VID、PRID 2011 和MARS 上進(jìn)行了人工屬性標(biāo)簽的制作，實(shí)驗(yàn)結(jié)果表明本文所提方法在處理過(guò)后不對(duì)齊的數(shù)據(jù)集上取得更好的結(jié)果。

2 結(jié)合屬性識(shí)別的網(wǎng)絡(luò)模型

2.1 數(shù)據(jù)集的預(yù)處理

在實(shí)際應(yīng)用中，大型公共場(chǎng)所安裝的監(jiān)控視頻系統(tǒng)捕捉的行人畫(huà)面因?yàn)橐暯遣煌嬖诓煌腥说纳眢w部位不對(duì)齊的情況，如有的圖像中未能拍攝到行人的腿部等。而現(xiàn)有研究通常直接采用標(biāo)準(zhǔn)數(shù)據(jù)集來(lái)驗(yàn)證方法的有效性，因此在對(duì)圖像進(jìn)行分割處理時(shí)直接按照身體比例來(lái)對(duì)整張圖片進(jìn)行分割就能達(dá)到較好的效果?？紤]到當(dāng)兩個(gè)行人的相同身體部位在畫(huà)面框中的位置存在差異時(shí)，采用統(tǒng)一分割標(biāo)準(zhǔn)則可能降低重識(shí)別的準(zhǔn)確率，現(xiàn)有方法將無(wú)法較好地應(yīng)用到實(shí)際中。因此本文嘗試通過(guò)預(yù)處理的方法在標(biāo)準(zhǔn)數(shù)據(jù)集的基礎(chǔ)上構(gòu)建一個(gè)更貼合實(shí)際的數(shù)據(jù)集，對(duì)數(shù)據(jù)集中的部分行人圖像進(jìn)行裁剪，以增加樣本之間的差異性和行人重識(shí)別的難度。

如圖1 所示，第一行是裁剪之前標(biāo)準(zhǔn)數(shù)據(jù)集中的行人圖像，第二行是經(jīng)過(guò)與處理之后的行人圖像。處理前圖像大小為128×64 像素，在實(shí)驗(yàn)前首先隨機(jī)挑選數(shù)據(jù)集中1/3 的行人，裁去選中行人所有圖像的底部28 個(gè)像素，裁剪后的圖像大小為100×64。由于在對(duì)圖像通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征時(shí)需要保持所有圖像大小一致，因此將裁減后的圖像再次縮放為原大小。

經(jīng)過(guò)該預(yù)處理步驟所得到的數(shù)據(jù)集更好地模擬了實(shí)際的監(jiān)控視頻中存在的不對(duì)齊問(wèn)題，實(shí)驗(yàn)表明，文獻(xiàn)[18]中所提的分段式局部質(zhì)量評(píng)估方法在以數(shù)據(jù)集iLIDS-VID 和PRID 2011 為基礎(chǔ)構(gòu)建的新數(shù)據(jù)集上的rank1的重識(shí)別率分別下降了22.4%和6.2%。

為了提高在這個(gè)挑戰(zhàn)性更強(qiáng)的數(shù)據(jù)集上的重識(shí)別效果，本文提出將屬性特征融合到網(wǎng)絡(luò)中來(lái)。盡管通過(guò)預(yù)處理后行人畫(huà)面中存在部分身體部位的缺失，但行人的關(guān)鍵屬性特征依舊存在。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用的網(wǎng)絡(luò)的結(jié)構(gòu)如圖2 所示，該網(wǎng)絡(luò)包含分段特征提取和身份屬性預(yù)測(cè)兩個(gè)部分。在訓(xùn)練的過(guò)程中，采用三元組損失來(lái)約束相同行人與不同行人之間的距離，使得相同行人之間的距離小于不同行人。首先將目標(biāo)行人在不同攝像機(jī)下的圖像序列及另一行人在任一攝像機(jī)下的圖像序列輸入到網(wǎng)絡(luò)中，這三組圖像將被分別輸入到兩個(gè)不同的完整卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。其中采用改進(jìn)后的GoogleNet網(wǎng)絡(luò)來(lái)對(duì)所有圖像提取特征，采用另一個(gè)簡(jiǎn)單的兩層卷積加兩層池化的神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練，由全連接層輸出得到圖像的質(zhì)量得分。通過(guò)計(jì)算每個(gè)行人所有圖像特征向量與質(zhì)量分?jǐn)?shù)的加權(quán)總和，可以得到該行人的特征表示。接著網(wǎng)絡(luò)將利用M+1個(gè)全連接層來(lái)同時(shí)預(yù)測(cè)該行人的身份標(biāo)簽和屬性標(biāo)簽，其中M 是標(biāo)注的屬性種類(lèi)數(shù)量。在測(cè)試階段，采用pool5層提取的特征進(jìn)行相似度比對(duì)。

該網(wǎng)絡(luò)的總損失包括行人身份標(biāo)簽預(yù)測(cè)的損失、屬性預(yù)測(cè)損失及三元組損失三個(gè)部分。將整個(gè)網(wǎng)絡(luò)的輸入定義為一個(gè)三元組，其中表示給定行人（anchor）在某一攝像機(jī)下的一組圖像；表示該行人在另一攝像機(jī)下的一組圖像，即正樣本（positive）；表示另一個(gè)行人在其中一個(gè)攝像機(jī)下的一組圖像，即負(fù)樣本（negative）。三元組損失可由下式計(jì)算得到：

假設(shè)數(shù)據(jù)集中包含K 個(gè)行人，每個(gè)行人含有n張圖像，采用M 個(gè)屬性對(duì)其進(jìn)行描述。令xi表示行人的第i張圖像的特征向量，di和分別表示該行人的身份標(biāo)簽和第j種屬性的標(biāo)簽[19]。

圖1 預(yù)處理前后圖像對(duì)比

圖2 網(wǎng)絡(luò)結(jié)構(gòu)圖

當(dāng)給定目標(biāo)行人x 時(shí)，y 為目標(biāo)行人的真實(shí)身份標(biāo)簽，k 為網(wǎng)絡(luò)預(yù)測(cè)的身份標(biāo)簽，p(k)為該行人預(yù)測(cè)出屬于標(biāo)簽k 的概率，其中k ∈1,2,…,K，則行人的身份標(biāo)簽分類(lèi)損失可由下式計(jì)算：

其中，當(dāng)k ≠y時(shí)，q(y)=1且q(k)=0。

本文所提方法在網(wǎng)絡(luò)中引入M 個(gè)全連接層來(lái)預(yù)測(cè)屬性標(biāo)簽，并采用與身份預(yù)測(cè)相似的方法計(jì)算softmax損失。令ym表示行人的真實(shí)屬性標(biāo)簽，j表示網(wǎng)絡(luò)預(yù)測(cè)的屬性標(biāo)簽，p(j)為該行人預(yù)測(cè)出屬于標(biāo)簽j的概率，則行人的屬性標(biāo)簽分類(lèi)損失可表示為：

其中m 表示為某一特定屬性的類(lèi)別數(shù)目，當(dāng)j ≠ym時(shí)，q(ym)=1且q(j)=0。

因此整個(gè)網(wǎng)絡(luò)的總損失可以計(jì)算如下[18]：

其中Lt表示三元組損失，LID和Latt分別表示身份標(biāo)簽和屬性標(biāo)簽分類(lèi)損失。λ是用于平衡身份標(biāo)簽損失與屬性標(biāo)簽損失所占權(quán)重的參數(shù)，該參數(shù)的確定將在第3 章進(jìn)行討論。

2.3 質(zhì)量評(píng)估模塊

本文采用和文獻(xiàn)[18]中相同的方法來(lái)評(píng)估行人每幀圖像的質(zhì)量。根據(jù)行人身體的關(guān)鍵部位，將每個(gè)行人圖像按高度比例3∶2∶2 進(jìn)行分割，如圖3 所示。所有的圖像輸入到兩個(gè)不同的模塊中，其中一個(gè)模塊是用來(lái)輸出圖像特征表示向量的完整的神經(jīng)網(wǎng)絡(luò)，另一個(gè)模塊則用來(lái)為分割后圖像的每一部分進(jìn)行質(zhì)量評(píng)估。輸入的圖像經(jīng)過(guò)這兩個(gè)模塊后，得到的特征向量和評(píng)估后的分?jǐn)?shù)均按照?qǐng)D像分割時(shí)的比例分成上、中、下三個(gè)部分。令S={I1,I2,…,In}表示給定行人的所有圖像序列，fu(Ii)、fm(Ii)、fl(Ii)則分別表示該行人第i幀圖像上、中、下三個(gè)部分的特征表示向量，μu(Ii),μm(Ii),μl(Ii)表示每個(gè)部分相應(yīng)的質(zhì)量評(píng)估分?jǐn)?shù)，該分?jǐn)?shù)按比例縮放至范圍0到1之間。由此可以得到目標(biāo)行人的最終特征表示如下[18]：

圖3 行人圖像按高度比3∶2∶2分割示意圖

2.4 屬性標(biāo)注

本文引入屬性標(biāo)簽來(lái)進(jìn)一步約束行人間的距離，從而增強(qiáng)整個(gè)網(wǎng)絡(luò)的靈活性。屬性預(yù)測(cè)在人臉識(shí)別領(lǐng)域的應(yīng)用相對(duì)來(lái)說(shuō)較為廣泛，因此近年來(lái)研究者們也開(kāi)始將這一思路運(yùn)用到行人重識(shí)別上來(lái)。Layne 等[20]采用SVM 訓(xùn)練出屬性檢測(cè)器來(lái)預(yù)測(cè)行人的15 種屬性，如頭發(fā)顏色、背包類(lèi)型等。Li等[21]提出了一種深度學(xué)習(xí)框架可以同時(shí)識(shí)別多種行人屬性。本文的主要思想受到文獻(xiàn)[19]中網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，采用CNN模型來(lái)同時(shí)學(xué)習(xí)行人的身份分類(lèi)損失和屬性分類(lèi)損失。

為了使實(shí)驗(yàn)結(jié)果與文獻(xiàn)[18]中的結(jié)果進(jìn)行對(duì)比，本文采用數(shù)據(jù)集iLIDS-VID 和PRID 2011 進(jìn)行測(cè)試，并為其進(jìn)行屬性標(biāo)注。在屬性標(biāo)注的工作中均采用能夠代表行人身份的長(zhǎng)時(shí)間特征，而非僅在短時(shí)間內(nèi)出現(xiàn)的特征（如打電話等）。在一定程度上，如果兩張圖像中包含同一行人，他們的屬性特征應(yīng)該是相互匹配的。

對(duì)于數(shù)據(jù)集iLIDS-VID，本文為其標(biāo)注了26 種屬性：性別（男/女）、年齡（兒童/青少年/成年/老年）、頭發(fā)長(zhǎng)度（長(zhǎng)/短）、袖子長(zhǎng)度（長(zhǎng)/短）、下身衣服長(zhǎng)度（長(zhǎng)/短）、下身衣服類(lèi)型（褲子/裙子）、是否佩戴帽子、是否拎包、是否攜帶書(shū)包、8 種上身衣服顏色（黑/白/紅/黃/灰/藍(lán)/綠/棕），以及9 種下身衣服顏色（黑/白/紫/黃/灰/藍(lán)/綠/棕/紅）。圖4 為數(shù)據(jù)集iLIDS-VID 中一個(gè)行人的部分屬性標(biāo)簽示例。

圖4 數(shù)據(jù)集iLIDS-VID上的屬性標(biāo)簽示例

對(duì)于數(shù)據(jù)集PRID 2011，本文為其標(biāo)注了32 種屬性：除了同數(shù)據(jù)集iLIDS-VID相同的前9種屬性外，還增加了以下屬性：是否攜帶手提包、是否攜帶衣物、是否佩戴墨鏡、頭發(fā)顏色深淺、11 種上身衣服顏色（白/黑/藍(lán)/棕/綠/紅/灰/粉/綠/橙/紫），以及8 種下身衣服顏色（黑/藍(lán)/棕/灰/白/紅/黃/橙）。

對(duì)于數(shù)據(jù)集MARS，本文為其標(biāo)注了27 種屬性：除了同數(shù)據(jù)集iLIDS-VID 相同的前9 種屬性外，還增加了以下屬性：是否攜帶手提包、8 種上身衣服顏色（黑/白/紅/紫/黃/灰/藍(lán)/綠）、9 種下身衣服顏色（黑/白/紅/紫/黃/灰/藍(lán)/綠/棕）。

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集與評(píng)估標(biāo)準(zhǔn)

PRID 2011[22]數(shù)據(jù)集中包含200 個(gè)行人，每個(gè)行人在不同的兩個(gè)攝像機(jī)下各包含一段視頻序列，其中每段視頻的長(zhǎng)度范圍為5至675幀。本文實(shí)驗(yàn)中僅采用幀數(shù)大于27 的視頻序列。由于該數(shù)據(jù)集在較為空曠的室外區(qū)域拍攝，畫(huà)面背景干凈，存在的遮擋情況相對(duì)較少。

iLIDS-VID[23]數(shù)據(jù)集中包含300 個(gè)行人的600 段視頻序列，每段視頻的長(zhǎng)度范圍為23至192幀。該數(shù)據(jù)集拍攝于機(jī)場(chǎng)航站樓的兩個(gè)視角不同的攝像機(jī)，背景雜亂，存在較為嚴(yán)重的遮擋。

MARS 數(shù)據(jù)集[13]是基于圖像的數(shù)據(jù)集Market-1501的擴(kuò)展數(shù)據(jù)集，其中包括1 261個(gè)行人，每個(gè)行人分別被大學(xué)校園內(nèi)的6 個(gè)無(wú)重疊視域的攝像頭拍攝到。在采用該數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)室，采用文獻(xiàn)[13]中相同的處理方法隨機(jī)挑選其中兩個(gè)攝像頭下的視頻序列，選擇其中一個(gè)攝像頭作為參考集，另一個(gè)作為測(cè)試集。

評(píng)估標(biāo)準(zhǔn)：本文采取和文獻(xiàn)[18]中相同的設(shè)置從而便于結(jié)果的比較。在數(shù)據(jù)集的分配上，選取一半的行人圖像用來(lái)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，另一半行人用于結(jié)果的測(cè)試?？紤]到兩個(gè)數(shù)據(jù)集的規(guī)模相對(duì)較小，實(shí)驗(yàn)將重復(fù)進(jìn)行10 次并取其平均結(jié)果。在行人重識(shí)別的任務(wù)中，采用CMC曲線來(lái)表示重識(shí)別的準(zhǔn)確率。

3.2 參數(shù)與屬性分析

參數(shù)確定：第2 章中提到λ是用于平衡身份分類(lèi)損失和屬性分類(lèi)損失的參數(shù)，λ的值越小，代表整個(gè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中行人的身份分類(lèi)損失占的比例越小。實(shí)驗(yàn)過(guò)程中，隨機(jī)選取10 次實(shí)驗(yàn)中的一次進(jìn)行驗(yàn)證，令λ的值從3 取到15 來(lái)比較不同的λ下重識(shí)別的準(zhǔn)確率大小。實(shí)驗(yàn)結(jié)果表明當(dāng)λ=10時(shí)，準(zhǔn)確率最高。圖5 中展示了不同λ取值下的結(jié)果。

圖5 不同λ值下行人重識(shí)別rank1的識(shí)別率

屬性分析：網(wǎng)絡(luò)訓(xùn)練開(kāi)始前，首先要驗(yàn)證選取的屬性特征是否具有代表性，能夠有效區(qū)分出不同行人。假設(shè)每個(gè)行人的屬性均能完全預(yù)測(cè)正確，并且僅依靠屬性來(lái)進(jìn)行重識(shí)別的情況下（即λ=0），得到的CMC 曲線如圖6 所示。另外，實(shí)驗(yàn)中還測(cè)試了隨機(jī)選取10 個(gè)或20個(gè)屬性時(shí)的重識(shí)別率。圖中結(jié)果表明：（1）進(jìn)行重識(shí)別時(shí)利用的屬性種類(lèi)越多，得到的準(zhǔn)確率越高；（2）當(dāng)標(biāo)注的所有屬性均用于重識(shí)別時(shí)，在兩個(gè)數(shù)據(jù)集上能夠分別取得65.33%和81%的識(shí)別率，證實(shí)了標(biāo)注的屬性的可靠性。

圖6 屬性預(yù)測(cè)準(zhǔn)確時(shí)的結(jié)果

3.3 相關(guān)方法比較

本文所提方法旨在經(jīng)過(guò)處理后的數(shù)據(jù)集上提升行人重識(shí)別的準(zhǔn)確率。為了驗(yàn)證網(wǎng)絡(luò)的有效性，所得實(shí)驗(yàn)結(jié)果將與兩種基本網(wǎng)絡(luò)下的訓(xùn)練結(jié)果進(jìn)行對(duì)比。網(wǎng)絡(luò)1（Baseline 1，B1）在訓(xùn)練好的GoogLeNet[24]上進(jìn)行微調(diào)，將最后一層全連接層的神經(jīng)元個(gè)數(shù)設(shè)定為被用于訓(xùn)練的行人數(shù)。測(cè)試過(guò)程中為參考集和測(cè)試集中每張圖片提取由pool5層得到的1 024維的特征向量，再計(jì)算向量間的歐式距離。網(wǎng)絡(luò)2（Baseline 2，B2）則直接采用文獻(xiàn)[18]中僅對(duì)圖片進(jìn)行分段質(zhì)量評(píng)估的方法。

表1 和表2 為在數(shù)據(jù)集iLIDS-VID 和PRID 2011 上的實(shí)驗(yàn)評(píng)估的結(jié)果。數(shù)據(jù)集中的部分圖像經(jīng)過(guò)底部裁剪處理后增加了行人重識(shí)別的難度，因此三種方法相比直接在標(biāo)準(zhǔn)數(shù)據(jù)集上應(yīng)用的結(jié)果都有所下降。但是本文所提方法受到的影響較小，比另外兩種方法的準(zhǔn)確率高。在數(shù)據(jù)集iLIDS-VID 上，B1 在rank1 上的準(zhǔn)確率為50.7%，B2 由于增加了質(zhì)量評(píng)估模塊，比B1 的結(jié)果增高了4%。文中所提方法結(jié)合了屬性局部特征，在rank1上的準(zhǔn)確率能夠達(dá)到63.3%，比B1 和B2 的結(jié)果分別增加了12.6%和8.6%。另外，在數(shù)據(jù)集PRID 2011 上，對(duì)比實(shí)驗(yàn)結(jié)果表明本文所提方法比B1 和B2 的準(zhǔn)確率分別增加了10.0%和4.4%。

表1 數(shù)據(jù)集iLIDS-VID上相關(guān)方法的識(shí)別率%

表2 數(shù)據(jù)集PRID 2011上相關(guān)方法的識(shí)別率%

由于文獻(xiàn)[18]中未采用數(shù)據(jù)集MARS 進(jìn)行實(shí)驗(yàn)，因此本文僅對(duì)所提方法在該數(shù)據(jù)集上得到的結(jié)果與現(xiàn)有其他方法所得結(jié)果進(jìn)行了對(duì)比。由表中行人重識(shí)別的準(zhǔn)確率可以看出，盡管本文對(duì)數(shù)據(jù)集進(jìn)行了預(yù)處理工作，裁剪掉了部分行人的底部，增大了行人重識(shí)別的難度，本文所提方法依舊比其他方法的識(shí)別率高。表3 表明，在數(shù)據(jù)集MARS上，本文所提方法在rank1的準(zhǔn)確率上比現(xiàn)有方法提高了4.8%。表4 和表5 表明，在數(shù)據(jù)集iLIDS-VID 上rank 1的準(zhǔn)確率提高了5.3%，而在數(shù)據(jù)集PRID2011上準(zhǔn)確率提高了9.6%。該結(jié)果表明了加入屬性特征可以有效提高行人重識(shí)別的效果。

4 結(jié)束語(yǔ)

本文提出了一種將基于圖像的局部區(qū)域質(zhì)量評(píng)估和屬性識(shí)別相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，能夠同時(shí)學(xué)習(xí)圖像的全局特征和局部特征。該方法在部分?jǐn)?shù)據(jù)集圖像由于缺失而造成的不對(duì)齊問(wèn)題上依舊具有可靠性，可以解決僅利用分段評(píng)估網(wǎng)絡(luò)進(jìn)行行人重識(shí)別時(shí)的局限性。為了證實(shí)本文所提方法的有效性，分別對(duì)三個(gè)視頻數(shù)據(jù)集中的行人進(jìn)行標(biāo)注。實(shí)驗(yàn)結(jié)果表明，引入屬性特征后的網(wǎng)絡(luò)能夠提升行人重識(shí)別的準(zhǔn)確率。在利用屬性特征進(jìn)行重識(shí)別的方法中，仍然存在許多可繼續(xù)改進(jìn)的地方，如選擇更具有代表性的屬性，在網(wǎng)絡(luò)訓(xùn)練時(shí)為其分配較大的權(quán)重等，對(duì)此將后續(xù)再展開(kāi)研究。

表4 數(shù)據(jù)集iLIDS-VID上現(xiàn)有方法的識(shí)別率%

表5 數(shù)據(jù)集PRID2011上現(xiàn)有方法的識(shí)別率 %