非可控環(huán)境行人再識(shí)別綜述*

馮展祥 ，朱榮，王玉娟，賴劍煌

(1．中山大學(xué)數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院，廣東 廣州 510006； 2.中山大學(xué)新華學(xué)院，廣東 廣州 510006)

行人再識(shí)別是對(duì)不同的、沒有視野重疊覆蓋的攝像機(jī)視域拍攝的行人目標(biāo)進(jìn)行身份匹配關(guān)聯(lián)的技術(shù)。隨著國(guó)內(nèi)高清監(jiān)控系統(tǒng)的普及，行人再識(shí)別在安防監(jiān)控、疑犯追蹤等領(lǐng)域發(fā)揮著越來(lái)越重要的作用。行人再識(shí)別是計(jì)算機(jī)視覺領(lǐng)域近年來(lái)非常熱門的一個(gè)研究課題[1-3]，也是最具有挑戰(zhàn)性的研究問(wèn)題之一。

自從2006年開始研究以來(lái)，在過(guò)去10多年，研究者們基于主流的機(jī)器學(xué)習(xí)和模式識(shí)別理論方法發(fā)展了許多行人再識(shí)別方法，可以分為手工設(shè)計(jì)描述子方法[4-6]、度量學(xué)習(xí)方法[7-10]和深度學(xué)習(xí)方法[11-14]共三類。2014年以來(lái)，隨著深度學(xué)習(xí)理論的發(fā)展和應(yīng)用的成熟，基于深度學(xué)習(xí)的行人再識(shí)別研究成為了當(dāng)前行人再識(shí)別研究的主流，并取得了很大突破。深度孿生網(wǎng)絡(luò)[15-16]、深度度量學(xué)習(xí)[17-18]、多尺度神經(jīng)網(wǎng)絡(luò)[19-20]、生成對(duì)抗網(wǎng)絡(luò)[21-22]等基于深度學(xué)習(xí)的方法推動(dòng)了行人再識(shí)別理論的發(fā)展和技術(shù)進(jìn)步，顯著提高了行人再識(shí)別算法的準(zhǔn)確率，它們?cè)谥髁餍腥嗽僮R(shí)別數(shù)據(jù)庫(kù)譬如CUHK03[23]、Market-1501[24]和DukeMTMC[25]上均已超過(guò)了人類視覺的識(shí)別能力。盡管行人再識(shí)別研究已經(jīng)取得了許多優(yōu)秀的成果，但這些研究都是建立在理想的仿真條件下，與實(shí)際視頻監(jiān)控的應(yīng)用條件有很大的差別。實(shí)際上，當(dāng)前的行人再識(shí)別技術(shù)距離非可控環(huán)境的可行應(yīng)用還有很長(zhǎng)一段距離，實(shí)現(xiàn)實(shí)用化仍然有許多需要解決的技術(shù)難題。

1 非可控環(huán)境行人再識(shí)別挑戰(zhàn)

具體地，非可控環(huán)境中行人再識(shí)別技術(shù)面臨著以下挑戰(zhàn)：

小樣本：深度網(wǎng)絡(luò)的性能取決于訓(xùn)練數(shù)據(jù)好壞，訓(xùn)練數(shù)據(jù)不足是限制當(dāng)前行人再識(shí)別算法性能的一個(gè)重要因素。以Viper數(shù)據(jù)庫(kù)[26]為例，該數(shù)據(jù)庫(kù)規(guī)模較小，目前主流算法的識(shí)別率只有50%左右，而規(guī)模更大的Market-1501數(shù)據(jù)庫(kù)上主流算法的識(shí)別率已經(jīng)超過(guò)了90%。由于監(jiān)控系統(tǒng)攝像頭眾多，監(jiān)控范圍大，實(shí)際應(yīng)用中通過(guò)不同攝像頭獲取標(biāo)簽行人圖像和對(duì)新應(yīng)用場(chǎng)景進(jìn)行重新標(biāo)注的代價(jià)很大，很難獲取大規(guī)模的標(biāo)注訓(xùn)練數(shù)據(jù)。因此，小樣本將是非可控環(huán)境行人再識(shí)別的一個(gè)主要挑戰(zhàn)。在小樣本行人再識(shí)別方面，所面臨的問(wèn)題如圖1所示。其中，圖1(a)表示帶標(biāo)簽的少量訓(xùn)練樣本，圖1(b)表示大部分無(wú)標(biāo)簽訓(xùn)練樣本。

圖1 小樣本行人再識(shí)別挑戰(zhàn)Fig.1 Small-sample person re-identification challenge

可見光-紅外匹配：當(dāng)前大部分行人再識(shí)別的研究都是基于可見光行人圖像進(jìn)行的，提取的特征大多基于顏色信息，因此這些特征對(duì)光照變化的魯棒性很差，導(dǎo)致識(shí)別算法在夜間條件下識(shí)別率下降非常大，難以滿足全天候監(jiān)控的需求。針對(duì)這個(gè)問(wèn)題，可以通過(guò)紅外攝像頭在夜間提取穩(wěn)定的行人圖像，避免光照變化在成像上的不利影響。但是由于紅外圖像缺乏顏色信息，怎樣實(shí)現(xiàn)準(zhǔn)確的可見光-紅外行人再識(shí)別是當(dāng)前研究的一個(gè)難題。在可見光紅外行人再識(shí)別方面，所面臨的問(wèn)題如圖2所示。其中，第一排為可見光行人圖像，第二排為紅外行人圖像，同一列的圖像對(duì)應(yīng)同一個(gè)行人。

圖 2 可見光-紅外行人再識(shí)別挑戰(zhàn)Fig.2 Visible-infrared person re-identification challenge

遮擋：監(jiān)控場(chǎng)景中，行人目標(biāo)可能被場(chǎng)景中靜態(tài)或者動(dòng)態(tài)的其他行人、建筑物等障礙物所遮擋。尤其是在擁擠的場(chǎng)所，如機(jī)場(chǎng)、車站、商場(chǎng)、醫(yī)院等，行人遮擋時(shí)有發(fā)生。在行人再識(shí)別任務(wù)中，遮擋不僅會(huì)導(dǎo)致部分目標(biāo)信息的丟失，也導(dǎo)致提取的特征中帶有遮擋信息的干擾，給后續(xù)的識(shí)別帶來(lái)了不利的影響。在遮擋行人再識(shí)別方面，所面臨的問(wèn)題如圖3所示。其中，第一排為完整的行人圖像，第二排為受到遮擋的行人圖像，同一列的圖像對(duì)應(yīng)同一個(gè)行人。

圖3 遮擋行人再識(shí)別挑戰(zhàn)Fig.3 Occluded person re-identification challenge

開集：由于監(jiān)控目標(biāo)的不確定性，行人再識(shí)別在應(yīng)用中需要面臨開集測(cè)試問(wèn)題，即測(cè)試對(duì)象可能來(lái)自非目標(biāo)庫(kù)的問(wèn)題。當(dāng)前的行人再識(shí)別的研究大部分都是建立在測(cè)試目標(biāo)來(lái)自目標(biāo)庫(kù)的假設(shè)，缺少有效排除非目標(biāo)行人對(duì)象的手段。在開集行人再識(shí)別方面，所面臨的問(wèn)題如圖4所示。圖中，測(cè)試行人圖像可能來(lái)自目標(biāo)行人庫(kù)以外，對(duì)識(shí)別結(jié)果造成很大的干擾。

針對(duì)上述挑戰(zhàn)，近來(lái)研究者們已經(jīng)進(jìn)行了初步的探索和研究，并取得了一定的成果。本文將就這些研究做進(jìn)一步的展開。

2 非可控環(huán)境行人再識(shí)別的進(jìn)展

2.1 小樣本行人再識(shí)別

當(dāng)前主流的小樣本行人再識(shí)別方法有兩類，分別是基于生成對(duì)抗網(wǎng)絡(luò)的方法和基于偽標(biāo)簽估計(jì)的方法?；谏蓪?duì)抗網(wǎng)絡(luò)的方法通過(guò)生成行人圖像彌補(bǔ)訓(xùn)練數(shù)據(jù)的不足，隨著生成對(duì)抗網(wǎng)絡(luò)理論的進(jìn)步，研究者可以生成帶身份標(biāo)簽的行人圖像，并通過(guò)監(jiān)督學(xué)習(xí)的方法訓(xùn)練行人再識(shí)別模型?；谏蓪?duì)抗網(wǎng)絡(luò)的小樣本行人再識(shí)別算法結(jié)構(gòu)如圖5所示，通常包含一個(gè)生成器和一個(gè)判別器，生成器用于生成符合目標(biāo)域特性的行人圖像，判別器則用于判別行人圖像是真實(shí)圖像還是生成圖像，并通過(guò)生成對(duì)抗損失提高生成圖像的可靠性，以及通過(guò)身份損失保證生成圖像的身份不變。文獻(xiàn)[21]最早嘗試通過(guò)生成對(duì)抗網(wǎng)絡(luò)產(chǎn)生新的行人圖像進(jìn)行數(shù)據(jù)增廣，該方法用主流的生成對(duì)抗網(wǎng)絡(luò)方法產(chǎn)生新的行人圖像，對(duì)產(chǎn)生的行人數(shù)據(jù)進(jìn)行標(biāo)簽平滑(label smooth)估計(jì)，并提出LSRO算法實(shí)現(xiàn)基于生成圖像的模型訓(xùn)練，有效提高了行人再識(shí)別算法的性能。文獻(xiàn)[22]通過(guò)循環(huán)生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)跨數(shù)據(jù)庫(kù)行人圖像風(fēng)格遷移，通過(guò)源域標(biāo)注數(shù)據(jù)產(chǎn)生符合目標(biāo)域視域特性的帶標(biāo)簽行人圖像，克服了目標(biāo)視域缺少標(biāo)注樣本的問(wèn)題，提高了算法的泛化能力。文獻(xiàn)[27]對(duì)跨數(shù)據(jù)庫(kù)行人圖像風(fēng)格遷移的損失函數(shù)進(jìn)行了深入的研究，除了通過(guò)循環(huán)損失(Cycle Loss)確保風(fēng)格遷移以后的行人圖像細(xì)節(jié)不變以外，還提出了一種生成目標(biāo)圖像和源域圖像的域不相似性，確保生成的圖像與目標(biāo)域任意行人不相似。文獻(xiàn)[28]提出一種基于姿態(tài)估計(jì)的非監(jiān)督行人生成算法，學(xué)習(xí)行人圖像的視覺信息特征和姿態(tài)特征編碼器，對(duì)于任意圖像，通過(guò)輸入目標(biāo)姿態(tài)的姿態(tài)特征向量，算法能在目標(biāo)域產(chǎn)生不同姿態(tài)的行人圖像進(jìn)行學(xué)習(xí)。

另一方面，基于偽標(biāo)簽估計(jì)的方法通過(guò)聚類算法、相似度度量等方式增加標(biāo)記訓(xùn)練樣本的數(shù)量，從而提高非監(jiān)督行人再識(shí)別算法的效果。一般地，研究者通過(guò)少量樣本或者外部輔助數(shù)據(jù)庫(kù)對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行偽標(biāo)簽估計(jì)，并在偽標(biāo)簽估計(jì)的基礎(chǔ)上進(jìn)行判別度量學(xué)習(xí)。文獻(xiàn)[29]提出了一種弱監(jiān)督行人再識(shí)別框架，相比監(jiān)督行人再識(shí)別，弱監(jiān)督行人再識(shí)別只需要給出一個(gè)視頻的行人標(biāo)簽，因此極大地降低了標(biāo)注的工作量，在此基礎(chǔ)上，文章提出了一種跨視角多示例多標(biāo)簽學(xué)習(xí)方法(Cross-view MIML)，通過(guò)度量學(xué)習(xí)提高行人再識(shí)別模型的判別能力。文獻(xiàn)[30]把行人圖像分塊的思想用到非監(jiān)督學(xué)習(xí)問(wèn)題上，提出了一種基于圖像塊特征提取的非監(jiān)督行人再識(shí)別方法，通過(guò)設(shè)計(jì)的PatchNet結(jié)構(gòu)篩選行人圖像塊，提取圖像塊特征，并利用圖像塊的相似性學(xué)習(xí)判別模型輸出。文獻(xiàn)[31]提出了一種跨攝像頭相似度的一致性損失，通過(guò)學(xué)習(xí)同攝像頭和跨攝像頭的樣本對(duì)相似度分布的一致性，減輕攝像頭之間場(chǎng)景差異的影響，提高無(wú)監(jiān)督域自適應(yīng)行人再識(shí)別算法的性能。文獻(xiàn)[32]提出了一種基于多軟標(biāo)簽學(xué)習(xí)的小樣本行人再識(shí)別算法，通過(guò)外部行人數(shù)據(jù)計(jì)算獲得非監(jiān)督行人數(shù)據(jù)的偽標(biāo)簽標(biāo)注，并通過(guò)偽標(biāo)簽訓(xùn)練數(shù)據(jù)進(jìn)行度量學(xué)習(xí)，提高行人再識(shí)別模型的判別能力。文獻(xiàn)[33]提出了一種蒸餾的自學(xué)習(xí)方法，通過(guò)多教師知識(shí)蒸餾與攝像頭相關(guān)的層次聚類進(jìn)行自學(xué)習(xí)，增強(qiáng)模型從少量有標(biāo)簽數(shù)據(jù)中學(xué)習(xí)的泛化能力和減輕攝像頭差異對(duì)聚類的影響，從而提高半監(jiān)督行人再識(shí)別算法的性能。

圖4 開集行人再識(shí)別挑戰(zhàn)Fig.4 Open-set person re-identification challenge

圖5 基于生成對(duì)抗網(wǎng)絡(luò)的小樣本行人再識(shí)別算法結(jié)構(gòu)Fig.5 Structure of small-sample person re-identification methods based on Generative Adversarial Networks

上述研究可以在一定程度上提高行人再識(shí)別算法的魯棒性和泛化能力，但一方面通過(guò)生成對(duì)抗網(wǎng)絡(luò)產(chǎn)生的行人圖像的真實(shí)性和可靠性比較低，很難確保模型訓(xùn)練效果；另一方面，基于偽標(biāo)簽估計(jì)的方法很難保證偽標(biāo)簽估計(jì)的準(zhǔn)確性，錯(cuò)誤的標(biāo)注數(shù)據(jù)可能導(dǎo)致算法的性能變差。因此，當(dāng)前非監(jiān)督行人再識(shí)別算法的效果有限，其識(shí)別性能還很難和有監(jiān)督行人再識(shí)別算法相比。

2.2 可見光-紅外行人再識(shí)別

目前的行人再識(shí)別算法對(duì)光照變化非常敏感，其性能受到光照條件好壞的影響?？梢姽?紅外行人再識(shí)別技術(shù)能為克服行人光照變化問(wèn)題提供可靠的技術(shù)支持，對(duì)全天候的監(jiān)控系統(tǒng)至關(guān)重要。由于跨模態(tài)行人再識(shí)別任務(wù)帶來(lái)了表觀特征劇變、光照變化等問(wèn)題，可見光-紅外行人再識(shí)別是一個(gè)非常具備挑戰(zhàn)性的研究問(wèn)題。相關(guān)的研究表明[36]，傳統(tǒng)的行人再識(shí)別算法在處理可見光-紅外行人再識(shí)別任務(wù)時(shí)性能將急劇下降?？梢姽?紅外行人再識(shí)別研究仍處于探索的階段，相關(guān)研究還不是很多。最早的可見光-紅外行人再識(shí)別研究集中于可見光行人特征和紅外行人特征的融合上[34-35]，并且這種特征融合的目的是為了提高可見光域行人再識(shí)別算法的準(zhǔn)確率。文獻(xiàn)[34]提出了一種可見光圖像特征、深度圖像特征和紅外圖像特征等三種模態(tài)特征結(jié)合的行人再識(shí)別方法，通過(guò)多模板提取的互補(bǔ)信息進(jìn)行組合，學(xué)習(xí)一個(gè)聯(lián)合分類器。文獻(xiàn)[35]構(gòu)建了一個(gè)雙攝像頭系統(tǒng)，能同時(shí)采集可見光和紅外行人圖像，并采集了一個(gè)跨模態(tài)的數(shù)據(jù)庫(kù)RegDB，通過(guò)深度網(wǎng)絡(luò)學(xué)習(xí)多模態(tài)特征。需要指出的是，雖然RegDB數(shù)據(jù)庫(kù)創(chuàng)建的初衷是用紅外特征提升可見光行人再識(shí)別算法的性能，但后來(lái)被許多研究者用作衡量可見光-紅外行人再識(shí)別算法的效果。

可見光-紅外行人再識(shí)別的主要難點(diǎn)在于不同模態(tài)導(dǎo)致的行人圖像表觀差異較大，因此研究者把精力主要放在如何根據(jù)不同模態(tài)的特點(diǎn)提取行人特征以及如何減少不同模態(tài)之間的特征鴻溝上，主流算法結(jié)構(gòu)如圖6所示。真正意義上的可見光-紅外行人再識(shí)別方法出現(xiàn)在2017年，文獻(xiàn)[36]構(gòu)建了一個(gè)大規(guī)模的可見光-紅外行人再識(shí)別數(shù)據(jù)庫(kù)SYSU-MM01，并在該數(shù)據(jù)庫(kù)上對(duì)主流的行人再識(shí)別算法進(jìn)行了評(píng)估。評(píng)估結(jié)果顯示主流行人再識(shí)別算法在可見光-紅外行人再識(shí)別問(wèn)題上出現(xiàn)了明顯的性能滑坡。除此之外，作者還提出了基于多模態(tài)輸入結(jié)構(gòu)的Deep Zero-padding算法，通過(guò)把不同模態(tài)的輸入圖像嵌入到模態(tài)特定的結(jié)構(gòu)以實(shí)現(xiàn)模態(tài)融合，學(xué)習(xí)對(duì)不同模態(tài)的魯棒特征。文獻(xiàn)[37-38]采用雙流網(wǎng)絡(luò)處理可見光-紅外行人再識(shí)別問(wèn)題，提出了層次跨模態(tài)度量學(xué)習(xí)(HCML)和雙向約束首位排序(BDTR)算法。HCML和BDTR方法首先在淺層網(wǎng)絡(luò)采用不同的參數(shù)提取模態(tài)相關(guān)的底層特征，然后共享高層參數(shù)學(xué)習(xí)高層語(yǔ)義特征。其中，HCML[37]是一個(gè)獨(dú)立的兩步優(yōu)化學(xué)習(xí)模型，首先提取外觀特征，然后進(jìn)行跨模態(tài)度量學(xué)習(xí)以降低類內(nèi)距離，擴(kuò)大類間距離；而BDTR[38]模型則采取端對(duì)端的網(wǎng)絡(luò)結(jié)構(gòu)，把特征提取和度量學(xué)習(xí)結(jié)合為一個(gè)整體的優(yōu)化過(guò)程，并提出了雙向約束首位排序算法以確保同類樣本在識(shí)別中的排序，盡可能提高模型的判別能力。文獻(xiàn)[14]提出了一種基于模態(tài)相關(guān)特征學(xué)習(xí)的可見光-紅外行人再識(shí)別算法，通過(guò)構(gòu)建模態(tài)相關(guān)網(wǎng)絡(luò)、提取模態(tài)關(guān)聯(lián)的低級(jí)特征，在深層共享網(wǎng)絡(luò)參數(shù)、學(xué)習(xí)模態(tài)共享信息，并通過(guò)視角損失和度量損失提高特征的判別能力，顯著地提高了可見光-紅外行人再識(shí)別算法的識(shí)別準(zhǔn)確率。文獻(xiàn)[39]提出了一種跨模態(tài)生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)(cmGAN)，把卷積神經(jīng)網(wǎng)絡(luò)作為特征生成器，判別器則將可見光特征和紅外特征進(jìn)行區(qū)分，結(jié)合分類損失和跨模態(tài)距離度量損失學(xué)習(xí)魯棒的跨模態(tài)特征。文獻(xiàn)[40]首次通過(guò)生成對(duì)抗網(wǎng)絡(luò)產(chǎn)生可見光和紅外行人圖像，提出一種雙向生成對(duì)抗網(wǎng)絡(luò)方法，對(duì)可見光圖像和紅外圖像產(chǎn)生多模態(tài)的圖像組，從而減少可見光行人和紅外行人的表觀差異，實(shí)現(xiàn)特征對(duì)齊，并學(xué)習(xí)分類特征提取、判別行人信息。

圖6 可見光-紅外行人再識(shí)別算法結(jié)構(gòu)Fig.6 Structure of visible-infrared person re-identification methods

最新的可見光-紅外行人再識(shí)別研究雖然能一定程度上提高再識(shí)別算法的識(shí)別準(zhǔn)確率，但是由于不同模態(tài)行人圖像的表觀差異較大，其性能仍然難以讓人滿意。在兩個(gè)主流的數(shù)據(jù)庫(kù)SYSU-MM01和RegDB的實(shí)驗(yàn)結(jié)果顯示，在測(cè)試庫(kù)分別只有100類和200類的條件下，當(dāng)前的主流算法識(shí)別準(zhǔn)確率只有50%左右，距離傳統(tǒng)行人再識(shí)別算法還有很大的差距。

2.3 遮擋行人再識(shí)別

外部遮擋會(huì)導(dǎo)致局部行人圖像缺失，由于主流的行人特征提取過(guò)程是基于完整行人圖像的，因此很難從遮擋圖像提取魯棒行人特征、進(jìn)行特征對(duì)齊。因此，如何克服行人遮擋帶來(lái)的影響，實(shí)現(xiàn)遮擋行人特征和一般行人特征的對(duì)齊，是遮擋行人再識(shí)別研究的關(guān)鍵。當(dāng)前遮擋行人再識(shí)別研究主要有2種思路，一種是基于圖像對(duì)齊的方法，另外一種是基于圖像恢復(fù)的方法，這兩種方法的結(jié)構(gòu)如圖7所示?；趫D像對(duì)齊的方法通過(guò)手工標(biāo)注、顯著性檢測(cè)等方法獲取行人被遮擋區(qū)域，從完整的行人圖像中計(jì)算與未被遮擋的行人部分最為匹配的區(qū)域，然后提取行人特征進(jìn)行身份識(shí)別。基于圖像恢復(fù)的方法則對(duì)遮擋區(qū)域進(jìn)行處理和修復(fù)，用恢復(fù)后的圖像進(jìn)行特征提取和匹配。

圖7 遮擋行人再識(shí)別算法結(jié)構(gòu)Fig.7 Structure of occluded person re-identification methods

最早的遮擋行人再識(shí)別源于2015年，文獻(xiàn)[41]構(gòu)造了一個(gè)包含60個(gè)行人共600張圖像的局部遮擋行人數(shù)據(jù)庫(kù)Partial REID，并提出了局部稀疏表示匹配和全局空間互補(bǔ)匹配的模型，對(duì)人工裁剪去掉遮擋部分的局部圖像與未遮擋圖像進(jìn)行匹配，采用局部分塊聯(lián)合高斯計(jì)算相似性得分以及整體滑窗計(jì)算相似性得分的方法，獲得了優(yōu)于用遮擋圖像匹配的結(jié)果。遮擋行人數(shù)據(jù)庫(kù)的出現(xiàn)極大推動(dòng)了相關(guān)研究的發(fā)展，最近幾年遮擋行人再識(shí)別領(lǐng)域的相關(guān)研究明顯增多。文獻(xiàn)[42]提出了深度空間重建模型，利用全卷積網(wǎng)絡(luò)提取圖像的深度空間特征，并將稀疏編碼重建嵌入深度學(xué)習(xí)重建特征、計(jì)算損失，以找到與局部對(duì)應(yīng)區(qū)域更加接近的特征，提高了匹配的可靠性。文獻(xiàn)[43]提出了空間-通道對(duì)應(yīng)網(wǎng)絡(luò)，利用空間分塊監(jiān)督指導(dǎo)特征提取，利用每個(gè)通道對(duì)應(yīng)關(guān)注圖像中不同的空間部分，為整體全局特征提供應(yīng)該重點(diǎn)關(guān)注的信息，以此解決遮擋行人再識(shí)別的匹配問(wèn)題。文獻(xiàn)[44]提出了一種基于集中學(xué)習(xí)與深度網(wǎng)絡(luò)學(xué)習(xí)的遮擋行人再識(shí)別方法，通過(guò)遮擋模擬器從原始未遮擋訓(xùn)練樣本生成多種類型遮擋訓(xùn)練樣本，生成的遮擋訓(xùn)練樣本與原始訓(xùn)練樣本組成聯(lián)合訓(xùn)練集用于模型的訓(xùn)練，同時(shí)添加遮擋與非遮擋分類損失到行人分類損失中去，有效地應(yīng)對(duì)遮擋下行人再識(shí)別的問(wèn)題，使得深度網(wǎng)絡(luò)在學(xué)習(xí)特征時(shí)會(huì)考慮遮擋與非遮擋的先驗(yàn)信息進(jìn)行特征的提取。文獻(xiàn)[45]提出了可視性感知區(qū)域模型，學(xué)習(xí)不同區(qū)域的區(qū)域特征并通過(guò)自我監(jiān)督學(xué)習(xí)了解區(qū)域的可見性、判斷不同區(qū)域特征對(duì)匹配的重要性，以此學(xué)習(xí)局部圖像和完整圖像之間的共享區(qū)域特征，提高遮擋行人再識(shí)別算法效果。隨著生成對(duì)抗網(wǎng)絡(luò)算法的成熟，最近部分研究者通過(guò)生成對(duì)抗網(wǎng)絡(luò)恢復(fù)被遮擋行人區(qū)域，取得了一些成果。文獻(xiàn)[46]提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的視頻遮擋行人再識(shí)別方法，通過(guò)相鄰視頻幀之間的行人圖像進(jìn)行關(guān)聯(lián)，生成去遮擋后的恢復(fù)行人圖像，避免了行人遮擋帶來(lái)的局部區(qū)域缺失問(wèn)題。文獻(xiàn)[47]提出了一種基于遮擋定位與圖像生成的算法，設(shè)計(jì)了一個(gè)帶有去遮擋功能的網(wǎng)絡(luò)框架來(lái)獲取完整的行人信息，通過(guò)檢測(cè)算法定位被遮擋的行人區(qū)域，并基于遮擋掩膜輸出進(jìn)行去遮擋行人圖像生成，基于生成對(duì)抗網(wǎng)絡(luò)獲取了完整的行人圖像，從而將遮擋行人再標(biāo)識(shí)問(wèn)題轉(zhuǎn)化為完整的行人再識(shí)別問(wèn)題進(jìn)行識(shí)別。

綜上所述，早期的方法提出了一種具體的解決思路，但由于模型學(xué)習(xí)能力有限，提取的特征判別能力不足；最近的方法大多采用局部特征和整體特征進(jìn)行匹配，由于匹配的尺度不一致，還很難實(shí)現(xiàn)魯棒的遮擋行人特征提取和匹配；基于生成對(duì)抗網(wǎng)絡(luò)的遮擋圖像恢復(fù)方法雖然能保證完整的行人匹配過(guò)程，但是技術(shù)還不成熟，恢復(fù)的行人圖像區(qū)域真實(shí)性還很難保證，錯(cuò)誤的圖像生成可能導(dǎo)致錯(cuò)誤的匹配結(jié)果。

2.4 開集行人再識(shí)別

當(dāng)前的行人再識(shí)別算法在閉集測(cè)試中已經(jīng)取得了比較高的識(shí)別精度，但是關(guān)于開集行人再識(shí)別的研究比較少。由于在監(jiān)控環(huán)境中，行人對(duì)象身份不確定，很有可能出現(xiàn)來(lái)自目標(biāo)庫(kù)外的行人。當(dāng)外部環(huán)境行人對(duì)象與目標(biāo)庫(kù)行人對(duì)象在表觀上很相似時(shí)，當(dāng)前算法很容易出現(xiàn)錯(cuò)誤的識(shí)別結(jié)果，因此需要算法來(lái)排除相似的非目標(biāo)行人圖像。開集行人再識(shí)別的研究始于2012年，文獻(xiàn)[48-49]提出了一個(gè)基于遷移排序?qū)W習(xí)的框架，通過(guò)學(xué)習(xí)大量開集樣本的類內(nèi)估計(jì)和類間估計(jì)，并把這種距離估計(jì)遷移到閉集訓(xùn)練庫(kù)以提高行人再識(shí)別算法對(duì)開集問(wèn)題的魯棒性。文獻(xiàn)[50]對(duì)不同攝像頭僅包含部分重疊行人對(duì)象的開集問(wèn)題展開了研究，并提出了一種基于在線條件隨機(jī)場(chǎng)推斷的開集行人再識(shí)別算法，以建立不同攝像機(jī)視角之間的關(guān)聯(lián)。但，所提出的算法很難區(qū)分非常相似的外部目標(biāo)。此后，部分研究人員希望通過(guò)建立開集行人再識(shí)別數(shù)據(jù)庫(kù)推動(dòng)相關(guān)研究的發(fā)展。文獻(xiàn)[51]提出了一個(gè)基于無(wú)人機(jī)拍攝的移動(dòng)端行人再識(shí)別數(shù)據(jù)庫(kù)，并就開放環(huán)境和開集識(shí)別的問(wèn)題展開了研究，測(cè)試了部分主流算法的效果。文獻(xiàn)[52]構(gòu)造了一個(gè)開集的行人數(shù)據(jù)庫(kù)，但是在加入了錯(cuò)誤接受率的約束條件下，當(dāng)時(shí)的主流算法的識(shí)別準(zhǔn)確率都非常低。需要指出的是，上述數(shù)據(jù)庫(kù)的構(gòu)建在學(xué)術(shù)界并沒有引來(lái)很多的研究關(guān)注，基于這些開集行人再識(shí)別數(shù)據(jù)庫(kù)進(jìn)行研究的工作很少。文獻(xiàn)[53]引入生成對(duì)抗網(wǎng)絡(luò)方法進(jìn)行開集行人再識(shí)別研究，通過(guò)生成網(wǎng)絡(luò)產(chǎn)生在閉集目標(biāo)和開集目標(biāo)邊界之間的樣本進(jìn)行訓(xùn)練，并通過(guò)判別器辨別真假行人圖像、目標(biāo)圖像與非目標(biāo)圖像，通過(guò)零和博弈的方式提高神經(jīng)網(wǎng)絡(luò)在開集任務(wù)的魯棒性。文獻(xiàn)[54]提出了一種基于多教師自適應(yīng)相似度蒸餾的行人再識(shí)別算法，從不同場(chǎng)景的教師網(wǎng)絡(luò)中整合知識(shí)，使用目標(biāo)域少量有標(biāo)簽數(shù)據(jù)自適應(yīng)選擇源域中的教師模型進(jìn)行知識(shí)蒸餾，得到適用于目標(biāo)域的輕量化模型，增強(qiáng)了行人再識(shí)別算法跨場(chǎng)景擴(kuò)展的能力，得到對(duì)新場(chǎng)景和新數(shù)據(jù)魯棒性高的行人再識(shí)別系統(tǒng)。

總體而言，目前開集行人再識(shí)別的研究比較少，而且比較零散、各自為戰(zhàn)，沒有形成系統(tǒng)的研究體系。與此同時(shí)，當(dāng)前的開集行人再識(shí)別算法還很難排除表觀相似的非目標(biāo)行人圖像。此外，目前還沒有形成一個(gè)受到廣泛認(rèn)可的開集行人再識(shí)別數(shù)據(jù)庫(kù)，因此很難評(píng)判不同算法的優(yōu)劣。

3 非可控行人再識(shí)別研究主流數(shù)據(jù)庫(kù)

為了研究非可控行人再識(shí)別，以及所面臨的挑戰(zhàn)中的小樣本、可見光-紅外匹配、遮擋和開集等問(wèn)題，研究者公布了許多可用的數(shù)據(jù)庫(kù)。本節(jié)將匯總并簡(jiǎn)單地介紹一些主流的數(shù)據(jù)庫(kù)，關(guān)于非可控行人再識(shí)別研究的常用數(shù)據(jù)庫(kù)如表1所示。

表1 非可控行人再識(shí)別研究主流數(shù)據(jù)庫(kù)
Table 1 Datasets for unconstrained person re-identification researches

研究類型數(shù)據(jù)庫(kù)名稱發(fā)表時(shí)間行人類別數(shù)視角數(shù)量數(shù)據(jù)庫(kù)規(guī)模小樣本行人再識(shí)別VIPER200763221 264CUHK01201297123 884CUHK0320141 4671013 164Market-150120151 501632 217DukeMTMC20171 812836 441MSMT1720184 10115126 441PRID2011201193421 134i-LIDS20111192476MARS20161 26161 191 003可見光-紅外行人再識(shí)別SYSU-MM0120174916303 420RegDB201741218 240遮擋行人再識(shí)別Partial REID201560-900Occluded REID2018200-2 000P-ETHZ20088513 897P-DukeMTMC20161 299824 143開集行人再識(shí)別SAIVT-SoftBio20121508-Flight20142814 096OPeRID201420067 413

首先，介紹小樣本行人再識(shí)別領(lǐng)域的研究。這項(xiàng)研究的關(guān)鍵在于行人數(shù)據(jù)沒有被標(biāo)注，因此研究者只需把已有的監(jiān)督行人數(shù)據(jù)庫(kù)進(jìn)行改造就可以得到小樣本行人數(shù)據(jù)庫(kù)。其中，VIPER、CUHK01[55]、CUHK03、Market-1501和DukeMTMC是比較常用于研究小樣本問(wèn)題的單張圖像行人數(shù)據(jù)庫(kù)；而PRID2011[56]、i-LIDS[57]和MARS[58]則是常用于研究小樣本問(wèn)題的視頻行人數(shù)據(jù)庫(kù)。小樣本行人再識(shí)別的測(cè)試協(xié)議基本與傳統(tǒng)行人再識(shí)別的測(cè)試協(xié)議一致，區(qū)別主要在于訓(xùn)練時(shí)使用的標(biāo)簽數(shù)據(jù)占所有訓(xùn)練數(shù)據(jù)的比例。

當(dāng)前用于可見光-紅外行人再識(shí)別研究的數(shù)據(jù)庫(kù)主要有2個(gè)，分別是SYSU-MM01[33]和RegDB[35]數(shù)據(jù)庫(kù)。其中，RedDB數(shù)據(jù)庫(kù)是通過(guò)1個(gè)可見光-熱紅外雙攝像頭獲取的，共包含412類行人目標(biāo)，每人20張圖像，10張是可見光圖像，另外10張是紅外圖像，識(shí)別的挑戰(zhàn)主要來(lái)自可見光和紅外圖像的模態(tài)差異。RegDB數(shù)據(jù)集的測(cè)試協(xié)議如下：隨機(jī)采樣一半類別的行人進(jìn)行訓(xùn)練，用另外一半行人進(jìn)行測(cè)試。測(cè)試時(shí)，采用可見光或紅外其中一種模態(tài)的行人圖像作為庫(kù)圖象(Gallery)，另外一種模塊作為測(cè)試圖像(Probe)，重復(fù)10遍測(cè)試計(jì)算CMC和mAP作為衡量算法優(yōu)劣的評(píng)價(jià)指標(biāo)。SYSU-MM01是一個(gè)大規(guī)模可見光-紅外行人數(shù)據(jù)庫(kù)，共有6個(gè)攝像頭，獲取了491類行人的超過(guò)30萬(wàn)張圖像。需要注意的是，可見光圖像和紅外圖像的比例有一定的失衡，紅外圖像只有15 792張。因此，使用該數(shù)據(jù)庫(kù)進(jìn)行測(cè)試除了需要處理模態(tài)差異和視角差異以外，還需要考慮訓(xùn)練時(shí)不同模態(tài)樣本數(shù)量的平衡問(wèn)題。SYSU-MM01數(shù)據(jù)庫(kù)的測(cè)試協(xié)議如下：使用296類行人對(duì)象進(jìn)行訓(xùn)練，99類行人對(duì)象進(jìn)行驗(yàn)證，99類行人對(duì)象進(jìn)行測(cè)試，測(cè)試過(guò)程分為室內(nèi)搜索和全搜索兩類，采用CMC和mAP作為衡量算法的指標(biāo)。

為了研究遮擋行人再識(shí)別問(wèn)題，研究者構(gòu)建了Partial REID[41]和Occluded REID[44]數(shù)據(jù)庫(kù)，這兩個(gè)數(shù)據(jù)庫(kù)都是用手機(jī)攝像頭拍攝的。Partial REID包含60個(gè)行人目標(biāo)的900張圖像，每個(gè)行人有15張圖像，其中5張是完整的全身圖像，其余10張是局部圖像或者遮擋圖像。Occluded REID包含200個(gè)行人目標(biāo)的2 000張圖像，每個(gè)人有10張圖像，其中5張是完整的圖像，5張是遮擋圖像。Partial REID和Occluded REID數(shù)據(jù)庫(kù)采用同樣的測(cè)試協(xié)議：隨機(jī)采樣一半類別的行人進(jìn)行訓(xùn)練，使用另外一半行人進(jìn)行測(cè)試，隨機(jī)10遍計(jì)算CMC和mAP衡量算法效果。除了這兩個(gè)專門用于行人遮擋的數(shù)據(jù)庫(kù)，通過(guò)把DukeMTMC和ETHZ[59]數(shù)據(jù)庫(kù)的遮擋行人圖像挑選出來(lái)的方式，研究者建立了P-DukeMTMC和P-ETHZ進(jìn)行遮擋行人再識(shí)別的研究。

在開集行人再識(shí)別研究的早期，部分研究者相繼提出了用于開集問(wèn)題的行人數(shù)據(jù)庫(kù)，分別是SAIVT-SoftBio[60]、Flight[51]和OPeRID[52]數(shù)據(jù)庫(kù)，并基于這些數(shù)據(jù)庫(kù)進(jìn)行了開集行人再識(shí)別的探索。受限于當(dāng)時(shí)的技術(shù)水平，行人再識(shí)別算法在開集問(wèn)題上的識(shí)別精度較低，并沒有形成系統(tǒng)的方法體系。最近兩年，開集行人再識(shí)別的研究熱度有所上升，但是更多地是利用主流的行人數(shù)據(jù)庫(kù)如Market-1501、DukeMTMC等，通過(guò)設(shè)置開集測(cè)試協(xié)議進(jìn)行研究。

4 總結(jié)和展望

本文對(duì)行人再識(shí)別研究面臨的挑戰(zhàn)進(jìn)行了分析，并闡述了小樣本、可見光-紅外匹配、遮擋、開集等行人再識(shí)別關(guān)鍵技術(shù)的發(fā)展現(xiàn)狀、主流方法、使用的數(shù)據(jù)庫(kù)和存在的問(wèn)題。隨著行人再識(shí)別技術(shù)的成熟，通用行人再識(shí)別研究會(huì)遇到瓶頸，識(shí)別能力很難獲得較大的突破。另一方面，由于行人再識(shí)別數(shù)據(jù)標(biāo)記難度很高，也很難借鑒人臉識(shí)別研究中通過(guò)大量標(biāo)記數(shù)據(jù)提升泛化能力的方法。因此，可以預(yù)期在未來(lái)幾年非可控行人再識(shí)別的研究熱度會(huì)進(jìn)一步提升。當(dāng)前非可控行人再識(shí)別算法的識(shí)別性能距離通用行人再識(shí)別算法還有比較大的差距，這是因?yàn)榉强煽丨h(huán)境下行人圖像的表觀差異更大，識(shí)別難度更高；且非可控行人再識(shí)別的數(shù)據(jù)庫(kù)規(guī)模較小，譬如遮擋行人再識(shí)別的主流數(shù)據(jù)庫(kù)的規(guī)模都比較小，不利于獲得魯棒的算法模型。在對(duì)當(dāng)前主流的非可控環(huán)境行人再識(shí)別算法進(jìn)行歸納與分析之后，我們認(rèn)為未來(lái)的研究可能有以下的趨勢(shì)：

1)生成對(duì)抗網(wǎng)絡(luò)將在非可控行人再識(shí)別研究中發(fā)揮越來(lái)越重要的作用：隨著生成對(duì)抗網(wǎng)絡(luò)技術(shù)的進(jìn)步和成熟，生成的行人圖像將越來(lái)越接近真實(shí)圖像，可以用于補(bǔ)充訓(xùn)練樣本、生成跨模態(tài)圖像、恢復(fù)遮擋圖像和生成相似的非目標(biāo)圖像，因此將在推動(dòng)非可控行人再識(shí)別技術(shù)發(fā)展方面發(fā)揮重要的作用。

2)不確定性研究升溫：當(dāng)前基于貝葉斯估計(jì)理論的神經(jīng)網(wǎng)絡(luò)特征不確定性估計(jì)方法已經(jīng)在人臉識(shí)別等任務(wù)中證明了其有效性，而非可控環(huán)境行人再識(shí)別的研究也有許多方面可以用得上不確定性估計(jì)，譬如對(duì)行人圖像被遮擋的概率進(jìn)行估計(jì)，對(duì)測(cè)試圖像的特征進(jìn)行置信度估計(jì)以避免開集目標(biāo)的干擾等，因此可以預(yù)見基于不確定性的非可控行人再識(shí)別研究將有升溫的趨勢(shì)。

3)建立大規(guī)模的非可控行人再識(shí)別數(shù)據(jù)庫(kù)：當(dāng)前用于研究非可控行人再識(shí)別的數(shù)據(jù)庫(kù)都比較小，不利于研究者進(jìn)行深入的研究，因此建立大規(guī)模數(shù)據(jù)庫(kù)勢(shì)在必行。

4)集成多個(gè)非可控行人再識(shí)別問(wèn)題的研究：當(dāng)前關(guān)于非可控行人再識(shí)別的研究都是只關(guān)注其中某一方面，而忽視了算法的整體性。但是，在應(yīng)用中往往是多個(gè)問(wèn)題同時(shí)存在的，因此當(dāng)非可控行人再識(shí)別研究進(jìn)展到一定程度時(shí)，將出現(xiàn)同時(shí)對(duì)多個(gè)問(wèn)題進(jìn)行研究的課題。