基于深度學(xué)習(xí)的行人重識(shí)別研究綜述

孫 鑫 莊珊娜 王正友

（1.石家莊鐵道大學(xué)信息科學(xué)與技術(shù)學(xué)院 石家莊 050043）（2.河北省電磁環(huán)境效應(yīng)與信息處理重點(diǎn)實(shí)驗(yàn)室 石家莊 050043）

1 引言

人工智能系統(tǒng)可感知環(huán)境并為執(zhí)行特定任務(wù)而采取行動(dòng)［1］。計(jì)算機(jī)視覺通過計(jì)算機(jī)獲取有效視覺信息，是人工智能的核心元素之一，在工業(yè)、農(nóng)業(yè)、交通、醫(yī)療等領(lǐng)域廣泛應(yīng)用，并不斷推進(jìn)產(chǎn)業(yè)智能化。行人重識(shí)別［2～5］技術(shù)是當(dāng)前計(jì)算機(jī)視覺研究的熱門方向，為圖像檢索問題，即根據(jù)行人的衣著、姿態(tài)、發(fā)型等信息從非重疊攝像機(jī)視角下的行人圖像庫中找到與某行人屬于同一身份的圖像。實(shí)際中，監(jiān)控視頻被采集于不同場(chǎng)景，由于光線、檢測(cè)、跟蹤的誤差、遮擋和背景雜波等因素，圖片中行人外觀常存在嚴(yán)重變化。另一方面，受限于視頻監(jiān)控探頭的安裝高度及密度，實(shí)際拍到更多的是行人的頭頂、背部或側(cè)臉。此外，即使拍到行人正面，由于距離、行走速度等原因，也可能導(dǎo)致拍攝圖像模糊不清。加之各種攝像機(jī)分辨率也不盡相同，給行人重識(shí)別帶來了極大挑戰(zhàn)。

針對(duì)行人重識(shí)別的研究起始于20世紀(jì)90年代中期。研究者們借鑒并引入了圖像處理和模式識(shí)別領(lǐng)域的成熟方法，側(cè)重研究行人的可用特征與簡(jiǎn)單分類算法。傳統(tǒng)行人重識(shí)別方法采用多種手工標(biāo)注的特征，如顏色［6］、紋理［7］和漸變［8］等，在小型數(shù)據(jù)集上取得了一定的成效。但由于手工標(biāo)注數(shù)據(jù)耗費(fèi)巨大，并不適用于大規(guī)模搜索。類似的限制也發(fā)生在通過優(yōu)化特征距離函數(shù)的傳統(tǒng)距離矩陣學(xué)習(xí)方法上［9］。因此，隨著數(shù)據(jù)量的逐漸增大，傳統(tǒng)方法的泛化能力局限性愈加突顯。

隨著深度學(xué)習(xí)的興起［10～12］，文獻(xiàn)［13］和［14］首次引入卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）處理行人重識(shí)別問題，迅速成為行人重識(shí)別問題的主流研究方向。深度學(xué)習(xí)一方面可更有效地提取特征，且可根據(jù)目標(biāo)變化自適應(yīng)調(diào)整，另一方面具有豐富的架構(gòu)和較強(qiáng)的學(xué)習(xí)能力，可通過線性或非線性映射進(jìn)行目標(biāo)識(shí)別。目前已有大量研究工作利用深度學(xué)習(xí)網(wǎng)絡(luò)提高行人重識(shí)別準(zhǔn)確率［15］，本文著重圍繞2018-2020年期間深度學(xué)習(xí)應(yīng)用于行人重識(shí)別的研究成果進(jìn)行梳理和介紹。

2 深度學(xué)習(xí)的常用方法

在深度學(xué)習(xí)應(yīng)用到行人重識(shí)別初期，大多研究者使用有監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)模型，即采用標(biāo)記數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，以有效提升識(shí)別準(zhǔn)確度。然而隨著數(shù)據(jù)量的不斷增大，數(shù)據(jù)標(biāo)記工作耗費(fèi)巨大，研究者們對(duì)無監(jiān)督學(xué)習(xí)的研究逐步深入。無監(jiān)督學(xué)習(xí)無需標(biāo)記數(shù)據(jù)，為行人重識(shí)別提供了更好的可擴(kuò)展性，有利于實(shí)際應(yīng)用。本節(jié)將從有監(jiān)督與無監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)模型兩方面對(duì)行人重識(shí)別研究狀況展開論述。

2.1 有監(jiān)督學(xué)習(xí)

在行人重識(shí)別問題中，特征相似度是判斷不同圖片中行人是否屬于同一身份的依據(jù)，故特征提取尤為重要，有監(jiān)督學(xué)習(xí)可利用標(biāo)注信息有效提取判別力較強(qiáng)的特征。本節(jié)將分別從基于局部分塊，基于細(xì)粒度信息，基于注意力機(jī)制以及基于對(duì)抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［16］四個(gè)方面來介紹有監(jiān)督學(xué)習(xí)行人重識(shí)別網(wǎng)絡(luò)模型。

2.1.1 基于局部分塊的行人重識(shí)別

解決行人重識(shí)別問題普遍需要獲取全局特征，但全局特征的局部信息表示能力有限，輔以局部特征可為判別提供更多依據(jù)，從而提高行人重識(shí)別準(zhǔn)確率。一方面，獲取身體對(duì)應(yīng)的局部特征可以解決空間錯(cuò)位問題。文獻(xiàn)［17］和［18］采用分析圖像結(jié)構(gòu)的方法來獲取特征對(duì)應(yīng)的部分，例如頭部、胸部、大腿和小腿，并分別提取每個(gè)部分的顏色特征進(jìn)行匹配，但位姿估計(jì)誤差會(huì)對(duì)判別結(jié)果產(chǎn)生較大影響。文獻(xiàn)［19］使用基于CNN的姿態(tài)估計(jì)器提出了動(dòng)作框融合（PoseBox Fusion）網(wǎng)絡(luò)，并引入置信度，減輕了錯(cuò)誤姿態(tài)估計(jì)的影響，同時(shí)獲取人體不同部位的信息，將之進(jìn)行組合獲取準(zhǔn)確豐富的特征。但通常預(yù)訓(xùn)練數(shù)據(jù)集與目標(biāo)數(shù)據(jù)集存在一定差異，這類使用標(biāo)注數(shù)據(jù)集預(yù)訓(xùn)練網(wǎng)絡(luò)的方法泛化能力不足。文獻(xiàn)［20］提出了水平金字塔匹配（Horizontal Pyramid Matching，HPM）方法，將一張行人圖片水平進(jìn)行分割為1、2、4、8個(gè)子部分，分別利用各子部分訓(xùn)練網(wǎng)絡(luò)提取子特征，最后將所有子特征融合進(jìn)行身份分類，提高了局部特征的魯棒性，且可嵌入其他網(wǎng)絡(luò)框架以獲取性能的進(jìn)一步提升。

2.1.2 基于細(xì)粒度信息的行人重識(shí)別

如何區(qū)分外觀相似的行人是行人重識(shí)別的挑戰(zhàn)之一，解決此類問題的關(guān)鍵是提取細(xì)粒度信息，諸如姿態(tài)估計(jì)、人體解析等。文獻(xiàn)［21］提出了語義緊密一致（Densely Semantically Aligned）網(wǎng)絡(luò)模型，將人體特征映射到三維空間，人體表面被分成24個(gè)部分獲取細(xì)粒度語義信息，但該方法往往需要同一人的正反面圖片，有一定局限性。文獻(xiàn)［22］提出了一種類激活映射方法，通過重疊激活懲罰（Overlapped Activation Penalty）損失函數(shù)來判斷激活區(qū)域，不斷擴(kuò)展CNN的空間感知范圍。文獻(xiàn)［23］提出交互聚合模塊（Interaction-and-Aggregation Block，IA-Block）可用于任意CNN層，不僅可獲取像素級(jí)別的細(xì)粒度信息，還可引入通道信息，以此獲得更全面的特征表示。與前文所述針對(duì)圖片本身的方法不同，文獻(xiàn)［24］提出對(duì)行人進(jìn)行屬性標(biāo)注，如“粉色短裙”等，并推導(dǎo)了屬性間的相關(guān)度信息，證明了屬性標(biāo)注信息可與身份標(biāo)簽互補(bǔ)，進(jìn)一步提升行人重識(shí)別的準(zhǔn)確率。文獻(xiàn)［25］同樣將屬性融入特征，提出了基于屬性驅(qū)動(dòng)的特征分離和時(shí)間聚合行人重識(shí)別方法，該方法在空間上對(duì)屬性進(jìn)行分割，并從時(shí)間上對(duì)屬性預(yù)測(cè)概率進(jìn)行聚合。

2.1.3 基于注意力機(jī)制的行人重識(shí)別

若用熱度圖顯示特征激活分布圖，可發(fā)現(xiàn)一般基線網(wǎng)絡(luò)［26］總會(huì)選取人體最具判別力的部分作為行人重識(shí)別的判斷依據(jù)，但研究者們并不希望只關(guān)注部分區(qū)域，而是能夠提取出較為完整的人體信息，即尋找更多值得注意的區(qū)域。文獻(xiàn)［27］使用注意力圖判斷未被注意到的區(qū)域是否包含能夠提供判斷依據(jù)的特征，以獲取完整人體特征。文獻(xiàn)［28］學(xué)習(xí)了多個(gè)預(yù)定義的注意力模型，每個(gè)模型對(duì)應(yīng)一個(gè)特定的身體部位，之后通過時(shí)間注意力模型將這些部位模型的輸出聚合起來。

由于存在攝像機(jī)視角、背景、光線亮度的差異，同一行人的外觀在不同相機(jī)下差異較大，而且行人常被部分遮擋，也可采用注意力機(jī)制引導(dǎo)網(wǎng)絡(luò)專注于需要注意的位置。文獻(xiàn)［29］提出了動(dòng)作引導(dǎo)的特征對(duì)齊（Pose-Guided Feature Alignment，PGFA）方法，通過標(biāo)記地標(biāo)來獲取連接人體部位所在區(qū)域特征，最終使用融合特征結(jié)合水平分塊進(jìn)行相似度計(jì)算，但該方法僅關(guān)注未遮擋部分且只比較部分共享區(qū)域。文獻(xiàn)［30］針對(duì)行人下半身遮擋問題，提出了時(shí)空補(bǔ)全網(wǎng)絡(luò)（Spatio-Temporal Completion network，STCnet），空間生成器生成需要補(bǔ)全的幀，之后使用時(shí)間注意生成器找到相鄰關(guān)鍵幀進(jìn)行補(bǔ)全操作。

2.1.4 基于GAN網(wǎng)絡(luò)的行人重識(shí)別

GAN網(wǎng)絡(luò)也是常被用于解決行人重識(shí)別問題的方法之一。首先，GAN網(wǎng)絡(luò)可處理圖像補(bǔ)全問題，早期針對(duì)圖像缺失問題，大多方法通過匹配和復(fù)制背景補(bǔ)?。?1～32］到缺失的區(qū)域來獲得完整圖像，但對(duì)大型數(shù)據(jù)集，匹配所用圖片是通過隨機(jī)搜索獲得，效率較低。文獻(xiàn)［33］使用完全卷積神經(jīng)網(wǎng)絡(luò)，通過填充任何形狀的缺失區(qū)域來完成任意分辨率的圖像，保持圖像在局部和全局一致，為解決部分遮擋行人重識(shí)別問題提供了一種圖像補(bǔ)全方式。其次，GAN網(wǎng)絡(luò)可輔助生成更多樣本，文獻(xiàn)［34］提取數(shù)據(jù)集中人體的姿態(tài)，利用GAN網(wǎng)絡(luò)生成具有其他相機(jī)風(fēng)格與不同姿態(tài)的逼真樣本來豐富訓(xùn)練集，解決了因缺乏不同姿態(tài)的行人訓(xùn)練數(shù)據(jù)而導(dǎo)致難以匹配的問題。文獻(xiàn)［35］提出統(tǒng)一網(wǎng)絡(luò)中的判別式和生成式學(xué)習(xí)網(wǎng)絡(luò)（Discriminative and Generative Learning in a Unified Network，DG-Net），分別提取行人的結(jié)構(gòu)與外觀特征，再進(jìn)行交叉組合，一方面豐富了樣本，另一方面可挖掘與服裝無關(guān)的身份屬性。

2.2 無監(jiān)督學(xué)習(xí)

隨著行人重識(shí)別模型對(duì)可擴(kuò)展性要求的提高，有監(jiān)督學(xué)習(xí)需要付出較大代價(jià)完成手工標(biāo)注，不利于實(shí)際應(yīng)用，為此研究者們提出了多種無監(jiān)督學(xué)習(xí)算法，下文將分別從基于聚類、基于軟標(biāo)簽和基于Tracklet的無監(jiān)督行人重識(shí)別模型三個(gè)方面對(duì)無監(jiān)督學(xué)習(xí)行人重識(shí)別網(wǎng)絡(luò)模型研究現(xiàn)狀展開介紹。

2.2.1 基于聚類的行人重識(shí)別

基于聚類的行人重識(shí)別方法通常會(huì)根據(jù)圖像特征進(jìn)行聚類操作，并基于聚類結(jié)果為圖片標(biāo)注偽標(biāo)簽，為特征提取提供一定判斷依據(jù)。文獻(xiàn)［36］提出了一種自下而上的聚類方法，首先將每張圖片均視為一個(gè)單獨(dú)個(gè)體，即屬于不同身份（類），最大化類的多樣性，之后通過聚類，逐漸將相似樣本歸為同一個(gè)身份，增加了每個(gè)身份內(nèi)部的相似性。但該方法沒有考慮跨相機(jī)的差異，無法準(zhǔn)確匹配同一個(gè)人跨相機(jī)的身份標(biāo)簽。為獲取更細(xì)致的特征，文獻(xiàn)［37］提出了一種自相似分組（Self-similarity Grouping，SSG）方法，利用未標(biāo)記樣本的潛在相似性（從全局到局部），將圖片分為整體、上、中和下四個(gè)區(qū)域自動(dòng)構(gòu)建多個(gè)集群。為了更加靈活地劃分區(qū)域，文獻(xiàn)［38］通過定位網(wǎng)絡(luò)將人體進(jìn)行分割，提出基于塊的無監(jiān)督學(xué)習(xí)（Patch-based unsupervised learning，PBUL）框架，不僅單獨(dú)針對(duì)相應(yīng)的分割部位進(jìn)行聚類，同時(shí)也對(duì)整體進(jìn)行聚類，最后將全局與局部結(jié)果相結(jié)合進(jìn)行判別。

2.2.2 基于軟標(biāo)簽的行人重識(shí)別

在缺乏標(biāo)記數(shù)據(jù)且行人重識(shí)別應(yīng)用場(chǎng)景各異的情況下，使用迭代聚類和標(biāo)注軟標(biāo)簽是目前較有效的兩類方法，但迭代聚類的聚類數(shù)量通常難以確定，此外，聚類誤差易導(dǎo)致錯(cuò)誤的偽標(biāo)簽和訓(xùn)練損失。以相似度為依據(jù)計(jì)算目標(biāo)圖片中行人屬于某身份的概率，并以此作為圖片軟標(biāo)簽，可避免錯(cuò)誤偽標(biāo)簽帶來的損失。文獻(xiàn)［39］提出軟多表示學(xué)習(xí)（Soft Multilabel Reference Learning）方法，首先將無標(biāo)簽的目標(biāo)圖片與輔助域中的數(shù)據(jù)進(jìn)行比較，選擇相似的圖片作為已知參考人得出參考代理，然后根據(jù)圖片與代理的相似度為每個(gè)無標(biāo)簽?zāi)繕?biāo)學(xué)習(xí)軟多標(biāo)記。文獻(xiàn)［40］將提取的目標(biāo)圖片特征存儲(chǔ)到特征空間，計(jì)算任意兩特征之間的相似性，之后降序排列，選取前K張圖片獲取候選人列表，并標(biāo)記為依賴集，視作同一身份并為其標(biāo)注軟標(biāo)簽作為后續(xù)特征提取的依據(jù)。

2.2.3 基于Tracklet的行人重識(shí)別

值得注意的是，當(dāng)無監(jiān)督行人重識(shí)別方法應(yīng)用到視頻數(shù)據(jù)集時(shí)，可提取行人所在的多個(gè)連續(xù)幀，記為一個(gè)Tracklet（關(guān)聯(lián)軌跡），提取Tracklet的同時(shí)可獲取相機(jī)標(biāo)簽信息（Tracklet來自同一視頻），此時(shí)無監(jiān)督行人重識(shí)別任務(wù)轉(zhuǎn)換成無監(jiān)督Tracklet識(shí)別問題。文獻(xiàn)［41］提出了一種無監(jiān)督Tracklet關(guān)聯(lián)學(xué)習(xí)框架，通過學(xué)習(xí)相機(jī)內(nèi)部以及跨相機(jī)Tracklet的關(guān)聯(lián)性，為每個(gè)相機(jī)建立內(nèi)部Tracklet標(biāo)簽空間，同時(shí)在全局尋找相似的Tracklet，即跨相機(jī)尋找屬于同一身份的Tracklet。文獻(xiàn)［42］提出了一種新穎的Tracklet自監(jiān)督學(xué)習(xí)方法，利用大量未標(biāo)記Tracklet數(shù)據(jù)，依次通過Tracklet幀一致，Tracklet鄰域緊湊以及Tracklet聚類三種方法完成行人重識(shí)別任務(wù)。

3 常用數(shù)據(jù)集介紹及實(shí)驗(yàn)比較

3.1 常用數(shù)據(jù)集

根據(jù)采集形式不同可將行人重識(shí)別常用數(shù)據(jù)集分為兩種，圖片數(shù)據(jù)集有：CUHK03、Market-1501、DukeMTMC-reID、DukeMTMC-attribute和Market1501-attribute，視頻數(shù)據(jù)集為：PRID2011、iLIDS-VID、MARS、和DukeMTMC-VideoReID。各個(gè)數(shù)據(jù)集包含至少兩個(gè)攝像頭以提供不同的視角，具有不同采樣時(shí)間、地點(diǎn)、目標(biāo)人群。

表1展示了近年來行人重識(shí)別領(lǐng)域常用數(shù)據(jù)集，包括五個(gè)圖片數(shù)據(jù)集和四個(gè)視頻數(shù)據(jù)集。表中分別展示了每個(gè)數(shù)據(jù)集的發(fā)布時(shí)間，身份數(shù)，圖片數(shù)，相機(jī)數(shù)以及標(biāo)注方式。其中DPM+GMMCP表示檢測(cè)器自動(dòng)切割［43］。

3.2 實(shí)驗(yàn)比較

常見的試驗(yàn)標(biāo)準(zhǔn)有Rank-n和mAP，其中Rank-n表示n張圖片以內(nèi)可找到正確圖片的概率，mAP用來評(píng)估整個(gè)模型的平均性能。

表1 行人重識(shí)別常用數(shù)據(jù)集

表2給出了有監(jiān)督學(xué)習(xí)在圖片數(shù)據(jù)集上的實(shí)驗(yàn)表現(xiàn)，可以看出局部分塊方法近幾年進(jìn)步最為顯著，在Market1501數(shù)據(jù)集上Rank-1提升了15%左右。在Market1501數(shù)據(jù)集上，文獻(xiàn)［21］取得了最好的效果，mAP達(dá)到了87.6%。在DukeMTMC-ReID數(shù)據(jù)集上，文獻(xiàn)［44］取得了最好的效果，mAP達(dá)到了78.4%。

表2 有監(jiān)督學(xué)習(xí)實(shí)驗(yàn)比較（圖片數(shù)據(jù)集）

表3給出了無監(jiān)督學(xué)習(xí)在圖片數(shù)據(jù)集上的實(shí)驗(yàn)數(shù)據(jù)，可以看出無監(jiān)督學(xué)習(xí)中Market1501數(shù)據(jù)集和DukeMTMC-ReID數(shù)據(jù)集使用較多。從2019年到2020年，在Market1501數(shù)據(jù)集上，mAP性能從38.3%提升到了68.3%，在DukeMTMC-ReID數(shù)據(jù)集上，mAP值提升了26.6%。其中使用聚類的無監(jiān)督效果最好，提升最多。

表4比較了無監(jiān)督學(xué)習(xí)在視頻數(shù)據(jù)集使用三種方法的實(shí)驗(yàn)數(shù)據(jù)，可以看出現(xiàn)階段針對(duì)視頻行人重識(shí)別的無監(jiān)督學(xué)習(xí)研究較少，大多使用MARS數(shù)據(jù)集。由于針對(duì)視頻處理時(shí)，需從中提取關(guān)鍵幀，而提取過程未必完全準(zhǔn)確，從而對(duì)模型的效果產(chǎn)生影響，故針對(duì)視頻的行人重識(shí)別效果相比于針對(duì)圖片行人重識(shí)別效果較差。另一方面，在使用視頻數(shù)據(jù)集的行人重識(shí)別處理中，基于Tracklet關(guān)聯(lián)是目前較常采用的方法，而其他方法則相對(duì)較少。

表3 無監(jiān)督學(xué)習(xí)實(shí)驗(yàn)比較（圖片數(shù)據(jù)集）

表4 無監(jiān)督學(xué)習(xí)實(shí)驗(yàn)比較（視頻數(shù)據(jù)集）

4 結(jié)語

深度學(xué)習(xí)在行人重識(shí)別問題上已取得較大進(jìn)展，利用豐富的架構(gòu)可提取更精確、更細(xì)致的特征，目前各數(shù)據(jù)集上的有監(jiān)督行人重識(shí)別準(zhǔn)確率均已較高，Rank-1可達(dá)95.7%。但仍存在一些方面有待進(jìn)一步研究，如：

1）跨域識(shí)別。將訓(xùn)練好的行人重識(shí)別模型應(yīng)用于另一場(chǎng)景時(shí)，場(chǎng)景之間的差異會(huì)導(dǎo)致網(wǎng)絡(luò)性能大幅下降，研究如何增強(qiáng)行人重識(shí)別網(wǎng)絡(luò)的可擴(kuò)展性以及消除不同數(shù)據(jù)集差異的影響，可減輕在跨數(shù)據(jù)集時(shí)產(chǎn)生的識(shí)別性能下降問題，有待深入研究。

2）無監(jiān)督學(xué)習(xí)。無監(jiān)督學(xué)習(xí)無需數(shù)據(jù)標(biāo)注且具有較高的可擴(kuò)展性和可移植性，更適用于實(shí)際應(yīng)用。但因缺少標(biāo)記數(shù)據(jù)來引導(dǎo)網(wǎng)絡(luò)訓(xùn)練，目前識(shí)別準(zhǔn)確率較低，研究如何利用無監(jiān)督網(wǎng)絡(luò)提取高鑒別性的特征提高行人重識(shí)別準(zhǔn)確率有利于增強(qiáng)深度學(xué)習(xí)網(wǎng)絡(luò)的實(shí)際可用性，具有較高的研究?jī)r(jià)值。

3）網(wǎng)絡(luò)復(fù)雜度。深度學(xué)習(xí)網(wǎng)絡(luò)能夠?yàn)樾腥酥刈R(shí)別提供更具有鑒別力的特征，但實(shí)際情況中常存在諸如行人遮擋、分辨率低等問題，深度學(xué)習(xí)網(wǎng)絡(luò)需要大量復(fù)雜的參數(shù)，其中不乏需要人工設(shè)定的參數(shù)。如何減輕網(wǎng)絡(luò)復(fù)雜度，降低人工干預(yù)度，提高網(wǎng)絡(luò)架構(gòu)的自適應(yīng)能力是一個(gè)值得進(jìn)一步研究的方向。

本文主要圍繞有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)梳理了2018-2020年行人重識(shí)別方面主要研究工作，列舉常用數(shù)據(jù)集，介紹各類方法目前所能達(dá)到的識(shí)別效果，最后對(duì)行人重識(shí)別的未來研究方向做了簡(jiǎn)單分析和討論。