基于多源信息的行人再識別研究綜述

杜卓群，胡曉光，楊世欣，李曉筱，王梓強，蔡能斌

1.中國人民公安大學 信息與網(wǎng)絡安全學院，北京100038

2.中國人民公安大學 偵查學院，北京100038

3.上海市現(xiàn)場物證重點實驗室，上海200083

近年來，視頻監(jiān)控成為了刑偵領域的一項關鍵技術，在案件的偵破過程中，視頻偵查在安全防范、追蹤犯罪嫌疑人行蹤等方面起到了重大作用。

行人再識別（Person re-identification，Re-ID）是指利用計算機技術來對特定的行人進行身份匹配，確定不同的、沒有重疊視野的攝像頭下的行人是否同一的技術[1-2]。這一研究是計算機視覺和模式識別這兩個領域的前沿課題，在如今建設“平安城市”的大背景下[3]，公安機關在安保上投入良多，行人再識別這一新興技術因此被廣泛地應用于安防、刑偵和智能視頻監(jiān)控領域。

對于行人再識別系統(tǒng)來說，一般包含三個模塊：行人檢測、行人追蹤和行人檢索[4]。行人檢索又稱行人再識別，是研究的核心內容。近年來，該領域得到了學界廣泛的關注，國內外提出了大量的行人再識別模型，而如今在限定的仿真條件下已能達到較好的識別率。

傳統(tǒng)的行人再識別研究聚焦于視覺信息中的可見光圖像，在實際的監(jiān)控視頻系統(tǒng)中，由于攝像機的成像質量、光照強度、監(jiān)控視角以及行人姿態(tài)不同、遮擋等原因的出現(xiàn)，導致同一行人在不同攝像機下外觀特征呈現(xiàn)較大的差異。為了解決這些研究難題，研究人員們將紅外圖像、深度圖像、素描人像等圖像引入了行人再識別視覺信息的研究。同時，文本信息和時空信息也提供了更加廣泛的特征用以識別，時空信息的應用也為跨域無監(jiān)督學習的行人再識別算法提升起到了很大的作用，引起了研究人員們的關注。這些多源信息應用于行人再識別研究中，從更多的角度對傳統(tǒng)的算法進行了改良和優(yōu)化，從而達到了更好的識別效果。

本文從行人再識別領域涉及到的多源信息的角度，對近年來多源信息用于行人再識別的研究進行梳理，從視覺特征、文本特征、時空特征三個方面的應用進行了闡述總結，對當前研究現(xiàn)狀和未來發(fā)展趨勢進行了探討和歸納。

1 基于視覺信息的行人再識別

行人再識別研究是從對攝像機所采集到的視覺信息開始的。最初的研究多是基于可見光圖像，實驗室條件下，行人再識別模型在一些公開數(shù)據(jù)集上已經(jīng)達到了較好的識別效果。為了讓模型更加魯棒，達到更好的識別效果，研究人員將紅外圖像、深度圖像甚至素描圖像也引入到了行人再識別的研究當中。

1.1 可見光圖像

可見光圖像（RGB image）在傳統(tǒng)的行人再識別領域中應用十分廣泛，它具有較高的分辨率和豐富的細節(jié)信息。行人再識別最早是應用傳統(tǒng)的人工設計特征的方式，隨著深度學習技術的發(fā)展，如今使用了卷積神經(jīng)網(wǎng)絡、生成對抗網(wǎng)絡等方式，已經(jīng)發(fā)展到了相對成熟的程度。

行人再識別最初來源于多攝像機追蹤（multicamera tracking）的一個子問題來進行研究的，2005 年文獻[5]首次提出了“行人再識別”這一概念，2007 年文獻[6]創(chuàng)建了第一個公開行人再識別數(shù)據(jù)庫VIPeR，從此行人再識別成為了計算機視覺一個獨立的概念。

早期的行人再識別采用設計手工特征的方式，通過對全局特征[7-10]或局部特征[11-15]的提取來識別行人圖片；度量學習的方式同樣也是行人再識別的主流方法，利用相關特征通過標準距離度量來縮小或增大圖像間的距離，從而達到聚類的目的。常見的度量學習損失函數(shù)包括對比損失[16]、三元組損失[17-19]、四元組損失[20]、中心損失[21]等；隨著計算機視覺的發(fā)展，深度學習網(wǎng)絡在行人再識別中得到了廣泛的應用，深度神經(jīng)網(wǎng)絡（Deep Neural Networks，DNN）可以嵌入更加魯棒的特征和學習更準確的相似性度量，與此同時卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）更能結合全局特征，細粒度特征提取上更具泛化性，提取的特征比手工提取更加具有判別性，從而使得行人再識別的算法識別率得到了巨大的提高。

近年來很多表現(xiàn)優(yōu)秀的算法在公開數(shù)據(jù)集Market-1501[22]、DukeMTMC-reID[23]上首位準確率Rank-1 已經(jīng)達到了90%以上，但在行人圖像的姿態(tài)改變、光照條件變化、目標遮擋等情況下，一些表現(xiàn)優(yōu)越的算法或多或少出現(xiàn)了性能的下降。

為了解決這些問題，研究人員從特征提取的角度上對算法進行了改進，如改進目標檢測算法[24]以改善目標遮擋問題所帶來的影響；引入生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）[25]克服視角、光照等情況改變而帶來的圖像風格差異；增加注意力機制（attention mechanism）[26]對提取目標主體部分加權，提升算法運算效率。

除此之外，研究人員的目光不單單局限于可見光圖像，隨著紅外相機和深度相機的廣泛使用，紅外信息和深度信息等其他視覺信息也加入了行人再識別的研究當中。

1.2 紅外圖像

紅外圖像（Infrared image）是通過環(huán)境中不同的物體發(fā)出的熱輻射強度不同來探測目標。單獨的紅外圖像缺乏細節(jié)信息，但在低照度環(huán)境或是目標被隱藏的環(huán)境中有較好的應用[27]。僅可見光圖像進行的行人再識別研究會由于光照條件等情況的變化出現(xiàn)性能的下降，在夜間條件下，可見光圖像行人再識別很難再達到不錯的效果。而今很多攝像機將紅外與可見光功能整合在了一起，其中紅外相機在白天黑夜都可以獲取行人紅外信息，這為研究可見光-紅外跨模態(tài)行人重識別提供了有利條件。

在可見光與紅外行人再識別任務的處理中，最初研究者們主要將目光集中于，如何減少或者跨越紅外模態(tài)和可見光模態(tài)之間的特征鴻溝。文獻[28]的調查研究得出，如果要應用傳統(tǒng)的行人再識別算法，跨模態(tài)的行人再識別任務的性能發(fā)生了極大的下降，他們?yōu)榱搜芯縍GB 圖像和IR 圖像的跨模態(tài)行人再識別，建立了一個大規(guī)模的行人再識別數(shù)據(jù)庫SYSU-MM01，并且提出了一種基于DeepZero-Padding 的方式進行行人再識別工作。深度零填充流程如圖1所示，作者在圖像的通道上對RGB圖像和IR圖像進行了填充，首先將RGB圖像轉化為灰度圖像，并將之放在第一通道中，而后零填充圖像并放在第二通道，再對IR圖像的第一通道零填充，其IG 圖像本身放在第二通道中，最后使用SoftMax Loss將填充后的兩種圖進行行人標簽有監(jiān)督的訓練，達到可見光-紅外的跨模態(tài)行人再識別效果。

圖1 可見-紅外深度零填充示意圖

文獻[29]采用了可見光+紅外這種雙攝像頭的采集方式，同時使用了可見-紅外兩種信息用于行人再識別工作。這樣做可以減少噪聲背景等干擾，作者嘗試使用了卷積神經(jīng)網(wǎng)絡（CNN）來進行圖像特征提取，并且為了實驗，研究人員采集了一個跨模態(tài)數(shù)據(jù)庫RegDB，后來被廣泛用作可見光和紅外光的跨模態(tài)識別訓練。

文獻[30]為了解決可見-紅外兩種模態(tài)間的差異，將兩種不同模態(tài)的信息映射在相同的特征空間中，用同一種度量方式來度量其相似性，提出了雙向雙約束頂級損失（Bi-directional Dual-Constrained Top-Ranking，BDTR）這一方法。通過雙向雙約束網(wǎng)絡提取RGB和IR圖像的特征信息，使用雙重排序損失（Bi-directional ranking loss）進行了有監(jiān)督的訓練，拉近了不同模態(tài)相同行人間的距離，應用雙重約束頂級損失（dual-constrained topranking loss）的方式，引導了不同模態(tài)下同一行人特征的融合，增強了特征表示的可分辨性。BDIR 方法的具體網(wǎng)絡構架圖如圖2所示。

圖2 BDIR網(wǎng)絡框架圖

文獻[31]提出了一種跨模式生成對抗網(wǎng)絡cmGAN（cross-modality Generative Adversarial Network）的方式來解決RGB圖像和IR圖像兩模態(tài)中用于行人再識別的區(qū)分信息的問題。該方法同樣也使用了與BDTR 類似的思路，設計了一種基于判別器的生成式對抗訓練，從不同的模式學習判別性特征表示，使得不同模態(tài)負樣本對距離大于正樣本對距離。作者將識別損失和跨模態(tài)三重態(tài)損失進行了整合，這可以最大程度地減少類間的歧義，同時提高實例之間的跨模態(tài)相似度。這篇文章將GAN的方法創(chuàng)造性地引入了可見紅外跨模態(tài)行人再識別中，提供了一種新的思路。但該方法在跨模態(tài)數(shù)據(jù)集應用上并沒有取得很好的效果，并不能很好地克服模態(tài)間的變化。為了提高兩模態(tài)之間的相似性，文獻[32]提出了一種新的對齊生成對抗性網(wǎng)絡AlignGAN，將可見光圖像通過CycleGAN生成對應的紅外圖像，通過特征對齊模塊將生成的紅外圖像與真正的紅外圖像進行匹配，從而將跨模態(tài)問題轉化為判別“紅外”圖像行人是否一致的單一模態(tài)問題。這種方式只是將可見光圖像轉換為了紅外圖像，在這種想法的基礎上，文獻[33]則是將可見光與紅外兩種圖像相互轉化。作者提出了一個減少兩級差異學習D2RL（Dual-level Discrepancy Reduction Learning）方案，對圖像級的子網(wǎng)進行了培訓，將紅外圖像轉化為可見光RGB圖像，共同使用特征嵌入減少差異，這樣使用統(tǒng)一表示的方式，特征級子網(wǎng)可以通過特征嵌入更好地減少外觀差異。文獻[34]對D2RL 方法進行了進一步的改進，提出了一種基于自注意力模態(tài)融合的網(wǎng)絡。將CycleGAN 生成的跨模態(tài)圖像與原圖像對比學習訓練兩種模態(tài)特征，而后通過自注意力模塊進行篩選，對保留下來的原始和轉換后的特征經(jīng)過Max 層融合，最后使用融合特征進行訓練，數(shù)據(jù)跨模態(tài)的識別率得以提高。然而GAN的方法生成的圖像質量都相對較差，有相當?shù)脑肼暩蓴_，從而影響算法識別率。2021年，基于GAN的思路，文獻[35]提出了一種新的RGBT（RGB-Thermal）表示學習框架，用于單RGB圖像行人再識別。通過CycleanGan將RGB圖像轉化為紅外圖像，根據(jù)合成的RGBT 數(shù)據(jù)學習表示，采用注意網(wǎng)絡改善兩模式之間平衡信息，可在傳統(tǒng)RGB 的行人再識別任務中釋放照明和消除背景雜波。

與幾種利用GAN 的方式縮小模態(tài)間隙所不同的，文獻[36]創(chuàng)造性地引入了一個輔助的框架X modality，來縮小模態(tài)間的差異，將紅外-可見光的雙模態(tài)任務轉化為X-Infrared-Visible 三模態(tài)學習任務，稱之為XIV 學習框架，該結構框架如圖3所示。作者認為，X模態(tài)圖像比GAN 的方式更為輕量高效，使用特征學習器將三種模態(tài)圖像輸入，在共同的特征空間里共享信息，X 模態(tài)可從可見光和紅外圖像中學習優(yōu)化，以聯(lián)合的方式提取跨模態(tài)特征和分類輸出。

圖3 XIV學習框架

文獻[37]提出了一種端到端的學習框架HPILN（Hard Pentaplet and Identity Loss Network），對現(xiàn)有的單模態(tài)行人再識別進行了適合于跨模態(tài)情況下的改造，使用新的損失函數(shù)Hard Pentapelt Loss同時處理單模態(tài)和跨模態(tài)的特征變化，并且還使用了身份損失函數(shù)提取身份損失信息，學習分離特征，以此提高模型性能。

以往的可見紅外跨模態(tài)都在關注兩種模態(tài)共享特征學習，而很少關注特異特征。D2RL通過GAN的方式將紅外圖像轉化為可見光圖像的形式，但這樣的方式可能會出現(xiàn)不同的顏色特征，很難與可見光圖像對應出正確目標。文獻[38]針對這樣的局限性，提出了一個端到端的跨模態(tài)共享特征轉移（cross-modality Shared-Specific Feature Transfer，cm-SSFT）的算法，該算法可以同時利用各模態(tài)自身的特定（specific）信息及模態(tài)間的共享（shared）信息，根據(jù)不同模態(tài)樣本對共享特征親和力來建模，在模態(tài)間或跨模態(tài)轉移共享特征，使得整個網(wǎng)絡可以更有效地得到更多的信息，同時作者還提出了一種補充學習策略，學習自我區(qū)分和補充特征，大大提高了算法的優(yōu)越性能和有效性。

大多數(shù)的可見-紅外行人再識別主要關注如何消除模態(tài)間的差異，而對模態(tài)內差異的減少缺乏關注。為了同時緩解模態(tài)內和模態(tài)間共同的差異，文獻[39]提出了一種層次交叉模態(tài)分解（Hierarchical Cross Modality Disentanglement，Hi-CMD）的方式，利用該模型自動分解可見光和紅外圖像中的鑒別因子（身體形狀、服飾圖案等）和排除因子（人體位姿、光照條件等），同時減少了模態(tài)內和模態(tài)間的差異。與其他關注于如何設計特征嵌入網(wǎng)絡的方法相比，Hi-CMD 專注于圖像級方法，采用圖像生成技術與可見-紅外跨模態(tài)識別任務結合，有效彌補了兩模態(tài)之間的差異。

文獻[40]提出了一種適合單模態(tài)和跨模態(tài)行人再識別的基準方法AGM（Attention Generalized Meanpooling with weighted triplet loss），其網(wǎng)絡框架圖如圖4 所示。該方案在BagTricks[41]方法的基礎上進行了改進，對非局部注意力機制進行融合，采用了廣義均值（Generalized-Mean，GeM）池化的方式進行細粒度特征的提取，GeM池化公式如下：

圖4 AGM網(wǎng)絡框架圖

式中，fk代表特征圖，K代表最后一層中的特征圖數(shù)量。Xk是特征映射k∈{1,2,…,K} 的W×H激活集。pk是在反向傳播過程中學習的池化超參數(shù)。上述操作近似于pk→∞時的最大池化和pk=1 時的平均池化。在損失函數(shù)方面，除了使用SoftMax交叉點的基線身份損失之外，作者還提出了一個加權正則化的三元組（Weighted Regularization Triplet，WRT）損失，這種方式繼承了正負樣本對之間相對距離優(yōu)化的優(yōu)點，卻避免了引入額外裕度參數(shù)的問題。該方法在解決四種不同類型的任務上都取得了不錯的效果，在可見-紅外跨模態(tài)問題上實現(xiàn)了較高的準確率。

為了解決可見光和紅外兩種模態(tài)間的差異，研究人員多是在對全局特征進行改進[28]，而在RGB-IR 的任務中，共同特征是衣服圖案和衣服類型，這些類型不受顏色和姿態(tài)變化影響。這樣的局部特征更具有區(qū)分性，因此，文獻[42]引入了近年來流行的注意力機制，提出了一種跨模態(tài)多粒度注意網(wǎng)絡（Cross-modal Multi-Granularity Attention Network，CMGN），該網(wǎng)絡使用了一個“蝴蝶型”的注意模塊來學習局部特征，并將其與全局特征融合，增強了提取特征的可區(qū)分性，大大提高了可見紅外跨模態(tài)行人再識別模型性能。

近年來可見光-紅外行人再識別得到了國內外學者們的一致關注，近些年來發(fā)表的優(yōu)秀論文層出不窮，但在可見光-紅外研究常用的兩個數(shù)據(jù)庫SYSU-MM01和RegDB上，由于該數(shù)據(jù)庫規(guī)模較小，可見-紅外行人再識別算法識別率在最新的研究中仍然無法達到較高的識別率。不同類型圖像間模態(tài)的差異仍是跨模態(tài)特征匹配的一大問題，但紅外相機的出現(xiàn)對解決夜間環(huán)境下等光照較差情況的行人再識別提供了一個很好的思路。

1.3 深度圖像

深度圖像（Depth image）也稱距離影像（range image），是指從相機到場景中各點的距離作為像素值的圖像，可以反映物體表面的幾何形態(tài)。深度圖像可以經(jīng)過坐標轉化計算為點云數(shù)據(jù)，有規(guī)則及必要信息的點云數(shù)可以反算為深度圖像數(shù)據(jù)。深度圖像包含著場景內人物表面到視點的距離信息[43]，該種圖像提供了行人的身體形狀和骨架的信息。同時，根據(jù)每個像素點蘊含的不同深度值，也可以將行人從復雜的背景中提取出來。由于其深度相機成像范圍相對可見光RGB 相機而言較小，因而在室外大場景的情境中應用有限，但在室內小場景中，深度圖像在人機交互場景的應用有廣闊的前景。

2013年，為了解決可見光圖像在特殊光照等其他極端條件下，行人再識別特征識別率下降的問題，文獻[44]最早提出了將可見光圖像、紅外圖像、深度圖像三種特征放在一個聯(lián)合分類器中，提取互補的信息，從而可以將特征融合成一個三模態(tài)再識別系統(tǒng)，如圖5所示。雖然該系統(tǒng)在識別新人時會出現(xiàn)一些錯誤，但并不影響再識別的性能，并且這三種模態(tài)融合的方式提高了識別率，該研究也為其他視覺信息的融入提供了一種新的思路。

圖5 三模態(tài)重識別系統(tǒng)管道

由于深度圖像可以獲取到身體形狀和骨架信息，該種信息可以解決行人更換衣物這一問題所帶來的挑戰(zhàn)。文獻[45]將軟生物特征引入了行人再識別這一領域當中，使用深度相機提取了行人的3D 骨骼身體模型的點云，利用骨架信息構建描述符，以機器學習對其分類。研究人員為此收集了一個含有可見光圖像、深度圖像、人的分割圖以及人體骨骼數(shù)據(jù)的數(shù)據(jù)庫命名為BIWI RGBD-ID。

除了骨架特征外，運用人體形狀和運動動力學，文獻[46]聚焦于在沒有RGB圖像的前提下識別人，對人獨一無二的步態(tài)特征提出了一種4D 循環(huán)注意力模型，將卷積和遞歸神經(jīng)網(wǎng)絡結合，用來識別小型且有區(qū)分性的區(qū)域。文獻[47]更加關注于人體形態(tài)的描述，利用深度體素協(xié)方差描述符，并進一步提出局部旋轉不變深度形狀描述符，描述行人身體形狀。同時，與文獻[46]相反的是，本篇關注了在深度圖像不可用時，用一種隱式特征傳輸方案，從RGB 圖像中提取深度信息。基于從RGB圖像中提取利用深度信息的思路，文獻[48]提出了一個強化深度特征融合的模型，該模型在ResNet50 網(wǎng)絡基礎上加入了幾何特征不變（Scale-Invariant Feature Transform，SIFT）特征，與深度特征進行特征融合互補，加強了網(wǎng)絡的魯棒性，達到了提取到更好的行人特征的效果。此外，該模型還可以處理行人檢測的任務。

由于深度圖像在室內小場景中有廣闊的應用前景，文獻[49]為了研究基于機器人平臺上的人機交互，對機器人可以使用的高分辨率的RGB-D的傳感器，收集外觀和骨架信息，提出了一種特征漏斗模型（Feature Funnel Model，F(xiàn)FM），通過在作者自己收集的數(shù)據(jù)集RobotPKU RGBD-ID 上實驗，得到了這種方式讓度量模型更能適應環(huán)境變化，具有可移植性，提高了識別率。

之前的研究多是單獨從兩個不同通道利用RGB和深度信息，而忽略了兩模態(tài)間的共享特征和交互關系。近年來，文獻[50]提出了一種跨模態(tài)蒸餾網(wǎng)絡（crossmodal distillation network），將兩種圖像嵌入到一個共享特征空間中，通過兩步優(yōu)化過程，提取RGB圖像和深度圖像行人軀干結構的共同特征，將深度圖像中包含的人體姿態(tài)信息轉成RGB 模態(tài)，利用這樣的信息在RGB模態(tài)中進行檢索。該方案在BIWI 和RobotPKU 兩個數(shù)據(jù)集上的mAP 都取得了優(yōu)于之前方案的10%左右。同年發(fā)布的文獻[51]則是提出了一種既可以用于識別三維物體又可以識別行人的均勻和變分的深度學習（Uniform and Variational Deep Learning，UVDL）方法，用兩個神經(jīng)網(wǎng)絡分別從RGB 圖像和深度圖像中提取外觀特征和深度特征，設計一個統(tǒng)一且可變的多模態(tài)自動編碼器，將兩組特征投影到公共空間，最小化鑒別損失、重構誤差。這種方法提供了一種一般化的可用于多模態(tài)對象的深度學習方法，可以推廣到紅外圖像等其他視覺信息進行進一步的研究。

深度圖像在應用于光照條件變化、衣著變化、背景噪音大這些問題下，與只利用可見光圖像相比算法得到了一定的提升。但在行人距離相機太遠時，深度圖像還存在一定的局限性。同時，深度相機一般布置于室內場景，很少布置于室外，同樣為深度圖像與可見光圖像結合的行人再識別算法提升造成了一定的困難。

1.4 素描圖像

素描人像（Sketch portrait）的出現(xiàn)源于單單利用自然言語信息進行識別存在一定的局限性，而專業(yè)的技術人員可通過目擊人描述繪制相應的素描人像。于是，2014 年起研究人員將素描人像應用于行人再識別領域中，對繪制的“草圖”與相機拍攝出來的照片進行對比識別。

研究人員們剛開始試圖將草圖和相片建立聯(lián)系獲得識別，后來才將素描人像也應用在了行人再識別的研究中。文獻[52]在原有草圖圖像檢索的基礎上，開創(chuàng)性地提出了在細粒度的框架上檢索草圖，他們引入了基于零件模型（Deformable Part-based Model，DPM）作為中級表示策略，以此來學習目標對象的姿勢，在這個模型上進行圖形匹配建立兩模態(tài)之間的關系，從而達到識別的功效。為此研究人員還創(chuàng)建了一個SBIR 數(shù)據(jù)集，為之后的基于細粒度的草圖研究打下了堅實的基礎。文獻[53]為了研究基于草圖的細粒度圖像檢索（Fine-Grained Sketch-Based Image Retrieval，F(xiàn)G-SBIR）彌合照片和草圖之間的領域鴻溝，引入了跨域圖像合成工作，提出了一種基于跨域深層解碼器的判別-生成的混合模型，可以增強學習的嵌入空間，保留兩模態(tài)的不變信息，減少兩模態(tài)之間的差異。文獻[54]提出了一種新型的深層FG-SBIR模型，引入了視覺細節(jié)的空間位置敏感模塊實現(xiàn)空間感知，將粗略和精細的語義信息結合，這樣可以聚焦于草圖和相片局部區(qū)域的細微差別，計算出其深層特征。最后引入了基于高階可學習能量函數(shù)（Higher-Order Learnable Energy Function，HOLEF）損失并對其特征建模，使得建模結果更具有魯棒性。文獻[55]為了對徒手繪制的草圖進行圖形檢索，建立了一個新的數(shù)據(jù)庫，使用三元組注釋深度學習網(wǎng)絡，實現(xiàn)草圖和圖像之間細粒度的檢索。文獻[56]首次將素描人像用于行人再識別中，提出了素描行人再識別模型（SketchRe-ID）這一概念，作者對該種模型提供了一種對抗學習的方式如圖6 所示，來共同學習身份特征和不變特征，并創(chuàng)建了一個SketchRe-ID數(shù)據(jù)集。

圖6 跨域對抗性特征學習

將素描人像與攝像頭下人的圖像做行人再識別的這一數(shù)據(jù)庫SketchRe-ID 體量較小，且數(shù)據(jù)庫中的素描圖像與相片具有一定的相似度。而這一研究是否可以應用于現(xiàn)實，實際應用繪制的各種類型風格素描人像是否可以達到一定的識別率，還有待進一步的研究。

2 基于文本信息的行人再識別

在公安實踐應用中，有時候相機數(shù)據(jù)并不是隨時都可以獲得的。在無法獲得目標對象的圖像信息的前提下，可以通過目擊證人獲得一部分的語言描述作為標簽，將文本信息與視覺信息進行比對，從而開展行人再識別的工作。

2017年以來，研究人員將模糊的自然語言信息與行人再識別領域相結合，做出了一系列的研究。文獻[57]為了自然語言和行人再識別結合的研究，創(chuàng)建了一個包含詳細自然語言注釋和人員樣本的大規(guī)模數(shù)據(jù)庫CUHK-PEDES（CUHK Person Description Dataset），作者提出了一種具有門控神經(jīng)注意的遞歸神經(jīng)網(wǎng)絡（GNA-RNN）來學習詞匯和人像之間的關系，提取特征根據(jù)相關度給予不同的權重，根據(jù)相關度排序檢索結果。文獻[58]提出了一種對抗式跨模態(tài)檢索的方式（Adversarial Cross-Modal Retrieval，ACMR），基于對抗學習的方式尋找對抗子空間，將兩個模態(tài)提取特征提取到子空間后，輸入到一個模態(tài)分類器，使用該分類器根據(jù)子空間特征判別出來自于圖像形態(tài)還是文字形態(tài)，通過對抗學習讓類內兩個模態(tài)的特征投影更加緊湊。文獻[59]采用了雙路CNN 的結構來分別提取視覺特征和文本特征進行訓練，這種端到端的學習系統(tǒng)可以直接從數(shù)據(jù)學習并充分利用監(jiān)督。作者提出了實例損失（instance loss）的方式，可以更好地為排序損失提供權重初始化，學習更多的判別式嵌入。文獻[60]引入了監(jiān)督信息人體姿態(tài)，結合名詞描述和視覺特征獲得位姿的相關特征圖，利用可視化驗證了實驗效果，提出了姿勢指導的多粒度注意力網(wǎng)絡（Pose-guided Multi-granularity Attention network，PMA），研究人員在CUKH-PEDES數(shù)據(jù)集上進行了大量的實驗證明了他們技術的優(yōu)越性。文獻[61]提出了基于隱空間特征學習的跨模態(tài)檢索方法，為了提高跨模態(tài)特征的匹配性能，提出了兩個損失函數(shù)，分別是跨模態(tài)投影匹配（Cross-Modal Projection Matching，CMPM）損失和跨模態(tài)投影分類（Cross-Modal Projection Classification，CMPC）損失，可以優(yōu)化跨模態(tài)的投影性能，學習更具有判別性特征的隱層特征。文獻[62]對基于自然語言的行人再識別任務提出了多粒度的匹配方案，為了解決現(xiàn)有的細粒度跨模態(tài)檢索問題，作者提出了一種多粒度圖像-文本對齊（Multi-granularity Image-text Alignments，MIA）的訓練模型，框架如圖7所示，可以在多粒度（global-global，local-local，global-local）上實現(xiàn)的視覺和文本信息精準匹配。

圖7 MIA總體框架

除了利用文段信息進行匹配外，一些研究人員將文段中的文本信息提出一個個詞匯，將這些作為標簽，作為行人屬性信息。文獻[63]將這樣的行人屬性信息與判別式卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）結合，提出了一個行人屬性判別網(wǎng)絡（Attribute-Person Recognition，APR）。作者對公開數(shù)據(jù)集Market1501和DukeMTMC的行人屬性進行標注，用APR網(wǎng)絡對行人屬性信息和圖像信息同時提取，大幅度提高了行人再識別的準確率。文獻[64]在APR模型的基礎上，對其進行了改進。在網(wǎng)絡結構中增加了全連接層，在損失函數(shù)中基于屬性樣本數(shù)量進行了歸一化處理，對樣本數(shù)量不均衡的問題進行了調整，通過調節(jié)各損失層的權重處理了正負樣本數(shù)量不均的問題。這篇文章在各數(shù)據(jù)集上的首位匹配率Rank-1 較APR 有所提升，數(shù)據(jù)集之間的交叉識別率也有部分的上升。

文本信息作為行人再識別一跨模態(tài)信息很早便得到了廣泛的關注，從最初的全局模態(tài)信息對齊發(fā)展到了如今的局部模態(tài)信息對齊，也逐步引入了注意力機制、人體姿態(tài)加強等方式，在近年來的發(fā)展下識別率逐漸得到了提高。

3 基于時空信息的行人再識別

行人再識別現(xiàn)有的研究多基于樣本有標注的有監(jiān)督學習的方法，并且有監(jiān)督學習下的算法性能已經(jīng)達到了較高的準確率，而如果想要將訓練好的算法應用于新的場景時，仍然需要對大量的樣本進行標注構建相應的標簽，在實際應用中有相當?shù)木窒扌?。無監(jiān)督學習雖然可以在不同場景中都得到應用，但由于缺乏標簽信息的訓練，其算法的準確性較有監(jiān)督學習而言較低，還不足以達到實際應用的要求。在攝像機提取行人圖像分辨率較低的前提下，模糊圖像很難利用視覺特征進一步提高模型的性能，因此國內外許多學者將目光聚焦在了行人重識別中攝像機采集到的另一些信息上。

除了得到廣泛研究和關注的圖片、視頻信息這些視覺信息外，由于攝像機在實際應用中具有一定的空間分布，同時行人在不同的攝像機鏡頭下出現(xiàn)存在一定的時間差。這些攝像機蘊含的時空關系逐漸被學者們關注，通過在算法中引入時空信息，從而對無監(jiān)督學習的行人重識別模型性能的提高提供了一個新的思路。

文獻[65]在無監(jiān)督學習應用的基礎上，引入了時空特征，提出了一種無監(jiān)督視覺時空信息融合（Transfer Learning of Spatio-temporal Pattern，TFusion）算法。TFusion算法模型如圖8所示：首先將在有標簽的、數(shù)據(jù)含量小的數(shù)據(jù)集訓練出視覺分類器，再將分類器遷移到未標注的目標數(shù)據(jù)集，以這樣的方式學習行人的時空特征；其次，作者提出了一種貝葉斯融合模型，將學時空特征與視覺特征相結合，使之前的分類器得到改善；最后，作者提出了一種基于排序學習相互促進的程序，用目標數(shù)據(jù)集中未標記的數(shù)據(jù)來逐步優(yōu)化分類器，最終達到一個較好的識別效果，較其他的無監(jiān)督學習的行人重識別算法得到了顯著的提高。

圖8 TFusion模型框架

文獻[66]提出了一種新穎的雙流時空行人重識別框架（two-stream spatial-temporal person ReID，st-ReID），利用一種基于后勤平滑（Logistic Smoothing，LS）聯(lián)合相似度度量的方法，同時挖掘視覺語義信息和時空信息，構建成一個統(tǒng)一的度量函數(shù)。同時，作者開發(fā)了一種快速直方圖（Histogram-Parzen，HP）的方式來模擬時空概率分布，rank1 水平較之前的技術方法有了一定的提高。

文獻[67]提出了一種混合高斯時空模型約束的方法，行人走動時間差建模成一種遵循隨機分布的變量，同一行人在具有一定空間分布的攝像機鏡頭下錄像片段相似，圖片捕捉前后時間差不是很大。高斯分布具有長尾特性，分布平滑，能很好處理行人步伐類似造成的波動。為了提高模型的泛化能力，文章通過改進視覺分類模型，對行人圖片關鍵部位進行分割，同時使用損失函數(shù)對圖片加以訓練，以此得到深度視覺模型，再結合圖片幀號和攝像機號，用大量的數(shù)據(jù)構建混合高斯模型來擬合真實行人行走時間分布，以此排除不可能出現(xiàn)的行人。文獻[68]提出了一種生成對抗網(wǎng)絡聯(lián)合時空模型（GAN Uniting with Spatio-Temporal Pattern，STUGAN）的方法，利用圖像分類器聯(lián)合對抗網(wǎng)絡和時空模型，使用生成對抗網(wǎng)絡（SPGAN）技術生成目標場景的樣本以提高模型穩(wěn)定性，引入TFusion 算法的時空模型篩選出部分低概率匹配增強算法的準確性，最后利用貝葉斯融合的方式聯(lián)合視覺特征和時空特征。與生成對抗網(wǎng)絡的SPGAN 算法相比，該文章加入了時空模型的輔助后在一定程度上排除了僅依靠視覺特征判別出的相似的錯位樣本，從而減少了圖像分類器的誤差率。與使用了時空模型的TFusion 算法相比而言，該文使用的圖像分類器利用了生成對抗網(wǎng)絡的樣本訓練，從而削弱了領域偏差對圖像分類器的影響。SPGAN作為較為先進的算法，其圖像分類器構建的時空模型更接近于真實情況，與對抗網(wǎng)絡聯(lián)合后可以具有更好的性能。

現(xiàn)有的方式多是在不同攝像機間的過渡時間進行了建模，但在復雜的攝像機網(wǎng)絡中不同人的過渡時間差分布也存在差異，對此學習一個穩(wěn)健的時空模型存在一定的困難。文獻[69]提出了一種無模型基于時域共現(xiàn)的評分加權方法稱作時域提升（Temporal Lifting，Tlift），在每個攝像機中利用了一組附近的人，并找到了他們之間的相似之處，該方法的圖解如圖9所示。

圖9 Tlift方法圖解

該方式基于的假設是，在一個攝像機附近的人有可能在另一個攝像頭下仍在附近，利用這種原理在行人重識別匹配中為附近的人增加權重。因為這種方案對每個攝像機應用共同約束避免了估算過渡時間，也無需事先學習時空模型，不需要提前訓練，可以即時計算。在實驗中，與TFusion相比Rank-1和mAP都得到了一定的提高。

時空信息的引入為無監(jiān)督學習條件下的行人再識別跨域遷移提供了更廣泛的可能，但由于行人衣著可能會發(fā)生變化，現(xiàn)有的視覺信息和時空信息結合的模型大多只能解決不太長時間的匹配問題。同時，現(xiàn)有的包含時空信息的數(shù)據(jù)庫數(shù)量較少，這一能簡單提取到的信息在過去時常會被忽視，時空信息與視覺信息結合的研究還有更大的發(fā)展?jié)撃埽磥硇枰喟瑫r空信息的數(shù)據(jù)庫的出現(xiàn)，才能訓練出更好的模型來。

4 常用數(shù)據(jù)庫

現(xiàn)如今的行人再識別研究方法多使用深度學習的方式，這種方法需要大量數(shù)據(jù)訓練模型，采用越龐大的數(shù)據(jù)量進行訓練，采集到的環(huán)境越貼近于實際情況，越能訓練出魯棒性好的行人再識別模型。近年來論文中基于視覺信息的可見光圖像研究最廣泛的常見數(shù)據(jù)集有CUHK03[7]、Market-1501[22]、DukeMTMC[23]、MSMIT17[70]。

CUHK03[7]采集于香港中文大學校園內，是第一個滿足深度學習要求的行人再識別數(shù)據(jù)集。該數(shù)據(jù)集使用了5對攝像機包含1 467位行人的13 164張圖片。

Market-1501[22]采集于清華大學校園內，使用了包含1個低分辨率攝像機的6臺攝像機，涉及到1 501位行人的32 668 張圖片。其中包含751 個行人19 732 張圖片的訓練集和750個行人12 936張圖片的測試集，并且論文作者對該數(shù)據(jù)集行人進行了標注。

DukeMTMC[23]采集于杜克大學校園內，利用了8個相機采集36 411張圖片，其中包含702個行人16 522張圖片的訓練集和702 個行人2 228 張圖片的查詢集，測試集中還包含408 個行人只出現(xiàn)在一個相機中作為干擾項，剩余圖片作為候選集。該作者也為行人進行了標注。

MSMIT17[70]采集于北京大學校園內，利用了包含12臺室外相機和3臺室內相機共15臺采集了4 101位行人126 441張圖片，其中包含1 041位行人32 621張圖片的訓練集和3 060位行人11 659張圖片的測試集。該數(shù)據(jù)集在一個月內選擇了天氣狀況不同四天每天上午、中午、下午三個時段共3小時采集視頻，原始視頻時長180小時，情形比Market-1501更為復雜。

近年來論文常用的基于視覺信息的可見光圖像數(shù)據(jù)集如表1所示，圖表中列舉了發(fā)表年份、行人的數(shù)量、相機的數(shù)量及數(shù)據(jù)集的容量相關信息。

表1 常見可見光圖像行人再識別數(shù)據(jù)集比較

在傳統(tǒng)上行人再識別在解決特殊情境下的算法識別率下降，研究人員們開始關注其他類型的視覺信息。從2017年開始，文獻[28]為了研究跨可見光和紅外圖像這一跨模態(tài)的圖像匹配問題（RGB-IR），采集了一個大規(guī)模的可見光-紅外行人再識別數(shù)據(jù)庫SYSU-MM01。該數(shù)據(jù)庫包含六個攝像頭，其中包含兩個黑暗條件下戶外的紅外攝像頭以及四個在正常光照條件下的可見光攝像頭，這四個可見光攝像頭又包含兩個戶外和兩個室內場景。2017年，文獻[29]的研究人員們?yōu)榱藴p少可見光行人再識別中的噪音干擾，選用了可見光和紅外光雙攝像頭的方式采集圖像，以此采集了一個跨模態(tài)數(shù)據(jù)庫RegDB，該數(shù)據(jù)庫包括412 人，其中每人分別有十張可見光圖像和紅外圖像，從此以后RegDB 的數(shù)據(jù)庫被廣泛應用到了后來的可見光和紅外行人再識別跨模態(tài)研究中。

可見光-深度（RGB-D）的跨模態(tài)行人再識別最早是2014年文獻[45]所采集的BIWI RGBD-ID數(shù)據(jù)集，含有可見光圖像、深度圖像、人的分割圖以及人體骨骼數(shù)據(jù)，共50組，包含了50個訓練集和56個測試集的數(shù)據(jù)來進行訓練。2017 年文獻[49]在研究機器人平臺上的行人重識別，為了獲取清晰的人臉，收集了與BIWI RGBD-ID同樣數(shù)據(jù)類型的數(shù)據(jù)RobotPKURGBD-ID，且數(shù)據(jù)量更為龐大，包含180個90人的視頻序列用來訓練和測試。

2018年，文獻[56]開始將素描人像用于行人再識別研究中，收集創(chuàng)建了SketchRe-ID的數(shù)據(jù)庫，包含200個行人，其中每個行人包含一張素描圖像和來自兩個可見光相機的兩張RGB圖像。

用于其他視覺信息與可見光圖像跨模態(tài)行人再識別的數(shù)據(jù)集如表2 所示，圖中列舉了應用類型、行人數(shù)量、相機數(shù)量及數(shù)據(jù)庫圖片數(shù)量相關信息。

表2 多源視覺信息行人再識別數(shù)據(jù)集比較

文獻[57]開創(chuàng)性地收集了一個包含詳細語言注釋和人員樣本的數(shù)據(jù)庫CUHK-PEDES，也是近些年來唯一一個用于自然語言和行人再識別跨模態(tài)行人再識別研究的數(shù)據(jù)庫，包含來自于現(xiàn)有行人重識別數(shù)據(jù)庫中13 003人的40 206張圖像，并且由兩個獨立的工作人員對每個人的形象分別用兩個句子來描述，共計80 412個句子描述。

時空信息的實驗開展于Market-1501[22]、DukeMTMC[23]兩個數(shù)據(jù)庫，Market-1501 存在6 個序列的視頻，每個序列內有視頻幀號表示圖片的拍攝時間；DukeMTMC 是有8 個攝像頭采集拍攝了85 min，視頻幀速60 frame/s，并且包含著其攝像頭網(wǎng)絡拓撲圖，攝像頭拍攝區(qū)域無重疊，攝像頭之間距離不同，行人在不同攝像頭下出現(xiàn)存在一定的時間差可以用來建模遷移時間，用以行人再識別時空信息的研究。

隨著深度學習技術的發(fā)展，為了實現(xiàn)更好的識別效果，行人再識別使用的模型也越來越復雜，為了使研究的算法具有更好的魯棒性，需要逐漸擴大數(shù)據(jù)集的規(guī)模，需要更龐大的數(shù)據(jù)量來訓練。實際應用環(huán)境中也存在著各種復雜的情況，需要不同攝像機的圖像類型、不同的拍攝場景下更加多樣的數(shù)據(jù)，數(shù)據(jù)集的發(fā)展還需要繼續(xù)，只有更加龐大的數(shù)據(jù)集，才能開發(fā)出更好的算法來。

5 面臨的問題和挑戰(zhàn)

行人再識別發(fā)展至今已經(jīng)得到了充分的研究與開發(fā)，隨著計算機視覺領域的發(fā)展，GAN、注意力機制等加入了研究中，算法識別率較開始已經(jīng)得到了大幅度的提升。

多源信息的應用為行人再識別提供了更廣闊的思路，各有優(yōu)劣，但也為這項技術盡快落地應用提供了重大作用。本文提到的多源信息的行人再識別方法的應用情況及優(yōu)劣如表3所示。

表3 多源信息行人再識別方法比較

（1）多源信息間模態(tài)特征差異較大

在進行跨模態(tài)行人再識別任務中，可見光模態(tài)與其他視覺信息模態(tài)信息存在較大特征差異，與文本信息更是存在著天然的模態(tài)差異?，F(xiàn)有的研究方式聚焦于提取共享特征、各類圖像模態(tài)相互轉化等方式，這些計算方式已經(jīng)取得了一定的成效?，F(xiàn)有的研究已經(jīng)實現(xiàn)了可見光-紅外和可見光-深度兩模態(tài)間的相互轉化，但素描圖像甚至文本信息與視覺信息之間仍然無法實現(xiàn)模態(tài)之間互相轉化。

（2）圖像處理本身局限性

已有的行人再識別算法都容易受到光照情況、拍攝角度、成像質量、障礙遮擋等問題的影響，這些問題的出現(xiàn)使得算法性能受到了極大的影響，對目標人物跨攝像機的大范圍持續(xù)追蹤任務造成了不小的困難。多源數(shù)據(jù)的引入為解決這些問題提供了新思路，紅外圖像可以解決夜間條件下的識別問題，深度圖像可以解決行人姿態(tài)變化、遮擋、換衣等問題，素描圖像和文本信息在行人再識別落地時有重要的作用，時空信息則是為跨域遷移算法識別率的提升提供了重要作用。

（3）現(xiàn)有訓練集數(shù)據(jù)體量較小

現(xiàn)有應用于多源信息行人再識別訓練中的數(shù)據(jù)集的體量還是相對較小，而在實際應用過程中，行人再識別的任務則是要處理更龐大的數(shù)據(jù)量。訓練集的體量小，在算法的效能上可能會與實際應用存在著誤差，可能會影響實際使用的效果。而跨模態(tài)行人再識別數(shù)據(jù)庫更是少，體量也相對較小，這對算法開發(fā)有著不小的影響。應該開發(fā)體量更大、更貼近現(xiàn)實應用的數(shù)據(jù)集，同時注意保留數(shù)據(jù)集的相機位置信息和照片時間信息用以做融入時空信息的研究。數(shù)據(jù)量的增大可以更好地訓練深度學習網(wǎng)絡模型，使模型在實際應用中更加具有魯棒性，識別效率也更高。

（4）多模態(tài)行人再識別運算量過大

實際應用中，行人再識別使用聚焦于對匯總在服務器端的視頻圖像進行海量的檢索。在面臨著不同攝像頭、不同清晰度、不同模態(tài)等問題下，尤其是跨模態(tài)的問題，要對模態(tài)進行轉化等操作，更是要處理更多的數(shù)據(jù)。這些情況對算法提出了很高的要求，在處理時也需要消耗大量的帶寬、算力和存儲空間，而在需要實時處理事件時，面臨著多個終端的數(shù)據(jù)，在計算效率上還是面臨著較大的考驗。在行人再識別的精準度已經(jīng)有了長足發(fā)展之際，考慮算法性能的同時，也應當注意運算效率。近年來，文獻[71]對Resnet50 進行模型剪枝壓縮模型，性能也得到了保障。在運算量更大的多源信息行人再識別問題上，運算效率也應得到足夠的考慮。

（5）更多的多源信息有待發(fā)掘應用

在行人經(jīng)過攝像頭下時，除了被攝像頭采集到的圖像信息、目擊者提供的文本信息、攝像頭本身包含的時空信息外，攝像頭網(wǎng)絡所處的基站，包括行人手機連接的路由器也會產(chǎn)生大量的數(shù)據(jù)，這些電子痕跡也提供了一定的時空信息。在計算機技術飛速發(fā)展的如今，信息社會存在著大量各式各樣的數(shù)據(jù)類型，發(fā)掘更多類型的信息，應用到行人再識別乃至計算機視覺領域中來，可以為研究提供更多的思路。

（6）行人再識別技術有待實踐的進一步檢驗

目前的行人再識別算法在實驗室條件下已經(jīng)可以取得較好的識別效果，但在實際應用中，復雜的環(huán)境下，大量的目標域并沒有標注信息，從而現(xiàn)有的算法在遷移到實際應用中還存在著一定的難度。這樣的前提下，有監(jiān)督學習方法的使用受到一定限制，而無監(jiān)督學習的識別率還有待提高。文本信息和時空信息的引入在一定程度上提高了行人再識別算法的識別率，對相當?shù)牟黄ヅ鋽?shù)據(jù)進行了排除。為了盡快讓該領域達到落地的標準，除了視覺信息外，多源信息的收集和利用將會起到重要的作用。

6 結束語

在“平安中國”的大背景下，許許多多的攝像機安裝在城市內，形成了一個巨大的監(jiān)控網(wǎng)絡。這些監(jiān)控網(wǎng)絡大大地提高了公安人員的工作效率，為偵查工作、安防工作等做出了巨大的貢獻。如今，計算機視覺領域不斷發(fā)展，行人再識別更是成為了其中的一個熱點問題。研究人員們聚焦于如何實現(xiàn)監(jiān)控網(wǎng)絡中對行人長時間和大范圍的追蹤，在近年里，ICCV、ECCV、CVPR 等頂級國際會議及期刊上都會有許多相關的論文。

多源信息行人再識別的研究在近些年的發(fā)展中，將視野從視覺信息上逐漸擴大，將文本信息、時空信息也引入到了行人再識別的研究中來。在研究中也證實到，多模態(tài)視覺信息、文本信息及時空信息的應用，使得算法在復雜場景下的識別率得到了一定的提高。這些多模態(tài)信息的出現(xiàn)，為多源信息行人再識別領域增添了很多的可能，也為研究提供了很多新的思路。