基于深度學(xué)習(xí)的行人重識(shí)別綜述

楊永勝，鄧淼磊，李 磊，張德賢

1.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，鄭州450001

2.河南省糧食信息處理國(guó)際聯(lián)合實(shí)驗(yàn)室，鄭州450001

行人重識(shí)別（person re-identification，Re-ID）也稱為行人再識(shí)別，是一個(gè)典型的圖像檢索問題，在給定的跨設(shè)備收集的行人圖像庫(kù)中檢索目標(biāo)行人圖像，即利用計(jì)算機(jī)視覺、模式識(shí)別和機(jī)器學(xué)習(xí)等多項(xiàng)技術(shù)判斷圖像或視頻中目標(biāo)行人是否存在。近年來，已受到工業(yè)界和學(xué)術(shù)界的廣泛研究[1-2]。行人重識(shí)別技術(shù)可以在智能安防、視頻監(jiān)控等領(lǐng)域彌補(bǔ)人臉識(shí)別技術(shù)和固定攝像頭視覺局限性；并可與行人檢測(cè)[3]、行人跟蹤技術(shù)[4]組合為行人重識(shí)別系統(tǒng)，如圖1所示。

圖1 行人重識(shí)別系統(tǒng)Fig.1 System of Re-ID

由于攝像機(jī)參數(shù)和拍攝環(huán)境不同拍攝的行人圖像在背景、光照、分辨率、視角和姿勢(shì)等方面都存在較大差異。如何提取具有判別性的特征和設(shè)計(jì)特征匹配度量算法，是解決該問題的關(guān)鍵。一般而言，行人重識(shí)別任務(wù)包括特征提取和特征匹配兩個(gè)方面。2016年以前，特征提取主要是提取判別力的低級(jí)視覺特征，包括形狀特征（HOG特征）[5]、顏色直方圖（RGB、HSV）[6-7]、關(guān)鍵點(diǎn)（SIFT）[8]、紋理特征（Gabor）[9]等。特征度量學(xué)習(xí)指在特征空間中計(jì)算特征之間的距離或相似性，使同類對(duì)象更加緊湊，不同類之間更加分離。度量學(xué)習(xí)方法常用的有馬氏距離[6]、顯加權(quán)度量學(xué)習(xí)[7]、局部自適應(yīng)決策函數(shù)[10]等。上述低級(jí)視覺特征提取算法在面對(duì)風(fēng)格多樣的圖像樣本（光線、背景等）時(shí)，較難提取具有判別力的特征。

自2016年開始，隨著深度學(xué)習(xí)研究的快速進(jìn)展，研究者們開始關(guān)注基于深度學(xué)習(xí)的行人重識(shí)別方法，與傳統(tǒng)方法不同，基于深度學(xué)習(xí)的行人重識(shí)別方法集成了特征提取與度量學(xué)習(xí)兩個(gè)模塊[11]，即圖像特征的提取和特征向量的相似度比較在一個(gè)模型中完成。根據(jù)識(shí)別方式的不同，可以將基于深度學(xué)習(xí)的行人重識(shí)別模型分為表征模型[12]和匹配模型[13]，其中表征模型將行人重識(shí)別任務(wù)當(dāng)作分類問題，表征模型的損失函數(shù)有分類損失[14]和驗(yàn)證損失[12]等。匹配模型將行人重識(shí)別任務(wù)當(dāng)作圖像相似度比較問題，大部分使用類似Siamese 網(wǎng)絡(luò)[15]的端到端模型，其損失函數(shù)有對(duì)比損失[16]、三元組損失[13]等。最近，有研究者將兩種模型集成起來，如Zheng 等人[12]將表征模型和匹配模型結(jié)合起來提高模型特征表示，從而縮小類內(nèi)距離和增大類間距離。

傳統(tǒng)方法基于低級(jí)視覺特征提取圖像信息具有較多局限性，面對(duì)復(fù)雜多變場(chǎng)景的行人圖像不能提取到具有判別力的特征。主要原因有：手工特征具有很大的主觀因素，不能較好地獲得圖像有效信息，進(jìn)而影響到重識(shí)別的推理階段；背景噪聲對(duì)傳統(tǒng)方法的影響較大，無(wú)法判斷圖像的顯著性區(qū)域；傳統(tǒng)的距離度量方法不具有普適性，難以對(duì)多個(gè)樣本批次度量。近年來，隨著深度學(xué)習(xí)的發(fā)展，行人重識(shí)別研究獲得飛速發(fā)展，其識(shí)別精度有了很大提高，具體的表現(xiàn)在兩個(gè)方面：在特征提取方面，利用深度學(xué)習(xí)方法的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）可以提取到圖像中顯著性區(qū)域，從而解決了傳統(tǒng)方法主觀性的問題；在模型方面，基于深度學(xué)習(xí)訓(xùn)練的模型能夠挖掘群體樣本間的關(guān)聯(lián)性，因此數(shù)據(jù)量爆炸的信息時(shí)代提供的海量樣本對(duì)模型訓(xùn)練有著巨大的推動(dòng)作用。

基于上述現(xiàn)狀，本文重點(diǎn)分析近幾年深度學(xué)習(xí)在行人重識(shí)別任務(wù)上的研究進(jìn)展，整理歸納了該領(lǐng)域的一些優(yōu)秀算法，并討論了未來的研究方向。本文主要結(jié)構(gòu)如下：（1）依據(jù)特征提取方式的不同將行人重識(shí)別模型分為監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)兩大類；（2）依據(jù)研究熱點(diǎn)，研究分析了跨模態(tài)行人重識(shí)別和端到端行人重識(shí)別。

1 基于深度學(xué)習(xí)的行人重識(shí)別方法

基于深度學(xué)習(xí)的行人重識(shí)別模型研究，大部分采用有監(jiān)督的方式，即訓(xùn)練數(shù)據(jù)需要人工耗時(shí)耗力的標(biāo)注信息，為了增加模型的可擴(kuò)展性和更貼近實(shí)際生活中應(yīng)用，近年來，越來越多的學(xué)者開始關(guān)注無(wú)監(jiān)督和半監(jiān)督學(xué)習(xí)在行人重識(shí)別問題上的研究，并逐漸取得了實(shí)驗(yàn)結(jié)果接近甚至超過有監(jiān)督學(xué)習(xí)方法。面對(duì)復(fù)雜多變的實(shí)際場(chǎng)景，有研究開始關(guān)注數(shù)據(jù)跨模態(tài)問題和端到端行人重識(shí)別。

1.1 有監(jiān)督學(xué)習(xí)

一直以來廣泛應(yīng)用的有監(jiān)督學(xué)習(xí)充分利用有標(biāo)注信息的數(shù)據(jù)，提取具有較強(qiáng)判別力的特征，依據(jù)特征相似度判斷是否屬于同一個(gè)行人。根據(jù)模型設(shè)計(jì)方法不同，將其分為特征學(xué)習(xí)、度量學(xué)習(xí)、排序優(yōu)化三個(gè)方面介紹有監(jiān)督學(xué)習(xí)。

1.1.1 特征學(xué)習(xí)

全局特征學(xué)習(xí)為每個(gè)行人圖像提取全局特征向量，如圖2（a）所示。由于深度神經(jīng)網(wǎng)絡(luò)最早應(yīng)用于圖像分類[17]，在早期將先進(jìn)的深度學(xué)習(xí)技術(shù)集成到行人重識(shí)別領(lǐng)域時(shí)，全局特征學(xué)習(xí)是主要選擇。全局特征學(xué)習(xí)比較簡(jiǎn)單，將一幅圖像直接輸入到卷積神經(jīng)網(wǎng)絡(luò)來提取特征[18]，但不能關(guān)注到行人圖像中相對(duì)有判別力的區(qū)域；之后，有學(xué)者將注意力機(jī)制和全局特征學(xué)習(xí)聯(lián)合設(shè)計(jì)，以增強(qiáng)表征學(xué)習(xí)[19]。一般圖像直接輸入到卷積提取的都是全局特征，因此模型比較簡(jiǎn)單不做過多贅述。

圖2 四種不同的特征學(xué)習(xí)方式Fig.2 Four different feature learning strategies

局部特征學(xué)習(xí)利用局部圖像區(qū)域?qū)W習(xí)聚合特征，使其對(duì)行人局部不對(duì)齊場(chǎng)景預(yù)測(cè)更具魯棒性，如圖2（b）所示。身體部位通過姿勢(shì)估計(jì)自動(dòng)生成，或者大致水平分割。采用均勻分割的方法得到水平條紋部分，靈活性較高，但對(duì)嚴(yán)重遮擋和大背景雜波比較敏感。用姿態(tài)估計(jì)模型來估計(jì)出人體關(guān)鍵點(diǎn)，然后用局部特征匹配能較好地解決姿態(tài)不對(duì)齊問題[20]。然而，需要額外的姿態(tài)估計(jì)模型，并且容易出現(xiàn)噪聲姿態(tài)檢測(cè)。Sun 等人[21]無(wú)需額外的姿態(tài)估計(jì)等輔助方法，提出PCB方法將行人特征圖均等水平分為6塊，對(duì)每塊使用卷積代替全連接提取特征，然后將每塊進(jìn)行全連接再接分類器；提出RPP 方法即自適應(yīng)的根據(jù)每塊的內(nèi)容相似性劃分邊緣，但忽略了相鄰局部塊之間的關(guān)聯(lián)性，從而丟失判別性的信息。一般局部特征學(xué)習(xí)只關(guān)注單個(gè)行人圖像局部?jī)?nèi)關(guān)系，而忽略了多張圖像局部間的關(guān)系，陳璠等人[22]設(shè)計(jì)的多層級(jí)重疊條紋特征融合算法，利用多分辨率網(wǎng)絡(luò)提取低層全局特征和高層語(yǔ)義信息，對(duì)網(wǎng)絡(luò)輸出特征圖水平分割，然后提取重疊條紋特征來補(bǔ)充丟失的有用信息，減少圖像中無(wú)關(guān)背景噪聲，關(guān)注分割塊間關(guān)系，增強(qiáng)行人局部對(duì)齊性能。Zhang等人[23]設(shè)計(jì)了異構(gòu)局部圖注意力網(wǎng)絡(luò)（HLGAT），建模完成局部圖中的局部?jī)?nèi)關(guān)系和局部間關(guān)系，并且不同行人圖像中各部分之間的局部關(guān)系，更進(jìn)一步挖掘了行人信息。

輔助特征學(xué)習(xí)使用部分輔助信息來加強(qiáng)特征學(xué)習(xí)的效果，如語(yǔ)義信息、視角信息、域信息、GAN生成的信息、數(shù)據(jù)增強(qiáng)等，如圖2（c）所示。結(jié)合語(yǔ)義屬性和注意力機(jī)制以改進(jìn)局部特征學(xué)習(xí)[24]。Zhu等人[25]在視角感知特征學(xué)習(xí)中加入了角度正則化，將行人視角投影到統(tǒng)一的特征子空間中，有效地?cái)M合視角聚類標(biāo)簽分配的模糊性。行人重識(shí)別會(huì)受到因不同攝像機(jī)引起的圖像樣式變化的影響，文獻(xiàn)[26]在模型中融入相機(jī)特定信息，如相機(jī)視角信息或檢測(cè)到的相機(jī)位置，以改進(jìn)模型的特征表示能力。Zheng 等人[27]第一次嘗試將GAN 技術(shù)應(yīng)用到行人重識(shí)別，它使用生成的行人圖像改進(jìn)監(jiān)督特征表示學(xué)習(xí)，然而生成圖像質(zhì)量低，對(duì)ReID模型性能提高有限。

視頻特征學(xué)習(xí)提取視頻時(shí)序信息并且融合多幀圖像特征來構(gòu)建行人特征，如圖2（d）所示。由于視頻序列有著豐富的人體姿勢(shì)和時(shí)序信息，給視頻特征學(xué)習(xí)帶來了額外的挑戰(zhàn)，主要的挑戰(zhàn)是準(zhǔn)確地捕獲時(shí)序信息，為此，McLaughlin等人[28]基于視頻的行人重識(shí)別設(shè)計(jì)了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），充分利用了視頻的時(shí)序信息，但對(duì)視頻的所有幀進(jìn)行了同等處理，而無(wú)法學(xué)習(xí)到最具有判別力的特征，且RNN 對(duì)長(zhǎng)視頻序列訓(xùn)練較復(fù)雜且耗時(shí)長(zhǎng)。聯(lián)合空間和時(shí)間注意力網(wǎng)絡(luò)（ASTPN）[29]在視頻中選擇具有判別力的信息幀，考慮視頻序列之間的相互依賴性，雖然注意力的引入可以很好篩除視頻中冗余和背景噪聲信息，但網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，訓(xùn)練需要占用較多顯存。Chen等人[30]將長(zhǎng)視頻序列分成多個(gè)短視頻片段，并聚合排名最高的片段相似性，以進(jìn)行序列相似性估計(jì)。該策略可以最小化每個(gè)樣本的視覺差異以進(jìn)行相似性估計(jì)，同時(shí)保留不同的外觀和時(shí)間信息，但此方法無(wú)法自適應(yīng)地劃分語(yǔ)義連貫的短視頻。現(xiàn)有的方法往往集中在最顯著的圖像區(qū)域，容易因?yàn)閳D像序列中人物的不同而遺漏細(xì)粒度的線索，Liu 等人[31]提出一個(gè)基于視頻的全局引導(dǎo)的交互學(xué)習(xí)框架（GRL），捕獲圖像序列中的細(xì)粒度線索，但是對(duì)圖像全局特征提取，而無(wú)法獲得長(zhǎng)時(shí)間序列的特征。

主干網(wǎng)絡(luò)設(shè)計(jì)更加適應(yīng)于Re-ID 特定場(chǎng)景的網(wǎng)絡(luò)架構(gòu)，早期，研究者試圖修改圖像分類場(chǎng)景中常用的ReNet50主干結(jié)構(gòu)，近年來，有研究者設(shè)計(jì)了多尺度、細(xì)粒度等的網(wǎng)絡(luò)結(jié)構(gòu)更加適用于Re-ID 場(chǎng)景。Wang 等人[32]提出了一個(gè)帶有專門設(shè)計(jì)的WConv 層和Channel Scaling層網(wǎng)絡(luò)架構(gòu)。WConv層提取兩幅圖像的差異信息以增強(qiáng)局部不對(duì)齊圖像的魯棒性，Channel Scaling層緩解反向傳播過程中梯度消失問題。但該方法無(wú)法同時(shí)學(xué)習(xí)全局和局部尺度特性。近年來，有學(xué)者丟棄以往基于卷積神經(jīng)網(wǎng)絡(luò)的框架，He等人[33]首次提出基于視覺Transformer（ViT）的行人重識(shí)別框架，能簡(jiǎn)單自然地將相機(jī)和視點(diǎn)等非可視化信息編碼為矢量嵌入到訓(xùn)練過程，并在多個(gè)數(shù)據(jù)集上表現(xiàn)出優(yōu)秀性能，顯示此框架具有很大的開發(fā)潛能。最近，Jia等人[34]提出DRL-Net方法利用改進(jìn)的Transformer 框架處理有遮擋的行人圖像，無(wú)需人物圖像嚴(yán)格的身體部位對(duì)齊。研究證明[35]基于ViT 的框架比基于CNN 的框架更依賴大量訓(xùn)練數(shù)據(jù)集才能最大限度體現(xiàn)此網(wǎng)絡(luò)的優(yōu)越性，但行人重識(shí)別數(shù)據(jù)集較小，因此該模型結(jié)構(gòu)還有待提高。

1.1.2 度量學(xué)習(xí)

早年的度量學(xué)習(xí)（metric learning）重點(diǎn)是構(gòu)造不同類型的距離或相似度度量矩陣。深度學(xué)習(xí)時(shí)代，主要是設(shè)計(jì)不同類型的損失函數(shù)[36]。四種被廣泛研究的損失函數(shù)及其變體，包括分類損失、驗(yàn)證損失、對(duì)比損失和三元組損失，如圖3所示。

圖3 四種損失函數(shù)Fig.3 Four kinds of loss functions

分類損失又稱ID 損失（identification loss）[14]（圖3（a）），只有ID損失的網(wǎng)絡(luò)稱為ID Embedding網(wǎng)絡(luò)（IDE網(wǎng)絡(luò)），訓(xùn)練集中行人的ID 數(shù)為網(wǎng)絡(luò)的類別數(shù)，特征層后接一個(gè)分類全連接層，經(jīng)過Softmax 激活函數(shù)計(jì)算交叉熵?fù)p失。測(cè)試階段使用倒數(shù)第二層的特征向量進(jìn)行檢索，分類全連接層丟棄。每批中的訓(xùn)練樣本數(shù)為n，給定一個(gè)標(biāo)簽為yi的輸入圖像xi，通過交叉熵計(jì)算ID損失。

驗(yàn)證損失（verification loss）[12]又稱為二分類損失（圖3（b）），輸入兩幅圖像判別是正樣本對(duì)或負(fù)樣本對(duì)。使用高維的特征向量做相似度計(jì)算fij=(fi-fj)2，其中fi和fj是兩個(gè)樣本xi和xj的特征向量。使用p(δij|fij)來表示輸入對(duì)（xi和xj）被識(shí)別為δij（0 或1）的概率。具有交叉熵的驗(yàn)證損失為：

通常，驗(yàn)證損失與ID損失相結(jié)合以提高性能[37]。

對(duì)比損失（contrastive loss）[38]（圖3（c））改進(jìn)了行人圖像特征向量相對(duì)距離比較，公式為：

其中，dij表示兩個(gè)輸入樣本xi和xj的嵌入特征之間的歐幾里德距離。δij是一個(gè)二元標(biāo)簽指示符（當(dāng)xi和xj屬于同一身份時(shí)，δij=1，否則δij=0），ρ是訓(xùn)練閾值參數(shù)。

三元組損失（triplet loss）[13]基本思想是正樣本對(duì)之間的距離應(yīng)該比負(fù)樣本對(duì)之間的距離小于預(yù)定義的余量（圖3（d））。通常，一個(gè)三元組包含一個(gè)固定樣本xi、一個(gè)相同身份的正樣本xj和一個(gè)不同身份的負(fù)樣本xk。帶有閾值參數(shù)的三元組損失表示為：

近年來，相繼有學(xué)者提出等距度量學(xué)習(xí)（equid-MLAPG）[39]，改進(jìn)三元組損失（improved triplet loss）、四元組損失（quadruplet loss）、難樣本采樣（hard sample mining）的方法[40]。

1.1.3 排序優(yōu)化

排序優(yōu)化（ranking optimization）的基本思想是利用gallery-to-gallery的相似度挖掘[41-42]或者人工交互[43]來優(yōu)化初始排序列表，對(duì)于提高預(yù)測(cè)階段的檢索性能起著至關(guān)重要的作用，如圖4所示。

圖4 重排序Fig.4 Illustration of re-ranking

Luo 等人[41]推導(dǎo)出了一種名為local blurring reranking 的輕量級(jí)重排序方法，采用聚類結(jié)構(gòu)來改進(jìn)鄰域相似性度量?？紤]到query 的差異，一些方法設(shè)計(jì)了query 自適應(yīng)檢索策略來代替統(tǒng)一搜索引擎以提高性能[42]。Zhou 等人[42]提出了一種有效的在線本地度量自適應(yīng)方法，該方法通過為每個(gè)probe 挖掘負(fù)樣本來學(xué)習(xí)嚴(yán)格的本地度量。Wang等人[43]提出了一種混合的人機(jī)增量學(xué)習(xí)模型，該模型從人的反饋中積累學(xué)習(xí)，提高實(shí)時(shí)的行人重識(shí)別排名性能。排序融合[44]是另一種流行的方法，利用通過不同方法獲得的多個(gè)排序列表來提高檢索性能。最近，研究者為排序融合設(shè)計(jì)了unified ensemble diffusion（UED）[44]。UED 保留了現(xiàn)有樸素融合，張量積融合，正則化集成擴(kuò)散三種融合算法的優(yōu)點(diǎn)，并通過新的目標(biāo)函數(shù)和推導(dǎo)公式進(jìn)行了優(yōu)化。

1.2 弱監(jiān)督學(xué)習(xí)

盡管有監(jiān)督場(chǎng)景中的行人重識(shí)別問題有了突破性的研究，但是需要大量有標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，因此不能夠在其他場(chǎng)景中泛化。工業(yè)界和學(xué)術(shù)界越來越關(guān)注弱監(jiān)督場(chǎng)景（weakly supervised learning）下少量標(biāo)注數(shù)據(jù)的學(xué)習(xí)，這對(duì)于行人重識(shí)別系統(tǒng)相關(guān)的應(yīng)用落地方面具有重要的價(jià)值和意義。本文基于行人重識(shí)別問題，將弱監(jiān)督學(xué)習(xí)分為半監(jiān)督學(xué)習(xí)（semi-supervised learning，SSL）和無(wú)監(jiān)督學(xué)習(xí)（unsupervised learning）。

1.2.1 半監(jiān)督學(xué)習(xí)

近年來，部分研究者們開始關(guān)注如何利用少量有標(biāo)注的數(shù)據(jù)訓(xùn)練一個(gè)較優(yōu)的模型。在基于半監(jiān)督學(xué)習(xí)的行人重識(shí)別任務(wù)中，目前面臨的挑戰(zhàn)是，如何利用少量有標(biāo)簽數(shù)據(jù)提取具有判別性的特征，并為大量無(wú)標(biāo)簽數(shù)據(jù)準(zhǔn)確高效地打上偽標(biāo)簽以進(jìn)一步優(yōu)化模型。由于標(biāo)注數(shù)據(jù)有限，文獻(xiàn)[45]中提出了一種一次性度量學(xué)習(xí)方法，該方法結(jié)合了深度紋理表示和顏色度量，實(shí)現(xiàn)了與有監(jiān)督方法相比具有競(jìng)爭(zhēng)力的性能。為了在單樣本學(xué)習(xí)中更好地利用未標(biāo)注數(shù)據(jù)，文獻(xiàn)[46]提出了基于視頻的步進(jìn)學(xué)習(xí)方法（EUG），對(duì)未標(biāo)記數(shù)據(jù)生成偽標(biāo)簽，根據(jù)預(yù)測(cè)的可信度選擇偽標(biāo)簽數(shù)據(jù)訓(xùn)練，使用擴(kuò)充數(shù)據(jù)集對(duì)模型更新。文獻(xiàn)[47]提出多實(shí)例注意力學(xué)習(xí)框架，使用視頻級(jí)標(biāo)簽進(jìn)行表示學(xué)習(xí)，減輕對(duì)大量標(biāo)注數(shù)據(jù)的依賴。

1.2.2 無(wú)監(jiān)督學(xué)習(xí)

無(wú)監(jiān)督學(xué)習(xí)不需要有標(biāo)注的數(shù)據(jù)，因此更具有適應(yīng)性和魯棒性。早期的無(wú)監(jiān)督Re-ID主要學(xué)習(xí)不變成分，即字典學(xué)習(xí)[48]、度量學(xué)習(xí)[49]或顯著性分析[50]，這導(dǎo)致可辨別性或可擴(kuò)展性有限。

Ye等人[51]提出無(wú)監(jiān)督跨相機(jī)標(biāo)簽估計(jì)方法，為每個(gè)相機(jī)建立樣本圖，迭代更新標(biāo)簽估計(jì)和樣本圖，用動(dòng)態(tài)圖匹配（DGM）方法實(shí)現(xiàn)跨相機(jī)標(biāo)簽關(guān)聯(lián)，解決了關(guān)聯(lián)過程中交叉視圖產(chǎn)生的特征表示質(zhì)量不佳和噪聲問題。為了進(jìn)一步提高性能，Wang 等人[52]提出一個(gè)一致的交叉視角匹配（CCM）框架，利用全局?jǐn)z像機(jī)網(wǎng)絡(luò)約束來保證匹配對(duì)的一致性，利用全局?jǐn)z像機(jī)網(wǎng)絡(luò)約束的跨視角匹配策略，以探索整個(gè)攝像機(jī)網(wǎng)絡(luò)的匹配關(guān)系，解決了相機(jī)內(nèi)和相機(jī)間樣本匹配相關(guān)性時(shí)，忽略整個(gè)相機(jī)網(wǎng)絡(luò)的高階關(guān)系，從而導(dǎo)致不同相機(jī)對(duì)的匹配結(jié)果不準(zhǔn)確的問題。

對(duì)于端到端的無(wú)監(jiān)督行人重識(shí)別，F(xiàn)an 等人[53]首次在跨域數(shù)據(jù)集中為目標(biāo)域打偽標(biāo)簽，提出了迭代聚類的行人重識(shí)別模型，先在源域上訓(xùn)練一個(gè)卷積網(wǎng)絡(luò)，再到目標(biāo)域圖像特征提取，由KMeans聚類為設(shè)定的族數(shù)，用聚類好的結(jié)果再微調(diào)模型，如此反復(fù)迭代。類似地，Zeng等人[54]提出的分層聚類與hard-batch triplet loss相結(jié)合的偽標(biāo)簽聚類算法，通過層次聚類，充分利用目標(biāo)數(shù)據(jù)集中樣本間的相似性，通過hard-batch triplet loss來降低難樣本的影響，產(chǎn)生高質(zhì)量的偽標(biāo)簽和提高模型性能。通過聚類算法為行人分配為標(biāo)簽，但不能關(guān)注到潛在的鑒別性信息。Li等人[55]提出的（TAUDL）方法，通過利用無(wú)監(jiān)督的單攝像頭軌跡信息，訓(xùn)練端到端的神經(jīng)網(wǎng)絡(luò)，然后用這個(gè)圖像模型對(duì)跨攝像頭的圖像進(jìn)行自動(dòng)標(biāo)注和學(xué)習(xí)。類似地，一種無(wú)監(jiān)督的相機(jī)感知相似性一致性挖掘方法[56]，解決攝像頭內(nèi)部匹配和交叉攝像機(jī)匹配的一致性相似性分布問題。大多數(shù)無(wú)監(jiān)督學(xué)習(xí)不考慮攝像機(jī)之間的分布差異，Xuan等人[57]通過生成攝像機(jī)內(nèi)和攝像機(jī)間的偽標(biāo)簽，迭代優(yōu)化攝像機(jī)間的相似性，該方法聚類階段主要關(guān)注攝像機(jī)因素的影響，而忽略了提取行人圖像局部細(xì)粒度有判別性的信息。

此外，一些研究嘗試了圖像局部特征學(xué)習(xí)，基于此的研究發(fā)現(xiàn)挖掘圖像局部標(biāo)簽信息比挖掘整個(gè)圖像標(biāo)簽信息更容易，Yang 等人[58]提出的PatchNet 從patch 而不是整幅圖像中學(xué)習(xí)可判別特征，即利用patch 之間的相似性學(xué)習(xí)有判別力的模型；設(shè)計(jì)基于patch 的判別特征學(xué)習(xí)丟失方法，指導(dǎo)PatchNet 學(xué)習(xí)無(wú)標(biāo)注數(shù)據(jù)集；設(shè)計(jì)圖像級(jí)的特征損失函數(shù)，利用所有patch 特征指導(dǎo)PatchNet 圖像級(jí)學(xué)習(xí)。無(wú)監(jiān)督自相似性分組（SSG）方法[59]主要思想是兩個(gè)數(shù)據(jù)庫(kù)的圖像風(fēng)格差異很大，將圖像分割為局部小塊即全身、上半身和下半身，差異將會(huì)減小，能夠?qū)W到更具有魯棒性的特征，挖掘整體到局部的潛在相似性，然而該算法沒有從根本上解決域間差異問題，如不同攝像機(jī)參數(shù)和視角等因素的影響。

1.2.3 無(wú)監(jiān)督域自適應(yīng)學(xué)習(xí)

無(wú)監(jiān)督域自適應(yīng)（unsupervised domain adaptation，UDA）將有標(biāo)記的源域的判別性信息遷移到目標(biāo)域[60]，由于源域數(shù)據(jù)集的強(qiáng)大的監(jiān)督學(xué)習(xí)，它是另一種流行的沒有目標(biāo)數(shù)據(jù)集標(biāo)簽的無(wú)監(jiān)督行人重識(shí)別方法。

使用生成對(duì)抗網(wǎng)絡(luò)（GAN）將源域圖像轉(zhuǎn)換為目標(biāo)域樣式是UDA行人重識(shí)別的一種流行方法。使用生成的圖像，可以在未標(biāo)記的目標(biāo)域中實(shí)現(xiàn)有監(jiān)督的行人重識(shí)別模型學(xué)習(xí)。Wei等人[61]采用了一種人員遷移生成對(duì)抗網(wǎng)絡(luò)（FD-GAN），實(shí)現(xiàn)從源域到目標(biāo)域數(shù)據(jù)集行人圖像遷移，大幅縮小域間差距。保留自相似性和域差異性[38]使用保留自相似性的生成對(duì)抗網(wǎng)絡(luò)（SPGAN）進(jìn)行訓(xùn)練，將源域圖像風(fēng)格遷移到目標(biāo)域圖像風(fēng)格，保持ID不變性，無(wú)監(jiān)督Re-ID任務(wù)轉(zhuǎn)換為有監(jiān)督Re-ID任務(wù)，但是SPGAN 算法的特征信息傳輸較慢，且生成器的特征轉(zhuǎn)換尺度單一，因此風(fēng)格遷移效果不好。異構(gòu)同質(zhì)學(xué)習(xí)（HHL）方法[62]同時(shí)考慮了具有同構(gòu)學(xué)習(xí)的相機(jī)不變性和具有異構(gòu)學(xué)習(xí)的域連通性，在一定程度上建立了源域與目標(biāo)域特征空間的聯(lián)系，但沒能真正解決域間較大差別的問題。自適應(yīng)傳輸網(wǎng)絡(luò)[63]將適應(yīng)過程分解為某些成像因素，包括光照、分辨率、相機(jī)視圖等。該策略提高了跨數(shù)據(jù)集的性能。Chen 等人[64]設(shè)計(jì)了一種對(duì)偶條件圖像生成器以生成行人的不同風(fēng)格圖像，該方法能將一張圖片遷移到多個(gè)風(fēng)格，此外，還添加了Li等人提出的（PDA-Net）方法[65]以改進(jìn)圖像生成。然而，在實(shí)際復(fù)雜多變的環(huán)境中，圖像生成的可擴(kuò)展性和穩(wěn)定性仍然具有挑戰(zhàn)性。Chen等人[66]將GAN和對(duì)比學(xué)習(xí)聯(lián)合到一個(gè)學(xué)習(xí)框架，GAN為對(duì)比性學(xué)習(xí)提供數(shù)據(jù)增強(qiáng)，對(duì)比性學(xué)習(xí)為GAN 學(xué)習(xí)了視圖不變性，該方法對(duì)目標(biāo)域數(shù)據(jù)利用對(duì)比學(xué)習(xí)和GAN 技術(shù)進(jìn)行了數(shù)據(jù)增強(qiáng)，但源域數(shù)據(jù)的判別性信息挖掘不充分。

有些方法直接利用源域數(shù)據(jù)集中訓(xùn)練良好的模型對(duì)未標(biāo)記的目標(biāo)域數(shù)據(jù)集進(jìn)行監(jiān)督挖掘。傳統(tǒng)方法主要減小源域和目標(biāo)域的特征分布差異，而忽略了目標(biāo)域中類內(nèi)的不變屬性，Zhong 等人[67]提出記憶模塊將三個(gè)不變性屬性，即個(gè)體不變性，相機(jī)風(fēng)格不變性和鄰居不變性強(qiáng)制執(zhí)行到系統(tǒng)中，實(shí)驗(yàn)證明，這三大屬性對(duì)風(fēng)格遷移能力提升必不可少。域不變映射網(wǎng)絡(luò)（DIMN）[68]為域遷移任務(wù)制定了元學(xué)習(xí)，并在每個(gè)訓(xùn)練集采樣源域子集以更新存儲(chǔ)庫(kù)，增強(qiáng)可擴(kuò)展性和可判別性。在文獻(xiàn)[69]中，攝像機(jī)視圖信息也作為監(jiān)督信號(hào)來減小跨域差異，將每個(gè)相機(jī)設(shè)置成單獨(dú)的子域，并且關(guān)注了相機(jī)拍攝連續(xù)時(shí)間的圖像的內(nèi)聯(lián)性，建立有鑒別性的信息。最近，Ge等人[70]開發(fā)了一種混合存儲(chǔ)的自定進(jìn)度對(duì)比學(xué)習(xí)框架，充分利用目標(biāo)域訓(xùn)練時(shí)，一般被忽略的有真實(shí)準(zhǔn)確標(biāo)簽的源域數(shù)據(jù)和在訓(xùn)練早期丟棄聚類離群值的目標(biāo)域中的無(wú)標(biāo)簽數(shù)據(jù)，編碼源域和目標(biāo)域可利用的有用信息進(jìn)行特征學(xué)習(xí)。Zheng等人[71]設(shè)計(jì)了一種組感知標(biāo)簽轉(zhuǎn)移（GLT）算法，首次將聚類和特征學(xué)習(xí)集成到一個(gè)框架下，使偽標(biāo)簽預(yù)測(cè)和特征學(xué)習(xí)可以在線交互和相互促進(jìn)，并且利用標(biāo)簽精煉算法和組感知特征學(xué)習(xí)策略結(jié)合，在線糾正帶有噪聲的偽標(biāo)簽，減小目標(biāo)身份搜索空間，對(duì)生成的偽標(biāo)簽進(jìn)行優(yōu)化，提高特征學(xué)習(xí)的質(zhì)量。

除此之外，無(wú)監(jiān)督的時(shí)空模型TFusion[72]使用貝葉斯融合模型將源域中學(xué)習(xí)到的時(shí)空模式轉(zhuǎn)移到目標(biāo)域。Liao 等人[73]采用一種新的卷積方式QAConv，直接在特征圖上進(jìn)行局部特征匹配而不需要提取特征向量，提高了遷移學(xué)習(xí)模型的泛化能力和跨域數(shù)據(jù)集的準(zhǔn)確性。

1.3 跨模態(tài)行人重識(shí)別

跨模態(tài)行人重識(shí)別任務(wù)是指不同類型行人數(shù)據(jù)相互匹配的問題。在實(shí)際生活除了一般行人RGB圖像還有許多其他模態(tài)的圖像，如紅外圖像，深度圖像，文本信息和跨分辨率圖像等，如圖5 所示。因此，跨模態(tài)行人重識(shí)別比一般行人重識(shí)別相比更具有挑戰(zhàn)性和實(shí)用性。

圖5 跨模態(tài)行人重識(shí)別Fig.5 Illustration of re-ID using multi-modality and low-resolution person data

1.3.1 可見光-紅外行人重識(shí)別

可見光到熱紅外行人重識(shí)別（圖5（a））任務(wù)主要是處理RGB 圖像和熱紅外圖像匹配問題，在黑夜和光照條件不充足的場(chǎng)景只能由紅外攝像機(jī)拍攝。Wu等人[74]首次嘗試解決這個(gè)問題，提出了像素級(jí)對(duì)齊和聯(lián)合判別策略，以自適應(yīng)地學(xué)習(xí)模態(tài)共享特性。文獻(xiàn)[75]中引入了一個(gè)雙流卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)多模態(tài)可共享特征表示，同時(shí)處理模態(tài)內(nèi)和模態(tài)間的變化，此方法關(guān)注了模態(tài)間的共享特征，而未關(guān)注模態(tài)內(nèi)的特異特征。為了充分利用特征嵌入子空間和分類子空間的相關(guān)性，Hao等人[76]設(shè)計(jì)了一種具有識(shí)別約束和分類的端到端雙流超球面流行嵌入網(wǎng)絡(luò)（HSMEnet），將人臉識(shí)別領(lǐng)域中sphere softmax loss 遷移到行人重識(shí)別領(lǐng)域，即將二維坐標(biāo)系轉(zhuǎn)換為球面坐標(biāo)系，行人圖像的特征表示映射到超球體上，然后做分類任務(wù)。分類結(jié)果取決于特征向量和權(quán)重向量的角度。文獻(xiàn)[77]首次采用GAN 技術(shù)生成跨模態(tài)人體圖像，以減少圖像和特征層面的跨模態(tài)差異，然而使用GAN技術(shù)生成的圖像質(zhì)量不高，含有噪聲干擾，導(dǎo)致重識(shí)別性能欠佳。大部分方法只關(guān)注如何減少模態(tài)間的差異，而缺少對(duì)模態(tài)內(nèi)差異的關(guān)注，Choi 等人[78]提出一種層次模態(tài)分解（Hi-CMD）方法，排除光照、姿態(tài)冗余特征對(duì)跨模態(tài)行人識(shí)別的影響，提取出具有判別力的衣著、體態(tài)等有用信息，不同于其他方法采用特征嵌入網(wǎng)絡(luò)，此方法關(guān)注圖像級(jí)方式，并且使用圖像生成技術(shù)，減少模態(tài)間的差異。Ye等人[79]提出了一種新的動(dòng)態(tài)雙注意聚合（DDAG）學(xué)習(xí)方法，捕獲多級(jí)關(guān)系，挖掘模態(tài)內(nèi)實(shí)例級(jí)和跨模態(tài)圖級(jí)別的信息，提高特征表示學(xué)習(xí)，設(shè)計(jì)的實(shí)例級(jí)注意力模塊自適應(yīng)地分配身體不同部位的權(quán)重，模型中的圖結(jié)構(gòu)注意力能挖掘跨模態(tài)行人圖像關(guān)系。Chen等人[80]提出一種新的通用范式，基于自動(dòng)機(jī)器學(xué)習(xí)數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)特征搜索方法（NFS），實(shí)現(xiàn)特征選擇過程的自動(dòng)化，減少人為干預(yù)，結(jié)合了雙層特征搜索空間和可微搜索策略，在粗粒度通道和細(xì)粒度空間像素中聯(lián)合選擇與身份相關(guān)的線索。這種組合使NFS能夠自適應(yīng)地過濾背景噪聲，并以數(shù)據(jù)驅(qū)動(dòng)的方式將注意力集中在人體的信息部分。此外，跨模態(tài)對(duì)比優(yōu)化方案進(jìn)一步引導(dǎo)NFS搜索，最小化模態(tài)差異同時(shí)最大化類間距離的特征。

1.3.2 深度圖像行人重識(shí)別

深度圖像捕捉行人體型和骨骼信息（圖5（b）），這為低光照和換衣場(chǎng)景下行人重識(shí)別提供了可能性，對(duì)個(gè)性化的人機(jī)交互應(yīng)用也很重要。Haque等人[81]主要從行人獨(dú)特的體態(tài)輪廓和運(yùn)動(dòng)特征研究，提出了一種基于循環(huán)注意力的模型來學(xué)習(xí)行人時(shí)空特征。在強(qiáng)化學(xué)習(xí)框架中，結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)來識(shí)別人體有判別力的較小的局部區(qū)域，模型對(duì)視角、光照和姿勢(shì)變化具有較強(qiáng)的魯棒性。設(shè)計(jì)Glimpse 層將輸入視頻降維，降低噪聲并保留時(shí)空細(xì)節(jié)，結(jié)合注意力自動(dòng)選擇了信息量大的視頻幀，但是忽略了其他視頻幀中的有用信息。一些方法[82-83]還研究了RGB 圖像和深度圖像信息的組合，以提高行人重識(shí)別性能，解決行人換衣服的挑戰(zhàn)。Wu 等人[82]研究發(fā)現(xiàn)深度信息不可用時(shí)從RGB 圖像隱式估計(jì)特征深度。將估計(jì)的深度特征與基于RGB的外觀特征相結(jié)合，有助于更好地減少由照明和類似衣服引起的外觀特征的視覺模糊性。Karianakis等人[84]研究發(fā)現(xiàn)在RGB數(shù)據(jù)集上訓(xùn)練的淺層網(wǎng)絡(luò)模型同樣適用于深度行人圖像數(shù)據(jù)集，實(shí)現(xiàn)兩種模態(tài)ReID 模型淺層參數(shù)共享，解決了深度行人重識(shí)別數(shù)據(jù)集少訓(xùn)練模型不佳的問題，模型進(jìn)一步融合了時(shí)間注意力，為每一幀打上注意力權(quán)重，但運(yùn)用RGB 數(shù)據(jù)預(yù)訓(xùn)練增加了模型訓(xùn)練的復(fù)雜性。

1.3.3 文本-圖像行人重識(shí)別

文本到圖像的行人重識(shí)別（圖5（c））解決了文本描述和RGB圖像之間的匹配問題。當(dāng)無(wú)法獲得查詢?nèi)说目梢晥D像時(shí)，必須提供自然語(yǔ)言文本描述。使用循環(huán)神經(jīng)網(wǎng)絡(luò)的門控神經(jīng)注意力模型（GNA-RNN）[85]學(xué)習(xí)文本描述和人物圖像之間的共享特征，根據(jù)詞匯與圖像的相關(guān)度反饋不一樣的權(quán)值，由相似度檢索目標(biāo)，使得文本到圖像行人檢索的端到端訓(xùn)練成為可能，且實(shí)驗(yàn)結(jié)果表明，文本名詞提供的信息最多，形容詞次之，動(dòng)詞提供的信息最少。該方法只關(guān)注全局圖像特征與文本間的聯(lián)系，缺少局部細(xì)粒度特征與詞匯精細(xì)化的內(nèi)聯(lián)性。Chen等人[86]提出了一種全局判別圖像-語(yǔ)言關(guān)聯(lián)學(xué)習(xí)方法，在全局描述的監(jiān)督下學(xué)習(xí)全局視覺特征，而且通過建立全局和局部圖像語(yǔ)言關(guān)聯(lián)，來增強(qiáng)語(yǔ)言特征和局部視覺特征兩者的語(yǔ)義相關(guān)性?；谏矸輼?biāo)注建立全局圖像語(yǔ)言關(guān)聯(lián)和基于圖像塊與文本信息之間的對(duì)應(yīng)關(guān)系建立局部圖像語(yǔ)言關(guān)聯(lián)，證明了這兩種關(guān)聯(lián)方案將語(yǔ)言作為訓(xùn)練監(jiān)督的可行性。Zhang 等人[87]提出兩種損失函數(shù)，即跨模態(tài)投影匹配損失（CMPM）和跨模態(tài)投影分類損失（CMPC），CMPM最小化兩個(gè)模態(tài)特征投影分布的KL 散度，CMPC 將一種模態(tài)投影到另一種模態(tài)的特征進(jìn)行分類，加強(qiáng)模態(tài)間的緊湊性。Liu 等人[88]設(shè)計(jì)了一種基于圖關(guān)系挖掘的深度對(duì)抗性圖注意力卷積網(wǎng)絡(luò)（A-GANet）。利用模態(tài)鑒別器和特征變換器開發(fā)了一個(gè)對(duì)抗式學(xué)習(xí)模塊，用于學(xué)習(xí)匹配跨模態(tài)的聯(lián)合文本-視覺特征空間，圖形注意力卷積層有效地利用了圖形結(jié)構(gòu)來學(xué)習(xí)視覺和文本具有判別性的特征。

1.3.4 跨分辨率行人重識(shí)別

跨分辨率（cross-resolution）行人重識(shí)別（圖5（d））將低分辨率和高分辨率圖像進(jìn)行匹配，解決了較大的行人圖像分辨率變化難匹配的問題。針對(duì)行人低分辨率圖像Wang等人[89]提出CSR-GAN方法以級(jí)聯(lián)方式，將低分辨率圖像上采樣生成高分辨率人物圖像，提高尺度自適應(yīng)能力，設(shè)計(jì)了common-human 損失，使得生成的行人圖像更加真實(shí)，設(shè)計(jì)了unique-human 損失，使得行人圖像特征更具有判別力，為了增強(qiáng)具有判別力的行人特征提取能力，加入行人重識(shí)別網(wǎng)絡(luò)，捕獲行人外觀信息，不足之處需要預(yù)先定義圖像對(duì)之間的尺度比例，然后設(shè)置不同的匹配放大因子。Li 等人[90]采用對(duì)抗式學(xué)習(xí)技術(shù)獲得分辨率不變的圖像表示，同時(shí)能夠恢復(fù)低分辨率圖像中丟失的細(xì)節(jié)。雖然提高了跨分辨率ReID 性能，但是與ReID 的集成兼容性不夠。文獻(xiàn)[91]提出了基于注意力機(jī)制的局部超分辨率聯(lián)合身份學(xué)習(xí)網(wǎng)絡(luò)，利用注意力輔助網(wǎng)絡(luò)查詢不同分辨率行人圖像相同區(qū)域的顯著性信息，利用任意上采樣因子重建任意低分辨率的圖像，而該方法重建圖像和重識(shí)別過程中，而忽略了原始低分辨率圖像中的有用信息。Zhang等人[92]研究發(fā)現(xiàn)超分辨率技術(shù)可能為低分辨率圖像補(bǔ)充了不真實(shí)的外觀細(xì)節(jié)，因此從這些圖像中提取的特征沒有足夠的判別力；盡管低分辨率圖像在細(xì)節(jié)上有所丟失但可以提供全局信息。因此提出了一種多分辨率表征聯(lián)合學(xué)習(xí)（MRJL）方法，充分利用了高分辨率中的細(xì)節(jié)信息和低分辨率中的全局信息。

1.4 端到端行人重識(shí)別

端到端行人重識(shí)別的任務(wù)是將圖像或視頻作為輸入，集成行人檢測(cè)、跟蹤和重識(shí)別技術(shù)為一體。與傳統(tǒng)行人重識(shí)別對(duì)比如圖6 所示。由于模型在單個(gè)框架中聯(lián)合執(zhí)行行人檢測(cè)和重識(shí)別，因此可以減少對(duì)生成邊界框等額外步驟的依賴性，又由于兩個(gè)子任務(wù)的側(cè)重點(diǎn)不同，因此更具有挑戰(zhàn)性。

圖6 端到端和傳統(tǒng)Re-ID對(duì)比Fig.6 Comparison of end-to-end and traditional Re-ID

Zheng等人[14]提出了一個(gè)端到端行人檢測(cè)和行人識(shí)別的聯(lián)合框架，并系統(tǒng)地評(píng)估了行人重識(shí)別系統(tǒng)中多種行人檢測(cè)方法的優(yōu)勢(shì)和局限性。相較于現(xiàn)階段大部分研究都是行人檢測(cè)和行人重識(shí)別組合的方法，Liu 等人[93]采用NPSM框架來模擬人的視覺搜索機(jī)制，遞歸地不斷縮小待查詢圖像中目標(biāo)行人區(qū)域。類似地，Yan等人[94]提出的圖學(xué)習(xí)框架，利用圖像中上下文信息進(jìn)一步挖掘人物之間的關(guān)系，核心思想是拓展實(shí)例特征的表達(dá)能力，不再局限于只利用目標(biāo)行人的特征，也將圖像中周圍行人作為特征學(xué)習(xí)的一部分，以改進(jìn)端到端的人物搜索。Han等人[95]提出了一個(gè)基于行人重識(shí)別的定位修正框架，它能夠微調(diào)行人檢測(cè)框，使其更加有利于重識(shí)別任務(wù)。Lan等人[96]提出一種行人身份判別注意力強(qiáng)化學(xué)習(xí)（IDEAL）方法，可以在自動(dòng)檢測(cè)的邊界框內(nèi)進(jìn)行注意力選擇，從而優(yōu)化行人重識(shí)別的準(zhǔn)確性。

端到端的行人重識(shí)別也與多人多攝像頭跟蹤密切相關(guān)。針對(duì)多人跟蹤，Tang等人[97]提出一種基于圖的公式來連接人的假設(shè)，開發(fā)了行人重識(shí)別深度學(xué)習(xí)架構(gòu)，它結(jié)合了人體整體特征和身體姿勢(shì)布局。Ristani 等人[98]通過一種難樣本挖掘技術(shù)和自適應(yīng)權(quán)重的三元組損失，來學(xué)習(xí)多目標(biāo)多攝像機(jī)跟蹤和行人重識(shí)別之間的關(guān)系。最近，Hou等人[99]提出了一套可學(xué)的關(guān)注局部鄰域內(nèi)目標(biāo)外觀的度量（LAAM）和局域感知的外觀度量（LAAM），即用于相機(jī)內(nèi)和相機(jī)間的度量，并證明了局部學(xué)習(xí)的度量可成功應(yīng)用于學(xué)習(xí)全局的ReID的特征。

不同于從視頻序列中搜索示例圖像中的端到端行人重識(shí)別，Yamaguchi等人[100]研究了一個(gè)更具挑戰(zhàn)性的問題，即從帶有文本描述的視頻中搜索行人，提出了一種多階段的時(shí)空行人檢測(cè)和多模態(tài)檢索方法，訓(xùn)練得到的模型具有魯棒性，能夠應(yīng)用于視頻剪輯檢索和時(shí)空動(dòng)作檢測(cè)任務(wù)，但在這一方向上還有待進(jìn)一步的探索。

2 不同類型行人重識(shí)別方法比較分析

全局特征方法將一幅圖像輸入到卷積網(wǎng)絡(luò)直接特征提取，方法簡(jiǎn)單高效，但極易受背景噪聲影響，目前幾乎不再單獨(dú)使用；局部特征的方法能夠有效提取圖像細(xì)粒度信息，但忽略了全局語(yǔ)義信息，目前流行的方法是將圖像水平切塊，然后使行人局部對(duì)齊，并結(jié)合全局特征，注意力模塊等方法，極大地提高行人重識(shí)別性能；輔助特征方法利用GAN 技術(shù)數(shù)據(jù)增強(qiáng)，提高了模型的泛化能力，但增加了額外噪聲且模型復(fù)雜，訓(xùn)練難度大，利用行人外觀屬性的描述提高模型性能，但需要額外的數(shù)據(jù)標(biāo)注；主干網(wǎng)絡(luò)的設(shè)計(jì)能較好地符合行人重識(shí)別特定場(chǎng)景的應(yīng)用，近年來，基于ViT的行人重識(shí)別方法，彰顯了巨大的發(fā)展?jié)撃?，但主干網(wǎng)絡(luò)設(shè)計(jì)需要豐富的經(jīng)驗(yàn)，復(fù)雜的調(diào)試，開發(fā)難度較大；視頻特征的方法能夠提取視頻序列中豐富的行人時(shí)序和空間信息，但訓(xùn)練需占用較多的硬件資源；有監(jiān)督行人重識(shí)別方法性能已接近飽和，近年來，越來越多的研究者關(guān)注弱監(jiān)督的行人重識(shí)別方法，尤其是基于無(wú)監(jiān)督行人重識(shí)別方法，減少了對(duì)標(biāo)注數(shù)據(jù)的依賴，更具實(shí)際應(yīng)用價(jià)值，但一般由于背景噪聲影響和聚類算法性能低導(dǎo)致模型性能欠佳；近年來，關(guān)于紅外圖像的行人重識(shí)別研究，在CVPR等頂級(jí)學(xué)術(shù)交流會(huì)議上論文較多，是目前研究的一個(gè)熱點(diǎn)，主要解決紅外圖像和RGB 圖像交叉模態(tài)行人特征匹配的問題，由于模態(tài)間難以提取具有判別力的共享特征等多種不明因素影響，模型性能有待較大提高；深度圖像特征學(xué)習(xí)利用3D 點(diǎn)云等技術(shù)捕捉行人特征，能很好地解決在行人換衣和光照不好情景下行人重識(shí)別的難題，但模型復(fù)雜，訓(xùn)練難度較大；文本描述行人重識(shí)別方法挖掘文本描述和行人圖像之間的特征關(guān)系，當(dāng)缺少目標(biāo)人物圖像時(shí)的另一可行方案，但目前識(shí)別率較低；跨分辨率行人重識(shí)別方法一般將低分辨圖像通過超分辨或?qū)箤W(xué)習(xí)技術(shù)轉(zhuǎn)化為高分辨率圖像，雖然豐富了圖像外觀信息，但卻引入了額外噪聲；端到端行人重識(shí)別將行人檢測(cè)和重識(shí)別技術(shù)集成在一個(gè)框架里，更能接近實(shí)際應(yīng)用，但模型設(shè)計(jì)復(fù)雜，訓(xùn)練難度較大。以上幾種行人重識(shí)別方法各自都有機(jī)制、優(yōu)勢(shì)、局限性和適用范圍，具體如表1所示。

表1 不同類型行人重識(shí)別方法對(duì)比分析Table 1 Comparison and analysis of different types of person re-identification methods

3 數(shù)據(jù)集及實(shí)驗(yàn)比較

總結(jié)了常用的單模態(tài)（表2）和跨模態(tài)行人重識(shí)別數(shù)據(jù)集。表2給出了常用的單模態(tài)11個(gè)數(shù)據(jù)集，包括7個(gè)圖像數(shù)據(jù)集（VIPeR[101]、iLIDS[102]、PRID2011[103]、CUHK03[104]、Market-1501[105]、DukeMTMC-ReID[27]和MSMT17[61]）和4個(gè)視頻數(shù)據(jù)集（PRID-2011[103]、iLIDS-VID[106]、MARS[107]和DukeMTMC-VideoReID[46]）；并列舉了跨模態(tài)行人重識(shí)別數(shù)據(jù)集如紅外行人數(shù)據(jù)集、深度圖像數(shù)據(jù)集、文本數(shù)據(jù)集和跨分辨率數(shù)據(jù)集。

（1）紅外行人數(shù)據(jù)集：2017 年發(fā)布的SYSU-MM01數(shù)據(jù)集[74]，2 個(gè)紅外攝像機(jī)采集和4 個(gè)可見光攝像機(jī)的兩種圖像，采集環(huán)境包括室外和室內(nèi)兩種情況包括來自6 個(gè)攝像頭的491 個(gè)身份的IR 和RGB 圖像，總共提供15 792 張IR 圖像和287 628 個(gè)RGB 圖像。2017 年3 月份RegDB數(shù)據(jù)集[108]使用紅外和可見光雙攝像機(jī)同時(shí)拍攝了412人。每人10幅可見光圖像和相應(yīng)的10幅紅外圖像。其中女性254 人，男性158 人。156 人從正面拍攝，另外256人從背面拍攝。由于圖像是在人移動(dòng)時(shí)拍攝的，因此每人的10幅圖像在光照條件、拍攝距離和姿勢(shì)上有所不同。但是，同一個(gè)人的10張圖像之間的相機(jī)的視角、天氣狀況和捕獲的視圖（前/后視圖）是相同的。

（2）深度圖像數(shù)據(jù)集：PAVIS數(shù)據(jù)集[83]由4組不同的數(shù)據(jù)組成。第1個(gè)“協(xié)作”組記錄79人緩慢行走、正面視圖、伸展手臂和避免遮擋。第2 組（“行走1”）和第3 組（“行走2”）數(shù)據(jù)由同樣79 人在進(jìn)入工作室時(shí)正常行走的正面視圖組成。第4 組（“后視”）是人們離開工作室的后視記錄。因?yàn)榕臄z地點(diǎn)和時(shí)間不同，所以無(wú)法保證服裝或配飾等視覺方面保持不變。BIWI RGBD-ID 數(shù)據(jù)集[109]收集50個(gè)不同的行人在不同的時(shí)間和地點(diǎn)的運(yùn)動(dòng)視頻序列，其中包括RGB圖像（1 280像素×960像素）、行人分割圖、深度圖像、骨骼數(shù)據(jù)和地平面坐標(biāo)。另外，還收集了187 728 個(gè)人靜止和行走的序列圖作為測(cè)試集，以大約8～10 幀/s 速度拍攝視頻，每人的拍攝時(shí)間約為1 min，每人正對(duì)攝像機(jī)走兩次，對(duì)角走兩次，因?yàn)榕臄z地點(diǎn)和時(shí)間不同，所以同一人的服裝也不同。

（3）文本數(shù)據(jù)集：CUHK-PEDES 數(shù)據(jù)集[85]包含13 003 個(gè)身份的40 206 幅行人圖像。每個(gè)行人圖像由兩個(gè)不同的文本描述。總共收集了80 412 個(gè)句子。包含關(guān)于人的外表、動(dòng)作、姿勢(shì)和交互的豐富細(xì)節(jié)。句子描述一般較長(zhǎng)（平均＞23個(gè)詞），詞匯量豐富，重復(fù)信息少。數(shù)據(jù)集中共有1 893 118 個(gè)單詞和9 408 個(gè)唯一單詞。最長(zhǎng)的句子有96個(gè)詞，平均詞長(zhǎng)為23.5。Flickr30k[110]是最大的跨模態(tài)檢索數(shù)據(jù)集之一。它包含從Flickr網(wǎng)站收集的31 783張圖片，其中每張圖片有5句文本描述。

（4）跨分辨率數(shù)據(jù)集：MLR-VIPeR 是從VIPeR[101]數(shù)據(jù)集構(gòu)建的。VIPeR包含由兩個(gè)攝像頭捕獲的632個(gè)人像對(duì)。每張圖像都是高分辨率的128×48像素。為了使該數(shù)據(jù)集適用于LR人員重新識(shí)別評(píng)估，按照從{1/2，1/3，1/4}隨機(jī)選取采樣率對(duì)來自一個(gè)攝像機(jī)視圖的所有圖像進(jìn)行下采樣，而另一個(gè)視圖的其余圖像相同。

為能直觀對(duì)比，本文根據(jù)模型算法和數(shù)據(jù)集提取方式不同分別介紹基于深度學(xué)習(xí)的行人重識(shí)別模型性能對(duì)比，包括監(jiān)督學(xué)習(xí)在圖像數(shù)據(jù)集下的表現(xiàn)（表3）、監(jiān)督學(xué)習(xí)在視頻數(shù)據(jù)集中的表現(xiàn)（表4）、無(wú)監(jiān)督學(xué)習(xí)在常用數(shù)據(jù)集的表現(xiàn)（表5）和跨模態(tài)行人重識(shí)別方法在常用的行人數(shù)據(jù)集上的表現(xiàn)（表6）。

表3 有監(jiān)督學(xué)習(xí)在圖像數(shù)據(jù)集下的表現(xiàn)Table 3 Performance of supervised learning under image datasets %

表4 有監(jiān)督學(xué)習(xí)在視頻數(shù)據(jù)集中的表現(xiàn)Table 4 Performance of supervised learning under video datasets %

表5 無(wú)監(jiān)督學(xué)習(xí)下的表現(xiàn)Table 5 Performance of unsupervised learning %

表6 跨模態(tài)行人重識(shí)別算法性能比較Table 6 Performance comparison of cross-modality Re-ID %

從表3可以看出，有監(jiān)督學(xué)習(xí)行人重識(shí)別模型在圖像數(shù)據(jù)集上取得了很大進(jìn)步，在Market-1501數(shù)據(jù)集上，Rank1 準(zhǔn)確率從2018 年的83.7%上升至98.0%提升了14.3個(gè)百分點(diǎn)；在DukeMTMC-ReID數(shù)據(jù)集上，Rank1準(zhǔn)確率從2018 年的76.44%上升至94.7%提升了18.26 個(gè)百分點(diǎn)。比較得出，局部特征模型在數(shù)據(jù)集上性能表現(xiàn)較優(yōu)。不同模型在不同數(shù)據(jù)集上的取得效果也不一致，研究人員仍需進(jìn)一步關(guān)注模型的性能。

從表4 中看出，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，監(jiān)督學(xué)習(xí)行人重識(shí)別模型在視頻數(shù)據(jù)集上的性能在不斷提高。具體來說，在PRID-2011數(shù)據(jù)集上，Rank1準(zhǔn)確率從2016年的70%提高到2021年的96.2%；在iLIDS-VID數(shù)據(jù)集上，Rank1準(zhǔn)確率從58%提高到90.4%；在MARS數(shù)據(jù)集上，準(zhǔn)確率從2017年的44%提高到91.0%。

從表5可看出，無(wú)監(jiān)督行人重識(shí)別得到了越來越多的關(guān)注，這可以從頂級(jí)出版物數(shù)量的增加中得到證明。無(wú)監(jiān)督行人重識(shí)別模型性能近年來顯著增加。在Market-1501數(shù)據(jù)集上，Rank1準(zhǔn)確率在四年內(nèi)從62.2%提高到92.2%；DukeMTMC-ReID 數(shù)據(jù)集性能從46.9%提高到82.0%。監(jiān)督學(xué)習(xí)的上界與無(wú)監(jiān)督學(xué)習(xí)的差距顯著縮小，這證明了無(wú)監(jiān)督行人重識(shí)別的成功。

從表6可以看出，近年來跨模態(tài)行人重識(shí)別模型大部分是基于度量學(xué)習(xí)方法和基于特定的特征模型，基于跨分辨率行人重識(shí)別主要應(yīng)用統(tǒng)一模態(tài)的方法，基于文本的行人重識(shí)別任務(wù)較難實(shí)現(xiàn)統(tǒng)一模態(tài)方法，而統(tǒng)一模態(tài)方法還未深入研究和應(yīng)用。

4 未來研究方向

大多數(shù)現(xiàn)有的行人重識(shí)別工作在數(shù)據(jù)集標(biāo)注完善的場(chǎng)景下評(píng)估他們的方法。然而，真實(shí)復(fù)雜環(huán)境中的數(shù)據(jù)采集是不可控的。數(shù)據(jù)可能來自不可預(yù)測(cè)的模態(tài)、模態(tài)組合，甚至是衣服更換。因此，在行人重識(shí)別領(lǐng)域還有許多需要研究的方向。

（1）半監(jiān)督、無(wú)監(jiān)督模型研究。目前行人重識(shí)別數(shù)據(jù)集樣本量與百萬(wàn)級(jí)的人臉數(shù)據(jù)集相比相差甚遠(yuǎn)，且人工標(biāo)注成本高，因此半監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)雖然在性能上與監(jiān)督學(xué)習(xí)有一定差距，但能減少對(duì)數(shù)據(jù)集標(biāo)注的依賴，有利于擴(kuò)充數(shù)據(jù)集。將來半監(jiān)督學(xué)習(xí)應(yīng)該致力于如何利用較少標(biāo)注數(shù)據(jù)集和較多的未標(biāo)注數(shù)據(jù)集來提取有判別力的行人特征。面對(duì)未標(biāo)注的數(shù)據(jù)，無(wú)監(jiān)督模型應(yīng)探索有效的特征映射空間。無(wú)監(jiān)督中遷移學(xué)習(xí)能夠解決目標(biāo)域不同場(chǎng)景變換問題，克服場(chǎng)景變換是領(lǐng)域自適應(yīng)的重要研究方向。

（2）跨模態(tài)行人重識(shí)別模型。在實(shí)際應(yīng)用中，數(shù)據(jù)可能是從多個(gè)模態(tài)中收集的，即人物圖像的分辨率變化很大，查詢集和圖庫(kù)集可能包含不同的模態(tài)（RGB 圖像，紅外圖像，深度圖像或配有文字說明的圖像），這對(duì)于行人重識(shí)別任務(wù)具有重大挑戰(zhàn)。具有實(shí)際應(yīng)用價(jià)值的行人重識(shí)別系統(tǒng)要能夠自動(dòng)處理不斷變化的分辨率、不同模態(tài)、各種環(huán)境和多個(gè)域的圖像。因此，如何綜合多種跨域場(chǎng)景，設(shè)計(jì)一種更具適應(yīng)性和魯棒性的模型具有重要的理論意義和實(shí)用價(jià)值。

（3）換衣行人重識(shí)別方法研究。在實(shí)際的監(jiān)控系統(tǒng)中，很可能包含大量換衣服的目標(biāo)人員。目前研究方法較少，部分研究人員通過提取面部、身體上下文信息和空間極坐標(biāo)變換來解決這個(gè)問題，然而，他們?nèi)匀粐?yán)重依賴面部和身體外觀，這可能是在真實(shí)場(chǎng)景中是不穩(wěn)定的。研究者可進(jìn)一步探索其他具有辨別性的線索（例如步態(tài)、姿勢(shì)，3D模型）來解決換衣問題。

（4）端到端模型。在單個(gè)框架中同時(shí)涉及行人檢測(cè)和重新識(shí)別的端到端模型研究較少。由于大多數(shù)數(shù)據(jù)集是在受控環(huán)境下收集的，人員檢測(cè)通常是先驗(yàn)條件，因此模型具有較高性能，但實(shí)際場(chǎng)景復(fù)雜多變，將行人檢測(cè)和重識(shí)別相結(jié)合的端到端的模型更加符合實(shí)際需要和應(yīng)用價(jià)值。

5 結(jié)束語(yǔ)

行人重識(shí)別是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱門話題，幾年越來越多的學(xué)者關(guān)注這一領(lǐng)域，而深度學(xué)習(xí)極大地促進(jìn)了該領(lǐng)域的發(fā)展。本文首先圍繞特征提取方式不同介紹了監(jiān)督學(xué)習(xí)行人重識(shí)別中特征學(xué)習(xí)、度量學(xué)習(xí)和排序優(yōu)化三個(gè)方面；同時(shí)著重介紹了未來具有重大研究潛力的半監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)，跨模態(tài)數(shù)據(jù)和端到端的行人重識(shí)別；之后，并介紹了不同模型算法常用的數(shù)據(jù)集和多種算法比較分析；最后展望未來值得研究的問題和方向。