跨模態(tài)行人重識(shí)別研究綜述

劉玉林

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500）

0 引 言

行人重識(shí)別作為視頻智能監(jiān)控系統(tǒng)的核心關(guān)鍵技術(shù)之一，旨在從非重疊相機(jī)視角獲得的數(shù)據(jù)中，正確檢索出相同的目標(biāo)行人[1-2]。目前，大多數(shù)傳統(tǒng)行人重識(shí)別方法都專注于解決可見(jiàn)光圖像的跨視角行人匹配任務(wù)，不能較好地適應(yīng)現(xiàn)實(shí)世界場(chǎng)景中的光照變化（如夜間的低光照環(huán)境）。為此，在可見(jiàn)光圖像和紅外圖像兩種不同模態(tài)數(shù)據(jù)間匹配感興趣的行人目標(biāo)（即可見(jiàn)光-紅外行人重識(shí)別），成為當(dāng)前行人重識(shí)別研究的熱點(diǎn)和關(guān)鍵問(wèn)題之一，引起了研究者們的廣泛關(guān)注[3-4]。

除背景雜亂、姿態(tài)變化、部分遮擋以及相機(jī)視角不同引起的類內(nèi)變化外，可見(jiàn)光-紅外行人重識(shí)別還存在由相機(jī)拍攝波長(zhǎng)不同引起的模態(tài)差異（如顏色等外觀線索不可靠的問(wèn)題）。這種模態(tài)差異加劇了類內(nèi)變化，使不同模態(tài)間的相同身份特征更難對(duì)齊。模態(tài)差異比模態(tài)內(nèi)變化更能影響跨模態(tài)行人重識(shí)別的模型性能。這使得跨模態(tài)行人重識(shí)別必須解決模態(tài)差異問(wèn)題。從模態(tài)差異減小角度，可將大多數(shù)跨模態(tài)行人重識(shí)別方法分為基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）的跨模態(tài)圖像合成方法[5-8]和基于網(wǎng)絡(luò)參數(shù)共享的雙流網(wǎng)絡(luò)方法。

1 基于GANs 的跨模態(tài)行人重識(shí)別

為了盡量減小模態(tài)差異，WANG G 等人[7]利用GANs 只將紅外圖像的風(fēng)格屬性遷移到它們的可見(jiàn)圖像對(duì)應(yīng)物，并將紅外圖像和圖像特征聯(lián)合輸入鑒別器，以實(shí)現(xiàn)像素和特征的對(duì)齊。ZHANG Z等人[6]利用合成的紅外圖像以知識(shí)蒸餾的思想指導(dǎo)可見(jiàn)圖像的學(xué)習(xí)。由于在生成圖像的過(guò)程中不可避免地丟失一些身份相關(guān)的信息，同時(shí)保留大量與身份無(wú)關(guān)的冗余信息，這使得基于GANs 的跨模態(tài)合成圖像方法并不能取得理想的性能。為了避免從合成圖像提取判別特征，CHOI S 等人[10-11]利用解糾纏的思想，以圖像的生成和重建實(shí)現(xiàn)身份相關(guān)特征的提取。但RGB-IR ReID 標(biāo)準(zhǔn)數(shù)據(jù)集的可見(jiàn)圖像和紅外圖像雖然身份一致但像素并不對(duì)齊，導(dǎo)致圖像的生成和重建訓(xùn)練困難，且可見(jiàn)光-紅外行人重識(shí)別的圖像層面解糾纏方法不能取得理想的效果。

2 基于共享特征學(xué)習(xí)的跨模態(tài)行人重識(shí)別

可見(jiàn)圖像和紅外圖像以共享網(wǎng)絡(luò)參數(shù)的方式實(shí)現(xiàn)特征對(duì)齊[12-16]。一個(gè)代表性的模型結(jié)構(gòu)是雙流卷積神經(jīng)網(wǎng)絡(luò)[12]。ResNet50 的前兩層參數(shù)獨(dú)立，以便網(wǎng)絡(luò)從圖像中提取更加豐富的特征。ResNet50的后三層參數(shù)共享，以提取模態(tài)共有的特征，實(shí)現(xiàn)特征對(duì)齊。目前基于共享特征學(xué)習(xí)的方法正在主導(dǎo)可見(jiàn)紅外行人重識(shí)別，例如，多項(xiàng)研究[17-18]在雙流網(wǎng)絡(luò)的有利基礎(chǔ)上致力于挖掘更加有效的身份損失和排名損失，或利用注意力機(jī)制[18]關(guān)注圖像的顯著區(qū)域，針對(duì)類間和類內(nèi)變化學(xué)習(xí)更加魯棒的判別特征。但上述方法過(guò)于關(guān)注行人的外觀特征，忽略了具有模態(tài)不變性的行人身體結(jié)構(gòu)信息和體型等全局信息。

3 亟待解決的問(wèn)題

近年來(lái)，隨著深度學(xué)習(xí)的廣泛應(yīng)用，跨模態(tài)行人重識(shí)別的研究也達(dá)到了前所未有的高度，識(shí)別性能實(shí)現(xiàn)了質(zhì)的飛越。但該技術(shù)在實(shí)際中推廣應(yīng)用仍然存在著以下問(wèn)題。

（1）行人外貌特征受到風(fēng)格、視角以及遮擋等因素影響，使得相同行人外貌可能存在較大差異，不同行人可能具有較高相似性。由于行人圖像由不同攝像機(jī)捕捉得到，且攝像機(jī)網(wǎng)絡(luò)也遍布各處，因此圖像中的行人外貌會(huì)受到相機(jī)風(fēng)格、視角以及遮擋等各種因素的影響。在這些因素影響下，相同身份的不同行人圖像可能存在極大的外貌差異，而不同身份的行人圖像相似度較大，這很大程度上影響了模型所學(xué)特征的判別性，影響最終匹配的準(zhǔn)確性。因此，如何克服上述這些因素的影響，學(xué)習(xí)更全面、更具有判別性的特征，仍然是行人識(shí)別任務(wù)的一個(gè)重點(diǎn)。

（2）不能滿足跨模態(tài)行人重識(shí)別技術(shù)發(fā)展需求的數(shù)據(jù)集。目前，跨模態(tài)行人重識(shí)別只有兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集，并且數(shù)據(jù)集中的圖像大多來(lái)源于相似型號(hào)以及角度的機(jī)位，和實(shí)際中多樣化的場(chǎng)景差距較大[19]。

（3）可見(jiàn)光圖像和紅外圖像間存在較大的模態(tài)差異。在跨模態(tài)行人重識(shí)別技術(shù)中，可見(jiàn)光圖像與紅外圖像間存在模態(tài)差異，這種模態(tài)差異不僅帶來(lái)顏色等外觀線索不可靠的問(wèn)題，還加劇了類內(nèi)變化，使不同模態(tài)間的相同身份特征更難對(duì)齊。研究發(fā)現(xiàn)，在跨模態(tài)行人重識(shí)別技術(shù)中，模態(tài)間差異比類內(nèi)變化更能干擾有效判別特征的提取。因此，如何克服模態(tài)間較大差異的影響，提高識(shí)別性能，是推廣應(yīng)用該技術(shù)的關(guān)鍵問(wèn)題。

4 展 望

目前，盡管跨模態(tài)行人重識(shí)別受到越來(lái)越多的研究關(guān)注，也出現(xiàn)了很多相關(guān)的論文，但是跨模態(tài)行人重識(shí)別仍然處在初級(jí)發(fā)展階段。想要取得更大的突破，未來(lái)的發(fā)展方向可以從以下方面考慮。

（1）構(gòu)建滿足跨模態(tài)行人重識(shí)別技術(shù)發(fā)展的數(shù)據(jù)集。目前跨模態(tài)行人重識(shí)別只有兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集，數(shù)據(jù)集只有相機(jī)標(biāo)簽和身份標(biāo)簽，如果能獲得更多標(biāo)簽和更符合現(xiàn)實(shí)場(chǎng)景的數(shù)據(jù)集，會(huì)促進(jìn)跨模態(tài)行人重識(shí)別技術(shù)的發(fā)展。

（2）關(guān)注模態(tài)轉(zhuǎn)換的研究。以共享網(wǎng)絡(luò)的方式解決模態(tài)差異問(wèn)題，是目前跨模態(tài)行人重識(shí)別技術(shù)的主流網(wǎng)絡(luò)，對(duì)現(xiàn)有方法的分析發(fā)現(xiàn)，采用模態(tài)轉(zhuǎn)換的方法如可見(jiàn)光模態(tài)轉(zhuǎn)換到紅外模態(tài)，其識(shí)別率明顯優(yōu)于傳統(tǒng)的方法。但是基于GAN 的模態(tài)轉(zhuǎn)換方法由于在生成圖像的過(guò)程中不可避免地丟失一些身份相關(guān)的信息，同時(shí)保留大量與身份無(wú)關(guān)的冗余信息，使得基于GAN 的跨模態(tài)合成圖像方法并不能取得理想的性能。如果能獲得可見(jiàn)圖像和紅外圖像對(duì)齊的跨模態(tài)行人重識(shí)別數(shù)據(jù)集，那么利用蒸餾的思想去訓(xùn)練模型，對(duì)于可見(jiàn)光圖像的輸入提取其對(duì)應(yīng)的紅外圖像特征，對(duì)跨模態(tài)行人重識(shí)別的識(shí)別率會(huì)大大提高。

（3）結(jié)合全局特征學(xué)習(xí)。在行人重識(shí)別中，顏色是識(shí)別行人身份的有效信息，但是在跨模態(tài)行人重識(shí)別中，顏色是不可靠的外觀因素，會(huì)對(duì)行人身份的識(shí)別帶來(lái)干擾。因此，其他信息如體型信息的提取變得異常關(guān)鍵。但是計(jì)算機(jī)對(duì)圖像的紋理信息比較敏感，除非給予模型一定的體型信息約束，否則計(jì)算機(jī)提取不到行人的體型信息。如何巧妙地約束模型或者提出新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以提取行人的體型信息，對(duì)于提高跨模態(tài)行人重識(shí)別的識(shí)別率有重要意義。

5 結(jié) 語(yǔ)

本文對(duì)跨模態(tài)行人重識(shí)別問(wèn)題進(jìn)行了研究，基于模態(tài)差異減小的角度，將現(xiàn)階段的跨模態(tài)行人重識(shí)別方法分為基于GANs 的跨模態(tài)圖像合成方法和基于網(wǎng)絡(luò)參數(shù)共享的雙流網(wǎng)絡(luò)方法，并對(duì)這些方法進(jìn)行了介紹；對(duì)跨模態(tài)行人重識(shí)別亟待解決的問(wèn)題進(jìn)行了整理分類，并討論了未來(lái)可能的發(fā)展方向。作為智能視頻監(jiān)控系統(tǒng)的核心關(guān)鍵技術(shù)之一，跨模態(tài)行人重識(shí)別會(huì)受到越來(lái)越廣泛的關(guān)注。