行人搜索問(wèn)題研究

周華捷　程文　王繼學(xué)

摘要：行人搜索指從一個(gè)拍攝視域較廣的攝像頭下找到與待查詢目標(biāo)行人類別相同的行人在場(chǎng)景中的位置，包含了一個(gè)查找（目標(biāo)檢測(cè)）和匹配（行人再識(shí)別）的過(guò)程。現(xiàn)有的行人再識(shí)別算法需要依賴于目標(biāo)檢測(cè)的結(jié)果，但目標(biāo)檢測(cè)與行人再識(shí)別之間相互分離。行人搜索將目標(biāo)檢測(cè)和行人再識(shí)別融合成為一個(gè)框架，以實(shí)現(xiàn)當(dāng)前大型智能監(jiān)控系統(tǒng)的實(shí)時(shí)目標(biāo)匹配需求。本文重點(diǎn)分析現(xiàn)有的行人搜索研究成果，重點(diǎn)闡述行人搜索問(wèn)題中各種算法所做的不同嘗試。

關(guān)鍵詞：行人搜索；行人再識(shí)別；計(jì)算機(jī)視覺(jué)；目標(biāo)檢測(cè)

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）15-0189-03

Research on Person Search

ZHOU Hua-jie， CHENG Wen， WANG Ji-xue

（School of Computer and Information， Hefei University of Technology， Hefei 230009， China）

Abstract： Person Search refers to the process of finding the position of a target pedestrian which match to the query under a wide camera view， including a process of searching （Object Detection） and matching （Person Re-identification）. The existing Person Re-identification algorithms need to rely on the result of the Object Detection， but the Object Detection and the Person Re-identification are separated from each other. Person search integrates Object Detection and Person Re-identification into one framework to achieve the real-time target matching requirements of current large-scale intelligent surveillance systems. This article focuses on the analysis of existing Person Search research results， and different attempts made by various algorithms in Person Search.

Key words： person search； person re-identification； computer vision； object detection

行人的查找與匹配是當(dāng)前大型視頻監(jiān)控系統(tǒng)中十分重要的兩項(xiàng)任務(wù)。即在無(wú)重疊視域下。如何從不同的攝像機(jī)拍攝的畫(huà)面中搜尋與待查詢行人身份相同的目標(biāo)行人。應(yīng)用場(chǎng)景通常包括超市、機(jī)場(chǎng)以及人員嘈雜的廣場(chǎng)。場(chǎng)景中包含大量的無(wú)關(guān)行人目標(biāo)。在拍攝過(guò)程中由攝像頭本身的原因以及光照的影響，不同攝像頭在不同時(shí)間拍攝的同一行人在外貌上相差較大。現(xiàn)有的方法主要是先將所有的目標(biāo)行人均從攝像機(jī)畫(huà)面中找出，再一一與待查詢的目標(biāo)行人比較相似性。這種做法需要花費(fèi)大量的時(shí)間且沒(méi)有針對(duì)性。因此有必要研究一種快速準(zhǔn)確的行人搜索框架。

1 目標(biāo)檢測(cè)

行人搜索包括目標(biāo)檢測(cè)，現(xiàn)有的目標(biāo)檢測(cè)算法有DPM檢測(cè)器算法[1]，基于網(wǎng)格的快速目標(biāo)檢測(cè)如YOLO[2]、SSD[3]以及基于region proposal的FAST RCNN[4]家族。目標(biāo)檢測(cè)算法對(duì)常規(guī)的行人檢測(cè)具有較好的泛化性，但在一些極端條件下的行人如目標(biāo)較小，較為模糊，光照條件差、行人被遮擋等情況則會(huì)出現(xiàn)一定的檢測(cè)誤差，甚至遺漏一部分行人。行人搜索的任務(wù)旨在匹配和目標(biāo)行人身份相同的行人圖片，若是檢測(cè)器將圖中所有出現(xiàn)的目標(biāo)均視作可能相關(guān)行人，則在行人再識(shí)別這一步上有大量的候選行人相當(dāng)于增大了后續(xù)匹配任務(wù)的負(fù)擔(dān)，會(huì)直接對(duì)準(zhǔn)確率和速度造成一定的影響，因此我們需要一個(gè)專門針對(duì)目標(biāo)行人的檢測(cè)器以取代通用的目標(biāo)檢測(cè)。

2 行人再識(shí)別

行人再識(shí)別在目標(biāo)檢測(cè)之后將檢測(cè)出的各個(gè)疑似目標(biāo)行人與查詢行人相匹配的過(guò)程。目前的研究較為充分，屬于圖像檢索的一個(gè)分支。行人再識(shí)別包括用特定的特征描述子對(duì)行人圖片進(jìn)行描述以及利用距離度量函數(shù)判斷行人特征之間的相似性。傳統(tǒng)的行人再識(shí)別主要采用顏色特征和紋理特征作為行人的特征描述，再用特定的距離測(cè)度函數(shù)衡量特征之間的相似性。例如歐氏距離、馬氏距離以及需要學(xué)習(xí)度量參數(shù)的KISSME[5]和XQDA[6]。隨著深度學(xué)習(xí)的發(fā)展，行人再識(shí)別的距離度量和特征學(xué)習(xí)逐漸一體化，例如[7]中使用神經(jīng)網(wǎng)絡(luò)提取特征，再用siamese loss優(yōu)化特征之間的距離，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的參數(shù)不僅包括用于特征提取，還包括測(cè)度學(xué)習(xí)。

3 行人搜索

現(xiàn)有的行人搜索算法主要有[8-13]。大型行人搜索數(shù)據(jù)集主要包括PRW和CUHK-SYSU。最早的兩篇行人搜索文獻(xiàn)主要由鄭良[8]和Xiao Tong[9]完成。在文獻(xiàn)[8]中鄭良等人提出了PRW行人搜索數(shù)據(jù)集（如圖1），采用RCNN目標(biāo)檢測(cè)框架得到相應(yīng)的幾個(gè)行人候選框。再利用ResNet50對(duì)候選框中的各個(gè)行人提取特征進(jìn)行距離度量，其采用級(jí)聯(lián)的方式訓(xùn)練網(wǎng)絡(luò)，先使用在imagenet上預(yù)訓(xùn)練的ResNet50在PRW數(shù)據(jù)集上對(duì)各個(gè)候選框判別是行人還是背景，在此基礎(chǔ)上再次訓(xùn)練以判別各個(gè)行人的類別；其最終比較了各種不同的目標(biāo)檢測(cè)算法，特征提取方式對(duì)最終結(jié)果的影響。

文獻(xiàn)[9]中Xiao Tong等人提出了CUHK-SYSU數(shù)據(jù)集，并采用了一種類似于目標(biāo)檢測(cè)的網(wǎng)絡(luò)即從CNN中間層加入region proposal network再用通過(guò)對(duì)region proposal中不同大小的各個(gè)區(qū)域進(jìn)行pooling。最后使用OIM（online instance match）loss進(jìn)行優(yōu)化。

由圖2中可知，藍(lán)色框表示有標(biāo)簽的行人，橘色框表示沒(méi)有標(biāo)簽（僅在數(shù)據(jù)集中出現(xiàn)過(guò)一次）的樣本。在訓(xùn)練集中針對(duì)一種類別的樣本，其正樣本較少，與之類別不同的行人，或未標(biāo)記類別的行人均可作為負(fù)樣本。我們希望針對(duì)單獨(dú)某個(gè)行人特征的類內(nèi)距離較小，類間距離較大。但在一次sgd（隨機(jī)梯度下降）中沒(méi)有必要對(duì)整個(gè)數(shù)據(jù)集中的所有負(fù)樣本均拉開(kāi)距離。因此文中采用了一種查找表的方式，在一次sgd中僅對(duì)查找表（LUT）和循環(huán)隊(duì)列（CQ）中的樣本進(jìn)行優(yōu)化，查找表中都是有類別的行人樣本，循環(huán)隊(duì)列中主要是在數(shù)據(jù)集的制作過(guò)程的部分在整個(gè)數(shù)據(jù)集中僅出現(xiàn)一次的行人，無(wú)法對(duì)其類別進(jìn)行標(biāo)定，合適做負(fù)樣本。通過(guò)在線優(yōu)化和對(duì)查找表和循環(huán)隊(duì)列的不斷更新，網(wǎng)絡(luò)學(xué)習(xí)到如何針對(duì)待查詢行人，找到目標(biāo)行人并提取具有區(qū)分性的特征。文獻(xiàn)[10]中劉皓等人提出了一種樹(shù)型注意機(jī)制如圖3，首先利用目標(biāo)檢測(cè)方法檢測(cè)出行人的大致區(qū)域，通過(guò)將檢測(cè)到的boundingbox組合得到一個(gè)人群的大致位置作為樹(shù)根。人的注意力通常是先注意到整張圖片中包含人群的一大部分，然后通過(guò)將目標(biāo)行人和周圍人群比較逐漸縮小注意范圍。文獻(xiàn)中采用帶記憶的convLSTM根據(jù)對(duì)待查詢行人外觀的記憶選擇每一次關(guān)注的區(qū)域，將行人搜索轉(zhuǎn)化為從樹(shù)根選擇一條到其子樹(shù)的分叉路徑，逐漸縮小最終找到目標(biāo)行人。這種方法能抓住行人圖片中的一些邊緣線索。在對(duì)一張圖的查找過(guò)程中有針對(duì)性的產(chǎn)生目標(biāo)行人的位置，有效地提高行人搜索的準(zhǔn)確性。

文獻(xiàn)[11]使用了一種基于相關(guān)性的濾波器（Correlation Based Identity Filter ）將行人搜索任務(wù)轉(zhuǎn)化為判斷場(chǎng)景中一個(gè)區(qū)域包含目標(biāo)行人的可能性的回歸問(wèn)題（如圖4）。訓(xùn)練階段通過(guò)圍繞訓(xùn)練集中的ground truth不斷環(huán)形采樣同時(shí)采用回歸任務(wù)優(yōu)化提高濾波器的準(zhǔn)確性。相關(guān)濾波的學(xué)習(xí)可以通過(guò)Block-Circulant Decomposition （BCD） 和離散傅立葉變換加速。在測(cè)試階段將濾波通過(guò)將原圖像轉(zhuǎn)化為不同尺度的圖像以搜索在原圖像中不同大小的行人。快速地完成對(duì)目標(biāo)行人的查找。

文獻(xiàn)[12]在文獻(xiàn)[9]的基礎(chǔ)上提出了center loss即針對(duì)某類行人的在各個(gè)攝像機(jī)下拍攝的不同圖片在特征空間上應(yīng)有一個(gè)聚類中心，通過(guò)優(yōu)化各個(gè)圖片特征到聚類中心的距離提高針對(duì)行人所提取特征的區(qū)分性。文獻(xiàn)[13]在深度特征的基礎(chǔ)上還加入了傳統(tǒng)的顏色特征與紋理特征作為特征提取的一部分。

4 結(jié)束語(yǔ)

行人搜索是行人檢索的未來(lái)，本文介紹了現(xiàn)有的幾種行人搜索算法，并對(duì)行人搜索的發(fā)展方向進(jìn)行了分析。首先是將目標(biāo)檢測(cè)與行人再識(shí)別分開(kāi)優(yōu)化的框架初步將兩種任務(wù)結(jié)合，在此基礎(chǔ)上產(chǎn)生了端到端的行人搜索框架，通過(guò)選擇特定的行人去查找而不是盲目的查找所有的行人使行人搜索在速度與準(zhǔn)確率上均有所提升。接著我們介紹了當(dāng)前行人搜索算法的一些拓展，包括樹(shù)形搜索，特征融合，優(yōu)化類內(nèi)距離等等。最后對(duì)未來(lái)的行人搜索方向進(jìn)行了闡述。

參考文獻(xiàn)：

[1] Felzenszwalb P F， Girshick R B， Mcallester D， et al. Object detection with discriminatively trained part-based models.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2010， 32（9）：1627-1645.

[2] Redmon J， Divvala S， Girshick R， et al. You only look once： Unified， real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 779-788.

[3] Liu W， Anguelov D， Erhan D， et al. Ssd： Single shot multibox detector[C]//European conference on computer vision. Springer， Cham， 2016： 21-37.

[4] Girshick R. Fast R-CNN[C]// IEEE International Conference on Computer Vision. IEEE Computer Society， 2015：1440-1448.

[5] Hirzer M. Large scale metric learning from equivalence constraints[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2012：2288-2295.

[6] Liao S， Hu Y， Zhu X， et al. Person re-identification by local maximal occurrence representation and metric learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015： 2197-2206.

[7] Li W， Zhao R， Xiao T， et al. DeepReID： Deep Filter Pairing Neural Network for Person Re-identification[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2014：152-159.

[8] Zheng L， Zhang H， Sun S， et al. Person re-identification in the wild[J]. arXiv preprint， 2017.

[9] Xiao T， Li S， Wang B， et al. Joint detection and identification feature learning for person search[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2017： 3376-3385.

[10] Liu H， Feng J， Jie Z， et al. Neural person search machines[C]//The IEEE International Conference on Computer Vision （ICCV）. 2017.

[11] Li W H， Mao Y， Wu A， et al. Correlation Based Identity Filter： An Efficient Framework for Person Search[C]//International Conference on Image and Graphics. Springer， Cham， 2017： 250-261.

[12] Xiao J， Xie Y， Tillo T， et al. IAN： The Individual Aggregation Network for Person Search[J]. arXiv preprint arXiv：1705.05552， 2017.

[13] Yang J， Wang M， Li M， et al. Enhanced Deep Feature Representation for Person Search[C]//CCF Chinese Conference on Computer Vision. Springer， Singapore， 2017： 315-327.