內(nèi)容一致性行人重識(shí)別算法

田智慧，鄭付科，高 需

（1.鄭州大學(xué)信息工程學(xué)院，鄭州 450001；2.鄭州大學(xué)地球科學(xué)與技術(shù)學(xué)院，鄭州 450052；3.鄭州大學(xué)河南省超級計(jì)算中心，鄭州 450052）

0 概述

針對公共場所某個(gè)視頻監(jiān)控?cái)z像頭捕捉的目標(biāo)行人，基于視頻監(jiān)控網(wǎng)絡(luò)和計(jì)算機(jī)視覺技術(shù)對其再次出現(xiàn)時(shí)識(shí)別的過程稱為行人重識(shí)別［1］。行人重識(shí)別技術(shù)由于能直觀、準(zhǔn)確地反映犯罪嫌疑人與犯罪行為之間的聯(lián)系，因此被廣泛應(yīng)用，特別是近年來得到快速發(fā)展，成為維護(hù)公共安全和社會(huì)穩(wěn)定的重要手段。目前在可控環(huán)境下，基于人臉等生物特征的目標(biāo)識(shí)別技術(shù)己比較成熟，但在實(shí)際監(jiān)控場景下，受視角變換、行人姿態(tài)變化、圖像分辨率低、目標(biāo)被遮擋以及光照變化等因素的影響，通常難以獲得高質(zhì)量人臉圖像，無法利用人臉信息進(jìn)行行人重識(shí)別。因此，研究人員通過行人衣著與攜帶的物品等外貌特征來實(shí)現(xiàn)行人重識(shí)別［2］。

現(xiàn)有行人重識(shí)別算法分為基于距離度量學(xué)習(xí)的算法和基于特征描述的算法［2］。其中：基于距離度量學(xué)習(xí)的算法主要學(xué)習(xí)度量目標(biāo)特征分布的距離函數(shù)，通常不同目標(biāo)行人的特征距離值較大，而同一個(gè)目標(biāo)行人的特征距離值較?。?］；基于特征描述的算法常用來設(shè)計(jì)可靠、魯棒且具有判別性的行人圖像特征，該特征能有效區(qū)分不同目標(biāo)行人，且不受圖像尺度、視角及光照等變化因素的影響。傳統(tǒng)行人重識(shí)別算法主要基于顏色、紋理和局部描述［4-6］等低維特征，自2012 年HINTON 團(tuán)隊(duì)利用深度卷積神經(jīng)網(wǎng)絡(luò)在ImageNet 圖像分類比賽中獲勝后，深度卷積神經(jīng)網(wǎng)絡(luò)［7-8］被廣泛應(yīng)用于行人重識(shí)別的研究。在早期，研究人員主要關(guān)注行人圖像的全局特征，發(fā)現(xiàn)存在以下問題：目標(biāo)行人有缺失及被格擋現(xiàn)象；目標(biāo)行人檢測不準(zhǔn)確；目標(biāo)行人姿態(tài)發(fā)生變化；目標(biāo)行人之間相似度高；復(fù)雜背景的干擾使模型學(xué)習(xí)到的全局特征魯棒性不強(qiáng)。因此，研究人員將工作重點(diǎn)轉(zhuǎn)移到對行人圖像局部特征的研究上。

由行人身體姿態(tài)識(shí)別領(lǐng)域近期的研究成果可知，研究人員對行人身體關(guān)鍵點(diǎn)進(jìn)行定位并將其劃分為頭部、上肢和下肢三部分，分別提取局部特征并與整體特征融合后作為行人特征，最終得到比全局特征更高的準(zhǔn)確率［9-10］。但是該方法需引入外部數(shù)據(jù)集，而外部數(shù)據(jù)集與行人重識(shí)別數(shù)據(jù)集差異較大且訓(xùn)練過程較繁瑣，因此研究人員轉(zhuǎn)而采用行人圖像的內(nèi)在特征，并達(dá)到與利用外部數(shù)據(jù)集相同的準(zhǔn)確率［11-13］。文獻(xiàn)［14］提出一種精簡的PCB 模型，將行人圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)后所得張量自上而下等分為N個(gè)區(qū)域，并分別提取各區(qū)域特征進(jìn)行同步訓(xùn)練，該方法所得局部特征識(shí)別率比關(guān)鍵點(diǎn)定位更高。利用行人圖像的局部特征雖然識(shí)別率更好，但是行人圖像局部結(jié)構(gòu)劃分后會(huì)出現(xiàn)離異值，導(dǎo)致所提取局部特征可區(qū)分性降低。

本文提出一種基于局部區(qū)域特征選擇的內(nèi)容一致性行人重識(shí)別（Content-Consistent Pedestrian Reidentification，CCreID）算法。根據(jù)局部區(qū)域內(nèi)容一致性，從行人圖像張量中選擇特征向量，結(jié)合Softmax函數(shù)計(jì)算其局部區(qū)域概率重新生成局部區(qū)域，并分別在Market-1501［15］和DukeMTMC-reID［16］數(shù)據(jù)集上進(jìn)行重識(shí)別性能分析。

1 本文算法

本文所提算法以殘差卷積神經(jīng)網(wǎng)絡(luò)ResNet50［17］為主干網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1 所示。行人圖像輸入主干網(wǎng)絡(luò)后獲得三維張量T，使用CCreID算法對張量T進(jìn)行處理后得到p個(gè)局部區(qū)域，再對局部區(qū)域進(jìn)行全局平均池化操作獲得特征向量，然后對其進(jìn)行降維與分類。由于每個(gè)區(qū)域內(nèi)出現(xiàn)離異值造成各區(qū)域內(nèi)容不一致，為解決該問題，本文提出基于局部特征選擇的內(nèi)容一致性算法CCreID。

圖1 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of the proposed algorithm

1.1 預(yù)訓(xùn)練模型

為得到每個(gè)局部區(qū)域的訓(xùn)練權(quán)重Wi，建立預(yù)訓(xùn)練模型進(jìn)行預(yù)訓(xùn)練，其結(jié)構(gòu)如圖2 所示。該模型采用ResNet50 網(wǎng)絡(luò)中全局平均池化層前的結(jié)構(gòu)，行人圖像輸入主干網(wǎng)絡(luò)后生成三維張量T，經(jīng)過平均池化操作將張量T自上而下等分為p個(gè)局部區(qū)域，使用1×1 卷積對p個(gè)局部區(qū)域進(jìn)行降維。在張量T后加上分類器，每個(gè)分類器由1個(gè)全連接層（FC）和1個(gè)Softmax 函數(shù)實(shí)現(xiàn)。然后采用交叉熵?fù)p失函數(shù)進(jìn)行監(jiān)督，直至收斂，最終得到p個(gè)訓(xùn)練權(quán)重Wi(i=1，2，…，p)。

圖2 預(yù)訓(xùn)練模型結(jié)構(gòu)Fig.2 Structure of pre-trained model

1.2 內(nèi)容一致性

將行人圖像輸入卷積神經(jīng)網(wǎng)絡(luò)后所得張量T自上而下等分為p個(gè)局部區(qū)域，得到p個(gè)局部區(qū)域特征。在p個(gè)局部區(qū)域內(nèi)存在不屬于自身區(qū)域的離異值，該離異值與其他局部區(qū)域更相似［14］。有部分研究因?yàn)槲纯紤]局部區(qū)域間的離異值，所以在復(fù)雜背景、位姿變化以及遮擋等因素的影響下，提取的行人特征魯棒性不強(qiáng)［17-18］。由此可知，局部區(qū)域劃分的前提是p個(gè)局部區(qū)域中各區(qū)域具有內(nèi)容一致性，即：1）各局部區(qū)域不存在不屬于自身區(qū)域的離異值；2）各局部區(qū)域之間的內(nèi)容存在差異。

1.3 局部特征的選擇

行人圖像輸入主干網(wǎng)絡(luò)后得到張量T大小為24×8×2 048?；締挝幌蛄渴菑埩縏中最小的特征向量，其大小為1×1，維度為2 048。本文網(wǎng)絡(luò)共有192 個(gè)基本單位向量，如圖3 所示。張量T被等分為6 個(gè)局部區(qū)域，每個(gè)局部區(qū)域包含32 個(gè)基本單位向量，其均由張量T中某一個(gè)大小為4×8的固定空間得到。在每個(gè)局部區(qū)域內(nèi)均存在不屬于自身區(qū)域的離異值，該離異值與其他局部區(qū)域更相似，使得所提取特征的魯棒性較差。為解決該問題，本文從張量T中選擇基本單位向量組成各局部區(qū)域，并通過閾值α控制局部區(qū)域以選擇基本單位向量的最低可能性，通過重新分配每個(gè)基本單位向量的歸屬可得到6 個(gè)新局部區(qū)域，且各區(qū)域內(nèi)容一致。

圖3 局部特征的選擇過程Fig.3 Selection process of local features

1.4 S-Softmax 算法

為解決等分為p個(gè)局部區(qū)域所產(chǎn)生的離異值問題，需對所得p個(gè)局部區(qū)域進(jìn)行重新生成。使用Softmax函數(shù)計(jì)算張量T中每個(gè)基本單位向量屬于局部區(qū)域Pi(i=1，2，…，p)的概率，計(jì)算公式如下：

其中：Wi為預(yù)訓(xùn)練得到的權(quán)重；fm為在張量T中第m個(gè)基本單位向量，且滿足{m≥1，j≤192，m，j∈?*}，n=192，P(Pi|fm)代表著第m個(gè)基本單位向量屬于Pi的概率，本文中p=6。

根據(jù)P(Pi|fm)(i=1，2，…，6)可得到6 個(gè)概率圖，每個(gè)局部區(qū)域?qū)?yīng)1 個(gè)概率圖。張量T中192 個(gè)基本單位向量只有部分屬于每個(gè)局部區(qū)域，按照理想標(biāo)準(zhǔn)［14］只有32 個(gè)基本單位向量屬于各局部區(qū)域，其余均為干擾因素。對于每個(gè)基本單位向量，存在某個(gè)閾值，如果基本單位向量小于此閾值，則表明其不屬于該局部區(qū)域；否則表明其屬于該局部區(qū)域。假設(shè)閾值為α，則新的函數(shù)記為，其表達(dá)式如下：

其中，P(Pi|fn)表示已清零數(shù)值P(Pi|fn)隨機(jī)加到未清零數(shù)值P(Pi|fm)上，式（2）可記為：

1 個(gè)局部區(qū)域?qū)?yīng)1 個(gè)概率圖，其中包括192 個(gè)基本單位向量，表達(dá)式如下：

局部區(qū)域Pi的表達(dá)式如下：

其中，V為基本單位向量的完備集。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集和評價(jià)標(biāo)準(zhǔn)

本文通過實(shí)驗(yàn)分析閾值α、張量T和局部區(qū)域個(gè)數(shù)p對行人重識(shí)別性能的影響。實(shí)驗(yàn)采用Market-1501 數(shù)據(jù)集和DukeMTMC-reID 數(shù)據(jù)集，其為目前行人重識(shí)別數(shù)據(jù)量最大的兩個(gè)數(shù)據(jù)集，部分圖例和具體參數(shù)分別如圖4 與表1 所示。

圖4 2 個(gè)數(shù)據(jù)集的圖例Fig.4 Legend of two datasets

表1 Market-1501 數(shù)據(jù)集和DukeMTMC-reID 數(shù)據(jù)集的具體參數(shù)Table 1 Specific parameters of Market-1501 dataset and DukeMTMC-reID dataset

Market-1501 數(shù)據(jù)集為2015年研究人員在清華大學(xué)使用5 個(gè)高清攝像頭和1 個(gè)低清攝像頭采集得到。行人矩形檢測框采用可變形部件模型［19］（Deformable Part Model，DPM）標(biāo)注。將該數(shù)據(jù)集分為訓(xùn)練集和測試集，其中：訓(xùn)練集有12 936張圖像，包含751個(gè)行人；測試集有19 732張圖像，包含750個(gè)行人。

DukeMTMC-reID 數(shù)據(jù)集為DukeMTMC 數(shù)據(jù)集的行人重識(shí)別子數(shù)據(jù)集。該數(shù)據(jù)集為2017 年研究人員在杜克大學(xué)使用8 個(gè)攝像頭采集的85 min 高分辨率視頻，并提供人工標(biāo)注的行人檢測矩形框。對視頻每隔120 幀采樣1 張圖像，共得到36 411 張圖像組成DukeMTMC-reID 數(shù)據(jù)集。其中，408 個(gè)行人由一個(gè)攝像頭采集，1 404 人由兩個(gè)及兩個(gè)以上攝像頭采集，在訓(xùn)練集和測試集中分別有702 個(gè)行人。此外，該數(shù)據(jù)集中查詢圖像均為每個(gè)攝像頭下每個(gè)ID的1 張圖像，其他行人圖像放入測試的行人查詢集，并將另外408 個(gè)行人圖像作為干擾項(xiàng)也放入行人查詢集。DukeMTMC-reID 數(shù)據(jù)集共有16 522 張訓(xùn)練圖像、2 228 張查詢圖像以及包含17 661 張圖像的查詢集。

目前評價(jià)行人重識(shí)別準(zhǔn)確率的標(biāo)準(zhǔn)［20］主要有平均查準(zhǔn)率（mean Average Precision，mAP）和Rank-n。其中，mAP 是對多類任務(wù)中的平均精度求和再取平均值，該指標(biāo)反映學(xué)習(xí)所得模型在多類任務(wù)上性能的優(yōu)劣，主要是通過對相似度排序，從高到低統(tǒng)計(jì)從第一項(xiàng)到最后一項(xiàng)相同行人圖像的重識(shí)別準(zhǔn)確率，其更強(qiáng)調(diào)查準(zhǔn)率和查全率之間的平衡。Rank-n是給定查詢集中一幅圖像，計(jì)算其與圖庫數(shù)據(jù)集中所有圖像的相似度并將其按從高到低排序，如果前n項(xiàng)中有相同行人則說明識(shí)別準(zhǔn)確，該評價(jià)方式所得第一次成功匹配的概率Rank-1 最重要，Rank-5 與Rank-10 作為輔助參考。本文以mAP 和Rank-n作為行人重識(shí)別準(zhǔn)確率性能的評價(jià)指標(biāo)，其中，Rank-1 為主要評價(jià)指標(biāo)，Rank-5 和Rank-10 為輔助評價(jià)指標(biāo)。此外，為更好地評估模型性能，本文給出包括測試集特征提取時(shí)間、特征間距離計(jì)算時(shí)間、Rank-n計(jì)算時(shí)間和mAP 計(jì)算時(shí)間在內(nèi)的模型測試時(shí)間。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)分析

本文實(shí)驗(yàn)采用深度學(xué)習(xí)工具包PyTorch0.4.0 并以ResNet50 為模型主干網(wǎng)絡(luò)。由于圖像尺寸較大有利于學(xué)習(xí)局部區(qū)域特性，且mAP 和Rank-1 的精度均隨著圖像大小的增加而提升，若下采樣率較小則張量T的空間尺寸較大，識(shí)別性能更好［14］，因此本文將數(shù)據(jù)集中行人圖像設(shè)置為384像素×128 像素，所得張量T大小為24×8×2 048，并對訓(xùn)練圖像進(jìn)行水平翻轉(zhuǎn)和歸一化處理。批大小設(shè)置為64，初始化學(xué)習(xí)率設(shè)置為0.1，在50 次迭代后學(xué)習(xí)率衰減為0.01。

閾值α決定基本單位向量是否被選中，本文使用控制變量法確定閾值α的大小，并根據(jù)經(jīng)驗(yàn)將局部區(qū)域個(gè)數(shù)p設(shè)置為6。圖5 和圖6 分別為模型的mPA 值和Rank-1 值隨閾值α的變化情況?？梢钥闯觯寒?dāng)α=0 時(shí)，局部區(qū)域公平性地選擇基本單位向量；當(dāng)α=0.038 時(shí)，模型的mPA 值和Rank-1 值達(dá)到最大；當(dāng)α＞0.038 時(shí)，模型的mPA 值和Rank-1 值出現(xiàn)下降。因此，本文采用α=0.038。

圖5 mPA 隨閾值α 的變化曲線Fig.5 The change curve of mPA with threshold α

圖6 Rank-1 隨閾值α 的變化曲線Fig.6 The change curve of Rank-1 with threshold α

局部區(qū)域個(gè)數(shù)p決定特征可區(qū)分性強(qiáng)度，本文使用控制變量法確定p的大小，閾值α=0.038。圖7和圖8 分別為模型的mPA 值和Rank-1 值隨p的變化情況。可以看出：當(dāng)p=1 時(shí)，模型學(xué)習(xí)的行人特征為全局特征；當(dāng)p=6 時(shí)，模型的mPA 值和Rank-1 值達(dá)到最大；當(dāng)p＞6 時(shí)，模型的mPA 值和Rank-1 值出現(xiàn)下降，其原因是p過大會(huì)減弱局部區(qū)域的識(shí)別能力。因此，本文采用p=6。

圖7 mPA 隨p 的變化曲線Fig.7 The change curve of mPA with p

圖8 Rank-1 隨p 的變化曲線Fig.8 The change curve of Rank-1 with p

2.3 結(jié)果分析

為驗(yàn)證本文所提CCreID 算法的有效性，將其與基準(zhǔn)ResNet50 算法、利用關(guān)鍵點(diǎn)定位產(chǎn)生行人身體局部區(qū)域的Spindel 算法［10］、利用GAN 網(wǎng)絡(luò)對齊特征的PN-GAN 算法［21］以及等比例劃分局部特征的PCB 算法［14］進(jìn)行對比。在Market-1501 數(shù)據(jù)集上不同算法的測試時(shí)間對比結(jié)果如表2 所示，可以看出CCreID 算法的測試時(shí)間較ResNet50 算法和PCB 算法更長，但是較Spindel 算法和PN-GAN 算法更短。在Market-1501 數(shù)據(jù)集和DukeMTMC-reID 數(shù)據(jù)集上不同算法的重識(shí)別性能的對比結(jié)果分別如表3 和表4 所示，可以看出CCreID 算法在兩個(gè)數(shù)據(jù)集上的mPA 值和Rank-n（n=1，3，5）值均高于其他算法，說明其所提取局部區(qū)域特征的可區(qū)分性和豐富度更優(yōu)，提高了行人重識(shí)別準(zhǔn)確率。

表2 5 種算法在Market-1501 數(shù)據(jù)集上的測試時(shí)間Table 2 Test time of five algorithms on Market-1501 datasets

表3 5 種算法在Market-1501 數(shù)據(jù)集上的重識(shí)別性能Table 3 Re-identification performance of five algorithms on Market-1501 dataset%

表4 5種算法在DukeMTMC-reID數(shù)據(jù)集上的重識(shí)別性能Table 4 Re-identification performance of five algorithms on DukeMTMC-reID dataset%

圖9 為本文實(shí)驗(yàn)中部分Rank-1 查詢結(jié)果（第1 行是查詢圖像，第2 行是查詢結(jié)果，圖9（e）和圖9（f）中第2 行圖像是錯(cuò)誤結(jié)果）。可以看出，6 張查詢圖像均存在不同程度的背景干擾，其中：圖9（a）中查詢圖像存在木質(zhì)柜子格擋，查詢結(jié)果準(zhǔn)確；圖9（b）中查詢圖像和查詢結(jié)果的行人姿態(tài)不同，分別為騎自行車和正常行走，但仍為同一個(gè)行人；圖9（c）和9（d）中查詢圖像無行人面部特征，無法利用行人面部特征，需根據(jù)行人屬性特征來識(shí)別，此查詢結(jié)果驗(yàn)證了該結(jié)論。圖9（a）～圖9（d）的查詢結(jié)果均準(zhǔn)確，圖9（e）和圖9（f）的查詢結(jié)果錯(cuò)誤，說明當(dāng)行人屬性非常接近時(shí)，無法用本文模型進(jìn)行識(shí)別。

圖9 本文實(shí)驗(yàn)中部分Rank-1 查詢結(jié)果Fig.9 Partial Rank-1 query results of the proposed experiment

3 結(jié)束語

基于特征描述的行人重識(shí)別算法要求所提取的特征魯棒、具有判別性且不受環(huán)境變化因素的影響，針對現(xiàn)有重識(shí)別算法在行人圖像局部區(qū)域存在離異值的問題，本文提出一種內(nèi)容一致性行人重識(shí)別算法。根據(jù)局部區(qū)域特征的內(nèi)容一致性，使用Softmax函數(shù)計(jì)算生成新局部區(qū)域，以減少其內(nèi)部特征差異，并增加局部區(qū)域之間的特征差異。實(shí)驗(yàn)結(jié)果表明，該算法較Spindel、PN-GAN 等算法重識(shí)別準(zhǔn)確率更高，行人特征具有更好的可區(qū)分性和魯棒性。后續(xù)將研究不同行人屬性對識(shí)別準(zhǔn)確率的影響，以提升行人屬性相近時(shí)算法的重識(shí)別性能。