基于多層深度特征融合的行人再識(shí)別研究

張麗紅，孫志琳

(山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006)

0　引　言

行人再識(shí)別是指無(wú)重疊的多攝像頭視角下行人匹配問(wèn)題. 鎖定的目標(biāo)從一個(gè)攝像頭下消失，當(dāng)該目標(biāo)在其它攝像頭視角下出現(xiàn)時(shí)，系統(tǒng)仍能夠依據(jù)其特征重新鎖定. 視角、光照等變化使得同一行人在不同攝像機(jī)下的表觀不同，提取穩(wěn)定且有辨識(shí)度的特征難度較大. 行人再識(shí)別的主要目的是對(duì)不同監(jiān)控場(chǎng)景的行人進(jìn)行身份再認(rèn)，以彌補(bǔ)現(xiàn)有單個(gè)攝像機(jī)的視覺(jué)局限，使得跨時(shí)空分析感興趣目標(biāo)成為可能[1]. 近幾年，行人再識(shí)別在智能視頻分析、智能視頻偵查等公共安全領(lǐng)域應(yīng)用廣泛，已經(jīng)被作為智能視頻分析的一個(gè)新課題在計(jì)算機(jī)視覺(jué)領(lǐng)域受到了廣泛關(guān)注. 光照、姿態(tài)、視角以及背景等變化會(huì)對(duì)行人圖像造成較大影響，行人再識(shí)別仍然是一個(gè)極具挑戰(zhàn)性的課題.

現(xiàn)有的行人再識(shí)別算法主要分為兩類，一是基于度量學(xué)習(xí)的方法，二是基于特征的方法. 基于度量學(xué)習(xí)方法是利用機(jī)器學(xué)習(xí)算法得出兩張行人圖像的最優(yōu)相似度度量函數(shù)，使相關(guān)行人圖像對(duì)的相似度盡可能高，不相關(guān)行人圖像對(duì)的相似度盡可能低，在候選庫(kù)中找到與檢索圖像特征相似的圖像，并依據(jù)相似度由高到低排列輸出. 度量學(xué)習(xí)方法中有通過(guò)學(xué)習(xí)半正定矩陣參數(shù)化的馬氏距離函數(shù)來(lái)分辨行人圖像對(duì)[2]，也有通過(guò)學(xué)習(xí)低位投影將行人再識(shí)別問(wèn)題重新定義為子空間學(xué)習(xí)問(wèn)題[3]. 基于特征的方法側(cè)重于如何獲得穩(wěn)定且具區(qū)分性的特征，常用外貌特征有線特征、顏色特征、紋理特征等，其優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單、針對(duì)性強(qiáng)，缺點(diǎn)是容易受到光照等因素影響[4]. SIFT 等局部特征及步態(tài)等動(dòng)態(tài)特征也可用于行人再識(shí)別，但動(dòng)態(tài)特征獲取復(fù)雜且需人工標(biāo)注[5]. 發(fā)型、衣服顏色等是人可直接理解的高級(jí)屬性特征，其對(duì)光照、遮擋、視角變化有較好魯棒性，但受數(shù)據(jù)集分辨率低的限制，獲取較難. 為了降低獲取有效特征的難度并充分利用大部分特征包含的信息，本文采用多層深度特征融合的方法.

1　卷積神經(jīng)網(wǎng)絡(luò)

為了提取行人圖像中更豐富和更穩(wěn)定的信息，采用卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取這些行人圖像的深層次特征. 卷積神經(jīng)網(wǎng)絡(luò)是一種深度監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，它的權(quán)值共享結(jié)構(gòu)網(wǎng)絡(luò)使之具有極強(qiáng)的適應(yīng)性，善于挖掘數(shù)據(jù)局部特征，提取全局特征和分類[6]. 典型的卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、全鏈接層、輸出層構(gòu)成，其結(jié)構(gòu)如圖 1 所示. 每一層有多個(gè)特征圖，每個(gè)特征圖通過(guò)一種卷積濾波器提取輸入的一種特征. 使用卷積層的原因是通過(guò)卷積運(yùn)算可以使原信號(hào)特征增強(qiáng)，并且減少噪音. 在池化層，根據(jù)圖像局部相關(guān)性的原理對(duì)圖像進(jìn)行子采樣，可以減少計(jì)算量，同時(shí)保持圖像旋轉(zhuǎn)不變性. 采用 softmax 全連接得到的激活值即卷積神經(jīng)網(wǎng)絡(luò)提取到的圖片特征.

圖 1　卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1　Convolution neural network structure

卷積神經(jīng)網(wǎng)絡(luò)各層提取到的特征向量維度比較高，不一致，且存在大量冗余信息，維度信息不僅會(huì)降低識(shí)別速度，而且會(huì)降低匹配的準(zhǔn)確度. 我們用PCA對(duì)卷積神經(jīng)網(wǎng)絡(luò)的每一層進(jìn)行降維，由于網(wǎng)絡(luò)中每一層特征都包含大量信息，應(yīng)合理利用，因此，將各層特征融合起來(lái)作為用于識(shí)別的圖像特征，使其更具有表現(xiàn)力，包含更豐富的圖像信息.

2　特征的PCA降維

數(shù)據(jù)集中行人圖像在經(jīng)過(guò)卷積濾波之后維數(shù)依然很高，高維空間中行人的有效信息分布不緊湊，不利于識(shí)別，須通過(guò)有效方式對(duì)各層圖像特征進(jìn)行降維，提取主要特征. 主成分分析(principal component analysis, PCA)目的是通過(guò)線性變換尋找一組最優(yōu)的單位正交矢量基(即主成份)，并用其中部分向量的線性組合來(lái)重建樣本，使重建后的樣本和原樣本在最小均方差意義下的誤差最小[7]. 這樣既可實(shí)現(xiàn)對(duì)高維數(shù)據(jù)的降維，又可保持原始數(shù)據(jù)的大部分信息，具有計(jì)算代價(jià)小、描述能力強(qiáng)、可辨識(shí)度高等特點(diǎn).

假設(shè)行人圖像經(jīng)過(guò)卷積之后構(gòu)成了一個(gè)l×d維的圖像特征矩陣，可以將圖像矩陣向量化為n=ld維的圖像向量X.M個(gè)特征向量樣本組成訓(xùn)練樣本矩陣Z={X1,X2,X3,…,XM}，其中的每一列代表一個(gè)樣本維度.μ為訓(xùn)練樣本的平均向量，即

(1)

對(duì)訓(xùn)練樣本Z減去平均列向量得到標(biāo)準(zhǔn)訓(xùn)練矩陣A=[X1-μ,X2-μ,…,XM-μ]，訓(xùn)練樣本的協(xié)方差矩陣為

(2)

對(duì)C求降序的特征值矩陣V=[λ1,λ2,…,λn](λ1>λ2>…>λn)及與之對(duì)應(yīng)的特征向量P=[p1,p2,…,pn].λ為協(xié)方差矩陣的非零特征值，每一張行人圖片可投影到由P張子空間中. 按照特征值所占的能量比例來(lái)選取最大的前k個(gè)特征向量作為子空間，為

(3)

取α=90%～95%，則W=[p1,p2,…,pk](k≤n)，為求得的最優(yōu)特征子空間.

Y=WTZ.

(4)

這樣就將Z的原始維度降到了k維.

3　層間特征融合

深度卷積神經(jīng)網(wǎng)絡(luò)模型本質(zhì)上就是將圖片的信息在多層模型中進(jìn)行逐層映射，在每一層都進(jìn)行相應(yīng)的映射特征提取. 在多層網(wǎng)絡(luò)模型中，底層特征一般為圖像中的結(jié)構(gòu)信息，頂層特征則常為圖像的抽象語(yǔ)義信息，因此，將各個(gè)層次的特征進(jìn)行融合來(lái)進(jìn)行最終的特征表達(dá)，比單純使用頂層特征更全面、更準(zhǔn)確、更具有表現(xiàn)力[8]. 如圖 2 所示，本文方法采用特征級(jí)聯(lián)的思想將各層子空間信息進(jìn)行加權(quán)融合，得到更為全面的行人主成分信息.

圖 2　卷積神經(jīng)網(wǎng)絡(luò)多層特征融合Fig.2　CNN multi-layer features fusion

(5)

第二層映射子空間特征可表示為

(6)

將多層特征進(jìn)行加權(quán)融合，得到融合的深度特征為

(7)

對(duì)于不同行人的A與B圖像經(jīng)過(guò)網(wǎng)絡(luò)的多層特征融合，分別得到其深度特征FA與FB.

4　相似度度量及評(píng)價(jià)標(biāo)準(zhǔn)

計(jì)算待識(shí)別行人與候選行人圖像庫(kù)中每幅行人圖片的相似度.d(x,y)是行人圖像X與行人圖像Y之間的歐式距離.

d(x,y)=‖x-y‖2,

(8)

式中：d(x,y)越小，說(shuō)明兩張行人圖像越相似，即兩張圖像為同一行人的可能性越大.

行人再識(shí)別問(wèn)題的結(jié)果度量準(zhǔn)則一般都采用累積匹配特性(cumulative match characteristic, CMC)曲線進(jìn)行度量，累積匹配特性曲線能夠顯示出結(jié)果樣本數(shù)量的增加與其性能提升之間的關(guān)系[9]. 它表示了在前r次匹配中找到正確匹配項(xiàng)的期望. CMC曲線Rank-r識(shí)別率表示按照某種相似度匹配規(guī)則匹配并排序后，正確的目標(biāo)行人排名在前r的比例. Rank-1表示首位命中率，Rank-5識(shí)別率就是指前五項(xiàng)(按照匹配程度從大到小排列后)有正確匹配.

給定包含M個(gè)樣本的查詢樣本集，設(shè)T(t1,t2,…,r)是根據(jù)匹配度得到的N個(gè)測(cè)試樣本的排序列表. 假設(shè)r是測(cè)試樣本在排序列表T中的序號(hào)，累積匹配特性曲線按公式(9)得出.

(9)

5　實(shí)驗(yàn)及結(jié)果分析

在VIPeR數(shù)據(jù)集上評(píng)估本文方法進(jìn)行行人再識(shí)別的準(zhǔn)確性和魯棒性. VIPeR數(shù)據(jù)集包含632位行人的1 264張圖片，圖片由兩個(gè)視角不重疊的攝像機(jī)拍攝獲得，其中大多數(shù)圖像對(duì)包含較大的視角和光線等變化[10]. 我們隨機(jī)地選取p位行人圖像用作測(cè)試，其余行人圖像用于訓(xùn)練. 實(shí)驗(yàn)時(shí)，視角A下的圖像作為查詢庫(kù)，視角B下的圖像作為候選行人庫(kù)，查詢圖像與候選行人庫(kù)中的每張圖像進(jìn)行比較，得到相應(yīng)的匹配排名，然后交換查詢庫(kù)和候選行人庫(kù)再次測(cè)試. 為了獲得穩(wěn)定的識(shí)別率，測(cè)試過(guò)程重復(fù)10次，并將平均值作為實(shí)驗(yàn)結(jié)果.

表 1 將本文算法與已有的行人再識(shí)別算法在VIPeR數(shù)據(jù)集(測(cè)試集規(guī)模為316)上進(jìn)行對(duì)比. 與其他方法相比，本文方法在四項(xiàng)指標(biāo)上均表現(xiàn)出了較好的效果. 本文方法的Rank-1匹配率比基于MFA方法上升了9.07，Rank-5匹配率和Rank-10匹配率分別上升了4.47，0.74. 這表明，與通過(guò)手動(dòng)設(shè)計(jì)穩(wěn)定特征的算法相比，本文使用最簡(jiǎn)單的相似度度量準(zhǔn)則，仍可從行人圖像中獲取全面深度的特征信息.

表 1　實(shí)驗(yàn)結(jié)果對(duì)比

表 2 為不同規(guī)模測(cè)試集上本文方法的識(shí)別準(zhǔn)確度.

表 2　測(cè)試集不同規(guī)模對(duì)性能的影響比較

當(dāng)測(cè)試集規(guī)模為p=316時(shí)，Rank-1匹配率為41.27. 當(dāng)測(cè)試規(guī)模為p=432和532時(shí)，累積匹配率依次整體下降.p=432時(shí)，Rank-1匹配率較p=316時(shí)下降了0.38，p=532時(shí)Rank-1匹配率較p=316時(shí)下降了2.48. 這表明，在VIPeR數(shù)據(jù)集上，測(cè)試集規(guī)模大小對(duì)識(shí)別性能有較大影響.p取值越大，即測(cè)試樣本越多，訓(xùn)練樣本越少，訓(xùn)練和匹配都變難，容易造成過(guò)擬合現(xiàn)象，使得結(jié)果不具有泛化性.

6　結(jié)束語(yǔ)

本文利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)行人圖像進(jìn)行處理，并對(duì)網(wǎng)絡(luò)各層的深度特征主成分分析后將其融合作為再識(shí)別的特征依據(jù)，采用歐氏距離進(jìn)行相似度匹配. 實(shí)驗(yàn)結(jié)果表明： 在VIPeR行人圖像數(shù)據(jù)集上，該方法在只使用歐氏距離分類器進(jìn)行分類的情況下，對(duì)于存在光照、角度、遮擋等干擾的數(shù)據(jù)圖像仍能夠達(dá)到較高的識(shí)別率，并且相對(duì)于單層特征提取模型具有更高程度的中層特征提取能力.