基于人體部件特征的行人重識(shí)別

蘇曜，何坤，彭橦，惠子薇

（1.四川大學(xué)計(jì)算機(jī)（軟件）學(xué)院，成都 610065；2.四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

行人重識(shí)別是指采集范圍互不重疊的攝像頭下所獲取的行人視頻流來識(shí)別同一行人。近年來，隨著時(shí)代信息化、智能化的不斷發(fā)展，行人重識(shí)別已成為大規(guī)模監(jiān)控網(wǎng)絡(luò)中行人目標(biāo)跟蹤［1］和人類行為分析［2］的一個(gè)重要課題。但由于所獲取的圖像中行人外觀受光照、視角、姿態(tài)、遮擋等因素的影響，因此行人重識(shí)別仍面臨巨大的挑戰(zhàn)。

目前的行人重識(shí)別算法主要分為基于深度學(xué)習(xí)的方法和傳統(tǒng)方法?；谏疃葘W(xué)習(xí)的行人重識(shí)別算法一方面利用深度學(xué)習(xí)獲取表征能力強(qiáng)的行人特征來提高識(shí)別準(zhǔn)確率［3］，另一方面通過訓(xùn)練正負(fù)圖像對(duì)得到具有較高識(shí)別能力的相似性度量網(wǎng)絡(luò)［4］?；谏疃葘W(xué)習(xí)的方法通過對(duì)大量的數(shù)據(jù)進(jìn)行訓(xùn)練可以獲得很好的效果，但是由于行人重識(shí)別數(shù)據(jù)集的數(shù)據(jù)量相對(duì)較少，所以其性能較差。

相比于基于深度學(xué)習(xí)的行人重識(shí)別方法，傳統(tǒng)方法不需要進(jìn)行大量的訓(xùn)練，對(duì)行人圖像提取特征并識(shí)別更為高效。根據(jù)不同方法在行人重識(shí)別中的側(cè)重點(diǎn)不同，傳統(tǒng)方法可分為基于特征提取和基于度量學(xué)習(xí)的方法?；诙攘繉W(xué)習(xí)的方法旨在通過學(xué)習(xí)距離函數(shù)或度量使類間差異最大而類內(nèi)差異最小，其多采用馬氏距離的度量方式，通過樣本訓(xùn)練得到不同的度量空間。但是基于度量學(xué)習(xí)的方法在識(shí)別效果對(duì)樣本的依賴程度很大，而且在不同場景下其性能表現(xiàn)也各不相同。

基于特征提取的方法關(guān)注于高效提取魯棒的行人特征表示，為使所提取的特征更具判別性，需要選擇合適的特征和提取方式來減輕或消除光照、視角變化等因素的影響。Gray等人［5］對(duì)行人圖像劃分為幾個(gè)較大的水平區(qū)域并分別提取顏色和紋理特征，并利用Adaboost算法學(xué)習(xí)得到對(duì)視角變化魯棒的ELF特征，但是該算法沒有考慮行人局部特征的影響，識(shí)別準(zhǔn)確率相對(duì)較低。Farenzena等人［6］提出SDALF特征，充分利用了行人的對(duì)稱性質(zhì)，首先用分割算法將行人分為頭部、軀干和下肢三部分，再對(duì)各部件分別提取顏色特征和紋理特征，所得特征對(duì)姿態(tài)和視角變化魯棒。但是該特征沒有考慮光照對(duì)于顏色信息的影響，而且在提取過程中的對(duì)行人的分割效果較差，不利于提取魯棒的特征表示。Liao等人［7］提出的LOMO特征通過Retinex算法處理光照變化，并最大池化水平方向的局部區(qū)域特征來解決行人的姿態(tài)、視角變化問題，顯著提高了識(shí)別準(zhǔn)確率。但是LOMO特征只描述了圖像的一階統(tǒng)計(jì)特征，而未考慮行人部件區(qū)域的二階統(tǒng)計(jì)特征。

針對(duì)以上特征提取算法的不足，結(jié)合行人在豎直和水平方向上的特征分布情況，本文算法首先在豎直方向上對(duì)行人的不同身體部件進(jìn)行部件檢測，得到各部件在圖像中的對(duì)應(yīng)區(qū)域，并對(duì)各部件所在區(qū)域提取對(duì)應(yīng)的二階統(tǒng)計(jì)特征，再融合水平方向提取的一階統(tǒng)計(jì)特征后，得到了更具魯棒性的特征表示。實(shí)驗(yàn)結(jié)果表明，所提出的特征提取方法性能優(yōu)異。

1 行人部件特征提取

在攝像頭下所獲取的圖像中對(duì)行人提取特征時(shí)，根據(jù)圖像中行人的特征分布狀況來設(shè)計(jì)不同的提取方式能使特征更具魯棒性。通過觀察不同視角下行人圖像的顏色、紋理特征的分布情況，不難發(fā)現(xiàn)：①在豎直方向上，行人不同身體部件的特征分布較為統(tǒng)一。②在同一水平方向上，行人的特征分布較為一致。對(duì)此，本文算法首先在豎直方向上對(duì)行人圖像進(jìn)行人體部件檢測獲取行人的不同身體部件，再對(duì)各部件所在區(qū)域提取具有二階統(tǒng)計(jì)特性的協(xié)方差特征。在不同水平方向上，選取LOMO特征作為行人的一階統(tǒng)計(jì)特征。最后融合不同方向所提取的具有不同統(tǒng)計(jì)特性的特征后，得到了魯棒的行人特征表示。

然而，在對(duì)行人圖像直接進(jìn)行特征提取時(shí)，由于不同攝像頭下光照條件不同，圖像中同一行人的顏色特征會(huì)有不同程度的差異。因此，首先使用具有顏色不變的多尺度Retinex算法［8］來處理光照條件對(duì)行人圖像的影響。在對(duì)行人圖像進(jìn)行光照處理后，同一行人的顏色信息能夠保持一致，對(duì)圖像進(jìn)行人體部件檢測與特征提取也更加準(zhǔn)確。

1.1 一階統(tǒng)計(jì)特征提取

在行人圖像中，由于行人在同一水平方向上的顏色、紋理等特征較為一致，因此，在同一水平方向上選取合適的特征與特征的提取方式可以有效地描述行人的局部特征。水平方向上的特征提取提取流程如圖1所示，首先在利用5×5的小塊，以步長為5在同一水平方向上移動(dòng)并分別提取對(duì)應(yīng)位置的HSV顏色直方圖和SLITP直方圖作為行人局部的顏色和紋理特征。然后，最大化小塊在同一水平方向上所有特征。最后將小塊以步長為5向下移動(dòng)以提取行人在所有水平方向上的特征。

圖1 水平方向特征提取示意圖

1.2 二階統(tǒng)計(jì)特征提取

1.2.1 人體部件檢測

在不同場景、不同視角下的行人圖像中，行人姿態(tài)多變的特點(diǎn)在圖片中表現(xiàn)為水平方向上行人手臂的位置多變，而在豎直方向上，行人的頭部、軀干、大腿、小腿的形狀與它們之間的位置關(guān)系相對(duì)穩(wěn)定。利用這些部件的相對(duì)位置信息，結(jié)合曾春等人［9］通過實(shí)驗(yàn)得到的行人各部件在圖像中的最佳分布區(qū)域，本文將行人圖像劃分為頭部、軀干、左側(cè)大腿、右側(cè)大腿、左側(cè)小腿、右側(cè)小腿六個(gè)部件區(qū)域。針對(duì)六個(gè)部件所屬的不同區(qū)域，并根據(jù)行人的胖瘦程度與步伐幅度，分別設(shè)計(jì)不同的模板來代表行人各部件的輪廓信息。行人圖像各部件區(qū)域劃分與相應(yīng)模板圖片如圖2所示。為了使模板能夠與行人圖像準(zhǔn)確匹配，六個(gè)部件的模板均能夠在對(duì)應(yīng)區(qū)域的水平或豎直方向上移動(dòng)一定長度。

圖2 人體部件與對(duì)應(yīng)模板

在匹配階段，僅利用邊緣信息來計(jì)算模板與行人圖像間的相似度可以顯著提高匹配速度。在對(duì)模板圖像求梯度，對(duì)行人圖像用Canny算子進(jìn)行邊緣檢測后，所得包含邊緣信息的模板圖像T與行人圖像I之間的相似度距離公式如下：

其中， ||T表示模板圖像T中的所有邊緣點(diǎn)，τ為閾值參數(shù)。對(duì)于輸入圖像中的某一匹配點(diǎn)x，相似度距離是模板輪廓點(diǎn)與其在行人圖像對(duì)應(yīng)位置中最近邊緣點(diǎn)之間的平均距離。模板與行人圖像間的相似度距離越小，模板與行人對(duì)應(yīng)部件的匹配度則越高。為了減小背景噪聲影響并提升匹配的穩(wěn)定性，Xie等人［10］進(jìn)一步比較了邊緣點(diǎn)間的梯度方向的相似度。其相似度可以通過最小二乘法求解下式得到：

其中?是測量邊緣點(diǎn)方向的函數(shù)（以弧度為單位）。行人各部件模板的輪廓與行人圖像對(duì)應(yīng)區(qū)域的相似度為：

其中，λ是取值為［0,1］之間的權(quán)重系數(shù)。最后，行人的不同部件所在區(qū)域可以通過行人部件檢測得到。圖3為通過本文人體部件算法得到的部分實(shí)驗(yàn)結(jié)果。

圖3 VIPeR數(shù)據(jù)集上各方法的識(shí)別精度曲線

圖3 部分人體部件檢測結(jié)果

1.2.2 基于人體部件的特征提取

在對(duì)行人圖像進(jìn)行人體部件檢測后，需要對(duì)所得各部件所在區(qū)域選擇適合的特征進(jìn)行提取。協(xié)方差特征作為一種不同于顏色直方圖的二階統(tǒng)計(jì)特征，通過計(jì)算圖像某一區(qū)域內(nèi)各像素點(diǎn)的顏色、梯度等信息的協(xié)方差矩陣，可以得到該區(qū)域的整體特征表示。對(duì)于區(qū)域內(nèi)某一像素點(diǎn)的特征向量，本文選取顏色信息（YCbCr,HSV,Lab,nRGB）和梯度信息作為像素點(diǎn)(x,y)的特征表示：

其中，y為像素點(diǎn)在圖像中的縱坐標(biāo)，Yx,Yy,Yxx,Yyy表示像素在水平與豎直方向上的一階、二階梯度，由于不同顏色模型下的Y,L,V均代表亮度，因此只保留Y作為亮度信息。對(duì)于行人某一部件區(qū)域R，協(xié)方差矩陣可通過下式計(jì)算：

由于對(duì)人體各部件區(qū)域計(jì)算所得的協(xié)方差矩陣不在歐式空間下，直接進(jìn)行度量計(jì)算并不能有效地識(shí)別行人身份。因此，本文使用Zeng等人［11］提出的用特征均值向量、特征標(biāo)準(zhǔn)差向量、特征相關(guān)系數(shù)向量和Sigma向量的組合來近似的代表協(xié)方差特征。其中，Sigma向量是根據(jù)Hong等人［12］提出的能夠保持協(xié)方差特性的一種近似表示。在分別對(duì)行人的6個(gè)部件區(qū)域提取協(xié)方差特征后，得到了描述行人整體信息的二階統(tǒng)計(jì)特征。

2 度量學(xué)習(xí)

在將所提取的特征進(jìn)行融合得到基于人體部件特性的行人特征后，為衡量所得特征的判別性，各行人圖像間的相似度由跨視圖二次判別分析 （cross-view quadratic discriminantanalysis，XQDA）算法計(jì)算。該方法在高斯模型的基礎(chǔ)上，根據(jù)KISSME算法［13］所推得的馬氏距離函數(shù)，進(jìn)一步學(xué)習(xí)一個(gè)子空間來處理視角變化，并降低特征維度：

其中 Σ′I=WTΣIW和 Σ′E=WTΣEW分別表示樣本中相同行人間和不同行人間特征的協(xié)方差矩陣。該子空間的求解可以通過最大化相同行人間和不同行人間的差異求得：

3 實(shí)驗(yàn)結(jié)果與分析

本文算法在Intel（R）Core（TM）i5-9400 CPU 2.90 GHz，16 G內(nèi)存的臺(tái)式電腦上使用MATLAB2 019b實(shí)現(xiàn)，并在VIPeR、PRID450S數(shù)據(jù)集下進(jìn)行實(shí)驗(yàn)驗(yàn)證和比較。

VIPeR數(shù)據(jù)集包含兩個(gè)攝像頭下的632個(gè)行人的1264張圖像，且每一對(duì)行人圖像均有較大視角和姿態(tài)的變化。為驗(yàn)證本文算法的性能，本文與現(xiàn)有的其他基于人體部件（SDALF［6］，PFI［14］）和局部特征提?。℉SCD［11］，LOMO［7］）的行人重識(shí)別算法進(jìn)行比較。在實(shí)驗(yàn)過程中，所有算法均隨機(jī)選取316個(gè)行人的632張圖像進(jìn)行訓(xùn)練，在10次實(shí)驗(yàn)后求均值得到最終的識(shí)別結(jié)果。圖3所示為VIPeR數(shù)據(jù)集上各方法的識(shí)別精度曲線圖，從圖中曲線可以直觀得出，本文算法的整體識(shí)別精度明顯高于對(duì)比算法。為了更準(zhǔn)確的比較識(shí)別準(zhǔn)確率，表1列出了所有算法rank=1，5，10和20的識(shí)別準(zhǔn)確率。由表1可知，對(duì)比于SDALF，PFI等基于人體部件特征的方法，本文算法在rank=1的識(shí)別準(zhǔn)確率分別提高了22.06%和16.42%。對(duì)比于HSCD和LOMO等對(duì)圖像分塊提取局部特征的方法，本文算法在rank=1的識(shí)別準(zhǔn)確率分別提高了10.77%和1.93%。在其他排名的識(shí)別準(zhǔn)確率上，本文算法也均優(yōu)于其他算法。

表1 VIPeR數(shù)據(jù)集上各方法的識(shí)別率（%）

為進(jìn)一步驗(yàn)證本文算法的有效性，本文在PRID450S 數(shù) 據(jù) 集 上與 TMA［15］,GCT［16］,FTCNN+XQDA［17］,LOMO［7］等行人重識(shí)別算法進(jìn)行比較。PRID450S數(shù)據(jù)集包含兩個(gè)攝像頭下的450個(gè)行人的900張圖像。在實(shí)驗(yàn)中，所有行人圖像尺寸設(shè)置為128×64，并隨機(jī)選取一半的行人圖像進(jìn)行訓(xùn)練，在10次實(shí)驗(yàn)后求均值得到最終的識(shí)別結(jié)果。表2為PRID450S數(shù)據(jù)集上各算法的識(shí)別準(zhǔn)確率，由表中結(jié)果可知，本文算法識(shí)別準(zhǔn)確率均高于其他算法，且提升效果更加顯著。

表2 PRID450S數(shù)據(jù)集上不同方法的識(shí)別率（%）

4 結(jié)語

本文提出了一種基于人體部件特征的行人重識(shí)別算法，通過分析圖像中行人在不同方向上的特征分布情況，在豎直方向上對(duì)行人進(jìn)行部件檢測，并提取二階統(tǒng)計(jì)特征，再融合水平方向上的一階統(tǒng)計(jì)特征，得到了較好的行人特征表示。實(shí)驗(yàn)結(jié)果表明，本文算法所提取的行人特征對(duì)光照條件，姿態(tài)、視角變化與復(fù)雜背景等具有較好的魯棒性。在以后的研究中，將考慮從不同尺度下提取有效的行人部件特征來提高識(shí)別率。