視頻中遮擋行人再識別的局部特征度量方法

魏英姿，楊繼蘭

(沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽 110159)

行人再識別(pedestrian Re-Identification，ReID)的目標(biāo)是識別不同攝像機(jī)視圖中的同一個(gè)人。給定包含目標(biāo)人物(作為查詢)和大量圖像(圖庫集)，期望ReID系統(tǒng)根據(jù)與查詢圖像的視覺相似性對來自圖庫的圖像進(jìn)行排名，ReID在視頻監(jiān)控中具有許多重要的應(yīng)用。

ReID問題由于復(fù)雜的視圖變化和捕獲的行人圖像上大的姿勢變化等原因，使ReID問題的求解較為困難。目前，解決ReID問題的方法主要有兩類：特征表示法和距離度量學(xué)習(xí)。第一類方法致力于從行人外觀出發(fā)，提取魯棒性強(qiáng)且具有較強(qiáng)區(qū)分性的特征表示向量，有效表達(dá)行人圖像的特性。第二類方法主要計(jì)算特征向量之間的相似性來判斷行人圖像的相似性。早期的行人再識別集中在全局特征上，即是提取整個(gè)行人圖像得到一個(gè)全局特征進(jìn)行圖像檢索[1]，但全局特征包含大量的背景信息，于是開始研究局部特征。常用提取局部特征的方法包括貼片和條紋。Farenzena等[2]提取行人的前景圖像，把圖像分成頭部、軀干和腿部三部分，再對后兩部分計(jì)算垂直對稱軸，對提取的特征根據(jù)與垂直對稱軸的距離進(jìn)行加權(quán)，但分割過程過于復(fù)雜，不易實(shí)現(xiàn)。Zheng等[3]把圖像分成六個(gè)水平條，然后提取水平條內(nèi)的ELF(Ensemble of localized features)特征，但水平條內(nèi)存在大量的背景噪聲。Zhao等[4]提出了一個(gè)簡單的注意模塊來提取模型強(qiáng)調(diào)的區(qū)域特征，之后對局部特征進(jìn)行池化和降維，將這些特征連接成一個(gè)完整的行人特征。Ahmed等[5]通過將人物邊界框劃分為單元格來計(jì)算局部特征。這些方法沒有考慮到身體區(qū)域的精確對準(zhǔn)。

本文針對局部特征包含大量噪聲問題，提出一種基于人體姿態(tài)估計(jì)算法提取局部特征的方法；根據(jù)人體關(guān)鍵點(diǎn)定位方法，找到人體特征區(qū)域；利用局部顏色直方圖檢測指標(biāo)進(jìn)行檢索，期望能夠在復(fù)雜視頻中迅速找到目標(biāo)行人。

1 局部顏色特征提取

1.1 剛體、非剛體分區(qū)

由于遮擋、姿態(tài)變化、視角不同等原因，行人局部特征描述對行人再識別問題研究往往會(huì)更有意義。局部特征通常從生成的局部分塊中獲取，根據(jù)Xu等[6]對身體部分的劃分，把身體分為剛體部分與非剛體部分。把可能有姿態(tài)劇烈變化的上臂、下臂和下腿等人體部位稱為非剛體部分，非剛體部分通常也會(huì)遭受到嚴(yán)重的遮擋和自我遮擋，分塊形狀變化比較大。剛體部分包括頭肩、上軀干和下軀干，這幾部分被認(rèn)為是不會(huì)變形的、僵硬的。

本文用AlphaPose算法[7]來定位人體的18個(gè)關(guān)節(jié)點(diǎn)位置，18個(gè)關(guān)節(jié)點(diǎn)位置{鼻子，左眼，右眼，左耳，右耳，左肩，右肩，左肘，右肘，左腕，右腕，左髖，右髖，左膝，右膝，左踝，右踝，脖子}用數(shù)字0～17表示。根據(jù)關(guān)節(jié)點(diǎn)位置，把18個(gè)已知的身體關(guān)節(jié)分配到九個(gè)矩形。定義剛體部分為R，非剛體部分為N。剛體部分包括頭部R1={0，1，2，3，4，17}，上軀干R2={5，6，11，12}，下軀干R3={11，12，13，14}。非剛體部分包括左上臂N1={5，7}，右上臂N2={6，8}，左下臂N3={7，9}，右下臂N4={8，10}，左下腿N5={13，15}，右下腿N6={14，16}。

對于剛體部分Ri{R1,R2,R3}，根據(jù)關(guān)節(jié)點(diǎn)位置獲得剛體部分的子邊界框H，Hi{H1,H2,H3}。

(1)

對于非剛體部分Nj{N1,N2,N3,N4,N5,N6}，根據(jù)關(guān)節(jié)點(diǎn)位置獲得非剛體部分的子邊界框G，Gj{G1,G2,G3,G4,G5,G6}。

(2)

式中：xmin、ymin是所在子區(qū)域關(guān)節(jié)點(diǎn)的最小位置；xmax、ymax是所在子區(qū)域關(guān)節(jié)點(diǎn)的最大位置。

1.2 區(qū)域HSV顏色特征

與其他視覺特征相比，顏色特征對圖像自身的尺寸、方向、視角的依賴性較小，具有較高的魯棒性。文獻(xiàn)[8]最先提出使用顏色直方圖來描述圖像顏色特征。顏色直方圖反映的是圖像中顏色的組成分布，即出現(xiàn)在圖像中各種顏色出現(xiàn)的概率，并不關(guān)心每種顏色所處的位置[9]。本文用顏色直方圖來描述顏色特征。

通過觀察行人圖像可以看出，行人的顏色信息主要表現(xiàn)在剛體部分，并且這部分很少受到背景的干擾，提取剛體部分顏色特征，可以充分代表這個(gè)人的顏色特征。為減少光照對圖片造成的影響，顏色直方圖在HSV(hue，saturation，value)坐標(biāo)系下提取。圖片包括H、S、V三個(gè)通道顏色信息，分別對H、S、V通道進(jìn)行量化，量化后每個(gè)通道的取值范圍分別是[0,1…nh-1]，[0,1…ns-1]及[0,1…nv-1]，按照H、S、V的順序把三個(gè)分量排列為一個(gè)一維矢量[0,1…nh-1…nh+ns-1…nh+ns+nv-1]，因此行人圖像量化為nh+ns+nv個(gè)顏色等級，令顏色量化值k的像素點(diǎn)為mk，則像素點(diǎn)的總個(gè)數(shù)為

(3)

像素點(diǎn)mk出現(xiàn)的概率pk為

(4)

2 目標(biāo)行人的檢測

2.1 行人候選區(qū)域選取

在圖像區(qū)域分塊中，剛體的分塊形狀一般是確定的，因此，顏色相似的剛體分塊內(nèi)的局部顏色直方圖具有相似的形狀。

將行人的剛體部分裁剪后，對每個(gè)人剛體部分的顏色特征進(jìn)行統(tǒng)計(jì)，得到各自的剛體部分HSV顏色直方圖，計(jì)算出現(xiàn)的行人剛體各部分與目標(biāo)行人剛體各部分的顏色直方圖的相似性得分P，采用公式(5)來計(jì)算。

(5)

式中：p、p′為目標(biāo)人物與候選所有人物的顏色直方圖。

計(jì)算同一張圖片中所有行人的綜合相似性得分，升序排列，找到相似性得分排在前兩位的行人為候選行人。

2.2 馬式距離度量

由于所有行人并非全部正面對著攝像頭，有的可能側(cè)著身子，導(dǎo)致有些關(guān)節(jié)點(diǎn)的位置并不可靠，提取的剛體不太準(zhǔn)確，并且當(dāng)行人之間的顏色很相似，綜合相似性得分排在最前的不一定是目標(biāo)行人，還需對候選行人進(jìn)行距離度量。

與傳統(tǒng)度量方法(歐式距離)直接利用特征表達(dá)階段獲得的特征向量進(jìn)行相似性度量不同，馬氏距離考慮到各種特性之間的聯(lián)系并且與尺度無關(guān)。通過VGG16卷積神經(jīng)網(wǎng)絡(luò)[10]提取候選行人邊界框中行人的特征向量。由于VGG16模型是主要用于圖像分類，本文舍棄了用于分類的全連接層，只保留卷積層和池化層。把提取到的候選行人邊界框圖像與目標(biāo)行人圖像固定為224×224大小的圖片，通過VGG16網(wǎng)絡(luò)后得到7×7×512=25088維特征向量，對于候選行人特征向量a(x11,x12,…，x125088)，目標(biāo)行人特征向量b(x21,x22,…，x225088)，計(jì)算a、b的協(xié)方差矩陣Y，馬氏距離的計(jì)算見公式(6)所示。

(6)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 行人數(shù)據(jù)集

本文采用拍攝于清華的PRW數(shù)據(jù)集[11]，由六臺攝像機(jī)拍攝，行人圖像包括多個(gè)行人，行人分布在圖像中各處且大小不一。由于主要針對的是視頻中遮擋后的行人再識別，選取40組視頻幀，包括212張圖片，共包括1450個(gè)行人，其中10組顏色相似，30組顏色各異。目標(biāo)行人共60人，其中顏色相似的18人，顏色各異的42人。

3.2 實(shí)驗(yàn)設(shè)置

本次實(shí)驗(yàn)的軟硬件設(shè)置在Anaconda的pytorch平臺，由于沒有過于復(fù)雜的運(yùn)算，不需要使用高性能的圖形處理器，在CPU為Intel(R)Core(TM)i5-3230M的計(jì)算機(jī)下運(yùn)行。

3.3 實(shí)驗(yàn)過程

首先，采用人體姿態(tài)估計(jì)算法定位人體關(guān)節(jié)，獲取行人身體的剛體部分。對行人進(jìn)行分區(qū)，結(jié)果如圖1所示。

由圖1可以看出，圖1a、圖1b、圖1c雖然可以有效的提取顏色信息，但會(huì)包含大量的背景顏色；圖1d中剛體部分能夠較好的反映出行人的顏色信息同時(shí)不易受背景顏色的干擾。圖2、圖3是實(shí)驗(yàn)的一部分圖片；圖2中行人的顏色相似，圖3中行人顏色各異。圖2中左起第三個(gè)行人為目標(biāo)行人，圖3中右起第三個(gè)行人為目標(biāo)行人，由式(5)分別計(jì)算出頭部、上軀干、下軀干的相似性得分P1、P2、P3。表1、表2顯示圖2、圖3中所有行人各個(gè)剛體部分的相似性得分和綜合相似性得分。圖2、圖3中出現(xiàn)的所有行人從左到右依次排序。

圖1 行人分區(qū)結(jié)果

圖2 顏色相似的行人

圖3 顏色各異的行人

結(jié)合圖2和表1，Z1～Z5上軀干顏色相似，P2相近；Z2、Z3、Z5、Z6、Z7下軀干顏色相似，P3相近；頭部相似性得分P1有些很相近，有些相差很大。結(jié)合圖3和表2，當(dāng)顏色各不相同時(shí)，剛體部件的相似性得分各有不同，單一部分的相似性得分不能有效的區(qū)分行人，而融合所有剛體部分的綜合得分更能表現(xiàn)行人顏色特征。所以，本文用綜合相似性得分表示行人顏色特征。圖4為候選行人識別的結(jié)果圖。

表1 圖2相似度得分

表2 圖3相似度得分

圖4 候選行人識別結(jié)果

由于視頻中可能出現(xiàn)穿相同顏色衣服的行人，得分排在最前的不一定是目標(biāo)行人，所以還需對候選行人進(jìn)行距離度量。

3.4 實(shí)驗(yàn)結(jié)果

圖5中顯示了視頻中行人再識別的結(jié)果。從圖5第一、二行可以看出，當(dāng)行人顏色相似或顏色各異時(shí)，目標(biāo)行人被遮擋后，可以被再識別出來；即使像第三行要查詢的圖片質(zhì)量較差時(shí)，仍然可被再次識別。本文算法適合于目標(biāo)遮擋后瞬時(shí)的再識別，也可以為目標(biāo)跟蹤特征矢量提供判據(jù)。

圖5 行人再識別結(jié)果

通過40組試驗(yàn)(PRW數(shù)據(jù)集)，分別計(jì)算顏色相似和相異時(shí)的準(zhǔn)確率。識別準(zhǔn)確率如表3所示。

表3 不同類型問題的識別準(zhǔn)確率 %

由表3可以看出，當(dāng)顏色差別較大時(shí)，該方法對視頻中的行人有很好的再識別效果；即使顏色相似時(shí)，也有較高的識別率。

將本文算法與其他算法比較，不同算法的行人識別率如表4所示。

表4 算法比較 %

由表4可以看出，本文的算法具有較高的識別率。

4 結(jié)論

采用了一種基于人體姿態(tài)估計(jì)算法提取局部特征的方法研究視頻中遮擋后的行人再識別問題，實(shí)驗(yàn)結(jié)果證明，本文方法簡單、快速，可以較好的補(bǔ)償行人跟蹤問題中交錯(cuò)行人的跟蹤誤差，提高行人目標(biāo)跟蹤的精度。