基于LBP-HSV模型及改進(jìn)SIFT算法的行人再識別算法

,,

(南京理工大學(xué) 自動化學(xué)院，南京 210094)

0 引言

行人再識別技術(shù)主要用于視頻監(jiān)控領(lǐng)域，用以檢測某個目標(biāo)是否出現(xiàn)在非重疊視域多攝像機(jī)監(jiān)控視頻中[1]。目前的行人再識別方法主要分為兩類：基于特征描述法[2-4]和基于機(jī)器學(xué)習(xí)法[5-6]。在基于特征描述法中，設(shè)計具有區(qū)分性、穩(wěn)定性和對光照、視角、姿態(tài)等具有一定魯棒性的描述特征，再利用這些特征來度量兩幅行人圖像的相似性。文獻(xiàn)[2]提出的SDALF方法將人體分割成頭部、軀干、和腿部，利用加權(quán)HSV直方圖、最大穩(wěn)定顏色區(qū)域和重復(fù)紋理塊3種特征進(jìn)行組合識別，識別性能較好，但描述符的計算量大、復(fù)雜度高、存儲開銷大?；跈C(jī)器學(xué)習(xí)法是通過學(xué)習(xí)行人再識別模型的優(yōu)化參數(shù)，或從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)有效的特征分類來降低不同行人圖像間的相似度[7]。文獻(xiàn)[5]用支持向量機(jī)學(xué)習(xí)中層語義屬性的判斷，并確定各屬性的權(quán)重，形成以屬性為中心基于部分特征的再識別模型。但由于該方法訓(xùn)練時需要手動標(biāo)記屬性，且屬性分類較多，訓(xùn)練復(fù)雜度較大，在只有少量樣本時存在過擬合問題，故只適用于樣本種類豐富的情況。

為有效應(yīng)對目標(biāo)樣本少、背景、光照、視角變化等情況，提高算法的準(zhǔn)確性和識別速率，本文在上述方法的啟發(fā)下，提出結(jié)合LBP-HSV模型預(yù)識別與改進(jìn)SIFT特征點(diǎn)匹配的算法。首先使用LBP-HSV顏色模型對測試圖像進(jìn)行預(yù)識別處理，篩選出目標(biāo)相似區(qū)域，縮小識別范圍。然后提取該區(qū)域的SIFT特征點(diǎn)，并使用改進(jìn)的HOG特征描述特征點(diǎn)，以改進(jìn)SIFT特征點(diǎn)特征向量的描述方式。通過對不同情形下的圖像進(jìn)行試驗，對比、驗證本文所提算法的有效性。

1 基于LBP特征和HSV模型的相似區(qū)域識別

1.1 LBP特征

LBP特征是一種表述灰度圖像某像素點(diǎn)灰度值與周圍像素點(diǎn)灰度值大小關(guān)系的二進(jìn)制描述，Ojala[8]等人為了使LBP算子適應(yīng)不同的紋理特征，將3×3鄰域擴(kuò)展到任意鄰域，并用半徑為R，采樣點(diǎn)個數(shù)為P的圓形鄰域取代正方形鄰域，且對于沒有完全落在像素點(diǎn)位置上的灰度值采用雙線性插值法進(jìn)行計算，LBP算子如圖1。

本文取R=2,P=16，LBP值記為LBP16,2。通過對得到的LBP值進(jìn)行循環(huán)移位，取最小值作為LBP特征值，這樣使LBP具有旋轉(zhuǎn)不變性，計算方法如式(1)。

LBPP,R=minROR(LBPP,R,k)|k=0,1,2,…,P-1

(1)

式(1)中，ROR(x,k)表示對P位二進(jìn)制數(shù)x進(jìn)行向右循環(huán)移位k次(|k|

表1 HSV空間顏色量化策略

圖1 幾種LBP算子

1.2 HSV模型

HSV是A.R.Smith在1978年根據(jù)顏色的直觀特性創(chuàng)建的一種顏色空間，它根據(jù)色彩的色調(diào)H、飽和度S和亮度V三個基本特征確定顏色[9]。

本文在文獻(xiàn)[9-10]提出將HSV顏色空間的顏色量化為黑、灰、白、紅、橙、黃、綠、青、藍(lán)和紫10個等級的基礎(chǔ)上，擴(kuò)大了紅色的色度范圍，改進(jìn)的HSV顏色空間量化策略見表1。

由經(jīng)驗可知，人體在豎直方向上，上身占30%左右，腿部占50%左右?？紤]行人的衣著、背包、運(yùn)動姿態(tài)及背景等因素，本文僅提取行人上身和大腿的主要顏色和次要顏色進(jìn)行預(yù)識別。選定上身的識別區(qū)域(圖2的A區(qū)域)，占圖像橫向的20%～80%，縱向的20%～50%；選定大腿的識別區(qū)域(圖2的B區(qū)域)占圖像橫向的25%～75%，縱向的50%～70%。具體區(qū)域劃分如圖2。提取HSV顏色的方法為：遍歷待識別區(qū)域圖像的每個像素點(diǎn)，計算各像素點(diǎn)的H、S、V分量，根據(jù)表1的量化策略，將像素點(diǎn)判定為Ci(Ci代表顏色量化后的10個等級，i=1，2……，10)，計算Ci的總個數(shù)，數(shù)量最多的顏色即為區(qū)域的主顏色，其次為次顏色。

圖2 行人上身、大腿識別區(qū)域

1.3 目標(biāo)相似區(qū)域識別

目標(biāo)相似區(qū)域識別即利用目標(biāo)圖片，在測試圖片中篩選出目標(biāo)可能存在的大致區(qū)域。本文提出的基于LBP特征和HSV模型的目標(biāo)相似區(qū)域識別步驟如下：

1)提取目標(biāo)圖像的LBP特征，用與目標(biāo)圖像同大小的矩形窗，以一定步長循環(huán)遍歷測試圖像，計算各矩形塊的LBP特征，比較其LBP直方圖與目標(biāo)圖像LBP直方圖的相似度，記為S(i),i=1,2,3,…(i為矩形塊個數(shù))；

2)計算S(i)的最小值，記為Smin，標(biāo)記滿足條件S(i)≤Smin*TS的矩形塊(TS為閾值)，包含滿足上述條件矩形塊的最小矩形即為LBP特征直方圖識別出的相似區(qū)域，記為RLBP；

3)利用改進(jìn)的HSV模型提取目標(biāo)圖像A、B區(qū)域的主、次顏色，且用與目標(biāo)圖像同大小的矩形窗，以一定步長循環(huán)遍歷RLBP，分別提取各塊A、B區(qū)域的主、次顏色；

4)判斷上述目標(biāo)圖像和RLBP內(nèi)各塊A、B區(qū)域主、次顏色的關(guān)系，若對應(yīng)區(qū)域的主、次顏色有交集，則標(biāo)記該矩形塊為相似矩形塊；

5)包含上述所有相似矩形塊的最小矩形即為相似區(qū)域。圖3為三種情形下的行人目標(biāo)相似區(qū)域識別結(jié)果。

圖3 相似區(qū)域識別結(jié)果

2 基于改進(jìn)SIFT特征點(diǎn)匹配的行人再識別

2.1 SIFT算法特征點(diǎn)提取

SIFT算法[11]由David G.Lowe首次提出，其核心是尺度空間不變理論，本文使用SIFT算法進(jìn)行圖像關(guān)鍵點(diǎn)的提取，步驟如下：

1)尺度空間的表示。

定義圖像的尺度空間為一個尺度可變的高斯函數(shù)G(x,y,σ)與原圖像I(x,y)的卷積，表示如下：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(2)

為能有效檢測尺度空間中的關(guān)鍵點(diǎn)，David G.Lowe提出了高斯差分尺度空間(DOG空間)，它由不同尺度的高斯差分核和圖像卷積得到，表達(dá)式如下：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,kσ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(3)

2)關(guān)鍵點(diǎn)的提取。

圖4 SIFT關(guān)鍵點(diǎn)提取結(jié)果

表2 三種情形下圖像SIFT特征點(diǎn)個數(shù)

由表2可以看出，添加LBP-HSV預(yù)識別后，測試圖像提取的特征點(diǎn)數(shù)量較原圖均減少了65%以上，尤其是在背景復(fù)雜的情況下，減少了近90%。特征點(diǎn)的減少降低了后續(xù)特征點(diǎn)匹配的復(fù)雜度。

2.2 改進(jìn)的SIFT關(guān)鍵點(diǎn)特征描述

傳統(tǒng)的SIFT關(guān)鍵點(diǎn)描述向量維數(shù)太高，高達(dá)128維，大大影響了關(guān)鍵點(diǎn)的匹配速度。為提高SIFT算法的實時性，很多學(xué)者[12-13]嘗試用主成分分析(PCA)法對SIFT描述向量進(jìn)行降維，但降維在構(gòu)造關(guān)鍵點(diǎn)描述向量時的計算量甚至超過了標(biāo)準(zhǔn)SIFT算法，大大抵消了降維帶來的速度提高。

HOG(梯度方向直方圖)特征是Dalal[14]等人提出的一種用于行人檢測的特征，具有很好的幾何和光學(xué)不變性，且計算效率高。該特征通常用來描述圖像塊的特征，本文對HOG特征進(jìn)行改進(jìn)，并提出使用它來描述關(guān)鍵點(diǎn)的特征向量，步驟如下：

1)以SIFT關(guān)鍵點(diǎn)c(xc,yc)為中心，采用圓形區(qū)域作為關(guān)鍵點(diǎn)鄰域，將該鄰域等間隔劃分成4個同心圓，劃分過后的鄰域如圖5所示。

2)按式(4)計算加權(quán)HOG梯度幅值MAGrgt。當(dāng)圓形區(qū)域旋轉(zhuǎn)θ角度時，關(guān)鍵點(diǎn)鄰域圓環(huán)上點(diǎn)p(xp,yp)的梯度由g變?yōu)間′,按式(5)、(6)對梯度進(jìn)行RGT(Radial Gradient Transform)變換得到RGT梯度(gTr,gTt)、(g′Tr′,g′Tt′),由文獻(xiàn)[15]知，(g′Tr′,g′Tt′)=(gTr,gTt),如圖6所示。r和t為兩個正交的單位向量，r表示p點(diǎn)切向方向的單位向量，t表示p點(diǎn)徑向方向的單位向量，Rθ表示旋轉(zhuǎn)θ角的旋轉(zhuǎn)矩陣，wi為權(quán)重系數(shù)；

圖6 RGT變換示意圖

(4)

(5)

r=Rπ/2t

(6)

3)對鄰域的4個同心圓，分別求出9個方向(0°,40°,80°,120°,160°,200°,240°,280°,320°)的HOG梯度值，作為關(guān)鍵點(diǎn)特征向量，這樣，最終得到關(guān)鍵點(diǎn)的HOG特征描述子即為4×9=36維向量，記為XHOG(x,y)；

2.3 特征點(diǎn)匹配

按式(7)計算點(diǎn)A的特征向量XA(x1,x2,…,xn)與點(diǎn)B的特征向量Y(y1,y2,…,yn)間的加權(quán)歐式距離。

(7)

最近鄰匹配策略為：針對目標(biāo)圖像中的關(guān)鍵點(diǎn)A，在待識別圖像中找出與之距離最近的關(guān)鍵點(diǎn)B和次近的關(guān)鍵點(diǎn)C，若兩距離比值小于閾值t，即:

(8)

則認(rèn)為點(diǎn)A與點(diǎn)B匹配。

3 實驗結(jié)果及分析

論文以VS2010 + OpenCV2.4.9為開發(fā)工具，采用SIFT算法與文中所述算法，分別對三種不同情形下的圖像進(jìn)行了目標(biāo)再識別實驗，圖7～圖9分別為各類算法的識別效果。從圖7可以看出，僅用SIFT算法特征點(diǎn)匹配效果較差，尤其是在復(fù)雜背景下，準(zhǔn)確率偏低。從圖8、圖9可以看出，添加預(yù)識別處理以后，準(zhǔn)確率大大提高，且環(huán)境適應(yīng)性增強(qiáng)。

三種情形下預(yù)識別+SIFT算法與本文算法的匹配性能比較結(jié)果如表3所示。

由表3可知，當(dāng)圖像中的行人目標(biāo)存在姿態(tài)、光照、視角、大小等變化時，本文提出的特征向量描述方法與SIFT算法特征向量描述方法相比，準(zhǔn)確率相當(dāng)，而運(yùn)算時間均減少了約60%～70%，匹配速度更快。

表3 算法匹配性能比較

圖7 SIFT算法識別結(jié)果

圖8 預(yù)識別+SIFT算法識別結(jié)果

圖9 本文算法識別結(jié)果

4 結(jié)論

為了提高視頻監(jiān)控中行人再識別的準(zhǔn)確率，本文提出結(jié)合LBP-HSV模型與改進(jìn)SIFT算法的行人再識別算法。采用LBP-HSV模型進(jìn)行預(yù)識別處理，縮小了目標(biāo)可能的范圍，降低了目標(biāo)匹配的復(fù)雜度，提高了匹配準(zhǔn)確率；采用圓形鄰域作為特征點(diǎn)鄰域，提出使用改進(jìn)的HOG特征來描述SIFT特征點(diǎn)的特征向量，提高了匹配速度。需要說明的是，實驗中的預(yù)識別環(huán)節(jié)耗時均在5秒左右，對于實時性要求較高的應(yīng)用，算法還需作進(jìn)一步完善。

參考文獻(xiàn)：

[1] 齊美彬, 檀勝順, 王運(yùn)俠,等. 基于多特征子空間與核學(xué)習(xí)的行人再識別[J]. 自動化學(xué)報, 2016, 42(2):299-308.

[2] Farenzena M, Bazzani L, Perina A, et al. Person re-Identification by symmetry-driven accumulation of local features[A]. Proc. of IEEE Conference on Computer Vision and Pattern Recognition [C]. 2010, 2360-2367.

[3] Ma B, Su Y, Jurie F. BiCov: a novel image for person re-identification and face verification[A]. Proceedings of the British Machine Vision Conference[C]. Guildford, UK: BMVA Press, 2012: 1-11. [DOI: 10.5244/ C. 26. 57].

[4] 范彩霞, 朱 虹, 藺廣逢,等. 多特征融合的人體目標(biāo)再識別[J]. 中國圖象圖形學(xué)報, 2013,18 (6): 711-717.

[5] Layne R, Hospedales T M, Gong S. Person re-identification by attributes[A]. Proceedings of the British Machine Vision Conference[C]. Surrey, UK: BMVA Press, 2012: 2(3): 1-9. [DOI: 10.5244/ C. 26. 24]

[6] Zhao R, Ouyang W, Wang X. Unsupervised salience learning for person re-identification[A]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition[C]. Portland: IEEE Press, 2013: 3586-3593. [DOI: 10.1109/ CVPR. 2013. 460]

[7] 陳 瑩, 霍中花. 多方向顯著性權(quán)值學(xué)習(xí)的行人再識別[J]. 中國圖象圖形學(xué)報, 2015, 20 (12): 1674-1683.

[8] Ojala T, Pietikainen M, Maenpaa M. Multire solution gray-scale and rotation invariant texture classification width local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[9] 彭志勇, 常發(fā)亮, 劉洪彬,等. 基于HSV模型和特征點(diǎn)匹配的行人重識別算法[J]. 光電子·激光, 2015(8): 1575-1582.

[10] OpenCV—HSV color model and ranges of color components [EB/OL]. [2014-04-09]. http:// blog. csdn. net/ wanggsx918/ article/ details/ 23272669, 2014-04-09.

[11] 黃登山, 王曉楠. 基于Canny和Hillbert- Huang變換的改進(jìn)的SIFT算法研究[J]. 西北工業(yè)大學(xué)學(xué)報, 2015 (6): 962-965.

[12] Ke Y, Sukthankar R. PCA—SIFTI a More Distinctive Representation for Local Image Descriptors[A].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition[C]. Washington D C, 2004, 2: 506-513.

[13] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and MachineIntelligence, 2005, 27(10): 1615-1630.

[14] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[A]. Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on[C]. IEEE, 2005:886-893.

[15] 湯 彪, 左崢嶸, 李 明. 基于旋轉(zhuǎn)不變HOG特征的圖像匹配算法[J]. 2013.