HSV空間中基于區(qū)域邊緣直方圖的視頻目標再識別算法

胡正東，陳曉竹，丁 寧

(中國計量大學 信息工程學院，浙江 杭州 310018)

?

HSV空間中基于區(qū)域邊緣直方圖的視頻目標再識別算法

胡正東，陳曉竹，丁 寧

(中國計量大學 信息工程學院，浙江 杭州 310018)

視頻目標再識別涉及計算機視覺領(lǐng)域的運動目標檢測、跟蹤、圖像處理、特征提取、特征匹配等.現(xiàn)提出一種基于前景檢測、彩色區(qū)域邊緣直方圖(REH)的視頻目標再識別算法.前景目標檢測能有效消除背景像素產(chǎn)生的冗余特征，結(jié)合HSV空間中的彩色區(qū)域邊緣直方圖，增強了對目標的特征描述.實驗在筆者建立數(shù)據(jù)集和3Dpes上取得了86.7%和51.5%的識別率，進一步提高了視頻目標再識別的準確率.

視頻目標再識別；區(qū)域邊緣直方圖；前景目標檢測；特征匹配

隨著智能視頻監(jiān)控技術(shù)[1]的發(fā)展，如何有效使用視頻內(nèi)容資源成為研究重點.視頻目標再識別是智能視頻監(jiān)控中的難點，可以將其分為單場景和多場景目標再識別，而目標又可以分為單目標和多目標.視頻目標再識別相比于圖像再識別，優(yōu)勢在于視頻的連續(xù)特性能輕松提取前景目標，有針對性地進行特征提?。徊蛔阒幨窃谟谝曨l數(shù)據(jù)冗余龐雜，噪聲干擾多，受困于硬件設備.環(huán)境的不同，目標再識別的難易程度也不同.單場景單目標的再識別最容易，干擾較少.隨著目標的增加，將要面對人群密度、遮擋等問題；隨著場景的增加，復雜背景變化、拍攝角度等問題隨之而來.如表1.

表1 目標再識別分類

現(xiàn)有目標再識別算法主要解決兩部分問題，即特征提取和相似性度量.常見特征提取算法有：灰度區(qū)域邊緣直方圖特征[2]；通過分塊顏色直方圖進行特征提取[3]；對運動目標進行視角、姿態(tài)等表現(xiàn)進行建模[4]；采用約束成分分析法進行特征提取[5].以上算法本質(zhì)上都是對圖像進行靜態(tài)特征處理.在動態(tài)圖像特征提取領(lǐng)域，步態(tài)特征[6]使用最廣泛，且已經(jīng)取得了很多研究成果.在相似性度量問題上，距離度量學習方法已經(jīng)有了廣泛的應用[7]；文獻[4]通過機器學習度量相似性.

而對于目標提取和預處理，現(xiàn)有方法并沒有充分利用視頻目標運動的特點，消除背景對目標特征的干擾，目前公開數(shù)據(jù)集也只有3Dpes涉及.本文通過結(jié)合前景檢測算法，濾除目標處理時的背景，增強了特征.

文章第1節(jié)介紹區(qū)域邊緣直方圖算法；第2節(jié)介紹本文算法流程；第3節(jié)為實驗；第4節(jié)做全文總結(jié).

1 區(qū)域邊緣直方圖簡介

1.1 直方圖特征

圖像直方圖將圖像從二維矩陣空間映射到統(tǒng)計學直方圖空間，在計算機視覺領(lǐng)域應用廣泛.在基本的圖像處理方法中，直方圖均衡化和直方圖規(guī)定化是非常有效的圖像增強算法；顏色直方圖[8]統(tǒng)計不同色彩分量在圖像中的比重，廣泛應用于圖像分割和圖像匹配；圖像分類算法[9]中經(jīng)典的詞袋模型，也將視覺詞典的統(tǒng)計直方圖作為分類器(如SVM)的輸入.以上直方圖都只反映了圖像像素的數(shù)量信息.空間直方圖在傳統(tǒng)直方圖的基礎上統(tǒng)計了各像素的空間信息，優(yōu)化了區(qū)分能力[10]；邊緣方向直方圖(EOH)統(tǒng)計了邊緣像素方向分布[11]；梯度方向直方圖(HOG)通過梯度方向分布來描述圖像[12]；區(qū)域邊緣直方圖(REH)統(tǒng)計直方圖子區(qū)間的邊緣像素信息，非常有效地體現(xiàn)了圖像的紋理信息[13].

1.2 區(qū)域邊緣統(tǒng)計直方圖理論

區(qū)域邊緣直方圖提出了區(qū)域邊緣像素這一關(guān)鍵定義，即某個像素的四鄰域中至少存在一個隸屬不同直方圖子區(qū)間的像素時，即為邊緣像素.圖1左圖中邊緣像素總計16個，右圖圖中包含10個，然而當用傳統(tǒng)直方圖統(tǒng)計時，它們具有完全相同的特征表現(xiàn).

圖1 特征相同的直方圖區(qū)域[2]Figure 1 Histograms of Regions with same features

記灰度直方圖第b個子區(qū)間構(gòu)成區(qū)域Rb，其所有像素的總和為K(Rb)，其區(qū)域邊緣像素總和為K(Eb)，則區(qū)域邊緣復雜度為

ηb=K(Eb)/K(Rb).

(1)

歸一化取值如下：

(2)

再將式(1)進行歸一化得到整幅圖像區(qū)域邊緣復雜度向量(π1,...πb,...πB).其中

(3)

將該向量與式(2)加權(quán)可以得到各個對應直方圖子區(qū)間的邊緣復雜度向量：(λ1,...λb,...λn).其中

λb=κbπb.

(4)

該向量同時體現(xiàn)了像素取值的頻率分布和像素的空間分布.歸一化得到(φ1,...φb,...φn).其中

(5)

進一步化簡

(6)

式(6)表明只需統(tǒng)計直方圖子區(qū)間所包含的邊緣像素即可得到區(qū)域邊緣直方圖特征向量.

2 彩色視頻目標再識別算法

本文實現(xiàn)了完整的目標再識別算法，涉及算法模塊和實驗模塊多，算法流程圖如圖2.

圖2 目標再識別算法流程圖Figure 2 Chart of target object re-identification algorithm

接下來將從前景檢測算法、彩色區(qū)域邊緣直方圖算法、相似度匹配算法三個方面詳細論述.

2.1 前景檢測算法

Vibe算法[14]性能良好，應用廣泛.本文使用的是筆者參與研究的基于區(qū)域檢測的改進算法[15]，能夠快速有效地處理鬼影.研究人員已經(jīng)提出多種針對Vibe的改進、應用算法[16-17].圖3呈現(xiàn)了通過Vibe檢測后框圖標記出的運動目標.

圖3 前景目標檢測Figure 3 Foreground object detection

2.2 彩色區(qū)域邊緣直方圖特征

文獻[2]中采用區(qū)域邊緣直方圖作為特征，在灰度空間中取得了72.4%的識別率，但并沒有完全體現(xiàn)出特征的性能.灰度空間只體現(xiàn)圖像亮度信息，損失了圖像顏色信息，削弱了特征強度.Berkeley圖像數(shù)據(jù)庫中選取兩幅灰度直方圖相似度大的彩色圖片，顏色分量直方圖卻表現(xiàn)出非常大的差異，如圖4.

圖4 不同分量的直方圖Figure 4 Histograms of different component

HSV顏色模型是一個包含三個分量：色調(diào)(H)、飽和度(S)和數(shù)值(V)的彩色模型.HSV與RGB的轉(zhuǎn)換公式如下：

V=MAX.

(7)

視頻相對圖片可以較容易分割出特定的目標，特別是運動目標.利用視頻這一特性，在統(tǒng)計區(qū)域邊緣像素時增強了判別條件

((Is-foreground?)&&(is-REpoint?)).

(8)

這樣有效地消除了背景邊緣像素的干擾，得到了更加準確的目標特征向量.融合前景二值圖像的特征提取如圖5，目標以外的背景區(qū)域全部被消除，特征提取效果更好.

圖5 二值圖像特征提取Figure5 Feature extraction of binary image

標記區(qū)域邊緣像素后，分別統(tǒng)計標記像素的色調(diào)、飽和度和亮度分量，得到三個顏色分量的區(qū)域邊緣直方圖特征

(9)

2.3 相似性度量

直方圖相似性度量的方法有很多，常見的有相關(guān)度法、卡方系數(shù)法、直方圖相交法、歐式距離法等.在這些方法中，巴氏系數(shù)法的度量效果最佳，缺點是它的計算量較大，算法運行時間長.本文采用巴氏距離度量，計算公式如下：

(10)

最終相似度為三個分量的相加

DBhattacharyya=DH+DS+DV.

(11)

式(11)為相似度最終的計算公式.本實驗中當相似度匹配達到峰值，且D取到最小值時，即認定搜索到目標.

3 實驗結(jié)果與分析

實驗設備為32位主頻3.2 GHz,內(nèi)存4G的惠普臺式機，仿真軟件Matlab2014.攝像頭選用大華股份有限公司的智能監(jiān)控攝像頭.

3.1 實驗設計與實驗過程

實驗在未知視頻庫中，再識別已保存在檢測庫中待識別目標.實驗根據(jù)數(shù)據(jù)集來源不同分為兩部分進行.

第一部分視頻數(shù)據(jù)由筆者自己錄制，試驗環(huán)境為室內(nèi)單場景.選取2015年10月31日至11月10拍攝的視頻.其中早上的視頻作為已知數(shù)據(jù)，下午和晚上作為未知數(shù)視頻.在圖2中通過固定尺寸(180×130)的檢測框標記出運動目標.再從未知的視頻數(shù)據(jù)中再識別目標.

實驗所用檢測庫累計保存了181張圖片，未知數(shù)據(jù)累計保存了1萬多張運動目標前景圖.

第二部分數(shù)據(jù)集為3Dpes,它是一個包含204個目標及多個場景的多場景單目標再識別數(shù)據(jù)庫.隨機挑選分為兩組，前者作為檢測庫，后者為再識別庫.如圖6所示3Dpes中的目標圖像和二值圖像.

圖6 3Dpes中的多場景目標Figure6 Object of multi-scenario of 3Dpes

3.2 實驗結(jié)果與分析

如圖7所示實驗結(jié)果.左邊第一列為檢測庫保存的5個典型目標，右邊三列為經(jīng)過再識別的結(jié)果.實驗保留最相似(巴氏系數(shù)最小)的三個目標.從圖中可以看出，得出候選目標的圖像特征與待檢測目標非常相似，顏色、姿態(tài)、光線等非常接近，驗證本文算法和實驗是有效的.

但是也不排除錯誤識別目標情況的發(fā)生.如第三個目標再識別結(jié)果，將錯誤作為第一目標保存下來，而正確識別的結(jié)果卻作為第二、三候選目標.對比圖片發(fā)現(xiàn)錯誤識別目標與原圖相似度非常高，導致錯誤判別.

圖7 目標再識別實驗結(jié)果Figure 7 Experiment results of object re-identification

實驗將區(qū)域邊緣直方圖同其他直方圖做了對比試驗，表2是第一部分實驗的統(tǒng)計結(jié)果.對比可知，彩色區(qū)域邊緣統(tǒng)計直方圖的識別率明顯高于其他算子.在傳統(tǒng)灰色直方圖空間中，梯度方向直方圖獲得的匹配率最高，區(qū)域邊緣直方圖第二，灰度直方圖的再識別結(jié)果很不理想.在彩色空間中，直方圖特征的描述能力更強效，HSV空間中區(qū)域邊緣直方圖獲得了84.5%的匹配率，比灰度區(qū)域邊緣直方圖[2]提高了13.3%.本實驗使用的數(shù)據(jù)集的背景相對簡單，因此濾除背景后并沒有獲得很明顯的提升，再識別率為86.7%.

表2 對比實驗結(jié)果

第二部分實驗在公開數(shù)據(jù)集3Dpes上進行.并且與r-PCCA[18]、KISSME[19]和SVMML[20]三種算法做了對比實驗.如表3所示實驗結(jié)果.

表3 3Dpes實驗結(jié)果

由于算法本身的區(qū)別，表3中的識別率均為每種算法取得的最優(yōu)結(jié)果.目標個數(shù)表示匹配結(jié)果中，最相似且包含再識別目標的目標數(shù)量.顯然目標個數(shù)越多，識別率越高.本文算法結(jié)合了前景檢測得到的二值圖像，有效地消除了背景像素的干擾.而3Dpes數(shù)據(jù)集提供了前景二值圖像，可以有效方便地進行實驗.

表3中區(qū)域邊緣直方圖在第一項指標中識別率最高，一次性識別率比其他三種方法高出近4%.隨著目標個數(shù)的增多，r-PCCA獲得了最好的識別率.區(qū)域邊緣直方圖獲得了第二高的再識別率.

4 結(jié) 語

本文提出一種基于前景檢測，結(jié)合彩色區(qū)域邊緣直方圖的目標再識別算法.通過Vibe前景檢測算法，有效提取運動目標，消除背景干擾.在HSV空間中的彩色區(qū)域邊緣直方圖，充分利用了HSV模型的優(yōu)勢，統(tǒng)計了區(qū)域邊緣像素的顏色信息.巴氏距離最大限度地提高了目標再識別的成功率.實驗在筆者建立數(shù)據(jù)集和3Dpes上取得了86.7%和51.5%的識別率，分別提高了近10%和4%的再識別率，算法具有一定的應用價值.視頻目標遮擋、如何尋找固定閾值的再識別判別方法、HSV模型中三種分量在相似性度量中的權(quán)重等問題，將是接下來研究的側(cè)重點.

[1] 黃凱奇，陳曉棠，康運鋒.智能視頻監(jiān)控技術(shù)[J].計算機學報，2014，37(49)：1093-1118.

HUANG Kaiqi，CHEN Xiaotang，KANG Yunfeng. Intelligent visual surveillance: a review[J].Chinese Journal of Computers，2014，37(49)：1093-1118.

[2] 胡正東，陳曉竹，丁寧.區(qū)域邊緣直方圖的目標搜索算法[J].中國計量學院學報，2016，27(2)：210-215.

HU Zhengdong，CHEN Xiaozhu，DING Ning. A video object searching algorithm based on Region Edge Histogram[J].Journal of China University of Metrology，2016，27(2)：210-215.

[3] GRAY D, TAO H. Viewpoint invariant pedestrian recognitionwith an ensemble of localized features[C]// Proceedings of the European Conference on Computer Vision. Berlin:Springer,2008:262-275.

[4] Omar Javed, Khurram Shafique, Mubarak Shah. Appearance modeling for tracking in multiple non-overlapping cameras[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. San Diego, USA:IEEE, 2005:26-33.[5] XIONG F, GOU M, CAMPS O, et al. Person re-identification using kernel-based metric learning methods[M]. Berlin:Springer International Publishing, 2014:1-16.

[6] WANG L, TAN T, NING H. Silhouette analysis-based gait recognition for human identification[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,25(12):1505-1518.

[7] HIRZER M, ROTH P M, K?STINGER M, et al. Relaxed pairwise learned metric for person re-identification[M].Berlin Heidelberg:Springer, 2012:780-793.

[8] 袁廣林，薛模根，謝愷.多顏色直方圖自適應組合Mean Shift跟蹤[J].中國圖象圖形學報，2011，16(10)：1832-1840.

YUAN Guanglin, XUE Mogen, XIE Kai. Mean Shift tracking with multiple color histograms adaptive integration[J]. Journal of Image and Graphics，2011，16(10)：1832-1840.

[9] 黃凱奇，任偉強，譚鐵牛.圖像物體分類與檢測算法綜述[J].計算機學報，2014，37(6)：1225-1240.

HUANG Kaiqi，REN Weiqiang，TAN Tieniu. A review on image object classification and detection[J].Chinese Journal of Computers，2014,37(6):1225-1240.

[10] BIRCHFIELD S T, RANGARAJAN S. Spatial histograms for region-based tracking [J].ETRI Journal,2007,29(5):697-699.

[11] LEVI K, WEISS Y. Learning object detection from a small number of examples: the importance of good features[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE,2004:53-60.

[12] DALAL B,TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, USA: IEEE,2005:886-893.

[13] 余旺盛，田孝華，侯志強.基于區(qū)域邊緣統(tǒng)計的圖像特征描述新方法[J].計算機學報，2014,37(6)：1398-1410.

YU Wangsheng，TIAN Xiaohua，HOU Zhiqiang. A new image feature based on region edge statistical[J]. Chinese Journal of Computers，2014,37(6)：1398-1410.

[14] BARNICH O, VAV D M. ViBe: a universal background subtraction algorithm for video sequences[J]. IEEE Trans on Image Processing,2011,20(6):1709-1724

[15] 陳亮，陳曉竹，胡正東.用于鬼影抑制的區(qū)域檢測算法[J].中國計量學院學報，2015，26(1)：115-122.

CHEN Liang，CHEN Xiaozhu，HU Zhengdong. Region detection algorithm for ghost suppression[J].Journal of China University of Metrology，2015，26(1)：115-122.

[16] LI Yongqiang，CHEN Wanzhong，JIANG Rui. The integration adjacent frame difference of improved ViBe for foreground object detection[C]// Proceedings of the WiCOM 2011 International Conference. China：IEEE Antennas and Propagation Society，2011:1-4.

[17] 張磊，傅志中，周岳平.基于HSV顏色空間和Vibe算法的運動標檢測[J].計算機工程與應用，2014，50(4)：181-185.

ZHANG Lei，F(xiàn)U Zhizhong，ZHOU Yueping. Moving objects detection based on HSV color space and Vibe algorithm[J]. Computer Engineering and Applications，2014，50(4)：181-185.

[18] VAN D M, PAQUOT O. Background subtraction: experiments and improvements for Vibe[C]//Computer Vision and Pattern Recognition Workshops (CVPRW). Providence，RI：IEEE,2012:32-37.

[19] KOESTINGER M, HIRZER M, WOHLHART P, et al. Large scale metric learning from equivalence constraints[C] //Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. Providence: IEEE,2012:2288-2295.

[20] LI Z, CHANG S, LIANG F, et al. Learning locally-adaptive decision functions for person verification[C]//Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on. Portland: IEEE,2013:3610-3617.

A video object re-identification algorithm based on region edge histogram in HSV space

HU Zhengdong，CHEN Xiaozhu，DING Ning

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

Video object re-identification involves on moving object detection, tracking, image processing, feature extraction and feature matching, etc. A video object re-identification algorithm based on foreground detection and color region edge histogram (REH) was introduced. Combined with the region color edge histogram in HSV space, foreground object detection could eliminate the redundant features caused by background pixel effectively and enhanced the description of the characteristics of the target. The experiment achieved a re-identification rate of 84.5% and 46.7% in the data set build by author and public data 3Dpes, showed that the algorithm has certain application value and improves the accuracy rate of video object re-identification.

video object re-identification；region edge histogram；foreground object detection；feature matching

2096-2835(2016)03-0324-06

10.3969/j.issn.2096-2835.2016.03.015

2016-05-12 《中國計量大學學報》網(wǎng)址：zgjl.cbpt.cnki.net

胡正東(1991- )，男，安徽省馬鞍山人，碩士研究生，主要研究方向為智能視頻監(jiān)控.E-mail: 462468145@qq.com

陳曉竹，女，教授.E-mail: chenxiaozhu@cjlu.edu.cn

TP301.6

A