區(qū)域邊緣直方圖的目標搜索算法

胡正東，陳曉竹，丁　寧

(中國計量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

?

區(qū)域邊緣直方圖的目標搜索算法

胡正東，陳曉竹，丁寧

(中國計量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

【摘要】視頻目標搜索是智能視頻監(jiān)控領(lǐng)域一大挑戰(zhàn)，提出一種基于灰度圖像區(qū)域邊緣直方圖的目標搜索算法.首先，在固定場景的視頻數(shù)據(jù)中，對選定目標進行特征提取，即區(qū)域邊緣直方圖(REH)特征向量；接著在同一場景的未知視頻數(shù)據(jù)中進行前景檢測并提取前景目標的特征向量；經(jīng)濾波處理后，與選定目標特征向量進行匹配，通過相似性度量評判是否搜索成功.實驗得到了最佳72.4%的匹配成功率，驗證了32維的區(qū)域邊緣特征向量為最佳描述特征.實驗結(jié)果表明，本算法能有效地實現(xiàn)目標搜索.

【關(guān)鍵詞】區(qū)域邊緣直方圖；視頻目標搜索；特征提??；特征匹配

智能視頻監(jiān)控[1]是以計算機視覺和模式識別為核心技術(shù)的智能系統(tǒng)，他的特點是基于視頻數(shù)據(jù)的內(nèi)容分析，對分析算法的性能要求高.智能視頻監(jiān)控技術(shù)的主要研究內(nèi)容是如何使計算機達到人類對于視頻數(shù)據(jù)的理解程度.可以劃分為三部分內(nèi)容：第一部分主要是底層的數(shù)據(jù)處理基礎(chǔ)上，實現(xiàn)目標分類匹配與目標搜索，即目標是什么的問題.

智能視頻監(jiān)控的第二部分目標識別與搜索，絕大多數(shù)的研究是針對單幀圖像進行物體分類與檢測[2]；第三部分為目標行為分析，預(yù)測潛在事件，主要解決目標在干什么的問題.另外，還有研究致力于在連續(xù)圖像序列中提取和描述運動特征，例如運動能量圖的概念、步態(tài)識別.

本文的工作立足于智能監(jiān)控的前兩個內(nèi)容，即首先通過前景檢測提取前景目標，經(jīng)過圖像去噪算法、特征描述算法處理后，再進行目標識別，以完成指定目標再搜索.

1區(qū)域邊緣直方圖簡介

1.1直方圖特征空間

直方圖統(tǒng)計發(fā)展至今已有許多成熟的應(yīng)用，它是圖像空間到數(shù)學(xué)直方圖空間的投影.空間直方圖在傳統(tǒng)直方圖的基礎(chǔ)上增加了直方圖各像素的空間信息，使得直方圖包含了圖像更多的特征信息，優(yōu)化了區(qū)分能力[3]；邊緣方向直方圖(EOH)統(tǒng)計了圖像局部范圍的邊緣像素方向分布，用以描述圖像特征[4]；梯度方向直方圖(HOG)通過梯度方向分布的直方圖統(tǒng)計來描述圖像，梯度方向直方圖是行人檢測中廣泛應(yīng)用的技術(shù)[5]；區(qū)域邊緣統(tǒng)計直方圖[6]通過統(tǒng)計直方圖子區(qū)間的邊緣像素，在圖像模板檢測和目標跟蹤中取得了良好的效果.

1.2區(qū)域邊緣統(tǒng)計直方圖理論

文獻[6]中定義了區(qū)域邊緣復(fù)雜度和區(qū)域邊緣像素的概念，下面簡單介紹其理論.如圖1(a)、(b)兩幅圖，當用傳統(tǒng)直方圖進行統(tǒng)計時，它們具有完全相同的特征表現(xiàn)，因此無法有效區(qū)分，需要提取更有效的特征.

圖1　特征相同的直方圖區(qū)間Figure 1　Regions of Histogram with same feature

針對上述問題，空間直方圖和區(qū)域邊緣統(tǒng)計直方圖可以有效的解決.它們不僅統(tǒng)計了像素的頻率分布，還體現(xiàn)了像素的坐標空間分布，從兩個維度描述每個像素點.

(1)

(2)

在視覺跟蹤和目標搜索中，當出現(xiàn)像素取值的頻率分布在目標相似的區(qū)域(虛假目標)時，傳統(tǒng)灰度直方圖無法有效處理，導(dǎo)致跟蹤失敗和匹配失敗.然而，如果引入?yún)^(qū)域邊緣復(fù)雜度的概念，在頻率分布和空間分布兩個維度進行特征匹配.這樣可以有效彌補傳統(tǒng)直方圖的缺陷，即虛假目標內(nèi)部像素取值的頻率分布與真實目標相同，卻無法有效匹配，可以很大程度上避免錯判誤判.

上面將灰度直方圖劃分為b個子區(qū)間后，已經(jīng)統(tǒng)計了相應(yīng)的區(qū)域邊緣像素，并由公式(1)計算了其邊緣復(fù)雜度.再進行歸一化得到向量

(π1,...πb,...πB)，

(3)

其中

(4)

將該向量與前文統(tǒng)計直方圖數(shù)據(jù)進行加權(quán)，可以得到各個對應(yīng)直方圖子區(qū)間的邊緣復(fù)雜度向量

(λ1,...λb,...λn)，

(5)

其中

λb=κbπb.

(6)

該向量一方面體現(xiàn)像素取值的頻率分布，另一方面也體現(xiàn)直方圖子區(qū)間內(nèi)像素的空間分布.歸一化得到向量

(φ1,...φb,...φn)，

(7)

其中

(8)

經(jīng)化簡計算得到

(9)

式(9)表明區(qū)域邊緣統(tǒng)計特征向量元素值的大小只和該區(qū)間對應(yīng)區(qū)域的邊緣像素的總數(shù)有關(guān)，因此只需統(tǒng)計每段直方圖子區(qū)間所包含的邊緣像素即可，計算過程得到簡化.以上對區(qū)域邊緣統(tǒng)計直方圖的理論的計算過程做了詳細介紹，接下來簡述本文的算法.

2目標搜索算法

本文提出的目標搜索算法，主要包括前景檢測和目標匹配兩部分，如圖2所示算法流程圖.

圖2　目標搜索算法框圖Figure 2　Chart of target searching algorithm

Vibe算法性能良好，應(yīng)用廣泛.但是同樣也存在許多問題,近年提出的改進有：LI等[7]提出利用幀間差分抑制分抑制鬼影的方法；陳曉竹等[8]提出利用相鄰像素點的空間一致性的鬼影檢測算法，以及基于區(qū)域檢測[9]的改進算法，能夠快速有效的處理鬼影；蔣建國等[10]將像素級和幀結(jié)合，提出一種動態(tài)自適應(yīng)背景更新算法；張磊等[11]提出顏色特征信息與Vibe相結(jié)合的改進算法；VAN等[12]通過改變Vibe的背景更新策略，限制背景點的穿插更新.綜合Vibe算法的高效性以及筆者研究基礎(chǔ)，本文選其進行前景檢測.

文獻[6]通過模板檢測和視覺跟蹤兩個實驗，證實了區(qū)域邊緣統(tǒng)計直方圖作為圖像特征提取的可能性.在模板檢測中，通過滑動窗口在測試圖像中實現(xiàn)窮舉搜索；在原始圖像中計算模板等大區(qū)域的圖像特征，再與已知模板進行特征匹配，當相似度匹配達到峰值時，則匹配完成.

由于缺乏先驗知識，文獻[6]只能通過窮舉遍歷圖像每塊區(qū)域.而本文將通過Vibe前景檢測算法，提取出運動目標.這也就無需再遍歷圖像各區(qū)域，只需對已知模板和待檢測模板進行特征匹配.算法和實驗的思路也完全不同.算法步驟如下.

輸入：待搜索目標、特征向量.

1)處理已知視頻數(shù)據(jù)，提取模板目標區(qū)域邊緣特征向量.

2)讀入未知視頻數(shù)據(jù)，通過Vibe算法進行前景檢測，彩圖灰度化.

3)提取待檢測目標圖像提取、濾波，統(tǒng)計直方圖數(shù)據(jù).

4)計算區(qū)域邊緣直方圖向量.

5)匹配模板目標特征和待檢測目標特征,當相似度達到峰值，完成匹配.

輸出：搜索結(jié)果目標、特征向量.

3實驗結(jié)果與分析

本文視頻數(shù)據(jù)為大華公司攝像頭錄制，拍攝于為2016年10月31日至11月10日.實驗軟件VS2010、Matlab2014，運行在惠普pro系列臺式機上，內(nèi)存4GB，處理器為Intel Core i5 3.20GHz.

3.1實驗過程

實驗主要分為兩部分：第一部分從已有視頻數(shù)據(jù)中提取待檢測目標，計算特征向量并保存為待檢測目標庫；第二部分提取未知視頻數(shù)據(jù)庫中目標的特征向量，并進行特征匹配，搜索已輸入的待檢測目標，如圖3所示實驗環(huán)境，所有視頻數(shù)據(jù)均在同一場景拍攝.

圖3　視頻前景檢測Figure 3　Foreground detection of video

本文中實驗數(shù)據(jù)來源的屬性不同，搜索目標大小需要進行調(diào)整.筆者根據(jù)固定場景特殊性，最終選取了180×130像素點大小的目標模板.實驗選取了181張相同尺寸的模板圖片作為檢測庫.實驗視頻數(shù)據(jù)超過40小時，容量超過50Gb.實驗結(jié)束后，累計保存了超過10 000張圖片，如表1.

表1　模板圖像信息

圖4　目標搜索結(jié)果Figure 4　Result of object searching

在處理第二部分未知視頻數(shù)據(jù)過程中(也即搜索匹配選定目標)，我們采取完全相同的前景檢測方法，選取等同模板大小的前景目標，進行特征匹配.鑒于實驗圖像均來自實景拍攝的視頻數(shù)據(jù)，而非標準數(shù)據(jù)庫，因此需要在特征提取前進行圖像濾波.實驗對每張前景目標進行高斯低通濾波.實驗結(jié)果顯示本實驗視頻數(shù)據(jù)的高頻噪聲少，然而對于復(fù)雜場景的室外場景視頻，濾波處理也是必要的.

實驗采用向量二范數(shù)作為相似度度量指標，即模板特征向量(φ1,...φb,...φn)和待匹配目標特征向量的(φ1′,...φb′,...φn′)的歐式距離，計算公式如下：

(10)

當相似度匹配達到峰值，I取到最小值即認定搜索到目標，完成搜索匹配任務(wù).

3.2實驗結(jié)果

區(qū)域邊緣統(tǒng)計特征向量作為一種描述圖像特征的新方法，文獻[6]中沒有涉及向量維數(shù)的科學(xué)驗證.實驗中分別取了6個維度值，在不同維度下匹配結(jié)果如表2.

表2　最佳特征向量維數(shù)

為了驗證區(qū)域邊緣直方圖在視頻目標搜索中的魯棒性，在實驗中分別統(tǒng)計另外幾種直方圖描述算法的匹配成功率如表3.

表3　對比實驗結(jié)果

3.3實驗結(jié)果分析

實驗添加了圖像高頻噪聲處理，使用了不同權(quán)值的高斯低通濾波器.本實驗視頻數(shù)據(jù)為室內(nèi)拍攝，高頻噪聲較少，不同權(quán)值的濾波后，匹配率并沒有顯著變化.但是對于復(fù)雜的室外場景，圖像預(yù)處理就非常重要.

對比實驗表明傳統(tǒng)灰度直方圖描述圖像特征效果很差，特別當目標發(fā)生變化時，描述效果明顯弱于其他幾個；方向梯度直方圖對目標變化魯棒性最好，因為其融入了圖像梯度方向的概念，當目標簡單變化后并沒有特別的影響，這也是其在行人檢測中取得很好效果的原因；邊緣方向直方圖能較好的體現(xiàn)圖像邊緣和紋理信息，但實驗效果不理想；區(qū)域邊緣直方圖統(tǒng)計了不同直方圖子區(qū)間的邊緣像素值，而且重新定義了邊緣像素的概念，實驗效果略差與方向梯度直方圖.

根據(jù)表3統(tǒng)計結(jié)果，匹配率隨著特征向量的維數(shù)增加而上升，但并不是線性增加，而是在某一閾值之后達到飽和，甚至下降.實驗中檢測模板均是8位灰度圖，像素值區(qū)間為0～255.當取8維向量時，每一維特征對應(yīng)直方圖32個數(shù)值的灰度區(qū)間，此時匹配結(jié)果46.4%是最差的.可知8維的特征向量并不能很好地體現(xiàn)出圖像特征，灰度值區(qū)間過大不能體現(xiàn)出區(qū)域邊緣像素在圖像特征描述中的作用.而隨著特征向量維度的增加，進一步細分直方圖區(qū)間也增強了區(qū)域邊緣像素的描述，使得匹配率也隨之增加，直到32維特征向量作為匹配達到峰值72.4%.此時向量每個元素對應(yīng)直方圖中8個數(shù)值的灰度區(qū)間.

但隨著特征向量維度的持續(xù)增加，匹配率并沒有出現(xiàn)更大的提升.因為區(qū)域邊緣統(tǒng)計直方圖的核心就在于統(tǒng)計區(qū)域邊緣像素.如果過度細分直方圖區(qū)間，會使區(qū)域邊緣像素的統(tǒng)計出現(xiàn)錯誤，也即過度滿足目標像素及其4鄰域像素的邏輯運算，使得非區(qū)域邊緣像素被錯誤統(tǒng)計.可想如果選取256維的特征向量會嚴重影響算法有效性.

文獻[6]中的模板檢測實驗和目標跟蹤實驗，基本不會受到人體姿態(tài)變化、目標遮擋、亮度突變等因素的影響.而這兩個因素恰恰也是影響區(qū)域邊緣統(tǒng)計直方圖特征描述的最大因素.

圖5　目標姿態(tài)變化Figure 5　Change of object’s gesture

如圖5所示為姿態(tài)發(fā)生變化的同一目標.第一副圖片和后面兩幅圖片的相似度歸一化之后分別為7.604 1和14.057 0.這兩個相似度相差一個數(shù)量級，會直接影響匹配的成功率.同樣，當目標圖片亮度發(fā)生突變，就會導(dǎo)致直方圖數(shù)據(jù)的整體偏移，會很大程度影響匹配結(jié)果，這里不再詳細論述.

4結(jié)語

本文基于視頻目標再搜索這一基本問題，提出一種基于灰度圖像區(qū)域邊緣統(tǒng)計結(jié)合Vibe前景檢測的搜索算法：首先在已知視頻數(shù)據(jù)中進行前景檢測，保存運動目標并計算保存區(qū)域邊緣特征向量；再處理未知視頻數(shù)據(jù)，經(jīng)濾波濾除高頻噪聲，保存、計算檢測目標特征向量；匹配特征向量，在相似度達到峰值時取得匹配搜索結(jié)果.本文實驗累計處理50GB視頻數(shù)據(jù)，超過10 000張8位灰度圖，得到了72.4%的匹配成功率.討論了區(qū)域邊緣特征向量維度對匹配結(jié)果的影響，得出最佳的32維特征向量.通過對比實驗驗證區(qū)域邊緣統(tǒng)計直方圖算子的魯棒性，效果僅次于方向梯度直方圖.視頻中的目標遮擋、亮度變化，對區(qū)域邊緣直方圖算子的魯棒性影響很大，如何有效利用顏色信息等問題將是接下來研究的側(cè)重點.

【參考文獻】

[1]黃凱奇，陳曉棠，康運鋒.智能視頻監(jiān)控技術(shù)[J].計算機學(xué)報，2014，37(49)：1093-1118.

HUANG Kaiqi，CHEN Xiaotang，KANG Yunfeng. Intelligent visual surveillance: a review[J].Chinese Journal of Computers，2014，37(49)：1093-1118.

[2]黃凱奇，任偉強，譚鐵牛.圖像物體分類與檢測算法綜述[J].計算機學(xué)報，2014，37(6)：1225-1240.

HUANG Kaiqi，REN Weiqiang，TAN Tieniu. A review on image object classification and detection[J].Chinese Journal of Computers，2014，37(6)：1225-1240.

[3]BIRCHFIELD S T, RANGARAJAN S. Spatial histograms for region-based tracking [J].ETRI Journal, 2007,29(5):697-699.

[4]LEVI K, WEISS Y. Learning object detection from a small number of examples: the importance of good features[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC, USA:IEEE,2004:53-60.

[5]DALAL B,TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, USA：IEEE,2005:886-893.

[6]余旺盛，田孝華，侯志強.基于區(qū)域邊緣統(tǒng)計的圖像特征描述新方法[J].計算機學(xué)報，2014,37(6)：1398-1410.

YU Wangsheng，TIAN Xiaohua，HOU Zhiqiang. A new image feature based on region edge statistical[J]. Chinese Journal of Computers，2014,37(6)：1398-1410.

[7]LI Yongqiang，CHEN Wanzhong，JIANG Rui. The integration adjacent frame difference of improved ViBe for foreground object detection[C]// Proceedings of the WiCOM2011 International Conference. China：IEEE Antennas and Propagation Society，2011:1-4.

[8]陳亮，陳曉竹，范振濤.基于Vibe的鬼影抑制算法[J].中國計量學(xué)院學(xué)報，2013,24(4)：425-429.

CHEN Liang，CHEN Xiaozhu，F(xiàn)AN Zhentao. Ghost suppression algorithm based on Vibe[J]. Journal of China University of Metrology，2013，24(4)：425-429.

[9]陳亮，陳曉竹，胡正東.用于鬼影抑制的區(qū)域檢測算法[J].中國計量學(xué)院學(xué)報，2015，26(1)：115-122.

CHEN Liang，CHEN Xiaozhu，HU Zhengdong. Region detection algorithm for ghost suppression[J].Journal of China University of Metrology，2015，26(1)：115-122.

[10]蔣建國，王濤，齊美彬，等.基于vibe的車流量統(tǒng)計算法[J].電子測量與儀器學(xué)報，2012，26(6)：558-563.JIANG Janguo，WANG Tao，QI Meibin，et al. Statistical algorithm for traffic flow based on ViBe[J]. Journal of Electronic Measurement and Instrument，2012，26(6)：558-563.

[11]張磊，傅志中，周岳平.基于HSV顏色空間和Vibe算法的運動目標檢測[J].計算機工程與應(yīng)用，2014，50(4)：181-185.

ZHANG Lei，F(xiàn)U Zhizhong，ZHOU Yueping. Moving objects detection based on HSV color space and Vibe algorithm[J]. Computer Engineering and Applications，2014，50(4)：181-185.

[12]VAN D M, PAQUOT O. Background subtraction: experiments and improvements for ViBe[C]//Computer Vision and Pattern Recognition Workshops (CVPRW). Providence，RI：IEEE,2012:32-37.

【文章編號】1004-1540(2016)02-0210-06

DOI:10.3969/j.issn.1004-1540.2016.02.015

【收稿日期】2016-01-05《中國計量學(xué)院學(xué)報》網(wǎng)址：zgjl.cbpt.cnki.net

【作者簡介】胡正東(1991-)，男，安徽省馬鞍山人，碩士研究生，主要研究方向為智能視頻監(jiān)控.E-mail:462468145@qq.com 通信聯(lián)系人：陳曉竹，女，教授.E-mail:chenxiaozhu@cjlu.edu.cn

【中圖分類號】TP301.6

【文獻標志碼】A

A video object searching algorithm based on region edge histogram

HU Zhengdong， CHEN Xiaozhu， DING Ning

(College of Information Engineering， China Jiliang University， Hangzhou 310018， China)

Abstract:Video object searching is a challenge in the field of intelligent video surveillance. An object searching algorithm based on the region edge histogram (REH) of gray images was introduced. Features of the selected objects were first extracted in a stationary scene video, namely, the region edge statistical feature vector. Then, in an unknown video data about the same stationary scene, a foreground detection was processed and the feature vector of the object was extracted. After filtering processing, the foreground feature vector was matched with that of the selected object to judge if the searching was successful or not. We achieved a best success rate of 72.4% and proved that the best dimension of feature vector was 32. The results of the experiment show that the algorithm can effectively achieve object searching.

Key words:region edge histogram； video object searching； foreground object detection； feature matching