基于運動信息與Hog特征的偽裝色移動目標(biāo)跟蹤

侯文迪，王 寧，李金屏

1.濟南大學(xué) 信息科學(xué)與工程學(xué)院，濟南 250022

2.山東省網(wǎng)絡(luò)環(huán)境智能計算技術(shù)重點實驗室，濟南 250022

基于運動信息與Hog特征的偽裝色移動目標(biāo)跟蹤

侯文迪1，2，王 寧1，2，李金屏1，2

1.濟南大學(xué) 信息科學(xué)與工程學(xué)院，濟南 250022

2.山東省網(wǎng)絡(luò)環(huán)境智能計算技術(shù)重點實驗室，濟南 250022

1 引言

運動目標(biāo)跟蹤是計算機視覺領(lǐng)域的研究熱點之一，它在視頻監(jiān)控、人機交互、智能交通等領(lǐng)域都有廣泛的應(yīng)用[1]。運動目標(biāo)跟蹤主要是在連續(xù)的視頻幀序列中實時地找到感興趣的運動目標(biāo)，獲取目標(biāo)的位置、速度以及形態(tài)等特征。

動態(tài)背景下運動目標(biāo)的檢測與跟蹤是視頻監(jiān)控領(lǐng)域中的研究熱點之一，其中具有偽裝色的運動目標(biāo)檢測和跟蹤是一個難點。針對動態(tài)背景下的運動目標(biāo)檢測，高斯混合模型[2]（GMM）是一個好的選擇，但偽裝色目標(biāo)[3-5]的顏色、形態(tài)等特征與背景極其相似，造成目標(biāo)與背景的模型基本重合，因此GMM不適合解決偽裝色目標(biāo)的問題。目前為止，關(guān)于偽裝色運動目標(biāo)檢測和跟蹤的研究甚少。文獻(xiàn)[3]分析了復(fù)雜背景下偽裝色運動目標(biāo)所經(jīng)歷區(qū)域的像素顏色變化規(guī)律，當(dāng)規(guī)律呈現(xiàn)異常時判定存在運動目標(biāo)。文獻(xiàn)[4-5]分析目標(biāo)與背景運動規(guī)律的差別，采用光流法檢測偽裝色目標(biāo)。雖然有若干方法檢測偽裝色目標(biāo)，但是尚未開展系統(tǒng)的跟蹤工作。目前常用的跟蹤方法如meanshift[6-7]、camshift[8]、粒子濾波[9]等都是借助顏色直方圖信息展開目標(biāo)跟蹤，也不簡單適用于解決偽裝色目標(biāo)跟蹤問題，如文獻(xiàn)[7]利用meanshift算法對簡單背景下偽裝目標(biāo)跟蹤，取得了一定的效果但是計算比較復(fù)雜，且當(dāng)背景復(fù)雜時沒有做相應(yīng)的研究。

本文在偽裝色目標(biāo)檢測工作完成的基礎(chǔ)上，基于目標(biāo)結(jié)構(gòu)化特征提出一種基于金字塔光流法[10-12]與Hog特征[13]的偽裝色目標(biāo)跟蹤方法。首先采用圖像金字塔光流法計算目標(biāo)區(qū)域的運動主方向以及運動矢量的模值范圍；其次依據(jù)灰度特征、Hog特征將目標(biāo)區(qū)域沿著運動主方向在速度模值范圍內(nèi)進行匹配，搜尋最佳的匹配位置。具體流程如圖1所示。

圖1 系統(tǒng)流程圖

2 金字塔光流計算

經(jīng)典的光流計算復(fù)雜度較高，本文選取圖像金字塔光流法計算運動光流場，此算法僅僅需要對角點位置計算光流，可以大大降低計算復(fù)雜度，提高檢測效率。

2.1 Harris角點檢測

Harris角點檢測[14]是一種穩(wěn)定、高效的角點檢測算法，它基于圖像梯度信息計算每個像素的自相關(guān)矩陣M且定義像素的響應(yīng)函數(shù)R：

式中：Ix、Iy、Ixy分別為圖像在 X、Y、XY混合方向的梯度，G(s)為高斯模板，*為卷積運算，det(M)為矩陣行列式，tr(M)為矩陣的跡。M的特征值代表自相關(guān)函數(shù)的一階曲率，若兩個特征值都較大，則此點為角點，即響應(yīng)函數(shù)R的局部極值對應(yīng)的即為角點。k為權(quán)值系數(shù)，本文取值為0.04。

2.2 金字塔光流算法

目前，由Lunas-Kanade提出的基于微分度量的LK光流算法的精確度以及穩(wěn)定性都較高，在運動目標(biāo)的檢測上得到了廣泛的應(yīng)用，然而LK光流法的一個致命缺陷是針對運動量較大的目標(biāo)檢測率不高，適合于小灰度模式的檢測，而金字塔光流法恰恰彌補了這一缺陷。該算法的核心思想是獲取一個圖像金字塔序列，具體做法為：原圖像作為金字塔的底層（0層），然后依次采樣形成相鄰的高層（n層），原圖經(jīng)過依次采樣形成的高層圖像中目標(biāo)像素運動量依次降低，假設(shè)原圖像相鄰幀間目標(biāo)像素運動量為D，則n層相鄰幀間目標(biāo)像素運動量d為：

一般情況下3≤n≤5，此時最高層上目標(biāo)運動量達(dá)到亞像素級，滿足光流法灰度守恒條件，可以直接按照LK算法直接計算n層上的光流運動場，進而由最高層速度Vn反向依次迭代至最低層V0。金字塔光流法圖像分層以及速度迭代過程如圖2所示。

圖2 金字塔分層以及速度迭代圖

圖中，Vi(0，1，…，n)與ΔVi(0，1，…，n)分別代表第i層光流估計值以及光流計算值，Vn的初值為0。

2.3 區(qū)域速度矢量獲取

針對目標(biāo)跟蹤而言，假定首幀視頻圖像中已經(jīng)完成了目標(biāo)檢測[3-5]。對于一個完整的運動目標(biāo)來說，在一個間隔較小的視頻圖像序列中，目標(biāo)的運動矢量相對穩(wěn)定（運動方向上尤其顯著）。因此在計算出圖像的光流場之后，可以量化目標(biāo)區(qū)域的速度矢量值，計算出能代表目標(biāo)區(qū)域運動的主方向以及在該方向上的速度模值范圍。具體步驟如下：

（1）計算目標(biāo)區(qū)域光流點的運動方向，同時把可能的運動方向（0～360°）以20°為間隔進行量化，本文量化在數(shù)組B里，式（4）中dx、dy分別代表相鄰幀光流點在X、Y方向的偏移量，當(dāng)θ的值確定之后，B[θ/20]的個數(shù)加1。

（2）獲取目標(biāo)的運動主方向（B中元素個數(shù)最多的角度），計算該方向下光流點在X方向移動的最大值、最小值，設(shè)運動主方向角度為φ，計算maxdx、mindx可由公式（5）表示：

式中取光流特征點的絕對位移|dx|進行運算，消除特征點位移X分量方向的影響、確保maxdx、mindx為真正的最大值、最小值，方便后續(xù)匹配。

3 Hog特征提取

Hog的本質(zhì)是圖像局部區(qū)域灰度梯度的統(tǒng)計信息，能夠較好地描述目標(biāo)邊緣輪廓信息。針對運動目標(biāo)而言，在一個相對較短的時間間隔內(nèi)，目標(biāo)的形態(tài)結(jié)構(gòu)是穩(wěn)定的。因此本文提取目標(biāo)的Hog特征作為調(diào)整目標(biāo)區(qū)域的依據(jù)。Hog特征提取的過程如下（假定目標(biāo)模板大小為h×w）：

（1）初始圖像灰度化，且使用中心對稱算子[-1，0，1]分別進行水平、垂直梯度計算。

（2）目標(biāo)區(qū)域模板劃分單元，每一個單元為8×8。設(shè)模板的單元個數(shù)為m×n，其中，m=w/8，n=h/8，如圖3。同時統(tǒng)計每一個單元的梯度直方圖hi（本文在統(tǒng)計Hog特征的時候都以20°劃分一個角度區(qū)間，則此時每個hi是一9維向量），梯度直方圖的獲取與區(qū)域速度主方向獲取相似。

圖3 Hog特征向量示意圖

（3）相鄰四個單元組合成一個塊，本文中的塊重疊率為0.5，如圖3所示。則目標(biāo)區(qū)域的塊個數(shù)為(m-1)× (n-1)，同時把四個單元內(nèi)的hi串聯(lián)起來形成一36維向量，為消除光線等其他噪聲的影響，對每一個塊的36維向量作歸一化處理形成Hi。

（4）將各個塊內(nèi)的向量串聯(lián)組合起來，形成一個(m-1)×(n-1)×36維的向量H，H為目標(biāo)區(qū)域Hog特征。

4 跟蹤過程

在視頻序列更新的過程中，目標(biāo)區(qū)域也發(fā)生著實時的變化。但在一個較短的時間間隔內(nèi)，視頻序列中目標(biāo)區(qū)域的運動保持穩(wěn)定且其邊緣結(jié)構(gòu)也不會發(fā)生太大的變化，在本文中即目標(biāo)的速度以及灰度、Hog特征是穩(wěn)定的，因此目標(biāo)跟蹤成功的關(guān)鍵在于如何根據(jù)目標(biāo)的特征從視頻幀中快速地匹配目標(biāo)。

模板匹配即將目標(biāo)模板在待搜索圖像內(nèi)滑動，用指定的相似性匹配算法準(zhǔn)則計算模板區(qū)域在待搜索圖像中對應(yīng)重疊區(qū)域的相似度，進而找到最佳匹配的位置。本文中用到的相似準(zhǔn)則為：

式中，H1、H2分別描述目標(biāo)區(qū)域模板與待匹配區(qū)域的特征向量，ρ的值越小，表示兩個特征越相似，反之，兩個區(qū)域的差別越大。本文中，用式（8）描述總體特征的匹配度。其中，ρ1、ρ2分別表示區(qū)域灰度特征與Hog特征的相似匹配度，w的范圍為0～1。

為了快速找到目標(biāo)的最佳匹配位置，本文采取二分法的思想搜尋目標(biāo)區(qū)域，該思想源于二分查找算法，即在目標(biāo)區(qū)域沿著運動主方向采取一定的步長進行匹配時，依據(jù)匹配值的大小動態(tài)調(diào)整匹配步長進行匹配，具體變化如公式（9）表示：

式中：V1，V2為兩次匹配相對上幀位置的步長且初值為mindx，maxdx，d1、d2分別表示步長為V1、V2位移處的匹配值，V的變化隨著匹配值d的大小而改變。相鄰幀之間按照上述規(guī)則進行匹配，直至d1與d2差別在0.1以內(nèi)即找到最準(zhǔn)確的匹配位置。

5 實驗結(jié)果分析

為驗證算法的有效性，本文采取三組具有代表性視頻序列（螞蟻在樹干上運動、迷彩服隨人手在灌木叢中運動、冬青樹枝隨著人手運動的視頻序列）進行實驗，實驗測試的視頻背景復(fù)雜且發(fā)生著相對平緩的變化。圖4給出視頻序列光流場以及目標(biāo)運動主方向的效果圖，圖5給出視頻序列中目標(biāo)的跟蹤效果示意圖。

圖4中，紅色部分為視頻圖像序列的運動光流矢量（針對光流矢量本文均放大5倍顯示），黃色箭頭直觀地描述目標(biāo)區(qū)域的運動主方向，可以看出目標(biāo)區(qū)域的運動主方向可以準(zhǔn)確獲取，為后續(xù)二分匹配提供了準(zhǔn)確的方向匹配依據(jù)。

圖5分別顯示視頻序列中目標(biāo)的跟蹤效果。圖5（a）中的螞蟻，其自身顏色與樹干非常接近但其邊緣紋理結(jié)構(gòu)與樹干差別很大，且其特征保持穩(wěn)定，針對該視頻序列本文算法可以完成準(zhǔn)確的跟蹤。圖5（b）中的迷彩服，其顏色幅度跨度大，反映在圖像中表現(xiàn)為其邊緣紋理信息與背景反差較大，且迷彩服在一個短時間內(nèi)可以看做剛性物體即沒有形變，因此迷彩服在整個視頻系列上都可以完成準(zhǔn)確的跟蹤。然而針對于圖5（c）中的冬青樹枝而言，該視頻背景也是冬青樹枝，即目標(biāo)與背景的顏色信息類似，但是該目標(biāo)邊緣紋理信息豐富且保持穩(wěn)定，由圖5（c）中可以看出其發(fā)生了一些微小的形變，但就整個視頻序列而言可以保持一個穩(wěn)定的跟蹤。由實驗結(jié)果可以得出本文提出的算法適用于平緩變化的視頻序列中，顏色跨度較大或者紋理結(jié)構(gòu)較為明顯的偽裝色運動目標(biāo)。

圖4 光流運動場運動主方向結(jié)果圖

圖5 本文跟蹤算法部分跟蹤

6 結(jié)論

針對偽裝色運動目標(biāo)的跟蹤問題，本文提出了一種基于圖像金字塔光流計算與灰度、Hog特征匹配的綜合跟蹤算法。首先基于目標(biāo)與背景在運動規(guī)律差別的基礎(chǔ)上，采取金字塔光流算法計算光流場，提取目標(biāo)區(qū)域的運動主方向以及速度大小范圍；其次將目標(biāo)區(qū)域沿著運動主方向在速度大小范圍內(nèi)進行二分法匹配，根據(jù)匹配值的大小動態(tài)調(diào)整匹配位移的大小，進而獲取目標(biāo)區(qū)域的精確位置。這種算法可以減小匹配的次數(shù)、提高匹配的效率。實驗結(jié)果表明，針對背景平緩變化的視頻序列、顏色色調(diào)范圍較大或者邊緣結(jié)構(gòu)較為明顯的偽裝色目標(biāo)，本文提出的算法可以有效跟蹤。下一步的工作重點將著重對物體有效特征進一步提取，例如結(jié)構(gòu)化的紋理特征提取與分類[15]并致力解決視頻背景變化比較劇烈時偽裝色目標(biāo)的檢測與跟蹤。

[1]Yilmaz A，Javed O，Shah M.Object tracking：a survey[J]. ACM Journal of Computing Surveys，2006，38（4）：1-45.

[2]Sun Y，Yuan B.Hierarchical GMM to handle sharp changes in moving object detection[J].Electronics Letters，2004，40（13）：801-802.

[3]李金屏，李倩.基于Laws能量和變化頻次的偽裝色移動目標(biāo)檢測[J].中國體視學(xué)與圖像分析，2011，16（1）：18-23.

[4]Yin Jianqin，Han Yanbin，Hou Wendi，et al.Detection of the mobile object with camouflage color based on optical flow[J].Procedia Engineering，2011，15：2201-2205.

[5]侯文迪，李建，李金屏.基于局部微分光流與拓?fù)湟恢滦缘膫窝b色移動目標(biāo)檢測[C]//第16屆中國圖象圖形會議論文集，2012：630-634.

[6]Li Jinping，Li Qijuan，Yin Jianqin.Real-time tracking by combining level set and meanshift[J].Journal of Information&Computational Science，2008，5（2）：829-836.

[7]顏佳，吳敏淵，陳淑珍，等.基于Meanshift算法的偽裝目標(biāo)跟蹤[J].光電工程，2009，36（2）：11-15.

[8]Wang Zhaowen，Yang Xiaokang，Xu Yi.Camshift guided particle filter for visual tracking[J].Pattern Recognition Letters，2009，30：407-413.

[9]Vaswani N，Rathi Y，Yezzi A，et al.Deform PF-MT：particle filter with mode tracker for tracking nonaffine contour deformations[J].IEEE Transactions on Image Processing，2010，19（4）：841-857.

[10]Bruhn A，Weickert J，Schn?rr C.Lucas/Kanade meets Horn/ Schunck：combining local and global optic flow methods[J]. International Journal of Computer Vision，2005，61（3）：211-231.

[11]Kameda Y，Imiya A，Sakai T.Hierarchical properties of multi-resolution optical flow computation[C]//Lecture Notes in Computer Science，2012，7584：576-585.

[12]江志軍，易華蓉.一種基于圖像金字塔光流的特征跟蹤方法[J].武漢大學(xué)學(xué)報：信息科學(xué)版，2007，32（8）：680-683.

[13]Deniz O，Bueno G，Salito J，et al.Face recognition using histograms of oriented gradients[J].Pattern Recognition Letters，2011，32（12）：1598-1603.

[14]Sipiran I，Bustos B.A robust 3D interest points detector based on harris operator[C]//Eurographics Workshop on 3-D Object Retrieval，2010：7-14.

[15]韓延彬，尹建芹，李金屏.基于圖元旋轉(zhuǎn)不變性和相位統(tǒng)計信息的LBP算法在紋理分類中的研究[J].計算機學(xué)報，2011，34（3）：583-592.

HOU Wendi1，2,WANG Ning1，2,LI Jinping1，2

1.School of Information Science and Engineering,University of Jinan,Jinan 250022,China
2.Shandong Provincial Key Laboratory of Network Based Intelligent Computing,Jinan 250022,China

In order to track the camouflaged moving object under complex background,a method based on multi-resolution optical flow and Histograms of Oriented Gradients（HOG）is proposed.The speed vector range of object is obtained by using the multi-resolution optical flow.The gray feature and HOG feature of object area are used to construct the feature vector, which is a standard of bipartite matching in the range of speed value along the main direction of object,and then the object area is obtained accurately.The experimental results demonstrate the proposed approach is effective to track the camouflaged moving object in slowly changing background when the color of camouflaged object changes greatly or the moving object has obvious edge structure.

camouflage;moving object tracking;multi-resolution optical flow;Histograms of Oriented Gradients（Hog）

針對復(fù)雜背景下偽裝色運動目標(biāo)的跟蹤問題，提出一種基于運動信息與梯度方向直方圖的跟蹤方法。通過金字塔光流法獲取視頻序列中目標(biāo)運動矢量范圍；利用目標(biāo)區(qū)域的灰度特征以及Hog特征構(gòu)建特征向量，沿著運動主方向在速度大小范圍內(nèi)進行二分法匹配，進而確定目標(biāo)的準(zhǔn)確位置。實驗結(jié)果表明，針對平緩變化的視頻序列，對于顏色色調(diào)范圍較大或者邊緣結(jié)構(gòu)較為明顯的偽裝色運動目標(biāo)具有良好的跟蹤效果。

偽裝色；運動目標(biāo)跟蹤；金字塔光流法；梯度方向直方圖

A

TP391

10.3778/j.issn.1002-8331.1305-0150

HOU Wendi,WANG Ning,LI Jinping.Camouflaged moving object tracking algorithm based on motion information and Hog feature.Computer Engineering and Applications,2014,50（24）：187-190.

國家自然科學(xué)基金（No.60873089）；山東省高等學(xué)?？萍加媱潱∟o.J12LN19）。

侯文迪（1988—），女，碩士在讀，研究領(lǐng)域為機器視覺；王寧（1988—），女，碩士在讀，研究領(lǐng)域為機器視覺；李金屏（1968—），男，博士，教授，研究領(lǐng)域為機器視覺、圖像處理。E-mail：houwendi_19881205@163.com

2013-05-14

2013-06-30

1002-8331（2014）24-0187-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-09-04，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130904.1344.016.html