基于多特征融合的運動目標檢測

翟濟云， 周 鑫， 王從慶

(南京航空航天大學自動化學院，南京 211106)

基于多特征融合的運動目標檢測

翟濟云， 周 鑫， 王從慶

(南京航空航天大學自動化學院，南京 211106)

提高目標檢測算法在復雜場景下的檢測魯棒性是目前計算機視覺領域的一個重點、難點問題。傳統(tǒng)的運動目標檢測都是基于目標的單一特征，提出一種融合顏色特征和紋理特征的背景建模方法，并將其運用于運動目標檢測。首先對基于顏色的高斯混合模型加以改進，減少了傳統(tǒng)高斯混合模型的計算量，然后將高斯混合模型與LBP紋理模型用D-S證據理論進行融合。實驗結果表明，兩個特征的融合有很好的互補作用，并且能夠實時、準確地檢測出運動目標。

運動目標； 目標檢測； 高斯混合模型； LBP紋理模型； D-S證據理論

0 引言

復雜動態(tài)場景下的運動目標檢測是目前研究的一個熱點和難點問題[1]，因為背景和前景的運動經常同時存在于檢測圖像序列中，例如背景中隨風飄動的樹葉、云、雨、霧等運動物體。目前，運動目標檢測算法主要有光流法[2-3]、幀間差分法[4]和背景建模法[5-7]等。其中:光流法計算復雜度高，光流場的計算非常容易受到噪聲、光照變化和背景擾動的影響;幀間差分法一步檢測出的目標輪廓很難達到理想效果，目標運動較快

在目前基于背景建模的運動目標檢測工作中，典型的有高斯混合模型(Gaussian Mixture Model,GMM)。早期,WREN等人提出了高斯模型[8]，在此基礎上,STAUFFER和GRIMSON提出了更能真實反映多峰概率模型的高斯混合模型[5]。傳統(tǒng)的GMM對每個獨立的像素點建立模型，只模擬了單個像素點在時間序列上的分布，并沒有考慮像素點之間的關聯(lián)性。在實際情況下，圖像中的像素間存在著空間域上的關聯(lián)性[9]。ELGAMMAL等人[10]基于局部鄰域像素點采用非參數的核密度估計方法建立模型,但此背景建模方法需要對全圖像像素點進行計算，計算代價大，耗時比較嚴重。此外，GMM依靠單一的顏色信息進行背景建模，雖然對背景擾動有一定的抑制作用，但不能很好地適應光線變化。針對這個缺點，HEIKKIL等人提出了基于LBP (Local Binary Pattern)紋理特征的背景建模方法[11],但是該方法對紋理區(qū)別不大的運動目標檢測效果不佳[12]。

基于以上分析，本文采用GMM和LBP紋理模型相融合的建模方法。首先對GMM加以改進，提高其運算速度，然后將GMM和LBP紋理模型用D-S證據理論進行融合。本文的背景建模方法有兩個優(yōu)點：1) 解決了傳統(tǒng)GMM計算量龐大的問題；2) 紋理模式考慮了像素點之間的關聯(lián)性。該方法結合了空間域和時間域的背景建模方式，并且解決了GMM對光照變化敏感的缺點。

1 快速的高斯混合算法

在現有的GMM中，為了能處理復雜的場景，取得較好的檢測效果，希望GMM中高斯函數的個數K越多越好。每獲得一個新的視頻幀，圖像中每個像素點的所有高斯函數參數都要進行更新，這樣會帶來大量的計算，影響算法實時性。而圖像中出現的運動目標都是由一系列像素點組成的區(qū)域，所以可以將一幅圖像分成多個圖像塊，用GMM對每個圖像塊進行建模，這樣就大大減少了圖像處理的時間成本。例如，把一幅圖像分成多個N×N的圖像塊，令X表示圖像塊M的像素值，定義為

(1)

式中，I(p)表示圖像塊M中點p處的像素值。

1.1 背景模型建立

(2)

(3)

1.2 模型更新

(4)

(5)

(6)

(7)

(8)

1.3 概率計算

(9)

2 基于LBP紋理模式的背景建模

局部二值模式(LBP)最早是由芬蘭科學家OJALA等人[13]提出的，是對紋理特征簡單而有效的描述方法，用一個二進制數來量化圖像中每個像素點與其領域內其他各像素點灰度值之間的差異，從而說明圖像的紋理特征。LBP定義為

(10)

按照前面介紹的LBP算子，以鄰域有8個灰度值為例，會有28即256種不同輸出。如果紋理描述的區(qū)域比較小，會造成LBP紋理直方圖過于稀疏，直方圖很容易受到輕微變化的影響，從而使直方圖失去統(tǒng)計意義?；谝陨峡紤]，OJALA又提出了統(tǒng)一化LBP算子(Uniform LBP)[14]，將二進制數值看成首尾相接的一串數，其中,0與1的變化次數不大于2，滿足此條件的二進制模式為統(tǒng)一化模式(Uniform Patterns)，例如111 11111，11000011和00000011等。所以在計算LBP直方圖的過程中，只需要考慮滿足統(tǒng)一模式的LBP值，對于非統(tǒng)一模式的LBP值只需集中到一起，無需關注其統(tǒng)計意義。一般來說，保留的統(tǒng)一化模式的LBP值反映了重要的紋理信息，而那些非統(tǒng)一化模式的LBP值中過多的轉變往往由噪聲引起，不具有良好的統(tǒng)計意義。經過上述統(tǒng)一化處理，大大減少了LBP的特征數目，減少了算法計算量。例如鄰域點數p=8時，輸出值可以減少到(p-1)p+3=59個。

2.1 背景模型建立

2.2 模型更新

將N個紋理模式直方圖按照它們的權重從大到小排序。在當前幀中，對于新的圖像塊，提取它的紋理模式直方圖Vt，并與N個紋理模式直方圖按式(11)逐一進行相似度計算，即

(11)

式中,p為LBP直方圖的條目數。dLBP是計算出兩個直方圖共有部分，若dLBP=1，則表示兩個直方圖完全一致。設定一個相似度閾值Td，取值0.6～0.7最佳，若dLBP>Td，說明Vt與紋理模式直方圖模型中第i個模型相匹配，對直方圖模型及權重進行更新

Hi,t+1=αHi,t+(1-α)Vt

(12)

ωi,t+1=(1-α)ωi,t+Mi,tα

(13)

式中,α是學習率。當第i個LBP紋理直方圖與Vt匹配時，Mi,t的值為1，否則為0。如果N個紋理模式直方圖中沒有一個與Vt匹配，則將紋理直方圖模型中權重最小的紋理模式直方圖模型用Vt替代，并賦予一個較小的權重。

2.3 概率計算

3 基于D-S證據理論的前景判別

D-S證據推理建立在一個辨別框架的基礎上，該辨別框架為一個非空集合Θ，由假設空間的所有元素組成，且各元素之間相互獨立，將該非空集合Θ的所有子集組成的冪集記為2Θ,可以給出如下D-S證據理論的定義。

將辨別框架中某一個子集表示為A，該子集的基本信任指派函數為m(A)，其范圍為[0,1]。m(A)表示證據支持子集A發(fā)生的程度，其滿足

。

(14)

信任函數Bel(A)表示決策者對命題A的總信任度，其定義為

(15)

設在辨別框架Θ上有兩個基本信任指派函數m1,m2，并分別含有焦元A1,…,An和B1,…,Bn，它們的組合運算為m=m1⊕m2，m為組合產生的新的證據體。

(16)

用D-S證據理論將GMM與LBP紋理模型進行融合。A指當前圖像塊屬于背景模型這個事件，則m(A)表示支持事件A發(fā)生的程度，dGMM和dLBP表示兩個證據體m1和m2，根據D-S組合規(guī)則，m(A)為

(17)

如果m(A)大于閾值T，則當前圖像塊為背景，否則記為前景。

4 實驗結果

在本文中，高斯混合模型的個數K和LBP紋理直方圖個數N均取5，兩個權值更新率α都為0.005。對多次實驗結果進行比較，權值閾值T1和T2均設為0.7時，建立的背景模型最佳。閾值T設為0.8，能很好判別當前圖像塊是否為背景。

為了驗證本文算法，對兩組視頻序列進行背景建模和運動目標檢測。視頻1是對行人進行目標識別;視頻2的情況比視頻1更復雜，是對森林中煙霧進行識別，煙霧在運動的過程中會不斷擴散，而且形狀也在不斷變化，對算法的檢測性能要求比較高。實驗結果如圖1、圖2所示。

圖1 對行人進行目標識別Fig.1 Results of pedestrian testing video

圖2 對煙霧進行目標識別Fig.2 Results of smoke testing video

除了定性的比較實驗之外，本文還進行了定量的比較實驗，根據運動目標檢測領域和背景建模領域經典的評價方法，分別統(tǒng)計了本文所提出算法的檢測結果和基于GMM背景建模檢測結果中的漏檢數和虛警數。其中：漏檢數是指前景被檢測為背景的像素個數；虛警數是指背景被檢測為前景的像素個數。通過人工的方法標記測試序列中每一幀的前景和背景像素，然后與檢測算法的結果進行比較，計算出兩種方法在每個測試序列上的平均漏檢數和虛警數。實驗結果如表1所示。從表1可以看出，本文所提算法在綜合考慮虛警數和漏檢數的情況下，取得了比基于GMM背景建模方法更好的效果。

表1 目標檢測算法定量比較

從實驗結果還可以發(fā)現，當背景中有擺動的樹枝為動態(tài)背景時，該干擾信息對目標的提取影響非常大，單純的GMM處理結果不理想，會出現很多誤判。在光照變化比較明顯的情況下，基于顏色特征的GMM背景建模對光照變化敏感，前景檢測結果會出現很多誤檢。本文采用的算法能較好地消除原本靜止物體發(fā)生運動時產生的殘影，有效地消除周期性變化的動態(tài)背景干擾信息，并且利用LBP對光照變化不明顯的特點彌補GMM背景建模的缺點，可以減少前景目標的誤檢，較為準確地檢測出運動物體。另外,值得一提的是算法的處理速度，使用原始的混合高斯模型處理速度約為600 ms/幀，而使用本文算法，處理速度在90 ms/幀左右，這樣每秒可以處理10幀以上，基本上可以達到實時的要求。

5 總結

本文在對復雜場景進行背景建模和運動目標檢測時，考慮了相鄰像素之間的共生關系，提出了一種將GMM背景建模和LBP紋理建模結合的運動目標檢測算法，該算法有以下幾個優(yōu)點：1) 對圖像進行分塊處理，相對于傳統(tǒng)的混合高斯背景建模，不僅考慮了相鄰像素之間的關系，而且提高了算法的處理速度，滿足了快速性和實時性要求;2) 算法結合了顏色特征和紋理特征，能夠在動態(tài)背景中較好地分辨目標運動物體與干擾信息，取得了比傳統(tǒng)混合高斯模型更好的處理效果。

[1] 胡學友，陶亮，倪敏生.基于混合粒子的目標跟蹤[J].計算機應用,2011,31(6):1602-1604.

[2] MITICHE A,WANG Y F,AGGARWAL J K.Experiments in computing optical flow with gradient-based,multi-constraint method[J].Pattern Recognition,1987,20(2):173-179.

[3] LUCAS B D,KANADE T.An iterative image registration technique with an application to stereo vision[C]//The 7th International Joint Conference on Artificial Intelligence, 1981:674-679.

[4] WANG L,HU W M,TAN T N.A survey of visual analysis of human motion[J].Chinese Journal of Computers, 2002,25(3):225-237.

[5] STAUFFER C,GRIMSON W E L.Adaptive background mixture models for real-time tracking[C]//Proceeding of Computer Vision and Pattern Recognition,Fort Collins, Colorado,1999:246-252.

[6] JIANG P,QIN X L.Robust foreground detection with adaptive threshold estimation[J].Journal of Image and Graphics,2011,16(1):37-42.

[7] LIU G Y,LIU G D.Method for moving objection detection based on mixture Gaussian models[J].Computer Engineering and Applications,2009,45(24):180-182.

[8] WREN C,AZARBAYEJANI A,DARRELL T,et al.Pfinder:real-time tracking of the human body [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):780-785.

[9] 郭立君，劉曦，趙杰煜，等.結合運動信息與表觀特征的行人檢測方法[J].軟件學報,2012,23(2):299-309.

[10] ELGAMMAL A,HARWOOD D,DAVIS L S.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J].Proceeding of IEEE,2002,90(7):1151-1163.

[11] HEIKKILA M,PIETIKAINEN M.A texture-based method for modeling the background and detecting moving objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):657-662.

[12] 肖德貴，辛晨，張婷，等.顯著性紋理結構特征及車載環(huán)境下的行人檢測[J].軟件學報,2014,25(3):675-689.

[13] OJALA T,HARWOOD I.A comparative study of texture measure with classification based on feature distribution[J].Pattern Recognition,1996,29(1):51-59.

[14] OJALA T,PIETIKAINEN M,MAENPAA T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[15] LI B,CHEN Y M,ZHANG L.Moving objects detection method based on texture[J].Computer Engineering and Application,2008,44(7):100-102.

AMovingTargetDetectionMethodBasedonMulti-featureFusion

ZHAI Ji-yun, ZHOU Xin, WANG Cong-qing

(Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China)

To improve the robustness of target detection under complex scene is an important and difficult challenge in the field of computer vision.The traditional moving target detection is based on the single feature of the target.In this paper,a new background modeling algorithm is proposed for object detection based on both color feature and texture feature.Firstly,the traditional color-based Gaussian mixture model is improved and the computation cost is reduced.Then the improved Gaussian mixture model is fused with the LBP texture model by D-S evidence theory.The experimental results show that the fusion of two features can be complementary.The proposed algorithm can detect the moving targets more rapidly and accurately compared with the traditional algorithm.

moving target; target detection; Gaussian mixture model; LBP texture model; D-S evidence theory

翟濟云,周鑫,王從慶.基于多特征融合的運動目標檢測[J].電光與控制，2017，24(7)：23-27.ZHAI J Y,ZHOU X,WANG C Q.A moving target detection method based on multi-feature fusion[J].Electronics Optics & Control,2017,24(7):23-27.

TP391.4

A

10.3969/j.issn.1671-637X.2017.07.005

2016-06-06

2017-04-17

國家自然科學基金(61573185)

翟濟云(1991 —),女，江蘇南通人，碩士生，研究方向為圖像處理。時目標輪廓會被擴大，目標運動較慢時可能無法得到目標邊界。因此，本文考慮采用背景建模法，該方法對運動目標提取的信息相對完整。