基于多模態(tài)背景模型和霍夫森林的紅外目標跟蹤

， ，，

(1.上海航天控制技術(shù)研究所，上海 201109; 2.西北工業(yè)大學(xué) 航天學(xué)院，西安 710072)

0 引言

目標跟蹤是計算機視覺研究領(lǐng)域的一個重要分支，廣泛應(yīng)用于視頻監(jiān)控、行為和事件分析和精確制導(dǎo)等方面，跟蹤過程中光照變化、外觀形變和背景遮擋等因素對其造成了極大的影響。近年來，基于判別式模型的算法在目標跟蹤領(lǐng)域獲得了廣泛的應(yīng)用[1]，通過訓(xùn)練分類器將跟蹤問題轉(zhuǎn)化為目標和背景的分類過程，以初始跟蹤矩形框內(nèi)的目標樣本作為正樣本，矩形框外的區(qū)域作為負樣本，通過特征提取和分類求解預(yù)測目標在下一幀的位置。由于目標形狀的多變性，以矩形框作為跟蹤區(qū)域不可避免的會引入大量的背景信息，使模型更新的過程中誤差逐步積累，造成跟蹤框的漂移。相較于可見光目標跟蹤而言，紅外目標分辨率和信噪比較低[2]，更易受背景雜波影響，因而迫切需要一種對目標模型更為精確的表征。部件級的目標表觀模型在應(yīng)對形變和部分遮擋帶來的目標外觀變化時仍能保持一定的魯棒性，F(xiàn)elzenszwalb[2]等提出的可形變部件模型(Deformable Part Model，DPM)在物體檢測領(lǐng)域取得了巨大的成功，但DPM模型需要待檢測物體類別的數(shù)據(jù)集進行離線訓(xùn)練，較難應(yīng)用于在線通用目標的跟蹤。Kwon and Lee[4]等提出的基于目標部件拓撲結(jié)構(gòu)的跟蹤模型在目標發(fā)生大量形變時取得了較好的效果，但引入的蒙特卡洛采樣使算法的實時性較差。Gall J[5]等對圖像進行分解，構(gòu)建霍夫森林將圖像塊映射成對目標重心位置的投票實現(xiàn)目標檢測。Godec M[6]等將霍夫森林進一步擴展至目標跟蹤領(lǐng)域，將grab-cut粗分割和目標區(qū)域采樣進行結(jié)合，避免背景區(qū)域引入的雜波信息對目標樣本造成的干擾。由Gall J[5]和Godec M[6]等提出的跟蹤算法在目標和背景區(qū)分度比較明顯的場景中取得了較好的跟蹤效果，由于紅外場景中目標邊緣模糊，紋理信息缺乏，與背景區(qū)域形成了一定的耦合性，直接將上述算法應(yīng)用于紅外目標跟蹤時，難以對目標進行精確定位。

本文在上述算法的基礎(chǔ)上，引入背景建模的思想，將目標和背景的特征信息整體融入跟蹤框架，對霍夫森林跟蹤算法進行改進?；诰植慷的Ｊ?(Local Binary Pattern)描述符來表示背景紋理，同時引入光度不變性灰度特征，應(yīng)對整體光照的變化，使得背景模型對局部或整體亮度的擾動均有一定的魯棒性。背景建模提供區(qū)域信息作為精確采樣的基礎(chǔ)，前景區(qū)域和背景區(qū)域分別作為正負樣本集代入霍夫森林進行樣本訓(xùn)練，獲取高置信度的樣本區(qū)作為目標跟蹤區(qū)域，保證了模型更新的準確度和跟蹤的穩(wěn)定性。

1 特征描述

1.1 LBP局部紋理特征

LBP(local binary patterns，局部二值模式)是度量圖像局部紋理特征的算子，在計算機視覺的諸多領(lǐng)域得到了廣泛的應(yīng)用[7]，它的計算如下式所示，其中(xc,yc)為中心像素的坐標，ip為第p個鄰域像素的灰度值，ic為中心像素的灰度值，s(x)為符號函數(shù)。

(1)

(2)

以圖 1為例，在中心像素65的3*3鄰域內(nèi)，相鄰的8個像素分別與其進行比較，若大于中心像素則相應(yīng)位置值為1，反之則為0，最后形成的8位二進制序列即為中心像素的LBP值。

圖1 LBP局部紋理特征

1.2 光度不變性灰度特征

Kyungnam Kim[8]等通過改變光照條件，觀測由于亮度改變而發(fā)生的像素值變化，主要表現(xiàn)為觀測像素值與顏色模型中原點間連線方向的改變，故提出將像素值在顏色空間中的夾角作為前景和背景的判斷依據(jù)，

(3)

(4)

(5)

(6)

1.3 特征距離測度

通過LBP局部紋理特征和光度不變性灰度特征對圖像進行描述后，進一步地需要對圖像不同區(qū)域間的相似性進行度量，定義LBP局部紋理特征如式(7)所示，其中Dtext(LBPa,LBPb)代表區(qū)域a和區(qū)域b之間的局部紋理特征距離。

(7)

(8)

(9)

基于紋理特征距離和光度特征距離建立特征距離測度如式(10)所示，分別計算像素x在時刻t與上一幀k模式的紋理特征距離和光度特征距離，其中λ為距離融合系數(shù)。

(10)

2 多模態(tài)背景建模

(11)

(12)

(13)

(14)

(15)

圖2 基于多模態(tài)背景建模提取的區(qū)域

3 霍夫森林

霍夫森林是隨機森林和霍夫投票算法的結(jié)合[5]，在隨機森林的學(xué)習(xí)框架的基礎(chǔ)上融合目標的位置信息通過廣義霍夫變換進行投票，構(gòu)建決策樹對圖像塊進行訓(xùn)練[10]。

3.1 隨機森林

(16)

U(S)=|S|·Entropy{ci}=|S|·

(-clogc-(1-c)log(1-c))

(17)

(18)

Obj(tk)={U(S)，D(S)}

(19)

(20)

3.2 霍夫投票

p(E(x)|I(y))=p(E(x)，c(y)=1|I(y))=

p(E(x)|c(y)=1,I(y))·p(c(y)=1|I(y))=

p(d(y)=y-x|c(y)=1,I(y))·p(c(y)=1|I(y))

(21)

p(E(x)|I(y);T)=

(22)

(23)

(24)

4 紅外目標跟蹤

基于多模態(tài)背景模型和霍夫森林的紅外目標跟蹤的算法整體流程如圖 3所示，首先基于建立的特征描述子提取紅外圖像特征，然后通過計算各區(qū)域序列的特征距離和背景模式列表確定匹配的背景模式，進而由背景建模提取前景區(qū)域和背景區(qū)域。以背景模型提供的區(qū)域信息為基礎(chǔ)進行區(qū)域采樣，在前景區(qū)和背景區(qū)分別采集圖像塊作為正負樣本集送入隨機森林進行訓(xùn)練，訓(xùn)練過程中根據(jù)圖像塊的類別信息和位置信息對決策樹進行構(gòu)建，最終訓(xùn)練完成的決策樹葉結(jié)點記錄了霍夫投票所需的信息，通過統(tǒng)計不同圖像塊對目標中心進行概率投票的值得到目標置信度圖，置信度圖反映了目標處于不同位置的概率，最后根據(jù)置信度圖完成目標區(qū)域定位。

圖3 紅外目標跟蹤算法流程圖

5 實驗結(jié)果分析

實驗硬件系統(tǒng)為Intel(R) Core(TM) i3-4030U 1.90 GHz的CPU，4 GB內(nèi)存，操作系統(tǒng)為Windows 7，運行軟件為Visual Studio 2010。實驗采用OTCBVS(Object Tracking and Classification in and Beyond the Visible Spectrum)紅外公開數(shù)據(jù)集中的行人序列進行測試分析，圖像分辨率為320*240。通過對跟蹤結(jié)果的定性分析和定量分析，對本文提出的算法與Godec M[6]提出的基于霍夫森林的跟蹤算法進行比較。

選取跟蹤序列中部分幀的跟蹤結(jié)果對算法的性能進行分析，圖4為第16幀的目標區(qū)域置信度分布對比，左圖為原始的基于霍夫森林的跟蹤算法置信度分布，圖中的高亮區(qū)即為算法的高置信度區(qū)。從左圖中可以看出，經(jīng)過霍夫投票后的目標置信度圖受背景雜波影響，高置信度區(qū)分布較分散，部分背景區(qū)域也覆蓋于高置信度區(qū)域內(nèi)。圖 4的右圖為本文提出的融入背景建模后置信度區(qū)的分布圖，對比第16幀的目標實際位置(見圖 5中的第16幀跟蹤結(jié)果)，可以看出經(jīng)過背景建模后，置信度分布圖排除了大量背景雜波的干擾，高置信度區(qū)域得到了有效的收縮，將關(guān)注區(qū)更集中于目標區(qū)域。

圖5分別為第16、33和82幀的跟蹤結(jié)果，左側(cè)為原始算法的跟蹤結(jié)果，右側(cè)為本文提出改進算法后的跟蹤結(jié)果。從左側(cè)的跟蹤結(jié)果中可以看出當(dāng)目標靠近背景中的高亮干擾源時，由于背景雜波的灰度分布特征與目標本身的灰度分布存在一定的相似性，原始算法易將其誤認為目標區(qū)，并錯誤地將其引入到了后續(xù)的模型更新過程中，造成后續(xù)跟蹤過程的漂移。右側(cè)的跟蹤結(jié)果中，經(jīng)過背景建模后霍夫投票的置信度分布圖排除了背景中的干擾源，較好地保留了目標的區(qū)域信息，將高概率區(qū)集中于目標本身，跟蹤區(qū)域能夠更有效地鎖定目標。

定義跟蹤誤差為每幀目標中心標注位置(xgt,ygt)與跟蹤的目標位置(xt,yt)之間的歐氏距離，如式(25)所示，跟蹤誤差曲線如圖 6所示，其中加*號曲線為本文提出的算法。從原始算法的誤差跟蹤曲線中可以看出原始算法的跟蹤誤差波動范圍較大，進一步地對誤差曲線進行分析，可以看到原始誤差曲線有兩處較明顯的波峰，是因為目標向背景中的高亮區(qū)域靠近，原始算法將背景中的這部分干擾區(qū)域和目標同時鎖定(見圖 5左側(cè)的跟蹤結(jié)果)，造成跟蹤誤差曲線的波動。相較于原始算法，融合背景建模后誤差曲線(圖 6中加*號曲線)有了明顯下降，原先的誤差曲線兩處較大的波動也得到了有效的抑制。

圖4 目標區(qū)域置信度圖

圖5 部分幀跟蹤結(jié)果

(25)

圖6 跟蹤誤差曲線

6 結(jié)論

本文針對紅外目標跟蹤過程中背景雜波和目標形變對目標跟蹤引起的干擾，提出了一種基于多模態(tài)背景模型和霍夫森林的紅外目標跟蹤算法，通過特征描述和多模態(tài)背景建模提取背景區(qū)域和前景區(qū)域作為霍夫森林的訓(xùn)練輸入，通過區(qū)域分塊采樣和在線樣本更新，獲得目標信息的魯棒表征。由霍夫投票輸出對目標中心的投票概率圖，生成目標區(qū)域分布置信度圖，最后根據(jù)置信度圖完成目標區(qū)域定位。相較于基于矩形框?qū)δ繕诉M行跟蹤的算法，本文提出的算法提高了對目標區(qū)域定位的準確性，通過背景建模和目標區(qū)域分解較好地保留了目標的結(jié)構(gòu)和形狀信息，避免了模型更新時過多地引入背景雜波對跟蹤過程造成的影響。實驗結(jié)果表明在背景雜波和目標形變對目標跟蹤造成一定程度干擾的情況下，所提算法仍能保持跟蹤的穩(wěn)定性。

參考文獻：

[1] Wang N, Shi J, Yeung D Y, et al. Understanding and diagnosing visual tracking systems[A].Proceedings of the IEEE International Conference on Computer Vision[C]. 2015: 3101-3109.

[2] 楊福才, 楊德東, 毛 寧, 等. 基于稀疏編碼直方圖的穩(wěn)健紅外目標跟蹤[J]. 光學(xué)學(xué)報, 2017, 37(11): 1115002.

[3] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE transactions on pattern analysis and machine intelligence, 2010, 32(9): 1627-1645.

[4] Kwon J, Lee K M. Tracking of a non-rigid object via patch-based dynamic appearance modeling and adaptive basin hopping monte carlo sampling[A].Computer Vision and Pattern Recognition[C]. 2009. CVPR 2009. IEEE Conference on. IEEE, 2009: 1208-1215.

[5] Gall J, Lempitsky V. Class-specific hough forests for object detection[M].Decision forests for computer vision and medical image analysis. Springer London, 2013: 143-157.

[6] Godec M, Roth P M, Bischof H. Hough-based tracking of non-rigid objects[J]. Computer Vision and Image Understanding, 2013, 117(10): 1245-1256.

[7] 董恩增, 蘇麗婭, 付艷紅, 等. 融合顏色紋理特征的自適應(yīng)粒子濾波跟蹤算法[J]. 計算機測量與控制, 2014(4):68.

[8] Kim K, Chalidabhongse T H, Harwood D, et al. Real-time foreground-background segmentation using codebook model[J]. Real-time imaging, 2005, 11(3): 172-185.

[9] Yao J, Odobez J M. Multi-layer background subtraction based on color and texture[A].Computer Vision and Pattern Recognition, 2007. CVPR’07. IEEE Conference on[C]. IEEE, 2007: 1-8.

[10] 魯奉軍, 王世剛, 趙文婷, 等. 基于可判別葉子的霍夫森林目標跟蹤算法[J]. 吉林大學(xué)學(xué)報 (信息科學(xué)版), 2016(1): 86-91.