多模跟蹤技術(shù)在輪式偵察車圖像處理器的應(yīng)用

郝志成，高 文，2

(1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033; 2.中國科學(xué)院 研究生院，北京100039)

1 引言

目標(biāo)跟蹤［1-3］是通過人工或計(jì)算機(jī)自動(dòng)選取感興趣目標(biāo)，然后在每一幀圖像中找到選定目標(biāo)，并標(biāo)示出來的過程。在實(shí)際應(yīng)用中，跟蹤器處理的實(shí)時(shí)圖像都是由可見光CCD或紅外照相機(jī)等拍攝采集的，由于裝配跟蹤器的載體處于運(yùn)動(dòng)狀態(tài)，跟蹤器本身的振動(dòng)亦會造成每一幀的圖像光照變化，所以視場視角變化很大;另外，目標(biāo)不同角度的旋轉(zhuǎn)形變，以及周圍環(huán)境的煙霧、遮擋、阻塞等情況，都給跟蹤器的工作帶來了很多困難，這些已成為目標(biāo)跟蹤急需解決的難題［4-6］。

目前目標(biāo)跟蹤［7-9］有相關(guān)跟蹤、重心跟蹤等在工程上應(yīng)用非常成熟的算法［9-10］，這些算法可根據(jù)處理方式不同分為基于匹配的算法、基于檢測的算法、基于概率預(yù)測的算法等。

基于匹配的算法即通過對每幀圖像采用各種類型的特征模板(如Harris特征角點(diǎn)、尺度不變特征變換(Scale-Invariant Transform Feature，SIFT)特征點(diǎn)［11-12］、目標(biāo)邊緣特征、目標(biāo)核直方圖［13］等)進(jìn)行匹配來實(shí)現(xiàn)目標(biāo)跟蹤，這種方法不能很好地解決目標(biāo)遮擋等問題。

基于檢測的方法是利用運(yùn)動(dòng)估計(jì)［14］、光流法［15］、背景差分法［16］等進(jìn)行圖像分割從而實(shí)現(xiàn)目標(biāo)跟蹤。從直觀上理解對于檢測首先必須有目標(biāo)，所以該方法也不能很好地解決目標(biāo)遮擋問題。

基于預(yù)測的方法是采用概率論思想對目標(biāo)的位置進(jìn)行預(yù)測，從而實(shí)現(xiàn)跟蹤，比較典型的有卡爾曼濾波［12］、粒子濾波［13］等。這種方法對遮擋有很好的魯棒性，但需要與其他方法配合使用。

針對上述難題，本文對粒子濾波和SIFT算法進(jìn)行了改進(jìn)，并將多種跟蹤算法相結(jié)合，提出了多模跟蹤技術(shù)，通過實(shí)驗(yàn)驗(yàn)證解決了上述難題，該項(xiàng)技術(shù)在輪式偵察車圖像處理器中得到了應(yīng)用，應(yīng)用效果理想。

2 跟蹤狀態(tài)的具體分析

目標(biāo)跟蹤過程中出現(xiàn)的目標(biāo)遮擋和丟失問題是常見的，本文對遮擋和丟失的特點(diǎn)進(jìn)行了分析。

若以原始目標(biāo)與當(dāng)前幀計(jì)算得到的目標(biāo)的相關(guān)系數(shù)作為度量，那么出現(xiàn)遮擋和丟失時(shí)會使相關(guān)系數(shù)降低，但兩者的具體表現(xiàn)又有著明顯不同。

對于動(dòng)目標(biāo)，遮擋出現(xiàn)時(shí)，相關(guān)系數(shù)開始降低，并隨著遮擋部分增大而繼續(xù)下降，當(dāng)達(dá)到一個(gè)最大值之后，目標(biāo)漸漸離開遮擋，相關(guān)系數(shù)又逐漸增大直至相對穩(wěn)定。由此可見，連續(xù)幀遮擋問題的特點(diǎn)是相關(guān)系數(shù)先逐漸減小后逐漸增大。

對于動(dòng)目標(biāo)，丟失出現(xiàn)時(shí)，相關(guān)系數(shù)降到很低，并且對于連續(xù)幀，其相關(guān)系數(shù)相對穩(wěn)定地保持在比較低的水平上，直至目標(biāo)被重新捕獲進(jìn)行跟蹤時(shí)相關(guān)系數(shù)才會增大到較大值?？梢?，對于目標(biāo)丟失情況，相關(guān)系數(shù)會連續(xù)數(shù)幀都保持在較低水平上而未發(fā)生高低變化。

對于光照變化問題，戰(zhàn)場上光線隨時(shí)都在變化，反映到圖像上就是像素的灰度值在不斷變化，即使是同一個(gè)物體，在不同幀圖像中的像素值也不盡相同。

對于目標(biāo)旋轉(zhuǎn)變形問題，戰(zhàn)場目標(biāo)多是在運(yùn)動(dòng)行進(jìn)，這樣圖像拍攝角度的不同導(dǎo)致同一物體成像也是不同的，因此圖像中目標(biāo)的變化也是跟蹤中的一大難題。

3 多模跟蹤算法

本文針對目標(biāo)跟蹤亟待解決的問題，提出了決策主導(dǎo)模式的多模跟蹤方法。

3.1 粒子濾波

粒子濾波［18］是蒙特卡洛思想［19］在目標(biāo)跟蹤中的應(yīng)用，核心思想是用某一概率分布采樣得到的隨機(jī)樣本及相應(yīng)的概率分布來表示待求的后驗(yàn)分布，樣本數(shù)趨于無窮大時(shí)，算法無限逼近真實(shí)分布，得到的結(jié)果將無限接近最優(yōu)解，即基于隨機(jī)抽樣原理，用隨機(jī)樣本來模擬目標(biāo)的后驗(yàn)狀態(tài)分布。對于N個(gè)相互獨(dú)立且具有相同數(shù)學(xué)期望和方差的隨機(jī)變量，當(dāng)N→∞時(shí)，隨機(jī)變量的算術(shù)平均值以概率收斂于數(shù)學(xué)期望μ，對任意給定的整數(shù)ε，恒有:

用蒙特卡洛濾波算法進(jìn)行目標(biāo)跟蹤［20］，實(shí)質(zhì)上就是用一系列隨機(jī)樣本求解目標(biāo)后驗(yàn)分布的問題，在整個(gè)求解過程中主要思想是解決貝葉斯框架下的先驗(yàn)概率和后驗(yàn)概率的求解問題，對于后驗(yàn)概率的求解，蒙特卡洛思想采用了重要性采樣［14］的方法，這是蒙特卡洛實(shí)現(xiàn)的核心。

貝葉斯框架的原理由“預(yù)測”和“更新”兩大步驟組成，先用系統(tǒng)的狀態(tài)轉(zhuǎn)移模型來預(yù)測目標(biāo)的先驗(yàn)狀態(tài)分布，再用觀測值來修正先驗(yàn)狀態(tài)分布，得到更新后的結(jié)果，即后驗(yàn)狀態(tài)分布，得到狀態(tài)的最優(yōu)估值。目標(biāo)跟蹤可在貝葉斯框架下抽象為如下數(shù)學(xué)模型:

分別用Xk，Zk表示第k幀的運(yùn)動(dòng)狀態(tài)和觀測狀態(tài)，

狀態(tài)預(yù)測:

狀態(tài)更新:

式中:P(Xk|Z1∶k－1)是先驗(yàn)概率，即通過過去和現(xiàn)在預(yù)測未來，p(Xk|Z1∶k)是后驗(yàn)概率，即k時(shí)刻的值已經(jīng)實(shí)際得到(觀測值Z1∶k)，在此條件下得到之前k時(shí)刻預(yù)測狀態(tài)的概率。

重要性采樣定理:對于很難進(jìn)行采樣的p(Xk|Z1∶k，尋找一個(gè)合適的參考分布，該分布是一個(gè)已知分布q(Xk|Z1∶k)并且容易采樣，稱q(Xk|Z1∶k)是重要性函數(shù)，則有:

其中權(quán)重系數(shù)為:

由此可用如下公式近似求得后驗(yàn)概率:

本文采用半采樣半重采樣的方法解決粒子濾波中的粒子退化和粒子貧瘠問題。

3.2 SIFT特征點(diǎn)匹配

近幾年來，在計(jì)算機(jī)視覺領(lǐng)域，基于局部不變量描述子(Local Invariant Descriptor)的方法在目標(biāo)識別和匹配方面取得了顯著進(jìn)展。Mikolajczyk和Schmid［16］針對不同的場景，對光照變化、圖像幾何變形、分辨率差異、旋轉(zhuǎn)、模糊和圖像壓縮等6種情況，用多種具有代表性的描述子(如SIFT，矩不變量，互相關(guān)等10種描述子)進(jìn)行了實(shí)驗(yàn)和性能比較，結(jié)果表明:在以上各種情況下，SIFT描述子的性能最好。

SIFT 算法由 D.G.Lowe1999 年提出［11］，2004年完善總結(jié)［12］。SIFT是一種提取局部特征的算法，在尺度空間尋找極值點(diǎn)，提取位置，尺度，最后生成旋轉(zhuǎn)不變量。SIFT算法步驟為:對圖像進(jìn)行多尺度高斯差分;建立高斯差分金字塔，即生成尺度空間;檢測尺度空間極值點(diǎn)、精確定位極值點(diǎn)，為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù);最后生成關(guān)鍵點(diǎn)描述子。該算法的優(yōu)勢是特征點(diǎn)豐富，對于旋轉(zhuǎn)、放縮、亮度變化有很好的魯棒性;缺點(diǎn)是計(jì)算復(fù)雜度高、計(jì)算量大，難以滿足實(shí)時(shí)要求。

針對SIFT算法計(jì)算量大的問題，本文采用文獻(xiàn)［22］提出的盒形濾波器來代替SIFT算法中的高斯濾波，盒子濾波器原理是利用各像素的積分圖像，乘以不同的權(quán)重加、減得到濾波結(jié)果。兩種濾波器示意圖如圖1所示。

圖1 濾波器示意圖Fig.1 Sketch maps of filters

SIFT算法中使用的高斯濾波如下:

式中:G(x，y，σ)是尺度可變高斯函數(shù)，(x，y)是空間坐標(biāo)，σ是尺度坐標(biāo):

為了在尺度空間有效地檢測到穩(wěn)定的關(guān)鍵點(diǎn)，提出了利用不同尺度的高斯差分核與圖像卷積生成的高斯差分尺度空間(DOG scale-space):

圖像任意點(diǎn)(x，y)的積分圖像用ii(x，y)表示(見圖2)，公式為ii(x，y)，式，y'≤y中i(x'，y')表示圖像中點(diǎn)(x'，y')的灰度。ii(x，y)可以用式(10)、(11)迭代計(jì)算得到:其中:s(x，y)表示一列圖像的積分，且s(x，－1)=0，ii(－1，y)=0。求積分圖像只需遍歷一次圖像，計(jì)算開銷很小。如圖2所示，不管窗口D的大小如何，它的灰度值總和都可以用1，2，3，4點(diǎn)的積分圖像計(jì)算出來，即4+1－(2+3)。

圖2 積分圖計(jì)算示意圖Fig.2 Sketch maps of calculating integral picture

盒形濾波器計(jì)算量不隨計(jì)算窗口的增大而增大，而高斯濾波的計(jì)算量隨窗口的增大而成倍增長，這使得采用盒形濾波器計(jì)算量大幅降低。

圖3 試驗(yàn)圖片F(xiàn)ig.3 Experimental images

圖3 為試驗(yàn)用的圖片。傳統(tǒng)SIFT算子一階金字塔匹配結(jié)果如圖4所示(一階金字塔不對圖像的行、列向下采樣)，其計(jì)算量大幅降低，同時(shí)特征點(diǎn)數(shù)也大幅降低。

圖4 傳統(tǒng)SIFT算子一階金字塔匹配結(jié)果Fig.4 Matching results of traditional SIFT 1-step pyramid

多次測試實(shí)驗(yàn)及分析發(fā)現(xiàn)，一階金字塔匹配特征點(diǎn)的減少是由于采用不同尺度的濾波后，各圖像并不在相同灰度級上，采用歸一化可有效解決此問題，試驗(yàn)結(jié)果如圖5所示。

圖5 改進(jìn)后一階金字塔匹配結(jié)果Fig.5 Matching results of improved SIFT 1-step pyramid

3.3 本文算法

本文提出了決策主導(dǎo)模式的多模跟蹤方法，采用相關(guān)系數(shù)作為決策判據(jù)，默認(rèn)情況下采用重心跟蹤預(yù)定位，若此時(shí)得到的目標(biāo)與原始目標(biāo)相關(guān)度高，則直接輸出目標(biāo)位置;若相關(guān)度低，則認(rèn)為目標(biāo)發(fā)生遮擋、變形，從而進(jìn)行粒子濾波粗定位，重新計(jì)算此時(shí)的相關(guān)度，用SIFT進(jìn)行精匹配。

目標(biāo)跟蹤算法實(shí)現(xiàn)的具體過程如下:

(1)初始化目標(biāo)信息，包括確定目標(biāo)位置、目標(biāo)大小以及一些其他特征信息。

(2)采用重心跟蹤，計(jì)算得到粗略的目標(biāo)位置。

(3)計(jì)算重心跟蹤得到的目標(biāo)與原始目標(biāo)的相關(guān)系數(shù):

a.若相關(guān)系數(shù)μ1＞60%，則重心跟蹤計(jì)算得到的位置即目標(biāo)位置，跳轉(zhuǎn)到(5);

b.若 μ1＜60%，則跳轉(zhuǎn)到(4)。

(4)采用粒子濾波計(jì)算目標(biāo)位置，重新計(jì)算此時(shí)得到的目標(biāo)與原始目標(biāo)的相關(guān)系數(shù)μ2:

若μ2＞60%，認(rèn)為重新找到目標(biāo);

若40% ＜μ2＜60%，計(jì)算粒子濾波得到的位置周圍M·M(M＜W/2，M＜H/2)的矩形區(qū)域內(nèi)的SIFT特征點(diǎn)并與原始目標(biāo)的SIFT特征點(diǎn)進(jìn)行匹配，得到精確位置，若匹配失敗，認(rèn)為目標(biāo)徹底丟失或阻塞。

(5)輸出計(jì)算得到的目標(biāo)位置。

(6)若μ1＞60%，下一幀時(shí)從步驟(2)開始重新計(jì)算;

若 μ1＜60%，μ2＞60%，下一幀從步驟(2)開始重新計(jì)算;

若μ1＜60%，40% ＜μ2＜60%，下一幀從步驟(4)開始重新計(jì)算;

若μ1＜60%，μ2＜40%，且已連續(xù)10幀均出現(xiàn)此種情況，認(rèn)為目標(biāo)丟失;否則認(rèn)為目標(biāo)暫時(shí)被阻塞，轉(zhuǎn)到(4)，見圖6。

圖6 本文算法的具體流程圖Fig.6 Flow chart of the algorithm in this paper

4 實(shí)驗(yàn)結(jié)果

圖7是對運(yùn)動(dòng)汽車進(jìn)行的目標(biāo)跟蹤法實(shí)驗(yàn)，可以看出該算法對于目標(biāo)的旋轉(zhuǎn)形變(第1幀到209幀目標(biāo)旋轉(zhuǎn)近80°)、遮擋(第31幀到89幀)等情況都有非常好的魯棒性。

圖8是利用本算法在一輪式偵察車圖像處理器上進(jìn)行試驗(yàn)得到的一組圖片，可以看出該算法對戰(zhàn)場環(huán)境下的煙霧、遮擋、目標(biāo)旋轉(zhuǎn)形變都有很好的適應(yīng)性。

圖7 實(shí)驗(yàn)結(jié)果Fig.7 Experimental results

圖8 實(shí)驗(yàn)結(jié)果Fig.8 Experimental results

5 結(jié)論

本文提出了決策主導(dǎo)模式的多模跟蹤技術(shù)，分別對粒子濾波和SIFT算法做了改進(jìn)，使其滿足實(shí)施性要求，并找到了合理的切入點(diǎn)，將兩者結(jié)合從而實(shí)現(xiàn)更加魯棒的跟蹤方法。通過實(shí)驗(yàn)論證了該技術(shù)對目標(biāo)旋轉(zhuǎn)形變、遮擋、光照變化具有魯棒性。

［1］王選賀，劉濟(jì)林.基于核密度估計(jì)的遮擋人體跟蹤［J］.浙江大學(xué)學(xué)報(bào)(工學(xué)版)，2011，45(3):412-418.WANG X H，LIU J L.Tracking human under occlusion based on kernel density estimation［J］.J.Zhejiang University(Engineering Science)，2011，45(3):412-418.(in Chinese)

［2］趙豐，湯磊，陳國友，等.RBPF粒子濾波在目標(biāo)跟蹤中的應(yīng)用研究［J］.計(jì)算機(jī)工程，2011，37(3):149-151.ZHAO F，TANG L，CHEN G Y，et al..Research on application of RBPF in target tracking［J］.Computer Eng.，2011，37(3):149-151.(in Chinese)

［3］陳愛華，孟勃，朱明，等.多模式融合的目標(biāo)跟蹤算法［J］.光學(xué) 精密工程，2009，17(1):185-190.CHEN A H，MENG B，ZHU M，et al..Multi-pattern fusion algorithm for target tracking［J］.Opt.Precision Eng.，2009，14(9):1745-1749.(in Chinese)

［4］薛陳，朱明，陳愛華.魯棒的基于改進(jìn)Mean-shift的目標(biāo)跟蹤［J］.光學(xué) 精密工程，2010，18(1):234-239.XUE CH，ZHU M，CHEN A H.Robust object tracking based on improved Mean-shift algorithm［J］.Opt.Precision Eng.，2010，18(1):234-239.(in Chinese)

［5］李焱，陳濤，曹立華，等.艦載光電設(shè)備跟蹤掠海目標(biāo)的控制［J］.光學(xué) 精密工程，2010，18(4):935-942.LI Y，CHEN T，CAO L H，et al..Control of ship-based optoelectronic equipment for tracking near-sea targets［J］.Opt.Precision Eng.，2010，18(4):935-942.(in Chinese)

［6］周斌，王軍政，沈偉.基于組合帶寬均值遷移的快速目標(biāo)跟蹤［J］.光學(xué) 精密工程，2010，18(10):2297-2305.ZHOU B，WANG J ZH，SHEN W.Fast object tracking with multi-bandwidth Mean Shift［J］.Opt.Precision Eng.，2010，18(10):2297-2305.(in Chinese)

［7］苑瑋琦，董茜，桑海峰.基于方向梯度極值的手形輪廓跟蹤算法［J］.光學(xué) 精密工程，2010，18(7):1675-1683.YUAN W Q，DONG Q，SANG H F.Hand shape contour tracking method based on directional gradient extremum［J］.Opt.Precision Eng.，2010，18(7):1675-1683.(in Chinese)

［8］李忠海，王莉，崔建國.基于Camshift和Particle Filter的小目標(biāo)跟蹤算法［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47(9):192-195，199.LI ZH H，WANG L，CUI J G.Weak aerial target tracking algorithm based on camshift and particle filter［J］.Computer Eng.Appl.，2011，47(9):192-195.(in Chinese)

［9］藺海峰，馬宇峰，殷璇，等.基于SIFT特征的抗遮擋目標(biāo)跟蹤算法［J］.計(jì)算機(jī)工程，2011，37(4):198-200.LIN H F，MA Y F，YIN X，et al..Anti-occlusion object tracking algorithm based on SIFT feature［J］.Computer Eng.，2011，37(4):198-200.(in Chinese)

［10］朱向軍，毛劍飛，鮑衛(wèi)兵.基于達(dá)芬奇技術(shù)的智能視頻監(jiān)控終端的開發(fā)［J］.電信科學(xué)，2011(2):100-104.ZHU X J，MAO J F，BAO W B.Development of intelligent visual surveillance device based on davinci［J］.Telecom Sci.，2011(2):100-104.(in Chinese)

［11］LOWE D G.Object recognition from local scale-invariant features［C］.The 7th International Conference on Computer Vision，Kerkyra，Greece，20-27 Sept.1999:1150-1157.

［12］LOWE D G.Distinctive iImage features from scale-invariant keypoints［J］.International J.Computer Vision，2004，60(2):91-110.

［13］COMANIEIU D，MEER P.Distribution free decomposition of multivariate data［J］.Pattem Anal.Appl.，1999，2(1):22-30.

［14］MURRAY D W，BUXTON B E.Scene segmentation from visual motion using global optimization［J］.IEEE T.Pattern Anal.，1987，9:220-228.

［15］MARKANDEY V，REID A，WANG S.Motion estimation for moving target detection［J］.IEEE T.Aero.Elec.Sys.，1996，32(3):866-874.

［16］STAUFFER C，GRIMSON E.Learning patterns of activity using real time tracking［J］.IEEE T.Pattern Anal.，2000，22(8):747-757.

［17］KALMAN R E.A new approach to linear filtering and prediction problems［J］.Transaction ASME-J.Basic Eng.，1960，82(Series D):35-45.

［18］GORDON N J，SALMOND D J，SMITH A F M.Novel approach to nonlinear and non-Gaussian bayesian state estimation［J］.IEEE Proceedings-F，1993，140(2):107-113.

［19］ISARD M，BLAKE A.Condensation-conditional density propagation for visual tracking［J］.International J.Computer Vision，1998，29(1):5-28.

［20］孟勃，朱明.采用EM算法對粒子濾波跟蹤算法進(jìn)行改進(jìn)［J］.中國圖象圖形學(xué)報(bào)，2009，14(9):1745-1749.MENG B，ZHU M.The application of EM algorithm to improve particle filter［J］.J.Image and Graphics，2009，14(9):1745-1749.(in Chinese)

［21］MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors［J］.IEEE T.Pattern Anal.，2005，27(10):1615-1630.

［22］BAY H，TUYTELAARS T，GOOL L V.SURF:Speeded up robust features［J］.Computer Vision and Image Understanding，2006，110(3):346-359.