楊 欣 沈 雷 費樹岷 周大可
(1南京航空航天大學(xué)自動化學(xué)院,南京210016)
(2東南大學(xué)自動化學(xué)院,南京210096)
隨著計算機視覺技術(shù)的蓬勃發(fā)展,利用計算機視覺技術(shù)對圖像和視頻進(jìn)行處理、理解、分析得到廣泛的普及.其中運動目標(biāo)跟蹤是一個熱點研究問題[1].因 Mean-Shift(均值偏移)算法簡單易行,對目標(biāo)變形和局部遮擋有一定適應(yīng)性而被廣泛地研究與應(yīng)用[2].傳統(tǒng)的 Mean-Shift跟蹤算法[3-4]是以顏色直方圖為特征對運動目標(biāo)進(jìn)行跟蹤,對于復(fù)雜背景情況下的跟蹤效果不佳.文獻(xiàn)[4]中顏色直方圖只包含了圖像中顏色值出現(xiàn)的頻數(shù),僅反映了目標(biāo)的顏色信息.
基于上述討論,本文給出了一種新穎的基于證據(jù)理論和多核函數(shù)融合的目標(biāo)跟蹤方法.該方法首先對目標(biāo)區(qū)域進(jìn)行顏色和邊緣特征的融合;然后將此區(qū)域分成4個子區(qū)域,算出子區(qū)域的顏色與邊緣方向直方圖融合的聯(lián)合概率密度,并計算出各個區(qū)域的巴氏權(quán)重系數(shù);再根據(jù)加權(quán)后的聯(lián)合概率密度,采用多個核函數(shù)計算出多個目標(biāo)位置估計;最后利用D-S證據(jù)理論信息融合方法[5]對多個目標(biāo)位置估計進(jìn)行融合判斷獲得準(zhǔn)確的目標(biāo)位置.實驗結(jié)果表明,該方法在目標(biāo)被大面積長時間遮擋的情況下,能達(dá)到良好的跟蹤效果.
基于顏色直方圖的方法[6]簡單靈活,但目標(biāo)區(qū)域有光照變化時,會造成目標(biāo)丟失,因此本文融合邊緣方向直方圖,利用邊緣特征信息來有效應(yīng)對光照變化,進(jìn)而對目標(biāo)區(qū)域進(jìn)行分塊處理,以提高目標(biāo)的辨識能力.
1)分塊處理 當(dāng)目標(biāo)被遮擋時,被遮擋部分的直方圖會有明顯的改變,所以被遮擋的部分應(yīng)賦予較小的權(quán)值.將目標(biāo)框等分成4份,以便于更好地區(qū)分各個部分被遮擋的情況,分塊方法如圖1所示.
圖1 目標(biāo)框分塊示意圖
2)顏色直方圖 顏色直方圖是一種較為實用的區(qū)域顏色建模方法.對于一個半徑為R的特定區(qū)域,在建立顏色分布模型時,不同位置像素對于顏色直方圖的貢獻(xiàn)不同,距離目標(biāo)中心近的被賦予較大權(quán)值,遠(yuǎn)的被賦予較小權(quán)值,其顏色直方圖模型的計算公式見文獻(xiàn)[7].
3)邊緣方向直方圖 邊緣方向直方圖是對運動目標(biāo)的邊緣點方向分布的一種統(tǒng)計,首先將其劃分為8個方向,再將目標(biāo)分成4塊進(jìn)行運算.這樣可包含目標(biāo)的輪廓信息,從而對遮擋情況具有良好的抑制作用.模型見文獻(xiàn)[8].
當(dāng)目標(biāo)被遮擋時,遮擋區(qū)域的直方圖有很大變化,而未被遮擋區(qū)域的直方圖變化較小.圖2表示目標(biāo)下半部被汽車遮擋,表1為圖2中不同的分塊位置被汽車遮擋后對巴氏系數(shù)的影響.
圖2 被遮擋目標(biāo)圖像
表1 每個分塊對巴氏系數(shù)的影響
由表1可知,目標(biāo)跟蹤框下半部分的相似性系數(shù)非常小,這說明跟蹤目標(biāo)下半部被遮擋后,對跟蹤的影響較大,而遮擋上半部分的影響較小.因此,基于未遮擋區(qū)域的巴氏系數(shù)進(jìn)行目標(biāo)跟蹤,能有效提高目標(biāo)跟蹤的魯棒性.
根據(jù)顏色模型,采用下式求出圖像像素點的顏色概率估計值:
通過Sobel算子檢測出的邊緣二值圖像包含了目標(biāo)的邊緣特征空間信息,同時聯(lián)合上述像素點的估計值,可以獲得邊緣特征與顏色特征相聯(lián)合的像素點概率估計值,即
式中,g(x,y)是利用Sobel算子進(jìn)行邊緣檢測后坐標(biāo)(x,y)處的值,存在邊緣時為1,否則為0.
考慮光照、形變和遮擋等情況的影響,巴氏系數(shù)大的分塊,權(quán)重系數(shù)大;反之,權(quán)重系數(shù)小.記各塊的權(quán)值系數(shù)為w(k),即
根據(jù)證據(jù)理論[9]方法構(gòu)建數(shù)學(xué)模型,采用N個不同的核函數(shù),分別利用Mean-Shift方法,獲得當(dāng)前目標(biāo)跟蹤框中N個不同的位置估計(l1,l2,…,ln),令l'為前一幀中的目標(biāo)位置.基于D-S證據(jù)理論中焦元結(jié)構(gòu)定義的方法[10],定義一組 mass函數(shù),即
利用式(5)構(gòu)造的信任函數(shù),再采用D-S組合公式計算得到目標(biāo)位于ln的概率:
本文主要針對跟蹤目標(biāo)的大面積長時間遮擋情況.當(dāng)目標(biāo)被遮擋,可視面積將發(fā)生變化,巴氏系數(shù)也會發(fā)生相應(yīng)的改變,利用這一特性可以判斷目標(biāo)被遮擋的程度.定義遮擋判斷因子為
根據(jù)上述分析,給出目標(biāo)跟蹤算法步驟如下:
①手動選擇目標(biāo)的初始位置并用紅色框表示,初始化當(dāng)前幀中目標(biāo)位置為^y0,將目標(biāo)跟蹤區(qū)域等分成4個子區(qū)域.
②根據(jù)文獻(xiàn)[6]中公式分別求解出4塊原目標(biāo)模型特征直方圖qu和候選目標(biāo)模型特征直方圖qu(y).
③采用式(3)計算出每個子分塊的權(quán)值系數(shù).
④計算目標(biāo)新位置y1:
式中,wi為權(quán)值系數(shù).
⑤計算候選目標(biāo)聯(lián)合直方圖 {pk(y1)},k=1,2,3,4,同時計算
⑥通過判定規(guī)則,對遮擋情況進(jìn)行判定.如果大面積遮擋,執(zhí)行⑦;否則,先利用單個核函數(shù)進(jìn)行迭代跟蹤目標(biāo)位置,然后轉(zhuǎn)到⑨.
⑦對已經(jīng)計算出的多組目標(biāo)位置,采用基于D-S證據(jù)理論信息融合方法,對多組目標(biāo)位置進(jìn)行融合判斷,得到最佳的目標(biāo)位置,結(jié)果記為
采用傳統(tǒng)Mean-Shift算法和本文算法進(jìn)行對比實驗.圖3(a)是傳統(tǒng)Mean-Shift算法目標(biāo)跟蹤結(jié)果.由圖可知,當(dāng)目標(biāo)未進(jìn)入遮擋區(qū)域時可以較好地跟蹤上運動目標(biāo);但跟蹤到第50幀左右時,目標(biāo)大部分面積被遮擋,在長時間遮擋過程中,目標(biāo)跟蹤區(qū)域始終出現(xiàn)抖動滯后現(xiàn)象.圖3(b)為本文所提出的目標(biāo)跟蹤算法跟蹤的效果,從圖中可以看出,跟蹤效果有明顯的提高,在整個遮擋過程中,可以很好地跟蹤上原目標(biāo).
圖3 視頻1跟蹤效果
針對長時間大面積遮擋情況下的目標(biāo)跟蹤問題,本文提出了基于證據(jù)理論和多核函數(shù)融合的目標(biāo)跟蹤方法,較好地解決了目標(biāo)部分遮擋問題.而當(dāng)目標(biāo)被全部遮擋時,目標(biāo)的特征信息無法獲取,對目標(biāo)實時跟蹤帶來嚴(yán)重的影響,下一步作者將著重解決該問題.
References)
[1] 楊欣,劉加,周鵬宇,等.基于多特征融合的粒子濾波自適應(yīng)目標(biāo)跟蹤算法[J].吉林大學(xué)學(xué)報:工學(xué)版,2015,45(2):533-539.Yang Xin,Liu Jia,Zhou Pengyu,et al.Adaptive particle filter for object tracking based on fusing multiple features[J].Journal of Jilin University:Engineering and Technology Edition,2015,45(2):533-539.(in Chinese)
[2] Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.
[3] 楊欣,費樹岷,李剛,等.基于復(fù)雜特征融合的改進(jìn)Mean Shift目標(biāo)跟蹤[J].控制與決策,2014,29(7):1297-1300.Yang Xin,F(xiàn)ei Shumin,Li Gang,et al.Improved Mean Shift tracking algorithm based on complicated feature fusion[J].Control and Decision,2014,29(7):1297-1300.(in Chinese)
[4] 何志勇,蔡樂才,許繼家.基于 Mean Shift算法跟蹤視頻中運動目標(biāo)[J].鄭州大學(xué)學(xué)報:理學(xué)版,2010,42(1):38-40.He Zhiyong,Cai Lecai,Xu Jija.Tracking moving objects based on Mean Shift algorithm in video[J].Journal of Zhengzhou University:Natural Science Edition,2010,42(1):38-40.(in Chinese)
[5] 易建政,汪金軍,張俊坤,等.DS證據(jù)理論在信息融合中的應(yīng)用研究[J].國外電子測量技術(shù),2010(12):31-34.Yi Jianzheng,Wang Jinjun,Zhang Junkun,et al.Application research on D-S evidence theory in data fusion[J]. Foreign ElectronicMeasurement Technology,2010(12):31-34.(in Chinese)
[6] Comaniciu D,Meer P.Mean shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
[7] 劉惟錦,章毓晉.基于Kalman濾波和邊緣直方圖的實時目標(biāo)跟蹤[J].清華大學(xué)學(xué)報:自然科學(xué)版,2008,48(7):1104-1107.Liu Weijin,Zhang Yujin.Edge-color-histogram and Kalman filter-based real-time object tracking[J].Journal of Tsinghua University:Science and Technology,2008,48(7):1104-1107.(in Chinese)
[8] Pylkko H,Riekki J,Roning J.Real-time color-based tracking via a marker interface[C]//IEEE International Conference on Robotics and Automation.Seoul,Korea,2001,2:1214-1219.
[9] Gao L P,Jia J,Dong L B.An improved fusion algorithm of evidence theory[C]//Conference on Cross Strait Quad-Regional Radio Science and Wireless Technology.Harbin,China,2011,2:1495-1498.
[10] Li Y B,Wang N,Zhou C.Based on D-S evidence theory of information fusion improved method[C]//International Conference on Computer Application and System Modeling.Taiyuan,China,2010,1:416-419.