基于改進(jìn)巴氏指標(biāo)和模型更新的視覺跟蹤算法

黃安奇，侯志強(qiáng)，余旺盛，劉 翔

（空軍工程大學(xué) 信息與導(dǎo)航學(xué)院，陜西 西安710077）

引言

視覺跟蹤問題是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)熱點(diǎn)問題［1］。在各種各樣的跟蹤算法中，Mean Shift算法由于其計(jì)算復(fù)雜度低、穩(wěn)健性較好和易于工程實(shí)現(xiàn)等優(yōu)點(diǎn)已經(jīng)廣泛應(yīng)用到各種實(shí)時(shí)跟蹤系統(tǒng)中［2］。經(jīng)典的 Mean Shift算法用Bhattacharyya系數(shù)進(jìn)行相似度度量，但是 Khalid M.S.等人［3］發(fā)現(xiàn)應(yīng)用巴氏指標(biāo)對灰度圖像進(jìn)行匹配時(shí)存在偏差。應(yīng)用傳統(tǒng)的巴氏指標(biāo)進(jìn)行匹配存在偏差的根本原因在于背景特征的干擾。為了減少背景特征對目標(biāo)定位的干擾，Liu［4］提出一種基于背景對照的相似度度量標(biāo)準(zhǔn)。Comaniciu［5］提出了背景加權(quán)直方圖（background-weighted histogram）方法，隨后國內(nèi)外有很多基于背景加權(quán)直方圖的改進(jìn)算法被提出［6－7］。但是 Ning在文獻(xiàn)［8］中經(jīng)過理論推導(dǎo)和實(shí)驗(yàn)證明，文獻(xiàn)［5］中的方法本質(zhì)上與傳統(tǒng)的Mean Shift算法是等價(jià)的，于是對其進(jìn)行了修正，提出了修正的背景加權(quán)直方圖（corrected background-weighted histogram）方法。該方法能夠真正地降低目標(biāo)模型中背景特征的概率。文獻(xiàn)［9］同時(shí)利用了在線學(xué)習(xí)的目標(biāo)及背景信息，能夠較好地減少跟蹤漂移問題。

Mean Shift算法由于本身缺少必要的模型更新策略，當(dāng)場景中目標(biāo)外觀變化較大時(shí)，目標(biāo)模型會逐漸漂移從而導(dǎo)致跟蹤失敗。目前針對Mean Shift算法中的模型更新問題，國內(nèi)外都已經(jīng)作了很多研究［10］，但是大部分更新算法只考慮了目標(biāo)模型而忽略了背景模型。文獻(xiàn)［11］通過引入背景模型提出了一種基于雙模型判定的更新算法，有效區(qū)分了目標(biāo)特征變化和短時(shí)遮擋對于跟蹤的不同影響。

綜合考慮以上算法的優(yōu)缺點(diǎn)，本文提出了一種基于改進(jìn)的巴氏指標(biāo)和模型更新的視覺跟蹤算法，從相似度指標(biāo)和模型更新2個(gè)方面對傳統(tǒng)的Mean Shift算法進(jìn)行改進(jìn)。首先通過引入前景／背景置信值對原始的巴氏指標(biāo)進(jìn)行改進(jìn)，然后基于改進(jìn)的巴氏指標(biāo)，對目標(biāo)與背景區(qū)域雙模型相似度系數(shù)進(jìn)行綜合分析，準(zhǔn)確地判斷干擾目標(biāo)匹配的原因，從而制定正確的模型更新策略。

1 傳統(tǒng)的Mean Shift跟蹤算法

Mean Shift跟蹤算法［12］的基本思想是選擇目標(biāo)模型和候選模型的顏色直方圖之間的相似度作為代價(jià)函數(shù)，通過梯度下降法迭代搜索代價(jià)函數(shù)的最大值。

目標(biāo)模型的顏色直方圖＾q＝｛＾qu｝u＝1，…，m表示為

類似于目標(biāo)模型直方圖，候選模型的顏色直方圖＾p（y）＝｛＾pu（y）｝u＝1，…，m表示為

目標(biāo) 模 型 的 顏 色 直 方 圖 ＾p＝ ｛＾pu｝u＝1，…，m表示為

用Bhattacharyya系數(shù)來量測這2個(gè)模型的相似度，即目標(biāo)模型和候選模型的相似度為

目標(biāo)跟蹤的關(guān)鍵就是尋找使得ρ（y）取得最大值的候選目標(biāo)的位置，通過將ρ［＾p（y），＾q］在y0處展開，計(jì)算目標(biāo)的新位置：

2 改進(jìn)的巴氏指標(biāo)

針對傳統(tǒng)巴氏指標(biāo)的不足，本文將基于背景直方圖的前景／背景置信值引入到傳統(tǒng)的巴氏系數(shù)中，這種改進(jìn)的相似度指標(biāo)能夠有效地抑制背景干擾。

式中，η表示任意小的非零常數(shù)。從（5）式可知：如果顏色特征u在目標(biāo)模型中是顯著的，即＾qu≥＾ou，那么＾qu與＾ou的差值越大，顏色特征u所對應(yīng)的置信值vu就越大。如果顏色特征u在背景區(qū)域是顯著的，即＾qu＜＾ou，那么顏色特征vu所對應(yīng)的置信值為0。因此，通過對前景特征突出的區(qū)域賦予較大的權(quán)值，對背景特征突出的區(qū)域賦予較小的權(quán)值或賦為0，從而有效地降低了目標(biāo)模型中背景特征的概率，減少了背景特征對目標(biāo)定位的干擾。

把vu帶入傳統(tǒng)的相似性度量 （3）式中得：

ρ?（y）就是本文提出的一種將前景／背景置信值與Bhattacharyya系數(shù)相結(jié)合的相似度指標(biāo)。定義新的權(quán)系數(shù)為＝，所以 （4）式可以寫成：

3 基于改進(jìn)巴氏指標(biāo)的模型更新策略

一個(gè)良好的模型更新策略需要解決2個(gè)問題：一是模型更新時(shí)機(jī)；二是模型更新準(zhǔn)則。

3.1 模型更新時(shí)機(jī)

要確定模型的更新時(shí)機(jī)，必須判斷導(dǎo)致模型發(fā)生變化的原因。通常目標(biāo)和背景模型發(fā)生變化有以下幾種情況：

1）背景特征基本不變而目標(biāo)本身的特征發(fā)生了變化，如目標(biāo)發(fā)生了平面外旋轉(zhuǎn)。

2）發(fā)生了遮擋，目標(biāo)的局部區(qū)域被背景中的非目標(biāo)特征所覆蓋。

3）由于目標(biāo)的平移，導(dǎo)致跟蹤場景中背景特征的改變，而目標(biāo)的本身特征基本不變。

4）目標(biāo)所處的場景整體發(fā)生變化。

目標(biāo)和背景特征的變化通常是不同步的，由于背景變化的頻繁性，本文算法中每一幀都對背景模型進(jìn)行更新，然后通過對目標(biāo)與背景雙模型相似度系數(shù)進(jìn)行綜合分析，判斷干擾目標(biāo)匹配的原因，從而決定目標(biāo)模型的更新時(shí)機(jī)。設(shè)當(dāng)前幀的背 景 特 征 直 方 圖 為 ｛＾o′u｝u＝1，…，m，置 信 值 為｛＾v′u｝u＝1，…，m，則當(dāng)前幀的背景模型和前一幀的背景模型之間的相似度可以表示為

針對目標(biāo)模型和背景模型設(shè)定2個(gè)相似度閾值ρt1和ρt2，對2個(gè)相似度系數(shù)進(jìn)行綜合分析確定目標(biāo)模型的更新時(shí)機(jī)：

1）當(dāng)ρ＞ρt1，ρo＞ρt2時(shí)，目標(biāo)和背景都無明顯變化，不對目標(biāo)模型進(jìn)行更新。

2）當(dāng)ρ＞ρt1，ρo＜ρt2時(shí)，目標(biāo)無明顯變化，背景發(fā)生較大變化，不更新目標(biāo)模型。

3）當(dāng)ρ＜ρt1，ρo＞ρt2時(shí)，背景無明顯變化，目標(biāo)發(fā)生較大變化，此時(shí)需要對目標(biāo)模型進(jìn)行更新。

4）當(dāng)ρ＜ρt1，ρo＜ρt2時(shí)，目標(biāo)和背景都發(fā)生了較大變化。這可能是由2種情況導(dǎo)致的：一種情況是目標(biāo)特征和背景特征都各自發(fā)生了變化；另一種情況是目標(biāo)發(fā)生了遮擋。為了區(qū)別這2種情況，定義目標(biāo)候選模型和背景模型的相似度為

設(shè)定ρ′的閾值為ρ′t。則當(dāng)ρ＜ρt1，ρo＜ρt2且ρ′＞ρ′t時(shí)，說明大量的背景特征出現(xiàn)在了目標(biāo)模型中，即發(fā)生了遮擋現(xiàn)象，此時(shí)不對目標(biāo)模型進(jìn)行更新；當(dāng)ρ＜ρt1，ρo＜ρt2且ρ′＜ρ′t時(shí)，說明目標(biāo)自身特征發(fā)生了變化，此時(shí)需要對目標(biāo)模型進(jìn)行更新。

3.2 模型更新準(zhǔn)則

模型更新需要把握的基本準(zhǔn)則就是，控制更新速度使其與目標(biāo)特征變化相適應(yīng)的同時(shí)抑制模型過更新。本文使用歷史模型和當(dāng)前模型進(jìn)行加權(quán)來對目標(biāo)模型實(shí)施更新：

式中：＾qt－1u、?qtu分別為更新前后目標(biāo)模型的顏色直方圖；＾pu（y）為當(dāng)前最佳候選區(qū)域的顏色直方圖；a為模型控制因子，用來控制模型更新的速度，本文中a的取值范圍是0.6～0.8。

考慮到背景變化的頻繁性，本文在每一幀都使用當(dāng)前幀的背景模型更新上一幀的背景模型：

4 算法步驟

在Mean Shift跟蹤框架下，本文的改進(jìn)算法完整描述如下：

步驟1 設(shè)定目標(biāo)的初始中心位置為y0，按照（1）式計(jì)算目標(biāo)模型的顏色直方圖＾qu，按照（2）式計(jì)算候選模型的顏色直方圖＾pu（y0）；

步驟2 根據(jù)（5）式和（6）式計(jì)算置信值及改進(jìn)的相似度指標(biāo)ρ?（y0）；

步驟3 根據(jù)（7）式計(jì)算目標(biāo)的新位置y1；

步驟4 計(jì)算新位置處的候選模型＾pu（y1）及其與目標(biāo)模型的相似度ρ?（y1）；

步驟5 若ρ?（y1）＜ρ?（y0），則令y1←—（y0＋y1）／2，并返回步驟4；

步驟6 若y0－y1＜ε，則轉(zhuǎn)到步驟7；否則令y0← y—1，并返回步驟2；

步驟7 對3個(gè)相似度系數(shù)ρ、ρo和ρ′進(jìn)行綜合分析，采取正確的更新策略對目標(biāo)模型和背景模型進(jìn)行更新，然后繼續(xù)下一幀的跟蹤。

5 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，將本文方法（ours）與目標(biāo)的真實(shí)位置（ground truth）、原始的Mean Shift跟蹤算法（MS）［12］、修正背景加權(quán)的 Mean Shift算法（CBWH）［8］、基于背景對照的 Mean Shift算法（BCKBT）［4］和利用偏最小二乘分析的目標(biāo)跟蹤算法（PLS）［9］進(jìn)行比較，如圖1、圖2所示。為便于對比和分析，且保持結(jié)論的一般性，幾種算法都不考慮尺度變換。本文的仿真環(huán)境為：Intel G1610CPU，2G內(nèi)存，Windows XP系統(tǒng)，MATLAB 7.12.0。

圖1 跟蹤算法性能的定性比較Fig.1 Qualitative comparison among 4 tracking algorithms

5.1 定性分析

實(shí)驗(yàn)1 采用Takeoff序列，由圖1（a）的跟蹤結(jié)果可以看到：1）原始的MS算法很快丟失目標(biāo)。2）CBWH算法和BCKBT算法隨著目標(biāo)逐漸變小，跟蹤窗口開始出現(xiàn)偏移并最終丟失目標(biāo)。PLS算法在背景特征變化時(shí)，跟蹤結(jié)果同樣出現(xiàn)了偏差。3）本文算法在整個(gè)跟蹤過程中都保持著穩(wěn)定的跟蹤能力。

實(shí)驗(yàn)2 采用Airplane序列，由圖1（b）的跟蹤結(jié)果可以看到：1）原始的MS算法很快便丟失目標(biāo)。2）CBWH算法對于背景特征的劇烈變化不能很好地適應(yīng)，在345幀～676幀丟失目標(biāo)。3）相比CBWH算法，BCKBT算法和PLS算法能夠更好地抑制背景特征的影響，在整個(gè)跟蹤過程中未丟失目標(biāo)。4）以上4種算法在跟蹤過程的最后階段，由于機(jī)身顏色的變化，跟蹤窗口都出現(xiàn)嚴(yán)重偏移。而本文算法在整個(gè)跟蹤過程中都保持著較好的跟蹤性能。

實(shí)驗(yàn)3 采用Trellis視頻序列，由圖1（c）的跟蹤結(jié)果可以看到：1）原始MS算法的跟蹤窗口偏移真實(shí)位置較遠(yuǎn)。2）CBWH算法和BCKBT算法同樣由于缺少必要的模型更新機(jī)制，跟蹤結(jié)果誤差較大。PLS算法在光照變化劇烈時(shí)多次丟失目標(biāo)。3）本文算法則能根據(jù)目標(biāo)的外觀變化，不斷將當(dāng)前目標(biāo)中新出現(xiàn)的顏色分量更新到目標(biāo)模型中，跟蹤性能明顯提高。

實(shí)驗(yàn)4 采用Girl視頻序列，由圖1（d）的跟蹤結(jié)果可以看到：原始的MS算法、CBWH算法和BCKBT算法由于缺少必要的模型更新機(jī)制，跟蹤結(jié)果誤差較大。PLS算法能夠?qū)δ繕?biāo)模型進(jìn)行較好地更新，但是由于不具有遮擋判斷機(jī)制，在遮擋發(fā)生時(shí)將遮擋物的特征更新到了目標(biāo)模型中，最終導(dǎo)致跟蹤失敗。本文算法由于制定了有效的模型更新策略，能夠及時(shí)地將目標(biāo)中新出現(xiàn)的特征更新到目標(biāo)模型中。同時(shí)由于采取了靈活的遮擋判斷機(jī)制，在發(fā)生遮擋時(shí)能夠自動(dòng)停止對模型的更新，使得算法具備較好的魯棒性。

5.2 定量分析

本文對以上4種算法的跟蹤性能進(jìn)行了定量對比。圖2為跟蹤結(jié)果中心點(diǎn)與目標(biāo)真實(shí)中心位置的誤差，真實(shí)位置通過手工標(biāo)注得到。本文算法的中心位置誤差最小。

為了分析算法的實(shí)時(shí)性，表1給出了5種算法跟蹤各組視頻序列時(shí)，處理一幀所需的時(shí)間（單位：ms，粗體為最優(yōu)結(jié)果，粗斜體為次優(yōu)結(jié)果。）可以看出，本文算法雖然涉及相似度指標(biāo)的改進(jìn)和模型更新，但由于提高了跟蹤精度，從而減少了Mean Shift迭代次數(shù)，實(shí)時(shí)性較好，僅次于原始的Mean Shift跟蹤算法。

表1 跟蹤算法實(shí)時(shí)性比較（時(shí)間／ms）Table 1 Real-time performance of these algorithms

6 結(jié)論

針對傳統(tǒng)Mean Shift算法所采用巴氏指標(biāo)的缺陷以及缺少有效的模型更新策略的問題，本文提出了一種基于改進(jìn)的巴氏指標(biāo)和模型更新的視覺跟蹤算法，從相似度指標(biāo)和模型更新2個(gè)方面對傳統(tǒng)的Mean Shift算法進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果表明，該算法能夠有效地抑制背景干擾和進(jìn)行模型更新，最終獲得了更為魯棒的跟蹤性能。

［1］ Wu Y，Lim J，Yang M H.Online object tracking：a benchmark［C］.Portland，United Stater：Proc.of Computer Vision and Pattern Recognition，2013：2411-2418.

［2］ Yang C J，Duraiswami R，Davis L.Efficient meanshift tracking via anew similarity measure［C］.San Diego：Proc.of Computer Vision and Pattern Recognition，2005：176-183.

［3］ Khalid M，Malik M.Biased nature of Bhattacharyya coefficient in correlation of gray-scale objects［C］.Zagreb Croatia：International Symposium on Image and Signal Processing and Analysis，IEEE，2005：209-214.

［4］ Liu Rongli，Jing Zhongliang.Robust kernel-based tracking algorithm with background contrasting［J］.Chinese Optics Letters，2012，10（2）：021001.

［5］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Pattern A-nalysis and Machine Intelligence，2003，25（5）：564-577.

［6］ Jeyakar J，Babu R，Ramakrishnan K R.Robust object tracking with background-weighted local kernels［J］.Comput.Vis.Image Underst.，2009，112（3）：296-309.

［7］ Chen Aibin，Cai Zixing，Dong Deyi.A tracking method based on weighted object and background［J］.Control and Decision，2010，25（8）：1246-1250.陳愛斌，蔡自興，董德毅.一種基于目標(biāo)和背景加權(quán)的目標(biāo)跟蹤方法［J］.控制與決策，2010，25（8）：1246-1250.

［8］ Ning J，Zhang L，Zhang D，et al.Robust mean shift tracking with corrected background-weighted histogram［J］.IET Computer Vision，2012，6（1）：62-69.

［9］ Wang Q，Chen F，Xu W L，et al.Object tracking via partial least squares analysis［J］.IEEE Transactions on Image Processing，2012，21（10）：4454-4465.

［10］Matthews I，Ishikawa T，Baker S.The template update problem［J］.IEEE Transactions on Pattern A-nalysis and Machine Intelligence，2004，26（6）：810-815.

［11］Qin Jian，Zeng Xiaoping，Zeng Hao.Dual template algorithm for mean-shift template update［J］.Application Research of Computers，2009，26 （7）：2771-2774.覃劍，曾孝平，曾浩.均值漂移跟蹤的雙模板更新算法［J］.計(jì)算機(jī)應(yīng)用研究，2009，26（7）：2771-2774.

［12］Comaniciu D，Ramesh V，Meer P.Real-time tracking of non-rigid objects using mean shift［C］.Hilton Head Island，USA：Proc.of Computer Vision and Pattern Recognition，2000：142-149.