融合梯度和色度信息的分塊均值漂移目標(biāo)跟蹤*

唐繼勇，仲元昌，張校臣，趙國龍

(1.重慶電子工程職業(yè)學(xué)院 計(jì)算機(jī)學(xué)院，重慶 401331;2.重慶大學(xué) 飛行器測控與通信教育部重點(diǎn)實(shí)驗(yàn)室，重慶 400044)

1 引言

目標(biāo)跟蹤作為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，在圖像分割、目標(biāo)識別、視頻分析等領(lǐng)域已得到了廣泛應(yīng)用［1－2］，均值漂移(Mean Shift，MS)算法最早于1975 年被Fukunaga 等人［3］提出，是一種非參數(shù)化迭代估計(jì)算法，隨后在Cheng 等人［4］研究的基礎(chǔ)上，Comaniciu 等人［5］將均值漂移算法引入了目標(biāo)跟蹤這一領(lǐng)域。

經(jīng)典MS 目標(biāo)跟蹤算法僅采用RGB 顏色信息作為目標(biāo)跟蹤過程中的特征模型，雖然顏色特征對目標(biāo)旋轉(zhuǎn)、形變有較強(qiáng)的穩(wěn)定性，但忽略了視頻圖像的空間信息，容易受到顏色相似或部分遮擋的干擾，從而導(dǎo)致經(jīng)典MS 目標(biāo)跟蹤算法的跟蹤準(zhǔn)確性不佳［6－7］。為此，Adam 等人［8］涉及將所感興趣的目標(biāo)做了分塊處理，每子塊區(qū)域在最佳匹配位置做加權(quán)處理以估計(jì)最終目標(biāo)位置信息。文獻(xiàn)［9］利用分塊目標(biāo)區(qū)域來對遮擋問題進(jìn)行處理，因此，在存在遮擋問題時(shí)，對目標(biāo)區(qū)域劃分為多個(gè)子塊是一種有效的方法。許多學(xué)者認(rèn)為多特征融合是解決均值漂移目標(biāo)跟蹤算法不足的有效方法［10－13］，其中，文獻(xiàn)［13］提出一種多特征融合跟蹤方法，提取了顏色和LBP 紋理特征，并融合特征引入到Mean Shift 目標(biāo)跟蹤算法中，該算法可以有效解決單一顏色特征帶來的跟蹤準(zhǔn)確度不高的缺陷。

受到文獻(xiàn)［8－13］的啟發(fā)，第一，考慮到Prewitt算子利用水平與垂直模板提取目標(biāo)梯度信息具有結(jié)構(gòu)信息，能克服顏色干擾的影響;第二，在顏色空間中，考慮到色度特征受光照較小的影響以及目標(biāo)跟蹤框分塊能夠增強(qiáng)特征的空間位置關(guān)系，并且能夠有效解決遮擋問題，因此，本文提出一種融合Prewitt梯度和色度信息的分塊均值漂移目標(biāo)跟蹤算法。由于跟蹤框邊界存在的有用信息較少且存在一定背景干擾，因此，為了減少邊界背景干擾，在原跟蹤框長寬縮減為原來90%的區(qū)域內(nèi)進(jìn)行分塊處理，并提取色度特征和Prewitt 梯度幅值特征信息，利用Bhattacharyya 距離計(jì)算參考目標(biāo)區(qū)域與候選區(qū)域間各個(gè)子塊的相似性程度，根據(jù)相似程度融合相應(yīng)子塊的色度特征和梯度特征，在此基礎(chǔ)上，將各子塊采用串接的方式構(gòu)造新的目標(biāo)特征模型，最后，利用均值漂移原理迭代估計(jì)目標(biāo)最終位置信息。對比實(shí)驗(yàn)表明，該算法提高了在顏色相似干擾場景下目標(biāo)跟蹤的準(zhǔn)確性。

2 Mean Shift 目標(biāo)跟蹤原理

2.1 目標(biāo)描述

假定跟蹤框內(nèi)含有n個(gè)像素{ xi}，i=1，2，…，n，每個(gè)像素對應(yīng)的位置坐標(biāo)矢量為{ Xi}i=1，2，…，n，X0表示參考目標(biāo)跟蹤框區(qū)域的中心位置坐標(biāo)值，并將其特征空間量化為m 等級，則對于位置中心點(diǎn)坐標(biāo)為X0的核函數(shù)直方圖特征{ qu}u=1，2，…，m可由如下公式計(jì)算:

式中，C 是歸一化系數(shù);δ 為Kronecker delta 函數(shù)，即;u 表示特征空間量化后特征值的個(gè)數(shù);b (Xi)表示坐標(biāo)點(diǎn)Xi對應(yīng)的像素值映射到特征空間;h 是跟蹤窗帶寬;k(·)采用Epanechnikov核函數(shù)［14］，見公式(3)，其目的是為了得到不同位置的權(quán)值，該權(quán)值與偏離中心點(diǎn)的距離成反比。

式中，r 是偏離所選中心點(diǎn)位置坐標(biāo)的距離。類似地，對于中心位置坐標(biāo)為Y0的候選區(qū)域，其候選區(qū)域跟蹤框仍有n個(gè)位置坐標(biāo)矢量{ Yi}i=1，2，…，n，則該區(qū)域的核函數(shù)直方圖特征{pu(Y0)}u=1，2，…，m利用公式(1)可獲得。

2.2 Mean Shift 位置估計(jì)

Mean Shift 目標(biāo)跟蹤算法估計(jì)目標(biāo)位置信息的過程，其實(shí)質(zhì)是計(jì)算Mean Shift 向量，并通過該向量迭代更新跟蹤窗的中心位置信息，尋找參考目標(biāo)區(qū)域與候選區(qū)域之間Bhattacharyya 系數(shù)的極大值，其所對應(yīng)的候選區(qū)域是當(dāng)前幀的跟蹤結(jié)果。利用公式(4)計(jì)算偏移向量，將目標(biāo)位置Y0移動(dòng)到Y(jié)1:

式中，wi表示每個(gè)像素點(diǎn)的權(quán)重，表達(dá)式為

選擇Epanechnikov 核將公式(4)表示為

3 分塊融合的均值漂移目標(biāo)跟蹤算法

3.1 Prewitt 梯度幅值

Prewitt 算子表示一階微分的邊緣檢測算子，采用像素點(diǎn)上下、左右鄰點(diǎn)的灰度像素差，能夠在邊界處達(dá)到極值檢測邊緣，去掉部分偽邊緣，對噪聲具有平滑作用［15］。

假設(shè)視頻序列圖像為f，建立3 ×3 模板，中心位置像素用f (i，j)表示，其鄰域像素從左上角順時(shí)針旋轉(zhuǎn)依次用f (i－1，j－1)、f (i－1，j)、f (i－1，j+1)、f (i，j+1)、f (i+1，j +1)、f (i+1，j)、f (i+1，j－1)、f (i，j－1)。利用Prewitt 算子的水平與垂直模板計(jì)算出當(dāng)前的檢測值，見公式(7)～(8)，其值用公式(9)計(jì)算所得:

3.2 融合梯度信息的分塊均值漂移目標(biāo)跟蹤

由Mean Shift 目標(biāo)跟蹤原理分析可知，目標(biāo)表示方法的優(yōu)劣影響Mean Shift 目標(biāo)跟蹤性能。考慮到Prewitt 算子利用水平與垂直模板提取目標(biāo)梯度信息具有結(jié)構(gòu)信息化能夠克服顏色干擾的影響，另一方面考慮目標(biāo)跟蹤框分塊能夠增強(qiáng)特征的空間位置關(guān)系，并且能夠有效解決遮擋問題［9］，也能將全局特征轉(zhuǎn)化為局部特征來描述目標(biāo)模型，故提出一種融合Prewitt 梯度信息的分塊均值漂移目標(biāo)跟蹤算法。

3.2.1 分塊處理

由于傳統(tǒng)Mean Shift 目標(biāo)跟蹤算法采用的顏色特征是一種全局特征，為了更好地描述圖像局部特征，對目標(biāo)所在的矩形區(qū)域進(jìn)行分塊處理是一個(gè)不錯(cuò)的選擇。利用矩形框畫出所感興趣的目標(biāo)區(qū)域，由于所跟蹤目標(biāo)的大量有用信息處于跟蹤框中間，越靠近跟蹤框中心，其有用成分越多，而跟蹤框邊界的有用成分相對較少，含有大量的背景信息，背景信息的干擾也會使目標(biāo)跟蹤的性能下降。為了降低跟蹤框邊界背景對目標(biāo)跟蹤的干擾，在跟蹤框的上下左右各自縮小5%，再在縮小后的區(qū)域內(nèi)分成互不重疊的4個(gè)子塊，如圖1 所示。若長寬為2 的倍數(shù)，則均分視頻圖像，否則，在視頻圖像感興趣的部分采用整除的方法選擇分割點(diǎn)，構(gòu)成4個(gè)子塊。

圖1 區(qū)域分塊Fig.1 Area blocking

3.2.2 融合Prewitt 梯度信息的分塊模型

在3.2.1 節(jié)的基礎(chǔ)上，在目標(biāo)區(qū)域或候選區(qū)域上分別提取子塊的色度顏色核函數(shù)直方圖和梯度直方圖，均采用量化等級為16，本文主要針對場景中存在顏色相似干擾的情況下，計(jì)算參考目標(biāo)區(qū)域與候選區(qū)域?qū)?yīng)子塊的Bhattacharyya 系數(shù)，根據(jù)其系數(shù)設(shè)定一個(gè)規(guī)則來融合色度顏色特征與Prewitt 梯度幅值特征，建立每個(gè)子塊新的特征模型。該融合規(guī)則依據(jù)這兩種特征在跟蹤過程中所作的貢獻(xiàn)度來進(jìn)行加權(quán)融合，見公式(10):

式中，i 表示子塊數(shù);α 和β 分別是顏色和梯度在跟蹤過程中所作貢獻(xiàn)的權(quán)值，滿足α+β=1，其貢獻(xiàn)越大，權(quán)值越大;分別是色度概率模型和梯度概率模型。假定色度顏色特征的相似度系數(shù)為A，梯度幅值特的相似度系數(shù)為B，由于本文主要考慮場景為顏色相似干擾的情況，因此，在存在相似顏色干擾的子塊，雖然該子塊的顏色相似度系數(shù)較梯度幅值相似度系數(shù)大，但是顏色特征受到較大的影響，因而顏色所作貢獻(xiàn)較小，在融合策略下，應(yīng)該賦予較小的權(quán)值，則顏色權(quán)值α=B/(A +B)，梯度權(quán)值β=A/(A+B)。

在這樣的融合規(guī)則下獲得每個(gè)子塊新的特征模型，再將每個(gè)子塊利用首尾相連的方法構(gòu)建新的目標(biāo)特征模型，最后，利用Mean Shift 目標(biāo)跟蹤原理估計(jì)最終位置信息以完成目標(biāo)跟蹤。

3.2.3 算法步驟

綜上所述，本文提出融合Prewitt 梯度信息的分塊均值漂移目跟蹤算法具體計(jì)算過程如下:

步驟1:初始化跟蹤目標(biāo)，利用3.2.1 節(jié)分塊處理的方法劃分跟蹤框，在其每個(gè)子塊內(nèi)提取顏色特征與梯度信息特征，并利用等貢獻(xiàn)值來構(gòu)建參考目標(biāo)模型，記錄當(dāng)前幀的位置信息;

步驟2:將前一幀位置信息作為當(dāng)前幀的位置信息，在候選區(qū)域內(nèi)提取每個(gè)子塊的色度顏色特征與Prewitt 梯度特征，計(jì)算目標(biāo)區(qū)域與候選區(qū)域間每個(gè)子塊的相似性程度，并根據(jù)相似性程度設(shè)定一個(gè)融合規(guī)則，融合相應(yīng)子塊的色度特征和梯度幅值特征，在此基礎(chǔ)上，將各子塊構(gòu)建的新特征模型通過串接方式形成新的目標(biāo)模型;

步驟3:依據(jù)均值漂移目標(biāo)跟蹤的迭代原理，記錄目標(biāo)在當(dāng)前位置Y0移動(dòng)到新位置的信息Y1;

步驟4:計(jì)算目標(biāo)區(qū)域與新位置的相似性程度ρ1，比較ρ1和ρ0，若ρ1＜ρ0，更新位置信息，轉(zhuǎn)到步驟2，否則，進(jìn)行步驟5;

步驟5:讀取下一幀，并記錄當(dāng)前幀估計(jì)的目標(biāo)位置信息Y1，并采用原始跟蹤框大小進(jìn)行鎖定目標(biāo)，轉(zhuǎn)到步驟2。

4 實(shí)驗(yàn)分析

為了驗(yàn)證場景中存在背景干擾時(shí)本文算法的性能，本文采用的實(shí)驗(yàn)平臺是Microsoft visual Studio 2012 結(jié)合開源opencv2.4.0;硬件平臺為Intel(R)Core(TM)2 Duo CPU T6500@2.10GHz 2.10 GHz 處理器，2.00 GB 安裝內(nèi)存(RAM)。選用的跟蹤對象存在背景干擾、姿態(tài)變化或相似顏色遮擋的視頻，并與文獻(xiàn)［5］進(jìn)行實(shí)驗(yàn)對比，以此說明本文算法的有效性。

第1個(gè)視頻圖像序列的分辨率是128 ×96，共51 幀，所選的跟蹤目標(biāo)是人臉，選用的場景是利用自身手遮擋臉部位置，從右向左、在從左向右來回地在臉部位置前方移動(dòng)。從左到右依次表示第3、15、24 以及46 幀的跟蹤結(jié)果，圖2 表示部分實(shí)驗(yàn)結(jié)果。

由于在跟蹤人臉的過程中，人臉處于不移動(dòng)的狀態(tài)，但是出現(xiàn)了自身手遮擋人臉的情況，導(dǎo)致相似顏色的遮擋。雖然文獻(xiàn)［5］采用了核函數(shù)來增加局部特征結(jié)構(gòu)，但是顏色特征仍選用的是傳統(tǒng)顏色，因此，文獻(xiàn)［5］算法會產(chǎn)生巨大的偏差，甚至跟蹤手的移動(dòng)，跟蹤框隨之移動(dòng)，導(dǎo)致丟失，見圖2(a)所示。圖2(b)表示本文算法，由于本文算法縮小跟蹤框并采用能夠表現(xiàn)結(jié)構(gòu)特征的梯度信息在分塊均值偏移原理下進(jìn)行目標(biāo)跟蹤，由于未遮擋處在視頻跟蹤過程中所作的貢獻(xiàn)度大，本文分塊所做的作用即是表示每塊跟蹤相似性程度所得的權(quán)值大小不一，貢獻(xiàn)越大其權(quán)值越大，可見本文算法能夠有效跟蹤目標(biāo)，提高跟蹤的準(zhǔn)確度。

圖2 第1個(gè)視頻圖像序列跟蹤結(jié)果(從左到右依次是第3、15、24 以及46 幀)Fig.2 Tracking results of the first vedio sequence(they are frame 3，15，24 and 46 from left to right)

表1 和表2 分別是相應(yīng)幀中心位置坐標(biāo)點(diǎn)值及相應(yīng)幀誤差，表3 表示整段視頻跟蹤性能，由表可知，本文算法的準(zhǔn)確度有所提高。

表1 第1個(gè)視頻圖像系列相應(yīng)幀的中心位置坐標(biāo)點(diǎn)值Table 1 Center coordinate point of the frame of the first video sequence

表2 第1個(gè)視頻圖像序列相應(yīng)幀誤差Table 2 Error of the frame of the first video sequence

表3 第1個(gè)視頻圖像系列跟蹤性能Table 3 Tracking performance of the first video sequence

第2個(gè)視頻圖像序列的場景為室內(nèi)環(huán)境下，截取整個(gè)視頻的某一段視頻部分作為實(shí)驗(yàn)分析部分，所感興趣的對象時(shí)一個(gè)穿著顏色和背景顏色相似的人，部分實(shí)驗(yàn)結(jié)果選取了截取之后的第3、5、10 以及15 幀，如圖3 所示。

圖3 第2個(gè)視頻圖像序列跟蹤結(jié)果(從左到右依次是第3、5、10 以及15 幀)Fig.3 Tracking results of the second vedio sequence(they are frame 3，5，10 and 15 from left to righ)

對比實(shí)驗(yàn)發(fā)現(xiàn)，由于文獻(xiàn)［5］采用的傳統(tǒng)顏色特征建模，忽略了目標(biāo)顏色與背景顏色相似的影響，使得目標(biāo)跟蹤效果不佳，出現(xiàn)了偏差，甚至跟蹤框與目標(biāo)運(yùn)動(dòng)位置產(chǎn)生分離，使得跟蹤丟失，見圖3(a);本文算法在采用顏色信息建模的同時(shí)，提取了具有一定目標(biāo)結(jié)構(gòu)的梯度信息特征，使得在場景中存在背景顏色相似干擾時(shí)，可通過梯度特征到達(dá)對目標(biāo)準(zhǔn)確跟蹤的效果，如圖3(b)所示。表4 和表5 分別是相應(yīng)幀中心位置坐標(biāo)點(diǎn)值及相應(yīng)幀誤差，整個(gè)視頻的跟蹤性能見表6 所示。雖然計(jì)算復(fù)雜度增加了，但是由于目標(biāo)特征表述的準(zhǔn)確性，使得平均迭代次數(shù)減低，從而提高了時(shí)間效率。通過數(shù)據(jù)可以看出本文算法能夠提高跟蹤的準(zhǔn)確度。

表4 第2個(gè)視頻圖像序列相應(yīng)幀的中心位置坐標(biāo)點(diǎn)值Fig.4 Center coordinate point of the frame of the second video sequence

表6 第2個(gè)視頻圖像序列跟蹤性能Fig.6 Tracking performance of the second video sequence

5 結(jié)束語

本文針對當(dāng)場景中存在相似顏色干擾時(shí)，文獻(xiàn)［5］易導(dǎo)致目標(biāo)跟蹤產(chǎn)生偏差甚至丟失目標(biāo)的問題，提出將分塊和特征融合思想引入到MS 框架中。首先在跟蹤框的長寬縮減為90%大小區(qū)域內(nèi)，分成互不重疊的4個(gè)子塊，并提取各子塊的Prewitt 梯度特征和色度特征;其次，利用各子塊的Bhattacharyya系數(shù)獲得相應(yīng)子塊權(quán)值，并采用融合策略構(gòu)造新子塊特征，在此基礎(chǔ)上，選擇串接方式建立新特征模型;最后引入到MS 框架中實(shí)現(xiàn)目標(biāo)跟蹤。通過實(shí)驗(yàn)分析可知，在相似顏色干擾的情況下，本文算法較文獻(xiàn)［5］的跟蹤準(zhǔn)確度提高了84%左右，在相似顏色干擾和遮擋的情況下，本文算法較文獻(xiàn)［5］的跟蹤準(zhǔn)確度提高了72.1%左右，均能獲得很好的目標(biāo)跟蹤效果。同時(shí)，由于目標(biāo)表述的準(zhǔn)確性，使得MS目標(biāo)跟蹤中迭代次數(shù)減少，因而提高了時(shí)間效率，可廣泛適用于相似顏色場景中的目標(biāo)跟蹤。

［1］Yilmaz A，Shafique K，Sha H M.Target Tracking in airborne for ward looking in frared imagery［J］.International Journal of Image and Vision Computing，2003，21(7):623－635.

［2］Chen K，Song K K，Kyoungho C，et al.Optimized meanshift target reference mo del based on improved pixel weighting in visual tracking［J］.Journal of Electronics(China)，2013，30(3):283－289.

［3］Fukunaga K，Hostetler L.The Estimation of The Gradient of A Density Function with Application in Pattern Recognition［J］.IEEE Transactions on Information Theory，1975，21(1):32－40.

［4］Cheng Y Z.Mean Shift，mode secking，and clustering［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17(8):790－799.

［5］Comaniciu D，Ramesh V，Meer P.Kernel－based object tracking［J］.IEEE Transactions on Pattern Analysis and Machinee Intelligence，2003，25(5):564－575.

［6］董文會，常發(fā)亮，李天平.融合顏色直方圖及SIFT 特征的自適應(yīng)分塊目標(biāo)跟蹤方法［J］.電子與信息學(xué)報(bào)，2013，35(4):770－776.DONG Wenhui，CHANG Faliang，LI Tianping.Adaptive Fragments－based Target Tracking MethodFusing Color Histogram and SIFT Features［J］.Journal of Electronics ＆ Information Technology，2013，35(4):770－776.(in Chinese)

［7］顧幸方，茅耀斌，李秋潔.基于Mean Shift 的視覺目標(biāo)跟蹤算法綜述［J］.計(jì)算機(jī)科學(xué)，2012，39(12):16－24.GU Xingfang，MAO Yaobin，LI Qiujie，Survey on Visual Tracking Algorithms Based on Mean Shift［J］.Computer Science，2012，39(12):16－24.(in Chinese)

［8］Adam A，Rivlin E.Shimshoni I.Robust fragments－based tracking using the integral histogram［C］//Proceedings of 2006 IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE，2006:798－805.

［9］顏佳，吳敏淵，陳淑珍，等.應(yīng)用Mean Shift 和分塊的抗遮擋跟蹤［J］.光學(xué)精密工程，2010，18(6):1413－1420.YAN Jia，WU Minyuan，CHEN Shuzhen，et a1.Anti－occlusion tracking algorithm based on Mean Shift and fragments［J］.Optics and Precision Engineering，2010，18(6):1413－1420.(in Chinese)

［10］倪琦，賀明，張國進(jìn)，等.基于多特征融合的Mean Shift 跟蹤算法［J］.強(qiáng)激光與粒子束，2014，26(10):147－151.NI Qi，HE Ming，ZHANG Guojin，et a1.Tracking algorithm based on multi－ feature fusion Mean Shift［J］.High Power Laser and Particle Beams，2014，26(10):147－151.(in Chinese)

［11］丁業(yè)兵，李敬仕，方國濤，等.多特征連續(xù)自適應(yīng)均值漂移人臉跟蹤算法［J］.計(jì)算機(jī)應(yīng)用，2014，34(S2):276－279.DING Yebing，LI Jingshi，F(xiàn)ANG Guotao，et a1.Multi－feature face tracking algorithm with continuously adaptive mean shift［J］.Journal of Computer Applications，2014，34(S2):276－279.(in Chinese)

［12］張紅穎，胡正.融合局部三值數(shù)量和色度信息的均值漂移跟蹤［J］.電子與信息學(xué)報(bào)，2014，36(3):624－631.ZHANG Hongying，HU Zheng.Mean Shift Tracking Method Combing Local Ternary Number with Hue Information［J］.Journal of Electronics ＆ Information Technology，2014，36(3):624－631.(in Chinese)

［13］姚原青，李峰，周書仁.基于顏色－紋理特征的目標(biāo)跟蹤［J］.計(jì)算機(jī)工程與科學(xué)，2014，36(8):1581－1588.YAO Yuanqing，LI Feng，ZHOU Shuren.Target tracking based on color and the texture feature ［J］.Computer Engineering and Science，2014，36(8):1581－ 1588.(in Chinese)

［14］Comaniciu D，Ramesh V，Meer P.Real－Time Tracking of NonRigid Objects using Mean Shift［C］//Proceedings of 2000 International Conference on Computer Vision and Pattern Recognition.Columbus，OH:IEEE，2000:142－149.

［15］Prewitt J M S，Mendelsohn M L.The Analysis of Cell Image［M］.New York:Academy Science1966:1035－1053.