基于改進(jìn)CamShift算法的紗管跟蹤方法研究

徐健，陳倩倩，黃磊，孫澤維

(西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048)

0 引 言

紡織是我國重要的國民經(jīng)濟(jì)行業(yè)，而紗管跟蹤與檢測在紡織行業(yè)中起著重要的作用，尤其是在紗管數(shù)量較多或者紗管顏色相近時，容易導(dǎo)致紗管遺漏和放錯,使生產(chǎn)效率下降。因此，智能紡紗檢測與跟蹤就顯得尤為重要。

目標(biāo)跟蹤是指對視頻圖像序列的運(yùn)動目標(biāo)用跟蹤窗口進(jìn)行鎖定。在目標(biāo)跟蹤過程中會由于遮擋、光照強(qiáng)度以及目標(biāo)尺度變化對跟蹤產(chǎn)生影響[1]。在跟蹤算法中，MeanShift算法——均值漂移算法,它是由Fukunaga提出的一種非參數(shù)估計算法，該算法由于實(shí)時性好和快速匹配等特性被廣泛應(yīng)用于目標(biāo)跟蹤領(lǐng)域[2-3]。然而，傳統(tǒng)的均值移位算法在目標(biāo)跟蹤的應(yīng)用中效果并不理想，該算法跟蹤窗口的大小是固定的，容易導(dǎo)致誤跟蹤。而CamShift(continuously adaptive mean-shift)即連續(xù)自適應(yīng)均值漂移算法可以隨著目標(biāo)物體的尺寸變化而自適應(yīng)調(diào)節(jié)搜索窗口的大小[4-6]，但是當(dāng)背景較為復(fù)雜，或者有許多與目標(biāo)顏色相似像素干擾的情況下，容易導(dǎo)致目標(biāo)跟蹤失敗。

CamShift算法是以顏色直方圖為目標(biāo)特征信息，因此，適用于目標(biāo)與背景具有明確區(qū)別的目標(biāo)跟蹤系統(tǒng)中[7-9]。熊昊等[10]提出加入SURF特征，改善跟蹤窗口在遭遇大面積背景色干擾時易發(fā)散的問題,但對于目標(biāo)較小或者表面紋理較少時影響較大；文獻(xiàn)[11-12]引入背景減法和幀間差與CamShift相結(jié)合解決光照變化、陰影等問題；文獻(xiàn)[13]將顏色和紋理相融合，克服依靠目標(biāo)模型不足的問題。上述算法雖然在一定程度上改善了一些問題，但是對于運(yùn)行過程中的跟蹤精度和實(shí)時性沒有得到較好解決。

本文基于以上理論研究基礎(chǔ)，在傳統(tǒng)CamShift跟蹤算法的基礎(chǔ)上加入了基于顏色識別和卡爾曼預(yù)測機(jī)制的運(yùn)動目標(biāo)檢測方法，該方法借助顏色直方圖有效降低目標(biāo)跟蹤丟失現(xiàn)象，同時融入卡爾曼預(yù)測機(jī)制，實(shí)現(xiàn)自動跟蹤運(yùn)動目標(biāo)，增加了系統(tǒng)的實(shí)時性和魯棒性。

1 CamShift算法

CamShift目標(biāo)跟蹤方法是在Meanshift算法基礎(chǔ)上的一個拓展[14]。算法對視頻序列中的每一幀圖像都要進(jìn)行MeanShift運(yùn)算，通過尋找窗口質(zhì)心位置不斷進(jìn)行迭代操作，從而實(shí)現(xiàn)對運(yùn)動目標(biāo)的跟蹤。另外，可以根據(jù)目標(biāo)物體大小尺寸的變化自適應(yīng)調(diào)節(jié)跟蹤窗口的大小，提高跟蹤效率。

CamShift跟蹤算法的具體步驟如下。

(1)顏色直方圖反向投影：由于RGB顏色空間模型對光照強(qiáng)度比較敏感，光照強(qiáng)度不同,提取的顏色特征也會產(chǎn)生差別，從而跟蹤效果容易受到影響，因此，在跟蹤算法執(zhí)行前需要將RGB顏色空間轉(zhuǎn)化為HSV顏色空間。從初始定義的搜索窗口中獲取目標(biāo)物體的顏色分量H并做直方圖，這個直方圖表示不同顏色分量H出現(xiàn)的概率和像素個數(shù)，將輸入圖像中的每個像素點(diǎn)的顏色值與選定搜索窗口的顏色直方圖相對應(yīng)并替換顏色出現(xiàn)的概率，這樣就可以輸出顏色概率分布直方圖。構(gòu)造帶有核函數(shù)的目標(biāo)模型概率分布，即

(1)

式中：k(*)為核函數(shù)；b(xi)為索引函數(shù)，它反映像素xi所在的bin序號；δ(x)為狄拉克(Delta)函數(shù)，用以判斷xi的索引值與特征值u是否相等，它只有在像素xi屬于第u個bin時才等于l，否則為0，以此來實(shí)現(xiàn)對像素點(diǎn)按bin進(jìn)行分類；h為跟蹤窗寬；C為歸一化常數(shù)，如式(2)所示。

(2)

(3)

構(gòu)造目標(biāo)顏色模型，由RGB轉(zhuǎn)換成HSV空間分量分布圖，在HSV空間中計算目標(biāo)區(qū)域的顏色直方圖，H，S，V的量化等級分別是16，4，4，顏色直方圖的分量值16×4×4=256。結(jié)果如圖1所示。

圖1 顏色直方圖

(2)搜索窗口質(zhì)心位置：對初始定義的跟蹤窗口利用MeanShift算法進(jìn)行計算，通過零階矩和一階矩計算出跟蹤窗口的質(zhì)心位置，同時利用二階矩對窗口的大小進(jìn)行自適應(yīng)調(diào)節(jié)，隨后將質(zhì)心位置作為下一幀圖像的輸入，重新搜索窗口的質(zhì)心位置，反復(fù)迭代，直到窗口的質(zhì)心位置不發(fā)生變化時，從而實(shí)現(xiàn)對目標(biāo)物體的跟蹤。即零階矩和一階矩可表示為

(4)

窗口的質(zhì)心位置可表示為

(5)

自適應(yīng)調(diào)節(jié)窗口大小可表示為

(6)

參數(shù)a,b,c為

(7)

(3)CamShift迭代過程：這一步是將新計算出的窗口中心與質(zhì)心進(jìn)行比較，當(dāng)兩點(diǎn)之間的位置大于設(shè)定的閾值時，則重復(fù)如上步驟，直到兩點(diǎn)之間的距離滿足要求時，停止操作。

目標(biāo)跟蹤的過程就是通過連續(xù)迭代MeanShift向量的梯度,下降搜索，求出具有良好實(shí)時性和可移植性的目標(biāo)區(qū)域；但是算法也存在了一定的缺陷，其跟蹤窗口的大小是固定的，不能隨著目標(biāo)物體的大小變化而自適應(yīng)調(diào)節(jié)搜索窗口的大小。紗管目標(biāo)跟蹤連續(xù)迭代搜索過程變化曲線如圖2所示，CamShift跟蹤算法的流程如圖3所示。

圖2 連續(xù)迭代搜索過程變化曲線

圖3 CamShift跟蹤算法流程

本次實(shí)驗(yàn)通過不斷改變紗管的方向以及將紗管靠近或者遠(yuǎn)離相機(jī)來對MeanShift跟蹤算法和CamShift跟蹤算法進(jìn)行比較(注：紗管上有無紗線對于檢測和跟蹤影響不大，可以忽略不計)，其跟蹤效果如圖4所示。

圖4 CamShift跟蹤效果

圖4為Cam Shift跟蹤算法的效果圖，從圖4可以看出，紗管發(fā)生轉(zhuǎn)動、靠近或者遠(yuǎn)離攝像頭時都能自適應(yīng)改變跟蹤窗口的大小和方向，其跟蹤效果明顯優(yōu)于MeanShift跟蹤算法效果。

2 改進(jìn)的CamShift算法

傳統(tǒng)的Camshift跟蹤算法需要手動選擇初始跟蹤窗口，使紗管分揀喂紗過程操作繁瑣，降低生產(chǎn)效率；同時，單一顏色特征的跟蹤算法很難滿足實(shí)時跟蹤的要求，因此，在Cam Shift跟蹤算法的基礎(chǔ)上加入了基于顏色識別的運(yùn)動目標(biāo)檢測方法和卡爾曼預(yù)測機(jī)制，以提高跟蹤系統(tǒng)的性能。

卡爾曼濾波器是一種基于其過程的一系列先前觀察值和測量值，對該過程狀態(tài)進(jìn)行遞歸估計的數(shù)學(xué)模型，Kalman濾波通過狀態(tài)方程和觀測方程來描述一個動態(tài)系統(tǒng)并能實(shí)時給出觀測系統(tǒng)狀態(tài)量的最優(yōu)估計值[15]。

卡爾曼濾波器模型描述了一個基于k時刻狀態(tài)觀測值對離散時間過程狀態(tài)進(jìn)行估計的過程。

根據(jù)卡爾曼濾波原理，具體實(shí)現(xiàn)步驟如下。

Step1：初始化。通過第一幀圖像，選定目標(biāo)物體的初始位置，構(gòu)造狀態(tài)模型并初始化卡爾曼濾波器。

Step2：目標(biāo)檢測。根據(jù)卡爾曼濾波器的預(yù)測結(jié)果，確定當(dāng)前幀圖像中目標(biāo)搜索區(qū)域，并使用目標(biāo)檢測方法在預(yù)測區(qū)域?qū)ふ遗c目標(biāo)模型最匹配的候選位置。

Step3：遮擋處理。當(dāng)目標(biāo)物體出現(xiàn)遮擋時，判斷候選模型與目標(biāo)模型的相似度并調(diào)整卡爾曼濾波器的相關(guān)參數(shù)。

Step4：更新。更新卡爾曼濾波器。

Step5：輸入下一幀圖像，跳轉(zhuǎn)到Step2，重復(fù)上述步驟直至結(jié)束。

改進(jìn)的CamShift跟蹤流程圖如圖5所示。

圖5 改進(jìn)的CamShift跟蹤流程圖

在該實(shí)驗(yàn)中，對不同時刻，顏色和輪廓特征的權(quán)重進(jìn)行統(tǒng)計。本次實(shí)驗(yàn)選取整個跟蹤過程的連續(xù)200幀圖像，統(tǒng)計結(jié)果如圖6所示，圖7為特征權(quán)重分布示意圖。

圖6 紗管和Kalman的CamShift跟蹤軌跡

圖7 特征權(quán)重分布示意圖

在不同時刻，目標(biāo)的顏色和輪廓特征有不同的權(quán)重分配，在120幀左右時，目標(biāo)被障礙物遮擋，顏色特征權(quán)重有所下降，但兩者融合起來對目標(biāo)狀態(tài)進(jìn)行量化，在一定程度上改善了單一特性的跟蹤弊端，獲得了較為穩(wěn)定的跟蹤效果。紗管運(yùn)動軌跡和Kalman的CamShift跟蹤軌跡如圖6所示。

3 結(jié)果與分析

本文實(shí)驗(yàn)采用的編譯環(huán)境為Visual Studio 2010下配置OpenCV3.2版本，并統(tǒng)一規(guī)定視頻分辨率為960像素×544像素、幀速設(shè)定為30幀/s、傳送帶速度為60 mm/s，針對紗管在運(yùn)輸過程中幾種常見的情況，本文分別使用傳統(tǒng)的CamShift和改進(jìn)的CamShift跟蹤算法進(jìn)行了3組實(shí)驗(yàn)。

目標(biāo)遮擋實(shí)驗(yàn)：目標(biāo)紗管在傳送帶上運(yùn)輸時，將其他紗管放置在目標(biāo)紗管(本次實(shí)驗(yàn)選取的目標(biāo)紗管為綠色紗管)的上方形成遮擋效果，實(shí)驗(yàn)效果圖中左上角白色區(qū)域的數(shù)字表示為當(dāng)前幀數(shù)，圖中所顯示的坐標(biāo)為跟蹤窗口的質(zhì)心坐標(biāo)，如圖8和圖9所示。

圖8 CamShift目標(biāo)遮擋跟蹤效果

圖9 改進(jìn)算法目標(biāo)遮擋跟蹤效果

從傳統(tǒng)的CamShift跟蹤算法效果圖中可以看出，如圖8(b)第149幀圖像中目標(biāo)紗管被遮擋時，跟蹤窗口變大無法準(zhǔn)確跟蹤綠色紗管，當(dāng)遮擋物拿開后跟蹤窗口仍然停留在目標(biāo)紗管被遮擋的位置附近，見圖8(c)。在改進(jìn)的CamShift跟蹤算法中紅色矩形框?yàn)檫\(yùn)動目標(biāo)檢測窗口，紅色橢圓形框代表跟蹤窗口、綠色框代表卡爾曼預(yù)測窗口、藍(lán)色框代表測量狀態(tài)窗口，當(dāng)物體被遮擋時，可以繼續(xù)跟蹤原紗管裸露出來的一小塊區(qū)域，如圖9(b)所示，當(dāng)遮擋物體被拿開時，重新鎖定目標(biāo)紗管進(jìn)而繼續(xù)跟蹤紗管。目標(biāo)遮擋誤差距離如表1所示。

表1 目標(biāo)遮擋質(zhì)心偏離誤差

目標(biāo)實(shí)際質(zhì)心位置與跟蹤窗口質(zhì)心位置之間的偏差距離計算公式可表示為

(8)

通過計算，傳統(tǒng)的CamShift跟蹤算法受遮擋影響較大，目標(biāo)被遮擋時無法繼續(xù)跟蹤，偏差距離逐漸增大；改進(jìn)的CamShift跟蹤算法穩(wěn)定性較好，當(dāng)遮擋物取出后重新鎖定目標(biāo)紗管，距離偏差維持在3個像素左右。

相近顏色干擾實(shí)驗(yàn)：實(shí)驗(yàn)共進(jìn)行了兩組，第一組將粉紅色紗管和橘紅色紗管放置在一起進(jìn)行比較,實(shí)驗(yàn)效果如圖10(a)和(b)所示；第二組選擇顏色更為相近的綠色紗管進(jìn)行跟蹤比較，實(shí)驗(yàn)效果如圖10(c)和(d)所示。

圖10 相近顏色干擾實(shí)驗(yàn)

傳統(tǒng)的CamShift跟蹤算法無法準(zhǔn)確地跟蹤目標(biāo)顏色的紗管，跟蹤窗口將兩個運(yùn)動目標(biāo)融合在一起，最終導(dǎo)致跟蹤兩個運(yùn)動目標(biāo)；改進(jìn)的CamShift跟蹤算法相對比較穩(wěn)定，可以準(zhǔn)確地跟蹤目標(biāo)顏色的紗管，沒有出現(xiàn)融合現(xiàn)象。將相近顏色紗管干擾產(chǎn)生的質(zhì)心偏離誤差進(jìn)行對比,如表2所示。

從表2可以看出，改進(jìn)的算法在顏色相似干擾下，跟蹤窗口的質(zhì)心與目標(biāo)紗管質(zhì)心之間的距離偏差在5個像素范圍內(nèi)。

表2 相近顏色干擾質(zhì)心偏離誤差

光照變化實(shí)驗(yàn)：截取紗管在不同光照處的跟蹤效果圖進(jìn)行比較，跟蹤效果如圖11～12所示。

圖11 CamShift光照變化跟蹤效果

圖12 改進(jìn)算法光照變化跟蹤效果

圖11(a)和圖12中(a)分別表示傳統(tǒng)算法和改進(jìn)的CamShift跟蹤算法在光照變化前的跟蹤效果圖，2種方法都能很好地鎖定目標(biāo)紗管位置。當(dāng)目標(biāo)紗管駛?cè)敫吡羺^(qū)域時，傳統(tǒng)的CamShift跟蹤算法跟蹤窗口變大，無法準(zhǔn)確地跟蹤目標(biāo)紗管，如圖11(b)所示，而改進(jìn)的CamShift算法通過更新預(yù)測仍然可以良好跟蹤，如圖12(b)所示，當(dāng)駛出高亮區(qū)域后，傳統(tǒng)的跟蹤窗口逐漸變小，恢復(fù)跟蹤能力，如圖11(c)所示，圖12(c)為改進(jìn)算法駛出高亮區(qū)域的效果圖。對兩種算法在光照變化時質(zhì)心距離偏差進(jìn)行了比較，如表3所示。

表3 光照變化質(zhì)心偏離誤差

根據(jù)表3可得，傳統(tǒng)的CamShift跟蹤算法受光照影響較大，在高亮區(qū)域兩質(zhì)心之間的偏差距離達(dá)到74個像素，而改進(jìn)的CamShift跟蹤算法能夠有效抑制光照影響。

通過上述3個對比實(shí)驗(yàn)可以得出，無論是目標(biāo)被遮擋,或者相近顏色干擾,或者光照強(qiáng)度較強(qiáng)的情況下，本文改進(jìn)的算法都可以很好地跟蹤，而且跟蹤穩(wěn)定性較好，相比于傳統(tǒng)的算法，目標(biāo)的質(zhì)心坐標(biāo)之間的偏差大大減小，從而提高了改進(jìn)算法的精準(zhǔn)性。

4 結(jié) 語

針對傳統(tǒng)Meanshift算法的不足，提出一種基于CamShift目標(biāo)檢測并結(jié)合 Kalman 預(yù)測模型對運(yùn)動目標(biāo)進(jìn)行跟蹤的改進(jìn)算法。首先CamShift目標(biāo)跟蹤算法可以根據(jù)目標(biāo)物體大小尺寸的變化自適應(yīng)調(diào)節(jié)跟蹤窗口的大小，提高跟蹤效率。而在CamShift跟蹤算法的基礎(chǔ)上加入了基于顏色識別的運(yùn)動目標(biāo)檢測方法和卡爾曼預(yù)測機(jī)制，提高了基于單一顏色特征的實(shí)時跟蹤效率，同時將運(yùn)動目標(biāo)區(qū)域作為跟蹤窗口可以避免人工設(shè)定跟蹤窗口帶來的誤差。實(shí)驗(yàn)證明，改進(jìn)算法能很好地適應(yīng)近似顏色干擾、目標(biāo)遮擋、物體加速運(yùn)動等情況，提高了跟蹤系統(tǒng)的精準(zhǔn)性和魯棒性。