一種結(jié)合Camshift和Kalman濾波的TLD目標(biāo)跟蹤算法

蔡亞南 李東興 吳秀東 宋汝君 王 迎

(山東理工大學(xué)機(jī)械學(xué)院 山東 淄博 255000)

0 引 言

隨著時(shí)代的發(fā)展，機(jī)器視覺已成為人類感知世界和獲得重要信息的主要途徑。其中，計(jì)算機(jī)視覺的重要研究方向是視頻目標(biāo)跟蹤，其應(yīng)用前景越來越廣泛，主要應(yīng)用在機(jī)器人視覺方面、醫(yī)療診斷方面和軍事領(lǐng)域等[1-2]。通過對視頻進(jìn)行圖像處理得到目標(biāo)的圖像序列，然后分析、理解和處理圖像序列，最終實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的檢測和跟蹤[3]。在目標(biāo)追蹤過程中，光流法最為常見，但其不僅計(jì)算量大，而且適用于短時(shí)間目標(biāo)跟蹤而非適用于長時(shí)間的目標(biāo)檢測、識別和跟蹤。

目標(biāo)跟蹤問題可以分為兩類：一是遞歸方式，二是基于檢測的方式。Meanshift算法具有快速模型匹配、無需參數(shù)、計(jì)算量小和可與其他算法結(jié)合的特點(diǎn)。但當(dāng)目標(biāo)尺寸變化較大時(shí)，Meanshift算法由于核函數(shù)的固定不變性，不具有自適應(yīng)性，需要手動(dòng)初始化等缺點(diǎn)，不能準(zhǔn)確尺度定位、在線更新，不可實(shí)現(xiàn)長時(shí)間的有效跟蹤，最終導(dǎo)致目標(biāo)跟蹤失敗。所以要越來越多地關(guān)注在線更新的目標(biāo)跟蹤方法[4]。TLD算法是一種可以實(shí)現(xiàn)長時(shí)間對目標(biāo)跟蹤的功能，主要從追蹤、檢測和學(xué)習(xí)三個(gè)方面著手實(shí)現(xiàn)跟蹤，具有魯棒性高、學(xué)習(xí)恢復(fù)能力強(qiáng)的特點(diǎn)。但當(dāng)出現(xiàn)相似目標(biāo)物，或者目標(biāo)物被遮擋和旋轉(zhuǎn)時(shí)TLD算法跟蹤精確度低、效果差[5-6]。

本文提出了一種結(jié)合Camshift和Kalman濾波的TLD目標(biāo)跟蹤算法，可實(shí)現(xiàn)對目標(biāo)的長期有效跟蹤和對目標(biāo)窗口大小的自動(dòng)化控制。Camshift算法是基于Meanshift算法形成的可連續(xù)自適應(yīng)的一種算法，將Camshift結(jié)合Kalman濾波既可實(shí)現(xiàn)對目標(biāo)位置的快速查找又可實(shí)現(xiàn)對窗口大小的控制功能。Camshift結(jié)合Kalman濾波后再改進(jìn)TLD跟蹤算法，可實(shí)現(xiàn)對目標(biāo)的運(yùn)動(dòng)方向、速度大小建模。將TLD跟蹤方法的原始輸出數(shù)據(jù)與改進(jìn)算法的預(yù)測結(jié)果相結(jié)合，然后對此時(shí)的狀態(tài)輸出結(jié)果進(jìn)行修正，最后對輸出結(jié)果加權(quán)處理，確定目標(biāo)的最終準(zhǔn)確位置。若出現(xiàn)目標(biāo)物被遮擋狀況，交由TLD學(xué)習(xí)器處理，若發(fā)生嚴(yán)重遮擋狀況，則由改進(jìn)的算法來預(yù)測目標(biāo)的運(yùn)動(dòng)軌跡。本文算法既具有TLD算法原有的長期有效跟蹤特點(diǎn)和自動(dòng)調(diào)整識別窗大小的功能，又提高了對目標(biāo)實(shí)時(shí)跟蹤的準(zhǔn)確性，同時(shí)對短時(shí)遮擋具有預(yù)測功能。

1 TLD算法

TLD算法由追蹤器、檢測器和機(jī)器學(xué)習(xí)三部分組成，框架結(jié)構(gòu)如圖1所示。

圖1 TLD算法的框架結(jié)構(gòu)

在TLD算法初始化的過程中，首先將視頻幀送入到機(jī)器學(xué)習(xí)模塊，此時(shí)的學(xué)習(xí)模塊會(huì)產(chǎn)生正負(fù)樣本，用來初始化追蹤模塊和檢測模塊。在此之后的圖像序列中，對數(shù)據(jù)的處理過程需追蹤模塊和檢測模塊并行進(jìn)行。將輸出的融合結(jié)果作為當(dāng)前幀，此時(shí)融合的數(shù)據(jù)被送入在線學(xué)習(xí)模塊，學(xué)習(xí)模塊會(huì)對跟蹤模塊和檢測模塊起到反作用。該過程可實(shí)現(xiàn)對跟蹤模塊和檢測模塊的數(shù)據(jù)更新，進(jìn)而驗(yàn)證所得數(shù)據(jù)的準(zhǔn)確性，跟蹤目標(biāo)更加準(zhǔn)確[7-8]。這三個(gè)部分相互作用，并將所得到的數(shù)據(jù)整合，最終確定下一幀的跟蹤目標(biāo)。

1.1 追蹤器模塊

TLD算法的跟蹤模塊是基于LK光流跟蹤法形成的中值流跟蹤法，利用前向、后向跟蹤算法，進(jìn)一步估算前向軌跡和后向軌跡的誤差值，即可實(shí)現(xiàn)對像素點(diǎn)的跟蹤，預(yù)估目標(biāo)在當(dāng)前幀的位置[9-10]。

計(jì)算過程如下：

S=(Iτ,Iτ+1,…,Iτ+k)

(1)

(2)

(3)

(4)

(5)

1.2 檢測器模塊

該模塊首先用尺寸不同的掃描窗全局掃描視頻流的圖像幀，經(jīng)樣本采集，將其輸入級聯(lián)分類器進(jìn)行篩選，再對每一個(gè)矩形框進(jìn)行判定，最終確認(rèn)是否出現(xiàn)跟蹤目標(biāo)。級聯(lián)分類器的結(jié)構(gòu)組成如圖2所示。

圖2 檢測器結(jié)構(gòu)示意圖

1.3 學(xué)習(xí)模塊

P-N學(xué)習(xí)的過程是TLD算法的核心所在，包括P約束和N約束兩個(gè)部分，P約束通過對目標(biāo)移動(dòng)的軌跡進(jìn)行研究，來實(shí)現(xiàn)對正樣本的添加[11]。若分類器檢測出很多個(gè)目標(biāo)時(shí)N約束可標(biāo)記遠(yuǎn)離目標(biāo)邊界框樣本為負(fù)樣本。

2 算法設(shè)計(jì)

2.1 Camshift算法

Camshift算法包括反向投影圖像的計(jì)算，對反向投影圖像進(jìn)行Meanshift計(jì)算和不斷搜索三個(gè)過程。

由RGB轉(zhuǎn)換到HSV顏色空間時(shí)，圖像的直方圖為：

(6)

對直方圖歸一化處理：

(7)

式中：n為像素個(gè)數(shù)；m為色度級別；xi為像素點(diǎn)位置；c(xi)為第i個(gè)像素位置的目標(biāo)索引；δ為單位脈沖函數(shù)。

2.2 Camshift算法結(jié)合Kalman濾波的算法

1) Kalman濾波分為預(yù)測和修正兩個(gè)階段，其中預(yù)測階段包括兩部分：狀態(tài)預(yù)測和誤差協(xié)方差預(yù)測[12-13]。對Kalman濾波算法建模如下：

信號模型：Xk=AkXk-1+BkWk

(8)

觀測模型：Zk=HkXk+BkVk

(9)

式中:Ak、Bk、Hk分別是狀態(tài)轉(zhuǎn)移矩陣、輸入矩陣和觀測矩陣；Wk、Vk分別為動(dòng)態(tài)噪聲和觀測噪聲；Wk與Vk是互不相關(guān)的白噪聲序列；Xk-1為狀態(tài)向量，其中核心部分是Zk，決定Kalman濾波預(yù)測的準(zhǔn)確性。

2) Camshift結(jié)合Kalman濾波的算法由當(dāng)前幀目標(biāo)位置預(yù)測、匹配目標(biāo)和更新Kalman濾波狀態(tài)三部分組成。

(1) Kalman濾波通過判定圖像目標(biāo)的歷史信息來確定當(dāng)前幀圖像目標(biāo)的正確位置。

(2) Kalman濾波預(yù)測值的鄰域范圍內(nèi)，依據(jù)由Camshift算法得出的顏色概率分布圖來控制目標(biāo)窗口，變換窗口的大小和進(jìn)一步搜索與目標(biāo)模板最相似的目標(biāo)。

(3) 將完成匹配的目標(biāo)位置作為Kalman濾波的觀測值，然后更新Kalman濾波的狀態(tài)。

殘差法可以用來判斷目標(biāo)物被嚴(yán)重遮擋與否。即觀測值與預(yù)測值之間的差值。

(10)

式中：x(k)、y(k)代表目標(biāo)位置的觀測值，x′(k)、y′(k)代表目標(biāo)位置的預(yù)測值。該過程可以通過比較r(k)與閾值的大小，判斷是否出現(xiàn)嚴(yán)重遮擋現(xiàn)象。

Camshift與Kalman濾波相結(jié)合的算法具體實(shí)現(xiàn)流程如圖3所示。

圖3 Camshift與Kalman濾波相結(jié)合的算法流程圖

該過程經(jīng)過初始化搜索窗，由Camshift算法實(shí)現(xiàn)跟蹤、窗口大小控制，Kalman濾波器進(jìn)行初步建模，并不對跟蹤干擾。通過Camshift算法計(jì)算的目標(biāo)區(qū)域大小和目標(biāo)區(qū)域內(nèi)像素個(gè)數(shù)判定是否有大面積顏色相似背景干擾和遮擋，若出現(xiàn)顏色相似遮擋，需加入Kalman預(yù)測信息。

2.3 結(jié)合Camshift和Kalman濾波的TLD目標(biāo)跟蹤算法

本文提出了Camshift結(jié)合Kalman濾波的TLD目標(biāo)跟蹤算法，實(shí)現(xiàn)對目標(biāo)的長期有效跟蹤和目標(biāo)窗口大小的自動(dòng)化控制功能，同時(shí)提高TLD跟蹤算法在目標(biāo)遮擋下的跟蹤能力。其算法框圖如圖4所示。

圖4 結(jié)合Camshift和Kalman濾波的TLD目標(biāo)跟蹤算法

輸入視頻幀，首先初始化Kalman濾波器，由Camshift與Kalman濾波相結(jié)合的算法跟蹤目標(biāo)，預(yù)測運(yùn)動(dòng)目標(biāo)的下一時(shí)刻的狀態(tài)。同時(shí)，由TLD算法得到目標(biāo)下一時(shí)刻的狀態(tài)，確定其跟蹤區(qū)域。此時(shí)，如果TLD跟蹤效果較好，即可將TLD跟蹤的結(jié)果輸出，作為觀測值去更新改進(jìn)的卡爾曼濾波。如果TLD由于遮擋或者相似背景導(dǎo)致跟蹤失敗時(shí)，由卡爾曼濾波預(yù)測目標(biāo)的位置和狀態(tài)，即可將此時(shí)的預(yù)測值作為觀測值更新改進(jìn)的卡爾曼濾波。該方法具有抗遮擋和相似背景干擾的能力。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法跟蹤的準(zhǔn)確性，本文選擇了Moto、Pedestrian和David三組具有遮擋、明暗變化的視頻進(jìn)行實(shí)驗(yàn)，并且將本文算法與原TLD、CT、CNT三種算法進(jìn)行效果比對，根據(jù)跟蹤成功率和跟蹤性能進(jìn)行評價(jià)：

(11)

式中:TB、TG分別是跟蹤的邊界框和跟蹤框，當(dāng)Csr>0.5時(shí)認(rèn)為跟蹤是有效的。根據(jù)目標(biāo)中心的定位誤差δdist=|Ctrack(x,y)-Cture(x,y)|來評價(jià)跟蹤性能，Ctrack和Cture分別是跟蹤框的中心點(diǎn)坐標(biāo)和目標(biāo)框的中心點(diǎn)坐標(biāo)，CT和CNT分別為圖像重建算法和決策樹算法。

本文選取了以上三組視頻幀，對不同算法在不同視頻中的跟蹤成功率進(jìn)行比較。從表1中可以看出，不管是具有遮擋還是明暗變化的視頻，本文改進(jìn)的TLD算法跟蹤正確率是較高的。

表1 不同算法的成功率比較 %

另外，根據(jù)中心位置的定位誤差定性地評定不同算法的跟蹤性能。圖5分別表示了不同跟蹤算法在三組視頻幀中的中心位置誤差曲線，由圖可知本文算法在目標(biāo)遮擋方面處理的較好，對原TLD算法易發(fā)生漂移現(xiàn)象[14]有很好的抑制作用。

(a) (b) c)圖5 不同跟蹤算法在各個(gè)視頻幀中的中心位置誤差曲線

為了驗(yàn)證本文算法的實(shí)時(shí)性和快速性，本文將本文算法和原TLD跟蹤算法進(jìn)入分類器的樣本數(shù)量進(jìn)行了比較，如圖6所示。

圖6 輸入的樣本數(shù)量比較圖

通過圖6對比可以看出，改進(jìn)的TLD算法需要插入檢測模塊的樣本數(shù)量明顯下降，從而加快了樣本的分類速度，提高了運(yùn)算速度。表2給出了本文算法與原TLD算法的平均幀率，其中本文算法優(yōu)于原TLD跟蹤算法，該速率能夠保證視頻的流暢性和實(shí)際場合跟蹤的實(shí)時(shí)快速性。

表2 兩種算法在測試過程中的平均幀率幀·s-1

圖7是本文跟蹤算法應(yīng)用在David視頻幀中，截取的一些視頻幀?？梢钥闯?，該算法在明暗變化、目標(biāo)尺度方向改變和目標(biāo)改變外觀時(shí)都能很好的跟蹤。

(a) (b) (c)

(d) (e) (f)圖7 本文算法在David視頻中的跟蹤

當(dāng)目標(biāo)被遮擋時(shí)，為體現(xiàn)本文算法的長時(shí)、準(zhǔn)確跟蹤性能，現(xiàn)將本文算法與原TLD算法的跟蹤進(jìn)行比較，如圖8所示?？梢钥闯?，當(dāng)被跟蹤目標(biāo)發(fā)生遮擋后(幀255為第一次遮擋、幀623為第二次遮擋)，兩種跟蹤算法都具有對遮擋的預(yù)測功能。但原TLD算法的跟蹤窗出錯(cuò)，導(dǎo)致跟蹤失敗，而本文算法可以長時(shí)間實(shí)時(shí)準(zhǔn)確跟蹤目標(biāo)，且跟蹤成功。

圖8 目標(biāo)遮擋時(shí)兩種跟蹤算法的準(zhǔn)確性比較

4 結(jié) 語

針對跟蹤過程中目標(biāo)受干擾、漂移現(xiàn)象和計(jì)算量大導(dǎo)致跟蹤失敗的問題，本文采用改進(jìn)的TLD算法與Kalman濾波相結(jié)合的方法實(shí)現(xiàn)對目標(biāo)的長時(shí)跟蹤和對目標(biāo)跟蹤窗口大小的控制。本文用Camshift跟蹤器替代原始的光流法跟蹤器，一定程度上提升了運(yùn)算速度，抑制了漂移現(xiàn)象。當(dāng)目標(biāo)被遮擋時(shí)用Camshift優(yōu)化過的TLD學(xué)習(xí)器處理，當(dāng)目標(biāo)物發(fā)生嚴(yán)重遮擋時(shí)則用改進(jìn)的Kalman濾波算法預(yù)測目標(biāo)的運(yùn)動(dòng)軌跡。首先判斷是否有大面積顏色、相似背景干擾和遮擋以及顏色相似運(yùn)動(dòng)物。若沒有，則用Camshift算法不加入Kalman預(yù)測信息；若有，則加入Kalman預(yù)測信息。一方面調(diào)整窗口位置和大小并設(shè)定窗口的最大長度，通過判定搜索窗口的長和寬是否大于設(shè)定值，來調(diào)整搜索窗口的長和寬大?。涣硪环矫?，通過判斷是否出現(xiàn)遮擋或嚴(yán)重遮擋，進(jìn)一步修正Kalman濾波的預(yù)測值，更新Kalman濾波，實(shí)現(xiàn)目標(biāo)跟蹤。通過幾組不同的視頻實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示：本文的算法不但提高了運(yùn)算速度，還在一定程度上改進(jìn)了目標(biāo)發(fā)生嚴(yán)重遮擋時(shí)容易丟失的問題。對于明暗變換，目標(biāo)形變也能夠?qū)崿F(xiàn)跟蹤。但當(dāng)目標(biāo)被完全遮擋、遮擋時(shí)間過長和發(fā)生巨大形變的時(shí)候會(huì)出現(xiàn)跟蹤失敗的問題，還有待改進(jìn)。