一種解決遮擋問題的跟蹤方法

吳水琴, 毛 耀, 劉 瓊, 李志俊

(1. 中國科學院 光束控制重點實驗室，四川 成都 610209;2. 中國科學院 光電技術研究所，四川 成都 610209;3. 中國科學院大學，北京101400)

1 引 言

目標跟蹤是指對一段連續(xù)視頻和圖像序列中的目標進行狀態(tài)估計和跟蹤的過程，是計算機視覺的主要研究方向之一，現(xiàn)已被廣泛應用于視頻監(jiān)控領域、軍事領域和人機交互的游戲領域。隨著嵌入式硬件的發(fā)展和圖像序列集的完善，目前已涌現(xiàn)了大量的跟蹤算法。但遮擋問題一直跟蹤研究中的難點，由于目標被局部或全局遮擋時，目標特征信息的減少導致跟蹤算法失效或提取到假目標。目前研究人員已經提出一些方法來解決跟蹤中的遮擋問題：TLD跟蹤算法[1]通過在跟蹤算法中加入遮擋檢測機制和檢測模塊來解決遮擋問題，其根據前向后向誤差法判斷目標是否跟蹤失敗，若檢測出跟蹤失敗則啟用檢測模塊重新檢測出目標。但TLD跟蹤算法的幀頻低，往往達不到實時性要求。分塊匹配算法[2]將目標分為多個子區(qū)域，利用各個子區(qū)域的特征進行跟蹤。其充分利用了目標未被遮擋的區(qū)域進行跟蹤，避免了被遮擋部分帶來的不利影響，能夠有效的解決局部遮擋跟蹤問題。但是分塊匹配算法無法解決目標被全部遮擋的跟蹤問題；且分塊匹配算法的跟蹤性能受子塊大小的影響，若子塊過大時跟蹤算法的抗遮擋能力下降，子塊過小時跟蹤算法的跟蹤性能下降。研究人員利用Mean Shift跟蹤算法與Kalman預測融合的方法[3]進行跟蹤，使用Bhattacharyya系數法進行遮擋判定，若判定目標處于正常跟蹤狀態(tài)時，使用Mean Shift算法進行跟蹤；若判定目標處于遮擋狀態(tài)時，則使用Kalman預測濾波器進行預測跟蹤。由于Kalman預測濾波器受給定測量信息和遮擋判定的影響，若Mean Shift算法發(fā)生漂移導致Kalman預測濾波器中的歷史數據信息存在錯誤，會影響遮擋狀態(tài)下Kalman預測濾波器的預測性能；若遮擋判定不準確，當目標進入遮擋物時沒有檢測出遮擋狀態(tài)或檢測出遮擋狀態(tài)時跟蹤算法已經失效，Kalman預測濾波器未啟動或未及時啟動，會導致跟蹤失效[4-6]。針對上述問題，本文提出一種基于直方圖比的背景加權的Mean Shift算法與Kalman預測濾波器融合的方法，與Mean Shift算法相比，其具有如下優(yōu)勢：

(1)本文算法通過改進目標的表觀模型來提高目標在正常跟蹤狀態(tài)的跟蹤精度，從而提高Kalman預測性能。

(2)本文算法通過減少背景像素的影響來優(yōu)化Bhattacharyya系數值，增大正常跟蹤狀態(tài)下和遮擋狀態(tài)下Bhattacharyya系數的差值，提高遮擋檢測的敏感性。

本文使用圖片序列驗證算法的有效性，通過實驗表明，本文算法能夠提高遮擋時的跟蹤性能。

2 跟蹤算法原理

2.1 Mean Shift算法原理

Mean Shift算法是利用圖像的顏色直方圖信息作為搜索匹配的特征，利用Bhattacharyya系數作為目標模板和候選模板的相似度函數，完成特征的匹配。在跟蹤過程中，通常使用矩形框手動選擇目標區(qū)域，目標區(qū)域中有m個像素點，特征空間中特征值的個數為n，對目標區(qū)域的特征值u進行建模：

(1)

(2)

候選區(qū)域的模型與式(1)類似，第N幀中特征值u的概率模型為：

(3)

Ch為歸一化常數，與(1)中的C對應。

使用Bhattacharyya系數來度量目標模板和候選模板的相似度，其定義為：

(4)

其中，ρ(y)的值在[0,1]之間，ρ(y)的值越大，表示2個模板的相似度越高。通過對相似度函數求最大值，得到目標的位置為：

(5)

式中：

g(x)=-k′(x)，

(6)

(7)

其中:y0表示目標當前的位置，y1為迭代后的新位置。

2.2 基于直方圖比的背景加權的Mean Shift算法

由于經典的Mean Shift算法中目標初始模板受背景像素的影響[8-10]，所以本文使用基于直方圖比的背景加權的Mean Shift算法(HRBW Mean Shift)，通過在目標模板外的環(huán)形區(qū)域內建立背景直方圖，使用基于目標直方圖和背景直方圖的對數似然比值推導出的權值作為背景加權因子，通過在目標模板中加入背景加權因子來減少背景像素的影響，從而提高算法的跟蹤能力和遮擋檢測能力。

(1)背景直方圖建模

如圖1所示，紅色矩形框為目標區(qū)域，目標外部環(huán)形區(qū)域為背景區(qū)域，背景區(qū)域的模型為式(8)：

(8)

(2)計算特征值為u的對數似然比值

(9)

式中，η是為了防止qu或bu為0的錯誤情況，所以給η賦值為一個很小的值(0.1×10-6)。上式中通過非線性變換，使得和背景顏色特征相同的特征值在目標直方圖中所占的權重較小。

圖1 背景直方圖建模圖Fig.1 Picture of background histogram modeling

(3)計算變換后的背景加權系數

根據式(9)得出的對數似然比值，使得和背景顏色特征相同的特征值在目標直方圖中所占的權重較小，使得屬于目標直方圖的特征的權重較大。得到背景加權系數μu為：

(10)

其中：Lmax是Lu中的最大值，Lmin是Lu中的最小值；μu是分段函數，表示特征值u的權重，其取值在[0,1]。

(4)背景加權的目標直方圖建模

(11)

其中：μu為背景加權系數，C′為歸一化因子。

(5)Bhattacharyya公式

(12)

2.3 Kalman預測濾波器

Kalman預測濾波算法是根據目標的歷史運動數據來預測目標下一時刻運動軌跡的一種跟蹤方法。本文使用目標的位置和速度信息作為Kalman預測濾波器的狀態(tài)參數，由于圖像序列中相鄰兩幀圖像之間的間隔時間較短，兩幀之間速度的變換量較小，所以假設圖像序列中的目標做勻速運動。則卡爾曼濾波器的狀態(tài)方程定義為：

(1)狀態(tài)預測方程

x(k|k-1)=Ax(k-1|k-1)，

(13)

x(k|k-1)是根據k-1時刻的目標狀態(tài)預測k時刻的狀態(tài)信息，x(k-1|k-1)是目標k-1時刻的狀態(tài)信息，A是狀態(tài)轉移矩陣，本文中的狀態(tài)信息x為：

x=[x,y,vx,vy]T，

(14)

其中：x,y分為表示目標在圖像中的橫坐標和縱坐標，vx和vy分別表示目標的橫向運動速度和縱向運動速度。狀態(tài)矩陣A為：

(15)

(2)協(xié)方差預測方程

P(k|k-1)=AP(k-1|k-1)AT+Q，

(16)

其中：P(k|k-1)為根據k-1時刻預測到k時刻的協(xié)方差，Q為測量噪聲方差。

(3)Kalman增益方程

Kg(k)=P(k|k-1)HT/
(HP(k|k-1)HT+R)-1

(17)

Kg(k)為k時刻的卡爾曼增益值，H為觀測矩陣，R為過程噪聲方差。

(4)協(xié)方差更新方程

P(k|k)=(I-Kg(k)H)P(k|k-1)，

(18)

P(k|k)為修正后k時刻的協(xié)方差值。

(5)狀態(tài)更新方程

x(k|k)=x(k|k-1)+
Kg(k)(Zk-HX(k|k-1))，

(19)

x(k|k)為修正后的狀態(tài)信息，Zk為觀測到的目標狀態(tài)信息

(20)

H為觀測矩陣，本文H的取值為：

(21)

2.4 融合HRBW Mean Shift和Kalman預測濾波器

Bhattacharyya系數法可以用來衡量目標模板和候選模板之間的相似度，其值在[0,1]之間，Bhattacharyya系數值越大，表示候選模板與目標模板越相似。當目標正常跟蹤時，巴氏系數值在某一范圍內波動；當目標被遮擋時，巴氏系數值急速下降。所以本文中使用巴氏系數作為跟蹤時的遮擋檢測方法，設定遮擋閾值為Bh。融合HRBW Mean Shift和Kalman預測濾波器的方法進行目標跟蹤時的步驟如下所示：

(1)對目標進行初始化，使用矩形框選定目標，根據公式(1)對目標進行初始建模，根據公式(8)對目標框外的背景進行建模，根據公式(10)得到背景加權系數，然后使用公式(11)建立基于直方圖比的背景加權的目標模型。

(2)獲取下一幀圖像數據。

(3)根據公式(5)獲取目標當前的位置信息y1，并開始迭代。

(4)若‖y1-y0‖<ε或迭代次數k>n，迭代停止，根據公式(12)計算Bhattacharyya系數值ρ′(y)，并將當前目標的位置信息傳給Kalman預測濾波器。

(5)若ρ′(y)>Bh，則繼續(xù)使用HRBW Mean Shift算法進行跟蹤，重復步驟2、3、4、5，若ρ′(y)

(6)使用Kalman預測的公式(19)更新目標的當前位置。并計算當前幀的Bhattacharyya系數值ρ′(y)，重復步驟5。

3 結果討論和分析

圖2 a組圖像序列的相似度曲線對比圖Fig.2 Comparison diagram of similarity curves of group a image sequences

本文在Windows平臺下的Visual Studio軟件下驗證上述算法的有效性，設定遮擋閾值Bh=0.5。分別使用兩組(a組和b組)帶有遮擋物的圖像序列來驗證本文算法的遮擋跟蹤性能。圖2為a組圖像序列中跟蹤運動目標時的相似度值曲線對比圖。在目標正常跟蹤時，本文算法相對Mean Shift算法的相似度值減小了不超過0.06，不影響目標的正常跟蹤。在遮擋情況下，圖中使用Mean Shift算法在完全遮擋時的Bhattacharyya系數值為0.55(目標經過遮擋物后跟蹤算法失效，所以Bhattacharyya系數值保持在0.55)，Bhattacharyya系數值始終大于遮擋閾值Bh，所以此種情況下使用Mean Shift算法中的Bhattacharyya系數法無法判斷目標的遮擋狀態(tài)，目標進入遮擋時無法啟用Kalman預測濾波器，跟蹤失效。使用本文跟蹤算法跟蹤目標時，目標被完全遮擋時Bhattacharyya系數值為0.38，相對于Mean Shift算法中的Bhattacharyya系數的臨界值減小了0.17。此時巴氏系數值小于遮擋閾值Bh，故本文算法可以判定此種情況的遮擋狀態(tài)，及時啟動Kalman預測濾波器進行預測跟蹤。其跟蹤效果如圖3所示。

圖3 a組圖像序列蹤效果圖Fig.3 Picture of tracking in image sequence of group a

飛機在進入云層中(如圖220幀)被判定為遮擋狀態(tài)，此時啟動Kalman預測濾波算法進行預測跟蹤，如圖230幀和240幀，250幀和260幀表示目標離開遮擋物后切換到跟蹤算法進行跟蹤。圖4為b組圖像中跟蹤運動目標時相似度值的曲線對比圖，由圖可知，在遮擋閾值為0.5時，本文算法和Mean Shift算法均能檢測出遮擋。本文算法在272幀圖像中檢測出遮擋，而Mean Shift算法在278幀才檢測出，本文算法相對Mean Shift算法提前檢測出了遮擋，因此更加及時的啟用了Kalman預測濾波器。Mean Shift跟蹤算法在272～278幀的遮擋過程中，由于目標的特征信息被遮擋，使用跟蹤算法獲取的目標位置和真實位置有偏差，若將此偏差傳入到Kalman預測濾波器中，特別是偏差較大時，會使得預測失效，所以及時地啟動Kalman預測濾波器有利于提高遮擋時的跟蹤性能?；叶葓D像序列在遮擋時的跟蹤效果如圖5所示。

圖4 b組圖像序列的相似度曲線對比圖Fig.4 Comparison diagram of similarity curves of groupb image sequences

圖5 b組圖像序列跟蹤效果圖Fig.5 Picture of tracking in image sequence of groupb

4 結 論

本文針對遮擋跟蹤時使用Mean Shift算法和Kalman預測濾波器融合的方法時因遮擋判定不準確而造成跟蹤失效的缺點，提出使用基于直方圖比的背景加權的Mean Shift算法和Kalman預測濾波器融合的方法，基于直方圖比的背景加權的Mean Shift跟蹤算法通過來改進目標模型來減少初始化跟蹤框中的背景像素的影響，進而提高遮擋判定的準確性。通過實驗表明，使用基于直方圖比的背景加權的Mean Shift算法和Kalman預測濾波器融合的方法能夠有效判定目標的遮擋狀態(tài)，并在目標被遮擋的情況下進行連續(xù)的跟蹤。此方法可在FPGA硬件平臺上實現(xiàn)高幀頻跟蹤，具備一定的工程實用價值。 由于Kalman濾波方法適用于線性運動的目標或在遮擋時間較短的情況下，后續(xù)工作中將針對非線性運動目標進行研究，并解決目標遮擋時間較長的遮擋跟蹤問題。