使用自適應(yīng)背景約束改進的顏色屬性跟蹤算法

胡 穹， 梅 雪， 卞佳麗

(南京工業(yè)大學(xué)電氣工程與控制科學(xué)學(xué)院，南京 211800)

0 引言

目標(biāo)跟蹤是近年來計算機視覺領(lǐng)域一個熱門的研究課題，已廣泛地應(yīng)用于智能人機交互、智能監(jiān)控、社會安保、居家安防、交通控制、工業(yè)生產(chǎn)、軍事偵測等諸多領(lǐng)域,也得到了越來越多學(xué)者和研究人員的關(guān)注[1]。盡管近年來涌現(xiàn)出了一大批新穎的算法，但由于在實際測試和應(yīng)用中存在著復(fù)雜背景相似物干擾、局部遮擋、目標(biāo)姿態(tài)變化等諸多因素的干擾，仍然沒有一種單一的方法能夠成功適應(yīng)所有場景[2]。文獻[3]首次將相關(guān)濾波技術(shù)應(yīng)用于目標(biāo)跟蹤領(lǐng)域，該方法將圖像卷積操作通過快速傅里葉變換轉(zhuǎn)換成頻域中的點乘操作，極大地減少了計算量，保證了算法的高效性，由于該算法有極高的運算效率和較強的拓展性，因而迅速成為目標(biāo)跟蹤領(lǐng)域的熱點；文獻[4]在此基礎(chǔ)上引入脊回歸作為分類器，使用循環(huán)移位樣本近似替代密集采樣訓(xùn)練樣本，提出循環(huán)結(jié)構(gòu)檢測(CSK)算法，但該算法由于僅使用單通道的灰度特征，因此跟蹤魯棒性還不夠好；文獻[5]則在其基礎(chǔ)上將單通道的灰度特征拓展為多通道的HOG特征，提高了算法的魯棒性，但由于算法并未使用顏色特征，因此當(dāng)目標(biāo)出現(xiàn)快速移動或者快速形變時，容易發(fā)生跟蹤漂移；而文獻[6]則嘗試使用了多通道的顏色屬性特征拓展CSK算法，并取得了較好的效果，但對于在局部遮擋、目標(biāo)快速運動和背景相似物干擾等情形下的魯棒性仍然不夠；文獻[7]則在文獻[5]的基礎(chǔ)上構(gòu)造了圖像金字塔，實現(xiàn)了算法對目標(biāo)尺度的支持，并使用HOG特征和顏色特征作為組合特征，增強了目標(biāo)特征的表現(xiàn)力，但由于算法是在7個尺度圖像上分別進行檢測，且要多次進行復(fù)合特征的提取計算，所以運算速度較慢且對尺度支持不夠精準(zhǔn)；而文獻[8-9]則通過在線性核脊回歸跟蹤算法的基礎(chǔ)上額外構(gòu)造一個尺度空間濾波器實現(xiàn)了算法對多尺度較為精確的估計，但其僅使用單一的HOG特征且用線性核函數(shù)代替高斯核函數(shù)，故在目標(biāo)快速運動和發(fā)生形變的情況下跟蹤效果也不夠好。與此同時，相關(guān)濾波跟蹤的方法為了保持算法的高速運行，其本身的檢測區(qū)域一般設(shè)置較小，并對訓(xùn)練樣本進行了加窗操作，故而對背景信息的利用很少，因而對目標(biāo)快速運動、遮擋、背景相似物干擾等情況容易造成核濾波響應(yīng)出現(xiàn)多峰的情況，進而影響跟蹤效果[10-12]。

針對以上問題，為了在保持算法具有較高跟蹤效率的同時，對于目標(biāo)快速運動、遮擋、背景相似物干擾等情況容易造成核濾波多峰響應(yīng)進行抑制，本文在顏色屬性跟蹤(CN)算法[6]的基礎(chǔ)上，通過計算響應(yīng)矩陣上的峰值旁瓣比(PSR)來判斷是否出現(xiàn)干擾和干擾峰所在的位置，進而在核化相關(guān)濾波器中引入對應(yīng)的背景約束項來加強分類器對背景信息的學(xué)習(xí)利用，從而提高算法的魯棒性。

1 算法原理

1.1 顏色屬性跟蹤算法

顏色屬性跟蹤算法是在CSK算法的基礎(chǔ)上，將單通道的灰度特征拓展到多通道的顏色屬性特征[13-14]，從而增強算法的魯棒性，并通過使用PCA主成分分析法將原11維顏色特征降維到2維來降低拓展顏色特征對算法速度的影響。該算法所采用的核脊回歸分類器，是利用訓(xùn)練樣本找到一個使樣本X對回歸目標(biāo)y的平方差最小的函數(shù)f(z)=wTz，則該最優(yōu)化問題的解等價于

(1)

w=(XTX+λI)-1XTy。

(2)

根據(jù)矩陣求逆引理，可得其對偶解為

w=XT(XXT+λI)-1y。

(3)

將w映射到高維空間用多項式w=∑iαixi[15]來表示，同時引入核方法將內(nèi)積XXT用核矩陣K代替，則核脊回歸的解可化為

α=(K+λI)-1y

(4)

式中，K是由循環(huán)移位樣本生成的核矩陣，文獻[4]證明了K也是循環(huán)矩陣，利用循環(huán)矩陣的對角化性質(zhì)，可以求得非線性分類器

(5)

在檢測階段，對于新輸入的采樣圖像片Z，利用非線性分類器α，可得出其分類器響應(yīng)

(6)

(7)

(8)

1.2 使用自適應(yīng)背景約束改進

為了保持運算速度，常規(guī)的核相關(guān)濾波類的算法設(shè)置的搜索區(qū)域較小，一般是上一幀目標(biāo)大小的1～2倍。同時,為了提高循環(huán)位移樣本的真實性，算法會對取到的樣本進行加余弦窗操作。以上兩點會過濾掉大量分類器本來需要學(xué)習(xí)的背景信息，導(dǎo)致分類器判別能力下降。而引入背景約束項，使其在核相關(guān)濾波器的損失函數(shù)中回歸到0，增加分類器對目標(biāo)周圍背景塊的學(xué)習(xí)，則可以提高分類器的判別能力。但過多的引入背景約束項會極大減緩跟蹤算法的速度，因此通過檢測響應(yīng)矩陣中的峰值旁瓣比(PSR)值來確定是否出現(xiàn)干擾，通過計算極大值和次極大值之間的向量角來確定干擾物出現(xiàn)的背景塊。PSR的定義如下

(9)

式中：gmax是響應(yīng)矩陣中的極大峰值；μs1和σs1是旁瓣的均值和標(biāo)準(zhǔn)差。當(dāng)PSR滿足下式時，則認(rèn)定出現(xiàn)多峰響應(yīng)，即

胡 穹等： 使用自適應(yīng)背景約束改進的顏色屬性跟蹤算法

Pt

(10)

式中:Pt表示當(dāng)前幀的響應(yīng)矩陣的PSR值；Pmean表示PSR的平均值。

出現(xiàn)多峰響應(yīng)之后，通過極值檢測可以在響應(yīng)矩陣中確定最大峰值的坐標(biāo)(m0,n0)和次極大峰值的坐標(biāo)(m1,n1)。然后取以(m1,n1)為中心、大小與檢測目標(biāo)大小相同的背景塊作為背景約束塊。

之后引入對應(yīng)的背景約束項，原優(yōu)化問題最優(yōu)解式(1)變?yōu)?/p>

(11)

式中：X0代表原目標(biāo)樣本進行循環(huán)位移之后構(gòu)成的訓(xùn)練樣本的循環(huán)位移矩陣；XB表示對應(yīng)背景塊經(jīng)過循環(huán)位移之后形成的循環(huán)矩陣。

將背景塊XB的回歸目標(biāo)定為0，則式(11)可以統(tǒng)一為

(12)

類比之前的推導(dǎo)，可得出問題的解為

(13)

轉(zhuǎn)換到復(fù)數(shù)域，則

(14)

在檢測階段，對于新輸入的采樣圖像片Z，可得出其分類器響應(yīng)為

(15)

式中：kz x0表示采樣圖片Z與目標(biāo)模型x0的核相關(guān)矩陣；kx0x0表示目標(biāo)模型x0的自相關(guān)核矩陣；kxBxB表示對應(yīng)背景塊xB的自相關(guān)核矩陣。本文算法選用的核函數(shù)是高斯核函數(shù)。

根據(jù)文獻[8-9]，本文方法還額外構(gòu)造一個一維尺度空間濾波器實現(xiàn)算法對多尺度的支持。

2 本文算法流程

結(jié)合以上論述，本文算法步驟如下。

2) 根據(jù)式(6)計算待檢區(qū)域的響應(yīng)矩陣，同時計算該響應(yīng)矩陣的PSR值，并確定當(dāng)前幀中目標(biāo)的中心位置，然后根據(jù)文獻[8-9]，以目標(biāo)中心位置為中心取33個不同尺度大小的待檢區(qū)域，利用一維尺度空間濾波器確定目標(biāo)的真實尺度。

4) 跟蹤新的跟蹤結(jié)果和分類器模型，按照式(7)和式(8)對各模型進行線性加權(quán)更新，繼續(xù)跟蹤下一幀。

3 實驗結(jié)果與分析

本文實驗所使用的測試視頻均來自Visual Tracker Benchmark,所選用的視頻有David，carscale，surf，girl1，girl2和dragonbaby等。這些視頻包含了目標(biāo)快速運動、目標(biāo)較大姿態(tài)變化、尺度變化、光照變化、攝像機模糊、目標(biāo)遮擋、背景相似物干擾等一些具有挑戰(zhàn)性的影響因素。大量實驗表明，目標(biāo)模型正則化參數(shù)λ1取0.001時跟蹤效果最好，背景約束模型正則化參數(shù)λ2，學(xué)習(xí)因子η和ζ在不同測試視頻中的最佳值不同。采用的對比算法包括DSST[9]，CN[6]，STC[16]，SAMF[5]，均使用文獻作者主頁上提供的源碼。實驗環(huán)境是Matlab2016b，實驗計算機配置是I7- 6700HQ的CPU，8 GB內(nèi)存。

3.1 定性分析

圖1是各算法的部分實驗結(jié)果對比，不同算法用不同顏色的實線框表示。圖1a是surf視頻的部分實驗結(jié)果。由于原始的CN算法未利用背景信息，故而在第17幀時會因為身體膚色干擾產(chǎn)生多峰響應(yīng)，導(dǎo)致一定程度的漂移。而STC所使用的是單一的灰度圖像特征，對于身體膚色干擾的魯棒性也不夠，從第141幀開始漂移。DSST算法使用單一的HOG特征，在目標(biāo)發(fā)生旋轉(zhuǎn)和快速形變時容易產(chǎn)生響應(yīng)多峰，造成誤差的累積，故而在第376幀跟錯目標(biāo)，而本文算法和SAMF算法則能對目標(biāo)進行較好的跟蹤。圖1b的carscale視頻主要測試算法對尺度變化目標(biāo)的跟蹤性能。由于STC算法是通過每5幀更新一次權(quán)值函數(shù)中的方差?來實現(xiàn)對多尺度的支持，故在目標(biāo)尺度發(fā)生連續(xù)性變化時不能產(chǎn)生較好的估計。而SAMF算法則是在7層的圖像金字塔上檢測平移位置的，因而對于尺度的估計比較粗糙，而原始的CN算法沒有對多尺度的支持，僅本文算法和DSST算法能對目標(biāo)尺度的變化進行較為精確的估計。圖1c是David視頻的部分實驗結(jié)果，此視頻存在目標(biāo)尺度變化干擾和人物姿態(tài)變化干擾，由于干擾變化不是很大，各算法均能較好地跟蹤，但由于跟蹤誤差的累積，在后面幾幀中，CN，STC，SAMF算法對于尺度支持不夠好，造成在分類器模型中引入了較多的錯誤背景信息，導(dǎo)致跟蹤有了一定程度的偏移，而本文算法和DSST算法仍然可以進行較好的跟蹤。圖1d的girl1視頻跟蹤難度較大，存在著人物姿態(tài)的多次變化、小幅度的目標(biāo)尺度變化和干擾物遮擋。從實驗結(jié)果可以看出，在第103幀人物轉(zhuǎn)身時，目標(biāo)特征發(fā)生了較大的變化，STC和DSST算法均產(chǎn)生了一定的跟蹤誤差，而在第252幀目標(biāo)第二次轉(zhuǎn)身回來，CN算法沒有對周圍背景塊的響應(yīng)抑制，導(dǎo)致其模型也被污染，產(chǎn)生了一定程度的跟蹤漂移，而第439幀的目標(biāo)局部遮擋則使CN模型完全被污染，徹底跟丟，僅SMAF算法和本文算法對于目標(biāo)特征改變和局部遮擋有較好的魯棒性。圖1e的girl2視頻則存在著人物姿態(tài)變化和尺度變化，由于顏色屬性特征和HOG特征均能較好地適應(yīng)目標(biāo)小幅度的姿態(tài)變化，因此DSST，SMAF和本文算法的跟蹤效果都比較好，而CN算法在目標(biāo)變小時學(xué)習(xí)到了過多錯誤的背景信息而導(dǎo)致跟丟，STC算法則由于跟蹤誤差的累積逐步發(fā)生漂移。圖1f的dragonbaby視頻跟蹤難度極大，視頻中不僅存在目標(biāo)轉(zhuǎn)身導(dǎo)致的特征變化與尺度變化，還存在著目標(biāo)快速運動導(dǎo)致的畫面模糊和目標(biāo)平移度過大，以及干擾物的局部遮擋。

圖1 5種算法部分實驗結(jié)果定性對比Fig.1 Qualitative comparison of the experimental results using the five algorithms

從部分實驗結(jié)果可以看到，當(dāng)目標(biāo)轉(zhuǎn)身時，使用HOG特征的DSST算法和單一灰度特征的STC算法都產(chǎn)生了較大的漂移，而隨著目標(biāo)的快速跳開，由于SAMF算法和原始CN算法沒有對周圍背景信息學(xué)習(xí)的能力，因此當(dāng)目標(biāo)移動至檢測區(qū)域邊緣時，樣本余弦窗的遮蓋會導(dǎo)致訓(xùn)練的正樣本質(zhì)量大幅下降而產(chǎn)生漂移，因為SAMF算法使用的是復(fù)合特征，因此模型受污染程度不大，后續(xù)不會產(chǎn)生過大的跟蹤漂移，而本文算法因為添加了特定的背景約束項，因此在正樣本質(zhì)量下降時可以通過學(xué)習(xí)背景信息來抑制周圍錯誤信息，從而達到較高的跟蹤精度。

3.2 定量分析

本文采用每秒處理幀數(shù)(FPS)衡量算法的跟蹤效率(見表1)，采用文獻[17]中平均中心位置誤差(CLE)(見表2)、距離精度(DP)、重疊精度(OP)(見表3)這3個性能指標(biāo)來衡量算法的跟蹤精度。中心位置誤差表示跟蹤目標(biāo)狀態(tài)矩形框中心和真實目標(biāo)狀態(tài)矩形框中心之間的歐氏距離，其值越小，表示算法對目標(biāo)位置的跟蹤越精確。表1～表3中，最優(yōu)的結(jié)果用加粗字體表示，次優(yōu)的結(jié)果用斜體表示。

表1 平均每秒幀數(shù)(FPS)

表2 平均中心位置誤差(CLE)

表3 平均重疊率

從表2可以看到，由于本文算法在原始的CN算法基礎(chǔ)上引入了自適應(yīng)的背景約束項來提高算法分類器對背景信息的利用，達到了較高的跟蹤精度，所以在各測試圖像序列中,本文算法的CLE均排在前列，相比原始的CN算法，除去CN算法在girl2中跟丟的結(jié)果，總的平均CLE從24.76像素提高到了9.06像素。

3.2.1 算法跟蹤效率

每秒處理幀數(shù)表示算法每秒所能處理的幀數(shù)，其值越大，表示算法的跟蹤效率越高。表1為在各測試視頻中，本文算法與對比算法的平均每秒處理幀數(shù)?；诤讼嚓P(guān)濾波的算法,其精度、速度與檢測區(qū)域有較大的關(guān)系，因此在不同測試視頻中速度表現(xiàn)不一樣。在girl2，dragonbaby等目標(biāo)移動較快的視頻中，所取的檢測區(qū)域面積是目標(biāo)大小的2倍，其余測試視頻檢測區(qū)域面積是目標(biāo)大小的1倍，因此速度差異較大。其中，SAMF算法是將HOG特征和CN特征相結(jié)合，在7層圖像金字塔上進行檢測，因此速度最慢，平均速度僅16.89 幀/s。DSST算法使用的31維HOG特征，在特征提取和處理階段比使用2維的CN顏色特征的算法要慢很多，平均速度只有39.25 幀/s。STC算法利用的是低階灰度特征，因此相比之下速度很快，平均速度可以達到100多幀/s。原始CN算法利用循環(huán)結(jié)構(gòu)構(gòu)造訓(xùn)練樣本，利用PCA將特征降至2維，極大地節(jié)省了運算開支，其平均速度達到了140.82 幀/s，是對比算法中最快的。而本文是在CN算法基礎(chǔ)上添加了背景約束項，并增加了一維尺度濾波器，因此相比原始的CN算法損失了一半的速度，平均速度有63.85 幀/s，但還是可以很好地滿足實時性要求。

3.2.2 算法跟蹤精度

距離精度表示CLE小于某一個閾值時的幀數(shù)占總測試序列幀數(shù)的百分比，圖2表示各測試視頻中各算法的DP曲線，可以看到，本文算法基本可以包圍其他算法的曲線，完全包圍原始CN算法的曲線，對于目標(biāo)位置有較高的跟蹤精度。綜合考慮算法對目標(biāo)位置和目標(biāo)尺度的跟蹤精度，還可以用重疊精度來衡量。重疊率可表示為

(16)

式中，ST表示跟蹤目標(biāo)狀態(tài)矩形框，SR表示真實目標(biāo)狀態(tài)矩形框，ST∩SR表示這二者的重疊部分。而重疊精度表示重疊率大于某一個閾值的幀數(shù)占測試圖像序列總幀數(shù)的比率。表3表示各算法在各個測試圖像序列的平均重疊率，本文算法的OP均值為69.28%，相比原始CN算法43.68%的OP均值，提升了25.6%，相比次優(yōu)的SAMF算法的63.83%，提升了5.45%。從圖2中各視頻的實驗結(jié)果可以較為直觀地比較各算法在各測試圖像序列中的OP值。

圖2 各視頻的實驗結(jié)果Fig.2 Experimental result of each video

4 結(jié)論

針對顏色屬性跟蹤算法對背景信息利用過少，在目標(biāo)被局部遮擋、快速形變和快速運動時會產(chǎn)生漂移的問題，提出了一種使用自適應(yīng)背景約束改進的顏色屬性跟蹤算法。該算法基于顏色屬性跟蹤算法，在脊回歸分類器目標(biāo)函數(shù)中引入特定的背景約束來抑制干擾響應(yīng)峰，同時使用一維尺度濾波器對目標(biāo)尺度進行估計。

為保證算法有較高的跟蹤效率，本文算法僅使用單一的CN特征，且僅對影響最大的背景干擾塊引入背景約束來進行抑制。在目標(biāo)非快速變色的情況下，本文算法對目標(biāo)姿態(tài)變化、目標(biāo)局部遮擋、運動模糊、背景相似物等干擾有較強的魯棒性，可以滿足一般情況下的實時應(yīng)用。