基于梯度特征和信道編碼的多特征魯棒紅外跟蹤

駱焦煌

(閩南理工學(xué)院 信息管理學(xué)院，福建 石獅 362700)

0 引 言

紅外技術(shù)最初應(yīng)用于軍事領(lǐng)域，并逐漸被各種其他學(xué)科領(lǐng)域所采用，在多種復(fù)雜環(huán)境中得到推廣，如建筑物檢測、氣體檢測、醫(yī)療、火情探測、航空航天等。由于紅外視頻數(shù)據(jù)的大量增加，紅外跟蹤[1]逐漸成為熱門研究課題，具有重要的商業(yè)價值和社會意義。

相比于可見光目標(biāo)跟蹤[2]，紅外圖像一般帶噪，圖像質(zhì)量和分辨率較低，其跟蹤的難度更大。已有紅外跟蹤方法一般分為生成式方法和判別式方法。生成式方法通過建立外觀模型來描述目標(biāo)，并在每幀中搜索最相似區(qū)域的位置[3]。例如，歸一化互相關(guān)(normalized cross correlation, NCC)的模版匹配[4]、修正的最小可分辨率溫差(minimum resolvable temperature difference, MRTD)視距估算模型[5]。文獻(xiàn)[6]提出的分布場跟蹤器(distribution field tracker, DFT)，利用空間直方圖特征對目標(biāo)模型與目標(biāo)之間的距離進(jìn)行最小化。生成式方法通常采用局部搜索，通常無法區(qū)分屬性相似的對象，而判別式方法將跟蹤問題視為二元分類問題來處理。如文獻(xiàn)[7]提出的快速壓縮跟蹤(fast compression tracking, FCT)方法，利用目標(biāo)的haar特征和背景來訓(xùn)練樸素貝葉斯分類器；還有基于大津閾值分割的對比度跟蹤算法[8]，以及文獻(xiàn)[9]提出的防誤導(dǎo)跟蹤(distractor aware tracking, DAT)方法，利用顏色統(tǒng)計模型，識別出干擾區(qū)域，以提前預(yù)防漂移。文獻(xiàn)[10]在判別性尺度空間跟蹤(discriminative scale space tracking, DSST)中使用了帶準(zhǔn)確尺度估計的方向梯度直方圖(histogram of oriented gradient, HOG)特征。

雖然研究者提出了各種算法，但高效跟蹤器的設(shè)計依然是一個難題。本文在核化相關(guān)濾波器框架中，結(jié)合了判別式和生成式技術(shù)的優(yōu)點，以提升紅外視頻中的跟蹤性能。在判別式方法中結(jié)合了2種并行操作：①通過核化相關(guān)濾波器(kernelized correlation filter, KCF)的自適應(yīng)組合來得到目標(biāo)位置；②通過支持向量回歸(supported vector regression, SVR)分類器對目標(biāo)像素和背景像素進(jìn)行分割，在分割區(qū)域上應(yīng)用均值漂移程序，確定目標(biāo)位置。多個紅外視頻上的實驗結(jié)論驗證了所提跟蹤方法的優(yōu)勢。

1 本文紅外跟蹤方法

基于檢測的跟蹤方法將目標(biāo)跟蹤問題視作分類任務(wù)，以得到目標(biāo)在每幀中的位置。然而，基于檢測的方法假設(shè)分類置信度最高值對應(yīng)最優(yōu)目標(biāo)位置，這會造成較為嚴(yán)重的目標(biāo)漂移。簡單來說，當(dāng)目標(biāo)發(fā)生一定的遮擋或者背景發(fā)生較大變化時，所獲得的置信度可能比目標(biāo)置信度還高，從而造成目標(biāo)跟蹤框不停漂移，簡稱目標(biāo)漂移。因此，本文基于空間結(jié)構(gòu)和像素強度值，使用2種互補方法確定目標(biāo)位置，主要流程如圖1。

圖1 本文方法的主要流程圖Fig.1 Main flow chart of proposed method

創(chuàng)建濾波器模板和建立分類器模型都是為了目標(biāo)檢測和定位作準(zhǔn)備。首先，從給定位置中提取感興趣區(qū)，推導(dǎo)出梯度和信道編碼特征，并各自對KCF框架進(jìn)行訓(xùn)練。訓(xùn)練后的濾波器與感興趣區(qū)相關(guān)聯(lián)，并與輸出響應(yīng)結(jié)合在一起。SVR分類器對目標(biāo)像素和背景像素的圖像塊進(jìn)行訓(xùn)練(感興趣區(qū))，從而在后續(xù)的幀中對目標(biāo)進(jìn)行分割。圖1中，感興趣區(qū)的提取在每一次目標(biāo)檢測定位中都會進(jìn)行，中間框圖的雙向箭頭表示循環(huán)往復(fù)，直至最后一幀。

1.1 核化相關(guān)濾波器跟蹤器

KCF是相關(guān)濾波器的核化版本，使用數(shù)據(jù)的循環(huán)結(jié)構(gòu)特性，通過檢測方法進(jìn)行訓(xùn)練和跟蹤[11]。

1.1.1 本文方法使用的特征集

本文所用的第2個特征集是信道編碼特征，使用非線性變換從x中構(gòu)建出信道矢量

c=[K(x-x1),K(x-x2),…,K(x-xn)]T

(1)

(1)式中：K{·}表示對稱非負(fù)基函數(shù)；x1,x2,…,xn為信道中心或bin的中心。信道編碼從標(biāo)量中構(gòu)造出信道矢量，利用核函數(shù)K{·}構(gòu)建出信道表征，通過對數(shù)據(jù)進(jìn)行分箱操作得到平滑直方圖。

1.1.2 單個特征的KCF跟蹤器

在KCF中，從當(dāng)前幀裁剪出尺寸為P×Q的輸入圖像分塊xi，并提取出空間特征。利用數(shù)據(jù)循環(huán)結(jié)構(gòu)從輸入樣本的所有循環(huán)位移中訓(xùn)練濾波器，生成相同尺寸的輸出y。相關(guān)經(jīng)驗表明[11,13]，期望響應(yīng)y為高斯形狀，其中心為最大值，表示目標(biāo)位置。裁剪分塊的尺寸是目標(biāo)尺寸的1.5倍(不能小于目標(biāo)尺寸，否則會造成卷積失真)，以避免周期卷積造成的頻譜混疊。然后，將分塊與一個余弦窗口相乘，以平滑尖銳的邊界。通過濾波器w將輸入特征映射到概率圖。在濾波器學(xué)習(xí)中，一般將訓(xùn)練問題定義為核映射訓(xùn)練樣本xi和目標(biāo)y的循環(huán)位移之間的誤差最小化，具體如下。

(2)

(2)式中：w表示空間域中的濾波器模板；λ表示為避免過擬合而使用的正則化項；φ(xi)將輸入模板xi映射到非線性高斯核空間；k表示訓(xùn)練樣本的個數(shù)。核相關(guān)包括2個矢量相對位移的核計算，一般高斯核表示為

(3)

(3)式中：σg表示高斯核函數(shù)的方差；⊙表示逐元素相乘；x表示模板；*表示變量的復(fù)共軛；符號頂部有^表示離散傅里葉變換(discrete Fourier transform, DFT)；I表示前向DFT；I-1表示逆向離散傅里葉變換(inverse discrete Fourite transform, IDFT)。

(4)

1.1.3 擴(kuò)展到多特征KCF跟蹤器

為了在跟蹤過程中納入多個特征，本文使用梯度特征和信道編碼特征分別對濾波器H1和H2進(jìn)行訓(xùn)練，如圖2。

本文基于峰旁瓣比(peak sidelobe ratio, PSR)對置信度圖進(jìn)行融合。PSR是用于在置信圖中尋找峰值強度的度量，置信圖中每個像素表示該像素屬于目標(biāo)的概率。對于信道編碼特征圖和梯度特征圖，其相關(guān)響應(yīng)o的PSR計算相同，計算式為

(5)

(5)式中：omax表示像素灰度最高值(峰值)；μo表示像素灰度均值；σo表示峰值位置周圍11×11區(qū)域之外的方差。之所以選擇11×11區(qū)域，是考慮到高斯核的大小和形狀，以及KCF輸出響應(yīng)的范圍，11×11基本可以覆蓋響應(yīng)區(qū)域。

圖2 訓(xùn)練流程圖Fig.2 Flow chart of training

為了在似然圖中加入自適應(yīng)權(quán)重，在每幀中生成自適應(yīng)權(quán)值w1和w2分別為

(6)

(7)

(7)式中：PSRg表示梯度響應(yīng)的PSR；PSRc表示信道編碼特征響應(yīng)的PSR。這樣，利用權(quán)值w1和w2生成融合置信圖o：o=w1og+w2oc。

1.1.4 模板更新問題

在每幀中執(zhí)行模板更新以學(xué)習(xí)目標(biāo)的最新外觀，從而將模板與最新數(shù)據(jù)順序?qū)R。但相關(guān)濾波器對于形變、遮擋和較大的外觀變化比較敏感，如果濾波器模板以恒定學(xué)習(xí)率更新，當(dāng)發(fā)生形變或遮擋時，相關(guān)濾波器的敏感性會將錯誤信息帶到輸出響應(yīng)中((4)式)，使得跟蹤失敗的概率上升。此時較好的處理方式是降低置信度較低幀的學(xué)習(xí)率。因此，本文采用質(zhì)量度量對濾波器模版進(jìn)行更新。當(dāng)跟蹤的置信度PSR超過閾值時，以初始值對濾波器模板進(jìn)行更新。

1.2 分類與NCC模板匹配

本文使用SVR分類器[14]對前景像素和背景像素進(jìn)行分類，紅外目標(biāo)跟蹤的流程如圖3。為了生成訓(xùn)練樣本，構(gòu)建出特征空間，包括目標(biāo)和背景每個像素周圍的8×8圖像塊。從目標(biāo)像素中生成正面樣本集合，并從周圍區(qū)域中生成負(fù)面樣本集合。利用樣本對分類器進(jìn)行訓(xùn)練，并使用分類器對未標(biāo)記像素進(jìn)行分類。為應(yīng)對目標(biāo)形變和外觀變化，在跟蹤置信度較高的情況下定期更新前景和背景模型。

為定位目標(biāo)，需要在多幀目標(biāo)模板上執(zhí)行模板匹配。lcf或(xa,ya)表示通過KCF跟蹤器得到的位置，lab或(xb,yb)表示通過分類器方法得到的位置。目標(biāo)可能位置的計算式為

lf=wllcf+(1-wl)lab

(8)

(8)式中，權(quán)值wl變化是(0,1)。從位置lf提取出尺寸為P×Q的圖像分塊(表示為Tlf)。模板匹配分為2個步驟，首先，將估計目標(biāo)與之前得到的目標(biāo)tn-1進(jìn)行比較，比較可能目標(biāo)與多幀模板，多幀模板的計算式為

Tmt=λtTmt-1+(1-λt)tn-1

(9)

(9)式中，λt為學(xué)習(xí)率，以λt對多幀模版進(jìn)行更新以包括最新外觀。

然后，通過真實位置對目標(biāo)進(jìn)行初始化，計算多幀模板作為檢測目標(biāo)的移動均值。而估計位置Tlf與之前得到的目標(biāo)tn-1之間的相似性(表示為S(Tlf,tmt-1))通過NCC得分獲得。根據(jù)wl對S(Tlf,tn-1)和S(Tlf,tmt-1)之間的加權(quán)組合進(jìn)行最大化。最優(yōu)權(quán)值wl被用于判定目標(biāo)的最終位置，即

(10)

圖3 紅外目標(biāo)跟蹤流程Fig.3 Infrared target tracking process

本文使用NCC得分對模板匹配進(jìn)行評估。逐像素比較2個矢量x和y之間的NCC得分，并減去平均值以消除強度變化的影響。對相關(guān)數(shù)值進(jìn)行歸一化，生成0—1內(nèi)的得分。0和1分別表示2個矢量x和y之間強失配和強匹配。2個矢量之間的NCC得分計算為

(11)

關(guān)于目標(biāo)尺寸參數(shù)，讀者可以調(diào)用OpenCV庫中的Lucas-Kanade算法[15]。

1.3 復(fù)雜度分析

本文方法的時間復(fù)雜度分析參考圖3的跟蹤流程，主要集中在多特征KCF跟蹤器和SVR分類上。多特征KCF的時間復(fù)雜度主要體現(xiàn)在循環(huán)移位操作，其時間復(fù)雜度是O(nklog(nk))，其中，n表示樣本數(shù)，k表示每個樣本特征維度，空間復(fù)雜度相同。如果不考慮特征維度的粒度，即單通道的KCF復(fù)雜度，時間復(fù)雜度為O(nlog(n))。SVR分類器的時間復(fù)雜度為O(n3)，空間復(fù)雜度為O(n2)。本文方法的時間復(fù)雜度為O(nklog(nk)+n3)，空間復(fù)雜度為O(nklog(nk)+n2)。KCF跟蹤的一大優(yōu)勢是運行速度非常快，其碼率可以達(dá)到100 f/s以上[13]。本文針對紅外圖像進(jìn)行了修改，其碼率也在30 f/s以上，基本滿足實時播放要求。

2 實驗結(jié)果和討論

2.1 數(shù)據(jù)集與參數(shù)設(shè)置

所提算法在MATLAB 2011a軟件平臺上運行，計算機(jī)配置為Intel(R)core i7-7200U，處理器頻率2.80 GHz，以及8 GByte RAM。為評價所提方法，本文選擇LTIR熱紅外數(shù)據(jù)集[16]。6個圖像序列的詳細(xì)信息如表1。數(shù)據(jù)集的目標(biāo)包括人、動物和車輛。這些圖像序列中包括遮擋、外觀改變、溫度變化和尺度變化等情況。

表1 LTIR數(shù)據(jù)集的6個序列

本文從數(shù)據(jù)集提供的真實注釋中獲取目標(biāo)的起始位置，以對跟蹤進(jìn)行初始化。以目標(biāo)尺寸1.5倍的大小裁剪出一個圖像分塊，在特征提取之后，將該圖像塊乘以余弦窗口以平滑邊界。使用高斯核(σg=0.02)對輸入特征進(jìn)行映射。使用正則化參數(shù)λ=0.001來避免過擬合。使用2個置信度指標(biāo)，即PSR和目標(biāo)似然圖聚合。跟蹤置信度較高時，學(xué)習(xí)率數(shù)值設(shè)為0.025，對于置信度較低的幀，學(xué)習(xí)率數(shù)值降低為0.001。實驗中，設(shè)PSR閾值為0.5PSRmax，并設(shè)置權(quán)重圖聚合的閾值為0.5Wp≤S≤2Wp以更新濾波器模版，其中，Wp表示初始幀中權(quán)重圖數(shù)值之和。

2.2 定性分析

本文通過其他5個跟蹤方法與所提方法進(jìn)行比較。這些方法分別是NCC的模版匹配[4]、修正的MRTD視距估算模型[5]、快速壓縮跟蹤FCT[7]、防止誤導(dǎo)跟蹤DAT[9]和DSST[10]。圖4，圖5給出了實驗所使用的樣本幀。

圖4 紅外圖像序列的跟蹤1Fig.4 Tracking of infrared image sequence-1

圖5 紅外圖像序列的跟蹤2Fig.5 Tracking of infrared image sequence-2

圖4a給出了圖像序列trees的跟蹤結(jié)果，人在行走過程中被遮擋于樹后數(shù)次。場景中有多個人在行走，目標(biāo)看起來比背景更亮。該視頻的特點是整體較暗，目標(biāo)以及個別地方較亮(溫度較高)，相似背景較多。所提方法、DAT和FCT表現(xiàn)都較好。但在跟蹤過程中，MRTD的低頻偏低，高頻偏高，造成了目標(biāo)的跟蹤丟失。DSST[10]的HOG特征容易造成誤判，尤其是經(jīng)過相似背景的時候。在圖4b的圖像序列crouching中，目標(biāo)與背景的對比度非常低，目標(biāo)和背景較為相似。在第333—579幀中，目標(biāo)受到相似物體的遮擋，跟蹤難度很大。但所提跟蹤方法得到比其他跟蹤方法更好的結(jié)果，這主要是因為KCF跟蹤框架具有較好的判別能力和定位性能，核化相關(guān)濾波器可從目標(biāo)外觀及其周圍環(huán)境中學(xué)習(xí)背景和目標(biāo)的信息。

圖5a給出了紅外視頻序列depthwise crossing的跟蹤結(jié)果，目標(biāo)周圍的環(huán)境溫度較低，因此，目標(biāo)與背景的對比度較低，增大了跟蹤難度。所提方法稍微優(yōu)于其他跟蹤方法；圖5b給出了紅外序列birds的跟蹤結(jié)果。當(dāng)鳥群經(jīng)過時，目標(biāo)突然彎腰移動。由于目標(biāo)出現(xiàn)突然的姿勢變化，使得跟蹤難度很大。DAT，DSST，NCC和MRTD由于遮擋而丟失了目標(biāo)，并且在目標(biāo)再次出現(xiàn)時未能重新檢測到目標(biāo)。跟蹤失敗可能是由于完全遮擋而學(xué)習(xí)了錯誤的樣本。FCT和本文方法在目標(biāo)重新出現(xiàn)后能夠再次檢測到目標(biāo)，但未能對目標(biāo)精確定位。所提方法能夠以合適的尺度估計跟蹤目標(biāo)，并在遮擋后重新檢測到目標(biāo)的跟蹤器；在圖5c展示的紅外序列running中，一只犀牛是跟蹤目標(biāo)，場景包含很多樹和其他動物，因此，容易出現(xiàn)漂移問題，但所提方法能較好地跟蹤目標(biāo)且沒有出現(xiàn)漂移現(xiàn)象?？偟膩碚f，紅外圖像的質(zhì)量較差，相似背景較多，目標(biāo)也可能有遮擋。如何區(qū)分背景和目標(biāo)，從視頻幀中學(xué)習(xí)背景和目標(biāo)的信息是核心。

2.3 定量分析

本文基于以下3個標(biāo)準(zhǔn)[17]對所提方法與其他方法進(jìn)行性能比較：平均中心定位誤差(average center location error, ACLE)、距離精度(distance precision, DP)和重疊精度(overlap precision, OP)。為了展示每幀中跟蹤器跟蹤到的位置與真實注釋位置之間的偏差，本文使用歐氏距離計算了真實位置和跟蹤位置間的中心位置誤差。設(shè)(xi,yi)表示第i幀的跟蹤位置，(xgi,ygi)表示第i幀的真實位置，M表示視頻中總幀數(shù)，則平均中心位置誤差為

(12)

為了確定中心位置誤差低于某個特定閾值幀的數(shù)量，引入距離精度，其計算公式為

(13)

(13)式中：DPi表示在第i幀，跟蹤位置和真實位置之間的歐氏距離；δ()表示比較函數(shù)；TDP表示特定的閾值，值為20。

OP是評價跟蹤方法的另一個度量。即跟蹤包圍框和真實包圍框之間的包圍框重疊百分比。

表2 各跟蹤方法的性能比較

對于6個紅外視頻序列的性能比較如表2，結(jié)果包含3個值，即{DP,OP,ACLE}，DP值和OP值越大表示結(jié)果越優(yōu)，ACLE值越小表示值越優(yōu)。加下劃線的數(shù)字表示某視頻性能最優(yōu)，由表2可知，所提方法整體性能明顯優(yōu)于其他跟蹤方法。其主要得益于本文使用的KCF跟蹤器具有較好的判別能力和定位性能，核化相關(guān)濾波器可從目標(biāo)外觀及其周圍環(huán)境中學(xué)習(xí)，以便根據(jù)輸出響應(yīng)峰值位置將區(qū)域劃分為目標(biāo)或背景。且結(jié)合的生成式方法明顯緩解了漂移現(xiàn)象。

3 結(jié) 論

本文提出了一個基于檢測的紅外目標(biāo)跟蹤方法，結(jié)合了判別式方法和生成式方法。在KCF框架下對梯度特征和信道編碼特征圖進(jìn)行自適應(yīng)組合，并行地使用目標(biāo)分塊和背景分塊對SVR分類器進(jìn)行訓(xùn)練，從而在每幀中對像素進(jìn)行分類。通過在檢測區(qū)域上執(zhí)行均值漂移程序，在連續(xù)的幀中進(jìn)行目標(biāo)定位。由于每個跟蹤技術(shù)都有其擅長處理的情形，組合方法集成了單個技術(shù)的優(yōu)點，提高了跟蹤的魯棒性。實驗使用了LTIR數(shù)據(jù)集中的6個視頻進(jìn)行評價，實驗結(jié)果證明，所提方法在紅外跟蹤方面具有較大優(yōu)勢。