基于核相關(guān)濾波的視頻衛(wèi)星目標(biāo)跟蹤算法*

劉耀勝，廖育榮，林存寶，李兆銘，倪淑燕

（航天工程大學(xué)，北京 101400）

0 引言

目標(biāo)跟蹤作為計算機(jī)視覺三大領(lǐng)域（檢測、識別、跟蹤）最重要的一部分，已經(jīng)在視頻監(jiān)控、國防軍事、人工智能、汽車導(dǎo)航等領(lǐng)域廣泛應(yīng)用。視頻衛(wèi)星作為一種新型的對地觀測衛(wèi)星，與傳統(tǒng)的對地觀測衛(wèi)星相比較，其最大的特點(diǎn)是可以采用“凝視”的方式對某個區(qū)域進(jìn)行觀察，并且以視頻成像的方式獲得更多的信息，尤其適合于動態(tài)目標(biāo)的檢測和跟蹤。分析其特性，除了能夠?qū)罩械娘w機(jī)、地面上的車輛以及海上的船只獲取動態(tài)信息之外，還可以觀察海洋潮汐的變化，以及其他自然災(zāi)害的發(fā)生，并且以視頻成像的方式觀察到某一固定區(qū)域的目標(biāo)變化情況，從而獲得相關(guān)的信息，以便作出對應(yīng)的決策。

近些年來，各國都在大力研究視頻衛(wèi)星，發(fā)射到高空的視頻衛(wèi)星數(shù)量越來越多。2007 年印度尼西亞發(fā)射“柏林技術(shù)大學(xué)衛(wèi)星”，2013 年美國的Sky box 公司陸續(xù)發(fā)射Sky Sat 系列的視頻衛(wèi)星，2014年中國國防科技大學(xué)發(fā)射自主研制的“天拓二號”衛(wèi)星，2015 年中國長光衛(wèi)星公司研制的“吉林一號”衛(wèi)星順利升空。由于視頻衛(wèi)星拍攝的圖像分辨率較低、尺寸較大、目標(biāo)環(huán)境復(fù)雜，容易受到大氣環(huán)境的干擾以及存在目標(biāo)被遮擋等問題，使得對視頻中小目標(biāo)跟蹤存在很大的問題。傳統(tǒng)的目標(biāo)跟蹤算法主要適用于地面上的大目標(biāo)跟蹤，對小目標(biāo)的跟蹤技術(shù)幾乎沒有出現(xiàn)，因此，對衛(wèi)星視頻中的小目標(biāo)跟蹤將成為該領(lǐng)域的一大技術(shù)難題。

目前，國內(nèi)外學(xué)者對目標(biāo)跟蹤算法的研究主要分為生成式跟蹤算法和判別式跟蹤算法。均值漂移（Meanshift）算法作為生成式跟蹤的經(jīng)典算法，采用基于顏色特征的核密度估計，尋找局部最優(yōu)，該算法計算量不大，在目標(biāo)區(qū)域已知的情況下完全可以做到實(shí)時跟蹤，采用核函數(shù)直方圖模型，對邊緣遮擋、目標(biāo)旋轉(zhuǎn)，小范圍的目標(biāo)遮擋不敏感。但是當(dāng)目標(biāo)速度較快時，跟蹤效果并不好，而且直方圖特征在目標(biāo)顏色特征描述方面略顯匱乏，缺少空間信息。粒子濾波（particle filter，PF）跟蹤算法是以貝葉斯推理和重要性采樣為基本框架，采用一組粒子來近似表示系統(tǒng)的后驗概率分布，然后使用這一近似表示來估計非線性非高斯的系統(tǒng)的狀態(tài)，但是存在收斂速度較慢、容易受到局部最優(yōu)值的干擾、存在一定的誤差等問題。核相關(guān)濾波（kernel correlation filter，KCF）算法是根據(jù)當(dāng)前幀和前一幀的信息訓(xùn)練出一個相關(guān)濾波器，然后與新輸入的圖像進(jìn)行相關(guān)性計算，得到的響應(yīng)圖就是預(yù)測的結(jié)果，得分最高的點(diǎn)或者塊就是最可能跟蹤的區(qū)域，但當(dāng)目標(biāo)背景復(fù)雜的時候，尤其是跟蹤小目標(biāo)時出現(xiàn)跟蹤漂移的現(xiàn)象，最終導(dǎo)致跟蹤失敗。由于KCF 算法使用HOG 特征和核函數(shù)提高了跟蹤的速度和準(zhǔn)確度，因此，該算法被國內(nèi)外學(xué)者廣泛研究。

由于視頻衛(wèi)星存在背景干擾、光照變化、目標(biāo)較小和目標(biāo)遮擋等問題，傳統(tǒng)的KCF 算法已經(jīng)不能實(shí)現(xiàn)對目標(biāo)的跟蹤，因此，本文所提出的算法通過對傳統(tǒng)的KCF 算法進(jìn)行改進(jìn)，然后利用卡爾曼濾波算法解決目標(biāo)的遮擋問題，使用局部模板匹配的方法對目標(biāo)進(jìn)行精確地跟蹤，解決目標(biāo)跟蹤復(fù)雜和目標(biāo)發(fā)生旋轉(zhuǎn)的問題，實(shí)驗結(jié)果顯示，所提出的算法可以對視頻衛(wèi)星中的小目標(biāo)進(jìn)行實(shí)時跟蹤。

1 KCF 算法目標(biāo)跟蹤算法

1.1 KCF 算法介紹

KCF 算法作為判別式跟蹤算法中經(jīng)典的算法，其思想是在目標(biāo)跟蹤過程中訓(xùn)練一個目標(biāo)檢測器，使用訓(xùn)練好的目標(biāo)檢測器來檢測下一幀中預(yù)測的位置是否存在目標(biāo)，然后再使用檢測到的新結(jié)果對前一幀的訓(xùn)練集進(jìn)行更新，從而可以更新目標(biāo)檢測器，在目標(biāo)檢測過程中利用傅里葉逆變換可以求出目標(biāo)的位置，從而對目標(biāo)進(jìn)行跟蹤。

1.1.1 構(gòu)建訓(xùn)練集

KCF 跟蹤算法通過對目標(biāo)周圍的區(qū)域進(jìn)行循環(huán)移位產(chǎn)生樣本數(shù)據(jù)集。假設(shè)基本向量為［，，，…，x］，則循環(huán)矩陣可以表示為

其中，每一行都可以表示為訓(xùn)練樣本，而其他行可以看作是這一行循環(huán)位移而來的。

1.1.2 構(gòu)建嶺回歸分類器

KCF 算法一個典型的優(yōu)勢就是通過構(gòu)建嶺回歸分類器，對樣本數(shù)據(jù)集進(jìn)行訓(xùn)練，找到最優(yōu)的系數(shù)，使函數(shù)（）=wφ（）和回歸目標(biāo)值y之間的平方誤差最小。

其中，表示防止過度擬合的正則化參數(shù)。

因此，可求得最優(yōu)解系數(shù)為：

其中，X表示復(fù)共軛轉(zhuǎn)置矩陣，向量表示回歸目標(biāo)值y。

在這里引入核函數(shù)，將低緯度的數(shù)據(jù)轉(zhuǎn)換到非線性高緯度，進(jìn)行分離。核函數(shù)為：

使用循環(huán)矩陣和傅里葉變換可得：

其中，是相關(guān)系數(shù)，“^”表示離散傅里葉變換。

1.1.3 對目標(biāo)進(jìn)行檢測

對于新輸入的圖像，可以得到分類器的輸出是然后通過使用傅里葉逆變換，找到向量中得分最高的值就是每一幀的目標(biāo)位置。

1.1.4 模板更新

為了能夠?qū)δ繕?biāo)進(jìn)行有效跟蹤，需要對每一幀圖像進(jìn)行模板更新。

其中，為學(xué)習(xí)因子。

2 算法改進(jìn)

2.1 卡爾曼濾波算法

卡爾曼濾波器是一種最優(yōu)線性狀態(tài)估計方法，即在最小均方誤差準(zhǔn)則下的最佳線性濾波器，所謂狀態(tài)估計是利用數(shù)學(xué)中的方法來找到與觀測數(shù)據(jù)最佳擬合的狀態(tài)向量。通過結(jié)合KCF 算法，可以提高對視頻衛(wèi)星中目標(biāo)跟蹤的準(zhǔn)確性。由于在相鄰圖像中目標(biāo)的運(yùn)動非常緩慢，可以近似認(rèn)為是勻速運(yùn)動，因此，當(dāng)目標(biāo)發(fā)生遮擋的時候，可以通過使用卡爾曼濾波對目標(biāo)進(jìn)行跟蹤，利用卡爾曼濾波算法對目標(biāo)跟蹤的時間更新方程如下：

在本文中，設(shè)z表示為［，］，測量噪聲非常小，可以設(shè)為0，過程噪聲比較大，可以設(shè)為0.01*U，U為4×4 的單位矩陣。而其他參數(shù)取值為：

通過卡爾曼濾波可以預(yù)測目標(biāo)在下一幀中的位置，從而解決目標(biāo)被遮擋的問題。實(shí)驗表明，可以對遮擋目標(biāo)進(jìn)行實(shí)時跟蹤，并且保證跟蹤的實(shí)時性。

2.2 局部模板匹配

模板匹配是通過選取感興趣的區(qū)域作為模板，然后在其他圖片上尋找能夠進(jìn)行匹配的方式。在進(jìn)行模板匹配時，通常選用灰度進(jìn)行匹配，然后選用一種合適的相似性度量方法進(jìn)行判定，選取與模板圖像最相似的位置，作為目標(biāo)跟蹤的最終位置，在這里選用歸一化平方差作為匹配的好壞。

其中，表示模板圖像，表示待匹配的圖像。

在本文中，進(jìn)行模板匹配，選取KCF 算法進(jìn)行粗跟蹤之后的區(qū)域，由KCF 算法可以得到目標(biāo)位置的邊框，然后在邊界框的上下左右4 個方向擴(kuò)大5個像素，或者10 個像素，這根據(jù)實(shí)際情況來決定，之后在擴(kuò)大的目標(biāo)區(qū)域進(jìn)行模板匹配，以此來進(jìn)行目標(biāo)的精確跟蹤。

2.3 遮擋檢測方法

目標(biāo)遮擋問題是計算機(jī)跟蹤領(lǐng)域的一大難點(diǎn)，如何解決目標(biāo)遮擋的問題成為許多研究者的棘手的問題。而目標(biāo)遮擋分為：開始遮擋，完全遮擋，遮擋結(jié)束。首先選取什么方式判斷目標(biāo)是否發(fā)生遮擋，然后調(diào)用卡爾曼濾波算法進(jìn)行預(yù)測目標(biāo)的下一個位置。根據(jù)文獻(xiàn)［12］中的遮擋檢測方法，選用峰值旁瓣比（peak to sidelobe ratio，PSR）作為目標(biāo)是否被遮擋的檢測方法，峰值旁瓣比的公式如下：

其中，表示響應(yīng)圖中的最大值，就是的峰值。旁瓣區(qū)域表示響應(yīng)圖中周圍的區(qū)域。，表示該區(qū)域的均值和方差。通過設(shè)置相關(guān)閾值（本實(shí)驗中設(shè)置為0.35，經(jīng)過多次實(shí)驗測試獲得），當(dāng)PSR 大于閾值時，可以認(rèn)為是目標(biāo)沒有發(fā)生遮擋；否則，目標(biāo)發(fā)生遮擋。

2.4 算法流程圖

3 實(shí)驗結(jié)果與分析

實(shí)驗平臺在Inter Xeon E3-1240 v5 3.50GHz CPU，16GB RAM，Python 3.7 上進(jìn)行實(shí)驗，并保留原始KCF 算法默認(rèn)的參數(shù)：正則化參數(shù)為0.000 1，模型更新參數(shù)為0.012。本實(shí)驗所用的視頻數(shù)據(jù)集都是由“吉林一號”視頻衛(wèi)星拍攝，選擇背景復(fù)雜、遮擋目標(biāo)、光照變化等不同情況的3 組視頻數(shù)據(jù)集進(jìn)行測試，為保證算法的有效性，選用中心位置誤差（CLE）、距離精度和重疊率作為對本文所改進(jìn)算法的評價指標(biāo)，而中心位置誤差和成功率可以用來判斷目標(biāo)跟蹤的準(zhǔn)確性。中心位置誤差表示真實(shí)值的中心位置和本文算法對目標(biāo)跟蹤獲得的中心位置之間的歐氏距離，距離精度表示中心位置誤差小于閾值的幀數(shù)占總幀數(shù)的比例，文獻(xiàn)［15］中設(shè)置的閾值為5 個像素，而在這里設(shè)置閾值為3 個像素，因為視頻中的目標(biāo)很小，僅占很少的像素，與地面上的目標(biāo)相比，閾值設(shè)置應(yīng)該更小。重疊率定義為真實(shí)的邊界框與本文算法對目標(biāo)進(jìn)行跟蹤獲得的實(shí)際邊界框的重疊部分占兩個邊界框的面積之和的比例大于某一閾值（本文實(shí)驗中設(shè)置為0.85）的幀數(shù)占總幀數(shù)的百分比。邊界框的重合率公式為：

其中，S表示真實(shí)值的邊界框，S表示本文算法跟蹤的實(shí)際邊界框，∩表示交集，∪表示并集。當(dāng)重疊率超過0.85 時，可以認(rèn)為當(dāng)前幀為成功幀，再計算成功率，即成功跟蹤的幀數(shù)占所有幀數(shù)的百分比。

由于視頻衛(wèi)星拍攝的圖像尺寸都很大，長和寬大約是2 000 像素和2 000 像素的，如圖2 所示。

圖1 本文算法流程圖

圖2 大尺寸的視頻衛(wèi)星圖像

于是將其裁剪出目標(biāo)跟蹤的部分作為結(jié)果。如圖3 所示。

圖3 目標(biāo)跟蹤結(jié)果展示

圖像的成功率曲線圖和精度曲線圖如下頁圖4所示。

表1 是對原始的KCF 算法和本文改進(jìn)的算法從成功率、精度圖、AUC（ROC 曲線下的面積，用于直觀地評估跟蹤器的好壞，值越大越好。）3 個方面進(jìn)行評價。

視頻衛(wèi)星中的運(yùn)動目標(biāo)（飛機(jī)）背景復(fù)雜，目標(biāo)較小，提取其特征很容易被相似的背景干擾，而進(jìn)行模板更新的時候就會造成一定誤差，最終會導(dǎo)致目標(biāo)跟蹤失敗。從圖3 目標(biāo)跟蹤的結(jié)果來看，紅色邊界框表示本文算法跟蹤的結(jié)果，綠色邊界框表示由原始KCF 算法進(jìn)行目標(biāo)跟蹤的結(jié)果，左上角的數(shù)字表示第幾幀圖像。從圖中可以看出，兩種算法在剛開始進(jìn)行目標(biāo)跟蹤的時候，跟蹤的準(zhǔn)確度差別不大，但隨著目標(biāo)背景越來越復(fù)雜，兩種算法的跟蹤效果就顯而易見，另外從圖4 兩種曲線圖和表1 可以看出，本文所提出的算法明顯優(yōu)于原始的KCF 算法，表1 中的數(shù)據(jù)從成功率、精度和AUC 來看，本文算法明顯高于KCF 算法，因此，對于視頻衛(wèi)星的運(yùn)動目標(biāo)來說，尤其是背景比較復(fù)雜的運(yùn)動目標(biāo)，本文所提出的算法可以有效地對目標(biāo)進(jìn)行跟蹤，并且提高了跟蹤的準(zhǔn)確度。

圖4 算法跟蹤的效果評價圖

表1 兩種算法進(jìn)行比較的結(jié)果

對運(yùn)動中的車輛進(jìn)行目標(biāo)跟蹤，原圖像如圖5所示，車輛在公路上的運(yùn)動圖像。由于原圖太大，在后期跟蹤過程中，裁剪出相應(yīng)的部分用進(jìn)行實(shí)驗分析，如圖6 所示。

圖5 運(yùn)動車輛原圖

圖6 運(yùn)動目標(biāo)跟蹤結(jié)果

為了對視頻衛(wèi)星中的目標(biāo)跟蹤結(jié)果進(jìn)行判斷，選擇用成功率曲線圖和精度曲線圖來進(jìn)行判斷，如圖7 所示。

圖7 跟蹤算法的效果評價圖

視頻衛(wèi)星拍攝的地面上的運(yùn)動目標(biāo)，由于距離很遠(yuǎn)，所以目標(biāo)只能以白色的運(yùn)動目標(biāo)呈現(xiàn)出來，具體的形狀顯示不出來，因此，在對目標(biāo)跟蹤的時候，不像傳統(tǒng)的目標(biāo)具有特定的形狀，并且目標(biāo)比較大，因此，視頻衛(wèi)星中的目標(biāo)很容易被其他干擾物影響，進(jìn)而影響其跟蹤精度。從圖5 來看，本文改進(jìn)的算法可以有效地提高目標(biāo)跟蹤的準(zhǔn)確度，而原始的KCF 算法同樣在剛開始的時候，跟蹤效果比較好，隨著背景的復(fù)雜性增加和其他干擾物的存在，使得原始KCF 算法跟蹤的目標(biāo)發(fā)生了目標(biāo)漂移，從而導(dǎo)致目標(biāo)跟蹤失敗。而從圖6 的兩種曲線圖來看，本文的算法可以很大程度解決背景復(fù)雜的問題，可以對目標(biāo)進(jìn)行有效跟蹤，并且不會發(fā)生漂移現(xiàn)象，跟蹤的精度和成功率都高于原始的KCF 算法。而表2 中的數(shù)據(jù)表示的是百分比，不管是AUC，成功率還是精度，都高于KCF 的數(shù)值，因此，綜上所述，本文改進(jìn)的算法無論是在精度還是成功率都高于原始KCF 算法，可以有效地對視頻衛(wèi)星中的目標(biāo)完成實(shí)時跟蹤的任務(wù)，并且還提高跟蹤的準(zhǔn)確度。

表2 兩種算法的定性比較

對視頻衛(wèi)星中遮擋目標(biāo)的分析，遮擋問題一直是目標(biāo)跟蹤領(lǐng)域的難點(diǎn)，由于視頻衛(wèi)星中的目標(biāo)比較小，因此，很容易被遮擋。如圖8 所示，是原始圖像，后期的圖像是在原始圖像的基礎(chǔ)上裁剪而來，以便可以進(jìn)行展示和觀察出目標(biāo)跟蹤的效果。

圖8 原始圖像

在原始圖像的序列集上對目標(biāo)的跟蹤區(qū)域進(jìn)行裁剪，然后進(jìn)行結(jié)果展示，如圖9 所示。

圖9 目標(biāo)跟蹤結(jié)果展示

視頻衛(wèi)星中對遮擋目標(biāo)的處理，如圖9 所示，紅色是本文算法進(jìn)行跟蹤的結(jié)果，綠色是原始KCF 算法進(jìn)行跟蹤的結(jié)果。在剛開始進(jìn)行跟蹤的時候，兩種算法都能很好地對目標(biāo)進(jìn)行跟蹤，但當(dāng)遇到障礙物的時候，如圖所示遇到大橋的遮擋，原始的KCF算法對遮擋的目標(biāo)無法再進(jìn)行跟蹤，就出現(xiàn)圖中所示的情況；而本文算法由于結(jié)合卡爾曼濾波算法，當(dāng)目標(biāo)進(jìn)行遮擋的時候，由于PSR 小于設(shè)置的閾值，可以啟動卡爾曼濾波算法預(yù)測遮擋目標(biāo)在下一幀的位置，從而完成對遮擋目標(biāo)的跟蹤。從圖9 可得，原始KCF 算法結(jié)合卡爾曼濾波可以對目標(biāo)進(jìn)行遮擋，并且在遮擋結(jié)束時，可以重新對目標(biāo)進(jìn)行跟蹤，沒有出現(xiàn)跟蹤失敗的情況，并且從下頁表3 中可得到，本文算法的成功率和精度都高于原始KCF算法。圖10 表示視頻的幀數(shù)與峰值旁瓣比的關(guān)系，下面的紅色部分表示設(shè)置的閾值（本文設(shè)置閾值為18），而閾值的設(shè)置是經(jīng)過多次實(shí)驗而得來的，具有一定的準(zhǔn)確性，低于閾值的部分表示目標(biāo)在跟蹤過程中發(fā)生了遮擋，此時調(diào)用卡爾曼濾波算法進(jìn)行跟蹤。實(shí)驗結(jié)果表明，本文改進(jìn)的算法對目標(biāo)的遮擋問題可以進(jìn)行處理，并且保證了目標(biāo)遮擋的實(shí)時性和有效性，還提高了目標(biāo)跟蹤的精度，可以很好地完成對視頻衛(wèi)星中小目標(biāo)的跟蹤任務(wù)。

圖10 目標(biāo)跟蹤的評價圖

圖11 視頻幀數(shù)與PSR 的關(guān)系

表3 兩種算法的比較結(jié)果

4 結(jié)論

對于衛(wèi)星視頻中運(yùn)動的小目標(biāo)背景復(fù)雜和小目標(biāo)被遮擋等問題，本文提出的算法通過結(jié)合卡爾曼濾波算法來預(yù)測遮擋目標(biāo)在下一幀圖像中的位置，從而完成對遮擋目標(biāo)的跟蹤，另外結(jié)合歸一化平方差匹配方法對目標(biāo)進(jìn)行精確地跟蹤，從而提高目標(biāo)的精確度和成功率。實(shí)驗表明，本文所提的算法可以對目標(biāo)進(jìn)行實(shí)時性跟蹤，克服復(fù)雜背景對目標(biāo)的干擾，同時也解決了目標(biāo)被遮擋的問題，實(shí)現(xiàn)對目標(biāo)的精準(zhǔn)跟蹤。