基于特征融合與抗遮擋的衛(wèi)星視頻目標跟蹤方法

劉耀勝, 廖育榮, 林存寶,*, 李兆銘, 楊新巖

(1. 航天工程大學(xué) 研究生院, 北京 101416; 2. 航天工程大學(xué) 電子與光學(xué)工程系, 北京 101416)

近年來,隨著科技的發(fā)展,目標跟蹤技術(shù)已經(jīng)成為計算機視覺的重要研究課題,在人工智能、無人駕駛、人機交互及軍事監(jiān)控等方面應(yīng)用十分廣泛[1],其主要作用是在已獲得的視頻圖像中尋找感興趣的目標,并且在下一幀中對其進行精確地跟蹤。 目前,隨著遙感技術(shù)的日趨成熟,各國遙感衛(wèi)星的數(shù)量也越來越多,并且遙感衛(wèi)星拍攝的高分辨率視頻能夠觀測和測量地球表面上的移動物體,提供豐富的信息進行分析決策,如石油儲量、自然災(zāi)害的監(jiān)測[2],交通狀況及生態(tài)系統(tǒng)干擾的監(jiān)測[3]等。 高分辨率視頻衛(wèi)星作為一種新型的對地觀測衛(wèi)星,與傳統(tǒng)的觀測衛(wèi)星相比較,其最大的優(yōu)勢是采用“凝視”[4]的成像模式對某個區(qū)域進行連續(xù)觀察,并且以視頻成像的方式獲得豐富的信息,實現(xiàn)對衛(wèi)星視頻中目標持續(xù)跟蹤的能力,從而將目標跟蹤技術(shù)應(yīng)用到遙感衛(wèi)星領(lǐng)域。

目前,各國已經(jīng)陸續(xù)發(fā)射多顆高分辨率視頻衛(wèi)星。 例如,2007 年印度尼西亞將“印度尼西亞國家航空航天研究所-柏林技術(shù)大學(xué)衛(wèi)星”送入太空,2013 年美國的Skybox 公司成功發(fā)射2 顆視頻衛(wèi)星,而中國在2014 年成功將自主研制的“天拓二號”衛(wèi)星發(fā)射升空,在2015 年中國長光衛(wèi)星技術(shù)股份有限公司將研制的“吉林一號”視頻衛(wèi)星順利升空。 由于視頻衛(wèi)星拍攝的圖像幅寬較大,空中環(huán)境復(fù)雜,并且容易受到相似目標的干擾,以及存在目標被遮擋等問題,對衛(wèi)星視頻中的目標進行跟蹤存在較大的挑戰(zhàn),以往的目標跟蹤算法幾乎都是對地面上的目標進行跟蹤,對衛(wèi)星視頻中的目標進行跟蹤將會成為一個新的熱點問題。

針對衛(wèi)星視頻中的目標跟蹤,一般通過目標檢測獲得初始幀目標的位置信息,或在初始幀手動獲得目標的相關(guān)信息,再在每一幀估計所跟蹤目標的位置。 近年來,在目標跟蹤領(lǐng)域產(chǎn)生了多種性能優(yōu)異的算法。 Bolme 等[5]首次將相關(guān)濾波的思想應(yīng)用到目標跟蹤領(lǐng)域,提出了一種基于最小誤差輸出平方和(minimum output sum of squared error, MOSSE)的濾波跟蹤器。 之后,Henriques等[6]基于相關(guān)濾波的思想,發(fā)展設(shè)計了循環(huán)核結(jié)構(gòu)(circulant structure kernel, CSK)的跟蹤器和核相關(guān)濾波(kernelized correlation filters, KCF)跟蹤器[7],提高了目標跟蹤的速度和準確率。 杜博等[8]通過將三幀差法和KCF 算法相結(jié)合,提出了一種新的衛(wèi)星目標跟蹤方法。 軒詩宇等[9]將運動估計的方法和KCF 算法相融合,以解決衛(wèi)星視頻中目標無法進行快速跟蹤的問題。 而隨著深度學(xué)習(xí)的興起,尤其是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)在視覺跟蹤中的廣泛應(yīng)用,研究人員開始探索使用CNN 提取衛(wèi)星視頻中目標的特征,增強對目標的表示能力,提高目標跟蹤的準確度。 胡兆鵬等[10]提出將簡單的回歸模型與卷積層和梯度下降算法相結(jié)合,利用豐富的背景知識構(gòu)建強大的目標跟蹤器。 邵佳等[11]提出一種用于衛(wèi)星視頻跟蹤的預(yù)測注意啟發(fā)式Siamese 網(wǎng)絡(luò)(PASiam), 該網(wǎng)絡(luò)提取目標的淺層特征,采用高斯混合模型檢測目標的運動狀態(tài),并且使用卡爾曼濾波預(yù)測和校正目標的位置。 馬成洋等[12]通過對顏色特征和方向梯度直方圖(histogram of oriented gradient, HOG)特征進行融合,彌補了目標在光照變化和形變情況下的特征表示缺陷,可以在目標輕微遮擋時對目標進行跟蹤。Heimbach 等[13]通過特征響應(yīng)調(diào)整卡爾曼濾波器中的協(xié)方差參數(shù),從而提高在目標遮擋情況下跟蹤的準確性。 楊劍鋒等[14]通過引入塊均值漂移算法跟蹤部分遮擋的目標,提高算法抵抗目標遮擋的能力。

然而,以上方法通常提取目標有限的特征進行表述,當目標發(fā)生光照變化或進入復(fù)雜環(huán)境中時,跟蹤模型通常會產(chǎn)生較大的誤差,從而影響跟蹤器的魯棒性。 而基于深度學(xué)習(xí)的算法雖然對目標跟蹤的效果較好,但在利用CNN 等網(wǎng)絡(luò)提取目標特征時,一般需要較大的計算量,對跟蹤算法整體的實時性上受到了不利的影響。 上述目標跟蹤算法在傳統(tǒng)的圖像上具有不錯的跟蹤精度和魯棒性,但是在應(yīng)用于衛(wèi)星視頻中的目標跟蹤時仍存在較大問題,尤其是當目標出現(xiàn)遮擋、復(fù)雜背景及發(fā)生光照變化等情況時,將會發(fā)生目標跟蹤丟失的問題,最終導(dǎo)致跟蹤失敗。

為確保目標跟蹤具有較高的穩(wěn)健性和準確性,同時也考慮到目標跟蹤的精度和速度,本文采用KCF 算法作為基礎(chǔ)目標跟蹤框架,同時考慮到單一的目標特征無法較為準確地對目標進行描述,設(shè)計了一種特征自適應(yīng)融合和模型自適應(yīng)更新的方法。 根據(jù)響應(yīng)區(qū)域的最大值和平均峰值相關(guān)能量獲得權(quán)重,進行自適應(yīng)特征融合,提高對單一目標特征的描述能力;采用自適應(yīng)更新的方法對相關(guān)濾波模型進行更新,使相關(guān)濾波模型能夠克服目標因光照變化等影響而產(chǎn)生的微小變化;借助卡爾曼濾波的方法預(yù)測遮擋目標在下一幀的位置,從而解決由于目標被遮擋而造成的目標跟蹤失敗的問題。

1 本文算法

1.1 KCF 算法

KCF 算法[7]屬于判別式目標跟蹤算法,將目標及周圍的矩形區(qū)域作為訓(xùn)練樣本,通過循環(huán)矩陣構(gòu)造大量的正負樣本,以此增強分類器的訓(xùn)練效果。 同時利用循環(huán)矩陣對角化的性質(zhì),將訓(xùn)練樣本進行對角化,以此減少計算量,使用嶺回歸函數(shù)對樣本進行分類,并對其進行約束優(yōu)化獲得最終的分類器。 具體步驟如下:

假設(shè)目標的訓(xùn)練樣本為xi,用yi表示目標的高斯函數(shù)響應(yīng),采用嶺回歸函數(shù)并引入高斯核函數(shù)對大量樣本進行訓(xùn)練,尋找一個合適的w,使得函數(shù)f(xi) =wTxi和高斯函數(shù)響應(yīng)yi之間的平方誤差和最小,即

式中:λ為正則化參數(shù),目的是防止過度擬合。

將式(1)轉(zhuǎn)換成矩陣形式并求導(dǎo),可得分類器權(quán)重系數(shù)w的最優(yōu)解,即

假設(shè)目標樣本x為n×1 的基本向量,可以表示為x=[x1,x2,…,xn],將其通過循環(huán)矩陣進行移位,從而獲得大量的訓(xùn)練樣本。 循環(huán)矩陣如下所示:

式中:第1 行為目標樣本,其他行都由第1 行循環(huán)移位而來,因此可得到樣本循環(huán)具有周期性。 利用循環(huán)矩陣對角化的性質(zhì),將訓(xùn)練樣本X進行離散傅里葉變換可得

式中:“⊙”表示矩陣與矩陣之間點積。

由于樣本在低維空間通常難以進行線性分類,需要將樣本轉(zhuǎn)化到高維空間,本文結(jié)合核函數(shù)k(x,z′)= 〈φT(x),φ(z′)〉, 目標樣本的線性函數(shù)可以表示為

因此可得

式中:k(xi,zi)為核函數(shù);αi為濾波系數(shù)。

本文選擇高斯核函數(shù),該函數(shù)可以表示為

式中:z′表示待檢測的圖像塊;F(-1)表示離散傅里葉逆變換;σ1為高斯核函數(shù)的帶寬。

因此,式(4)可以轉(zhuǎn)換為

式中:^y表示高斯函數(shù)y的傅里葉變換;^α表示濾波器模型。

在下一幀圖像中,獲取與前一幀目標大小相同的矩形區(qū)域z,可得下一幀目標的響應(yīng)區(qū)域為

本文目標跟蹤算法主要是對KCF 算法的改進,具體表現(xiàn)在特征提取、自適應(yīng)特征融合、自適應(yīng)模型更新及解決目標遮擋的問題。

1.2 提取的目標梯度紋理特征

在目標跟蹤算法中,提取的目標特征是否有效直接決定跟蹤效果的好壞。 為提高目標跟蹤的效果,本文提出一種自適應(yīng)融合目標特征表示方法,通過提取目標的HOG 特征[15]、灰度特征及基于高斯曲率和平均曲率的特征[16],并分析比較各種特征對目標的描述能力,從而選擇合適的方法對目標進行特征融合。 因HOG 特征和灰度特征已在相關(guān)文獻中有所闡述,本文不再贅述。 重點對基于高斯曲率和平均曲率的特征[16]提取方法進行介紹。

在進行目標特征描述時,由于梯度可有效描述圖像像素的方向信息,被廣泛用于描述目標的特征,如HOG 特征、Sobel 特征等。 然而,由于梯度信息一般僅能夠反映目標邊緣變化劇烈的程度,而對圖像中曲率等非線性特征的描述存在一定難度,本文提出采用高斯函數(shù)來計算目標的高斯曲率特征和平均曲率特征,從而獲得包括梯度紋理特征在內(nèi)的更為充分的特征描述。

通過高斯函數(shù)對圖像進行卷積運算通常可以獲得更加突出的紋理和強度信息,因此高斯導(dǎo)數(shù)濾波器通常被用來作為提取紋理特征的基本模型。 高斯函數(shù)可以表示為

式中:x、y分別為圖像像素的橫、縱坐標;σ2為高斯函數(shù)的帶寬。

本文使用高斯函數(shù)的一階和二階偏導(dǎo)數(shù)與圖像I進行卷積,從而獲得圖像的部分特征信息。公式如下:

式中:Gx、Gy、Gxx、Gyy、Gxy分別為高斯函數(shù)對x的一階偏導(dǎo)數(shù)、對y的一階偏導(dǎo)數(shù)、對x的二階偏導(dǎo)數(shù)、對y的二階偏導(dǎo)數(shù)、對xy的二階偏導(dǎo)數(shù);“*”表示對圖像進行卷積操作。

將圖像所有像素由二維空間轉(zhuǎn)到三維空間,通常可以得到一個三維曲面。 為體現(xiàn)圖像的局部性質(zhì),可以通過計算圖像三維曲面的平均曲率,從而獲得圖像的局部特征。 但是,當圖像中的邊緣發(fā)生距離變化時,通過平均曲率提取目標的局部特征就會存在較大誤差,此時可以使用具有旋轉(zhuǎn)不變性的高斯曲率特征獲得圖像中邊緣變化劇烈的信息,從而提取目標更加詳細的紋理特征。 圖像的高斯曲率公式可以表示為

平均曲率公式為

因此,圖像的梯度紋理特征E可以由式(14)計算:

式中:ρ為權(quán)重,設(shè)置為0.5。

通過對圖像的梯度紋理特征分析,可以檢測到圖像中相鄰像素的顯著特征。

1.3 自適應(yīng)特征融合

為了提高目標跟蹤的準確率,將目標的梯度紋理特征和灰度特征進行并聯(lián)融合得到特征MIX,再將HOG 特征和MIX 特征分別訓(xùn)練KCF濾波器,從而獲得最終的目標響應(yīng)圖,即

最終響應(yīng)圖f(z)可由2 個特征的響應(yīng)圖進行加權(quán)得到,即

式中:ηHOG、ηMIX為融合權(quán)重。

本文將基于響應(yīng)圖的最大值和平均峰值相關(guān)能量(APCE)計算融合權(quán)重。 其中,APCE 定義為

式中:fmax和fmin分別為響應(yīng)圖中的最大值和最小值;f(i,j)為響應(yīng)圖中的值;M和N分別為響應(yīng)圖的寬和高。

取響應(yīng)圖的最大值fmax和APCE 值,則結(jié)果fMA由式(18)可得

將其進行歸一化,即通過將之前所有幀的fMA之和求均值,可得到最終的權(quán)重計算公式為

最終,HOG 特征和MIX 特征的權(quán)重ζHOG和ζMIX可以定義為

通過自適應(yīng)特征融合構(gòu)建穩(wěn)健性的目標外觀,并且特征互補可以提高目標跟蹤的準確度。

1.4 自適應(yīng)模型更新

在目標跟蹤的過程中,由于目標和背景隨時都會發(fā)生變化,濾波器的模型和目標的特征要及時進行更新,才能適應(yīng)這種變化[17]。 本文提出一種新的方法對目標的模型進行自適應(yīng)更新,當前幀的融合響應(yīng)圖中最大值與之前所有幀融合后響應(yīng)圖中最大值之和的均值之比定義為θ,θ可以表示為

式中:t為幀的索引;f(t)max為響應(yīng)最大值。

由于相關(guān)濾波器的模型是由線性插值而得的,可以將其做出如下改進,具體如下:

式中:α′t-1和αt分別表示第t-1 幀的濾波器模型和第t幀的濾波器模型;α′t表示經(jīng)過線性插值后的濾波器模型;?！鋞-1和Γt分別表示第t-1 幀的目標特征和第t幀的目標特征;?！鋞表示經(jīng)過線性插值后的目標特征;γ為初始的學(xué)習(xí)率,設(shè)為0.012。

1.5 目標遮擋的解決方法

目標遮擋處理一直是目標跟蹤的難點問題。當目標被遮擋時,目標的外觀模型會發(fā)生變化,而跟蹤器由于無法進行判斷,通常會將錯誤的模型進行學(xué)習(xí),從而丟失真正的目標,最終導(dǎo)致目標跟蹤失敗。 卡爾曼濾波[18]通過輸入觀測數(shù)據(jù),經(jīng)過最優(yōu)估計方法最終獲得相對準確的結(jié)果。 通過對衛(wèi)星視頻目標跟蹤問題的分析,本文提出引入卡爾曼濾波算法解決目標遮擋問題,通過響應(yīng)圖的APCE 值判斷目標是否被遮擋,從而決定是否使用卡爾曼濾波算法對遮擋目標進行位置預(yù)測。

衛(wèi)星視頻中典型的運動目標是車輛、艦船和飛機,當目標處于轉(zhuǎn)彎、緊急停止時[9],可以假設(shè)目標在短時間內(nèi)均勻的運動。 卡爾曼濾波算法的時間更新方程為

式中:xk-1為k-1 時刻的狀態(tài)估計值;C為控制矩陣;uk-1為控制增益,可以設(shè)置為0;A為狀態(tài)轉(zhuǎn)移矩陣;xk為k時刻的狀態(tài)估計值,所選擇的狀態(tài)量xk= [Lx,Ly,Vx,Vy],(Lx,Ly) 表示第k時刻目標中心位置點的橫、縱坐標,(Vx,Vy)表示第k時刻目標在水平方向和豎直方向的速度大小;Pk-1為第k-1 時刻的狀態(tài)估計協(xié)方差;Q為過程噪聲的協(xié)方差。

卡爾曼濾波狀態(tài)更新方程可以表示為

式中:Kk為卡爾曼增益;zk表示前一時刻的目標測量結(jié)果;H為測量矩陣;R為測量噪聲矩陣;U為單位矩陣。

在本文中,設(shè)zk= [Px,Py],Px、Py分別表示目標中心位置的橫、縱坐標,測量噪聲R值很小,可以設(shè)為R=10-6I2×2。 而過程噪聲Q值較大,可設(shè)為0.1I4×4。 其他參數(shù)可以定義為

通過引入卡爾曼濾波算法可以預(yù)測遮擋目標的位置,能夠進行實時地跟蹤,從而解決目標被遮擋的問題。 經(jīng)過多次實驗證明,該方法極大地提高了目標跟蹤的成功率。 算法流程如圖1所示。

圖1 基于改進的相關(guān)濾波衛(wèi)星視頻目標跟蹤算法流程Fig.1 Flowchart of target tracking algorithm in satellite videos based on improved correlation filter

2 仿真實驗結(jié)果與分析

2.1 仿真實驗環(huán)境及參數(shù)

本文實驗環(huán)境如下:Win10 系統(tǒng),處理器Intel Xeon CPU E3-1240(3.50 GHz),16 GB 內(nèi)存,仿真環(huán)境為Python 3.7。 為體現(xiàn)算法的一致性,設(shè)置的參數(shù)與原始KCF 算法的參數(shù)基本相同。 HOG特征的胞元大小為4 像素×4 像素,直方圖方向設(shè)置為9 個,搜索區(qū)域為原始矩形框區(qū)域的1.5 倍,正則化參數(shù)為0.000 1。 衛(wèi)星視頻為“吉林一號”衛(wèi)星數(shù)據(jù),選取4 個具有代表性的衛(wèi)星視頻,包含空中飛機、地面車輛和海面艦船目標。每個視頻約為300 幀,采用手動標記確定目標真實邊界框。

2.2 評價方法

為定量分析本文改進算法對衛(wèi)星視頻中目標跟蹤的性能,選取中心位置誤差(center location error, CLE)、距離精度(distance precision, DP)、重疊率(overlap precision, OP)[19]作為算法性能評價指標。 中心位置誤差定義為

式中:(xi,yi)為由跟蹤器計算所得的目標中心位置;(xi-gt,yi-gt)為目標的實際中心位置。 CLE 值越小,說明目標跟蹤的精度就越高。

距離精度定義為

式中:frames(a)表示滿足條件a的幀數(shù);N為圖像的總幀數(shù)。 由于衛(wèi)星視頻中目標比較小,閾值d=3。

重疊率定義為

式中:Si和Si-gt分別表示第i幀的圖像邊界框和手工標記的邊界框;“∪”和“∩”分別表示并集和交集。 重疊率表示重疊面積占2 個邊界框面積之和的百分比小于或等于閾值τ的幀數(shù)占總幀數(shù)的百分比,閾值τ設(shè)為0.75,重疊率越大,說明目標跟蹤的成功率就越高。

2.3 實驗過程分析

選用幾種經(jīng)典的算法進行對比,分別為原始的KCF 算法[7]、CSK 算法[6]、MOSSE 算法[5]、MIL算法[20]、TLD 算法[21]和MEDIANFLOW 算法[22]。MOSSE 算法首次將相關(guān)濾波的思想應(yīng)用到目標跟蹤領(lǐng)域的算法;CSK 算法通過循環(huán)矩陣構(gòu)建大量樣本,并且將核函數(shù)應(yīng)用到目標跟蹤領(lǐng)域;KCF算法提取目標的多通道特征,即HOG 特征,同時使用不同的核函數(shù);TLD 算法和MEDIANFLOW算法都基于光流法對目標進行跟蹤,且TLD 算法通過對目標進行重新檢測,防止目標丟失或者發(fā)生漂移,從而提高目標的成功率。

由于遙感圖像的幅寬較大,本文通過截取目標跟蹤的局部區(qū)域進行算法驗證。 圖2 ～圖5 為目標跟蹤的精度和成功率曲線,圖6 為實驗的4組衛(wèi)星視頻圖像,圖7 為目標跟蹤結(jié)果的部分可視化圖像。 圖7 中:左上角數(shù)字表示視頻圖像的幀數(shù),藍色框表示目標的運動區(qū)域,其他矩形框表示目標跟蹤算法的跟蹤結(jié)果。

圖2 空中目標跟蹤結(jié)果的精度和成功率曲線Fig.2 Precision and success curves of target tracking results in Plane sequences

圖3 遮擋目標跟蹤結(jié)果的精度和成功率曲線Fig.3 Precision and success curves of occluded target tracking results in Car1 sequences

圖4 運動目標跟蹤結(jié)果的精度和成功率曲線Fig.4 Precision and success curves of target tracking results in Car2 sequences

圖5 海面目標跟蹤結(jié)果的精度和成功率曲線Fig.5 Precision and success curves of target tracking results in Ship sequences

圖6 衛(wèi)星視頻的運動目標及運動區(qū)域Fig.6 Moving target and moving area of satellite videos

圖7 目標的可視化跟蹤結(jié)果Fig.7 Visualization tracking results of targets

對空中目標(Plane)進行跟蹤,從跟蹤結(jié)果分析可得,圖5 的精度曲線和成功率曲線及表1 表明,本文算法與其他幾種算法相比,成功率和精度都有較大提高,與原始KCF 算法比較,提高了30%和21%。 曲線下面積(AUC)也作為一個跟蹤算法性能的評價指標。 說明本文算法具有良好的魯棒性,取得不錯的跟蹤效果。 從圖7 中Plane 視頻序列圖像也可以看出,不同算法對目標跟蹤的結(jié)果不同,對目標進行跟蹤時,原始KCF 算法和CSK 算法的跟蹤結(jié)果與改進KCF算法跟蹤結(jié)果相差不大,但隨著目標的運動,導(dǎo)致各種算法的誤差累積越來越大。 從最終結(jié)果可以看出,本文算法對空中目標進行跟蹤具有不錯的效果。

表1 Plane 視頻序列中目標跟蹤結(jié)果Table 1 Target tracking results in Plane video sequences

對遮擋目標(Car1)進行跟蹤,從跟蹤結(jié)果分析得出,通過對圖3 和表2 中跟蹤結(jié)果的分析可得,本文算法由于引入了卡爾曼濾波,能夠?qū)φ趽跄繕诉M行較為準確的跟蹤,與原始KCF 算法相比,成功率和精度提高了約80%和70%。 從圖7中Car1 視頻序列中可以得到,當目標在運動過程中,由于目標的尺寸較小,且被大橋遮擋造成目標丟失,最終導(dǎo)致目標跟蹤失敗。 在第48 幀時,原始KCF 算法和CSK 算法可以對未遮擋的目標進行跟蹤,取得了不錯的結(jié)果。 而在第225 幀時,由于前期誤差的存在,部分算法跟蹤的結(jié)果出現(xiàn)目標丟失或者漂移,而當目標被遮擋時,由于其他算法沒有解決目標遮擋的能力,導(dǎo)致目標重新出現(xiàn)時,無法對目標進行重新跟蹤,從而造成目標跟蹤失敗。 本文算法通過引入卡爾曼濾波算法,可以對遮擋的目標進行位置預(yù)測,并且設(shè)置遮擋閾值,對目標是否遮擋進行判斷,如圖8 所示,紅色曲線表示閾值,經(jīng)過多次實驗,選取閾值為18,藍色曲線表示每一幀的APCE 值,當APCE 值小于該閾值時,可以認為目標被遮擋,此時對目標進行位置預(yù)測,同時目標不進行模板更新;當APCE 值大于該閾值時,表示目標并沒有被遮擋,此時對目標進行正常跟蹤。 因此,可以表明本文算法對遮擋目標的跟蹤也有不錯的效果,從而解決目標遮擋的問題。

圖8 APCE 值和視頻幀數(shù)的關(guān)系Fig.8 Relationship between APCE values and number of video frames

表2 Car1 視頻序列中遮擋目標跟蹤結(jié)果Table 2 Occluded target tracking results in Car1 video sequences

對運動目標(Car2)進行跟蹤,從跟蹤結(jié)果分析得到,圖4 和表3 表明,改進KCF 算法可以適用于地面的目標跟蹤,并且精度和成功率也有較大提高,圖7 中Car2 視頻序列說明了部分算法在第61 幀時對目標跟蹤的結(jié)果就出現(xiàn)了偏差,而在第112 幀及后續(xù)出現(xiàn)的幀中都出現(xiàn)了很大的跟蹤誤差。 因此,這幾種典型的目標跟蹤算法對衛(wèi)星視頻中的小目標進行跟蹤存在一定的困難,需要對其進行改進,可能會達到較好的跟蹤效果。 而本文算法由于對原始KCF 算法進行改進,提高對目標外觀的描述能力,從而提高目標的跟蹤結(jié)果。

表3 Car2 視頻序列中目標跟蹤結(jié)果Table 3 Target tracking results in Car2 video sequences

對海面艦船(Ship)目標進行跟蹤,并對跟蹤結(jié)果分析可得,從圖5 和表4 可以得出,本文算法比原始KCF 算法在成功率方面提高了約20%,而在精度方面并沒有提高,但這并不能表示本文算法沒有效果,而恰恰說明原始KCF 算法可以對船只進行跟蹤也達到了較好的跟蹤效果,但從成功率和AUC 來說,本文算法比原始KCF 算法效果相比,具有較好的跟蹤效果。 從圖7 中Ship 視頻序列中可以看出,船只在運動過程中,由于產(chǎn)生很多的波浪,對目標跟蹤存在一定的干擾,有可能造成跟蹤器對目標誤判。 而KCF 算法由于提取的是目標的HOG 多通道特征,可以對目標進行描述,而本文通過將灰度特征和高斯平均曲率特征融合在一起,進行自適應(yīng)特征融合,從而對目標的外觀進行較為詳細的描述,提高目標跟蹤的成功率。

表4 Ship 視頻序列中目標跟蹤結(jié)果Table 4 Target tracking results in Ship video sequences

綜上,本文算法通過對衛(wèi)星視頻中目標進行跟蹤,所獲得的精度和成功率都得到極大的提高。

3 結(jié) 論

本文提出一種基于改進相關(guān)濾波的衛(wèi)星視頻目標跟蹤算法,可以對目標進行較為準確的跟蹤。

1) 通過提取目標的高斯曲率特征,作為補充特征,提高對目標外觀的描述能力,經(jīng)過實驗表明,通過提取目標的多種特征,可有效提高目標跟蹤的成功率,從而達到穩(wěn)健的跟蹤效果。

2) 本文算法通過設(shè)計一種自適應(yīng)特征融合和自適應(yīng)模型更新的方法,獲得魯棒性的特征和模型,從而提高目標跟蹤的精度。

3) 本文算法通過引入卡爾曼濾波算法解決目標在運動過程中存在的遮擋問題,通過預(yù)測遮擋目標在下一幀中的位置,當遮擋結(jié)束目標重新出現(xiàn)時,可以對目標進行較為準確的跟蹤,經(jīng)過在多種衛(wèi)星視頻數(shù)據(jù)上進行實驗驗證,可以有效解決目標遮擋的問題。

實驗結(jié)果表明,在相似目標干擾、目標遮擋及復(fù)雜環(huán)境下,本文算法均能夠?qū)πl(wèi)星視頻中的目標進行跟蹤,并且具有良好的魯棒性。 但由于本文實驗只考慮了剛性目標,而未對非剛性目標進行處理,當目標發(fā)生尺度變化時,本文算法可能會跟丟目標。 因此,目標的尺度變化問題將是下一步研究的重點。