基于KCF算法的空中目標(biāo)跟蹤模擬

柳天宇,王克強(qiáng)

(華北光電技術(shù)研究所,北京 100015)

1 引 言

彈道導(dǎo)彈的特點(diǎn)是速度快體積小,軌跡難以預(yù)測(cè),導(dǎo)彈本身也可能的發(fā)生旋轉(zhuǎn)、形變等,造成導(dǎo)彈防御中的發(fā)現(xiàn)難、攔截難等問(wèn)題,因此彈道導(dǎo)彈的防御歷來(lái)是空天防御中的重點(diǎn)和難點(diǎn)。而改進(jìn)優(yōu)化這個(gè)問(wèn)題基于目標(biāo)檢測(cè)跟蹤問(wèn)題。

目標(biāo)跟蹤技術(shù)目前主要有兩種模型方法:生成類(lèi)和判別類(lèi)。早期的工作集中于生成類(lèi)模型跟蹤方法的研究,主要有兩種思路:是否依賴(lài)于目標(biāo)的外觀模型。光流法,在提前建立目標(biāo)模型的前提下,在視頻中依靠相鄰幀的像素關(guān)系尋找目標(biāo)；Meanshift方法則不依賴(lài)目標(biāo)的外觀模型,它的原理是對(duì)目標(biāo)模板進(jìn)行迭代直到最優(yōu)。目前在軍事上應(yīng)用更廣泛的是生成類(lèi)模型的跟蹤方法,即先建立模板,之后再找與模板相似度最高的作為目標(biāo)跟蹤的預(yù)測(cè)區(qū)域。但是在機(jī)載場(chǎng)景中跟蹤目標(biāo)一般為導(dǎo)彈,其特點(diǎn)是目標(biāo)較小,運(yùn)動(dòng)速度較快,特征不明顯,運(yùn)動(dòng)軌跡不規(guī)則,目標(biāo)尺度變化。面對(duì)這種目標(biāo),早期傳統(tǒng)的目標(biāo)跟蹤算法如光流法實(shí)時(shí)性太差；核方法面對(duì)目標(biāo)不規(guī)則的運(yùn)動(dòng)、目標(biāo)尺度的變化不能很好的自適應(yīng)跟蹤,而且復(fù)雜的計(jì)算量也使得跟蹤實(shí)時(shí)性很差。所以需要一種計(jì)算速度快,實(shí)時(shí)性強(qiáng)的算法來(lái)對(duì)其進(jìn)行檢測(cè)跟蹤。針對(duì)這種場(chǎng)景下,具有這樣特性的目標(biāo)跟蹤任務(wù),更好的目標(biāo)跟蹤方法是判別類(lèi)跟蹤方法,即利用機(jī)器學(xué)習(xí)訓(xùn)練一個(gè)分類(lèi)器來(lái)區(qū)分目標(biāo)和背景噪聲,選擇匹配度最高的候選區(qū)域進(jìn)行跟蹤。該方法相較于生成類(lèi)方法最大的優(yōu)點(diǎn)是,機(jī)器學(xué)習(xí)訓(xùn)練的分類(lèi)器。人工設(shè)計(jì)濾波器對(duì)圖像進(jìn)行處理,對(duì)特征的處理較為單一,存在時(shí)間復(fù)雜度高,魯棒性低,準(zhǔn)確度和實(shí)時(shí)性差的缺點(diǎn),適用性不強(qiáng)。機(jī)器學(xué)習(xí)的核心思想是模擬人工智能,使目標(biāo)檢測(cè)器、跟蹤器具備一定的自我學(xué)習(xí)和判斷能力。相較于人工設(shè)計(jì),機(jī)器學(xué)習(xí)運(yùn)用多層深層的計(jì)算模型自動(dòng)提取高層特征,對(duì)復(fù)雜特征的表征有了很好的表現(xiàn),準(zhǔn)確率和效率大幅提升,成為了視覺(jué)領(lǐng)域的主要處理方法,此技術(shù)也越來(lái)越廣泛地應(yīng)用于汽車(chē)、航空航天、航海等領(lǐng)域[1-4],

相關(guān)濾波算法是判別類(lèi)模型中一種重要的方法,這種方法的特點(diǎn)是運(yùn)算速度很快,所以在高速目標(biāo)跟蹤領(lǐng)域應(yīng)用廣泛,其中的KCF(Kernelized Correlation Filters)算法的FPS可以達(dá)到172,具有非常高的實(shí)時(shí)性,并且其準(zhǔn)確率也能達(dá)到0.55,比較符合本文討論的高速目標(biāo)準(zhǔn)確跟蹤場(chǎng)景。而在機(jī)載空中目標(biāo)跟蹤場(chǎng)景中應(yīng)用此技術(shù)以提高目標(biāo)檢測(cè)跟蹤的能力符合現(xiàn)實(shí)需求。本文重點(diǎn)研究在機(jī)載空中目標(biāo)跟蹤情景下基于KCF算法的目標(biāo)檢測(cè)跟蹤方法[5]。

2 KCF目標(biāo)跟蹤算法

因?yàn)闄C(jī)載空中目標(biāo)跟蹤對(duì)實(shí)時(shí)性要求很高,綜合考慮實(shí)時(shí)性和精確度,本文選用基于深度學(xué)習(xí)的YOLO(You Only Look Once)v4[6]作為目標(biāo)檢測(cè)器。2015年YOLO[7]問(wèn)世,檢測(cè)速度達(dá)到45fps,檢測(cè)速度非?？?。 YOLO是首個(gè)不需要候選區(qū)域的算法,YOLO是一種直接采用回歸(Regression)思想,端到端的檢測(cè)方法,直接從圖像像素出發(fā),得到分類(lèi)和概率,且由于每個(gè)物體邊框的預(yù)測(cè)都以整張圖的特征作為輸入,因此,YOLO算法預(yù)測(cè)出來(lái)的邊框都是綜合了整張圖的信息,包含了充足的上下文信息。而YOLOv4則是目前性能最好的目標(biāo)檢測(cè)算法之一。

目前目標(biāo)跟蹤的主要方向有兩個(gè):一個(gè)是相關(guān)濾波方向；一個(gè)是深度學(xué)習(xí)方向。在速度和實(shí)時(shí)性方面,相關(guān)濾波方法較其他方法更好。KCF核相關(guān)濾波器算法則是目前速度和精度都很好的一種相關(guān)濾波算法。相關(guān)濾波算法始于2010年的MOSSE濾波器,當(dāng)初始化視頻中第一幀,就可以產(chǎn)生穩(wěn)定的相關(guān)濾波器。MOSSE濾波器對(duì)顏色、尺度、形狀、亮度等的魯棒性比較好[8]。但是這種匹配方法有一定的缺陷,具有訓(xùn)練樣本量少,特征單一等缺點(diǎn),導(dǎo)致其目標(biāo)跟蹤精準(zhǔn)度不夠。而KCF算法則是在該算法的基礎(chǔ)上通過(guò)循環(huán)矩陣生成多樣本然后利用每一個(gè)樣本進(jìn)行回歸訓(xùn)練,解決了訓(xùn)練樣本量少的缺點(diǎn)；引入了多通道特征的處理,使其可以采用多通道的HOG特征或者其他特征,解決了特征單一的缺點(diǎn)；并利用核技巧簡(jiǎn)化計(jì)算量,使得其目標(biāo)跟蹤效果更好。KCF算法效果如圖1,該算法相比原MOSSE算法在精確度上有較大的提升,跟蹤準(zhǔn)確,速度快。

圖1 KCF與其他目標(biāo)跟蹤算法Fig.1 KCF and other target tracking algorithms

針對(duì)機(jī)載空中目標(biāo)跟蹤場(chǎng)景中目標(biāo)特性,KCF算法可做以下優(yōu)化:第一幀時(shí),在畫(huà)面中采集樣本,目標(biāo)為正樣本,背景為負(fù)樣本,但這樣形成的樣本量過(guò)少,可以通過(guò)循環(huán)矩陣生成的大量新的樣本進(jìn)行訓(xùn)練,彌補(bǔ)了樣本量少的缺點(diǎn)；利用嶺回歸訓(xùn)練分類(lèi)器,更好的分類(lèi)器有助于更加精確地區(qū)分目標(biāo)和背景,使得準(zhǔn)確性得到了提升；利用循環(huán)矩陣的特性,在數(shù)學(xué)上極大地減少運(yùn)算量,使得該算法的運(yùn)算速度得到提升,從而保證了實(shí)時(shí)性；相關(guān)濾波方法一直存在特征提取單一的問(wèn)題,KCF給出了一種多通道的途徑,即可以在目標(biāo)跟蹤時(shí)采用多種圖像特征,進(jìn)一步加強(qiáng)了準(zhǔn)確性,多種圖像特征也使得算法的魯棒性得到了加強(qiáng)[9]。

本文基于以上算法特點(diǎn)進(jìn)行實(shí)驗(yàn)設(shè)計(jì)。

3 實(shí)驗(yàn)設(shè)計(jì)

機(jī)載空中目標(biāo)跟蹤的場(chǎng)景中目標(biāo)具有速度快、實(shí)時(shí)性強(qiáng)等特點(diǎn),而KCF跟蹤算法具有簡(jiǎn)潔、效果好、速度快、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn),所以我們選用基于KCF算法的目標(biāo)跟蹤器應(yīng)用于此場(chǎng)景。

KCF算法實(shí)現(xiàn)目標(biāo)跟蹤的基本流程為:讀入視頻序列,提前由YOLOv4目標(biāo)檢測(cè)器檢測(cè)出的目標(biāo)作為真實(shí)目標(biāo),在當(dāng)前幀采樣,用目標(biāo)和背景信息訓(xùn)練分類(lèi)器,得到相關(guān)濾波器；下一幀圖像與相關(guān)濾波器做卷積,響應(yīng)最大的區(qū)域作為預(yù)測(cè)目標(biāo),目標(biāo)更新迭代,并進(jìn)行跟蹤；下一幀循環(huán)上述過(guò)程。

在機(jī)載空中目標(biāo)跟蹤場(chǎng)景中,由于目標(biāo)和環(huán)境是實(shí)時(shí)變化的,需要在線(xiàn)學(xué)習(xí)。如圖2所示,在當(dāng)前幀目標(biāo)區(qū)域及周?chē)S機(jī)采樣,生成基樣本和負(fù)樣本,訓(xùn)練分類(lèi)器f。然后對(duì)下一幀對(duì)應(yīng)位置隨機(jī)采樣,通過(guò)分類(lèi)器得到的輸出響應(yīng),選擇響應(yīng)最大的采樣作為跟蹤到的目標(biāo)。

圖2 訓(xùn)練分類(lèi)器Fig.2 Training the classifier

訓(xùn)練樣本的生成都是基于循環(huán)矩陣形式來(lái)構(gòu)建的。其中基樣本x為正樣本,其他全部都是負(fù)樣本,由于循環(huán)矩陣的性質(zhì),這樣的樣本集可以很方便的利用快速傅里葉變換和傅里葉對(duì)角化的性質(zhì)來(lái)進(jìn)行計(jì)算,而不需要得知負(fù)樣本的具體形式,算法將有關(guān)負(fù)樣本的計(jì)算都轉(zhuǎn)換到了頻域進(jìn)行求解。由任意基樣本x生成的循環(huán)矩陣有以下特性:

(1)

嶺回歸方法是本文在這個(gè)算法中所采用的訓(xùn)練分類(lèi)器的方法,其目標(biāo)函數(shù)是:

(2)

其中,L(yi,f(xi))為損失函數(shù),定義為((f(xi)-yi))2,λ為正則化參數(shù),正則項(xiàng)的引入謎底是為了排除一些因循環(huán)矩陣變換后而變形過(guò)度的虛擬樣本。解得ω形式為:

ω=(XHX+λI)-1XHy

(3)

其中,X的每一行代表了一個(gè)樣本;y的每一個(gè)元素是其對(duì)應(yīng)的回歸分布的值。其中XHX的計(jì)算量是無(wú)法在線(xiàn)學(xué)習(xí)的,并且分類(lèi)器f在現(xiàn)實(shí)情況中通常不是x的線(xiàn)性表達(dá)。但是核函數(shù)可以將數(shù)據(jù)從低維映射到高維,原本的非線(xiàn)性數(shù)據(jù)在映射后的特征空間滿(mǎn)足線(xiàn)性關(guān)系,以此達(dá)到將非線(xiàn)性計(jì)算轉(zhuǎn)換成線(xiàn)性計(jì)算的目的,同時(shí)這樣的操作還能是跟蹤的準(zhǔn)確性得到提升。此時(shí)需要找到一個(gè)非線(xiàn)性映射函數(shù)φ(xi),此時(shí)的ω可以表示為下式:

ω=∑αiφ(xi)

(4)

經(jīng)過(guò)一系列推導(dǎo),可求解出:

α=(φ(X)φ(X)T+λI)-1

=(K+λI)-1y

(5)

K=φ(X)φ(X)T為訓(xùn)練樣本的核相關(guān)矩陣,k(i,j)=φ(xi)Tφ(xj)為核函數(shù)。時(shí)間復(fù)雜度為:o(n3)。由前面可知,除基樣本外所有的訓(xùn)練樣本都是通過(guò)循環(huán)矩陣生成,那么K也是循環(huán)矩陣,由式(1)可知,化簡(jiǎn)α后的時(shí)間復(fù)雜度為:o(nlog(n)),對(duì)比先前的時(shí)間復(fù)雜度,有了明顯的提升,數(shù)學(xué)運(yùn)算上的簡(jiǎn)化,使得該算法的速度得到了極大的提升,綜合各方面考慮,本文目標(biāo)跟蹤算法的核函數(shù)選用高斯核函數(shù),用此核函數(shù)技巧可以使實(shí)時(shí)性達(dá)到170+FPS。符合機(jī)載空中目標(biāo)跟蹤對(duì)運(yùn)算速度和實(shí)時(shí)性的要求。

樣本訓(xùn)練中的特征提取是影響跟蹤算法性能的重要因素,機(jī)載空中目標(biāo)跟蹤場(chǎng)景特殊,而且使用的是可見(jiàn)光圖像,可見(jiàn)光圖像紋理特征較為清晰,因此基于RGB彩色圖像提取樣本的HOG特征對(duì)目標(biāo)進(jìn)行檢測(cè)跟蹤,把樣本特征從一維擴(kuò)展到多維。本文最終采用的圖像特征是HOG特征和灰度特征相加后的特征:

(6)

其中,x是單一特征;xc是兩種特征矢量相加后的新特征。

目標(biāo)跟蹤模型經(jīng)過(guò)最終優(yōu)化,選擇核函數(shù)和圖像特征提取后對(duì)其進(jìn)行算法的工程實(shí)現(xiàn)。

4 模擬實(shí)驗(yàn)測(cè)試

本項(xiàng)目的測(cè)試實(shí)驗(yàn)是在實(shí)驗(yàn)室中模擬的機(jī)載空中目標(biāo)檢測(cè)跟蹤場(chǎng)景,具體方式是通過(guò)網(wǎng)絡(luò)高清攝像機(jī)獲取圖像,經(jīng)過(guò)視頻處理單元的圖像處理技術(shù)將目標(biāo)跟蹤得到的脫靶量傳給伺服控制器,伺服控制器控制帶有快反鏡和激光發(fā)射單元,利用快反鏡把反射的激光束打在跟蹤的目標(biāo)上進(jìn)行激光干擾。目標(biāo)跟蹤瞄準(zhǔn)光電系統(tǒng)機(jī)械結(jié)構(gòu)主要由雙軸快反鏡組成,快反鏡的轉(zhuǎn)速快、轉(zhuǎn)動(dòng)范圍大,滿(mǎn)足空中目標(biāo)速度快,視場(chǎng)大的需求。整體流程如圖3所示。

圖3 目標(biāo)檢測(cè)跟蹤流程圖Fig.3 Target detection and tracking flowchart

如圖3所示,整體流程為:打開(kāi)網(wǎng)絡(luò)攝像機(jī),讀入視頻序列；打開(kāi)快反鏡并自檢；YOLOv4對(duì)讀入的視頻圖像進(jìn)行目標(biāo)檢測(cè),得到多個(gè)候選目標(biāo)；在多個(gè)目標(biāo)中選擇離視場(chǎng)中心最近的目標(biāo)作為主目標(biāo)；KCF算法檢測(cè)到的主目標(biāo)或者手動(dòng)選取的目標(biāo)進(jìn)行跟蹤；計(jì)算跟蹤框與檢測(cè)框的相似度,記為S,設(shè)置相似度閾值T,進(jìn)行判斷,若ST,將計(jì)算得到的目標(biāo)脫靶量通過(guò)串口輸出到快反鏡,實(shí)現(xiàn)目標(biāo)跟蹤,后續(xù)通過(guò)其他硬件實(shí)現(xiàn)對(duì)主目標(biāo)的干擾；在視場(chǎng)中繼續(xù)尋找目標(biāo),若還存在目標(biāo),切換目標(biāo)繼續(xù)干擾；若無(wú)目標(biāo)則結(jié)束流程。

在整個(gè)流程中的檢測(cè)算法測(cè)試中,我們將各類(lèi)目標(biāo)包括視頻模擬的導(dǎo)彈和盒子杯子等小物品放在視場(chǎng)中,當(dāng)高清攝像機(jī)拍攝到目標(biāo)時(shí),YOLOv4算法對(duì)讀入的視頻序列進(jìn)行目標(biāo)檢測(cè)與識(shí)別。效果如圖4所示。

圖4 目標(biāo)檢測(cè)識(shí)別效果Fig.4 The effect of target detection and recognition

如圖4所示,檢測(cè)器能檢測(cè)識(shí)別出導(dǎo)彈和盒子水杯等目標(biāo),并對(duì)其標(biāo)定。其中框出來(lái)的區(qū)域是檢測(cè)目標(biāo)的目標(biāo)區(qū)域,目標(biāo)框上的文字是檢測(cè)目標(biāo)的標(biāo)簽類(lèi)別信息。實(shí)驗(yàn)表明YOLOv4檢測(cè)算法能夠準(zhǔn)確地檢測(cè)識(shí)別出導(dǎo)彈盒子水杯等目標(biāo)。

在整個(gè)流程中的跟蹤算法測(cè)試中,我們用視頻模擬了導(dǎo)彈在天空中白云作為背景噪聲的環(huán)境中的運(yùn)動(dòng),為了模擬場(chǎng)景中的實(shí)時(shí)性,視頻幀數(shù)達(dá)到30+FPS。測(cè)試時(shí),我們將視頻投影到視場(chǎng)中,視頻播放中模擬的導(dǎo)彈運(yùn)動(dòng)會(huì)被跟蹤器檢測(cè)到,然后跟蹤器會(huì)對(duì)視頻中的導(dǎo)彈進(jìn)行跟蹤。效果如圖5所示。

圖5 目標(biāo)跟蹤效果Fig.5 The effect of target tracking

如圖5所示,我們連續(xù)不斷測(cè)試了對(duì)三組不同外型大小和距離的導(dǎo)彈的跟蹤,并對(duì)其錄像,連續(xù)截取了錄像中對(duì)導(dǎo)彈跟蹤的片段。圖中的激光點(diǎn)是正在對(duì)導(dǎo)彈目標(biāo)跟蹤的激光器。實(shí)驗(yàn)結(jié)果顯示跟蹤器能準(zhǔn)確快速地跟蹤目標(biāo)。

最后對(duì)系統(tǒng)對(duì)各種目標(biāo)的檢測(cè)跟蹤性能進(jìn)行測(cè)試,其中大型目標(biāo)是飛機(jī)或者模擬的近距離導(dǎo)彈,弱小目標(biāo)是移動(dòng)中的瓶蓋等小物品或者模擬的中遠(yuǎn)距離導(dǎo)彈。檢測(cè)準(zhǔn)確率由檢測(cè)成功率表示,跟蹤精度由跟蹤未丟失目標(biāo)概率表示。最終測(cè)試結(jié)果如表1所示。

表1 目標(biāo)檢測(cè)跟蹤性能Tab.1 Target detection and tracking performance

5 結(jié) 語(yǔ)

本文將基于機(jī)器學(xué)習(xí)的KCF目標(biāo)跟蹤算法應(yīng)用到機(jī)載空中目標(biāo)跟蹤場(chǎng)景中,從模擬實(shí)驗(yàn)結(jié)果可以看出搭配YOLOv4目標(biāo)檢測(cè)器的KCF算法對(duì)目標(biāo)的跟蹤準(zhǔn)確率高,實(shí)時(shí)性好,能夠?qū)崿F(xiàn)對(duì)空中目標(biāo)的實(shí)時(shí)跟蹤。而隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展成熟,分類(lèi)器和特征提取會(huì)越來(lái)越完善,目標(biāo)檢測(cè)跟蹤算法也會(huì)越來(lái)越完善,若在機(jī)載空中目標(biāo)跟蹤場(chǎng)景中應(yīng)用此技術(shù),能夠?qū)崟r(shí)準(zhǔn)確地檢測(cè)識(shí)別跟蹤到目標(biāo),實(shí)現(xiàn)現(xiàn)代空戰(zhàn)中機(jī)載空中目標(biāo)跟蹤的需求。