基于改進(jìn)YOLOv3和卡爾曼濾波器的飛機(jī)檢測(cè)追蹤方法*

薛建偉，史慶杰，周澤強(qiáng)，錢久超，朱肖光，劉佩林

(1.上海交通大學(xué) 北斗導(dǎo)航與位置服務(wù)上海市重點(diǎn)實(shí)驗(yàn)室·上海·201109；2.上海航天控制技術(shù)研究所·上?！?01109)

0 引 言

目標(biāo)追蹤在計(jì)算機(jī)視覺中是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題。傳統(tǒng)的追蹤方法主要是對(duì)視頻中每一幀的數(shù)據(jù)進(jìn)行邊框標(biāo)記，則所有邊框的運(yùn)動(dòng)軌跡可以近似看作目標(biāo)的運(yùn)動(dòng)軌跡。近些年來(lái)，目標(biāo)追蹤研究發(fā)展得非常迅速，已經(jīng)從單目標(biāo)追蹤擴(kuò)展到多目標(biāo)追蹤。但是在目標(biāo)追蹤領(lǐng)域中仍然存在許多挑戰(zhàn)性問(wèn)題，例如目標(biāo)物的姿態(tài)變化、遮擋、背景模糊、光照變化等問(wèn)題。

基于傳統(tǒng)的追蹤方法,經(jīng)過(guò)多年的發(fā)展已經(jīng)有了較大的進(jìn)步，在一定程度上可以獲得較好的追蹤效果，例如，文獻(xiàn)[1]通過(guò)特征空間以及壓縮采樣進(jìn)行目標(biāo)追蹤;文獻(xiàn)[2]提出了一種濾波器用于緩解在追蹤過(guò)程中遮擋帶來(lái)的影響，并通過(guò)蜂群優(yōu)化算法進(jìn)行多目標(biāo)追蹤;文獻(xiàn)[3]采用一種核變化的稀疏學(xué)習(xí)方法設(shè)計(jì)追蹤器，可以通過(guò)學(xué)習(xí)獲得目標(biāo)物的多個(gè)特征，并以此進(jìn)行追蹤。雖然上述方法可以在一定程度上實(shí)現(xiàn)追蹤的效果，但是設(shè)計(jì)的追蹤器不能充分學(xué)習(xí)到圖像中目標(biāo)物體的特征，因此對(duì)目標(biāo)的追蹤效果并不是特別穩(wěn)定。

為了更好地理解圖像中的信息，即提取圖像特征點(diǎn)信息，學(xué)術(shù)界與工業(yè)界開始使用基于深度學(xué)習(xí)的方法對(duì)圖像的特征點(diǎn)進(jìn)行學(xué)習(xí)，這些方法可以自動(dòng)對(duì)圖像中的有效特征信息進(jìn)行提取。目前,基于深度學(xué)習(xí)的方法已經(jīng)廣泛應(yīng)用于各種領(lǐng)域，如計(jì)算機(jī)視覺、語(yǔ)音信號(hào)處理、自然語(yǔ)言處理等。很多學(xué)者提出了多種不同的深度學(xué)習(xí)方法對(duì)圖像中的目標(biāo)物體進(jìn)行檢測(cè)，之后再對(duì)目標(biāo)添加運(yùn)動(dòng)估計(jì)算法進(jìn)行追蹤。H.Nam等提出了一種創(chuàng)新的多領(lǐng)域?qū)W習(xí)框架網(wǎng)絡(luò)，能夠在預(yù)訓(xùn)練階段得出與領(lǐng)域無(wú)關(guān)的表示，并通過(guò)在線學(xué)習(xí)獲得與領(lǐng)域相關(guān)的消息。文獻(xiàn)[5]將全卷積網(wǎng)絡(luò)嵌入到簡(jiǎn)單的追蹤算法中，極大地提高了檢測(cè)性能并且降低了計(jì)算時(shí)間。 文獻(xiàn)[6]提出了一種無(wú)需在線學(xué)習(xí)的前饋神經(jīng)網(wǎng)絡(luò)的追蹤器。上述這些基于深度學(xué)習(xí)的追蹤器，在追蹤效果上得到了極大的提升，但同時(shí)其運(yùn)算時(shí)間也明顯增加。

近年來(lái),關(guān)于目標(biāo)的檢測(cè)與追蹤已有一些相關(guān)的研究，但是其主要集中在行人的檢測(cè)和追蹤應(yīng)用中，對(duì)于飛機(jī)的追蹤研究較少。飛機(jī)作為一種重要的運(yùn)輸工具以及軍事裝備，有效地對(duì)其進(jìn)行追蹤具有十分重要的現(xiàn)實(shí)意義。YOLO算法作為一種高效的識(shí)別算法，對(duì)于目標(biāo)的檢測(cè)識(shí)別應(yīng)用有著十分優(yōu)秀的性能,可以作為目標(biāo)追蹤中檢測(cè)階段的目標(biāo)檢測(cè)器,用于提供追蹤目標(biāo)的初始位置。為了實(shí)現(xiàn)全天候的飛機(jī)追蹤，本文使用紅外飛機(jī)數(shù)據(jù)集，并針對(duì)在飛機(jī)追蹤場(chǎng)景中飛機(jī)存在多角度、多尺度等情況，且需要滿足實(shí)時(shí)性和準(zhǔn)確性的需求，采用改進(jìn)的YOLOv3目標(biāo)檢測(cè)算法，實(shí)現(xiàn)對(duì)多種情況下的高精度飛機(jī)檢測(cè)。在此基礎(chǔ)上，提出了一種結(jié)合卡爾曼濾波器的飛機(jī)追蹤方法，實(shí)現(xiàn)了對(duì)紅外飛機(jī)的準(zhǔn)確跟蹤。

1 算法設(shè)計(jì)

1.1 基于改進(jìn)YOLOv3和卡爾曼濾波器的目標(biāo)追蹤算法流程

本文提出了一種基于檢測(cè)的跟蹤算法，其框架圖如圖1所示。當(dāng)將視頻圖像輸入算法時(shí)，首先通過(guò)改進(jìn)的YOLOv3算法對(duì)圖像進(jìn)行目標(biāo)檢測(cè)，得到視頻中所有物體的位置及邊框大小。之后通過(guò)卡爾曼濾波算法對(duì)目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)，即通過(guò)視頻中上一幀的目標(biāo)物體的位置及速度等參數(shù),預(yù)測(cè)出當(dāng)前幀目標(biāo)框的位置和速度等參數(shù)，并將預(yù)測(cè)的目標(biāo)物邊框與前一幀中目標(biāo)邊框通過(guò)匈牙利算法進(jìn)行匹配。此時(shí)如果可以正確匹配，則將狀態(tài)進(jìn)行更新；如果發(fā)現(xiàn)不能進(jìn)行匹配，則確定圖像中是否存在新目標(biāo)，如果存在則新增一條運(yùn)動(dòng)軌跡，否則刪除該預(yù)測(cè)信息，顯示當(dāng)前的檢測(cè)結(jié)果。

圖1 算法流程圖Fig.1 Framework of the algorithm

1.2 YOLOv3算法及改進(jìn)

根據(jù)算法框架圖可知，為了更好地實(shí)現(xiàn)系統(tǒng)的追蹤，首先需要對(duì)視頻中的目標(biāo)進(jìn)行有效的檢測(cè)，因此本文選用了目前比較流行的YOLOv3目標(biāo)檢測(cè)算法對(duì)視頻中的飛機(jī)進(jìn)行檢測(cè)。YOLOv3 是J.Redmon 等于 2018 年提出的一種單階段的目標(biāo)檢測(cè)算法，其結(jié)合了殘差網(wǎng)絡(luò)、特征金字塔以及多特征融合等方法，具有非常好的識(shí)別速度和檢測(cè)精確度。其原型網(wǎng)絡(luò)以 Darknet53為骨干網(wǎng)絡(luò)架構(gòu)，通過(guò)進(jìn)行 32倍、16倍、8倍降采樣獲取三種尺度下的特征圖，以適應(yīng)不同尺度目標(biāo)的檢測(cè)輸出;同時(shí)為了減少底層目標(biāo)特征的損失，通過(guò)對(duì)頂層特征圖的2次上采樣并與底層特征圖進(jìn)行融合，增強(qiáng)了對(duì)不同尺度目標(biāo)的適應(yīng)性，其結(jié)構(gòu)如圖2所示。

圖2 YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 YOLOv3 network structure

從YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)可以看出，其使用了大量的卷積結(jié)構(gòu)，在卷積結(jié)束后使用L2正則化處理，并使用Leaky Relu函數(shù)進(jìn)行激活處理。此外，YOLOv3使用了多尺度特征進(jìn)行預(yù)測(cè)，其尺寸分別為(52,52,256)、(26,26,512)和(13,13,1024)，并對(duì)特征層進(jìn)行卷積處理用于預(yù)測(cè)。結(jié)果顯示,YOLOv3算法具有很好的檢測(cè)效果，并且可以對(duì)不同尺度的目標(biāo)進(jìn)行檢測(cè)輸出。但是本文中使用的飛機(jī)數(shù)據(jù)集，包含各種尺度大小的飛機(jī)，并且為了保證夜晚的檢測(cè)能力，還使用了紅外數(shù)據(jù)集，其分辨率相對(duì)較低，因此如果繼續(xù)使用上述算法，將會(huì)導(dǎo)致目標(biāo)物體的信息量隨著層數(shù)的增加而急劇下降或者消失，造成目標(biāo)漏檢。

為了實(shí)現(xiàn)對(duì)飛機(jī)的全天候追蹤，首先需要YOLOv3實(shí)現(xiàn)對(duì)飛機(jī)的全天候檢測(cè)，因此需要提高網(wǎng)絡(luò)對(duì)于紅外圖像下不同尺度目標(biāo)的識(shí)別能力。本文通過(guò)將圖像中底層和深層特征圖相結(jié)合,以提高算法對(duì)紅外圖像中目標(biāo)檢測(cè)的效果，其具體方法如下：

1)將網(wǎng)絡(luò)結(jié)構(gòu)中第103層的特征圖通過(guò)1×1卷積層進(jìn)行特征信息的融合，通道數(shù)從128降到64，并輸出到108層,以精簡(jiǎn)結(jié)構(gòu)。

2)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中108層的特征圖進(jìn)行上采樣，從52×52擴(kuò)展到104×104，并在網(wǎng)絡(luò)結(jié)構(gòu)的109層降低目標(biāo)的感受野尺度，以提高對(duì)小目標(biāo)檢測(cè)的能力。

3)將網(wǎng)絡(luò)結(jié)構(gòu)中11層的特征圖與109層的特征圖進(jìn)行融合，由于11層的特征信息屬于底層的特征，經(jīng)過(guò)多次的卷積處理，其保存了小目標(biāo)物體更多的細(xì)節(jié)，將兩層融合可以帶來(lái)更多的信息。

4)在網(wǎng)絡(luò)結(jié)構(gòu)第81層、93層、105層、117層中，其輸出的尺度大小分別為13×13、26×26、53×53、104×104，并通過(guò)邏輯回歸對(duì)不同尺度情況下的目標(biāo)分別進(jìn)行檢測(cè)，減少漏檢、虛警等情況。

1.3 卡爾曼濾波追蹤算法

本文使用卡爾曼濾波器對(duì)運(yùn)動(dòng)過(guò)程中的狀態(tài)變量進(jìn)行最優(yōu)估計(jì)?？柭鼮V波器算法是用一組數(shù)學(xué)方程式來(lái)表示的，其可以對(duì)運(yùn)動(dòng)物體的狀態(tài)進(jìn)行估計(jì)。在估計(jì)的過(guò)程中，將觀察到的目標(biāo)物體的狀態(tài)值提供給卡爾曼濾波器以對(duì)其進(jìn)行預(yù)測(cè)，被預(yù)測(cè)的物體的狀態(tài)可以由式(1)進(jìn)行確定

=[

u

,

v

,

s

,

r

]

(1)

其中，

u

和

v

分別表示目標(biāo)物當(dāng)前的中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；

s

和

r

分別表示目標(biāo)邊框的長(zhǎng)寬比。卡爾曼濾波器模型假設(shè)第

k

時(shí)刻的狀態(tài)是由

k

-1時(shí)刻的狀態(tài)演化而來(lái)，其可以表示為=-1++

(2)

其中，是第

k

時(shí)刻的狀態(tài)量；是第

k

時(shí)刻輸入的外部控制信號(hào)；是在

k

時(shí)刻處理過(guò)程中的噪聲信號(hào)；是第

k

時(shí)刻的狀態(tài)轉(zhuǎn)移矩陣；是第

k

時(shí)刻的輸入控制信號(hào)模型。此外，在時(shí)刻

k

，對(duì)真實(shí)狀態(tài)的一個(gè)測(cè)量值滿足以下公式=+

(3)

(4)

(5)

(6)

(7)

|=(-)|-1

(8)

1.4 多目標(biāo)數(shù)據(jù)關(guān)聯(lián)

在對(duì)圖像中的各個(gè)檢測(cè)目標(biāo)進(jìn)行預(yù)測(cè)之后，數(shù)據(jù)關(guān)聯(lián)是一個(gè)非常重要的部分，其目的是確定當(dāng)前預(yù)測(cè)的目標(biāo)與之前數(shù)據(jù)幀中目標(biāo)的對(duì)應(yīng)關(guān)系，或者檢測(cè)新的圖像中是否出現(xiàn)了一個(gè)新的對(duì)象。當(dāng)新物體進(jìn)入框架，但是系統(tǒng)未檢測(cè)到該物體或者物體超出了圖像的范圍，在這種情況下，檢測(cè)算法可能會(huì)產(chǎn)生虛警值(即檢測(cè)不存在的對(duì)象)或者預(yù)測(cè)位置與實(shí)際位置差異很大。

假設(shè)檢測(cè)出的物體可以用表示，其中

n

表示視頻中第

n

個(gè)目標(biāo)物體，

t

表示對(duì)應(yīng)的圖像序列，其取值范圍為[1,

i

]，其中

i

表示最大的數(shù)據(jù)幀數(shù)，且=(,,…,1,,…,1,2,…,)。對(duì)于觀測(cè)的有序序列，即=(1,2,…,),這些序列構(gòu)成單個(gè)目標(biāo)的運(yùn)動(dòng)軌跡信息，其中任意時(shí)刻的觀測(cè)狀態(tài)∈。關(guān)聯(lián)假設(shè)定義為一組單目標(biāo)軌跡的集合，即=，數(shù)據(jù)關(guān)聯(lián)的目的是在給定觀測(cè)集的情況下最大化的后驗(yàn)概率

Τ

=

P

(|)

(9)

Τ

=

P

(|)

P

()

(10)

Τ

=∏

P

(|)

P

()

(11)

其中，

Τ

為最佳的預(yù)測(cè)值；

P

(|)為給定當(dāng)前觀測(cè)集時(shí)當(dāng)前軌跡集合發(fā)生的概率；

P

()為當(dāng)前軌跡集合發(fā)生的概率；

P

(|)為給定當(dāng)前軌跡集合時(shí)給定觀測(cè)集發(fā)生的概率。為此，本文采用匈牙利算法將檢測(cè)的邊框與預(yù)測(cè)的軌跡邊框進(jìn)行最佳匹配。此時(shí)將交并比(Intersection over Union，IoU)作為損失函數(shù)進(jìn)行優(yōu)化。在匈牙利算法中，假設(shè)其損失矩陣為，其中元素

C

表示第

i

個(gè)檢測(cè)的邊框與第

j

個(gè)預(yù)測(cè)的邊框的交并比。為了計(jì)算預(yù)測(cè)和檢測(cè)之間的損失矩陣，將交并比定義為

IOU

，其計(jì)算公式如式(12)所示，其中和分別表示圖像中目標(biāo)的檢測(cè)框和預(yù)測(cè)框

(12)

為了最大程度地降低損失矩陣，需設(shè)定一個(gè)最大的檢測(cè)關(guān)聯(lián)的閾值，當(dāng)超出該閾值時(shí)，不會(huì)追蹤新的目標(biāo);如果經(jīng)過(guò)一段時(shí)間的遮擋之后其重新出現(xiàn)，則重新對(duì)該目標(biāo)進(jìn)行檢測(cè)以及跟蹤預(yù)測(cè)。此外，使用交并比作為損失函數(shù),在一定程度上緩解了短期遮擋帶來(lái)的跟蹤誤差。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 紅外訓(xùn)練數(shù)據(jù)集

當(dāng)前針對(duì)軍事環(huán)境中的飛機(jī)檢測(cè)追蹤場(chǎng)景，識(shí)別是追蹤的第一階段，因此如何進(jìn)行識(shí)別是非常重要的一環(huán)，而且如果想實(shí)現(xiàn)全天候的追蹤，首先需要實(shí)現(xiàn)全天候的識(shí)別，這對(duì)夜間紅外探測(cè)能力提出了較高的要求。隨著深度學(xué)習(xí)的發(fā)展以及各類開源數(shù)據(jù)庫(kù)的興起，如ImageNet、COCO等開源圖像數(shù)據(jù)庫(kù)得到了廣泛的應(yīng)用，給相關(guān)的算法研究帶來(lái)了極大的便利。但是開源數(shù)據(jù)庫(kù)中一般只包含普通場(chǎng)景下的照片用于檢測(cè)，紅外圖像的資源較少，而且用于飛機(jī)的紅外圖像數(shù)據(jù)也比較少，給識(shí)別紅外飛機(jī)圖像的檢測(cè)帶來(lái)了困難。同時(shí)，由于紅外探測(cè)的成像機(jī)理不同，導(dǎo)致同一目標(biāo)的紋理、形狀信息較少，分辨率普遍較低，容易受到噪聲的影響，不利于紅外圖像中目標(biāo)特征的提取。本文采用的數(shù)據(jù)集是針對(duì)飛機(jī)滑行、起飛、降落等條件下的紅外數(shù)據(jù)，并通過(guò)LabelImag軟件進(jìn)行標(biāo)注，圖3所示為本文中使用的部分?jǐn)?shù)據(jù)集照片，可以看到紅外圖像數(shù)據(jù)的清晰度較低，且與周圍環(huán)境區(qū)分不明顯。本文用于檢測(cè)的訓(xùn)練集為500張紅外飛機(jī)圖像，驗(yàn)證集為隨機(jī)的200張紅外飛機(jī)圖像，測(cè)試集為500張紅外飛機(jī)圖像。

圖3 目標(biāo)檢測(cè)數(shù)據(jù)集Fig.3 Target detection data set

2.2 模型訓(xùn)練

在進(jìn)行飛機(jī)檢測(cè)模型的訓(xùn)練時(shí)，直接通過(guò)YOLOv3網(wǎng)絡(luò)架構(gòu)進(jìn)行訓(xùn)練需要耗費(fèi)大量的時(shí)間，且由于硬件資源計(jì)算能力有限以及數(shù)據(jù)集樣本較少，從頭進(jìn)行訓(xùn)練不僅速度慢而且容易產(chǎn)生過(guò)擬合現(xiàn)象。為加快模型的訓(xùn)練速度，增強(qiáng)模型泛化能力，本文通過(guò)遷移學(xué)習(xí)將已有的預(yù)訓(xùn)練模型作為本次訓(xùn)練的初始化權(quán)重，并在使用的紅外數(shù)據(jù)集上進(jìn)行模型訓(xùn)練。

本次實(shí)驗(yàn)的硬件平臺(tái)主要采用的CPU為i7-8700K，內(nèi)存為16G，顯卡為NVIDIA RTX2070。軟件平臺(tái)為Ubuntu16.04系統(tǒng)環(huán)境，Python 3.6.9作為開發(fā)語(yǔ)言，采用NVIDIA推出的CUDA(Compute Unified Device Architecture)并行計(jì)算架構(gòu)和CUDNN(CUDA Deep Neural Network)深度學(xué)習(xí)專用加速庫(kù)，對(duì)檢測(cè)算法的訓(xùn)練和推理進(jìn)行加速，模型訓(xùn)練方式采用Adam優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

分別使用YOLOv3算法以及改進(jìn)的YOLOv3算法對(duì)紅外數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，分別記錄模型過(guò)程中損失值的變化，為了防止過(guò)擬合，訓(xùn)練過(guò)程中使用了早停法,其損失函數(shù)曲線如圖4所示。從圖4中可以看出,改進(jìn)之后的檢測(cè)算法其損失值下降更快，可以更快地收斂到穩(wěn)定值，證明了改進(jìn)算法在紅外飛機(jī)圖像檢測(cè)中的有效性。

圖4 損失值變化曲線Fig.4 Loss change curve

2.3 檢測(cè)結(jié)果分析

在本文中，使用識(shí)別的精確率(

P

)和召回率(

P

)作為檢測(cè)算法性能的評(píng)價(jià)指標(biāo)，其定義分別為

(13)

(14)

其中，

TP

表示模型可以正確預(yù)測(cè)的飛機(jī)樣本個(gè)數(shù)；

FP

為模型誤檢的飛機(jī)樣本個(gè)數(shù)(實(shí)際不存在)；

FN

為檢測(cè)到的飛機(jī)樣本個(gè)數(shù)。此外，基于精確率和召回率，使用綜合評(píng)價(jià)指標(biāo)

F

進(jìn)行評(píng)估，其表達(dá)式為

(15)

為了驗(yàn)證改進(jìn)YOLOv3算法的有效性，使用了兩種算法對(duì)飛機(jī)圖像進(jìn)行識(shí)別,實(shí)驗(yàn)結(jié)果如表1所示。根據(jù)結(jié)果可知，改進(jìn)后的YOLOv3模型在紅外飛機(jī)圖像的檢測(cè)任務(wù)中較YOLOv3算法的準(zhǔn)確度更高。

表1 不同模型的檢測(cè)對(duì)比結(jié)果Tab.1 Comparison of detection results of different model

如表1所示，改進(jìn)的YOLOv3檢測(cè)算法對(duì)樣本數(shù)據(jù)的檢測(cè)準(zhǔn)確率可以達(dá)到83.7%，召回率可以達(dá)到82.3%，較YOLOv3檢測(cè)算法在本數(shù)據(jù)集上測(cè)試的檢測(cè)準(zhǔn)確率提高了5.3%，召回率提高了3.1%。圖5所示為改進(jìn)的YOLOv3算法對(duì)數(shù)據(jù)集中飛機(jī)在不同尺度、不同場(chǎng)景下進(jìn)行檢測(cè)的結(jié)果示意圖。改進(jìn)YOLOv3模型通過(guò)增加網(wǎng)絡(luò)模型的感受野，增加了網(wǎng)絡(luò)對(duì)于紅外圖像特征的檢測(cè)和利用能力，提高了模型檢測(cè)的平均準(zhǔn)確率， 因此也為進(jìn)一步進(jìn)行檢測(cè)跟蹤的算法模型提供了良好的條件。

圖5 檢測(cè)結(jié)果Fig.5 Detection results

2.4 跟蹤效果分析

本文采用了改進(jìn)的YOLOv3與卡爾曼濾波器算法進(jìn)行飛機(jī)的跟蹤實(shí)驗(yàn)。在視頻測(cè)試中，運(yùn)行了本文提出的基于改進(jìn)的YOLOv3和卡爾曼濾波器的追蹤算法與YOLOv3和卡爾曼濾波器的追蹤算法的對(duì)比實(shí)驗(yàn)，對(duì)測(cè)試集中的20段紅外飛機(jī)視頻進(jìn)行跟蹤測(cè)試。圖6和圖7所示分別為針對(duì)飛機(jī)滑行狀態(tài)以及飛行狀態(tài)的追蹤效果，并分別選取視頻中的第10幀、第17幀、第34幀及第70幀的檢測(cè)效果進(jìn)行顯示對(duì)比。

圖6 滑行狀態(tài)時(shí)的追蹤結(jié)果Fig.6 Tracking results when taxiing

圖7 飛行狀態(tài)時(shí)的追蹤結(jié)果Fig.7 Tracking results during flight status

圖6所示為本文追蹤算法對(duì)于飛機(jī)滑行狀態(tài)時(shí)的跟蹤效果圖，其中藍(lán)色框?yàn)橥ㄟ^(guò)改進(jìn)YOLOv3算法檢測(cè)所得到的飛機(jī)的目標(biāo)框，紅色的線為算法追蹤到的軌跡示意圖。分別選取飛機(jī)滑行時(shí)視頻數(shù)據(jù)中的第10幀、17幀、34幀以及70幀的追蹤效果圖，由于飛機(jī)在滑行時(shí)運(yùn)動(dòng)軌跡平穩(wěn)，本文的追蹤算法對(duì)滑行狀態(tài)時(shí)的飛機(jī)具有可靠的追蹤效果。圖7所示為本文追蹤算法對(duì)于飛機(jī)飛行狀態(tài)時(shí)的跟蹤效果圖，其中藍(lán)色框和紅色線的意義同圖6，由于飛機(jī)在飛行狀態(tài)時(shí)飛行較平穩(wěn)，因此本文的追蹤算法具有可靠的追蹤效果。

針對(duì)20段100幀的視頻數(shù)據(jù)，其中包含不同角度、不同尺度的飛機(jī)運(yùn)動(dòng)軌跡。本文以飛機(jī)追蹤的準(zhǔn)確性評(píng)價(jià)追蹤方法的性能，通過(guò)YOLOv3和卡爾曼濾波器的檢測(cè)追蹤算法與本文提出的改進(jìn)YOLOv3和卡爾曼濾波器的檢測(cè)追蹤算法在數(shù)據(jù)集中進(jìn)行測(cè)試，算法的對(duì)比結(jié)果如表2所示。從表2可以看出，本文提出的方法在檢測(cè)效果上較未改進(jìn)的YOLOv3結(jié)合卡爾曼濾波器的追蹤算法而言，追蹤的準(zhǔn)確率提升了10%，但在追蹤的幀率上提升并不明顯，平均幀率只提升了2幀。這是由于這些方法都是在基于檢測(cè)的效果下進(jìn)行追蹤的，檢測(cè)的時(shí)間占據(jù)主要的因素，因此檢測(cè)的性能決定了追蹤的準(zhǔn)確率及追蹤幀率。本文提出的改進(jìn)結(jié)構(gòu)通過(guò)提高感受野，提升了對(duì)小角度、小目標(biāo)的飛機(jī)的檢測(cè)效果，因此帶來(lái)了一定的追蹤性能的提升。整體而言，本文提出的方法可以滿足國(guó)防軍事場(chǎng)景下對(duì)紅外飛機(jī)圖像的檢測(cè)和跟蹤的應(yīng)用需求。

表2 不同算法的追蹤結(jié)果對(duì)比Tab.2 Comparison of tracking results of different algorithms

3 結(jié) 論

本文研究了基于改進(jìn)YOLOv3和卡爾曼濾波器的飛機(jī)追蹤算法，首先通過(guò)改進(jìn)的YOLOv3算法提高了網(wǎng)絡(luò)結(jié)構(gòu)的感受野，使其可以更好地檢測(cè)不同尺度大小的飛機(jī)，以提供飛機(jī)的位置信息。之后結(jié)合卡爾曼濾波器對(duì)飛機(jī)的位置信息進(jìn)行預(yù)測(cè)，并采用匈牙利算法對(duì)其進(jìn)行匹配，進(jìn)而實(shí)現(xiàn)追蹤。仿真實(shí)驗(yàn)證明了本文提出的方法對(duì)于飛機(jī)的識(shí)別性能有了較大的提升，達(dá)到了預(yù)期追蹤效果，且本文算法的幀率可以達(dá)到實(shí)時(shí)性要求，滿足軍事領(lǐng)域中對(duì)于小角度、小目標(biāo)的飛機(jī)的識(shí)別和追蹤的需求。此外，由于紅外視頻的特性，該方法仍然存在多種未檢測(cè)到目標(biāo)而導(dǎo)致追蹤失敗的情況，下一步將繼續(xù)增加訓(xùn)練樣本的數(shù)量，以提高系統(tǒng)的性能。