基于紅外圖像的低空無人機(jī)檢測(cè)識(shí)別方法*

馬 旗，孫曉軍，張 楊，姜雨辰

(國(guó)防科技大學(xué)電子對(duì)抗學(xué)院， 合肥 230037)

0 引言

近年來，隨著電子科技的發(fā)展，帶動(dòng)了無人機(jī)行業(yè)的興起，并以迅猛的姿態(tài)融入了社會(huì)生活中的各個(gè)方面。與此同時(shí)，無人機(jī)也對(duì)社會(huì)安全與軍事安全構(gòu)成了嚴(yán)重威脅。例如，英媒報(bào)道2015年上半年有至少9架無人機(jī)試圖越過圍墻潛入監(jiān)獄，并給囚犯投遞藥物和電子設(shè)備等。此外，無人機(jī)擾航、恐怖襲擊等事件也時(shí)有發(fā)生。因此，快速準(zhǔn)確地檢測(cè)識(shí)別未知的無人機(jī)變得非常重要。由于無人機(jī)目標(biāo)的熱輻射特性，在紅外探測(cè)器中能夠較為容易的突顯，因此采用成本較低的紅外探測(cè)手段對(duì)低空無人機(jī)進(jìn)行檢測(cè)識(shí)別具有良好的應(yīng)用前景。

空中無人機(jī)檢測(cè)識(shí)別任務(wù)主要有如下幾種方法。文獻(xiàn)[1]提出了一種基于視頻回歸的無人機(jī)檢測(cè)方法，利用回歸器來穩(wěn)定運(yùn)動(dòng)，并采用固定大小的立方體框來檢測(cè)目標(biāo)。當(dāng)無人機(jī)緩慢飛行時(shí)，檢測(cè)性能較好，但實(shí)際效果表現(xiàn)較差。之后，王靖宇等人[2]提出了一種基于神經(jīng)網(wǎng)絡(luò)的低空弱小無人機(jī)目標(biāo)檢測(cè)方法，對(duì)不同背景噪聲下無人機(jī)能夠較好地檢測(cè)，但沒有考慮無人機(jī)類型與檢測(cè)速度。因此，對(duì)未知無人機(jī)進(jìn)行快速準(zhǔn)確地定位識(shí)別仍面臨許多挑戰(zhàn)。

隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的模型在目標(biāo)檢測(cè)領(lǐng)域具有廣泛的應(yīng)用，能更快更好地滿足當(dāng)今社會(huì)圖像視頻大數(shù)據(jù)的要求，并涌現(xiàn)出許多典型的方法，如Faster R-CNN[3]、SSD[4]以及YOLO[5]等方法。對(duì)空中的無人機(jī)進(jìn)行定位識(shí)別，速度是十分重要的。而其中SSD與YOLO這兩類方法在檢測(cè)速度上都能達(dá)到實(shí)時(shí)的檢測(cè)。

因此，根據(jù)無人機(jī)的特征及實(shí)際情況，文中提出了一種基于紅外圖像的低空無人機(jī)檢測(cè)識(shí)別方法。該方法通過深度殘差網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)，再結(jié)合多尺度模型對(duì)空中不同大小的無人機(jī)進(jìn)行類別的判斷和目標(biāo)的定位。最后利用實(shí)際采集的紅外數(shù)據(jù)集對(duì)不同網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，結(jié)果表明，文中方法在檢測(cè)速度損失較小的情況下，檢測(cè)識(shí)別性能優(yōu)于其他方法。

1 檢測(cè)識(shí)別方法框架

對(duì)于低空紅外無人機(jī)目標(biāo)，文中設(shè)計(jì)了基于深度學(xué)習(xí)的整體框架圖，主要分為訓(xùn)練和測(cè)試兩個(gè)部分。訓(xùn)練階段，主要是利用監(jiān)督學(xué)習(xí)的方法，將帶有標(biāo)簽的紅外無人機(jī)圖像輸入到深度殘差網(wǎng)絡(luò)中進(jìn)行特征提取，然后將深度特征輸入到預(yù)測(cè)網(wǎng)絡(luò)中進(jìn)行目標(biāo)的位置回歸和類型識(shí)別，經(jīng)過多個(gè)周期的迭代，使得損失值不斷降低至不再變化，最終得到檢測(cè)識(shí)別模型。測(cè)試階段，將未訓(xùn)練的無人機(jī)圖片輸入到模型中，重新加載訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重，對(duì)新的圖片進(jìn)行特征提取及結(jié)果預(yù)測(cè)，最終得到目標(biāo)的類別、置信度及邊界框信息。該方法訓(xùn)練測(cè)試的整體框架如圖1所示。

圖1 無人機(jī)目標(biāo)檢測(cè)識(shí)別方法框架圖

2 網(wǎng)絡(luò)結(jié)構(gòu)及損失函數(shù)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示為用于低空無人機(jī)檢測(cè)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，分為殘差網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)。深度殘差網(wǎng)絡(luò)用兩層殘差的方式來提取紅外圖片中無人機(jī)目標(biāo)的特征，而預(yù)測(cè)網(wǎng)絡(luò)則采用金字塔型的多尺度模型用于無人機(jī)目標(biāo)的檢測(cè)識(shí)別。最后添加非極大值抑制NMS層剔除多次預(yù)測(cè)的結(jié)果，得到最終的檢測(cè)識(shí)別結(jié)果。

1)殘差網(wǎng)絡(luò)。圖2中第一個(gè)虛線框內(nèi)表示的是殘差網(wǎng)絡(luò)的結(jié)構(gòu)及參數(shù)設(shè)置。

圖中主要組成為Conv塊與RES BLOCK塊。前者表示卷積過程，輸入層以512×512×3的紅外圖像為例，第一層用16個(gè)大小為3×3的卷積核進(jìn)行卷積操作得到512×512×16的特征圖；然后將其輸入到第二層，用32個(gè)大小為3×3的卷積核進(jìn)行步長(zhǎng)為2的卷積，替代池化操作。后者表示殘差結(jié)構(gòu)[6]，主要由兩層卷積(1×1卷積層和3×3卷積層)與跳躍連接構(gòu)成，輸出特征圖大小保持不變。具體結(jié)構(gòu)示意圖如圖3所示，跳躍連接由帶加號(hào)的實(shí)線圓圈表示，其相應(yīng)的公式如式(1)所示。

xl+1=xl+F(xl,Wl)

(1)

式中：xl和xl+1表示第l個(gè)殘差塊的輸入向量與輸出向量，F(xiàn)(xl,Wl)表示殘差結(jié)構(gòu)中的轉(zhuǎn)換函數(shù)。

圖2 殘差網(wǎng)絡(luò)與預(yù)測(cè)網(wǎng)絡(luò)結(jié)構(gòu)圖

之后的網(wǎng)絡(luò)結(jié)構(gòu)由2、8、4、4和4組不同的殘差塊組成，并分別輸出128×128×64，64×64×128，32×32×256，16×16×512與8×8×1024大小的特征圖。這5組殘差塊都按上述結(jié)構(gòu)組成，只有卷積核與特征圖的大小不同。除此之外，為加速訓(xùn)練，在所有卷積層上添加了批歸一化層[7]與leakyReLu層。

圖3 殘差塊結(jié)構(gòu)示意圖

2)預(yù)測(cè)網(wǎng)絡(luò)。預(yù)測(cè)網(wǎng)絡(luò)采用了金子塔型的多尺度模型，利用不同尺寸大小的特征圖對(duì)不同大小的無人機(jī)目標(biāo)進(jìn)行預(yù)測(cè)，使得結(jié)果更加準(zhǔn)確，網(wǎng)絡(luò)結(jié)構(gòu)由圖2中第二個(gè)虛線框內(nèi)所示。多尺度模型結(jié)構(gòu)由4種不同分辨的分支構(gòu)成(8×8，16×16，32×32與64×64)，每一個(gè)分支單獨(dú)對(duì)一類尺度的目標(biāo)進(jìn)行預(yù)測(cè)。且每個(gè)分支由3層對(duì)應(yīng)分辨率的卷積層構(gòu)成。為了提升模型對(duì)特征的表達(dá)，對(duì)于分辨率為16×16，32×32與64×64的分支，執(zhí)行2倍大小的最近鄰上采樣。此外，為了提升檢測(cè)能力，結(jié)合上下文的語義信息，實(shí)現(xiàn)特征共享，將深度殘差網(wǎng)絡(luò)中對(duì)應(yīng)大小的特征圖與這3個(gè)分支進(jìn)行連接，圖中用加號(hào)表示。

在結(jié)果預(yù)測(cè)階段，將每幅紅外圖像劃分為4種不同大小的S×S(8，16，32與64)的單元格，每個(gè)單元預(yù)測(cè)3個(gè)大小不同的邊界框，每個(gè)邊界框?qū)?yīng)3個(gè)目標(biāo)類別、1個(gè)置信度及4個(gè)邊界框的偏移量，對(duì)應(yīng)的張量可以表示為S×S×[3×(4+1+3)]。通過NMS后，將會(huì)得到一個(gè)模型預(yù)測(cè)結(jié)果。預(yù)測(cè)結(jié)果中目標(biāo)置信度的計(jì)算如式(2)所示。

(2)

2.2 損失函數(shù)

在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，需要設(shè)置損失函數(shù)來進(jìn)行不斷的優(yōu)化。隨著訓(xùn)練周期的加深，損失值越來越小，得到的模型性能逐漸增強(qiáng)。文中借鑒YOLO的損失函數(shù)，采用預(yù)測(cè)張量與圖像標(biāo)簽的誤差值和均方值進(jìn)行訓(xùn)練的優(yōu)化。由于沒有目標(biāo)的單元格占大多數(shù)，因此設(shè)置不同的比例系數(shù)平衡有無目標(biāo)存在的預(yù)測(cè)框之間差異性。同時(shí)，還引入類別判斷與邊界框偏移的損失系數(shù)，讓含有目標(biāo)的邊界框損失系數(shù)具有較高的比例。具體的表達(dá)式如式(3)所示。

(3)

3 實(shí)驗(yàn)及結(jié)果

3.1 紅外目標(biāo)數(shù)據(jù)集

通常數(shù)據(jù)集多是可見光圖像，紅外源的數(shù)據(jù)集較少，且應(yīng)用于無人機(jī)方面沒有大型公開的數(shù)據(jù)集。因此文中利用紅外探測(cè)器與3型民用無人機(jī)進(jìn)行了紅外數(shù)據(jù)集的采集與構(gòu)建。

1)數(shù)據(jù)的采集。設(shè)備選擇：紅外探測(cè)器選擇和普威視的紅外安防監(jiān)控設(shè)備。無人機(jī)選擇常見的大疆系列無人機(jī)共3型，分別為大疆-精靈3、大疆-御PRO與大疆-S900。采集環(huán)境：考慮到安全性等因素，選擇白天不同時(shí)間段的學(xué)校操場(chǎng)、郊區(qū)工地等開闊地進(jìn)行數(shù)據(jù)采集。同時(shí)，為進(jìn)一步豐富數(shù)據(jù)樣本，采集了無人機(jī)飛行時(shí)的各種姿態(tài)，包括平穩(wěn)飛行、急速升降、遠(yuǎn)近飛行等。最終得到5 824張紅外圖像。

2)數(shù)據(jù)標(biāo)注及擴(kuò)增。對(duì)于采集的紅外圖像，需要進(jìn)行標(biāo)注標(biāo)簽信息，3型無人機(jī)的標(biāo)簽分別為：DJ-3、DJ-Pro和DJ-S900，標(biāo)注方式采用手工標(biāo)注。為確保采集樣本的有效性，對(duì)不完整的目標(biāo)不進(jìn)行標(biāo)注。最終篩選出5 500張紅外圖像中的無人機(jī)目標(biāo)，并對(duì)其進(jìn)行邊界框及類別信息的標(biāo)注。按4∶1的比例將帶有標(biāo)簽的數(shù)據(jù)分為訓(xùn)練集和測(cè)試集。

由于數(shù)據(jù)擴(kuò)增有助于提升模型的檢測(cè)識(shí)別性能，因此對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行隨機(jī)的數(shù)據(jù)增強(qiáng)操作以擴(kuò)充樣本量。采用的方式包括亮度、對(duì)比度調(diào)整，圖像翻轉(zhuǎn)及±1°～20°的旋轉(zhuǎn)操作。如果經(jīng)過處理后的圖像中有目標(biāo)殘缺或完全丟失情況，則剔除該樣本。

3)紅外數(shù)據(jù)集構(gòu)建。通過采集、處理及數(shù)據(jù)擴(kuò)增后，紅外數(shù)據(jù)集中訓(xùn)練集圖像包含30 000張圖像，測(cè)試集包含1 100張圖像。訓(xùn)練集用于網(wǎng)絡(luò)的訓(xùn)練，測(cè)試集用于訓(xùn)練后模型性能的驗(yàn)證。

3.2 訓(xùn)練環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)選擇SSD、YOLOv2、YOLOv3方法與文中方法進(jìn)行效果比較。實(shí)驗(yàn)的環(huán)境如下：深度學(xué)習(xí)框架選擇Caffe與Darknet；服務(wù)器工作站配置為Ubuntu 18.04操作系統(tǒng)，Intel(R) Xeon(R) CPU E5-2673 v3 @ 2.40 GHz，搭載GeForce GTX 1080Ti/PCIe/SSE2顯卡，32 GB內(nèi)存。

訓(xùn)練過程中，每種方法的訓(xùn)練參數(shù)設(shè)置相同。具體設(shè)置如表1所示。

表1 訓(xùn)練參數(shù)設(shè)置

根據(jù)網(wǎng)絡(luò)的配置，需要設(shè)置4種尺度12個(gè)錨點(diǎn)進(jìn)行匹配。通過K-means聚類方法[8]對(duì)紅外訓(xùn)練集自動(dòng)生成對(duì)應(yīng)尺度的錨點(diǎn)，分別為：(20×12)，(27×16)，(34×22)，(48×23)，(53×32)，(72×38)，(98×54)，(123×69)，(152×81)，(203×114)，(256×156)，(301×184)，并且與真實(shí)框的平均重疊率為88.12%。

3.3 實(shí)驗(yàn)結(jié)果與分析

通過利用測(cè)試集對(duì)不同的方法進(jìn)行測(cè)試實(shí)驗(yàn)，重點(diǎn)比較對(duì)不同類別低空無人機(jī)的檢測(cè)識(shí)別能力，并對(duì)結(jié)果進(jìn)行評(píng)估分析。

在利用測(cè)試集進(jìn)行實(shí)驗(yàn)時(shí)，將紅外測(cè)試集圖像輸入訓(xùn)練好的模型，進(jìn)行結(jié)果預(yù)測(cè)。當(dāng)目標(biāo)的預(yù)測(cè)框與真實(shí)邊界框的IOU(交并比)≥0.5且目標(biāo)類別判斷正確時(shí)，則結(jié)果正確，否則錯(cuò)誤。同時(shí)，采用AP(average precision)值(單位：%)、mAP(mean average precision)值(單位：%)和檢測(cè)速度(單位：張/s)作為評(píng)價(jià)指標(biāo)。該評(píng)價(jià)指標(biāo)能較好地反映模型的召回率、準(zhǔn)確率和實(shí)時(shí)性。最終，實(shí)驗(yàn)結(jié)果如表2及圖4所示。

通過表2可以看出，文中方法在AP值與mAP值上都優(yōu)于其他方法，mAP值達(dá)到了78.21%。因此，通過加深網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建多尺度模型預(yù)測(cè)結(jié)果能夠提升檢測(cè)識(shí)別性能。隨著網(wǎng)絡(luò)深度的加深，參數(shù)量也有所增加，導(dǎo)致在檢測(cè)速度上有所下降，達(dá)到約28張/s，但仍具有實(shí)時(shí)檢測(cè)的水平。圖4展示了文中方法的部分測(cè)試結(jié)果。綠色方框?yàn)镈J-Pro，藍(lán)色方框?yàn)镈J-3，紅色方框?yàn)镈J-S900，類別右邊的數(shù)字為置信度。

表2 不同方法在不同測(cè)試集上的評(píng)價(jià)結(jié)果

圖4 文中方法的部分測(cè)試結(jié)果

4 結(jié)論

為降低無人機(jī)的低空威脅，提升對(duì)無人機(jī)的檢測(cè)識(shí)別能力，文中利用深度學(xué)習(xí)框架，構(gòu)建了殘差網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)對(duì)紅外數(shù)據(jù)集進(jìn)行訓(xùn)練，并與其他常用的方法進(jìn)行比較分析。通過殘差網(wǎng)絡(luò)提取無人機(jī)目標(biāo)的深度特征使得網(wǎng)絡(luò)對(duì)無人機(jī)的表征能力得到了提升，同時(shí)預(yù)測(cè)網(wǎng)絡(luò)的多尺度模型結(jié)構(gòu)與上下文語義信息相結(jié)合能夠較好地匹配不同尺寸的無人機(jī)目標(biāo)，這樣使得訓(xùn)練得到的模型在檢測(cè)性能上有較大的提升。雖然網(wǎng)絡(luò)深度的加深使得參數(shù)量增加，導(dǎo)致檢測(cè)速度上有所損失，但模型的整體檢測(cè)速度依然能夠維持較快水平。

此外，文中方法還存在一些未驗(yàn)證的部分。例如，無人機(jī)類別數(shù)的增加對(duì)檢測(cè)識(shí)別會(huì)造成怎樣的影響；在夜間或光線昏暗環(huán)境下，無人機(jī)的紅外特性更加明顯，性能是否會(huì)提升，這些都是將來繼續(xù)深入研究的內(nèi)容。