空對(duì)地高度自適應(yīng)目標(biāo)智能檢測(cè)算法*

張萌，王仕成，楊艷麗，楊東方

(火箭軍工程大學(xué) 導(dǎo)彈工程學(xué)院，陜西 西安 710025)

0 引言

空對(duì)地目標(biāo)檢測(cè)技術(shù)是無人機(jī)、航空飛機(jī)等空基飛行平臺(tái)遂行偵查、監(jiān)視等任務(wù)的關(guān)鍵共性技術(shù)。通過研究新型空對(duì)地目標(biāo)檢測(cè)技術(shù)，提高空基成像平臺(tái)對(duì)地面目標(biāo)檢測(cè)的精度和智能自主性，是當(dāng)前空基民用和軍事領(lǐng)域關(guān)注的重點(diǎn)問題。

目標(biāo)檢測(cè)技術(shù)的發(fā)展經(jīng)歷了基于底層人工特征的目標(biāo)檢測(cè)和基于深度學(xué)習(xí)抽象特征的目標(biāo)檢測(cè)2個(gè)階段。在前深度學(xué)習(xí)時(shí)代，研究人員通過設(shè)計(jì)對(duì)目標(biāo)的人工特征描述，例如顏色、紋理、輪廓等底層特征，或者SIFT(scale-invariant feature transform)[1],SURF(speeded up robust feature)[2],HOG(histogram of oriented gradient)[3]等人工特征，實(shí)現(xiàn)對(duì)目標(biāo)的描述；然后采用SVM等分類器進(jìn)行分類和識(shí)別。此類方法在常規(guī)、簡(jiǎn)單的檢測(cè)任務(wù)中可以取得不錯(cuò)的效果，但其一般是針對(duì)某個(gè)特征的目標(biāo)識(shí)別任務(wù)，使用的數(shù)據(jù)量不大，模型泛化能力差，且人工特征的提取易受到環(huán)境因素的影響，在實(shí)際復(fù)雜的環(huán)境中難以實(shí)現(xiàn)對(duì)目標(biāo)的精確識(shí)別。近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)為提取圖像目標(biāo)的高層抽象特征提供了一種有效的方式，AlexNet[4],VGGNet[5],GoogleNet[6],ResNet[7],MobileNet[8]等特征提取網(wǎng)絡(luò)相繼被提出，現(xiàn)階段基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法都是在特征提取網(wǎng)絡(luò)的基礎(chǔ)上不斷發(fā)展的。

當(dāng)前，主流的深度學(xué)習(xí)目標(biāo)檢測(cè)算法可劃分為基于區(qū)域建議(Region Proposal)的Two-stage檢測(cè)算法和基于回歸思想的One-stage檢測(cè)算法。區(qū)域建議的Two-stage檢測(cè)算法包含區(qū)域建議和卷積神經(jīng)網(wǎng)絡(luò)(CNN)分類2步，現(xiàn)階段具有代表性的是Fast R-CNN[9]，F(xiàn)aster R-CNN[10]和Mask R-CNN[11]。此類方法雖檢測(cè)精度得到了很大的提升，但區(qū)域建議耗時(shí)太長(zhǎng)，因此檢測(cè)的速度達(dá)不到實(shí)時(shí)性的要求。為了提高檢測(cè)的實(shí)時(shí)性，有人提出了基于回歸思想的One-stage檢測(cè)算法，具有代表性的有YOLO[12]和SSD[13]。這類算法摒棄了R-CNN系列算法的區(qū)域建議的過程，通過回歸的方法直接從圖像獲得目標(biāo)的位置和類別，提高了檢測(cè)速度，可以滿足實(shí)時(shí)性的要求，但是目標(biāo)檢測(cè)精度受到了削弱，尤其是在小目標(biāo)檢測(cè)應(yīng)用背景下，該問題更為突出。事實(shí)上，空對(duì)地目標(biāo)檢測(cè)問題正是實(shí)時(shí)性和精度要求都非常嚴(yán)格的應(yīng)用場(chǎng)合：在空基對(duì)地目標(biāo)檢測(cè)的背景下，由于平臺(tái)飛行高度的變化，成像的場(chǎng)景范圍以及目標(biāo)的尺寸、數(shù)量都存在顯著差異，致使現(xiàn)有的深度學(xué)習(xí)檢測(cè)算法難以適應(yīng)不同空基平臺(tái)的需求。

事實(shí)上，人類在觀測(cè)時(shí)，隨著目標(biāo)距離的不同，視覺系統(tǒng)在不斷調(diào)整適應(yīng)不同距離的觀察。在傳統(tǒng)視角下，由于視野的范圍可以無限擴(kuò)展，這一點(diǎn)體現(xiàn)得不明顯，但在空基對(duì)地觀測(cè)時(shí)，視野的范圍和目標(biāo)的大小、數(shù)量都隨著高度的變化而改變，檢測(cè)網(wǎng)絡(luò)就像是人類的視覺系統(tǒng)，在不同高度下對(duì)地觀察時(shí)，需要做出一些調(diào)整以適應(yīng)高度的變化。受此啟發(fā)，我們?cè)诒疚闹幸钥諏?duì)地條件下的目標(biāo)檢測(cè)為例，研究分析了高度變化對(duì)檢測(cè)算法的影響，同時(shí)對(duì)檢測(cè)算法進(jìn)行改進(jìn)，以便減小高度信息變化對(duì)檢測(cè)效果產(chǎn)生的影響，提高平臺(tái)對(duì)地成像目標(biāo)檢測(cè)的精度。我們將這種方法在本文中稱為“HASSD”(height adaptive SSD)算法。

1 成像平臺(tái)飛行高度對(duì)目標(biāo)檢測(cè)性能的影響分析

本文首先在數(shù)據(jù)集規(guī)模相同的條件下，針對(duì)最具有代表性的SSD和FSSD算法(以VGG16作為特征提取網(wǎng)絡(luò))，進(jìn)行了2種不同高度范圍的6組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

通過實(shí)驗(yàn)結(jié)果可以看出，SSD系列算法在小于100 m的情況下，檢測(cè)精度較高；在100～300 m的情況下，由于目標(biāo)尺寸變小，檢測(cè)精度較低；在二者等比例混合后，檢測(cè)精度有所提高，但仍低于小于100 m的情況。因此，可以得出結(jié)論，空基平臺(tái)的飛行高度對(duì)目標(biāo)檢測(cè)算法有影響，為之后的研究工作提供了依據(jù)。

表1 平臺(tái)飛行高度對(duì)檢測(cè)算法的影響Table 1 Influence of platform flight height on detection algorithm

其次本文對(duì)SSD系列算法中區(qū)域候選框的尺寸設(shè)置對(duì)檢測(cè)算法的影響進(jìn)行了分析。在SSD系列算法中，區(qū)域候選框的尺寸設(shè)置通過預(yù)先設(shè)置的好的參數(shù)s1，s2和輸入圖像的尺寸共同決定，現(xiàn)有的SSD系列算法大都采用文獻(xiàn)[13]中的參數(shù)設(shè)置s1=0.2,s2=0.9，而后依據(jù)式(1)和(2)分別計(jì)算出6個(gè)不同尺度特征圖最大(max_size)和最小(min_size)區(qū)域候選框尺寸。以300×300大小的輸入圖像(這里定義尺寸為image_size)為例，依據(jù)式(1)和(2)可以計(jì)算得到各特征圖的區(qū)域候選框大小。

(1)

式(1)只用于計(jì)算conv4_3層特征圖的區(qū)域候選框的最大和最小尺寸。其中radio0=0.1，min_size0=max_size0=0,radio1=0.2。

(2)

式(2)用于計(jì)算fc7,conv7_2,conv8_2,conv9_2和conv10_2層區(qū)域候選框的最大和最小尺寸。其中radio取值為0.20,0.37,0.54,0.71,0.88,1.05。

依據(jù)SSD系列算法中區(qū)域候選框的產(chǎn)生原理，在其對(duì)檢測(cè)算法的影響分析實(shí)驗(yàn)中，通過改變參數(shù)s1，s2的大小進(jìn)行了3組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

由實(shí)驗(yàn)結(jié)果可以得出，檢測(cè)算法中區(qū)域候選框的尺寸大小設(shè)置對(duì)不同高度下的目標(biāo)檢測(cè)效果存在影響。分析其原因，主要在于空對(duì)地視角下觀察目標(biāo)與常規(guī)視角不同，隨著高度的改變，成像場(chǎng)景中目標(biāo)的尺寸都在隨之發(fā)生變化，改變區(qū)域候選框的尺寸設(shè)置能夠有效地適應(yīng)高度信息變化對(duì)目標(biāo)檢測(cè)算法的影響。

表2 區(qū)域候選框尺寸設(shè)置對(duì)檢測(cè)算法的影響Table 2 Influence of candidate box size setting on detection algorithm

2 空對(duì)地高度自適應(yīng)目標(biāo)智能檢測(cè)算法

本文選擇目前深度學(xué)習(xí)目標(biāo)檢測(cè)領(lǐng)域檢測(cè)精度和效率相對(duì)較高的SSD算法作為空基平臺(tái)對(duì)地目標(biāo)智能檢測(cè)算法的基礎(chǔ)框架，通過引入高度信息，提出了一種高度自適應(yīng)的目標(biāo)智能檢測(cè)算法(HASSD)。為此，本部分將從高度-目標(biāo)檢測(cè)候選框尺寸關(guān)系模型和HASSD算法的網(wǎng)絡(luò)化描述2個(gè)方面對(duì)算法進(jìn)行詳細(xì)介紹。

2.1 高度-目標(biāo)檢測(cè)候選框尺度關(guān)系模型

本文提出了高度-目標(biāo)檢測(cè)候選框尺寸關(guān)系模型，通過建立成像高度與候選框尺度之間的關(guān)系模型，引入高度信息，替代原檢測(cè)網(wǎng)絡(luò)中區(qū)域候選框的生成方式，提高目標(biāo)檢測(cè)候選框的質(zhì)量，進(jìn)而提高檢測(cè)算法的高度適應(yīng)性和準(zhǔn)確性。其具體原理如下：

為了建立高度-目標(biāo)檢測(cè)候選框尺度的關(guān)系模型，本算法首先建立高度與目標(biāo)尺度之間的關(guān)系模型，根據(jù)文獻(xiàn)[14]中攝像機(jī)成像的基本模型，設(shè)飛行平臺(tái)搭載下視相機(jī)的焦距f0(常值，即相機(jī)成像的分辨率不變)，檢測(cè)目標(biāo)的原始尺寸為(w0,l0)，距地面高度H時(shí)在目標(biāo)的尺寸為(w,l)，則有

(3)

借鑒文獻(xiàn)[15]中船舶檢測(cè)中旋轉(zhuǎn)錨的思想，在不改變使用水平錨的條件下，考慮不同高度下目標(biāo)沿水平方向旋轉(zhuǎn)的情況，假設(shè)圖像的水平線逆時(shí)針旋轉(zhuǎn)角度θ(θ∈(0,90°))后與目標(biāo)軸線方向重合，圖像中目標(biāo)的尺寸為(w′，l′)，面積為S,則有

(4)

由式(4)可以看出，區(qū)域候選框的尺寸大小與高度H時(shí)目標(biāo)的尺寸和旋轉(zhuǎn)角度θ有關(guān)。因此，在本算法中，不同檢測(cè)特征圖中區(qū)域候選框的生成規(guī)則如表3所示，生成檢測(cè)框的min_size，max_size的計(jì)算如式(5)所示：

(5)

2.2 HASSD網(wǎng)絡(luò)結(jié)構(gòu)化描述

對(duì)于空基對(duì)地成像目標(biāo)檢測(cè)任務(wù)，由于受到平臺(tái)飛行高度的影響，對(duì)地成像的場(chǎng)景范圍，目標(biāo)的數(shù)量、大小和密集度會(huì)有較大的差異，因此檢測(cè)算法需根據(jù)平臺(tái)狀態(tài)進(jìn)行動(dòng)態(tài)的調(diào)整，以適應(yīng)飛行過程中的高度變化。HASSD算法能夠根據(jù)平臺(tái)飛行過程中的高度信息，對(duì)檢測(cè)網(wǎng)絡(luò)做出調(diào)整，提高檢測(cè)的精度。文獻(xiàn)[16]通過將高分辨率遙感圖柵格化分割為多個(gè)小圖，實(shí)現(xiàn)空對(duì)地車輛檢測(cè)。但該方法僅適用于靜態(tài)的處理固定尺度的目標(biāo)信息，難以適應(yīng)空基飛行平臺(tái)飛行視場(chǎng)的變化。本文通過在檢測(cè)網(wǎng)絡(luò)中引入高度-目標(biāo)檢測(cè)候選框關(guān)系模型，改善區(qū)域候選框的生成質(zhì)量，提高算法的檢測(cè)性能。

現(xiàn)階段，SSD系列算法在檢測(cè)性能上較好的是FSSD[17](feature fusion single shot multibox detector)，該算法借鑒FPN[18]的思想，將SSD算法原來的conv4_3，fc7和conv7_2(VGG16為例)3個(gè)不同尺度大小的特征圖變換后，進(jìn)行通道串聯(lián)作為金字塔層的輸入，豐富了特征圖的語義和細(xì)節(jié)信息，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

本文提出的HASSD算法，以FSSD算法為基礎(chǔ)，一方面，引入了高度-目標(biāo)檢測(cè)候選框尺寸關(guān)系模型；另一方面，借鑒文獻(xiàn)[19]的方法，將VGG16特征提取網(wǎng)絡(luò)的conv5_3與conv4_3層融合得到的特征圖代替原有的conv4_3特征圖，再與fc7，conv7_2進(jìn)行通道串聯(lián)融合，進(jìn)一步豐富特征圖的語義和細(xì)節(jié)信息，提高檢測(cè)的精度，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2，算法流程如圖3所示。圖2中，左側(cè)為輸入的圖像和高度信息，考慮到實(shí)際運(yùn)用，這里以300×300大小的圖像為例，經(jīng)過VGG16特征提取網(wǎng)絡(luò)將conv5_3特征層進(jìn)行一次反卷積運(yùn)算與conv4_3通道串聯(lián)，得到融合后的特征圖，再與fc7,conv7_2分別進(jìn)行一次卷積運(yùn)算，對(duì)3個(gè)特征圖進(jìn)行通道串聯(lián)、一次1×1的卷積運(yùn)算和歸一化，得到通道數(shù)為512，大小為38×38的特征圖。上述模型中，檢測(cè)器部分依舊采用的是FSSD的基本結(jié)構(gòu)，通過多次卷積運(yùn)算，生成6個(gè)不同尺度的檢測(cè)特征圖。與此同時(shí)，利用高度-目標(biāo)檢測(cè)候選框尺寸關(guān)系模型將從平臺(tái)獲取的高度信息轉(zhuǎn)化為不同尺寸檢測(cè)特征圖的區(qū)域候選框信息，生成不同大小、比例的區(qū)域候選框，提高檢測(cè)網(wǎng)絡(luò)對(duì)跨區(qū)域飛行平臺(tái)飛行高度變化的適應(yīng)性。

在損失函數(shù)部分，本算法采用MultiBox中的損失函數(shù)，其基本形式如下：

表3 區(qū)域候選框生成規(guī)則Table 3 Region candidate boxes generate rules

圖1 SSD,FSSD模型圖Fig.1 SSD and FSSD model diagram

(6)

式中：Lloc為定位損失函數(shù)；Lconf為置信度損失函數(shù)；N為匹配到候選框的數(shù)量，若N=0，則L為0。c，g和l為標(biāo)注的類別標(biāo)簽、真實(shí)框的坐標(biāo)參數(shù)和候選框的坐標(biāo)參數(shù)，權(quán)重系數(shù)α通過交叉驗(yàn)證設(shè)置為1。

定位損失函數(shù)Lloc定義如下：

(7)

(8)

式中：

(9)

置信度損失采用Softmax損失函數(shù)表示：

(10)

圖2 高度自適應(yīng)的目標(biāo)檢測(cè)模型Fig.2 Height adaptive target detection model

圖3 高度-目標(biāo)檢測(cè)候選框尺寸轉(zhuǎn)換流程圖Fig.3 Flow chart of dimension conversion of height-target detection candidate box

3 實(shí)驗(yàn)驗(yàn)證

3.1 高度自適應(yīng)目標(biāo)檢測(cè)任務(wù)數(shù)據(jù)集

在基于深度學(xué)習(xí)的目標(biāo)檢測(cè)任務(wù)中，空基對(duì)地視角下數(shù)據(jù)集相對(duì)較少，一方面數(shù)據(jù)集的搜集需要使用無人機(jī)、航空飛機(jī)等飛行平臺(tái)進(jìn)行采集，導(dǎo)致數(shù)據(jù)集的規(guī)模較小，且樣本質(zhì)量差異較大；另一方面，現(xiàn)有的空對(duì)地?cái)?shù)據(jù)集大多是高空視角下的圖像搜集，不考慮高度信息對(duì)檢測(cè)任務(wù)的影響，這為HASSD算法研究增添了難度。為此，本文以空對(duì)地條件下的車輛檢測(cè)為例，通過無人機(jī)航拍、Google Earth等不同方法進(jìn)行了不同高度下目標(biāo)檢測(cè)數(shù)據(jù)集的搜集。在目標(biāo)可視條件下，為了實(shí)現(xiàn)的方便，本文僅僅將高度劃分為<100 m和100～300 m 2種情況，分別對(duì)不同高度下的數(shù)據(jù)集進(jìn)行了標(biāo)注。之后對(duì)數(shù)據(jù)集進(jìn)行了尺度統(tǒng)一的預(yù)處理，將圖像尺度統(tǒng)一到1 024×768像素。本文所涉及的高度相關(guān)的數(shù)據(jù)集包括高度<100 m的數(shù)據(jù)集300張和高度100～300 m之間的數(shù)據(jù)集300張，檢測(cè)的目標(biāo)只包含車輛(car)。在模型訓(xùn)練階段，算法中H為不同高度范圍的最大值。

3.2 HASSD算法驗(yàn)證實(shí)驗(yàn)

本部分針對(duì)高度自適應(yīng)目標(biāo)檢測(cè)算法(HASSD)和SSD系列算法檢測(cè)結(jié)果進(jìn)行對(duì)比，檢測(cè)效果的評(píng)價(jià)采用深度學(xué)習(xí)目標(biāo)檢測(cè)領(lǐng)域常用的Pascal VOC[20]評(píng)價(jià)體系，主要采用精度(mAP，mean average precision)作為指標(biāo)，實(shí)驗(yàn)結(jié)果如表4所示。從對(duì)比結(jié)果看本文提出的算法模型通過引入空基飛行平臺(tái)的飛行高度信息，能夠有效地提高檢測(cè)算法在空對(duì)地條件下的檢測(cè)精度。

表4 HASSD算法與SSD系列算法對(duì)比實(shí)驗(yàn)Table 4 Comparison experiment between HASSD algorithm and SSD series algorithm

本文算法驗(yàn)證結(jié)果的如圖4所示。從實(shí)驗(yàn)結(jié)果可以看出，本文提出的HASSD算法能夠提高空對(duì)地目標(biāo)價(jià)檢測(cè)的精度，尤其在不同高度的空基平臺(tái)飛行過程中，HASSD算法具有較好的高度變化自適應(yīng)能力。

圖4 不同飛行高度下的HASSD算法驗(yàn)證檢測(cè)結(jié)果Fig.3 HASSD algorithm at different flight altitudes verifies the detection results

4 結(jié)束語

當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)大多針對(duì)常規(guī)視角下的檢測(cè)任務(wù)，對(duì)目標(biāo)的觀測(cè)角度豐富，獲取的目標(biāo)信息較為全面，而距離因素對(duì)檢測(cè)算法的影響往往沒有得到重視。在無人機(jī)等不同空基平臺(tái)執(zhí)行對(duì)地成像任務(wù)時(shí)，原有的檢測(cè)算法模型無法取得令人滿意的效果。本文提出了一種具有高度自適應(yīng)能力的目標(biāo)檢測(cè)算法，通過本文的研究可以得出：相比于原始的SSD算法，加入高度-目標(biāo)檢測(cè)候選框尺寸關(guān)系模型后，HASSD算法在精度和高度適應(yīng)能力方面均有改善，特別是當(dāng)平臺(tái)飛行高度較高的情況下，對(duì)檢測(cè)結(jié)果的改善更為明顯。本文提出的HASSD算法通過引入高度-目標(biāo)檢測(cè)候選框尺寸關(guān)系模型，能夠有效提高檢測(cè)算法精度和對(duì)平臺(tái)飛行高度的適應(yīng)性。