遙感圖像飛機(jī)目標(biāo)高效搜檢深度學(xué)習(xí)優(yōu)化算法

郭琳， 秦世引

(北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院, 北京 100083)

在現(xiàn)代戰(zhàn)爭(zhēng)和防御偵察中，由于飛機(jī)目標(biāo)機(jī)動(dòng)性強(qiáng)，威脅性大，附加值高，常被視為一類具有高戰(zhàn)略價(jià)值的時(shí)敏目標(biāo)。借助遙感圖像對(duì)地面?？康娘w機(jī)目標(biāo)實(shí)施高效精準(zhǔn)的檢測(cè)與定位對(duì)情報(bào)獲取及戰(zhàn)略部署具有重要意義。隨著遙感技術(shù)的不斷發(fā)展，遙感圖像在空間分辨率、光譜分辨率、時(shí)間分辨率上呈現(xiàn)出快速增長的趨勢(shì)。如何利用海量的圖像數(shù)據(jù)，實(shí)現(xiàn)大幅面遙感圖像飛機(jī)目標(biāo)的高效檢測(cè)與精準(zhǔn)定位，成為一項(xiàng)亟待解決的難點(diǎn)課題。其挑戰(zhàn)性主要體現(xiàn)在以下4點(diǎn)：①遙感圖像成像幅面大，覆蓋范圍廣。與之相比，飛機(jī)目標(biāo)所占像素比例小，信噪比(Signal to Noise Ratio, SNR)低，對(duì)整幅遙感圖像進(jìn)行人工判讀難以在短時(shí)間內(nèi)發(fā)現(xiàn)飛機(jī)目標(biāo)。②不同類型的飛機(jī)目標(biāo)的外型各異，大小不同，涂裝顏色也各有區(qū)別，經(jīng)典的淺層目標(biāo)特征在檢測(cè)過程中容易造成誤檢、漏檢情況的發(fā)生。③飛機(jī)目標(biāo)的檢測(cè)容易受到不同天時(shí)、天候條件下光照、陰影、云層遮擋等環(huán)境因素的影響，需要算法具備良好的穩(wěn)定性以應(yīng)對(duì)不同檢測(cè)場(chǎng)景的需要[1]。④由于戰(zhàn)場(chǎng)形勢(shì)瞬息萬變，大幅面遙感圖像的飛機(jī)目標(biāo)檢測(cè)算法除了需要具備很高的精確性，還必須滿足實(shí)時(shí)性的應(yīng)用需求。

飛機(jī)目標(biāo)通常?？吭谕C(jī)坪和跑道區(qū)域內(nèi)，對(duì)停機(jī)坪和跑道區(qū)域?qū)嵤┖蜻x檢測(cè)區(qū)域的分割與提取可以顯著縮小飛機(jī)目標(biāo)的搜尋范圍，進(jìn)而在分割出的停機(jī)坪與跑道區(qū)域內(nèi)針對(duì)飛機(jī)目標(biāo)實(shí)施精確地檢測(cè)定位，這是實(shí)現(xiàn)大幅面遙感圖像飛機(jī)目標(biāo)高效檢測(cè)的有效途徑。在本文中，利用高性能的端到端深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks，DNN)結(jié)構(gòu)，對(duì)大幅面遙感圖像中的停機(jī)坪與跑道區(qū)域等飛機(jī)目標(biāo)候選檢測(cè)區(qū)域?qū)嵤└咝Ь珳?zhǔn)分割，顯著提高了飛機(jī)目標(biāo)的檢測(cè)效率。在分割出的跑道與停機(jī)坪區(qū)域內(nèi)，借助手工采集的飛機(jī)目標(biāo)樣本集，對(duì)YOLO (You Only Look Once)網(wǎng)絡(luò)模型進(jìn)行遷移式強(qiáng)化訓(xùn)練，一方面彌補(bǔ)了手工數(shù)據(jù)集數(shù)據(jù)規(guī)模上的不足，另一方面借助YOLO網(wǎng)絡(luò)的強(qiáng)時(shí)效性的優(yōu)勢(shì)，實(shí)現(xiàn)了飛機(jī)目標(biāo)的高效檢測(cè)與定位。在候選檢測(cè)區(qū)域的分割提取與飛機(jī)目標(biāo)的高效檢測(cè)2個(gè)環(huán)節(jié)中，都充分考慮了大幅面遙感圖像飛機(jī)目標(biāo)檢測(cè)精確性與實(shí)時(shí)性的實(shí)際應(yīng)用需求，借助2種高性能DNN網(wǎng)絡(luò)的級(jí)聯(lián)組合，提出了新穎的搜尋與檢測(cè)相集成的飛機(jī)目標(biāo)高效檢測(cè)算法。

為了驗(yàn)證本文所提出的級(jí)聯(lián)式飛機(jī)目標(biāo)高效檢測(cè)算法的有效性，在實(shí)際獲取的大幅面遙感圖像上，將本文提出的檢測(cè)算法與 R-CNN (Regions with Convolutional Neural Networks)[2]、Faster R-CNN[3]進(jìn)行飛機(jī)目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果的對(duì)比分析和性能評(píng)估。結(jié)果表明，本文提出的搜尋與檢測(cè)相集成的級(jí)聯(lián)組合式飛機(jī)目標(biāo)高效檢測(cè)算法不僅在檢測(cè)速度上具有明顯優(yōu)勢(shì)，同時(shí)在檢測(cè)精度上也能達(dá)到滿意水平，可為大幅面遙感圖像中飛機(jī)目標(biāo)的高效檢測(cè)提供良好的技術(shù)支持。

1 相關(guān)工作與技術(shù)動(dòng)態(tài)

遙感圖像幅面大，包含的地物類型多，為了提高檢測(cè)效率，降低虛警干擾，需要對(duì)停機(jī)坪與跑道區(qū)域?qū)嵤└咝Ь珳?zhǔn)分割。

趙雪梅等[4]提出了基于隱馬爾可夫高斯隨機(jī)場(chǎng)模型的模糊聚類高分辨率遙感影像分割算法，分別利用隱馬爾可夫模型和高斯模型構(gòu)建標(biāo)號(hào)場(chǎng)和特征場(chǎng)的鄰域關(guān)系，同時(shí)強(qiáng)化空間和光譜信息對(duì)影像分割的影響，在特征域上，不但考慮了同一彩色的鄰域關(guān)系，也考慮了不同彩色間的鄰域關(guān)系, 完善了光譜的鄰域信息，實(shí)現(xiàn)了高分辨率遙感影像地物目標(biāo)的精準(zhǔn)分割。陳榮元等[5]提出了一種結(jié)合Gibbs隨機(jī)場(chǎng)的特征加權(quán)遙感影像分割方法，利用加權(quán)最小距離分類法對(duì)影像進(jìn)行初始分割，并利用Gibbs隨機(jī)場(chǎng)描述像素的空間相關(guān)性，綜合Gibbs隨機(jī)場(chǎng)描述的標(biāo)記場(chǎng)和加權(quán)最小距離分類法描述的特征場(chǎng)來獲取影像的最終分割結(jié)果。Budak等[6]提出了一種新穎的由粗檢到精篩的停機(jī)坪與跑道區(qū)域分割方案，先基于直線段檢測(cè) (Line Segment Detector, LSD)算法提取長直線區(qū)域作為停機(jī)坪與跑道分割的候選區(qū)域，再對(duì)候選檢測(cè)區(qū)域進(jìn)行局部不變特征提取與分類，最終達(dá)到停機(jī)坪與跑道區(qū)域檢測(cè)與分割的目的。Wang和Pan[7]提出了一種基于顯著性區(qū)域搜索的停機(jī)坪與跑道分割算法，先通過顯著圖提取停機(jī)坪與跑道的候選區(qū)域，再提取候選區(qū)域的視覺詞包(Bag of Visual Words, BoVW)特征，通過支持向量機(jī)(SVM)對(duì)BoVW特征進(jìn)行分類，最終實(shí)現(xiàn)停機(jī)坪與跑道區(qū)域的定位和分割。

然而，經(jīng)典的停機(jī)坪與跑道區(qū)域分割算法具有一定的局限性：①基于直線形狀特征的停機(jī)坪與跑道區(qū)域分割算法在非直線區(qū)域性能欠佳，而基于顯著性提取的分割算法無法準(zhǔn)確描述停機(jī)坪與跑道區(qū)域的輪廓信息，從而導(dǎo)致分割精度較低；②利用長直線特征進(jìn)行候選分割區(qū)域搜尋，其搜尋結(jié)果與直線長度的閾值設(shè)置密切相關(guān)，在應(yīng)對(duì)不同檢測(cè)場(chǎng)景時(shí)泛化性能較弱，容易造成誤分割情況的發(fā)生。

伴隨著深度學(xué)習(xí)理論的迅猛發(fā)展，特別是AlexNet獲得了ImageNet2012挑戰(zhàn)賽冠軍以后[8]，DNN網(wǎng)絡(luò)在數(shù)字手寫體識(shí)別、人臉識(shí)別以及無人駕駛等諸多領(lǐng)域取得了巨大的成功。借助卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)，可以為圖像中的每個(gè)像素分配具有語義信息的類別標(biāo)簽，從而實(shí)現(xiàn)像素級(jí)的圖像分割。然而，經(jīng)典的CNN網(wǎng)絡(luò)對(duì)于輸入圖像的大小有嚴(yán)格限制，而原始圖像的裁剪和縮放會(huì)引起目標(biāo)信息的畸變與缺失，造成分割精度的下降。為了解決這一問題，Long等[9]提出了全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Network, FCN)的概念。在FCN網(wǎng)絡(luò)中，全連接層被1×1大小的卷積層所替代，從而使得FCN網(wǎng)絡(luò)具備處理任意大小圖像的能力。FCN網(wǎng)絡(luò)對(duì)淺層特征與深層特征進(jìn)行融合，獲得了性能更優(yōu)的特征表達(dá)，并借助融合特征圖的上采樣，獲得最終的分割結(jié)果。然而，簡(jiǎn)單的上采樣操作會(huì)破壞原始圖像像素之間的空間位置關(guān)系，導(dǎo)致分割精度欠佳。為了解決這一問題，Badrinarayanan等[10]提出了新穎的SegNet網(wǎng)絡(luò)模型結(jié)構(gòu)。SegNet的創(chuàng)新之處在于其獨(dú)特的編碼-解碼結(jié)構(gòu)。在編碼階段，SegNet借助VGG-16網(wǎng)絡(luò)中的13個(gè)卷積層完成特征提取，而在解碼階段，則采用對(duì)稱的網(wǎng)絡(luò)模型進(jìn)行空間信息和語義信息的恢復(fù)。相比FCN網(wǎng)絡(luò)簡(jiǎn)單的上采樣算法，SegNet多層轉(zhuǎn)置卷積操作更有利于精確恢復(fù)原始圖像像素點(diǎn)之間的空間位置關(guān)系，因而能夠?qū)崿F(xiàn)更加精確的圖像分割。Ronneberger等[11]提出了結(jié)構(gòu)更為復(fù)雜的U-Net網(wǎng)絡(luò)模型。U-Net結(jié)合了編碼-解碼的結(jié)構(gòu)設(shè)計(jì)以及多特征圖融合的優(yōu)勢(shì)，相比Dan等[12]提出的模型，在性能上有了大幅提高。此外，條件隨機(jī)場(chǎng)(Conditional Random Fields, CRF)可以顯著提高圖像分割精度，這在Chen等[13]的研究中也得到了充分的借鑒和應(yīng)用。Zhao等[14]在CVPR2017發(fā)表的PSPNet、Chen等[15]發(fā)表的DeepLab及He等[16]在ICCV2017上發(fā)表的Mask R-CNN使圖像語義分割的精度得到了進(jìn)一步提升。

飛機(jī)目標(biāo)作為一種高價(jià)值的時(shí)敏目標(biāo)，在不同天時(shí)、天候的復(fù)雜場(chǎng)景下對(duì)其實(shí)施高效精準(zhǔn)檢測(cè)一直都是國內(nèi)外學(xué)者研究的熱點(diǎn)。經(jīng)典的飛機(jī)目標(biāo)檢測(cè)算法在特征選擇上，主要包括外型特征、輪廓特征、顯著性特征和局部不變特征等。伴隨著深度學(xué)習(xí)的迅猛發(fā)展，傳統(tǒng)的手工特征被深度學(xué)習(xí)提取的機(jī)器特征快速超越和取代。Girshick等[2]在CVPR2014上首次將深度學(xué)習(xí)引入到目標(biāo)檢測(cè)中，提出了R-CNN算法。在R-CNN算法的實(shí)現(xiàn)過程中，首先借助選擇性搜索算法獲取大量的目標(biāo)線索，然后利用AlexNet網(wǎng)絡(luò)模型對(duì)目標(biāo)線索區(qū)域進(jìn)行特征提取，最后借助SVM分類器對(duì)特征進(jìn)行分類，從而實(shí)現(xiàn)目標(biāo)檢測(cè)的目的。相比經(jīng)典的可變性部件模型(Deformable Part Model, DPM)目標(biāo)檢測(cè)算法，R-CNN算法在平均精度均值(Mean Average Precision, MAP)上提高了30%以上。然而，由于選擇性搜索算法需要消耗大量的計(jì)算資源，并且每個(gè)目標(biāo)線索進(jìn)行特征提取時(shí)都要進(jìn)行重復(fù)的卷積操作，導(dǎo)致R-CNN算法的檢測(cè)速度較慢。Girshick[17]在ICCV2015上發(fā)表的Fast R-CNN算法及Ren等[3]發(fā)表的Faster R-CNN算法陸續(xù)解決了這些問題。在Fast R-CNN算法中， Ren等[18]借鑒了SPPNet空間金字塔池化的思路，通過在卷積層后加入感興趣池化層對(duì)不同大小的目標(biāo)線索的特征圖進(jìn)行歸一化處理，一方面克服了R-CNN算法輸入圖像必須為固定大小的局限，避免了圖像剪裁和變形造成的目標(biāo)畸變;另一方面所有的目標(biāo)線索可以共享卷積層的權(quán)重參數(shù)，大幅降低了計(jì)算資源開銷。而在Faster R-CNN算法中，選擇性搜索算法被區(qū)域線索神經(jīng)網(wǎng)絡(luò)(Region Proposal Neural Networks, RPN)所替代，不僅目標(biāo)線索檢測(cè)的精確率和召回率得到了明顯改進(jìn)，而且線索生成效率也獲得了顯著提高。為了進(jìn)一步加快目標(biāo)檢測(cè)的效率，Redmon等[19]在CVPR2016上提出了新穎的YOLO算法。YOLO算法的創(chuàng)新之處在于其采用了端到端的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，利用回歸算法對(duì)目標(biāo)類別以及目標(biāo)邊界框位置進(jìn)行擬合，相比Faster R-CNN算法先產(chǎn)生目標(biāo)線索，再對(duì)目標(biāo)線索進(jìn)行分類篩選的檢測(cè)策略，在檢測(cè)速度上有了大幅提升。

本文在分析前沿研究動(dòng)態(tài)的基礎(chǔ)上，通過DNN網(wǎng)絡(luò)的深度學(xué)習(xí)與級(jí)聯(lián)組合將搜尋分割與檢測(cè)定位有機(jī)結(jié)合起來，設(shè)計(jì)構(gòu)建了高性能的飛機(jī)目標(biāo)檢測(cè)算法。

2 快速搜尋與高效檢測(cè)的組合方案

2.1 大幅面遙感圖像中飛機(jī)目標(biāo)的分布特點(diǎn)

為了調(diào)查遙感圖像中飛機(jī)目標(biāo)的分布規(guī)律，從Google Earth上搜集了100幅遙感圖像，并對(duì)停機(jī)坪與跑道以及其他區(qū)域的飛機(jī)樣本數(shù)目進(jìn)行統(tǒng)計(jì)。不同區(qū)域停放的飛機(jī)目標(biāo)樣本在圖1中進(jìn)行了展示。在圖1中，上下兩行圖像展示了兩組不同區(qū)域?？康娘w機(jī)目標(biāo)樣本示意圖。在每行圖像中，停機(jī)坪、跑道以及其他區(qū)域的飛機(jī)目標(biāo)樣本，均為該行首列展示的原始遙感圖像局部放大所得。

圖1 不同區(qū)域?？康娘w機(jī)目標(biāo)樣本示意圖Fig.1 Schematic of aircraft target sample docked in various areas

對(duì)不同區(qū)域飛機(jī)目標(biāo)樣本的數(shù)量進(jìn)行統(tǒng)計(jì)，結(jié)果如表1所示。從結(jié)果中可以看出，停機(jī)坪與跑道區(qū)域內(nèi)?？康娘w機(jī)目標(biāo)為1 046架，占總數(shù)的97.85%，而?？吭谄渌麉^(qū)域的飛機(jī)目標(biāo)為23架，占總數(shù)的2.15%。因此，對(duì)停機(jī)坪與跑道區(qū)域進(jìn)行高效精準(zhǔn)分割，可以在盡可能不遺漏飛機(jī)的條件下，大幅減少搜索范圍，同時(shí)避免無關(guān)檢測(cè)區(qū)域產(chǎn)生的干擾，顯著提高飛機(jī)目標(biāo)檢測(cè)的效率和精度。

表1 不同區(qū)域停靠的飛機(jī)目標(biāo)樣本數(shù)量統(tǒng)計(jì)Table 1 Quantity statistics of aircraft target sample docked in various areas

2.2 基于DNN網(wǎng)絡(luò)的停機(jī)坪快速檢測(cè)與分割

大幅面遙感圖像中的停機(jī)坪與跑道區(qū)域的分割和提取不僅需要滿足高精度的要求，精確判定候選檢測(cè)區(qū)域范圍，避免誤分割和漏分割情況的發(fā)生，還需要具有很高的分割效率，滿足飛機(jī)目標(biāo)檢測(cè)實(shí)時(shí)性的需求。借助深度學(xué)習(xí)理論，本文設(shè)計(jì)了新穎的端到端DNN網(wǎng)絡(luò)以實(shí)現(xiàn)大幅面遙感圖像停機(jī)坪與跑道區(qū)域的高性能分割，網(wǎng)絡(luò)的離線監(jiān)督訓(xùn)練如圖2所示。圖中：g(·)為DNN網(wǎng)絡(luò)模型的非線性激活函數(shù)；Wi和bi分別為第i層神經(jīng)元的權(quán)重系數(shù)和偏移量。

在DNN網(wǎng)絡(luò)的離線監(jiān)督訓(xùn)練過程中，借助開源標(biāo)注工具LableMe[20]，對(duì)遙感圖像樣本集中的停機(jī)坪與跑道區(qū)域進(jìn)行人工標(biāo)注。當(dāng)離線監(jiān)督訓(xùn)練完成后，DNN網(wǎng)絡(luò)模型便固定下來。在實(shí)際使用過程中，將原始遙感圖像輸入到訓(xùn)練好的DNN網(wǎng)絡(luò)模型中，即可生成對(duì)應(yīng)大小的停機(jī)坪與跑道區(qū)域的分割結(jié)果。

圖2 停機(jī)坪與跑道區(qū)域分割DNN網(wǎng)絡(luò)模型的離線監(jiān)督訓(xùn)練Fig.2 Off-line supervised training of DNN model for apron and runway area segmentation

2.3 遙感圖像飛機(jī)目標(biāo)高效檢測(cè)方案

為了滿足高效檢測(cè)的任務(wù)需要，基于YOLO算法，本文設(shè)計(jì)了面向大幅面遙感圖像飛機(jī)目標(biāo)的檢測(cè)方案。該方案借助分治法的思想，采用了先拆分后拼合的策略。首先，對(duì)停機(jī)坪與跑道區(qū)域分割圖像進(jìn)行大小調(diào)整，并按照448像素×448像素對(duì)其進(jìn)行標(biāo)準(zhǔn)塊切分；然后，利用手工采集的飛機(jī)目標(biāo)樣本集對(duì)預(yù)訓(xùn)練的YOLO網(wǎng)絡(luò)模型進(jìn)行遷移式強(qiáng)化訓(xùn)練；再次，借助遷移式強(qiáng)化訓(xùn)練YOLO網(wǎng)絡(luò)模型對(duì)標(biāo)準(zhǔn)塊遙感圖像進(jìn)行飛機(jī)目標(biāo)的檢測(cè)和定位；最后，將包含飛機(jī)目標(biāo)檢測(cè)結(jié)果的標(biāo)準(zhǔn)塊圖像按原始空間排布順序重新拼合，得到完整的大幅面遙感圖像飛機(jī)目標(biāo)檢測(cè)結(jié)果。

2.4 搜尋與檢測(cè)相集成的級(jí)聯(lián)組合方案

借助本文提出的停機(jī)坪與跑道區(qū)域分割DNN網(wǎng)絡(luò)以及YOLO網(wǎng)絡(luò)的性能優(yōu)勢(shì)，對(duì)區(qū)域搜尋與目標(biāo)檢測(cè)2個(gè)環(huán)節(jié)進(jìn)行級(jí)聯(lián)組合，給出搜尋與檢測(cè)的級(jí)聯(lián)組合方案，如圖3所示。

從圖3中可以看出，本文提出的搜尋與檢測(cè)相集成的級(jí)聯(lián)組合方案在候選檢測(cè)區(qū)域搜尋與飛機(jī)目標(biāo)檢測(cè)中分別設(shè)計(jì)了不同的DNN網(wǎng)絡(luò)以實(shí)現(xiàn)各自部分的功能。其優(yōu)勢(shì)為：①具備良好的時(shí)效性；②由于采用了端到端的設(shè)計(jì)思路，在整個(gè)飛機(jī)目標(biāo)的檢測(cè)過程中無需人為干預(yù)，只需提供原始的大幅面遙感圖像，即可獲得停機(jī)坪與跑道區(qū)域分割圖像及飛機(jī)目標(biāo)的檢測(cè)結(jié)果，為大幅面遙感圖像飛機(jī)目標(biāo)的高效檢測(cè)提供了便利。

圖3 搜尋與檢測(cè)的級(jí)聯(lián)組合Fig.3 Cascade combination of searching and detection

3 停機(jī)坪與跑道區(qū)域的分割和提取

3.1 停機(jī)坪與跑道區(qū)域檢測(cè)和分割的DNN模型

借助深度學(xué)習(xí)方法，本文設(shè)計(jì)了大幅面遙感圖像停機(jī)坪與跑道區(qū)域分割深度神經(jīng)網(wǎng)絡(luò)(Large-Scale Remote Sensing Image Apron and runway Segmentation Neural Networks, LS-RSIASNN)，網(wǎng)絡(luò)模型結(jié)構(gòu)及參數(shù)設(shè)置如圖4(a)所示。

圖4 停機(jī)坪與跑道區(qū)域分割DNN網(wǎng)絡(luò)模型示意圖Fig.4 Schematic of DNN models for apron and runway area segmentation

從圖4中可以看出，LS-RSIASNN網(wǎng)絡(luò)的深度為76層，相比其他DNN網(wǎng)絡(luò)具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，因而有利于抽象特征的挖掘，提高圖像分割的精度。LS-RSIASNN網(wǎng)絡(luò)模型中一共包括20個(gè)卷積網(wǎng)絡(luò)單元(Convolutional Network, ConvNet)，其中前19個(gè)用于特征提取與圖像恢復(fù)，最后1個(gè)用于分割標(biāo)簽的生成。而在每個(gè)ConvNet中包含一個(gè)卷積層、一個(gè)最大整合層及一個(gè)激活層。所有卷積層的卷積核大小為3×3，卷積步長為1，最大整合層的步長為2。激活函數(shù)選用修正的線性單元(Rectified Linear Unit, ReLU)，其解析表達(dá)式為

(1)

ReLU激活函數(shù)與Sigmoid和Tanh激活函數(shù)相比，由于對(duì)其局部定義域x≤0的取值限制，使之不易落入梯度死區(qū)，而擴(kuò)展了活化范圍。在每個(gè)激活層前設(shè)置的批歸一化層能夠進(jìn)一步避免梯度消失和梯度爆炸情況的發(fā)生，增強(qiáng)DNN網(wǎng)絡(luò)訓(xùn)練過程的穩(wěn)定性。

LS-RSIASNN網(wǎng)絡(luò)采用了端到端的模型結(jié)構(gòu)設(shè)計(jì)，當(dāng)離線訓(xùn)練過程完成以后，輸入原始的遙感圖像即可生成對(duì)應(yīng)大小的分割結(jié)果，因而具備了很高的效率。與此同時(shí)，LS-RSIASNN網(wǎng)絡(luò)借鑒了U-Net與FCN網(wǎng)絡(luò)的設(shè)計(jì)思路，借助不同深度網(wǎng)絡(luò)特征圖的相互融合，產(chǎn)生性能更優(yōu)的特征表達(dá)，進(jìn)而實(shí)現(xiàn)高精度的圖像分割，該方法在He[21]、Huang[22]及Su[23]等的工作中也得到了成功的應(yīng)用。與U-Net不同的是，一方面LS-RSIASNN網(wǎng)絡(luò)具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，以產(chǎn)生更加抽象的目標(biāo)特征；另一方面除了跨層的目標(biāo)特征融合，LS-RSIASNN網(wǎng)絡(luò)對(duì)相鄰ConvNet輸出的目標(biāo)特征也進(jìn)行了融合，以獲取更加精確的目標(biāo)分割結(jié)果。

3.2 樣本數(shù)據(jù)標(biāo)注和DNN模型的離線監(jiān)督訓(xùn)練

在LS-RSIASNN網(wǎng)絡(luò)的離線監(jiān)督訓(xùn)練中，借助開源工具LabelMe對(duì)200幅遙感圖像中的停機(jī)坪與跑道區(qū)域進(jìn)行人工標(biāo)注。圖5展示了停機(jī)坪與跑道區(qū)域的人工標(biāo)注過程及生成的停機(jī)坪與跑道區(qū)域正樣本。其中，圖5(a)展示了3個(gè)不同機(jī)場(chǎng)拍攝的原始遙感圖像；圖5(b)顯示的是利用LabelMe對(duì)停機(jī)坪與跑道區(qū)域進(jìn)行人工標(biāo)注；圖5(c)為人工標(biāo)注后對(duì)應(yīng)生成的停機(jī)坪與跑道區(qū)域正樣本，淺色部分代表停機(jī)坪與跑道正樣本區(qū)域，黑色部分代表背景區(qū)域。

圖5 停機(jī)坪與跑道區(qū)域人工標(biāo)注及樣本Fig.5 Manual labelling samples of apron and runway areas

由于手工樣本集數(shù)據(jù)量較為有限，將160幅圖像劃分為訓(xùn)練集對(duì)DNN網(wǎng)絡(luò)實(shí)施離線監(jiān)督訓(xùn)練，而其余40幅圖像則作為測(cè)試集對(duì)訓(xùn)練完成后的DNN網(wǎng)絡(luò)進(jìn)行測(cè)試與評(píng)估。在離線監(jiān)督訓(xùn)練過程中，借助交叉熵作為損失函數(shù)，利用自適應(yīng)矩估計(jì)(Adaptive moment estimation, Adam)算法[24]對(duì)網(wǎng)絡(luò)模型進(jìn)行參數(shù)更新，交叉熵的解析表達(dá)式為

(1-y(i))lb(1-h(x(i)))]

(2)

式中：m為像素點(diǎn)的個(gè)數(shù)；y(i)為第i個(gè)像素的類別標(biāo)簽；h(·)為Sigmoid函數(shù)。

經(jīng)過500輪迭代訓(xùn)練后DNN網(wǎng)絡(luò)趨于收斂，其離線監(jiān)督訓(xùn)練過程的性能進(jìn)化曲線如圖6所示?？梢钥闯觯陔x線監(jiān)督訓(xùn)練過程中，LS-RSIASNN網(wǎng)絡(luò)的交叉熵?fù)p失低于對(duì)比的其他DNN網(wǎng)絡(luò)。進(jìn)一步，借助測(cè)試集中的遙感圖像對(duì)離線監(jiān)督訓(xùn)練后的DNN網(wǎng)絡(luò)進(jìn)行停機(jī)坪與跑道區(qū)域分割實(shí)驗(yàn)，以對(duì)各種DNN網(wǎng)絡(luò)的圖像分割性能進(jìn)行評(píng)估。

3.3 DNN網(wǎng)絡(luò)學(xué)習(xí)進(jìn)化的停機(jī)坪與跑道區(qū)域分割和提取

為了對(duì)DNN網(wǎng)絡(luò)的圖像分割性能進(jìn)行評(píng)估，將測(cè)試集遙感圖像送入網(wǎng)絡(luò)中，獲得停機(jī)坪與跑道區(qū)域的分割結(jié)果如圖7所示。圖7(a)的4幅原始遙感圖像拍攝于4個(gè)不同的機(jī)場(chǎng)，圖7(b)淺色部分為人工標(biāo)注的停機(jī)坪與跑道正樣本，圖7(c)～(g)為不同DNN網(wǎng)絡(luò)生成的停機(jī)坪與跑道區(qū)域分割結(jié)果。

從圖7可以看到，本文提出的LS-RSIASNN網(wǎng)絡(luò)在分割精度上明顯優(yōu)于對(duì)比的其他DNN網(wǎng)絡(luò)模型。借助式(3)，對(duì)分割結(jié)果的交并比(Intersection-over-Union, IoU)進(jìn)行計(jì)算。

圖6 停機(jī)坪與跑道區(qū)域分割DNN網(wǎng)絡(luò)模型性能進(jìn)化曲線Fig.6 Performance evolution curves of DNN models for apron and runway area segmentation

圖7 不同DNN網(wǎng)絡(luò)模型停機(jī)坪與跑道區(qū)域分割結(jié)果對(duì)比Fig.7 Comparison of apron and runway area segmentation results among various DNN models

(3)

式中：area(·)為面積大??；RoIT為不同DNN網(wǎng)絡(luò)生成的停機(jī)坪與跑道區(qū)域分割結(jié)果；RoIG為手工標(biāo)注的正樣本區(qū)域。IoU得分的分布區(qū)間為[0,1]，越接近1說明分割結(jié)果越好。

不同DNN網(wǎng)絡(luò)停機(jī)坪與跑道區(qū)域分割I(lǐng)oU得分對(duì)比如表2所示。表2的結(jié)果在圖8中進(jìn)行了更為直觀的展示。

FCN-8、FCN-16網(wǎng)絡(luò)借助上采樣操作進(jìn)行圖像恢復(fù)，破壞了像素點(diǎn)之間的空間位置關(guān)系，導(dǎo)致分割結(jié)果欠佳。而LS-RSIASNN網(wǎng)絡(luò)則采用了更加精確的多層反卷積操作進(jìn)行圖像細(xì)節(jié)恢復(fù)，借助不同深度圖像特征的相互融合，獲得了更為精確的分割結(jié)果。此外，還對(duì)LS-RSIASNN網(wǎng)絡(luò)的分割效率進(jìn)行了評(píng)估。在實(shí)驗(yàn)中，將4 480像素×4 480像素大小的遙感圖像輸入到不同的DNN網(wǎng)絡(luò)中，統(tǒng)計(jì)從原始遙感圖像輸入到分割結(jié)果輸出之間的時(shí)間開銷，實(shí)驗(yàn)結(jié)果如圖9所示。實(shí)驗(yàn)中，借助一顆Nvidia Tesla M60 GPU進(jìn)行運(yùn)算加速，從實(shí)驗(yàn)結(jié)果中可以看到，單幀圖像分割的時(shí)間開銷具有一定的波動(dòng)性，這與圖像場(chǎng)景的復(fù)雜程度有關(guān)。而從平均時(shí)間開銷來看，由于LS-RSIASNN網(wǎng)絡(luò)具有更加復(fù)雜的結(jié)構(gòu)，因此相比結(jié)構(gòu)較為簡(jiǎn)單的DNN網(wǎng)絡(luò)需要消耗更長的計(jì)算時(shí)間，但不同DNN網(wǎng)絡(luò)的時(shí)間開銷總體維持在較低水平，平均時(shí)間開銷不超過1 s。

表2 不同DNN網(wǎng)絡(luò)模型停機(jī)坪與跑道區(qū)域分割I(lǐng)oU得分Table 2 IoU for apron and runway area segmentation with various DNN models

圖8 不同DNN網(wǎng)絡(luò)模型停機(jī)坪與跑道區(qū)域分割I(lǐng)oU對(duì)比Fig.8 Comparison of IoU for apron and runway area segmentation with various DNN models

圖9 停機(jī)坪與跑道區(qū)域分割時(shí)間開銷對(duì)比Fig.9 Comparison of time cost for apron and runway segmentation

4 基于YOLO網(wǎng)絡(luò)的飛機(jī)目標(biāo)快速檢測(cè)

借助高性能的DNN網(wǎng)絡(luò)模型，對(duì)飛機(jī)目標(biāo)可能出現(xiàn)的停機(jī)坪與跑道區(qū)域?qū)嵤┝司珳?zhǔn)的分割和提取，大幅縮小了目標(biāo)搜索的區(qū)域范圍。為了進(jìn)一步對(duì)停機(jī)坪與跑道區(qū)域內(nèi)的飛機(jī)目標(biāo)進(jìn)行高效檢測(cè)，本節(jié)借助YOLO網(wǎng)絡(luò)模型的遷移式強(qiáng)化訓(xùn)練，設(shè)計(jì)了飛機(jī)目標(biāo)的高效檢測(cè)算法。在分割的停機(jī)坪與跑道區(qū)域內(nèi)，通過與R-CNN及Faster R-CNN算法的飛機(jī)目標(biāo)檢測(cè)結(jié)果進(jìn)行對(duì)比分析，驗(yàn)證了本文算法的有效性。

4.1 YOLO網(wǎng)絡(luò)原理及優(yōu)勢(shì)分析

YOLO網(wǎng)絡(luò)將目標(biāo)檢測(cè)中的邊界定位與類型判別轉(zhuǎn)化為回歸問題進(jìn)行求解，在檢測(cè)速度與召回率上優(yōu)于經(jīng)典的目標(biāo)檢測(cè)算法。同時(shí)作為一種端到端的DNN網(wǎng)絡(luò)，YOLO網(wǎng)絡(luò)不僅易于訓(xùn)練，也能大幅節(jié)省特征存儲(chǔ)、調(diào)用等中間環(huán)節(jié)帶來的計(jì)算資源消耗，有利于實(shí)現(xiàn)目標(biāo)的實(shí)時(shí)檢測(cè)。

4.1.1 YOLO網(wǎng)絡(luò)檢測(cè)算法的原理

YOLO網(wǎng)絡(luò)由24個(gè)卷積層、4個(gè)最大整合層及2個(gè)全連接層組合而成，網(wǎng)絡(luò)結(jié)構(gòu)模型如圖10所示。

圖10 YOLO網(wǎng)絡(luò)模型及參數(shù)設(shè)置Fig.10 YOLO network model and parameter setting

(4)

對(duì)7×7×2=98個(gè)預(yù)報(bào)邊界框得分S進(jìn)行計(jì)算并排序，設(shè)置閾值排除得分較低的邊界框，進(jìn)而借助非極大值抑制(Non-Maximum Suppression, NMS)去除重合的預(yù)報(bào)邊界框從而獲得最終的目標(biāo)檢測(cè)結(jié)果。

4.1.2 YOLO網(wǎng)絡(luò)實(shí)時(shí)檢測(cè)的性能優(yōu)勢(shì)

YOLO算法將目標(biāo)檢測(cè)作為回歸問題進(jìn)行求解，與R-CNN、Fast R-CNN及Faster R-CNN相比在計(jì)算效率上具有明顯優(yōu)勢(shì)。R-CNN算法采用選擇性搜索獲得目標(biāo)線索區(qū)域，進(jìn)而借助DNN網(wǎng)絡(luò)提取目標(biāo)線索區(qū)域特征，利用SVM對(duì)特征進(jìn)行分類從而完成目標(biāo)檢測(cè)任務(wù)。DNN網(wǎng)絡(luò)及特征分類器的訓(xùn)練需要在多個(gè)模塊中分別進(jìn)行，因此檢測(cè)效率較低。而Faster R-CNN算法利用RPN網(wǎng)絡(luò)替代選擇性搜索算法，借助RPN與Fast R-CNN的集成實(shí)現(xiàn)高效的目標(biāo)檢測(cè)。盡管RPN與Fast R-CNN共享了部分卷積層權(quán)重參數(shù)，但2個(gè)網(wǎng)絡(luò)需要分別進(jìn)行訓(xùn)練。Faster R-CNN算法雖然能夠保持較高的檢測(cè)精度，但在檢測(cè)速度上依然不能滿足實(shí)時(shí)性的需要。借助YOLO網(wǎng)絡(luò)，原始圖像通過端到端的DNN網(wǎng)絡(luò)結(jié)構(gòu)，便能直接輸出目標(biāo)的位置、類別及相應(yīng)的置信概率，顯著簡(jiǎn)化了檢測(cè)流程，在檢測(cè)效率上實(shí)現(xiàn)了大幅提升。

4.2 YOLO網(wǎng)絡(luò)的訓(xùn)練策略與實(shí)施方案

YOLO網(wǎng)絡(luò)受到Ren等[3]工作的啟發(fā)，將網(wǎng)絡(luò)分為特征提取器與目標(biāo)分類器2個(gè)部分分別進(jìn)行訓(xùn)練。在特征提取器訓(xùn)練階段，借助Image-Net2012數(shù)據(jù)集，對(duì)YOLO網(wǎng)絡(luò)中的前20個(gè)卷積層進(jìn)行預(yù)訓(xùn)練。YOLO網(wǎng)絡(luò)中的前20個(gè)卷積層主要用于圖像特征的提取，而ImageNet2012包含的1 000類目標(biāo)共126萬張圖片，可以為特征提取器提供豐富的訓(xùn)練數(shù)據(jù)。YOLO網(wǎng)絡(luò)中的后4個(gè)卷積層及2個(gè)全連接層組成的卷積特征圖網(wǎng)絡(luò)(Network on Convolution feature map, NoC)主要用于特征整合與特征分類。相比簡(jiǎn)單的Softmax分類器，NoC網(wǎng)絡(luò)可以對(duì)高維的目標(biāo)特征進(jìn)行更好的區(qū)分，從而進(jìn)一步提高目標(biāo)檢測(cè)的精度。在ImageNet2012預(yù)訓(xùn)練的基礎(chǔ)上，在較小的樣本集Pascal VOC 2007(20類9 963張圖片)上進(jìn)行再次訓(xùn)練。最終YOLO網(wǎng)絡(luò)在Pascal VOC 2007數(shù)據(jù)集上目標(biāo)檢測(cè)的平均精度均值MAP達(dá)到65.5%，弱于Faster R-CNN的71.6%，在檢測(cè)速度上達(dá)到45幀/s，明顯快于Faster R-CNN的0.5幀/s，在實(shí)時(shí)檢測(cè)中表現(xiàn)出較強(qiáng)優(yōu)勢(shì)。

4.3 面向高效檢測(cè)的遷移式擴(kuò)充樣本強(qiáng)化訓(xùn)練

借助新穎的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)及大規(guī)模數(shù)據(jù)集的離線監(jiān)督訓(xùn)練，YOLO網(wǎng)絡(luò)在目標(biāo)檢測(cè)的精度和時(shí)效性方面都達(dá)到了較高水平。為了充分利用YOLO網(wǎng)絡(luò)的性能優(yōu)勢(shì)，在有限的計(jì)算資源和數(shù)據(jù)集的條件下，利用自行采集的手工訓(xùn)練樣本集，對(duì)YOLO網(wǎng)絡(luò)進(jìn)行遷移式強(qiáng)化訓(xùn)練，從而實(shí)現(xiàn)飛機(jī)目標(biāo)實(shí)時(shí)檢測(cè)的任務(wù)需求。

4.3.1 擴(kuò)充樣本的采集與標(biāo)注

借助開源標(biāo)注工具LabelImg，對(duì)遙感圖像數(shù)據(jù)集中的飛機(jī)目標(biāo)位置進(jìn)行人工標(biāo)注。與預(yù)訓(xùn)練的YOLO網(wǎng)絡(luò)模型保持一致，訓(xùn)練樣本集中的遙感圖像大小均設(shè)置為448像素×448像素。同時(shí)采用了數(shù)據(jù)增廣方法對(duì)有限的手工樣本集進(jìn)行擴(kuò)充，如圖11所示。圖11每行4幅遙感圖像拍攝于4個(gè)不同機(jī)場(chǎng)，圖11(b)顯示的是利用LabelImg對(duì)飛機(jī)目標(biāo)位置進(jìn)行手工標(biāo)注的過程。在手工標(biāo)注過程中，LabelImg會(huì)記錄下標(biāo)注區(qū)域的坐標(biāo)及目標(biāo)的類別信息，并與Pascal VOC 2007的數(shù)據(jù)格式保持一致。

進(jìn)一步，為了彌補(bǔ)手工樣本集數(shù)量規(guī)模的不足，對(duì)有限的樣本集進(jìn)行水平和垂直翻轉(zhuǎn)，使樣本數(shù)量擴(kuò)充至原來的3倍。通過對(duì)100幅遙感圖像中的353架飛機(jī)目標(biāo)進(jìn)行手工標(biāo)注，最終獲取了1 059個(gè)擴(kuò)充樣本及其對(duì)應(yīng)的飛機(jī)目標(biāo)位置信息，用于對(duì)預(yù)訓(xùn)練的YOLO網(wǎng)絡(luò)進(jìn)行遷移式強(qiáng)化訓(xùn)練。

4.3.2 性能遷移的合理性分析

手工采集的數(shù)據(jù)集不論在數(shù)據(jù)規(guī)模還是目標(biāo)種類的多樣性上都無法與ImageNet2012及Pascal VOC 2007相比。然而，大規(guī)模數(shù)據(jù)集的離線監(jiān)督訓(xùn)練對(duì)于DNN網(wǎng)絡(luò)模型的性能提升至關(guān)重要。在深度學(xué)習(xí)中，如果預(yù)訓(xùn)練模型的數(shù)據(jù)集與任務(wù)數(shù)據(jù)集在樣本類型及目標(biāo)特征上具有較強(qiáng)的相關(guān)性，則可借助遷移學(xué)習(xí)方法將預(yù)訓(xùn)練好的模型應(yīng)用在新任務(wù)中，從而克服訓(xùn)練樣本不足的缺點(diǎn)。在Pascal VOC 2007數(shù)據(jù)集中共包含9 963幅20類共24 640個(gè)目標(biāo)的類型及位置信息，其中包括477幅共625個(gè)飛機(jī)目標(biāo)樣本。一方面，Pascal VOC 2007數(shù)據(jù)集中的飛機(jī)目標(biāo)特征與手工建立的數(shù)據(jù)集中的飛機(jī)目標(biāo)特征具有較強(qiáng)的相關(guān)性；另一方面，大規(guī)模數(shù)據(jù)集中不同類型目標(biāo)的淺層特征，如邊緣、紋理與手工數(shù)據(jù)集之間具有互通性。因此，本文中沒有從頭訓(xùn)練YOLO網(wǎng)絡(luò)，而是在ImageNet2012及Pascal VOC 2007數(shù)據(jù)集預(yù)訓(xùn)練的YOLO網(wǎng)絡(luò)模型的基礎(chǔ)上，利用手工標(biāo)注的數(shù)據(jù)集進(jìn)行遷移式強(qiáng)化訓(xùn)練，從而充分利用大規(guī)模數(shù)據(jù)集的優(yōu)勢(shì)，實(shí)現(xiàn)飛機(jī)目標(biāo)的高效檢測(cè)。

4.3.3 擴(kuò)充樣本監(jiān)督下的強(qiáng)化訓(xùn)練

為了對(duì)預(yù)訓(xùn)練的YOLO網(wǎng)絡(luò)進(jìn)行遷移訓(xùn)練，將手工標(biāo)注的飛機(jī)目標(biāo)樣本與Pascal VOC 2007原有的飛機(jī)目標(biāo)樣本的類別屬性設(shè)置為一致，將預(yù)訓(xùn)練的模型權(quán)重參數(shù)載入到圖10所示的YOLO網(wǎng)絡(luò)模型中，進(jìn)而借助手工標(biāo)注的飛機(jī)目標(biāo)樣本集對(duì)預(yù)訓(xùn)練的網(wǎng)絡(luò)模型進(jìn)行遷移訓(xùn)練與權(quán)重微調(diào)，其離線監(jiān)督遷移強(qiáng)化訓(xùn)練過程的性能進(jìn)化曲線如圖12所示。

圖12(a)中曲線代表預(yù)報(bào)邊界框的置信度誤差Econf，用于衡量預(yù)報(bào)邊界框內(nèi)是否存在目標(biāo)及預(yù)報(bào)邊界框與真實(shí)邊界框之間的重合度，其測(cè)算表達(dá)式為

(5)

圖12(b)中曲線代表識(shí)別誤差Eclass，用于衡量中心落在第i個(gè)單元格內(nèi)的目標(biāo)是否屬于正確的類別，識(shí)別誤差表達(dá)式為

(6)

圖12 YOLO網(wǎng)絡(luò)性能進(jìn)化曲線Fig.12 Performance evolution curves of YOLO networks

圖12(c)中曲線代表定位誤差Ecoord，用于衡量預(yù)報(bào)邊界框的定位精度，定位誤差的測(cè)算表達(dá)式為

(7)

圖12(d)中的總體誤差為以上3類誤差的總和，表達(dá)式為

Etotal=Econf+Eclass+Ecoord

(8)

在遷移式強(qiáng)化訓(xùn)練過程中利用Adam算法對(duì)網(wǎng)絡(luò)模型參數(shù)進(jìn)行更新。經(jīng)過10萬次訓(xùn)練，基于擴(kuò)充樣本遷移式強(qiáng)化訓(xùn)練的YOLO網(wǎng)絡(luò)模型趨于收斂。

4.4 YOLO網(wǎng)絡(luò)飛機(jī)目標(biāo)檢測(cè)時(shí)效性能評(píng)估

在大幅面遙感圖像停機(jī)坪與跑道其余分割的基礎(chǔ)上，對(duì)候選檢測(cè)區(qū)域圖像進(jìn)行強(qiáng)化處理，只保留停機(jī)坪與跑道區(qū)域的像素值，而將背景區(qū)域的像素值置0。根據(jù)式(9)對(duì)強(qiáng)化圖像進(jìn)行尺度取整歸一化處理，并利用三線性插值對(duì)圖像進(jìn)行分辨率提升。

(9)

式中：符號(hào)「·?代表向上取整；wori、hori與wnew、hnew分別為遙感圖像原始及調(diào)整后的寬度與高度。

整幅遙感圖像被切分為448像素×448像素的標(biāo)準(zhǔn)塊子區(qū)域，進(jìn)而借助遷移式強(qiáng)化訓(xùn)練YOLO網(wǎng)絡(luò)模型對(duì)每一個(gè)標(biāo)準(zhǔn)塊子區(qū)域進(jìn)行飛機(jī)目標(biāo)檢測(cè)。將包含飛機(jī)目標(biāo)檢測(cè)結(jié)果的標(biāo)準(zhǔn)塊圖像進(jìn)行重新拼合，最終得到遙感圖像飛機(jī)目標(biāo)的檢測(cè)與定位結(jié)果。

通過與R-CNN、Faster R-CNN算法進(jìn)行檢測(cè)時(shí)間開銷對(duì)比，驗(yàn)證遷移式強(qiáng)化訓(xùn)練YOLO網(wǎng)絡(luò)的時(shí)效性，實(shí)驗(yàn)結(jié)果如圖13所示。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)，得到3種對(duì)比算法的平均檢測(cè)時(shí)間開銷如表3所示。

圖13 飛機(jī)目標(biāo)檢測(cè)的時(shí)間開銷對(duì)比Fig.13 Comparison of time cost for aircraft target detection

從表3中可以看出，相比R-CNN以及FasterR-CNN算法，YOLO網(wǎng)絡(luò)在檢測(cè)速度上具有明顯優(yōu)勢(shì)，能夠?yàn)榇蠓孢b感圖像飛機(jī)目標(biāo)的實(shí)時(shí)檢測(cè)提供有力支持。圖14展示了基于不同算法的飛機(jī)目標(biāo)檢測(cè)結(jié)果，其中每行的4幅圖像均拍攝于4個(gè)不同的機(jī)場(chǎng)。

表3 飛機(jī)目標(biāo)平均檢測(cè)時(shí)間開銷對(duì)比Table 3 Comparison of average time cost for aircraft target detection s

圖14 飛機(jī)目標(biāo)檢測(cè)結(jié)果對(duì)比Fig.14 Comparison of aircraft target detection results

5 基于搜檢級(jí)聯(lián)的飛機(jī)目標(biāo)高效檢測(cè)

候選檢測(cè)區(qū)域的高效分割及目標(biāo)的快速定位是大幅面遙感圖像飛機(jī)目標(biāo)實(shí)時(shí)檢測(cè)的2個(gè)必要環(huán)節(jié)。本節(jié)對(duì)搜索與檢測(cè)的級(jí)聯(lián)組合式檢測(cè)方案的必要性與可行性進(jìn)行了分析，借助DNN網(wǎng)絡(luò)性能優(yōu)勢(shì)的互補(bǔ)與強(qiáng)化，最終形成級(jí)聯(lián)組合式飛機(jī)目標(biāo)高效檢測(cè)算法。

5.1 搜索與檢測(cè)的綜合集成

在大幅面遙感圖像中，飛機(jī)目標(biāo)所占像素比例小，信噪比低，為了實(shí)現(xiàn)飛機(jī)目標(biāo)的高效檢測(cè)，必須對(duì)停機(jī)坪與跑道等候選檢測(cè)區(qū)域進(jìn)行分割和提取，縮小飛機(jī)目標(biāo)的搜索范圍，從而提高檢測(cè)效率。同時(shí)，候選檢測(cè)區(qū)域的分割和提取也能夠避免背景目標(biāo)引發(fā)的虛警，提高飛機(jī)目標(biāo)檢測(cè)精度。因此，搜尋與檢測(cè)的級(jí)聯(lián)組合對(duì)于大幅面遙感圖像飛機(jī)目標(biāo)的實(shí)時(shí)檢測(cè)是必要的。

借助深度學(xué)習(xí)及高性能的端到端DNN網(wǎng)絡(luò)模型，可以實(shí)現(xiàn)停機(jī)坪與跑道區(qū)域的精準(zhǔn)分割，相比經(jīng)典的圖像分割算法，DNN網(wǎng)絡(luò)在分割精度與速度上具有顯著優(yōu)勢(shì)。進(jìn)而，對(duì)停機(jī)坪和跑道區(qū)域分割圖像進(jìn)行取整歸一化處理與標(biāo)準(zhǔn)塊切分，借助遷移式強(qiáng)化訓(xùn)練YOLO網(wǎng)絡(luò)模型對(duì)每一個(gè)標(biāo)準(zhǔn)塊圖像進(jìn)行飛機(jī)目標(biāo)檢測(cè)，再將包含飛機(jī)目標(biāo)檢測(cè)結(jié)果的標(biāo)準(zhǔn)塊圖像按照原先的空間順序進(jìn)行拼合，最終得到遙感圖像飛機(jī)目標(biāo)的檢測(cè)結(jié)果。搜尋與檢測(cè)的級(jí)聯(lián)組合能夠滿足大幅面遙感圖像飛機(jī)目標(biāo)檢測(cè)實(shí)時(shí)性與精確性的應(yīng)用需求，因此該方案是可行的。

5.2 級(jí)聯(lián)組合式飛機(jī)目標(biāo)高效檢測(cè)算法

根據(jù)第3、4節(jié)所述內(nèi)容，給出級(jí)聯(lián)式飛機(jī)目標(biāo)高效檢測(cè)算法。

輸入：原始遙感圖像Iori。

輸出：飛機(jī)目標(biāo)檢測(cè)結(jié)果Iresult。

初始化：原始遙感圖像的長寬w,h。

步驟3將原始遙感圖像Iori輸入到Model1中得到機(jī)場(chǎng)分割圖像Iairport。

在級(jí)聯(lián)式飛機(jī)目標(biāo)高效檢測(cè)算法中，候選檢測(cè)區(qū)域的高效搜尋與飛機(jī)目標(biāo)的精準(zhǔn)定位分別采用了不同的DNN網(wǎng)絡(luò)予以實(shí)現(xiàn)。在網(wǎng)絡(luò)模型的離線監(jiān)督訓(xùn)練上，停機(jī)坪與跑道區(qū)域分割DNN網(wǎng)絡(luò)選擇了完整訓(xùn)練的方式，而在飛機(jī)目標(biāo)檢測(cè)中，則借助YOLO網(wǎng)絡(luò)的遷移式強(qiáng)化訓(xùn)練彌補(bǔ)了手工數(shù)據(jù)集數(shù)據(jù)規(guī)模上的不足。由于YOLO網(wǎng)絡(luò)模型圖像處理尺寸的限制，在算法中采用了先切分再拼合的檢測(cè)策略，而小范圍的圖像調(diào)整對(duì)于大幅面遙感圖像中目標(biāo)的形變影響較為微弱，同時(shí)也可以借助大數(shù)據(jù)集數(shù)據(jù)規(guī)模與樣本類型多樣性的優(yōu)勢(shì)進(jìn)一步提高飛機(jī)目標(biāo)檢測(cè)的結(jié)果。

6 綜合實(shí)驗(yàn)與性能分析

本節(jié)利用實(shí)際的大幅面遙感圖像對(duì)級(jí)聯(lián)式飛機(jī)目標(biāo)高效檢測(cè)算法進(jìn)行綜合實(shí)驗(yàn)驗(yàn)證。在實(shí)驗(yàn)中，借助精確率、漏檢率及時(shí)效性，與R-CNN、Faster R-CNN的目標(biāo)檢測(cè)算法進(jìn)行對(duì)比分析，驗(yàn)證本文算法的有效性。

6.1 數(shù)據(jù)庫與實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)采集了40幅可見光遙感圖像作為測(cè)試集，圖像大小均為4 480像素×4 480像素。數(shù)據(jù)集涵蓋了轟炸機(jī)、預(yù)警機(jī)、運(yùn)輸機(jī)、戰(zhàn)斗機(jī)等多種機(jī)型、多種尺寸大小的飛機(jī)目標(biāo)。實(shí)驗(yàn)硬件平臺(tái)由一顆Nvidia Tesla M60 GPU提供運(yùn)算加速。實(shí)驗(yàn)軟件平臺(tái)為Python 2.7.13，深度學(xué)習(xí)框架為基于TensorFlow 1.02的Keras 2.0.9。

6.2 實(shí)驗(yàn)框架設(shè)計(jì)與參數(shù)設(shè)置

為了對(duì)本文算法的精度和效率進(jìn)行綜合分析與性能評(píng)估，設(shè)計(jì)綜合實(shí)驗(yàn)框架如下：首先，利用R-CNN、Faster R-CNN及YOLO算法在原始遙感圖像及停機(jī)坪與跑道區(qū)域分割圖像中分別進(jìn)行飛機(jī)目標(biāo)檢測(cè)實(shí)驗(yàn)，對(duì)比相同算法在停機(jī)坪與跑道區(qū)域分割前、后飛機(jī)目標(biāo)檢測(cè)的精確率、漏檢率及時(shí)間開銷3個(gè)性能指標(biāo)的差異，驗(yàn)證基于DNN網(wǎng)絡(luò)的停機(jī)坪和跑道飛機(jī)目標(biāo)候選檢測(cè)區(qū)域分割對(duì)于檢測(cè)性能提升的有效性。然后，對(duì)R-CNN、Faster R-CNN及YOLO算法的檢測(cè)結(jié)果進(jìn)行橫向?qū)Ρ?，?yàn)證YOLO算法在檢測(cè)時(shí)效性方面的優(yōu)勢(shì)。在所有實(shí)驗(yàn)中，輸入的原始遙感圖像大小為4 480像素×4 480像素。整幅圖像被切分為100個(gè)標(biāo)準(zhǔn)塊子區(qū)域分別進(jìn)行檢測(cè)，然后按照原先的順序進(jìn)行拼合，最終給出飛機(jī)目標(biāo)檢測(cè)的最終結(jié)果。

6.3 實(shí)驗(yàn)結(jié)果與性能評(píng)估

在綜合實(shí)驗(yàn)中，借助LS-RSIASNN網(wǎng)絡(luò)對(duì)停機(jī)坪和跑道區(qū)域進(jìn)行分割提取，不同算法進(jìn)行飛機(jī)目標(biāo)檢測(cè)的實(shí)驗(yàn)結(jié)果如圖15所示。從飛機(jī)目標(biāo)檢測(cè)結(jié)果的對(duì)比中可以得知，停機(jī)坪與跑道區(qū)域的精確分割可以大幅減少背景區(qū)域帶來的虛警干擾。從圖15(c)、(e)、(g)三幅圖像可知，R-CNN、Faster R-CNN及YOLO算法在停機(jī)坪與跑道區(qū)域之外都檢測(cè)到了大量的虛警目標(biāo)。與之相比，圖15 (d)、(f)、(h)三幅圖像只對(duì)停機(jī)坪與跑道區(qū)域內(nèi)的飛機(jī)目標(biāo)進(jìn)行檢測(cè)，因而大幅減低了虛警發(fā)生的概率。

為了對(duì)檢測(cè)結(jié)果進(jìn)行定量分析，對(duì)R-CNN、FasterR-CNN及YOLO算法的精確率、漏檢率及時(shí)間開銷進(jìn)行了對(duì)比，其中精確率P、漏檢率M表達(dá)式為

(10)

(11)

式中：Nreal為預(yù)測(cè)正確的飛機(jī)目標(biāo)數(shù)量；Nfalse為虛警目標(biāo)數(shù)量；Nmiss為未檢測(cè)到的飛機(jī)目標(biāo)數(shù)量；Ntotal為飛機(jī)目標(biāo)的總數(shù)。精確率P反映了所有檢測(cè)目標(biāo)中真實(shí)飛機(jī)目標(biāo)正確檢測(cè)數(shù)所占的比例，而漏檢率M反映了真實(shí)飛機(jī)目標(biāo)的漏檢數(shù)量占真實(shí)飛機(jī)目標(biāo)總數(shù)的比例，實(shí)驗(yàn)結(jié)果如表4所示。

從表4中可以看到，停機(jī)坪和跑道區(qū)域的精確提取減少了無關(guān)區(qū)域虛警目標(biāo)的干擾，3種飛機(jī)目標(biāo)檢測(cè)算法的精確率均得到了明顯提升。在漏檢率上，F(xiàn)aster R-CNN相比YOLO和R-CNN算法具有一定優(yōu)勢(shì)，其主要原因在于：Faster R-CNN算法中，在特征圖的每個(gè)像素點(diǎn)上會(huì)生成9種不同大小和寬高比的預(yù)測(cè)框?qū)赡艹霈F(xiàn)的飛機(jī)目標(biāo)線索區(qū)域進(jìn)行判定。與之相比，YOLO算法在每個(gè)單元格區(qū)域內(nèi)只生成2個(gè)候選的預(yù)測(cè)框，而R-CNN算法利用選擇性搜索判斷目標(biāo)可能出現(xiàn)的潛在區(qū)域，因此Faster R-CNN算法的RPN網(wǎng)絡(luò)在飛機(jī)目標(biāo)線索的數(shù)量上具有一定優(yōu)勢(shì)，可以減少飛機(jī)目標(biāo)漏檢情況的發(fā)生。然而，過多的目標(biāo)線索也會(huì)增加檢測(cè)時(shí)間的開銷。通過3種算法的對(duì)比可以看到，YOLO算法的檢測(cè)效率相比Faster R-CNN及R-CNN算法有明顯優(yōu)勢(shì)，同時(shí)在精確率和漏檢率上也能保持在滿意的水平。搜尋與檢測(cè)相集成的級(jí)聯(lián)組合式飛機(jī)目標(biāo)檢測(cè)方案的有效性得到了充分驗(yàn)證。

為了增強(qiáng)YOLO算法在漏檢率上的性能表現(xiàn)，一方面可以縮小單元格區(qū)域的面積，提高算法對(duì)小尺度飛機(jī)目標(biāo)的檢測(cè)效果，另一方面也可以增加每個(gè)單元格區(qū)域候選預(yù)測(cè)框的數(shù)量，從而減少飛機(jī)目標(biāo)漏檢情況的發(fā)生。

6.4 述評(píng)與注解

候選檢測(cè)區(qū)域的精準(zhǔn)分割及高效的目標(biāo)檢測(cè)算法是實(shí)現(xiàn)大幅面遙感圖像飛機(jī)目標(biāo)實(shí)時(shí)檢測(cè)的必要環(huán)節(jié)。借助DNN網(wǎng)絡(luò)對(duì)復(fù)雜外型的停機(jī)坪和跑道區(qū)域?qū)嵤┚珳?zhǔn)分割，GPU單元提供的運(yùn)算加速，使得DNN網(wǎng)絡(luò)在分割速度上能夠保持明顯優(yōu)勢(shì)。YOLO算法將目標(biāo)定位和目標(biāo)類型判別合并為一個(gè)回歸問題進(jìn)行求解，相比R-CNN及Faster R-CNN算法具有更強(qiáng)的時(shí)效性，同時(shí)在檢測(cè)精度上也能保持在滿意的水平。因此，本文提出的搜尋與檢測(cè)相集成的級(jí)聯(lián)式飛機(jī)目標(biāo)高效檢測(cè)算法在大幅面遙感圖像的飛機(jī)目標(biāo)檢測(cè)中具有較強(qiáng)的綜合優(yōu)勢(shì)。

7 結(jié) 論

本文提出了一種新穎的搜尋與檢測(cè)相集成的級(jí)聯(lián)式飛機(jī)目標(biāo)高效檢測(cè)算法，以實(shí)現(xiàn)大幅面遙感圖像中飛機(jī)目標(biāo)的高效精準(zhǔn)檢測(cè)與定位。算法將候選檢測(cè)區(qū)域的高精度分割及面向候選區(qū)域的目標(biāo)高效檢測(cè)級(jí)聯(lián)為統(tǒng)一的整體，通過高性能的DNN網(wǎng)絡(luò)的相互協(xié)作，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)與增強(qiáng)。級(jí)聯(lián)組合式目標(biāo)檢測(cè)算法在檢測(cè)的時(shí)效性上具有較為明顯的優(yōu)勢(shì)，同時(shí)在檢測(cè)精度上也能達(dá)到較高水平，能夠?yàn)榇蠓孢b感圖像飛機(jī)目標(biāo)的高效檢測(cè)與定位提供有效幫助。在后續(xù)的工作中，計(jì)劃將基于深度學(xué)習(xí)的視覺注意力機(jī)制引入到算法中，從而實(shí)現(xiàn)更大幅面遙感圖像停機(jī)坪與跑道區(qū)域的快速定位與分割，使算法的實(shí)用性得到進(jìn)一步的提高。