DS-YOLO網(wǎng)絡(luò)在遙感圖像中的飛機檢測算法研究

吳 杰，段 錦，赫立群，李英超，朱文濤

1.長春理工大學 電子信息工程學院，長春130022

2.長春理工大學 空間光電技術(shù)研究所 基礎(chǔ)技術(shù)實驗室，長春130022

隨著遙感技術(shù)與通信的發(fā)展，遙感圖像中所反應(yīng)的信息也越來越豐富，飛機在民用和軍事上都有著不可代替的作用，因此遙感圖像中飛機目標的檢測有著重要的價值。針對遙感飛機圖像存在的目標較小、背景復雜、曝光度高等問題，傳統(tǒng)的檢測方法例如尺度不變特征[1]、方向梯度直方圖[2]和DPM[3]存在較差的魯棒性。近幾年，深度學習在目標檢測領(lǐng)域有著非常好的效果，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的目標檢測算法可以分為兩類：第一類是基于區(qū)域的目標檢測方法，主要有Faster RCNN[4]、Mask RCNN[5]等、這類方法優(yōu)勢在擁有較高的檢測精度，但是檢測速度慢。第二類是基于回歸的目標檢測方法，如SSD[6-7]，YOLO[8]等，YOLO檢測自今已經(jīng)發(fā)展了三代，并衍生出很多針對特定場景的網(wǎng)絡(luò)，YOLO 首先使用回歸的思想進行圖像目標分類，檢測速度達到45幀/s，缺點是對小目標的定位檢測度不高；YOLOv2 優(yōu)化了YOLO的模型結(jié)構(gòu)，提升了檢測速度但是由于基礎(chǔ)結(jié)構(gòu)簡單，沒有對檢測精度提升[9]；YOLOv3利用深度殘差網(wǎng)絡(luò)提取圖像特征，由于用于特征提取的最小特征圖偏大，造成檢測速度降低和對中等或較大尺寸物體檢測效果不佳；YOLOv3-tiny 版本將原網(wǎng)絡(luò)進行壓縮，沒有使用殘差層，只使用了兩個不同尺度的YOLO 輸出層，提升了檢測速度和對小目標檢測精度，由于遙感圖像目標飛機多為相對尺寸小于0.1 的小目標，且檢測速度要求較高，適合作為本此檢測的基礎(chǔ)網(wǎng)絡(luò)[10]，它采用的是端到端的目標檢測，在保證準確度的同時，大大提高了檢測速度。

本文使用的網(wǎng)絡(luò)是在YOLOv3-tiny[11]的基礎(chǔ)上進行的改進，針對遙感飛機圖像數(shù)據(jù)集，設(shè)計了一種帶有深度可分離卷積[12]的33 層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)DS-YOLO，對層級結(jié)構(gòu)的參數(shù)進行調(diào)整，并增加一個尺度的邊界框預測，解決了YOLOv3-tiny 召回率低的問題，提高了對飛機目標的檢測準確度，同時深度可分離卷積替代了傳統(tǒng)的卷積，減少了模型的權(quán)重參數(shù)，加速模型的收斂，提高了檢測的實時性。最后，通過分組卷積[13]和通道特征變換加強特征圖聯(lián)系，提高了損失精度。實驗在遙感數(shù)據(jù)集上進行，結(jié)果表明本網(wǎng)絡(luò)在對小目標、高曝光和復雜背景的檢測從精確度和召回率上分析都高于之前的網(wǎng)絡(luò)。

1 YOLOv3-tiny網(wǎng)絡(luò)檢測原理

YOLOv3-tiny 是YOLOv3[14]的簡化版本，主干網(wǎng)絡(luò)采用一個7層卷積網(wǎng)絡(luò)對輸入圖像進行特征提取，網(wǎng)絡(luò)在分辨率為13×13 和26×26 的特征圖上進行多尺度預測。YOLOv3-tiny的優(yōu)點主要是網(wǎng)絡(luò)結(jié)構(gòu)簡單，可以在嵌入式平臺運行，缺點為分類精度比較低。

YOLOv3-tiny網(wǎng)絡(luò)在接收輸入圖像后，首先會把圖像調(diào)整為416×416大小的圖像，然后把整個圖像劃分成S×S個網(wǎng)絡(luò)。如圖1所示，每個網(wǎng)絡(luò)負責對落在其中心位置的目標進行檢測，最終輸出B個邊界框（圖中為3個）和C個置信度（屬于某種類別的概率）[15]。以圖1中白色矩形框為例，每個選框用(x,y)表示選框中心相對于單元格的坐標，w和h分別代表選框的真實寬度和高度，IOU 表示真實標注框與算法檢測框的交并比，如公式（1）所示，檢測框精準度與IOU大小成正比。

圖1 DS-YOLO在7×7的網(wǎng)格中預測的邊界框

式中，Bop為預測框與標注框的交集，Bgt表示預測框與標注框的并集。YOLOv3-tiny 的損失函數(shù)由3 部分組成，分別為坐標預測、置信度計算和目標分類。第一部分使用坐標x和y的誤差平方和來預測邊界框的中心坐標，如公式（2）所示：

第三部分關(guān)于置信度和邊界框做一個最終類別預測，用判斷是否有飛機目標中心落在網(wǎng)格中，以IOU和置信度為檢測標準，為通過非極大值抑制從預測的邊界框中選出合適的預測框。

2 基于YOLOv3-tiny的網(wǎng)絡(luò)結(jié)構(gòu)改進

為提高遙感數(shù)據(jù)集中飛機目標的檢測速度和精度，本實驗分別從網(wǎng)絡(luò)結(jié)構(gòu)中的卷積種類、卷積方式以及尺度檢測上做了三點改進。

2.1 基于深度可分離卷積的網(wǎng)絡(luò)結(jié)構(gòu)改進

針對遙感數(shù)據(jù)集中的單目標檢測可以適當減少網(wǎng)絡(luò)計算量，但是由于傳統(tǒng)卷積核過大，即便YOLOv3-tiny只有7層經(jīng)過上萬次迭代后還是會產(chǎn)生龐大的計算量。參考Mobilenet[6]中殘差網(wǎng)絡(luò)瓶頸結(jié)構(gòu)，本文改進點之一是用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，摒棄傳統(tǒng)卷積同時考慮通道和空間區(qū)域的思想，而是實現(xiàn)了通道與空間區(qū)域的分離，深度可分離結(jié)構(gòu)示意圖如圖2所示。

圖2 深度可分離卷積結(jié)構(gòu)圖

從圖2 中可以看出深度可分離卷積的特征提取過程：假設(shè)輸入特征圖大小為B×B×M，輸出特征圖大小為B×B×N，卷積核大小為D×D，則傳統(tǒng)卷積計算量為C=B×B×M×N×D×D，深度可分離卷積計算的參數(shù)量為D=B×B×M+M×N×D×D，深度可分離卷積和傳統(tǒng)卷積的參數(shù)量之比為：

深度可分離起到的作用相當于對一幅圖像的空間信息和深度信息進行去耦，將每個通道分別用一個3×3卷積來對空間區(qū)域進行特征提取，再用1×1標準卷積將所提取的特征圖從不同圖像通道上進行融合。

本文引入深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，減少訓練權(quán)重參數(shù)，達到模型的輕量化，降低了算法的浮點數(shù)運算以提升檢測速度，并在此基礎(chǔ)上對分組卷積進行通道混洗，加強通道之間的聯(lián)系，防止過擬合。改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。改進后的網(wǎng)絡(luò)為適應(yīng)單一目標的遙感飛機檢測，將輸入分辨率從原來的416×416增加到448×448以增大檢測的感受野，通過33組1×1的點卷積和3×3的空間卷積后用分類器進行進檢測分類。

如圖3 所示，以第一個卷積塊為例，輸入圖像尺寸為224×224×32，輸出為224×224×64，傳統(tǒng)卷積計算量為：3×3×32×64×224×224=924 844 032，深度可分離分組卷積中（D=3）的參數(shù)計算量為：1×1×1×32×224×224+32×64×224×224=104 366 080。通過計算可知，加入深度可分離卷積可以有效地降低運算量和模型大小。

2.2 結(jié)合分組卷積和通道變換的圖像特征提取

1×1點卷積的引用可以減少參數(shù)計算量，然而大量的1×1 卷積會充斥有限的通道，減少損失精度，因此本文引入了分組卷積和通道特征變換來解決這個問題，在每個輸入通道上分別進行卷積的操作，組卷積的形式可以明顯的減少損失精度。分組卷積如圖4所示。

設(shè)分組大小為gn，給定輸入大小為：m×m×h1，卷積核為：k×k，輸出特征圖的大小為：r×r×h2，普通卷積的參數(shù)計算量為：k×k×h1×r×r×h2，分組卷積的參數(shù)計算量為：k×k×h1/gn×r×r×h2/gn)×gn，可以看出加入分組卷積后的參數(shù)計算量是普通卷積的gn倍。

通過確保每個卷積操作僅在對應(yīng)的輸入通道組上，組卷積可以顯著的降低計算損失。其中分組數(shù)gn與實驗設(shè)備性能和遙感圖像波段數(shù)有關(guān)，針對本此實驗條件和數(shù)據(jù)集對gn大小設(shè)置幾組實驗，比較不同下模型的錯誤率，實驗結(jié)果見表1。

圖3 DS-YOLO網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 分組卷積原理圖

表1 不同分組數(shù)下改進前后模型檢測的錯誤率 %

由表1可知起初隨著分組數(shù)gn的增加，模型檢測的錯誤率降低，但是當組數(shù)大到一定程度，每個卷積濾波器的輸入通道數(shù)越來越少，損害模型性能使得錯誤率提高，所以分組數(shù)選擇gn=3。

如果多個組卷積堆疊在一起，會有一個副作用：某個通道輸出僅從對應(yīng)分組輸入通道中導出，這樣輸入輸出通道會是全關(guān)聯(lián)的，分組卷積這樣的屬性降低了通道組之間的信息流通，降低了信息表示能力。

因此本文實驗通過通道特征變換來重組分組之間的特征，通道特征變換如圖5所示。

圖5 通道混洗步驟圖

本文遙感圖像數(shù)據(jù)集通過圖像增強和輻射變換處理為三通道的圖像作為輸入，現(xiàn)將每組通道3等分并構(gòu)成3×3 的矩陣，通過“reshape”函數(shù)進行矩陣轉(zhuǎn)置操作，將卷積分組特征轉(zhuǎn)換位置后再平坦化，分回給各個組卷積作為下一層的輸出，增強了g1、g2和g3不同分組通道之間的信息流通和表示能力。

2.3 結(jié)合先驗框和結(jié)構(gòu)尺度的參數(shù)調(diào)整

本文所設(shè)計的遙感飛機目標檢測算法將使用多尺度融合檢測這一優(yōu)秀的思想[16]，結(jié)合K-means 維度聚類算法[17]和距離公式（6）對目標檢測數(shù)據(jù)集完成聚類分析：

式（6）中controid表示簇的中心，box表示樣本，IOU(box,centroid)表示中心框和聚類框的交并比。最終得到的聚類結(jié)果圖如圖6 所示，其中橫坐標K為先驗框的個數(shù)，縱坐標為平均交并比。

圖6 聚類分析與檢測率的關(guān)系

預測框的個數(shù)越多檢測速度越慢，由圖6 可以看出，當橫坐標K的個數(shù)也就是先驗框的個數(shù)大于6 后，縱坐標平均交并比Average IOU 的提升幅度就沒那么明顯了。所以本文選擇的先驗框的個數(shù)為6，這樣可以在保證檢測精度的情況下又使算法具有較快的檢測速度。當K=6 時，通過聚類算法所得到先驗框的大小分別為（13，20）、（21，32）、（27，49）、（31，54）、（34，65）、（47，90）。

針對單一小目標的遙感飛機數(shù)據(jù)集，本文在YOLOv3-tiny 網(wǎng)絡(luò)的2 個尺度的基礎(chǔ)上擴展為3 個尺度，融合更多底層特征語義信息，實現(xiàn)更加準確的識別和定位。

由圖7中可以看到，改進的多尺度融合網(wǎng)絡(luò)分別選擇7×7、14×14、28×28共3個分辨率進行預測，每個分辨率分配2 個候選框，圖7 中n×代表小尺度進行n倍上采樣操作。分辨率7×7 為尺度1，分辨率14×14 為尺度2，它不僅擁有自身的特征信息，還會融合尺度1的特征圖經(jīng)過2 倍上采樣后的信息。同理，增加的尺度3 包含的是28×28特征圖與尺度1和尺度2上采樣融合后的特征信息，可以獲得更多的特征信息，對復雜的背景、較小的目標有了更加細致的學習。

圖7 DS-YOLO多尺度融合預測結(jié)構(gòu)圖

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與實驗環(huán)境

基于深度學習技術(shù)的目標檢測算法中，數(shù)據(jù)集的質(zhì)量將直接決定訓練好的模型的性能上限。本文選用西北工業(yè)大學的NWPU VHR-10數(shù)據(jù)集，由于不同衛(wèi)星拍攝出的遙感圖像質(zhì)量不同、飛機的角度不同、高度不同等因素，數(shù)據(jù)集中包括目標清晰、復雜背景、云霧遮擋、過度曝光、個別目標小等不同情況下的遙感飛機圖像。為了減少過擬合，改進模型的泛化性能，使用目標飛機和遙感圖像實例分割標的方法進行數(shù)據(jù)增廣，飛機目標數(shù)據(jù)集個別實例如圖8所示。用開源標注工具LabelImg對遙感圖像進行標注，使用此軟件可以將數(shù)據(jù)集中的圖像標注為.xml和.txt兩種文件。標注后的文件中會保存圖像中每個目標的類別、大小和位置等信息。

圖8 遙感圖像中低質(zhì)量飛機數(shù)據(jù)集實例

實驗硬件配置為Intel Core i7-6700 CPU 處理器，GeForce GTX 1060 顯卡的服務(wù)器，主要用來訓練網(wǎng)絡(luò)模型。

軟件環(huán)境：操作系統(tǒng)為64位Ubuntu18.04；深度學習框架：Darknet；可視化軟件：OpenCV。

本次實驗訓練迭代次數(shù)為100 000 次，學習率設(shè)為0.001，在訓練過程圖中每4 000次迭代保存一次此時的網(wǎng)絡(luò)模型。為了證明本章所設(shè)計的算法可以完成對目標數(shù)據(jù)集的學習，利用matlabplot 庫將訓練中的Loss、IOU數(shù)據(jù)可視化，最終得到如圖9所示的訓練過程中二者的變化曲線。

圖9 DS-YOLO算法訓練中Loss與IOU變化圖

從圖9可以看出，網(wǎng)絡(luò)在訓練過程中損失函數(shù)隨著迭代次數(shù)的增加而逐漸收斂，模型的精準度準建提高，從而說明DS-YOLO目標檢測網(wǎng)絡(luò)可以學習到遙感數(shù)據(jù)集中的飛機細節(jié)內(nèi)容。使用其他的深度學習算法Faster RCNN、SSD、RetinaNet等8種流行算法分別在本實驗的遙感數(shù)據(jù)集進行訓練，并用測試集進行檢測分析，得到圖10 算法間的mAP 和FPS 的對比圖。實驗表明，本文改進算法DS-YOLO 對遙感飛機圖像檢測精度以及速度上都明顯優(yōu)于其他算法。選擇圖10 中mAP 最高的RetinaNet 算法和速度最快的YOLOv3-tiny 算法作為本實驗的對比算法，接下來要對訓練過程中產(chǎn)生的多個權(quán)重進行選擇。

圖10 不同算法與本文算法的實驗結(jié)果對比圖

3.2 最優(yōu)算法模型的選擇

在NVIDIA 1060 顯卡上對相同遙感飛機數(shù)據(jù)集進行訓練。本文對訓練所得到的21 個算法模型（在訓練中每個4 000 次迭代保存一次模型），采用mAP（mean Average Precision）來進行目標檢測精度描述。為了計算mAP，首先要計算精確率（Precision）與召回率（Recall）兩個指標。精確率P如公式（7）所示是指檢測結(jié)果中檢測正確的目標個數(shù)所占的比例。

召回率R是指正確的檢測結(jié)果個數(shù)在待檢測目標總數(shù)中所占的比例，計算公式（8）：

其中，TP表示檢測正確的飛機數(shù)，F(xiàn)p表示未被檢測出的飛機數(shù)，F(xiàn)N表示檢測錯誤的個數(shù)（例如把乘客通道等機場設(shè)施誤檢為飛機），對目標檢測任務(wù)中的所有類別的AP 值進行計算后，取得平均值即為算法的mAP，目標檢測算法的檢測精度隨著mAP變大而增高。

在YOLOv3-tiny、RetinaNet 和DS-YOLO 這3 個算法中AP 最高的模型即認為它們是對應(yīng)算法的最優(yōu)模型，在訓練集上對3 個算法進行訓練，最終得到的迭代次數(shù)與AP值的變化關(guān)系曲線圖如圖11所示。

圖11 迭代次數(shù)與AP值的變化關(guān)系曲線圖

從圖11 中可以看出，在65 000 次迭代時YOLOv3-tiny 算法的AP 值達到峰值，在69 000 次迭代時得到的RetinaNet 算法模型的AP 值最高，在61 000 次迭代時得到的DS-YOLO 算法模型的AP 值最高，此時得到的訓練好的模型被認為是各自算法最優(yōu)網(wǎng)絡(luò)模型。下文，對算法檢測指標的對比都使用這3個算法的最優(yōu)模型。

3.3 檢測結(jié)果與分析

本節(jié)用YOLOv3-tiny算法、RetinaNet算法和本文的DS-YOLO算法對500張測試圖片進行測試，如圖12，主要列舉了在4組不同質(zhì)量的遙感圖像（云霧、高曝光、復雜背景、小目標）下的飛機檢測圖。

圖12 YOLOv3-tiny、RetinaNet與DS-YOLO

在數(shù)據(jù)集上的檢測結(jié)果圖（漏檢、誤檢飛機已經(jīng)標注）

從實驗結(jié)果可以得出YOLOv3-tiny、RetinaNet 和DS-YOLO 算法在不同低質(zhì)量圖像種類下檢測指標，如表2～4 所示（表中加黑字體為每列（除清晰圖像）最優(yōu)值）。

表2 YOLOv3-tiny算法在低質(zhì)量遙感圖像下檢測指標 %

表3 RetinaNet算法在低質(zhì)量遙感圖像下檢測指標%

表4 DS-YOLO算法在低質(zhì)量遙感圖像下檢測指標%

從表2～4 中可以看出，改進后的DS-YOLO 算法在各個低質(zhì)量遙感圖像上的識別指標都有不同幅度的提升，在檢測準確度上，對于高曝光的遙感飛機數(shù)據(jù)集YOLOv3-tiny、RetinaNet 和DS-YOLO 算法都能成功檢測到飛機，但是檢測精度明顯后者較高，對于云霧遮擋的遙感數(shù)據(jù)集，檢測準確率上DS-YOLO 比YOLOv3-tiny高12.9%，在召回率上相差僅2.6%，說明此情況飛機都村子嚴重的漏檢問題；對于目標較小的遙感數(shù)據(jù)集，DS-YOLO 比YOLOv3-tiny 算法均高出10 個以上百分點，說明改進的基于3個預測框的網(wǎng)絡(luò)對小目標的檢測能力更強；在復雜背景下的識別指標提升不大，說明DS-YOLO算法在復雜背景下依然有改進空間。三者都出現(xiàn)誤檢的情況，云霧遮擋情況下對三者的mAP 和召回率影響最大，而高度曝光環(huán)境對三者的檢測結(jié)果影響最小。

各種算法在測試集上的整體檢測指標如表5 所示。從表5 可以看出，本文算法DS-YOLO 的檢測速度相比YOLOv3-tiny算法，從每秒26幀提升到每秒29幀，說明深度可分離卷積的引用減少了模型參數(shù)，提高模型運行速度。在檢測準確度上，對于高曝光的遙感飛機數(shù)據(jù)集RetinaNet 算法和本文的DS-YOLO 算法都能成功檢測到飛機，但是檢測精度明顯后者較高，對于其他低質(zhì)量的數(shù)據(jù)集，YOLOv3-tiny和RetinaNet算法明顯存在漏檢的情況，測試集的500張圖片共有3 723架飛機，使用這3種網(wǎng)絡(luò)分別在測試集上測試，分別計算準確率和召回率，得出YOLOv3-tiny網(wǎng)絡(luò)誤檢架數(shù)為276架，準確率為92.6%，漏檢架數(shù)為577架，召回率為84.5%；RetinaNe網(wǎng)絡(luò)誤檢架數(shù)為124 架，準確率為96.7%，漏檢架數(shù)為577 架，召回率為95.6%；DS_YOLO 網(wǎng)絡(luò)誤檢架數(shù)為78架，準確率為97.9%，漏檢架數(shù)為63架，召回率為98.3%。從表中可以看出，相比于改進前的YOLOv3-tiny 算法，DS-YOLO在測試集上mAP提升了5.3%，召回率提升了13.8%。相比于RetinaNet 算法，DS-YOLO 在測試集上mAP提升了1.2%，召回率提升了2.7%。

表5 YOLOv3-tiny、RetinaNet和DS-YOLO的檢測指標

4 結(jié)論

本文目的是基于YOLOv3-tiny 深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計一種檢測遙感圖像中飛機目標的網(wǎng)絡(luò)DS-YOLO。首先對本文實驗的數(shù)據(jù)集進行聚類分析，選出合適的候選框，并分配給不同尺度進行融合預測；其次結(jié)合分組卷積與深度可分離卷積，改進網(wǎng)絡(luò)的特征提取方式，減少網(wǎng)絡(luò)訓練時間和模型大?。蛔詈笸ㄟ^對YOLOv3-tiny、RetinaNet和DS-YOLO這3種網(wǎng)絡(luò)在遙感飛機數(shù)據(jù)集上進行訓練和測試，經(jīng)過分析表DS-YOLO 網(wǎng)絡(luò)在低質(zhì)量數(shù)據(jù)集上的mAP 和召回率都優(yōu)于其他網(wǎng)絡(luò)，并可以達到實時性。