改進錨點框與融合多尺度特征的光學(xué)遙感目標(biāo)檢測

王志欣 ，萬紹俊 ，馬曉瑩*

(1．國家無線電監(jiān)測中心，北京 100037；2．深圳大學(xué) 電子與信息工程學(xué)院，廣東 深圳 518000)

0 引言

遙感技術(shù)是人類探索地球的有效手段之一。近年來，隨著各國發(fā)射光學(xué)遙感衛(wèi)星的數(shù)量逐年增長[1]，光學(xué)遙感圖像來源愈發(fā)豐富。同時，隨著以深度卷積神經(jīng)網(wǎng)絡(luò)[2]為代表的深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測算法發(fā)展迅速。

Chen等人[3]通過改進HDCNN網(wǎng)絡(luò)，實現(xiàn)了光學(xué)遙感圖像中的汽車目標(biāo)檢測;Feng等人[4]通過在R-CNN中引入運動信息實現(xiàn)了小目標(biāo)的有效檢測；Yao等人[5]首次將Faster R-CNN算法應(yīng)用于遙感圖像檢測，相較于傳統(tǒng)遙感檢測算法其檢測精度有明顯提升；Li等人[6]針對遙感圖像中目標(biāo)方向變化問題，在Faster R-CNN的RPN模塊中加入多角度錨點框，有效地解決了遙感圖像中目標(biāo)方向多變的問題；Wang等人[7]通過優(yōu)化RPN模塊并應(yīng)用于檢測機場、操場等基礎(chǔ)設(shè)施，得到了較好結(jié)果；Li等人[8]在Faster R-CNN基礎(chǔ)上加入類型先驗網(wǎng)絡(luò)(CPN)，實現(xiàn)了自適應(yīng)的目標(biāo)檢測；Cheng等人[9]提出的RICNN網(wǎng)絡(luò)基于旋轉(zhuǎn)不變層實現(xiàn)，也在一定程度上解決了遙感圖像中目標(biāo)方向多變的問題；Liu等人[10]構(gòu)建的基于旋轉(zhuǎn)區(qū)域的RR-CNN網(wǎng)絡(luò)，提出了基于旋轉(zhuǎn)邊界框的旋轉(zhuǎn)感興趣區(qū)域池化層，并添加了多任務(wù)損失以學(xué)習(xí)每個候選區(qū)域的非極大值抑制分數(shù)；Wang等人[11]和Cui等人[12]在FCN算法上進行了改進，分別在艦船和油罐檢測上取得了良好效果；Yang等人[13]通過構(gòu)建稠密特征金字塔，利用稠密連接自上而下地生成信息豐富的融合特征，以提升艦船目標(biāo)檢測精度；Guan等人[14]提出了膠囊特征金字塔，提高了道路網(wǎng)絡(luò)的檢測精度。綜合來看，目前基于深度學(xué)習(xí)的光學(xué)遙感圖像檢測算法盡管取得了一定效果，但光學(xué)遙感圖像存在目標(biāo)尺度變化大、小目標(biāo)眾多、目標(biāo)排布密集和目標(biāo)方向任意等檢測難點，基于深度學(xué)習(xí)的光學(xué)遙感圖像檢測仍然存在很大的改進空間。

為實現(xiàn)光學(xué)遙感圖像目標(biāo)的精確檢測，本文針對光學(xué)遙感圖像目標(biāo)尺度變化大、小目標(biāo)眾多的檢測難點，提出了一種基于錨點框改進與多尺度特征融合的光學(xué)遙感圖像檢測方法。算法以YOLOv4[15]為基礎(chǔ)架構(gòu)，選取CSPDarknet53作為主干網(wǎng)絡(luò)。首先采用K-Means++聚類算法對數(shù)據(jù)集目標(biāo)樣本聚類，以得出更加貼合目標(biāo)樣本實際尺度的預(yù)設(shè)錨點框，相較于原始預(yù)設(shè)的錨點框，改進的錨點框充分利用了數(shù)據(jù)集中的先驗信息。然后，在原網(wǎng)絡(luò)的Feature Pyramid Network + Path Aggregation Network (FPN+PAN) 特征融合結(jié)構(gòu)基礎(chǔ)上增加了一條特征融合線路，獲得更大尺度、更高分辨率的融合特征層，有針對性地提升了檢測算法對于小目標(biāo)物體的敏感程度。最后，在網(wǎng)絡(luò)頸部構(gòu)建了多空間金字塔池化結(jié)構(gòu)以擴充網(wǎng)絡(luò)感受野，增加主干特征接收范圍，實現(xiàn)不同尺度的特征融合，以應(yīng)對遙感圖像目標(biāo)尺度變化范圍大的檢測難點。

1 錨點框改進設(shè)計

與YOLOv4采用K-Means聚類算法獲取先驗錨點框不同，本文算法采用K-Means++聚類算法獲取先驗錨點框。K-Means算法收斂速度快，且易于實現(xiàn)，但聚類效果受K值選取影響較大。K-Means++算法針對這一問題，優(yōu)化了聚類中心選取步驟。

為了獲得與目標(biāo)邊界框相似程度高的先驗錨點框，本文算法使用基于目標(biāo)框與預(yù)測框交并比的距離公式，通過K-means++算法聚類出更加符合光學(xué)遙感圖像數(shù)據(jù)集特點的先驗錨點框?；谀繕?biāo)框與預(yù)測框交并比的距離為：

(1)

Dist(box,centroid)=1-IoU(box,centroid)，

(2)

式中，IoU(box,centroid)為目標(biāo)框與聚類中心框的交并比，交并比越大則距離越小。

2 多尺度特征融合網(wǎng)絡(luò)設(shè)計

設(shè)計特征融合模塊時，在FPN結(jié)構(gòu)基礎(chǔ)之上使用了調(diào)整的PAN結(jié)構(gòu)對特征進行加強。FPN+PAN結(jié)構(gòu)示意如圖1所示。

圖1 FPN+PAN結(jié)構(gòu)示意Fig.1 Schematic diagram of FPN+PAN structure

在FPN層之后增加了一個Bottom-Up金字塔結(jié)構(gòu)，在該結(jié)構(gòu)中包含3個PAN結(jié)構(gòu)。當(dāng)輸入圖像尺寸為608 pixel×608 pixel，經(jīng)過FPN層能得到152 pixel×152 pixel，76 pixel×76 pixel，38 pixel×38 pixel，19 pixel×19 pixel四種不同尺度的融合特征。需要注意的是，使用的PAN結(jié)構(gòu)是對原始特征直接相加進行連接(Concat)操作。此外，并不直接使用FPN層輸出的特征圖進行預(yù)測，而是只將152 pixel×152 pixel尺度的特征作為預(yù)測特征，并通過其余3個PAN結(jié)構(gòu)輸出另外3種尺度預(yù)測特征。

經(jīng)過FPN+PAN結(jié)構(gòu)產(chǎn)生的4種尺度預(yù)測特征同時具備了低層特征位置信息豐富與高層特征語義信息豐富的優(yōu)點。新增的152 pixel×152 pixel預(yù)測特征更加有利于小尺度目標(biāo)檢測，也能更好地解決遙感圖像小尺度目標(biāo)數(shù)量多的檢測難點。

設(shè)計特征融合模塊時，還添加了Spatial Pyramid Pooling(SPP)模塊并將其設(shè)置在主干網(wǎng)絡(luò)之后，具體做法是將輸入特征分別通過池化核大小為1 pixel×1 pixel，5 pixel×5 pixel，9 pixel×9 pixel，13 pixel×13 pixel的最大池化層進行下采樣，再將這些經(jīng)過池化，具有相同維度的特征矩陣沿深度方向拼接。池化層步長設(shè)置為1，填充方式和輸出特征圖尺寸計算如下：

padding=(k-1)/2，

(3)

(4)

式中，k為池化核尺寸；n為輸入特征尺寸；p為填充大??；s為步長大小。

SPP模塊結(jié)構(gòu)如圖 2所示，假設(shè)輸入特征圖深度為512，經(jīng)過最大池化并進行特征拼接后，輸出特征圖深度為原來的4倍,即2 048。在原YOLOv4算法中，只在第一個預(yù)測特征層之前添加了SPP模塊，本文算法分別在4個預(yù)測特征層之前都添加了SPP模塊。

圖2 SPP模塊結(jié)構(gòu)示意Fig.2 Schematic diagram of SSP module structure

SPP模塊主要起到擴充感受野、增加主干特征接收范圍及實現(xiàn)不同尺度的特征融合作用。

3 實驗步驟

本文算法采用Mosaic數(shù)據(jù)增強方式[15]。損失函數(shù)分為預(yù)測框回歸損失、置信度損失和分類損失三部分，其中置信度損失和分類損失部分與YOLOv3相同，而對于預(yù)測框回歸損失則采用Complete IoU Loss (CIoU Loss)[15]，CIoU Loss作為IoU Loss的改進版，其性能要優(yōu)于MSE Loss、GIoU Loss等多項損失函數(shù)。

本文選取武漢大學(xué)發(fā)表的DOTA遙感數(shù)據(jù)集[16]，將該數(shù)據(jù)集的1/2劃分為訓(xùn)練集，1/6劃分為驗證集，1/3劃分為測試集。由于檢測模型輸入圖像尺寸是固定的，而原始圖像尺寸大小不一，在網(wǎng)絡(luò)訓(xùn)練前，原始圖像按照200 pixel重疊的方式分割為多個子圖像，子圖像尺寸調(diào)整為608 pixel×608 pixel。輸入圖像尺寸統(tǒng)一為608 pixel×608 pixel，網(wǎng)絡(luò)使用SGDM梯度優(yōu)化算法，動量設(shè)置為0.9，衰減系數(shù)設(shè)置為0.000 1，初始學(xué)習(xí)率設(shè)置為5×10-4，每經(jīng)過50次迭代學(xué)習(xí)率降為原來的1/10，訓(xùn)練遍歷數(shù)為300。

本文算法總共設(shè)置3組實驗，分別驗證錨點框優(yōu)化策略的有效性、網(wǎng)絡(luò)結(jié)構(gòu)改進策略的有效性，同時將改進算法與主流檢測算法做性能對比。

(1) 對比了采用原始錨點框的YOLOv4算法與采用經(jīng)K-means++聚類優(yōu)化錨點框的YOLOv4算法在DOTA數(shù)據(jù)集上的表現(xiàn)，除錨點框設(shè)置不同，其余設(shè)置包括輸入圖像尺寸、訓(xùn)練超參數(shù)和數(shù)據(jù)增強方式等完全相同。

(2) 以包含三尺度預(yù)測特征結(jié)構(gòu)及單SPP模塊的YOLOv4+為基準，分別構(gòu)建YOLOv4-4模型、YOLOv4-SPP3模型和YOLOv4-4-SPP4模型。三尺度特征層的尺度分別為19 pixel×19 pixel，38 pixel×38 pixel，76 pixel×76 pixel，四尺度特征層的尺度分別為19 pixel×19 pixel，38 pixel×38 pixel，76 pixel×76 pixel，152 pixel×152 pixel。單SPP模塊位于特征圖尺寸為19 pixel×19 pixel的主干網(wǎng)絡(luò)后，多SPP模塊分別位于網(wǎng)絡(luò)的各個上采樣層之后。其中，YOLOv4-4相較YOLOv4+增加了152 pixel×152 pixel尺寸的特征預(yù)測分支；YOLOv4-SPP3總共包含3個SPP模塊，相較YOLOv4+增加了2個SPP模塊(分別位于第一次、第二次上采樣之后)；YOLOv4-4-SPP4總共包含4個SPP模塊，相較YOLOv4+增加了152 pixel×152 pixel尺寸的特征預(yù)測分支和3個SPP模塊(分別位于第一次、第二次和第三次上采樣之后)。以上檢測模型除了相應(yīng)結(jié)構(gòu)做出調(diào)整，其余設(shè)置完全相同(均使用優(yōu)化錨點框)。

(3)選取目前主流的檢測算法與本文算法做性能對比，選取的對比算法包括通用目標(biāo)檢測算法SSD、Faster R-CNN和旋轉(zhuǎn)目標(biāo)檢測算法R2CNN[17]、RRPN[18]。

實驗硬件環(huán)境為Dell Precision 7920T塔式工作站，硬件參數(shù)如表 1所示；軟件環(huán)境基于Linux系統(tǒng)和TensorFlow深度學(xué)習(xí)框架，具體配置如表 2所示。

表1 硬件環(huán)境配置Tab.1 Hardware configurations

表2 軟件環(huán)境配置Tab.2 Software configurations

4 實驗結(jié)果

4.1 錨點框優(yōu)化策略有效性驗證

錨點框改進策略有效性驗證結(jié)果如表 3所示。在15個類別目標(biāo)中，YOLOv4+有11個類別準確率高于YOLOv4(相差小于0.5%認為準確率近似)，在船舶、港口目標(biāo)上的提升幅度可觀，準確率平均增長約4%。實驗結(jié)果表明，使用K-means++聚類的錨點框更能反映遙感圖像目標(biāo)真實形狀特點，在船舶、港口等具有大長寬比的物體檢測中具有明顯優(yōu)勢。

表3 錨點框改進策略平均精度驗證結(jié)果Tab.3 Averageprecision for models with and without anchor frame 單位：%

4.2 網(wǎng)絡(luò)結(jié)構(gòu)改進策略有效性驗證

各檢測模型在數(shù)據(jù)集上的PR曲線如圖3所示。

圖3 各檢測模型在數(shù)據(jù)集上的PR曲線Fig.3 Precision-Recallcurve for detection models

由圖3可以看出，相較于本組實驗基準算法YOLOv4，各項改進模型在PR曲線上的總體表現(xiàn)均優(yōu)于基準算法，其中YOLOv4-4-SPP4模型表現(xiàn)最佳，其余YOLOv4+、YOLOv4-4和YOLOv4-SPP3模型也取得了不同程度的提升。

網(wǎng)絡(luò)結(jié)構(gòu)改進策略平均精度驗證結(jié)果如表4所示。

表4 網(wǎng)絡(luò)結(jié)構(gòu)改進策略平均精度驗證結(jié)果Tab.4 Average precision for different improved models 單位：%

以YOLOv4+算法70.99%的mAP50為對比基準，含有四尺度預(yù)測特征結(jié)構(gòu)的YOLOv4-4的mAP50為72.81%，提升約1.8%；含有四SPP模塊結(jié)構(gòu)的YOLOv4-SPP3算法mAP50為72.46%，提升約1.5%；同時含有四尺度預(yù)測特征結(jié)構(gòu)和四SPP模塊結(jié)構(gòu)的YOLOv4-4-SPP4算法mAP50為73.74%，提升約2.8%。另一方面，在所有目標(biāo)類別中，2種改進策略提升最為明顯的是小型車輛、泳池和飛機這幾類在圖像中尺寸偏小的目標(biāo)，尤其是對于小型車輛目標(biāo)平均檢測精度提升約6%，而對于常規(guī)尺寸目標(biāo)的提升幅度較小。

實驗結(jié)果驗證了2種網(wǎng)絡(luò)結(jié)構(gòu)改進策略的有效性，增加預(yù)測特征尺度及在網(wǎng)絡(luò)頸部增加SPP模塊數(shù)量都能夠提高遙感圖像目標(biāo)的檢測精度，對于小目標(biāo)檢測精度的提升更加明顯。

4.3 改進檢測模型與現(xiàn)有檢測模型性能對比

本文所提出的YOLOv4-4-SPP4與上述算法在DOTA數(shù)據(jù)集上的表現(xiàn)對比如表 5所示。本文算法在飛機上的實際檢測效果如圖 4所示。

表5 不同算法在DOTA數(shù)據(jù)集上的平均精度結(jié)果Tab.5 Average precision on DOTA dataset for different algorithms 單位：%

圖4 本文算法對于小尺度目標(biāo)檢測效果Fig.4 Small target detection results using the proposed algorithm

本文所提出的YOLOv4-4-SPP4算法得益于基準算法YOLOv4的先進性以及針對小目標(biāo)檢測改進策略的有效性，無論是總檢測精度還是15個目標(biāo)類別檢測精度，在5類算法中均為最高。

在各類遙感場景中，本文算法漏檢率最高的是密集?？康拇芭c密集?？康能囕v場景，主要是由于本文算法為水平框檢測算法，而使用水平框?qū)Τ蛉我?、密集排布的目?biāo)進行預(yù)測時，框與框之間的重疊程度高，引入過多與目標(biāo)無關(guān)的背景信息從而導(dǎo)致誤檢率提升。

5 結(jié)束語

針對目標(biāo)尺度變化大、小目標(biāo)眾多的檢測難點，本文提出了一種基于錨點框改進與多尺度特征融合的光學(xué)遙感圖像檢測方發(fā)。通過對3組實驗結(jié)果數(shù)據(jù)的定量分析,還有對實驗檢測效果圖的定性分析，證明了上述改進策略的有效性，也驗證了本文算法能夠在一定程度上解決光學(xué)遙感圖像由于目標(biāo)尺度變化范圍大、小目標(biāo)眾多所導(dǎo)致的檢測精度低的問題。本文算法對于密集?？康拇芭c密集?？康能囕v場景還存在漏檢率高的缺點，在未來的工作中將進一步改進。