基于深度卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像船只識(shí)別

夏 樂(lè)，李長(zhǎng)安，江 濤，龍 強(qiáng)，張 杰

（1.中國(guó)地質(zhì)大學(xué)，湖北 武漢 430074；2.湖南省地質(zhì)環(huán)境監(jiān)測(cè)總站，湖南 長(zhǎng)沙 410007）

遙感圖像可動(dòng)態(tài)、快速、準(zhǔn)確地獲得大量地面觀測(cè)數(shù)據(jù)，在軍用民用領(lǐng)域均有重要作用?；诳梢?jiàn)光遙感圖像提取船只目標(biāo)是遙感應(yīng)用領(lǐng)域的重要方向。其主要任務(wù)是在遙感圖像中快速確定船只的位置，并同時(shí)對(duì)船只進(jìn)行類(lèi)別判讀。在軍事目標(biāo)偵察、港口交通監(jiān)測(cè)、海洋環(huán)境預(yù)警等領(lǐng)域具有廣闊的應(yīng)用前景。隨著衛(wèi)星遙感技術(shù)的迅速發(fā)展，遙感圖像數(shù)據(jù)規(guī)模持續(xù)擴(kuò)大，人工判讀的圖像解譯方式越來(lái)越難以滿足實(shí)際需求。提高遙感圖像處理的自動(dòng)化程度，不僅可節(jié)省大量的人力資源，而且可在保證解譯精度的前提下，有效提升遙感圖像的處理速度，從而提高遙感圖像的利用率。

目前學(xué)者們對(duì)遙感船只的檢測(cè)進(jìn)行了大量研究，提出了許多檢測(cè)方法。常用的傳統(tǒng)船只目標(biāo)區(qū)域提取方法包括：①基于灰度統(tǒng)計(jì)特征的方法，即利用船只與海面的灰度差異，獲得船只的目標(biāo)候選區(qū)，但若海面復(fù)雜，效果則會(huì)大大降低；②基于船只尾跡的目標(biāo)檢測(cè)，多應(yīng)用于精度不高的遙感圖像中；③基于邊緣信息的方法，如通過(guò)原始灰度和邊緣強(qiáng)度遙感圖像進(jìn)行OTSU自適應(yīng)的閾值分割，并結(jié)合簡(jiǎn)單的船只形狀特征獲得艦船目標(biāo)候選區(qū)，但該方法只適用于平靜海面，大型海浪對(duì)結(jié)果的干擾很大；④基于分型模型和模糊理論的方法，該方法受云霧影響較大。

在近年來(lái)的研究中，深度學(xué)習(xí)在目標(biāo)識(shí)別領(lǐng)域取得了顯著成功。利用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）可實(shí)現(xiàn)對(duì)目標(biāo)特征的提取、聚合以及判讀；利用DCNN構(gòu)建的目標(biāo)識(shí)別方法可自動(dòng)化輸出目標(biāo)的位置信息與分類(lèi)結(jié)果。該類(lèi)方法主要包括兩個(gè)方向：①結(jié)合Region Proposal機(jī)制和CNN分類(lèi)網(wǎng)絡(luò)提出的目標(biāo)檢測(cè)框架，包括R-CNN方法[1]、以提升R-CNN識(shí)別速度為目標(biāo)的Fast R-CNN[2]、實(shí)現(xiàn)“端到端”目的的Faster R-CNN[3]以及精度和速度更進(jìn)一步提升的R-FCN方 法[4]；②基于回歸問(wèn)題提出的目標(biāo)檢測(cè)框架，包括YOLO模型[5]和SSD模型[6]。

針對(duì)遙感圖像海面船只目標(biāo)難以準(zhǔn)確識(shí)別的問(wèn)題，早期采用閾值法和模式識(shí)別法剔除云霧的影響[7]。本文提出了一種改進(jìn)的DCNN結(jié)構(gòu)，利用分類(lèi)網(wǎng)絡(luò)實(shí)現(xiàn)圖像的分類(lèi)，并與識(shí)別網(wǎng)絡(luò)構(gòu)成雙通道的船只目標(biāo)識(shí)別體制。識(shí)別網(wǎng)絡(luò)基于Faster R-CNN構(gòu)建。本文方法將預(yù)分類(lèi)后的遙感圖像輸入識(shí)別網(wǎng)絡(luò)，并對(duì)結(jié)構(gòu)和參數(shù)進(jìn)行修改和調(diào)整，以實(shí)現(xiàn)船只目標(biāo)的候選區(qū)提取以及船只目標(biāo)分類(lèi)的目的，提升了受云霧干擾的船只目標(biāo)的識(shí)別精度。

1 常規(guī)的Faster R-CNN

Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)包括RPN和Fast R-CNN兩個(gè)部分，其中RPN是一種兩層卷積網(wǎng)絡(luò)，可針對(duì)目標(biāo)候選框進(jìn)行“端到端”訓(xùn)練，輸入是任意大小的圖像，輸出是目標(biāo)候選區(qū)域的集合，每個(gè)候選區(qū)均有目標(biāo)得分。測(cè)試圖像輸入CNN后，首先需進(jìn)行特征提取，得到特征圖，同時(shí)生成包含疑似目標(biāo)的候選窗口；再對(duì)于該圖像的每個(gè)空間位置，生成多個(gè)可能的候選窗口，并對(duì)候選窗口進(jìn)行分類(lèi)和位置調(diào)整；然后對(duì)多個(gè) 候選位置進(jìn)行排序，選擇得分最高的一部分，并通過(guò)非極大抑制（NMS）壓縮候選區(qū)的數(shù)量；最后將候選區(qū)映射到整個(gè)網(wǎng)絡(luò)的最后一層特征圖上，通過(guò)RoI pooling層使得每個(gè)RoI生成固定尺寸的特征圖，利用Softmax和Smooth L1評(píng)價(jià)檢測(cè)結(jié)果、迭代訓(xùn)練。

2 改進(jìn)的Faster R-CNN

云霧遮擋是光學(xué)圖像不可回避的問(wèn)題，當(dāng)海面目標(biāo)被云霧遮擋時(shí)，極易產(chǎn)生船只的虛警與漏檢。因此，在Faster R-CNN的基礎(chǔ)上，本文利用分類(lèi)網(wǎng)絡(luò)對(duì)圖像進(jìn)行預(yù)分類(lèi)[8]，得到清晰的遙感圖像和含霧圖像（圖1），并將這兩類(lèi)圖像分別注入識(shí)別網(wǎng)絡(luò)，形成雙通道的識(shí)別模式，通道間不會(huì)產(chǎn)生任何干擾。網(wǎng)絡(luò)訓(xùn)練時(shí)，可分別針對(duì)含霧的難識(shí)別的圖像和易識(shí)別的無(wú)霧圖像調(diào)整網(wǎng)絡(luò)參數(shù)，各得到一個(gè)網(wǎng)絡(luò)模型，從而提升識(shí)別精度。船只目標(biāo)識(shí)別網(wǎng)絡(luò)改進(jìn)流程如圖2所示。

圖1 云霧對(duì)目標(biāo)信息提取的影響

圖2 船只目標(biāo)識(shí)別網(wǎng)絡(luò)改進(jìn)流程圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)集包含12 650張遙感圖像（圖3），每張圖像大小為1 024×1 024，其中正樣本是已標(biāo)記的船只，包括濃霧下的船只以及大小不同的同類(lèi)船只，即貨船8 875條、郵輪2 398條以及游艇589條；而負(fù)樣本是包括陸地、海洋、云等多種情況在內(nèi)的非艦船樣本。將數(shù)據(jù)集隨機(jī)分出1/3作為測(cè)試集，1/3作為驗(yàn)證集。

圖3 不同云霧條件下船只目標(biāo)數(shù)據(jù)集

3.2 評(píng)價(jià)方法與指標(biāo)

3.2.1 F1-Score

F1-Score是信息檢索領(lǐng)域常用的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，用于評(píng)價(jià)分類(lèi)模型的好壞。召回率（Recall）和識(shí)別精度（Precision）的定義式為：

式中，right detection為檢測(cè)正確的船只結(jié)果，即預(yù)測(cè)邊界框和真值邊界框的IoU＞0.7的識(shí)別結(jié)果；missed detection為漏檢結(jié)果，即人工標(biāo)記出的船只，但在預(yù)測(cè)結(jié)果中未找到IoU＞0.7的匹配項(xiàng)；false detection為錯(cuò)檢結(jié)果，即預(yù)測(cè)結(jié)果中識(shí)別出的船只目標(biāo)，在真值中沒(méi)有對(duì)應(yīng)IoU＞0.7的匹配項(xiàng)。

因此，由Recall與Precision可得到F1-Score的計(jì)算公式為：

3.2.2 mAP

AP衡量的是每種目標(biāo)類(lèi)別識(shí)別結(jié)果的準(zhǔn)確性，由Recall和Precision繪制的折線圖與坐標(biāo)軸之間的面積確定。mAP衡量的是所有目標(biāo)類(lèi)別的平均識(shí)別準(zhǔn)確度，即取所有AP的平均值。

3.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)結(jié)果如圖4所示，可以看出，不同尺度的船只均被準(zhǔn)確識(shí)別出來(lái)，雖受雨霧的影響十分明顯，但仍可準(zhǔn)確提取目標(biāo)的位置與種類(lèi)信息。Faster R-CNN與改進(jìn)的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)的船只識(shí)別結(jié)果分析如表1所示，可以看出，改進(jìn)的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)的船只識(shí)別方法在云霧條件下得到的 Fl-Score值為0.711 4，優(yōu)于傳統(tǒng)Faster R-CNN方法的 0.706 8。

圖4 船只目標(biāo)識(shí)別結(jié)果

表1 Faster R-CNN與改進(jìn)的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)的船只識(shí)別結(jié)果分析

4 結(jié) 語(yǔ)

光學(xué)圖像受天氣的影響十分嚴(yán)重，特別是云霧遮擋時(shí)，很難獲取云霧下的目標(biāo)信息。針對(duì)云霧干擾下的遙感圖像海面目標(biāo)識(shí)別問(wèn)題，本文提出了一種基于分類(lèi)網(wǎng)絡(luò)與識(shí)別網(wǎng)絡(luò)的船只識(shí)別方法。在采用常規(guī)識(shí)別網(wǎng)絡(luò)前，先對(duì)圖像進(jìn)行預(yù)分類(lèi)處理，再利用分類(lèi)網(wǎng)絡(luò)構(gòu)成雙通道識(shí)別體制，形成含霧圖像分類(lèi)到船只目標(biāo)識(shí)別的“端到端”系統(tǒng)。與常規(guī)的Faster R-CNN目標(biāo)識(shí)別網(wǎng)絡(luò)相比，本文方法的船只識(shí)別精度得到了提升，實(shí)驗(yàn)結(jié)果證明了方法的準(zhǔn)確性與有效性。在今后的工作中，將持續(xù)網(wǎng)絡(luò)調(diào)優(yōu)、優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步提升遙感圖像中船只識(shí)別的精度。