基于改進(jìn)Faster R-CNN模型的SAR圖像溢油檢測方法

張?zhí)忑? 過 杰

基于改進(jìn)Faster R-CNN模型的SAR圖像溢油檢測方法

張?zhí)忑?, 2, 3, 過 杰1, 2, 4

(1. 中國科學(xué)院煙臺海岸帶研究所 中國科學(xué)院環(huán)境過程與生態(tài)修復(fù)重點(diǎn)實驗室, 山東 煙臺 264003; 2. 中國科學(xué)院煙臺海岸帶研究所 山東省海岸帶環(huán)境過程重點(diǎn)實驗室, 山東 煙臺 264003; 3. 中國科學(xué)院大學(xué), 北京 100049; 4. 中國科學(xué)院海洋大科學(xué)中心, 山東 青島 266071)

SAR(synthetic aperture radar)圖像溢油暗斑準(zhǔn)確識別對海上溢油應(yīng)急工作具有重要的意義。為減少SAR圖像特征提取、特征選擇過程中人為因素對溢油檢測精度的影響, 本文將Faster R-CNN卷積神經(jīng)網(wǎng)絡(luò)模型引入SAR圖像溢油檢測并進(jìn)行了改進(jìn)。針對溢油暗斑形狀多樣及SAR圖像背景復(fù)雜的特點(diǎn), 選用結(jié)構(gòu)一致且實用性強(qiáng)的VGG16卷積網(wǎng)絡(luò)獲取圖像特征, 并使用軟化非極大值抑制算法(Soft-NMS)進(jìn)行優(yōu)化。同時基于相同的數(shù)據(jù)集, 提取常用的SAR圖像幾何特征、灰度特征和紋理特征, 構(gòu)建反向傳播(backpropagation, BP)人工神經(jīng)網(wǎng)絡(luò)溢油檢測方法并與Faster R-CNN方法進(jìn)行對比。實驗結(jié)果表明, 基于改進(jìn)Faster-RCNN模型的溢油檢測方法溢油檢測率達(dá)到0.78, 且溢油檢測虛警率低于0.25, 相比BP人工神經(jīng)網(wǎng)絡(luò)溢油檢測方法樣本識別率、溢油檢測率分別提高了4%和5%, 溢油虛警率降低了5%。

SAR; Faster R-CNN; 溢油檢測; BP神經(jīng)網(wǎng)絡(luò)

海洋石油平臺泄漏、運(yùn)輸船只事故及非法排放等造成的海洋溢油污染, 嚴(yán)重威脅海洋生態(tài)環(huán)境安全以及海洋產(chǎn)業(yè)的發(fā)展[1-3]。因此, 如何及時監(jiān)測溢油位置、面積, 準(zhǔn)確識別油膜及估算溢油量, 是海洋溢油污染監(jiān)測急需解決的問題, 這對于海洋溢油應(yīng)急實施、保護(hù)海洋生態(tài)環(huán)境、減少溢油造成的經(jīng)濟(jì)損失具有重要的意義。

衛(wèi)星遙感觀測技術(shù)的快速發(fā)展使合成孔徑雷達(dá)(synthetic aperture radar, SAR)以其全天時、全天候的優(yōu)勢在海洋溢油污染監(jiān)測中發(fā)揮著“主力軍”的作用[4-5]。目前, 應(yīng)用SAR數(shù)據(jù)進(jìn)行海上溢油檢測的方法主要有閾值法[6-10]、概率統(tǒng)計方法[11-13]、決策樹方法[14-15]、人工神經(jīng)網(wǎng)絡(luò)方法等[16-19]。其中, 人工神經(jīng)網(wǎng)絡(luò)方法因其較強(qiáng)的自學(xué)習(xí)能力、泛化能力和容錯能力, 能夠較好地解決非線性分類問題, 被用于海面溢油和疑似溢油檢測研究[16-19]。Singha等[16]構(gòu)建雙層人工神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)了SAR圖像暗斑檢測、特征提取及溢油暗斑目標(biāo)分類的過程, 并分析了不同特征組合對人工神經(jīng)網(wǎng)絡(luò)溢油檢測精度的影響。石立堅等利用方差分析方法對溢油識別特征參量進(jìn)行篩選, 并利用反向傳播(backpropagation, BP)神經(jīng)網(wǎng)絡(luò)建立溢油識別模型實現(xiàn)了SAR圖像溢油暗斑的有效識別[19]。

近些年, 深度學(xué)習(xí)框架引領(lǐng)了計算機(jī)圖像識別及相關(guān)學(xué)科的新一輪的研究熱潮。圖像特征的關(guān)注點(diǎn)由傳統(tǒng)的圖像全局特征轉(zhuǎn)變?yōu)閳D像卷積多尺度特征。相比較于傳統(tǒng)的圖像識別框架, 深度學(xué)習(xí)框架圖像特征自動提取的特點(diǎn), 為機(jī)器學(xué)習(xí)的快速推廣與應(yīng)用帶來了巨大的優(yōu)勢[20-23]。深度學(xué)習(xí)框架在卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的基礎(chǔ)上不斷優(yōu)化更新發(fā)展了Fast R-CNN (fast region- con--volutional neural network), Faster R-CNN (faster region- convolutional neural network), Mask R-CNN等神經(jīng)網(wǎng)絡(luò)目標(biāo)識別框架, 這些框架現(xiàn)已有較好的應(yīng)用實例[20, 24-26]。在SAR圖像海上溢油識別方面, 已有學(xué)者進(jìn)行了相關(guān)研究。Guo等[27]選取了5組RADARSAT-2數(shù)據(jù)的6種幾何特征, 8種紋理特征和4種極化特征, 組成優(yōu)化特征子集輸入到CNN神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練并使用測試樣本進(jìn)行分類測試, 測試結(jié)果表明CNN網(wǎng)絡(luò)對SAR圖像上溢油和疑似溢油區(qū)域有很好的區(qū)分能力。Nieto-Hidalgo等[28]人針對機(jī)載側(cè)視雷達(dá)(side-looking airborne radar, SLAR)數(shù)據(jù)構(gòu)建了雙層CNN神經(jīng)網(wǎng)絡(luò)模型, 用以區(qū)分船只和海面溢油, 并分析了不同訓(xùn)練參數(shù)對識別結(jié)果的影響, 比較了11種卷積神經(jīng)網(wǎng)絡(luò), 結(jié)果表明雙層CNN神經(jīng)網(wǎng)絡(luò)在卷積核窗口大小為7時, 識別精度最高。

目前, 多數(shù)研究[16-19]通過圖像全局特征提取及特征選擇構(gòu)建特征子集的方式, 構(gòu)建基于人工神經(jīng)網(wǎng)絡(luò)的溢油檢測方法, 而針對星載SAR數(shù)據(jù)使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行溢油和疑似溢油區(qū)分的研究相對較少。人工神經(jīng)網(wǎng)絡(luò)溢油檢測方法雖能取得較好的溢油檢測效果, 但此類方法特征提取、特征選擇過程較為復(fù)雜, 且特征處理過程中易受到人為主觀意識的影響。而深度卷積神經(jīng)網(wǎng)絡(luò)將特征提取、特征選擇、識別定位及檢測結(jié)果可視化, 集成于同一個神經(jīng)網(wǎng)絡(luò)中, 避免了在特征提取、特征選擇等過程中人為因素的干擾。故本文提出基于改進(jìn)Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型的SAR圖像溢油檢測方法, 選用VGG16網(wǎng)絡(luò)獲取SAR圖像卷積特征, 在Faster R-CNN神經(jīng)網(wǎng)絡(luò)中完成特征提取及特征選擇過程, 使用軟化非極大值抑制算法(soft non-maximum suppression, Soft-NMS)優(yōu)化了傳統(tǒng)的非極大值抑制算法(non-maximum suppression, NMS), 并基于相同的數(shù)據(jù)集與人工神經(jīng)網(wǎng)絡(luò)方法進(jìn)行對比。

1 數(shù)據(jù)和方法

1.1 數(shù)據(jù)及數(shù)據(jù)預(yù)處理

本文對選取的26景渤海海域WSM(wide swath)觀測模式、VV極化模式的ENVISAT ASAR影像數(shù)據(jù), 以及20景干涉寬幅觀測模式、VV極化模式的Sentinel-1 GRDH數(shù)據(jù)進(jìn)行了輻射校正和幾何校正。因兩種數(shù)據(jù)的分辨率分別為30 m×30 m和20 m× 22 m, 故采用雙線性插值法將Sentinel-1數(shù)據(jù)重采樣為30 m。本文選擇增強(qiáng)型Lee濾波對SAR圖像進(jìn)行圖像降噪處理, 圖1為濾波窗口為3、5和7時的濾波結(jié)果。由圖1可知增強(qiáng)型Lee濾波窗口大小為7時濾波效果最好且濾波窗口選擇結(jié)果與文獻(xiàn)[29]實驗結(jié)論一致; 若繼續(xù)增大濾波器窗口, 則圖像的邊緣保持程度會降低, 運(yùn)算量也相應(yīng)的會增大[29], 故本文增強(qiáng)型Lee濾波窗口大小設(shè)置為7。基于上述處理后的SAR圖像, 根據(jù)溢油的溢油判定規(guī)則[8-9, 16-17]選取溢油與疑似溢油樣本, 共計選取602個有效樣本, 其中溢油暗斑樣本250個, 疑似溢油暗斑樣本352個。解譯的樣本中包含了溢油、船舶尾跡、低風(fēng)速區(qū)、背風(fēng)區(qū)、海洋內(nèi)波等, 圖2為選取典型的溢油和疑似溢油樣本示例, 圖2中a為溢油樣本, b為背風(fēng)區(qū)樣本, c為低風(fēng)速區(qū)樣本, d為船舶尾跡樣本。

Faster-RCNN神經(jīng)網(wǎng)絡(luò)雖然對輸入的圖像的大小沒有具體的要求, 為能夠記錄暗斑在樣本圖像中的準(zhǔn)確位置, 使用LabelImg開源軟件[30]對樣本圖像暗斑進(jìn)行標(biāo)記(圖3), 生成用于記錄樣本區(qū)域、類別及其他相關(guān)信息的xml文件, 實現(xiàn)了對輸入圖像的管理。將上述的溢油與疑似溢油數(shù)據(jù)集轉(zhuǎn)換為VOC2007數(shù)據(jù)集格式[31], 有利于Faster R-CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試。在Faster R-CNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練中, 訓(xùn)練集和測試集按照7︰3的比例對數(shù)據(jù)集進(jìn)行隨機(jī)選取, 得到訓(xùn)練樣本421個和測試樣本181個。

為避免數(shù)據(jù)集不同對算法比較的客觀性帶來影響, 在人工神經(jīng)網(wǎng)絡(luò)溢油檢測方法中, 將上述切分好的訓(xùn)練集再次按照5︰2的比例對樣本進(jìn)行分配, 得到訓(xùn)練樣本301個、驗證樣本120個。本文參考相關(guān)文獻(xiàn)提取了溢油與疑似溢油樣本的10個幾何特征、14個灰度特征以及15個紋理特征。其中, 10個幾何特征包括樣本暗斑周長、面積、目標(biāo)復(fù)雜度[32]及Hu不變矩[33]的前3階的幾何矩特征, 14個灰度特征包括樣本暗斑邊緣梯度及目標(biāo)灰度偏度等[32], 15個紋理特征則來源于洪繼光[34]提出的基于灰度共生矩陣的大小梯度優(yōu)勢及逆差距等15個紋理特征。因某些特征提取時自身帶有量綱(如周長)且特征數(shù)據(jù)的范圍不一, 需先要對39個特征分別進(jìn)行歸一化處理, 歸一化處理方法為:

式(1)中, ynorm為歸一化后的特征值, xi為原始特征值, Xmax和Xmin為原始特征值中的最大值和最小值。

圖2 樣本集中幾種典型的溢油和疑似溢油樣本

圖3 使用labelImg對樣本進(jìn)行標(biāo)記

1.2 改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型

任少卿等提出了Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型[35], 該模型首先在結(jié)構(gòu)上做出了重大的改變, 模型將特征提取層、RPN(region proposal networks)層和包圍框回歸層及分類層集成在一個網(wǎng)絡(luò)中, 這樣可以在一個深度學(xué)習(xí)的框架中完成特征提取、分類以及位置修正的整個過程。Faster R-CNN網(wǎng)絡(luò)總體可分為4個部分: 卷積層、RPN網(wǎng)絡(luò)層、ROI pooling層以及Classification層。卷積層主要通過卷積、池化等過程生成特征圖。使用RPN網(wǎng)絡(luò)代替Selective search等傳統(tǒng)的候選框生成方法, 實現(xiàn)了網(wǎng)絡(luò)的端到端訓(xùn)練, 極大地提升了檢測框生成的速度。ROI pooling層收集輸入的特征圖和建議候選框送入全連接層實現(xiàn)目標(biāo)識別。Classification層實現(xiàn)對檢測框的再次準(zhǔn)確定位, 通過全連接層與Soft-max分類器確定候選區(qū)具體的類別, 輸出目標(biāo)為某類別的概率向量; 同時再次利用包圍框回歸獲得每個候選區(qū)的位置偏移量, 獲取更加精確的目標(biāo)檢測框。因本文選用的樣本為單波段圖像, 故將圖像數(shù)據(jù)的Conv2d函數(shù)的第一個參數(shù)設(shè)置為1。

本研究針對海面油膜形狀多樣、大小不一且SAR數(shù)據(jù)信噪比相對較低、圖像背景復(fù)雜的特點(diǎn), 使用了一種結(jié)構(gòu)簡單、實用性強(qiáng)的VGG16網(wǎng)絡(luò)[36]獲取圖像卷積特征。VGG16網(wǎng)絡(luò)超參數(shù)較少, 結(jié)構(gòu)一致; 模型使用3個窗口為3的卷積核代替了原來窗口為7的卷積核, 在保證有相同感受野的條件下, 提升了網(wǎng)絡(luò)的深度, 在一定程度上提升了特征提取的效果, 減少了權(quán)重參數(shù)的數(shù)量, 有利于提取盡可能多的特征。對Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型檢測框處理模塊, 使用Soft-NMS對原模型中默認(rèn)的非極大值抑制算法NMS進(jìn)行改進(jìn)[37], 較好地解決了目標(biāo)檢測框因重疊覆蓋而導(dǎo)致檢測結(jié)果精度降低的問題。

NMS算法是Faster R-CNN算法中重要的部分, 其將所有的檢測框進(jìn)行重疊度IOU(intersection over union)的計算, 如果重疊度大于某個閾值則此檢測框被抑制[37]。為減少高度重疊的冗余的檢測框的生成, 需要進(jìn)行檢測框優(yōu)化后處理, 傳統(tǒng)的NMS算法處理的計算公式為:

式(2)中, S為第個檢測生成框的得分;為得分最大的檢測生成框,為檢測生成框的集合且C中第個檢測框,T為某一設(shè)定的閾值。傳統(tǒng)NMS采用了硬分類的的判斷方式?jīng)Q定是否保留相鄰的檢測生成框, 這種方法的問題在于閾值設(shè)置較低時, 包含在框內(nèi)的同類目標(biāo)會因硬分類的方式而導(dǎo)致目標(biāo)不被檢測, 造成檢測結(jié)果的缺失[37]。故使用Soft-NMS算法, 基于降低檢測框置信度的方式減弱上述問題的影響, Soft-NMS算法的計算公式為:

1.3 BP人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)因其非線性推理的特性及較強(qiáng)的學(xué)習(xí)歸納能力被眾多的溢油檢測研究使用[16-19, 32], 本文選用應(yīng)用廣泛的BP人工神經(jīng)網(wǎng)絡(luò)完成溢油檢測研究。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

BP神經(jīng)網(wǎng)絡(luò)的輸入層輸入數(shù)據(jù)通常為特征向量的組合, 其節(jié)點(diǎn)的個數(shù)需要根據(jù)實驗確定[16, 19, 32]。輸出層節(jié)點(diǎn)的個數(shù)一般由實際分類研究中分類數(shù)量來確定。隱含層層數(shù)及隱含層節(jié)點(diǎn)個數(shù)的確定是BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)過程中最重要的一環(huán), 隱含層調(diào)節(jié)的好壞將決定BP神經(jīng)網(wǎng)絡(luò)的分類精度。一般地, 采用梯度下降算法對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行連接權(quán)值及反向誤差的調(diào)節(jié)。BP神經(jīng)網(wǎng)絡(luò)不同層的節(jié)點(diǎn)采用全連接模式, 同層節(jié)點(diǎn)互不影響。BP神經(jīng)網(wǎng)絡(luò)中各個節(jié)點(diǎn)基于反傳誤差的權(quán)重更新規(guī)則如下:

圖4 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

式(6)中,y為神經(jīng)網(wǎng)絡(luò)訓(xùn)練所要達(dá)到的目標(biāo)值,Y為神經(jīng)網(wǎng)絡(luò)給出的預(yù)測值,為輸出層節(jié)點(diǎn)個數(shù)。因BP神經(jīng)網(wǎng)絡(luò)是一種學(xué)習(xí)過程顯示型的人工神經(jīng)網(wǎng)絡(luò), 輸入層的輸入內(nèi)容不能是樣本圖像, 故需要對圖像樣本進(jìn)行特征提取, 提取后的特征組合可作為BP神經(jīng)網(wǎng)絡(luò)的輸入。

2 結(jié)果與討論

2.1 實驗環(huán)境及評價指標(biāo)

研究使用基于CPU版本的Tensorflow框架下的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練, 訓(xùn)練時使用的硬件配置為i7處理器, 運(yùn)行內(nèi)存大小為16 GB; 軟件環(huán)境為Window 10操作系統(tǒng), Python 3.7版本, Matlab 2019版本。人工神經(jīng)網(wǎng)絡(luò)溢油檢測方法則基于Matlab神經(jīng)網(wǎng)絡(luò)工具包實現(xiàn)。

為了能夠客觀評價改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)溢油檢測方法及人工神經(jīng)網(wǎng)絡(luò)溢油檢測方法的溢油檢測效果, 選用了溢油檢測率(R), 樣本識別率(R)和溢油虛警率(AR)對兩種溢油檢測方法進(jìn)行評價。溢油檢測率為對溢油樣本進(jìn)行正確分類的測度; 樣本識別率為能夠正確識別溢油和疑似溢油兩類的樣本的測度, 溢油虛警率為屬于疑似溢油類別的樣本被分類為溢油類別的測度, 以上評價指標(biāo)的定義分別如下:

其中,R為溢油樣本被正確分類的個數(shù),W為溢油樣本被分類為疑似溢油樣本的個數(shù),R為疑似溢油樣本被分類為溢油樣本的個數(shù),W為疑似溢油樣本被正確分類的個數(shù)。

2.2 實驗及結(jié)果分析

基于1.1小節(jié)中預(yù)處理后的樣本集, 分別應(yīng)用改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)溢油檢測方法和人工神經(jīng)網(wǎng)絡(luò)溢油檢測方法進(jìn)行了溢油檢測方法實驗。因海面SAR溢油檢測容易受到疑似溢油暗斑的影響, 疑似溢油暗斑也將參與Faster R-CNN的訓(xùn)練。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時, 學(xué)習(xí)速率設(shè)置為0.005, batch_size設(shè)置為16, 每次讀入16個樣本圖像。為加快訓(xùn)練收斂的速度且保證梯度下降的方向不變, 本文梯度下降方式設(shè)置為動量梯度下降, 以減弱訓(xùn)練過程中梯度振蕩現(xiàn)象。RPN網(wǎng)絡(luò)的IOU閾值設(shè)置為0.7, 候選區(qū)域數(shù)量設(shè)置為300, 即選擇300個最優(yōu)的候選框傳遞給Faster R-CNN神經(jīng)網(wǎng)絡(luò)的分類層進(jìn)行目標(biāo)識別。迭代次數(shù)設(shè)置為40 000次。圖5記錄了Faster R-CNN神經(jīng)網(wǎng)絡(luò)每次訓(xùn)練的分類總損失。學(xué)習(xí)速率初始設(shè)置為0.005, 且學(xué)習(xí)速率衰減設(shè)置為每10 000次衰減一次。

由圖5訓(xùn)練次數(shù)和分類總損失圖可以看出, 當(dāng)訓(xùn)練次數(shù)達(dá)到30 000次時, 神經(jīng)網(wǎng)絡(luò)收斂到較小的分類總損失, 當(dāng)?shù)螖?shù)臨近40 000次時, 分類總損失進(jìn)一步減小且趨于穩(wěn)定, 說明本文Faster R-CNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練40 000次可得到較好的訓(xùn)練結(jié)果。

圖5 Faster-RCNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練次數(shù)與分類總損失

為完成BP神經(jīng)網(wǎng)絡(luò)溢油檢測實驗, 應(yīng)先確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。由相關(guān)文獻(xiàn)可知[16, 19, 32, 38], 需對特征進(jìn)行特征降維, 以減小特征冗余并獲取貢獻(xiàn)度最大的特征。故本文采用主成分分析方法對提取的39個特征進(jìn)行特征降維, 依據(jù)特征降維結(jié)果選取了貢獻(xiàn)度最大的6個特征作為BP神經(jīng)網(wǎng)絡(luò)的輸入, 這6個特征分別為: 樣本暗斑的面積、周長、暗斑目標(biāo)與背景方差比值、相關(guān)系數(shù)、角二階矩及熵。輸出層設(shè)置為溢油和疑似溢油兩個節(jié)點(diǎn)。隱含層層數(shù)為1層[39]且隱含層節(jié)點(diǎn)個數(shù)根據(jù)文獻(xiàn)[40]中的經(jīng)驗公式及多次樣本訓(xùn)練確定本文BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)個數(shù)為11個, 文獻(xiàn)[40]中的經(jīng)驗公式定義為:

式(10)中,為隱層節(jié)點(diǎn)個數(shù),n為輸入節(jié)點(diǎn)個數(shù),ut為輸出節(jié)點(diǎn)個數(shù),的取值范圍為[1, 10]且為整數(shù)。本文使用traingdx訓(xùn)練函數(shù)對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練, 采用提前停止法防止BP神經(jīng)網(wǎng)絡(luò)過擬合[32]。BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練性能圖如圖6所示, 當(dāng)?shù)螖?shù)達(dá)到92次時神經(jīng)網(wǎng)絡(luò)收斂, 迭代訓(xùn)練停止。

將VOC格式測試集中的SAR圖像樣本輸入本文溢油檢測模型進(jìn)行驗證。將上述特征提取特征及特征選擇后的測試集樣本輸入BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模型驗證。驗證集中包含80個溢油樣本, 101個疑似溢油樣本。基于本文2.1中的評價方法對本文兩種溢油檢測模型進(jìn)行精度評價, 評價結(jié)果如表1所示。由表1的評價結(jié)果可知, 本文方法樣本識別率達(dá)到了0.790, 溢油檢測率達(dá)到了0.775, 溢油虛警率為0.244。對比表1中兩種模型的評價結(jié)果可以發(fā)現(xiàn), 本文改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)溢油檢測方法樣本識別率提高了4.4%, 溢油檢測率提高了5%, 溢油虛警率降低了4.8%。實驗結(jié)果表明, 本文提出方法能對提升溢油檢測率、降低溢油虛警率具有一定的效果。

圖6 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練性能圖

表1 兩種神經(jīng)網(wǎng)絡(luò)模型驗證結(jié)果

2.3 實例驗證

本文獲取2景中國海域的SAR衛(wèi)星數(shù)據(jù), 驗證兩種溢油檢測方法。圖7a為黃海海域南部的ERS-1 SAR影像, 影像獲取日期為1995年6月19日, 圖7b為南海海域的ERS-2 SAR影像, 獲取日期為1997年7月13日。圖7a和圖7b中暗斑根據(jù)溢油判定規(guī)則[8-9, 16-17]以及文獻(xiàn)[19]、[41]中的解譯結(jié)果對圖中的溢油和疑似溢油暗斑進(jìn)行了標(biāo)記。圖7a共解譯了11個溢油和疑似溢油暗斑, 圖7b共解譯了10個溢油和疑似溢油暗斑, 紅色序號標(biāo)記的暗斑為溢油暗斑, 白色序號標(biāo)記的暗斑為疑似溢油暗斑。除圖7b序號為5、9和10暗斑因背景較為復(fù)雜需要在綠色框范圍進(jìn)行特征提取外, 圖7a和圖7b中大部分暗斑獨(dú)立且易于BP神經(jīng)網(wǎng)絡(luò)方法特征提取。溢油和疑似溢油暗斑解譯結(jié)果如圖7所示。

圖7 改進(jìn)Faster-RCNN神經(jīng)網(wǎng)絡(luò)模型溢油檢測結(jié)果

圖7展示了本文改進(jìn)Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型在驗證圖像上的溢油檢測結(jié)果。圖7a驗證結(jié)果表明除序號為11的溢油暗斑未被檢出, 其他的溢油暗斑均正確檢測, 同時檢測出了其他未標(biāo)記的溢油暗斑(1、2), 由文獻(xiàn)[41]可知,1、2兩者均為溢油暗斑。圖7a中11個暗斑經(jīng)人工神經(jīng)網(wǎng)絡(luò)方法檢測后序號為1～7的溢油暗斑被正確檢測, 8號和11號溢油暗斑被人工神經(jīng)網(wǎng)絡(luò)方法判定為疑似溢油暗斑。觀察分析圖7a中8號和11號暗斑可知, 兩個溢油暗斑與海水的邊緣對比度較低, 呈現(xiàn)緩慢過度的趨勢, 溢油暗斑與海水邊緣的對比程度不如1～7號明顯, 人工神經(jīng)網(wǎng)絡(luò)方法錯誤地將8號和11號暗斑檢測為疑似溢油暗斑。圖7b中除10號的疑似溢油暗斑被誤判為溢油暗斑外, 其余溢油和疑似溢油暗斑均正確檢測, 同時也檢測出未標(biāo)記溢油暗斑(3)。10號暗斑與7號和8號溢油暗斑形狀、灰度和紋理特征相似且區(qū)分度較低, 導(dǎo)致本文方法誤將10號疑似溢油暗斑檢測為溢油暗斑。圖7b中10個暗斑經(jīng)人工神經(jīng)網(wǎng)絡(luò)方法檢測后, 序號為1、2、3、6、8的溢油暗斑被正確檢測, 5號疑似溢油暗斑被判定為溢油暗斑, 7號溢油暗斑被判定為疑似溢油暗斑。5號疑似溢油暗斑和7號溢油暗斑分別與條狀溢油暗斑和船舶尾跡暗斑相似, 導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)誤判。由上述兩種方法溢油檢測驗證結(jié)果分析可知, 基于改進(jìn)Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型溢油檢測結(jié)果優(yōu)于人工神經(jīng)網(wǎng)絡(luò)方法, 且能使溢油檢測結(jié)果可視化。

3 結(jié)論

本文選取了602個SAR溢油和疑似溢油樣本, 針對傳統(tǒng)特征提取、特征選擇過程易受到人為因素影響的問題, 提出了基于改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型的SAR圖像溢油檢測方法。利用上述樣本數(shù)據(jù)集, 基于人工神經(jīng)網(wǎng)絡(luò)建模方式建立了人工神經(jīng)網(wǎng)絡(luò)溢油檢測方法?；跍y試集對兩種方法溢油檢測效果進(jìn)行了客觀評價, 評價結(jié)果表明: 本文方法相比BP神經(jīng)網(wǎng)絡(luò)方法樣本識別率和溢油檢測率分別提高了4%和5%, 溢油虛警率降低了5%。實例驗證結(jié)果表明, 本文方法能夠有效地檢測SAR圖像上的溢油暗斑且可視化程度高, 具有一定的參考和應(yīng)用價值。

本文嘗試使用Faster R-CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行溢油檢測并提高了SAR圖像的溢油檢測精度, 但本文溢油檢測率仍然較低, 方法存在不足: 本文所使用的SAR圖像溢油和疑似溢油暗斑樣本較少, 故在后續(xù)工作中需增加樣本并對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練, 調(diào)整溢油和疑似溢油暗斑樣本比例, 進(jìn)行更細(xì)致的神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)節(jié)和優(yōu)化, 進(jìn)一步對兩種溢油檢測模型開展分析和評價。此外, 后續(xù)工作中將考慮融入環(huán)境及位置信息(如風(fēng)速大小、與陸地的距離等)以提高本文方法的溢油檢測精度, 并將其與更多的溢油檢測方法進(jìn)行對比, 進(jìn)一步驗證本文方法的有效性。

[1] WANG C Y, LI X, GUO J, et al. Biodegradation of marine oil spill residues using aboriginal bacterial consortium based on Penglai 19-3 oil spill accident, China[J]. Ecotoxicology and Environmental Safety, 2018, 159(sep): 20-27.

[2] GUO J, LIU X, XIE Q. Characteristics of the Bohai Sea oil spill and its impact on the Bohai Sea ecosystem[J]. Chinese Science Bulletin, 2013, 58(19): 2276-2281.

[3] LIU X, GUO J, GUO M, et al. Modelling of oil spill trajectory for 2011 Penglai 19-3 coastal drilling field, China[J]. Applied Mathematical Modelling, 2015, 39(18): 5331-5340.

[4] LI X, LI C, YANG Z, et al. SAR imaging of ocean surface oil seep trajectories induced by near inertial oscillation[J]. Remote Sensing of Environment, 2013, 130: 182-187.

[5] ZHANG B, PERRIE W, LI X, et al. Mapping sea surface oil slicks using RADARSAT-2 quad-polarization SAR image[J]. Geophysical Research Letters, 2011, 38, L10602.

[6] KANAA T F N, TONYE E, MERCIER G, et al. Detection of oil slick signatures in SAR images by fusion of hysteresis thresholding responses[M]. New York: IEEE, 2003.

[7] INDREGARD M, SOLBERG A, CLAYTON P. D2-report on benchmarking oil spill recognition approaches and best practice[R]. European Commission, 2004.

[8] SOLBERG A H S, DOKKEN S T, SOLBERG R. Automatic detection of oil spills in ENVISAT, RADARSAT and ERS SAR images[C]//IEEE. Piscataway, New Jersey: International Geoscience and Remote Sensing Sym-posium (IGARSS), 2003: 2747-2749.

[9] SOLBERG A H S, STORVIK G, SOLBERG R, et al. Automatic detection of oil spills in ERS SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 1999, 37(4): 1916-1924.

[10] 孫元芳, 周斌, 蓋穎穎, 等. 遙感監(jiān)測墨西哥灣溢油目標(biāo)識別算法[J]. 測繪科學(xué), 2015, 40(3): 63-67, 106.

SUN Yuanfang, ZHOU Bin, GAI Yingying, et al. Extraction algorithm of oil spill cases in Gulf of Mexico with RS data[J]. Science of Surveying and Mapping, 2015, 40(3): 63-67, 106.

[11] MARGHANY M. RADARSAT for oil spill trajectory model[J]. Environmental Modelling & Software, 2004, 19(5): 473-483.

[12] MARGHANY M. RADARSAT automatic algorithms for detecting coastal oil spill pollution[J]. International Journal of Appplied Earth Observation and Geoinformation, 2001, 3, 191-196.

[13] SOLBERG A H S, BREKKE C, HUSOY P O. Oil spill detection in Radarsat and Envisat SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(3): 746-755.

[14] 丁新濤, 曾侃, 賀明霞. 用于SAR圖像海面溢油自動識別的Bagging-Adaboost決策樹分類器系統(tǒng)[J]. 中國海洋大學(xué)學(xué)報, 2018, 48(10): 132-142.

DING Xintao, ZENG Kan, HE Mingxia. A Bagging-Ada Boost-DT multiple classifier system based on SAR image for marine oil spill automatic detection[J]. Periodical of Ocean University of China, 2018, 48(10): 132-142.

[15] 施永春. 基于Adaboost的SAR圖像溢油檢測[J]. 電腦知識與技術(shù), 2011, 7(29): 7252-7254.

SHI Yongchun. Using Adaboost to detect oil spill in SAR images[J]. Computer Knowledge and Technology, 2011, 7(29): 7252-7254.

[16] SINGHA S, BELLERBY T J, TRIESCHMANN O. Satellite oil spill detection using artificial neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2013, 6(6): 2355-2363.

[17] SINGHA S, RESSEL R, VELOTTO D, et al. A combination of traditional and polarimetric features for oil spill detection using TerraSAR-X[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(11): 4979-4990.

[18] SINGHA S, VESPE M, TRIESCHMANN O. Automatic Synthetic Aperture Radar based oil spill detection and performance estimation via a semi-automatic operational service benchmark[J]. Marine Pollution Bulletin, 2013, 73(1): 199-209.

[19] 石立堅, 趙朝方, 劉朋. 基于紋理分析和人工神經(jīng)網(wǎng)絡(luò)的SAR圖像中海面溢油識別方法[J]. 中國海洋大學(xué)學(xué)報, 2009, 39(6): 1269-1274.

SHI Lijian, ZHAO Chaofang, LIU Peng. Oil spill identification in marine SAR images based on texture feature and artificial neural network[J]. Periodical of Ocean University of China, 2009, 39(6): 1269-1274.

[20] 張銀松, 趙銀娣, 袁慕策. 基于改進(jìn)Faster-RCNN模型的粘蟲板圖像昆蟲識別與計數(shù)[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報, 2019, 24(5): 115-122.

ZHANG Yinsong, ZHAO Yindi, YUAN Muce. Insect identification and counting based on an improved Faster-RCNN model of the sticky board image[J]. Journal of China Agricultural University, 2019, 24(5): 115-122.

[21] 張文達(dá), 許悅雷, 倪嘉成, 等. 基于多尺度分塊卷積神經(jīng)網(wǎng)絡(luò)的圖像目標(biāo)識別算法[J]. 計算機(jī)應(yīng)用, 2016, 36(4): 1033-1038.

ZHANG Wenda, XU Yuelei, NI Jiancheng, et al. Image target recognition method based on multi-scale block convolutional neural network[J]. Journal of Computer and Applications, 2016, 36(4): 1033-1038.

[22] 田壯壯, 占榮輝, 胡杰民, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像目標(biāo)識別研究[J]. 雷達(dá)學(xué)報, 2016, 5(3): 320-325.

TIAN Zhuangzhuang, ZHAN Ronghui, HU Jiemin, et al. SAR ATR based on convolutional neural network[J]. Journal of Radars, 2016, 5(3): 320-325.

[23] 黃潔, 姜志國, 張浩鵬, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像艦船目標(biāo)檢測[J]. 北京航空航天大學(xué)學(xué)報, 2017, 43(9): 1841-1848.

HUANG Jie, JIANG Zhiguo, ZHANG Haopeng, et al. Ship detection in remote sensing images using convolutional neural network[J]. Journal of Beijing University of Aeronautics and Astronautics, 2017, 43(9): 1841-1848.

[24] 林剛, 王波, 彭輝, 等. 基于改進(jìn)Faster-RCNN的輸電線巡檢圖像多目標(biāo)檢測及定位[J]. 電力自動化設(shè)備, 2019, 39(5): 213-218.

LIN Gang, WANG Bo, PENG Hui, et al. Multi-target detection and location of transmission line inspection image based on improved Faster-RCNN[J]. Electric Power Automation Equipment, 2019, 39(5): 213-218.

[25] 張中寶, 王洪元, 張繼, 等. 基于Faster-RCNN的遙感圖像飛機(jī)檢測算法[J]. 南京師大學(xué)報(自然科學(xué)版), 2018, 41(4): 79-86.

ZHANG Zhongbao, WANG Hongyuan, ZHANG Ji, et al. Airplane detection in remote sensing image based on Faster-RCNN algorithm[J]. Journal of Nanjing Normal University(Natural Science Edition), 2018, 41(4): 79-86.

[26] YANG J F, WAN J H, MA Y, et al. Oil spill hyperspectral remote sensing detection based on DCNN with multi-scale features[J]. Journal of Coastal Research, 2019, 90: SI, 332-339.

[27] GUO H, WU D, AN J. Discrimination of oil slicks and lookalikes in polarimetric SAR images using CNN[J]. Sensors, 2017(17), 1837.

[28] NIETO-HIDALGO M, GALLEGO A J, GIL P, et al. Two-stage convolutional neural network for ship and spill detection using SLAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5217-5230.

[29] 杜偉娜. 基于恒虛警率和幾何特征的SAR影像海洋溢油檢測方法研究[D].阜新: 遼寧工程技術(shù)大學(xué), 2015.

DU Weina. Research on marine oil spill detection method using SAR image based on CFAR and geometric features[D]. Fuxin: Liaoning Technical University, 2015.

[30] TZUTALIN. LabelImg. Git code. [CP/OL]. [2018-04-18]. https: //github.com/tzutalin/labelImg.

[31] EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The Pascal visual object classes (VOC) challen-ge[J]. International Journal of Computer Vision, 2010, 88: 303-338.

[32] 朱宗斌. SAR海洋溢油監(jiān)測多源信息融合研究[D]. 青島: 中國海洋大學(xué), 2015.

ZHU Zongbin. Study of multi-source information fusion on SAR ocean oil spill detection[D]. Qingdao: Ocean University of China, 2015.

[33] HU M K. Visual pattern recognition by moment invariants[J]. Information Theory, 1962, 8(2): 179-187.

[34] 洪繼光. 灰度-梯度共生矩陣紋理分析方法[J].自動化學(xué)報, 1984, 10: 2225.

HONG Jiguang. Gray level-gradient cooccurrence matrix texture analysis method[J]. Acta Automatica Sinica, 1984, 10: 2225.

[35] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39: 1137-1149.

[36] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]// BENGIO Y, LECUN Y. International Conference on Learning Representations. Lille, France: University of Oxford, 2015: 1-14.

[37] BODLA N, SINGH B, CHELLAPPA R, et al. Soft- NMS - Improving object detection with one line of code[C] // IEEE.Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 5561-5569.

[38] 石立堅. SAR及MODIS數(shù)據(jù)海面溢油監(jiān)測方法研究[D]. 青島: 中國海洋大學(xué), 2008.

SHI Lijian. Sea surface oil spill detection method by SAR and MODIS[D]. Qingdao: Ocean University of China, 2008.

[39] 吳丹妮. 基于PolSAR海面溢油和類似溢油區(qū)的分類研究[D]. 大連: 大連海事大學(xué), 2018.

WU Danni. Study on discrimination of oil slicks and lookalikes in polarimetric SAR images using CNN[D]. Dalian: Dalian Maritime University, 2018.

[40] 飛思科技產(chǎn)品研發(fā)中心. 神經(jīng)網(wǎng)絡(luò)理論與MATLAB 7實現(xiàn)[M]. 北京: 電子工業(yè)出版社, 2005.

[41] 王棟. SAR圖像海面溢油檢測技術(shù)研究[D]. 長沙: 國防科技大學(xué), 2014.

WANG Dong. Study of oil spill detection technology in SAR imagery[D]. Changsha: National University of Defense Techology, 2014.

Oil spill detection method for SAR images based on the improved Faster R-CNN model

ZHANG Tian-long1, 2, 3, GUO Jie1, 2, 4

(1. CAS Key Laboratory of Coastal Environmental Processes and Ecological Remediation, Yantai Institute of Coastal Zone Research, Chinese Academy of Sciences (CAS), Yantai, Shandong 264003, China; 2. Shandong Key Laboratory of Coastal Environmental Processes, Yantai Institute of Coastal Zone Research, CAS, Yantai, Shandong 264003, China; 3. University of Chinese Academy of Sciences, Beijing 100049, China; 4. Center for Ocean Mega-Science, CAS, Qingdao 266071, China)

Oil spill emergency work needs to detect oil spills accurately in synthetic aperture radar (SAR) images. To reduce the influence of human factors on oil spill detection accuracy in the SAR image feature extraction and selection processes, the Faster R-CNN model is introduced and improved in this study. Because of the various shapes of oil spills and the complex background, the VGG16 convolutional network with consistent structure and strong practicability is selected to obtain the image features. The Soft-NMS algorithm is used to optimize the Faster R-CNN model. On the basis of the same dataset, the most frequently used geometric, gray, and texture features of SAR images were extracted to build the backpropagation (BP) artificial neural network oil spill detection model, which is compared with the method proposed in this study. The experimental results show that the detection rate of the improved Faster R-CNN model is 0.78, and the false alarm rate is lower than 0.25. Compared with the BP artificial neural network method, the identification and detection rates of the improved Faster R-CNN model are increased by 4% and 5%, respectively, and the oil spill false alarm rate is decreased by 5%.

SAR; Faster R-CNN; oil spill detection; BP neural network

Apr. 6, 2020

P76

A

1000-3096(2021)05-0103-10

10.11759/hykx20200406001

2020-04-06;

2020-05-11

國家重點(diǎn)研發(fā)計劃項目(2017YFC1405600); 國家自然科學(xué)基金(42076197); 國家自然科學(xué)基金(41576032)

[National Key Research & Development Program of China, No. 2017YFC1405600; National Science Foundation of China, No. 42076197; National Science Foundation of China, No. 41576032]

張?zhí)忑?1994—), 男, 山東淄博人, 碩士研究生, 研究方向: 海洋微波遙感應(yīng)用, 電話: 0535-2109192, E-mail: tlzhang@yic.ac.cn; 過杰(1965—), 女,通信作者, 河南開封人, 研究員, 研究方向: 海洋微波遙感及應(yīng)用, 電話: 0535-2109192, E-mail: jguo@yic.ac.cn

(本文編輯: 叢培秀)