利用柔性注意力分割模型的X頻段航海雷達圖像海面溢油檢測*

周 慧,嚴鳳龍,褚 娜,陳明華,劉振宇

(大連東軟信息學(xué)院 a.軟件學(xué)院;b.計算機學(xué)院,遼寧 大連 116023)

0 引 言

目前全球海運業(yè)的快速發(fā)展,因碰撞導(dǎo)致的溢油事故頻發(fā),非法排污、管道破裂頻發(fā)也增加了海上交通環(huán)境中石油泄漏的風(fēng)險[1]。海上漏油呈現(xiàn)一種全球現(xiàn)象,無論是在開闊水域還是近海,都是重大環(huán)境污染問題[2]。海面溢油快速有效檢測對海上交通安全、搜救、應(yīng)急響應(yīng)、修復(fù)海洋環(huán)境等具有重要意義。

傳統(tǒng)的海面溢油監(jiān)測方式為航拍或者實地調(diào)查,但是這種方法需要投入大量的人力物力。在過去幾十年,衛(wèi)星遙感、雷達等技術(shù)手段常用于檢測和鑒定溢油事故或海上溢油污染。目前合成孔徑雷達(Synthetic Aperture Radar,SAR)是常見的有效監(jiān)視溢油的衛(wèi)星遙感工具,采用模式識別技術(shù)、模糊邏輯法或是神經(jīng)網(wǎng)絡(luò)識別技術(shù)識別暗區(qū)是否為油膜[3],但需要事先知道溢油地點,有一定的局限性,且使用成本較高。

海洋雷達由于其高時空分辨率逐漸發(fā)展為海洋遙感傳感器[4]。與激光熒光、光學(xué)傳感器和合成孔徑雷達等需要專用設(shè)備或昂貴的衛(wèi)星圖像的溢油檢測方法相比,船用雷達廣泛安裝在船舶上,可以在較低成本下獲得遙感數(shù)據(jù)且方便快捷。在海洋雷達圖像中,溢油區(qū)域的后向散射信號強度比鄰近水域弱,這種現(xiàn)象可用于檢測溢油[5]。目前的航海雷達溢油識別方法包括專家解譯、C-V 水平集方法、閾值法等。其中,專家解譯[6]是采用人工標繪的方法,選出油膜信息,其手段效率較低,且結(jié)果具有主觀性;C-V水平集方法[7]可以利用人工初始窗口的模板,自動檢測油膜的邊緣,提高了油膜識別的效率,但是在圖像噪聲處理不佳或者海浪回波信號不穩(wěn)定時,經(jīng)常會錯誤地識別油膜區(qū)域;閾值法[8]對灰度圖像進行處理,利用閾值進行一次或多次的圖像二值化來判定油膜位置,但是閾值需要人為預(yù)先設(shè)定。

為了實現(xiàn)自動化溢油檢測并提高檢測準確率,圖像分割方法開始用于多源遙感圖像海面溢油檢測,如基于閾值分割的方法、分水嶺算法、基于邊緣信息的檢測方法等[9]。雖然這些方法都在克服溢油區(qū)域難以區(qū)分的問題,但是其分類識別效果依然較差。

近年來,深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用于計算機視覺領(lǐng)域[10],尤其在圖像分類方面獲得了突破性的成功。在溢油圖像檢測領(lǐng)域,Chen等人[11]采用DeepLab V3分割模型監(jiān)控海面溢油區(qū)域。大部分研究主要是采用深度學(xué)習(xí)的分類模型判斷是否溢油,而無法準確估算溢油區(qū)域。

為了提高溢油區(qū)域邊界分割的精確度,本文以X頻段航海雷達為研究對象,提出了一種基于柔性注意力機制的分割模型用于溢油圖像分割。該模型基于特征金字塔的分割模型,引入通道域的柔性注意力,給每個通道上都增加一個權(quán)重,用于表示該通道與油膜暗區(qū)信息的相關(guān)度;同時采用像素級別的分割打分函數(shù)作為評價分割區(qū)域質(zhì)量的指標,有利于精確分割海面溢油區(qū)域。

1 基于柔性注意力機制的圖像分割模型

1.1 基于FPN目標檢測的分割模型

遙感圖像的海面溢油區(qū)域普遍存在斑噪聲和強度不均的現(xiàn)象。X頻段海洋雷達圖像中許多暗區(qū)會被分類成溢油區(qū)域,因此溢油區(qū)域的識別有較大難度。溢油分割模型為了取得較好的效果,將分割分為兩步,即檢測和分割,先確定溢油區(qū)域(Region of Interest,ROI),再進行小區(qū)域的分割。本文以特征金字塔模型(Feature Pyramid Network,FPN)為主干網(wǎng)絡(luò),輸入的圖像經(jīng)過特征金字塔模型,產(chǎn)生不同層次的特征并聚合,實現(xiàn)多尺度特征融合[12],如圖1所示。其中,高層次的特征包括較多的語義信息,低層次對應(yīng)位置信息,然后對不同特征層進行上采樣操作,并對上采樣結(jié)果進行疊加,實現(xiàn)溢油圖像分割。

圖1 多尺度特征融合

在生成的特征圖上通過滑動窗口操作找到感興趣區(qū)域。首先在{P1,P2,P3,P4}特征映射層上以每個像素點為中心,分別分配不同像素面積和不同長寬比的錨點框,即為生成的大量候選框;然后計算候選框與目標真實框的交并比(Intersection over Union,IoU),保留IoU大于閾值的候選框或者IoU最大值作為ROI。通過減少ROI與目標真實框的誤差,實現(xiàn)定位與分類。

目標檢測模型在進行定位和分類識別時,每一個卷積層都包含了卷積和池化處理,即“下采樣”,圖像的像素信息變小,特征得以提取,有利于實現(xiàn)目標識別;但是像素信息變小,也會導(dǎo)致在部分情況下如存在噪聲、其他暗區(qū)等,目標對象檢測框定位不準確。目標分割是將完成了識別和定位功能的下采樣圖像擴充至原來的大小,輸出的結(jié)果圖像與原始圖像大小一致,并且包括信息標注,指明了每一個像素可能的分類。相對于目標檢測,補充的分割模型可以精確地分割油膜邊緣,如圖2所示。

圖2 基于FPN目標檢測的分割模型

計算ROI對應(yīng)的特征映射層iconv(m,n);通過轉(zhuǎn)置卷積進行上采樣,得到輸出矩陣deconv(m＇,n＇);從iconv(m,n)到deconv(m＇,n＇)上采樣2s倍,s為ROI映射的特征層數(shù),則

式中:kernelsize為卷積核大小;零填充參數(shù)padding設(shè)為1;步長參數(shù)stride=2s。不同特征層通過轉(zhuǎn)置卷積上采樣得到的deconv(m＇,n＇)與原圖像大小一致,對不同層的上采樣圖像進行疊加操作即得到分割結(jié)果圖像。

1.2 引入柔性注意力機制

為了提升特征對圖像的表達能力,在目標檢測模型FPN中針對不同尺度的特征映射層,采用柔性注意力機制來捕獲不同通道圖之間的特征依賴關(guān)系,計算所有通道圖的加權(quán)值。特征權(quán)重向量w通過學(xué)習(xí)用來顯式地建模特征通道間的相關(guān)性。

首先輸入任意一個H×W×C的特征層F,然后分別進行空間的全局平均池化AvgPool和最大池化MaxPool,池化大小為H×W,得到兩個1×1×C的通道描述行向量Favg和Fmax。共享兩個全連接層(Total Fully Connected,TFC),采用Relu激活函數(shù),擬合通道之間的復(fù)雜相關(guān)性。再將得到的兩個通道描述行向量相加,經(jīng)過Sigmoid 激活函數(shù)得到1×1×C的特征權(quán)重向量w,將原始的特征層(H×W×C)和特征權(quán)重向量w進行全乘操作,得到不同通道重要性不一樣的特征層,如圖3和圖4所示。在重新生成的特征圖上通過滑動窗口操作找到感興趣區(qū)域,并完成圖像分割。

圖3 柔性注意力機制

圖4 在FPN中引入柔性注意力機制

2 語義分割評價指標

在圖像分割任務(wù)中,大多數(shù)實例分割框架都采用實例分類的置信度作為分割質(zhì)量分數(shù)。但是用于評價分割實例與真實框之間的交并比IoU[13],通常與分類分數(shù)相關(guān)性不強。在溢油檢測的研究中,不但關(guān)心油膜檢測,還關(guān)心溢油的區(qū)域,因此分割結(jié)果的質(zhì)量至關(guān)重要。在評價語義分割模型時,分割結(jié)果的質(zhì)量也是最重要的。

目前大多數(shù)實例分割打分函數(shù),如Mask RCNN[14],實例分割結(jié)果的分數(shù)與候選框分類置信度共享。候選框分類置信度只用于區(qū)分候選框的語義類別,而不知道實例分割結(jié)果的實際質(zhì)量和完整性,因此并不能很好地度量分割結(jié)果質(zhì)量。

本文定義Smask作為分割任務(wù)的評價指標。Smask可以從像素級別來評價語義分割結(jié)果與真實框的 Mask IoU。溢油檢測任務(wù)中,Smask主要評價識別為油膜的區(qū)域其語義分割的質(zhì)量。

Smask為像素級別的語義分割任務(wù)分數(shù),針對語義分割結(jié)果的預(yù)測值與真實值交并比:

式中:Nii表示油膜被預(yù)測為油膜的像素數(shù)量,Nij表示油膜被預(yù)測為非油膜的像素數(shù)量,Nji表示非油膜被預(yù)測為油膜的像素數(shù)量。

3 實驗分析

3.1 數(shù)據(jù)集

2010年7月16日大連發(fā)生溢油事故,大量原油泄漏。大連海事大學(xué)“育鯤輪” 于7月21日在海面進行溢油采樣,航線如圖5所示。安裝在“育鯤輪”上的X頻段海洋雷達來自 Sperry Marine(英國倫敦總部),天線為波導(dǎo)隙縫天線,距離分辨率為3.75 m,方位分辨率為0.1°,溢油雷達圖像掃描半徑探測距離設(shè)置為1.389 km,其他主要參數(shù)如表 1 所示。

圖5 溢油采樣航線

表1 X頻段航海雷達主要參數(shù)

圖6顯示了2010年7月21日23∶19掃描半徑為0.75 nmile的雷達圖像示例,圖7是轉(zhuǎn)換后的X頻段航海雷達圖像。同時實驗進行了數(shù)據(jù)增強,包括平移、翻轉(zhuǎn)、旋轉(zhuǎn)等。圖像數(shù)據(jù)劃分為背景和溢油區(qū)域。

圖6 原始X頻段航海雷達圖像

圖7 轉(zhuǎn)換后的X頻段航海雷達圖像

3.2 實驗過程

實驗平臺為Ubuntu16.0,GPU為NVIDIA Tesla V100,開發(fā)平臺為Paddle X。語義模型在實驗過程中,經(jīng)驗學(xué)習(xí)率均為0.000 01,batch_size均為24,每次迭代隨機排列數(shù)據(jù)集。在圖像分割任務(wù)中,利用交叉熵損失函數(shù)。分類損失函數(shù)Lcls(pi,ui)=-lnpiui,pi為每個預(yù)測目標的概率分布,且如果計算候選框為正標簽,則ui=1;如果為負標簽,則ui=0;語義分割損失函數(shù)也是基于像素點計算的二進制交叉熵分類損失函數(shù),即判斷像素為前景或背景。每個分割結(jié)果包含Npixel個像素點,故Lmask是針對某個選中ROI,其分割結(jié)果的所有像素點的二進制交叉熵損失均值,即

式中:yj為前景或背景,pj為對應(yīng)的概率。損失函數(shù)收斂如圖8所示。

圖8 損失函數(shù)收斂

使用VGG19、ResNet50和FPN分別作為主干網(wǎng)絡(luò),FCN為檢測器,對海面溢油進行分割檢測,并采用Smask作為評價指標。如表2所示,引入柔性注意機制計算通道加權(quán),在不同的主干網(wǎng)絡(luò)下,檢測器平均性能提升6.54%。

表2 海面溢油檢測模型Smask對比

由表2檢測模型分割評價指標的對比結(jié)果可以看出,VGG作為主干網(wǎng)絡(luò)的FCN分割模型,溢油檢測準確率為60.12%,引入柔性注意力機制后,溢油檢測準確率提升了7.95%。在引入柔性注意力機制的同時,將FCN分割模型的主干網(wǎng)絡(luò)換為FPN,檢測效果進一步提升,溢油檢測準確率達到85.77%,說明在FPN主干模型融合多尺度語義特征的基礎(chǔ)上,利用柔性注意力機制計算每個特征通道的權(quán)重,建立特征通道間的相關(guān)性,能有效地改進語義分割模型,提升溢油檢測準確率。

圖9為海面溢油分割結(jié)果,可見本文所提出的方法由于引入了柔性注意力機制,計算暗區(qū)與通道信息的關(guān)聯(lián)度,因此分割效果較好。

圖9 海面溢油分割結(jié)果

3.3 與其他模型對比

將本文模型在所建立的數(shù)據(jù)集上與其他圖像分割模型進行對比,Smask作為評價指標,對比結(jié)果如表3所示。PSPNet模型的Smask值為77.06%,該模型也采用了金字塔池化模塊聚合不同區(qū)域的上下文信息,結(jié)合了多尺度特性提升了圖像分割性能。DeepLab V3+分割模型的Smask值為78.18%,主要是通過引入條件隨機場提升邊緣劃分的準確率,進而提升檢測準確率。Attention U-net語義分割模型的Smask值為83.78%,該模型同樣引入了注意力機制,是一種基于注意力的門控結(jié)構(gòu),故提升了分割準確率。本文提出的用于溢油檢測語義分割模型與其他較新的分割模型相比,性能有了一定的提升,Smask值達到85.77%。

表3 不同分割模型Smask對比

圖10為航海雷達圖像的海面溢油檢測結(jié)果對比圖。航海雷達溢油工控機接收到海浪回波信號后,形成海雜波信息的原始信號圖像數(shù)據(jù),而航海雷達原始數(shù)據(jù)中常含有同頻干擾,導(dǎo)致分類難度增加。由圖10可見,PSPNet模型基本正確檢驗,但是有部分較少的區(qū)域未被檢測出來;DeepLab V3+模型和Attention U-net捕獲了邊界的細節(jié),但是檢測較為分散;本文模型采用的主干網(wǎng)絡(luò)為目標檢測網(wǎng)絡(luò),先對每個溢油區(qū)域進行檢測,然后在檢測出來的區(qū)域中再進行語義分割,即按照實例進行語義分割,分割準確率有明顯提升,同時在生成卷積特征圖時引入柔性注意力機制,計算各通道的權(quán)重值,對目標精細分割較強,進一步提升了檢測準確率。

圖10 雷達圖像溢油分割結(jié)果

4 結(jié)束語

本文提出了一種基于柔性注意力機制的分割模型,以基于特征金字塔的目標檢測模型為主干網(wǎng)絡(luò)與語義分割模型相結(jié)合,引入通道域的柔性注意力,給每個通道上都增加一個權(quán)重,用于表示該通道與油膜暗區(qū)信息的相關(guān)度,克服了衛(wèi)星圖像對海面溢油監(jiān)測的分類較差的問題,提升了捕獲目標精細細節(jié)的能力。通過X頻段航海雷達圖像對海面溢油區(qū)域進行監(jiān)測,在本文所建立的數(shù)據(jù)集上分割指標值達到了85.77%,對于遙感圖像的溢油分類效果均較好,改進的模型對海洋環(huán)境修復(fù)及查看海面污染程度具有重要的意義。但是本文搭建的網(wǎng)絡(luò)模型,訓(xùn)練過程依賴大量的標記圖像,這就需要大量的有相關(guān)經(jīng)驗的人力且會受到人為主觀因素的影響。因此,下一步將重點研究基于弱監(jiān)督學(xué)習(xí)的分割模型,以提高算法的可行性。