結(jié)合層次化搜索與視覺殘差網(wǎng)絡(luò)的光學(xué)艦船目標(biāo)檢測(cè)方法

徐安林，杜 丹*，王海紅，張 強(qiáng)，李雅哲

1 北京跟蹤與通信技術(shù)研究所，北京 100094；

2 北京市遙感信息研究所，北京 100192

1 引言

光學(xué)遙感具有成像清晰、分辨率高、偵察范圍廣的優(yōu)勢(shì)，尤其對(duì)目標(biāo)視覺特性具有較好的表征。近年來(lái)，隨著傳感器與成像技術(shù)的日益提高，高分系統(tǒng)所獲取的圖像數(shù)據(jù)中目標(biāo)細(xì)節(jié)更加豐富，與海面對(duì)比度更加強(qiáng)烈，基于海量數(shù)據(jù)的艦船目標(biāo)預(yù)判也更加復(fù)雜，對(duì)艦船目標(biāo)檢測(cè)算法提出了更高的要求。為提高信息獲取時(shí)效性，利用光學(xué)目標(biāo)特性和遙感圖像解譯技術(shù)，完成遙感圖像海面艦船目標(biāo)快速篩選和自動(dòng)檢測(cè)，已成為未來(lái)高分光學(xué)數(shù)據(jù)艦船目標(biāo)快速檢測(cè)的必然要求。

目前高分光學(xué)圖像艦船檢測(cè)方法主要有三類，基于區(qū)域分割的檢測(cè)技術(shù)[1-3]、基于變換域的檢測(cè)技術(shù)[4-6]和基于深度學(xué)習(xí)的檢測(cè)技術(shù)[7-8]?；趨^(qū)域分割的檢測(cè)技術(shù)基本思想是利用艦船目標(biāo)與周圍海域在灰度、紋理上的差異性，構(gòu)造局部區(qū)域增強(qiáng)算法和自適應(yīng)閾值迭代算法獲取分割閾值，再利用該閾值對(duì)原始圖像進(jìn)行分割，獲得艦船候選區(qū)域。例如：文獻(xiàn)[9]引入域內(nèi)一致性、域間差異性和形狀復(fù)雜度3 個(gè)指標(biāo)對(duì)艦船進(jìn)行分割提?。换谧儞Q域的檢測(cè)技術(shù)將時(shí)域中難以有效分離的艦船目標(biāo)在小波域或頻域進(jìn)行重構(gòu)，從而增加目標(biāo)的區(qū)分性。例如：文獻(xiàn)[10]提出了一種基于小波變換的光學(xué)遙感圖像目標(biāo)檢測(cè)算法，該算法能有效地去除噪聲和干擾；基于深度學(xué)習(xí)的檢測(cè)技術(shù)基本思想為借助深度學(xué)習(xí)強(qiáng)大的特征提取能力構(gòu)建專用檢測(cè)骨干基礎(chǔ)網(wǎng)絡(luò)，結(jié)合檢測(cè)head 和位置回歸策略實(shí)現(xiàn)艦船目標(biāo)的檢測(cè)。例如：對(duì)R-FCN 中的特征提取網(wǎng)絡(luò)ResNet 進(jìn)行混合尺度卷積核處理，利用R-FCN 提取海洋艦船目標(biāo)。以上檢測(cè)技術(shù)均利用艦船、虛警、海背景三者之間的差異性對(duì)艦船進(jìn)行提取和鑒別，但遙感圖像場(chǎng)景復(fù)雜、隨機(jī)，存在較多的噪聲和干擾，上述算法難以有效平衡檢測(cè)性能和處理效率之間的關(guān)系，難以實(shí)現(xiàn)高效、準(zhǔn)確的艦船檢測(cè)。

針對(duì)光學(xué)遙感圖像特點(diǎn)及上述存在的問題，本文提出了一種結(jié)合層次化搜索與視覺殘差網(wǎng)絡(luò)的光學(xué)艦船目標(biāo)檢測(cè)方法，通過基于紋理積分圖的海陸分割處理、基于多尺度局部結(jié)構(gòu)特征的候選區(qū)提取技術(shù)、基于多維度視覺特征的層次化虛警剔除技術(shù)、基于視覺殘差網(wǎng)絡(luò)的精細(xì)化虛警剔除技術(shù)實(shí)現(xiàn)光學(xué)艦船低虛警、低漏檢、高效檢測(cè)處理。算法流程如圖1 所示。

2 本文檢測(cè)算法

2.1 基于紋理積分圖的海陸分割技術(shù)

本文所重點(diǎn)關(guān)注的艦船目標(biāo)均分布在海面上，大視場(chǎng)光學(xué)遙感圖像中存在大規(guī)模無(wú)效陸地區(qū)域，給艦船檢測(cè)帶來(lái)大量虛警干擾和運(yùn)算負(fù)擔(dān)。因此，在對(duì)艦船進(jìn)行檢測(cè)之前，需借助海陸分割算法對(duì)陸地區(qū)域進(jìn)行有效屏蔽。

圖1 本文檢測(cè)算法流程圖Fig.1 The flow chart of the detection algorithm in this paper

本文采用基于紋理積分圖的海陸分割技術(shù)實(shí)現(xiàn)以上任務(wù)需求，該技術(shù)利用海面與陸地區(qū)域在梯度紋理上的差異性對(duì)兩種典型地物類型實(shí)現(xiàn)有效分離。為排除高紋理艦船目標(biāo)對(duì)區(qū)域分割帶來(lái)的影響，首先對(duì)原始圖像進(jìn)行32 倍均值降采樣處理，該操作也可進(jìn)一步減少紋理分割的運(yùn)算負(fù)擔(dān)。

其次，對(duì)降采樣后的圖像進(jìn)行紋理積分圖重繪，步驟如下：

1) 對(duì)降采樣后的圖像進(jìn)行逐點(diǎn)梯度計(jì)算，獲得梯度圖像；

2) 構(gòu)造3×3 的滑動(dòng)窗口，對(duì)梯度圖像進(jìn)行紋理積分圖重繪，即窗口覆蓋區(qū)域像素以該區(qū)域像素點(diǎn)灰度均值進(jìn)行重新賦值，得到最終紋理積分圖。

最后，利用均值雙峰迭代算法對(duì)所獲得的紋理積分圖進(jìn)行自適應(yīng)分割閾值求取，并根據(jù)求取的分割閾值對(duì)紋理積分圖進(jìn)行二值化分割，得到海陸分割模板。根據(jù)模板對(duì)陸地區(qū)域?qū)?yīng)的像素進(jìn)行屏蔽，海陸分割結(jié)果如圖2 所示。

2.2 基于多尺度局部結(jié)構(gòu)特征的候選區(qū)提取技術(shù)

遙感圖像中艦船目標(biāo)往往稀疏分布，從大視場(chǎng)海面中快速、準(zhǔn)確地分離出艦船候選區(qū)域，是保證艦船檢測(cè)率的重要前提。傳統(tǒng)的目標(biāo)候選區(qū)提取技術(shù)往往基于艦船灰度顯著高于周域海洋背景這一假設(shè)前提設(shè)計(jì)提取策略，對(duì)海面弱暗目標(biāo)或涂裝目標(biāo)區(qū)域提取效果不佳。分析可知，艦船目標(biāo)的能量在局部背景中具有較強(qiáng)的顯著性，即艦船在局部范圍內(nèi)與背景有較大差異?；诖?，本文設(shè)計(jì)基于多尺度局部結(jié)構(gòu)特征的候選區(qū)提取策略，一方面增強(qiáng)艦船目標(biāo)與周圍海域的對(duì)比度關(guān)系，另一方面可有效提取各種海況等級(jí)下的艦船目標(biāo)，流程如圖3 所示。

本文構(gòu)造兩個(gè)具有良好表征能力的局部結(jié)構(gòu)特征，即局部方差和局部熵。該特征可以有效地表征圖像局部窗口內(nèi)灰度分布的復(fù)雜情況，但是其作用效果與所選尺度有關(guān)，當(dāng)尺度較小或較大時(shí)都可能無(wú)法正確反映局部區(qū)域內(nèi)灰度分布的變化情況。本文構(gòu)造的多尺度局部熵和方差計(jì)算分別為

其中：H(x,R) 代表以x為中心的局部區(qū)域R內(nèi)的熵，p(g,x,R) 代表以x為中心的局部區(qū)域R內(nèi)灰度g出現(xiàn)的概率，D(x,R) 代表以x為中心的局部區(qū)域R內(nèi)的方差，i,j代表區(qū)域R內(nèi)像素的坐標(biāo)，g(i,j) 代表像素(i,j)的灰度值，SR代表區(qū)域R內(nèi)的像素總數(shù)。

對(duì)于艦船區(qū)域，其局部熵和方差隨尺度變化所產(chǎn)生的變化量要明顯大于平緩的海面背景。本文利用多尺度下的方差與熵乘積的最大與最小值之差來(lái)表征圖像中的所有像素，進(jìn)而達(dá)到凸顯雙極性艦船區(qū)域的目的。

經(jīng)過多尺度局部結(jié)構(gòu)特征處理后，圖像中艦船目標(biāo)和其他過渡區(qū)域都得到了有效的增強(qiáng)。結(jié)合光學(xué)艦船圖像的特點(diǎn)，本文利用多尺度局部結(jié)構(gòu)特征和梯度方向方差構(gòu)建二維直方圖，通過最大類間方差法對(duì)強(qiáng)化后圖像進(jìn)行分割，并對(duì)分割后圖像進(jìn)行連通域標(biāo)記，獲得疑似目標(biāo)候選區(qū)。

2.3 基于多維度視覺特征的層次化虛警剔除技術(shù)

大幅寬遙感場(chǎng)景復(fù)雜，提取出的疑似目標(biāo)區(qū)域中夾雜大量海洋雜波、碎云以及近岸人工建筑，導(dǎo)致虛警數(shù)量多。根據(jù)虛警與艦船目標(biāo)的相似程度構(gòu)建不同復(fù)雜程度的虛警剔除策略，從而層層遞進(jìn)、高效實(shí)現(xiàn)多類型虛警剔除。虛警剔除策略主要包括：基于目標(biāo)尺度特征的剔除、基于目標(biāo)上下文特征的剔除和基于目標(biāo)紋理特征的剔除三個(gè)階段。

圖2 基于紋理積分圖的海陸分割技術(shù)流程圖。(a) 原始圖；(b) 紋理積分圖；(c) 海陸分割結(jié)果Fig.2 Flow chart of the sea and land segmentation technology based on texture integral image.(a) Original image;(b) Texture integral image;(c) Result of sea and land segmentation

1) 基于目標(biāo)尺度特征的剔除：構(gòu)建尺度濾波器對(duì)尺度過小和過大疑似目標(biāo)進(jìn)行剔除；

2) 基于目標(biāo)上下文特征的剔除：以疑似候選區(qū)為中心，選取周圍多個(gè)區(qū)域構(gòu)成共生矩陣紋理描述子，依靠決策判據(jù)進(jìn)行虛警剔除；

3) 基于目標(biāo)紋理特征的剔除：提取目標(biāo)自身多維度紋理特征，包括Gabor、LBP、共生矩陣等，輸入向量機(jī)進(jìn)行虛警剔除。本文構(gòu)造的SVM 模型和RBF 核函數(shù)如下：

式中：x i為訓(xùn)練數(shù)據(jù)得到的支持向量，個(gè)數(shù)為n；x為待判定圖像提取的特征向量，αi為第i個(gè)支持向量對(duì)應(yīng)的解，b為對(duì)應(yīng)支持向量的偏置，σ為函數(shù)的寬度參數(shù)。

2.4 基于視覺殘差網(wǎng)絡(luò)的精細(xì)虛警剔除技術(shù)

通過層次化虛警剔除，可剔除大量與艦船在形狀、尺度、紋理差異較大的虛警，但部分碎云與艦船在淺層特征上存在較為相似，難以有效鑒別。本文借助深度學(xué)習(xí)強(qiáng)大的特征提取能力對(duì)艦船進(jìn)行進(jìn)一步精細(xì)化剔除，以保障檢測(cè)過程的低虛警。本文以ResNet-18殘差網(wǎng)絡(luò)模型作為基礎(chǔ)網(wǎng)絡(luò)，引入具有特征圖選擇機(jī)制的視覺注意模塊，極大提升特征圖的利用效率，提高網(wǎng)絡(luò)的鑒別能力。

ResNet-18 網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4 所示。

網(wǎng)絡(luò)共有4 個(gè)Layer 模塊層，每一個(gè)模塊均由兩個(gè)基本殘差塊BasicBlock 組成，殘差塊構(gòu)造如圖4 下排結(jié)構(gòu)所示。其中，Layer1 殘差塊中卷積核維數(shù)為64，Layer2 殘差塊中卷積核維數(shù)為128，Layer3 殘差塊中卷積核維數(shù)為256，Layer4殘差塊中卷積核維數(shù)為512。Max pool 和Average pool 層分別為最大值池化層和均值池化層，對(duì)特征具有抽象和聚合效果。網(wǎng)絡(luò)輸出采用Fc 全連接層，在其后接Softmax 層做概率計(jì)算和類別劃分。

圖3 基于多尺度局部結(jié)構(gòu)特征的候選區(qū)提取技術(shù)流程圖。(a) 陸地屏蔽圖；(b) 增強(qiáng)圖；(c) 候選區(qū)提取結(jié)果Fig.3 Flow chart of candidate area extraction technology based on multi-scale local structural features.(a) Land shield image;(b) Enhanced image;(c) Result of candidate area

圖4 ResNet-18 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 ResNet-18 network structure diagram

本文方法在以上基礎(chǔ)結(jié)構(gòu)的基礎(chǔ)上引入視覺注意機(jī)制模塊，具體模塊構(gòu)造如圖5 所示。其中，全連接層Fc1 的通道數(shù)為16，F(xiàn)c2 的通道數(shù)為32，F(xiàn)c3 的通道數(shù)為512。尺度聚合模塊將特征圖優(yōu)選后輸出的權(quán)重系數(shù)加權(quán)到殘差網(wǎng)絡(luò)上，實(shí)現(xiàn)對(duì)鑒別特征的二次優(yōu)化。整個(gè)過程表達(dá)式：

其中：Uc為ResNet-18 最后一層中某特征圖，Sc為訓(xùn)練學(xué)到的加權(quán)系數(shù)，X1為輸出。

圖5 視覺注意機(jī)制模塊結(jié)構(gòu)圖Fig.5 Visual attention mechanism module structure diagram

3 仿真實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的有效性，基于GF2 光學(xué)遙感數(shù)據(jù)，在搭載GTX 1080Ti 顯卡的服務(wù)器上運(yùn)行本文算法，通過計(jì)算艦船目標(biāo)的性能指標(biāo)對(duì)檢測(cè)結(jié)果進(jìn)行主客觀評(píng)價(jià)。性能評(píng)價(jià)指標(biāo)采用通用經(jīng)典的檢測(cè)率和虛警率。

實(shí)驗(yàn)中選取120 景含有艦船目標(biāo)的GF2 光學(xué)遙感數(shù)據(jù)(單景大小4096×4096)，其中包括遠(yuǎn)洋海域、近岸港口、河道區(qū)域等場(chǎng)景類型及各種海況。檢測(cè)率和虛警率測(cè)試結(jié)果統(tǒng)計(jì)如表1 所示。

由表1 可看出，本文算法對(duì)各種海況下各類型場(chǎng)景的艦船目標(biāo)均具有較好的檢測(cè)效果，綜合檢測(cè)率可達(dá)92%，虛警率12.58%，且對(duì)單景圖像(4096×4096)平均處理時(shí)間0.5 s，本文算法在處理效率和處理精度上實(shí)現(xiàn)了較好的平衡。

表1 處理結(jié)果統(tǒng)計(jì)Table 1 Statistics of processing results

表2 三種算法的性能對(duì)比Table 2 Performance comparison of three algorithms

圖6 三種算法遠(yuǎn)洋海域檢測(cè)結(jié)果一。(a) 原圖；(b) Faster-Rcnn；(c) ssd；(d) 本文算法Fig.6 The first detection results of three algorithms in ocean.(a) Original image;(b) Faster-Rcnn;(c) ssd;(d) The algorithm of this paper

圖7 三種算法遠(yuǎn)洋海域檢測(cè)結(jié)果二。(a) 原圖；(b) Faster-Rcnn；(c) ssd；(d) 本文算法Fig.7 The second detection results of three algorithms in ocean.(a) Original image;(b) Faster-Rcnn;(c) ssd;(d) The algorithm of this paper

圖8 三種算法港口檢測(cè)結(jié)果一。(a) 原圖；(b) Faster-Rcnn；(c) ssd；(d) 本文算法Fig.8 The first detection results of three algorithms in port.(a) Original image;(b) Faster-Rcnn;(c) ssd;(d) The algorithm of this paper

圖10 三種算法河道水域檢測(cè)結(jié)果一。(a) 原圖；(b) Faster-Rcnn；(c) ssd；(d) 本文算法Fig.10 The first detection results of three algorithms in river.(a) Original image;(b) Faster-Rcnn;(c) ssd;(d) The algorithm of this paper

基于GF2 實(shí)測(cè)數(shù)據(jù)，利用本文算法與經(jīng)典檢測(cè)算法Faster-Rcnn、ssd(以vgg-16 作為基網(wǎng)絡(luò))對(duì)測(cè)試數(shù)據(jù)進(jìn)行檢測(cè)處理，統(tǒng)計(jì)檢測(cè)率、虛警率、處理時(shí)間三項(xiàng)性能指標(biāo)，如表2 所示。

本文算法對(duì)各種場(chǎng)景的典型檢測(cè)結(jié)果如下圖所示。

圖11 三種算法河道水域檢測(cè)結(jié)果二。(a) 原圖；(b) Faster-Rcnn；(c) ssd；(d) 本文算法Fig.11 The second detection results of three algorithms in river.(a) Original image;(b) Faster-Rcnn;(c) ssd;(d) The algorithm of this paper

由圖6、圖7 可以看出，本文算法對(duì)高海況、平靜海面、大云覆蓋下的遠(yuǎn)洋艦船均具有較好的檢測(cè)效果，且虛警剔除能力強(qiáng)；由圖8、圖9 可以看出，在近岸港口區(qū)域本文算法可有效抑制岸邊建筑帶來(lái)的虛警干擾，實(shí)現(xiàn)復(fù)雜場(chǎng)景下艦船目標(biāo)的高置信檢測(cè)；由圖10、圖11 可以看出，對(duì)于環(huán)境更為復(fù)雜、干擾因素更多的河道區(qū)域，本文算法依然可以實(shí)現(xiàn)艦船目標(biāo)的可靠檢測(cè)，且虛警數(shù)量較少。綜上所述，本文所提算法可較好兼顧處理效率和處理性能之間的平衡關(guān)系，層次化搜索策略和深度學(xué)習(xí)網(wǎng)絡(luò)的配合使用極大增加了算法的實(shí)際應(yīng)用效能。

5 結(jié)論

針對(duì)光學(xué)遙感圖像視場(chǎng)大、場(chǎng)景復(fù)雜導(dǎo)致艦船檢測(cè)過程檢測(cè)率低、虛警多的問題，從平衡檢測(cè)準(zhǔn)確性和檢測(cè)效率的角度，本文提出了一種低虛警、低漏檢、高效艦船檢測(cè)技術(shù)。該技術(shù)的優(yōu)點(diǎn)在于：1) 通過基于紋理積分圖的海陸分割技術(shù)快速屏蔽陸地區(qū)域，提升算法處理效率，同時(shí)有效地剔除陸地虛警的干擾；2)結(jié)合多尺度局部結(jié)構(gòu)特征提取目標(biāo)候選區(qū)域，較好解決低質(zhì)目標(biāo)檢測(cè)率低的問題；3) 通過層次化虛警提出策略與視覺殘差網(wǎng)絡(luò)的搭建，層層遞進(jìn)剔除各類型虛警，提高算法效率。實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)于各種海況、場(chǎng)景的艦船目標(biāo)都有較高的檢測(cè)率，準(zhǔn)確率高、處理效率高，實(shí)現(xiàn)光學(xué)遙感艦船目標(biāo)的低虛警、低漏檢檢測(cè)。