結(jié)合視覺顯著性和EfficientNetV2的艦船目標(biāo)檢測方法

梁秀雅，馮水春，陳紅珍

1.中國科學(xué)院國家空間科學(xué)中心復(fù)雜航天系統(tǒng)綜合電子與信息技術(shù)重點實驗室，北京 100190

2.中國科學(xué)院大學(xué)計算機科學(xué)與技術(shù)學(xué)院，北京 100049

基于海量的數(shù)據(jù)源對海上艦船目標(biāo)進行智能檢測與識別是一項重要的任務(wù)，在民用上可以輔助港口船舶管理、海上秩序維護，在軍用上可以輔助戰(zhàn)場態(tài)勢感知、目標(biāo)智能分析。與合成孔徑雷達[1]和紅外圖像相比，可見光遙感圖像更加直觀，為目標(biāo)識別提供清晰豐富的圖像細節(jié)，易于提取目標(biāo)特性。光學(xué)遙感衛(wèi)星獲取速度快、分辨率高、重訪周期短的特點導(dǎo)致短時間內(nèi)獲得超大數(shù)據(jù)量的信息，且遙感圖像幅度大，面對不同的干擾場景，保證艦船目標(biāo)檢測算法的準確率以及快速性極具挑戰(zhàn)。目前基于光學(xué)遙感圖像的艦船檢測主要面臨以下挑戰(zhàn)：

（1）背景干擾容易造成艦船目標(biāo)的虛警和漏檢。海面上存在海雜波、霧氣、云層等復(fù)雜環(huán)境的干擾，增加了艦船檢測的難度，海面環(huán)境干擾的時變性也給背景噪聲的抑制帶來困難。

（2）寬幅遙感圖像稀疏艦船目標(biāo)的檢測效率低下。航空圖像的拍攝距離較遠，目標(biāo)只占整幅圖像的很小的一部分，檢測和識別方法對于海面上稀疏的艦船目標(biāo)，采用傳統(tǒng)的滑動窗口技術(shù)檢測效率低，無法滿足實時性要求。

（3）檢測和識別算法對尺度和旋轉(zhuǎn)的適應(yīng)性問題有待解決。不同拍攝視角、拍攝距離以及目標(biāo)朝向使得航空圖像中的海面目標(biāo)存在尺度多變性和旋轉(zhuǎn)多變性。

（4）算法復(fù)雜程度和運算效率制約了其在工程上的應(yīng)用。模型大部分計算量和體積都很大，受限于設(shè)備的計算資源和電池容量，只能運行在高性能的服務(wù)器上。

現(xiàn)有的傳統(tǒng)艦船目標(biāo)檢測方法大多分為感興趣區(qū)域（region of interest，ROⅠ）提取與虛警判別兩個階段。在第一階段主要分為兩種方法，第一種基于灰度信息統(tǒng)計特征的方法通過尋找目標(biāo)和背景之間的灰度差異，設(shè)定合理的閾值，有效提取出感興趣區(qū)域。如Shuai等[2]通過二值分割算法選取閾值，Leng 等[3]采用OTSU 分割算法來區(qū)分潛在的目標(biāo)像素和雜波像素。該類方法計算工作量小，當(dāng)艦船目標(biāo)和背景的灰度差異明顯時效果較好，但是其適應(yīng)能力和魯棒性較差，難以適應(yīng)復(fù)雜場景。第二種方法執(zhí)行滑動窗口，對整幅圖像遍歷搜索，能夠大大降低漏檢率，如Zhou等[4]利用多尺度滑動窗口從測試圖像中獲取patch。采用滑動窗口暴力搜索的方式來進行區(qū)域提取，產(chǎn)生的候選區(qū)域較多。由于海面艦船目標(biāo)分布稀疏，檢測算法對每一區(qū)域同等對待，計算效率較低。現(xiàn)有目標(biāo)檢測方法很難在保證質(zhì)量的同時，保持較快的速度。由此可見，選擇適當(dāng)?shù)腞OⅠ來消除或減輕不相關(guān)背景的影響是非常必要的步驟。為了解決這個問題，視覺顯著性模型在ROⅠ檢測領(lǐng)域引起了廣泛關(guān)注[5]。

在第二階段，大多數(shù)傳統(tǒng)的算法利用船舶特征和候選分類器剔除虛假警報。該階段的關(guān)鍵問題是找到有效的描述符來描述艦船目標(biāo)。通常選擇的主要特征包括局部二值模式（local binary patterns，LBP）、尺度不變特征轉(zhuǎn)換（scale-invariant feature transform，SⅠFT）特征、方向梯度直方圖特征（histogram of oriented，HOG）等。由于圖像中的艦船目標(biāo)方向是任意的，因此旋轉(zhuǎn)不變目標(biāo)檢測具有重要的意義。Yang 等[6]利用Structure-LBP特征來表征艦船的固有拓撲結(jié)構(gòu)從而判別真實艦船目標(biāo)。Dong 等[7]提出一種結(jié)合方向梯度直方圖（HOG）和傅里葉基的旋轉(zhuǎn)不變描述子，以區(qū)分船舶和非船舶。分類器主要使用支持向量機（support vector machine，SVM）、自適應(yīng)增強（adaptive boosting，AdaBoost）、貝葉斯等進行分類識別。該類方法通過手工設(shè)計提取特征，過程較為繁瑣，且對目標(biāo)的多樣性變化魯棒性不強。

深度神經(jīng)網(wǎng)絡(luò)具備強大的特征提取與處理能力，研究者們嘗試用深度學(xué)習(xí)的方式進行艦船檢測。深度學(xué)習(xí)方法檢測主要分為基于候選區(qū)域的方法與基于回歸的方法。基于候選區(qū)域的方法以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（region based convolutional neural network，R-CNN）、Faster R-CNN為代表，屬于兩階段檢測算法。R2-CNN[8]設(shè)計了輕量級主干Tiny-Net來進行特征提取，并采用先判斷、后定位的方式，濾除掉沒有目標(biāo)的子圖像塊?；貧w方法以YOLO（you only look once）、SSD（single shot multibox detector）為代表，將檢測看作回歸任務(wù)。史文旭等[9]在SSD 基礎(chǔ)上添加反卷積和池化特征模塊融合深淺層信息，增強目標(biāo)特征之間的關(guān)聯(lián)以實現(xiàn)艦船目標(biāo)檢測。陳冬等[10]改進YOLOv3網(wǎng)絡(luò)，引入對艦船目標(biāo)比例和形狀自適應(yīng)的可形變卷積進行艦船目標(biāo)檢測。以上都屬于Anchor-based算法，此類方法存在著正負樣本不均衡以及超參數(shù)過多的問題。隨著Anchor-Free方法的流行，CornerNet、CenterNet等對目標(biāo)的關(guān)鍵點進行預(yù)測。Chen等[11]提出了一種端到端的全卷積Anchor-Free網(wǎng)絡(luò)，預(yù)測船頭、船尾以及艦船中心3類關(guān)鍵點及角度，利用關(guān)鍵點生成艦船包圍框。深度學(xué)習(xí)艦船目標(biāo)檢測方法能夠有效提取高層語義特征，然而訓(xùn)練需要豐富的數(shù)據(jù)集，數(shù)據(jù)集的樣本數(shù)量嚴重影響網(wǎng)絡(luò)檢測能力[12]，并且網(wǎng)絡(luò)中大規(guī)模的權(quán)值參數(shù)會消耗大量的計算和內(nèi)存資源。

基于上述分析，海面艦船目標(biāo)檢測算法應(yīng)具有較強的抗干擾能力與適應(yīng)性，具有較低的計算量，同時滿足工程上的實時應(yīng)用，以實現(xiàn)復(fù)雜海洋環(huán)境下艦船目標(biāo)的高實時在線提取。視覺顯著性檢測是對人類視覺和認知系統(tǒng)的模擬，而深度學(xué)習(xí)則是對人類大腦計算方式的模擬[13]，本文將二者結(jié)合，檢測框架如圖1所示。方案采用由粗到細的思想：快速篩選，精細鑒別。在感興趣區(qū)域提取階段，提出基于小波變換的多尺度四元傅里葉變換相位譜模型（wavelet transform multiscale PQFT，WT-MPQFT），利用多尺度小波分解得到方向增強且噪聲抑制的多尺度圖，改進原始四元數(shù)，引入對比度特征，通過四元數(shù)傅里葉變換及反變換生成顯著圖，引入Gini指數(shù)自適應(yīng)調(diào)整顯著圖的相對權(quán)重。模型不僅能在復(fù)雜的海洋背景下快速獲得較為完整的ROⅠ，大大減少虛警，并且也可以檢測到較小的艦船目標(biāo)，降低漏警率。得到顯著性映射后，進行二值分割提取目標(biāo)候選區(qū)域。在目標(biāo)識別階段，利用輕量化的識別模型EfficientNetV2進行目標(biāo)判別，提高準確率。

圖1 海面艦船目標(biāo)檢測框架Fig.1 Detection framework of ship targets on sea

1 視覺顯著性檢測

1.1 相關(guān)工作

視覺顯著性檢測主要分為基于任務(wù)驅(qū)動的自頂向下模型和基于數(shù)據(jù)驅(qū)動的自底向上模型兩種?；谌蝿?wù)驅(qū)動的自頂向下模型利用一些高級語義知識來指導(dǎo)檢測過程，屬于一種根據(jù)任務(wù)自覺計算特征的高級認知過程，沒有通用的模型，計算成本較高。如Song[14]提出一種區(qū)域顯著性檢測（AⅠRSD）方法來快速搜索大尺度低分辨率圖像中的ROⅠ?；跀?shù)據(jù)驅(qū)動的自底向上模型通常基于圖像進行顯著性分析，根據(jù)是否進行頻域變換，分為空間域模型或變換域模型?？臻g域模型包括ⅠTTⅠ、基于注意力的信息最大化模型（AⅠM）、局部對比模型（LC）、上下文感知模型（CA）等。變換域模型在頻域空間利用頻域特性完成視覺顯著性的檢測。典型的變換域模型包括譜殘差模型（SR）、基于四元傅里葉變換相位譜模型（PQFT）、超復(fù)數(shù)傅里葉變換模型（HFT）等。相比于空間域模型，變換域顯著性模型計算量小，在目標(biāo)檢測領(lǐng)域應(yīng)用較廣。如丁榮莉等[15]基于譜殘差法對圖像進行增強以提取目標(biāo)候選區(qū)域，Nie 等[16]構(gòu)建了一種新的基于四元數(shù)超復(fù)傅里葉變換的視覺顯著性檢測方法來定位ROⅠ。也有研究者將空頻域相結(jié)合進行顯著性檢測，如黎經(jīng)元等[17]利用元胞自動機算法融合空域顯著特征和頻域顯著特征構(gòu)建顯著圖。大多數(shù)的顯著性算法都在特定的環(huán)境下效果較好，針對復(fù)雜海面地貌、干擾背景下的光學(xué)遙感圖像艦船目標(biāo)檢測問題一直是研究的熱點。

1.2 PQFT算法

PQFT 算法構(gòu)建由強度、顏色和運動特征組成的四元數(shù)表示圖像中每一個像素點，將傅里葉變換的維度從二維擴展為四維，并取四元數(shù)四維傅里葉變換結(jié)果的相位譜進行反變換得到最終的顯著性結(jié)果。PQFT算法流程分為三步：

（1）構(gòu)建四元數(shù)特征

其中，t表示時刻信息，M(t)表示運動特征，RG(t)、BY(t)為人腦正常接受的顏色特征，I(t)為亮度特征，ψ1,ψ2,ψ3相互正交且ψ3=ψ1ψ2。r(t),g(t),b(t)是彩色圖像的三個通道，利用下式將其擴展至廣義調(diào)諧紅、綠、藍、黃顏色通道：

由此可得運動特征M，顏色特征RG、BY以及亮度特征I的表達式：

由于本文研究的光學(xué)遙感圖像為靜態(tài)圖像，沒有時刻信息，故公式（1）表示為：

化簡表達式：

（2）四元數(shù)特征傅里葉變換

對q(x,y)、f1(x,y)、f2(x,y)進行傅里葉變換，得到如下公式，其中i=1,2：

公式（16）為Q[u,v] 的指數(shù)表示形式，其中?表示相位：

（3）保留相位譜進行四元數(shù)反傅里葉變換，高斯平滑得到顯著圖

其中，q2(x,y)為四元數(shù)特征反傅里葉變換結(jié)果。F?i[u,v](i=1,2 )為Q[u,v] 的振幅譜‖Q[u,v] ‖設(shè)定為1后的相位分量，f?i(x,y)(i=1,2 )為對應(yīng)相位譜的反傅里葉變換結(jié)果。最終顯著圖S(x,y)由公式（19）得到，其中，G(x,y)為高斯濾波器。

2 WT-MPQFT視覺顯著性檢測

PQFT算法應(yīng)用于海面艦船目標(biāo)感興趣區(qū)域提取有如下優(yōu)點：頻域顯著性檢測算法速度較快，滿足海面艦船檢測的實時性要求；有效突出艦船目標(biāo)所在區(qū)域的顯著性，與背景進行區(qū)分；可以抑制部分背景信息的干擾[18]。但也存在著一些問題，該算法對圖像分辨率和目標(biāo)尺寸較敏感，尤其是基于傅里葉變換域的顯著性模型，在不同尺寸圖像上的艦船目標(biāo)檢測結(jié)果不穩(wěn)定，顯著圖相差較大；當(dāng)存在小目標(biāo)，目標(biāo)與背景對比度較低，對比度相差較大的目標(biāo)存在時，容易造成大量的漏檢，丟失目標(biāo)影響檢測精度；由于光學(xué)遙感圖像為靜態(tài)圖像，無運動信息，原四元數(shù)中的Move 信息為0，將導(dǎo)致PQFT 的提取精度降低。

針對上述問題，提出一種基于改進PQFT算法的顯著圖檢測方法—WT-MPQFT，算法流程如圖2所示。本算法主要包括6個步驟：首先對輸入圖像進行二維多尺度小波分解，利用得到的小波分解系數(shù)進行圖像方向特征增強，對增強后的各尺度圖利用不同特征構(gòu)建四元數(shù)，進行四元數(shù)傅里葉變換及反變換得到多尺度顯著圖，最后引入Gini 指數(shù)自適應(yīng)調(diào)整顯著圖的相應(yīng)權(quán)重，進行級別內(nèi)多尺度和不同級別間的顯著圖融合。所提出算法的詳細流程如圖3所示，通過WT-MPQFT方法進行感興趣區(qū)域定位后，利用OTSU算法提取目標(biāo)候選區(qū)域得到艦船切片，最終利用識別網(wǎng)絡(luò)進行虛警剔除，確定艦船目標(biāo)。

圖2 WT-MPQFT算法流程Fig.2 Procedure for WT-MPQFT algorithm

圖3 算法的詳細流程Fig.3 Detailed flow of proposed algorithm

2.1 二維多尺度小波分解

小波變換作為一種多分辨率分解技術(shù)，具有更加直觀、高效的描述框架和多分辨率分析能力?；谛〔ㄗ儞Q的空頻域分析，小波系數(shù)可以有效地表達，檢測不同頻帶和帶寬的信號，且噪聲的小波系數(shù)值則隨著尺度加大而逐漸減小。每級的二維小波變換都會將圖像分解成四部分，分別是低頻子帶圖像，水平細節(jié)、垂直細節(jié)和對角細節(jié)三個高頻子帶圖像。小波的這一特性對于圖像顯著目標(biāo)檢測具有重要意義，一方面低頻圖像剔除了圖像的部分冗余信息，另一方面高頻圖像具有方向性，故將其作為顯著特征中的方向信息進行應(yīng)用。對于輸入的圖像，在不同顏色通道的進行多級小波變換，生成圖像的各級分解系數(shù)?？紤]到濾波尺寸、計算時間和處理效果，選用Haar 小波基分解圖像。設(shè)置分解最大級數(shù)為3，如公式（20）所示：

其中，WTj是第j級小波分解函數(shù)，(x,y)是輸入圖像的像素位置坐標(biāo)，c代表輸入圖像的顏色通道，c∈{R,G,B},f c(x,y)表示輸入圖像的c通道圖像，、、WVc(j)、WDc(j)分別表示c通道j分解級數(shù)上的圖像近似、水平、垂直、對角線方向的小波系數(shù)。對R通道的圖像進行分解，前三級結(jié)果如圖4 所示，可以看出隨著分解級數(shù)的增加，圖像的細節(jié)特征會隨著分解級數(shù)的增多而相對減少，且噪聲小波系數(shù)減小。

圖4 R通道三級小波分解結(jié)果Fig.4 R channel three-level wavelet decomposition results

2.2 方向特征增強

艦船目標(biāo)的顯著性是不同于其周圍分布的，該區(qū)域會在小波域中的某個尺度、方向和顏色通道上凸顯出來。本文提出的模型在不同的顏色通道（R、G、B），不同尺度（3個分解層數(shù)），以及不同方向（垂直、水平、對角線）利用分解的小波系數(shù)來有效表達艦船目標(biāo)區(qū)域與背景的差異，抑制噪聲的同時增強方向特征，過程如圖5所示。

圖5 基于小波系數(shù)的方向特征增強過程Fig.5 Procedure for directional feature enhancement based on wavelet transform

對于輸入圖像，分別在R、G、B 三個顏色通道進行二維多尺度小波分解，獲得圖像的近似信息和細節(jié)信息。對不同顏色通道的各小波系數(shù)進行圖像融合后，將近似小波系數(shù)分別與各個方向小波細節(jié)系數(shù)相乘以增強各方向特征，Ex為x方向增強后的系數(shù)，如公式（21）所示：

結(jié)果如圖6 所示，圖（a）列為輸入圖像，圖（b）～（d）列為不同分解尺度下增強后的效果。該方法有效地抑制了背景噪聲，同時增強了艦船目標(biāo)的方向特性。

圖6 方向增強且噪聲抑制效果Fig.6 Effect of direction enhancement and noise suppression

2.3 顯著圖生成

對于增強后的各級圖像構(gòu)建四元數(shù)，視覺對于圖像對比度較為敏感，在構(gòu)建過程中引入對比度特征，以降低目標(biāo)與背景對比度較低時的漏檢率，同時較高對比度對于圖像的清晰度、層次表現(xiàn)都有較大提升，有利于顯著信息生成。利用Gamma 增強圖像對比度信息，對比度表達式如下：

式中，fin為輸入圖像，當(dāng)gamma＞1 時，較亮的區(qū)域灰度被拉伸，較暗的區(qū)域灰度被壓縮，圖像整體變暗，經(jīng)過實驗gamma取1.5效果較好。同樣提取RG、BY、亮度特征I完成四元數(shù)構(gòu)建：

四元數(shù)傅里葉變換后保留相位譜進行反變換，高斯平滑后得到顯著圖，如公式（19）所示，其中G(x,y)公式如下：

通過構(gòu)建不同高斯平滑因子下的一系列顯著圖，從中選出最佳顯著圖。圖7（a）為輸入圖像，圖（b）為無平滑，圖（c）～（e）為不斷增加高斯平滑系數(shù)。從圖中可以看出若平滑因子偏小，顯著性目標(biāo)出現(xiàn)斷點，若平滑因子偏大，會導(dǎo)致多個相鄰目標(biāo)的顯著性區(qū)域重合，以上兩種情況都不利于后續(xù)顯著性區(qū)域的提取。以圖像平面為xy平面，將像素灰度值作為z軸坐標(biāo)，將原圖與平滑后的顯著圖，進行三維立體化，以更好地觀察變換后的效果，如圖7（f）～（j）所示。通過分析選擇高斯平滑系數(shù)為5，其平滑后的顯著性圖效果最佳。

圖7 不同高斯平滑因子下的顯著圖Fig.7 Saliency map of different Gaussian smoothing factors

2.4 多尺度顯著圖融合

對于各個級別圖像生成顯著圖時，采用多尺度方式，以增強小目標(biāo)檢測效果，減少漏檢，增強對目標(biāo)尺寸變化的適應(yīng)性。如圖8（a）為原始圖像，包含6 只艦船，圖（b）～（d）為不同尺度下采樣顯著圖結(jié)果，根據(jù)對比可以發(fā)現(xiàn)，下采樣的尺度偏小，會導(dǎo)致小目標(biāo)顯著性消失，大目標(biāo)顯著性增強，下采樣的尺度偏大，能夠提升小目標(biāo)的顯著性，但同時易受到物體表面紋理的影響，艦船內(nèi)部紋理影響目標(biāo)突顯的完整性，內(nèi)部不連通則不利于目標(biāo)整體的分割?？紤]不同尺度對大小目標(biāo)的檢測的差異，結(jié)合多個尺度特征進行融合，以達到更好的檢測效果，結(jié)果如圖8（e）所示，可以完全檢測到所有小目標(biāo)，同時不受艦船紋理影響，保證個體內(nèi)部連通性。

圖8 多尺度顯著圖結(jié)果Fig.8 Results of multi-scale saliency map

融合相同級別的不同尺度顯著圖后，需要對不同級別的顯著圖進行級別間的融合，提高對不同尺寸的輸入圖像的適應(yīng)能力，如圖9所示。

圖9 不同尺度及不同級別間顯著圖融合Fig.9 Fusion of saliency maps of different scales and levels

在進行顯著圖融合時，引入Gini指數(shù)以調(diào)整各顯著圖S的相應(yīng)權(quán)重。

基尼指數(shù)反映的是數(shù)據(jù)集中隨機選取兩個樣本不屬于同一類別的概率[19]。數(shù)據(jù)集越純，基尼指數(shù)越小。將顯著圖看作數(shù)據(jù)集，公式（25）中，k表示灰度級，Y=255,pk表示取值為k的像素點占總像素數(shù)的比例。由基尼指數(shù)的定義可知，當(dāng)顯著圖中只存在較高的目標(biāo)像素和較低的背景像素時，基尼指數(shù)較小。而存在由復(fù)雜背景產(chǎn)生的中間灰度級時，基尼指數(shù)變大。顯著圖融合公式如下：

圖10 不同尺度顯著圖及融合結(jié)果Fig.10 Saliency maps of different scales and fusion results

3 目標(biāo)候選區(qū)域提取

通過WT-MPQFT模型獲得的融合顯著圖能夠有效抑制海雜波等環(huán)境干擾，對較小目標(biāo)以及尺度適應(yīng)性較強，產(chǎn)生較少的候選區(qū)域，最終提取候選區(qū)域需要對顯著圖進行分割。通過對視覺上具有顯著性的物體進行像素級分割，可以獲得感興趣的實例[20]。顯著圖中顯著性灰度分布均勻，采用自適應(yīng)閾值OTSU法對顯著圖進行二值分割，對于每幅顯著圖（均值為m），利用閾值t將其分為前景A和背景B，其平均值分別為mA和mB，使用最大類間方差作為判斷依據(jù)，公式如下：

式中，pi為像素數(shù)類別為i的占總像素數(shù)的比例。選擇使g取值最大的t作為最優(yōu)閾值T，進行二值化，公式為：

圖11 為2 m 分辨率下復(fù)雜背景圖像的ROⅠ提取。利用WT-MPQFT 模型生成的顯著圖如圖11（c）列所示。圖11（e）列為自適應(yīng)分割得到的分割結(jié)果。原圖與最終的顯著圖三維立體化進行對比，如圖11（b）列和（d）列所示，可以看出本文提出的模型對背景如云霧、海雜波、艦船尾跡抑制效果較好。

圖11 復(fù)雜背景下目標(biāo)候選區(qū)域提取結(jié)果Fig.11 Target candidate region extraction results under complex background

4 目標(biāo)判別

在ROⅠ提取階段可以有效抑制一些海面背景的干擾，但是由于海況的復(fù)雜性，遙感圖像數(shù)據(jù)中可能存在與艦船目標(biāo)相似的干擾如碎云、島嶼、波浪等，導(dǎo)致候選區(qū)域提取結(jié)果中除艦船目標(biāo)外可能存在虛警，利用輕量化模型EfficientNetV2 識別艦船目標(biāo)，進一步剔除虛警。EfficientNetV2 網(wǎng)絡(luò)采用感知神經(jīng)結(jié)構(gòu)搜索技術(shù)（neural architecture search，NAS）結(jié)合復(fù)合模型擴張方法聯(lián)合優(yōu)化模型精度、訓(xùn)練速度和參數(shù)大小，自動將網(wǎng)絡(luò)的深度、寬度和輸入圖像分辨率3個參數(shù)進行合理配置，提升網(wǎng)絡(luò)的性能[21]。同時采用改進的漸近學(xué)習(xí)方法，根據(jù)訓(xùn)練圖像的尺寸動態(tài)調(diào)整正則方法（dropout、rand augment、mixup），可以提升訓(xùn)練速度、準確率。本文采用的EfficientV2-S 網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示，在淺層卷積使用Fused-MBConv，深層卷積使用深度可分離卷積MBConv。MBConv模塊由1×1的升維卷積、3×3的深度卷積、SE（squeeze-and-excitation）注意力模塊和1×1的降維卷積搭建而成，而Fused-MBConv模塊則是將MBConv中的1×1 的升維卷積、3×3 的深度卷積替換成一個普通的3×3卷積結(jié)構(gòu)，如圖12所示。

表1 EfficientV2-S網(wǎng)絡(luò)結(jié)構(gòu)Table 1 EfficientNetV2-S network architecture

圖12 MBConv和Fused-MBConv結(jié)構(gòu)圖Fig.12 Structure diagram of MBConv and Fused MBConv

SE 模塊由壓縮（Squeeze）和激勵（Excitation）兩部分組成，如圖13所示。W、H、C分別表示特征圖寬、高以及通道數(shù)，輸入特征圖的大小為W×H×C。

圖13 SE模塊結(jié)構(gòu)圖Fig.13 Structure diagram of SE module

SE模塊首先對輸入特征圖進行Squeeze操作，利用全局平均池化將同一個通道上的整個空間特征壓縮為一個全局特征。Excitation 操作，通過兩個全連接層將得到的全局特征進行通道間關(guān)系轉(zhuǎn)換為權(quán)重系數(shù)，使模型對不同通道間的特征具有不同的辨別能力。Scale操作，將計算出來的各通道權(quán)重值分別和原特征圖對應(yīng)通道的二維矩陣相乘，輸出結(jié)果。

將本文使用的EfficientV2-S 網(wǎng)絡(luò)模型與其他模型進行對比，結(jié)果如表2所示，EfficientV2-S具有較少的參數(shù)量以及較低的計算量，具有較好的性能。

表2 模型性能對比Table 2 Model performance comparison

訓(xùn)練樣本來自GF-2 號和Google Earth 遙感圖像。首先人工的從大量的圖像集中制作出1 210 個切片，其中590 個艦船、300 個云、180 個島嶼和140 其他虛警切片，將這些樣本進行了標(biāo)識，輸入到EfficientNetV2網(wǎng)絡(luò)中進行訓(xùn)練，部分樣本如圖14所示。

圖14 艦船和虛警數(shù)據(jù)部分樣本Fig.14 Partial sample of ship and false alarm data

5 實驗結(jié)果

為了驗證提出模型的性能，從主觀和客觀兩個方面進行測試，遙感圖像來自GF-2 衛(wèi)星和Google Earth，分辨率為2 m。利用labelimg構(gòu)建數(shù)據(jù)集，一共包共含389遙感圖片，共623 個艦船目標(biāo)，不同大小的船舶目標(biāo)處于各種海洋背景下，如重云、陰影、船舶尾跡、海岸線、小島和珊瑚礁等。

5.1 顯著性模型主觀評價

將本文提出的顯著性模型與其他典型的空間域及變換域顯著性模型在不同的復(fù)雜環(huán)境下進行比較，如圖15所示。在云霧覆蓋的情況下，ⅠTTⅠ、HC、FT模型受到云霧影響較大，SR 模型不受云霧影響，但是顯著性目標(biāo)不完整，內(nèi)部不連續(xù)存在斷點，提出的模型（WTMPQFT）與PQFT 模型相比目標(biāo)的顯著性明顯增強；由第三行可以看出，在對比度差異較大的艦船目標(biāo)同時存在的情況下，較暗目標(biāo)在SR和WT-MPQFT模型中可以較好的被檢測到，而在其他模型中顯著性消失或變?nèi)?；對于海面存在海雜波的情況（第四行），F(xiàn)T和WT-MPQFT模型能夠不受海雜波的影響，有效突出艦船目標(biāo)；由第五行可以看出，ⅠTTⅠ、HC、SR 模型對艦船尾跡的抑制效果較差，WT-MPQFT模型的抑制效果最好；當(dāng)海面存在小目標(biāo)時，提出的模型與PQFT 模型相比，小目標(biāo)的顯著性明顯增強，能夠降低漏檢。在各種復(fù)雜環(huán)境下提出的改進模型與標(biāo)準方法進行對比，抑制噪聲、減少虛警和檢測小目標(biāo)的能力如表3所示。綜上所述，相比于其他先進的模型，本文提出的模型提無論在目標(biāo)檢測的準確性還是完整性上，都在視覺上獲得了所有顯著性模型中最好的結(jié)果，其優(yōu)點如下：

表3 各顯著模型性能對比Table 3 Performance comparison of saliency algorithms

圖15 不同顯著模型在復(fù)雜環(huán)境下顯著圖對比Fig.15 Comparison of saliency maps of different saliency models in complex environments

（1）在各種復(fù)雜環(huán)境下都可以保持較好的檢測效果，對背景抑制強，能夠有效抑制云、霧、海雜波、艦船尾跡等復(fù)雜環(huán)境的干擾，能夠產(chǎn)生較少的候選區(qū)域。

（2）準確地檢測出鄰近艦船目標(biāo)，不會出現(xiàn)團聚現(xiàn)象，目標(biāo)區(qū)分度強。

（3）可以均勻凸顯對比度差異較大的艦船目標(biāo)，能夠準確檢測到小目標(biāo)。

（4）提取到的艦船目標(biāo)顯著性的灰度均勻，輪廓分明，內(nèi)部完整性好，有利于后續(xù)的艦船候選區(qū)域的提取工作。

此外，為了測試模型對輸入圖像尺寸的適應(yīng)性，在不同像素大小的圖像上驗證顯著性模型的性能。由于大多數(shù)顯著性模型利用輸入圖像的底層特征構(gòu)建的顯著圖，這些特征對尺寸較為敏感，導(dǎo)致不同尺寸的圖像，其顯著性檢測結(jié)果可能存在較大差異。選擇速度較快的SR模型與本文提出的模型進行比較。輸入圖像分辨率分別為300×300、500×500、1 000×1 000。SR 模型和WT-MPQFT模型的檢測結(jié)果如圖16所示。

圖16 不同大小圖像檢測顯著圖結(jié)果對比Fig.16 Comparison of saliency map detection results of images with different sizes

從兩組結(jié)果中可以看出，隨著輸入圖像尺寸的增大，SR模型對背景的抑制能力變?nèi)?，且檢測到目標(biāo)的顯著性信息越來越少，檢測性能變差，即SR模型受到尺寸影響較大，對尺度適應(yīng)性較弱。由于WT-MPQFT 進行基于小波變換的多尺度、多方向分析，以及級別內(nèi)和級別間的多尺度融合，其對不同尺寸圖像的檢測效果較好，受輸入圖像尺寸的影響較小，有效抑制背景噪聲的同時能夠完整地凸顯目標(biāo)，即提出的模型對尺度適應(yīng)性較強。

5.2 顯著性模型客觀評價

為準確定量對算法的性能評價，除了主觀觀察外，還需引入客觀評價指標(biāo)[22]。從顯著性檢測精度和計算速度兩方面，將本文模型與其他5種顯著性模型進行了驗證。為了評估顯著性模型檢測到的艦船目標(biāo)區(qū)域的完整性和精度，采用ROC-AUC度量來定量評價。人工標(biāo)記ground-truth 圖像作為評價和分析的標(biāo)準，真值圖G為二值圖，以輸入圖像中船舶區(qū)域的精確船體作為先驗信息。不斷改變顯著性映射的閾值T，顯著性值大于閾值的像素被視為目標(biāo)，而圖像中其余的像素被視為背景，得到二值圖像S。將S與對應(yīng)的G進行比較，同時屬于G和S的像素稱為真正例（true positive，TP），屬于G和不屬于S的像素稱為假負例（false negative，F(xiàn)N），不同時屬于G和S的像素稱為真負例（true negative，TN），不屬于G而屬于S的像素稱為假正例（false positive，F(xiàn)P）。通過改變閾值得到真陽性率（TPR）和假陽性率（FPR）多組值，F(xiàn)PR 作為橫坐標(biāo)，TPR 作為縱坐標(biāo)，繪制ROC圖。TPR和FPR計算公式如下：

繪制ROC曲線如圖17（a）所示，同時計算了各個模型的area under the curve（AUC）。ROC 曲線越靠近左上角，顯著性模型的性能越好?？梢钥吹絎T-MPQFT模型的ROC 曲線高于其他5 個模型。為了更直觀地對比，各個模型的AUC 值如圖17（b）所示。模型的AUC值越接近1，顯著性檢測性能越好，從圖中可以看出，WT-MPQFT模型的AUC值明顯高于其他五個模型。

圖17 不同顯著模型的ROC曲線和AUC值Fig.17 ROC curves and AUC values of different saliency models

艦船檢測需要滿足時效性需求，對不同算法進行時間分析是非常必要的。本文所有實驗是在Ⅰntel Core 2.20 GHz處理器和8 GB內(nèi)存的PC機上進行的，代碼實驗平臺為Matlab R2020a。對于不同像素大小的遙感圖像，各算法求取海面艦船顯著圖平均運行時間如表4所示。

表4 各顯著模型對于不同大小圖像的運行時間Table 4 Computational time of saliency algorithms for images of different sizes單位：s

相比于空間域模型ⅠTTⅠ，變換域模型的速度更快，且圖像尺寸越大，兩者時間差別越明顯。從結(jié)果可知，SR、PQFT 模型的速度較快，由于本文的改進模型進行了小波變換以及多尺度融合，雖然時間上稍有增加，但其檢測準確率較高，對背景抑制能力更強，且仍比HC以及ⅠTTⅠ模型速度快，更好地平衡了速度與精度。

5.3 整體算法性能比較

使用準確率Ar、虛警率Fr以及漏警率Mr作為評價指標(biāo)，定義為：

式中，Nd表示正確檢測到的艦船數(shù)量，Nt表示數(shù)據(jù)集中艦船總數(shù)，Nf表示檢測到的虛警數(shù)，Nm表示未檢測到的艦船總數(shù)。

本文提出的視覺顯著性檢測方法在不同海面場景下的檢測性能如表5 所示。在平靜的海面檢測效果最好，準確率高達0.99，虛警率僅為5.45，在其他復(fù)雜的海況下同樣可以保持較高的準確率，由于厚云、島嶼、大海浪等環(huán)境的干擾，會產(chǎn)生較多的虛警，但可以保持較低的漏警率。

表5 提出的方法在不同海面場景下的性能Table 5 Performance of proposed method on different sea surfaces

第一階段候選區(qū)域提取和第二階段目標(biāo)識別的結(jié)果如表6所示。從第一階段的檢測結(jié)果來看，本文的區(qū)域提議算法保證了檢測精度，經(jīng)過第二階段的目標(biāo)識別去除虛警目標(biāo)，保留真實的艦船目標(biāo)。圖18 顯示了一些典型的艦船檢測結(jié)果，被探測到的船只用紅框標(biāo)出。

表6 提出的艦船檢測框架檢測結(jié)果Table 6 Detection results of proposed ship detection scheme

圖18 整個算法的檢測結(jié)果Fig.18 Detection results of overall algorithm

將本文提出的整個艦船檢測方法與其他檢測方法進行比較，結(jié)果如表7所示。

表7 不同方法的準確率對比Table 7 Comparison of accuracy of different methods單位：%

6 結(jié)論

本文針對實際應(yīng)用中遙感圖像海面艦船目標(biāo)檢測問題，提出了一種結(jié)合視覺顯著性和EfficientNetV2 的光學(xué)遙感圖像海面艦船目標(biāo)快速精準檢測新方法。通過改進PQFT算法，利用小波分解的方向系數(shù)得到方向特征增強且噪聲抑制的多尺度圖，引入對比度特征改進原始四元數(shù)，通過四元數(shù)傅里葉變換對候選區(qū)域進行快速定位，能夠有效抑制噪聲，減少虛警，感興趣區(qū)域分布均勻完整，通過引入Gini指數(shù)自適應(yīng)調(diào)整顯著圖的相對權(quán)重、多尺度顯著圖融合以適應(yīng)尺度變化并增強小目標(biāo)的顯著性，降低漏檢，利用EfficientNetV2更精準地描述艦船目標(biāo)特征進行識別。實驗結(jié)果表明，該方法能夠在不同的海洋背景下得到較好的檢測效果，具有較高的檢測精度和魯棒性。