生成式知識遷移的SAR艦船檢測

婁欣，王晗，盧昊，張文馳

1.北京林業(yè)大學(xué) 信息學(xué)院,北京 100083;

2.國家林業(yè)和草原局林業(yè)智能信息處理工程技術(shù)研究中心,北京 100083

1 引言

近年來，在海洋資源管理、環(huán)境保護(hù)、水路運輸管理、船只救援、戰(zhàn)場主動防御等方面的重大需求的引導(dǎo)下，對港口及海上區(qū)域的艦船目標(biāo)檢測成為一項重要的應(yīng)用任務(wù)（Xie 等，2016）。由于合成孔徑雷達(dá)SAR（Synthetic Aperture Radar）可以全天候、全天時提供高分辨圖像，成為海上目標(biāo)檢測的一種主要途徑。SAR 圖像由于其成像機(jī)理和光學(xué)圖像差別較大，采用人工目視判讀的方法對判讀人員的經(jīng)驗水平要求較高，難以滿足海量SAR 圖像實時解譯的需求，因此研究SAR 圖像的自動目標(biāo)檢測方法在戰(zhàn)場偵察監(jiān)視、目標(biāo)識別、精確制導(dǎo)等領(lǐng)域具有重大意義。

傳統(tǒng)SAR 圖像艦船自動檢測方法中使用的特征根據(jù)具體目標(biāo)手工設(shè)計提取，如散射特性（Wang和Liu，2015），極化特征（Beltramonte 等，2020；Zhang 等，2019；Ma 等，2018）、幾何特征（Wang等，2014）、梯度方向直方圖（Xu 和Liu，2016），尺度不變特征（Demars 等，2015）等。然而，手工設(shè)計特征泛化能力較差，無法適應(yīng)復(fù)雜場景下多目標(biāo)艦船檢測任務(wù)。近年來，基于深度卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Networks）的方法在復(fù)雜背景的光學(xué)圖像目標(biāo)檢測中取得了較大的進(jìn)展（Liu 等，2016；Ren 等，2017；Redmon 和Farhadi，2018；Bochkovskiy 等，2020）?；跀?shù)據(jù)驅(qū)動的深度卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行特征提取時，通過引入卷積層，有效降低了神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，降低了數(shù)據(jù)前期的預(yù)處理要求，因此在SAR 圖像艦船目標(biāo)檢測上的效果明顯優(yōu)于傳統(tǒng)的方法（Gui等，2019；Zhang和Zhang，2019；Li等，2021）。

雖然基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測網(wǎng)絡(luò)在光學(xué)圖像中取得了很好的效果（Liu 等，2016；Girshick，2015；Ren等，2017；Redmon和Farhadi，2018；Bochkovskiy 等，2020），但由于SAR 圖像中目標(biāo)的特征分布與光學(xué)圖像中的區(qū)別顯著，在光學(xué)圖像中習(xí)得的目標(biāo)檢測網(wǎng)絡(luò)并不能很好地直接用于SAR 圖像目標(biāo)檢測任務(wù)。為了在SAR 目標(biāo)檢測任務(wù)中取得較好的泛化效果，仍然需要大量標(biāo)注數(shù)據(jù)（孫顯 等，2019）作為深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集。建立一個足夠規(guī)模的SAR 圖像數(shù)據(jù)集不僅需要耗費巨大的經(jīng)濟(jì)成本，也對標(biāo)注人員的專業(yè)水平提出了較高的要求。另一方面，獲取帶有標(biāo)注的光學(xué)遙感圖像所耗費的經(jīng)濟(jì)成本和人力需求相對較低，更易于獲取。

遷移學(xué)習(xí)（Pan和Yang，2010）通過從一些已有標(biāo)注的數(shù)據(jù)域習(xí)得知識或者模式信息，應(yīng)用于不同但相關(guān)的數(shù)據(jù)域或任務(wù)中，從而提升目標(biāo)域中任務(wù)的學(xué)習(xí)效果。由此，考慮生成與包含標(biāo)注的光學(xué)遙感圖像空間分布一致的模擬圖像從而將光學(xué)圖像中的空間標(biāo)注信息遷移至模擬圖像；同時對模擬圖像的生成過程進(jìn)行約束使其在特征上更接近于SAR 圖像，從而使在模擬圖像上習(xí)得的檢測模型能夠更好地適用于SAR 圖像中目標(biāo)檢測。為進(jìn)行知識遷移，本文首次將循環(huán)一致生成對抗損失用于生成訓(xùn)練數(shù)據(jù)，以解決沒有成對光學(xué)圖像與遙感圖像情況下進(jìn)行知識遷移的困難。同時提出恒等損失以及特征邊界決策損失，生成與帶標(biāo)注的光學(xué)遙感圖像空間分布一致且與SAR圖像相似的模擬圖像。利用生成的模擬圖像，進(jìn)一步優(yōu)化艦船檢測網(wǎng)絡(luò)，以提高基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測網(wǎng)絡(luò)的泛化性能。

綜上所述，本文提出一種基于生成式知識遷移的SAR 艦船檢測框架，該框架包含兩個模塊：知識遷移網(wǎng)絡(luò)和艦船檢測網(wǎng)絡(luò)。在知識遷移網(wǎng)絡(luò)中，提出使用循環(huán)一致生成對抗損失、恒等損失以及特征邊界決策損失，通過學(xué)習(xí)光學(xué)遙感圖像域與SAR 圖像域間的特征映射，生成包含標(biāo)注信息的模擬圖像，解決了SAR 圖像數(shù)據(jù)量不足的問題；在艦船檢測網(wǎng)絡(luò)中，通過融合具有空間標(biāo)注信息的模擬圖像和SAR 圖像對已有基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行微調(diào)，得到適用于SAR圖像域的目標(biāo)檢測網(wǎng)絡(luò)。在SAR-Ship-Detection-Datasets（SSDD）和AIR-SARShip-1.0 兩個公開數(shù)據(jù)集上的實驗結(jié)果表明，該框架有效提高了在小樣本量情況下的艦船目標(biāo)檢測效果，可顯著降低艦船在復(fù)雜背景圖像中漏檢和誤檢的概率。

2 知識遷移網(wǎng)絡(luò)

針對大量包含標(biāo)注信息的SAR圖像數(shù)據(jù)集獲取成本較高，不足量的數(shù)據(jù)難以對目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行充分有效的訓(xùn)練，提出一種知識遷移網(wǎng)絡(luò)（如圖1左側(cè)所示），通過挖掘光學(xué)遙感圖像特征空間與SAR圖像特征空間之間的映射關(guān)系，生成的模擬圖像能夠保存已有帶標(biāo)注的光學(xué)遙感圖像空間分布信息又與SAR 圖像特征分布相似。對知識遷移網(wǎng)絡(luò)的訓(xùn)練采用對抗訓(xùn)練的方式進(jìn)行，通過使用循環(huán)一致生成對抗損失，恒等損失，特征邊界決策損失對訓(xùn)練過程中的網(wǎng)絡(luò)參數(shù)優(yōu)化進(jìn)行約束。下面將逐一對每個損失函數(shù)及其作用進(jìn)行詳細(xì)介紹。

圖1 SAR圖像目標(biāo)檢測總體框架Fig.1 SAR image object detection framework

2.1 循環(huán)一致生成對抗損失

不同于傳統(tǒng)的數(shù)據(jù)轉(zhuǎn)換方式需要成對數(shù)據(jù)進(jìn)行學(xué)習(xí)（Isola 等，2017；Choi 等，2020），本文方法不依賴于成對的光學(xué)遙感圖像和SAR 圖像。為得到與光學(xué)遙感圖像空間分布一致且與SAR 圖像特征分布相似的模擬圖像，首先在知識遷移網(wǎng)絡(luò)中使用循環(huán)一致生成對抗損失（Zhu等，2017）來進(jìn)行生成。

給定光學(xué)遙感圖像域O，圖像x∈O以及SAR圖像域S，圖像y∈S。知識遷移網(wǎng)絡(luò)可以同時習(xí)得光學(xué)遙感圖像域到SAR 圖像域的映射函數(shù)G：O→S，用以生成與光學(xué)遙感圖像x對應(yīng)的模擬圖像G(x)，以及SAR 圖像域到光學(xué)遙感圖像域的映射函數(shù)F：S→O，生成與SAR 圖像y對應(yīng)的圖像F(y)。另外，使用判別器DS區(qū)分SAR 圖像y和映射函數(shù)G所生成的模擬圖像G(x)，以及判別器DO區(qū)分光學(xué)遙感圖像x和映射函數(shù)F所生成的圖像F(y)。對于映射函數(shù)G和F以及判別器DS和DO，對抗損失函數(shù)為

式中，E（*）表示分布函數(shù)的期望值，x～popt(x)與y～psar(y)分別表示光學(xué)遙感圖像域與SAR圖像域的數(shù)據(jù)分布。映射函數(shù)G 的目標(biāo)為生成的模擬圖像G(x)與圖像x空間分布信息一致且與SAR 圖像特征分布盡可能相似，而判別器DS則為最大可能區(qū)分G(x) 和SAR 圖像y。因此，希望損失函數(shù)能在最小化映射函數(shù)G的同時最大化判別器DS：minGLGAN(G，Ds，O，S)。相似的，對于映射函數(shù)F和判別器DO的優(yōu)化，可以表示為：minFLGAN(F，DO，S，O)。

為了加強(qiáng)映射函數(shù)的生成能力，認(rèn)為映射函數(shù)的學(xué)習(xí)過程應(yīng)該是循環(huán)一致的，如圖2（a）所示。在圖像生成循環(huán)過程中，對于O域的每個圖像x，G和F滿足前向循環(huán)一致可以將x還原，即x→G(x) →F(G(x)) ≈x，類似地，對于S域的圖像y，后向循環(huán)一致也可以將y還原，即y→G(y) →F(G(y)) ≈y。由此，可以得到循環(huán)一致生成對抗損失函數(shù)：

圖2 知識遷移網(wǎng)絡(luò)Fig.2 Knowledge transfer network

式中，‖· ‖1為L1范數(shù)。

2.2 恒等損失

在生成模擬圖像的過程中，不僅希望通過循環(huán)跨域變換后圖像的特征分布不變（F(G(x)) ≈x），同時還希望SAR 圖像通過自身域映射函數(shù)G映射后仍然具有與SAR 圖像相似的特征分布，即y→G(y) ≈y，域映射函數(shù)能夠在轉(zhuǎn)化過程中盡可能多的保持該SAR 圖像域的特征分布。因此，本文提出使用恒等損失（圖2（b））來約束映射函數(shù)G 使輸入SAR 圖像所生成模擬圖像的特征分布與SAR 圖像特征分布盡可能相似。同時，也使映射函數(shù)更具魯棒性，適應(yīng)更多樣的輸入數(shù)據(jù)（Taigman等，2017）。具體來說，一個真實SAR 圖像y，經(jīng)過映射函數(shù)進(jìn)行轉(zhuǎn)換后得到的樣本應(yīng)該與圖像y盡可能一致：

2.3 特征邊界決策損失

為了使G(x)所生成的模擬圖像盡可能接近SAR 圖像特征分布，同時區(qū)別于光學(xué)圖像，本文在映射函數(shù)G學(xué)習(xí)的過程中使用特征判別器Dsar（圖2（c）），判斷G 生成的模擬圖像特征分布更接近光學(xué)遙感圖像還是SAR 圖像。通過Dsar約束生成的模擬圖像使之和SAR 圖像更為“一致”，并懲罰那些特征分布更類似于光學(xué)遙感圖像的生成樣本。因此，特征邊界決策損失函數(shù)為

特征判別器Dsar的輸出為向量［p1，p2］，其中p1 表示G生成的模擬圖像與SAR 圖像域特征分布相似的置信度，p2 為與光學(xué)遙感圖像域特征分布相似的置信度。置信度較大的圖像域為判別器輸出的分類結(jié)果，即SAR 圖像或非SAR圖像。例如，若圖像在Dsar上的結(jié)果為［0.9，0.1］，則認(rèn)為這個樣本更接近于SAR 圖像特征分布。然而，如果當(dāng)生成圖像的特征不具有顯著區(qū)分性，Dsar將會輸出類似于［0.5，0.5］的模糊判決結(jié)果。為了增加特征的區(qū)分性，也就是希望特征決策邊界能夠更好地區(qū)別SAR 圖像與光學(xué)遙感圖像特征分布，我們使用特征邊界決策損失來增強(qiáng)特征的區(qū)分性，通過計算Dsar與［0.5，0.5］之間的交叉熵：

c=k表示G(x)可能的類別，即SAR 圖像域和光學(xué)遙感（OPTICAL）圖像域。Dsar(G(x))c=k表示判別器的輸出，用來預(yù)測G生成的模擬圖像屬于SAR 圖像域或光學(xué)遙感圖像域的置信度。通過最小化Lboundary可以將G 生成的模擬圖像特征分布與光學(xué)遙感圖像特征分布的決策邊界最大化。

2.4 整體損失函數(shù)表示

綜上所述，本文使用循環(huán)一致生成對抗損失，恒等損失加強(qiáng)生成的模擬圖像與SAR 域圖像的特征相似性；使用特征邊界決策損失來抑制生成特征的混淆問題。綜合式（1）—（4）、（6），可得總體損失函數(shù)：

式中，權(quán)重λ，β 和α 用以權(quán)衡各損失函數(shù)對最終生成結(jié)果的影響程度。

目標(biāo)函數(shù)：

式中，G*，F(xiàn)*為希望求解的最優(yōu)映射，固定生成映射函數(shù)G，F(xiàn)，優(yōu)化判別器DO，DS，Dsar使L最大，即使前兩個判別器盡可能區(qū)分真實圖像與映射函數(shù)生成的圖像，同時判別器Dsar最大化映射函數(shù)G生成的模擬圖像與SAR圖像的特征相似性。接著再求使得L最小的G，F(xiàn)，即固定判別器DO，DS，Dsar，盡量使兩個映射函數(shù)生成的圖像接近真實圖像，并使得生成的圖像能夠盡可能地映射到原域。

2.5 網(wǎng)絡(luò)結(jié)構(gòu)

映射函數(shù)網(wǎng)絡(luò)使用卷積和轉(zhuǎn)置卷積實現(xiàn)特征圖的下采樣和上采樣，包含4 個卷積層，9 個殘差塊（He 等，2016）（包括兩個卷積核為3×3，步長為1 的卷積層和殘差連接），2 個轉(zhuǎn)置卷積層，最后輸出與輸入圖像尺寸一致的生成圖像。判別器網(wǎng)絡(luò)使用70×70 PatchGANs（Isola 等，2017），網(wǎng)絡(luò)完全由卷積層構(gòu)成，用來判斷生成圖片中70×70 patch 是“生成的”還是“真實的”。特征判別器網(wǎng)絡(luò)結(jié)構(gòu)包括一個7×7 的卷積層，和4 個殘差塊，殘差塊包括1 個卷積核為3×3，步長為1 的卷積層，1 個卷積核為3×3，步長為2 的卷積層和殘差連接，最后使用全連接層整合圖像的特征信息得到判別結(jié)果。

3 艦船檢測網(wǎng)絡(luò)

基于優(yōu)化式（8），只需要獲得具有標(biāo)注的光學(xué)遙感圖像樣本，就可以得到增廣的帶標(biāo)注模擬圖像數(shù)據(jù)集，彌補(bǔ)了基于深度學(xué)習(xí)的目標(biāo)檢測網(wǎng)絡(luò)對于標(biāo)注樣本的需求也解決了數(shù)據(jù)域適應(yīng)性的問題。

主流的基于深度學(xué)習(xí)目標(biāo)檢測算法可分為單階段（one-stage）目標(biāo)檢測和兩階段（two-stage）目標(biāo)檢測。單階段目標(biāo)檢測算法是基于回歸的算法，使用主干網(wǎng)絡(luò)提取特征，將目標(biāo)分類和位置回歸作為整體來處理，網(wǎng)絡(luò)直接預(yù)測圖像中感興趣區(qū)域的類別和位置坐標(biāo)。此算法目標(biāo)識別精度略低，但是速度快，代表性算法包括YOLOv1（Redmon等，2016），YOLOv2（Redmon和Farhadi，2017），YOLOv3（Redmon 和Farhadi，2018），SSD（Liu 等，2016）等。兩階段目標(biāo)檢測算法是基于候選區(qū)域的算法，首先由區(qū)域提議算法生成一系列的候選區(qū)域，使用主干網(wǎng)絡(luò)提取候選區(qū)域的特征，再將提取到的特征送入分類網(wǎng)絡(luò)和預(yù)測框回歸網(wǎng)絡(luò)進(jìn)行分類和目標(biāo)定位，從而確定圖像中感興趣區(qū)域的類別和位置坐標(biāo)。此類型目標(biāo)檢測算法的識別精度高，但是速度慢，難以滿足實時性需求，代表性算法R-CNN（Girshick 等，2014）、Fast R-CNN（Girshick，2015）、Faster R-CNN（Ren等，2017）等。需要特別說明的是，本文提出模擬圖像生成方法可以用于目前主流目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集構(gòu)建工作中。

本文使用YOLOv3作為SAR圖像艦船檢測網(wǎng)絡(luò)（圖1 右側(cè)網(wǎng)絡(luò)）。YOLOv3 使用一種新的骨干網(wǎng)絡(luò)Darknet-53用于圖像特征提取，該網(wǎng)絡(luò)借鑒了深度殘差網(wǎng)絡(luò)ResNet（Deep residual network）（He 等，2016）的做法，在殘差結(jié)構(gòu)中使用了Shortcut Connections（He 等，2016）來連接殘差結(jié)構(gòu)中的不同層，從而有效抑制深層網(wǎng)絡(luò)中的梯度彌散問題。YOLOv3 作為單階段（one-stage）目標(biāo)檢測網(wǎng)絡(luò)，通過改變網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜程度來權(quán)衡速度與精度。YOLOv3 采用多尺度特征圖思想，在3 個不同尺度特征圖上提取特征，使用基于訓(xùn)練集標(biāo)注框上聚類出的9個不同大小的錨點框，來適應(yīng)不同尺寸的目標(biāo)，因此YOLOv3在不同尺寸的艦船目標(biāo)檢測中表現(xiàn)較好。

4 結(jié)果與分析

4.1 數(shù)據(jù)集及實驗環(huán)境

為了驗證本文提出方法有效性，本研究在4個數(shù)據(jù)集上進(jìn)行了實驗，分別為SEN1-2（Schmitt等，2018）（圖3第1，2行），DIOR（Li等，2020）（圖4第1行），SSDD（Li等，2017）（圖5第1行），AIRSARShip-1.0（孫顯 等，2019）（圖6 第1 行）。數(shù)據(jù)集詳細(xì)信息見表1。其中對于SEN1-2 數(shù)據(jù)集，包含282384 對呈對應(yīng)關(guān)系的光學(xué)遙感圖像與SAR圖像，隨機(jī)挑選了2047 對作為知識遷移網(wǎng)絡(luò)的訓(xùn)練集。DIOR 數(shù)據(jù)集是光學(xué)遙感圖像數(shù)據(jù)集，包含20 個類別，在含有艦船類別的圖像中隨機(jī)挑選了876 張。SSDD 數(shù)據(jù)集包含1160 張圖像，劃分訓(xùn)練集和測試集的比例為7∶3。AIR-SARShip-1.0 數(shù)據(jù)集包含31 幅3000×3000 的大圖，實驗中將其按網(wǎng)絡(luò)需求裁剪為含有艦船目標(biāo)的小尺寸圖像，劃分訓(xùn)練集和測試集的比例為7∶3。

表1 數(shù)據(jù)集詳細(xì)信息Table1 Datasets details

圖3 SEN1-2數(shù)據(jù)集樣例與知識遷移網(wǎng)絡(luò)生成的模擬圖像樣例Fig.3 Example of the SEN1-2 dataset and simulated image samples generated by the knowledge transfer network in this paper

圖4 DIOR光學(xué)圖像樣例與知識遷移網(wǎng)絡(luò)生成的模擬圖像樣例Fig.4 DIOR optical image examples and pseudo-SAR image samples generated by the knowledge transfer network

圖5 不同方法在SSDD測試集樣例上檢測結(jié)果Fig.5 Detection results of different methods on the SSDD test set examples

圖6 不同方法在Air-Sar-Ship1.0測試集樣例上檢測結(jié)果Fig.6 Detection results of different methods on the Air-Sar-Ship1.0 test set examples

實驗運行環(huán)境見表2。在訓(xùn)練知識遷移網(wǎng)絡(luò)時，所有子網(wǎng)絡(luò)使用Adam 優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率為0.0002，總共迭代訓(xùn)練200 次，總體損失函數(shù)中權(quán)重λ，β和α分別為10，0.5，0.5。艦船檢測網(wǎng)絡(luò)使用YOLOv3在ImageNet 數(shù)據(jù)集上的預(yù)訓(xùn)練模型，網(wǎng)絡(luò)使用Adam 優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率為0.01，動量為0.9，衰減率為0.0005，迭代訓(xùn)練240次。

表2 實驗運行環(huán)境Table 2 Runtime environment of our experiment

4.2 評價指標(biāo)

目標(biāo)檢測性能使用平均準(zhǔn)確率AP（Average precision）進(jìn)行度量：

式中，pinterp(rn+1)計算方式如下所示：

式中，代表在召回率下最大的準(zhǔn)確率。準(zhǔn)確率P和召回率γ的計算公式如下：

式中，TP 代表檢測結(jié)果為正樣本且真實值為正樣本的預(yù)測框數(shù)量，F(xiàn)P 代表檢測結(jié)果為正樣本但真實值為負(fù)樣本的預(yù)測框數(shù)量，F(xiàn)N 代表檢測結(jié)果為負(fù)樣本但真實值為正樣本的預(yù)測框數(shù)量。

F1 分?jǐn)?shù)是對準(zhǔn)確率和召回率的調(diào)和平均，公式為：

F1 綜合了準(zhǔn)確率和召回率的結(jié)果，當(dāng)F1 較高時，則說明模型或算法的效果比較理想。

4.3 實驗分析

將從3個方面評價本文方法的有效性，生成數(shù)據(jù)有效性評價，知識遷移網(wǎng)絡(luò)中損失函數(shù)有效性評價，艦船檢測網(wǎng)絡(luò)有效性評價。

4.3.1 生成模擬圖像有效性評價

如表3 所示，目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)為SSDD 數(shù)據(jù)集、本文知識遷移網(wǎng)絡(luò)生成的模擬圖像（圖4 第2 行）時，檢測效果提升最為明顯。使用70%的SSDD 數(shù)據(jù)集中數(shù)據(jù)、本文知識遷移網(wǎng)絡(luò)生成的模擬圖像訓(xùn)練艦船檢測網(wǎng)絡(luò)，AP 達(dá)到了97.50%。當(dāng)使用SSDD 數(shù)據(jù)集中0%，10%，20%，30%，50%的數(shù)據(jù)進(jìn)行模型訓(xùn)練時，AP 分別為64.55%，91.14%，94.69%，96.21%，96.84%，均高于對比組實驗結(jié)果。說明在知識遷移網(wǎng)絡(luò)中使用循環(huán)一致生成對抗損失，恒等損失，特征邊界決策損失，生成的模擬圖像，使目標(biāo)檢測網(wǎng)絡(luò)學(xué)習(xí)到更豐富的SAR 圖像特征信息，提升網(wǎng)絡(luò)的檢測能力。

表3 使用不同比例SSDD的訓(xùn)練數(shù)據(jù)的檢測結(jié)果Table3 Detection performance of the ship detection network trained with different proportions of SSDD/%

由于本文知識遷移網(wǎng)絡(luò)所生成的模擬圖像在表觀特征上與光學(xué)圖像直接轉(zhuǎn)換成的灰度圖相似。本文使用DIOR 數(shù)據(jù)集中光學(xué)遙感圖像直接轉(zhuǎn)換成灰度圖作為訓(xùn)練數(shù)據(jù)（表3“DIOR 灰度圖”列），進(jìn)行實驗對比。分別使用不同比例SSDD 數(shù)據(jù)中數(shù)據(jù)、本文知識遷移網(wǎng)絡(luò)生成的模擬圖像，和不同比例SSDD 數(shù)據(jù)集中數(shù)據(jù)、DIOR 灰度圖來訓(xùn)練艦船檢測模型，實驗結(jié)果表明本文生成的模擬圖像包含直接由光學(xué)圖像轉(zhuǎn)換成的灰度圖像所不具有的特性，這些特性能夠有效提升后續(xù)的目標(biāo)檢測模型的泛化性能。特別需要說明的是，從表3最后一行的結(jié)果可以看出，當(dāng)不使用任何帶有標(biāo)注的SAR 圖像數(shù)據(jù)進(jìn)行訓(xùn)練時，本文所生成的模擬圖像訓(xùn)練得到的檢測模型相比于由光學(xué)遙感圖像和灰度圖像上習(xí)得模型的AP值分別提高了14.71%和23.55%。這表明本文使用的遷移方法可以將光學(xué)圖像域中的標(biāo)注知識遷移至SAR 圖像域，同時使所習(xí)得的檢測模型更適用于SAR 圖像域的艦船檢測。

為評估本文知識遷移網(wǎng)絡(luò)生成的模擬圖像在不同數(shù)據(jù)集上對檢測結(jié)果提升的有效性，使用SSD（Liu等，2016），F(xiàn)aster R-CNN（Ren等，2017）等目前較為流行的檢測網(wǎng)絡(luò)在SSDD和AIR-SARShip-1.0 兩個數(shù)據(jù)集上的檢測結(jié)果進(jìn)行對比。其中當(dāng)目標(biāo)檢測網(wǎng)絡(luò)為YOLOv3，F(xiàn)aster R-CNN 時，輸入的AIR-SARShip-1.0 數(shù)據(jù)尺寸為500×500；當(dāng)目標(biāo)檢測網(wǎng)絡(luò)為SSD時，輸入的數(shù)據(jù)尺寸為512×512。

表4 中使用SSDD 數(shù)據(jù)訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)SSD，F(xiàn)aster R-CNN 以及Dense Faster R-CNN（Jiao 等，2018）。其他方法均分別使用70%的SSDD 數(shù)據(jù)集數(shù)據(jù)和AIR-SARShip-1.0 數(shù)據(jù)集數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，并使用余下30%的數(shù)據(jù)作為測試集。實驗結(jié)果表明，在不同目標(biāo)檢測網(wǎng)絡(luò)中，本文生成的模擬圖像在各項指標(biāo)上均有較好的表現(xiàn)。說明本文知識遷移網(wǎng)絡(luò)生成的模擬圖像與SAR 圖像具有較為相似的特征分布，目標(biāo)檢測網(wǎng)絡(luò)可以學(xué)習(xí)到更豐富的SAR艦船特征，從而提升目標(biāo)檢測的效果。

表4 使用不同數(shù)據(jù)集訓(xùn)練艦船檢測網(wǎng)絡(luò)的檢測結(jié)果Table 4 Detection performance of different ship detection networks trained with different datasets/%

使用Air-Sar-Ship1.0 數(shù)據(jù)集進(jìn)行實驗，本文的方法相較于表中其他方法在準(zhǔn)確率，召回率和F1 均有較明顯的提升。這是因為Air-Sar-Ship1.0數(shù)據(jù)集數(shù)據(jù)量較小，訓(xùn)練后的檢測模型欠擬合。而使用本文知識遷移網(wǎng)絡(luò)生成的模擬圖像、Air-Sar-Ship1.0 數(shù)據(jù)集中70%的數(shù)據(jù)作為訓(xùn)練集訓(xùn)練艦船檢測網(wǎng)絡(luò)，訓(xùn)練數(shù)據(jù)量增大，使得網(wǎng)絡(luò)模型訓(xùn)練更加充分，訓(xùn)練后的模型更接近擬合，檢測效果更優(yōu)。

如圖5，圖6 所示，第1 行為標(biāo)注框，第2 行為訓(xùn)練集為SAR 圖像和光學(xué)遙感圖像的檢測網(wǎng)絡(luò)的檢測結(jié)果，第3行為訓(xùn)練集為SAR圖像和模擬圖像訓(xùn)練檢測網(wǎng)絡(luò)的檢測結(jié)果。相較于海上，近海干擾物更多，場景更加復(fù)雜，給艦船檢測帶來了一定的困難。圖5，圖6 中可以看出在近海區(qū)域SAR 圖像中，存在一些小亮斑區(qū)域，易被誤檢為艦船，而在岸邊的真實艦船又會存在漏檢的情況。本文知識遷移生成的模擬圖像作為訓(xùn)練集訓(xùn)練艦船檢測網(wǎng)絡(luò)，使網(wǎng)絡(luò)學(xué)習(xí)到更多SAR 圖像中艦船的特征，對漏檢和誤檢均有一定程度的降低。

4.3.2 知識遷移網(wǎng)絡(luò)中損失函數(shù)有效性評價

知識遷移網(wǎng)絡(luò)不使用一致生成對抗損失時，網(wǎng)絡(luò)難以收斂，生成的模擬圖片效果較差。因此，為了驗證本文知識遷移網(wǎng)絡(luò)中恒等損失和特征邊界決策損失的有效性，本節(jié)研究在知識遷移網(wǎng)絡(luò)中使用循環(huán)一致生成對抗損失的基礎(chǔ)上，再分別使用恒等損失和特征邊界決策損失對生成的模擬圖像的影響。如表5所示，在知識遷移網(wǎng)絡(luò)中使用循環(huán)一致生成對抗損失的基礎(chǔ)上，同時使用恒等損失，特征邊界決策損失效果最優(yōu)，AP 提高了17.16%。而相比于分別使用恒等損失或特征邊界決策損失，AP 分別提高了6.38%和3%。說明本文方法，在提升目標(biāo)檢測精度上具有積極意義。

表5 知識遷移網(wǎng)絡(luò)使用不同損失函數(shù)生成的模擬圖像訓(xùn)練艦船檢測網(wǎng)絡(luò)的檢測結(jié)果Table 5 Detection performance of the ship detection network trained with simulated images the knowledge transfer network uses different loss functions generated

值得注意的是，特征邊界決策損失比恒等損失可以更好的提高知識遷移網(wǎng)絡(luò)中映射函數(shù)G的生成能力，進(jìn)而提高目標(biāo)檢測網(wǎng)絡(luò)的效果。主要原因為特征邊界決策損失約束生成的模擬圖像擁有更多接近于SAR 圖像的特征，訓(xùn)練圖像與測試圖像數(shù)據(jù)特征分布越接近，訓(xùn)練圖像對目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練效果越好。恒等損失在提高映射函數(shù)的生成能力的同時增強(qiáng)映射函數(shù)的魯棒性。在對映射函數(shù)G訓(xùn)練的過程中，不僅使用光學(xué)圖像域的數(shù)據(jù)同時也使用SAR 圖像域的數(shù)據(jù)，以保證該函數(shù)在自映射的過程中仍然能最大程度的保持SAR 圖像數(shù)據(jù)的分布特性。

為了更好地評價本文所生成的模擬圖像在特征上與SAR 圖像的相似性，我們使用卷積神經(jīng)網(wǎng)絡(luò)Resnet18 對圖像進(jìn)行CNN 特征提取，將網(wǎng)絡(luò)Adaptivepool2d 層輸出（2048 維）作為圖像特征。同時，我們使用兩類圖像對應(yīng)維度的差值來評價特征相似性。圖7中，橫軸為特征維度，縱軸為特征值。從圖7 中可以看出，所生成的模擬圖像與SAR 圖像的CNN 特征具有較好的相似性。因此，基于模擬圖像的CNN 特征進(jìn)一步訓(xùn)練得到的基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測模型能夠很好地適用于SAR圖像中的目標(biāo)檢測。

圖7 模擬圖像與SAR圖像CNN特征相似性Fig.7 CNN features similarity between pseudo-SAR image and SAR image

4.3.3 艦船檢測網(wǎng)絡(luò)有效性評價

圖8 為使用SSDD 數(shù)據(jù)集中70%的圖像以及DIOR 數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，使用30%的SSDD數(shù)據(jù)集中數(shù)據(jù)作為測試數(shù)據(jù)所得的P-R 曲線（Precision-Recall Curve）。在本文知識遷移網(wǎng)絡(luò)中使用循環(huán)一致生成對抗損失，恒等損失，映射函數(shù)G的生成能力得到提升，同時魯棒性也得到了增強(qiáng)。使用了特征邊界決策損失，加強(qiáng)對模擬圖像中的SAR 特征的生成能力，增大生成的模擬圖像與光學(xué)遙感圖像特征的差距，使生成的模擬圖像更加接近SAR 圖像。因此，本文生成的模擬圖像作為訓(xùn)練數(shù)據(jù)可以增加目標(biāo)檢測網(wǎng)絡(luò)學(xué)習(xí)到更適用于SAR圖像的參數(shù)，進(jìn)而提升網(wǎng)絡(luò)的檢測效果。

圖8 不同檢測網(wǎng)絡(luò)上的檢測結(jié)果的P-R曲線Fig.8 The P-R curve of detection performance on different detection networks

5 結(jié)論

本文提出一種基于生成式知識遷移的SAR 艦船目標(biāo)檢測框架。在該框架下，首先構(gòu)建一個知識遷移網(wǎng)絡(luò)，通過提出使用循環(huán)一致生成對抗損失、恒等損失和特征邊界決策損失進(jìn)行約束，生成與SAR 圖像特征分布相似且與有標(biāo)注的光學(xué)遙感圖像空間分布一致的模擬圖像。利用這些圖像訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)，以獲得適用于SAR 圖像域的目標(biāo)檢測模型。在公開數(shù)據(jù)集上的實驗結(jié)果表明，在只有少量甚至沒有帶標(biāo)注的SAR 圖像的情況下，本文方法所生成的模擬圖像，可以訓(xùn)練出泛化性能較好的目標(biāo)檢測模型，對復(fù)雜環(huán)境中的目標(biāo)檢測效果提升較為明顯。后續(xù)工作將繼續(xù)挖掘所生成的圖像中的SAR 特征，以提高在包含大量小目標(biāo)SAR圖像中的目標(biāo)檢測準(zhǔn)確率。