基于不變特征的多源遙感圖像艦船目標(biāo)檢測算法

楊 曦，張 鑫，郭浩遠(yuǎn)，王楠楠，高新波，2

（1. 西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，陜西西安 710071；2. 重慶郵電大學(xué)圖像認(rèn)知重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400065）

1 引言

遙感圖像中艦船目標(biāo)檢測是海洋監(jiān)管和國防建設(shè)中的重要基礎(chǔ)工作［1］，旨在分類和定位一幅遙感圖像中的所有艦船. 近年來，隨著遙感衛(wèi)星技術(shù)的快速發(fā)展，多源遙感數(shù)據(jù)不斷擴(kuò)增. 光學(xué)遙感圖像具有判讀直觀性強(qiáng)及數(shù)據(jù)翻譯便捷等優(yōu)點(diǎn)，引起了廣大學(xué)者的重視和研究. 但是光學(xué)圖像容易受到云霧遮擋、強(qiáng)烈光照等氣候的影響. 相對地，合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）憑借其不依賴光照條件且不受天氣影響的優(yōu)勢，能夠?qū)崿F(xiàn)全天時(shí)、全天候大面積海域偵查工作.由于上述差異性，針對不同成像機(jī)理的遙感圖像，需要設(shè)計(jì)專門的算法進(jìn)行艦船目標(biāo)檢測.

恒虛警率算法［2～5］是傳統(tǒng)艦船目標(biāo)檢測的經(jīng)典方法，該算法通過對背景雜波統(tǒng)計(jì)建模來檢測艦船目標(biāo)，從而保持恒定的虛警率. 然而，這類算法利用淺層弱語義信息進(jìn)行預(yù)測，對復(fù)雜環(huán)境下的艦船檢測效果不佳.近年來，人工智能領(lǐng)域迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）憑借其強(qiáng)大的特征提取能力，成為艦船目標(biāo)檢測的有力工具. 目前基于CNN 的檢測器主要分為2 類：（1）單階段檢測器，如EFGRNet［6］，CenterNet［7］；（2）雙階段檢測器，如Faster R-CNN［8］，Libra R-CNN［9］. 因此，眾多學(xué)者開始研究基于深度學(xué)習(xí)的艦船目標(biāo)檢測系統(tǒng).

盡管這些艦船檢測算法已經(jīng)取得重要進(jìn)展，但通常是針對特定域的. 圖1 是單源和多源遙感圖像艦船目標(biāo)檢測器的對比圖，其中紫羅蘭色框表示預(yù)測結(jié)果.如圖1（a）所示，由于不同源數(shù)據(jù)之間存在域偏移，現(xiàn)有艦船目標(biāo)檢測算法大多是有針對性地為各個(gè)數(shù)據(jù)源分別訓(xùn)練一個(gè)檢測器用于對應(yīng)數(shù)據(jù)的檢測. 若需要檢測多源遙感圖像，模型的總體尺寸會(huì)隨著數(shù)據(jù)源的數(shù)量線性增加，造成資源浪費(fèi). 此外，在實(shí)際應(yīng)用中，若艦船數(shù)據(jù)來源模糊，無法為其選擇特定的檢測器. 由于數(shù)據(jù)源的多樣性以及它們之間存在著一定域偏移，錯(cuò)誤地選擇檢測器會(huì)帶來精度的急劇下降. 而多源遙感圖像檢測器只需要訓(xùn)練一個(gè)通用的模型，在處理多源圖像時(shí)只需要執(zhí)行一次推理過程，如圖1（b）所示. 這使得多源遙感圖像檢測器能夠節(jié)省計(jì)算資源和提升計(jì)算速度，更符合實(shí)際工程的實(shí)時(shí)檢測需求，在解決模糊數(shù)據(jù)源檢測問題的同時(shí)，也充分利用了多源數(shù)據(jù)之間的共享知識，實(shí)現(xiàn)了不同數(shù)據(jù)源之間的信息互補(bǔ)，進(jìn)一步提高了檢測性能. 因此，如何使用一種方法同時(shí)檢測來自不同源的艦船目標(biāo)，即多源數(shù)據(jù)艦船目標(biāo)檢測，對于我國國防智能化建設(shè)具有重要研究意義.

圖1 單源和多源遙感圖像艦船目標(biāo)檢測器對比圖

本文提出了一種新穎的多源遙感圖像艦船目標(biāo)檢測算法，基于多源艦船目標(biāo)不變特征（不隨域改變而影響艦船目標(biāo)判別的特征，例如艦船形態(tài)、海陸中的分布位置等）之間的信息互補(bǔ)，使用一個(gè)通用網(wǎng)絡(luò)檢測不同源艦船目標(biāo)并提升檢測準(zhǔn)確率，總體框架如圖2 所示.該方法由基于圖像級的風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)和特征級的域自適應(yīng)網(wǎng)絡(luò)兩個(gè)模塊組成. 首先，為學(xué)習(xí)多源數(shù)據(jù)圖像層面上的不變特征，利用循環(huán)生成對抗網(wǎng)絡(luò)［10］（Cycle Generative Adversarial Network，Cycle GAN）將光學(xué)風(fēng)格圖像轉(zhuǎn)換成偽SAR 圖像，并將SAR 風(fēng)格圖像轉(zhuǎn)換成偽光學(xué)圖像. 為了促進(jìn)生成對抗網(wǎng)絡(luò)的轉(zhuǎn)換效果，引入循環(huán)一致性損失隱式相互約束. 接著將生成的偽多源遙感圖像與原始遙感圖像同時(shí)輸入到主干網(wǎng)絡(luò)以提取多源特征. 最后，為學(xué)習(xí)多源數(shù)據(jù)特征層面上的不變特征，利用多個(gè)適應(yīng)網(wǎng)絡(luò)對多源特征進(jìn)行解耦表示，同時(shí)由域注意力網(wǎng)絡(luò)進(jìn)行權(quán)重分配實(shí)現(xiàn)重組合. 本文提出的通用多源檢測模型與單源檢測模型相比，不需要感興趣域的先驗(yàn)知識，所有的參數(shù)和計(jì)算都是跨域共享的. 該模型通過提取圖像級和特征級2 個(gè)層面上具有判別性的不變特征，減輕不同域之間存在的域偏移，同時(shí)實(shí)現(xiàn)多源數(shù)據(jù)不變特征之間的信息互補(bǔ)，這些都是單源檢測器所不具備的優(yōu)勢. 實(shí)驗(yàn)結(jié)果表明，所提方法在多源艦船目標(biāo)檢測任務(wù)中的平均準(zhǔn)確率高于其他前沿方法.

圖2 多源遙感圖像艦船目標(biāo)檢測框架

2 相關(guān)工作

本節(jié)從單源檢測和多源檢測兩方面對相關(guān)工作進(jìn)行了總結(jié)和回顧. 單源檢測部分首先介紹通用目標(biāo)檢測的代表性工作，然后聚焦艦船檢測問題，介紹已有的艦船檢測算法. 多源檢測部分首先總結(jié)了常用的多源檢測算法，其次對圖像風(fēng)格轉(zhuǎn)換相關(guān)工作進(jìn)行了回顧.

2.1 單源檢測

2.1.1 目標(biāo)檢測

作為計(jì)算機(jī)視覺的基礎(chǔ)任務(wù)，目標(biāo)檢測旨在檢測一幅輸入圖像中的所有特定目標(biāo). 目前基于CNN 的檢測器大致分為2類：雙階段檢測器和單階段檢測器.

（1）雙階段檢測器首先利用區(qū)域建議框生成網(wǎng)絡(luò)（Region Proposal Network，RPN）提取感興趣區(qū)域，然后基于感興趣區(qū)域進(jìn)行分類和回歸特定目標(biāo). Faster RCNN［8］通過增加RPN 以擴(kuò)展Fast R-CNN［11］，實(shí)現(xiàn)了首個(gè)基于深度學(xué)習(xí)的端到端雙階段檢測器. 為了提升檢測器的精度，F(xiàn)PN［12］采用一種自上而下的路徑，同時(shí)通過橫向連接進(jìn)一步豐富了各層特征的語義信息. 為了解決分類和回歸任務(wù)之間的不平衡問題，IoU-Net［13］采用精準(zhǔn)的RoI 池化層取代了原始的RoI 池化層，并提出了IoU指導(dǎo)下的非極大值抑制算法.

（2）單階段檢測器直接在大量密集分布的錨框中檢測特定的目標(biāo)，而不需要依賴RPN.RetinaNet［14］通過引入焦點(diǎn)損失解決了單階段算法中正負(fù)樣本不平衡的問題. 為了滿足實(shí)時(shí)檢測需求，YOLO 系列算法［15，18］陸續(xù)被提出，以提升目標(biāo)檢測速度. 近年來，無錨框檢測器興起，CornerNet［19］將目標(biāo)檢測任務(wù)轉(zhuǎn)換為關(guān)鍵點(diǎn)檢測任務(wù)，通過預(yù)測檢測框的左上角和右下角2對關(guān)鍵點(diǎn)進(jìn)行定位，同時(shí)不再設(shè)置錨框的超參數(shù).CenterNet［7］直接預(yù)測每個(gè)目標(biāo)的中心點(diǎn)坐標(biāo)并且無需非極大值抑制等后處理，大幅度提升了檢測速度.

2.1.2 艦船檢測

近十年來，基于遙感圖像的艦船目標(biāo)檢測越來越受到人們的關(guān)注. 傳統(tǒng)的艦船目標(biāo)檢測方法是基于恒虛警率算法的. 為了引入更多的空間信息，Wang 等人［2］提出了一種基于空間域的恒虛警率算法，該方法將像素的灰度和像素之間的相關(guān)性融合為一個(gè)特征，利用恒虛警率算法提取對應(yīng)像素的融合特征以增強(qiáng)艦船檢測效果. 隨后，Pappas 等人［3］提出利用超像素代替矩形滑動(dòng)窗口來增強(qiáng)恒虛警率算法，旨在實(shí)現(xiàn)更好的背景波段目標(biāo)過濾，降低艦船目標(biāo)的誤檢率. 為了有效檢測復(fù)雜背景中的艦船目標(biāo)，Huo 等人［4］首先通過最大穩(wěn)定極值區(qū)域方法對輸入圖像進(jìn)行預(yù)篩選以獲得低計(jì)算復(fù)雜度的候選區(qū)域，然后利用加權(quán)信息熵評估候選區(qū)域與鄰域之間的相似性，最后進(jìn)行艦船目標(biāo)檢測. 但是這些傳統(tǒng)方法不能提取深層次強(qiáng)語義信息的特征，因此無法有效檢測多源遙感圖像艦船目標(biāo).

由于卷積神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的判別特征提取能力，研究者們開始更加關(guān)注基于CNN 的艦船目標(biāo)檢測算法.Cui等人［20］提出了一種基于密集連接的特征金字塔網(wǎng)絡(luò)，采用金字塔結(jié)構(gòu)將卷積注意力模塊與自上而下的每層特征密切連接，提升了SAR圖像檢測精度. 為了快速定位多角度艦船目標(biāo)并對其準(zhǔn)確分類，Yang 等人［21］提出了一種端到端的精修單階段檢測器，通過引入特征細(xì)化模塊以實(shí)現(xiàn)特征的重構(gòu)和對齊.Fu 等人［22］提出了一種特征平衡和細(xì)化網(wǎng)絡(luò)，采用注意力機(jī)制引導(dǎo)的平衡特征金字塔以平衡多層次特征，同時(shí)通過特征精修模塊實(shí)現(xiàn)特征對齊. 上述方法雖然針對單源遙感圖像具有較好的檢測準(zhǔn)確率，但是不善于同時(shí)處理多源圖像中的艦船目標(biāo).

不同源數(shù)據(jù)之間存在著信息鴻溝，上述方法由于缺少域自適應(yīng)思想無法直接處理多源數(shù)據(jù). 為此，基于上述工作，學(xué)者們廣泛研究了多源目標(biāo)檢測的相關(guān)算法.

2.2 多源檢測

2.2.1 多源檢測算法

多源目標(biāo)檢測首要解決的是不同源數(shù)據(jù)之間的域偏移問題.DA Faster R-CNN［23］通過圖像和實(shí)例層面的域遷移，構(gòu)建了一個(gè)域自適應(yīng)網(wǎng)絡(luò)用于檢測多源圖像.但該方法沒有關(guān)注特征層面域自適應(yīng)表征對檢測的影響. 文獻(xiàn)［24］提出了全局特征弱對齊和局部特征強(qiáng)對齊策略，通過不同域數(shù)據(jù)之間的特征對齊，拉近不同域的數(shù)據(jù)分布.Universal DA［25］采用域注意力機(jī)制構(gòu)建了一個(gè)通用檢測器，能夠使用單一網(wǎng)絡(luò)處理所有域. 但是上述方法未能考慮圖像級別域自適應(yīng)對檢測的影響.由于風(fēng)格轉(zhuǎn)換領(lǐng)域的迅猛發(fā)展，可借助風(fēng)格轉(zhuǎn)換思想，從圖像級層面上減小域偏移難題.

2.2.2 風(fēng)格轉(zhuǎn)換策略

風(fēng)格轉(zhuǎn)換一直是重要的研究領(lǐng)域，其目的是通過紋理特征的學(xué)習(xí)將圖像從源域轉(zhuǎn)換至目標(biāo)風(fēng)格域.Gatys 等人［26］提出一種基于CNN 的風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)，將自然圖像的內(nèi)容和風(fēng)格進(jìn)行分離和重組，從而獲得高質(zhì)量的新圖像. Berger 等人［27］在圖像生成中添加長期一致性約束，通過引入局部特征和全局特征的空間信息以生成具有全局對稱性的紋理，并將紋理用于風(fēng)格轉(zhuǎn)換中. Gu 等人［28］提出了一種漸進(jìn)特征優(yōu)化方法，通過排列特征圖的空間位置實(shí)現(xiàn)任意圖像風(fēng)格的轉(zhuǎn)換，避免局部風(fēng)格轉(zhuǎn)換失真并保持原圖像的全局相似性. 為緩解紋理尺度不匹配問題，Wang 等人［29］提出了一種多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用分層訓(xùn)練的策略分別訓(xùn)練顏色和亮度通道. Zhu 等人［10］提出了一種基于循環(huán)一致?lián)p失風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)，利用2個(gè)生成對抗網(wǎng)絡(luò)實(shí)現(xiàn)非成對圖像的風(fēng)格轉(zhuǎn)換. 與以往的方法主要考慮生成樣本質(zhì)量不同，本文旨在利用風(fēng)格轉(zhuǎn)換樣本提升多源遙感圖像艦船目標(biāo)檢測的性能.

3 圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)

來自不同源傳感器的遙感圖像具有背景復(fù)雜多變的特點(diǎn)，在分辨率、紋理和細(xì)節(jié)等方面各不相同. 為了學(xué)習(xí)不同源傳感器下數(shù)據(jù)的魯棒性特征，需要采集大量多源遙感數(shù)據(jù). 但是在實(shí)際應(yīng)用中，多源遙感數(shù)據(jù)獲取成本高. 為了降低成本并實(shí)現(xiàn)多源艦船目標(biāo)檢測，本文從圖像風(fēng)格適應(yīng)角度出發(fā)利用Cycle GAN 進(jìn)行數(shù)據(jù)生成.風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)具有以下優(yōu)點(diǎn)：（1）實(shí)現(xiàn)數(shù)據(jù)自動(dòng)擴(kuò)增，解決數(shù)據(jù)匱乏問題；（2）生成數(shù)據(jù)同時(shí)具有不同源數(shù)據(jù)的特點(diǎn)，有助于網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)之間的不變特征；（3）生成數(shù)據(jù)與原始數(shù)據(jù)內(nèi)容信息保持一致，只是圖像風(fēng)格發(fā)生變化，因此無需人工標(biāo)注，進(jìn)一步降低了專家標(biāo)注的成本.

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖3所示，圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)由左右兩個(gè)鏡像對稱的子網(wǎng)絡(luò)組成，每個(gè)子網(wǎng)絡(luò)由2 個(gè)生成器（G1和G2）和1 個(gè)判別器（D1或D2）組成. 為使圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)學(xué)習(xí)到不同源傳感器的魯棒性特征，2個(gè)生成器共享參數(shù)且以端到端學(xué)習(xí)的方式連接. 其中一個(gè)生成器用來生成偽風(fēng)格圖像，而另一個(gè)生成器將偽風(fēng)格圖像重構(gòu)為原始風(fēng)格圖像. 因此，本網(wǎng)絡(luò)的目標(biāo)是學(xué)習(xí)2 個(gè)映射函數(shù)G1：A→B和G2：B→A，從而實(shí)現(xiàn)G1和G2生成的圖像和真實(shí)圖像在數(shù)學(xué)分布上無法區(qū)分. 其中，域A表示光學(xué)圖像域，域B表示SAR 圖像域. 特別地，在訓(xùn)練和測試過程中，均不需要SAR 圖像和光學(xué)圖像是一一配對的，本網(wǎng)絡(luò)做的僅僅是風(fēng)格轉(zhuǎn)換.

圖3 風(fēng)格轉(zhuǎn)化網(wǎng)絡(luò)

3.2 目標(biāo)函數(shù)

2 個(gè)子網(wǎng)絡(luò)損失函數(shù)形式相同，下面僅介紹圖3 左邊子網(wǎng)絡(luò)的損失函數(shù). 對于圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)，為保證生成圖像能夠保留更多的艦船信息，引入圖像對抗損失來引導(dǎo)生成圖像的分布接近目標(biāo)域分布. 對于映射函數(shù)G1：A→B以及對應(yīng)的判別器D1，圖像對抗損失函數(shù)的定義為

其中E 表示數(shù)學(xué)期望. 為了使偽SAR 風(fēng)格圖像轉(zhuǎn)換為重建光學(xué)圖像時(shí)艦船目標(biāo)像素準(zhǔn)確對齊，利用循環(huán)一致性損失函數(shù)進(jìn)行約束，函數(shù)的定義為

其中‖ · ‖1表示L1距離. 因此，圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)的目標(biāo)函數(shù)為

其中，λ表示平衡因子，用于平衡對抗損失任務(wù)和循環(huán)一致?lián)p失任務(wù)，經(jīng)驗(yàn)上，取λ=10.

通過使用圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)，訓(xùn)練集被擴(kuò)充為原始圖像和風(fēng)格轉(zhuǎn)換圖像的組合. 如圖4 所示，經(jīng)過循環(huán)一致性損失的約束，每個(gè)生成圖像保留了原始內(nèi)容，新樣本和原始圖像具有相同的標(biāo)注. 因此，可利用生成圖像以及對應(yīng)的相關(guān)標(biāo)注來訓(xùn)練多源遙感圖像艦船目標(biāo)檢測網(wǎng)絡(luò).

圖4 光學(xué)圖像和SAR圖像之間的風(fēng)格轉(zhuǎn)換示例

4 特征級域自適應(yīng)網(wǎng)絡(luò)

經(jīng)過圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)后，將原始圖像和生成的風(fēng)格轉(zhuǎn)換圖像相結(jié)合，輸入到后續(xù)的檢測網(wǎng)絡(luò)中. 利用特征級域自適應(yīng)網(wǎng)絡(luò)提取得到判別性特征，包括利用適應(yīng)網(wǎng)絡(luò)來提取不同域的一致性表征以及利用域注意力網(wǎng)絡(luò)進(jìn)行權(quán)重分配，從而實(shí)現(xiàn)多源信息的解耦以及重組. 同時(shí)，引入焦點(diǎn)損失函數(shù)和L1 損失函數(shù)來約束檢測網(wǎng)絡(luò)的分類和回歸任務(wù).

4.1 網(wǎng)絡(luò)結(jié)構(gòu)

為了提取含有豐富語義信息的一般性特征，本文提出一種域自適應(yīng)網(wǎng)絡(luò)（圖5）. 域自適應(yīng)網(wǎng)絡(luò)分為適應(yīng)網(wǎng)絡(luò)和域注意力網(wǎng)絡(luò)2 個(gè)模塊. 首先利用多個(gè)適應(yīng)網(wǎng)絡(luò)實(shí)現(xiàn)多源特征的解耦，分別提取輸入數(shù)據(jù)的適應(yīng)性特征，不同的適應(yīng)特征反映了其在不同域空間特征表示；然后使用域注意力網(wǎng)絡(luò)計(jì)算所有域空間對應(yīng)的權(quán)重向量，實(shí)現(xiàn)對適應(yīng)特征新的線性組合；最后利用矩陣運(yùn)算實(shí)現(xiàn)權(quán)重的分配和多源信息的一致性空間表征.

圖5 域自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)

4.1.1 適應(yīng)網(wǎng)絡(luò)

本文利用迭代深層聚合（Deep Layer Aggregation，DLA）網(wǎng)絡(luò)［30］作為特征提取的主干網(wǎng)絡(luò). 基于SE（Squeeze-and-Excitation）模塊［31］的適應(yīng)網(wǎng)絡(luò)能夠表征多源信息. 每個(gè)適應(yīng)網(wǎng)絡(luò)具有相同的結(jié)構(gòu)，包含2 個(gè)全連接（Full Connection，F(xiàn)C）層以及2 個(gè)激活層（ReLU 函數(shù)和Sigmoid 函數(shù)）. 適應(yīng)網(wǎng)絡(luò)的輸入是DLA 網(wǎng)絡(luò)提取的多源特征x. 其計(jì)算過程可以表示為

其中fGAP(·)表示全局平均池化（Global Average Pooling，GAP）操作，該操作能夠提取關(guān)鍵信息，避免過擬合并且不會(huì)引入待學(xué)習(xí)參數(shù)，另外，全局平均池化通過對特征求平均，可以整合輸入的空間信息，對艦船目標(biāo)的空間平移有更好的魯棒性；fSE(·)表示全連接層、ReLU函數(shù)、全連接層和Sigmoid 函數(shù)的組合；δi表示第i個(gè)適應(yīng)網(wǎng)絡(luò)輸出的適應(yīng)特征，i=1，2，…，N，由實(shí)驗(yàn)結(jié)果可得此處N=3；Γ表示N個(gè)適應(yīng)特征經(jīng)過拼接操作得到的N×C大小的拼接適應(yīng)特征. 為了減少適應(yīng)網(wǎng)絡(luò)參數(shù)量，全連接層的維度下采樣率為16. 相比使用2 個(gè)檢測器分別檢測光學(xué)遙感圖像和SAR 圖像，域自適應(yīng)網(wǎng)絡(luò)整體的參數(shù)量大約減少了一半，這對于特定需求的場景具有重要意義.

4.1.2 域注意力網(wǎng)絡(luò)

基于特征的注意力機(jī)制借鑒了人類視覺機(jī)理，使感知行為適應(yīng)不同的任務(wù)和環(huán)境. 因此，使用基于特征的注意力機(jī)制來輔助多源數(shù)據(jù)艦船目標(biāo)檢測任務(wù)是合理的. 域注意力網(wǎng)絡(luò)結(jié)構(gòu)簡單，包含1 個(gè)GAP 層、1 個(gè)FC 層和1 個(gè)激活層（Softmax 函數(shù)）. 此處的GAP 層可以視為一種結(jié)構(gòu)正則化器，它可以將特征強(qiáng)制映射為概率置信度的權(quán)重. 其計(jì)算過程可以表示為

其中，ω表示權(quán)重向量；σ表示激活函數(shù)Softmax.

拼接適應(yīng)性特征Γ本質(zhì)上是一個(gè)尺寸為N×C大小的特征向量，不同的適應(yīng)網(wǎng)絡(luò)可以看作將輸入特征轉(zhuǎn)換為不同域上的一個(gè)空間投影. 注意力特征實(shí)際上是一個(gè)尺寸為C×1 大小的域敏感權(quán)重向量，以數(shù)據(jù)驅(qū)動(dòng)的方式組合這些投影. 如圖6 所示，對域注意力網(wǎng)絡(luò)輸出的權(quán)重向量進(jìn)行統(tǒng)計(jì)分析. 其中橫坐標(biāo)為權(quán)重，縱坐標(biāo)為響應(yīng)的樣本數(shù)量，3種不同顏色的統(tǒng)計(jì)圖分別對應(yīng)著適應(yīng)網(wǎng)絡(luò)的3 個(gè)分支. 可以發(fā)現(xiàn)，各個(gè)分支中不同權(quán)重下所響應(yīng)的樣本數(shù)目接近正態(tài)分布，因此本文對其進(jìn)行了高斯擬合. 對于NWPU VHR-10 數(shù)據(jù)，適應(yīng)網(wǎng)絡(luò)第一個(gè)分支的權(quán)重均值為0.16，第二個(gè)分支的權(quán)重均值為0.65，第三個(gè)分支的權(quán)重均值為0.18；而對于SSDD數(shù)據(jù)，網(wǎng)絡(luò)3個(gè)分支的權(quán)重均值分別為0.16，0.66，0.18.2種數(shù)據(jù)集的權(quán)重分布十分相近，這表明該網(wǎng)絡(luò)在應(yīng)對多源數(shù)據(jù)時(shí)并非是只響應(yīng)其中一個(gè)分支屏蔽另一個(gè)分支，而是針對不同的數(shù)據(jù)同時(shí)響應(yīng)所有分支，同時(shí)側(cè)面說明網(wǎng)絡(luò)各個(gè)分支能夠提取表征多源數(shù)據(jù)中艦船目標(biāo)的一致性特征. 整體上看，域自適應(yīng)網(wǎng)絡(luò)就是借鑒了類似正交坐標(biāo)系的概念，對解耦后的多源特征進(jìn)行線性組合.

圖6 域注意力網(wǎng)絡(luò)學(xué)習(xí)的權(quán)重向量統(tǒng)計(jì)圖

4.2 目標(biāo)函數(shù)

該多源遙感圖像檢測網(wǎng)絡(luò)將進(jìn)行分類預(yù)測（分類置信度conf）和回歸預(yù)測（中心點(diǎn)偏移point、預(yù)測框偏移wh）. 為了避免簡單樣本主導(dǎo)模型的訓(xùn)練過程，引入焦點(diǎn)損失函數(shù)來挖掘難樣本. 分類損失函數(shù)Lcls由焦點(diǎn)損失函數(shù)實(shí)現(xiàn)，可以表示為

其中，α表示焦點(diǎn)損失函數(shù)的超參數(shù)，用于平衡難易樣本，經(jīng)驗(yàn)上取α=2.0. 另外，回歸損失函數(shù)由Lwh和Lpoint兩部分組成，使用L1 損失函數(shù)來微調(diào)預(yù)測框使其逼近真實(shí)標(biāo)注框. 真實(shí)標(biāo)注框由左上角(x1，y1)和右下角(x2，y2)表示，中心點(diǎn)p對應(yīng)的計(jì)算公式可以表示為

損失函數(shù)Lwh的表達(dá)式為

其中，n表示輸入特征中心點(diǎn)的數(shù)目；和分別表示真實(shí)標(biāo)注框?qū)挘ǜ撸┖皖A(yù)測框?qū)挘ǜ撸┢屏? 此外，由于下采樣操作的影響，網(wǎng)絡(luò)在前向傳播過程中會(huì)出現(xiàn)特征像素未對齊的問題. 為了解決該問題，采用中心點(diǎn)偏移point 的預(yù)測值Δp實(shí)現(xiàn)特征像素對齊. 中心點(diǎn)偏移對應(yīng)的損失函數(shù)Lpoint可以表示為

其中，R表示下采樣因子，經(jīng)驗(yàn)上設(shè)置R=4表示下取整操作；n表示分類置信度特征中的像素點(diǎn)數(shù)目.

5 實(shí)驗(yàn)結(jié)果及分析

5.1 數(shù)據(jù)集和評估指標(biāo)

本節(jié)主要介紹多源遙感圖像艦船目標(biāo)檢測數(shù)據(jù)集，其中包括光學(xué)遙感數(shù)據(jù)NWPU VHR-10，HRSC，SSDD，SAR-Ship-Dataset. 本文在NWPU VHR-10 和SSDD這2種不同數(shù)據(jù)源上進(jìn)行消融實(shí)驗(yàn)，驗(yàn)證所提方法的有效性. 接著在這2 個(gè)數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)，將所提算法與現(xiàn)有前沿算法進(jìn)行比較. 為了進(jìn)一步驗(yàn)證本文方法對任意多源數(shù)據(jù)具有普適性，本節(jié)還在上述4種不同源數(shù)據(jù)上進(jìn)行了對比實(shí)驗(yàn).

NWPU VHR-10［32］是由西北工業(yè)大學(xué)自動(dòng)化學(xué)院發(fā)布的光學(xué)高分遙感數(shù)據(jù)集.NWPU VHR-10 遙感數(shù)據(jù)集一共有800幅圖像，總計(jì)10個(gè)類別，圖像尺寸在958×556 到1003×808 不等. 其中含有艦船目標(biāo)的圖像57張，這些圖像包含民用港口以及遠(yuǎn)海等豐富的場景. 由于原始光學(xué)圖像較少，因此對原始數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、顏色抖動(dòng)和隨機(jī)裁剪等操作進(jìn)行數(shù)據(jù)擴(kuò)增，最終得到圖像共798 張. 訓(xùn)練集、驗(yàn)證集和測試集以6∶2∶2 的比例進(jìn)行隨機(jī)劃分.

SSDD［33］是由中國人民解放軍海軍航空大學(xué)發(fā)布的SAR數(shù)據(jù)集，用于艦船目標(biāo)檢測任務(wù). 圖像主要采集自RadarSat-2，TerraSAR-X，Sentinel-1，采 用VH，VV，HV，HH 四種極化方式，分辨率大致在1 m 到15 m 不等. 圖像采樣場景豐富，在遠(yuǎn)海和近海區(qū)域均具有艦船目標(biāo). 該數(shù)據(jù)集一共有1160幅圖像，總計(jì)2456艘艦船.為了訓(xùn)練多源遙感圖像艦船目標(biāo)檢測網(wǎng)絡(luò)，將SSDD 數(shù)據(jù)隨機(jī)劃分成訓(xùn)練集、驗(yàn)證集和測試集3 部分，比例為6∶2∶2.

HRSC［34］是由中國科學(xué)院大學(xué)劉子坤等人發(fā)布的包含海面場景圖像和近岸艦船圖像的數(shù)據(jù)集，圖像的尺寸范圍在300×300 到1500×900 之間. 本文將所有類型的船只都視為艦船這一大類，按照原論文的數(shù)據(jù)劃分，即測試集為444張圖片，另外本文將訓(xùn)練集按照8∶2的比例隨機(jī)劃分出一部分?jǐn)?shù)據(jù)作為驗(yàn)證集.

SAR-Ship-Dataset［35］是由中國科學(xué)院空天信息研究院王原原等人發(fā)布的數(shù)據(jù)集，該數(shù)據(jù)集來源于Gaofen-3和Sentinel-1成像，共有43819張圖片，大小為256×256.本文以7∶2∶1的比例將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集.

為了評估不同艦船目標(biāo)檢測算法的性能，評估指標(biāo)采用平均精度均值（Mean Average Precision，mAP）.mAP 能夠反映艦船目標(biāo)檢測算法的全局性能，對應(yīng)的計(jì)算公式為

其中，P表示準(zhǔn)確率；R表示召回率.

5.2 實(shí)驗(yàn)設(shè)置

為了保證算法的正常運(yùn)行，本文在Ubuntu v16.04系統(tǒng)上搭建PyTorch 深度學(xué)習(xí)環(huán)境，即CUDA v8.0 +cuDNN v6.0 + PyTorch. 所有試驗(yàn)均在有24 GB 顯存的TITAN RTX 上運(yùn)行. 所提算法將采用CenterNet 作為基準(zhǔn)網(wǎng)絡(luò)，DLA-34 作為判別特征提取網(wǎng)絡(luò). 為了公平比較，對比算法所使用的參數(shù)都是其論文中公布的參數(shù)，所有數(shù)據(jù)集的圖像尺寸被縮放至512×512 大小. 此外，模型在訓(xùn)練階段采用Adam 算法進(jìn)行優(yōu)化，其中動(dòng)量參數(shù)momentum 設(shè)置為0.9，權(quán)重參數(shù)設(shè)置為0.000 1. 整個(gè)訓(xùn)練過程共140 個(gè)epochs，batch size 設(shè)置為32. 模型的初始學(xué)習(xí)率為1.25e-4，并在第90 個(gè)epoch 衰減為1.25e-5，在第120 個(gè)epoch 衰減為1.25e-6. 本文的實(shí)驗(yàn)首先在多源數(shù)據(jù)集上訓(xùn)練一個(gè)模型，然后分別在各個(gè)數(shù)據(jù)集對應(yīng)的測試集上計(jì)算mAP.

5.3 消融實(shí)驗(yàn)

為了驗(yàn)證所提方法中圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)和特征級域自適應(yīng)網(wǎng)絡(luò)的有效性，在多源數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，如表1 所示. 為了公平比較，在消融實(shí)驗(yàn)過程中依次添加圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)和特征級域自適應(yīng)網(wǎng)絡(luò)進(jìn)行艦船目標(biāo)檢測. 相比基準(zhǔn)模型CenterNet，加入圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)后，模型在2 種數(shù)據(jù)集上mAP 均有提升：在NWPU VHR-10 上提升了0.5%，在SSDD 上提升了0.7%，平均檢測精度提升了約0.5%. 這說明圖像級風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)在SAR 數(shù)據(jù)和光學(xué)遙感數(shù)據(jù)的互相生成過程中起到重要的作用，能夠在圖像級別實(shí)現(xiàn)域遷移并拉近2 種圖像之間的聯(lián)系，保證生成圖像的質(zhì)量.由于SAR 數(shù)據(jù)和光學(xué)遙感數(shù)據(jù)存在域偏移，因此僅依賴圖像級別的風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)難以進(jìn)一步提取多源圖像的判別性特征. 引入特征級域自適應(yīng)網(wǎng)絡(luò)后，模型的檢測精度進(jìn)一步獲得提升：在NWPU VHR-10 上提升了0.9%，在SSDD 上提升了1.3%，平均檢測精度提升了約1.2%. 這說明在判別特征的提取階段，特征級域自適應(yīng)網(wǎng)絡(luò)能夠在多維空間上表征多源信息并有效檢測多源數(shù)據(jù)中的艦船目標(biāo).

表1 多源數(shù)據(jù)集上消融實(shí)驗(yàn)mAP

5.4 與現(xiàn)有方法對比實(shí)驗(yàn)

為了驗(yàn)證本文方法的有效性和優(yōu)越性，本節(jié)將其與現(xiàn)有前沿算法進(jìn)行了比較，包括雙階段算法（Faster R-CNN［8］，Cascade R-CNN［36］，Libra R-CNN［9］）、單階段算 法（RetinaNet［14］，EFGRNet［6］，CenterNet［7］，Center-Net++［37］）以及域自適應(yīng)算法（Universal DA［25］，DA Faster R-CNN［23］）.

各種算法在數(shù)據(jù)集NWPU VRH-10和SSDD 上的結(jié)果如表2 所示. 整體上看，本文方法性能穩(wěn)定且能夠?qū)崟r(shí)檢測艦船目標(biāo).Cascade R-CNN 由于采用級聯(lián)策略優(yōu)化預(yù)測模型，因此平均檢測精度達(dá)到82.8%，且優(yōu)于Faster R-CNN 的性能. RetinaNet 只解決了網(wǎng)絡(luò)在正負(fù)樣本采樣階段的不均衡問題，而Libra R-CNN 從特征、采樣以及損失3 個(gè)層面解決了艦船目標(biāo)檢測存在不均衡的問題. 因此，在2 種數(shù)據(jù)集上的平均mAP 為83.1%，優(yōu)于RetinaNet（81.8%）. 相比于RetinaNet，EFGRNet 平均檢測精度提升了0.5%，這是因?yàn)镋FGRNet引入上下文信息增強(qiáng)網(wǎng)絡(luò)，緩解了多尺度艦船目標(biāo)檢測難題.CenterNet 直接將每個(gè)艦船目標(biāo)建模為目標(biāo)邊界框的中心點(diǎn)，避免對復(fù)雜背景產(chǎn)生冗余計(jì)算并提升檢測準(zhǔn)確率. 所以，CenterNet 相比于EFGRNet 方法平均檢測精度提升了0.9%. 相比于CenterNet，Center-Net++的平均檢測精度提升了0.7%，這是因?yàn)镃enter-Net++通過特征精修和再分類操作提取到了更細(xì)粒度的特征. 相比于Universal DA，DA Faster R-CNN 的平均檢測精度提升了0.1%，主要原因是DA Faster R-CNN 通過對抗訓(xùn)練方式學(xué)習(xí)了多源數(shù)據(jù)的判別特征.

表2 各種算法在SSDD和NWPU VRH-10數(shù)據(jù)集上的mAP和Runtime

此外，表2給出了不同N設(shè)置下本文方法的檢測準(zhǔn)確率. 總體上看，特征級域自適應(yīng)網(wǎng)絡(luò)對適應(yīng)網(wǎng)絡(luò)的個(gè)數(shù)N比較穩(wěn)健，所測mAP均高于其他方法. 但當(dāng)N過小或過大時(shí)，準(zhǔn)確率會(huì)受到一定影響. 當(dāng)N特別小時(shí)，域自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，會(huì)影響多源圖像信息的表征. 當(dāng)N特別大時(shí)，域自適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)冗余，會(huì)影響域自適應(yīng)特征的判別性. 圖7 展示了不同N下，本方法在NWPU VRH-10 和SSDD 數(shù)據(jù)集上的檢測曲線（PR 曲線），可直觀看出算法的穩(wěn)定性. 最后，當(dāng)N取3 時(shí)，本文方法取得了最高的平均檢測準(zhǔn)確率84.9%，并且在2 種數(shù)據(jù)集上均取得最高檢測準(zhǔn)確率. 這是因?yàn)樗崴惴ㄍㄟ^引入風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)和域自適應(yīng)網(wǎng)絡(luò)，在圖像級和特征級2個(gè)層面實(shí)現(xiàn)多源數(shù)據(jù)的域自適應(yīng)，從而提取到多源數(shù)據(jù)的一致性特征進(jìn)行艦船目標(biāo)檢測.

圖7 不同N設(shè)置下NWPU VRH-10和SSDD數(shù)據(jù)集的檢測曲線

為了進(jìn)一步驗(yàn)證本文方法對任意多源數(shù)據(jù)集的普適性，本節(jié)在上文提到的4 種數(shù)據(jù)源上進(jìn)行實(shí)驗(yàn)，結(jié)果如表3 所示. 和理論分析一致，所提方法取得了較好性能. 相比于2 種數(shù)據(jù)源的平均mAP，4 種數(shù)據(jù)源的檢測性能可以提高5.9%. 這是因?yàn)閿?shù)據(jù)源越豐富，所提算法可以更好地提取不同域的一致性表征，從而更有利于對多源特征進(jìn)行信息解耦與耦合. 圖8 給出了不同N設(shè)置下本文方法對多源數(shù)據(jù)的檢測曲線. 同樣地，本算法對任意多源數(shù)據(jù)也足夠穩(wěn)定，當(dāng)適應(yīng)網(wǎng)絡(luò)個(gè)數(shù)為3時(shí)取得最高檢測準(zhǔn)確率. 綜上所述，本文方法在一定程度上緩解了多源數(shù)據(jù)存在的域偏移問題，適用于多源遙感圖像艦船目標(biāo)檢測.

圖8 不同N設(shè)置下多源數(shù)據(jù)的檢測曲線

表3 多源數(shù)據(jù)集上各種算法的mAP %

5.5 可視化實(shí)驗(yàn)與分析

圖9展示了本方法在4 種數(shù)據(jù)集上的部分檢測結(jié)果，檢測框全部正確. 所提方法不僅能檢測多尺度艦船目標(biāo)，尤其是小目標(biāo)，在復(fù)雜背景（SAR 圖像中島嶼和陸地，光學(xué)圖像中云霧）的干擾下也有不錯(cuò)的檢測效果. 這表明域自適應(yīng)網(wǎng)絡(luò)通過解耦操作避免了復(fù)雜背景的干擾同時(shí)提取了關(guān)鍵特征，提升了艦船目標(biāo)檢測準(zhǔn)確率. 本文方法能夠從圖像級和特征級拉近不同域，是更為通用的艦船目標(biāo)檢測器. 此外，圖10 對比了不同算法在多源數(shù)據(jù)集上的部分檢測結(jié)果，包括雙階段算法Libra R-CNN、單階段算法RetinaNet、無錨框艦船檢測算法CenterNet++、多源檢測算法Universal DA 以及本文算法. 其中深藍(lán)色框?yàn)間round truths，紫羅蘭色框?yàn)閠rue positives，紅色框?yàn)閒alse positives，綠色框?yàn)閒alse negatives. 從上到下依次為NWPU VHR-10，SSDD，HRSC，SAR-Ship-Dataset 數(shù)據(jù)集中的圖像. 可以看出，本算法明顯優(yōu)于其他算法，減少了漏檢和誤檢，檢測準(zhǔn)確率更高.

圖9 本文方法在多源數(shù)據(jù)集上的部分檢測結(jié)果

圖10 不同方法在多源數(shù)據(jù)集上的部分檢測結(jié)果

圖11是本文方法在4 種數(shù)據(jù)集上不理想的檢測結(jié)果. 對于處于更加復(fù)雜背景的艦船目標(biāo)，本文方法會(huì)漏檢和誤檢其中的個(gè)別艦船. 這是因?yàn)镾AR圖像自身缺乏細(xì)節(jié)紋理信息，背景噪聲很容易對其檢測造成干擾，而光學(xué)遙感圖像中存在和艦船外表相似的目標(biāo). 因此，為了更進(jìn)一步提升算法的檢測能力，可以使用圖像超分辨率重建網(wǎng)絡(luò)提升艦船目標(biāo)的分辨率以獲得更優(yōu)秀的判別性特征. 具體地，可以采用基于無監(jiān)督PULSE算法［38］，通過探索生成模型的潛在空間實(shí)現(xiàn)遙感圖像的超分重建.

圖11 本文方法不理想的檢測結(jié)果

6 結(jié)束語

為了實(shí)現(xiàn)一個(gè)通用方法檢測多源數(shù)據(jù)中的艦船，本文提出了一種基于不變特征的多源遙感圖像艦船目標(biāo)檢測算法，實(shí)現(xiàn)圖像級和特征級2 個(gè)層面域自適應(yīng).通過引入風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)在圖像級拉近光學(xué)遙感圖像域和SAR 圖像域，這有利于后續(xù)網(wǎng)絡(luò)在圖像層面上學(xué)習(xí)多源數(shù)據(jù)的不變特征，同時(shí)實(shí)現(xiàn)數(shù)據(jù)擴(kuò)增. 另外，通過采用域自適應(yīng)網(wǎng)絡(luò)實(shí)現(xiàn)對多源特征的解耦以提取到多域的一致性特征，經(jīng)過注意力機(jī)制的自適應(yīng)權(quán)重分配實(shí)現(xiàn)特征重組，在特征層面上學(xué)習(xí)多源數(shù)據(jù)的不變特征. 本文在NWPU VHR-10，SSDD，HRSC，SAR-Ship-Dataset 數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)并分析了其算法性能.實(shí)驗(yàn)表明，所提方法實(shí)現(xiàn)了最佳檢測準(zhǔn)確率并且能夠滿足實(shí)時(shí)性的需求.

本文方法雖然相比現(xiàn)有方法取得了最佳檢測精度，但是在面臨更復(fù)雜背景時(shí)，由于背景噪聲對目標(biāo)特征的干擾，會(huì)出現(xiàn)漏檢和誤檢情況. 在未來，將使用圖像超分辨率重建網(wǎng)絡(luò)來緩解此問題，以進(jìn)一步提升檢測準(zhǔn)確率.