AIS 和光學(xué)遙感圖像引導(dǎo)的星載SAR 艦船目標(biāo)識(shí)別網(wǎng)絡(luò)

王子玲，熊振宇，*，楊璐鋮，楊蕊寧，黃林周

1.海軍航空大學(xué) 信息融合研究所，煙臺(tái) 264001

2.中國(guó)人民解放軍 91033 部隊(duì)，青島 266000

3.重慶市勘測(cè)院，重慶 401120

4.重慶市地理信息和遙感應(yīng)用中心，重慶 401120

在遼闊的海洋中，各類信息呈現(xiàn)海量特征，但感興趣艦船目標(biāo)的有效信息密度低、不完備，且易受到復(fù)雜海洋環(huán)境影響，導(dǎo)致精準(zhǔn)識(shí)別目標(biāo)困難。隨著海洋監(jiān)視技術(shù)的大力發(fā)展，各類探測(cè)手段不斷增多，探測(cè)效果不斷增強(qiáng)，通過(guò)多手段聯(lián)合方式能夠?qū)崿F(xiàn)優(yōu)勢(shì)互補(bǔ)，得到更易于理解、更加全面、更為精確有效的目標(biāo)信息，進(jìn)一步提升艦船目標(biāo)探測(cè)效率。例如，光學(xué)衛(wèi)星圖像分辨率高，圖像解譯快，可對(duì)目標(biāo)實(shí)現(xiàn)精準(zhǔn)觀測(cè)，但無(wú)法在夜晚?xiàng)l件工作，同時(shí)易受到惡劣天氣影響；星載SAR 不易受環(huán)境影響，可全天時(shí)全天候觀測(cè)艦船目標(biāo)，但圖像解譯困難，不能連續(xù)觀測(cè)；AIS 能提供目標(biāo)的身份信息和長(zhǎng)、寬等屬性信息，實(shí)現(xiàn)感興趣目標(biāo)連續(xù)觀測(cè)，但準(zhǔn)確獲取非合作目標(biāo)信息困難，特別是外國(guó)軍用艦船目標(biāo)信息。通過(guò)融合不同模態(tài)數(shù)據(jù)，有效降低目標(biāo)不確定性，得到準(zhǔn)確的目標(biāo)狀態(tài)和身份估計(jì)。但以上各類目標(biāo)信息類型多樣，數(shù)據(jù)異構(gòu)且形狀、紋理、極化、光譜、結(jié)構(gòu)等特征差異大，導(dǎo)致在海洋目標(biāo)識(shí)別任務(wù)中出現(xiàn)多模態(tài)信息融合處理難，識(shí)別精度低等問(wèn)題。本文著手以SAR 圖像為基準(zhǔn)，以AIS 歷史數(shù)據(jù)和光學(xué)遙感圖像作為輔助信息，通過(guò)構(gòu)建遷移學(xué)習(xí)網(wǎng)絡(luò)精確識(shí)別出SAR 圖像中的艦船目標(biāo)。

早期SAR 圖像艦船目標(biāo)識(shí)別工作主要利用幾何、紋理、局部雷達(dá)散射截面（Local Radar Cross Section， LRCS）和梯度方向直方圖（Histogram of Oriented Gradients， HOGs）等 特 征［1-4］識(shí) 別 各類目標(biāo)，但這些算法都采用手工特征的提取方式，其特征表示能力弱，識(shí)別準(zhǔn)確率和識(shí)別效率低。得益于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用廣泛［5-6］。近期許多研究通過(guò)構(gòu)建深度注意力網(wǎng)絡(luò)和特征融合框架有效提升目標(biāo)識(shí)別精度［7-11］。

但是以上算法大都只適用于于單一模態(tài)的SAR 圖像艦船目標(biāo)識(shí)別，不同模態(tài)之間數(shù)據(jù)異構(gòu)，其特征分布存在巨大差異，難以度量。Xiong等［12］提出了一種跨模態(tài)知識(shí)蒸餾網(wǎng)絡(luò)，通過(guò)將SAR 圖像和光學(xué)遙感圖像映射到共同的空間中，使不同模態(tài)能在同一特征空間中進(jìn)行度量。Sun等［13］提出了一種跨模態(tài)哈希網(wǎng)絡(luò)，利用生成對(duì)抗網(wǎng)絡(luò)和語(yǔ)義保護(hù)模型有效解決不同模態(tài)之間的語(yǔ)義差異，同時(shí)將特征從實(shí)值轉(zhuǎn)換成二值哈希編碼，提升跨模態(tài)SAR 圖像和光學(xué)遙感圖像之間的處理效率。但是這些算法都只適應(yīng)于大規(guī)模遙感場(chǎng)景圖像處理任務(wù)，SAR 圖像艦船目標(biāo)識(shí)別需要利用算法模型關(guān)注圖像中更加細(xì)粒度的目標(biāo)特征。Lang 等［14］提出了一種改進(jìn)的多類自適應(yīng)支持向量機(jī)，利用幾何特征實(shí)現(xiàn)AIS 與SAR圖像之間的特征遷移，提升SAR 圖像艦船目標(biāo)識(shí)別精度。Lang 等［15］提出了一種多源異構(gòu)遷移學(xué)習(xí)算法，利用特征增強(qiáng)機(jī)制充分挖掘不同模態(tài)之間的互補(bǔ)信息，能夠以半監(jiān)督的方式實(shí)現(xiàn)小樣本SAR 圖像艦船目標(biāo)識(shí)別。Hou 等［16］利用AIS信息實(shí)現(xiàn)了大規(guī)模SAR 圖像海洋場(chǎng)景中的艦船目標(biāo)細(xì)粒度標(biāo)注。Zhan 等［17］利用生成對(duì)抗的思想以細(xì)粒度的方式實(shí)現(xiàn)了不同模態(tài)異構(gòu)特征之間的知識(shí)遷移。Rodger 等［18］構(gòu)建了SAR 圖像和AIS 融合數(shù)據(jù)，提出輔助信息引導(dǎo)的天基海洋目標(biāo)監(jiān)視框架。

受到現(xiàn)有工作啟發(fā)，同時(shí)考慮到SAR 圖像艦船目標(biāo)數(shù)據(jù)分辨率低，成像質(zhì)量較差，圖像解譯困難，樣本不均衡等問(wèn)題，本文提出了AIS 和光學(xué)遙感圖像引導(dǎo)的星載SAR 艦船目標(biāo)識(shí)別網(wǎng)絡(luò)，借助AIS 歷史數(shù)據(jù)和高分辨率光學(xué)遙感圖像艦船目標(biāo)數(shù)據(jù)集，解決SAR 圖像艦船目標(biāo)識(shí)別精度低的問(wèn)題。本文提出的目標(biāo)識(shí)別網(wǎng)絡(luò)主要包括特征提取模塊、異構(gòu)特征遷移模塊、特征對(duì)齊模塊3 部分。在特征提取模塊中分別提取各自模態(tài)的判別性特征，其中對(duì)于AIS 數(shù)據(jù)以艦船目標(biāo)長(zhǎng)寬為基礎(chǔ)，設(shè)計(jì)11 維屬性特征，對(duì)于光學(xué)遙感圖像和SAR 圖像分 別 采 用 深 度 神 經(jīng) 網(wǎng) 絡(luò)VGG16［19］和Resnet18［20］提取圖像深度特征。在異構(gòu)特征遷移模塊中，利用兩層全連接層將不同維度的異構(gòu)特征映射到共同的空間中進(jìn)行度量，同時(shí)保留各自模態(tài)獨(dú)有的屬性特征。在特征對(duì)齊模塊中，利用對(duì)抗域自適應(yīng)模型，通過(guò)設(shè)計(jì)多個(gè)判別器和生成器進(jìn)一步以細(xì)粒度的方式對(duì)齊不同模態(tài)數(shù)據(jù)的異構(gòu)特征，充分挖掘不同模態(tài)的判別性特征，實(shí)現(xiàn)AIS 數(shù)據(jù)和光學(xué)遙感圖像向SAR 圖像的數(shù)據(jù)特征遷移，有效提升SAR 圖像艦船目標(biāo)的識(shí)別精度。實(shí)驗(yàn)結(jié)果表明，本文提出的算法利用其他模態(tài)的信息有效提升了SAR 圖像艦船識(shí)別的準(zhǔn)確率，在識(shí)別精度上超過(guò)了基準(zhǔn)算法。

1 模型方法

1.1 特征提取模塊

圖1 提出算法的整體框架Fig.1 Framework of our proposed method

將AIS 數(shù)據(jù)提供的艦船長(zhǎng)（L）寬（W）屬性特征分別記作f1和f2?？紤]到單純利用這2 個(gè)特征來(lái)表示所有的艦船類別不具有足夠的判別性，利用長(zhǎng)寬特征作為基礎(chǔ)，構(gòu)建艦船目標(biāo)AIS 數(shù)據(jù)11 維度特征向量fais=[f1，f2，…，f11]，具體 描述如表1所示。光學(xué)遙感圖像采用了經(jīng)典VGG16 網(wǎng)絡(luò)提取圖像特征，最終輸出4 096 維度的特征表示fopt。星載SAR 艦船目標(biāo)圖像采用Resnet18 網(wǎng)絡(luò)提特征，最終輸出512 維度的特征表示fsar。

表1 AIS 特征描述Table 1 Description of AIS features

1.2 異構(gòu)特征遷移模塊

1.3 異構(gòu)特征對(duì)齊模塊

為進(jìn)一步對(duì)齊不同模態(tài)間的特征分布，設(shè)計(jì)模態(tài)對(duì)抗損失函數(shù)LD，在訓(xùn)練過(guò)程中通過(guò)對(duì)抗域自適應(yīng)的方式減小跨模態(tài)差異。模態(tài)對(duì)抗損失函數(shù)包含模態(tài)判別器和特征生成器，其中特征生成器由特征遷移模塊中的神經(jīng)網(wǎng)絡(luò)G構(gòu)成，用于生成AIS、光學(xué)圖像和SAR 圖像特征來(lái)欺騙模態(tài)判別器。模態(tài)判別器由包含兩層全連接層的神經(jīng)網(wǎng)絡(luò)D組成，用于判斷從生成器中輸出的特征模態(tài)。通過(guò)優(yōu)化對(duì)抗損失函數(shù)LD來(lái)最小化判別器輸出值，最大化生成器輸出值，從而減小不同模態(tài)之間的特征距離，讓判別器難以辨別從生成器中輸出的特征模態(tài)。考慮到在不同模態(tài)中圖像類別分布不一致，進(jìn)一步將模態(tài)對(duì)抗損失函數(shù)LD分為全局對(duì)抗損失函數(shù)LD1和局部對(duì)抗損失函數(shù)LD2，以更加細(xì)粒度的方式對(duì)齊不同模態(tài)間的特征分布，全局對(duì)抗損失函數(shù)LD1分別為

式中：S表示不同模態(tài)內(nèi)部的數(shù)據(jù)類別，在局部對(duì)抗損失中，判別器依據(jù)類別被劃分成S個(gè)局部判別器Ds，其 中yi，s表 示 類 別 為s的 輸 入 數(shù) 據(jù)xi的 標(biāo) 簽值，y?i，s表 示 標(biāo) 簽yi，s的 預(yù) 測(cè) 值。進(jìn) 一 步 構(gòu) 建 包 含 分類器C和特征生成器G的分類損失函數(shù)LY，該分類損失函數(shù)為

式中：Lc表示交叉熵?fù)p失函數(shù)，分類器C由線性激活函數(shù)的一層全連接層網(wǎng)絡(luò)構(gòu)成；yaisi，和分別為模態(tài)內(nèi)部對(duì)每個(gè)類別標(biāo)簽的預(yù)測(cè)值，通過(guò)優(yōu)化分類損失LY，讓特征生成器G能夠幫助各自模態(tài)輸出更具判別性的圖像特征，提升各自模態(tài)的識(shí)別準(zhǔn)確率。

考慮到不同模態(tài)數(shù)據(jù)樣本分布差異較大，在訓(xùn)練過(guò)程中可能將AIS 和光學(xué)圖像樣本中的無(wú)關(guān)信息引入到SAR 圖像模態(tài)中。為進(jìn)一步消除在特征對(duì)齊過(guò)程中引入無(wú)關(guān)樣本導(dǎo)致的不利影響，在局部對(duì)抗損失中添加權(quán)值ws擬合樣本空間中不同模態(tài)的數(shù)據(jù)分布：

式中：表 示SAR 模 態(tài) 數(shù) 據(jù) 中 標(biāo) 簽的 預(yù) 測(cè) 值。為了提升遷移模型的可解釋性，對(duì)AIS 和光學(xué)遙感圖像模態(tài)分別引入權(quán)值wais和wopt，以量化的方式計(jì)算AIS 數(shù)據(jù)和光學(xué)遙感數(shù)據(jù)對(duì)SAR 圖像艦船分類任務(wù)的貢獻(xiàn)率。在訓(xùn)練過(guò)程中，利用MMD算法［14］度量不同模態(tài)間的差異，使得不同模態(tài)間差異越大，wais和wopt取值越小?？紤]該差異為條件分布間的非參數(shù)距離估計(jì)，因此不同模態(tài)的差異度量因子定義為

綜合考慮異構(gòu)特征遷移模塊和異構(gòu)特征對(duì)齊模塊，并對(duì)不同損失添加權(quán)值，最終得到總損失函數(shù)定義為

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)設(shè)置

本文采用2 個(gè)公開(kāi)SAR 艦船目標(biāo)圖像數(shù)據(jù)集、一個(gè)光學(xué)遙感圖像數(shù)據(jù)集和AIS 歷史數(shù)據(jù)驗(yàn)證本文算法的有效性。在訓(xùn)練過(guò)程中，采用圖像翻轉(zhuǎn)，隨機(jī)剪裁和旋轉(zhuǎn)，不同程度改變圖像光照等數(shù)據(jù)增強(qiáng)策略以應(yīng)對(duì)不同類別樣本不均衡問(wèn)題。采用每一類樣本的準(zhǔn)確率（Accuracy Rate， AR）和總體準(zhǔn)確率（Overall Accuracy， OA）2 種經(jīng)典的分類度量標(biāo)準(zhǔn)來(lái)衡量本文算法的有效性。AR 主要用來(lái)衡量算法對(duì)單個(gè)類別的識(shí)別準(zhǔn)確率，OA 主要用來(lái)衡量算法對(duì)所有類別的全體艦船目標(biāo)圖像的識(shí)別準(zhǔn)確率。所有實(shí)驗(yàn)在PyTorch 深度學(xué)習(xí)框架下運(yùn)行，實(shí)驗(yàn)配置為Ubuntu 16.04， 32 GB of RAM， 8 Intel（R） Core（TM） i7-6770K CPU and NVIDIA RTX 2080Ti。

2.2 數(shù)據(jù)集

1）星載SAR 艦船目標(biāo)圖像：考慮到星載SAR 圖像分辨率低，艦船目標(biāo)細(xì)粒度解譯和標(biāo)注難度大，星載SAR 艦船目標(biāo)圖像利用當(dāng)前僅有的開(kāi)源數(shù)據(jù)集OpenSARShip［21］和FUSAR-Ship［16］。OpenSARShip 數(shù)據(jù)集源于Sentinel-1 衛(wèi)星獲取的SAR 圖像，搜集了17 個(gè)艦船類別的共計(jì)11 346 個(gè)SAR 圖像艦船切片，其中每艘艦船包含了VV 和VH 兩種極化方式，圖像空間分辨率高于20 m。FUSAR-Ship 數(shù)據(jù)集中部分類別的艦船樣例圖像如圖2（a）所示，該數(shù)據(jù)集源于高分3 號(hào)衛(wèi)星獲取的SAR 圖像，搜集了15 個(gè)艦船大類和98 個(gè)艦船子類的超過(guò)5 000 個(gè)高分辨率SAR 圖像艦船切片，圖像空間分辨率高于1.5 m。由于這2 個(gè)數(shù)據(jù)集中每個(gè)類別的艦船圖像數(shù)量存在較大差異，本文主要考慮散貨船、貨船、集裝箱船和油船這4 個(gè)艦船類別。實(shí)驗(yàn)過(guò)程中，不同數(shù)據(jù)集選取的樣本數(shù)量如表2 所示。對(duì)于2 個(gè)SAR 艦船目標(biāo)數(shù)據(jù)集，隨機(jī)選取了數(shù)據(jù)集中的80%用于訓(xùn)練，余下的20%作為測(cè)試集。

表2 艦船樣本數(shù)量Table 2 Number of ship samples

圖2 數(shù)據(jù)集樣例Fig.2 Examples from dataset

2）光學(xué)遙感圖像：光學(xué)遙感圖像來(lái)源于ORS［15］數(shù)據(jù)集，樣例圖像如圖2（b）所示，該數(shù)據(jù)集源于谷歌地球，圖像分辨率為0.5 m，整理包含了8 個(gè)類別的艦船圖像切片。該數(shù)據(jù)集相較于當(dāng)前其他光學(xué)遙感艦船數(shù)據(jù)集艦船圖像更加完整，沒(méi)有過(guò)多繁雜的背景信息，能夠更好幫助網(wǎng)絡(luò)學(xué)習(xí)到更具判別性的艦船特征。與SAR 圖像數(shù)據(jù)類似，從該數(shù)據(jù)集中選取了散貨船、貨船、集裝箱船和油船這4 個(gè)艦船類別用于網(wǎng)絡(luò)訓(xùn)練，每個(gè)類別包含400 張帶有標(biāo)注的艦船目標(biāo)圖像。不同數(shù)據(jù)集中艦船目標(biāo)圖像之間沒(méi)有配對(duì)關(guān)系，我們僅利用類別標(biāo)簽提供監(jiān)督信息。

3） AIS 數(shù) 據(jù)：AIS 數(shù) 據(jù) 采 用 在hiFleet（https：//www.hifleet.com/）下載的共計(jì)3 325 條歷史實(shí)測(cè)數(shù)據(jù)，其中包含了散貨船、貨船、集裝箱船和油船共計(jì)4 個(gè)類別，每個(gè)類別包含了約800 條AIS 艦船數(shù)據(jù)。如圖2（c）所示，每條AIS 數(shù)據(jù)采用文本的格式，從中提取了每艘艦船的海上移動(dòng)業(yè)務(wù)識(shí)別碼（Maritime Mobile Service Identity，MMSI）、艦船類別和艦船的長(zhǎng)寬信息用于作為標(biāo)簽信息和特征表示。在訓(xùn)練過(guò)程中，從該數(shù)據(jù)集每個(gè)類別中選取400 張帶有標(biāo)注的艦船目標(biāo)圖像用于網(wǎng)絡(luò)訓(xùn)練，僅利用類別標(biāo)簽提供監(jiān)督信息。

2.3 結(jié)果與分析

2.3.1 分類精度

為驗(yàn)證本文算法的有效性，在OpenSARShip和FUSAR-Ship 這2 個(gè)數(shù)據(jù)集中開(kāi)展消融實(shí)驗(yàn)，每個(gè)類別的AR 實(shí)驗(yàn)結(jié)果如表3 所示。其中AR1、AR2、AR3和AR4分代表了散貨船、貨船、集裝箱船和油船的分類精度值，“LY”表示只采用分類損失時(shí)的識(shí)別準(zhǔn)確率，從實(shí)驗(yàn)結(jié)果可以看出只采用分類損失識(shí)別精度最低，不同模態(tài)特征之間沒(méi)有遷移，無(wú)法對(duì)SAR 圖像模態(tài)的艦船識(shí)別任務(wù)提供有利特征信息輸入?！?Lp”表示同時(shí)采用分類損失和參數(shù)約束損失，從實(shí)驗(yàn)結(jié)果可以看出相比于單純采用分類損失，參數(shù)約束損失統(tǒng)一了異構(gòu)特征，將不同維度特征映射到共同空間中進(jìn)行度量，在2 個(gè)數(shù)據(jù)集中的識(shí)別準(zhǔn)確率都有較大提升?！?Lp+LD1”表示同時(shí)采用分類損失、參數(shù)約束損失和全局對(duì)抗損失，從實(shí)驗(yàn)結(jié)果可以看出，全局對(duì)抗損失進(jìn)一步對(duì)齊了不同模態(tài)的異構(gòu)特征，有效提升了識(shí)別精度。“+Lp+LD1+LD2”表示本文提出算法，同時(shí)結(jié)合了分類損失、參數(shù)約束損失、全局對(duì)抗損失和局部對(duì)抗損失，從實(shí)驗(yàn)結(jié)果可以看出該算法有效解決了異構(gòu)數(shù)據(jù)中特征分布不同導(dǎo)致的度量困難、不同類別樣本不均衡導(dǎo)致識(shí)別結(jié)果精度低等問(wèn)題，以更加細(xì)粒度的方式實(shí)現(xiàn)不同模態(tài)間的知識(shí)遷移，在2 個(gè)數(shù)據(jù)集中達(dá)到最佳效果，有效提升了SAR 圖像艦船目標(biāo)的識(shí)別精度。除此之外，考慮到不同圖像成像質(zhì)量差異大，部分類別SAR 艦船目標(biāo)圖像類間差異小，類內(nèi)差異大，不同類別利用相同算法精度有較大差異。但對(duì)于同一艦船類別，本文提出的算法有較為明顯的提升，同時(shí)達(dá)到最佳識(shí)別精度，進(jìn)一步驗(yàn)證本文算法有較強(qiáng)的魯棒性。

表3 消融實(shí)驗(yàn)Table 3 Ablation study

2.3.2 特征可視化

為了直觀地展現(xiàn)出本文算法所學(xué)習(xí)到不同模態(tài)數(shù)據(jù)特征的判別性，利用t-分布隨機(jī)鄰域嵌入算法［22］得到高維特征的二維表示，在2 個(gè)數(shù)據(jù)集中的特征可視化結(jié)果如圖3 所示。從實(shí)驗(yàn)結(jié)果的特征分布可以看出對(duì)于不同模態(tài)的同類圖像在特征空間距離更近，異類圖像距離更遠(yuǎn)。對(duì)于同一模態(tài)內(nèi)部，相同類別的圖像更加聚集，不同類別的圖像更加分散。進(jìn)一步驗(yàn)證本文算法具有良好的鑒別能力。在特征空間中同樣存在部分離群值嵌入在其他類別簇中，主要存在以下2 點(diǎn)原因：① 鑒于SAR 圖像的成像原理，對(duì)于停泊在港口的靜止艦船目標(biāo)成像較為清晰，但對(duì)于遠(yuǎn)海運(yùn)動(dòng)目標(biāo)成像模糊，所以在2 個(gè)SAR 圖像數(shù)據(jù)集中部分圖像成像質(zhì)量差，艦船目標(biāo)輪廓肉眼難辨，判別性特征提取困難，無(wú)法在特征空間中對(duì)其進(jìn)行有效劃分；② 遙感艦船目標(biāo)圖像背景信息繁雜，對(duì)于港口艦船目標(biāo)圖像，相似的背景區(qū)域?qū)?dǎo)致類內(nèi)差異遠(yuǎn)大于類間差異。

圖3 特征可視化實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of feature visualization

2.3.3 參數(shù)分析

為了進(jìn)一步驗(yàn)證總損失函數(shù)（式（19））中超參數(shù)λ對(duì)識(shí)別精度（OA）的影響，設(shè)計(jì)參數(shù)敏感性分析實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4 所示。從實(shí)驗(yàn)結(jié)果可以看出，當(dāng)λ＜0.1 時(shí)，隨著λ增加，識(shí)別精度急劇增加。當(dāng)λ=0.1 時(shí)，在OpenSARShip 和FUSAR-Ship這2 個(gè)數(shù)據(jù)集識(shí)別精度最高，隨著λ取值繼續(xù)增大，識(shí)別精度逐漸減小，且出現(xiàn)較小幅度的波動(dòng)，識(shí)別精度下降緩慢。

圖4 參數(shù)分析實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of parameter analysis

2.3.4 對(duì)比實(shí)驗(yàn)

為了進(jìn)一步體現(xiàn)本文算法的先進(jìn)性，在Open?SARShip 和FUSAR-Ship 數(shù)據(jù)集上進(jìn)行的對(duì)比實(shí)驗(yàn)如表4 所示。其中數(shù)據(jù)模態(tài)“SAR”表示只利用SAR 圖像一種模態(tài)進(jìn)行艦船識(shí)別，分別采用3 種 經(jīng) 典 的 深 度 神 經(jīng) 網(wǎng) 絡(luò)VGG16［19］、Resnet18［20］和Resnet50［20］作為深度特征提取器提取特征后進(jìn)行目標(biāo)識(shí)別。從實(shí)驗(yàn)結(jié)果可以看出，隨著網(wǎng)絡(luò)的不斷加深，識(shí)別準(zhǔn)確率不斷提高，但由于SAR 圖像分辨率低，判別性特征不明顯，單一利用深度特征提取器的識(shí)別準(zhǔn)確率依然不理想?！?AIS”表示同時(shí)利用SAR 圖像和AIS 數(shù)據(jù)兩種模態(tài)進(jìn)行艦船識(shí)別，利用AIS 歷史數(shù)據(jù)作為先驗(yàn)信息，將知識(shí)遷移到SAR 圖像模態(tài)中?？紤]到，OpenSARShip 數(shù)據(jù)集中的艦船圖像分辨率明顯小于FUSAR-Ship數(shù)據(jù)集，判別性特征提取相對(duì)困難，不同算法在OpenSARShip 數(shù)據(jù)集中的分類精度低于FUSAR-Ship。從實(shí)驗(yàn)結(jié)果可以看出MMDT［23］算法相比于HFA［24］和CDLS［25］識(shí)別結(jié)果較差，該算法無(wú)法從AIS 中提取到充分屬性特征，特征提取模塊無(wú)法從SAR 圖像中提取判別性的艦船特征?！?OPT”表示同時(shí)利用SAR 圖像和光學(xué)遙感圖像2 種模態(tài)進(jìn)行艦船識(shí)別，從實(shí)驗(yàn)結(jié)果可以看出相比于AIS 數(shù)據(jù)識(shí)別準(zhǔn)確率有了大幅提升，光學(xué)遙感圖像內(nèi)容更為豐富，能夠提取更具判別性的圖像特征，通過(guò)遷移學(xué)習(xí)，利用先驗(yàn)知識(shí)幫助模型更準(zhǔn)確的識(shí)別艦船目標(biāo)。“+AIS+OPT”表示本文算法同時(shí)利用AIS 數(shù)據(jù)、光學(xué)遙感圖像和SAR這3 種模態(tài)進(jìn)行艦船識(shí)別，從實(shí)驗(yàn)結(jié)果可以看出，DAMA［26］算法識(shí)別精度較低，主要是因?yàn)閭鹘y(tǒng)基于手工特征的表示方式無(wú)法獲取不同模態(tài)艦船圖像的判別性信息。MUDAF［27］算法采用了無(wú)監(jiān)督遷移方式實(shí)現(xiàn)不同模態(tài)信息的互補(bǔ)提取，考慮到遙感艦船目標(biāo)圖像內(nèi)容豐富，背景信息繁雜，該算法無(wú)法有效提升識(shí)別精度。本文算法提取了各自模態(tài)獨(dú)有判別性特征，充分挖掘了不同模態(tài)之間的互補(bǔ)信息，在2 個(gè)數(shù)據(jù)集中都達(dá)到了最佳的識(shí)別準(zhǔn)確率，驗(yàn)證了本文算法的有效性。

表4 分類精度對(duì)比實(shí)驗(yàn)結(jié)果Table 4 Comparison of classification accuracy of dif?ferent methods

3 結(jié) 論

本文提出了一種AIS 和光學(xué)遙感圖像引導(dǎo)的星載SAR 艦船目標(biāo)識(shí)別網(wǎng)絡(luò)，利用特征遷移模塊在保留各自模態(tài)獨(dú)有特征屬性前提下將異構(gòu)特征映射到共同的空間中度量，利用異構(gòu)特征對(duì)齊模塊充分挖掘不同模態(tài)的互補(bǔ)信息，以細(xì)粒度的方式進(jìn)一步對(duì)齊不同模態(tài)的異構(gòu)特征，將各個(gè)模態(tài)的判別性特征作為先驗(yàn)信息遷移至SAR 圖像模態(tài)中。實(shí)驗(yàn)中，本文利用AIS 歷史數(shù)據(jù)和光學(xué)遙感圖像作為輔助信息，利用2 個(gè)公開(kāi)SAR 艦船目標(biāo)圖像數(shù)據(jù)集對(duì)本文算法模型進(jìn)行有效性驗(yàn)證。實(shí)驗(yàn)結(jié)果表明本文算法通過(guò)利用不同模態(tài)信息，有效提升了SAR 圖像艦船目標(biāo)的識(shí)別準(zhǔn)確率。

在后續(xù)的工作中將對(duì)SAR 艦船目標(biāo)圖像數(shù)據(jù)集的數(shù)量和種類進(jìn)一步擴(kuò)充，并利用AIS、光學(xué)圖像、一維距離像等多種目標(biāo)探測(cè)手段，構(gòu)建大規(guī)模多源異構(gòu)艦船目標(biāo)數(shù)據(jù)庫(kù)。在此基礎(chǔ)上設(shè)計(jì)統(tǒng)一大模型框架實(shí)現(xiàn)不同模態(tài)的數(shù)據(jù)遷移，進(jìn)一步提升海上艦船目標(biāo)的識(shí)別精度。