細(xì)粒度遙感艦船開(kāi)集識(shí)別

柳長(zhǎng)源，李 婷，蘭朝鳳

（哈爾濱理工大學(xué) 測(cè)控技術(shù)與通信工程學(xué)院，黑龍江 哈爾濱 150080）

1 引言

艦船在現(xiàn)代化海域中扮演著重要的角色。軍事方面，精準(zhǔn)的艦船識(shí)別可以增強(qiáng)近海防御和遠(yuǎn)洋打擊能力，民用方面，艦船識(shí)別技術(shù)可以幫助相關(guān)部門進(jìn)行海上搜救和交通管制等活動(dòng)［1］。所以對(duì)艦船目標(biāo)精準(zhǔn)、高效地識(shí)別是智能化海洋監(jiān)控應(yīng)用中非常重要的研究方向［2］。

由于不同類別的艦船之間形態(tài)較為相似而同類別的艦船之間形態(tài)差異較大，并且遙感艦船圖像中的目標(biāo)主體較小很難從周圍環(huán)境中辨識(shí)出來(lái)，因此對(duì)艦船的精細(xì)識(shí)別具有較高的難度。目前，遙感艦船細(xì)粒度分類的關(guān)鍵在于局部微小的差異，而常規(guī)方法受到先驗(yàn)知識(shí)和弱特征表達(dá)的限制，難以處理復(fù)雜背景下的圖像，且提取到的特征大多是全局特征，缺少對(duì)局部微小差異部分的重點(diǎn)關(guān)注［3］。因此，需要將細(xì)粒度目標(biāo)的識(shí)別方法引入到艦船的細(xì)粒度分類中。

Lin 等人［4］提出了雙線性卷積神經(jīng)網(wǎng)絡(luò)（Bilinear Convolutional Neural Network，BCNN），模型由兩個(gè)子網(wǎng)絡(luò)組成，一個(gè)子網(wǎng)絡(luò)用于提取目標(biāo)區(qū)域，另一個(gè)用于獲取區(qū)域內(nèi)的特征，以此來(lái)捕獲不同子類間的微小差異，但是該模型忽略了不同卷積層之間的交互。Jianlong FU 等人［5］結(jié)合了區(qū)域定位和區(qū)域內(nèi)特征學(xué)習(xí)提出了循環(huán)注意力卷積 神經(jīng)網(wǎng) 絡(luò)（Recurrent Attention Convolutional Neural Network，RA-CNN）。該網(wǎng)絡(luò)由三個(gè)尺度構(gòu)成，每個(gè)尺度均由注意力網(wǎng)絡(luò)（Attention Proposal Sub-Network，APN）和分類子網(wǎng)絡(luò)構(gòu)成，其中注意力網(wǎng)絡(luò)用于定位注意力區(qū)域，此模型的缺點(diǎn)是三個(gè)尺度參數(shù)不共享，模型計(jì)算較復(fù)雜。Chen 等人［6］提出了破壞與重構(gòu)模型（Destruction and Construction Learning，DCL），使用區(qū)域混 亂機(jī)制（Region Confusion Mechanism，RCM）擾亂了由輸入圖像分割成的多個(gè)區(qū)域，迫使網(wǎng)絡(luò)更多的關(guān)注判別性區(qū)域以此提高分類準(zhǔn)確性。以上方法雖然對(duì)于細(xì)粒度遙感艦船的分類取得了較好的效果，但是受客觀因素的限制，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)幾乎不可能收集到所有的艦船類別，而傳統(tǒng)的細(xì)粒度遙感艦船分類方法都具有閉集性，即對(duì)于未知的類別，分類器會(huì)作出錯(cuò)誤的分類，將其強(qiáng)行劃分成某種已知的類別，最終降低識(shí)別的準(zhǔn)確率。

為了使細(xì)粒度艦船分類更好適用于現(xiàn)實(shí)場(chǎng)景，本文設(shè)計(jì)了細(xì)粒度遙感艦船開(kāi)集識(shí)別模型。通過(guò)帶有幾何空間注意模塊的主干網(wǎng)絡(luò)提取深度特征，利用基分支學(xué)習(xí)更緊湊的類中心分布，元嵌入分支重新定位類中心，將細(xì)粒度遙感艦船的分類問(wèn)題推向開(kāi)放環(huán)境，打破了傳統(tǒng)的基于閉集假設(shè)下分類問(wèn)題的局限。

2 相關(guān)方法

2.1 開(kāi)集識(shí)別

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Net-works，CNN）由于使用Softmax 函數(shù)將輸出類標(biāo)簽對(duì)應(yīng)于訓(xùn)練類的最大規(guī)范化概率作為預(yù)測(cè)結(jié)果。因此，當(dāng)出現(xiàn)訓(xùn)練數(shù)據(jù)集中沒(méi)有的未知類別時(shí)，分類器會(huì)錯(cuò)誤地將其歸為與已知類別最相似一類。由于現(xiàn)實(shí)場(chǎng)景中的物體多種多樣很難獲取所有的類別用于訓(xùn)練，為此許多學(xué)者提出開(kāi)放集識(shí)別（Open-set Recognition，OSR）的 概念［7］，并提出了許多基于深度學(xué)習(xí)的OSR 方法，以緩解傳統(tǒng)CNN 的閉集特性。開(kāi)放集識(shí)別描述了一種場(chǎng)景，即在拒絕未知的類別的同時(shí)還能精準(zhǔn)識(shí)別出已知類別，如圖1 所示。OSR 方法原理是優(yōu)化最小化訓(xùn)練數(shù)據(jù)集U和開(kāi)放空間風(fēng)險(xiǎn)以及經(jīng)驗(yàn)風(fēng)險(xiǎn)，其定義如公式（1）所示：

圖1 開(kāi)放集識(shí)別場(chǎng)景Fig.1 Open set identification scenario

其中，λr是一個(gè)正則化常數(shù)。

現(xiàn)有的OSR 方法有判別模型［8-9］和生成模型兩種［10-11］。判別模型側(cè)重于校準(zhǔn)模型的潛在特征表示或模型的后驗(yàn)概率分布。而生成模型一般是通過(guò)變分自動(dòng)編碼器（Variational Autoencoder，VAE）或者生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）對(duì)數(shù)據(jù)施加先驗(yàn)概率分布。雖然以上兩種模型將CNN 應(yīng)用到一個(gè)未知的開(kāi)放世界中，但是細(xì)粒度遙感艦船具有類內(nèi)的多樣性和類間的相似性，并且艦船通常與周圍的環(huán)境相融合。將其應(yīng)用于細(xì)粒度遙感艦船的識(shí)別更為復(fù)雜，識(shí)別的準(zhǔn)確率也不高。

2.2 注意力機(jī)制

注意力機(jī)制是使計(jì)算機(jī)能夠像人類一樣自主獲取重點(diǎn)關(guān)注區(qū)域，從而過(guò)濾掉無(wú)關(guān)的信息。現(xiàn)有的注意力有兩種分別為硬注意［12］和軟注意［13-16］。由于軟注意力具有可微性使其在網(wǎng)絡(luò)的正向傳播和反向傳播過(guò)程中能夠?qū)崟r(shí)進(jìn)行更新，因此在CNN 中被廣泛使用。

Hu 等人［13］提出了可自由嵌入到其他網(wǎng)絡(luò)中的壓縮 激活模 塊（Squeeze and Excitation Network，SE-Net），該模塊通過(guò)擠壓、激勵(lì)和尺度操作在通道維度上對(duì)特征進(jìn)行處理，使得信息量較大的通道特征被更多的關(guān)注。借鑒Hu 等人的思想Wang 等人［14］提出了一種高效通道注意力模塊（Efficient Channel Attention Module，ECA），該模塊是不降維式的跨通道交互模塊，僅僅利用了通道維 度上的特征。Woo S［15］等人整合了通道注意力和空間注意力提出了輕量級(jí)的注意力模塊（Convolutional Block Attention Module，CBAM），雖然以上注意力模塊在分類任務(wù)中表現(xiàn)良好，但是不能將所關(guān)注的重點(diǎn)區(qū)裁剪出來(lái)使輸入圖片變成理想的圖片。為了在過(guò)濾背景信息的同時(shí)更突出目標(biāo)主體，Jader-berg 等人［16］提出了一種空間變換網(wǎng)絡(luò)（Spatial Transformer Networks，STN），在空間域內(nèi)進(jìn)行空間變換來(lái)提取關(guān)鍵信息。經(jīng)過(guò)訓(xùn)練的STN 可以找到感興趣區(qū) 域（Region Of Interest，ROI）的區(qū)域，并具有旋轉(zhuǎn)、縮放和變換的功能。因此，本文將STN 引入到特征提取網(wǎng)絡(luò)前，用于去除艦船背景信息的干擾，將艦船目標(biāo)主體裁剪出來(lái)并放大到標(biāo)準(zhǔn)尺寸。

3 算法設(shè)計(jì)

本文的分支融合網(wǎng)絡(luò)模型由基分支和元嵌入分支構(gòu)成。首先采用STN 提取細(xì)粒度遙感艦船圖像中的艦船目標(biāo)，之后使用特征提取網(wǎng)絡(luò)提取艦船目標(biāo)圖像的深度特征分別作為基分支和元嵌入分支的輸入，基分支用于減小艦船圖像的類內(nèi)差異，元嵌入分支用于增大艦船圖像的類間差異并加強(qiáng)對(duì)小樣本的學(xué)習(xí)能力，同時(shí)也對(duì)基分支的分類結(jié)果進(jìn)行校準(zhǔn)。最后對(duì)兩個(gè)分支的分類結(jié)果決策融合，根據(jù)設(shè)定的閾值判別已知類和未知類，若為已知類則進(jìn)一步細(xì)分出具體類別。模型的總體框圖如圖2 所示。

圖2 模型整體結(jié)構(gòu)框圖Fig.2 Model overall structure block diagram

3.1 多尺度STN-Resnet 網(wǎng)絡(luò)

STN 主要由三部分構(gòu)成分別是：參數(shù)預(yù)測(cè)（localisation net）、坐標(biāo)映射（grid generator）和像素采集（sampler），基本架構(gòu)如圖3 所示。

圖3 STN 基本架構(gòu)Fig.3 Basic architecture of STN

參數(shù)預(yù)測(cè)模塊的輸入U(xiǎn)，輸出變換矩陣，決定STN 模塊對(duì)輸入圖像或特征圖做哪種變換；坐標(biāo)映射用于做矩陣運(yùn)算，該運(yùn)算以目標(biāo)圖像V中的所有坐標(biāo)點(diǎn)為自變量，θ為參數(shù)計(jì)算輸入圖像U的坐標(biāo)點(diǎn)，具體計(jì)算過(guò)程如式（2）所示：

STN 可以任意位置、任意數(shù)量的插入到現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)中，使得網(wǎng)絡(luò)能夠自主的對(duì)整張圖像或特征圖進(jìn)行平移、縮放、剪裁和旋轉(zhuǎn)等空間變換。由于該模塊在選擇圖像中重點(diǎn)關(guān)注區(qū)域的同時(shí)，還可以將該區(qū)域放大到標(biāo)準(zhǔn)尺寸。故本文將其插入到特征提取網(wǎng)絡(luò)Resnet34［17］前，用于提取艦船目標(biāo)主體。

由于卷積核大小不同獲得的輸入圖像中的感知域也不同，而細(xì)粒度艦船的分類關(guān)鍵在于細(xì)小差異。僅使用一種尺度的卷積核，提取到的信息比較單一，在一定程度上限制了細(xì)粒度遙感艦船的分類準(zhǔn)確性。因此，本文使用1×1，3×3 和5×5 不同大小的卷積核構(gòu)建了兩個(gè)并行的卷積通道來(lái)提取不同尺度的信息，其中第一條通道由1×1，3×3 卷積和BN 層構(gòu)成；第二條通道由1×1，5×5 卷積和BN 層構(gòu)成，最后將兩個(gè)通道的輸出進(jìn)行拼接經(jīng)過(guò)一個(gè)1×1 卷積降維輸入到Resnet34 網(wǎng)絡(luò)。并行卷積模塊結(jié)構(gòu)示意圖如圖4所示。

圖4 并行卷積模塊結(jié)構(gòu)示意圖Fig.4 Structure diagram of parallel convolution module

3.2 基分支結(jié)構(gòu)

對(duì)于細(xì)粒度分類而言僅利用特征提取網(wǎng)絡(luò)得到不同類別之間的潛在特征，區(qū)分性不是很好，而利用STN 先去除背景信息的干擾，由特征提取網(wǎng)絡(luò)得到的深度特征辨別能力依舊不強(qiáng)，以此進(jìn)行分類也很難達(dá)到令人滿意的效果。Wen等人在2016 年提出中心損失函數(shù)（Center Loss）［18］。Center Loss 最初應(yīng)用在人臉這種復(fù)雜的數(shù)據(jù)分布，使得同種類別間的特征更加緊湊，公式如式（3）所示：

其中：xi是由特征提取網(wǎng)絡(luò)提取到的第i個(gè)特征，cyi∈Rd是類別yi的特征中心，d是特征維數(shù)，m為批量處理的大小。

特征中心cyi隨深度特征的變化而變化，越靠近最近類中心的特征，越屬于相應(yīng)的類。為了提高網(wǎng)絡(luò)的訓(xùn)練效率，訓(xùn)練時(shí)基于小批量m更新中心，并在每次迭代的過(guò)程中，通過(guò)平均相應(yīng)類的特征來(lái)計(jì)算中心，目的是避免更新所有類中心導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)間的增加。

LC梯度和類中心的更新方程［18］如式（4）和式（5）所示：

其中：yi=j為判斷δ狀態(tài)的條件，當(dāng)條件成立，δ=1；如果不成立，δ=0。當(dāng)yi和cj的類別j不同時(shí)，不需要更新，只有類別相同時(shí)才更新。如果單獨(dú)使用Center Loss 來(lái)監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)，會(huì)使得深度學(xué)習(xí)的特征和類中心退化為零，導(dǎo)致?lián)p失非常小。又由于該損失函數(shù)和Softmax Loss 一樣不需要對(duì)樣本進(jìn)行復(fù)雜的重組，兩者的要求幾乎相同。因此，本文將Center Loss 加到基分支中，和Softmax Loss 聯(lián)合監(jiān)督，加強(qiáng)對(duì)辨別特征的學(xué)習(xí)，提高識(shí)別的準(zhǔn)確率。故基分支中的總損失函數(shù)LBase為L(zhǎng)SoftMax和LC的加和，如式（6）和式（7）所示：

其中：Wj∈Rd表示最后一個(gè)全連接層中權(quán)重W∈Rd×n的 第j列，d是特征維度，n是類別 數(shù)，b∈Rn是偏置項(xiàng)，標(biāo)量λC在［0，1］中受限，主要用于平衡兩個(gè)損失函數(shù)。λC的值影響了不同特征之間的可分性，λC值越大，會(huì)導(dǎo)致同類之間的特征更緊湊，反之，同類間的特征更分散。

該分支的輸入為Resnet 網(wǎng)絡(luò)最后一個(gè)卷積層的輸出特征fbackbone，采用雙損失共同監(jiān)督，其中，Center Loss 用于減小同類間的差異，Softmax Loss 用于學(xué)習(xí)類間的差異，兩者的聯(lián)合加強(qiáng)了對(duì)深度特征的辨別能力的學(xué)習(xí)，使網(wǎng)絡(luò)更適用于類間差異小的目標(biāo)。

3.3 元嵌入分支

細(xì)粒度艦船具有較大的類內(nèi)差異的同時(shí)具有較小的類間差異。雖然基分支有效解決了同類別艦船圖像之間差異較大的問(wèn)題，但是由于不同類別艦船之間的差異很小，單獨(dú)使用基分支對(duì)有細(xì)微差異的艦船分類準(zhǔn)確率較低。為了減小艦船圖像類內(nèi)變化的同時(shí)增加其類間的差異，使特征在不受相應(yīng)類中心影響的同時(shí)還增大了與其他類中心之間的距離。本文的元嵌入分支借鑒類結(jié)構(gòu)分析方法［19］，采用判別中心作為基本構(gòu)造塊。將訓(xùn)練的主干特征fbackbone作為元嵌入分支的輸入，讓M=表示所有訓(xùn)練數(shù)據(jù)的視覺(jué)記憶，N為訓(xùn)練類別數(shù)目。在訓(xùn)練過(guò)程中，隨機(jī)抽取一定的樣本數(shù)據(jù)用于更新中心ci，最大限度地提高訓(xùn)練樣本和其他類中心之間的距離。

由于細(xì)粒度艦船圖像采集困難，所以數(shù)據(jù)分布大多數(shù)是不均衡的。對(duì)于開(kāi)放環(huán)境下的數(shù)據(jù)量較少的類別缺少監(jiān)督更新的能力。借鑒文獻(xiàn)［20］的思想，在元嵌入分支中使用記憶特征fmemory豐富主干特征。使用幻覺(jué)（hallucinated）系數(shù)O∈RN評(píng)估每個(gè)類別的中心和fbackbone之間的權(quán)重關(guān)系如式（8）所示：

幻覺(jué)系數(shù)通過(guò)一個(gè)輕量級(jí)的全連接網(wǎng)絡(luò)從主干特征中獲得的，并通過(guò)γ對(duì)特征fmemory進(jìn)行縮放，得到元特征fmeta。如式（9）所示：

其中，γ 為主干特征fbackbone與其最近的類中心之間的距離如式（10）所示：

當(dāng)γ較大時(shí)認(rèn)為輸入的樣本是未知的即遠(yuǎn)離每個(gè)類的中心，并且它的元特征在所有維度上均被縮到近似于零，這進(jìn)一步體現(xiàn)了開(kāi)放集類樣本的特征表示與已知訓(xùn)練類樣本的特征有顯著差異。相反，γ較小認(rèn)為輸入的是一個(gè)已知類的樣本，此時(shí)每個(gè)維度的差異都保持不變。元嵌入分支作為訓(xùn)練的第二階段，總損失函數(shù)Lmeta為交叉熵?fù)p失函數(shù)LCE與最大邊際損失函數(shù)LM的加和，如式（11）所示：

其中，λm為最大邊際損失的權(quán)重。

此分支使用由余弦相似度設(shè)計(jì)的分類器［21］替換傳統(tǒng)的Softmax 分類器，這使得該模型能夠統(tǒng)一對(duì)已知類和未知類進(jìn)行識(shí)別，其中分類結(jié)果PM由余弦相似度算子計(jì)算，如公式（12）所示：

3.4 分支融合

在大多數(shù)情況下，先融合多個(gè)特征，再送入分類器進(jìn)行分類。這種特征融合的方法在閉集假設(shè)下的分類任務(wù)中取得了較好的效果，但是對(duì)于開(kāi)集的識(shí)別任務(wù)效果并不理想。開(kāi)集的識(shí)別常常會(huì)出現(xiàn)未知的類別。按照人類對(duì)未知物體的感知角度，融合它最終的分類結(jié)果，而不是它應(yīng)該屬于的類別即特性。因此，本文通過(guò)端對(duì)端融合兩個(gè)分支的最終識(shí)別結(jié)果來(lái)確定艦船的所屬類別。最終兩個(gè)分支融合的分類結(jié)果PD如式子（13）所示，即將基分支的分類結(jié)果PB和元嵌入分支的分類結(jié)果PM進(jìn)行決策融合。

其中，α表示校準(zhǔn)度。

為了更好地拒絕未知類別，在融合分類結(jié)果PD后設(shè)定一個(gè)閾值，用于判別是否為已知類別，最終分類結(jié)果y如式（14）所示：

其中，δ是區(qū)分已知類和未知樣本的鑒別概率閾值。

4 測(cè)量實(shí)驗(yàn)與結(jié)果

4.1 數(shù)據(jù)集預(yù)處理

FGSCR-42 數(shù)據(jù)集［22］是一個(gè) 廣泛的 光學(xué)遙感圖像中細(xì)粒度艦船分類的公共數(shù)據(jù)集，包含類別較多的軍用艦船和民用艦船的圖像。為了驗(yàn)證本文方法的有效性，選取了FGSCR-42 數(shù)據(jù)集的一部分進(jìn)行評(píng)估。考慮到民用船易于采集、軍用艦船采集困難，選取7 種民用船為已知類別作為訓(xùn)練樣本，將多種軍用艦船的混合作為未知類別和7 種已知類的民用船一起作為測(cè)試類別。每類樣本示例如圖5 所示。

圖5 樣本示例Fig.5 Sample example

OSR 方法中的測(cè)試集類要比訓(xùn)練集類多，故在本研究中將多種軍用艦船的混合統(tǒng)一當(dāng)作未知類別，和7 種已知類別一起作為測(cè)試類。為了更適用于現(xiàn)實(shí)場(chǎng)景，在實(shí)驗(yàn)中將數(shù)據(jù)集設(shè)置為平衡和不平衡分布兩種，平衡分布的訓(xùn)練數(shù)據(jù)集中每個(gè)類別有400 個(gè)，共2 800 個(gè)樣本如表1 所示，不平衡的訓(xùn)練數(shù)據(jù)集如表2 所示。

表1 平衡分布數(shù)據(jù)集Tab.1 Dataset of balanced distribution

表2 不平衡分布數(shù)據(jù)集Tab.2 Datasets of the unbalanced distribution

由于遙感圖像的目標(biāo)識(shí)別需要不同視角的識(shí)別能力，因此每類選取60 多個(gè)方向的測(cè)試樣本，按照開(kāi)放度公式［23］如式（15），設(shè)置了4 種不同的開(kāi)放度分別為9.25%，14.16%，18.35% 和21.98%，每種開(kāi)放度下的對(duì)應(yīng)的未知類別中分別包含3，5，7 和9 種軍用艦船。

其中：CTR為訓(xùn)練類別的標(biāo)簽數(shù)量，CTE為測(cè)試類別的標(biāo)簽數(shù)量。

測(cè)試集的設(shè)置見(jiàn)表3 所示，以此評(píng)估本文方法的有效性。

表3 測(cè)試數(shù)據(jù)集Tab.3 Test dataset

對(duì)處理后的數(shù)據(jù)集采取常用的圖像處理方法，首先對(duì)細(xì)粒度遙感艦船圖像進(jìn)行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)并旋轉(zhuǎn)90°，180°和270°來(lái)增加數(shù)據(jù)的多樣性。之后對(duì)光學(xué)RGB 圖像中的每個(gè)像素用平均值μx和標(biāo)準(zhǔn)差σx進(jìn)行標(biāo)準(zhǔn)化，如式（16）所示，得到泛化效果：

其中，x和分別表示原始圖像和標(biāo)準(zhǔn)化圖像的像素值。

4.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)硬件環(huán)境采用IntelCore i9-13900K 處理器，RTX4080 魔鷹顯卡，顯存為16 G。軟件環(huán)境為 Ubuntu22.04.2 和 CUDA11.7，使 用 pytorch1.8 深度學(xué)習(xí)框架。初始學(xué)習(xí)率設(shè)置為0.001，每50 輪收縮1/10，一階段訓(xùn)練100 輪，二階段訓(xùn)練200 輪，在這個(gè)階段中凍結(jié)主干網(wǎng)絡(luò)的參數(shù)，即優(yōu)化器只更新與元記憶分支相關(guān)的參數(shù)。以上兩個(gè)階段中batch-size 均設(shè)置為24。λC和λm控制了來(lái)自相應(yīng)類中心的吸引力，分別設(shè)置為0.01 和0.1。α決定元嵌入分支對(duì)基分支分類結(jié)果的校準(zhǔn)程度，將α從0 變化到0.5，同樣在兩種數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)如圖6 所示。

圖6 不同α 下的識(shí)別準(zhǔn)確率曲線圖Fig.6 Graph of recognition accuracy under different α

通過(guò)觀察發(fā)現(xiàn)隨著α值的變化而最終的識(shí)別精度并不那么穩(wěn)定，α值越高，識(shí)別的精度越低，而α值越低，不會(huì)顯著提高精度，綜合考慮將其設(shè)置為0.3。

鑒別概率閾值δ表示已知類和未知類之間的界限，在一定程度上影響網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。而本文中已知類占比較多，因此同樣在低開(kāi)放度下將從0.5 到0.9 在平衡分布和不平衡分布的兩種數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，將識(shí)別的準(zhǔn)確率用折線圖表示如圖7 所示。

圖7 不同δ 下的識(shí)準(zhǔn)確率曲線圖Fig.7 Different δ recognition accuracy curves

通過(guò)觀察發(fā)現(xiàn)δ為0.9 時(shí)在兩種數(shù)據(jù)集下的識(shí)別準(zhǔn)確率均較好，故本研究δ選取為0.9。

4.3 消融實(shí)驗(yàn)

為了驗(yàn)證STN 模塊和中心損失函數(shù)LC對(duì)該模型整體性能的貢獻(xiàn)，本文在不平衡數(shù)據(jù)集上用準(zhǔn)確率作為評(píng)價(jià)指標(biāo)來(lái)評(píng)估該模型性能。因?yàn)楝F(xiàn)實(shí)場(chǎng)景中所能采集的不同類別圖像數(shù)量很難達(dá)到均衡，所以采用不平衡數(shù)據(jù)集進(jìn)行驗(yàn)證，更加符合實(shí)際的情況，實(shí)驗(yàn)的結(jié)果如圖8 所示。

圖8 不同開(kāi)放度下STN 實(shí)驗(yàn)對(duì)比圖Fig.8 Comparison of STN experiments under different openness

從圖8 中可以看出，加入STN 模塊后SResNet34 網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率整體高于多尺度Resnet 網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率，可見(jiàn)背景信息的干擾較大的影響了艦船識(shí)別。在加入STN 模塊的基礎(chǔ)上使用LC中心損失函數(shù)聚合類內(nèi)特征，使得網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率得到了進(jìn)一步提升，由此可知，LC也能夠提升該模型整體性。

為了更直觀地看出STN 模塊對(duì)網(wǎng)絡(luò)性能的影響，將輸入ResNet34 網(wǎng)絡(luò)和SResNet34 網(wǎng)絡(luò)的原始圖像和注意力圖進(jìn)行對(duì)比，如圖9 所示（彩圖見(jiàn)期刊電子版）。注意力圖中紅色部分表示網(wǎng)絡(luò)更多關(guān)注的區(qū)域，由圖可知加入STN 模塊后的SResNet34 網(wǎng)絡(luò)受背景信息干擾明顯減小，更多關(guān)注目標(biāo)主區(qū)域。

圖9 ResNet34 網(wǎng)絡(luò)和SResNet34 網(wǎng)絡(luò)的原始圖像注意力圖Fig.9 ResNet34 network and SResNet34 network original image attention diagram

元嵌入分支中的元特征主要由reachability和幻覺(jué)（hallucinated）系數(shù)兩個(gè)模塊構(gòu)成。為了驗(yàn)證這兩個(gè)模塊對(duì)該模型整體性能的貢獻(xiàn)。同樣在不平衡分布的數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果如圖10 所示。

圖10 不同開(kāi)放度下hallucinated和reachability實(shí)驗(yàn)對(duì)比圖Fig.10 Experimental comparison of hallucinated inated and reachability under different degrees of openness

通過(guò)觀察，可以發(fā)現(xiàn)當(dāng)未知類數(shù)量較少時(shí)，僅包含幻覺(jué)（hallucinated）系數(shù)的模型比僅包含reachability 模塊的模型具有較好的識(shí)別結(jié)果。然而，隨著未知類的增加，它的性能不如包含reachability 模塊的網(wǎng)絡(luò)模型好，因?yàn)楫?dāng)未知類別較少時(shí)，該模型的精度主要取決于已知類別的分類準(zhǔn)確率。由圖10 可知，單獨(dú)使用這兩者并沒(méi)有顯著提高網(wǎng)絡(luò)模型的性能，但將這兩者的結(jié)合對(duì)模型的性能有很大提升。

4.4 對(duì)比實(shí)驗(yàn)及結(jié)果分析

為了更好地驗(yàn)證本文方法的泛化性能，首先在21.98%的開(kāi)放度下將本文模型分別應(yīng)用在處理后的細(xì)粒度遙感艦船F(xiàn)GSC-23 數(shù)據(jù)集和FGSCR-42 數(shù)據(jù)集上，并對(duì)其結(jié)果進(jìn)行比較，如表4所示?？梢钥吹奖疚姆椒ㄔ贔GSC-23 和FGSCR-42 數(shù)據(jù)集上的識(shí)別準(zhǔn)確率均高于其他幾個(gè)對(duì)比模型。

表4 不同數(shù)據(jù)集上準(zhǔn)確率的比較Tab.4 Comparison on accracy of different data sets（%）

為了全面評(píng)價(jià)本文提出的細(xì)粒度圖像分類與開(kāi)集融合方法的有效性，單獨(dú)將本文模型應(yīng)用到處理后的細(xì)粒度遙感艦船圖像FGSCR-42 數(shù)據(jù)集上，評(píng)價(jià)指標(biāo)為準(zhǔn)確率、F1-score 和混淆矩陣。表5 表示在平衡數(shù)據(jù)集下不同模型的性能比較。觀察結(jié)果發(fā)現(xiàn)，Resnet 和BCNN 的總體精度接近于測(cè)試樣本中已知類樣本的比例，這充分證明了傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度遙感艦船分類方法具有閉集性，即全部開(kāi)放的未知類樣本均被歸為已知類樣本；Openmax，Center Loss和OLTR 方法改善了傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類的閉集性，使其更適應(yīng)于開(kāi)放環(huán)境。然而，隨著開(kāi)放類的增加，準(zhǔn)確率和F1-score 的性能都有顯著下降。由表5 可知，本文的方法整體性能最好，在9.25% 開(kāi)放度下相比于Center Loss 模型準(zhǔn)確率提升1.5%，F(xiàn)1-score 提升0.8%；21.98%開(kāi)放度下準(zhǔn)確率提升6.8%，F(xiàn)1-score 提升3.6%。本文模型隨著未知類的增加平均準(zhǔn)確率和F1-score 值降低的較少。

表5 平衡數(shù)據(jù)集上各方法的比較Tab.5 Comparison of methods on the balanced datasets

在不平衡數(shù)據(jù)集上訓(xùn)練的不同模型的性能比較見(jiàn)表6 所示。由于訓(xùn)練數(shù)據(jù)分布不平衡，各模型的準(zhǔn)確性在一定程度上有所下降，因?yàn)榇藭r(shí)除了區(qū)分已知類樣本和未知類樣本外，尾部類和未知類的有效區(qū)分也增加了識(shí)別的難度。從表中可以觀察到，基于閉集假設(shè)下的Resnet 和BCNN 模型對(duì)細(xì)粒度遙感艦船分類精度較低，有些尾部類被識(shí)別為未知樣本。OpenMax，Center Loss 和OLTR 等方法隨著開(kāi)放程度的增加識(shí)別的準(zhǔn)確率和F1-score 值均比對(duì)應(yīng)開(kāi)放程度下基于閉集假設(shè)的識(shí)別準(zhǔn)確率高，但與平衡數(shù)據(jù)集下的識(shí)別準(zhǔn)確率相比降低的較多，由此可知以上3種方法易受數(shù)據(jù)分布的影響。

表6 不平衡數(shù)據(jù)集上各方法的比較Tab.6 Comparison of methods on the unbalanced datasets

圖11 表示開(kāi)放度為9.25%時(shí)的混淆矩陣，其中（a）表示在平衡分布的數(shù)據(jù)集下標(biāo)準(zhǔn)化的混淆矩陣，（b）表示在不平衡數(shù)據(jù)集下標(biāo)準(zhǔn)化的混淆矩陣。每個(gè)類別的召回率由混淆矩陣的對(duì)角線表示，且每一行的概率加和為1。

圖11 開(kāi)放度9.25%時(shí)的混淆矩陣Fig.11 Confusion matrix at 9.25% openness

由混淆矩陣可直觀地看出開(kāi)放度相同的情況下模型在平衡與不平衡分布的數(shù)據(jù)集上識(shí)別準(zhǔn)確率相差較小。進(jìn)一步證明了本文的方法受數(shù)據(jù)分布影響較小。

綜上所述，本文的方法無(wú)論在平衡分布的數(shù)據(jù)集下還是不平衡分布的數(shù)據(jù)集下均優(yōu)于先進(jìn)的判別OSR 方法和細(xì)粒度圖像分類方法，并且在未知類的數(shù)量增加和數(shù)據(jù)不均衡時(shí)具有較強(qiáng)的泛化能力。

5 結(jié)論

本文將開(kāi)集識(shí)別方法融入到細(xì)粒度圖像分類中，有效解決了傳統(tǒng)細(xì)粒度遙感艦船分類的局限性。通過(guò)STN 模塊提取艦船目標(biāo)主體，利用損失函數(shù)減小類內(nèi)差異的同時(shí)增加類間差異，最后將基分支和元嵌入分支的分類結(jié)果進(jìn)行決策融合。在開(kāi)放程度不同時(shí)對(duì)平衡分布和不平衡分布的數(shù)據(jù)集進(jìn)行了充分實(shí)驗(yàn)，結(jié)果表明，本文方法在開(kāi)放度為9.25%時(shí)平衡分布和不平衡分布的數(shù)據(jù)集上識(shí)別準(zhǔn)確率偏差最小是0.5%，開(kāi)放度為18.35%時(shí)識(shí)別準(zhǔn)確率偏差最大是1.4%，與基于判別模型OSR 中表現(xiàn)較好的CenterLoss 模型相比，在平衡數(shù)據(jù)集的4 種開(kāi)度下準(zhǔn)確率分別提升1.5%，3.1%，5.6%，6.8%，F(xiàn)1-score 提升0.8%，1.2%，3.3%，3.6%，不平衡的數(shù)據(jù)集下準(zhǔn)確率分別提升4.5%，6.6%，6.5%，7.6%，F(xiàn)1-scoree 提升4.3%，5.3%，3.2%，4.2%。綜上，本文方法具有較高的準(zhǔn)確率和較好的泛化能力。在未來(lái)的工作中，可考慮雨雪和濃霧天氣，引入更加復(fù)雜背景，再結(jié)合本文模型設(shè)計(jì)一個(gè)整體的識(shí)別系統(tǒng)，使得其更符合實(shí)際情況。