基于無監(jiān)督域適應的仿真輔助SAR目標分類方法及模型可解釋性分析

呂小玲 仇曉蘭 俞文明 徐 豐

①(中國科學院空天信息創(chuàng)新研究院 北京 100094)

②(中國科學院空間信息處理與應用系統(tǒng)技術重點實驗室 北京 100190)

③(中國科學院大學電子電氣與通信工程學院 北京 100049)

④(東南大學毫米波國家重點實驗室 南京 210096)

⑤(復旦大學電磁波信息科學教育部重點實驗室 上海 200433)

1 引言

合成孔徑雷達(Synthetic Aperture Radar,SAR)是一種主動式微波遙感成像系統(tǒng)，具有全天時、全天候的觀測能力。隨著SAR成像技術的不斷發(fā)展，SAR自動目標識別(Automatic Target Recognition,ATR)成為SAR圖像智能解譯的一個重要組成部分。SAR ATR主要由3個階段組成：檢測、鑒別和分類[1]。近年來，隨著深度學習的快速發(fā)展，SAR ATR領域也涌現(xiàn)了很多基于深度學習的優(yōu)秀算法[2,3]。

然而，目前將深度學習應用于SAR ATR領域主要面臨兩方面的問題：一是深度神經(jīng)網(wǎng)絡往往需要大量標注數(shù)據(jù)才能有效提取目標特征，但SAR樣本標注難度大、成本高，標注數(shù)量嚴重不足，很難達到和自然圖像領域相當?shù)臉俗颖玖考?；二是深度學習方法一直以來被視為“黑盒模型”，內(nèi)部工作機理不透明，缺乏可解釋性，難以為SAR ATR提供可靠的、可信任的應用服務。

針對SAR目標識別中標注樣本不足的問題，Chen等人[2]提出了全卷積網(wǎng)絡(All-Convolutional Networks,A-ConvNets)，使用卷積層代替全連接層，減少了需要訓練的參數(shù)，有效緩解了直接使用SAR數(shù)據(jù)訓練CNN容易導致過擬合的情況，在MSTAR數(shù)據(jù)集上取得了很好的分類效果。Pan等人[4]提出了一種基于度量學習(Metric learning)的孿生網(wǎng)絡(Siamese network)，以樣本對的形式輸入訓練圖像，顯著增加了訓練數(shù)據(jù)量。但這些方法仍然不能完全擺脫對標注樣本的依賴。

為此，已有研究者嘗試利用仿真的SAR圖像樣本來支撐真實樣本的分類任務。關于SAR圖像仿真技術的研究已有很多，其中經(jīng)典方法是建立物體的3D模型，結合電磁計算和計算機圖形學方法，得到SAR仿真圖像[5]。隨著SAR仿真技術的發(fā)展，對于某些目標而言，仿真圖像與實際圖像可以達到目視難以分辨的程度。然而，利用仿真圖像訓練的神經(jīng)網(wǎng)絡很難直接對真實圖像精確分類，文獻[6]和文獻[7]都指出SAR仿真圖像與實測圖像屬于非同源圖像，在背景紋理、目標結構等方面不可避免地存在一定差異，其實驗結果也表明仿真圖像難以直接支撐零標注樣本下的真實圖像分類任務。目前已有一些在小樣本或零樣本情況下提升仿真輔助SAR目標分類性能的相關研究。文獻[8]首次探討了結合仿真圖像進行遷移學習實現(xiàn)真實SAR目標分類的可行性，其結果表明，當真實樣本標注數(shù)量不足時，利用仿真數(shù)據(jù)進行預訓練可以有效加快模型收斂。Zhang等人[9]提出了一種雙流深度網(wǎng)絡結構，通過利用方位角、幅度和相位信息等SAR領域知識進行數(shù)據(jù)增強，提升小樣本情況下SAR目標識別的性能。這些研究表明，在小樣本情況下，SAR仿真樣本可以為實測SAR目標分類任務提供可用信息，但未對零樣本情況下的仿真輔助SAR目標分類的效果進行驗證。Song等人[6]提出了一種非必要因素抑制的方法，對仿真圖像和真實圖像進行非極大值抑制、風格調(diào)整和分割這一系列預處理后輸入神經(jīng)網(wǎng)絡，實現(xiàn)了仿真輔助的零樣本SAR目標識別。然而，其實驗中只是將MSTAR數(shù)據(jù)集中10類目標之一T72目標圖像替換為仿真圖像，這對仿真圖像支撐真實圖像分類效果的驗證是有限的。

筆者認為，為提高仿真輔助SAR圖像分類的性能，需要找到一種可以有效拉近仿真圖像和真實圖像特征分布距離的方法以實現(xiàn)特征遷移。如何解決不同來源數(shù)據(jù)之間的特征遷移問題，是域自適應(Domain Adaptation)方法的研究內(nèi)容。無監(jiān)督域適應(Unsupervised Domain Adaptation,UDA)方法可以實現(xiàn)從帶標注源域(Source domain)數(shù)據(jù)集到無標注目標域(Target domain)數(shù)據(jù)集上的信息遷移，找到不同域之間通用的分類特征提取方法。現(xiàn)有的UDA方法主要可分為4種[10]：(1)基于領域分布差異的方法[11–14]；(2)基于對抗學習的方法[15–19]；(3)基于重構的方法[20,21]；(4)基于樣本生成的方法[22]。

目前已有一些將域自適應方法應用到SAR目標識別領域的研究[23–26]。Huang等人[23]從遷移什么、遷移到哪、如何遷移3方面展開探討，提出了一種結合多源數(shù)據(jù)的域適應傳遞方法。Wang等人[24]提出了一個結合域?qū)褂柧毢驮獙W習(Meta-learning)的模型，使用大量仿真數(shù)據(jù)預訓練網(wǎng)絡后再使用少量帶標簽真實數(shù)據(jù)微調(diào)網(wǎng)絡，實現(xiàn)了跨域和跨任務的遷移學習。Zhang等人[25]提出了一種基于對抗學習的多級無監(jiān)督域適應方法，用以解決多波段SAR圖像分類問題。Xu等人[26]提出的基于判別適應正則化的遷移學習方法D-ARTL實現(xiàn)了由自動識別系統(tǒng)AIS信息到SAR圖像域艦船分類任務的知識遷移。

上述研究表明，域適應的方法在SAR遙感領域有很好的應用前景，但這些研究更多地關注了不同域之間的特征遷移是否成功，對域適應前后模型提取特征的變化分析不足。

為此，本文針對利用SAR仿真樣本來實現(xiàn)無須實測標注樣本的SAR目標分類問題開展研究，提出了一個集成域?qū)褂柧毢途嚯x度量的神經(jīng)網(wǎng)絡模型；同時，對模型進行了可解釋性分析，結合逐層相關性傳播(Layer-wise Relevance Propagation,LRP)[27]和對比層關聯(lián)傳播(Contrastive Layer-wise Relevance Propagation,CLRP)[28]分析了域適應前后模型決策依據(jù)的變化。實驗表明，本文方法能夠顯著提升仿真輔助SAR目標分類的準確率，可解釋性分析的結果證明本文方法通過修正模型關注區(qū)域來提升仿真輔助SAR圖像分類的性能，具有一定的合理性。本文的主要貢獻可以概括如下：

(1) 提出了一種新的基于無監(jiān)督域適應的仿真輔助SAR目標分類的網(wǎng)絡框架，不同于以往的利用仿真數(shù)據(jù)進行數(shù)據(jù)增強或網(wǎng)絡預訓練工作的方法[6–8]，本文方法不需要人為設計復雜的圖像預處理過程，而是通過網(wǎng)絡學習來提升域混淆程度、縮小仿真樣本和實測樣本的域差異，在完全不使用實測數(shù)據(jù)類別標簽的情況下實現(xiàn)了較高精度的仿真輔助SAR目標分類，為當下SAR樣本標注少、目標識別難的問題提供了新的解決思路；

(2) 本文通過LRP,CLRP等神經(jīng)網(wǎng)絡可解釋性方法定位同類目標仿真和實測SAR圖像中導致網(wǎng)絡做出不同決策的區(qū)域，分析了域適應前后模型決策依據(jù)的變化，從可解釋性角度分析了本文方法提升仿真輔助SAR目標分類性能的原因，可以為仿真方法的優(yōu)化調(diào)整提供思路。

本文的其余部分內(nèi)容安排如下：第2節(jié)介紹了本文提出的基于無監(jiān)督域適應的仿真輔助SAR圖像分類方法；第3節(jié)介紹了本文采用的可解釋性方法；第4節(jié)給出了實驗數(shù)據(jù)、實驗結果以及詳細的解釋分析；第5節(jié)進行總結與展望。

2 無監(jiān)督域適應的仿真輔助SAR目標分類

如圖1所示，當網(wǎng)絡提取到的特征越是局限于特定的域，就越難找到兩個域可共用的分類邊界；而當提取到的特征越能體現(xiàn)不同域間的共性，就越易于找到可共用的分類邊界。為了使特征提取器提取到域不變特征且盡量縮小域間差異，本文提出了一種集成域?qū)褂柧毢陀虿町惗攘慷嗪俗畲缶挡町?Multi-Kernel Maximum Mean Discrepancy,MKMMD)[29]的模型。其中，域?qū)褂柧毷侵柑卣魈崛∑骱陀蚺袆e器之間的對抗訓練，域判別器通過最小化域分類損失來提升域判別能力，特征提取器則致力于學習可以“欺騙”域判別器的特征提取方法，以提取到域不變特征。域?qū)褂柧氹m然可以促進域混淆，但是不能保證拉近不同域樣本在分類器隱藏層中的特征差異，為此本文方法在模型中添加域差異度量器，使用MK-MMD進行域差異計算，并以此為優(yōu)化目標訓練模型。2.1節(jié)對所提模型框架和網(wǎng)絡結構進行介紹，2.2節(jié)給出了模型優(yōu)化目標。

圖1 特征是否具備域不變性對找到不同域通用分類器的影響Fig.1 The influence of domain invariance of features on finding a general classifier between different domains

2.1 模型框架和網(wǎng)絡結構

如圖2所示，本文提出的網(wǎng)絡模型可分為4個部分：特征提取器、目標分類器、域判別器和域差異度量器。本文方法使用帶標簽的仿真數(shù)據(jù)(即源域S)訓練得到可以對仿真數(shù)據(jù)準確分類的特征提取器和分類器；同時利用無標簽的實測樣本(即目標域T)同仿真樣本一起進行域?qū)褂柧?，幫助特征提取器提取到域不變特征，并結合MK-MMD度量進一步縮小仿真數(shù)據(jù)特征和真實數(shù)據(jù)特征在網(wǎng)絡隱層中的差異；完成訓練后，由特征提取器和分類器最終實現(xiàn)對實測樣本的分類。圖3給出了本文所提方法的網(wǎng)絡結構參數(shù)，其中虛線所示結構僅在訓練過程中激活，考慮到仿真SAR圖像直接訓練網(wǎng)絡容易導致過擬合，特征提取器的網(wǎng)絡層數(shù)不宜過多，因此參考了AlexNet[30]的卷積層設計，分類器和域判別器由兩個全連接層組成。

圖2 模型框架示意圖Fig.2 Schematic diagram of the model framework

圖3 網(wǎng)絡結構示意圖Fig.3 Schematic diagram of the model structure

在網(wǎng)絡訓練過程中，源域S為網(wǎng)絡模型提供帶標簽仿真樣本，其中為源域的第i個 樣本，為該樣本的類別標簽，1,2,...,N}，N代表類別數(shù)目；目標域T提供無標簽實測樣本。同時每個訓練樣本帶有域標簽di，當樣本來自源域即xi～Ds時，di=0 ；當xi～Dt時，di=1。對于每個輸入樣本x，特征提取器計算得到其特征向量f，分類器對f進行類別預測得到，域判別器對f進行域判別得到。對于來自不同域的樣本xs和xt，域差異度量器計算二者在全連接層fc1,fc2處的MK-MMD，作為域差異優(yōu)化目標。使用θe,θc和θd分別代表特征提取器、分類器和域判別器的參數(shù)，Ge(·),Gc(·),Gd(·)表示對應的映射函數(shù)，則有特征向量f=Ge(x;θe)，類別預測結果=Gc(f;θc)，域預測結果=Gd(f;θd)。

訓練時，將仿真數(shù)據(jù)和真實數(shù)據(jù)同時輸入到網(wǎng)絡模型。首先，基于仿真數(shù)據(jù)的標簽真值和分類器預測輸出計算得到L osscls，以此優(yōu)化分類器和特征提取器。其次，引入梯度反轉(zhuǎn)層(Gradient Reversal Layer,GRL)[15]實現(xiàn)特征提取器和域判別器之間的對抗訓練，以使特征提取器提取到域不變特征。最后，使用MK-MMD在分類器全連接層(fc1,fc2)處計算每層輸入特征的域差異(記為L ossdd)，以更好地拉近網(wǎng)絡深層處不同域樣本特征的距離。此處 Losscls,L ossdd以及域?qū)褂柧毜膬?yōu)化目標Lossda將在2.2節(jié)給出說明。

2.2 優(yōu)化目標

本文所提模型的整體優(yōu)化目標可分為3部分：一是源域樣本分類損失 L osscls最小化，保證特征提取器和分類器可以實現(xiàn)源域樣本的精確分類；二是域?qū)褂柧殦p失 L ossda最小化，以實現(xiàn)域混淆，使特征提取器提取到域不變特征；三是域差異Lossdd最小化，進一步縮小不同域樣本在網(wǎng)絡隱層中的特征距離。下面分別給出計算公式。

源域樣本分類損失 Losscls的計算方法如式(1)所示。

其中，n是源域訓練樣本總數(shù)量，Jy(·)為softmax交叉熵損失函數(shù)，Ge(·)和Gc(·)分別代表特征提取器和分類器的映射函數(shù)，θe和θc分別為特征提取器和分類器的參數(shù)，yi為樣本類別標簽。

本文方法借助GRL實現(xiàn)域?qū)褂柧?，文獻[15]最早將生成對抗網(wǎng)絡(Generative Adversarial Network,GAN)[31]中對抗學習的思想引入到域適應任務中，通過GRL實現(xiàn)特征提取器和域判別器之間的博弈訓練，之后的很多域適應模型都使用了這一結構[32,33]。GRL不影響網(wǎng)絡訓練的前向傳播過程，只是在反向傳播的過程中將后一層的梯度乘以一個負常數(shù)(-λ)，完成梯度反轉(zhuǎn)后再傳遞給前一層，這樣使得在訓練過程中域判別器致力于分辨特征來自源域還是目標域，特征提取器則致力于提取到可以騙過域判別器的特征，通過二者之間的對抗訓練使特征提取器提取到域不變的特征。域?qū)褂柧殦p失Lossda根據(jù)式(2)計算得來，域?qū)褂柧毜哪繕藙t可表示為。

其中，q是源域和目標域的訓練樣本總數(shù)量，Jd(·)是二元交叉熵損失函數(shù)，Ge(·)和Gd(·)分別代表特征提取器和域判別器的映射函數(shù)，G RLλ(·)代表梯度反轉(zhuǎn)層的映射函數(shù)，θe和θd分別為特征提取器和域判別器的參數(shù)，di為樣本域標簽。

為進一步縮小域間樣本特征差異，本文方法使用基于MK-MMD的域差異度量器計算分類器中每個全連接層輸入特征的域差異。MMD是一種常用的度量不同域數(shù)據(jù)分布差異的方法，簡單來說，就是將源域S和目標域T中數(shù)據(jù)的特征表示映射到再生核希爾伯特空間(Reproducing Kernel Hilbert Space,RKHS)中后，計算二者均值的距離。深度域混淆(Deep Domain Confusion,DDC)方法[11]最早將MMD引入到神經(jīng)網(wǎng)絡中，將源域特征和目標域特征之間的MMD作為域混淆度量加入到網(wǎng)絡的目標函數(shù)當中。但DDC只對網(wǎng)絡中的一層進行域適配，且只采用單核計算MMD，適配程度不夠。為此，深度適配網(wǎng)絡(Deep Adaptation Network,DAN)[12]對網(wǎng)絡的多層進行適配，且引入了表征能力更強的MK-MMD，其為MMD的多核版本，表現(xiàn)出了比DDC更好的減小域差異的能力。受此啟發(fā)，本文設計的域差異度量器使用MK-MMD對分類器中兩個全連接層的輸入同時進行域差異計算。本文的多層MK-MMD域差異L ossdd計算方法如式(3)所示。

其中，l1和l2表示域差異度量器對應的網(wǎng)絡層起止位置，表 示輸入在第l層 的隱層表示，dk(Ds,Dt)表示源域分布和目標域分布在RKHS中均值的距離，其定義如式(4)所示。

其中，E*[·] 代表對應分布D*的數(shù)學期望，x*和x′*獨 立同分布，xs～Ds,xt～Dt,Hk表 示與核k相關的RKHS，φ(·)表 示與核k相關的特征映射，有。核k為U個高斯核{ku}的凸組合，如式(5)所示。

其中，{wu}的 相關約束是為了保證生成的多核k是特有的，本文方法中U=5 。使用核k后式(4)的經(jīng)驗估計如式(6)所示。

其中，n為源域訓練樣本數(shù)量，m為目標域訓練樣本數(shù)量。

3 深度學習的可解釋性方法

本文針對SAR目標分類網(wǎng)絡的可解釋性研究，采用了LRP系列可解釋性方法作為工具。相比于一些其他可解釋性方法[34,35]，LRP可以生成像素級的解釋，能夠更精細地刻畫輸入圖像中影響決策的區(qū)域。SAR圖像中目標和背景干擾大多以離散散射點的形式呈現(xiàn)，目標和背景之間、不同類別的目標之間可分性不強，使用LRP這種像素級解釋的方法更利于分析。為便于對后文實驗結果的理解，本節(jié)結合第2節(jié)提出的網(wǎng)絡模型，簡單介紹LRP和CLRP方法的原理和應用。

3.1 LRP方法

圖4給出了一個簡單的神經(jīng)網(wǎng)絡中前向傳播過程和LRP后向傳播過程，在神經(jīng)網(wǎng)絡中，第L+1 層第j個神經(jīng)元的輸出可以表示為，其中φ代表神經(jīng)元的激活函數(shù)，是連接神經(jīng)元i到神經(jīng)元j的權重，是對應的偏差。為了識別每個輸入像素點的相關性，LRP將softmax歸一化之前的激活值從指定神經(jīng)元逐層傳播回輸入空間。表示第L+1層第j個神經(jīng)元的相關性，它可以分解到第L層的全部神經(jīng)元上，如式(7)所示。第L層第i個神經(jīng)元的相關性可以理解為第L+1層全部神經(jīng)元的相關性分解后再求和，見式(8)。LRP的傳播規(guī)則由整流神經(jīng)元網(wǎng)絡的深度泰勒分解推導得來[36]。實際應用中，常用的計算規(guī)則有兩種：z+-rule和zβ -rule，如式(9)和式(10)所示。

圖4 LRP原理示意圖Fig.4 An overview of LRP

3.2 CLRP方法

文獻[28]指出，LRP生成的解釋僅特定于實例，卻不具備類別區(qū)分性，也即對于不同的類別，LRP生成的解釋幾乎是相同的。產(chǎn)生這一情況的原因，是LRP在解釋的過程中使用了相同的特定于實例的結構信息(Instance-Specific Structure Information,ISSInfo)，主要是指神經(jīng)網(wǎng)絡中的ReLU和池化操作。這使得前文中提到的只在最后一層成立，在其他層均不滿足這一條件。換言之，對于不同的類別i,LRP的反向傳遞過程是類似的，接收到非零相關性的神經(jīng)元也相同，只是絕對值可能不相等。因此，無論選擇哪個類別對應的得分進行反向傳播，接收到非零相關性的神經(jīng)元始終保持不變，這使得LRP生成的解釋獨立于類別信息。

CLRP通過構建虛擬類以剔除LRP生成的解釋中與目標類別不相關的信息，進而生成具備類別區(qū)分性的解釋。圖5給出了使用CLRP解釋網(wǎng)絡的基本流程，其中紅色路徑表示與目標類別無關的LRP解釋，藍色路徑表示對目標類別直接進行LRP解釋得到的信息。定義與第j類相關的神經(jīng)元nj描述了一個視覺概念O,nj通過權重W={W1,W2,...,WL-1與 輸入形成連接，其中WL表示連接第L–1層和第L層的權重，表示連接第L–1層和第L層中第j個神經(jīng)元的權重。對于輸入樣本X，LRP將神經(jīng)網(wǎng)絡得分映射回輸入空間，得到相關向量R=。使用對偶虛擬概念描述與O相反的視覺信息，文獻[28]給出了兩種對建模的方法：一是選擇除與O對應類之外的其余所有類，也即Oˉ對 應的權重表示為Wˉ={W1,W2,...,WL-1,}，其中表示連接第L–1層和第L層除神經(jīng)元j外的權重；二是對權重求反直接構建一個虛擬類，即的相關性可由式(11)計算得到，那么CLRP生成的解釋如式(12)所示。

圖5 CLRP原理示意圖Fig.5 An overview of CLRP

相比于LRP,CLRP更適用于分析一張圖像中存在多個不同類別目標或待分類目標結構相似的情況，但是LRP生成的解釋在語義上更完整，更利于理解?？紤]到SAR圖像中不同目標相似性較高，目視上難以區(qū)分，本文在進行模型可解釋性分析時，將以CLRP解釋為主、以LRP解釋為輔。在解釋時，主要關注圖2(b)所示的網(wǎng)絡模型的分類過程，也即主要關注特征提取器和分類器兩部分。首先使用LRP分析網(wǎng)絡模型在分類過程中更關注哪些區(qū)域，分析網(wǎng)絡模型決策依據(jù)的語義意義；然后利用CLRP進一步生成具有類別區(qū)分性的解釋，結合域適應前的錯分樣本分析域適應后網(wǎng)絡模型分類性能提升的可能原因。

4 實驗結果與分析

4.1 實驗數(shù)據(jù)與實驗設置

實驗中使用的仿真數(shù)據(jù)(即源域數(shù)據(jù))由東南大學毫米波國家重點實驗室提供，利用該實驗室自研軟件通過目標電磁建模和散射計算的方式生成。仿真數(shù)據(jù)包括3類目標：BMP2,BTR70,T72。為保證仿真樣本的多樣性，仿真數(shù)據(jù)包括2個俯仰角(15°,17°)和3種背景：(1)仿真軟件自動生成的草地背景；(2)參考光學圖像手動設置參數(shù)生成的草地背景；(3)參考光學圖像手動設置參數(shù)生成的沙地背景。圖6給出了3類目標的光學圖像及典型方位角和俯仰角下的仿真與真實圖像。每類目標在每個背景下每隔0.5°方位角生成一張仿真圖像，仿真數(shù)據(jù)集共有12978張圖像，按4:1劃分仿真訓練集和測試集。

圖6 SAR目標光學圖像及典型角度下的真實圖像和仿真圖像Fig.6 Optical images of SAR targets and the corresponding simulated and real SAR images under typical azimuths and depressions

以移動與靜止目標獲取識別(Moving and Stationary Target Acquisition and Recognition,MSTAR)數(shù)據(jù)集作為實驗的目標域數(shù)據(jù)，MSTAR數(shù)據(jù)集通常分為標準工作條件(Standard Operating Condition,SOC)和擴展工作條件(Extended Operating Condition,EOC)兩類。其中SOC指訓練集和測試集的數(shù)據(jù)成像條件相似；EOC指訓練集和測試集的數(shù)據(jù)成像條件存在一定差異，一般又可分為3類情況，第1類為大俯仰角情況，如訓練集數(shù)據(jù)成像俯仰角為17°，測試集為30°，記為EOC-1；第2類指車輛配置不同，即車輛上某些部件的增加和拆除，如T72移除車上的油罐，記為EOC-2；第3類指車輛版本和功能不同，如原始車輛變化為運輸車、偵察車等，記為EOC-3。實驗用到的全部數(shù)據(jù)集大小見表1，其中目標域數(shù)據(jù)集的SOC數(shù)據(jù)集、EOC測試集見表2—表5。

表1 數(shù)據(jù)集Tab.1 Dataset

表2 SOC數(shù)據(jù)集Tab.2 SOC dataset

表3 EOC-1測試集(大俯仰角)Tab.3 EOC-1 test set (large depression variation)

表4 EOC-2測試集(配置變化)Tab.4 EOC-2 test set (configuration variant)

表5 EOC-3測試集(版本變化)Tab.5 EOC-3 test set (version variant)

表6 網(wǎng)絡訓練過程中參數(shù)設置Tab.6 Parameters for the model training procedure

其中，lr0為 初始學習率，j為 當前的輪次數(shù)，epoch為總的訓練輪次數(shù)。

4.2 消融實驗

為驗證所提方法的有效性，本文利用不同背景下的SAR仿真圖像進行訓練，在SOC數(shù)據(jù)集上進行測試，開展了消融實驗，以比較MK-MMD多層自適應正則器和域?qū)褂柧毮K對模型分類性能的影響。消融實驗的結果見表7。為避免單次訓練的隨機性，每組進行了3次實驗，表7記錄了3次實驗結果的平均準確率及其標準差，其中仿真背景①、②、③對應4.1節(jié)提到的3種仿真背景，表格最后一行指的是同時使用3種背景下的仿真訓練集圖像。可以看出，本文方法對不同仿真背景SAR圖像構成的源域訓練集都能有效提升真實樣本的分類精度，且除只使用仿真背景①圖像的情況外，本文方法優(yōu)于只使用多層MK-MMD自適應正則器或只采用域?qū)褂柧毜姆椒āτ谠谥皇褂梅抡姹尘阿賵D像時本文方法未能達到最好性能這一現(xiàn)象，筆者認為可能是由仿真軟件自動生成的背景與目標所處的實際背景差異較大，直接由仿真背景①樣本訓練得到的模型對實測數(shù)據(jù)的分類性能較差，只有28.00%左右的準確率。對于本文實驗中的3分類任務，仿真背景①圖像似乎未能為該任務提供正信息，這可能導致訓練過程中以MK-MMD為度量縮減域差異時，也拉近了不同域中不同類別樣本的距離，進而導致分類準確率提升效果不好，甚至不如只使用域?qū)褂柧毞椒ǖ奶嵘Ч谩?/p>

表7 結合不同背景仿真SAR圖像的消融實驗結果Tab.7 Results of ablation experiments with simulation SAR images of different backgrounds

4.3 SOC實驗與EOC實驗

為深入評估模型的分類性能，本文在SOC和EOC測試集上進行了分類測試，圖7，圖8給出了利用本文所提方法進行域適應前后的混淆矩陣，其中深色行對應域適應前的識別結果，淺色行對應域適應后。實驗結果表明，本文方法能顯著提升模型在SOC和EOC數(shù)據(jù)上的分類準確率。

圖7 SOC測試集的混淆矩陣Fig.7 The confusion matrix of the SOC test set

圖8 EOC測試集的混淆矩陣Fig.8 The confusion matrixes of the EOC test set

表8給出了使用不同仿真背景數(shù)據(jù)時，本文所提域適應方法和條件域?qū)?Conditional Domain Adversarial Network,CDAN)[19]及深度子域?qū)R(Deep Subdomain Adaptation Network,DSAN)[14]在SOC測試集上的準確率對比。實驗結果表明，針對不同仿真背景情況下的數(shù)據(jù)，本文方法都能較好地提升仿真輔助SAR目標分類的準確率，尤其在使用全部仿真背景數(shù)據(jù)時，本文方法分類準確率顯著高于CDAN和DSAN方法。表明本文方法集成了域?qū)褂柧毢陀虿町惗攘績煞N域適應策略，比使用單一域適應策略的方法具有更好的域適配能力。

表8 使用不同仿真背景數(shù)據(jù)時，各方法在SOC測試集上的分類準確率對比Tab.8 Comparison of the classification accuracy on the SOC test set when using different methods with simulated data under different backgrounds

4.4 模型可解釋性分析

圖9給出了使用t-SNE[37]對特征提取器提取到的仿真數(shù)據(jù)特征和真實數(shù)據(jù)特征降維可視化的結果，可見本文方法有效地拉近了仿真和真實SAR圖像的特征分布。

圖9 使用t-SNE進行特征可視化Fig.9 Visualization of extracted features using t-SNE

為了對模型的決策機制有更深層次的理解，本文使用LRP和CLRP可視化了輸入像素對模型決策結果的影響。實驗過程中，參照文獻[36]的設置，第1層卷積層應用zβ -rule，其余的卷積層和全連接層使用z+-rule。對于最大池化層，將相關性系數(shù)重新分配到池化區(qū)域內(nèi)值最大的神經(jīng)元。相關性傳播過程中，忽略偏差和標準化層。

首先，在由真實數(shù)據(jù)訓練得到的模型上對LRP和CLRP方法進行對比評估，結果如圖10、圖11所示。圖中最左側一列為輸入圖像，右側3列依次為對應類別BMP2,BTR70,T72的解釋，其中左上角標注了對應類別的預測得分。LRP生成的解釋雖然不具備類別區(qū)分性，卻能對影響網(wǎng)絡決策的區(qū)域有一個語義上比較完整的表示，從LRP的解釋結果可以看出，影響真實數(shù)據(jù)分類的關鍵在于SAR圖像中強散射點的分布區(qū)域，而這些一般對應于目標中結構或裝配復雜的地方，如炮筒、炮臺等。CLRP的結果則更有助于理解模型“認為”不同目標之間的異同之處，從圖11可以看出，模型認為BMP2和BTR70在背景上更加相似，而BMP2和T72在結構上更相似，這也與MSTAR提供的光學圖像(圖6)中反映出來的目標實際結構和所處背景中體現(xiàn)出來的信息一致。從結構上來說，BMP2和T72均為履帶式車輛且裝有圓形炮臺和炮筒，BTR70為輪式運輸車，沒有裝配火炮；從背景上來看，BMP2和BTR70目標所處的背景相近，而T72與之相異。

圖10 LRP可視化真實數(shù)據(jù)訓練得到的模型決策依據(jù)Fig.10 Using LRP to visualize the decision basis of the model trained by the real data

圖11 CLRP可視化真實數(shù)據(jù)訓練得到的模型決策依據(jù)Fig.11 Using CLRP to visualize the decision basis of the model trained by the real data

圖12展示了仿真數(shù)據(jù)訓練所得模型對不同背景下仿真圖像的LRP解釋及對應真值類別的CLRP解釋，其中從左至右依次對應仿真背景①、②、③?？梢钥闯?，LRP和CLRP解釋對于同一目標的不同圖像關注區(qū)域大體一致，一定程度上可以證明這兩種解釋方法的有效性和魯棒性。此外，從圖12的解釋結果中也可以看出仿真數(shù)據(jù)訓練的模型也學習到了不同目標之間結構上的差異，較少關注背景區(qū)域。

圖12 LRP和CLRP可視化仿真數(shù)據(jù)訓練得到的模型決策依據(jù)Fig.12 Using LRP and CLRP to visualize the decision basis of the model trained by the simulated data

前文提到，由于仿真圖像和真實圖像之間的域偏移，直接用仿真數(shù)據(jù)訓練得到的模型對真實數(shù)據(jù)分類結果并不理想，本文嘗試結合可解釋性方法對仿真輔助真實數(shù)據(jù)分類任務中的域偏移問題給出一個具象的解釋。圖7所示的混淆矩陣中，在域適應前，T72的目標圖像中有相當一部分被誤判為BMP2。從這一現(xiàn)象出發(fā)，本文使用LRP和CLRP分析由仿真數(shù)據(jù)訓練得到的模型(即域適應前的模型)對仿真和真實T72圖像判斷依據(jù)的異同，并結合CLRP進一步分析域適應前后模型對真實T72圖像判斷依據(jù)的變化。圖13給出了域適應前的模型對仿真和真實圖像的分類結果及對應的解釋，其中CLRPT72表示由CLRP分析得到的模型“認為”輸入樣本像T72的地方，CLRP可視化圖像中左上方標注了對應類別的得分。圖13用紅色標注出了模型決策依據(jù)中存在較大差異的區(qū)域，圖13(a)中這一區(qū)域大致對應T72目標的炮臺結構，可以看出，在仿真圖像中這一區(qū)域散射強度較大，而實測圖像中散射較弱，仿真圖像訓練的網(wǎng)絡模型在仿真圖像上關注到了該區(qū)域特征，而應用到實測圖像上則關注不到該區(qū)域特征，從而導致誤判；圖13(b)中差異較大的區(qū)域大致對應車頭和車尾，實測圖像中對應區(qū)域的散射強度高于仿真圖像，對模型決策造成干擾，從而導致誤判。

圖13 域適應前模型對T72圖像的LRP及CLRP解釋Fig.13 The predicted results of the T72 images by the model before domain adaptation and the corresponding explanations generated by LRP and CLRP

圖14給出了域適應前后的模型對真實T72圖像判斷依據(jù)的變化，其中圖14(a)對應域適應前后模型決策由錯到對的T72樣本，圖14(b)則對應域適應后模型仍舊給出錯誤判斷的樣本。結合圖13來看，圖14(a)中域適應后的模型小范圍修正了關注區(qū)域，提取到了炮臺等區(qū)域的特征，給出了更準確的決策。但對于域適應后仍舊錯分的樣本，可能是域適應前的關注區(qū)域與應該關注的區(qū)域偏離較大，使得網(wǎng)絡在域適應訓練后對該樣本的關注區(qū)域無法有效修正，反而引入了較多的背景區(qū)域，導致網(wǎng)絡依然只能給出錯誤的判別結果。

圖14 域適應前后模型對T72真實圖像的預測結果及CLRP解釋Fig.14 The predicted results of the real T72 image by the model before and after domain adaptation and the corresponding explanations generated by CLRP

5 結束語

本文針對深度學習在SAR目標識別領域面臨的標注樣本少、標注樣本難的問題，提出了一種集成域?qū)褂柧毢蚆K-MMD的無監(jiān)督域適應方法，以充分利用仿真SAR圖像可以快速生成且天然具備標簽的優(yōu)勢，實現(xiàn)較高精度的仿真輔助的SAR目標分類。

同時，考慮到深度學習可解釋性差、可信任程度不足等問題，本文使用可解釋性方法LRP和CLRP對所提出的模型進行深入分析。結果表明，本文神經(jīng)網(wǎng)絡是通過修正模型關注區(qū)域來提升仿真輔助SAR圖像分類的性能，具有一定的合理性。

但是，從可解釋性分析的結果來看，模型并非對所有樣本都找到了可靠的決策依據(jù)，且當仿真樣本訓練模型對真實數(shù)據(jù)直接分類效果較差時(如仿真背景①訓練的模型)，本文方法提升效果不明顯，仍舊存在一定的局限性。未來的工作中，考慮從以下兩方面繼續(xù)優(yōu)化本文方法：(1)本文方法雖然在MSTAR 3分類任務上表現(xiàn)出了不錯的提升效果，但目前仿真目標類別較少，缺少在更多類別上的實驗驗證；(2)本文使用可解性方法分析了模型性能提升的原因，也找到了可能導致仿真和真實圖像之間域偏移的目標主要結構，后續(xù)將考慮利用解釋結果指導仿真方法調(diào)整和優(yōu)化，并利用可解釋性方法引導網(wǎng)絡訓練，幫助網(wǎng)絡模型找到可靠的決策依據(jù)。