基于散射信息和元學(xué)習(xí)的SAR圖像飛機(jī)目標(biāo)識(shí)別

呂藝璇 王智睿 王佩瑾 李盛陽 譚 洪 陳凱強(qiáng) 趙良瑾 孫 顯*④

①(中國科學(xué)院空天信息創(chuàng)新研究院 北京 100094)

②(中國科學(xué)院大學(xué) 北京 100049)

③(中國科學(xué)院大學(xué)電子電氣與通信工程學(xué)院 北京 100049)

④(中國科學(xué)院網(wǎng)絡(luò)信息體系技術(shù)科技創(chuàng)新重點(diǎn)實(shí)驗(yàn)室 北京 100190)

⑤(中國科學(xué)院空間應(yīng)用工程與技術(shù)中心 北京 100094)

⑥(中國科學(xué)院太空應(yīng)用重點(diǎn)實(shí)驗(yàn)室 北京 100094)

1 引言

隨著雷達(dá)衛(wèi)星的快速發(fā)展，其在災(zāi)害監(jiān)測、地形測繪、目標(biāo)檢測與識(shí)別等領(lǐng)域發(fā)揮著重要的作用[1]。特別是SAR目標(biāo)識(shí)別越來越受到研究人員的關(guān)注。

傳統(tǒng)的SAR目標(biāo)識(shí)別方法主要分為基于模板和基于模型的方法?；谀０宓姆椒ù笾掳卣魈崛『头诸悰Q策兩個(gè)步驟：通過將提取到的幾何投影等特征和預(yù)先構(gòu)建的模板庫比對進(jìn)行識(shí)別[2]。基于模型的方法主要通過三維電磁散射模型或電腦輔助設(shè)計(jì)(Computer-Aided Design，CAD)模型來生成不同成像條件下的圖像，進(jìn)一步和待測圖像匹配識(shí)別[3]。然而這些方法的模型構(gòu)建較為復(fù)雜，靈活性不足，尤其在特征器選擇和分類器構(gòu)建方面耗時(shí)耗力。因此，有必要引入卷積神經(jīng)網(wǎng)絡(luò)來自動(dòng)提取目標(biāo)特征，學(xué)習(xí)模型參數(shù)。

深度學(xué)習(xí)由于其強(qiáng)大的自動(dòng)特征提取能力被引入SAR目標(biāo)解譯任務(wù)[4—6]中。Zhao等人[7]提出一種多角度圖像序列識(shí)別模型，在大部分?jǐn)?shù)據(jù)集上取得最優(yōu)性能。部分研究把復(fù)數(shù)圖像作為輸入，提取相位信息[8]和頻率信息[9]并和深度網(wǎng)絡(luò)特征融合。然而，深度學(xué)習(xí)模型是數(shù)據(jù)驅(qū)動(dòng)的，其性能嚴(yán)重依賴于數(shù)據(jù)的規(guī)模。在SAR領(lǐng)域，首先，受數(shù)據(jù)獲取方式的限制，包含地理空間目標(biāo)的SAR圖像數(shù)量匱乏；同時(shí)，SAR目標(biāo)解譯是一項(xiàng)艱巨的任務(wù)，需要專家經(jīng)驗(yàn)和先驗(yàn)知識(shí)，這導(dǎo)致難以獲取大量的帶標(biāo)簽SAR數(shù)據(jù)。因此，通用的深度學(xué)習(xí)方法在SAR目標(biāo)識(shí)別任務(wù)中面臨著樣本不足的挑戰(zhàn)，將小樣本學(xué)習(xí)應(yīng)用于SAR目標(biāo)識(shí)別任務(wù)是較有意義的。

在SAR領(lǐng)域，針對少樣本問題的解決思路主要分為3種：數(shù)據(jù)擴(kuò)充、模型優(yōu)化[10]和先驗(yàn)知識(shí)。數(shù)據(jù)擴(kuò)充是解決樣本匱乏問題的最直接思路。部分研究通過生成對抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)來生成新的樣本，或者利用仿真軟件與模型來合成新樣本[11—15]。Cui等人[14]使用基于梯度懲罰的Wasserstein GAN (WGAN)來學(xué)習(xí)真實(shí)樣本的層語義信息，從而生成新樣本。Kusk等人[15]利用一種合成SAR圖像的軟件工具和CAD模型結(jié)合生成了較為逼真的不同分辨率SAR圖像。

上述方法操作較為復(fù)雜，可擴(kuò)展性不足，模型優(yōu)化類的方法從是否特定于任務(wù)的角度來改進(jìn)嵌入學(xué)習(xí)網(wǎng)絡(luò)。特定于任務(wù)的優(yōu)化主要針對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。Lin等人[16]提出一種新型卷積高速公路單元結(jié)構(gòu)對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化。通過網(wǎng)絡(luò)單元堆疊，在訓(xùn)練樣本有限情況下，保持了高識(shí)別精度。Yu等人[17]提出一種改進(jìn)的卷積自編碼器初始化部分網(wǎng)絡(luò)參數(shù)，在不擴(kuò)充訓(xùn)練樣本情況下，實(shí)現(xiàn)較高識(shí)別精度。而度量學(xué)習(xí)則通過在大量不同的任務(wù)上學(xué)習(xí)，將任務(wù)不變性知識(shí)和特定于任務(wù)的知識(shí)合并。Pan等人[18]應(yīng)用基于度量學(xué)習(xí)的方法來解決SAR目標(biāo)識(shí)別問題，使用孿生網(wǎng)絡(luò)實(shí)現(xiàn)了較高的識(shí)別準(zhǔn)確率。

遷移學(xué)習(xí)和元學(xué)習(xí)則是基于先驗(yàn)知識(shí)的兩種代表性的方法。遷移學(xué)習(xí)旨在建立源域和目標(biāo)域之間的連接，最大限度地利用數(shù)據(jù)量充足的源域數(shù)據(jù)來學(xué)習(xí)先驗(yàn)知識(shí)[19—23]，解決目標(biāo)域中樣本不足的問題。Kang等人[22]使用光學(xué)CIFAR-10數(shù)據(jù)集構(gòu)建預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行SAR圖像識(shí)別研究；Huang等人[23]在數(shù)據(jù)量更大的仿真SAR數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練并探索了如何更好的遷移學(xué)習(xí)。而SAR飛機(jī)領(lǐng)域缺乏大型可供預(yù)訓(xùn)練的數(shù)據(jù)集，性能提升有限。元學(xué)習(xí)則將經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)中樣本級(jí)的學(xué)習(xí)升級(jí)到以任務(wù)為單元的學(xué)習(xí)，通過學(xué)習(xí)一個(gè)通用的初始化和良好的初始點(diǎn)，來為新任務(wù)引入泛化性先驗(yàn)知識(shí)，從而實(shí)現(xiàn)少量樣本情況下在新任務(wù)上的快速適應(yīng)學(xué)習(xí)[24—26]。Fu等人[26]提出了一個(gè)由元學(xué)習(xí)器和基學(xué)習(xí)器組成的元學(xué)習(xí)框架，在仿真數(shù)據(jù)集上預(yù)訓(xùn)練之后，固定特征提取器參數(shù)，根據(jù)移動(dòng)與靜止目標(biāo)獲取識(shí)別(Moving and Stationary Target Acquisition and Recognition，MSTAR)數(shù)據(jù)集[27]微調(diào)其余網(wǎng)絡(luò)參數(shù)。

盡管上述方法都取得了不錯(cuò)的效果，但仍存在一些亟待解決的問題。如SAR圖像特殊的成像機(jī)制，導(dǎo)致通用的小樣本深度學(xué)習(xí)方法在SAR圖像識(shí)別任務(wù)上的性能存在瓶頸；在新類別目標(biāo)上識(shí)別性能的探索不足，而Fu等人[26]提出的方法在面對新的小樣本任務(wù)時(shí)，學(xué)習(xí)過程緩慢，容易陷入過擬合等?；谶@些問題，本文開展了基于散射信息和元學(xué)習(xí)的SAR圖像飛機(jī)目標(biāo)識(shí)別方法研究，期望實(shí)現(xiàn)少樣本條件下和SAR散射特性的有效結(jié)合，提升在新類別上的泛化性能和快速識(shí)別能力。

2 基于度量的元學(xué)習(xí)算法

基于度量的元學(xué)習(xí)方法主要分為兩個(gè)階段：特征提取和樣本間距離的度量學(xué)習(xí)，大部分工作主要針對特征提取部分的改進(jìn)和樣本間距離的建模開展。與經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過程不同，在元學(xué)習(xí)中，網(wǎng)絡(luò)以任務(wù)為單位進(jìn)行學(xué)習(xí)，一個(gè)任務(wù)類似于經(jīng)典訓(xùn)練方法中的一個(gè)批次。網(wǎng)絡(luò)并非針對特定的任務(wù)進(jìn)行學(xué)習(xí)，而是每次采樣不同的少樣本任務(wù)并進(jìn)行優(yōu)化，從而提升在遇到新類別任務(wù)時(shí)的識(shí)別泛化能力。

然后分別從每個(gè)選定的類別中隨機(jī)選擇K個(gè)樣本和Q個(gè)樣本形成支持集和查詢集。這里的查詢集可理解為經(jīng)典深度學(xué)習(xí)中的驗(yàn)證集，用于計(jì)算驗(yàn)證損失，優(yōu)化元學(xué)習(xí)器。也就是說，在每個(gè)訓(xùn)練迭代中，模型需要學(xué)習(xí)如何僅利用N×K個(gè)已知標(biāo)簽數(shù)據(jù)，來準(zhǔn)確地對驗(yàn)證集中N×Q個(gè)目標(biāo)進(jìn)行分類識(shí)別，這稱為N-wayK-shot任務(wù)。

需要注意的是，單個(gè)任務(wù)的支持集和查詢集僅與元學(xué)習(xí)的設(shè)定相關(guān)。為了便于公平比較，本文參數(shù)設(shè)定與通用方法保持一致。采樣的元學(xué)習(xí)任務(wù)形式為5-way 1-shot和5-way 5-shot任務(wù)。圖1所示為5-way 1-shot元學(xué)習(xí)任務(wù)下的訓(xùn)練與測試過程詳細(xì)設(shè)置與流程，在元訓(xùn)練的每次迭代中，首先從Ctr個(gè)訓(xùn)練類別中隨機(jī)選取5個(gè)類別，然后從5個(gè)類別的每個(gè)類別中隨機(jī)選取1張標(biāo)簽數(shù)據(jù)組成支持集，隨機(jī)選取Q張數(shù)據(jù)組成查詢集即驗(yàn)證集，模型通過在驗(yàn)證集上計(jì)算識(shí)別任務(wù)損失，對元學(xué)習(xí)模型參數(shù)進(jìn)行優(yōu)化。通常Q增大，效果會(huì)提升，為了和通用的元學(xué)習(xí)任務(wù)設(shè)定保持一致，本文設(shè)定Q=15。因此，可以認(rèn)為5-way 1-shot和5-way 5-shot任務(wù)是極少樣本識(shí)別任務(wù)。在特征提取階段，網(wǎng)絡(luò)將選定的支持集和查詢集圖片映射到同一度量空間內(nèi)，得到各自的嵌入向量；在樣本間的距離度量學(xué)習(xí)階段，縮小同類的樣本在度量空間內(nèi)的距離，擴(kuò)大不同類的樣本在度量空間內(nèi)的距離，最終網(wǎng)絡(luò)將學(xué)習(xí)到不同類別的識(shí)別任務(wù)上的泛化性特征。

圖1 5-way 1-shot設(shè)置Fig.1 The 5-way 1-shot setup

與元訓(xùn)練過程類似，在元測試過程的每次迭代中，從Cte個(gè)類別中隨機(jī)選定5個(gè)類別，5個(gè)選定類別的每個(gè)類別中隨機(jī)選取Q個(gè)樣本組成查詢集，由此形成一個(gè)元測試任務(wù)。通過統(tǒng)計(jì)針對查詢集所有樣本的測試結(jié)果，得到模型的測試精度。在元訓(xùn)練過程中，每輪訓(xùn)練都會(huì)隨機(jī)抽取不同的元任務(wù)。這種學(xué)習(xí)機(jī)制允許模型學(xué)習(xí)不同元任務(wù)的共性，并減少對特定任務(wù)相關(guān)部分的關(guān)注。當(dāng)面對未知的元任務(wù)時(shí)，模型的泛化能力得到了提高。

3 基于散射信息和元學(xué)習(xí)的SAR圖像飛機(jī)目標(biāo)識(shí)別方法

3.1 SAR飛機(jī)散射離散分布特性分析

SAR圖像是SAR系統(tǒng)完成以分辨率單元為尺度的地面點(diǎn)與以像素大小為尺度的圖像點(diǎn)之間的變換。變換的主要內(nèi)容是將地面點(diǎn)的回波轉(zhuǎn)換成圖像強(qiáng)度，因此圖像強(qiáng)度反應(yīng)了目標(biāo)的結(jié)構(gòu)散射特性。對于飛機(jī)艦船類的硬目標(biāo)，存在角反射器效應(yīng)，當(dāng)?shù)匚锬繕?biāo)具有兩個(gè)或三個(gè)相互垂直的光滑表面時(shí)，就構(gòu)成了二面角和三面角。飛機(jī)目標(biāo)的機(jī)翼與機(jī)身連接處、尾翼處有大量二面角，易形成散射，當(dāng)?shù)匚锬繕?biāo)方位角是90°時(shí)，散射回波能量最強(qiáng)。這使得不同型號(hào)的飛機(jī)外觀差異主要體現(xiàn)在機(jī)翼的形狀和數(shù)量布局、發(fā)動(dòng)機(jī)數(shù)量、機(jī)身長度等因素，進(jìn)而導(dǎo)致不同型號(hào)的飛機(jī)離散程度有較大區(qū)別。本文對飛機(jī)的散射離散信息進(jìn)行提取，不同型號(hào)飛機(jī)對應(yīng)的具體結(jié)果如圖2所示。

實(shí)驗(yàn)選取Harris-Laplace檢測器提取散射關(guān)鍵點(diǎn)，使用2×2的卷積框在每點(diǎn)處進(jìn)行平移，Sobel求導(dǎo)時(shí)的窗口大小設(shè)為3。最后對這些點(diǎn)進(jìn)行聚類操作。圖2中第1行為原始圖像，第2行為對應(yīng)的角點(diǎn)檢測結(jié)果，最終對角點(diǎn)檢測提取的結(jié)果使用K均值算法進(jìn)行聚類。

考慮到如果后續(xù)有新數(shù)據(jù)用于訓(xùn)練，可以更為智能高效地提取散射點(diǎn)并利用散射信息，本文將散射點(diǎn)提取和散射信息計(jì)算過程和網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)訓(xùn)練過程融合。這種融合會(huì)增加網(wǎng)絡(luò)訓(xùn)練的計(jì)算量，一定程度上降低訓(xùn)練效率。為了實(shí)現(xiàn)計(jì)算量和散射點(diǎn)提取效果上的平衡，參考相關(guān)工作[28]，設(shè)置為9個(gè)點(diǎn)對SAR艦船任務(wù)取得較好的效果。另外，如圖3所示，點(diǎn)數(shù)減少時(shí)會(huì)有部分型號(hào)飛機(jī)關(guān)鍵部件缺失，點(diǎn)數(shù)增多時(shí)，部分背景復(fù)雜的小型飛機(jī)會(huì)提取出較多的噪聲點(diǎn)。因此本文在各個(gè)類別目標(biāo)的提取效果之間做了一個(gè)權(quán)衡，采用9個(gè)聚類點(diǎn)，可以在保證計(jì)算效率的同時(shí)較為完整的保留目標(biāo)整體框架和相對分布，圖2的第3行給出聚類結(jié)果。

圖2 不同機(jī)型的散射點(diǎn)提取結(jié)果Fig.2 Scattering point extraction results of different models

圖3 不同機(jī)型不同聚類點(diǎn)數(shù)下的散射點(diǎn)提取結(jié)果Fig.3 Scattering point extraction results for different models and different clustering points

SAR圖像易受成像條件的影響，不同朝向的同一型號(hào)飛機(jī)散射信息可能差異較大，如圖4所示。這種差異的存在也有一定意義，由于本文利用的是離散因子差異，當(dāng)同一型號(hào)目標(biāo)的離散因子差異較大的時(shí)候，模型同樣會(huì)對此類樣本對重點(diǎn)關(guān)注，因而可以學(xué)到類內(nèi)強(qiáng)泛化性特征表示，這對于提升類內(nèi)類間的特征表示，增強(qiáng)識(shí)別精度也是有意義的。而對于不同型號(hào)的目標(biāo)之間，只要離散因子差異存在，那么相比于基礎(chǔ)方法，模型均會(huì)增大關(guān)注程度，因此對于類間強(qiáng)區(qū)分性特征表示和學(xué)習(xí)并不會(huì)產(chǎn)生較大影響。離散因子的概念將在第3.3節(jié)散射關(guān)聯(lián)分類器中詳細(xì)介紹。

圖4 不同朝向的同型號(hào)飛機(jī)對應(yīng)的離散因子Fig.4 Discrete factors corresponding to the same type of aircraft with different orientations

3.2 模型框架和網(wǎng)絡(luò)結(jié)構(gòu)

針對SAR目標(biāo)樣本少，自然場景下的統(tǒng)計(jì)視覺特征不符合SAR成像原理等問題，本文提出基于散射信息和元學(xué)習(xí)的SAR圖像飛機(jī)目標(biāo)識(shí)別方法，該方法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，由散射關(guān)聯(lián)分類器和自適應(yīng)特征細(xì)化模塊組成。本文方法采用了測試時(shí)無需微調(diào)的基于度量的元學(xué)習(xí)框架，將SAR目標(biāo)的散射離散特性和網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)過程融合，從而針對特定任務(wù)實(shí)現(xiàn)模型性能的快速提升。

圖5 本文方法的整體結(jié)構(gòu)Fig.5 The overall structure of the method in this paper

每次訓(xùn)練時(shí)隨機(jī)選取幾個(gè)指定類別組成不同的小樣本學(xué)習(xí)任務(wù)。該方法首先使用自適應(yīng)特征細(xì)化模塊提取輸入的支持圖像和查詢圖像各自的特征，其中包含的混合注意力模塊在通道和空間維度進(jìn)行特征聚合，幫助網(wǎng)絡(luò)更好地學(xué)習(xí)全局上下文語義信息。提取得到的每個(gè)查詢圖像特征和全部支持圖像特征，以連接的方式進(jìn)行特征融合。

融合后的特征輸入散射關(guān)聯(lián)分類器，經(jīng)過堆疊的卷積層和全連接層之后得到屬于每個(gè)類別的得分。最后，從原始圖像中提取散射關(guān)鍵點(diǎn)并進(jìn)行聚類，根據(jù)聚類中心對每個(gè)飛機(jī)目標(biāo)的離散程度進(jìn)行量化，從而獲取每個(gè)查詢圖像對應(yīng)于每個(gè)支持圖像的離散因子。得到的離散因子向量歸一化之后與原始輸出得分相加，最終輸出任務(wù)的均方損失，由此實(shí)現(xiàn)散射先驗(yàn)信息嵌入網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)過程中。該方法的創(chuàng)新點(diǎn)如下：

(1) 采用散射關(guān)聯(lián)分類器將飛機(jī)結(jié)構(gòu)離散程度和網(wǎng)絡(luò)預(yù)測結(jié)果融合，指導(dǎo)網(wǎng)絡(luò)增加對于離散程度差異大的同類型目標(biāo)，以及離散程度接近的不同類型目標(biāo)。網(wǎng)絡(luò)可以學(xué)習(xí)提取泛化性類內(nèi)語義特征和區(qū)分性類間語義特征。

(2) 網(wǎng)絡(luò)通過自適應(yīng)特征細(xì)化模塊來關(guān)注目標(biāo)上下文語義信息，學(xué)習(xí)需要強(qiáng)調(diào)和抑制的信息，從而減輕SAR目標(biāo)背景噪聲的干擾。

實(shí)驗(yàn)結(jié)果表明，與其他SAR小樣本識(shí)別網(wǎng)絡(luò)相比，在只有1張或5張新類別標(biāo)簽數(shù)據(jù)的極少樣本識(shí)別任務(wù)上，本文方法無需微調(diào)即可達(dá)到最優(yōu)的性能。在只使用50%訓(xùn)練數(shù)據(jù)量的情況下，本文方法性能仍然表現(xiàn)穩(wěn)定，超過了使用100%數(shù)據(jù)量的大部分模型。因此，該方法有效提升了少樣本條件下的識(shí)別精度。

3.3 散射關(guān)聯(lián)分類器

從圖2中可以看出，對于波音、空客等不同大小、不同型號(hào)的飛機(jī)，關(guān)鍵散射點(diǎn)的分布離散程度也是不同的，因此本文使用離散因子來對飛機(jī)的散射離散性質(zhì)進(jìn)行描述。假設(shè)最終的9個(gè)聚類中心為centers={(x1，y1)，(x2，y2)，...，(x9，y9)}，數(shù)學(xué)中，平均差是總體各單位標(biāo)志對其算術(shù)平均數(shù)的離差絕對值的算術(shù)平均數(shù)。它綜合反映了總體各單位標(biāo)志值的變動(dòng)程度。本文使用平均差來描述離散程度。聚類中心的均值m eancenter定義為

同時(shí)為了將離散度歸一化到同一水平范圍內(nèi)，防止差異過大，本文將聚類點(diǎn)映射到同等大小的圖像上，具體過程為

其中，(w1，h1)和 (w2，h2)分別表示原始圖像大小和縮放大小。(x1，y1)和 (x2，y2)分別表示原始坐標(biāo)和縮放坐標(biāo)。最終離散程度d isp定義為

在元學(xué)習(xí)的訓(xùn)練過程中，針對一個(gè)N-wayK-shot任務(wù)來說，共有查詢圖片Q張，支持圖片N ×K張，兩兩之間均會(huì)計(jì)算一個(gè)離散程度的差值。最終會(huì)計(jì)算得到Q×N ×K個(gè)離散因子。每個(gè)離散因子定義為

其中，q∈Q，s∈S，Q和S分別為查詢集和支持集。

散射關(guān)聯(lián)分類器具體網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。原始輸入圖像統(tǒng)一調(diào)整大小為84×84，經(jīng)過兩個(gè)由卷積、歸一化和最大池化組成的卷積模塊后，輸入線性全連接層和ReLU激活函數(shù)，最終輸出每個(gè)查詢圖片對應(yīng)于每個(gè)類別支持圖片的相似度得分。同樣，每個(gè)查詢圖片對應(yīng)于每個(gè)類別的支持圖片都會(huì)計(jì)算得到一個(gè)離散因子。本文方法將該得分與離散因子相加，并將最終得分輸入Sigmoid函數(shù)轉(zhuǎn)換為0-1分布。

圖6 散射關(guān)聯(lián)分類器的網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Network structure of scattering association classifier

在5-way 1-shot的情況下，當(dāng)輸入一張待測的查詢樣本時(shí)，該查詢樣本和5個(gè)支持集的樣本會(huì)通過特征提取網(wǎng)絡(luò)提取特征并進(jìn)行拼接，得到5個(gè)新的特征圖，隨后輸入圖5中的散射關(guān)聯(lián)分類器中，最終輸出一個(gè)one-hot向量代表屬于每類的得分。訓(xùn)練使用均方誤差作為損失函數(shù)，具體如式(6)所示。

其中，ri，j代表圖片i和圖片j的相似度，yi與yj分別代表圖片的真實(shí)標(biāo)簽。

當(dāng)屬于同一類別的查詢圖片和支持圖片的散射離散程度差異較大的時(shí)候，那么可以認(rèn)為他們屬于同一類別的可能性較低，散射關(guān)聯(lián)分類器將其相對得分變小從而使得網(wǎng)絡(luò)學(xué)習(xí)更具泛化性的類內(nèi)特征表示。當(dāng)屬于不同類別的查詢圖片和支持圖片的散射離散程度差異較小的時(shí)候，那么可以認(rèn)為他們屬于同一類別的可能性較大，散射關(guān)聯(lián)分類器將其相對得分變大，從而促使網(wǎng)絡(luò)提取更具有代表性和區(qū)分性的類間語義特征。

3.4 自適應(yīng)特征細(xì)化模塊

本文設(shè)置了自適應(yīng)特征細(xì)化模塊，在卷積層之間加入空間和通道混合的注意力，將空間維度和通道維度上的信息進(jìn)行融合，使得網(wǎng)絡(luò)可以更好地關(guān)注全局上下文語義信息，學(xué)習(xí)全局信息和關(guān)鍵區(qū)域信息，抑制背景噪聲信息。具體網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié)如圖7所示。

圖7 注意力嵌入模塊網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 The attention embedding module network structure

該模塊主要包含通道注意力和空間注意力兩部分。在通道注意力部分，首先采用全局最大池化和平均池化兩種方式對空間特征聚合，來利用不同的信息。假設(shè)輸入特征圖F大小為H×W ×C，進(jìn)行全局最大池化和平均池化之后的特征圖大小為1×1×C。生成的特征圖輸入3層共享卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過激活函數(shù)后輸出權(quán)重系數(shù)并和原始的特征圖F相乘得到縮放后的特征圖。具體過程如式(7)所述，其中W0和W1表示卷積網(wǎng)絡(luò)需要學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)，分別表示平均池化和最大池化后輸出的特征圖。

和通道注意力類似，在空間注意力部分，給定一個(gè)H×W ×C的特征圖F′，首先進(jìn)行通道維度上的最大池化和平均池化，并將兩部分得到的特征圖拼接。拼接后的特征圖經(jīng)過一層卷積層和激活函數(shù)得到權(quán)重系數(shù)，并和輸入特征圖相乘得到縮放后的特征圖。具體過程如式(8)所述，其中f7*7表示7×7的卷積操作，分別表示平均池化和最大池化后輸出的特征圖。

經(jīng)過兩部分的混合注意力后，最終的輸出特征圖如式(9)所示。

其中，σ表示Sigmoid激活函數(shù)，A vgPool和MaxPool分別表示對特征圖的平均池化和最大池化操作。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)

數(shù)據(jù)來源：GF3-ADD[29]和FUSAR-Ship[30]中將高分三號(hào)圖像用于SAR艦船識(shí)別，與其類似，本文構(gòu)建了一個(gè)名為SAR-ACD的實(shí)驗(yàn)數(shù)據(jù)集來說明所提出方法的有效性。高分三號(hào)衛(wèi)星為C波段，分辨率為1 m，工作模式為聚束(SpotLight)模式。本數(shù)據(jù)集共包含了11幅分辨率為 1 m的高分三號(hào)C波段圖像，極化方式為HH極化，覆蓋了不同時(shí)間段的上海虹橋機(jī)場區(qū)域、北京首都國際機(jī)場區(qū)域和另一個(gè)機(jī)場。該數(shù)據(jù)集包含6個(gè)民用飛機(jī)類別和14個(gè)其他飛機(jī)類別，民用SAR飛機(jī)及其對應(yīng)的光學(xué)圖像如圖8所示。需要強(qiáng)調(diào)的是，SAR-ACD包含不同機(jī)場的復(fù)雜場景。同時(shí)，SAR-ACD中的目標(biāo)類別豐富，大小差異較大。

圖8 SAR-ACD中的民用飛機(jī)及其對應(yīng)的光學(xué)圖像Fig.8 Civil aircraft in SAR-ACD and their corresponding optical images

類別標(biāo)注：對于收集到的原始SAR圖像，本文統(tǒng)一進(jìn)行了歸一化和輻射校準(zhǔn)。該數(shù)據(jù)集是對照相應(yīng)的光學(xué)圖像手動(dòng)標(biāo)記的。一般來說，停機(jī)坪是固定的，通過結(jié)合專家解譯和大量人工解譯環(huán)節(jié)，飛機(jī)的真值框可認(rèn)為是準(zhǔn)確可靠的。SAR-ACD中總共包含4322個(gè)飛機(jī)切片，民用飛機(jī)的具體類別和每個(gè)類別的目標(biāo)數(shù)量如圖9所示。本實(shí)驗(yàn)中采用對比度變換、亮度變換、銳度變換來解決樣本數(shù)目不平衡的問題。

圖9 各型號(hào)民用飛機(jī)的原始數(shù)量Fig.9 The original quantity of each type of civil aircraft

4.2 實(shí)驗(yàn)設(shè)置

元測試數(shù)據(jù)集和元訓(xùn)練數(shù)據(jù)集分別由6個(gè)和14個(gè)類別組成。為了更加充分地驗(yàn)證本方法的有效性，本文根據(jù)視覺外觀屬性，將6個(gè)和元訓(xùn)練集中目標(biāo)差異較大的類別作為測試類別。因此，本文的測試任務(wù)可以認(rèn)為是更具有挑戰(zhàn)性的任務(wù)。下文針對自適應(yīng)特征細(xì)化模塊和散射關(guān)聯(lián)分類器展開消融實(shí)驗(yàn)研究。

此外，元訓(xùn)練階段使用Adam優(yōu)化器進(jìn)行監(jiān)督學(xué)習(xí)訓(xùn)練，訓(xùn)練學(xué)習(xí)率設(shè)置為0.001，模型訓(xùn)練100000步。在元測試階段，共測試10次，每次隨機(jī)選取600個(gè)N-wayK-shot任務(wù)進(jìn)行測試。在本實(shí)驗(yàn)中，選取了兩種類型的任務(wù)：5-way 5-shot任務(wù)和5-way 1-shot任務(wù)。元訓(xùn)練和元測試階段的數(shù)據(jù)設(shè)置如表1所示，和通用的元學(xué)習(xí)模型設(shè)置保持一致，每個(gè)類別的查詢樣本數(shù)為15。

表1 實(shí)驗(yàn)中訓(xùn)練和測試期間數(shù)據(jù)設(shè)置Tab.1 Data setup during training and testing

4.3 消融實(shí)驗(yàn)

為了在有限樣本的條件下充分挖掘利用現(xiàn)有信息，進(jìn)一步提升模型的性能，本節(jié)引入了預(yù)訓(xùn)練階段。

在5-way 1-shot和5-way 5-shot條件下的消融實(shí)驗(yàn)結(jié)果如表2所示。可以看出，加入本文所提的散射關(guān)聯(lián)分類器和自適應(yīng)特征細(xì)化模塊之后，在5-way 1-shot任務(wù)上的識(shí)別準(zhǔn)確率提升了3.85%，在5-way 5-shot任務(wù)上的識(shí)別準(zhǔn)確率提升了3.42%。同時(shí)這兩部分模塊沒有過度增加模型參數(shù)量。

表2 自適應(yīng)特征細(xì)化模塊和散射關(guān)聯(lián)分類器的消融實(shí)驗(yàn)Tab.2 Ablation study on adaptive feature refinement module and scattering association module

為了驗(yàn)證自適應(yīng)特征細(xì)化模塊的有效性，更直觀地了解該模塊對哪些信息進(jìn)行了強(qiáng)調(diào)，對哪些信息進(jìn)行了抑制，本文對基礎(chǔ)方法和自適應(yīng)模塊對應(yīng)的卷積層輸出特征圖進(jìn)行了可視化。如圖10所示，由圖10(a)和圖10(c)可以看出，背景噪聲得到了有效抑制，網(wǎng)絡(luò)開始著重關(guān)注機(jī)頭、機(jī)尾這些關(guān)鍵部件區(qū)域。由圖10(b)和圖10(d)可以看出，網(wǎng)絡(luò)對于邊框和背景噪聲的關(guān)注得到有效抑制，對于機(jī)頭、機(jī)尾和機(jī)翼這些強(qiáng)散射區(qū)域增強(qiáng)了關(guān)注。

圖10 不同方法對應(yīng)的卷積層輸出特征圖可視化Fig.10 Visualization of corresponding layer feature map of different methods

相比于自然光學(xué)和遙感光學(xué)數(shù)據(jù)集來說，SAR數(shù)據(jù)集本身就是少樣本數(shù)據(jù)。本文為了對少樣本情況下方法性能進(jìn)行充分分析，設(shè)置了更為嚴(yán)苛的少樣本條件，將訓(xùn)練數(shù)據(jù)量減少到不同的百分比進(jìn)行實(shí)驗(yàn)分析。具體實(shí)驗(yàn)結(jié)果如圖11所示，在僅有一半訓(xùn)練數(shù)據(jù)量的情況下，本文方法在5-way 1-shot的測試任務(wù)上性能并沒有嚴(yán)重下降，有效緩解了少樣本難題。同時(shí)在不同百分比訓(xùn)練數(shù)據(jù)量下的消融實(shí)驗(yàn)結(jié)果都證明了提出模塊的有效性。

圖11 不同訓(xùn)練數(shù)據(jù)占比時(shí)的測試準(zhǔn)確率Fig.11 Test accuracy with different proportions of training data

預(yù)訓(xùn)練也就是在正式的元學(xué)習(xí)過程開始前進(jìn)行的參數(shù)更新，使用和基于度量的元學(xué)習(xí)模型相同的網(wǎng)絡(luò)結(jié)構(gòu)，在元訓(xùn)練數(shù)據(jù)集已有的14個(gè)類別上進(jìn)行14類的全分類網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練完成后得到的特征提取和分類器部分的網(wǎng)絡(luò)參數(shù)用于對元學(xué)習(xí)階段模型初始化，全連接層部分的參數(shù)采用隨機(jī)初始化的方式。預(yù)訓(xùn)練階段具體操作流程如圖12所示。

圖12 預(yù)訓(xùn)練階段基本原理和流程展示Fig.12 The basic principle and process display of the pre-training stage

良好的模型參數(shù)初始化可以幫助模型快速收斂和優(yōu)化。通過這種方式，實(shí)現(xiàn)對舊類別先驗(yàn)信息的充分利用，提升模型在新類別上的識(shí)別能力。和預(yù)訓(xùn)練階段結(jié)合后，本文方法的消融實(shí)驗(yàn)結(jié)果如表3所示。結(jié)合前后，5-way 1-shot和5-way 5-shot任務(wù)上的識(shí)別準(zhǔn)確率分別提升了1.47%和1.61%。以上改進(jìn)全部執(zhí)行之后，最終5-way 1-shot和5-way 5-shot任務(wù)上的識(shí)別準(zhǔn)確率分別提升了3.85%和3.42%。

表3 結(jié)合預(yù)訓(xùn)練過程的消融實(shí)驗(yàn)Tab.3 Ablation study combined with the pre-training process

元測試過程中，每輪隨機(jī)選取600個(gè)5-way 1-shot任務(wù)進(jìn)行測試并求取最后的平均識(shí)別精度。如圖13所示，為了更直觀地展示元測試數(shù)據(jù)集中 6個(gè)新類別的識(shí)別準(zhǔn)確率，本文將 6 個(gè)新類別的混淆矩陣可視化?！癟ype1”和“Type2”的分類準(zhǔn)確率相對較高，其余的民用機(jī)型分類效果一般。分析原因認(rèn)為，由于民用機(jī)場中飛機(jī)目標(biāo)附近可能存在的車輛目標(biāo)以及停機(jī)坪附近航站樓等硬目標(biāo)散射存在的干擾和影響，同時(shí)由于SAR飛機(jī)的成像易變性，不同型號(hào)飛機(jī)目標(biāo)之間的類間相似性問題較嚴(yán)重，并且機(jī)場中的部分民用飛機(jī)目標(biāo)可能處于緩慢運(yùn)動(dòng)狀態(tài)，因此民用類別類間分類難度提升。

圖13 5-way 1-shot條件下在元測試數(shù)據(jù)集上不同模塊的混淆矩陣Fig.13 Confusion matrix on meta-test dataset on the 5-way 1-shot condition

在元訓(xùn)練過程中，本文每間隔100步取一次損失值，訓(xùn)練100000步的損失變化曲線如圖14所示?？梢钥闯?，加入自適應(yīng)特征細(xì)化模塊后的網(wǎng)絡(luò)收斂稍有變緩，加入散射關(guān)聯(lián)分類器后的網(wǎng)絡(luò)快速收斂并趨于穩(wěn)定。

圖14 5-way 1-shot條件下不同方法模塊的訓(xùn)練損失變化曲線Fig.14 The loss curve with different modules during training on the 5-way 1-shot condition

同時(shí)，為了進(jìn)一步檢測模型在復(fù)雜背景下的識(shí)別性能和穩(wěn)定性，本文在大場景下進(jìn)行了測試。如圖15所示，在航站樓和復(fù)雜背景邊界區(qū)域的識(shí)別結(jié)果，綠色表示識(shí)別正確，紅色表示識(shí)別錯(cuò)誤，模型可以較為準(zhǔn)確的識(shí)別出飛機(jī)型號(hào)。

圖15 大場景復(fù)雜機(jī)場下的識(shí)別性能測試Fig.15 Recognition performance test under large scene and complex airport

4.4 與其他方法的比較

將本文提出方法和現(xiàn)有的方法進(jìn)行對比，對比方法涵蓋了傳統(tǒng)方法中經(jīng)典算法KNN，基于優(yōu)化的元學(xué)習(xí)算法，部分代表性基于度量的元學(xué)習(xí)方法和主流的深度學(xué)習(xí)分類算法。

如表4所示，其中MAML[32]，MatchingNet[33]和PrototypicalNet[34]網(wǎng)絡(luò)均采用了和本文方法同樣的基礎(chǔ)骨干網(wǎng)絡(luò)。本文方法在5-way 1-shot和5-way 5-shot任務(wù)上均表現(xiàn)出優(yōu)異的性能并取得最高的識(shí)別精度。消融實(shí)驗(yàn)部分，在使用50%數(shù)據(jù)量的情況下，本文方法在新類別上的識(shí)別精度為55.45%，仍然超過了表4中大部分的對比方法。

表4 本文方法和其他方法的識(shí)別精度對比Tab.4 Comparison of recognition accuracy between our method and other methods

元學(xué)習(xí)方法也是基于CNN的方法，與主流深度學(xué)習(xí)分類網(wǎng)絡(luò)不同的地方是訓(xùn)練模式的不同，主流深度學(xué)習(xí)分類網(wǎng)絡(luò)基于全連接網(wǎng)絡(luò)，按照批次(batch size)進(jìn)行分類訓(xùn)練。本文增加了以ResNet50[31]作為骨干網(wǎng)絡(luò)，使用主流的全連接網(wǎng)絡(luò)進(jìn)行分類識(shí)別的實(shí)驗(yàn)對比。同時(shí)由于本文的測試任務(wù)是在新的類別上展開的，訓(xùn)練和測試時(shí)的類別數(shù)目不同，這和經(jīng)典的深度學(xué)習(xí)分類網(wǎng)絡(luò)(訓(xùn)練和測試類別數(shù)目相同)結(jié)構(gòu)不同。因此為了更公平的比對，本文使用ResNet50[30]網(wǎng)絡(luò)在14個(gè)訓(xùn)練類別上進(jìn)行14類分類任務(wù)訓(xùn)練，然后在新的測試類別上對ResNet50[31]網(wǎng)絡(luò)進(jìn)行微調(diào)，微調(diào)基于選定的測試任務(wù)中的標(biāo)簽樣本。例如，針對5-way 1-shot任務(wù)來說，每次測試時(shí)會(huì)選出 5×1張標(biāo)簽樣本組成支持集，訓(xùn)練好的ResNet50[31]網(wǎng)絡(luò)利用這 5×1張標(biāo)簽樣本進(jìn)行全連接層微調(diào)，進(jìn)而測試識(shí)別性能?？梢钥闯觯⒄{(diào)可利用的樣本數(shù)量極少，因此效果較差。

5 結(jié)語

本文針對SAR飛機(jī)目標(biāo)識(shí)別任務(wù)中存在樣本不足的問題，提出了基于散射信息和元學(xué)習(xí)的SAR飛機(jī)目標(biāo)識(shí)別方法。與現(xiàn)有的少樣本識(shí)別模型相比，本文提出的方法定義了離散因子來對SAR飛機(jī)散射特性進(jìn)行量化描述，同時(shí)將散射離散特性和網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)過程有效融合，在極少樣本的識(shí)別任務(wù)上實(shí)現(xiàn)了高精度識(shí)別準(zhǔn)確率。其次，本文方法針對特征提取部分上下文信息利用不足的問題，引入了混合注意力機(jī)制，實(shí)現(xiàn)自適應(yīng)的特征細(xì)化和提取，幫助網(wǎng)絡(luò)學(xué)習(xí)應(yīng)該關(guān)注和抑制的信息。此外，考慮到已有數(shù)據(jù)的匱乏，如何更充分地挖掘利用現(xiàn)有數(shù)據(jù)的先驗(yàn)信息，也是十分重要的。針對此問題，本文在已有的元訓(xùn)練數(shù)據(jù)集上進(jìn)行了全分類的預(yù)訓(xùn)練，從而對元學(xué)習(xí)過程的模型進(jìn)行參數(shù)初始化，實(shí)驗(yàn)結(jié)果證明了預(yù)訓(xùn)練操作的合理性。在實(shí)際的SAR飛機(jī)識(shí)別數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了該方法的有效性。改進(jìn)后的方法在5-way 1-shot 和5-way 5-shot任務(wù)上的識(shí)別精度分別提高3.85%和3.42%，并在對比的主流算法中取得了最高精度。后續(xù)工作將和SAR目標(biāo)的檢測過程結(jié)合，研究當(dāng)SAR圖像視角變化時(shí)，如何提升檢測和識(shí)別性能的泛化性。