基于距離度量學(xué)習(xí)的SAR圖像識(shí)別方法

高飛， 趙潔瓊， 林翀， 陳浩然

(北京理工大學(xué) 信息與電子學(xué)院，北京 100081)

合成孔徑雷達(dá)(synthetic aperture radar，SAR)是一種能構(gòu)建接近光學(xué)成像傳感器高分辨率圖像的相干成像雷達(dá)，已廣泛應(yīng)用于國(guó)防軍事、遙感探測(cè)等多個(gè)領(lǐng)域.軍事領(lǐng)域中，經(jīng)常利用SAR圖像對(duì)特定軍事目標(biāo)進(jìn)行探測(cè)和識(shí)別[1].由于SAR圖像在成像原理、輻射特征、幾何特征等方面不同于一般光學(xué)圖像，在其成像過(guò)程中會(huì)受到地物回波信號(hào)的隨機(jī)影響，產(chǎn)生的相干斑噪聲直接降低圖像質(zhì)量，且由于雷達(dá)波反射的不均勻造成圖像分辨率下降、目標(biāo)邊緣模糊[2]等問(wèn)題.與此同時(shí)，在SAR圖像識(shí)別領(lǐng)域，由于目標(biāo)探測(cè)手段上的困難，通常難以獲取足夠數(shù)量的SAR圖像樣本，進(jìn)而給圖像識(shí)別帶來(lái)挑戰(zhàn).基于上述特點(diǎn)，對(duì)SAR圖像目標(biāo)識(shí)別的研究主要包括特征提取和分類設(shè)計(jì)[3-4].傳統(tǒng)目標(biāo)識(shí)別方法中一般根據(jù)圖像紋理特征，使用支持向量機(jī)(support vector machines，SVM)的方法對(duì)圖像進(jìn)行分類[5]，或使用改進(jìn)的決策樹(shù)進(jìn)行SAR圖像分類[6]等.Gupta等[7]使用隨機(jī)森林法融合了SAR圖像的紋理特征、SAR觀測(cè)特征、統(tǒng)計(jì)特征和顏色特征進(jìn)行土地覆蓋分類.以上方法依賴于人為設(shè)計(jì)圖像特征，該過(guò)程易受圖像噪聲、方位角等多種因素影響，且在處理不同類別間圖像相似度高的任務(wù)中，傳統(tǒng)識(shí)別方法無(wú)法準(zhǔn)確識(shí)別各類圖像.基于KNN的合成孔徑雷達(dá)目標(biāo)識(shí)別中[8]將非參數(shù)分類的KNN算法應(yīng)用于SAR目標(biāo)識(shí)別，此類方法在樣本不平衡時(shí)易將容量小的樣本歸類到容量大的樣本中.深度學(xué)習(xí)方法[9]可實(shí)現(xiàn)特征的自動(dòng)提取，通過(guò)網(wǎng)絡(luò)結(jié)構(gòu)的非線性變換實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，在圖像識(shí)別領(lǐng)域顯示出其優(yōu)越的性能.目前基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的SAR目標(biāo)識(shí)別[10]通過(guò)搭建包含若干卷積層與池化層的網(wǎng)絡(luò)，以及使用反向傳播優(yōu)化網(wǎng)絡(luò)參數(shù)，完成特征的自動(dòng)提取，最后輸出分類結(jié)果.然而深度學(xué)習(xí)的訓(xùn)練需要大量的樣本數(shù)據(jù)，由于 SAR圖像樣本數(shù)量的不足，使用神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)過(guò)擬合和陷入局部最優(yōu)的情況，降低識(shí)別準(zhǔn)確率.而近年來(lái)小樣本學(xué)習(xí)的提出[11]在一定程度上改善了深度學(xué)習(xí)面臨的問(wèn)題，其目的是在只有少量樣本的情況下，對(duì)已有樣本進(jìn)行特定訓(xùn)練，從而進(jìn)行快速學(xué)習(xí)，提高泛化性能，但該領(lǐng)域的發(fā)展還不夠成熟.

針對(duì)上述問(wèn)題，本文從以下兩點(diǎn)出發(fā)，提出基于距離度量學(xué)習(xí)的SAR圖像識(shí)別方法：(1)為區(qū)分相似度高的類間圖像，利用CNN網(wǎng)絡(luò)初步提取圖像特征，同時(shí)使用LSTM網(wǎng)絡(luò)保留樣本間的相似特征，將各類樣本進(jìn)行關(guān)聯(lián)，使用距離度量函數(shù)計(jì)算圖像之間的匹配度，并引入注意力機(jī)制以提取出與測(cè)試圖像特征更具相似性的訓(xùn)練圖像；(2)在SAR圖像數(shù)據(jù)樣本有限的情況下，結(jié)合小樣本學(xué)習(xí)中數(shù)據(jù)訓(xùn)練方式，對(duì)訓(xùn)練集按比例劃分，采取預(yù)訓(xùn)練的策略進(jìn)行模型訓(xùn)練.

1 基于度量學(xué)習(xí)的算法原理

1.1 分類模型

訓(xùn)練集S中包含N個(gè)類別、每類k張圖像，記為

S={(xi,yi),(x2,y2),…,(xN×k,yN×k)} (1)

(2)

其中c∈Y,Y為標(biāo)簽空間。模型計(jì)算過(guò)程公式表示為

(3)

(4)

1.2 距離度量函數(shù)

注意力機(jī)制通過(guò)距離度量函數(shù)來(lái)計(jì)算向量之間的匹配程度.度量學(xué)習(xí)依賴給定的度量方式，計(jì)算樣本之間的相似度，相似度越大則目標(biāo)之間屬于同類的可能性越大.一般而言，一個(gè)距離函數(shù)d(x,y)需要滿足以下性質(zhì)：

1)d(x,y)=0有且僅有x=y時(shí);

2)d(x,y)≥0;

3)d(x,x)=d(y,x);

4)d(x,k)+d(k,y)≥d(x,y).

根據(jù)數(shù)據(jù)的不同特性，不同問(wèn)題采用不同的度量方法，如空間問(wèn)題采用歐氏距離，路徑問(wèn)題采用曼哈頓距離，編碼差別采用漢明距離，向量差距采用夾角余弦等.由于計(jì)算圖像樣本間的距離屬于高維度向量問(wèn)題，距離度量函數(shù)采用余弦距離.通過(guò)歐幾里得點(diǎn)積公式：

a·b=‖a‖‖b‖cosθ

(5)

得到向量A和向量B余弦?jiàn)A角：

(6)

d(A,B)=θ=arccosθ

(7)

通過(guò)余弦距離θ的大小來(lái)計(jì)算樣本之間的距離，θ越小，cosθ越大，樣本間越相似，反之亦然.

1.3 特征編碼

利用LSTM網(wǎng)絡(luò)特性，將CNN網(wǎng)絡(luò)提取的特征向量嵌入到編碼空間，使各樣本之間產(chǎn)生關(guān)聯(lián)，記住特定信息.對(duì)于訓(xùn)練集，其編碼函數(shù)表示為g(x).結(jié)合雙向LSTM網(wǎng)絡(luò)[12](Bi-directional long short-term memory，Bi-LSTM)對(duì)樣本進(jìn)行編碼，輸入序列為訓(xùn)練集中的各個(gè)樣本，對(duì)樣本xi的編碼為

(8)

(9)

(10)

(11)

(12)

(13)

2 網(wǎng)絡(luò)設(shè)計(jì)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1數(shù)據(jù)預(yù)處理

針對(duì)本文實(shí)驗(yàn)數(shù)據(jù)集的特定屬性，對(duì)其進(jìn)行數(shù)據(jù)預(yù)處理操作.首先對(duì)原始數(shù)據(jù)圖像進(jìn)行格式解析，將原始只讀形式文件解析為圖像形式文件.由于解析后的圖像像素不一，包括128×128,158×158,192×193等大小的圖像，需統(tǒng)一對(duì)圖像尺寸進(jìn)行調(diào)整，將其裁剪為128×128像素大小.此外，為方便圖像進(jìn)行分類，統(tǒng)一對(duì)圖像標(biāo)簽進(jìn)行one-hot編碼.

2.1.2網(wǎng)絡(luò)算法

圖1 圖像識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

CNN網(wǎng)絡(luò)由輸入層、隱含層、輸出層組成.其中隱含層包括卷積層、池化層和全連接層，卷積層的目的是提取輸入圖像的不同特征，在各層內(nèi)部包含多個(gè)卷積核，該卷積核中權(quán)重參數(shù)w和一個(gè)偏置b由反向傳播算法得到；池化層則是對(duì)卷積層輸出的特征圖進(jìn)行特征選擇，降低數(shù)據(jù)維度；全連接層對(duì)提取出的特征進(jìn)行非線性組合，從而輸出特征向量.本文方法由于只需利用CNN網(wǎng)絡(luò)對(duì)圖像進(jìn)行初步特征提取，無(wú)需將特征映射輸出，因而移除輸出層，使圖像經(jīng)過(guò)全連接層后，直接輸入到下一個(gè)網(wǎng)絡(luò)中.

圖2 CNN前向傳播示意圖

(14)

改寫為矩陣形式：

al=σ(wlal-1+bl)

(15)

(16)

δL=((wl+1)Tδl+1)⊙σ′(zl)

(17)

(18)

(19)

CNN網(wǎng)絡(luò)受神經(jīng)元個(gè)數(shù)、學(xué)習(xí)率、迭代次數(shù)等超參數(shù)的影響，此類超參數(shù)依據(jù)經(jīng)驗(yàn)值進(jìn)行設(shè)置.本文所構(gòu)建的CNN網(wǎng)絡(luò)框架中包含4層卷積層和1層全連接層，在卷積層后添加批量標(biāo)準(zhǔn)化(batch normalization，BN)，使用ReLU非線性激活函數(shù)，并添加max pooling池化層，經(jīng)過(guò)全連接層后得到特征分布，作為L(zhǎng)STM網(wǎng)絡(luò)的輸入，具體結(jié)構(gòu)如圖3所示.

圖3 CNN網(wǎng)絡(luò)結(jié)構(gòu)

圖4 LSTM單元框架

at=σ(Wo[ht-1,xt]+bo)

(20)

使用Bi-LSTM網(wǎng)絡(luò)進(jìn)行特征編碼，該網(wǎng)絡(luò)不僅將前一刻的樣本與當(dāng)前樣本進(jìn)行關(guān)聯(lián)，并且使后一刻的樣本也與當(dāng)前樣本得到關(guān)聯(lián)，進(jìn)一步增強(qiáng)樣本間的關(guān)聯(lián)度，區(qū)分同類樣本和異類樣本.Bi-LSTM網(wǎng)絡(luò)由前向LSTM和后向LSTM組成.前向LSTM層和后向LSTM層共同連接著輸出層，每個(gè)單元包含6個(gè)共享權(quán)值W1～W6，整體框架如圖5所示.在前向?qū)雍秃笙驅(qū)拥膫鞑ブ?，分別計(jì)算前向和后向各時(shí)刻隱含層的結(jié)果并保存，最后在每個(gè)時(shí)刻結(jié)合前向?qū)雍秃笙驅(qū)訉?duì)應(yīng)時(shí)刻的結(jié)果得到最終輸出(左右箭頭分別代表后向、前向傳播).該過(guò)程對(duì)應(yīng)表達(dá)式如(21)～(23)，式中函數(shù)F與函數(shù)G為t時(shí)刻的輸出函數(shù).

圖5 雙向LSTM框架圖

(21)

(22)

(23)

余弦相似函數(shù)計(jì)算測(cè)試樣本與訓(xùn)練樣本圖像之間的余弦距離，對(duì)輸入的訓(xùn)練樣本向量和測(cè)試樣本向量使用Batch Matrix Multiply方法進(jìn)行點(diǎn)積運(yùn)算，通過(guò)計(jì)算兩向量的平方根倒數(shù)，將二者結(jié)果相乘輸出余弦相似值，并輸入注意力機(jī)制中，最后得到預(yù)測(cè)結(jié)果.網(wǎng)絡(luò)通過(guò)交叉熵代價(jià)函數(shù)計(jì)算損失值，根據(jù)結(jié)果進(jìn)行梯度下降并反向傳播.

2.2 訓(xùn)練策略

在小樣本學(xué)習(xí)任務(wù)中，數(shù)據(jù)集的組織原則與訓(xùn)練方式不同于常規(guī)深度學(xué)習(xí)數(shù)據(jù)集，記常規(guī)數(shù)據(jù)集為Dr，小樣本數(shù)據(jù)集為Df.在常規(guī)深度學(xué)習(xí)數(shù)據(jù)集中，有

Dr=Trainset+Testset.

在小樣本學(xué)習(xí)數(shù)據(jù)集中，Df由若干Dr構(gòu)成，Dr中包含N個(gè)類別K個(gè)樣本的若干小規(guī)模的常規(guī)數(shù)據(jù)集，每個(gè)Dr定義為一個(gè)Task，即

Df={Dr}={Trainset+Testset}.

通過(guò)對(duì)每個(gè)Task進(jìn)行模型訓(xùn)練，在只有少量樣本的情況下，泛化已知的類別.

基于此，本文針對(duì)SAR圖像訓(xùn)練樣本數(shù)據(jù)有限的情況，結(jié)合小樣本學(xué)習(xí)中數(shù)據(jù)訓(xùn)練方式，采取對(duì)訓(xùn)練集上的圖像預(yù)測(cè)試的策略進(jìn)行模型訓(xùn)練，即劃分出訓(xùn)練集中的部分圖像先進(jìn)行測(cè)試.具體操作如下：將訓(xùn)練集S按照20∶1的比例劃分為Sa和Sb兩部分，Sa集用來(lái)進(jìn)行圖像訓(xùn)練，Sb集用來(lái)進(jìn)行預(yù)測(cè)試.模型訓(xùn)練過(guò)程分批次進(jìn)行計(jì)算，每一批次從Sa集各類圖像中隨機(jī)選取10張圖像，從Sb集中隨機(jī)選取一類，并從該類中隨機(jī)選取5張圖像進(jìn)行預(yù)測(cè)試，每批次計(jì)算結(jié)束后返回準(zhǔn)確值和損失值.

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)集采用來(lái)自美國(guó)國(guó)防高等研究計(jì)劃署支持的MSTAR計(jì)劃公布的MSTAR數(shù)據(jù)集，采集數(shù)據(jù)所用雷達(dá)工作在X波段，采用HH極化方式，分辨率為0.3 m×0.3 m.該數(shù)據(jù)集的采集條件分為標(biāo)準(zhǔn)工作條件(standard operating condition，SOC)和擴(kuò)展工作條件(extended operating condition，EOC)，數(shù)據(jù)集中的目標(biāo)是雷達(dá)工作在多個(gè)俯仰角時(shí)各軍事目標(biāo)在該方向上的SAR成像圖片.本次實(shí)驗(yàn)采用官方公開(kāi)提供的SOC條件下的數(shù)據(jù)集，共包括10類靜止地面目標(biāo)圖像，分別為自行榴彈2S1、裝甲偵察車BRDM2、步兵戰(zhàn)車BMP2、裝甲運(yùn)兵車BTR60、裝甲運(yùn)兵車BTR70、推土機(jī)D7、坦克T62、坦克T72、軍用卡車ZIL131、自行防空高炮ZSU234.

3.2 網(wǎng)絡(luò)參數(shù)設(shè)置

網(wǎng)絡(luò)在Ubuntu 16.04環(huán)境下基于Python 3.6編程實(shí)現(xiàn)，算法部分實(shí)驗(yàn)基于Pytorch框架實(shí)現(xiàn).實(shí)驗(yàn)優(yōu)化后，選取參數(shù)設(shè)置如下：學(xué)習(xí)率lr設(shè)為1×10-3，學(xué)習(xí)衰減系數(shù)lr_decay設(shè)為1×10-6，迭代次數(shù)Epoch設(shè)為50，每批訓(xùn)練樣本數(shù)batch_size設(shè)為105，weight_decay設(shè)為1×10-4，優(yōu)化器選用Adam.

3.3 結(jié)果與分析

網(wǎng)絡(luò)在訓(xùn)練時(shí)共進(jìn)行50次迭代，圖6顯示了50次迭代中交叉熵代價(jià)函數(shù)變化情況.由圖可知，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)不斷進(jìn)行參數(shù)優(yōu)化調(diào)整，損失值在部分迭代更新中出現(xiàn)反增情況，但整體來(lái)說(shuō)呈下降趨勢(shì).實(shí)驗(yàn)中每次迭代后進(jìn)行一次測(cè)試集上的測(cè)試，與之對(duì)應(yīng)的準(zhǔn)確率情況如圖7所示，在迭代過(guò)程中準(zhǔn)確率略有波動(dòng)，當(dāng)epoch值達(dá)到26左右時(shí)，交叉熵?fù)p失值穩(wěn)定在1.55左右，分類準(zhǔn)確率已超過(guò)99%.

圖6 測(cè)試集交叉熵?fù)p失值變化曲線

圖7 測(cè)試集準(zhǔn)確率變化曲線

將本文方法與K近鄰算法(KNN)、支持向量機(jī)(SVM)、隨機(jī)森林法和卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行比較，如表1所示.KNN算法中K值過(guò)小會(huì)發(fā)生過(guò)擬合，且模型復(fù)雜度高，K值過(guò)大則導(dǎo)致分類模糊，學(xué)習(xí)誤差增大，采用交叉驗(yàn)證法后選取K=10；由于樣本量不大且樣本特征較少，SVM算法中選取高斯核函數(shù)，不僅能將原數(shù)據(jù)映射到高維空間實(shí)現(xiàn)線性劃分，而且能減少計(jì)算量；隨機(jī)森林法中子樹(shù)數(shù)量設(shè)置太小容易欠擬合，太大不能顯著地提升模型性能，采取多次重復(fù)實(shí)驗(yàn)的方法將該值設(shè)為1 000；CNN網(wǎng)絡(luò)中選取卷積核與池化核更小、卷積層更多的VGG-16模型，其結(jié)構(gòu)簡(jiǎn)潔，泛化性能較好.從表中看出，本文方法的準(zhǔn)確率最高，達(dá)到99.3%，較SVM算法提升2.5%.神經(jīng)網(wǎng)絡(luò)在該數(shù)據(jù)集上的識(shí)別效果不高，主要因?yàn)镸STAR數(shù)據(jù)集樣本數(shù)量較少，網(wǎng)絡(luò)易出現(xiàn)過(guò)擬合情況.

表1 本文方法與其他方法的結(jié)果比較

通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)于裝甲偵察車BRDM2的識(shí)別，傳統(tǒng)方法易將該類混淆為BMP2、BTR70等類別.SVM方法與本文方法在BRDM2類別上的平均識(shí)別準(zhǔn)確率分別為87.1%和95.1%，在該類別上本文方法的準(zhǔn)確率相比提高了8.0%，從該類中隨機(jī)選取8張圖像輸出兩種方法預(yù)測(cè)結(jié)果，如表2和表3所示.分析結(jié)果得到，在易混淆的圖像識(shí)別任務(wù)上，本文方法識(shí)別效果優(yōu)于傳統(tǒng)方法.

表2 SVM方法在BRDM2上預(yù)測(cè)結(jié)果:準(zhǔn)確率

表3 本文方法在BRDM2上預(yù)測(cè)結(jié)果：準(zhǔn)確率

4 結(jié) 論

本文基于圖像相似度的匹配范式提出一種SAR圖像識(shí)別分類方法，使用CNN網(wǎng)絡(luò)提取圖像中的特征，對(duì)此特征進(jìn)行LSTM編碼，加強(qiáng)圖像間的關(guān)聯(lián)性，利用余弦相似度量函數(shù)計(jì)算測(cè)試樣本與訓(xùn)練樣本之間的距離，通過(guò)注意力機(jī)制后進(jìn)行圖像分類.同時(shí)，在樣本有限的情況下，結(jié)合小樣本學(xué)習(xí)中數(shù)據(jù)訓(xùn)練方式，對(duì)訓(xùn)練集按照比例進(jìn)行劃分，采取預(yù)訓(xùn)練的策略進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)表明，在MSTAR數(shù)據(jù)集的10類軍事目標(biāo)準(zhǔn)確率達(dá)到99.3%，本文提出的方法在SAR圖像識(shí)別上具有一定的應(yīng)用前景.