改進(jìn)的ELU卷積神經(jīng)網(wǎng)絡(luò)在SAR圖像艦船檢測(cè)中的應(yīng)用

白 玉，姜東民，裴加軍，張 寧，白 郁

(1. 沈陽(yáng)航空航天大學(xué)電子信息工程學(xué)院，遼寧 沈陽(yáng) 110136； 2. 上海航天電子技術(shù)研究所，上海 201109)

高分辨率、全天候的合成孔徑雷達(dá)(synthetic aperture radar,SAR)能有效識(shí)別偽裝物和穿透掩蓋物，并且不受光照和氣候條件的限制，對(duì)海洋動(dòng)目標(biāo)識(shí)別起到了巨大的作用，目前已成為艦船檢測(cè)的一種重要的手段。由于SAR圖像的迅猛發(fā)展趨勢(shì)，在國(guó)內(nèi)外均掀起了一陣研究熱潮。但是傳統(tǒng)的SAR圖像檢測(cè)方法存在很多的缺點(diǎn)。例如，基于統(tǒng)計(jì)的SAR圖像檢測(cè)算法根據(jù)不同性質(zhì)圖像區(qū)域的統(tǒng)計(jì)特性差異進(jìn)行分類[1-2],由于該方法忽略了圖像的空間特性，所以得不到好的檢測(cè)效果；基于空間域?yàn)V波的SAR圖像檢測(cè)算法雖然對(duì)噪聲有很強(qiáng)的抑制能力，但是不能保留SAR的邊緣信息，使邊緣變得模糊；基于一些微分算子等方法，利用一些區(qū)域來(lái)進(jìn)行卷積求梯度邊緣。缺點(diǎn)是產(chǎn)生大量的噪聲，為后續(xù)特征提取產(chǎn)生了困難。并且由于SAR圖像的分辨率不高，傳統(tǒng)的算法只適合于SAR圖像中的一種圖像檢測(cè)。

深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[3-4]將SAR圖像的一小部分(局部感受區(qū)域)作為層級(jí)結(jié)構(gòu)的最低層的輸入，信息再依次傳輸?shù)讲煌膶樱繉油ㄟ^(guò)一個(gè)數(shù)字濾波器去獲得觀測(cè)數(shù)據(jù)的最顯著的特征。這個(gè)方法能夠獲取對(duì)平移、縮放和旋轉(zhuǎn)不變的觀測(cè)數(shù)據(jù)的顯著特征，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。使SAR圖像可以作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程。同時(shí)CNN還適合HH/HV/VH/VV極化等多種SAR圖像以及不同分辨率的艦船檢測(cè)。由于SAR圖像噪聲強(qiáng)等特點(diǎn)，一般的卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)會(huì)產(chǎn)生學(xué)習(xí)緩慢，并且網(wǎng)絡(luò)中的傳統(tǒng)分類函數(shù)不能很好地解決非線性問(wèn)題。本文采用改進(jìn)的ELU激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練樣本中引入距離函數(shù)，使樣本有不同的貢獻(xiàn)程度，用模糊支持向量機(jī)(fuzzy support vector machine，F(xiàn)SVM)分類函數(shù)對(duì)特征進(jìn)行分類[5-6]。ELU和模糊支持向量機(jī)函數(shù)對(duì)SAR圖像中的噪聲等有一定的抑制作用，試驗(yàn)結(jié)果表明，該方法對(duì)艦船檢測(cè)具有良好的效果。

1 艦船檢測(cè)過(guò)程

1.1 算法檢測(cè)流程

如圖1所示由于雷達(dá)目標(biāo)回波信號(hào)的衰落，使得SAR圖像存在大量的相干斑點(diǎn)噪聲，讓海陸邊緣變得更加模糊。為了提高模型的檢測(cè)能力，將SAR圖像利用幾何定位，實(shí)現(xiàn)海陸分離，將海陸分離后的SAR圖像輸入到改進(jìn)的ELU卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，最后檢測(cè)SAR圖像中的艦船。

圖1 艦船檢測(cè)流程

1.2 SAR圖像海陸分離

由于SAR圖像中的海洋和陸地的灰度特征差別較小，導(dǎo)致使用傳統(tǒng)的圖像處理的方法進(jìn)行海陸分離誤差較大。本文采用幾何定位的方法，根據(jù)GPS計(jì)算出SAR圖像陸地和海洋的經(jīng)緯度。然后利用海岸線模板匹配方法，對(duì)SAR圖像進(jìn)行快速的海陸分離。

2 SAR圖像特征提取

2.1 基于卷積神經(jīng)網(wǎng)絡(luò)SAR圖像艦船特征提取

將海陸分離后的SAR圖像輸入卷積神經(jīng)網(wǎng)絡(luò)(CNN)中，如圖2所示，CNN主要由輸入層、卷積層、混合層、輸出層等組成。在CNN中，輸入層用于接收SAR圖像；卷積層用于提取圖像特征；混合層用于簡(jiǎn)化從卷積層輸出的信息；輸出層將提取特征映射為最終所得到的標(biāo)簽。CNN的四項(xiàng)基本原則為局部感受野、共享權(quán)值、混合及使用多個(gè)卷積層。CNN的本質(zhì)是輸入到輸出的映射，在訓(xùn)練過(guò)程時(shí)它能夠?qū)W習(xí)大量的輸入和輸出之間的映射關(guān)系。CNN的練模型普遍采用后向傳播(back propagation,BP)，BP算法[7]來(lái)調(diào)節(jié)網(wǎng)絡(luò)的參數(shù)和權(quán)重。在BP算法當(dāng)中引入了代價(jià)函數(shù)，目的是使樣本的實(shí)際輸出值與期望的目標(biāo)值無(wú)限接近的同時(shí)還需要保證學(xué)習(xí)速率。反向傳播的核心就是一個(gè)對(duì)代價(jià)函數(shù)C關(guān)于任何權(quán)重w(或者偏置b)的偏導(dǎo)數(shù)?C/?w的表達(dá)式。偏導(dǎo)數(shù)越大，學(xué)習(xí)速率越快。當(dāng)偏導(dǎo)數(shù)接近于0時(shí)，學(xué)習(xí)速率越緩慢。在本文中引進(jìn)了二次代價(jià)函數(shù)，其公式為

(1)

式中，n是訓(xùn)練樣本的總數(shù)；求和運(yùn)算遍歷了每個(gè)樣本x；y=y(x)是對(duì)應(yīng)的目標(biāo)輸出；L表示網(wǎng)絡(luò)的層數(shù)；aL(x)是輸入為x時(shí)的網(wǎng)絡(luò)輸出的激活值向量。

圖2 SAR圖像特征提取模型

在CNN中，不同的激活函數(shù)含有不同的偏導(dǎo)數(shù)，因而不同的激活函數(shù)影響著SAR圖像樣本的訓(xùn)練速率。

2.2 改進(jìn)的ELU卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的激活函數(shù)有sigmoid、tanh、RELU等激活函數(shù)。如圖3所示，在sigmoid和tanh激活函數(shù)中，當(dāng)訓(xùn)練的SAR圖像樣本逐漸多時(shí)，兩個(gè)激活函數(shù)的輸出差異變得越來(lái)越小，即偏導(dǎo)數(shù)接近于0，學(xué)習(xí)速率緩慢。由于SAR圖像的斑點(diǎn)噪聲過(guò)多，RELU激活函數(shù)在訓(xùn)練過(guò)程中非常的不穩(wěn)定，在多次訓(xùn)練過(guò)程中，樣本的特征差異過(guò)大。

在本文基于SAR圖像獨(dú)有的特征，采用改進(jìn)的ELU激活函數(shù)代替?zhèn)鹘y(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的傳統(tǒng)激活函數(shù)，如圖3所示，它融合了sigmoid和RELU，具有左側(cè)軟飽性。其公式為

(2)

式中，wj為模型的權(quán)重；b為偏置。

圖3 激活函數(shù)對(duì)比

導(dǎo)數(shù)形式

(3)

將ELU激活函數(shù)的公式代入式(1)中，最后得出

z>0時(shí)

(4)

如式(4)所示，當(dāng)輸入x一定時(shí)，實(shí)際輸出值與預(yù)期值誤差越大，?C/?wl和?C/?bl的值越偏離零，因此學(xué)習(xí)速率越快。當(dāng)z<0時(shí)，公式中α為ELU的超參數(shù)。當(dāng)輸入值為負(fù)值時(shí)，該超參數(shù)控制著激活函數(shù)的輸入幅度，使卷積層神經(jīng)元的均值趨向于0，從而使得學(xué)習(xí)速率更快，更接近于自然梯度下降。在圖3右半軸中，ELU和RELU一樣，ELU函數(shù)坐標(biāo)的曲線也為線性且導(dǎo)數(shù)為1，因此能減少梯度消失的影響。在左半軸中ELU曲線體現(xiàn)的是對(duì)SAR圖像斑點(diǎn)噪聲的魯棒性。

2.3 模糊支持向量機(jī)分類器(FSVM)

為了進(jìn)一步抑制SAR圖像的斑點(diǎn)噪聲，在訓(xùn)練的樣本中引入隸屬度，即該樣本屬于某類的可靠程度。首先建立訓(xùn)練樣本的特征與其所在類中心距離函數(shù)為

(5)

式中，xi為樣本；x0為樣本所在類的中心。故樣本的隸屬度為

(6)

式中，β大于且接近于0，防止隸屬度為零。

由于SAR圖像中每一個(gè)訓(xùn)練樣本分為兩類，正類和負(fù)類。在分類時(shí)，每一個(gè)訓(xùn)練樣本做出的貢獻(xiàn)是等同的，SAR圖像的訓(xùn)練樣本存在大量的噪聲，常用的分類器很難識(shí)別出噪聲點(diǎn)，因此當(dāng)噪聲點(diǎn)被選為樣本中的信息時(shí)，分類器的效果會(huì)很差[8-9]。而模糊支持向量機(jī)(FSVM)在求解分類面時(shí)，采用模糊隸屬度的求解求出每個(gè)樣本點(diǎn)屬于不同類別的概率，使分類器具有更高的分類效果[10-11]。在模糊支持向量機(jī)(FSVM)算法中，對(duì)SAR圖像訓(xùn)練樣本加入不同的隸屬度，使樣本有不同的訓(xùn)練程度。隸屬度越小的樣本在訓(xùn)練過(guò)程中，起到的作用越小。

3 試驗(yàn)結(jié)果及分析

本文中用于SAR圖像檢測(cè)的CNN模型包含了輸入層，3個(gè)卷積層，3個(gè)混合層，輸出層，1個(gè)模糊支持向量機(jī)分類器。首先本文截取圖像的中央?yún)^(qū)域采用28×28大小的圖像用作輸入，卷積層采用的卷積核大小為24×24，且C1中的卷積層的神經(jīng)元個(gè)數(shù)為20個(gè)，特征圖的大小為24×24，S2混合層的大小為12×12，含有20個(gè)神經(jīng)元。C3的卷積層神經(jīng)元有100個(gè)，輸出的特征圖為1×1。權(quán)重和偏置隨機(jī)初始化，學(xué)習(xí)速率為γ=0.5。在Linux系統(tǒng)上使用Google的Tensorflow平臺(tái)，采用MSTAR數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練。圖4(a)—(c)為艦船檢測(cè)過(guò)程的結(jié)果。圖5為在其他條件下的檢測(cè)結(jié)果。

圖4 SAR圖像艦船檢測(cè)

為了驗(yàn)證本文方法的有效性，設(shè)計(jì)SAR圖像艦船檢測(cè)的任務(wù)，本次試驗(yàn)類比了5類SAR圖像艦船檢測(cè)的方法。表1為5種算法對(duì)于SAR圖像艦船檢測(cè)的效率。本文方法識(shí)別率優(yōu)于傳統(tǒng)圖像檢測(cè)、SVM、字典學(xué)習(xí)等方法。在試驗(yàn)中，在相同條件下利用相同結(jié)構(gòu)但未經(jīng)改進(jìn)的CNN模型進(jìn)行了檢測(cè)測(cè)試，得到的平均識(shí)別率為97.2%，說(shuō)明本方法相較于改進(jìn)前CNN模型也有一定提高。

圖5 不同條件檢測(cè)結(jié)果

方法檢測(cè)效率/(%)基于小波變換算法的檢測(cè)88．3CMN97．2SVM93．5字典學(xué)習(xí)94．5本文方法98．6

4 結(jié) 論

針對(duì)SAR圖像的特點(diǎn)，本文提出了基于ELU激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)圖像檢測(cè)方法。通過(guò)用ELU激活函數(shù)的特性，對(duì)SAR圖像的噪聲具有一定的魯棒性，同時(shí)與二次代價(jià)函數(shù)的結(jié)合來(lái)增加學(xué)習(xí)速率。在本文的卷積神經(jīng)網(wǎng)絡(luò)中引入了模糊支持向量機(jī)(FSVM)，在訓(xùn)練樣本中增加了距離函數(shù)，利用隸屬度，使樣本有不同的訓(xùn)練程度。該方法提高了傳統(tǒng)CNN對(duì)非線性分類的不足，同時(shí)運(yùn)用FSVM對(duì)噪聲點(diǎn)的識(shí)別度來(lái)增強(qiáng)艦船檢測(cè)能力。利用大量的SAR圖像對(duì)該方法進(jìn)行驗(yàn)證。試驗(yàn)結(jié)果顯示，本文所提的方法在5類圖像檢測(cè)試驗(yàn)中，達(dá)到了98.6%的檢測(cè)效果。表明本文所用方法具有有效性,且在SAR圖像檢測(cè)上具有一定的能力。

[1] DEKKER R J.Texture Analysis and Classification of ERS SAR Images for Map Updating of Urban Areas in the Netherlands[J].IEEE Transactions on Geoscience and Remote Sensing,2003，41(9):1950-1958.

[2] MA Y，HE J，WU L，et al.An Effective Face Verification Algorithm to Fuse Complete Features in Convolution Neural Network[C]∥Multi Media Modeling.Cham：Springer International Puishing,2016:39-46.

[3] LECUN Y，BOTTOU L，BENGIO Y，et al.Gradient-based Learning Applied to Document Recognition[J].Proceedings of the IEEE，1998，86(11):2278-2324.

[4] 尹寶才，王文通，王立春.深度學(xué)習(xí)研究綜述[J].北京工業(yè)大學(xué)學(xué)報(bào)，2015，41(1)：48-59.

[5] CHU W，ONG C J，KEERTHY S S.An Improved Conjugate Gradient Method Scheme to the Solution of Least Squares SVM[J].IEEE Transactions on Neural Networks，2005，16(2)：498-501.

[6] KEERTHI S S，SHEVADE S K.SMO for Least Squares SVM Formulations[J].Neural Computation，2003，15(2)：487-507.

[7] RUMELHART D E，HINTO G E，WILLIAMS R J，et al.Learning Representations by Back-propagating Errors[J].Nature，1986，323(6088)：533-536.

[8] CORTES C,VAPNIK V.Support Vector Network[J].Machine Learning,1995，20(3)：273-297.

[9] KAPLAN L M.Analysis of Multiplicative Speckle Models for Template-based SAR AT[J].IEEE Transactions on Aerospace and Electronic Systems 2001，37(4)：1424-1432.

[10] WESTON J，RATLE F，MOBAHI H，et al.Deep Learning via Semi-supervised Embedding[C]∥International Conference on Machine Learning.[S.l.]：ACM，2012:1168-1175.

[11] GLOROT X，BENGIO Y.Understanding the Difficulty of Training Deep Feed Forward Neural Networks[J].Journal of Machine Learning Research，2010(9)：249-256.

[12] WU Tao，CHEN Xi，RUANG Xiangwei，et al.Study on SAR Target Recognition Based on Support Vector Machine[C]∥2009 2nd Asian-Pacific Conference Synthetic Aperture Radar.[S.l.]：IEEE，2009：856-859.

[13] 王璐,張帆,李偉,等.基于 Gabor 濾波器和局部紋理特征提取的 SAR目標(biāo)識(shí)別算法[J].雷達(dá)學(xué)報(bào)，2015，4(6)：658-665.

[14] BENGIO Y.Practical Recommendations for Gradient-Based Training of Deep Architectures[J].Lecture Notes in Computer Science，2012，7700(1-3):437-478.

[15] 齊會(huì)嬌，王英華，丁軍，等.基于多信息字典學(xué)習(xí)及稀疏表示的SAR目標(biāo)識(shí)別 [J].系統(tǒng)工程與電子技術(shù)，2015,37(6)：1280-1287.

[16] DING J，LIU H W，WANG Y H.SAR Image Target Recognition Based on Non-negative Sparse Representation[J].Journal of Electronics & Information Technology，2014，36(9):2194-2200.

[17] TISON C，NICOLAS J M，TUPIN F，et al.A New Statistical Model for Markovian Classification of Urban Areas in high Resolution SAR Images [J].IEEE Trans Geo science and Remote Sensing 2004,42(10):2046-2057.