基于多尺度交互結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像相干斑抑制方法

申仕煜, 葉曉東, 王 昊, 陶詩(shī)飛

(南京理工大學(xué)電子工程與光電技術(shù)學(xué)院, 江蘇 南京 210094)

0 引 言

合成孔徑雷達(dá)(synthetic aperture radar,SAR)憑其固有的全天時(shí)、全天候特性被廣泛應(yīng)用于軍事和民用領(lǐng)域。然而,SAR成像過(guò)程中經(jīng)常受相干斑噪聲影響[1],嚴(yán)重破壞了SAR圖像質(zhì)量。因此,相干斑噪聲抑制成為后續(xù)SAR圖像解譯的一個(gè)不可或缺的預(yù)處理步驟。傳統(tǒng)SAR圖像相干斑抑制方法中最先發(fā)展起來(lái)的是基于空間域的濾波方法[2],但此類方法普遍存在邊緣及細(xì)節(jié)信息過(guò)度平滑問(wèn)題。基于小波變換的SAR圖像抑斑方法[3-4]在相干斑抑制性能上優(yōu)于空間域的濾波方法,但此類方法仍然無(wú)法有效保存圖像的紋理細(xì)節(jié)。之后,基于非局部抑斑方法[5-7]應(yīng)用于SAR圖像抑斑任務(wù)。其基本思想是自然圖像具有自相似性,并且在整個(gè)圖像中存在大量的相似塊?；诜蔷植恳职叻椒ㄝ^為經(jīng)典的有PPB(probabilistic patch-based)方法[6]以及用于SAR圖像去噪的3D塊匹配濾波(block-matching and 3D filtering for SAR image despeckling,SAR-BM3D)方法[7],并且都取得不錯(cuò)的抑斑效果,但相似塊的搜索使其計(jì)算量增加,提高了計(jì)算復(fù)雜度。

近年來(lái),已有很多基于深度學(xué)習(xí)的去噪方法應(yīng)用于SAR圖像抑斑任務(wù)中。Chierchia等人[8]通過(guò)對(duì)數(shù)變換將乘性噪聲轉(zhuǎn)變?yōu)榧有栽肼暡⒗们梆伻ピ刖矸e神經(jīng)網(wǎng)絡(luò)(denoising convolutional neural networks, DnCNN)[9]的思想提出SAR-CNN方法,實(shí)現(xiàn)了SAR圖像相干斑抑制。同年,Wang等人[10]針對(duì)乘性噪聲提出了一種類似殘差策略的ID-CNN (image despeckling CNN)方法,該方法利用噪聲圖像除以網(wǎng)絡(luò)學(xué)習(xí)到的相干斑噪聲分布得到抑制后的圖像。期間,也出現(xiàn)了通過(guò)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提升性能的方法[11-13],如用于SAR圖像去噪的深度殘差網(wǎng)絡(luò)(dilated residual network for SAR image despeckling, SAR-DRN)[12]、用于SAR圖像去噪的深度雙域卷積神經(jīng)網(wǎng)絡(luò)(dilated densely connected network for SAR image despeckling,SAR-DDCN)[13]等。除了單純地改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)外,也有將傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法,如非局部思想與神經(jīng)網(wǎng)絡(luò)結(jié)合[14],基于引導(dǎo)濾波的圖像融合算法[15]與神經(jīng)網(wǎng)絡(luò)結(jié)合[16]等。盡管深度學(xué)習(xí)在SAR圖像相干斑抑制領(lǐng)域取得了非常好的性能,但隨著性能的提升,網(wǎng)絡(luò)深度不斷增加導(dǎo)致了計(jì)算資源的大量占用。此外,隨著網(wǎng)絡(luò)參數(shù)量的不斷增加,很容易出現(xiàn)網(wǎng)絡(luò)過(guò)擬合的現(xiàn)象。

受GoogLeNet[17]以及ResNeXt[18]啟發(fā),提出一種基于多尺度交互卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像相干斑抑制方法。該網(wǎng)絡(luò)結(jié)構(gòu)中采用了1×1卷積、密集連接[19]以及跳躍連接[20]等網(wǎng)絡(luò)結(jié)構(gòu),使得網(wǎng)絡(luò)在含相干斑噪聲圖像及對(duì)應(yīng)的干凈圖像之間建立起非線性映射關(guān)系。實(shí)驗(yàn)結(jié)果表明,本文方法相比于ID-CNN方法不僅節(jié)省了計(jì)算資源,而且還取得了更好的抑斑性能。

1 相干斑噪聲模型

與自然界中常見(jiàn)的加性高斯白噪聲不同,SAR圖像質(zhì)量下降的主要原因是乘性的相干斑噪聲。而相干斑噪聲是由于SAR成像系統(tǒng)的特性造成的,SAR圖像乘性噪聲模型[21]可以描述為

Y=XF

(1)

式中:Y表示含有相干斑噪聲的SAR圖像;X表示對(duì)應(yīng)的干凈圖像;F表示相干斑噪聲且噪聲的強(qiáng)度信號(hào),其服從Gamma分布[21]

(2)

式中:L表示等效視數(shù)(equivalent number of looks, ENL);Γ(·)表示Gamma分布的函數(shù)。

2 深度學(xué)習(xí)的SAR圖像抑斑算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。在該網(wǎng)絡(luò)結(jié)構(gòu)中,L1層包含卷積層和激活函數(shù)(Relu)層,L2～L6層均為圖2所示的多尺度交互特征提取模塊(multi-scale interactive feature extraction module, MIFEM)模塊,L7層為一個(gè)卷積層。在L2～L6之間,使用簡(jiǎn)化的密集連接方式來(lái)搭建5個(gè)MIFEM模塊,c表示通道拼接。該網(wǎng)絡(luò)的所有卷積操作步長(zhǎng)設(shè)為1。最后,將最初輸入的SAR圖像與該網(wǎng)絡(luò)估計(jì)的相干斑噪聲進(jìn)行減法操作,得到相干斑抑制后的SAR圖像。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

2.2 MIFEM模塊

如圖2所示,MIFEM模塊由兩個(gè)1×1卷積層、兩個(gè)5×5卷積層、兩個(gè)3×3卷積層以及跳躍連接組成。其中,兩個(gè)1×1卷積分別用于降維和升維。5×5卷積與3×3卷積構(gòu)成一個(gè)多尺度卷積組,共搭建兩個(gè),主要用于獲得不同感受野以提高網(wǎng)絡(luò)的泛化性能。此外,在該模塊中,添加跳躍連接操作[20]以防止出現(xiàn)梯度消失問(wèn)題同時(shí)加快網(wǎng)絡(luò)收斂速度。

如圖3(a)所示,跳躍連接是將某一層的特征值直接傳遞至后面某一網(wǎng)絡(luò)層進(jìn)行加法操作,可由下式表示:

xi+1=F(x)+xi

(3)

式中:xi及xi+1分別表示跳躍連接結(jié)構(gòu)的輸入與輸出;F(x)表示跳躍連接結(jié)構(gòu)內(nèi)進(jìn)行的卷積操作及非線性變化。該模塊所有卷積層都包含一個(gè)非線性激活函數(shù)層。除右側(cè)1×1卷積核個(gè)數(shù)為64外,所有卷積核個(gè)數(shù)為16。卷積操作過(guò)程中步長(zhǎng)設(shè)為1。

圖2 多尺度交互特征提取模塊Fig.2 Multi-scale interactive feature extraction module

圖3 兩種模塊結(jié)構(gòu)圖Fig.3 Two module structure diagrams

2.3 簡(jiǎn)化的密集連接

密集連接是Huang等人[19]針對(duì)緩解反向傳播過(guò)程中梯度消失問(wèn)題首次被提出的方法,并且該方法在圖像分類任務(wù)中也取得了優(yōu)異的效果。然而,密集連接的每個(gè)層都會(huì)聚合前面所有層的特征致使運(yùn)算效率低且存在特征冗余。

針對(duì)這一問(wèn)題,本節(jié)利用文獻(xiàn)[22]的思想來(lái)簡(jiǎn)化密集連接方式,其結(jié)構(gòu)如圖3(b)所示。將淺層特征進(jìn)行一次性的聚合不僅提高了網(wǎng)絡(luò)的運(yùn)算效率,還因特征的重復(fù)利用減少了網(wǎng)絡(luò)特征的冗余。以圖3為例,簡(jiǎn)化密集連接塊中的每層輸入，可以表示為

(4)

式中:Hl(·)表示卷積及非線性變化的組合操作;xl表示第l層輸入;[x0,x1,x2,x3]表示對(duì)前3層得到的特征圖進(jìn)行拼接。

簡(jiǎn)化密集連接塊除最后一層的輸入與密集連接塊相同外,其前面的所有層都只將上一層的輸出作為本層的輸入,以此減少了大量參數(shù)。

3 實(shí)驗(yàn)預(yù)處理

3.1 數(shù)據(jù)增強(qiáng)

本文實(shí)驗(yàn)使用NWPU-RESISC45數(shù)據(jù)集[23]來(lái)進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測(cè)試。在該數(shù)據(jù)集中選擇400張尺寸為256×256的圖片作為訓(xùn)練集以及10張尺寸為256×256的圖片用來(lái)測(cè)試,其測(cè)試圖片如圖4所示。

圖4 10張測(cè)試圖片F(xiàn)ig.4 10 images used for testing

為了提高網(wǎng)絡(luò)的泛化能力,在訓(xùn)練前對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)操作。該操作首先對(duì)選取的400張訓(xùn)練集分別按比例1,0.9,0.8,0.7進(jìn)行縮放,圖像塊大小設(shè)為40×40并以步長(zhǎng)為10來(lái)提取縮放圖像的圖像塊。然后將獲取的圖像塊進(jìn)行翻轉(zhuǎn)、90°旋轉(zhuǎn)以及翻轉(zhuǎn)并旋轉(zhuǎn)操作,得到547 584個(gè)圖像塊。最后將這些圖像塊與相干斑噪聲通過(guò)公式(1)合成得到合成SAR圖像。

3.2 網(wǎng)絡(luò)參數(shù)設(shè)置

整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)模型的參數(shù)設(shè)置如表1所示,其中MIFEM模塊參數(shù)在第2.2節(jié)已有介紹。網(wǎng)絡(luò)訓(xùn)練前,初始學(xué)習(xí)率設(shè)為0.001,而后每經(jīng)過(guò)30輪次訓(xùn)練乘一個(gè)衰減系數(shù)0.1,共訓(xùn)練60輪次。網(wǎng)絡(luò)的優(yōu)化方式采用Adam[24]優(yōu)化方法,損失函數(shù)采用歐式損失與總變差損失的組合,其公式定義如下:

(5)

(6)

表1 網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)

此外,本文實(shí)驗(yàn)基于pytorch框架搭建而成,計(jì)算機(jī)系統(tǒng)為Win10 64位系統(tǒng),使用的硬件設(shè)備配置為Intel Core CPU 3.7 GHz 以及NVIDIA RTX 2080 GPU。

為進(jìn)一步分析本文方法在降低計(jì)算參數(shù)方面所帶來(lái)的優(yōu)勢(shì),與ID-CNN方法[10]中的網(wǎng)絡(luò)參數(shù)設(shè)置進(jìn)行比較。由表2可知,相比于ID-CNN方法,所提的方法在網(wǎng)絡(luò)計(jì)算參數(shù)量上節(jié)省了約32.83%。

表2 網(wǎng)絡(luò)參數(shù)量比較

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文方法在減少參數(shù)量的同時(shí)保持性能不下降的有效性,本文采用PPB[6]、SAR-BM3D[7]以及ID-CNN[10]方法與本文方法比較。在進(jìn)行仿真實(shí)驗(yàn)過(guò)程中分別設(shè)置了視數(shù)為1、2、4、10這4種不同強(qiáng)度噪聲來(lái)進(jìn)行比較。其中,在合成SAR圖像實(shí)驗(yàn)下,由于存在無(wú)噪聲樣本圖像,故采用圖像質(zhì)量評(píng)價(jià)指標(biāo)峰值信噪比(peak signal to noise ratio,PSNR)及結(jié)構(gòu)相似(structural similarity index,SSIM)來(lái)評(píng)估相干斑噪聲抑制效果。在真實(shí)SAR圖像實(shí)驗(yàn)對(duì)比中,不存在無(wú)噪聲SAR圖像樣本,故采用ENL指標(biāo)來(lái)評(píng)估抑斑性能。PSNR、SSIM及ENL分別如下所示:

(7)

(8)

(9)

4.1 合成SAR圖像實(shí)驗(yàn)

將圖4的測(cè)試圖片與相干斑噪聲根據(jù)式(1)進(jìn)行合成得到合成SAR圖像。如表3所示,相比于其他3種方法,本文方法測(cè)試得到的平均PSNR及平均SSIM值在4種不同強(qiáng)度噪聲情況下都是最大的,而且隨著噪聲強(qiáng)度的增加,本文方法與其他3種方法的指標(biāo)差值越來(lái)越大。同時(shí)可以看出,基于神經(jīng)網(wǎng)絡(luò)的方法在4種不同強(qiáng)度噪聲下都比傳統(tǒng)方法效果要好,ID-CNN與本文方法在訓(xùn)練過(guò)程中測(cè)試的平均指標(biāo)結(jié)果如圖5所示。

表3 各方法測(cè)試圖像取得的平均PSNR與平均SSIM結(jié)果比較

圖5 兩種方法的測(cè)試結(jié)果對(duì)比(L=10)Fig.5 Comparison of test results for two methods (L=10)

圖6展示了飛機(jī)場(chǎng)測(cè)試圖像在噪聲強(qiáng)度L=4的情況下各種方法測(cè)試結(jié)果對(duì)比,可以清楚看到PPB方法抑制后的圖像變得過(guò)于平滑,而且在較細(xì)節(jié)較明顯處出現(xiàn)紋理失真。使用SAR-BM3D方法得到的抑制圖像在保留細(xì)節(jié)方面優(yōu)于PPB方法,但紋理細(xì)節(jié)的保留仍不夠理想。相比于PPB及SAR-BM3D,基于神經(jīng)網(wǎng)絡(luò)的去噪方法在視覺(jué)上都具有較好的效果。從圖6右下角的放大圖來(lái)看,相比于PPB與SAR-BM3D,ID-CNN及本文方法保留的白線細(xì)節(jié)較全。

圖6 各種方法測(cè)試結(jié)果對(duì)比(L=4)Fig.6 Comparison of test results of various methods(L=4)

4.2 真實(shí)SAR圖像實(shí)驗(yàn)

如圖7所示,本文使用AIRSAR拍攝Flevoland地區(qū)、Deathvalley地區(qū)以及San Francisco地區(qū)的SAR圖像來(lái)驗(yàn)證本文算法同時(shí)將這些圖像大小裁剪為600×600。以圖7為例,PPB方法的抑制圖像雖然在相干斑抑制方面取得了不錯(cuò)的效果,但在特征較為明顯的物體邊緣產(chǎn)生了紋理失真而且明顯存在過(guò)度平滑現(xiàn)象。SAR-BM3D方法雖然沒(méi)有PPB抑制圖像存在的問(wèn)題,但仍包含大量的殘余噪聲從而導(dǎo)致相干斑的抑制效果并不理想。ID-CNN與本文方法在相干斑抑制及紋理細(xì)節(jié)保留方面都取得了較好的視覺(jué)效果。同樣,圖8和圖9在主觀視覺(jué)上都取得了較好的可視效果。除視覺(jué)上人為主觀判斷外,本節(jié)實(shí)驗(yàn)使用ENL指標(biāo)來(lái)衡量本文方法在測(cè)試真實(shí)SAR圖像上抑制的效果。如表4所示,本節(jié)實(shí)驗(yàn)在圖7～圖9的兩個(gè)框內(nèi)的同質(zhì)區(qū)域測(cè)得的ENL值最大。綜合來(lái)看,相比于其他3種方法,本文方法的抑斑能力最好。

圖7 Flevoland地區(qū)的測(cè)試結(jié)果對(duì)比Fig.7 Comparison of test results of the Flevoland

圖8 Deathvalley地區(qū)的測(cè)試結(jié)果對(duì)比Fig.8 Comparison of test results of the Deathvalley

圖9 San Francisco地區(qū)的測(cè)試結(jié)果對(duì)比Fig.9 Comparison of test results of the San Francisco

表4 ENL指標(biāo)結(jié)果比較

5 結(jié)束語(yǔ)

本文提出了一種基于多尺度交互結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像相干斑抑制方法。該方法通過(guò)1×1卷積的作用以及密集連接的簡(jiǎn)化結(jié)構(gòu)來(lái)減少參數(shù)量,同時(shí)使用跳躍連接并引入殘差學(xué)習(xí)策略以加快網(wǎng)絡(luò)的收斂速度。在合成SAR圖像以及真實(shí)SAR圖像實(shí)驗(yàn)測(cè)試中,相比于其他3種方法,本文方法不僅在主觀視覺(jué)上取得了更好的效果,而且還通過(guò)圖像質(zhì)量評(píng)價(jià)指標(biāo)的定量分析得到最好的相干斑抑制性能。