基于生成對抗網(wǎng)絡(luò)的SAR圖像去噪

劉帥奇，雷鈺，龐姣，趙淑歡，蘇永鋼，孫晨陽

(河北大學(xué) 電子信息工程學(xué)院，河北省機器視覺技術(shù)創(chuàng)新中心，河北 保定 071002)

合成孔徑雷達(synthetic aperture radar，SAR)圖像在災(zāi)害監(jiān)測、環(huán)境監(jiān)測、海洋監(jiān)測、資源勘查、農(nóng)作物估產(chǎn)、測繪和軍事等方面得到廣泛應(yīng)用，越來越受到世界各國的重視.相干斑噪聲的存在往往使計算機視覺系統(tǒng)處理SAR圖像變得困難[1].

在早期的SAR圖像去噪算法中，大多采用多視處理技術(shù).隨著SAR圖像應(yīng)用的不斷擴展，對空間分辨率的要求不斷提高，多視處理技術(shù)已經(jīng)不能滿足高分辨率的要求.因此，進入20世紀80年代后，基于空域濾波的去噪算法得到了較大發(fā)展，并提出了許多經(jīng)典濾波器，例如Lee濾波、Kuan濾波和Frost濾波[2]等.這些濾波器可以較好地抑制噪聲，但這些濾波器易受濾波器窗口大小的影響并且很難平衡圖像去噪和細節(jié)保留兩者間關(guān)系，而非局部均值濾波去噪算法(non-local mean,NLM)[3]利用子塊的相似性對噪聲圖像進行濾波，在低水平噪聲下可以取得較好的去噪效果，然而高水平噪聲去噪時性能衰退.因此學(xué)者們提出基于變換域的算法，并逐漸成為SAR圖像去噪的主流算法.變換域去噪算法主要是基于小波變換或多尺度幾何變換的去噪算法，例如小波域貝葉斯降噪、輪廓波域SAR圖像降噪、Shearlet域SAR圖像降噪[2]等，變換域算法可以有效地抑制斑點.但是，由于變換域的某些固有缺點，降噪算法會導(dǎo)致像素失真.近年來，隨著機器學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用到圖像處理領(lǐng)域，并取得令人滿意的效果.

深度學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域的一個研究方向，其概念來源于人工神經(jīng)網(wǎng)絡(luò)，所謂“深度”是含多隱層的感知器.深度學(xué)習(xí)可以將低層次特征有效組合起來，逐步進行學(xué)習(xí)與特征提取，形成能夠表示屬性類別的抽象高層次特征.深度學(xué)習(xí)模型有多種類型，如卷積神經(jīng)網(wǎng)絡(luò)(conventional neural network,CNN)、自動編碼器、生成對抗網(wǎng)絡(luò)(generative adversarial networks,GAN)[4]等，其各類算法模型有著各自的特點與優(yōu)勢，其中GAN是近年來復(fù)雜分布上無監(jiān)督學(xué)習(xí)最具前景的方法之一.該網(wǎng)絡(luò)通過框架中2個模塊(生成模型(generative model，GM)和判別模型(discriminative model，DM)),GAN通過2個模塊的互相博弈學(xué)習(xí)來產(chǎn)生理想的輸出.2014年，Ian等[5]發(fā)表第1篇有關(guān)生成對抗網(wǎng)絡(luò)的論文，提出了GAN的模型框架，討論了非飽和損失函數(shù).2015年，Alec等[6]提出了深度卷積對抗生成網(wǎng)絡(luò)(deep convolutional generative adversarial networks,DCGAN)模型，采用了CNN結(jié)構(gòu)來實現(xiàn)GAN模型，在生成器和判別器的特征提取層用卷積神經(jīng)網(wǎng)絡(luò)代替了原始GAN中的多層感知機.然而，GAN一直存在著訓(xùn)練不穩(wěn)定、損失函數(shù)無法指示訓(xùn)練過程、模式崩壞(mode collapse,MC)和生成結(jié)果缺乏多樣性等問題.為了解決傳統(tǒng)GAN模型的局限性，Martin等[6]在2017年提出了WGAN(wasserstein generative adversarial networks)，從原理上對GAN模型進行了論證與改進，取得了令人滿意的圖像處理效果.因此，本文將WGAN擴展到SAR圖像去噪應(yīng)用中，提出了一種基于生成對抗網(wǎng)絡(luò)的SAR圖像去噪算法.

1 相關(guān)研究

1.1 噪聲模型

SAR圖像是通過對雷達脈沖的回波信號進行相干處理而形成的.當電磁波照射到一個較為粗糙的表面或同時照射到了多個散射體時，由于雷達目標與雷達站之間具有相對運動，多個散射體與雷達之間具有不同的距離和相對速度，這就使得雷達接收機接收到的回波信號雖然在頻率上仍然是相干的，而在相位上已經(jīng)不再相干，其結(jié)果是導(dǎo)致相鄰像素點的灰度值會由于相干性圍繞某一均值隨機地起伏變化，在圖像上就產(chǎn)生了不可避免的相干斑噪聲[1].Goodman[7]證明完全發(fā)育的相干斑噪聲是一種乘性噪聲，其模型為

I(x,y)=R(x,y)*N(x,y),

(1)

其中，(x,y)表示分辨單元中心像素方位向和距離向的坐標；I(x,y)表示實際觀察到的圖像強度(被相干斑噪聲污染的圖像強度)；R(x,y)表示隨機的地面目標的雷達回波，即應(yīng)該觀察到的未被相干斑噪聲污染的真實圖像；N(x,y)表示衰落過程引起的相干斑噪聲.并且R(x,y)和N(x,y)相互獨立.相干斑噪聲服從廣義的Gamma分布.

1.2 殘差網(wǎng)絡(luò)

隨著卷積網(wǎng)絡(luò)的不斷發(fā)展，一般以增加卷積網(wǎng)絡(luò)深度的方式來提高卷積網(wǎng)絡(luò)的性能.然而，學(xué)者們發(fā)現(xiàn)隨著層數(shù)的加深，很容易導(dǎo)致梯度消失.為此，He等[8]提出了殘差網(wǎng)絡(luò)(ResNet)，如圖1所示.

圖1中網(wǎng)絡(luò)參數(shù)的優(yōu)化可以轉(zhuǎn)為學(xué)習(xí)一個殘差函數(shù)F(x)=h(x)-x.只要F(x)=0，就可以構(gòu)成一個恒等映射h(x)=x，這樣可以使網(wǎng)絡(luò)更加容易擬合.因此使用具有跳躍連接的殘差塊，使得殘差網(wǎng)絡(luò)更容易優(yōu)化，并且能夠增加相當?shù)纳疃葋硖岣邷蚀_率，有效地緩解了梯度消失.

圖1 殘差網(wǎng)絡(luò)Fig.1 Residual network

1.3 生成對抗網(wǎng)絡(luò)

GAN中包含了2個模塊，一個是生成模塊，另一個是判別模塊.以生成圖片為例，生成器G的作用是不斷學(xué)習(xí)訓(xùn)練集中真實圖像的概率分布，將輸入的隨機噪聲生成為可以以假亂真的圖片(生成的圖片與訓(xùn)練集中的圖片相似度越高越好).而判別器D的作用則是判斷一個圖片是否是真實的圖片，目標是希望能夠?qū)⑸善鱃產(chǎn)生的“假”圖片與訓(xùn)練集中的真實圖片區(qū)別開.GAN的訓(xùn)練方法是讓生成器G和判別器D進行博弈，通過互相競爭的方式讓生成器與判別器同時得到提高.由于判別器D的存在，使得生成器G在沒有大量先驗知識及先驗分布的情況下也可以很好地去學(xué)習(xí)并逼近真實的數(shù)據(jù)，最終讓生成器生成的圖片達到理想的效果(即判別器D無法區(qū)分生成器G生成的圖片與真實圖片).

為了學(xué)習(xí)生成器在數(shù)據(jù)集x上的分布pg，本文定義輸入噪聲變量pz(z)作為先驗，然后將其到數(shù)據(jù)空間的映射表示為G(z;θg)，其中G是由參數(shù)θg的多層感知器表示的可微函數(shù).本文還定義了輸出單個標量的多層感知器D(x;θd).本文訓(xùn)練判別器以最大化正確鑒別的概率，同時訓(xùn)練生成器以最小化對數(shù)log(1-D(G(z)))，因此，優(yōu)化的目標函數(shù)定義如下：

(2)

在實際學(xué)習(xí)過程中，對于一個具體的樣本，判別器需要最小化損失函數(shù)，即式(3)，以此來盡可能地把真實數(shù)據(jù)樣本分為正例，將生成器生成的樣本分為負例

La=-Ex～Pdata(x)[logD(x)]-Ez～Pz(z)[log(1-D(x)].

(3)

原始GAN模型一直存在著梯度消失、訓(xùn)練不穩(wěn)定、生成器和判別器的損失函數(shù)無法指示訓(xùn)練進程、模式崩潰、生成樣本缺乏多樣性等問題.WGAN徹底解決了GAN訓(xùn)練不穩(wěn)定的問題，不再需要小心地平衡生成器和判別器的訓(xùn)練程度，并確保了生成樣本的多樣性[9].而且WGAN解決這些問題并不需要設(shè)計復(fù)雜的網(wǎng)絡(luò)架構(gòu)，甚至僅僅使用最簡單的多層全連接網(wǎng)絡(luò)就可以做到.本文在WGAN模型的基礎(chǔ)上，提出了一個基于殘差學(xué)習(xí)的DCNN結(jié)構(gòu)的生成對抗網(wǎng)絡(luò)框架用于SAR圖像去噪.

2 所提去噪算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

SAR圖像去噪的目的是生成高質(zhì)量的SAR圖像.對于生成對抗網(wǎng)絡(luò)來說，生成網(wǎng)絡(luò)應(yīng)能在不丟失原始圖像細節(jié)信息的情況下，盡可能地去除噪聲.因此，算法的關(guān)鍵在于設(shè)計一個良好的SAR去噪圖像生成網(wǎng)絡(luò).在本算法中，生成網(wǎng)絡(luò)采用了與DCNN框架相似的結(jié)構(gòu)，輸入模擬SAR圖像和其對應(yīng)的真實無噪圖像，利用殘差網(wǎng)絡(luò)的機制，訓(xùn)練學(xué)習(xí)從模擬SAR圖像到模擬SAR圖像與其對應(yīng)的干凈圖像的差值圖像的映射，即殘差圖像.將輸入的模擬SAR圖像與從網(wǎng)絡(luò)中得到的殘差圖像(圖像中的噪聲成分)作差，即可得到去噪后的圖像.

本文所構(gòu)造的生成網(wǎng)絡(luò)結(jié)構(gòu)由17個網(wǎng)絡(luò)層構(gòu)成.其中首層由1個卷積層和1個修正線性單元(rectified linear unit，ReLU)激勵函數(shù)構(gòu)成.中間15個網(wǎng)絡(luò)層具有相同的結(jié)構(gòu)，是引入殘差機制的DCNN結(jié)構(gòu)，其中每層包含2個卷積層，并通過Relu激勵函數(shù)和批量歸一化(batch normalization，BN)[10]來加快網(wǎng)絡(luò)的訓(xùn)練.BN能夠?qū)⒕矸e網(wǎng)絡(luò)的張量進行類似標準化的操作，將其歸一化到合適的范圍，從而加快訓(xùn)練速度，而且可以使每一層盡量面對同一特征分布的特征值，減少了中間層數(shù)據(jù)分布變化帶來的不確定性.殘差結(jié)構(gòu)中的跳躍連接將輸入饋送到深層，以便每個殘差塊參照輸入調(diào)整輸出并保存更多的信息，提高了網(wǎng)絡(luò)的訓(xùn)練效率和收斂性能.生成網(wǎng)絡(luò)的最后一層是卷積層，輸出經(jīng)殘差學(xué)習(xí)后的殘差圖像，即SAR圖像中的噪聲成分.將噪聲圖像與該殘差圖像作差，得到生成的去噪圖像，圖像輸出大小為256×256.生成器的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示：

圖2 生成網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure diagram of the generate network

SAR圖像去噪的目的不僅僅是使去噪后的圖像更加清晰，還在于使去噪后的圖像更加接近無噪聲的真實圖像.因此，本算法加入了一個判別網(wǎng)絡(luò)來辨別每個輸入的圖像的真假(即辨別輸入的圖像為生成器生成的去噪圖像還是真實的無噪聲圖像).判別網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示：

圖3 判別網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure diagram of the distinguish network

在本算法中，整個判別網(wǎng)絡(luò)使用了6個具有滲漏型整流線性單元(leaky rectified linear unit，LReLU)激勵函數(shù)的卷積層，在不進行批歸一化處理的情況下，使用LRelu作為激勵函數(shù)使網(wǎng)絡(luò)可以很快收斂.輸入圖像后，本文從這些組Conv-LRelu中學(xué)習(xí)到圖像的特征，最后疊加一個Sigmoid函數(shù)，將計算所得的輸出映射到一個[0,1]的概率分數(shù)，根據(jù)分數(shù)判別輸入的去噪圖像與真實無噪聲圖像的相似程度，分數(shù)越高越接近真實的圖像.

2.2 損失函數(shù)

為了保證生成網(wǎng)絡(luò)產(chǎn)生的去噪圖像具有良好的質(zhì)量評價和視覺效果，并且能夠更好地指導(dǎo)整個網(wǎng)絡(luò)的訓(xùn)練，本文提出了一種新的損失函數(shù)，將峰值信噪比(PSNR)、結(jié)構(gòu)相似性指數(shù)(SSIM)和對抗性損失按適當?shù)臋?quán)重結(jié)合起來，形成了新的損失函數(shù).對抗性損失是為了使生成器產(chǎn)生更好的輸出與判別器互相博弈.峰值信噪比與結(jié)構(gòu)相似性指數(shù)是圖像去噪常用的質(zhì)量評價指標.新的損失函數(shù)不僅能夠引導(dǎo)網(wǎng)絡(luò)的訓(xùn)練方向，還兼顧了生成去噪圖像的質(zhì)量與視覺效果.新的損失函數(shù)定義如下：

L=λaLa+λpLp+λsLs,

(4)

其中，La表示對抗性損失(式3)；Lp表示峰值信噪比；Ls表示結(jié)構(gòu)相似性指數(shù)，即生成器生成的去噪圖像和與其對應(yīng)的真實無噪聲圖像之間的結(jié)構(gòu)相似度.λa、λp和λs分別是對抗性損失、峰值信噪比和結(jié)構(gòu)相似度的預(yù)定義權(quán)重.

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

本文算法采用CPU版本的TensorFlow 1.2.1框架，使用Python 3.5.2作為編譯器，在Intel酷睿i5 6200U處理器上進行訓(xùn)練，并利用Pycharm 2019.3.4作為集成開發(fā)環(huán)境.設(shè)備配置為64位Windows 10操作系統(tǒng)，內(nèi)存4 GB.

采用在自然圖像上添加模擬相干斑噪聲的圖像作為訓(xùn)練集.訓(xùn)練數(shù)據(jù)集采用200張512×256的對比圖像，每張對比圖像由2張256×256的模擬乘性噪聲圖像與其對應(yīng)的真實無噪聲圖像水平拼接而成，目的是使生成網(wǎng)絡(luò)學(xué)習(xí)去除乘性噪聲，并給判別網(wǎng)絡(luò)提供判別的標準.其中，真實無噪聲圖像選用了50張圖像去噪領(lǐng)域中常用的干凈的自然圖像，將這些圖像分別添加4個噪聲水平(其中視數(shù)L=1，2，3，4)的乘性噪聲后得到200張模擬乘性噪聲圖像.驗證集則采用了2組圖像,其中一組是不包括在訓(xùn)練數(shù)據(jù)集中的添加乘性噪聲的自然圖像.真實的SAR圖像來自TerraSAR-X雷達衛(wèi)星，由位于意大利那不勒斯的菲里德里克第二大學(xué)的官方網(wǎng)站提供[11]，如圖4所示：

a.Woods SAR圖像;b.Fields SAR圖像;c.Urban Areas SAR圖像.圖4 真實SAR圖像Fig.4 Real SAR images

本文算法中訓(xùn)練數(shù)據(jù)集較小，但由于設(shè)備限制，CPU運行能力有限，所以設(shè)置batch_size大小為1.本文設(shè)置學(xué)習(xí)速率為0.000 2.在訓(xùn)練過程中，本文將損失函數(shù)中幾個參數(shù)的權(quán)重分別設(shè)置為λa=-0.5，λp=-1.0和λs=-0.1，并使用RMSProp優(yōu)化方法對網(wǎng)絡(luò)進行優(yōu)化.

3.2 實驗分析

為了驗證本算法在真實SAR噪聲圖像上的去噪效果，本文利用訓(xùn)練好的模型在真實SAR圖像上進行去噪效果測試，并分別與Frost濾波[12]、基于稀疏表示的剪切波域貝葉斯去噪(BSSR)[13]、塊匹配三維濾波(BM3D)[14]、基于CNN和向?qū)V波的SAR圖像去噪(CNN)[15]、基于多尺度CNN的SAR圖像去噪(MSCNN)[16]進行比較.去噪結(jié)果如圖5～7所示，與其他算法相比，經(jīng)過本算法處理后的去噪結(jié)果可以更有效地抑制噪聲，并保留圖像中大部分的細節(jié)信息，去噪后圖像的整體視覺效果更好.

a.Frost去噪;b.BSSR去噪;c.BM3D去噪;d.CNN去噪;e.MSCNN去噪;f.GAN去噪.圖5 對Woods圖像去噪后的圖像Fig.5 Denoising images for the Woods image

a.Frost去噪;b.BSSR去噪;c.;BM3D去噪;d.CNN去噪;e.MSCNN去噪;f.GAN去噪.圖6 對Fields圖像去噪后的圖像Fig.6 Denoising images for the Fields image

a.Frost去噪;b.BSSR去噪;c.BM3D去噪;d.CNN去噪;e.MSCNN去噪;f.GAN去噪.圖7 對Urban areas圖像去噪后的圖像Fig.7 Denoising images for the Urban areas image

為了定量分析去噪效果，更好地將本文算法與其他算法進行對比，本文利用等效視數(shù)(equivalent nnumbers of looks,ENL)[17]、邊緣保持指數(shù)(edge preservation index,EPI)[17]和基于平均比的邊緣保持度(edge preservation degree based on ratio of the average，EPD-ROA)[16]對各去噪算法進行量化評價.其中，ENL越大說明算法去噪后圖像的視覺效果越好.EPI能反映算法的邊緣保持能力，EPI越大去噪后圖像保留的細節(jié)信息越多.EPD-ROA同樣能反映算法的邊緣保持性能，并且對乘性噪聲模型度量邊緣的保持程度具有更好的魯棒性.表1給出了真實SAR圖像去噪的實驗結(jié)果.

表1 不同算法對真實SAR噪聲圖像去噪結(jié)果Tab.1 Denoising results of the real SAR noise images by different algorithms

從表1可以看出，與其他算法相比，本文提出的算法產(chǎn)生的去噪結(jié)果具有最高或次高的ENL值，并具有最高的EPI值和EPD-ROA值，這說明本文算法具有良好的去噪性能，同時還可以保留更多的細節(jié)信息.實驗證明本算法在真實的SAR圖像上，表現(xiàn)出了良好的去噪效果.

4 結(jié)論

本文提出了一種基于生成對抗網(wǎng)絡(luò)的 SAR 圖像去噪算法，其中，生成網(wǎng)絡(luò)使用引入殘差結(jié)構(gòu)的DCNN模型，結(jié)合殘差學(xué)習(xí)和深度卷積網(wǎng)絡(luò)來完成SAR圖像去噪.判別網(wǎng)絡(luò)則使用了一個典型的卷積神經(jīng)網(wǎng)絡(luò)，用于分辨SAR去噪圖像與真實無噪圖像之間的差別，并將其反饋到網(wǎng)絡(luò)中，引導(dǎo)生成器生成質(zhì)量更高的去噪圖像.同時，本文還定義了一個新的損失函數(shù)，損失函數(shù)利用生成對抗網(wǎng)絡(luò)的對抗性損失以及峰值信噪比等圖像去噪的質(zhì)量評價指標指導(dǎo)生成器的訓(xùn)練，使其能夠生成令人滿意的SAR圖像去噪結(jié)果.實驗結(jié)果表明，本文算法能表現(xiàn)出較好的去噪效果.本文提出的算法雖然在SAR圖像去噪的應(yīng)用上取得一定的成果，但是算法訓(xùn)練耗時較長，如果能進一步優(yōu)化對抗網(wǎng)絡(luò)的結(jié)構(gòu)(例如在保證去噪效果的情況下減少生成網(wǎng)絡(luò)的層數(shù))，提升設(shè)備性能，就可以進一步提高訓(xùn)練的速度.