基于GAN生成對(duì)抗網(wǎng)絡(luò)的圖像去噪及去噪原理的探究

梁威鵬 洪盛偉

摘 ?要：把高頻的噪聲在傅里葉頻譜上和低頻的圖像很好地分離開。通過一系列高頻濾波的理論與技術(shù)，達(dá)到圖像降噪的目的。該文提出了一個(gè)基于GAN思想的編碼（encoder）-解碼（decoder）架構(gòu)來解決圖像去噪的問題。網(wǎng)絡(luò)由判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)組成，半監(jiān)督學(xué)習(xí)從噪聲圖像到去噪圖像的端到端的映射。在生成網(wǎng)絡(luò)中，在全卷積的情況下，噪聲一步步地被消除，最后得到去噪圖像。

關(guān)鍵詞：圖像去噪 ?GAN ?神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP39 ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ?文章編號(hào)：1672-3791（2019）05（a）-0026-02

在城市夜景拍攝或者星空拍攝中，會(huì)產(chǎn)生大量的噪點(diǎn)，這是由于高ISO和弱光散粒形成的隨機(jī)噪點(diǎn)。圖像噪點(diǎn)很大一部分原因是感光元件造成的。例如照片曝光度不足、采取了過高的ISO值等都會(huì)導(dǎo)致圖像噪點(diǎn)的增多。

根據(jù)傅立葉定理，任何一個(gè)信號(hào)都可以由簡(jiǎn)諧波相加得到。因此，一個(gè)信號(hào)可以分解成由多個(gè)頻率的簡(jiǎn)諧波相加。組成信號(hào)的單個(gè)簡(jiǎn)諧波，被稱為信號(hào)的一個(gè)分量。通過傅立葉變換，可以得到一個(gè)信號(hào)的不同頻率的分量。將各個(gè)頻率分量的強(qiáng)弱通過圖形表示出來，可以得出信號(hào)的頻譜。如圖1是圖像處理領(lǐng)域里經(jīng)典的一張圖像，其信號(hào)值可以用它的黑白分量代替。右邊是該圖像對(duì)應(yīng)的傅里葉頻譜。明暗程度表示頻率分量的振幅強(qiáng)弱。X軸、Y軸分別對(duì)應(yīng)表示圖像x方向的頻率和y方向上的頻率，值得注意的是，頻譜的中心位置亮點(diǎn)表示的是低頻信號(hào)的分量強(qiáng)弱，頻譜邊緣及四周表示的是高頻信號(hào)的分量強(qiáng)弱。

對(duì)該圖像加入隨機(jī)噪聲，我們發(fā)現(xiàn)，在圖像里，出現(xiàn)了很多和原圖像混在一起的小顆粒效果，這些“小顆?！闭亲钪庇^的圖像噪點(diǎn)的體現(xiàn)。此時(shí)，觀察噪點(diǎn)圖像的傅里葉頻譜圖可以發(fā)現(xiàn)，頻譜非中心區(qū)域明顯變亮，這說明圖像中的高頻分量有所增強(qiáng)。由此，可得出噪點(diǎn)正對(duì)應(yīng)著圖像中的高頻分量，而原圖像對(duì)應(yīng)著圖像中低頻分量的特性。噪點(diǎn)在空間上原本與原圖像混合在一起，難以去除。然而根據(jù)上述特性，我們可以把高頻的噪聲在傅里葉頻譜上和低頻的圖像很好地分離開。運(yùn)用數(shù)學(xué)原理，建立合理的數(shù)學(xué)模型，即通過一系列高頻濾波的理論與技術(shù)，達(dá)到圖像降噪的目的。

近幾年來，針對(duì)這個(gè)圖像處理的經(jīng)典任務(wù)，有關(guān)研究人員發(fā)表了數(shù)千篇論文。在這些論文里，有利用偏微分方程思想，例如全變差法，還有從幾何學(xué)理論角度將圖像看做多維度空間處理等，提出了各種有效且精妙的數(shù)學(xué)思想。

在去噪任務(wù)中，有許多絕妙的數(shù)學(xué)原理被提出，其中小波理論和稀疏表征取得了重大突破。其他的精彩理論還包括非局部均值（NLP）和貝葉斯估計(jì)等。如圖2所示，左邊是原始圖像。中間是圖像增加了STD=100的高斯噪聲污染，右邊是由BM3D算法[1]實(shí)現(xiàn)的去噪圖片。

小波濾波雖然是目前圖像降噪的常見方法，但隨著ISP影像處理器的AI化，越來越多的深度學(xué)習(xí)方面的算法，被應(yīng)用到后端圖像處理上，來彌補(bǔ)因傳統(tǒng)感光元器件在夜景拍攝、自動(dòng)美化方面的缺陷而造成的圖像噪點(diǎn)。傳統(tǒng)的圖像降噪方法是根據(jù)圖像噪聲類型的不同設(shè)計(jì)不同的濾波器，才能對(duì)圖像進(jìn)行降噪。其局限性便體現(xiàn)在需要設(shè)計(jì)不同算法來針對(duì)不同的圖像噪聲。如果算法設(shè)計(jì)不當(dāng)，則會(huì)造成畫面變得過度平滑、細(xì)節(jié)信息丟失、對(duì)比度和質(zhì)感降低、顏色溢出、飽和度降低等問題[1]。

該文根據(jù)上述基礎(chǔ)，提出了一個(gè)基于GAN思想的編碼（encoder）-解碼（decoder）架構(gòu)來解決圖像去噪的問題。網(wǎng)絡(luò)由判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)組成，半監(jiān)督學(xué)習(xí)從受損圖像到原圖像的端到端的映射。判別網(wǎng)絡(luò)主要由多層卷積層和反卷積層構(gòu)成，負(fù)責(zé)特征提取，捕獲圖像內(nèi)容的抽象信息，判斷輸入圖片中是否含有大量噪聲。相對(duì)應(yīng)的，生成網(wǎng)絡(luò)中也采取了卷積層和反卷積層用來恢復(fù)圖像細(xì)節(jié)，同時(shí)提取并消除噪聲。除此之外，網(wǎng)絡(luò)中還加入了殘差網(wǎng)絡(luò)。我們通過向模型輸入一個(gè)帶有噪聲的圖片，在輸出端給模型沒有噪聲的圖片，讓模型通過卷積自編碼器去學(xué)習(xí)降噪的過程[2]。

在判別網(wǎng)絡(luò)中，卷積層（conv）的特征圖與跟其對(duì)應(yīng)的反卷積層（deconv）特征圖進(jìn)行跳躍連接。對(duì)應(yīng)像素直接相加后經(jīng)過非線性函數(shù)激活層（可以是relu等激活函數(shù)），所得結(jié)果輸出到下一層。這樣做的目的是解決在深層網(wǎng)絡(luò)的情況下梯度彌散的問題。跳躍連接同時(shí)也加快了網(wǎng)絡(luò)的訓(xùn)練過程，使反向傳播（BP）的梯度更大。

在生成網(wǎng)絡(luò)中，在全卷積的情況下，噪聲一步步地被消除。經(jīng)過每次卷積后，噪聲信息減小，圖像內(nèi)容的細(xì)節(jié)雖可能會(huì)隨之丟失。但由于有判別網(wǎng)絡(luò)的存在，可以鑒別圖像的“真假優(yōu)劣”，生成網(wǎng)絡(luò)最后的輸出結(jié)果會(huì)保留主要的圖像內(nèi)容。并且在生成網(wǎng)絡(luò)中也加入反卷積層，用來補(bǔ)償細(xì)節(jié)信息。通過我們的去噪網(wǎng)絡(luò)，可以達(dá)到良好去噪效果的同時(shí)較好地保留圖像細(xì)節(jié)。網(wǎng)絡(luò)的架構(gòu)如圖4，其中判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)均為如圖4結(jié)構(gòu)。

解決圖像去噪這個(gè)經(jīng)典又困難的問題，還有很長(zhǎng)的路要走。降噪一直是圖像視頻處理領(lǐng)域很基礎(chǔ)、很熱門的問題，雖然其有數(shù)以千計(jì)的論文的理論研究，但其基于深度學(xué)習(xí)的降噪技術(shù)卻極少在實(shí)際產(chǎn)品中有效地應(yīng)用，這方面的研究還需繼續(xù)深入開展。

參考文獻(xiàn)

[1] 張力娜，李小林.基于圖像分解與邊緣檢測(cè)的圖像去噪方法[J].咸陽師范學(xué)院學(xué)報(bào)，2014，29（2）：22-25.

[2] 王海武.基于生成對(duì)抗網(wǎng)絡(luò)的語音增強(qiáng)方法研究[D].南昌航空大學(xué)，2018.

[3] 楊大為.生成式對(duì)抗網(wǎng)絡(luò)GAN及應(yīng)用[J].信息系統(tǒng)工程，2018，294（6）：83-84.