基于雙樹小波和神經網絡的圖像降噪與增強

劉文輝，許 瑞

(新疆教育學院 信息科學與技術學院，新疆 烏魯木齊 830043)

0 引 言

在圖像的拍攝和傳輸過程中，許多主觀因素和客觀因素會為圖像引入大量的噪聲，導致圖像的細節(jié)信息和邊緣信息受到污染[1]。圖像降噪技術是解決該問題的一個主要手段，該手段分為基于濾波器和基于變換兩大類技術，基于濾波器的技術主要有中值濾波器[2]、雙邊濾波器[3]等，基于變換的技術則主要有離散小波變換(discrete wavelet transform，DWT)[4]、雙樹小波變換[5]等。

DWT在圖像降噪方面具有顯著的效果，但是也存在缺乏平移不變性和缺乏方向選擇性的不足[6]。文獻[7]將DWT和雙邊濾波器結合，通過DWT和雙邊濾波器的多級降噪處理實現(xiàn)對圖像的增強。文獻[8]提出具備自學習能力的圖像增算法，該算法為雙樹小波變換增加了稀疏編碼和字典學習的自學習能力，對醫(yī)學圖像實現(xiàn)了較好的降噪效果。文獻[9]提出基于小波變換和改進中值濾波的醫(yī)學圖像耦合去噪方法，該方法的優(yōu)點是結合中值濾波和小波的優(yōu)點提高了去噪的效果。當前基于DWT的降噪算法實現(xiàn)了較好的總體降噪性能，但也弱化了圖像的邊緣信息，而邊緣信息是醫(yī)療病情診斷、圖像分割等應用領域的關鍵信息。

為了在保持優(yōu)良降噪性能的前提下，保護圖像的邊緣信息，提出了基于神經網絡和雙密度雙樹小波的圖像降噪與增強算法。本文利用CNN識別圖像的邊緣，對非邊緣區(qū)域進行降噪處理，同時保留邊緣區(qū)域的信息。在降噪過程中，采用雙密度雙樹DWT對噪聲圖像進行降噪處理，再訓練神經網絡來降低噪聲圖像和原圖像的均方誤差，從而對圖像進行增強。

1 非下采樣剪切波(non subsampled shearlet，NSST)變換

小波變換缺乏平移不變性和方向選擇性，難以準確提取信號的幾何特征。而NSST變換對信號的方向和形狀具有較高的敏感性，同時具備平移不變性，因此采用NSST提取圖像的空間特征。

1.1 shearlet變換

二維空間中具備復合伸縮性質的仿射系統(tǒng)可表示為

AS(Ψ)={Ψj,l,k(x)=
|detA|j/2Ψ(SlAjx-k)∶j,l∈Zk∈Z2}

(1)

(2)

(3)

假設?ξ=(ξ1,ξ2),ξ1≠0, 那么Ψ′0(ξ) 可定義為

(4)

(5)

并且Ψ′2滿足以下關系

(6)

那么，結合式(5)和式(6)可獲得以下關系

(7)

(8)

(9)

(10)

1.2 NSST變換

NSST包含尺度分解和方向局部化兩個步驟：多尺度分解通過非下采樣金字塔濾波器組(non subsampled Laplacian pyramid，NSLP)實現(xiàn)，保證平移不變性，抑制偽吉布斯現(xiàn)象。通過剪切濾波器(shearlet filter，SF)實現(xiàn)方向局部化，源圖像經過n級分解得到1個低頻子帶圖像和n個大小相同但尺度不同的高頻子帶圖像。

NSST變換在不同的位置k、尺度j和方向l上建立波形集。NSST利用了非下采樣的拉普拉斯金字塔濾波器和剪切濾波器SF，NSLP通過以下的迭代程序完成分解

(11)

2 算法總體設計

算法第1步通過NSST將噪聲圖像分解成若干子帶，再將細節(jié)子帶分割成9×9×J的塊，尺度的數(shù)量為J+1。第2步將數(shù)據輸入訓練的卷積神經網絡(convolutional neural networks，CNN)，決定中心向量的類。第3步對非邊緣的系數(shù)進行降噪處理，邊緣的系數(shù)保持不變。

2.1 CNN網絡設計

2.1.1 CNN網絡模型

假設pi表示卷積層的第i個輸入特征圖，qj表示卷積層的第j個輸出特征圖，3D卷積運算和ReLU激活函數(shù)的組合模型為

(12)

(13)

CNN模型輸出關于邊相關性的概率分布，如果中心向量和邊的相關性高，輸出值則接近1，否則輸出值接近0。

2.1.2 CNN網絡訓練

將多項式logistic的softmax損失作為CNN的目標函數(shù)。采用隨機梯度下降算法(stochastic gradient descent，SGD)最小化目標函數(shù)，訓練的batch大小、動量衰減和權重衰減分別設為128、0.9和0.0005。網絡迭代的更新規(guī)則為

(14)

式中：z,i,β和L分別為動量、迭代次數(shù)、學習率和損失函數(shù)， ?L/?wi表示目標函數(shù)對權重w求偏導。

2.2 算法的總體步驟

設噪聲圖像為v，圖像降噪和增強的步驟總結為：

步驟2 創(chuàng)建9×9×J大小的3D塊，輸入CNN。

步驟4 通過雙密度雙樹小波變換(double-density double tree wavelet transform，DDDTDWT)[11]對非邊緣區(qū)域的噪聲系數(shù)進行降噪處理。

步驟5 通過神經網絡對降噪的非邊緣區(qū)域和保留的邊緣區(qū)域統(tǒng)一進行訓練，增強圖像的總體質量。

3 圖像降噪與增強

基于硬閾值的小波變換圖像降噪方法存在連續(xù)性變差、光滑性變差的問題，而基于軟閾值的小波變換圖像降噪方法在信號重構過程中容易出現(xiàn)偏差。考慮上述問題，通過雙密度雙樹小波變換實現(xiàn)圖像的降噪處理，并通過神經網絡對降噪的非邊緣區(qū)域和保留的邊緣區(qū)域進行訓練，增強圖像的總體質量。圖1是圖像降噪和增強的流程。

圖1 圖像降噪和增強的流程

3.1 基于雙密度雙樹小波變換的圖像降噪處理

通過母小波推導雙密度雙樹小波變換(double-density double tree wavelet transform，DDDTDWT)的方法為：對非邊緣區(qū)域進行DWT變換，獲得兩個下采樣的圖像，分別經過低通濾波器和高通濾波器獲得4個子帶，選出其中的低頻-低頻成分進行分解。

DDDTDWT包含兩個小波函數(shù)，因此其細節(jié)系數(shù)多于DWT。其系數(shù)包含1個低通子帶和8個高通子帶，對低通系數(shù)進行第2級分解，第2級分解共產生17個子帶，包含1個低通子帶和16個高通子帶。

DDDTDWT的尺度函數(shù)為

ψhi(t),ψgi(t),i=1,2

(15)

ψh1(t)≈ψh2(t-0.5)

(16)

DDDTDWT通過式(15)解決DWT的方向限制。DDDTDWT的濾波器組結構如圖2所示，小波ψhi(t) 為ψgi(t) 的1/2偏移。

圖2 DDDTDWT的濾波器組結構

DDDTDWT的小波函數(shù)和尺度函數(shù)分別為

ψg1(t)≈ψg2(t-0.5)

(17)

(18)

(19)

(20)

DDDTDWT具備較好的降噪性能，將復數(shù)值分成實部和虛部分別進行降噪處理，再將實部樹和虛部樹融合獲得最終的像素值。

3.2 基于人工神經網絡的圖像增強

通過人工神經網絡(artificial neural network，ANN)對圖像進行增強，ANN的結構包括輸入層、隱藏層和輸出層，隱藏層為10個神經元。降噪的非邊緣區(qū)域和保留的邊緣區(qū)域作為ANN的輸入，ANN輸出增強的圖像。隱藏層神經元的激活函數(shù)為sigmoid函數(shù)。

圖3是ANN訓練的流程。小波降噪的輸出圖像作為神經網絡的輸入，訓練過程中固定神經元的數(shù)量、權重偏置和隱層數(shù)量。

圖3 ANN訓練的流程

4 實驗與結果分析

使用本文提出的算法建立一個面向噪聲圖像的降噪和增強模型，并且在常規(guī)圖像和醫(yī)學圖像上測試了模型的有效性。

4.1 度量標準

通過PSNR評價圖像的質量，PSNR的公式定義為

(21)

使用均方誤差(mean-square error，MSE)作為ANN訓練的目標函數(shù)，MSE的計算公式為

(22)

式中：I(i,j) 處理后 (i,j) 位置的像素值，K(i,j) 為原圖像 (i,j) 位置的像素值。

4.2 數(shù)據集

第1組測試圖像為兩個512×512的8比特灰度圖像和兩個256×256的8比特灰度圖像。Lena圖像和Man圖像為512×512，Cameraman圖像和Peppers圖像為256×256。采用標準偏差分別為{10,20,30,50,70}的加性高斯白噪聲對每個圖像分別進行處理，獲得不同級別的噪聲圖像。

第2組測試圖像來自于公開醫(yī)學圖像數(shù)據庫(www.field-ii.dk/)的腎臟超聲圖像kidney圖像，該圖像被許多研究者用于圖像降噪實驗。

4.3 仿真參數(shù)

NSST的分解級數(shù)J和分解方向數(shù)Θ分別設為3和8，采用maxflat濾波器作為金字塔濾波器。Caffe是一種快速特征嵌入的卷積框架[12]，利用Caffe和2.1.2小節(jié)的內容訓練CNN模型，CNN的結構如圖4所示，CNN網絡由2個全連接層、1個下采樣層和3個卷積層構成，卷積層的步長為1，核大小為3×3，下采樣層的步長為3，核大小為3×3。CNN每層的權重被初始化為均值0、方差0.02的高斯分布，每層的偏置初始化為0。從ILSVRC內隨機選擇50 000個圖像作為CNN的訓練圖像[13]，將圖像轉化成灰度圖像，對灰度圖像分別進行標準差為{10,20,30,50,70}的高斯白噪聲加噪處理。另外，根據3.2小節(jié)的內容訓練ANN。

圖4 CNN的網絡結構

4.4 實驗結果與分析

4.4.1 對比方法介紹

本文算法在空間域將噪聲圖像分割成邊緣區(qū)域和非邊緣區(qū)域，對非邊緣區(qū)域采用雙密度雙樹小波變換進行降噪，在保留的邊緣區(qū)域和降噪的非邊緣區(qū)域輸入神經網絡進行增強處理，本文方法簡記為NeuralDWT。因此選擇基于頻率域和基于空間域兩類圖像降噪技術作為對比方法，如下是每個方法的信息介紹：

DDDT-DWT是一種基于雙密度雙樹小波變換的圖像降噪算法[14]，本文技術也采用了DDDT-DWT技術對非邊緣區(qū)域進行降噪處理，通過該方法可以觀察邊緣檢測機制是否有效。

DWT_Semi-soft是一種基于半軟函數(shù)普通小波的圖像降噪技術[15]，本文認為DDDTDWT優(yōu)于常規(guī)的小波技術，通過該方法可以驗證該理念。

NL-means&sparses是一種非局部中值濾波器和空間稀疏編碼結合的圖像降噪技術[16]，該技術與本文技術的思想一致，所采用的技術有所區(qū)別，通過該方法可以觀察本文所采用的技術是否有效。

RNNID利用循環(huán)長短期記憶神經網絡分析圖像空間域的結構[17]，該算法對于醫(yī)學圖像的邊緣進行了有效的增強。通過該方法可以觀察本文邊緣檢測是否有效。

4.4.2 視覺效果評價

首先評價圖像降噪技術的視覺效果，Man圖像中同時包含了高紋理區(qū)域和平滑區(qū)域，因此采用Man圖像作為視覺效果的benchmark圖像，結果如圖5所示，其中噪聲圖像被添加了標準偏差=20、均值=0的高斯白噪聲。圖中的降噪算法均獲得了滿足需要的視覺效果，NL-means & sparses和RNNID的降噪效果好于DDDT-DWT和DWT_Semi-soft，可看出多技術混合的降噪方法優(yōu)于單一的小波降噪方法。本文算法也獲得了較好的降噪效果，并且本文算法在高紋理區(qū)域(圖中人物的帽子、頭發(fā)等位置)的細節(jié)也略好于其它降噪方法。

圖5 Man圖像的降噪結果

然后評價了圖像降噪技術對醫(yī)學圖像的視覺效果，圖6是kidney圖像的降噪處理結果，其中噪聲圖像被添加了標準偏差=0.07、均值=0的高斯白噪聲。這些方法均獲得了滿足需要的視覺效果，NL-means & sparses的視覺效果低于其它的降噪方法，NL-means & sparses的降噪處理明顯弱化了超聲圖像內的邊緣，并且導致對比度出現(xiàn)明顯的衰減。本文算法的邊緣部分保留了豐富的細節(jié)信息，在局部的液體區(qū)域實現(xiàn)了高度的還原。

圖6 kidney超聲醫(yī)學圖像的降噪結果

4.4.3 量化指標評價

該小節(jié)定量評價了圖像降噪技術的效果，統(tǒng)計了均值=0、標準偏差={10,30,50,70}高斯白噪聲圖像的降噪結果，結果如圖7所示。NL-means & sparses對于低噪聲的性能較好，但其性能隨著噪聲加重而衰減?？傮w而言，混合降噪技術的降噪性能優(yōu)于單一小波變換技術(DDDT-DWT和DWT_Semi-soft)，而本文算法的性能略高于其它4個降噪技術。

圖7 降噪算法的定量評價實驗

該小節(jié)定量評價了圖像降噪技術對醫(yī)學超聲圖像的處理效果，噪聲圖像被添加了標準偏差=0.07、均值=0的高斯白噪聲，實驗結果如圖8所示。NL-means & sparses的降噪性能低于其它4個算法，可見在醫(yī)學圖像應用中，基于頻域變換的降噪技術好于基于空間域變換的降噪技術。RNNID技術通過長短期記憶網絡對醫(yī)學圖像的局部特征進行了深度地學習，獲得了較好的降噪效果。本文算法通過邊緣保留機制和圖像增強機制提高了總體的圖像質量，最終的圖像PNSR指標高于其它4個降噪算法。

圖8 超聲醫(yī)學圖像的定量評價實驗

4.5 時間效率分析

本文的實驗環(huán)境為：Windows 10操作系統(tǒng)，16 GB內存、Intel-Xeon 2.40 GHz CPU，仿真平臺為Matlab Version 7.14。比較了每個算法對512×512 Lena圖像降噪處理的平均時間：DDDT-DWT 為23.59 s、DWT_Semi-soft為6.54 s、NL-means & sparses 為29.07 s、RNNID 為42.16 s、NeuralDWT為29.33 s。DWT_Semi-soft僅包含基本小波變換和軟閾值函數(shù)兩個計算部分，其速度較快。DDDT-DWT、NL-means & sparses和本文算法的計算時間較為接近。RNNID包含復雜度的深度神經網絡模型，導致降噪處理時間較長。

5 結束語

本文提出了基于神經網絡和雙密度雙樹小波的圖像降噪與增強算法。利用CNN識別圖像的邊緣，對非邊緣區(qū)域進行降噪處理，保留邊緣區(qū)域的信息。在降噪過程中，采用雙密度雙樹DWT對噪聲圖像進行降噪處理，再訓練神經網絡來降低噪聲圖像和原圖像的均方誤差，從而對圖像進行增強，實驗結果表明，本方法對于一般圖像實現(xiàn)了較好的降噪和增強效果。雖然本文算法對于超聲醫(yī)學圖像的PNSR值較高，但是在視覺效果上并未表現(xiàn)出明顯的優(yōu)勢，未來將針對醫(yī)學圖像的特點進行深入研究和改進。