基于模糊均差的低照度圖像平滑去噪方法

羅丹

(電子科技大學成都學院， 計算機學院, 成都 611731)

隨著互聯(lián)網(wǎng)技術的不斷發(fā)展，人們對圖像質量的要求也在不斷提升。任何圖像在成像后都會存在一定量的噪聲，一定程度上影響了圖片的整體質量。經(jīng)研究和實驗發(fā)現(xiàn)，弱光條件下的圖像很難實現(xiàn)快速成像，導致弱光環(huán)境下的圖像在生成之后的噪聲影響遠大于其他環(huán)境下的成像。針對低照度環(huán)境下的圖像去噪處理，俞煒平等[1]提出漸進式重建網(wǎng)絡的低照度圖像去噪方法，構建聯(lián)合增強與去噪的低照度圖像數(shù)據(jù)集和漸進式圖像增強網(wǎng)絡，自適應處理4種光照程度的低照度圖像；級聯(lián)多個U-Net網(wǎng)絡，通過全局亮度校正模塊增強網(wǎng)絡擬合能力；采用像素級別的重建損失以及對抗損失進行網(wǎng)絡訓練，實現(xiàn)圖像去噪增強。但該方法通過全局增亮進行去噪，面對高倍數(shù)圖像時去噪效果不佳。曹紅燕等[2]采用剪切波變換與基于Retinex理論的融合算法對低照度圖像進行去噪。分解六角錐體顏色模型HSV(hue, saturation, value)空間的V分量為高通和低通子帶；改進基于貝葉斯萎縮的自適應閾值算法對高通子帶去噪；改進自適應局部色調映射算法提高低通子帶對比度；通過非下采樣剪切波變換(non-subsampled shearlet transform,NSST)逆變換對圖像進行白平衡處理，完成圖像增強。但該方法面對數(shù)據(jù)集中的低照度圖像數(shù)據(jù)，去噪效果不佳。白瑞君等[3]改進圖像去噪訓練網(wǎng)絡的第2～16層，降低網(wǎng)絡參數(shù)量；對網(wǎng)絡底層的語義信息進行特征融合，完成圖像去噪增強。該方法對圖像原信息的保留效果不佳，處理后的圖像質量較低。

基于以上方法在面對高倍數(shù)或數(shù)據(jù)集中圖像時去噪效果不佳的不足，現(xiàn)提出一種基于模糊均差的去噪方法。采用Sobel梯度同時檢測圖像邊緣水平和垂直兩個方向的梯度信息；采用大津算法(Nobuyuki,OTSU)閾值分割法將圖像分為平坦區(qū)域和細節(jié)區(qū)域；創(chuàng)新性地對區(qū)域圖像進行模糊均差處理，以代替?zhèn)鹘y(tǒng)噪聲標準差估計方法，獲得低照度更為合適的標準差；采用小波域處理方法對圖像進行平滑軟閾值去噪，進行圖像重構，實現(xiàn)低照度圖像的平滑去噪，為互聯(lián)網(wǎng)圖像處理技術發(fā)展提供理論支持。

1 基于模糊均差的低照度圖像的去噪方法

1.1 低照度圖像分割方法

在自然界中，圖像成了人們獲取信息最直接的方式，圖像的類型和顏色就決定了圖像的整體質量。但是在低照度環(huán)境下，圖像成像后的顏色會大大受到影響，并且在低照度的影響下，圖像對內容的采集也會受到影響，而信息量的減少就增加了我們從圖像中獲取信息難度[4-6]。低照度圖像中顯現(xiàn)出來的前背景兩區(qū)域之間的差距較大，主要體現(xiàn)在低照度下的噪聲導致兩區(qū)域之間的亮度特性出現(xiàn)混淆，因此在針對低照度圖像處理中，首先需要就低照度圖像的前背景進行圖像分割處理。而進行圖像分割處理的目的就在于區(qū)分開目標區(qū)域和背景區(qū)域，主要的處理方式是對兩區(qū)域的像素進行分析。因為在面對低照度圖像時，就需要利用像素的梯度模值來量化各點的亮度變化，并且在像素梯度模值下進行圖像分割，得到的效果更好也更容易操作[7-9]。

對低照度圖像采用閾值分割方式進行分割，采用Sobel梯度來檢測圖像邊緣信息，在Sobel梯度下的邊緣檢測算子可以同時檢測水平和垂直兩個方向的梯度信息，因此具有很好的檢測效果[10]。對于檢測得到的邊緣信息進行閾值分割，研究中將采用OTSU閾值分割算法來對圖像進行二值化，其算法原理見圖1所示。

圖1 OTSU閾值分割算法原理Fig.1 Principle of OTSU threshold segmentation algorithm

圖1中顯示，OTSU閾值分割法主要是以聚類為核心思想進行圖像分割，首先將圖像的灰度值分成兩個灰度級，這兩個灰度級之間的灰度值具有最大差異。在兩個灰度級內部劃分中，需要將灰度值最接近的點做集合。其次利用方差的計算方式尋找合適的灰度級，將低照度圖像劃分為背景和前景兩個部分，實現(xiàn)圖像目標區(qū)域和背景區(qū)域的分割。而根據(jù)閾值分割算法的描述，通過尋找類間方差最大值來得到最優(yōu)閾值，所以在對低照度圖像進行去噪處理中的前背景分割中，首先計算圖像中的前背景均值，圖像背景均值計算式為

(1)

式(1)中：T為圖像所有像素的最優(yōu)閾值；w0為背景像素點在整個圖像中的占比；k0為背景部分像素點的梯度模值；p(k0)為背景圖像梯度模值在整個圖像梯度模值中所占的比例。對背景部分進行均值計算之后，還需要對目標區(qū)域即前景部分進行均值計算，公式為

(2)

式(2)中：w1為前景區(qū)域即目標部分的像素點占整個圖像像素點的比例；m為整個圖像的最大梯度模值；k1為前景部分像素點的梯度模值；p(k1)則為前景部分的梯度模值在整個圖像梯度模值中的占比。據(jù)此，通過計算低照度前背景兩部分的均值，可以得到圖像中均值，公式為

u=w0(T)u0(T)+w1(T)u1(T)

(3)

式(3)中：計算圖像中均值的方式是通過將前景區(qū)域的像素占比w0(T)與其均值u0(T)相乘，然后疊加上背景上的像素點w1(T)和均值u1(T)之間的乘積結果，最終得到低照度圖像的整體均值u。此外，圖像背景和前景目標區(qū)域兩類像素之間的方差定義則可以表示為

G(T)=w0(T)[u0(T)-u]2+

w1(T)[u1(T)-u]2

(4)

式(4)中：G(T)則表示前景和目標區(qū)域部分像素的方差，因此也可以借此得到圖像的最佳閾值，公式為

(5)

根據(jù)式(5)的最佳閾值計算方法，就能夠將低照度圖像中的背景和目標前景區(qū)域進行分割。同時根據(jù)方差的計算方法得出兩區(qū)域像素灰度級的分布均勻性，方差值越大，低照度圖像中背景和目標前景區(qū)域的差別就越大。而在圖像分割算法處理下，就能夠將低照度圖像分為平坦區(qū)域和細節(jié)區(qū)域。

1.2 模糊均差及去噪方法

在研究1.1節(jié)中，利用閾值分割算法實現(xiàn)了低照度圖像的圖像分割，并且按照最大類間方差將分割后的圖像分為了平坦區(qū)域和細節(jié)區(qū)域。并且從閾值計算公式的獲取中可以看出，閾值確定期間，會受到噪聲標準差的影響，但是在圖像獲取中，估計出的標準差一般難以反映真實的標準差[11-13]。因此為了估計出更好的噪聲標準差，本次研究在圖像分割基礎上，對區(qū)域圖像進行模糊均差處理，以此代替?zhèn)鹘y(tǒng)較為普通的噪聲標準差估計方法。在低照度圖像分割處理基礎上，對分割后的圖像進行模糊均差處理的主要方法見圖2所示。

圖2 噪聲模糊均差估計流程Fig. 2 Noise fuzzy mean square estimation process

圖2中顯示，針對輸入的低照度圖像，首先利用1.1節(jié)提出的Sobel梯度來檢測圖像邊緣信息，之后利用OTSU閾值分割法來按照圖像灰度值分級，對圖像進行分割處理，處理成平坦區(qū)域和細節(jié)區(qū)域。然后單獨對平坦區(qū)域和細節(jié)區(qū)域分別進行相應的模糊均差處理，而進行模糊均差處理的原理在于圖像中的像素灰度值的變化原因可能存在模糊性，一方面可能由于噪聲加入導致像素灰度值出現(xiàn)變化，另一方面可能由于圖像本身的信息出現(xiàn)變動，導致像素灰度值發(fā)生變化，因此基于兩種原因的單獨作用或者協(xié)同作用，需要借此模糊性進行模糊均差操作[14-15]。最后，針對平坦區(qū)域和細節(jié)區(qū)域不同的模糊均差處理，得到兩區(qū)域的噪聲標準差，再利用兩區(qū)域的噪聲標準差進行結合計算，得到低照度圖像的總噪聲標準差。

在圖像分為平坦區(qū)域和細節(jié)區(qū)域之后，利用圖像的灰度值可以將模糊均差定位為

(6)

在模糊均差方法計算下，可以得到低照度更為合適的標準差，基于標準差的計算結果，研究中采用小波域處理來對圖像進行平滑去噪[16]。由于本次研究中已經(jīng)通過相關計算過程能夠求取得到低照度圖像的最佳閾值，所以借助小波域處理能夠很好地實現(xiàn)圖像去噪。而利用小波域處理對低照度圖像進行去噪的整體流程見圖3所示。

圖3中顯示，小波域處理首先對圖像進行層數(shù)分解，減少噪聲量，也減少噪聲標準差。隨后在每個分解層中各確定一個噪聲標準差，其中每一層上的小波系數(shù)都是有取上一層的小波系數(shù)近似值，原因在于確保模糊估計噪聲標準差和真實噪聲標準差之間更為接近。而在圖像處理中，面對受到細節(jié)干擾估計出來的標準差，就需要對其標準差進行大小判別，對偏大和偏小的標準差進行相應處理[17-18]。最后在最終層中的不同方向進行軟閾值去噪，就能夠以此進行圖像重構得到平滑去噪后的圖像。

圖3 低照度圖像的小波域處理流程圖Fig. 3 Wavelet domain processing flow chart of low illumination image

2 基于模糊均差的低照度圖像去噪實驗

2.1 模糊均差算法有效性分析

首先為了充分了解模糊均差方法的有效性，通過訓練測試方式來進行。為模糊均差的測試設置一個內含5 000張短時曝光圖像和5 000張長時曝光圖像作為低照度圖像數(shù)據(jù)集。其中數(shù)據(jù)集中的圖像分別由室內和室外圖像構成，各個圖像的照度存在明顯差異。搭建實驗環(huán)境如表1所示。

表1 實驗環(huán)境軟硬件配置設計Table 1 Software and hardware configuration design of experimental environment

如表1中所示，本實驗將基于Ubuntu16.04系統(tǒng)，在TensorFlow框架中進行算法測試，測試中將時間調整為120 h。并且根據(jù)數(shù)據(jù)集中的圖像的特征，分別測試室內和室外低照度圖像和不同放大倍數(shù)圖像的去噪效果，結果見圖4所示。

如圖4中所示，隨著放大倍數(shù)的增加，模糊均差的去噪效果從100倍的82.3%增加到了300倍時的92.1%。以上結果顯示，利用模糊均差來對低照度圖像進行處理的過程中，可以實現(xiàn)圖像的良好去噪，并且隨著圖像放大倍數(shù)的增加，模糊均差的處理方法去噪效果反而得到了一定量的提升。也就進一步說明，模糊均差在處理低照度圖像時，并不會受圖像倍數(shù)的影響，同時在面對倍數(shù)提升后，算法的適應能力得到提升，對更高倍數(shù)的圖像去噪效果也能夠很快恢復理想狀態(tài)。將處理后的圖像進行質量評價，結果如表2所示。

表2中顯示，將圖像質量以差、一般和很好來進行評價。針對室內低照度圖像的處理結果評價中，較差的圖像僅占總圖像數(shù)量的0.16%，質量評價為一般的圖像占總數(shù)量的19.26%，質量達到很好的圖像數(shù)量占比達到了80.58%。在室外低照度圖像的處理結果中顯示，僅有0.24%的圖像被評價為質量較差，而17.48%的圖像處理結果被評價為質量一般，剩余82.28%的圖像經(jīng)處理后的最難評價達到了很好的狀態(tài)。因此從算法測試中可以看出，面對數(shù)據(jù)集中大量的低照度圖像數(shù)據(jù)，模糊均差能夠對圖像的噪聲標準差進行估計，并利用圖像的噪聲標準差實現(xiàn)圖像的去噪處理，得到的圖像質量滿足基本要求。對于算法的去噪性能，最主要是通過對算法在信號處理效果進行分析。本次研究中利用模糊均差算法對某模擬噪聲信號進行處理，結果如圖5所示。

圖4 不同放大倍數(shù)下低照度圖像測試結果Fig.4 Low illumination image test results under different magnification

表2 室內外低照度圖像去噪效果分析Table 2 Analysis of indoor and outdoor low illumination image denoising effect

如圖5中所示，原始信號是一條平滑的曲線，當往信號中添加噪聲之后，就產(chǎn)生了大量的毛刺。針對具有毛刺的模擬信號，采用模糊均差算法進行去噪處理，從得到的去噪信號曲線形狀可以看出，曲線上的毛刺得到了大量的減少。并且可以看出，信號的整體變化趨勢并未受到算法處理的影響，說明模糊均差在一定程度上去掉了信號中的噪聲影響，同時不改變原有信號中所包含的信息。為了更直接地了解到模糊均差算法在去噪過程中對信號信息保留效果，通過其信號損失變化來具體分析，同時將模糊均差算法和傳統(tǒng)算法以及目前較為優(yōu)秀的算法進行比較，結果如圖6所示。

圖6中顯示，隨著信號處理時長的增加，帶有噪聲的信號逐漸被各種算法去噪處理，并且隨著時間的增加，信號的損失值也在逐漸降低。但是從信號比較中可以看出，模糊均差算法處理下的信號損失在前期下降速度明顯快于其他算法，并且其最終穩(wěn)定的損失值也明顯低于其他算法。由此可知在對信號進行去噪處理中，模糊均差可以較快實現(xiàn)噪聲去除，并且造成的信息損失也最少。

圖5 模擬信號去噪效果Fig.5 Analog signal denoising effect

圖6 算法處理下信號的損失變化Fig.6 Signal loss variation under algorithm processing

2.2 模糊均差算法應用效果分析

為了更好地驗證算法的去噪效果，研究中通過設置對照試驗來分析模糊均差法的優(yōu)異性。在實驗中，通過分析低照度圖像中的噪聲組成，設計隨機產(chǎn)生的噪聲，將模糊均差和傳統(tǒng)的噪聲標準差估計算法進行對比測試，得到的噪聲標準差如圖7所示。

如圖8所示，兩種算法在對低照度圖像處理后得到的峰值信噪比都在噪聲水平的變化前提下，呈現(xiàn)下降趨勢。但是從兩種算法的變化中也可以發(fā)現(xiàn)，模糊均值算法在噪聲水平較低時就具有更高的峰值信噪比，并且隨著噪聲水平的增加，其峰值信噪比下降速度也低于傳統(tǒng)估計算法。將算法性能測試中的各種算法進行對比分析，對真實信號進行去噪處理，將噪聲水平控制在50%，獲得的圖像結構相似性和峰值信噪比如圖9所示。

圖7 不同噪聲標準差估計算法對比結果Fig.7 Comparison results of different noise standard deviation estimation algorithms

圖8 不同噪聲標準差估計算法去噪效果對比Fig.8 Comparison of denoising effects of different noise standard deviation estimation algorithms

圖9 多算法去噪性能比較Fig.9 Comparison of denoising performance of multiple algorithms

圖9(a)是個算法處理噪聲水平在50%以下的低照度圖像得到的圖像結構相似性值，從以往研究內容來講，結構相似形的值越小，表示圖像失真越小。所以從圖9(a)中可以看出，模糊均差算法在圖像去噪處理中得到的結構相似性值最小，并且和其他算法存在明顯的差距，也就表明模糊均差算法處理圖像對圖像失真的影響最小。圖9(b)是多種算法在對低照度圖像進行去噪處理后得到的圖像峰值信噪比結果，從圖中可以看出，模糊均差算法處理下的圖像平均峰值信噪比大小達到了27.97 dB，明顯高于其他算法得到的峰值信噪比。綜上，模糊均差算法在低照度圖像處理中的整體性能較好。

圖10 低照度圖像實際去噪效果分析Fig.10 Analysis of actual denoising effect of low illumination image

圖10(a)以及圖10(c)分別表示該運動場中的室外物體和室外環(huán)境，可以看出經(jīng)過長時間曝光，得到的室外圖像表現(xiàn)為低照度狀態(tài)。圖10(b)是室外物體經(jīng)過模糊均差平滑去噪處理之后得到的結果，可以看出，該物體經(jīng)過去噪處理，其亮度得到了較為明顯的提升，并且圖像中的部分細節(jié)區(qū)域經(jīng)過放大后并未出現(xiàn)較大的噪聲，仍然較為清晰。圖10(d)是該運動場室外環(huán)境經(jīng)過模糊均差去噪處理后得到的圖像，同圖10(b)類似，在經(jīng)過處理后的圖像亮度得到了明顯的提升，同時各區(qū)域內的圖像經(jīng)過倍數(shù)放大后，仍然能夠保持較為清晰的狀態(tài)。

3 結論

圖像在人們了解外界事物信息中的作用極為重要，因此如何保持圖像質量達到人們需求也就非常重要。本次研究從低照度圖像出發(fā)，利用圖像分割對低照度圖像進行初步處理，并分析處理后圖像中背景和目標信息之間的均值，利用均值模糊估計來實現(xiàn)圖像的去噪處理。結果中顯示，經(jīng)測試，模糊均差算法能夠針對數(shù)據(jù)集中的大量圖片進行處理，并且得到的圖像質量滿足基本要求。此外在算法對比分析中，模糊均差對噪聲標準差的估計中準確率和廣泛性都高于傳統(tǒng)噪聲標準差估計算法，且模糊均差的峰值信噪比最低也在30%以上。在實際應用中，對低照度圖像的處理中，也可以很好地實現(xiàn)噪聲去除，并提升圖像亮度，減少信息獲取難度。綜上，針對低照度圖像的噪聲，利用模糊均差的方法對噪聲標準差進行估計，以此實現(xiàn)低照度圖像的去噪處理是有效的。本次研究中僅利用峰值信噪比來進行圖像質量評價，因此雖然證明了算法的優(yōu)越性，但是對于圖片整體質量的變化并未過多探討，這也是下一步研究需要重點關注的內容。