帶噪聲水平評估的快速靈活盲深度降噪模型

于海雯,易昕煒,徐少平,林珍玉

(南昌大學 信息工程學院,南昌 330031)

0 概述

近年來,受圖形處理單元硬件支持的深度卷積神經(jīng)網(wǎng)絡(Deep Convolutional Neural Network,DCNN)被證明具有強大的特征學習和非線性映射能力,將其應用于圖像降噪領域后,在執(zhí)行效率和降噪效果2個關鍵評價指標上相對于傳統(tǒng)降噪算法具有明顯優(yōu)勢[1-3]。

目前,IRCNN(Image Restoration CNN)[4]、DnCNN(Denoising CNN)[5]、UDNet(Universal Denoising Network)[6]和FFDNet(Fast and Flexible Denoising Network)[7]等基于DCNN的主流降噪模型,克服了傳統(tǒng)降噪算法依賴人工提取圖像先驗知識的缺點,在改善降噪效果的同時大幅提高了算法的執(zhí)行效率。上述模型在本質上都是基于數(shù)據(jù)驅動(data-driven)策略實現(xiàn)的,通過在大量數(shù)據(jù)集上進行訓練,端到端學習噪聲圖像與無失真圖像或殘差圖像(噪聲圖像與無失真圖像之間的差圖)之間復雜的映射關系,從而實現(xiàn)噪聲圖像的高質量復原。

以DnCNN降噪模型為例,該模型以噪聲圖像及其對應的殘差圖像作為深度卷積神經(jīng)網(wǎng)絡的輸入-輸出訓練對(Training Pairs,TP),通過訓練實現(xiàn)一個降噪效果好且執(zhí)行效率高的高斯降噪模型。然而,受技術路線的內在制約,基于DCNN網(wǎng)絡構建的DnCNN等降噪模型的降噪性能在很大程度上依賴于訓練圖像集,只有在待降噪圖像的噪聲水平值與訓練降噪模型所用圖像集的噪聲水平值相一致或近似的條件下,才能獲得最佳的降噪效果。DnCNN模型需要針對給定噪聲圖像的噪聲水平值,調用專門針對這一噪聲水平值訓練的降噪模型,才能獲得最佳的降噪效果,這意味著在噪聲水平值變化范圍內需要訓練多個降噪模型。為解決該問題,FFDNet降噪模型[7]調整了DnCNN網(wǎng)絡模型的輸入結構,除輸入噪聲圖像外,還增加了噪聲水平映射圖(Noise Level Map,NLM)作為輔助輸入通道。引入的NLM映射圖與噪聲圖像大小相同,但噪聲水平圖中各個點的亮度值為噪聲水平值。經(jīng)過訓練后所獲得的FFDNet降噪模型中的網(wǎng)絡參數(shù)不再依賴圖像噪聲水平值,這意味著只需訓練一個降噪模型就可處理任意噪聲圖像的降噪問題。此外,FFDNet降噪模型在網(wǎng)絡模型的輸入端和輸出端分別設置下采樣和上采樣模塊,這種結構有助于提高模型的降噪效果和執(zhí)行效率。與DnCNN等深度降噪模型相比,FFDNet模型具有更好的降噪能力、更快的執(zhí)行速度以及更高的靈活性,但是發(fā)揮這些優(yōu)越性能的前提是FFDNet降噪模型需要以待降噪圖像噪聲水平值生成的NLM映射圖作為網(wǎng)絡模型的輸入數(shù)據(jù),模型性能取決于能否準確地對待降噪圖像中的噪聲水平值進行測定。

對給定噪聲圖像的噪聲水平值進行準確測定的方法稱為噪聲水平估計(Noise Level Estimation,NLE)算法[8-10]。對于NLE算法而言,估計準確性是衡量其性能的重要評價指標。為獲得較準確的估計結果,ZORAN等人[11]利用自然圖像經(jīng)DCT(Discrete Cosine Transform)變換后所得到的邊緣帶通系數(shù)的峰度(Kurtosis)統(tǒng)計值具有尺度不變的特性,通過構建目標優(yōu)化函數(shù)并迭代搜索目標函數(shù)最優(yōu)值來估計噪聲圖像的噪聲水平值。ZORAN所提算法在中、低噪聲水平下具有較好的預測準確性,但是在高水平噪聲條件下預測性能下降。此外,該算法執(zhí)行時間較長,在目標尋優(yōu)過程中可能失敗。為此,DONG等人[12]綜合利用帶通域上Kurtosis值的分段平穩(wěn)性和正則性,將噪聲水平估計問題轉化為迭代優(yōu)化擬合Kurtosis模型的問題。DONG所提算法能夠準確地估計圖像噪聲水平值,但其執(zhí)行效率仍然較低。

GUPTA等人[13]利用DCT濾波響應的局部對比度歸一化系數(shù)分布統(tǒng)計值的尺度不變性,實現(xiàn)了一種NLE算法,其具有較好的預測準確性,但計算復雜度較高。除了利用圖像變換后的統(tǒng)計規(guī)律構建NLE算法之外,利用圖像中同質圖塊的協(xié)方差矩陣對噪聲水平值進行估計也是一種常見的NLE方法。FANG等人[14]利用組合系數(shù)對協(xié)方差矩陣最小特征值和多個冗余維度的特征值進行線性組合,克服了采用最小特征值估計噪聲水平值時的不足,在各個噪聲水平下都具有較高的估計準確性和魯棒性,但是,其仍然需要采用迭代的方式來選擇同質圖塊,執(zhí)行時間較長。綜上,現(xiàn)有的多數(shù)NLE算法為保證預測準確性而構造復雜的推演過程,導致算法執(zhí)行效率普遍較低,而作為各種非盲降噪算法的前置模塊,NLE算法的執(zhí)行效率很重要,其效率較低將影響整個降噪過程的執(zhí)行效率。

為了使得FFDNet降噪模型在實際應用中能獲得最佳的降噪效果并保持較高的執(zhí)行效率,在分析其網(wǎng)絡模型結構的基礎上,本文建立一種由淺層卷積神經(jīng)網(wǎng)絡(Shallow Convolutional Neural Network,SCNN)和BP(Back-Propagation)神經(jīng)網(wǎng)絡2種串行網(wǎng)絡模塊構成的NLE模型,并將其作為FFDNet降噪模型的前置模塊。采用與FFDNet模型相同的網(wǎng)絡架構,但以SCNN網(wǎng)絡方式構建噪聲分離模型將噪聲信號從噪聲圖像中分離出來,得到粗略的噪聲映射圖(Noise Mapping,NM)。NM的標準差與真實噪聲水平值之間有一定偏差,但鑒于它們之間具有極高的相關性,本文利用預訓練的BP神經(jīng)網(wǎng)絡修正模型,將初估值修正為最終的噪聲水平值,從而獲得一種準確而快速的NLE模型。將該NLE模型與FFDNet降噪模型相結合,使得FFDNet轉換為盲降噪模型BFFDNet。

1 FFDNet降噪模型

1.1 模型架構

圖1 FFDNet降噪模型的網(wǎng)絡架構

1.2 模型缺陷

FFDNet降噪模型使用NLM映射圖作為輔助信息,有助于提高模型的降噪性能,但仍然需要用戶準確地給定σ值的大小才能獲得最佳的降噪效果。當設置的σ值與噪聲圖像中真實噪聲水平值不一致時,模型的降噪效果將下降。如圖2所示,對原始無失真的Lena圖像施加噪聲水平值σtrue=40的高斯噪聲,使用σtest=10,20,30,40,50,60,70不同的噪聲水平值作為FFDNet降噪模型的輸入?yún)?shù)分別對該噪聲圖像進行降噪。從圖2可以看出,當設置的噪聲水平值σtest小于待降噪圖像的真實噪聲水平值σtrue時,復原圖像中仍然殘留了部分噪聲,如圖2(c)～圖2(e)所示,且模型的降噪效果隨σtest與σtrue之間差值的增大而降低;當σtest大于σtrue時,復原圖像的邊緣區(qū)域過于平滑,紋理細節(jié)丟失,如圖2(g)～圖2(i)所示,且σtest與σtrue之間的差值越大,模型的邊緣保持能力越差;當且僅當σtest與σtrue相等時,模型能夠取得最佳的降噪效果,復原圖像的PSNR(Peak Signal to Noise Ratio)值為30.25 dB。因此,在實際應用中,采用一個預測準確性好且執(zhí)行效率高的NLE算法作為FFDNet降噪模型的前置模塊,對于保障FFDNet模型的降噪效果十分重要。

圖2 不同σtest值情況下FFDNet模型的降噪效果對比

2 基于神經(jīng)網(wǎng)絡的兩階段NLE模型

2.1 問題分析

2.2 本文模型實現(xiàn)策略

圖3 本文NLE模型流程

2.3 噪聲水平值初估

圖4 使用不同網(wǎng)絡層數(shù)構建的初步降噪網(wǎng)絡降噪效果對比

表1 單張圖像噪聲水平初步估計值與噪聲水平真值之間的相關性

表2 多張不同噪聲圖像噪聲水平初步估計值與噪聲水平真值之間的相關性Table 2 Correlation between the initial estimated noise level and the true noise level of multiple images with different noises

表3 50張BSD圖像上噪聲水平預測值與真值之間的均方根誤差Table 3 RMSE between predicted value and true value of noise level on 50 BSD images

綜上,對于一張待降噪圖像,本文所提的NLE模型對其噪聲水平值進行估計的整個執(zhí)行過程,只需依靠2個事先訓練好的神經(jīng)網(wǎng)絡模型而沒有繁瑣的迭代過程,執(zhí)行效率高,這使得其作為FFDNet的前置模型具有一定優(yōu)勢。

2.6 優(yōu)勢分析

與其他NLE算法相比,本文所提NLE模型優(yōu)點如下:

1)采用預訓練的SCNN網(wǎng)絡和BP神經(jīng)網(wǎng)絡粗、精相結合,兩階段串行運行即可實現(xiàn)準確的噪聲水平值估計,沒有過多迭代求解過程,具有較高的執(zhí)行效率。

2)在模型訓練完成后,僅需利用訓練得到的網(wǎng)絡權重值就可直接將待降噪圖像映射為殘差映射圖,易于使用。

3 實驗結果與分析

3.1 測試環(huán)境

為了評估本文所提NLE模型的性能,將其與文獻[11]算法、文獻[19]算法、文獻[9]算法、文獻[20]算法、文獻[13]算法和文獻[14]算法共6種代表性NLE算法,在預測準確性、實際應用效果和執(zhí)行效率3個方面進行比較。測試圖像集合是由BSD數(shù)據(jù)庫[17]中的50張圖像(不同于NLE模型訓練時所使用的圖像)構成的紋理圖像集,其中,10張具有代表性的圖像如圖6所示,紋理圖像集中的圖像內容具有更為復雜的細節(jié)特征,適用于測試算法的魯棒性。所有實驗均在統(tǒng)一的環(huán)境下完成,硬件平臺為CPU Intel?CoreTMi7-6700 @ 3.40 GHz RAM 16 GB,軟件環(huán)境為Windows 10.0操作系統(tǒng),編程環(huán)境為Matlab R2017b。

圖6 BSD數(shù)據(jù)庫中的10張代表性圖像

3.2 預測準確性

對BSD數(shù)據(jù)庫中50張圖像分別施加噪聲水平值為5、15、25、35、45、55、65和75的高斯噪聲,然后利用各種對比算法對每張噪聲圖像的噪聲水平值進行估計,計算每個噪聲級別下各個算法所獲得的噪聲水平估計值與真實值之間的均方根誤差,結果如表4所示。從表4可以看出,本文NLE模型在所有噪聲水平下的均方根誤差均值最小,且在各個噪聲條件下獲得的均方根誤差值相差不大,說明其預測準確性更為穩(wěn)定,且在處理復雜圖像內容時具有較高的魯棒性。

表4 50張BSD圖像上各算法噪聲水平預測值與真值之間的均方根誤差Table 4 RMSE between predicted value and true value of noise level of each algorithm on 50 BSD images

3.3 實際應用效果

為了驗證本文所提NLE模型的實際應用效果,將其與FFDNet降噪模型相結合,構建BFFDNet模型,使用噪聲水平預測值完成盲降噪任務,并與使用真實噪聲水平值的FFDNet降噪模型在常用圖像集和紋理圖像集2個測試圖像集合上進行對比實驗。對2個測試圖像集的圖像依次施加噪聲水平值為10、20、30、40、50和60的高斯噪聲,計算2個模型在每個噪聲比例下復原所有圖像獲得的PSNR均值,結果如表5、表6所示。從表5、表6可以看出,BFFDNet降噪模型的降噪效果總體上與FFDNet降噪模型相差不大,σtrue=10時差距較大,但在視覺上效果差別較小,當σtrue≥20時兩者幾乎沒有區(qū)別,從而有效地驗證了本文NLE模型的預測準確性,其估計值可以達到與真實噪聲水平值相近的效果。

表5 FFDNet與BFFDNet降噪模型在常用圖像集上的PSNR均值比較Table 5 Comparison of PSNR mean values of FFDNet and BFFDNet denoising model on common image sets dB

表6 FFDNet與BFFDNet降噪模型在紋理圖像集上的PSNR均值比較Table 6 Comparison of PSNR mean values of FFDNet and BFFDNet denoising model on texture image sets dB

3.4 執(zhí)行效率

NLE算法作為多種非盲降噪算法的前置預處理模塊,其執(zhí)行效率關系到圖像降噪算法的整體性能。為了更全面地評估本文所提NLE模型的執(zhí)行效率,對大小為512像素×512像素的Lena圖像施加噪聲水平值為30的高斯噪聲,計算各個對比算法估計該圖像噪聲水平值時的執(zhí)行時間,結果如表7所示。從表7可以看出,在所有對比NLE算法中,本文NLE模型具有最少的執(zhí)行時間,其在預測準確性和執(zhí)行效率2個方面的綜合性能最佳,且本文所構建的BFFDNet模型在單張Lena圖像上的總執(zhí)行時間為3.2 s,其中,噪聲水平估計模塊的執(zhí)行時間為0.01 s,幾乎可以忽略不計,表明FFDNet降噪模型與所提NLE模塊相結合后只需花費很少的時間代價便可實現(xiàn)盲降噪,且能獲得較好的降噪效果,具有很強的實用性。

表7 噪聲水平值估計的執(zhí)行時間比較Table 7 Comparison of execution time of noise level estimation ms

4 結束語

引入NLM映射圖后的FFDNet僅需訓練一個降噪模型即可對具有任意噪聲水平值的噪聲圖像進行降噪,但是其在實際應用中,必須通過準確的噪聲水平估計值構建NLM映射圖后才能獲得最佳降噪效果。為此,本文建立一種基于神經(jīng)網(wǎng)絡的兩階段NLE模型,并將其作為FFDNet降噪模型的前置模塊,從而構建BFFDNet盲降噪模型。實驗結果表明,該NLE模型具有較高的預測準確性和執(zhí)行效率,BFFDNet盲降噪模型的降噪效果與原FFDNet降噪模型的最佳降噪效果相近,驗證了所提NLE模型的有效性。本文NLE模型除了可以與FFDNet降噪模型相結合外,也可與多數(shù)非盲降噪算法兼容使用。下一步考慮將所提噪聲水平估計模型中的淺層降噪網(wǎng)絡和BP神經(jīng)網(wǎng)絡集成為一個網(wǎng)絡,進一步提高模型在訓練和應用時的便捷性。