采用多通道淺層CNN 構(gòu)建的多降噪器最優(yōu)組合模型

徐少平 林珍玉 陳孝國 李芬 楊曉輝

圖像在獲取、存儲和傳輸過程中,外界干擾或 設(shè)備固有缺陷會使圖像受到不同程度的噪聲干擾[1-3].這些噪聲(常被假設(shè)為高斯白噪聲)會導(dǎo)致圖像中紋理邊緣細節(jié)被破壞,使得圖像質(zhì)量下降[4-5].早期,研究者通常采用高/低通濾波器處理噪聲圖像,利用相鄰像素點亮度值的線性、非線性組合,實現(xiàn)對中心像素點的最佳估計,以達到去除噪聲的目的.這種方法實現(xiàn)簡單、執(zhí)行效率高,然而由于在降噪過程中未充分考慮圖像局部結(jié)構(gòu)特點,會導(dǎo)致降噪后的圖像邊緣細節(jié)被模糊甚至丟失.2005 年,Buades等[6]提出了具有里程碑意義的非局部均值(Non local means,NLM)降噪算法.NLM 降噪算法基于自然圖像中具有大量重復(fù)的局部結(jié)構(gòu)性質(zhì),即所謂的非局部自相似性(Nonlocal self-similarity,NSS),獲得了比濾波類降噪算法更好的降噪效果.但是由于需要在圖像內(nèi)大量搜索與待復(fù)原圖塊相似的圖塊以提高降噪效果,因此導(dǎo)致NLM 降噪算法的執(zhí)行時間較長.2007 年,Dabov等[7]提出一種BM3D (Block matching and 3D-filtering)降噪算法.該算法充分利用圖像的NSS 和稀疏特性,采用圖塊堆疊和協(xié)同濾波技術(shù)實現(xiàn)了降噪效果和執(zhí)行效率之間的較好平衡.因其良好的綜合性能,BM3D降噪算法常被研究者們列為基準對比算法.近十年來,研究者們?yōu)檫M一步提高降噪效果,多利用關(guān)于自然的某種先驗知識構(gòu)建目標函數(shù),通過求解目標函數(shù)的最優(yōu)解來達到降噪目的.依據(jù)所使用的自然圖像先驗知識的不同,基于稀疏表示[8-10]和基于低秩最小化[11-14]的圖像降噪算法被相繼提出,比較經(jīng)典的工作有2013 年提出的NCSR (Non-local centralized sparse representation)[8],2014 年提出的WNNM (Weighted nuclear norm minimization)[11]等.雖然這些降噪算法的降噪效果優(yōu)于BM3D 降噪算法,但最優(yōu)目標函數(shù)值的求解通常以復(fù)雜的迭代優(yōu)化過程實現(xiàn),使得算法的時間復(fù)雜度非常高.

近年來,深度學(xué)習技術(shù)因其強大的特征學(xué)習和非線性映射能力在圖像降噪領(lǐng)域取得巨大成功[15-23],其中尤以基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural network,DCNN)構(gòu)建的降噪模型發(fā)展迅速[22-25].較典型的工作有:2017 年提出的DnCNN(Denoising convolutional neural network)[22],2018年提出的FFDNet (Fast and flexible denoising convolutional neural network)[23]等.在大量噪聲圖像–無失真圖像訓(xùn)練數(shù)據(jù)集上,基于DCNN 構(gòu)建的降噪模型以網(wǎng)絡(luò)輸出圖像與原始無失真圖像之間的Loss 函數(shù)最小值為目標驅(qū)動,學(xué)習并調(diào)整DCNN模型中的網(wǎng)絡(luò)參數(shù)完成圖像降噪任務(wù).基于DCNN的降噪模型依賴網(wǎng)絡(luò)結(jié)構(gòu)隱式地學(xué)習圖像中先驗知識,展現(xiàn)出強大的圖像先驗知識建模能力(非線性映射能力),能夠避免基于稀疏和低秩模型等優(yōu)化降噪模型中構(gòu)建目標函數(shù)困難的問題,進一步提高了復(fù)原圖像的質(zhì)量.此外,受高性能圖形處理單元(Graphic processing unit,GPU)并行計算技術(shù)的支持,基于DCNN 進行圖像降噪能夠獲得極高的執(zhí)行效率.然而,這類本質(zhì)上基于數(shù)據(jù)驅(qū)動的降噪模型,其降噪性能也同時受所采用技術(shù)路線內(nèi)在固有特性的制約,即必須保證待降噪圖像與用于訓(xùn)練模型的圖像集合在受噪聲干擾程度上是近似的,才能獲得最佳的降噪效果,存在數(shù)據(jù)依賴缺陷[4].

圖像降噪作為圖像處理領(lǐng)域的基礎(chǔ)性問題,追求更好的圖像復(fù)原效果(更高的圖像質(zhì)量)一直是推動研究者研究新型降噪算法的動力.迄今為止,雖然已提出了很多不同類型的圖像降噪算法,并且在降噪效果上不斷改進,但提升幅度越來越小.而且,目前很難找到某個單一降噪算法能夠?qū)Ω鞣N不同圖像內(nèi)容、不同程度的噪聲圖像都能獲得較好的降噪效果[2].例如,BM3D、NCSR、WNNM 等算法對于含有豐富紋理細節(jié)的自然圖像可以獲得比較好的降噪效果,但對于無太多重復(fù)性局部結(jié)構(gòu)內(nèi)容的自然圖像則表現(xiàn)不佳;而DnCNN、FFDNet 等基于深度學(xué)習的降噪模型則能在無太多重復(fù)性局部結(jié)構(gòu)圖像上獲得較好的降噪效果,但也要求待降噪圖像與訓(xùn)練降噪模型所用圖像集合中的圖像存在類似結(jié)構(gòu).Chatterjee等[26]對主流降噪算法的降噪效果所能達到的極限展開了研究,其研究結(jié)果表明目前各個降噪算法的降噪性能雖然在不斷改進,但是離理論上的極限值尚有一定距離.換言之,各個降噪算法的降噪效果仍有較大改進空間.然而,目前僅依靠單個降噪算法對降噪效果的提升越來越困難.

最近,Choi等[2]提出一種被稱為一致性神經(jīng)網(wǎng)絡(luò)(Consensus neural network,CsNet)的最優(yōu)組合模型,該模型采用將多個降噪算法(降噪器)輸出的降噪后圖像進行優(yōu)化組合(融合)的方式,實現(xiàn)了降噪效果較大幅度的提升.具體而言,CsNet 模型首先利用MSE (Mean square error)估計器來估計各個降噪器輸出圖像關(guān)于無失真圖像的MSE 估計值,通過求解凸優(yōu)化問題確定各個降噪器輸出圖像在組合圖像中所占的最優(yōu)權(quán)重值;然后采用加權(quán)組合的方式,將各個降噪器輸出圖像加權(quán)融合為一張初步優(yōu)化圖像;在此基礎(chǔ)上,CsNet 模型再通過圖像質(zhì)量提升(Booster)模塊對初步優(yōu)化圖像的圖像質(zhì)量進行多次級聯(lián)提升.雖然CsNet 模型實現(xiàn)了圖像降噪效果的提升,但是初步融合階段對多個降噪器輸出圖像所設(shè)置的權(quán)重值是針對整張圖像(所有像素點的權(quán)重值完全相同),加權(quán)處理的粒度非常粗糙(未考慮圖像局部細節(jié)各種復(fù)雜的變化結(jié)構(gòu)模式),導(dǎo)致其初步優(yōu)化圖像的圖像質(zhì)量并不高.因此CsNet組合優(yōu)化模型需要多次使用Booster 模塊對圖像質(zhì)量進行級聯(lián)提升,才能達到令人滿意的降噪效果.這使得CsNet 組合優(yōu)化模型設(shè)計、訓(xùn)練的復(fù)雜度非常高,導(dǎo)致執(zhí)行時間比較長.

受CsNet 模型啟發(fā),本文提出一種新的基于多通道淺層CNN (Multi-channel shallow convolutional neural network,MSCNN)構(gòu)建的多降噪器最優(yōu)組合(Optimal combination of image denoisers,OCID)模型.與CsNet 組合優(yōu)化模型的實現(xiàn)策略不同,OCID 模型沒有顯式的權(quán)重值設(shè)置過程,也無需后期的圖像質(zhì)量提升過程,而是將CsNet 模型中的優(yōu)化組合和圖像質(zhì)量提升兩個模塊有機集成到MSCNN 模型中,利用多通道網(wǎng)絡(luò)結(jié)構(gòu)直接接收由多個降噪器獲得的輸出圖像.采用殘差學(xué)習技術(shù)提升圖像質(zhì)量,經(jīng)過模型處理后直接獲得殘差圖像,將多個降噪器輸出圖像的均值圖像減去殘差圖像即可得到優(yōu)化組合后的圖像.

1 相關(guān)工作

1.1 CsNet 模型

圖1 給出了CsNet 多降噪器最優(yōu)組合模型的架構(gòu)圖.對于給定的噪聲圖像y,假定有k個降噪算法(降噪器)D1,D2,···,Dk可用,利用這些降噪器對噪聲圖像y進行降噪可獲得降噪后圖像{z1,z2,···,zk}. 利用MSE 估計器M來估計各個降噪算法輸出圖像關(guān)于無失真圖像的最小均方誤差(MSE),然后通過求解凸優(yōu)化問題來確定各個降噪器輸出圖像的最優(yōu)權(quán)重w1,w2,···,wk.這樣可以獲得初步優(yōu)化圖像

圖1 文獻[2]中提出的CsNet 模型架構(gòu)圖Fig.1 The architecture of CsNet model proposed in reference [2]

1.2 存在問題

CsNet 模型在降噪過程中,首先利用MSE 估計器對各個降噪器降噪后的圖像關(guān)于原始無失真圖像的MSE 值進行估計,在得到各降噪器的MSE 值之后,通過Solver 求解一個凸優(yōu)化問題來確定各個降噪后圖像{z1,z2,···,zk}的最優(yōu)權(quán)重w1,w2,···,wk.但是這些權(quán)重值是針對整個噪聲圖像進行設(shè)置的(每個像素點的加權(quán)系數(shù)值均相同,加權(quán)粒度是像素級),沒有考慮圖像中不同局部區(qū)域內(nèi)的圖像結(jié)構(gòu)對最終融合結(jié)果的影響,導(dǎo)致其降噪效果一般.所以,CsNet 模型需要使用Booster 模塊對初步優(yōu)化圖像進行再次優(yōu)化增強,而且需要多次執(zhí)行增強過程才能獲得較優(yōu)的降噪效果.總體而言,盡管CsNet 模型充分利用了多個降噪器D1,D2,···,Dk互補性的信息,所獲得的輸出圖像能得到一定的質(zhì)量提升,但是實現(xiàn)過程比較復(fù)雜,導(dǎo)致其算法執(zhí)行時間長,圖像質(zhì)量提升幅度也受到一定的限制.

2 OCID 模型

2.1 基本思想

近年來,CNN 由于具有強大的非線性映射能力,被研究者們廣泛應(yīng)用于圖像處理領(lǐng)域并取得了巨大的成功.受CsNet 模型通過組合優(yōu)化多個降噪器輸出(降噪后)圖像從而提升降噪效果的思想啟發(fā),為獲得更好的圖像降噪效果,本文提出一種基于MSCNN的OCID 模型.所提出的OCID 模型試圖采用多通道CNN 技術(shù)同時接收由若干個降噪器D1,D2,···,Dk對給定噪聲圖像y進行降噪后的圖像{z1,z2,···,zk},充分利用CNN 所具有的局部連接和共享權(quán)重特性,更為合理地設(shè)置融合權(quán)重.改在圖塊粒度上完成初步降噪圖像{z1,z2,···,zk}的優(yōu)化融合,以獲得更好的圖像降噪效果.同時,采用淺層的網(wǎng)絡(luò)結(jié)構(gòu),試圖顯著提高組合優(yōu)化模型的執(zhí)行效率.

2.2 多通道融合網(wǎng)絡(luò)模型

本文提出的OCID 模型如圖2 所示.OCID 模型的網(wǎng)絡(luò)核心結(jié)構(gòu)與主流的DCNN 類似[22],主要區(qū)別有:

圖2 多通道神經(jīng)網(wǎng)絡(luò)OCID 模型架構(gòu)Fig.2 The architecture of OCID model with multi-channel neural network

1)采用淺層結(jié)構(gòu).它的深度僅有d=3 層.第1層(Conv+ReLU)使用64 個大小為3×3× n的濾波器對輸入圖像執(zhí)行局部加權(quán)組合,然后通過ReLU[27]激活函數(shù)輸出64 個特征映射圖;第2 層(Conv+BN+ReLU)使用64 個大小為3×3×1的濾波器,在第1 層的基礎(chǔ)上增加了BN[28]操作,以緩解SGD (Stochastic gradient descent)訓(xùn)練算法產(chǎn)生的內(nèi)部協(xié)變量轉(zhuǎn)移現(xiàn)象;第3 層(Conv)只用了一個卷積層重構(gòu)殘差圖像.與主流的DCNN 相比,本文的Conv+BN+ReLU 結(jié)構(gòu)僅重復(fù)一次.表1、表2列出了使用不同重復(fù)次數(shù)的Conv+BN +ReLU 網(wǎng)絡(luò)層的實驗數(shù)據(jù),實驗數(shù)據(jù)表明使用多層結(jié)構(gòu)并不能使降噪效果得到顯著提升,反而會增加執(zhí)行時間,故本文僅重復(fù)一次.

表1 不同網(wǎng)絡(luò)層數(shù)下的MSCNN 模型在10 張常用圖像上的PSNR 均值(dB)Table 1 PSNR performance of different MSCNN models on 10 commonly used images (dB)

表2 不同網(wǎng)絡(luò)層數(shù)下的MSCNN 模型在10 張常用圖像上的平均執(zhí)行時間(s)Table 2 Execution time performance of different MSCNN models on 10 commonly used images (s)

2)多通道的輸入結(jié)構(gòu).由于OCID 模型的主要任務(wù)是將多個降噪算法的輸出圖像融合為一張圖像質(zhì)量更高的圖像,故與一般的DCNN 模型不同,采用了多通道的輸入結(jié)構(gòu).這樣,就可以利用多個降噪器D1,D2,···,Dk分別對給定噪聲圖像y進行降噪,得到多張初步降噪圖像{z1,z2,···,zk},然后將圖像集{z1,z2,···,zk}連接后同時輸入網(wǎng)絡(luò).

3)殘差圖像的構(gòu)成方式不同.為提高網(wǎng)絡(luò)的映射能力,許多DCNN的輸出并不是無失真圖像而是殘差圖像.假定噪聲圖像的定義為

其中,y為噪聲圖像,x為原始無失真圖像,n為噪聲.為提高預(yù)測效果,DCNN 利用殘差學(xué)習[29]訓(xùn)練網(wǎng)絡(luò)模型R(y)≈n,模型的輸出為殘差圖像.根據(jù)式(4)即可得到關(guān)于原始無失真圖像x=y-R(y)的最佳估計.在訓(xùn)練模型的過程中,期望殘差圖像與預(yù)測殘差圖像之間的均方誤差(MSE)為

所提出的OCID 模型本質(zhì)上是基于MSCNN的多通道優(yōu)化組合模型,即利用淺層CNN 對輸入的多張圖像進行融合.該模型一旦訓(xùn)練完成,在使用時無需用戶設(shè)置任何參數(shù),所提出的MSCNN 中網(wǎng)絡(luò)參數(shù)的作用相當于一步實現(xiàn)了CsNet 模型中的加權(quán)和Booster 兩個模塊的功能.由于OCID 模型采用MSCNN 結(jié)構(gòu),使得其在提升降噪效果和執(zhí)行效率之間達到較好的平衡.相較于CsNet 模型,OCID 模型具有顯著優(yōu)勢.

2.3 網(wǎng)絡(luò)訓(xùn)練

為訓(xùn)練所提出的OCID 模型,可對原始無失真圖像添加各個級別的高斯噪聲獲得噪聲圖像集合.對于噪聲圖像集合中的每一張噪聲圖像,利用多個降噪器獲得初步降噪圖像{z1,z2,···,zk}及其均值圖像 ˉz,將均值圖像減去該噪聲圖像所對應(yīng)的無失真圖像獲得殘差圖像R(y),即可準備好用于訓(xùn)練模型的輸入與輸出訓(xùn)練數(shù)據(jù)對.具體而言,從BSD數(shù)據(jù)庫[30]中隨機選取100 張圖像,并對這100 張圖像依次分別加上噪聲水平值σ范圍為[5,60],間隔為5的高斯噪聲,將這1 200 條記錄Y={y1,y2,···,yj},j=1 200利用多個基準降噪器分別進行降噪,可得其初步降噪后圖像將多個降噪算法得到的降噪后圖像的均值圖像和相應(yīng)的殘差圖像組成的訓(xùn)練數(shù)據(jù)對輸入MSCNN 模型中進行訓(xùn)練.本文采用SGD 算法完成模型的訓(xùn)練.需要說明的是,網(wǎng)絡(luò)模型實際訓(xùn)練是在圖塊級別上進行的.網(wǎng)絡(luò)訓(xùn)練所采用的參數(shù)為:輸入圖塊大小為40 × 40 像素,學(xué)習率為0.0001,動量為0.9,批量訓(xùn)練樣本大小為128.

2.4 多通道模型網(wǎng)絡(luò)層數(shù)分析

為確定OCID 模型的最佳網(wǎng)絡(luò)深度,分別構(gòu)建核心網(wǎng)絡(luò)層Conv+BN+ReLU 重復(fù)次數(shù)為1 次、3 次、5 次、7 次、9 次、11 次、13 次和15 次的網(wǎng)絡(luò)模型.通過訓(xùn)練σ為20、40、60 時的降噪模型,以BM3D 和DnCNN 作為基礎(chǔ)降噪器,并使用圖3中的常用圖像來測試網(wǎng)絡(luò)層數(shù)對圖像質(zhì)量提升效果以及相應(yīng)執(zhí)行效率的影響.這里僅以BM3D和DnCNN 組合模式為例,其他降噪器組合模式結(jié)論與該組合模式相同(限于篇幅,不再給出其他組合模式下的實驗數(shù)據(jù)).如表1 所示,通過對比PSNR(Peak signal to noise ratio)指標可以看出,隨著CNN 網(wǎng)絡(luò)層數(shù)的增加,OCID 模型的降噪效果僅在高水平噪聲條件下會有小幅度提升.總體而言,核心網(wǎng)絡(luò)層Conv+BN+ReLU 重復(fù)1 次就可達到比較好的降噪效果.而由表2 可知,隨著網(wǎng)絡(luò)層數(shù)的增加,模型的執(zhí)行時間(在CPU 環(huán)境下測得)顯著增加.故綜合考慮圖像質(zhì)量提升效果和執(zhí)行效率,本文將Conv+BN+ReLU 層重復(fù)次數(shù)設(shè)置為1,所提出的OCID 模型為MSCNN.

圖3 各類文獻中常用的圖像集合Fig.3 Commonly used images in the literature

2.5 降噪器組合分析

所提出的OCID 模型允許輸入多個不同的初步降噪圖像,而目前已提出的降噪算法非常多,因此具體使用哪些降噪算法作為降噪器以及它們之間的組合搭配模式是非常值得研究的問題.為確定各降噪器的最佳組合模式,選擇BM3D[7]、NCSR[8]、WNNM[11]、DnCNN[22]和FFDNet[23]5 種有代表性的降噪算法進行研究,它們分別主要是基于NLM、稀疏表示、低秩和深度學(xué)習技術(shù)實現(xiàn)的主流降噪算法,各自的降噪效果在各類降噪算法中都是比較突出的.故從它們中能挑出2～5 種降噪算法作為降噪器使用.實驗數(shù)據(jù)表明,采用含4 種、5 種降噪算法的組合模式并不能顯著提升降噪效果(限于篇幅,不再給出實驗數(shù)據(jù)),本文僅給出含2 種、3 種降噪算法組合模式的實驗數(shù)據(jù),所有可能的組合模式如表3所示.從BSD 紋理圖像集中選取50 張圖像對各種組合模式下的降噪效果分別進行測試,以在50 張圖像上所獲得的PSNR 均值作為評價提升效果好壞的標準,實驗數(shù)據(jù)列在表4、表5 中.從表4、表5中可知:在含2 種降噪器的組合模式中,降噪效果最好的是Case 3 (FFDNet+NCSR),其PSNR均值為29.56 dB;在含3 種降噪器的組合模式中,降噪效果最好的是Case 11 (BM3D+DnCNN +NCSR),其PSNR 均值為29.86 dB.理論上,組合模式中含降噪器的個數(shù)越多,其降噪效果可能越好.但在實際測試過程中,對比表4、表5 中的PSNR均值可以看出,3 種降噪器組合模式的平均降噪效果僅比2 種降噪器組合模式好一點,提升幅度并不是很大.

表3 2 種和3 種降噪器組合模式列表Table 3 List of combination of 2 and 3 denoisers

表4 2 種降噪器組合模式在50 張紋理圖像集上所獲得的PSNR 均值(dB)Table 4 Performance comparison of two denoisersin terms of PSNR on 50 texture images (dB)

表5 3 種降噪器組合模式的50 張紋理圖像集上所獲得的PSNR 均值(dB)Table 5 Performance comparison of three denoisers on 50 texture images (dB)

表6、表7 分別為2 種降噪器融合和3 種降噪器融合下的50 張紋理圖像集上平均執(zhí)行時間.從表6、表7 中的數(shù)據(jù)可以看出,在含2 種降噪器的組合模式中,Case 6 (BM3D+DnCNN)的執(zhí)行時間最短,其平均執(zhí)行時間為5.28 s,與執(zhí)行時間最長的Case 10 (NCSR+WNNM)相比,執(zhí)行時間相差約200 倍,其主因是NCSR 算法執(zhí)行時間過長.而在含3 種降噪器的組合模式中,Case 13 (BM3D +DnCNN+FFDNet)的執(zhí)行時間最短,平均執(zhí)行時間為21.81 s.結(jié)合表4、表5 可以得出,使用3 種降噪器組合與2 種降噪器組合分別降噪后的PSNR值相差不大,但需要花費更長的執(zhí)行時間.

2.6 組合方案選擇

綜合考慮降噪效果和執(zhí)行效率兩方面性能,本文選用BM3D 和DnCNN 2 個降噪算法作為OCID模型的基礎(chǔ)降噪器(即組合模式Case 6).其原因如下:

1)降噪算法作為各類后繼圖像處理任務(wù)的預(yù)處理模塊,首要考慮的是其執(zhí)行效率,以保證整個圖像處理系統(tǒng)的整體性能.在目前所提出的具有代表性的算法中,BM3D 和DnCNN的執(zhí)行效率均排在前列,降噪效果表現(xiàn)最好的NCSR 算法因其過長的執(zhí)行時間未作為OCID 模型的降噪器.需要說明的是,表6、表7 中的實驗數(shù)據(jù)均是在CPU 環(huán)境下獲得的.文獻[31]提出一種將BM3D 算法卷積網(wǎng)絡(luò)化的實現(xiàn)方法,即BM3D-Net 模型.如此,BM3D-Net 和DnCNN 均可以利用GPU 實現(xiàn)加速,其在GPU 上執(zhí)行時間為150 ms 左右,能達到實時的要求.

表6 2 種降噪器融合下的50 張紋理圖像集上的平均執(zhí)行時間(s)Table 6 Execution time of two denoisers on 50 texture images (s)

表7 3 種降噪器融合下的50 張紋理圖像集上的平均執(zhí)行時間(s)Table 7 Execution time of three denoisers on 50 texture images (s)

2)在保證降噪算法執(zhí)行效率的同時還要保證算法的降噪效果.BM3D 算法對具有較多重復(fù)結(jié)構(gòu)的自然圖像能得到很好的降噪效果,對重復(fù)細節(jié)內(nèi)容不多的圖像其降噪性能會受到一定的影響.而DnCNN 是一種基于深度學(xué)習的降噪算法,即便是圖像中無較多重復(fù)結(jié)構(gòu),只要是訓(xùn)練圖像集合中存在的結(jié)構(gòu)模式,DnCNN 算法就可獲得較好的降噪效果.因此BM3D 與DnCNN 組合后可形成最佳的優(yōu)勢互補.第3 節(jié)對比實驗中,OCID 最優(yōu)組合模型所列出的實驗數(shù)據(jù)均是采用BM3D+DnCNN組合模式獲得的.

3 實驗與分析

3.1 測試環(huán)境

為驗證所提出的基于MSCNN的OCID 模型對降噪效果的提升作用,選取采用不同代表性技術(shù)路線實現(xiàn)的BM3D[7]、NCSR[8]、WNNM[11]、DnCNN[22]、FFDNet[23]、RedNet[32]、VDNet[33]、TWSC[34]和CsNet[2](主要將文獻[2]中第三組實驗與OCID 模型進行比較)共9 種降噪算法作為對比算法.測試圖像數(shù)據(jù)集包含常用圖像集、BSD 紋理圖像集[30]、DIV2K 圖像集[35]和Waterloo 圖像集[36].其中,常用圖像集包含各種文獻中常出現(xiàn)的10 張公知圖像,如圖3 所示;BSD 紋理圖像集是從BSD數(shù)據(jù)庫中隨機抽取50 張圖像構(gòu)成(不同于訓(xùn)練時所使用的圖像),其中10 張有代表性的圖像如圖4所示;DIV2K 圖像集是廣泛使用的超分辨率測試圖像數(shù)據(jù)集,該數(shù)據(jù)集中圖像的空間分辨率較高,從中隨機選取50 張圖像用于測試;Waterloo 圖像集是用于圖像質(zhì)量評價算法測試的圖像庫,其圖像內(nèi)容主題較為廣泛,從中隨機選取50 張圖像用于測試.所有的實驗都是在統(tǒng)一環(huán)境下(硬件平臺為Inter (R)Core (TM)i7-3 770 CPU @ 3.40GHz 16 GB RAM,GPU NVIDIA Quadro M4000;軟件環(huán)境為Win10 操作系統(tǒng),MATLAB R2017b,Python 3.7)完成的.

圖4 BSD 測試圖像集合中有代表性的10 張圖像Fig.4 Ten representative images on BSD database

3.2 單個圖像上的性能比較

首先,為驗證所提出的OCID 模型對降噪效果的提升作用,對Lena 圖像添加不同噪聲水平值的高斯噪聲,用各種參與對比的降噪算法對噪聲圖像進行降噪,并計算降噪后圖像的PSNR 值和SSIM(Structural similarity)值,實驗數(shù)據(jù)見表8、表9.由表8、表9 可知,所提出的OCID 模型在各個噪聲水平值時兩種評價指標均為最高,比單個BM3D和DnCNN 降噪算法提升了很多.這表明OCID 模型能將原本弱于FFDNet、VDNet的BM3D 和DnCNN 2 個算法的優(yōu)勢進行有效組合,其降噪效果比當前主流的FFDNet、VDNet 降噪算法要好,組合后的優(yōu)勢明顯.

表8 各算法在Lena 圖像上所獲得的PSNR 值(dB)Table 8 Performance comparison of the competing algorithms in terms of PSNR on Lena image (dB)

表9 各算法在Lena 圖像上所獲得的SSIM值Table 9 Performance comparison of the competing algorithms in terms of SSIM on Lena image

然后,為更加直觀地比較所提出的OCID 模型的降噪效果,利用各個對比算法對施加了σ=30 高斯噪聲后的Boat 噪聲圖像進行降噪,并計算各降噪后圖像相應(yīng)的PSNR 值.圖像整體降噪及對應(yīng)的局部放大區(qū)域(右下角矩形框)的視覺效果如圖5所示.由圖5 可知,基于圖像自相似、稀疏和低秩特性構(gòu)建的BM3D、NCSR 和WNNM 算法在處理像Boat 這類缺乏重復(fù)內(nèi)容的自然圖像時能力較弱,而基于深度學(xué)習構(gòu)建的DnCNN、FFDNet 和VDNet算法則相對更具優(yōu)勢,這是因為這類算法可以利用在訓(xùn)練圖像集上學(xué)習的先驗知識更好地完成降噪.通過比較PSNR 值可以發(fā)現(xiàn),OCID 模型比CsNet模型高出0.6 dB,圖像質(zhì)量提升明顯.另外,通過局部放大區(qū)域的細節(jié)可以發(fā)現(xiàn),雖然用BM3D 算法處理后圖像的圖像質(zhì)量比較差,模糊程度比較嚴重,但是一旦它與用DnCNN 算法處理的圖像組合后,所獲得的圖像(即用OCID 模型獲得的圖5(l))便具有了更好的降噪效果.圖5(l)的PSNR 值顯著優(yōu)于圖5(g)和圖5(c),并且比降噪性能較好的單個VDNet 算法還要高0.6 dB.在視覺感覺上,圖5(l)中船尾部“纜繩”的邊緣細節(jié)保護得比較好.這說明OCID 模型充分利用了降噪能力相對較弱的BM3D 和DnCNN 2 個算法各自互補性的優(yōu)勢,獲得了更好的降噪效果.

圖5 各算法在Boat 圖像上降噪效果對比Fig.5 Denoising effect comparison of the competing algorithms on Boat image

3.3 圖像數(shù)據(jù)集整體性能比較

為進一步驗證所提出的OCID 模型對降噪效果提升作用的穩(wěn)定性和魯棒性,在常用圖像集、BSD紋理圖像集、DIV2K 圖像集和Waterloo 圖像集上與當前主流降噪算法進行對比測試,以各個算法所獲得性能指標的平均值作為衡量算法優(yōu)劣的標準.

首先,對圖3 所示的10 幅常用圖像分別添加噪聲水平值σ為 10、20、30、40、50、60的高斯噪聲,表10、表11 列出了各對比算法在PSNR 和SSIM兩個指標上的實驗數(shù)據(jù).由表10 可知,FFDNet 作為近年提出的一種降噪性能非常不錯的基于深度學(xué)習構(gòu)建的降噪算法,它的降噪性能雖比其他主流算法要好,但是優(yōu)勢不多(在PSNR 指標上,最多比WNNM 高0.24 dB),某些噪聲水平值時的測試結(jié)果還要差一些.而OCID 組合模型所獲得的PSNR指標值最高且很穩(wěn)定,比FFDNet 降噪器的性能指標高0.7 dB～1.6 dB.這說明將多個降噪器的輸出圖像經(jīng)OCID 模型優(yōu)化組合后,比單個降噪器輸出的圖像在圖像質(zhì)量上確實提升不少.與CsNet 模型相比,OCID 組合模型在PSNR 指標上提高了0.6 dB～1.8 dB.此外,OCID 組合模型在SSIM 指標上的對比數(shù)據(jù)也是最優(yōu)的.需要特別指出的是,盡管OCID組合模型所使用的BM3D 和DnCNN 降噪器,單個的降噪效果并不是最優(yōu)的,但是經(jīng)過優(yōu)化組合后卻可以獲得非常大的改進.這說明OCID 組合模型能夠有效結(jié)合BM3D 和DnCNN 2 種降噪算法輸出圖像中互補性的局部結(jié)構(gòu)化信息,從而能顯著提升降噪效果.

表10 各算法在10 張常用圖像上所獲得的PSNR 均值(dB)Table 10 Performance comparison of the competing algorithms in terms of PSNR on 10 commonly used images (dB)

表11 各算法在10 張常用圖像上所獲得的SSIM 均值Table 11 Performance comparison of the competing algorithms in terms of SSIM on 10 commonly used images

其次,為對比各算法在圖像細節(jié)內(nèi)容更為復(fù)雜圖像上的降噪效果,在BSD 紋理圖像集上完成測試.表12 給出了各個算法在BSD 紋理圖像集上的測試結(jié)果(限于篇幅,僅給出PSNR 指標數(shù)據(jù)).由表12 可知,雖然相較于表10 中的數(shù)據(jù),所提出的OCID 模型的降噪效果有所下降(因處理的圖像內(nèi)容更加困難導(dǎo)致),但其性能仍然是所有參與比較的算法中最好的,比單一FFDNet 算法的降噪效果有顯著提升,提升幅度在0.4 dB～1.4 dB 之間,提升量非?？捎^.OCID 模型所獲得的PSNR 指標較CsNet 模型提升了0.5 dB～1.3 dB.OCID 模型使用的基本降噪器是BM3D 和DnCNN,單一BM3D和DnCNN 降噪算法的降噪效果均不是最優(yōu),但是將兩者同時輸入到OCID 組合模型后,卻能在降噪質(zhì)量上有顯著提升.這說明OCID 組合模型能充分利用兩種降噪算法輸出圖像各自的互補性優(yōu)勢,從而獲得更好的降噪效果.

表12 各算法在BSD 紋理圖像集上所獲得的PSNR 均值(dB)Table 12 Performance comparison of the competing algorithms in terms of PSNR on BSD database (dB)

再次,為測試OCID 模型能否較好地應(yīng)用于高分辨率圖像的降噪,使用50 張DIV2K 超分辨率圖像進行測試,各個對比算法所獲得的PSNR 均值見表13.由表13 可知,在所有參與對比的算法中,所提出的OCID 模型的PSNR 指標排名仍然是第一,比CsNet 模型的PSNR 值提高了0.4 dB～1.3 dB,表明所提出的OCID 模型在處理高分辨率圖像時仍然具有顯著的降噪提升效果.

表13 各算法DIV2K 圖像集上所獲得的PSNR 均值(dB)Table 13 Performance comparison of the competing algorithms in terms of PSNR on DIV2K database (dB)

最后,為測試各對比算法處理不同圖像主題內(nèi)容時的降噪能力,在圖像主題內(nèi)容更為豐富的Waterloo 圖像質(zhì)量評價測試圖像集上完成測試,測試結(jié)果見表14.由表14 可知,在各個噪聲水平值下,所提出的OCID 模型的PSNR 指標值均為最佳,再次展現(xiàn)出所提出的OCID 模型在降噪效果提升方面的優(yōu)勢,其對不同的圖像主題內(nèi)容均具有很好的普適性.

表14 各算法在Waterloo 圖像集上所獲得的PSNR 均值(dB)Table 14 Performance comparison of the competing algorithms in terms of PSNR on Waterloo database (dB)

3.4 執(zhí)行效率

所提出的OCID 模型與CsNet 模型一樣,均是利用多個降噪算法作為初步降噪器,將它們輸出的圖像經(jīng)優(yōu)化組合后實現(xiàn)更好的降噪效果,故與單一降噪算法相比它們的執(zhí)行時間均會顯著增加,這里不再給出具體實驗數(shù)據(jù).相對而言,OCID 模型僅使用BM3D 和DnCNN 2 個算法作為初步降噪器,而CsNet 則使用了BM3D、DnCNN、REDNet 和FFDNet 4 個算法作為降噪器,故OCID 模型在初步降噪階段的執(zhí)行時間比CsNet 模型要短.為比較OCID 與CsNet 兩個模型在融合階段的執(zhí)行效率,分別利用兩個模型處理具有不同噪聲水平值,大小為512 × 512 像素的Lena 噪聲圖像,執(zhí)行10 次,并記錄各自在融合階段的平均執(zhí)行時間(在GPU環(huán)境下測得)于表15.由表15 可知,在融合階段,OCID模型的執(zhí)行時間具有顯著優(yōu)勢.其原因在于,OCID模型僅采用了結(jié)構(gòu)極為簡單的淺層CNN 結(jié)構(gòu)(僅含三層卷積層)實現(xiàn)圖像融合,且得到GPU 硬件支持,使得其運行時間可以滿足實時應(yīng)用的要求.而CsNet 模型的融合過程則使用了網(wǎng)絡(luò)結(jié)構(gòu)非常復(fù)雜的MSE 估計器和Booster 模塊,網(wǎng)絡(luò)深度更深,且Booster 模塊還需要迭代多次執(zhí)行才能獲得最佳的圖像質(zhì)量,所以即使在GPU 硬件執(zhí)行條件下,其執(zhí)行時間仍遠遠長于OCID 模型.

總之,結(jié)合表10～表15 所列數(shù)據(jù),OCID 模型在保證獲得更好降噪效果的同時最大限度地降低了對計算資源的需求,綜合性能更優(yōu).

表15 CsNet 與OCID 模型在融合階段的執(zhí)行時間對比(ms)Table 15 Execution timein fusion stage of CsNet and OCID model (ms)

4 結(jié)論

受Choi等[2]組合多個降噪器提升單一降噪算法降噪效果思想的啟發(fā),本文提出一種基于MSCNN的OCID 模型.對于給定的噪聲圖像,該模型首先利用多個降噪器對其進行降噪以獲得多個初步降噪圖像,然后由預(yù)訓(xùn)練的MSCNN 模型接收這些初步降噪圖像并自動完成最優(yōu)組合(融合),高質(zhì)量輸出優(yōu)化后的降噪圖像.與Choi 等提出的CsNet 組合模型相比,本文所提出的OCID 模型結(jié)構(gòu)更為簡單,圖像質(zhì)量提升更為明顯,且執(zhí)行效率更高.需要說明的是,目前OCID 模型使用BM3D 與DnCNN 2種降噪算法作為基本降噪器,而經(jīng)典BM3D 算法并沒有使用GPU 硬件加速能力,這在一定程度上降低了OCID 模型整體的執(zhí)行效率.未來可將BM3D算法用CNN 卷積化技術(shù)實現(xiàn)[31],這樣OCID 模型在初步降噪和圖像融合兩個階段均可以利用GPU硬件加速能力,可實現(xiàn)實時降噪,這將會使OCID模型較現(xiàn)有的單一降噪算法在降噪效果和執(zhí)行效率兩個方面均具有顯著優(yōu)勢.