基于多級殘差信息蒸餾的真實圖像去噪方法

馮妍舟，劉建霞，王海翼，馮國昊，白宇

（太原理工大學(xué)電子信息與光學(xué)工程學(xué)院，山西 晉中 030600）

0 引言

圖像去噪是圖像處理領(lǐng)域至關(guān)重要的問題之一，在生產(chǎn)和生活中有著廣泛應(yīng)用。由于傳感器具有一定的物理特性，因此在數(shù)字成像過程中不可避免地引入噪聲，尤其在某些極端場景下，如暗光、夜景拍攝時，得到的圖像往往伴隨大量噪聲，嚴(yán)重影響視覺質(zhì)量。許多用于圖像識別、圖像分割、目標(biāo)檢測等任務(wù)的圖像因硬件設(shè)備和采集環(huán)境的限制，導(dǎo)致得到的圖像中往往包含大量噪聲，嚴(yán)重影響高級視覺任務(wù)的精度，因此圖像去噪常作為某些圖像處理任務(wù)的預(yù)處理步驟［1］。因此，對含噪圖像進行快速高效的圖像恢復(fù)有著重要意義。

傳統(tǒng)的圖像去噪方法包括均值濾波［2］、中值濾波［3］和非局部均值濾波［4］等空間域去噪方法，以及傅里葉變換濾波［5］、小波變換濾波［6］等變換域去噪方法。均值濾波取鄰域內(nèi)像素的均值代替中心點的像素值，導(dǎo)致邊緣等具有高頻分量的區(qū)域模糊。中值濾波對窗口中的像素排序，取中值代替中心像素值，其對椒鹽噪聲抑制效果較好，但是會造成弱紋理區(qū)域輪廓模糊，且去噪效果隨窗口的增大而減弱。與局部濾波方法不同，非局部均值濾波通過比較不同區(qū)域之間的像素相似性對中心像素進行濾波，能夠更好地保留局部細(xì)節(jié)，但需要很長的計算時間和大量的存儲空間，對于亮度和顏色變化大的圖像去噪效果不佳。變換域去噪方法是將圖像從空間域轉(zhuǎn)換到其他域，如頻率域、小波域等，在變換域?qū)D像和噪聲分離，再反變換到圖像域。與空間域去噪方法相比，變換域去噪方法能夠更好地處理非平穩(wěn)噪聲并保留細(xì)節(jié)信息，但容易產(chǎn)生阻尼和振鈴效應(yīng)，影響圖像的質(zhì)量和清晰度，且在實際操作中常常需要調(diào)整參數(shù)，優(yōu)化過程復(fù)雜費力。

相較于傳統(tǒng)方法，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的圖像去噪方法通常具有更好的去噪效果。ZHANG等［7］針對去噪模型只對特定噪聲有效的問題提出DnCNN，將批標(biāo)準(zhǔn)化和殘差學(xué)習(xí)相結(jié)合，可以去除多種任務(wù)的噪聲。TAI等［8］利用遞歸單元和門單元自適應(yīng)地挖掘細(xì)節(jié)特征并恢復(fù)出干凈圖像。為減少計算成本，MARYAM等［9］將擴張卷積引入到深度殘差網(wǎng)絡(luò)，以更少的層數(shù)和參數(shù)量提高對低劑量電子計算機斷層掃描（CT）圖像的去噪性能。SU等［10］提出多尺度的跨路徑串聯(lián)殘差網(wǎng)絡(luò)，學(xué)習(xí)不同感受野下的圖像特征，并基于圖像的上下文信息促進受損像素的重建。這些方法通常使用添加合成噪聲的圖像進行訓(xùn)練，無法擬合復(fù)雜的噪聲分布，在真實噪聲圖像上泛化能力弱。

研究人員對基于CNN 的真實圖像盲去噪進行研究。文獻［11］提出的FFDNet 將噪聲水平圖和含噪圖像作為輸入訓(xùn)練網(wǎng)絡(luò)，可以有效去除未知的復(fù)雜噪聲。KIM等［12］提出的AINDNet 使用自適應(yīng)實例歸一化構(gòu)造去噪器，并采用遷移學(xué)習(xí)將從合成噪聲中學(xué)習(xí)的知識遷移到真實含噪圖像中。為提高深層網(wǎng)絡(luò)的去噪效果，KIM等［13］提出1 個分組殘差密集型網(wǎng)絡(luò)，考慮不同通道和同一通道不同位置像素的重要性。為解決深層網(wǎng)絡(luò)難以訓(xùn)練和性能飽和問題，TIAN等［14］使用包含批量重正化、殘差學(xué)習(xí)和擴張卷積的對偶CNN 來處理真實的噪聲圖像。雖然基于CNN 的去噪方法可以去除真實場景的噪聲，但其通常采用上/下采樣技術(shù)提高計算效率，容易丟失細(xì)節(jié)信息，導(dǎo)致邊緣模糊和紋理缺失，且其較深的網(wǎng)絡(luò)層通常導(dǎo)致參數(shù)量和計算量增大，訓(xùn)練時間延長。

本文以塊間復(fù)雜度低的編碼-解碼結(jié)構(gòu)為基礎(chǔ)，提出多級殘差信息蒸餾網(wǎng)絡(luò)（MRIDN）對真實場景的復(fù)雜噪聲進行去除。根據(jù)特征蒸餾的思想構(gòu)建1 個多級殘差信息蒸餾模塊（MRIDB）對特征進行細(xì)化分離。構(gòu)建塊中保留部分特征用于不同層級間的特征融合，其余通道的特征繼續(xù)向后傳遞，通過深度提取模塊（DEM）進一步提取深層信息，提升網(wǎng)絡(luò)的表達能力。利用對比度感知通道注意力（CCA）機制對不同通道的特征分配權(quán)重，重點關(guān)注結(jié)構(gòu)、紋理等信息，提升網(wǎng)絡(luò)的去噪性能。

1 算法原理

1.1 多級殘差信息蒸餾模塊

深度學(xué)習(xí)去噪方法常使用更深的網(wǎng)絡(luò)結(jié)構(gòu)提取更深層次的信息，會造成模型參數(shù)量多、計算量大。信息多重蒸餾模塊（IMDB）［15］是輕量級圖像超分辨率網(wǎng)絡(luò)（IMDN）的主要構(gòu)建塊，主要用于解決過多卷積難以應(yīng)用于低計算能力設(shè)備的問題，減少模型計算量以實現(xiàn)網(wǎng)絡(luò)的輕量化。受IMDB 的啟發(fā)，本文構(gòu)建1 個多級殘差信息蒸餾模塊作為該網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵部分，通過特征通道分化的方式，向后傳遞部分通道的特征，保留部分特征進行多級信息融合，在很大程度上減少了計算量，在逐層提取有利特征的同時實現(xiàn)模型的輕量化。多級殘差信息蒸餾模塊結(jié)構(gòu)如圖1 所示，包括通道分割操作、多級深層特征提取、多通道信息融合、跳躍連接、通道注意力等模塊。

首先將圖像的輸入特征X1在通道維度上進行分割，將其分為2 個部分X1=X1a∪X1b，分割比例為1∶3，將X1b送入深度提取模塊（DEM）中提取深層信息得到中間特征F1，保留X1a，即：

將中間特征F1與原始圖像輸入特征X1相加，得到下一級結(jié)構(gòu)的輸入圖像特征X2，即：

繼續(xù)對X2進行通道分割X2=X2a∪X2b，保留X2a，對X2b進行深層特征提取、殘差連接等操作得到X3，以此類推，得到特征X4。接著將保留的部分特征{X1a,X2a,X3a,X4}在通道維度進行拼接得到融合特征X，充分利用不同階段的局部特征，即：

進一步使用對比度感知通道注意力機制給不同通道分配權(quán)重，然后通過1×1 卷積進行特征融合生成特征Y，即：

最后將原始的輸入特征X1與融合特征Y再次進行通道維度的拼接，獲得MRIDB 的最終輸出，即：

1.1.1 深度提取模塊

MRIDB 將部分通道的特征繼續(xù)向后傳遞，利用深度提取模塊對細(xì)化特征進一步提取信息，使網(wǎng)絡(luò)可以更好地擬合圖像本身的復(fù)雜特征，逐層提取原始圖像信息，提高模型非線性表達的能力。DEM 由層標(biāo)準(zhǔn)化（LN）、淺殘差塊（SRB）、SimpleGate 單元、通道注意力等簡單模塊組成，在低復(fù)雜度的基礎(chǔ)上實現(xiàn)良好的學(xué)習(xí)性能，具體結(jié)構(gòu)如圖2 所示。

圖2 深度提取模塊結(jié)構(gòu)Fig.2 Structure of deep extraction module

將每次通道分割得到的細(xì)化特征Xb進行層標(biāo)準(zhǔn)化處理，目的是使模型訓(xùn)練更加平穩(wěn)，加速收斂并提升性能。通過1×1 的逐點卷積得到融合特征L，即：

將融合特征L通過1 個由3×3 的空洞卷積和LeakyReLU 激活函數(shù)構(gòu)成的淺層殘差結(jié)構(gòu)［16］得到殘差特征R，在不增加任何額外參數(shù)量的情況下擴大感受野，便于提取關(guān)鍵的空間上下文信息。利用更加輕巧的殘差結(jié)構(gòu)實現(xiàn)特征的快速提取，即：

使殘差特征R通過SimpleGate 單元，即：將三維特征矩陣R?RH×W×C在通道維度上平均分為2 個部分R1,R2?RH×W×C/2，再將R1和R2中對應(yīng)位置的元素逐個相乘，相乘的結(jié)果放在相同位置得到輸出矩陣SimpleGate(R)。通過1 個簡化的通道注意力機制捕獲全局信息，SCA 僅包含全局信息融合和通道信息交互2 個關(guān)鍵步驟，在保持性能的同時簡化計算，再通過1×1 的卷積得到主分支的輸出Y′，即：

最后將輸入的細(xì)化特征Xb與主分支的輸出Y′相加，獲得DEM 的最終輸出F：

1.1.2 對比度感知通道注意力機制

注意力機制模仿人類的認(rèn)知系統(tǒng)，自動學(xué)習(xí)和計算輸入數(shù)據(jù)的不同特征對輸出結(jié)果的貢獻度。通道注意力（CA）給不同特征分配權(quán)重，讓神經(jīng)網(wǎng)絡(luò)重點關(guān)注某些特定通道的信息。最早的通道注意力［17］被用于圖像分類任務(wù)，使用平均池化來捕獲高級視覺任務(wù)中的全局信息，重點關(guān)注激活值高的部分，有利于分類或檢測，但它很難關(guān)注到對低級視覺任務(wù)更有利的結(jié)構(gòu)、紋理等信息，無法解決去噪任務(wù)在特征提取過程中丟失細(xì)節(jié)信息的問題，不利于原始圖像的重建。

為了解決這一問題，本文在MRIDB 中引入對比度感知通道注意力機制［15］。CCA 用標(biāo)準(zhǔn)差和平均值的總和代替全局平均池化評估特征圖的對比度，有利于增強圖像的結(jié)構(gòu)、紋理和邊緣等細(xì)節(jié)信息。將X=[x1,x2,…,xC]作為輸入，其具有C個大小為H×W的特征圖。對比度信息值的計算式如下：

其中：zc表示輸出的第c個元素；HGC表示全局對比度信息評估函數(shù)。對比度感知通道注意力機制具體結(jié)構(gòu)如圖3 所示。

圖3 對比度感知通道注意力機制結(jié)構(gòu)Fig.3 Structure of contrast-aware channel attention mechanism

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

圖4 所示為本文所提的多級殘差信息蒸餾網(wǎng)絡(luò)結(jié)構(gòu)，以塊間復(fù)雜度低的編碼-解碼結(jié)構(gòu)為基礎(chǔ)，編碼部分對含噪圖像進行特征提取，解碼部分生成對應(yīng)的恢復(fù)圖像，使用跳躍連接進行特征拼接，使解碼部分充分利用淺層的像素級特征，更好地恢復(fù)原始圖像的細(xì)節(jié)信息。

圖4 多級殘差信息蒸餾網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of multi-level residual information distillation network

特征提取模塊由若干個卷積層、4 個多級殘差信息蒸餾模塊和4 個下采樣層依次交替級聯(lián)組成。

假設(shè)輸入圖像尺寸為N×N，首先通過1 組1×1的卷積和3×3 的卷積對含噪圖像進行淺層特征提取，然后經(jīng)過2×2 的最大池化層，圖像會縮小到原來的1/4，緊接著將(N/2×N/2)的特征圖輸入到MRIDB中進行深層特征提取，通過1×1 的卷積層調(diào)整特征通道數(shù)為原來的2 倍，再經(jīng)過2×2 的最大池化層，圖像尺寸變?yōu)?N/4×N/4)，特征圖繼續(xù)經(jīng)過下1 組MRIDB 深層特征提取、1×1 的卷積、下采樣的編碼過程，以此類推，特征圖逐步縮小，感受野逐漸變大，經(jīng)過4 次下采樣操作后，特征圖大小變?yōu)?N/16×N/16)。

解碼部分對圖像進行恢復(fù)，由8 個卷積層和4 個上采樣層交替級聯(lián)組成，每2 個3×3 的卷積層和1 個2×2 的上采樣層為一組，以經(jīng)過特征提取后大小為(N/16×N/16)的特征圖作為解碼部分的輸入，經(jīng)過4 組卷積和上采樣操作后得到N×N的去噪恢復(fù)圖像。經(jīng)編碼模塊每次下采樣后的特征圖在向后傳遞的同時，都通過1 個跳躍連接與相對應(yīng)解碼模塊上采樣后的輸出相連，將編碼部分的抽象特征與上采樣后的特征圖進行通道維度的拼接，向恢復(fù)圖像補充淺層的結(jié)構(gòu)信息，減少編碼部分和解碼部分特征映射之間的語義差距，得到邊緣細(xì)節(jié)清晰、顏色失真小的干凈圖像。

2 實驗與結(jié)果分析

2.1 真實圖像去噪數(shù)據(jù)集

本文訓(xùn)練模型采用的數(shù)據(jù)集是SIDD（Smartphone Image Denoising Dataset）［18］。SIDD 使 用5 種智能 手機采集10 個場景的真實噪聲圖像，對固定場景拍攝多張圖片，通過加權(quán)平均的方式合成噪聲圖像對應(yīng)的干凈圖像。訓(xùn)練集是320 個包含干凈和真實噪聲圖像的圖像對，由于拍攝得到的圖像尺寸很大，因此每張圖片被裁剪成300 個256×256 像素的圖像塊。驗證集包含40 個圖像對，并將其裁剪為1 280 對256×256 像素的圖像塊。

測試使用的數(shù)據(jù)集DND（Darmstadt Noise Dataset）［19］采用3 種不同 的相機 和1 部智能 手機拍攝50 個場景，針對同一場景，使用低感光度（ISO）值獲得清晰圖像，拍攝ISO 值高的圖像作為對應(yīng)的噪聲圖。數(shù)據(jù)集中的每張圖片都被切割成20 塊512×512 像素的圖像塊。本文模型的訓(xùn)練和測試均使用sRGB 格式的圖像。

2.2 性能評價指標(biāo)

圖像去噪任務(wù)常用峰值信噪比（PSNR，計算中用PPSNR）和結(jié)構(gòu)相似性（SSIM，計算中用SSSIM）對圖像質(zhì)量進行評估。

PSNR 是使用最廣泛的一種用于評價復(fù)原圖像質(zhì)量的指標(biāo)，通過參考圖像與恢復(fù)圖像之間的均方根誤差（MSE，計算中用MMSE）進行定義。PSNR 常用對數(shù)值表示，單位為dB，數(shù)值越大表示恢復(fù)圖像失真越小。PSNR 和MSE 的計算式如下：

其中：MMSE表示恢復(fù)圖像x和參考圖像y的均方根誤差；m、n分別為圖像的高度和寬度表示圖像x可能的最大像素值，如果每個像素的顏色用8 位二進制數(shù)表示，則。PSNR 常被用作檢驗圖像失真程度的標(biāo)準(zhǔn)，但是由于其忽略了人眼對空間頻率和亮度的敏感度，因此有時PSNR 的評估結(jié)果無法與人類的視覺感知完全一致。

為了更全面地評估恢復(fù)圖像的質(zhì)量，通常引入結(jié)構(gòu)相似性作為圖像質(zhì)量的評價標(biāo)準(zhǔn)。SSIM 是一種衡量2 幅圖像相似度的指標(biāo)，分別用均值、標(biāo)準(zhǔn)差和協(xié)方差作為對亮度、對比度和結(jié)構(gòu)相似度的度量。對于恢復(fù)圖像x和參考圖像y，2 幅圖像的SSIM計算式如下：

其中：μx，μy分別表示x，y的均值分別表示x，y的方差；σxy表示x和y的協(xié) 方差；c1和c2表示維持穩(wěn)定的常數(shù)，通常為0.03，M為像素值的動態(tài)范圍。SSIM 的范圍是0～1，值越大表示恢復(fù)圖像與參考圖像誤差越小，即恢復(fù)圖像質(zhì)量越高。

2.3 實施細(xì)節(jié)

2.3.1 實驗配置

本文實驗使用的服務(wù)器為Dell T640，其處理器為Intel?Xeon?Gold 5120 @ 2.20 GHz 14 核×2，內(nèi)存容量128 GB，顯卡為NVIDIA Tesla P4。在Windows 10系統(tǒng)下搭建PyTorch 框架完成對去噪模型的訓(xùn)練和性能測試，使用的解釋器是Python 3.8。

2.3.2 參數(shù)設(shè)置

輸入圖像為256×256 像素大小的RGB 彩色圖像，圖像去噪算法基本都采用隨機裁剪的圖像塊進行模型訓(xùn)練。使用較大的圖像塊，CNN 可以捕獲圖像的細(xì)節(jié)信息并取得更優(yōu)的性能，但會導(dǎo)致訓(xùn)練時間延長；使用較小的圖像塊，可以加快模型的訓(xùn)練速度，但會導(dǎo)致性能下降。為了均衡訓(xùn)練效率與去噪性能，本文采用一種漸進式訓(xùn)練策略［20］，在較小的圖像塊上進行訓(xùn)練，在訓(xùn)練過程中階段性地調(diào)整大圖像塊的尺寸。這種混合尺寸的學(xué)習(xí)機制不僅可以提高訓(xùn)練效率，還可以學(xué)習(xí)多個尺度的圖像信息，提升模型的去噪性能。訓(xùn)練的迭代總次數(shù)（epoch）設(shè)置為130，使用Adam 優(yōu)化器優(yōu)化網(wǎng)絡(luò)參數(shù)，學(xué)習(xí)率（learning rate）設(shè)置為5×10-5，使用L1 損失函數(shù)指導(dǎo)模型的訓(xùn)練，具體參數(shù)設(shè)置如表1 所示。

表1 漸進式訓(xùn)練策略參數(shù)設(shè)置Table 1 Parameter settings of progressive training strategy

2.4 對比實驗結(jié)果與分析

本文使用SIDD 數(shù)據(jù)集訓(xùn)練模型，并使用DND數(shù)據(jù)集測試模型性能。為了直觀展示本文所提去噪算法的性能指標(biāo)，表2 所示為不同算法在SIDD 和DND 數(shù)據(jù)集上的PSNR 和SSIM，加粗表示最優(yōu)數(shù)據(jù)，下劃線表示次優(yōu)數(shù)據(jù)。代表性算法包括6 個非盲去噪模 型MLP［21］、TNRD［22］、BM3D［23］、WNNM［24］、KSVD［25］、EPLL［26］和6 個盲去 噪模型DnCNN［7］、CBDNet［27］、RIDNet［28］、AINDNet［12］、DANet［29］、VDN［30］。本文提出的MRIDN 在SIDD 數(shù)據(jù)集上的PSNR 可達39.43 dB，超過VDN 算法0.17 dB。在DND 數(shù)據(jù)集上對模型進行測試，PSNR 可達39.49 dB，優(yōu)于其他先進算法。SIDD 和DND 數(shù)據(jù)集是通過不同硬件特性的攝像頭拍攝獲取的，本文模型僅在SIDD 數(shù)據(jù)集上進行訓(xùn)練，使用DND 數(shù)據(jù)集測試并獲得較優(yōu)的去噪性能，表明MRIDN 具有較優(yōu)的泛化性能。

表2 不同模型在SIDD 和DND 數(shù)據(jù)集上的PSNR 和SSIMTable 2 PSNR and SSIM among different models on SIDD and DND datasets

圖5 將部分算法與本文算法在SIDD 數(shù)據(jù)集上的去噪效果進行可視化比較。從圖5 可以看出，本文算法能有效去除真實場景下的復(fù)雜噪聲，得到的恢復(fù)圖像在確保細(xì)節(jié)信息不丟失的情況下不引入額外的偽影，證明了本文算法的有效性。相比之下，其他算法存在噪聲殘留、紋理缺失、物體邊緣、字體模糊等問題。

圖5 不同算法在SIDD 數(shù)據(jù)集上的可視化結(jié)果對比Fig.5 Visualization results comparison among different algorithms on SIDD dataset

2.5 模型分析

2.5.1 參數(shù)量分析

模型參數(shù)量是評估模型是否輕量化要考慮的關(guān)鍵因素。一般而言，參數(shù)量與模型的性能呈正相關(guān)，模型的參數(shù)量越多，則需要更大的存儲空間，通常希望在提高性能的同時減少參數(shù)量，降低模型的空間復(fù)雜度。

表3 列舉了幾個性能優(yōu)越的圖像去噪模型的測試結(jié)果及其參數(shù)量。從表3 可以看出，MRIDN 與RIDNet 相比，參數(shù)量增加了5.43×106，但PSNR 提升0.72 dB。與AINDNet、DANet 和VDN 相比，本文提出的MRIDN 在使用更少參數(shù)量的同時，分別獲得0.35 dB、0.18 dB 和0.17 dB 的性能增益，尤其是MRIDN 的參數(shù)量僅為DANet 的10.98%。因此，MRIDN 在使用較少參數(shù)量的同時獲得較優(yōu)的去噪性能，在兩者之間取得有效平衡。

表3 不同算法的性能與參數(shù)量對比Table 3 Comparison of performance and parameter quantity among different algorithms

2.5.2 消融實驗結(jié)果與分析

為了驗證信息蒸餾策略、深度提取模塊和對比度感知通道注意力機制對最終模型的有效性，本文基于U-Net 架構(gòu)對各個模塊進行拆解重組，并在SIDD 數(shù)據(jù)集上進行對比驗證，各個模塊對模型性能增益的貢獻如表4 所示。模型1 為原始的U-Net 網(wǎng)絡(luò)；模型2 表示在U-Net 架構(gòu)中引入通道分割（CS）策略，將MRIDB 中的深度提取模塊（DEM）全部替換為3×3 的卷積，注意力機制使用最基本的SE 模塊（Squeeze-and-Excitation block）；模型3 表示在模型2的基礎(chǔ)上將3×3 的卷積替換為深度提取模塊；模型4表示本文最終使用的模型，在模型3 的基礎(chǔ)上將注意力機制替換為對比度感知通道注意力機制。

表4 消融實驗結(jié)果Table 4 Results of ablation experiments

從表4 可以看出：模型1 直接使用U-Net 對真實場景的圖像進行去噪，得到的PSNR 僅為27.30 dB；模型2 在引入信息蒸餾模塊后取得了極大的性能增益，證明在編解碼結(jié)構(gòu)中使用通道分割操作可以進一步提取特征，不僅有利于模型的輕量化發(fā)展，還可以提高模型的表達能力，給PSNR 和SSIM 都帶來不小的增益，極大地提升模型的去噪性能；模型3 在通道分割操作中引入深度提取模塊，進一步提取深層信息，PSNR 提升了0.53 dB，SSIM 提升了0.007 7，證明進一步提取細(xì)化后的特征可以獲得更多的細(xì)節(jié)信息，有助于無噪圖像的恢復(fù)過程。模型4 是本文最終提出的算法，將對比度感知通道注意力機制引入每個信息蒸餾模塊中，在U-Net 架構(gòu)中融合最終的主要構(gòu)建塊MRIDB，相比模型3 得到了0.09 dB 的PSNR 增益和0.002 4 的SSIM 增益，證明CCA 可以關(guān)注到低級視覺任務(wù)所需要的紋理、邊緣等信息，有利于恢復(fù)圖像的重建。

圖6 將本文算法的改進過程進行可視化展示。從圖6 可以看出，模型1 用U-Net 對圖像進行去噪，恢復(fù)圖像中仍伴隨很多噪聲，紋理細(xì)節(jié)缺失，去噪效果并不理想。在引入信息蒸餾模塊后，去噪性能大大提升，圖像暗光部分的噪點得到很大程度的改善。對細(xì)化特征進行深度特征提取后，恢復(fù)圖像的細(xì)節(jié)紋理更加清晰完整。引入對比度感知通道注意力機制后，去噪結(jié)果的定量指標(biāo)有所提升，即本文提出的各個模塊均有利于去噪模型的性能優(yōu)化，最終使用的算法可以有效去除真實場景中的噪聲并保持原始圖像的細(xì)節(jié)特征，恢復(fù)出視覺效果較好的干凈圖像。

圖6 在消融實驗中各模型在SIDD 數(shù)據(jù)集上的可視化結(jié)果對比Fig.6 Comparison of visualization results of various models on the SIDD dataset in ablation experiments

3 結(jié)束語

本文提出一種基于編碼-解碼架構(gòu)的深度學(xué)習(xí)圖像去噪方法。在編碼部分引入1 個多級殘差信息蒸餾模塊，根據(jù)信息蒸餾的思想對特征通道進行分割，減少模型的計算量；提出深度提取模塊，進一步提取細(xì)化后的特征通道信息，提高模型的表達能力；在多級特征融合階段引入對比度感知通道注意力機制，對不同通道的特征分配權(quán)重，著重關(guān)注圖像的結(jié)構(gòu)、紋理、邊緣等細(xì)節(jié)信息，提升模型的去噪性能。在SIDD 和DND 數(shù)據(jù)集上的實驗結(jié)果表明，本文提出的MRIDN 可以在保持原始圖像細(xì)節(jié)信息的同時實現(xiàn)良好的去噪性能，有效提升真實場景下含噪圖像的視覺質(zhì)量。