面向圖像去噪的深度雙層群稀疏編碼網(wǎng)絡(luò)

方禎煜，尹海濤

南京郵電大學 自動化學院、人工智能學院，南京 210023

受成像環(huán)境以及成像設(shè)備物理技術(shù)限制等因素影響，獲取的圖像往往含有噪聲干擾，不僅降低了圖像視覺效果，同時還破壞了圖像結(jié)構(gòu)，不利于后續(xù)的圖像識別、檢測和分割等任務(wù)。圖像去噪旨在從噪聲圖像重構(gòu)出干凈的圖像，能有效提高圖像質(zhì)量，在遙感影像[1]、醫(yī)學診斷[2]以及視頻監(jiān)控[3]等領(lǐng)域具有重要的應(yīng)用價值。

圖像去噪一直是計算機視覺領(lǐng)域研究熱點，國內(nèi)外研究人員提出了一系列的去噪方法?，F(xiàn)有去噪方法大致可以分為三類：基于濾波的方法、基于變分優(yōu)化的方法、基于深度學習的方法?；跒V波的方法通過濾波器將噪聲從圖像中分離出來，從而達到去噪目的。例如，高斯濾波[4]、雙邊濾波[5]、非局部均值濾波[6]、BM3D[7]等?；跒V波的方法計算代價較低，但是針對高強度噪聲的性能欠佳?；谧兎謨?yōu)化的方法核心思想是將圖像去噪任務(wù)轉(zhuǎn)換成變分模型，并通過優(yōu)化算法重構(gòu)出干凈圖像。圖像先驗是變分優(yōu)化方法的重要因素，比如全變分模型[8]、稀疏模型[9]、低秩模型[10]等。基于變分優(yōu)化的方法能準確地定義圖像去噪的任務(wù)模型，具有良好的模型可解釋性。但是，優(yōu)化求解仍需要手動設(shè)置參數(shù)，并且在實際應(yīng)用中需要重新計算優(yōu)化算法，計算代價較大。基于深度學習的方法主要采用深度神經(jīng)網(wǎng)絡(luò)將噪聲圖像映射到干凈圖像。由于深度神經(jīng)網(wǎng)絡(luò)強大的特征表示能力，此類方法取得了顯著的性能提升。代表性的深度去噪網(wǎng)絡(luò)包括基于殘差連接的DnCNN[11]和FFDNet[12]；含注意力機制的ADNet[13]和P3AN[14]；基于多尺度網(wǎng)絡(luò)的SHARP-Net[15]；以及基于Transformer 的IPT[16]。然而，大部分基于深度學習的方法是數(shù)據(jù)驅(qū)動的，采用的深度神經(jīng)網(wǎng)絡(luò)通常是人為設(shè)計的，缺乏對圖像去噪任務(wù)知識的理解，且神經(jīng)網(wǎng)絡(luò)的參數(shù)不可解釋。

算法展開[17]是當前一種流行的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，其核心思想是將變分模型的優(yōu)化解展開成深度神經(jīng)網(wǎng)絡(luò)?？蓪W習的迭代軟閾值算法（learned iterative shrinkage and thresholding algorithm，LISTA）[18]是首次采用算法展開的深度神經(jīng)網(wǎng)絡(luò)，該算法將稀疏編碼的迭代軟閾值求解步驟轉(zhuǎn)換成一種端到端的深度神經(jīng)網(wǎng)絡(luò)，并且通過監(jiān)督學習實現(xiàn)對網(wǎng)絡(luò)進行訓練。LISTA 具有網(wǎng)絡(luò)參數(shù)可解釋、收斂速度快、測試計算代價小等優(yōu)點。因此，LISTA中提出的算法展開技術(shù)被廣泛應(yīng)用到各種領(lǐng)域。例如，面向壓縮感知的ISTA-Net[19]、面向圖像去噪的CSCNet[20]和GroupSC[21]、面向遙感圖像解混的U-ISTA[22]以及面向圖像去模糊的DUBLID[23]等?？梢钥闯?，采用算法展開構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)源于變分優(yōu)化模型，能準確地體現(xiàn)具體任務(wù)的領(lǐng)域知識。然而，現(xiàn)有基于算法展開的圖像去噪方法中主要是基于單層稀疏編碼模型，對圖像中復雜特征結(jié)構(gòu)的表示能力仍有很大提升空間。比如，GroupSC[21]利用了圖像中的非局部相似性，但是對非局部信息之間的特異性表示性能欠佳。

針對上述問題，提出了一種基于雙層群稀疏編碼的深度圖像去噪網(wǎng)絡(luò)，簡稱TLGSC-Net。首先在現(xiàn)有群稀疏編碼模型基礎(chǔ)上，進一步對群稀疏系數(shù)進行稀疏編碼，進而構(gòu)建了一種基于雙層群稀疏編碼的圖像去噪模型（TLGSC）。該模型不僅能刻畫非局部信息之間的相似性結(jié)構(gòu)，同時對其特異性也能進行有效地表達。然后，將TLGSC模型的優(yōu)化解展開成一種“端到端”深度神經(jīng)網(wǎng)絡(luò)，即TLGSC-Net。采用監(jiān)督學習方式對TLGSCNet進行訓練。在幾個常用數(shù)據(jù)集上的不同強度去噪對比實驗驗證了所提TLGSC-Net算法的有效性。

1 相關(guān)工作

1.1 LISTA網(wǎng)絡(luò)

然后，將公式（4）每次迭代展開為深度神經(jīng)網(wǎng)絡(luò)的每層，從而形成LISTA，如圖1所示。

圖1 LISTA網(wǎng)絡(luò)框架Fig.1 Architecture of LISTA

1.2 群稀疏編碼

針對多個信號的稀疏編碼問題，傳統(tǒng)稀疏編碼模型通常對每個信號單獨進行編碼，忽略了多個信號之間的結(jié)構(gòu)關(guān)聯(lián)性。為了解決該問題，研究者們提出了群稀疏編碼模型[24]，并通過?2,1范數(shù)對多個信號進行聯(lián)合稀疏編碼，該模型能刻畫多個信號之間的結(jié)構(gòu)關(guān)聯(lián)性。假設(shè)Y∈?n×k為k個n維信號。群稀疏編碼將Y表示成Y=DA，其中稀疏系數(shù)矩陣A通過下面?2,1范數(shù)優(yōu)化問題求得：

2 提出的方法

首先提出一種基于雙層群稀疏編碼的圖像去噪模型（TLGSC）。然后，通過算法展開技術(shù)將其轉(zhuǎn)換成一種“端到端”的深度神經(jīng)網(wǎng)絡(luò)（TLGSC-Net），并對TLGSC-Net網(wǎng)絡(luò)結(jié)構(gòu)進行詳細描述。

2.1 TLGSC模型

現(xiàn)有基于群稀疏編碼的圖像去噪方法通常在相似圖像塊上實現(xiàn)。針對噪聲圖像Y中第i個圖像塊pi（大小為n×n），在Y中搜索與其相似圖像塊，并將所有相似塊定義為矩陣Pi∈?n×m，其中m表示相似塊個數(shù)（包含pi在內(nèi)）。傳統(tǒng)群稀疏編碼將Pi表示為Pi=DAi，其中，字典D∈?n×M。群稀疏系數(shù)矩陣Ai∈?M×m中所有列具有相同的支撐集，該稀疏特征能刻畫Pi中圖像塊之間的相似性。然而，單層的群稀疏編碼對相似圖像塊之間的特異性刻畫還不夠充分，即對每個圖像塊特有的局部結(jié)構(gòu)特征。針對該問題，提出了一種雙層群稀疏編碼模型TLGSC，其核心思想是對Ai進一步進行稀疏編碼。為了敘述方便，將TLGSC 的編碼過程表示為：

其中，A1為圖像中所有圖像塊P在字典D1作用下的群稀疏系數(shù)，A2為A1在字典D2作用下的稀疏系數(shù)。問題（11）可以通過下面的A1-子問題和A2-子問題進行交替求解。

（1）A1-子問題：固定A2，關(guān)于A1的優(yōu)化子問題為：其中，上標j表示矩陣的第j行。為了方便敘述，將迭代公式（16）的計算過程定義為算子Gλ1(M)。

（2）A2-子問題：固定A1，關(guān)于A2的優(yōu)化子問題為：

通過交替迭代計算A1-子問題和A2-子問題至到滿足終止條件，從而獲得稀疏系數(shù)矩陣A1和A2。此外，為了更加有效地利用中間結(jié)果，P也隨算法迭代進行更新，利用Pk=D1D2Ak2+ωk D1Ak1替代問題（14）中的P。最后，將重構(gòu)的圖像塊轉(zhuǎn)化成去噪圖像X^ 。整體的求解過程可以歸納為算法1。

算法1 基于雙層群稀疏編碼的圖像去噪算法

2.2 TLGSC-Net

利用算法展開技術(shù)將算法1 的求解步驟轉(zhuǎn)化成深度神經(jīng)網(wǎng)絡(luò)TLGSC-Net。具體來說，TLGSC-Net的每層對應(yīng)算法1中的每步迭代，網(wǎng)絡(luò)的推理過程與優(yōu)化迭代過程一致。所提網(wǎng)絡(luò)參數(shù)與優(yōu)化模型中參數(shù)具有同樣的數(shù)學定義，從而，所提網(wǎng)絡(luò)參數(shù)具有可解釋性，并且TLGSC 模型的去噪知識融入也到深度網(wǎng)絡(luò)中。圖2 為TLGSC-Net整體架構(gòu)，包含若干個TSC-Block組成。第k個TSC-Block 由Ak1-模塊、Ak2-模塊和重構(gòu)模塊（Rk-模塊）組成，具體描述如下。

圖2 TLGSC-Net結(jié)構(gòu)圖Fig.2 Architecture of TLGSC-Net

（1）Ak1-模塊：該模塊對應(yīng)A1-子問題（14）的優(yōu)化解，其主要功能是對迭代優(yōu)化解（16）進行展開。假設(shè)深度展開次數(shù)設(shè)為T1。則Ak1-模塊由T1層組成，每層計算如下：

其中，D2表示卷積操作，UT2表示反卷積操作。然后，將式（21）每次迭代深度展開為Ak2-模塊的每層。該模塊的輸出作為Rk-模塊的輸入。

（3）Rk-模塊：該模塊用于重構(gòu)每個TSC-Block 的去噪結(jié)果。為了能有效利用中間結(jié)果并進一步提升網(wǎng)絡(luò)性能，Rk-模塊采用跳躍連接將Ak1-模塊和Ak2-模塊的輸出進行綜合更新Pk。對應(yīng)的數(shù)學表達式為：

其中，f(Y;Θ)表示深度網(wǎng)絡(luò)的輸出圖像，Θ表示全體可學習的網(wǎng)絡(luò)參數(shù)，Y為噪聲圖像，X為干凈參考圖像。此外，通過服從正態(tài)分布的隨機矩陣來初始化字典D1和D2，并通過D1和D2的最大奇異值對其進行歸一化。采用Pytorch 深度學習框架實現(xiàn)TLGSC-Net，并在GeForce RTX 3080 GPU上進行網(wǎng)絡(luò)的訓練和測試。

所提的TLGSC-Net 與LISTA 之間不同地方主要體現(xiàn)在如下兩個方面：（1）面向的優(yōu)化問題不同，LISTA和TLGSC-Net 分別面向?1范數(shù)問題（1）和?2,1-?1范數(shù)問題（10）。與?1范數(shù)問題相比，?2,1-?1范數(shù)問題不僅利用了多源信號之間的內(nèi)在相似關(guān)系，同時還能刻畫相似信號之間的特異性。（2）網(wǎng)絡(luò)架構(gòu)不同，LISTA由迭代軟閾值算法展開得到，網(wǎng)絡(luò)呈現(xiàn)單層展開結(jié)構(gòu)。而TLGSC-Net呈現(xiàn)“內(nèi)外”兩層展開結(jié)構(gòu)，其中內(nèi)層展開是指公式（16）和公式（18）的展開，外層展開是指TSCBlock的級聯(lián)。

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

實驗主要包括灰度圖像去噪和彩色圖像去噪兩部分，具體的訓練和測試設(shè)置如下：

（1）灰度圖像實驗：訓練集BSD400，測試集包括BSD68、Set12和Urban100。在該實驗中，TLGSC-Net的卷積核大小為9×9，卷積核個數(shù)為128。訓練時，從圖像中隨機選取大小為64×64 圖像塊。采用Adam 優(yōu)化器，epoch 和batch size 分別設(shè)為300 和16。初始學習率設(shè)置為6×10-4，并且每經(jīng)過80個epoch，學習率衰減0.35倍。對 比 算 法 包 括BM3D[7]、DnCNN[11]、CSCNet[20]、GroupSC[21]和NSR[25]。

（2）彩色圖像實驗：訓練集為CBSD400，測試集包括CBSD68、Kodak24和Urban100。在該實驗中，TLGSCNet 卷積核大小為7×7，卷積核個數(shù)為128。訓練時，從圖像中隨機選取大小為56×56圖像塊。采用Adam優(yōu)化器，epoch和batch size分別設(shè)為300和8。學習率設(shè)置與灰度圖像實驗一致。對比算法包括CBM3D[7]、DnCNN[11]、CSCNet[20]、GroupSC[21]和NSR[25]。

通過對干凈圖像添加高斯噪聲σ={ }5,25,50,75 合成噪聲圖像。實驗中采用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）指標對去噪性能進行客觀評價，其中PSNR和SSIM的值越大表示去噪效果越好。

3.2 實驗結(jié)果及分析

3.2.1 灰度圖像實驗結(jié)果

表1 給出了各種算法在BSD68、Set12 和Urban100數(shù)據(jù)集上平均PSNR和SSIM指標結(jié)果。（1）針對BSD68數(shù)據(jù)集，當σ={5 ,25,75} 時，所提算法取得最好的PSNR和SSIM 值。當σ=50 時，所提算法的PSNR 值略低于NSR，但仍取得最佳的SSIM 值。（2）針對Set12 數(shù)據(jù)集，當σ={2 5,75} 時，所提算法的PSNR 和SSIM 均取得最佳結(jié)果。尤其當σ=25 時，所提算法比CSCNet的PSNR高0.4 dB。當σ={5 ,50} 時，所提算法取得次優(yōu)結(jié)果，指標值略低于NSR 算法。（3）針對Urban100 測試集，當σ={5 ,75} 時，所提算法的PSNR 和SSIM 均取得最佳效果。從整體上來看，所提算法相比其他對比算法具有一定的去噪優(yōu)勢。

表1 灰度圖像實驗中各種算法的性能指標對比（平均PSNR/SSIM）Table 1 Indexes comparisons of various methods in gray image（average PSNR/SSIM）

圖3 給出了不同算法在BSD68、Set12 和Urban100數(shù)據(jù)集上去噪結(jié)果圖。其中，第1～2行為BSD68數(shù)據(jù)集去噪結(jié)果圖，第3～4行為Set12數(shù)據(jù)集去噪結(jié)果圖，第5～6行為Urban100數(shù)據(jù)集去噪結(jié)果圖。同時，每個結(jié)果中給出了局部放大區(qū)域，用于去噪結(jié)果的細節(jié)對比。BM3D和CSCNet 的去噪結(jié)果存在一定的模糊，如圖3（c）和圖3（e）中的“豹子”圖像的樹干含有較為明顯的噪聲點。DnCNN 和GroupSC 的去噪結(jié)果丟失了圖像的邊緣信息，如圖3（d）和圖3（f）中的“房屋”圖像的煙囪部分紋理模糊不清。NSR的去噪結(jié)果仍存在一定的模糊、細節(jié)不清晰，如圖3（g）中的“建筑”圖像的窗戶紋理部分較為模糊。相對而言，所提算法的去噪結(jié)果具有更好的細節(jié)效果。比如，圖3（h）的“海星”圖像的接縫處紋理細節(jié)較為清晰；“房屋”圖像的煙囪部分有效地保留了圖片的紋理信息，同時抑制了偽影，重構(gòu)了更多的圖像紋理信息。

圖3 灰度圖像實驗中各種算法在不同數(shù)據(jù)集上去噪結(jié)果(σ=25)Fig.3 Denoised images of various methods on different datasets in gray image(σ=25)

3.2.2 彩色圖像實驗結(jié)果

表2 給出了不同的算法在CBSD68、Kodak24 和Urban100 數(shù)據(jù)集上平均PSNR 和SSIM 指標結(jié)果。在CBSD68 和Kodak24 測試數(shù)據(jù)集上，所提算法在不同噪聲等級下均取得最佳的PSNR 和SSIM 值。特別地，（1）針對CBSD68數(shù)據(jù)集，所提算法在σ=75時比DnCNN的PSNR 提高了1.3 dB。（2）針對Kodak24 數(shù)據(jù)集，所提算法在σ=75 時比GroupSC 的PSNR 提高了1.16 dB。（3）針對Urban100 數(shù)據(jù)集，所提算法在σ={ }25,50 時的PSNR 值略低于NSR，但在σ=75 時比NSR 的PSNR 高0.2 dB。可以看出，所提算法在高噪聲情況下去噪效果優(yōu)于其他對比算法。

表2 彩色圖像實驗中各種算法的性能指標對比（平均PSNR/SSIM）Table 2 Indexes comparisons of various methods in color image（average PSNR/SSIM）

圖4 給出了不同算法在CBSD68、Kodak24 和Urban100 數(shù)據(jù)集上去噪結(jié)果圖。其中，第1～2 行為CBSD68 數(shù)據(jù)集去噪結(jié)果圖，第3～4 行為Kodak24 數(shù)據(jù)集去噪結(jié)果圖，第5～6 行為Urban100 數(shù)據(jù)集去噪結(jié)果圖。CBM3D 的去噪圖像存在一定的噪聲點，如圖4（c）的“帆船”圖像的帆布較為模糊，存在較多的殘留噪聲。DnCNN、CSCNet以及GroupSC的去噪圖像也存在一定的細節(jié)不清晰，如圖4（d）～4（f）中的“大象”圖像的皮膚部分丟失一些細節(jié)信息。NSR 去噪圖像中的紋理細節(jié)清晰度不夠，如圖4（g）中的“建筑”圖像的窗戶邊緣的紋理和細節(jié)部分較為模糊，邊界不夠明顯。整體而言，所提算法去噪后的圖像保留了更多的細節(jié)，視覺去噪效果要優(yōu)于其他算法。比如，圖4（h）中的“帆船”圖像上帆布的褶皺邊緣更加銳利，“花”圖像中的花瓣的紋理部分更加清晰，“建筑”圖像中的窗戶部分保留了更多的細節(jié)。

表3 給出了各種深度學習算法在彩色圖像去噪實驗中的參數(shù)量對比。TLGSC-Net 在的參數(shù)量略大于CSCNet 和GroupSC，主要是由于TLGSC-Net“內(nèi)外”兩層展開結(jié)構(gòu)造成。相對性能提升，這些參數(shù)的代價是可接受的。此外，與經(jīng)典的DnCNN算法相比，TLGSC-Net參數(shù)量降低了68%，并且去噪性能也有所提升。

表3 各種深度學習算法參數(shù)量的比較Table 3 Comparison of number of parameter in various deep learning based methods

3.3 消融實驗

本節(jié)介紹了所提TLGSC-Net 的消融實驗，包括群稀疏編碼展開迭代的次數(shù)T1、稀疏編碼展開迭代的次數(shù)T2、交替迭代次數(shù)K、卷積核大小以及殘差連接對圖像去噪的影響。在消融實驗中，CBSD68 作為測試集，噪聲等級為25，PSNR作為評價指標。

（1）群稀疏編碼展開次數(shù)T1：圖5（a）給出了群稀疏編碼展開迭代的次數(shù)T1為{8，10，12，14}的實驗結(jié)果曲線。可以看出，T1為12時性能最優(yōu)。

圖5 TLGSC-Net主要參數(shù)的影響Fig.5 Effects of major parameters of TLGSC-Net

（2）稀疏編碼展開次數(shù)T2：圖5（b）給出了稀疏編碼展開的次數(shù)T2為{5，6，7，8，9，10}的實驗結(jié)果曲線。可以發(fā)現(xiàn)PSNR隨著T2的增大而緩慢增長。為了平衡計算代價，T2設(shè)為8。

（3）交替迭代次數(shù)K：圖5（c）給出了交替迭代次數(shù)的K為{1 ,2,3,4} 的實驗結(jié)果曲線?？梢钥闯?，當K為3時性能最優(yōu)。

（4）卷積核大?。簣D5（d）給出了卷積核大小分別為{7×7，9×9，11×11}的實驗結(jié)果。從曲線可以看出，卷積核大小為7×7時獲得最佳PSNR值。

（5）改進的殘差連接影響：分別測試網(wǎng)絡(luò)未采用殘差連接和采用殘差連接（本文提出的）的兩種網(wǎng)絡(luò)架構(gòu)。未加殘差連接和采用殘差連接獲得平均PSNR 結(jié)果分別為31.35 dB 和31.38 dB。從而表明采用本文提出的殘差連接能提升去噪效果。

4 結(jié)束語

該文提出了一種可解釋的TLGSC-Net 圖像去噪網(wǎng)絡(luò)。首先，提出了基于?2,1-?1范數(shù)的雙層群稀疏編碼去噪模型，該模型能有效提升群稀疏編碼對圖像中相似結(jié)構(gòu)的表示能力。然后，利用算法展開技術(shù)將提出的去噪模型優(yōu)化解展開成“端到端”的深度神經(jīng)網(wǎng)絡(luò)。此外，在多層結(jié)構(gòu)之間引入了改進的殘差連接，提升了TLGSCNet 網(wǎng)絡(luò)訓練的穩(wěn)定性。在BSD68、Set12、CBSD68、Kodak24和Urban100等常用數(shù)據(jù)集上的大量實驗表明，TLGSC-Net 比經(jīng)典的深度學習方法以及基于算法展開的方法取得了較好的去噪結(jié)果。