基于拉普拉斯金字塔網絡的融合降噪模塊圖像超分辨率算法

郭昕剛, 何穎晨, 程 超

(長春工業(yè)大學 計算機科學與工程學院, 吉林 長春 130102)

0 引 言

近年來,基于深度學習的超分辨率(Super-Resolution, SR)方法在PSNR值和視覺質量上都有顯著提高。這些需要在高分辨率(High-Resolution, HR)和低分辨率(Low-Resolution, LR)圖像進行網絡訓練學習,假設網絡輸入的低分辨率圖像通過理想的雙三次下采樣得到,阻礙它們在現(xiàn)實環(huán)境中的使用。在現(xiàn)實場景中,SR問題通常具有兩個特點:1)降尺度方法未知;2)輸入LR圖像含有噪聲和模糊。

目前超分辨率重構網絡中大多數都沒有考慮到現(xiàn)實環(huán)境圖像中的噪聲對超分辨率重構結果的影響。為解決此問題,一種思路是將深度學習降噪網絡與超分辨率重構網絡直接串聯(lián)使用解決輸入圖像帶噪聲問題,但直接連接兩個網絡必然會極大增加模型的體積,不符合當前模型輕量化、易用化的趨勢;另一種思路是將圖像降噪網絡與超分辨率重構網絡結合到同一網絡,同時實現(xiàn)圖像降噪與超分重構的功能,如劉哲等[1]提出一種基于雙段深度殘差卷積網的強噪聲超分辨率重建算法。

在研究拉普拉斯金字塔網絡時,受到網絡中漸近式圖像重構的啟發(fā),文中提出一種有效融合降噪模塊的圖像超分辨率重構網絡,命名為LFDSR(Laplacian Pyramid Network Fusion Denoising Module For Super Resolution Reconstruction)。文中網絡將降噪模塊融入圖像超分辨率網絡的結構中,實現(xiàn)圖像降噪和圖像超分辨率同時進行,漸近式地完成圖像降噪和圖像超分辨率,達到了圖像超分辨率網絡抗噪聲的效果;并且網絡中采用了遞歸模塊,同時引入TVLoss與降噪損失,保持模型的輕量性,提高輸出圖像的清晰度、還原度和網絡的抗噪聲能力。

1 相關工作基礎

1.1 圖像超分辨率重構

Dong C等[2]首次提出使用CNN(Convolutional Neural Networks)進行SR,并取得了目前最先進的性能,已有大量的CNN架構被研究用于SISR。當前,剩余連接和密集連接被廣泛用于緩解基于深度CNN方法的前向信息流和后向梯度流。RED[3]、DRRN[4]、EDSR[5]、RCAN[6]和SAN[7]使用剩余連接(Residual-Connection)來連接全局、塊或層,SRDense Net[8]和 NemNet[9]在一個塊中的網絡層之間或網絡中不同塊之間同樣使用了密集連接。受到Image Net分類的VGG[10]網絡啟發(fā),Li J等[11]設計了一個多尺度殘差網絡(MSRN)來檢測不同尺度的特征,并將它們結合起來以提高性能。王金玲[12]通過對迭代反投影、稀疏正則化參數,以及特征提取算子進行改進,使其更適合遙感圖像的重構。

1.2 遞歸網絡

Kim J等[13]提出一種深度卷積網絡(VDSR),可以學習殘差圖像,同時還提出DRCN[14],一種利用深度遞歸卷積網絡。該網絡由三個部分組成:

1)嵌入網絡(Embedding Network)用來獲取輸入圖像,并將其表示為一組特征圖,相當于SRCNN[2]中的特征提取;

2)推理網絡(Inference Network)是解決超分辨率任務的主要組件,由單個遞歸層來完成圖像的分析;每個遞歸都應用相同的卷積,相當于特征的非線性映射;

3)重構網絡(Re-Construction Network)從特征圖像恢復最后的重建結果,即重建。DRCN通過遞歸、循環(huán)訓練同一層卷積層,實現(xiàn)參數共享,達到加深網絡但不增加網絡參數的目的。

1.3 圖像降噪

近年來,深度神經網絡被廣泛應用于圖像降噪[15]。Xu Q等[16]提出DnCNN利用網絡學習圖像噪聲殘差圖,即帶噪聲圖像和無噪圖像的差值,用帶噪聲圖像減去噪聲殘差圖得到無噪聲圖像。Zhang K等[17]利用殘差學習構造一個20層前饋降噪卷積神經網絡用于高斯降噪。Remez T等[18-19]對每個目標類別分別訓練20層CNN,無論是進行高斯降噪還是泊松降噪,都表現(xiàn)出良好的性能。Zhang K等[20]提出采用正交正則化的FFDNet,以增強高斯降噪的泛化能力。Tai Y等[21]設計了Mem Net,利用Feature Map拼接和Skip-Connection構造一個用于圖像超分辨率重構、圖像高斯降噪的網絡。

1.4 拉普拉斯金字塔網絡

由于現(xiàn)有的超分辨率重構網絡利用線性插值將輸入圖片轉為指定尺寸,如VDSR網絡,人為地增加了噪聲,且此前的超分方法無法產生中間的輸出結果。為解決此問題,Lai W S等[22]提出LapSRN模型,網絡結構如圖1所示。

網絡結構見圖1(a),網絡中提出級聯(lián)結構(金字塔結構)。網絡有兩個分支:1)特征提取分支,用于逐級提取殘差圖;2)圖像重構分支。該網絡通過逐層學習、逐步提取,最后輸出不同尺寸的殘差,與對應尺寸的上采樣圖像經重構模塊得到對應尺寸的重構結果,得到最終結果。

2 融合降噪模塊的圖像超分網絡

2.1 網絡結構

受拉普拉斯金字塔網絡啟發(fā),提出基于拉普拉斯金字塔網絡(LapSRN)基本框架下融合了降噪模塊的LFDSR網絡結構,如圖2所示。

圖2 LFDSR網絡結構

拉普拉斯金字塔網絡在圖像超分辨率重構的過程中會產生中間圖像,將降噪模塊融入LapSRN網絡可以實現(xiàn)在各中間級結構中直接對中間圖像進行圖像降噪,將降噪后的圖像輸入圖像重構模塊,實現(xiàn)了網絡抗噪聲的效果,進而直接影響后續(xù)的圖像超分辨率重構效果。

文中網絡采用多段級聯(lián)式結構設計,各級結構中使用了遞歸模塊,網絡有5個分支:1)降噪模塊;2)空間注意力模塊SAM;3)特征提取模塊;4)遞歸模塊;5)圖像重構模塊。

2.1.1 降噪模塊(Denosing Module)

受DnCNN[16]啟發(fā),設計將LapSRN每一級的特征提取分支一分為二,一半設計為降噪模塊,另一半設計為特征提取模塊。降噪模塊中,在遞歸模塊里的三層連續(xù)殘差塊對輸入遞歸模塊的特征圖進行噪聲特征提取,然后將噪聲特征圖經過降維卷積得到噪聲殘差圖,再與原圖像結合得到純凈LR圖像,用于后面的圖像重構模塊。降噪模塊公式為

ds=D(fs),

(1)

(2)

(3)

式中:fs----輸入第s級遞歸模塊的特征圖;

D(·)----降噪模塊;

SRs----第s級圖像重構模塊輸出圖像,當s=0時,SR0為輸入圖像;

D′(·)----降噪模塊的部分網絡;

conv(·)----卷積層;

SAM(·)----空間注意力模塊;

ds----第s級降噪模塊后得到的噪聲殘差圖;

LFDSR網絡用相對純凈的圖像作為圖像重構模塊的輸入,有利于提高超分辨率重構后圖像的清晰度,有效減輕圖像噪聲在超分辨率重構中對輸出結果的影響。

2.1.2 空間注意力模塊SAM(Spatial Attention Module)

LFDSR網絡中加入空間注意力模塊[23],使所有的特征圖共享相同的注意力權重,對于單張?zhí)卣鲌D,不同的位置區(qū)分不同的注意力權重,從而區(qū)分不同區(qū)域的重要程度,提高遞歸模塊對特征圖中細節(jié)信息的關注度,有助于后續(xù)特征提取模塊進一步的特征提取。該模塊結構包含了Sigmoid激活函數、全局最大池化層(Max Pool)、全局平均池化層(Avg Pool)、一個特征融合模塊和一個單層卷積層。

2.1.3 特征提取模塊(Feature Extraction Module)

特征提取模塊由三層連續(xù)殘差塊加上一個兩倍亞像素卷積上采樣模塊組成。將輸入遞歸模塊的特征圖和降噪模塊中間層加單層卷積層輸出特征圖結合,增加特征圖的信息量,再送入空間注意力模塊,就得到更加注重圖像細節(jié)信息的特征圖,最后特征圖輸入特征提取模塊進一步進行圖像高頻細節(jié)特征提取。

2.1.4 遞歸模塊(Recursive Module)

為減輕網絡模型的體積,整體的網絡結構采用遞歸模塊的形式,以提高LFDSR網絡的輕量級性。

2.1.5 圖像重構模塊(Reconstruction Module)

在第s級,將LR圖像與噪聲殘差圖結合,生成純凈LR圖像,再用亞像素卷積[24](上采樣)層(Subpix Convolution)對純凈LR圖像進行2倍的上采樣,然后將上采樣圖像與特征提取模塊的預測殘差圖像相結合,生成高分辨率的輸出圖像。將輸出的s級HR圖像送入s+1級圖像重建分支。整個網絡是由每一層結構相似的CNN級聯(lián)而成。

2.2 損失函數

(4)

N----訓練樣本個數;

根據經驗將ε設為1e-3。

2.2.1 TVLoss

文中添加了一個總變化損失(TVLoss)來增加空間平滑度。

(5)

2.2.2 降噪損失

用于最小化經過第s級降噪模塊后得到的噪聲殘差圖ds與標準噪聲圖n的誤差損失。

標準噪聲圖n為預處理訓練數據集中圖像預添加的噪聲。

(6)

總損失函數定義為

Ltotal=Lcontent+LTV+Ldenoise。

(7)

3 實驗與結果分析

實驗中用到的訓練數據以及訓練細節(jié)解析了提出網絡不同組成部分的結構參數設置,在三個數據集上比較了文中提出的網絡和近年來的深度學習超分重構網絡,并演示了各網絡在超分辨率重構真實世界照片上的效果。同時還對比了提出網絡的降噪模塊和已有圖像降噪網絡,進一步說明網絡降噪功能的實現(xiàn)過程。

3.1 訓練數據

實驗使用三組不同的數據集進行對比,其中包括兩組低分辨率圖像未經添加噪聲預處理的SET14與BSDS100數據集,以及一組低分辨率圖像經過添加sigma為5的高斯噪聲(Gaussian Noise)預處理的BSDS100{Gaussian[sigma(5)]}數據集(用BSDS100*代替表示)。未添加噪聲的SET14與BSD100數據集根據現(xiàn)有方法的協(xié)議[25],使用雙三次插值下采樣生成LR訓練圖像,添加噪聲預處理的BSDS100*數據集,先使用雙三次插值下采樣生成LR訓練圖像,再在LR訓練圖像中人工添加sigma為5的高斯噪聲。文中增加含噪聲數據集實驗,以比較在待超分重構圖像含有明顯噪聲的條件下,文中網絡與已有的超分辨率重構網絡在輸出圖像的清晰度、還原度與抗噪聲效果上的區(qū)別。所有網絡都使用BSDS100、BSDS100*數據集訓練。在每個訓練批次中,隨機抽取大小為128×128的16個patch,一個epoch有30次反向傳播迭代。我們以三種方式增加訓練數據:1)縮放,在[0.5,1.0]之間隨機降尺度;2)旋轉,隨機旋轉圖像90°,180°或270°;3)翻轉,水平或垂直翻轉圖像,概率為0.5。

3.2 訓練細節(jié)

在提出的LFDSR網絡中,降維卷積層由大小為3×3的3個濾波器組成,遞歸模塊中亞像素卷積上采樣濾波器的卷積層由大小為3×3的256個濾波器組成,圖像重構模塊中亞像素卷積上采樣濾波器的卷積層由大小為3×3的12個濾波器組成,其他卷積層由大小為3×3的64個濾波器組成,文中使用He K等[26]的方法初始化卷積濾波器。網絡中每個激活函數ReLU的負斜率為0.2。所有特征圖邊界填充寬度為1。所有層的學習速率初始化為5×1e-4,每200個epoch下降2倍。文中訓練LFDSR,直到學習速率下降到5×1e-7。

3.3 實驗結果

將文中提出的LFDSR網絡與經典LapSRN和遞歸型LapSRN(Recur)[22]兩個網絡,以及已有的SR算法(Bicubic、DRCN[14]和RSAN[27])進行比較。用兩個常用的圖像質量指標來評估SR圖像PSNR和SSIM[28]。各網絡2倍和4倍超分辨率重構結果的定量比較見表1。

表1 定量評價文件網絡與已有的SR網絡:2倍、4倍尺度因子的平均PSNR/SSIM

文中展示了各網絡在SET14、BSDS100數據集,以及自建數據集BSDS100*中超分辨率因子為4的視覺比較,如圖3所示。

圖3 不同網絡4倍超分辨率重構在BSDS100、SET14和BSDS100*數據集上的視覺比較

在SET14、BSDS100測試集下,相較于各對比網絡,LFDSR網絡超分辨率重構的圖像更清晰,保留了更多LR圖像的內容,使得重構圖像更逼真,比如人像和老虎的頭部、蝴蝶身體以及花朵的清晰度。通過觀察可以發(fā)現(xiàn),在BSDS100*的測試集下,各對比網絡的輸出結果帶有明顯的偽影[25]和噪點。相比之下,文中網絡通過融合了降噪模塊,同時加入了TVLoss與降噪損失函數,有效地抑制了噪聲對輸出圖像的影響。實驗結果表明,文中算法具有良好的表現(xiàn)。

定量評價文中網絡降噪模塊輸出的中間圖像與已有的降噪網絡的平均PSNR/SSIM見表2。

表2 定量評價文中網絡降噪模塊輸出的中間圖像與已有的降噪網絡的平均PSNR/SSIM

DnCNN的Scale×1降噪圖像各質量評估指標均值由BSDS100數據集與BSDS100*數據集經過DnCNN后的降噪圖像計算,Scale×2降噪圖像各質量評估指標均值由以BSDS100測試集為輸入的4倍超分辨率LapSRN的中間層超分因子為2的圖像與該圖像添加sigma為5的高斯噪聲后,再經過預訓練DnCNN得到降噪圖像計算得到。LFDSR網絡的Scale×1與Scale×2降噪圖像的各質量評估指標均值由4倍超分辨率LFDSR網絡在數據集BSDS100*與BSDS100的訓練后,將兩數據集對應測試集輸入LFDSR網絡得到各層級下對應的圖像計算得到。在BSDS100*測試集上,LFDSR網絡與DnCNN的Scale×2的圖像降噪效果已十分相近,超分因子為2的降噪圖像在BSDS100*數據集上的視覺比較如圖4所示。

Input(PSNR,SSIM)

與同樣使用遞歸方式的RIDNet[29]類似,LFDSR網絡的遞歸降噪模塊使得LFDSR網絡隨著網絡層級的堆疊,可以逐步提高圖像降噪效果。

3.4 消融實驗

為了驗證文中提出的LFDSR網絡中降噪模塊的有效性,設計了一個類似的網絡結構LapSRN+進行比較。本次對比實驗同樣使用BSDS100*數據集訓練。

對比的LapSRN+網絡等于將文中LFDSR網絡中的降噪模塊、單層卷積層和空間注意力模塊去掉,如圖5所示。

圖5 LapSRN+結構圖

圖中只留特征提取模塊,且網絡結構同樣使用了遞歸模塊。LapSRN+使用Charbonnier損失函數[22]最小化每一層網絡預測圖像與真實圖像的誤差,LapSRN+訓練的參數和過程與文中LFDSR網絡的訓練設置保持一致。

超分因子為×4的BSDS100*測試集圖像超分辨率重構結果如圖6所示。

基于BSDS100*數據集的LFDSR模型的平均PSNR/SSIM定量評價見表3。

表3 基于BSDS100*數據集的LFDSR模型的平均PSNR/SSIM定量評價

LFDSR網絡與LapSRN+對比,從表3和圖6可以看出,在假設帶高斯噪聲的低分辨率圖像的超分重構效果上,文中網絡在重構圖像的清晰度與還原度上要高于對比算法,在大樹圖像中的天空和云朵部分能明顯看到LFDSR網絡的降噪效果。

4 結 語

采用真實情況下的假設來研究單圖像的超分辨率重構問題。現(xiàn)實環(huán)境中,LR圖像通常帶有未知的不可忽略的噪聲。上述實驗中可以看到,融合了降噪模塊的LFDSR網絡在處理含噪聲圖像時取得了不錯的效果,在實驗過程中,LFDSR網絡顯露出泛化性與魯棒性不足的缺點,當使用含某一特定噪聲預處理過的數據集進行網絡訓練后,再使用該訓練完成的網絡模型超分辨率重構帶有其他噪聲的圖像,輸出圖像將無法達到最優(yōu)效果。

在目前有監(jiān)督的網絡訓練環(huán)境下,必須人為構造帶有某種假設噪聲的低分辨率圖像與對應超分系數的高分辨率圖像對來訓練網絡模型。針對此問題,可考慮將LFDSR網絡與無監(jiān)督學習網絡進一步相結合,實現(xiàn)在任意低分辨率圖像與非配對低/高分辨率圖像對的情況下實現(xiàn)清晰逼真的超分重構圖像,進而解決網絡泛化性與魯棒性不足的問題。