多尺度交替連接殘差網(wǎng)絡(luò)用于圖像去模糊

陳清江，胡倩楠，李金陽

（西安建筑科技大學(xué) 理學(xué)院，陜西 西安 710055）

1 引 言

近年來，圖像去模糊技術(shù)已應(yīng)用到醫(yī)學(xué)影像，刑事案件偵破，天文遙感等各個領(lǐng)域［1-2］。圖像去模糊技術(shù)可以提高圖像質(zhì)量，恢復(fù)丟失的信息。因此，研究圖像去模糊問題具有重要的應(yīng)用價值。

圖像去模糊任務(wù)就是從模糊圖像中恢復(fù)出相應(yīng)的清晰圖像。去模糊問題一般分為兩種，非盲去模糊［3］和盲去模糊［4］。早期研究大多致力于非盲去模糊問題，即模糊核已知，但通常情況下模糊核是未知的，并且盲去模糊［5］是一個不適定問題，這使得盲去模糊任務(wù)具有特別大的挑戰(zhàn)性。傳統(tǒng)盲去模糊方法［6-7］主要利用自然圖像的一些先驗信息作為正則化項來求解圖像去模糊數(shù)學(xué)模型，迭代估計模糊核進而估計出清晰圖像，但傳統(tǒng)方法只在特定模糊圖像上具有良好的去模糊效果，在其他圖像上魯棒性較差且計算量極大，容易產(chǎn)生振鈴現(xiàn)象［8］。近年來，深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于計算機視覺問題［9-15］，其中包括圖像去模糊問題［16-17］。Sun 等［18］用卷積神經(jīng)網(wǎng)絡(luò)來去除非均勻模糊，但所用數(shù)據(jù)集是由清晰圖像和模糊核卷積運算所得，與真實模糊圖像相差較大，不能很好的恢復(fù)真實模糊圖像。為此，Nah等［4］提出了一個具有清晰-模糊圖像對的逼真數(shù)據(jù)集—GoPro，并提出一種端到端的多尺度網(wǎng)絡(luò)去除非均勻運動模糊，獲得了較好的實驗結(jié)果。Tao 等［19］提出了一種多尺度遞歸網(wǎng)絡(luò)，利用金字塔形式逐漸恢復(fù)出清晰圖像，實現(xiàn)更好的去模糊效果，但這些方法仍存在網(wǎng)絡(luò)模型計算量大，速度慢，高頻信息丟失等問題。

受Nah 等［4］和Tao 等［19］的啟發(fā)，本文提出了一種基于多尺度交替連接殘差網(wǎng)絡(luò)（Multi-Scale Alternating Connection Residual Network，MACR）以端到端的方式去除運動模糊，實現(xiàn)快速恢復(fù)模糊圖像。本文工作包括以下四點：

（1）本文提出一種基于多尺度交替連接殘差網(wǎng)絡(luò)用于去除非均勻運動模糊，采用“從粗到細”的多尺度網(wǎng)絡(luò)結(jié)構(gòu)逐漸恢復(fù)出清晰圖像。本文所提多尺度網(wǎng)絡(luò)包括兩種多尺度：一為輸入圖像大小的放縮，各個尺度采取相同的網(wǎng)絡(luò)模型，不同尺度間進行參數(shù)共享，降低參數(shù)量，防止過擬合現(xiàn)象。二為整個網(wǎng)絡(luò)特征提取模塊采用多尺度殘差模塊，用大小不同的卷積核來提取不同尺度的特征，然后再進行特征融合。（2）提出一種多尺度殘差模塊（Multi-Scale Residual Module，MSRM）作為每個尺度的特征提取模塊，提高網(wǎng)絡(luò)模型對每個尺度的適應(yīng)性、增加網(wǎng)絡(luò)寬度、提高網(wǎng)絡(luò)性能。（3）從擴大感受野的角度出發(fā)，提出基于擴張卷積的交替連接殘差模塊（Alternate Connection Residual Block，ACRB）作為整個網(wǎng)絡(luò)模型的主干，該模塊利用帶有不同擴張率的卷積層，來增大感受野并提取不同尺度的特征信息。交替連接殘差模塊與殘差密集模塊［22］、密集連接模塊［23］以及經(jīng)典的殘差模塊［24］相比，計算量小且去模糊效果更優(yōu)。（4）將提出的網(wǎng)絡(luò)模型在GoPro 數(shù)據(jù)集［4］上進行訓(xùn)練和測試，并與目前的去模糊算法相比具有更優(yōu)的去模糊效果。

2 去模糊方法

2.1 交替連接殘差網(wǎng)絡(luò)的構(gòu)建

本文提出一種基于多尺度交替連接殘差網(wǎng)絡(luò)來進行圖像去模糊，如圖1 所示。網(wǎng)絡(luò)采用金字塔模型以“從粗到細”的多尺度結(jié)構(gòu)逐漸恢復(fù)出清晰圖像，通過多個尺度的輸入，讓網(wǎng)絡(luò)學(xué)習(xí)到不同尺度的特征信息，在不改變網(wǎng)絡(luò)結(jié)構(gòu)下增大模型的感受野，各個尺度采用相同的網(wǎng)絡(luò)模型，在每個尺度間改變參數(shù)會引入不穩(wěn)定性［19］，故在各個尺度間進行參數(shù)共享，降低參數(shù)量和訓(xùn)練難度并使網(wǎng)絡(luò)更加穩(wěn)定，采用殘差模型來提高網(wǎng)絡(luò)性能，加快網(wǎng)絡(luò)收斂速度。整個網(wǎng)絡(luò)模型由多尺度殘差模塊（MSRM）和交替連接殘差模塊（ACRB）堆疊而成。

圖1 多尺度交替連接殘差網(wǎng)絡(luò)模型Fig.1 Multi-Scale Alternating Connection Residual Network Module

本文所提網(wǎng)絡(luò)遵循傳統(tǒng)方法中的多尺度機制，以3 個不同分辨率的模糊圖像Xi(i=1，2，3)作為網(wǎng)絡(luò)輸入，均由原始模糊圖像下采樣得到，分別為256×256，128×128，64×64。首先，輸入最小尺度模糊圖像X1進行去模糊處理，得到清晰的潛像Y1，然后再將得到的潛像上采樣到與X2相同的尺度，再與模糊圖像X2一同輸入網(wǎng)絡(luò)模型得到清晰的潛像Y2，同理，得到最后的清晰圖像Y3，這種多尺度網(wǎng)絡(luò)結(jié)構(gòu)不僅可以恢復(fù)模糊圖像的整體結(jié)構(gòu)，還能夠恢復(fù)出圖像的紋理細節(jié)。各個尺度具有完全相同的網(wǎng)絡(luò)結(jié)構(gòu)，不同尺度間進行參數(shù)共享，降低訓(xùn)練難度，恢復(fù)出更加清晰的圖像。網(wǎng)絡(luò)參數(shù)配置如表1 所示。

表1 多尺度參數(shù)表Tab.1 Multi-scale parameter table

本文利用多尺度殘差模塊（MSRM）進行特征提取，該模塊包括四個分支，如圖2 所示。每個分支分別使用1×1，3×3，5×5，7×7 的卷積核來提取具有不同感受野的特征信息，不同尺度的卷積核會產(chǎn)生不同尺寸的感受野，這對于去模糊任務(wù)是非常重要的，在四個分支進行特征提取后進行聚合操作（concat）合并，再用一個3×3 的卷積層來融合提取的不同尺度的特征信息，這種信息交互方式能夠融合各個尺度之間的特征信息，可以捕獲更多的全局信息，使后面的層共享不同尺度的特征信息，最后在輸入和輸出之間加入跳躍連接來學(xué)習(xí)殘差信息。在此模塊中輸入輸出圖像大小均保持不變，每個卷積層后都接一個修正線性單元（Rectified Linear Unit，ReLu），提高網(wǎng)絡(luò)表達能力。該模塊拓展了網(wǎng)絡(luò)的寬度，獲取了更多的特征信息，增加了學(xué)習(xí)的多樣性，提高了網(wǎng)絡(luò)對尺度的適應(yīng)性。詳細的參數(shù)配置如表2 所示。

圖2 多尺度殘差模塊Fig.2 Multi-Scale Residual Module

表2 多尺度殘差模塊參數(shù)配置表Tab.2 Multi-scale residual module parameter configuration table

在圖像去模糊任務(wù)中，處理嚴重模糊區(qū)域時感受野越大去模糊效果越好，增大感受野的方式有三種：增加網(wǎng)絡(luò)層數(shù)，利用池化層和擴大卷積核大小，但這三種方式會出現(xiàn)增加計算量，重要信息丟失以及梯度消失等問題，而擴張卷積在不擴大卷積核大小的條件下迅速增大感受野，避免了上述問題，故本文利用Yu［20］提出的擴張卷積來增大感受野，提出了一種基于擴張卷積的交替連接模塊（ACRB），如圖3 所示。

圖3 交替連接模塊Fig.3 Alternate Connection Module

該模塊設(shè)計了一種具有成對運算潛力的新型交替連接方式，這種連接方式允許塊中的第一個操作與后續(xù)任何塊中的第二個操作進行交互，這種交互式數(shù)量的增加有助于提高圖像恢復(fù)任務(wù)的性能，本文所用的成對操作為卷積層和具有不同擴張率的擴張卷積。由于本文設(shè)計了3 個成對操作，共6 層卷積，交替聚合操作（concat）后特征層通道數(shù)過多，故引入1 個1×1的卷積用于多通道的特征信息融合，并起到降維的作用。深度網(wǎng)絡(luò)可以更好的恢復(fù)圖像，但深度網(wǎng)絡(luò)很難訓(xùn)練，容易產(chǎn)生梯度消失問題，故此模塊利用殘差學(xué)習(xí)來解決網(wǎng)絡(luò)深度帶來的梯度消失問題，提高網(wǎng)絡(luò)性能。該模塊具體參數(shù)如表3 所示。

表3 交替連接模塊參數(shù)表Tab.3 Parameter table of Alternating Connection Module

2.2 損失函數(shù)

2.2.1 總損失函數(shù)

本文總損失函數(shù)由平均絕對誤差（Mean Absolute Error，MAE）和結(jié)構(gòu)損失（Structural Loss，SL）組成，其計算公式為：

其中：LA表示平均絕對誤差（MAE），LS表示結(jié)構(gòu)損失（SL），λ1，λ2分別為其對應(yīng)的權(quán)重，實驗結(jié)果表 明：當(dāng)λ1取0.3，λ2取0.7 時 圖 像 去 模 糊 效 果最好。

2.2.2 平均絕對誤差（MAE）

均方誤差（Mean Squared Error，MSE）或L2損失是目前最廣泛的損失函數(shù)，然而Lim 等［21］人指出，在峰值信噪比（Peak Signal to Noise Ratio，PSNR）和 結(jié) 構(gòu) 相 似 度（Structural Similarity，SSIM）指標(biāo)方面，許多使用MAE 損失的圖像恢復(fù)任務(wù)訓(xùn)練取得了比MSE 損失更好的性能。故本文采用簡單的MAE 損失作為總損失函數(shù)的一部分，計算公式如下：

其中：Ii為真實清晰圖像，I?i為預(yù)測圖像。

2.2.3 結(jié)構(gòu)損失（SL）

網(wǎng)絡(luò)模型在恢復(fù)模糊圖像時沒有約束，容易失去訓(xùn)練方向，導(dǎo)致模型訓(xùn)練不穩(wěn)定，故引入結(jié)構(gòu)損失作為約束項，增加網(wǎng)絡(luò)模型的穩(wěn)定性，提高網(wǎng)絡(luò)模型的泛化能力。結(jié)構(gòu)損失可以表示如下：

結(jié)構(gòu)相似性定義為：

μx，μy分別為圖像塊像素的平均值，σx，σy分別為圖像像素值的標(biāo)準差，σxy是兩個圖像像素的協(xié)方差，C1，C2為常數(shù)。SSIM ∈[0，1]，結(jié)構(gòu)相似程度與SSIM 成正比，SSIM 損失函數(shù)考慮了人類視覺感知，LSSIM表示為：

P?為像素塊的中間像素值。

多尺度結(jié)構(gòu)相似度損失（MS-SSIM）基于多層的SSIM 損失函數(shù)，考慮了分辨率，LMS－SSIM可以表示為：

P?為像素塊的中間像素值。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與實驗配置

本實驗訓(xùn)練與測試圖像來自Nah 等［4］人在2017 年提出的GoPro 數(shù)據(jù)集，共2013 張清晰-模糊圖像對。本文網(wǎng)絡(luò)模型在此數(shù)據(jù)集上訓(xùn)練3000 次達到收斂。

實驗在Windows10 操作系統(tǒng)下基于Tensor-Flow2.0 深度學(xué)習(xí)框架與python3.7 進行訓(xùn)練與測試。所用計算機GPU 配置為Nvidia GeForce 1660Ti（6 GB），顯存為6 GB。在訓(xùn)練過程中所有輸入圖像均剪裁為256×256×3，測試時圖像大小保持不變，batch_size=2，epoch=3 000。采用Adam 優(yōu)化器來優(yōu)化損失函數(shù)，動量參數(shù)分別為0.9，0.999，實驗設(shè)置固定學(xué)習(xí)率為0.000 1。

3.2 實驗結(jié)果與分析

3.2.1 不同對比算法結(jié)果分析

為了驗證本文算法的高效性，選取目前最先進的去模糊技術(shù)與本文算法進行對比，使用峰值信噪比（PSNR）與結(jié)構(gòu)相似度（SSIM）作為性能衡量標(biāo)準。表4 為不同去模糊算法在GoPro 測試集上的性能對比結(jié)果，圖4 為不同網(wǎng)絡(luò)模型在GoPro 測試集上可視化對比示例圖。

表4 不同算法的性能對比Tab.4 Performance comparison of different algorithms

圖4 不同算法的可視化對比Fig.4 Visual comparison of different algorithms

從表4 可以看出，本文方法得到了最高的PSNR 和SSIM 值。從圖4 中也可以看出Sun等［18］人的算法不能有效的去除圖像模糊，Nah等［4］和Tao 等［19］的去模糊效果雖有所提升，但還沒有達到最佳效果。運用本文算法所得到的去模糊圖像沒有明顯的偽影，能保持清晰的紋理細節(jié)，更接近清晰圖像。

3.2.2 多尺度輸入結(jié)構(gòu)分析

為了檢驗多尺度輸入結(jié)構(gòu)對圖像去模糊任務(wù)的有效性，本文分別從主觀效果以及客觀指標(biāo)上對比了單尺度，雙尺度和三尺度的去模糊效果，均 在Nah［4］等 人 提 出 的GoPro 數(shù) 據(jù) 集 進 行 訓(xùn)練和測試，各個尺度的性能比較如表5 所示，在測試集上的去模糊效果如圖5 所示。

由表5 可以看出，雙尺度較單尺度平均峰值信噪比提高了0.842 9 dB，結(jié)構(gòu)相似度提高了0.011 6。三尺度較雙尺度峰值信噪比提高了0.756 2 dB，結(jié)構(gòu)相似度提高了0.009 3。從圖5可以看出單尺度去模糊效果不好，紋理細節(jié)不清楚，雙尺度較單尺度去模糊效果有所提升，但布料細節(jié)處理效果不佳，三尺度去模糊效果最好，細節(jié)較豐富，最接近清晰圖像。三個尺度性能最佳，故本文使用三個尺度來進行圖像去模糊任務(wù)。

表5 各個尺度性能對比Tab.5 Performance Comparison of each scale

圖5 各個尺度去模糊效果對比Fig.5 Comparison of deblurring effects of different scales

3.2.3 交替連接殘差模塊分析

為了驗證本文所提基于擴張卷積的交替連接殘差模塊（ACRB）對于圖像去模糊任務(wù)的有效性，分別用殘差密集模塊（Residual Dense Block，RDB）［22］，密集連接模塊（Dense Connection Block，DCB）［23］以及經(jīng)典的殘差模塊（Resblock）［24］來代替本文的交替連接殘差模塊，在相同的實驗環(huán)境下進行訓(xùn)練與測試，殘差密集模塊（RDB），密集連接模塊（DCB）以及殘模塊如圖6所示，為了快速驗證，不同模塊對比均在單尺度下進行。

圖6 不同模塊Fig.6 Different Modules

從表6 可以看出本文所提的交替連接殘差模塊具有更好的性能，并且從圖7 也可看出利用交替連接殘差模塊恢復(fù)的圖像細節(jié)更豐富，具有更好的去模糊效果。

表6 單尺度下不同模塊性能對比Tab.6 Performance comparison of different modules in single scale

圖7 單尺度下不同模塊的主觀效果Fig.7 Subjective effects of different modules under single scale

4 結(jié) 論

針對目前圖像去模糊領(lǐng)域所存在計算量大，恢復(fù)圖像存在偽影等問題，本文提出了一種基于多尺度交替連接殘差網(wǎng)絡(luò)進行圖像盲去模糊，本文仍采用傳統(tǒng)多尺度機制，以“從粗到細”的方式逐漸恢復(fù)出清晰圖像，多尺度輸入能減少圖像偽影，保持邊緣結(jié)構(gòu)。本文提出了一種多尺度殘差模塊用于提取不同尺度模糊圖像的上下文信息。整個網(wǎng)絡(luò)模型以提出的交替連接殘差網(wǎng)絡(luò)為主干，為圖像恢復(fù)任務(wù)提供更多特征信息，利用平均絕對誤差損失和結(jié)構(gòu)損失共同約束訓(xùn)練方向，從而恢復(fù)出更加清晰的圖像。實驗結(jié)果表明，本文方法的峰值信噪比為32.313 6 dB，結(jié)構(gòu)相似度為0.942 5，去模糊效果較目前先進的去模糊技術(shù)相比有所提升。