基于多級跳躍殘差組的運動人像去模糊網(wǎng)絡(luò)

紀佳奇，盧振坤，熊福棚，張?zhí)穑瑮詈?/p>

基于多級跳躍殘差組的運動人像去模糊網(wǎng)絡(luò)

紀佳奇，盧振坤*，熊福棚，張?zhí)?，楊?/p>

（廣西民族大學 電子信息學院，南寧 530006）（ ? 通信作者電子郵箱lzk06@sina.com）

為解決復原后的運動模糊人像圖像的輪廓模糊、細節(jié)丟失等問題，提出了基于多級跳躍殘差組生成對抗網(wǎng)絡(luò)（GAN）的運動人像去模糊方法。首先，改進殘差塊以構(gòu)造多級跳躍殘差組模塊，并改進PatchGAN的結(jié)構(gòu)以使GAN能夠更好地結(jié)合各層的圖像特征；其次，使用多損失融合的方法優(yōu)化網(wǎng)絡(luò)，從而增強重建后圖像的真實紋理；最后，采用端到端的模式將運動模糊的人像圖像進行盲去模糊操作，并輸出清晰的人像圖像。在CelebA數(shù)據(jù)集上的實驗結(jié)果表明，相較于DeblurGAN（Deblur GAN）、尺度循環(huán)網(wǎng)絡(luò)（SRN）和MSRAN（Multi-Scale Recurrent Attention Network）等基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法，所提方法的峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）分別至少提高了0.46 dB和0.05；同時，所提方法的模型參數(shù)更少，修復速度更快，且復原后的人像圖像具有更多的紋理細節(jié)。

圖像去模糊；盲去模糊；生成對抗網(wǎng)絡(luò)；多級跳躍殘差組；多損失融合

0 引言

拍攝人像圖像時容易產(chǎn)生運動模糊，主要原因是在相機的短曝光時間內(nèi)，相機與拍照對象產(chǎn)生了相對運動。單幅運動圖像去模糊問題是指在給定一幅運動模糊圖像的情況下，估計未知的清晰圖像。圖像去模糊問題分為兩種類型：盲去模糊和非盲去模糊。早期的方法主要是非盲去模糊，即假設(shè)模糊系數(shù)已知，采用Lucy-Richardson算法［1］、Wiener或Tikhonow濾波器等進行去卷積操作，但是實際情況中模糊圖像的模糊核通常是未知的。自Fergus等［2］研究成功，許多方法被相繼提出。Pan等［3］采用暗通道檢驗的模糊核估計方法，提出了L0正則化項，以最小化恢復圖像的暗通道。該方法在一般的自然圖像上表現(xiàn)良好，但不適用于特殊的場景，如文本圖像、人像圖像和低光照圖像。Li等［4］采用數(shù)據(jù)驅(qū)動先驗方式，提出了一種基于半二次方分裂法和梯度下降算法的高效數(shù)值算法，在計算過程中可以快速收斂，并且可以應用在不同的場景中。Levin等［5］采用超拉普拉斯先驗建模圖像的梯度估計模糊核，但該方法僅適合求解一維的模糊核。除了以上幾種方法，還有使用稀疏核先驗［6］、正則化稀疏先驗［7］等方法進行圖像去模糊操作；但是傳統(tǒng)方法存在模糊核的估計準確度不高、圖像修復質(zhì)量差、去模糊位置不準確等缺點，導致成像圖像質(zhì)量不高。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的方法在計算機視覺領(lǐng)域得到了廣泛的應用?；谏疃葘W習的運動圖像去模糊方法，借助神經(jīng)網(wǎng)絡(luò)強大的特征學習能力，能夠更好地抓取圖像特征，提高去模糊效果，修繕圖像紋理細節(jié)，展現(xiàn)出良好的圖像復原效果。Xu等［8］引入一種新穎的、可分離結(jié)構(gòu)的卷積結(jié)構(gòu)進行反卷積，它使網(wǎng)絡(luò)具有更強的表現(xiàn)力，可以映射到更高的維度以適應非線性特征，并取得了比圖像先驗更好的復原效果。Sun等［9］使用CNN估計模糊系數(shù)，再使用馬爾可夫隨機場，將基于patch的估計融合到運動核的密集域中。Gong等［10］使用完全卷積網(wǎng)絡(luò)（Fully Convolutional Network， FCN）估計運動流，并據(jù)此進行圖形去模糊，得到清晰圖像。Nah等［11］使用一種端到端的多尺度神經(jīng)網(wǎng)絡(luò)，遵循傳統(tǒng)的“由粗到細”的網(wǎng)絡(luò)框架恢復模糊圖像。網(wǎng)絡(luò)的輸入和輸出都采用高斯金字塔形式，同時提出了多尺度損失函數(shù)，更好地優(yōu)化處理模糊圖像中的不同層次特征，但它的結(jié)構(gòu)復雜，收斂較慢。Kupyn等［12］提出去模糊網(wǎng)絡(luò)DeblurGAN（Deblur Generation Adversarial Network），使用端到端的基于條件性的生成對抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）和內(nèi)容損失的學習方法。對抗網(wǎng)絡(luò)通過學習圖像的圖形結(jié)構(gòu)特征，在運動模糊圖像上取得了較好的視覺觀感和感知保真度，但是在處理小尺寸的模糊圖像時，容易出現(xiàn)振鈴效果。Tao等［13］利用“由粗到細”的方法，在單幅去模糊圖像中使用尺度循環(huán)網(wǎng)絡(luò)（Scale-Recurrent Network， SRN）還原圖像；但是該方法在還原模糊人像時，人像邊緣細節(jié)容易模糊不清。Wu等［14］結(jié)合“由粗到細”和“堆疊”這兩種結(jié)構(gòu)，解決了原本“由粗到細”架構(gòu)用于人臉去模糊時，模型難訓練、參數(shù)計算量大等問題，但該方法在人像的紋理細節(jié)部分修復效果較差。陳貴強等［15］使用半監(jiān)督的方式，在不需要訓練大量成對圖像的基礎(chǔ)上，將視頻監(jiān)控下的模糊人像圖像恢復成清晰人像圖像；但是由于缺少先驗知識，在人像圖像過于模糊時，人像輪廓難以恢復。歐陽寧等［16］在GAN的基礎(chǔ)上，使用形變卷積模塊和通道注意力模塊組成的自適應殘差塊，有效去除圖像的運動模糊，但對于結(jié)構(gòu)較為復雜的人像圖像復原效果較差。魏海云等［17］針對運動模糊圖像引入帶有注意力機制的殘差塊，加入空間金字塔池化，復原非均勻模糊圖像。劉萬軍等［18］在多尺度網(wǎng)絡(luò)中使用跨尺度網(wǎng)絡(luò)權(quán)值共享并融合DenseNet，減少模型參數(shù)，提高網(wǎng)絡(luò)的穩(wěn)定性。王向軍等［19］提出MSRAN（Multi-Scale Recurrent Attention Network），在SRN的基礎(chǔ)上，使用深度可分離卷積，改進注意力機制模塊，并對卷積層密集連接，提高網(wǎng)絡(luò)特征參數(shù)的利用率；雖然該網(wǎng)絡(luò)帶來了良好的模糊圖像修復效果，但是網(wǎng)絡(luò)較為龐大，訓練測試速度較慢。Zhang等［20］提出一種深度堆疊的多尺度補丁網(wǎng)絡(luò)（Deep Multi-Patch Hierarchical Network， DMPHN），打破了簡單堆疊網(wǎng)絡(luò)深度而不能提升性能的限制，在不同層輸入具有相同分辨率，采用較小的濾波器尺寸提高網(wǎng)絡(luò)的計算速度。李福海等［21］提出一種梯度信息聯(lián)合GAN的去模糊方法，該方法的生成網(wǎng)絡(luò)使用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network， FPN）和梯度分支獲取多尺度特征和更小的局部特征，再聯(lián)合梯度信息和FPN重建圖像的高頻信息。虞志軍等［22］提出一種增強多尺度特征網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用多分支不同大小的卷積核擴大感受野，使用跳躍連接跨階進行特種融合，解決了多尺度圖像特征提取利用不充分和深層網(wǎng)絡(luò)信息丟失的問題。王晨卿等［23］提出一種多尺度條件下的GAN，該網(wǎng)絡(luò)使用一種多尺度殘差塊，在單個塊內(nèi)構(gòu)建分級連接和增加不同感受野分支，以提高多尺度殘差模塊的特征提取能力。魏丙財?shù)龋?4］針對拍攝過程中的運動抖動、電子干擾導致的圖像模糊問題，提出了一種基于深度殘差的GAN，并通過改進PatchGAN［25］，將底層感受野提高了兩倍，但是該方法在人像細節(jié)部位恢復上仍存在不足。

針對上述問題，本文改進GAN，提出了一種端到端基于多級跳躍殘差組生成對抗網(wǎng)絡(luò)的運動人像去模糊方法。利用GAN強大的學習圖形結(jié)構(gòu)能力和保留圖像紋理細節(jié)的能力，本文方法的生成網(wǎng)絡(luò)使用改進殘差塊（Residual Block）和多級跳轉(zhuǎn)連接［26］組成的多級跳躍殘差組模塊學習圖像的多層特征，使網(wǎng)絡(luò)更加穩(wěn)定，細節(jié)處理更加完善，輸出清晰人像圖像，判別網(wǎng)絡(luò)使用改進的PatchGAN結(jié)構(gòu)進行判別。相較于DeblurGAN［12］，本文方法的參數(shù)更少、速度更快，模糊人像修復效果更好。

1 相關(guān)工作

1.1　人像圖像的模糊

人像去模糊的目的是從所獲得的模糊人像圖像中恢復清晰人像。模糊人像圖像的生成過程通?？梢员硎緸橐韵聰?shù)學模型［19］：

1.2　生成對抗網(wǎng)絡(luò)

作為深度學習領(lǐng)域研究的重點，各式各樣的GAN層出不窮，如DeblurGAN、SRGAN（Super-Resolution GAN）、ESRGAN（Enhanced SRGAN）等。根據(jù)文獻［27］，本文方法在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的對抗訓練中生成真實的去模糊人像圖像。判別網(wǎng)絡(luò)使用PatchGAN的方式，交替與生成網(wǎng)絡(luò)一起優(yōu)化［26］，以解決對抗性最小最大問題，公式如下：

其中：為數(shù)據(jù)分布；是隨機噪聲分布；、表示輸入的真實數(shù)據(jù)和隨機噪聲。在GAN中，訓練G的目標是盡量生成真實圖像，以欺騙D；而D的目標是區(qū)分G生成圖像與真實圖像。本文方法的流程如圖1所示。

2 本文方法

2.1　生成網(wǎng)絡(luò)

結(jié)構(gòu)復雜的網(wǎng)絡(luò)可能難以訓練，但是復雜的映射關(guān)系可能大幅提升網(wǎng)絡(luò)的性能。為了使更深層次的網(wǎng)絡(luò)表現(xiàn)得更好，本文使用批量標準化（Batch Normalization， BN）消除中間層數(shù)據(jù)分布發(fā)生改變的問題，保留BN層可以幫助網(wǎng)絡(luò)加快學習速度、解決梯度消失的問題，保證網(wǎng)絡(luò)的穩(wěn)定性。本文方法的生成網(wǎng)絡(luò)部分如圖2所示，網(wǎng)絡(luò)由3部分組成：淺層特征提取模塊、多級跳躍殘差組模塊和特征重建模塊。生成網(wǎng)絡(luò)的核心部分由具有相同布局的個殘差組構(gòu)成。受文獻［28-29］的啟發(fā)，使用2個卷積層（Conv）、1個BN層和2個整流線性單元（Rectified Linear Unit， ReLU）作為激活函數(shù)改進殘差塊。

為了進一步提高本文方法的恢復圖像質(zhì)量，設(shè)計一個多級跳躍殘差組模塊，代替原本生成網(wǎng)絡(luò)中的殘差塊。多級跳躍殘差組模塊由3個改進殘差塊、1個3×3的卷積層和多級跳躍連接組成，激活函數(shù)使用ReLU。多級跳躍連接可以有效地將圖像原始特征信息傳給更深層次，進行跨層有效學習，最后將原始特征和深度殘差特征以對應元素相加的方式融合。

特征重建模塊使用兩個3×3的卷積層、一個9×9的卷積層和ReLU，激活函數(shù)使用tanh。特征重建模塊能夠重建殘差組的深層次特征，并結(jié)合全局跳躍連接生成去模糊圖像。在圖2中，卷積操作時的步長大小為1。

圖2　生成網(wǎng)絡(luò)結(jié)構(gòu)

2.2　判別網(wǎng)絡(luò)

本文在判別網(wǎng)絡(luò)中使用PatchGAN方式。普通GAN的判別網(wǎng)絡(luò)是將輸入映射成一個實數(shù)，即輸入樣本為真樣本的概率；而PatchGAN將輸入映射為×的矩陣，X，j的值表示每個patch為真實樣本的概率，將X，j求平均值，即為判別網(wǎng)絡(luò)最終輸出。PatchGAN的X，j對應判別網(wǎng)絡(luò)輸入圖像的一小塊的判別輸出，它的感受域?qū)斎雸D像的一小塊區(qū)域，可以充分考慮圖像不同部分的影響，在模糊人像的修復上，可以更關(guān)注圖像的細節(jié)。如表1所示，判別網(wǎng)絡(luò)中含有8個卷積層，卷積核大小都設(shè)置為3×3，每一層卷積后都加入非線性激活函數(shù)LeakyReLU（負斜率=0.2），避免整個網(wǎng)絡(luò)最大池化。判別網(wǎng)絡(luò)的過濾器（filter）數(shù)從64增長到1 024，特征數(shù)量每增加一倍時，就使用步長為2的卷積層使圖像分辨率降低為原本的1/2。輸入人像圖像默認設(shè)置大小為256×256×3，PatchGAN通過8層卷積層的疊加，將16×16×1作為最終的判別矩陣的大小。

表1　判別網(wǎng)絡(luò)模型參數(shù)

2.3　改進的殘差結(jié)構(gòu)

殘差網(wǎng)絡(luò)（Residual Network）［30］很好地解決了網(wǎng)絡(luò)層數(shù)過深導致的訓練難度大、梯度消失和梯度爆炸等問題，引入殘差網(wǎng)絡(luò)可以訓練更深的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3為多級跳躍殘差組和改進殘差塊。通過實驗可知，BN層可以有效解決梯度消失問題，但改進殘差塊用于模糊人像修復時，模糊人像圖像尺寸較小，采用大小為2的小批量訓練模型，因此改進殘差塊包括1個BN層，2個3×3卷積核的卷積層，2個ReLU激活函數(shù)，這樣可以加快收斂，使得網(wǎng)絡(luò)訓練更加靈活。最后使用一個跳躍連接，在一定程度上解決梯度消失帶來的問題。

圖3　多級跳躍殘差組結(jié)構(gòu)

2.4　損失函數(shù)

本文使用和文獻［12，28-29］中同樣預訓練的VGG19。圖4為VGG19不同層的特征圖對比，對比不同層的圖像特征信息可以看出，激活前的特征圖包含了更多的信息。

圖4　VGG19不同層激活前后特征圖對比

對抗損失的計算方式如下：

感知損失側(cè)重修復圖像的一般內(nèi)容［32］，能保持圖像的感知保真度，使生成圖像與清晰圖像的內(nèi)容和全局結(jié)構(gòu)更加接近。感知損失計算方式如下：

3 實驗與結(jié)果分析

3.1　實驗數(shù)據(jù)及實驗參數(shù)

實驗使用CelebA數(shù)據(jù)集［34］進行訓練測試。CelebA是一個大規(guī)模的人臉屬性數(shù)據(jù)集，包含20多萬張名人圖像，每張圖像有40個屬性注釋，該數(shù)據(jù)集中的圖像涵蓋了較大的姿勢變化和背景變化。CelebA的圖像種類多、數(shù)量多、注釋豐富，包括10 177個身份、202 599張人臉圖像和5個地標位置，每張圖像有40個二進制屬性注釋。本文將180 000張人像圖像用于訓練，22 599張用于性能評估，圖像的大小為178×218，訓練時將RGB圖像大小重新設(shè)置為256×256。模糊數(shù)據(jù)集采用3×3的高斯模糊進行處理，運動模糊數(shù)據(jù)集采用getRotationMatrix2D函數(shù)，生成旋轉(zhuǎn)中心和旋轉(zhuǎn)角度為20°以內(nèi)的任意整數(shù)的旋轉(zhuǎn)變化矩陣，再通過warpAffine方法進行仿射變換，模擬真實場景中不同程度的圖像運動模糊。實驗分兩組，一組還原處理3×3的高斯模糊人像圖像，另一組還原處理旋轉(zhuǎn)中心和旋轉(zhuǎn)角度均為20°的人像運動模糊圖像。

為了驗證真實場景中對模糊的人像圖像的處理效果，本文采用GoPro數(shù)據(jù)集。GoPro數(shù)據(jù)集包括3 214張大小為1 280×720的模糊圖像，其中2 103張是訓練圖像，1 111張是測試圖像。該數(shù)據(jù)集由一一對應的真實模糊圖像與ground truth圖像組成，均由高速攝像機拍攝。

3.2　評價指標

為了驗證本文方法在運動人像去模糊上的有效性，在相同條件下進行了大量實驗。采用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity， SSIM）作為評價指標。PSNR和SSIM的公式如下：

3.3　消融實驗

3.3.1VGG19不同卷積層去模糊效果對比

表2　VGG19不同卷積層的去模糊效果對比

3.3.2不同損失函數(shù)組合

在CelebA數(shù)據(jù)集上，對不同損失函數(shù)的去模糊效果進行了實驗，結(jié)果如表3、圖5所示。可以看出，只使用對抗損失和感知損失作為損失函數(shù)得到的性能指標較低，使用對抗損失和感知損失融合的損失函數(shù)得到的結(jié)果最好。

表3　不同損失函數(shù)的消融實驗結(jié)果

圖5　不同損失函數(shù)的去模糊結(jié)果

3.4　實驗結(jié)果與分析

3.4.1不同數(shù)量殘差塊去模糊效果對比

為了探究不同殘差塊數(shù)組成的多級跳躍殘差組對去模糊效果的影響，分別在不同殘差塊數(shù)下進行實驗，結(jié)果如表4、圖6所示。每組殘差塊的最后加入了一個卷積核為3×3、通道數(shù)為64的卷積層，激活函數(shù)使用ReLU。當殘差塊數(shù)為1時，本文方法能基本還原人像的輪廓信息，但是色準偏差較大；通過增加每個殘差組中殘差塊的數(shù)量后，當殘差塊數(shù)為3時，得到了視覺效果最佳的人像修復效果。由表4可知，相較于每個多級跳躍殘差組使用1個和2個殘差塊，使用3個殘差塊的PSNR分別提升了2.36 dB和1.98 dB，SSIM分別提升了0.19和0.12。綜上可知，隨著每個多級跳躍殘差組中的殘差塊數(shù)的增多，本文方法在運動人像去模糊方面擁有更好的色準還原能力和更強的圖像高頻細節(jié)修復能力；但考慮模型計算量，為了高效快速地去除運動模糊人像，以下實驗均使用3個殘差塊。

3.4.2CelebA數(shù)據(jù)集上效果驗證

為了驗證本文方法的有效性和魯棒性，以在CelebA數(shù)據(jù)集上的平均PSNR和平均SSIM作為定量評價指標，分別進行人像圖像高斯模糊去除和運動模糊去除對比實驗，與模糊去除的典型方法Multi-scale CNN［11］、DeblurGAN［12］、SRN［13］、MSRAN［19］和DMPHN［20］進行定量比較，其中DeblurGAN同樣使用GAN，實驗結(jié)果如表5～6所示。

表4　不同數(shù)量的殘差塊性能分析

圖6　不同殘差塊數(shù)情況下的去模糊結(jié)果

從表5可知，本文方法在CelebA數(shù)據(jù)集上取得了最佳的PSNR和SSIM值，相較于DeblurGAN和DMPHN，分別提高了4.29 dB、0.09和0.58 dB、0.03。其中，本文的生成網(wǎng)絡(luò)模型比DeblurGAN的生成網(wǎng)絡(luò)模型參數(shù)量減少了74.33%。

表5　不同方法去除人像高斯模糊性能的定量比較結(jié)果

圖7為不同方法對模糊人像去模糊效果對比。其中：基于GAN的DeblurGAN對模糊圖像的修復效果有限，在人像的邊緣和細節(jié)部分，存在較大的失真現(xiàn)象，圖像邊緣存在粘連的情況，圖像整體修復效果不佳；SRN、MSRAN和DMPHN均采用多尺度循環(huán)網(wǎng)絡(luò)的方式對圖像去模糊，整體成像效果較接近，并且比DeblurGAN的人像修復效果更好，修復的圖像整體相對平滑；本文方法修復的人像圖像較其他對比方法，在紋理方面細節(jié)更加豐富，能清楚地還原發(fā)絲的輪廓和細節(jié)，并且人物和背景之間的虛化更加自然。

圖7　不同方法在CelebA數(shù)據(jù)集上對高斯模糊人像的去模糊結(jié)果對比

表6給出了針對人像圖像去除運動模糊的對比實驗結(jié)果。相較于同樣使用GAN的DeblurGAN，本文方法在PSNR和SSIM值上分別提高了1.95 dB、0.09。與使用多尺度的SRN和MSRAN相比，分別提高了2.42 dB、0.10和0.46 dB、0.05。與DMPHN相比，分別提高了1.35 dB、0.07，但是DMPHN的修復速度更高。其中，本文方法的單張圖像的修復時間相較于DeblurGAN減少了8.25%。

表6　不同方法去除人像運動模糊性能的定量比較結(jié)果

圖8為不同方法對運動模糊人像去模糊的結(jié)果。在去除運動模糊后，DeblurGAN修復圖像的效果有限，依舊存在失真現(xiàn)象。圖8（c）～（d）、（f）都具有一定的去模糊效果，但是在邊緣細節(jié)部分存在模糊、噪點較多的問題。本文方法修復的圖像較其他對比方法具有更清晰的邊緣。

圖8　不同方法在CelebA數(shù)據(jù)集上對運動模糊人像的去模糊結(jié)果對比

由以上實驗結(jié)果可以看出，本文方法在人像的高斯模糊去除和運動模糊去除上均取得了不錯的成績。本文方法對CelebA數(shù)據(jù)集上的圖像復原質(zhì)量更高、時間更短，在較少的生成網(wǎng)絡(luò)參數(shù)基礎(chǔ)上，實現(xiàn)更好的人像的紋理細節(jié)修復效果，修復后的人像圖像人眼視覺觀感更佳。

3.4.3GoPro數(shù)據(jù)集上效果驗證

為了驗證本文方法在真實場景的去模糊效果，采用GoPro數(shù)據(jù)集測試，并與典型模糊去除方法Multi-scale CNN、DeblurGAN、SRN、MSRAN和DMPHN進行定量比較，評價指標采用PSNR和SSIM，結(jié)果如表7所示。DMPHN取得了最高的PSNR值，比本文方法高0.03 dB；但在SSIM指標上，本文方法取得最佳數(shù)值，相較于DMPHN提高了0.2。相較于同樣使用生成對抗網(wǎng)絡(luò)的DeblurGAN，本文方法的PSNR和SSIM數(shù)值分別提高了2.23 dB、0.07。

圖9為不同方法在GoPro數(shù)據(jù)集上對運動模糊圖像的去模糊結(jié)果對比。在人像修復方面，DeblurGAN在去模糊時，偏向于較高銳化度，導致人像部分修復細節(jié)不足；SRN與MSRAN的修復效果相較于DeblurGAN有所改善，但存在噪點和色差；本文方法在修復人像時，能減少噪點的影響并準確還原顏色。但是，在標牌圖的去模糊結(jié)果中，DeblurGAN的高銳化度帶來了更好的識別效果，MSRAN能夠還原字母的邊緣輪廓，表明MSRAN在文字修復上效果最好，文字輪廓更清晰。本文方法在人像方面修復效果優(yōu)于其他對比方法，顏色還原更為準確，輪廓較為清晰；但由于本文方法是在人像數(shù)據(jù)集上訓練，所以在標識牌的修復效果上稍弱于MSRAN。綜上，實驗結(jié)果驗證了本文方法在人像去模糊上的有效性和魯棒性。

表7　不同方法在GoPro數(shù)據(jù)集上的去模糊效果實驗結(jié)果對比

圖9　不同方法在GoPro數(shù)據(jù)集上對運動模糊圖像的去模糊結(jié)果對比

4 結(jié)語

本文針對運動人像圖像去模糊問題，提出了一種基于多級跳躍殘差組生成對抗網(wǎng)絡(luò)的運動人像去模糊方法。本文方法采用端到端的模式，在生成網(wǎng)絡(luò)中構(gòu)造由改進的殘差塊組成的多級跳躍殘差組模塊，充分利用神經(jīng)網(wǎng)絡(luò)中各層的數(shù)據(jù)，得到更多圖像特征，實現(xiàn)了精度更高的人像運動模糊復原。與DeblurGAN相比，本文方法提高了模糊人像圖像的還原質(zhì)量，同時減少了修復圖像的修復時間和生成網(wǎng)絡(luò)的參數(shù)量。實驗結(jié)果表明，在不同模糊程度的人像圖像上，本文方法均取得了良好的圖像還原效果，修復的人像圖像輪廓層次更加鮮明，紋理細節(jié)更加豐富。然而，由于對抗網(wǎng)絡(luò)訓練的不穩(wěn)定性，本文方法對一些結(jié)構(gòu)較為豐富的人像圖像的恢復效果不是很理想，在人像圖像的邊緣與背景交界部分依舊存在噪點。未來的工作將集中于上述問題，并通過尋找新的方法改善缺點。

[1] WHITE R L. Image restoration using the damped Richardson-Lucy method［C］// Proceedings of the SPIE 2198， Instrumentation in Astronomy Ⅷ. Bellingham， WA： SPIE， 1994： 1342-1348.

[2] FERGUS R， SINGH B， HERTZMANN A， et al. Removing camera shake from a single photograph［M］// ACM SIGGRAPH 2006 Papers. New York： ACM， 2006： 787-794.

[3] PAN J， SUN D， PFISTER H， et al. Blind image deblurring using dark channel prior［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1628-1636.

[4] LI L， PAN J， LAI W S， et al. Learning a discriminative prior for blind image deblurring［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6616-6625.

[5] LEVIN A. Blind motion deblurring using image statistics［C］// Proceedings of the 19th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2006： 841-848.

[6] YUAN X， ZHU J， LI X. Blur kernel estimation by structure sparse prior［J］. Applied Sciences， 2020， 10（2）： No.657.

[7] LIU S， FENG Y， ZHANG S， et al.0sparse regularization-based image blind deblurring approach for solid waste image restoration［J］. IEEE Transactions on Industrial Electronics， 2019， 66（12）： 9837-9845.

[8] XU L， REN J S J， LIU C， et al. Deep convolutional neural network for image deconvolution［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 1. Cambridge： MIT Press， 2014： 1790-1798.

[9] SUN J， CAO W， XU Z， et al. Learning a convolutional neural network for non-uniform motion blur removal［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 769-777.

[10] GONG D， YANG J， LIU L， et al. From motion blur to motion flow： a deep learning solution for removing heterogeneous motion blur［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3806-3815.

[11] NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 257-265.

[12] KUPYN O， BUDZAN V， MYKHAILYCH M， et al. DeblurGAN： blind motion deblurring using conditional adversarial networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8183-8192.

[13] TAO X， GAO H， SHEN X， et al. Scale-recurrent network for deep image deblurring［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8174-8182.

[14] WU Y， HONG C， ZHANG X， et al. Stack-based scale-recurrent network for face image deblurring［J］. Neural Processing Letters， 2021， 53（6）： 4419-4436.

[15] 陳貴強，何軍，羅順茺. 基于改進CycleGAN的視頻監(jiān)控人臉超分辨率恢復算法［J］. 計算機應用研究， 2021， 38（10）：3172-3176.（CHEN G Q， HE J， LUO S C. Improved video surveillance face super-resolution recovery algorithm based on CycleGAN［J］. Application Research of Computers， 2021， 38（10）：3172-3176.）

[16] 歐陽寧，鄧超陽，林樂平. 基于自適應殘差的運動圖像去模糊［J］. 計算機工程與設(shè)計， 2021， 42（6）：1684-1690.（OUYANG N， DENG C Y， LIN L P. Motion image deblurring based on adaptive residuals［J］. Computer Engineering and Design， 2021， 42（6）： 1684-1690.）

[17] 魏海云，鄭茜穎，俞金玲. 基于多尺度網(wǎng)絡(luò)的運動模糊圖像復原算法［J］. 計算機應用， 2022， 42（9）： 2838-2844.（WEI H Y， ZHENG Q Y， YU J L. Motion blurred image restoration algorithm based on multi-scale network［J］. Journal of Computer Applications， 2022， 42（9）： 2838-2844.）

[18] 劉萬軍，張正寰，曲海成. 融合DenseNet的多尺度圖像去模糊模型［J］. 計算機工程與應用， 2021， 57（24）： 219-226.（LIU W J， ZHANG Z H， QU H C. Multi-scale image deblurring model with DenseNet［J］. Computer Engineering and Applications， 2021， 57（24）：219-226.）

[19] 王向軍，歐陽文森. 多尺度循環(huán)注意力網(wǎng)絡(luò)運動模糊圖像復原方法［J］. 紅外與激光工程， 2022， 51（6）： No.20210605.（WANG X J， OUYANG W S. Multi-scale recurrent attention network for image motion deblurring［J］. Infrared and Laser Engineering， 2022， 51（6）： No.20210605.）

[20] ZHANG H， DAI Y， LI H， et al. Deep stacked hierarchical multi-patch network for image deblurring［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5971-5979.

[21] 李福海，蔣慕蓉，楊磊，等. 基于生成對抗網(wǎng)絡(luò)的梯度引導太陽斑點圖像去模糊方法［J］. 計算機應用， 2021， 41（11）：3345-3352.（LI F H， JIANG M R， YANG L， et al. Solar speckle image deblurring method with gradient guidance based on generative adversarial network［J］. Journal of Computer Applications， 2021， 41（11）： 3345-3352.）

[22] 虞志軍，王國棟，張鐔月. 基于增強多尺度特征網(wǎng)絡(luò)的圖像去模糊［J］. 激光與光電子學進展， 2022， 59（22）： No.2215007.（YU Z J， WANG G D， ZHANG X Y. Image deblurring based on enhanced multi-scale feature network［J］. Laser and Optoelectronics Progress， 2022， 59（22）： No.2215007.）

[23] 王晨卿，荊濤，劉云鵬，等. 基于多尺度條件生成對抗網(wǎng)絡(luò)的圖像去模糊［J］. 計算機工程與設(shè)計， 2022， 43（4）：1074-1082.（WANG C Q， JIN T， LIU Y P， et al. Image deblurring based on multi-scale conditional generative adversarial network［J］. Computer Engineering and Design， 2022， 43（4）：1074-1082.）

[24] 魏丙財，張立曄，孟曉亮，等. 基于深度殘差生成對抗網(wǎng)絡(luò)的運動圖像去模糊［J］. 液晶與顯示， 2021， 36（12）： 1693-1701.（WEI B C， ZHANG L Y， MENG X L， et al. Motion image deblurring based on depth residual generative adversarial network［J］. Chinese Journal of Liquid Crystals and Displays， 2021， 36（12）： 1693-1701.）

[25] LI C， WAND M. Precomputed real-time texture synthesis with Markovian generative adversarial networks［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9907. Cham： Springer， 2016： 702-716.

[26] SCHULER C J， HIRSCH M， HARMELING S， et al. Learning to deblur［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（7）： 1439-1451.

[27] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Cambridge： MIT Press， 2014： 2672-2680.

[28] LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 105-114.

[29] WANG X， YU K， WU S， et al. ESRGAN： enhanced super-resolution generative adversarial networks［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11133. Cham： Springer， 2019： 63-79.

[30] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.

[31] JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution［C］// Proceedings of the 2016 European Conference on Computer Vision. Berlin： Springer， 2016： 694-711.

[32] ISOLA P， ZHU J Y， ZHOU T， et al. Image-to-image translation with conditional adversarial networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976.

[33] DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 248-255.

[34] LIU Z， LUO P， WANG X， et al. Large-scale CelebFaces attributes （CelebA） dataset［DS/OL］. ［2022-06-14］.http：//mmlab.ie.cuhk.edu.hk/projects/CelebA.html.

[35] KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30） ［2022-06-14］.https：//arxiv.org/pdf/1412.6980.pdf.

Moving portrait debluring network based on multi-level jump residual group

JI Jiaqi， LU Zhenkun*， XIONG Fupeng， ZHANG Tian， YANG Hao

（，，530006，）

To address the issues of blurred contours and lost details of portrait image with motion blur after restoration， a moving portrait deblurring method based on multi-level jump residual group Generation Adversarial Network （GAN） was proposed. Firstly， the residual block was improved to construct the multi-level jump residual group module， and the structure of PatchGAN was also improved to make GAN better combine with the image features of each layer. Secondly， the multi-loss fusion method was adopted to optimize the network to enhance the real texture of the reconstructed image. Finally， the end-to-end mode was used to perform blind deblurring on the motion blurred portrait image and output clear portrait image. Experimental results on CelebA dataset show that the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the proposed method are at least 0.46 dB and 0.05 higher than those of the Convolutional Neural Network （CNN）-based methods such as DeblurGAN （Deblur GAN）， Scale-Recurrent Network （SRN） and MSRAN （Multi-Scale Recurrent Attention Network）. At the same time， the proposed method has fewer model parameters， faster restoration， and more texture details in the restored portrait images.

image debluring; blind deblurring; Generative Adversarial Network (GAN); multi-level jump residual group; multi-loss fusion

This work is partially supported by National Natural Science Foundation of China （61561008）， Natural Science Foundation of Guangxi （2018GXNSFAA294019）.

JI Jiaqi， born in 1997， M. S. candidate. His research interests include deep learning， image processing.

LU Zhenkun， born in 1979， Ph. D.， professor. His research interests include image processing， ultrasound testing and imaging， computer vision， deep learning.

XIONG Fupeng， born in 1998， M. S. candidate. His research interests include deep learning.

ZHANG Tian， born in 1999， M. S. candidate. Her research interests include deep learning， image processing.

YANG Hao， born in 1995， M. S. candidate. His research interests include deep learning， image processing.

1001-9081（2023）10-3244-07

10.11772/j.issn.1001-9081.2022091457

2022?10?08；

2023?01?03；

國家自然科學基金資助項目（61561008）；廣西自然科學基金資助項目（2018GXNSFAA294019）。

紀佳奇（1997—），男，江蘇徐州人，碩士研究生，主要研究方向：深度學習、圖像處理； 盧振坤（1979—），男，廣西百色人，教授，博士，CCF會員，主要研究方向：圖像處理、超聲檢測與成像、計算機視覺、深度學習； 熊福棚（1998—），男，河南光山人，碩士研究生，主要研究方向：深度學習； 張?zhí)穑?999—），女，陜西黃陵人，碩士研究生，主要研究方向：深度學習、圖像處理； 楊豪（1995—），男，廣西欽州人，碩士研究生，主要研究方向：深度學習、圖像處理。

TP391.41

A

2023?02?01。