基于DeblurGAN對(duì)運(yùn)動(dòng)圖像的去模糊化研究

梁志勇，肖衡，楊琳

（1.三亞學(xué)院信息與智能工程學(xué)院，三亞 572022；2.三亞學(xué)院超算中心，三亞 572022）

1 背景

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）是Goodfellow等在2014年提出的一種生成模型，通過讓兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈的方式進(jìn)行學(xué)習(xí)。GAN的主要靈感來源于博弈論中零和博弈的思想，應(yīng)用到深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)上來說，就是通過生成網(wǎng)絡(luò)G（Generator）和判別網(wǎng)絡(luò) D（Discriminator）不斷的進(jìn)行互相博弈，進(jìn)而使網(wǎng)絡(luò)G學(xué)習(xí)到數(shù)據(jù)的分布，如果應(yīng)用于圖形圖像的生成上，則訓(xùn)練完成后，網(wǎng)絡(luò)G可以從一段隨機(jī)數(shù)中生成逼真的圖像。

GAN的優(yōu)勢(shì)在于不僅能夠保存圖像中高紋理細(xì)節(jié)，而且創(chuàng)建出來的圖像又能最大限度接近真實(shí)圖像，所以可以主要用于圖像超分辨率重構(gòu)和圖像修復(fù)。正因?yàn)镚AN有著這樣的優(yōu)勢(shì)，故可以基于條件GAN和多元內(nèi)容損失的DeblurGAN用于運(yùn)動(dòng)圖像的去模糊化操作。無內(nèi)核的盲目運(yùn)動(dòng)去模糊的方法——Deblur-GAN用多分量損失函數(shù)來優(yōu)化條件對(duì)抗網(wǎng)絡(luò)的去模糊實(shí)現(xiàn)了一個(gè)實(shí)際合成的模糊去模擬不同的模糊源。

2 DeblurGAN

2.1 傳統(tǒng)圖像去模糊化架構(gòu)

圖像去模糊化處理是一個(gè)典型的不適應(yīng)問題，因此處理難度比較大。在深度學(xué)習(xí)流行以前，傳統(tǒng)的圖像去模糊化主要使用模糊模型對(duì)其進(jìn)行建模處理。模糊模型的常見表述如下：IB=K*IS+N。其中IB是模糊圖像，K是模糊核，*表示卷積運(yùn)算，N是加性噪聲，IS是潛在、未知的清晰圖像，也就是最終重構(gòu)出來的清晰圖像。

在去模糊化的方法中，一般分為兩種類型：盲目去模糊與非盲目去模糊。但是在實(shí)際去模糊化操作中，模糊函數(shù)是未知的，因此可以在潛在、未知的清晰圖像IS和模糊核K中找到盲目去模糊算法。為每個(gè)像素找到模糊函數(shù)是一個(gè)不適定的問題，因此大多數(shù)現(xiàn)有算法依賴于圖像啟發(fā)式和模糊源的假設(shè)。這些方法系列通過考慮圖像上的均勻模糊來解決由相機(jī)抖動(dòng)引起的模糊，這就需要根據(jù)誘導(dǎo)模糊核估計(jì)相機(jī)運(yùn)動(dòng)，然后通過執(zhí)行反卷積操作來反轉(zhuǎn)效果。

2.2 DeblurGAN的整個(gè)網(wǎng)絡(luò)架構(gòu)

在DeblurGAN中，輸入一張模糊的圖像IB，通過構(gòu)建一個(gè)生成對(duì)抗網(wǎng)絡(luò)，訓(xùn)練出一個(gè)卷積神經(jīng)網(wǎng)絡(luò)作為GAN中的生成器和一個(gè)判別網(wǎng)絡(luò)，最終通過對(duì)抗形式重構(gòu)出清晰的圖像IS，從而達(dá)到去運(yùn)動(dòng)模糊的結(jié)果。整個(gè)網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 DeblurGAN流程圖

2.3 DeblurGAN的生成器和判別器

在生成器G（Generator）的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上，DeblurGAN使用深度殘差網(wǎng)絡(luò)（ResNet）結(jié)構(gòu)，由于ResNet不僅大幅增加了神經(jīng)網(wǎng)絡(luò)層數(shù)，而且在一定程度上解決了在很深的網(wǎng)絡(luò)訓(xùn)練中梯度消失或梯度爆炸問題，這可以大幅提升模型的容納能力，從而最終獲得更佳的圖像生成效果。對(duì)于生成器G的結(jié)構(gòu)如圖1所示。在圖中的架構(gòu)中可以看出，DeblurGAN包含兩個(gè)1/2間隔的卷積單元、9個(gè)剩余residual單元和兩個(gè)反卷積單元。每個(gè)ResBlock由一個(gè)卷積層、實(shí)例歸一化層和ReLU激活組成。而DeblurGAN的判別器D（Discriminator）的網(wǎng)絡(luò)架構(gòu)依然使用pix2pix中的Patch-GAN。

2.4 DeblurGAN的損失函數(shù)

在DeblurGAN中，損失函數(shù)由“Adversarial loss”和“Content loss”這兩部分構(gòu)成，其整體計(jì)算公式是L=LGAN+λ?LX，其中LGAN是 Adversarial loss、LX是 Content loss，λ=100。

（1）Adversarial loss

訓(xùn)練原始的GAN很容易遇到梯度消失、模型崩潰等問題，訓(xùn)練起來十分棘手。使用WGAN-GP實(shí)現(xiàn)了在多種GAN結(jié)構(gòu)上穩(wěn)定訓(xùn)練，且?guī)缀醪恍枰{(diào)整超參數(shù)。在DeblurGAN中使用的是WGAN-GP，Adversarial loss的計(jì)算式如下：

（2）Content loss

內(nèi)容損失是評(píng)估生成的清晰圖像和實(shí)際清晰圖像之間的差距。兩個(gè)常用的選擇是L1（MAE）損失，和L2（MSE）損失。在 DeblurGAN 中使用“Perceptual loss”，本質(zhì)上是一種L2（MSE）損失。Content loss的計(jì)算式如下：

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)在Windows操作系統(tǒng)下基于TensorFlow深度學(xué)習(xí)框架下實(shí)現(xiàn)。數(shù)據(jù)集使用GOPRO數(shù)據(jù)集中進(jìn)行訓(xùn)練。計(jì)算機(jī)硬件環(huán)境為AMD Ryzen 5 1600+16G內(nèi)存+NVIDIA GeForce GTX1660TI。在模型中，生成器G和判別器D的學(xué)習(xí)率learning_rate設(shè)置成10-4。設(shè)置batch_size為200，可同時(shí)處理200張圖像。設(shè)置epoch為200，表示訓(xùn)練200次全數(shù)據(jù)集，同時(shí)設(shè)定每50個(gè)epoch保存一次結(jié)果。

3.2 數(shù)據(jù)集的預(yù)處理

GOPRO數(shù)據(jù)集有三種版本，分別是GOPRO_Large（8.9G）、GOPRO_Large_all（35G）和 blurred_sharp.zip（1G），本文以blurred_sharp.zip中的圖片作為整個(gè)模型的訓(xùn)練集和測(cè)試集。該數(shù)據(jù)集中的圖像主要以汽車的運(yùn)動(dòng)場(chǎng)景所造成的圖像模糊，圖片均為720×720像素的圖片。訓(xùn)練集中的blur文件夾中有1146張運(yùn)動(dòng)模糊圖像和sharp文件夾中與之對(duì)應(yīng)的清晰圖片。在模型的訓(xùn)練過程中，將模糊圖像與相對(duì)應(yīng)的清晰圖像同時(shí)作為生成器G（Generator）的輸入。

圖2 DeblurGAN中生成器G（Generator）的網(wǎng)絡(luò)結(jié)構(gòu)圖

3.3 實(shí)驗(yàn)結(jié)果

經(jīng)過200次全數(shù)據(jù)集的迭代訓(xùn)練之后，使用測(cè)試集圖片進(jìn)行驗(yàn)證，具體結(jié)果如圖3所示。

圖3 DeblurGAN的運(yùn)行結(jié)果對(duì)比圖

從結(jié)果可以看出來，相比于輸入的blur影像，通過DeblurGAN后確實(shí)可以明顯地看出圖像清晰了很多，能顯示出圖像中的一些細(xì)節(jié)紋理，特別是上圖中數(shù)字能基本準(zhǔn)確辨別出來。由于訓(xùn)練的次數(shù)還不夠或者是原圖像過度模糊難以復(fù)原，部分放大了看仍有一些地方比較模糊。為了得到更佳的清晰圖片，可以在增加迭代訓(xùn)練次數(shù)的基礎(chǔ)上采用算力更強(qiáng)的顯卡進(jìn)行更多次的訓(xùn)練，從而既能節(jié)約訓(xùn)練時(shí)間，又能得到較好的預(yù)期結(jié)果。

4 結(jié)語

本文提出來基于DeblurGAN的運(yùn)動(dòng)圖像去模糊的方法，相比傳統(tǒng)的運(yùn)動(dòng)圖像去模糊化算法，采用生成對(duì)抗網(wǎng)絡(luò)（GAN）能夠使得最終生成圖像具有更佳的紋理效果。但由于本文提出的算法在訓(xùn)練過程中參數(shù)設(shè)置過于復(fù)雜，增加了訓(xùn)練的復(fù)雜度，同時(shí)也加深了訓(xùn)練時(shí)間，下一步的研究重點(diǎn)將用于如何在獲得更佳的去模糊化圖像的情況下，對(duì)模型參數(shù)進(jìn)行優(yōu)化，以降低訓(xùn)練的復(fù)雜度和訓(xùn)練時(shí)間。