一種基于深度學(xué)習(xí)的圖像盲去運動模糊算法

朱龍闖

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點學(xué)科實驗室，成都610065）

0 引言

圖像運動去模糊，即從帶有運動性質(zhì)模糊的原始圖像中恢復(fù)出包含重要細節(jié)的清晰圖像，一直是計算機視覺領(lǐng)域一項具有挑戰(zhàn)的工作。隨著網(wǎng)絡(luò)媒體的發(fā)展，生活中產(chǎn)生了大量與人臉相關(guān)的圖片和短視頻等媒體信息。盡管近年來，數(shù)字成像技術(shù)已經(jīng)取得了巨大的進步，但在捕獲內(nèi)容的同時，由于在成像傳感器曝光的期間，場景中物體或者相機的相對運動所引起的運動模糊也成為了一個普遍存在的現(xiàn)象。由此帶來了顯著的視覺質(zhì)量的下降、圖像細節(jié)的丟失等諸多問題，在文獻[1]中表明因模糊而退化的低質(zhì)圖像可能造成許多計算機視覺任務(wù)（例如人臉識別）的性能下降。因此，一種專門設(shè)計的，人性化的去運動模糊算法對于處理以人像為中心的視覺數(shù)據(jù)是十分必要且有益的。

深度學(xué)習(xí)的興起和發(fā)展，給計算機視覺領(lǐng)域的研究帶來了前所未有的成就。尤其是文獻[2]提出的生成式對抗網(wǎng)絡(luò)（GAN）以及其變形因為能夠更好地建模數(shù)據(jù)分布，保留圖像的紋理細節(jié)，來生成更加清晰銳利令人信服的圖像，目前已經(jīng)運用于生成高質(zhì)圖像、圖像翻譯與風(fēng)格遷移、圖像還原與修復(fù)等任務(wù)中。受圖像超分辨率、圖像修復(fù)等工作的啟發(fā)，本文的工作正是以GAN 作為框架，通過端對端的學(xué)習(xí)方式估計運動對象的模糊內(nèi)核，結(jié)合對于生成器以及判別器網(wǎng)絡(luò)的修改，來更好地適應(yīng)高分辨率圖像任務(wù)，同時增加了人臉先驗的損失函數(shù)設(shè)計可以有效約束引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)。

總而言之，工作的主要貢獻是：提出了一種高效的盲去運動模糊的框架，可以提高高分辨率運動模糊圖像的處理能力。結(jié)合人臉先驗信息，能夠更好地定位人臉，高效獲取特定位置和場景下的圖像語義信息。

1 相關(guān)研究

1.1 圖像去運動模糊

在傳統(tǒng)研究中，可以將單張圖像去模糊分為盲去模糊與非盲去模糊。前者將以估計模糊核的形式進行處理，通過反卷積的方式生成清晰圖像；后者則是通過大量的圖像先驗信息和已知的模糊核進行圖像恢復(fù)，是一種更加“理想化”的去模糊方法。然而無論是函數(shù)簡單擬合模糊核還是手工選取的圖像先驗，都難以估計真實圖像中的模糊變化。

隨著深度學(xué)習(xí)的興起，推動了計算機視覺任務(wù)的突破性發(fā)展。Sun 等人[12]首次利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來估計模糊核。Chakrabarti[13]注重局部信息，獨立對各圖像局部進行推理恢復(fù)。此外，Nah[14]直接使用端對端的方式，跳過了模糊核估計這一步驟，直接從模糊圖像恢復(fù)中恢復(fù)清晰圖像，效果令人印象深刻。

GAN 在圖像領(lǐng)域作出了重大貢獻。文獻[15,17]借鑒了圖像翻譯的思路[16]去解決圖像模糊問題。特別文獻[6]結(jié)合Wasserstein GAN[17]、PatchGAN[16]的思想，更加適應(yīng)高分辨率圖像任務(wù)的處理。Lu 等人[18]將內(nèi)容和模糊進行拆分解纏，利用兩個編碼器分別對內(nèi)容和模糊進行特征提取和模糊信息捕獲。

1.2 生成式對抗網(wǎng)絡(luò)

生成式對抗網(wǎng)絡(luò)[2]由Goodfellow 于2014 年提出，其包含兩個部分：生成器和判別器。生成器負責(zé)根據(jù)輸入的信息，通過不斷訓(xùn)練學(xué)習(xí)，生成能夠欺騙判別器的人工合成樣本數(shù)據(jù)，而判別器負責(zé)對輸入的數(shù)據(jù)進行驗偽，同時也不斷學(xué)習(xí)提高自身鑒別能力。兩者本質(zhì)上構(gòu)成了最大-最小化的博弈游戲。其目標(biāo)函數(shù)表示如下：

眾所周知，GAN 目標(biāo)函數(shù)的優(yōu)化也一直是一個難題。文獻[17]證明了傳統(tǒng)的GAN 存在著兩大問題：梯度消失/爆炸和模式崩潰，為此提出了以Wasserstein 距離代替JS 散度的方法來幫助優(yōu)化。Mao[20]、Berthelot[21]、Qi[22]等均在損失函數(shù)設(shè)計上作出了貢獻。

除了在目標(biāo)函數(shù)上通過非正則化或正則化的基礎(chǔ)改進，為滿足實際任務(wù)的需求，GAN 的模型結(jié)構(gòu)上也做出了諸多調(diào)整。cGAN[18]指導(dǎo)了如何通過指定標(biāo)簽生成數(shù)據(jù)；InfoGAN[11]通過從噪聲z 中拆分出結(jié)構(gòu)化的隱含編碼的方法，使得生成過程具有一定程度的可控性、可解釋性；DCGAN[10]引入CNN 概念，極大增強了GAN 的數(shù)據(jù)生成質(zhì)量。

2 算法實現(xiàn)

整個算法流程圖如圖1 所示。

生成器網(wǎng)絡(luò)以帶有運動模糊的圖像做為輸入，估計并處理恢復(fù)出相應(yīng)的圖像。同時，判別器網(wǎng)絡(luò)將生成器網(wǎng)絡(luò)生成的圖像與原始清晰圖像做為圖像對，判斷并輸出反饋兩者之間的差別。

2.1 生成器結(jié)構(gòu)

本工作的生成器借鑒了“U-Net”[24]類似的編碼-解碼的網(wǎng)絡(luò)結(jié)構(gòu)，通過躍層連接形式，將不同層次之間的信息共享。在本文的場景中，人臉的圖像結(jié)構(gòu)相對固定。對于人臉盲去運動模糊，其中一項任務(wù)就是對人臉結(jié)構(gòu)以及背景信息的精準(zhǔn)分割。躍層連接通過融合不同尺度的特征信息，可以起到補充信息的作用：在高層補充了語義信息，在底層細化了分割的輪廓，使網(wǎng)絡(luò)能夠更好地適用于高分辨率圖像的學(xué)習(xí)過程，生成更加清晰的圖像。此外文獻[3]研究指出這種跳級連接能夠促使網(wǎng)絡(luò)的最小化過程更平坦，從而對新的數(shù)據(jù)敏感度更低，泛化能力更強。同時，為了提升網(wǎng)絡(luò)的魯棒性，減輕網(wǎng)絡(luò)梯度消失的問題，更有效地利用網(wǎng)絡(luò)特征，加強了特征之間的傳遞與共享，減少參數(shù)量和計算量，同時保證網(wǎng)絡(luò)效果，本文引入Dense Block[8]的設(shè)計，在同層網(wǎng)絡(luò)之間進行稠密連接。生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖1 算法流程圖

生成器包含4 個躍層結(jié)構(gòu)。每一層網(wǎng)絡(luò)都會經(jīng)過兩次3×3 的卷機操作，卷積后利用Instance Norm 進行歸一化，并利用Dense 思想通過Concat 操作進行結(jié)合，同時為了快速獲取底層信息和恢復(fù)圖像，引入了最大池化和相應(yīng)的上采樣過程。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 判別器結(jié)構(gòu)

在對抗博弈思想中，判別器的作用就是區(qū)分輸入的圖像是由生成器生成還是原圖。在不斷學(xué)習(xí)強化自身判別能力的同時，給予生產(chǎn)器相應(yīng)的反饋，幫助生成器生成更加逼真，接近原始狀態(tài)的圖像。原始GAN 的判別器最終得到的是一個判斷為整體圖像真假概率的二分向量。但是在圖像間，尤其是高分辨率圖像的轉(zhuǎn)換任務(wù)中，為了得到更好的效果，僅使用整體圖像真假概率這一信息顯然是不夠的。因此在本文的工作中，改進了原始GAN 的判別器結(jié)構(gòu)。本文通過引入PatchGAN[16]中對于判別器的改進，將我們工作中的判別器輸出調(diào)整為一個N×N 的向量矩陣，采用矩陣中的每一個向量可以表示圖像局部的信息來代替整體圖像的真假概率信息。L1 損失可以使模型學(xué)到低頻的特征，PatchGAN 的結(jié)構(gòu)可以使模型學(xué)到高頻的特征，可以更好地恢復(fù)人臉的紋理、風(fēng)格等信息。

2.3 損失函數(shù)

在本文工作中，將損失函數(shù)表示為對抗損失、內(nèi)容損失與人臉先驗差別的組合：

其中，在本文實驗中的λ值設(shè)定為100，μ的值設(shè)定為1000。本文工作選擇了WGAN-GP 做為評價函數(shù)，因為其被證實在生成器的結(jié)構(gòu)上更具有魯棒性。損失函數(shù)計算如下：

在內(nèi)容損失上，由于L1 或者MSE 損失函數(shù)會造成生成圖像出現(xiàn)模糊的假象[23]。本文工作為更好適應(yīng)清晰化圖像的場景，選擇了感知損失[9]，基于生成圖像與目標(biāo)圖像之間的特征圖差別。它的定義如下：

其中?i,j表示圖像特征圖，IS,IB表示原始清晰圖像和模糊圖像。

在人臉先驗上，通過利用dlib[4]，來計算生成器圖像與原始圖像人臉之間的特征點差別，并使用歐氏距離絕對值作為衡量。公式如下：

對抗損失側(cè)重于恢復(fù)一般內(nèi)容，內(nèi)容損失能夠更好地恢復(fù)紋理信息，加上人臉先驗可以更好地定位人臉，適應(yīng)人臉去運動模糊的場景。

3 網(wǎng)絡(luò)訓(xùn)練與結(jié)果對比

3.1 數(shù)據(jù)集的處理

相較于其他例如超分辨率和風(fēng)格遷移的圖像到圖像轉(zhuǎn)換任務(wù)，去運動模糊問題很難得到大量有效的清晰-模糊的圖像對用于訓(xùn)練。由于人臉場景運動模糊的公開數(shù)據(jù)集過少，我們的數(shù)據(jù)集主要利用開源數(shù)據(jù)集CelebA[5]篩選出的清晰人臉圖像，借鑒文獻[6]中的做法，利用Boracchi 和Foi[7]提出的通過馬爾科夫隨機過程生成隨機生運動軌跡的方法，然后對軌跡進行子像素插值法生成模糊核模擬二維空間上的運動。處理后的數(shù)據(jù)集效果如圖3。

圖3 原圖與運動模糊處理后圖像對（a）原始圖像；（b）運動模糊處理后的圖像

3.2 訓(xùn)練細節(jié)

我們使用CPU：Intel Core i7-9897，GPU：NVIDIA RTX2080，內(nèi)存16G 的硬件平臺進行實驗。實驗訓(xùn)練數(shù)據(jù)集由5077 對清晰-模糊的圖像對組成，另外847張模糊圖像作為訓(xùn)練過程中的驗證數(shù)據(jù)集。所有圖像的分辨率為300×300。實驗選取Adam 優(yōu)化器，學(xué)習(xí)率10-4等超參設(shè)置下進行100 輪訓(xùn)練。訓(xùn)練共計用時110 小時。

3.3 實驗結(jié)果

為了更好地評價算法的有效性，我們使用了峰值信噪這一客觀評價指標(biāo)。峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）經(jīng)常用于對圖像重建質(zhì)量的評價，可以通過均方誤差MSE 進行變形定義。

圖4 實驗結(jié)果圖（a）原始圖像；（b）運動模糊處理后的圖像；（c）通過算法恢復(fù)的圖像

原圖與模糊圖像之間的峰值信噪比均值僅17.69，經(jīng)過本文算法處理后生成的圖像在峰值信噪比評價指標(biāo)上得到了26.79 的平均值，說明算法對于恢復(fù)圖像質(zhì)量上效果顯著。

4 結(jié)語

本文提出了不用預(yù)先估計模糊核，利用GAN 對運動模糊圖像進行盲去運動模糊的方法。通過加入人臉先驗信息，感知損失，修改網(wǎng)絡(luò)結(jié)構(gòu)等方法得到了擁有盲去運動模糊能力的生成式對抗網(wǎng)絡(luò)模型。將隨機運動模糊的圖像作為網(wǎng)絡(luò)的輸入，經(jīng)網(wǎng)絡(luò)模型處理可以恢復(fù)出清晰的圖像。本文通過圖像在客觀圖像質(zhì)量評價指標(biāo)下的數(shù)值驗證了網(wǎng)絡(luò)的有效性。但是網(wǎng)絡(luò)仍然存在一些問題：例如網(wǎng)絡(luò)參數(shù)量過大，訓(xùn)練速度緩慢，生成的圖像存在明顯的規(guī)則的色素塊等，這些將是接下來需要解決的問題。