基于空洞卷積和ECANet 的雙判別生成對抗網(wǎng)絡圖像修復模型

胡文松，劉興德

（1.吉林化工學院 信息與控制工程學院，吉林吉林，132022；2.吉林化工學院 機電工程學院，吉林吉林，132022）

0 引言

圖像修復是合理填補圖像中缺失或者損壞的部分，使我們主觀視覺上看起來結構一致，內(nèi)容真實的一種任務，隨著圖像修復技術的不斷發(fā)展，在文物資料修補[1]、公安面部修復[2]、醫(yī)學影像重建[3]等領域有著廣泛的應用。

現(xiàn)階段修復任務主要分為兩類，一種是傳統(tǒng)的擴散或補丁的方法，另一種是基于深度學習的方法來解決修復問題。通過擴散或補丁的方法[4～7]通常使用變分算法或補丁的方法，使信息由背景區(qū)域傳遞至缺失區(qū)域。這種方式雖然對靜態(tài)數(shù)據(jù)效果較好，但對于非靜態(tài)數(shù)據(jù)(例如自然圖像)來說受到限制。為了克服這一挑戰(zhàn)，研究者們提出一種基于高效最近鄰域PatchMatch[8]算法，該算法在圖像編輯領域，包括圖像修復等應用，展現(xiàn)出顯著的實用價值。

伴隨著深度學習的快速發(fā)展和生成對抗網(wǎng)絡(Generator Adversarial Network，GAN)技術的出現(xiàn)，圖像修復技術也迎來巨大的技術革命。Pathak 等[9]提出上下文編碼器(Context Encoder，CE)，該算法使用編碼器-解碼器架構，結合L2 重構損失和對抗損失進行預測，但輸出圖像表現(xiàn)模糊且含有視覺偽影。Iizuka 等[10]提出一種全局和局部雙判別器結構(Globally and locally，GL)，該算法，但對于細節(jié)和紋理處理比較模糊。Yu 等[11]提出一種雙步驟方法，以應對圖像修復問題。首先，對缺失區(qū)域進行粗略修復，隨后將修復后的圖像輸入細化網(wǎng)絡中，再引入上下文對于修復圖像的局部和全局的結構一致性有所提高注意力機制，以實現(xiàn)對圖像紋理和結構的精細修復。

圖1 生成對抗網(wǎng)絡結構圖

1 相關研究

■1.1 生成對抗網(wǎng)絡

Lan Goodfellow[12]在2014 年提出生成對抗網(wǎng)絡(GAN)，它由生成器(Generator,G)和判別器(Discriminator，D)所構成。生成器吸收了隨機噪聲z 并提供信息，判別器是一個二分類器，它的主要任務就是辨別信息是來源于真實數(shù)據(jù)x，或者由生成器G(z)所生成的偽造信息。通過使用交叉熵損失，判別器D被訓練來正確識別輸入數(shù)據(jù)的真實性。其中，生成器盡可能生成逼真的數(shù)據(jù)，而判別器最大限度辨別輸入數(shù)據(jù)的真假，這兩者通過不斷競爭和訓練，最終達到博弈的納什平衡。

■1.2 ECA 通道注意力

為解決圖像修復中紋理、結構問題，本文引入通道注意力。借鑒文獻[13]提出的一種高效的通道注意力機制(Efficient Channel Attention，ECA)，ECA 是基于SE 注意力[14]改進，其網(wǎng)絡結構主要分為三個方面：首先，對于一個輸入的特征圖，Squeeze 操作通過全局平均池化把特征圖從大小為(N，C，H，W)轉化為(N，C，1，1)，這樣就達到全局上下文信息的融合；接著，ECA 能夠計算自適應卷積核的大小，，其中C為輸入的通道數(shù)，b=1，γ=2，并采用一維卷積計算通道的權重，最后采用Sigmoid 激活函數(shù)將權重映射在(0-1) 之間；最后將reshape 過后的權重值與原有的特征圖做乘法運算，得到不同權重下的特征圖。

圖2 ECANet 結構圖

2 改進的網(wǎng)絡模型

本文選用文獻[10]提出的GL 模型構建基礎的圖像修復模型，并對模型進行再現(xiàn)和改進，提出一種基于膨脹卷積和ECA 機制的雙判別生成對抗網(wǎng)絡圖像修復模型，本文模型是采用多段式的生成網(wǎng)絡修復模型，首先生成器由兩個部分構成，一個是粗糙生成網(wǎng)絡，另一個是精細生成網(wǎng)絡，它們都是由一般卷積和空洞卷積組成。第一步將破損圖像加上掩碼作為輸入，經(jīng)歷兩次下采樣以此來獲得圖像的潛在特征，再經(jīng)過一般卷積和空洞卷積擴大感受視野獲得更多特征信息，緊接著兩次上采樣恢復到原始尺寸。將得到結果作為輸入放置到精細網(wǎng)絡中并引入注意力進一步修復圖像，最后利用全局判別器和局部判別器對真實圖像分類，引導生成器的修復，具體框架如圖3 所示。

圖3 本文圖像修復模型架構

■2.1 基于級聯(lián)的生成網(wǎng)絡

本文的生成網(wǎng)絡與傳統(tǒng)生成網(wǎng)絡類似，采用自動編碼器的結構。借鑒文獻[10]，生成網(wǎng)絡有粗糙網(wǎng)絡和精細網(wǎng)絡兩部分。粗糙網(wǎng)絡共有15 層卷積包含一般卷積和空洞卷積，空洞卷積能夠在不增加計算量的情況下，增加模型的感受視野，從而更好地捕獲遠距離的上下文信息，在網(wǎng)絡模型上采樣中引入ECA 注意力來增強圖像特征，精細網(wǎng)絡與粗糙網(wǎng)絡的結構一致，在每一次卷積后添加ECA 注意力對特征圖細節(jié)增強，從而引導生成器的修復能力。

■2.2 基于全局和局部的雙判別器網(wǎng)絡

為了解決原始生成對抗網(wǎng)絡(GAN)中二分類網(wǎng)絡這種單一判網(wǎng)絡框架下，生成器所生成的圖像不足問題。本文借鑒文獻[10]中判別器網(wǎng)絡模型，引入一個全局判別器G_D 和一個局部判別器L_D。全局判別器由6 個卷積層和一個輸出單個1024 維向量的全連接組成，所有卷積都采用2×2 的步幅來降低分辨率，并且所有卷積都使用5×5 內(nèi)核，局部判別器與全局判別器的網(wǎng)絡結構一致。最后，將全局判別器和局部判別器的輸出連成一個2048 維的向量，由單個全連接通道進行處理輸出一個連續(xù)的值，再采用Sigmoid 傳遞函數(shù)，使得該值在0～1 之間內(nèi)表示，從而判斷圖像的真實性。

■2.3 目標損失函數(shù)

為了訓練更穩(wěn)定和生成圖像更加逼真，本文聯(lián)合使用兩個損失函數(shù)：WGAN-GP 損失作為訓練穩(wěn)定性，以及L1 重建損失來提高圖像的真實性。其中重建損失函數(shù)定義如下：

其中，xtarget(i,j)是目標圖像在位置(i,j)處的像素點，xgenerator(i,j)是生成的圖像在相同位置的像素值。

傳統(tǒng)的GAN 損失函數(shù)中，生成器和判別器之間的優(yōu)化目標是最大化一個交叉熵損失，但這種損失函數(shù)可能會導致訓練不穩(wěn)定，容易出現(xiàn)梯度爆炸或者模式塌陷等問題。對于這種問題，我們可以采用文獻[15]提出的WGAN-GP 損失，WGAN-GP 使用Wasserstein 距離來衡量生成器輸出和真實數(shù)據(jù)之間的不同，其定義如下：

式中，超參數(shù)λ是控制懲罰項所占的比重，在實驗中設置為10。在訓練中，聯(lián)合L1 重構損失和WGAN-GP 對抗損失作為總損失，其表達式如下：

式中，λL1、λadv分別對應損失權重，參照文獻[10][11]中超參數(shù)配置多次實驗室，本文的λL1和λadv分別設為1，再經(jīng)過Adma 優(yōu)化器不斷更新迭代參數(shù)，優(yōu)化模型。

3 實驗與結果

■3.1 實驗方法

實驗環(huán)境配置：AMD 處理器R7-5700X，Nvidia GeForce RTX 2080ti 顯卡，11G 顯存。環(huán)境為Windows10，編程語言為python3.8，基于Pytorch 框架。

本次實驗選用Celeba 數(shù)據(jù)集，隨機從數(shù)據(jù)集中抽取200 000 圖片作為訓練集，1000 圖片作為測試集，抽取的圖片大小為256×256，Batchsize 設為16，模型在數(shù)據(jù)集上進行50 輪Epoch，生成器和判別器的Learning_rate 設置為0.000 01，使用Adam 優(yōu)化器，其中一階、二階動量分別設置為0.5 和0.999。

■3.2 實驗結果

為了驗證本文所提修復模型相較于其他修復模型的優(yōu)越性，將文獻提出得到GL[11]、CA[12]兩個提出的圖像修復方法。采用相同的數(shù)據(jù)集CelebA_256，相同的遮擋區(qū)域進行比較。

GL 中生成網(wǎng)絡采用空洞卷積來擴大感受視野，并使用全局和局部特征融合的雙判別器網(wǎng)絡結構，對于修復圖像的局部和全局的結構一致性有所提高。

CA 首次提出從粗到細兩段式網(wǎng)絡結構，并在生成網(wǎng)絡中引入一個Contextual Attention 機制，能夠將全局和局部信息有效地結合從而產(chǎn)生更準確的修復結果。

因為選擇的數(shù)據(jù)集是人臉數(shù)據(jù)集，所以掩碼選擇的是固定在圖像中心，遮擋人臉最重要的特征五官部分，大小約為85。從圖4 可以看出，GL 模型的修復結果在遮擋部分出現(xiàn)局部錯亂，語義信息不協(xié)調(diào)，沒有學習到掩碼的消息，對掩碼區(qū)域無法進行判定，其中人臉結構又較為復雜，因此在掩碼和背景交界處有明顯的偽影。CA 模型的修復結果整體效果較好，但在整體語義連貫這個問題上，依然存在較為明顯的掩碼信息，網(wǎng)絡不斷地加深，空洞卷積所學習到地特征比較少，并且人臉是人最復雜且重要地生物特征，所以在細節(jié)部分，尤其是鼻子和嘴巴修復的不是很好。而本文模型不僅保證圖像結構一致性，在掩碼與背景交接處無掩碼信息殘留，在圖像細節(jié)部分也有明顯改善，例如頭發(fā)、鼻子相比GL、CA 模型圖像生成更加精細。

圖4 不同模型之間圖像修復結果

■3.3 實驗分析

為了更全面、客觀的評價不同模型的性能，采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和結構相似性(Structural SIMilarity，SSIM)做客觀指標，繼續(xù)選用Celeba_256 數(shù)據(jù)集，添加不同的掩碼，選取100 張待修復圖像作為測試，分別投入訓練好的模型：GL、CA和本文模型。

從表1 可以看出，本文模型相對于GL、CA，在PSNR 指標上提升了6.6%～7.9%，在SSIM 指標上提升了2.9%～7.5%，說明本文模型在人臉圖像數(shù)據(jù)集CelebA_256對于方形掩碼效果更好。

表1 不同模型的客觀修復指標結果

4 結論

本文提出了一個全新的圖像修復網(wǎng)絡模型，它采用空洞卷積和ECANet，并結合雙判別器形成對抗網(wǎng)絡。生成網(wǎng)絡則采取了兩階段的生成模式，從粗向精逐漸還原圖像，并在精細層面引入了注意力機制。判別網(wǎng)絡使用局部判定和全局判定的雙重判別結構。通過對抗損失和重建損失相結合的損失函數(shù)，以便進行更精準的紋理和結構修復。并通過多個實驗對比，模型在主觀視覺效果上表現(xiàn)優(yōu)異，各項客觀指標也有所提升。綜合來看，本文提出的修復模型在人臉圖像方面表現(xiàn)出良好的修復效果。