基于生成對抗網(wǎng)絡(luò)的破損老照片修復(fù)

陳圓圓,劉惠義

(河海大學(xué)計算機與信息學(xué)院,江蘇 南京 211100)

0 引 言

老照片作為一段時期的特定影像記錄，承載著寶貴的記憶，它有著不可替代的意義。然而老照片由于年代久遠、當時技術(shù)的不成熟或者保存不當?shù)纫蛩兀蚨嗷蛏俪霈F(xiàn)發(fā)黃、折痕、磨損，甚至表層還會出現(xiàn)不規(guī)則剝落及破洞現(xiàn)象，需要對這些老照片進行圖像修復(fù)。圖像修復(fù)是指在一張圖片中存在局部區(qū)域破損或缺失，需要利用已有的邊緣信息來將這些破損區(qū)域進行修復(fù)或補全的技術(shù)[1-2]。該技術(shù)被廣泛用于修復(fù)受損的圖片、文物以及去除不需要的遮擋物等方面[3-4]。

傳統(tǒng)的圖像修復(fù)算法主要包括偏微分算法[5-6]和紋理合成算法[3,7]，由于僅利用原圖中存留的周邊信息，局限性明顯。當待修復(fù)區(qū)域包含復(fù)雜、非重復(fù)結(jié)構(gòu)時，修復(fù)效果不盡人意。

近年來，深度學(xué)習(xí)在計算機視覺和圖像處理領(lǐng)域的研究不斷取得進步，使用海量圖片對網(wǎng)絡(luò)進行訓(xùn)練，使得訓(xùn)練好的模型可以具備大量的先驗知識，為圖像修復(fù)提供了另外一種思路[8]。尤其是生成對抗網(wǎng)絡(luò)[9]的提出，在圖像修復(fù)領(lǐng)域取得了很好的效果。Pathak等人[10]使用簡單的編碼解碼器作為圖像修復(fù)的主網(wǎng)絡(luò)，通過編碼部分得出低維特征圖，解碼部分使用提取到的特征來修復(fù)缺損區(qū)域并還原整個圖像，并使用判別器監(jiān)督使得修復(fù)區(qū)域盡可能地和原始圖像接近，但是由于通道全連通層的信息瓶頸，使得輸出圖像的修復(fù)區(qū)域往往含有視覺偽影，表現(xiàn)出模糊的特征，修補痕跡明顯。Denton等人[11]提出了以上下文為條件的對抗網(wǎng)絡(luò)(CC-GAN)，使用編碼解碼器作為生成器，VGG[12]網(wǎng)絡(luò)作為判別器，同時加入上下文損失項，使修復(fù)痕跡不那么明顯。隨著研究的深入，Iizuka等人[13]提出了全局和局部雙判別器，并通過用空洞卷積[14]代替全連接通道進一步解決了該問題，改善了修復(fù)圖像的整體性。但是其掩膜專為規(guī)則孔洞設(shè)計，不適應(yīng)于破損區(qū)域位置不定，且形狀不規(guī)則的情況。為解決該局限，Liu等人[15]使用非規(guī)則化卷積的操作，實現(xiàn)了使用卷積神經(jīng)網(wǎng)絡(luò)的方法對非規(guī)則化破損區(qū)域的修復(fù)。但是由于其忽略了上下文之間的連貫性，往往產(chǎn)生語義錯誤、修復(fù)邊緣不連續(xù)等問題。Yu等人[16]在第二階段修復(fù)網(wǎng)絡(luò)編碼器中加入了注意力層，將圖像特征加權(quán)平均后輸入到解碼器中，提升了網(wǎng)絡(luò)性能。Li等人[17]專門針對人臉圖片進行訓(xùn)練，表明了專門針對某一類圖片進行訓(xùn)練和網(wǎng)絡(luò)設(shè)計可以讓模型較好地學(xué)習(xí)到該領(lǐng)域的語義信息。此外，Yang等人[18]遵循了圖像風格化[19-20]的思想，將圖像修復(fù)作為一種優(yōu)化問題，得到的修復(fù)區(qū)域在內(nèi)容和風格上有很好的一致性。

標準卷積網(wǎng)絡(luò)將所有像素當作有效值去計算，造成色彩不協(xié)調(diào)、模糊等問題，且主要關(guān)注圖像中心附近的矩形區(qū)域，不適應(yīng)于非規(guī)則的情況。本文網(wǎng)絡(luò)模型中，生成器基于U-net網(wǎng)絡(luò)的編碼解碼器架構(gòu)，采用局部卷積[15]代替所有的卷積層，通過掩膜更新機制僅針對有效區(qū)域進行卷積操作，可以合理地處理不規(guī)則破損區(qū)域。同時，在生成網(wǎng)絡(luò)解碼階段加入了上下文注意力模塊，通過顯式地關(guān)注遠處位置上的相關(guān)特征塊，更好地捕獲長期注意力，從而保持語義連貫性、生成高頻紋理細節(jié)。判別器采用SN-PatchGAN判別器[21]，針對輸入圖像的不同位置和不同語義(以不同通道表示)，直接在輸出特征圖上的每一點計算損失。此外，借鑒了風格遷移中損失函數(shù)的設(shè)計，與對抗損失相結(jié)合，以此優(yōu)化生成網(wǎng)絡(luò)生成圖像的細節(jié)。

1 局部卷積

Liu等人[15]提出的局部卷積對不規(guī)則破損圖像的修復(fù)表現(xiàn)出了優(yōu)異的效果。其核心思想如圖1所示，每一個局部卷積層包含卷積操作和掩膜更新操作2個部分。掩膜用于控制特征圖的處理過程，實現(xiàn)對非規(guī)則受損區(qū)域的處理。首先，將經(jīng)掩膜處理后的特征圖進行卷積操作，進而更新特征圖。在每次完成卷積操作后，掩膜要進行一輪更新。然后，將更新后的掩膜和特征圖輸入到下一個局部卷積層中，重復(fù)以上過程。

圖1 局部卷積操作圖

在一個卷積窗口的處理中，卷積結(jié)果計算如下：

(1)

其中，W與b分別表示卷積的權(quán)重和偏置，X為當前卷積窗口的特征值。M為對應(yīng)該卷積窗口的二元掩膜，1表示有效像素，0表示無效像素?！褳閄與M對應(yīng)元素的點乘，sum(M)為該窗口下掩膜中像素值為1的像素點個數(shù)總和，I與M具有相同的形狀，但是所有的元素值都為1?？芍?，卷積操作僅針對掩膜非0部分對應(yīng)的圖像像素值進行處理，更新的特征圖中的值僅取決于非掩膜區(qū)域。所以掩膜為0的部分越小，卷積可以獲得的信息就越多。在每次卷積操作之后，網(wǎng)絡(luò)對掩膜進行一次更新，不斷縮小掩膜為0的部分，更新方法為：

(2)

掩膜更新同樣通過卷積操作實現(xiàn)，如果在一個卷積窗口中，該窗口掩膜值之和大于0，則卷積后的掩膜值置為1，否則仍置為0。通過每次在卷積過程中更新掩膜的方法，在經(jīng)過多層卷積操作之后，最終掩膜將會全部置為1。

2 上下文注意力機制

卷積神經(jīng)網(wǎng)絡(luò)通過卷積核一層一層處理圖像特征，無法有效地從圖像較遠的區(qū)域提取信息，往往導(dǎo)致在修復(fù)區(qū)域會產(chǎn)生扭曲的結(jié)構(gòu)和模糊的紋理，Yu等人[16]提出的上下文注意力很好地克服了這一問題。本文引入該注意力機制，使得模型在生成整幅圖像時，不僅考慮邊緣部分的約束，而且也考慮了遠距離的特征依賴，從而使修復(fù)的圖像在視覺上更加真實。

如圖2所示，上下文注意力的核心思想是首先將輸入特征分為目標前景特征(缺失無效區(qū)域)和周圍背景特征(有效區(qū)域)，然后從背景特征中提取3×3的背景塊，通過維度變化把它們重塑為卷積核，與前景特征執(zhí)行卷積操作，得出相似度。然后通過Softmax來權(quán)衡相關(guān)性，最后利用相關(guān)性反卷積得到精細的修復(fù)區(qū)域。

圖2 注意力模塊

圖2中，使用余弦距離計算出前景特征每個位置與每個背景塊的相似度。相似度越高，背景特征越有用。

(3)

3 網(wǎng)絡(luò)模型

如圖3所示，生成器網(wǎng)絡(luò)采用編碼解碼器結(jié)構(gòu)，包含16個卷積層，編碼器8層，解碼器8層。將不完整圖像和掩膜輸入其中，輸出生成圖像。將生成圖像對應(yīng)掩膜區(qū)域的部分與原始真實圖像結(jié)合以創(chuàng)建Completion圖，使缺失部分用預(yù)測部分的圖，未缺失部分繼續(xù)用原始的圖。將生成的Completion圖輸入到判別器網(wǎng)絡(luò)中來判別圖片的真假。此外，將生成圖像和原始真實圖像輸入到VGG16特征提取網(wǎng)絡(luò)中，計算風格損失和感知損失。

圖3 網(wǎng)絡(luò)模型

3.1 生成器

生成器采用與帶有跳躍連接的能夠?qū)⒌图壧卣髦苯舆B接到網(wǎng)絡(luò)較高層的U-net網(wǎng)絡(luò)[22]類似的結(jié)構(gòu)，將掩膜與待處理圖像同時作為網(wǎng)絡(luò)的輸入，采取端到端的方式進行訓(xùn)練，通過跳躍連接允許與具有相同空間分辨率的上一層連接。此外，網(wǎng)絡(luò)中所有的卷積層用局部卷積替代。在編碼階段第一層使用大小為7×7的卷積核，在解碼階段都使用大小為3×3的卷積核，其中在解碼階段每一卷積層之前都使用最近鄰上采樣。跳躍連接分別連接2個特征圖和2個掩膜，將最近鄰上采樣結(jié)果與編碼階段中相應(yīng)的卷積結(jié)果連接起來，作為下一個局部卷積層的輸入，然后進行局部卷積操作。最后一個局部卷積層的輸入包含原始輸入圖像和掩膜與上采樣結(jié)果的拼接。除網(wǎng)絡(luò)的第一層不加批量規(guī)范化(Batch Normalization, BN)[23]處理外,其他層都加入BN處理。同時，在編碼階段使用ReLU激活函數(shù)，解碼階段最后一層使用tanh激活函數(shù)，其余層使用Leaky-ReLU激活函數(shù)。

上下文注意力模塊以編碼后的特征為輸入，首先對特征圖進行重構(gòu)，然后解碼生成更高質(zhì)量的修復(fù)結(jié)果。注意力層過深可能會導(dǎo)致信息細節(jié)丟失，為了避免注意力模塊誤用來自背景特征圖的錯誤信息，輸入和掩膜區(qū)域應(yīng)足夠大，故將注意力層放在解碼階段倒數(shù)第4層之后，其中特征圖的大小為64×64。生成器的輸出是一個與輸入大小相同(512×512)的圖像。

3.2 判別器

傳統(tǒng)的全局和局部判別器不僅針對圖像整體的連貫性，而且關(guān)注局部區(qū)域的紋理，可是局部判別器只能處理方形且尺寸固定的缺失區(qū)域。老照片破損特點往往為折痕，以及于任意位置出現(xiàn)的不規(guī)則缺失、磨損等，故以往針對一般規(guī)則缺失區(qū)域的判別器不再適用。為解決這一問題，受到Markovian GANs[24]、spectral-normalized GANs[25]的啟發(fā)，采用SN-PatchGAN判別器，將判別器的輸出特征圖劃分為像素級塊，直接在特征圖的每一像素級特征塊上計算對抗損失。由于該判別器對每個具有不同感受域的特征塊分別進行分類，因此可針對圖像的不同區(qū)域分別判別真假，從而可以更好地處理各種可能出現(xiàn)在圖像中任意位置、任意大小的破損區(qū)域。圖3中，判別器由6層卷積層組成，卷積核大小為5×5，步長為2。除了最后一層，每一卷積層后都使用Leaky-ReLU激活函數(shù)，此外，為了進一步提高生成對抗網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，每一卷積層都使用權(quán)重歸一化技術(shù)即譜歸一化[25]。

3.3 損失函數(shù)

考慮風格一致性和細節(jié)水平，損失函數(shù)除了對抗損失，同時引入風格損失、感知損失、內(nèi)容重構(gòu)損失。感知損失和風格損失使用在ImageNet上預(yù)訓(xùn)練過的VGG16作為特征提取網(wǎng)絡(luò)，比較生成樣本和真實樣本的深層特征之間的不同，用來生成合理可信的風格。

在原始的生成對抗網(wǎng)絡(luò)中，生成器的梯度容易消失，因此會導(dǎo)致修復(fù)效果不佳。為了解決該問題，采用鉸鏈損失作為目標函數(shù)來判別真假，即：

LDsn=Ε[(1-Dsn(Igt)]+Ε[1+Dsn(Icomp)]

(4)

(5)

Icomp=Igt⊙M+G(Iin,M)⊙(1-M)

(6)

其中，Dsn表示譜歸一化判別器，G是圖像修復(fù)網(wǎng)絡(luò)。Igt、Iin和M分別為真實圖像、輸入的圖像和掩膜。

一般采用歸一化L1距離作為重構(gòu)損失，內(nèi)容重構(gòu)損失的計算見式(7)和式(8)，分為2個部分：一部分是掩膜對應(yīng)圖像的L1重構(gòu)損失，另一部分是掩膜之外圖像的L1重構(gòu)損失，即：

Lrec1=‖(1-M)⊙(G(Iin,M)-Igt)‖1

(7)

Lrec2=‖M⊙(G(Iin,M)-Igt)‖1

(8)

對于感知損失，將生成的圖像放進預(yù)訓(xùn)練過的VGG16特征提取網(wǎng)絡(luò)中，將pool1、pool2、pool3的特征圖與真實樣本對應(yīng)的特征圖進行對比。在公式(9)中，H、W、C分別表示高、寬和特征圖的通道數(shù)，N為VGG16特征提取網(wǎng)絡(luò)生成的特征圖數(shù)，即：

(9)

感知損失有助于捕獲高級結(jié)構(gòu)，但仍然缺乏保持風格一致性的能力。為解決該問題，本文進一步使用風格損失，從而可以從背景中學(xué)習(xí)總體風格信息。風格損失的計算同樣依賴于從預(yù)訓(xùn)練好的VGG16卷積神經(jīng)網(wǎng)絡(luò)中提取到的特征以及格拉姆矩陣的計算，計算公式如下：

(10)

(11)

(12)

4 實驗結(jié)果與分析

4.1 掩膜設(shè)計

針對老照片破損部分形狀的特點，為了達到更好的修復(fù)效果，需要對訓(xùn)練過程中使用的掩膜進行專門的設(shè)計，而不再是像以往通過隨機移除圖像中的矩形區(qū)域來在數(shù)據(jù)集中產(chǎn)生破損區(qū)域。掩膜圖像是通過使用手動標記的方法對收集到的老照片圖像進行粗略的破損區(qū)域提取得到，并將提取得到的掩膜圖像進行分割、旋轉(zhuǎn)、對稱變換、膨脹腐蝕等形態(tài)學(xué)操作進行擴充。但是由于收集到的破損老照片圖像有限，盡管經(jīng)過大量的變換操作，仍無法得到與大規(guī)模的訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)規(guī)模相匹配的掩膜數(shù)量，因此需要對掩膜進行擴充。Liu等人[15]創(chuàng)建了一個隨機掩膜數(shù)據(jù)集，本文從中獲得部分掩膜，如圖4(i)和圖4(j)所示。為了更好地貼合老照片大面積磨損的特點，采取了另一種方法進行擴充，即先隨機選取一個點，然后對點周圍的受損區(qū)域逐漸進行大面積擴展，如圖4(k)和圖4(l)所示。圖4(e)～圖4(h)分別為從圖4(a)～圖4(d)提取得到的掩膜圖像。用于訓(xùn)練和測試的掩膜尺寸與圖像大小相同，均為512×512。

圖4 掩膜示例圖

4.2 實驗過程

在老照片修復(fù)領(lǐng)域，現(xiàn)存的老照片在數(shù)量上相對較少，并且不同種類的老照片之間風格和色彩等相差很大。本文建立相應(yīng)數(shù)據(jù)集進行訓(xùn)練，以便讓模型更好地學(xué)習(xí)到該領(lǐng)域的語義信息。以往老照片大多為黑白照片，通過圖像灰度化算法以及高斯模糊算法對CelebA-HQ數(shù)據(jù)集進行預(yù)處理，生成低分辨率的黑白圖像數(shù)據(jù)集。隨機選取27000張圖片用來訓(xùn)練，3000張用來測試。此外，在輸入到網(wǎng)絡(luò)之前，將圖像大小調(diào)整為512×512。

圖5 實驗結(jié)果

圖5是在制作的老照片數(shù)據(jù)集上測試的結(jié)果。

針對不同類型、不同破損程度的真實老照片圖像進行修復(fù)，得到的結(jié)果如圖6所示。

圖像修復(fù)質(zhì)量好壞的評價標準是多方面的，為了充分評估老照片修復(fù)的效果，除了視覺上的主觀評價外，還結(jié)合了客觀評價標準。如表1所示，本文采取峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)這2個指標對不同掩膜率下的修復(fù)圖像進行定量評估。PSNR是基于誤差敏感的圖像質(zhì)量評價，SSIM從亮度、對比度、結(jié)構(gòu)3個方面度量圖像相似性。PSNR和SSIM值越高，表示修復(fù)效果越好。

圖6 修復(fù)結(jié)果

表1 不同掩膜率下的PSNR和SSIM

從以上實際觀測效果和圖片度量指標中可以看出，本文模型對不同破損情況下的老照片均可以取得較好的修復(fù)效果，掩膜所覆蓋的非規(guī)則破損區(qū)域在紋理結(jié)構(gòu)、風格和語義上得到與原圖較為相符的修復(fù)結(jié)果。

5 結(jié)束語

本文使用深度學(xué)習(xí)及生成對抗的方法對老照片進行虛擬修復(fù)，取得了較好的修復(fù)效果，且不受破損情況的限制，在損失信息極大的情況下仍可以恢復(fù)出一個語義上完整的結(jié)果圖。但對于本身極為模糊的老照片，使用本文模型得到的修復(fù)圖仍較為模糊，且只能針對黑白照片的破損區(qū)域進行修復(fù)。如何提高嚴重模糊圖片的修復(fù)結(jié)果圖的清晰度以及賦予其色彩，讓斑駁的老照片煥然一新、讓記憶中的黑白照更加鮮活，將是下一個研究重點。