基于雙鑒別網(wǎng)絡(luò)的生成對(duì)抗網(wǎng)絡(luò)圖像修復(fù)方法

劉波寧，翟東海

(西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031)(*通信作者電子郵箱boningliu@qq.com)

0 引言

在傳統(tǒng)的圖像修復(fù)方法中，修復(fù)方法一般可以分為兩種：第一種是適用于小尺寸的圖像修復(fù)方法，如快速行進(jìn)算法[1]、Criminis算法[2-3]等。第二種方法是適用于較大面積的圖像填充修復(fù)，如PatchMatch方法[4]和統(tǒng)計(jì)塊概率修復(fù)方法[5]?？傮w來(lái)說(shuō)，傳統(tǒng)圖像修復(fù)方法基于原圖，由于在內(nèi)容上缺乏高層次的連貫性，使得修復(fù)結(jié)果不令人滿意;而且一旦圖像的缺失比例過(guò)大，導(dǎo)致重要的參考信息丟失，也同樣無(wú)法讓人取得滿意的效果。

利用特征學(xué)習(xí)的深度學(xué)習(xí)修復(fù)方法[6-12]恰好填補(bǔ)了傳統(tǒng)圖像修復(fù)方法內(nèi)容缺乏高層次連貫和難于應(yīng)對(duì)大塊缺失區(qū)域的缺陷。隨著圖形處理器(Graphics Processing Unit, GPU)技術(shù)的發(fā)展，深度學(xué)習(xí)技術(shù)在圖像分類(lèi)[13]、圖像檢測(cè)識(shí)別[14-15]、圖像目標(biāo)定位[16-18]、圖像生成[19-20]等方面的應(yīng)用逐漸廣泛。

在深度學(xué)習(xí)的圖像修復(fù)中，圖像生成是圖像修復(fù)基礎(chǔ)， 本文采用的生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)[10]模型中的生成網(wǎng)絡(luò)也來(lái)源于圖像生成的研究[21]。在圖像生成中，Vincent等[6]引入去噪的自動(dòng)編碼器，重建并學(xué)習(xí)干凈的輸入信號(hào)來(lái)生成圖像。隨后的研究中，Dosovitskiy 等[7]通過(guò)解碼器網(wǎng)絡(luò)反向表達(dá)深度卷積網(wǎng)絡(luò)的特征(例如VGG(Visual Geometry Group)[13]網(wǎng)絡(luò))來(lái)重建對(duì)象圖像，這使得生成的圖像在真實(shí)性上有了重要的突破。隨后的研究中，大多都著力于圖像的真實(shí)性上，比如，Kingma等[8]提出的變分自動(dòng)編碼器(Variational Auto-Encoder, VAE)通過(guò)在隱含層之前加入規(guī)則化的編碼器，使得可以通過(guò)從隱含層采樣或插入隱含層來(lái)生成更加真實(shí)的圖像。然而，由VAE生成的圖像因?yàn)槠浠谙袼氐母咚顾迫恍杂?xùn)練，輸出的部分圖像是模糊的。于是，在進(jìn)一步的研究中，Larsen等[9]通過(guò)增加一個(gè)對(duì)抗訓(xùn)練來(lái)改善VAE，這就可以產(chǎn)生更真實(shí)的圖像。

在這些圖像生成的研究基礎(chǔ)之上，逐漸提出了一些比較典型的圖像修復(fù)方法。其中較為出眾并廣泛使用的一類(lèi)是基于生成對(duì)抗網(wǎng)絡(luò)[10]的圖像修復(fù)方法。比如Li等[11]提出的人臉修復(fù)方法在人臉修復(fù)上取得了較好的效果，這種方法在生成網(wǎng)絡(luò)修復(fù)人臉后，利用了人臉目標(biāo)檢測(cè)技術(shù)，檢測(cè)生成圖像的人臉具體器官，比如鼻子、眼睛等是否符合常理位置，然后改進(jìn)網(wǎng)絡(luò)生成的人臉，進(jìn)而起到較好的修復(fù)效果。而Yeh等[12]提出的語(yǔ)義圖像修復(fù)方法，則利用了潛在的相似圖像，生成網(wǎng)絡(luò)通過(guò)對(duì)這些相似圖像的特征不斷來(lái)推斷缺失圖像的缺失區(qū)域，最后經(jīng)過(guò)迭代優(yōu)化形成修復(fù)圖像。

本文所提出的算法是基于Iizuka等[22]提出的全局和局部網(wǎng)絡(luò)的圖像修復(fù)方法。后者是一種經(jīng)典的修復(fù)方法，這種算法利用了生成對(duì)抗網(wǎng)絡(luò)，在傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)中，生成網(wǎng)絡(luò)負(fù)責(zé)生成圖像，鑒別網(wǎng)絡(luò)負(fù)責(zé)鑒別生成網(wǎng)絡(luò)生成圖像的效果優(yōu)劣，而此算法則額外增加了一個(gè)全局鑒別網(wǎng)絡(luò)用來(lái)負(fù)責(zé)鑒別破損區(qū)域修復(fù)后的全局圖像是否符合視覺(jué)連貫性，最后綜合全局和局部的兩種鑒別結(jié)果來(lái)判斷圖像的修復(fù)效果。整個(gè)修復(fù)流程為先通過(guò)訓(xùn)練生成網(wǎng)絡(luò)來(lái)完成初步的圖像修復(fù)，然后不斷通過(guò)負(fù)責(zé)鑒別全局圖像視覺(jué)連貫性的全局鑒別網(wǎng)絡(luò)和負(fù)責(zé)鑒別生成網(wǎng)絡(luò)輸出的修復(fù)圖像真實(shí)性的局部鑒別網(wǎng)絡(luò)與生成網(wǎng)絡(luò)對(duì)抗訓(xùn)練，在迭代訓(xùn)練中一步一步產(chǎn)生較好修復(fù)效果。

但是，上述算法包括在本文實(shí)驗(yàn)中使用的特征卷積算法[23]都存在一定的問(wèn)題,比如:在Li等[11]提出的人臉修復(fù)方法中，需要定位一些小部件是否符合人的主觀，比如鼻子和眼睛是否真實(shí)和清晰，生成的位置是否正確，這涉及到一些目標(biāo)檢測(cè)識(shí)別技術(shù)，而這給算法的復(fù)雜度和訓(xùn)練時(shí)間開(kāi)銷(xiāo)帶來(lái)更高的挑戰(zhàn)。語(yǔ)義圖像修復(fù)方法[12]中利用圖像語(yǔ)義的判斷技術(shù)，對(duì)生成圖像的生成效果進(jìn)行判定，這同樣涉及到了比較復(fù)雜的圖像語(yǔ)義判別。以上兩種方法都對(duì)不同的圖像數(shù)據(jù)缺乏適應(yīng)性。而在Iizuka等[22]提出的圖像修復(fù)方法中，雖然模型較為簡(jiǎn)單，但這導(dǎo)致絡(luò)在海量的圖像訓(xùn)練中，容易出現(xiàn)特征過(guò)度學(xué)習(xí)的問(wèn)題。

因此，為了降低修復(fù)模型的復(fù)雜性，增強(qiáng)普適性，改善特征過(guò)度學(xué)習(xí)的問(wèn)題，使得模型圖像修復(fù)的質(zhì)量和效果更加出眾，本文提出了一種基于邊緣結(jié)構(gòu)信息檢測(cè)和局部信息增強(qiáng)的生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)方法，該方法主要有以下工作：

1)尋找相似塊填充破損區(qū)域，通過(guò)保留破損區(qū)域的圖像結(jié)構(gòu)與紋理信息，來(lái)提高修復(fù)網(wǎng)絡(luò)生成圖像的質(zhì)量和網(wǎng)絡(luò)的訓(xùn)練速度。

2)在全局鑒別網(wǎng)絡(luò)中，限定圖像輸入?yún)^(qū)域排除無(wú)用特征信息干擾，利用檢測(cè)邊緣結(jié)構(gòu)信息來(lái)約束修復(fù)網(wǎng)絡(luò)生成的圖像，使其生成具有視覺(jué)連通性的修復(fù)圖像。

3)局部鑒別網(wǎng)絡(luò)增加緩沖池技術(shù)，通過(guò)在緩沖池中增加更多的特征輔助塊，來(lái)避免修復(fù)網(wǎng)絡(luò)掉入過(guò)度學(xué)習(xí)的陷阱。

1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)(GAN)[10]的核心思想是“零和博弈”[24]，GAN模型如圖1所示，目標(biāo)函數(shù)如式(1):

Ez～pz(z)[log(1-D(G(x)))]

(1)

GAN模型主要有兩部分組成：第一部分是生成圖像的生成網(wǎng)絡(luò)Generator，通過(guò)輸入一組無(wú)序隨機(jī)的噪聲z來(lái)映射為一張圖像；第二部分是鑒別圖像真?zhèn)蔚蔫b別網(wǎng)絡(luò)Discriminator，通過(guò)不斷學(xué)習(xí)真實(shí)圖像x特征來(lái)加強(qiáng)對(duì)某一類(lèi)圖像的鑒別能力。GAN的目標(biāo)函數(shù)很好地體現(xiàn)了對(duì)抗的思想，即是最小化生成網(wǎng)絡(luò)生成圖像與真實(shí)圖像的差距，最大化鑒別網(wǎng)絡(luò)的鑒別真實(shí)圖像和生成圖像能力，即最大化生成圖像與真實(shí)圖像的差距。

圖1 經(jīng)典的GAN模型Fig. 1 Classic GAN model

在生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練中，把隨機(jī)噪聲z輸入生成網(wǎng)絡(luò)，生成網(wǎng)絡(luò)卷積映射生成一張圖像，即G(z)，然后把生成圖像G(z)及其標(biāo)簽“0”和真實(shí)圖像x及其標(biāo)簽“1” 一起送入鑒別網(wǎng)絡(luò)D中，訓(xùn)練鑒別網(wǎng)絡(luò)D的鑒別能力，使得鑒別網(wǎng)絡(luò)D輸出的概率D(G(z))趨于0而D(x)趨于1 。這樣，生成對(duì)抗網(wǎng)絡(luò)就能根據(jù)鑒別網(wǎng)絡(luò)輸出的概率數(shù)值區(qū)分輸入圖像是來(lái)自真實(shí)圖像還是生成圖像。

同時(shí)，這個(gè)概率數(shù)值D(G(z))將反饋給生成網(wǎng)絡(luò)，生成網(wǎng)絡(luò)將根據(jù)概率數(shù)值結(jié)果來(lái)調(diào)整自己的生成圖像，在下一次訓(xùn)練的時(shí)候，生成更真實(shí)的圖像欺騙鑒別網(wǎng)絡(luò)，使得D(G(z))這一概率數(shù)值趨于1。隨著訓(xùn)練迭代進(jìn)行，生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)之間形成一種對(duì)抗關(guān)系最后達(dá)到微妙的平衡，此時(shí)D(G(z))趨于0.5。這時(shí)候，在給定生成網(wǎng)絡(luò)G的情況下，目標(biāo)函數(shù)式(1)在式(2)得到鑒別網(wǎng)絡(luò)D的最優(yōu)解:

DG(x)=pdata(x)/(pdata(x)+pg(x))

(2)

在這種情況下，鑒別網(wǎng)絡(luò)無(wú)法判斷生成網(wǎng)絡(luò)生成的圖像是真實(shí)圖像還是生成圖像，因?yàn)樯删W(wǎng)絡(luò)生成了極為逼近真實(shí)圖像的圖像。生成對(duì)抗網(wǎng)絡(luò)通過(guò)大量的特征學(xué)習(xí)，能夠很好地學(xué)習(xí)到同類(lèi)圖像數(shù)據(jù)集中的圖像特征，從而生成逼真的圖像。

2 雙鑒別網(wǎng)絡(luò)修復(fù)算法

本文運(yùn)用生成對(duì)抗網(wǎng)絡(luò)來(lái)修復(fù)圖像，修復(fù)模型分為兩部分，如圖2所示，分別是負(fù)責(zé)修復(fù)圖像的修復(fù)網(wǎng)絡(luò)和負(fù)責(zé)鑒別圖像修復(fù)效果并反饋給修復(fù)網(wǎng)絡(luò)的鑒別網(wǎng)絡(luò)。與傳統(tǒng)的生成網(wǎng)絡(luò)不同的是，本文采用的修復(fù)網(wǎng)絡(luò)，不再是從一組噪聲作為輸入并通過(guò)不斷地卷積等手段生成一張圖像，而是直接將一張圖像作為輸入，通過(guò)對(duì)稱(chēng)的卷積層和反卷積層，將一張破損的圖像修復(fù)為一張符合視覺(jué)的圖像。

在經(jīng)典的生成對(duì)抗網(wǎng)絡(luò)中，用D(G(z))來(lái)衡量生成網(wǎng)絡(luò)生成圖像的能力。而在本文中，為了使得修復(fù)圖像符合視覺(jué)連貫性，引入衡量更為多樣化的圖像損失loss的概念，取代了在生成對(duì)抗網(wǎng)絡(luò)中，D(G(z))對(duì)生成圖像的簡(jiǎn)單判斷。通過(guò)最小化圖像損失loss，使得修復(fù)網(wǎng)絡(luò)盡可能生成接近人眼視覺(jué)連貫性的圖像，取得最好的修復(fù)效果。修復(fù)圖像的生成對(duì)抗網(wǎng)絡(luò)目標(biāo)函數(shù)如式(3):

Ez～pz(z)[log(1-Loss)]

(3)

其中:C代表Completion Network，也就是修復(fù)網(wǎng)絡(luò)，負(fù)責(zé)生成修復(fù)的圖像;D代表Discrimination Network，包含兩個(gè)鑒別網(wǎng)絡(luò)，分別是局部鑒別網(wǎng)絡(luò)和全局鑒別網(wǎng)絡(luò)，負(fù)責(zé)鑒別修復(fù)圖像的修復(fù)效果;x是完好的圖像，從完好的訓(xùn)練數(shù)據(jù)集P中抽取出來(lái);z是等待修復(fù)網(wǎng)絡(luò)C修復(fù)的破損圖像。 式(3)中定義了一個(gè)全新的圖像損失函數(shù)Loss，來(lái)恒量修復(fù)網(wǎng)絡(luò)的修復(fù)效果，計(jì)算式如下：

Loss=λ1Lossglobal+λ2Losslocal

(4)

其中：λ1和λ2是兩個(gè)權(quán)重系數(shù)，用來(lái)平衡全局鑒別網(wǎng)絡(luò)和局部鑒別網(wǎng)絡(luò)之間的權(quán)重占比；而Lossglobal代表全局鑒別網(wǎng)絡(luò)的損失，Losslocal代表局部鑒別網(wǎng)絡(luò)所輸出的損失。詳細(xì)損失構(gòu)成在2.2節(jié)中論述。

圖2 本文提出的GAN模型Fig. 2 Proposed GAN model

2.1 修復(fù)網(wǎng)絡(luò)相似塊搜尋

本文的修復(fù)網(wǎng)絡(luò)采用了破損圖像作為輸入，但是為了最大化遏止修復(fù)網(wǎng)絡(luò)在生成修復(fù)圖像時(shí)，由于擬合無(wú)序信息而產(chǎn)生損失，在待修復(fù)的破損區(qū)域，還采用了相似填充的方法。

在文獻(xiàn)[10]的研究中，直接將一組隨機(jī)的噪聲作為輸入，在生成網(wǎng)絡(luò)的擬合下，這組噪聲慢慢映射生成一張逼真的圖像。后來(lái)在文獻(xiàn)[11]、文獻(xiàn)[12]、文獻(xiàn)[21]的圖像生成方法中，都用圖像替換了噪聲輸入，其中，文獻(xiàn)[11]方法和文獻(xiàn)[12]方法使用的是破損圖像，文獻(xiàn)[21]方法使用的是人工手繪圖像，這些圖像的使用提升了生成網(wǎng)絡(luò)生成圖像的效率和質(zhì)量。

破損圖像替換了噪聲輸入后能提升生成圖像的效率和質(zhì)量的根本原因是噪聲是一組無(wú)序的隨機(jī)數(shù)，它沒(méi)有保留任何有助于生成網(wǎng)絡(luò)生成圖像的信息，生成網(wǎng)絡(luò)為了擬合這組無(wú)序信息，建立無(wú)序噪聲與圖像之間的映射，會(huì)產(chǎn)生許多不必要的損失。文獻(xiàn)[11]方法和文獻(xiàn)[12]方法雖然采用了破損圖像作為輸入，在一定程度上減少了映射的損失，但是并未對(duì)最為重要的破損區(qū)域加以處理，同樣還是對(duì)生成網(wǎng)絡(luò)造成了很大的損失。

本文采用相似填充方法將訓(xùn)練用的破損圖像進(jìn)行預(yù)處理，通過(guò)把破損區(qū)域周?chē)耐旰脠D像信息傳播到破損區(qū)域內(nèi)，以此保證待修復(fù)圖像內(nèi)沒(méi)有像噪聲一樣的無(wú)用干擾信息，從而降低修復(fù)網(wǎng)絡(luò)為了擬合輸入圖像產(chǎn)生的損失。該方法通過(guò)比對(duì)周?chē)徲驂K的相似程度，從破損區(qū)域的周?chē)页鲆粔K合適的填充塊，填充到破損的區(qū)域里面。填充的相似塊能夠提供給修復(fù)網(wǎng)絡(luò)一些結(jié)構(gòu)和紋理信息，減少特征映射時(shí)的損失，從而提高修復(fù)網(wǎng)絡(luò)生成圖像的質(zhì)量和速度。

為了盡量保留與完好塊相似的結(jié)構(gòu)與紋理信息，在尋找相似塊的時(shí)候，本文參考了PatchMatch方法[4]來(lái)尋找一個(gè)最好的相似塊。同時(shí)，考慮到神經(jīng)網(wǎng)絡(luò)的耗時(shí)性，為了提高相似塊的搜索速度，本文簡(jiǎn)化了PatchMatch方法，如圖3所示，具體操作如下：

1)簡(jiǎn)化偏置信息。隨機(jī)選擇破損區(qū)域相鄰的一個(gè)完好塊，并在圖像內(nèi)給完好塊隨機(jī)分配一個(gè)偏置塊，記錄這個(gè)完好塊與破損塊之間的位置信息。

2)傳播。用偏置信息和位置信息更新破損塊。

3)隨機(jī)搜索。以隨機(jī)偏置塊為基準(zhǔn)，以0.5的收斂速度隨機(jī)搜索更好的偏置塊，更新破損塊。

圖3 PatchMatch簡(jiǎn)化方法Fig. 3 PatchMatch simplified method

為了在尋找的效率和質(zhì)量上有更好的表現(xiàn)，本文進(jìn)一步對(duì)隨機(jī)的迭代作出了一定的限制，設(shè)定隨機(jī)搜索的次數(shù)為2次。

2.2 雙鑒別網(wǎng)絡(luò)

針對(duì)修復(fù)區(qū)域容易與邊緣結(jié)構(gòu)紋理信息不一致的問(wèn)題，Iizuka等[22]提出的圖像修復(fù)方法中增加了負(fù)責(zé)鑒別全局圖像區(qū)域的全局鑒別網(wǎng)絡(luò)。在這種方法中，修復(fù)的圖像既要在局部上產(chǎn)生合適的圖像，又需要在全局上擁有較好的視覺(jué)連通性。因此，為了維持這種全局的一致性，采用了破損周邊權(quán)重衡量的方法。但是，這種權(quán)重方法在對(duì)生成的修復(fù)圖像約束的同時(shí)，過(guò)于突出周?chē)承?quán)重信息， 從而對(duì)待修復(fù)區(qū)域的修復(fù)產(chǎn)生了負(fù)面影響；同時(shí)，在采用了全局圖像作為輸入時(shí)，也為全局鑒別網(wǎng)絡(luò)引入了過(guò)多的特征，從而形成了信息干擾。

本文同樣也采用了全局鑒別與局部鑒別的雙網(wǎng)絡(luò)結(jié)構(gòu)，即是由局部鑒別網(wǎng)絡(luò)來(lái)負(fù)責(zé)破損區(qū)域的圖像生成結(jié)果鑒別，由全局鑒別網(wǎng)絡(luò)來(lái)負(fù)責(zé)整體視覺(jué)連通性的修復(fù)結(jié)果鑒別。但是針對(duì)上述兩個(gè)問(wèn)題，本文采用了基于結(jié)構(gòu)邊緣信息約束的方法來(lái)解決權(quán)重失衡的問(wèn)題，同時(shí)，限制了全局鑒別網(wǎng)絡(luò)的圖像輸入?yún)^(qū)域，以便排除因?yàn)檫^(guò)多特征產(chǎn)生的干擾，最終使得全局鑒別網(wǎng)絡(luò)能夠更加關(guān)注于全局圖像的視覺(jué)連貫性；而局部鑒別網(wǎng)絡(luò)，能更加關(guān)注于當(dāng)前破損區(qū)域的生成圖像效果。

2.2.1 全局鑒別網(wǎng)絡(luò)

在本文中，全局鑒別網(wǎng)絡(luò)的輸入?yún)^(qū)域(圖4虛線外框)并非是整張圖像而是限定在以破損區(qū)域(圖4虛線內(nèi)框)中心為中心、面積為破損區(qū)域兩倍的區(qū)域，使得這兩者的面積符合：

2×Areabroken=Areaglobal

(5)

之所以采用這樣的限定，是因?yàn)樵趫D像修復(fù)的過(guò)程中，本文主要關(guān)注以下兩點(diǎn)：第一，修復(fù)網(wǎng)絡(luò)生成的修復(fù)圖像要符合視覺(jué)連貫性，即修復(fù)后的破損區(qū)域與周?chē)旰脜^(qū)域的紋理和結(jié)構(gòu)一致；第二，避免引入過(guò)多的無(wú)關(guān)特征信息干擾，這些信息容易導(dǎo)致修復(fù)網(wǎng)絡(luò)學(xué)習(xí)到無(wú)關(guān)特征，影響修復(fù)效果。采用限定輸入圖像區(qū)域大小的方法，不影響全局鑒別網(wǎng)絡(luò)對(duì)破損圖像待修復(fù)區(qū)域的圖像鑒定；同時(shí)，因?yàn)橄薅▍^(qū)域以外的圖像沒(méi)有輸入全局鑒別網(wǎng)絡(luò)，也就避免了更多的特征信息干擾。

在限制圖像中無(wú)關(guān)特征信息干擾的同時(shí)，對(duì)全局鑒別網(wǎng)絡(luò)增加了一個(gè)結(jié)構(gòu)邊緣信息約束。這是由于修復(fù)網(wǎng)絡(luò)在無(wú)約束時(shí)過(guò)分追求破損區(qū)域與完好區(qū)域的平滑連接，生成了過(guò)平滑的圖像。觀察這些過(guò)平滑的圖像，能觀察到一些明顯的紋理信息，但是符合視覺(jué)連貫性圖像注重的結(jié)構(gòu)信息卻大部分丟失，如圖4(c)所示。所以，本文需要進(jìn)一步在修復(fù)網(wǎng)絡(luò)中突出結(jié)構(gòu)信息，讓結(jié)構(gòu)信息在修復(fù)網(wǎng)絡(luò)生成的圖像中得到非常好的再現(xiàn)。

圖4 全局鑒別網(wǎng)絡(luò)不同圖像對(duì)比Fig. 4 Different image comparison in global discrimination network

本文將完好圖像和修復(fù)圖像先進(jìn)行邊緣結(jié)構(gòu)檢測(cè)，然后，通過(guò)對(duì)比兩者之間的結(jié)構(gòu)差異，進(jìn)而以此來(lái)懲罰那些在結(jié)構(gòu)上與完好圖像不一致的修復(fù)圖像，從而提高修復(fù)網(wǎng)絡(luò)對(duì)修復(fù)圖像結(jié)構(gòu)信息的重視程度。

鑒于全局鑒別網(wǎng)絡(luò)同時(shí)考慮了結(jié)構(gòu)和紋理信息，本文對(duì)全局損失函數(shù)改進(jìn)如下：

Lossglobal=loss(D(Areaglobal))+lossstructure

(6)

式中l(wèi)ossstructure為結(jié)構(gòu)損失懲罰項(xiàng)，用來(lái)懲罰修復(fù)圖像和完好圖像像素點(diǎn)間在結(jié)構(gòu)上的差異：

(7)

其中:N是Areaglobal區(qū)域(圖4虛線外框)內(nèi)的全部像素點(diǎn)數(shù)；pi表示完好圖像的第i個(gè)像素點(diǎn)，同時(shí)qi表示修復(fù)圖像中與之對(duì)應(yīng)的像素點(diǎn)。

2.2.2 局部鑒別網(wǎng)絡(luò)

針對(duì)局部鑒別網(wǎng)絡(luò)在海量圖像訓(xùn)練中容易產(chǎn)生特征漂移[23]，即特征過(guò)度學(xué)習(xí)的問(wèn)題，本文采用緩沖池存儲(chǔ)干擾塊，避免局部鑒別網(wǎng)絡(luò)掉入過(guò)度學(xué)習(xí)的陷阱。

在文獻(xiàn)[10]的原始局部鑒別網(wǎng)絡(luò)中，把修復(fù)后的圖像以及與之對(duì)應(yīng)的完好圖像作為局部鑒別網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，局部鑒別網(wǎng)絡(luò)根據(jù)完好圖像的特征與修復(fù)后圖像的特征的差異構(gòu)造局部鑒別損失。通過(guò)鑒別損失可以很好地衡量圖像修復(fù)的效果，局部鑒別損失越小說(shuō)明修復(fù)效果越好。

但是，在對(duì)局部鑒別網(wǎng)絡(luò)進(jìn)行大規(guī)模的訓(xùn)練時(shí)，特征的映射會(huì)產(chǎn)生“漂移”，即特征過(guò)度學(xué)習(xí)。局部鑒別網(wǎng)絡(luò)容易產(chǎn)生特征過(guò)度學(xué)習(xí)的根本原因是因?yàn)橛?xùn)練時(shí)輸入的圖像塊所在區(qū)域過(guò)小，并且來(lái)自同一個(gè)圖像類(lèi)別，這導(dǎo)致了圖像塊的特征過(guò)于集中和單一。特征過(guò)度學(xué)習(xí)造成的后果是修復(fù)網(wǎng)絡(luò)為了滿足局部鑒別網(wǎng)絡(luò)的鑒別結(jié)果，生成的圖像過(guò)分地注重某個(gè)特定的特征而忽略了全局的連通性，或者是過(guò)于注重多個(gè)特征從而造成某些特征重復(fù)出現(xiàn)的圖像。在文獻(xiàn)[22]中，研究者通過(guò)保留上次迭代訓(xùn)練的一半圖像來(lái)抑制這種影響。

為了克服特征漂移問(wèn)題，在本文的算法中，引入了一種既包含主要特征也包含附加特征的輔助特征塊。輔助特征塊既要包含原本完好圖像塊的主要特征以保證局部鑒別網(wǎng)絡(luò)學(xué)習(xí)的主要特征不會(huì)出現(xiàn)嚴(yán)重偏差；同時(shí)，為了避免局部鑒別網(wǎng)絡(luò)過(guò)擬合，輔助特征塊又要包含豐富的附加特征，這些附加特征提高了局部鑒別網(wǎng)絡(luò)的泛化能力，避免局部鑒別網(wǎng)絡(luò)特征過(guò)度學(xué)習(xí)，進(jìn)而提升修復(fù)網(wǎng)絡(luò)生成圖像的真實(shí)性。同時(shí)，為了提高算法的運(yùn)行效率，本文采用緩沖池技術(shù)來(lái)存儲(chǔ)和處理輔助特征塊。

輔助特征塊的搜尋算法如圖5所示，主要分為以下步驟：

1)在同一個(gè)訓(xùn)練批次下，提取當(dāng)前訓(xùn)練圖像中修復(fù)后的破損區(qū)域(Inpainted image)，并隨機(jī)選取該批次中的n張完好圖像。

2)在n張完好圖像中按序抽取一張圖像，用滑動(dòng)窗口在該圖像中搜索上述修復(fù)區(qū)域的最佳相似塊，并把相似塊放入緩沖池。

3)重復(fù)步驟2)，直至找到所有相似塊。

圖5 緩沖池存儲(chǔ)輔助特征塊Fig. 5 Storage of assisted feature patches by cache pool

在上述算法中尋找到的相似塊就是輔助特征塊，為了提高搜索效率，同時(shí)考慮到破損區(qū)域的大小，本文設(shè)置滑動(dòng)窗口步長(zhǎng)為劃定的破損區(qū)域邊長(zhǎng)的一半。

在訓(xùn)練局部鑒別網(wǎng)絡(luò)時(shí)，把緩沖池中輔助特征塊和修復(fù)網(wǎng)絡(luò)的修復(fù)塊一起作為局部鑒別網(wǎng)絡(luò)的訓(xùn)練輸入。由于這些輔助特征塊是在相同圖像類(lèi)別中的不同圖像尋找的，比如人臉圖像這一類(lèi)別中的不同人臉實(shí)例上的特征，因此，可以保證局部鑒別網(wǎng)絡(luò)學(xué)習(xí)到主要特征的同時(shí)還學(xué)習(xí)到很多附加特征。

在文獻(xiàn)[22]中，局部鑒別網(wǎng)絡(luò)的模式是輸入一個(gè)修復(fù)圖像，輸出一個(gè)局部鑒別損失。而在引入了輔助特征塊后，局部鑒別網(wǎng)絡(luò)采用緩沖池存儲(chǔ)的多個(gè)圖像塊和一個(gè)修復(fù)圖像塊作為輸入，由此也產(chǎn)生了多個(gè)局部鑒別損失。為了綜合反映多個(gè)局部鑒別損失的情況，本文重新定義了局部鑒別損失Losslocal，其中，把修復(fù)網(wǎng)絡(luò)生成的修復(fù)塊輸入局部鑒別網(wǎng)絡(luò)得到第一個(gè)局部損失稱(chēng)為lorigin，同時(shí)，把緩沖池內(nèi)的特征輔助塊輸入局部鑒別網(wǎng)絡(luò)計(jì)算出相應(yīng)的n個(gè)圖像損失從而得到它們的累加和。給上述兩項(xiàng)賦予不同的權(quán)值，組合成一個(gè)新的局部鑒別損失，如式(8)：

(8)

其中：li表示第i個(gè)像素點(diǎn)的損失；α與β為權(quán)重衡量系數(shù)，以突顯在訓(xùn)練的過(guò)程中對(duì)修復(fù)圖像塊的重視，本文把α設(shè)置為0.9，β設(shè)置為0.1，并限定輔助特征塊數(shù)為4個(gè)。

3 算法流程

使用Mini-batch的隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)，共進(jìn)行n輪迭代。根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，一般經(jīng)過(guò)30輪的迭代時(shí)，實(shí)驗(yàn)?zāi)苋〉幂^好的收斂結(jié)果。本文算法流程如下：

1)

For 迭代次數(shù)的第1,2,…,n次 do：

2)

Fork= 1,2,…,Kd步 do：

3)

從完好的訓(xùn)練集Pdata(x)中抽取一個(gè)mini-batch共m個(gè)

圖像{x(1),x(2),…,x(m)}，對(duì)抽取的每個(gè)圖像隨機(jī)

切分固定大小的破損區(qū)域，完成最鄰相似填充，作為

輸入數(shù)據(jù)集{z(1),z(2),…,z(m)}

4)

數(shù)據(jù)集輸入修復(fù)網(wǎng)絡(luò)生成相應(yīng)的修復(fù)圖像{G(z(1)),

G(z(2)),…,G(z(m))}

5)

使用SGD算法更新局部鑒別網(wǎng)絡(luò)和全局鑒別網(wǎng)絡(luò)的參

數(shù)Φ1和Φ2

6)

7)

End

8)

Fork= 1,2,…,Kg步 do：

9)

把m個(gè)圖像{z(1),z(2),…,z(m)}輸入修復(fù)網(wǎng)絡(luò)生成相

應(yīng)的修復(fù)圖像{G(z(1)),G(z(2)),…,G(z(m))}

10)

用上述步驟中訓(xùn)練好的兩個(gè)鑒別網(wǎng)絡(luò)(參數(shù)Φ1和Φ2)

來(lái)鑒別修復(fù)網(wǎng)絡(luò)的修復(fù)圖像{G(z(1)),G(z(2)),…,

G(z(m))}

11)

使用SGD算法更新局部鑒別網(wǎng)絡(luò)和全局鑒別網(wǎng)絡(luò)的參

數(shù)Φ1和Φ2

12)

根據(jù)鑒別網(wǎng)絡(luò)的結(jié)果{D(G(z(1))),D(G(z(2))),…,

D(G(z(m)))}，使用SGD算法更新修復(fù)網(wǎng)絡(luò)的參數(shù)θ

13)

14)

End

15)

End

4 實(shí)驗(yàn)結(jié)果與分析

4.1 參數(shù)設(shè)置及數(shù)據(jù)集

為了驗(yàn)證本文修復(fù)方法的效果，本文對(duì)圖像修復(fù)進(jìn)行了多輪的實(shí)例驗(yàn)證。實(shí)驗(yàn)的平臺(tái)是Windows 10，Python3.6和Tensorflow結(jié)合的編程環(huán)境，Intel 4.20 Ghz CPU時(shí)鐘頻率，內(nèi)存16.0 GB。

本文進(jìn)行了大量的實(shí)驗(yàn)來(lái)證明本文的模型在各類(lèi)圖像中的學(xué)習(xí)能力，其中重點(diǎn)訓(xùn)練了建筑和臉部圖像上合成缺失內(nèi)容的能力。 生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的參數(shù)(如學(xué)習(xí)率)按照文獻(xiàn)[11]中的建議設(shè)置，learningrate為0.001，momentum為0.5。 為了平衡不同損失的影響，實(shí)驗(yàn)中λ1為0.4，λ2為0.6，α設(shè)置為0.9，β為0.1。

本文使用了兩個(gè)數(shù)據(jù)集來(lái)驗(yàn)證本文的方法，分別是牛津建筑物數(shù)據(jù)集(The Oxford Buildings Dataset)和CelebA人臉數(shù)據(jù)集來(lái)訓(xùn)練和評(píng)估本文的模型，將掩模大小設(shè)置為中間覆蓋，覆蓋范圍設(shè)置為全圖的30%進(jìn)行訓(xùn)練，以確保至少有一個(gè)必要的圖像成分丟失。

4.2 實(shí)驗(yàn)對(duì)比

在建筑類(lèi)圖像修復(fù)的效果對(duì)比上，本文采用了近些年來(lái)基于深度學(xué)習(xí)并且修復(fù)效果比較好的幾種算法，分別是：1)GolbalLocal方法[22]；2)Context Encoder方法[23]；3)Semantic Inpainting方法[12]。同時(shí)，為了直觀地展現(xiàn)本文修復(fù)方法的有效性和優(yōu)越性，本文采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)指標(biāo)來(lái)表示修復(fù)算法修復(fù)的圖像和原圖像的差距，PSNR值越大，代表修復(fù)的效果越好。為了進(jìn)一步分析本文方法在圖像修復(fù)中，特別在結(jié)構(gòu)上的優(yōu)異性，還增加了結(jié)構(gòu)相似性(Structural SIMilarity index, SSIM)來(lái)評(píng)價(jià)修復(fù)結(jié)果，SSIM值越接近1，結(jié)構(gòu)越為相似。

不同方法在牛津建筑物類(lèi)圖像中的修改效果如圖6所示。由圖6可以看出，在圖像1中，對(duì)比門(mén)柱和窗戶的修復(fù)效果，可以清晰看出本文的修復(fù)方法修復(fù)效果最好；在文獻(xiàn)[22]方法的修復(fù)效果圖6(c)中，明顯可以看出建筑的修復(fù)中顏色出現(xiàn)了偏差，建筑的結(jié)構(gòu)修復(fù)也出現(xiàn)了偏離；在圖6(d)的修復(fù)中，特征明顯學(xué)習(xí)過(guò)度，在修復(fù)的時(shí)候，出現(xiàn)了特征重復(fù)，圖像較為模糊，修復(fù)效果較差；在圖6(e)的修復(fù)中，修復(fù)的效果較好，結(jié)構(gòu)比較清晰，紋理也較好。圖6中的圖像2和圖像4都是屬于窗戶特征明顯的圖像：在圖6(f)的修復(fù)中，本文方法避免了過(guò)度學(xué)習(xí)導(dǎo)致的圖像平滑，在結(jié)構(gòu)和紋理上修復(fù)效果都較為出眾；在圖6(c)的修復(fù)中，因?yàn)椴捎玫氖侵苓厵?quán)重的恒量，可以看到明顯引入了周邊的窗戶對(duì)修復(fù)區(qū)域的影響，表現(xiàn)為窗框重疊、扭曲等；在圖6(d)的修復(fù)中，在面對(duì)這類(lèi)全局特征過(guò)于明顯的圖像時(shí)，出現(xiàn)了修復(fù)區(qū)域過(guò)平滑的缺陷，圖像較為模糊；在圖6(e)的修復(fù)中，修復(fù)效果稍有缺陷，表現(xiàn)為窗戶的修復(fù)過(guò)于刻板、邊緣的修復(fù)稍微扭曲的情況。圖6中圖像3是典型的曲線修復(fù)圖像：在本文方法的修復(fù)效果圖6(f)中，建筑的二層邊緣維持了一個(gè)較順滑的形狀，紋理上也比較符合視覺(jué)一致；而在圖6(c)～(e)的修復(fù)中，則明顯缺乏視覺(jué)連通性，修復(fù)效果較差。不同修復(fù)方法的峰值信噪比(PSNR)和相應(yīng)的SSIM值如表1所示。

圖6 不同方法在牛津建筑物類(lèi)圖像中的修復(fù)效果Fig. 6 Completion effects of different methods in building images of Oxford

因?yàn)镃ontext Enconder方法[23]在人臉修復(fù)上效果欠佳，本文用Generative Face Completion方法[11]來(lái)代替Context Enconder方法[23]。Generative Face Completion方法[11]采用迭代下降生成損失的方法來(lái)逼近最佳效果，以此修復(fù)圖像。不同方法人臉類(lèi)圖像的修復(fù)效果如圖7所示。為了驗(yàn)證各算法在人臉大缺失區(qū)域修復(fù)上的效果，本文采用了40%破損面積進(jìn)行訓(xùn)練。

由圖7可以看出，本文方法很好地突顯了人臉的結(jié)構(gòu)信息。在圖7修復(fù)的男性人臉圖像1中：圖7(d)～(e)的修復(fù)方法在破損和完好區(qū)域的邊緣連接出現(xiàn)不同程度的結(jié)構(gòu)扭曲，而圖7(f)的本文方法修復(fù)中，特別是在男性右耳部分，則保持了出眾的結(jié)構(gòu)。在圖7修復(fù)的女性人臉圖像2和圖像3中：圖7(c)的修復(fù)方法因?yàn)闆](méi)有采用特征輔助學(xué)習(xí)，女性右眼都明顯出現(xiàn)了特征失真、人臉細(xì)節(jié)模糊的狀況，而圖7(f)的本文方法修復(fù)中，在兩張女性的眼睛細(xì)節(jié)和人臉部皮膚上都保持了較為完好的紋理信息。用PSNR和SSIM衡量不同方法的修復(fù)效果，結(jié)果如表2所示。

圖7 不同方法在人臉類(lèi)圖像中的修復(fù)效果Fig. 7 Completion effect of different methods in face images表1 不同方法建筑修復(fù)圖的PSNR和SSIMTab. 1 PSNR and SSIM of building completed images obtained by different methods

圖像PSNR/dB文獻(xiàn)[22]方法文獻(xiàn)[23]方法文獻(xiàn)[12]方法本文方法SSIM文獻(xiàn)[22]方法文獻(xiàn)[23]方法文獻(xiàn)[12]方法本文方法建筑圖像122.419.321.6822.560.86320.79440.84650.8711建筑圖像223.320.922.124.710.84210.80540.82640.8542建筑圖像317.917.117.521.540.79640.77570.78190.8358建筑圖像420.518.818.921.530.84330.82410.82190.8598

表2 不同方法人臉修復(fù)圖的PSNR和SSIMTab. 2 PSNR and SSIM of face completed images obtained by different methods

5 結(jié)語(yǔ)

本文提出了一個(gè)基于深度學(xué)習(xí)網(wǎng)絡(luò)模型來(lái)進(jìn)行圖像修復(fù)的方法，該模型基于生成對(duì)抗網(wǎng)絡(luò)，采用了雙鑒別網(wǎng)絡(luò)的模型。在網(wǎng)絡(luò)的修復(fù)模型中，本文對(duì)破損圖像的輸入進(jìn)行完好的相似信息填充處理，減少擬合損失;而在鑒別模型中，本文對(duì)全局鑒別網(wǎng)絡(luò)采用了邊緣結(jié)構(gòu)信息的檢測(cè)突出結(jié)構(gòu)信息，對(duì)局部鑒別網(wǎng)絡(luò)使用了輔助特征塊控制過(guò)度學(xué)習(xí)的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，本文方法在不同種類(lèi)數(shù)據(jù)集圖像的修復(fù)中，具有良好的適應(yīng)性，對(duì)破損圖像也有較好的修復(fù)效果。