基于新生成器結(jié)構(gòu)的圖像修復(fù)方法①

楊 柳,王 敏,林 竹

(河海大學(xué) 計(jì)算機(jī)與信息學(xué)院,南京 211100)

圖像修復(fù)是一種對(duì)破損或者存在缺失的圖像區(qū)域進(jìn)行補(bǔ)全的技術(shù),它在缺失區(qū)域插入所預(yù)測(cè)的內(nèi)容,為目標(biāo)移除提供了技術(shù)支持.雖然研究者已經(jīng)提出了許多圖像修復(fù)的方法,例如基于patch的圖像合成[1],但是圖像修復(fù)仍然是一個(gè)具有挑戰(zhàn)性的研究方向,它不僅要修復(fù)圖像紋理,還需要理解整個(gè)場(chǎng)景和被修復(fù)對(duì)象的語(yǔ)義.在本文中,我們考慮使用基于DenseNet[2]結(jié)構(gòu)的圖像缺失生成網(wǎng)絡(luò)結(jié)構(gòu)來(lái)緩解紋理修復(fù)中存在的問(wèn)題,同時(shí)針對(duì)雙判別器提出使用JPU[3]加速來(lái)解決圖像紋理和場(chǎng)景連續(xù)性的問(wèn)題.

Pathak等人提出Context-Encoder[4]基于生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練圖像修復(fù)的概念,Iizuka等人提出的文獻(xiàn)[5]的方法是基于全局和局部一致的圖像修復(fù)方法,該方法使用GAN對(duì)抗性損失訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)[6].該方法通過(guò)雙判別器結(jié)構(gòu)對(duì)缺失生成器對(duì)Context-Encoder方法改進(jìn),進(jìn)行對(duì)抗訓(xùn)練,使得生成的結(jié)果更加真實(shí).該方法盡管可以處理任意大小的任意缺失圖像,但是明顯較大的缺失無(wú)法修復(fù).盡管視覺上修復(fù)紋理較連續(xù),但是存在某些高度結(jié)構(gòu)化的圖片修復(fù)后存在模糊和不真實(shí)的情況,有較明顯的修復(fù)痕跡.與此同時(shí),該方法由于膨脹卷積層[7]的使用,使得訓(xùn)練、修復(fù)時(shí)間很長(zhǎng).我們提出的方法解決了這兩點(diǎn),并將進(jìn)一步提高結(jié)果的視覺質(zhì)量和生成速度.

我們使用DenseNet網(wǎng)絡(luò)架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)作為網(wǎng)絡(luò)的基礎(chǔ),提出了一種新的網(wǎng)絡(luò)結(jié)構(gòu),聯(lián)合DenseNet實(shí)現(xiàn)對(duì)圖像信息的深度利用,可以實(shí)現(xiàn)修復(fù)效果的連續(xù)性和清晰性,同時(shí)通過(guò)JPU (聯(lián)合金字塔上采樣)實(shí)現(xiàn)訓(xùn)練的加速.本文的網(wǎng)絡(luò)結(jié)構(gòu)由3個(gè)部分組成:缺失區(qū)域生成網(wǎng)絡(luò)、缺失區(qū)域判別器和缺失周邊區(qū)域鑒別器.缺失區(qū)域生成網(wǎng)絡(luò)是基于DenseNet的,并使用了提高訓(xùn)練速度的JPU替代了傳統(tǒng)的擴(kuò)充卷積層用于生成缺失區(qū)域的預(yù)測(cè)圖像.缺失區(qū)域判別器和缺失周邊判別器都是用于訓(xùn)練的輔助子網(wǎng),這些判別器用于判別圖像修復(fù)結(jié)果是否真實(shí)以及與周邊上下文是否連續(xù).我們使用缺失周邊部分區(qū)域作為判別依據(jù),聯(lián)合JPU來(lái)減少運(yùn)算的時(shí)間.聯(lián)合訓(xùn)練雙判別器和生成器,最終使得生成器所生成的效果能“欺騙”判別器.與現(xiàn)有的方法比較,尤其是人臉修復(fù),我們的方法在修復(fù)的真實(shí)性和與原圖的差異性上表現(xiàn)優(yōu)秀,在訓(xùn)練時(shí)間上也比現(xiàn)有的部分方法速度更快.

綜上所述,本文提出:

(1)不同于基于全局和局部一致的圖像修復(fù),我們使用充分挖掘圖片特征的DenseNet結(jié)構(gòu)替代傳統(tǒng)的基于AlexNet架構(gòu)的缺失區(qū)域生成網(wǎng)絡(luò);

(2)使用JPU (聯(lián)合金字塔上采樣)替代傳統(tǒng)膨脹卷積層加速計(jì)算.

1 相關(guān)工作

圖像修復(fù)的傳統(tǒng)方法有:應(yīng)用變分法對(duì)缺失區(qū)域進(jìn)行修復(fù)[8],但是這種方法迭代速度很慢,對(duì)于缺失較大的區(qū)域,修復(fù)完成后有明顯的模糊.基于邊界的優(yōu)先級(jí)對(duì)缺失區(qū)域進(jìn)行順序填充[9],是一種基于填充區(qū)域輪廓優(yōu)先級(jí)的貪心算法,它明顯的缺點(diǎn)是無(wú)法保證整體填充效果連續(xù).基于patch的算法[1]通過(guò)尋找最相似、最近鄰的patch來(lái)進(jìn)行修復(fù),它的優(yōu)點(diǎn)是修復(fù)速度很快,但是對(duì)于初始化比較敏感,容易陷入局部極值,導(dǎo)致修復(fù)效果整體不連續(xù).基于offset的算法[10]使用圖割算法,利用自然圖像中存在的自相似冗余和patch塊之間的偏移量也存在稀疏的特性計(jì)算offset來(lái)進(jìn)行圖像修復(fù),該方法減少了邊界過(guò)度不自然的問(wèn)題.但是與我們的方法不同,它們都不能生成源圖像中沒有的新對(duì)象.為了能生成缺失圖像沒有的對(duì)象,有人提出使用數(shù)據(jù)庫(kù)驅(qū)動(dòng)的方法[11],通過(guò)在數(shù)據(jù)庫(kù)中尋找匹配來(lái)完成缺失修復(fù),但是這種方法耗時(shí)且修復(fù)的對(duì)象受數(shù)據(jù)庫(kù)的限制.

卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和對(duì)抗神經(jīng)網(wǎng)絡(luò)(GAN)[6]也被用于圖像補(bǔ)全.Pathak等人提出上下文編碼器(Context-Encoder,CE)[4],該算法提出使用encoderdecoder作為缺失區(qū)域生成器,將GAN作為修復(fù)結(jié)果判別器.缺失圖像被送入生成器網(wǎng)絡(luò)進(jìn)行缺失生成,修復(fù)的結(jié)果和真實(shí)圖像被送入判別器進(jìn)行對(duì)抗判別,直至判別器無(wú)法區(qū)分真實(shí)圖像和修復(fù)圖像的時(shí)候,訓(xùn)練結(jié)束.CE通過(guò)使用均方誤差(MSE)損失與GAN損失相結(jié)合的方法,在128×128像素圖像的中心修復(fù)64×64像素的區(qū)域來(lái)訓(xùn)練修復(fù)網(wǎng)絡(luò),避免了僅使用MSE損失時(shí)常見的模糊.

基于全局和局部一致的圖像修復(fù)[5]在CE[4]的基礎(chǔ)上,通過(guò)引入雙判別器結(jié)構(gòu)將基于CNN的修復(fù)擴(kuò)展到任意的區(qū)域缺失.缺失圖像被送入帶有膨脹卷積層的生成網(wǎng)絡(luò)生成修復(fù)結(jié)果圖像[12,13],缺失區(qū)域的修復(fù)結(jié)果被送入缺失區(qū)域判別器;整體的修復(fù)結(jié)果被送入缺失周邊判別器,雙判別器結(jié)構(gòu)基本保證圖像在缺失局部和缺失周邊全局上修復(fù)效果一致,當(dāng)雙判別器無(wú)法判別真實(shí)圖像和修復(fù)圖像時(shí),訓(xùn)練結(jié)束.

在encoder結(jié)構(gòu)中,得到了低分辨率的特征圖,最終的特征圖編碼了豐富的語(yǔ)義信息,卻丟失了的圖像結(jié)構(gòu)信息,導(dǎo)致修復(fù)效果不清晰.我們的方法在減少雙判別器訓(xùn)練時(shí)間的同時(shí),增強(qiáng)了修復(fù)的效果.通過(guò)基于DenseNet構(gòu)建缺失生成網(wǎng)絡(luò),提高修復(fù)結(jié)果的清晰度;使用聯(lián)合上采樣的JPU,而非傳統(tǒng)的膨脹卷積層,有效減少了訓(xùn)練時(shí)間.同時(shí)聯(lián)合上采樣的JPU的輸入聯(lián)合多尺度的特征圖和DenseNet的使用,實(shí)現(xiàn)了有效的特征重用,保留了更多的空間結(jié)構(gòu)和位置信息,使得最終的修復(fù)效果相比較而言有高分辨率.

2 網(wǎng)絡(luò)結(jié)構(gòu)

我們的方法是基于DenseNet訓(xùn)練的圖像修復(fù)網(wǎng)絡(luò).圖像缺失區(qū)域生成使用單個(gè)聯(lián)合JPU上采樣的生成網(wǎng)絡(luò).為了訓(xùn)練這個(gè)網(wǎng)絡(luò)真實(shí)地完成圖像,使用了另外兩個(gè)子網(wǎng)絡(luò),局部缺失判別網(wǎng)絡(luò)和非全局的局部缺失周邊判別網(wǎng)絡(luò).在訓(xùn)練過(guò)程中,對(duì)判別器網(wǎng)絡(luò)進(jìn)行訓(xùn)練,判斷圖像是否已經(jīng)完成,對(duì)生成網(wǎng)絡(luò)進(jìn)行欺騙.只有將這3種網(wǎng)絡(luò)訓(xùn)練在一起,網(wǎng)絡(luò)才能真實(shí)地修復(fù)多種圖像.網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 基于新生成器結(jié)構(gòu)的圖像修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 DenseNet

隨著卷積神經(jīng)網(wǎng)絡(luò)的深入,后面的輸出與前面卷積層的特征聯(lián)系會(huì)更少,如果將前面卷積層的特征圖輸入到后面的卷積層,那么訓(xùn)練的網(wǎng)絡(luò)會(huì)更加深入和有效.原始encoder-decoder使用的是基于AlexNet結(jié)構(gòu)的,而我們的方法是基于DenseNet結(jié)構(gòu),它以前饋的方式將每一層連接到后面的每一層,加強(qiáng)網(wǎng)絡(luò)的圖像結(jié)構(gòu)、位置等信息重用和特征學(xué)習(xí).傳統(tǒng)的卷積網(wǎng)絡(luò)有L層,而DenseNet有L(L+1)/2個(gè)直接連接.對(duì)于每一層,前面所有層的特征圖都用作輸入,而它自己的特征圖用作后面所有層的輸入.DenseNet有幾個(gè)優(yōu)點(diǎn):緩解了消失梯度問(wèn)題,增強(qiáng)了特征傳播,增強(qiáng)了特征重用,并大大減少了參數(shù)的數(shù)量.DenseNet在大多數(shù)情況下都比之前的技術(shù)有顯著的改進(jìn),同時(shí)僅需要更少的計(jì)算來(lái)實(shí)現(xiàn)視覺上更好的修復(fù)效果.DenseNet由denseblock組成,對(duì)每個(gè)denseblock:X1=H1([x1,x2,x3,…,xl–1]),第l層接收前面所有l(wèi)–1層的特征圖x1,x2,x3,…,xl–1拼接作為輸入,H1由3個(gè)操作組成:BN、ReLU、3×3的卷積.每個(gè)denseblock之間的連接被稱為過(guò)渡層,過(guò)渡層主要由卷積層和池化層構(gòu)成.在本文里,將過(guò)渡層和denseblock整合為新的denseblock結(jié)構(gòu).

2.2 缺失生成網(wǎng)絡(luò)

缺失生成圖像的基本結(jié)構(gòu)信息應(yīng)該與原圖像信息一致,在輸入特征圖和輸出特征圖之間某些特征可能相似,利用好這些信息,可能會(huì)生成對(duì)比原圖更加真實(shí)的修復(fù).根據(jù)這個(gè)思想,與其他使用類似于AlexNet[14]結(jié)構(gòu)的編碼-解碼結(jié)構(gòu)不同,我們使用基于DenseNet的編碼-解碼結(jié)構(gòu).缺失區(qū)域生成網(wǎng)絡(luò)的輸入為有缺失圖像,在缺失之外的區(qū)域不做任何更改,仍為原圖像,輸出為修復(fù)完成的圖像.缺失區(qū)域生成網(wǎng)絡(luò)為編碼-解碼結(jié)構(gòu),其中編碼器部分使用基于DenseNet結(jié)構(gòu)對(duì)圖像進(jìn)行深度特征壓縮提取,然后使用同樣基于DenseNet結(jié)構(gòu)的解碼器的反卷積結(jié)構(gòu)對(duì)圖像大小進(jìn)行恢復(fù),生成最終的修復(fù)圖像.

在基于全局和局部一致的圖像修復(fù)方法[5]中使用雙判別器的結(jié)構(gòu)中,使用了4個(gè)傳統(tǒng)膨脹卷積層作為編碼-解碼部分的連接處理,來(lái)保持圖像的感知野.擴(kuò)張卷積在獲取高分辨率最終特征圖中發(fā)揮重要作用,但它也有一些缺陷,比如增加了計(jì)算復(fù)雜度和內(nèi)存占用.基于這種思想,除了使用標(biāo)準(zhǔn)的卷積層,為了減少擴(kuò)張卷積帶來(lái)消耗的時(shí)間和內(nèi)存,我們使用了新的聯(lián)合上采樣模塊JPU[3]替代傳統(tǒng)的膨脹卷積層.并且,膨脹卷積層得到的最終的特征圖編碼了豐富的語(yǔ)義信息,卻丟失了精細(xì)的圖像結(jié)構(gòu)信息,導(dǎo)致目標(biāo)邊界預(yù)測(cè)不準(zhǔn)確,修復(fù)效果不清晰,而我們使用JPU替代擴(kuò)張卷積層部分能得到高分辨率的特征圖.同時(shí),在不損失性能的前提下,將計(jì)算復(fù)雜度降低了2倍左右,提高了運(yùn)行速度.通過(guò)實(shí)驗(yàn)觀察loss下降情況,使用JPU連接編碼、解碼結(jié)構(gòu),訓(xùn)練的過(guò)程收斂的更快且更加穩(wěn)定.

作為考古界的著名人士，師古揚(yáng)古都是本分，但賴非給予世界的驚奇永遠(yuǎn)在于新。他活出了這一個(gè)時(shí)代的學(xué)者、藝術(shù)家的獨(dú)特價(jià)值。再過(guò)500年，也許就有后人對(duì)著他的拓畫《地老天荒》拍案叫絕，如同他讀《王道習(xí)墓志》一樣。他視皇甫亮為酒友，也會(huì)有人將他視為畫友的。藝術(shù)本來(lái)就是隨意而為，那個(gè)在酒罐子上寫下或者畫下第一個(gè)圖案的古人，和拿著墨汁隨意拓下一段凹凸線條的賴非，他們對(duì)美的感知和期待，自然是相通的，自然可互稱為友。

JPU以編碼器最后3層的特征圖作為輸入,與傳統(tǒng)的膨脹卷積層的不同之處基于最后的兩個(gè)卷積層,傳統(tǒng)的使用擴(kuò)張卷積層是在encoder第4層后使用一個(gè)常規(guī)的卷積層,再放入擴(kuò)張卷積層;JPU是用步長(zhǎng)為2的卷積處理,然后在放入常規(guī)卷積層輸出.整個(gè)框架的時(shí)間和內(nèi)存占用大幅減少.同時(shí)由于它能利用跨多級(jí)特征圖的多尺度特征圖,性能不會(huì)出現(xiàn)損失.

生成器部分的損失函數(shù)分為兩個(gè)部分:對(duì)抗性損失和修復(fù)距離損失.對(duì)抗性損失:

對(duì)抗性損失是為了生成器盡最大可能“欺騙”判別器;修復(fù)距離損失采用L2距離:

修復(fù)距離損失是為了生成盡量真實(shí)的圖像,盡最大可能使得修復(fù)完成的圖像與原圖像“距離”更小.最后生成器部分的損失函數(shù)為:Ladv+λ1Lres,本文中λ1=0.0004.

2.3 對(duì)抗判別網(wǎng)絡(luò)

缺失區(qū)域判別器和缺失周邊判別器網(wǎng)絡(luò)的目標(biāo)是識(shí)別圖像是真實(shí)的還是修復(fù)得到的.該網(wǎng)絡(luò)基于卷積神經(jīng)網(wǎng)絡(luò),將圖像壓縮成小的特征向量.網(wǎng)絡(luò)的輸出由一個(gè)全連接層處理得到,預(yù)測(cè)修復(fù)結(jié)果與真實(shí)結(jié)果的概率值.

我們采用與基于全局和局部一致的圖像修復(fù)[5]類似的雙判別器策略,缺失區(qū)域判別器有兩個(gè)輸入:生成器所生成的缺失區(qū)域的圖像和真實(shí)缺失區(qū)域圖像;缺失周邊判別器以修復(fù)完成的圖像和原圖像作為輸入,聯(lián)合兩個(gè)判別器對(duì)抗判別訓(xùn)練.兩個(gè)判別器的主要區(qū)別在于輸入圖像的大小不同,局部的輸入僅為全局的1/2,所以缺失區(qū)域判別器不需要使用缺失周邊判別器的第一層.

最后,局部判別器得到一個(gè)1024維的輸出,表示局部上下文信息;全局判別器也得到一個(gè)1024維的輸出,表示全局上下文信息.兩者信息結(jié)合,在使用一個(gè)全連接層得到最終的判別概率,判別圖像是修復(fù)出來(lái)的,還是真實(shí)的.當(dāng)判別器無(wú)法判別圖像是修復(fù)/真實(shí)的時(shí)候,結(jié)束訓(xùn)練.整體算法流程圖如圖2所示.

圖2 基于新生成器結(jié)構(gòu)的圖像修復(fù)算法流程圖

3 實(shí)驗(yàn)

3.1 各部分的作用

本部分主要分析DenseNet架構(gòu)和JPU的作用.

3.1.1 基于DenseNet架構(gòu)

2.1節(jié)從理論上分析了使用基于DenseNet架構(gòu)構(gòu)建缺失生成網(wǎng)絡(luò)的優(yōu)勢(shì),為了進(jìn)一步從實(shí)驗(yàn)上證明該優(yōu)勢(shì).我們使用了ImageNet數(shù)據(jù)集中的小狗類對(duì)使用AlexNet作為基本基本架構(gòu)和使用DenseNet作為基本架構(gòu)基于雙判別器方法進(jìn)行了評(píng)估.使用AlexNet作為基本架構(gòu)的修復(fù)效果與使用DenseNet作為基本架構(gòu)的修復(fù)效果如圖3,第一列為原始圖片,第二列為缺失圖片,第三列encoder-decoder部分使用AlexNet結(jié)構(gòu)的Iizuka等的方法修復(fù)效果,第四列為使用DenseNet作為基本架構(gòu)的修復(fù)效果.可以看出,使用DenseNet作為基本架構(gòu)的修復(fù)效果更加清晰且真實(shí),對(duì)比Iizuka等的方法修復(fù)效果改進(jìn)明顯.

圖3 使用DenseNet作為基本結(jié)構(gòu)和使用AlexNet基本結(jié)構(gòu)的修復(fù)效果對(duì)比

3.1.2 JPU加速

第2.2節(jié)從理論上分析了使用JPU (聯(lián)合金字塔上采樣)替代傳統(tǒng)膨脹卷積層的優(yōu)勢(shì),為了進(jìn)一步從實(shí)驗(yàn)上證明該優(yōu)勢(shì),我們對(duì)不帶膨脹卷積使用JPU、帶傳統(tǒng)膨脹卷積的雙判別器方法進(jìn)行對(duì)比,修復(fù)結(jié)果如圖4所示,我們使用相同的實(shí)驗(yàn)設(shè)置,均為中心缺失修復(fù).第一列為原始圖像,第二列為缺失圖像,第三列為使用膨脹卷積層的雙判別器網(wǎng)絡(luò),第四列為使用JPU替代傳統(tǒng)膨脹卷積的方法.由圖4可以看出,使用JPU替代傳統(tǒng)膨脹卷積,不損失修復(fù)效果,JPU實(shí)現(xiàn)了類似傳統(tǒng)膨脹卷積的作用;在輕微或者不犧牲修復(fù)效果的情況下,在同樣迭代50 000次,batch_size設(shè)置為32的情況下,使用膨脹卷積層的訓(xùn)練時(shí)間為14.10 h,使用JPU的訓(xùn)練時(shí)間為6.97 h.在時(shí)間上,JPU大約減少了一倍的訓(xùn)練時(shí)間,減少了內(nèi)存開銷.同時(shí),loss曲線的趨勢(shì)更加穩(wěn)定.

圖4 不使用和使用JPU加速的修復(fù)效果對(duì)比

由圖4可以看出,僅僅使用JPU只能起到加速訓(xùn)練的作用.為了能解決帶傳統(tǒng)膨脹卷積的雙判別器方法下修復(fù)圖像模糊的缺點(diǎn),我們會(huì)在接下來(lái)聯(lián)合使用JPU和基于DenseNet的架構(gòu).

3.2 與現(xiàn)有方法的比較

PSNR (Peak Signal to Noise Ratio)[17]峰值信噪比是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo).然而PSNR是基于對(duì)應(yīng)像素點(diǎn)間的誤差,即基于誤差敏感的圖像質(zhì)量評(píng)價(jià).并未考慮到人眼的視覺特性(人眼對(duì)空間頻率較低的對(duì)比差異敏感度較高,人眼對(duì)亮度對(duì)比差異的敏感度較色度高,人眼對(duì)一個(gè)區(qū)域的感知結(jié)果會(huì)受到其周圍鄰近區(qū)域的影響等),因而經(jīng)常出現(xiàn)評(píng)價(jià)結(jié)果與人的主觀感覺不一致的情況.所以我們不僅僅使用PSNR作為衡量指標(biāo),我們還使用到了SSIM.

SSIM (Structural SIMilarity)[18]結(jié)構(gòu)相似性,是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo),它分別從亮度、對(duì)比度、結(jié)構(gòu)3方面度量圖像相似性.SSIM取值范圍[0,1],值越大,表示圖像失真越小.

圖5為中心缺失為32×32像素大小(原圖大小為128×128)的情況下我們的方法與Iizuka等的方法修復(fù)效果對(duì)比.圖6為中心缺失54×54的情況下我們的方法與Iizuka等的方法修復(fù)效果對(duì)比.圖7為中心缺失64×64的情況下我們的方法與Iizuka等的方法修復(fù)效果對(duì)比.圖8為隨機(jī)缺失情況下我們的方法與Iizuka等的方法修復(fù)效果對(duì)比.第一列均為原始圖像、第二列均為缺失圖像、第三列均為Iizuka等的修復(fù)效果、第四列均為使用我們的方法(網(wǎng)絡(luò)框架如圖1)后的修復(fù)效果.表1為中心缺失64×64情況下修復(fù)效果所對(duì)應(yīng)的平均PSNR和SSIM值對(duì)比.

圖5 中心缺失為32×32的修復(fù)效果對(duì)比圖

圖6 中心缺失為54×54的修復(fù)效果對(duì)比圖

圖7 中心缺失為64×64的修復(fù)效果對(duì)比圖

由圖5、圖6、圖7和表1可以看到,我們的方法可以真實(shí)地修復(fù)人臉上的缺失區(qū)域,修復(fù)結(jié)果與原圖間的差異性也更小.在圖5缺失較小的情況下,我們的方法和Iizuka方法修復(fù)效果差別不大,隨著缺失的增大,修復(fù)難度的提高,我們的方法明顯優(yōu)于Iizuka的方法.但在缺失較大的情況下,如0.9比例的缺失,由于信息缺損嚴(yán)重,修復(fù)效果較差.傳統(tǒng)的基于補(bǔ)丁的方法無(wú)法完成人臉,因?yàn)樗笏惴ㄉ刹粚儆谠搱D像一部分的新對(duì)象,如眼睛、鼻子和嘴巴.對(duì)比Iizuka等的方法,我們的方法生成的圖像更加清晰且能真實(shí)的應(yīng)用于多種人臉角度.由圖8可以看到,在缺失大小、位置、形狀隨機(jī)的情況下,本方法的修復(fù)效果更真實(shí)且清晰.說(shuō)明本方法優(yōu)于Iizuka等的方法.

圖8 隨機(jī)缺失下的修復(fù)效果對(duì)比圖

表1 我們的方法與Iizuka等的方法PSNR、SSIM指數(shù)對(duì)比

4 結(jié)論

我們提出了一種新的基于雙判別器的圖像修復(fù)方法,實(shí)驗(yàn)證明,通過(guò)使用JPU (聯(lián)合金字塔上采樣)替代膨脹卷積進(jìn)行計(jì)算,在不降低修復(fù)效果的前提下,所需要的訓(xùn)練和修復(fù)時(shí)間大大減少.通過(guò)使用DenseNet來(lái)構(gòu)造encoder-decoder部分,提高修復(fù)的真實(shí)性,并使得修復(fù)效果更加清晰.此外,本文展示了將本方法應(yīng)用于人臉上的修復(fù)效果,與真實(shí)人臉差異性較小.