融合邊緣檢測(cè)和自注意力的圖像修復(fù)方法①

李維乾,張曉文

(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,西安 710600)

圖像修復(fù)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要任務(wù).它在數(shù)字藝術(shù)品修復(fù)、公安刑偵面部修復(fù)等種種實(shí)際場(chǎng)景中被廣泛應(yīng)用.圖像修復(fù)的核心挑戰(zhàn)在于為缺失區(qū)域合成視覺逼真和語義合理的像素,要求合成的像素與原像素具有一致性.

傳統(tǒng)的圖像修復(fù)技術(shù)有基于結(jié)構(gòu)和紋理兩種方法.基于結(jié)構(gòu)的圖像修復(fù)算法具有代表性的是Bertalmio 等[1]提出的BSCB 模型和Shen 等[2]提出的基于曲率擴(kuò)散的修復(fù)模型CDD.基于紋理的修復(fù)算法中具有代表性的有Criminisi 等[3]提出的基于patch的紋理合成算法.這兩種傳統(tǒng)的修復(fù)算法可以修復(fù)小塊區(qū)域的破損,但是在破損區(qū)域越來越大時(shí),修復(fù)效果則直線下降,并且修復(fù)結(jié)果存在圖像模糊、結(jié)構(gòu)扭曲、紋理不清晰和視覺不連貫等問題.

近年來隨著硬件設(shè)備等計(jì)算能力的不斷提升,以及深度學(xué)習(xí)技術(shù)在圖像翻譯[4,5]、圖像超分辨率[6]、圖像修復(fù)[7-9]等計(jì)算機(jī)視覺領(lǐng)域的迅速發(fā)展,采用深度學(xué)習(xí)技術(shù)的修復(fù)方法能夠捕獲圖像的高層語義信息,與傳統(tǒng)的修復(fù)方法相比,具有良好的修復(fù)效果.現(xiàn)有基于深度學(xué)習(xí)的修復(fù)方法包括卷積神經(jīng)網(wǎng)絡(luò)的方法和生成式對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)的方法,其中基于GAN的方法在圖像修復(fù)領(lǐng)域的應(yīng)用比較出色.該技術(shù)采用對(duì)抗訓(xùn)練的方式來幫助模型生成需要的樣本圖像,采用GAN 方法能夠提高數(shù)據(jù)質(zhì)量,提升學(xué)習(xí)效率,但存在修復(fù)區(qū)域與周圍區(qū)域語義不相關(guān)、邊界模糊、訓(xùn)練不穩(wěn)定等問題,因此相關(guān)學(xué)者對(duì)基于GAN 網(wǎng)絡(luò)的圖像修復(fù)方法進(jìn)行了改進(jìn).如Pathak 等[10]提出的Context Encoder 模型,該模型使用對(duì)抗損失訓(xùn)練一個(gè)上下文編碼器預(yù)測(cè)圖像的受損區(qū)域,但使用該方法修復(fù)的圖像比較模糊且不一致;Iizuka 等[11]提出了雙鑒別器的生成對(duì)抗模型,該模型通過增設(shè)局部鑒別器跟蹤受損區(qū)域保證了圖像的一致性;Liu 等[12]提出的連貫性語義注意力方法,通過搜索已知區(qū)域中最相似的特征patch 填滿缺失區(qū)域,增加patch 判別器進(jìn)行一致性優(yōu)化,保證了全局一致性;為了得到符合語義的圖像,Yu 等[13]提出了基于上下文注意力的兩階段模型,加入上下文注意力模塊,實(shí)現(xiàn)提取局部區(qū)域的有效特征,但是它不能處理任意形狀的受損區(qū)域.還有一些利用其它技術(shù)的研究,如Nazeri 等[14]提出了基于邊緣連接的修復(fù)模型,它應(yīng)用隨機(jī)生成二值掩碼解決了不能處理任意形狀受損區(qū)域的問題,通過邊緣連接網(wǎng)絡(luò)生成圖像邊緣信息,有效解決了圖像邊界模糊的問題;Ren 等[15]提出的結(jié)構(gòu)感知修復(fù)模型,通過邊緣圖像來表示圖像的全局結(jié)構(gòu),雖然基于邊緣特征的方法有效地描繪了輪廓信息,但是它有時(shí)無法準(zhǔn)確地描繪高度紋理化區(qū)域.

盡管上述方法在圖像修復(fù)任務(wù)中表現(xiàn)了出色的性能,但還存在以下不足:首先圖像的高頻紋理信息無法準(zhǔn)確修復(fù);其次雖然保證了圖像在視覺上的一致性和連續(xù)性,但是有些區(qū)域的邊界和紋理存在修復(fù)模糊的現(xiàn)象.

因此,針對(duì)修復(fù)后圖像邊界模糊、紋理不清晰、視覺效果差的問題,本文提出了融合邊緣檢測(cè)和自注意力機(jī)制的生成對(duì)抗修復(fù)模型.該模型由邊緣補(bǔ)全網(wǎng)絡(luò)和紋理修復(fù)網(wǎng)絡(luò)構(gòu)成,首先利用邊緣補(bǔ)全網(wǎng)絡(luò)填補(bǔ)圖像的邊緣,得到邊緣補(bǔ)全圖像;其次通過紋理修復(fù)網(wǎng)絡(luò)聯(lián)合邊緣補(bǔ)全圖像修復(fù)缺失的紋理信息.由于卷積神經(jīng)網(wǎng)絡(luò)主要處理局部區(qū)域的特征,僅使用卷積神經(jīng)網(wǎng)絡(luò)很難建立長(zhǎng)相關(guān)性模型,而自注意力機(jī)制可以處理圖像中全局范圍的特征,可以建立長(zhǎng)范圍、多層次的依賴關(guān)系.因此本文將卷積神經(jīng)網(wǎng)絡(luò)與自注意力機(jī)制相結(jié)合設(shè)計(jì)出紋理修復(fù)網(wǎng)絡(luò)來生成缺失區(qū)域的紋理信息,最終使模型生成的圖像與原圖像在邊緣、紋理結(jié)構(gòu)、視覺上高度逼真.

1 生成式對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)由Goodfellow 于2014年提出[16].GAN 由一個(gè)生成器 Generator和一個(gè)鑒別器 Discriminator 組成,生成器G的輸入是一個(gè)隨機(jī)噪聲z,通過這個(gè)噪聲來生成“以假亂真”的圖像G(z).鑒別器D的輸入是真實(shí)圖像和生成圖像的混合,它的目的是判別輸入圖像的真實(shí)性.網(wǎng)絡(luò)通過對(duì)抗訓(xùn)練讓生成器和鑒別器同時(shí)得到增強(qiáng),訓(xùn)練時(shí),生成器G用來生成逼真的“假”圖像去混淆D的判斷,鑒別器D要判別出生成器G生成的圖像為假,同時(shí)給生成器一個(gè)反饋來更新網(wǎng)絡(luò)的參數(shù),使生成器生成質(zhì)量更高的圖像,鑒別器的判別能力也會(huì)隨之提高.GAN的基本網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 GAN的基本網(wǎng)絡(luò)結(jié)構(gòu)

生成對(duì)抗網(wǎng)絡(luò)的目標(biāo)是最小化生成器生成的圖像與真實(shí)圖像概率分布之間的差距.因此生成式對(duì)抗網(wǎng)絡(luò)的目標(biāo)函數(shù)可以表示為:

式中,G和D分別表示生成器與鑒別器的可微函數(shù),x是真實(shí)數(shù)據(jù)樣本,z是隨機(jī)噪聲矢量,G(z)是生成器的生成數(shù)據(jù).E代表數(shù)學(xué)期望值.在同時(shí)訓(xùn)練生成器和鑒別器的情況下,GAN 訓(xùn)練的目標(biāo)是令判別器D的輸出D(G(z))趨近于0,D(x)趨近1,然后將結(jié)果反饋給生成網(wǎng)絡(luò),生成器調(diào)整自身參數(shù),使生成器下一次生成更加逼真的圖像.訓(xùn)練中一次次迭代使生成器和鑒別器最終達(dá)到一個(gè)“平衡點(diǎn)”,即生成器生成的圖片已經(jīng)“以假亂真”,令鑒別器無法判別圖像的真?zhèn)?

2 融合邊緣檢測(cè)和自注意力的修復(fù)模型

為了解決圖像修復(fù)技術(shù)中存在的邊界模糊、紋理不清晰、視覺效果差的問題,本文提出了融合邊緣檢測(cè)和自注意力機(jī)制的生成對(duì)抗修復(fù)模型.如圖2所示,整個(gè)模型包含邊緣補(bǔ)全網(wǎng)絡(luò)和紋理修復(fù)網(wǎng)絡(luò)兩個(gè)部分.首先檢測(cè)真實(shí)圖像和受損圖像的邊緣,得到其邊緣圖像,以真實(shí)圖像的邊緣為標(biāo)簽,受損圖像及其邊緣圖像為輸入訓(xùn)練邊緣補(bǔ)全網(wǎng)絡(luò),補(bǔ)全缺失區(qū)域的輪廓信息,得到邊緣補(bǔ)全圖像;其次,以邊緣補(bǔ)全圖像和受損圖像作為輸入,對(duì)融合注意力機(jī)制的紋理修復(fù)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,使生成器G2生成缺失區(qū)域的精確紋理信息,從而使紋理修復(fù)網(wǎng)絡(luò)完成缺失區(qū)域紋理的精確修復(fù);最后將邊緣補(bǔ)全網(wǎng)絡(luò)的生成器G1和紋理修復(fù)網(wǎng)絡(luò)的生成器G2進(jìn)行級(jí)聯(lián),以受損圖像及其邊緣圖像作為模型的輸入,以真實(shí)圖像為標(biāo)簽進(jìn)行聯(lián)合訓(xùn)練,實(shí)現(xiàn)端到端的圖像修復(fù).

圖2 融合邊緣檢測(cè)和自注意力機(jī)制的生成對(duì)抗修復(fù)模型

2.1 邊緣補(bǔ)全

為了在圖像修復(fù)中提供清晰的邊界和結(jié)構(gòu),本文只提取物體的輪廓信息.傳統(tǒng)的基于Sobel和Canny的檢測(cè)方法只考慮顏色、光線和梯度局部變化.在復(fù)雜的場(chǎng)景中,它們是無法滿足需要的.因此本文選擇整體嵌套邊緣檢測(cè)(Holistically-nested Edge Detection,HED)[17]方法.它在處理的是整個(gè)圖像,并能夠提取出圖像的高層邊界信息.本文使用已經(jīng)訓(xùn)練好的HED 模型提取圖像的邊緣.

圖像邊緣的生成分為兩個(gè)步驟,第一是從受損圖像中提取邊緣信息,第二是補(bǔ)全缺失的邊緣.如圖2左半部分所示,邊緣補(bǔ)全網(wǎng)絡(luò)包含一個(gè)生成器G1和一個(gè)鑒別器D1.生成器G1由對(duì)圖像進(jìn)行兩次下采樣的編碼器,隨后的8 個(gè)殘差塊和將圖像上采樣回原始大小的解碼器組成.邊緣補(bǔ)全網(wǎng)絡(luò)的輸入由受損圖像及其邊緣圖像組成,通過卷積和標(biāo)準(zhǔn)化處理,提取出圖像深層次紋理邊緣信息,通過對(duì)邊緣特征的學(xué)習(xí)訓(xùn)練,最終讓生成器G1預(yù)測(cè)出缺失區(qū)域的邊緣.為了提取深層次的邊緣紋理特征,在卷積和反卷積之間增加了殘差塊,避免了由于網(wǎng)絡(luò)深度過深而導(dǎo)致的梯度彌散問題.

鑒別器D1是判別邊緣修復(fù)是否準(zhǔn)確的網(wǎng)絡(luò).本文利用HED的邊緣檢測(cè)方法提取出真實(shí)圖像的邊緣信息,將其作為網(wǎng)絡(luò)訓(xùn)練的正樣本,然后,將生成器G1生成的樣本作為負(fù)樣本和正樣本進(jìn)行混合輸入鑒別器D1,判別其真實(shí)性,通過不斷優(yōu)化損失函數(shù)來提升鑒別器D1的判別能力,生成器G1的生成能力隨著鑒別器D1判別能力的提升而不斷上升,促使生成器G1生成的邊緣圖像與原圖的邊緣圖像趨于一致.

Igt表示真實(shí)圖像,其邊緣圖用Bgt表示.在邊緣補(bǔ)全網(wǎng)絡(luò)中,使用受損圖像Iin及其邊緣圖像作為輸入,其邊緣圖像為=Bgt⊙(1-M),其中M為受損圖像Iin的掩碼,該變量為一個(gè)二值矩陣(缺失區(qū)域?yàn)?,背景為0);在此,⊙表示矩陣乘法.將受損圖像Iin和它的邊緣圖像作為生成器G1的輸入,那么邊緣補(bǔ)全網(wǎng)絡(luò)生成的缺失區(qū)域的邊緣圖像是:

其中,Bpred為邊緣補(bǔ)全圖像.鑒別器D1以Bgt和Bpred作為輸入來判斷邊緣補(bǔ)全圖像是否真實(shí).用對(duì)抗損失作為目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,通過優(yōu)化目標(biāo)函數(shù)不斷提升鑒別器和生成器的能力來實(shí)現(xiàn)圖像邊緣信息的補(bǔ)全.

2.2 紋理修復(fù)

如圖2右半部分所示,紋理修復(fù)網(wǎng)絡(luò)由生成器G2和雙鑒別器D2、D3組成,生成器G2由對(duì)圖像進(jìn)行兩次下采樣的編碼器,引入自注意力機(jī)制的殘差塊和將圖像上采樣回原始大小的解碼器組成,其輸入是邊緣補(bǔ)全圖像和受損圖像的結(jié)合.該網(wǎng)絡(luò)將自注意力機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合來提取輸入圖像深層次特征.自注意力機(jī)制會(huì)利用所有位置的特征來生成圖像某一位置的細(xì)節(jié).通過自注意力機(jī)制計(jì)算得到輸入圖像的注意力特征圖,然后將注意力特征圖與提取的卷積特征圖進(jìn)行連接輸入到網(wǎng)絡(luò)中繼續(xù)進(jìn)行訓(xùn)練,通過不斷優(yōu)化模型提升生成器的能力,最后促使生成器生成與原圖像趨于一致的圖像.

鑒別器由全局鑒別器D2和局部鑒別器D3構(gòu)成雙鑒別器機(jī)制.全局鑒別器D2的作用是判別修復(fù)后圖像的整體真實(shí)性,它的作用集中在圖像的全部區(qū)域,它監(jiān)督生成器生成視覺一致的圖像;局部鑒別器D3用于判別圖像受損區(qū)域的真實(shí)性.鑒別器的輸入為生成器的生成圖像和真實(shí)圖像的混合,通過優(yōu)化對(duì)抗損失和重構(gòu)損失函數(shù)提升鑒別器的判別能力,讓鑒別器與生成器進(jìn)行抗衡,來迫使生成器生成與原圖紋理細(xì)節(jié)一致的圖像.

紋理修復(fù)網(wǎng)絡(luò)是一個(gè)加入自注意力機(jī)制的生成式對(duì)抗網(wǎng)絡(luò).生成器G2用于生成生動(dòng)的圖像紋理信息.鑒別器D2和D3分別用于判別生成的圖像全局和局部區(qū)域是否為真.將邊緣補(bǔ)全圖像Bpred和受損圖像Iin一起作為紋理修復(fù)網(wǎng)絡(luò)的輸入,最終生成的完整圖像是:

其中,Iout為紋理修復(fù)網(wǎng)絡(luò)的輸出結(jié)果,它是缺失區(qū)域的完整修復(fù)結(jié)果.

2.3 自注意力機(jī)制

在圖像修復(fù)任務(wù)中,最終目標(biāo)是訓(xùn)練一個(gè)生成器網(wǎng)絡(luò),使其生成與真實(shí)圖像高層紋理細(xì)節(jié)盡可能相似的圖像.為了實(shí)現(xiàn)這一點(diǎn),引入自注意力機(jī)制,它可以更好地利用全局特征信息對(duì)圖像進(jìn)行重建.

卷積操作主要處理局部區(qū)域間的信息,因此多個(gè)卷積層在建立全局依賴性上計(jì)算效率非常低.自注意力機(jī)制提供了全局的感受野,它會(huì)學(xué)習(xí)某個(gè)像素點(diǎn)和其它所有位置像素點(diǎn)的關(guān)系,使得每個(gè)位置的生成不再是僅僅依賴這個(gè)位置臨近的其他位置,而是引入了距離更遠(yuǎn)且具有更大信息量的位置,每個(gè)位置的特征都由其它所有位置的加權(quán)和來計(jì)算得到.因此,本文借鑒文獻(xiàn)[18]思路,在紋理生成網(wǎng)絡(luò)的殘差塊中引入自注意力機(jī)制,構(gòu)建自注意力機(jī)制的生成式對(duì)抗網(wǎng)絡(luò),通過該網(wǎng)絡(luò)獲取圖像的全局特征信息,從而更好地重建出圖像的紋理細(xì)節(jié),如圖3所示.

圖3 自注意力機(jī)制

圖3中,從殘差塊第二層中提取的卷積特征圖x分別經(jīng)過兩個(gè)1 ×1的卷積層變換為兩個(gè)特征空間f(x),g(x)去計(jì)算注意力圖.f(x)用 來提取像素特征,g(x)用來提取全局特征信息,其中f(x)=Wf x,g(x)=Wgx.

其中,sij=f(xi)Tg(xj).βj,i表示模型在合成第j個(gè)區(qū)域時(shí)對(duì)第i個(gè)位置的關(guān)注程度.N表示前一層特征圖的特征位置數(shù).注意力特征圖的輸出是o=(o1,o2,···,oj,···,oN).

其中,h(xi)=Whxi,v(xi)=Wvxi.此外再將自注意力機(jī)制的輸出乘以一個(gè)比例參數(shù),并添加到輸入自注意力機(jī)制的卷積特征圖中,因此,最終輸出為:

其中,yi是自注意力機(jī)制的最終輸出結(jié)果,將其作為下一個(gè)殘差塊的輸入.γ是一個(gè)可學(xué)習(xí)的標(biāo)量,它的初始值為0,引入γ 讓網(wǎng)絡(luò)首先依賴局部相鄰的線索,然后逐漸學(xué)習(xí)給非局部線索分配更多的權(quán)重,這樣做的原因是先讓模型學(xué)習(xí)簡(jiǎn)單的任務(wù),然后逐漸增加任務(wù)的復(fù)雜性.

2.4 損失函數(shù)

傳統(tǒng)的生成式對(duì)抗網(wǎng)絡(luò)在訓(xùn)練時(shí)使用對(duì)抗損失作為目標(biāo)函數(shù),但存在訓(xùn)練不穩(wěn)定的問題.本文使用上下文注意力模型[13]中基于WGAN-GP的修改版本作為訓(xùn)練網(wǎng)絡(luò)的目標(biāo)函數(shù),促使網(wǎng)絡(luò)生成視覺逼真的圖像.WGAN-GP 損失在圖像生成任務(wù)方面的性能比現(xiàn)有的GAN 損失性能強(qiáng).

WGAN 使用EM 距離W(Pr,Pg)來比較真實(shí)數(shù)據(jù)和生成數(shù)據(jù)的分布.WGAN的目標(biāo)函數(shù)是:

其中,d是1-Lipschitz 函數(shù)的集合,Pr是真實(shí)數(shù)據(jù)的分布,Pg是=G(z)的模型分布,z是生成器的輸入.對(duì)于圖像修復(fù)來說,只需要修復(fù)圖像缺失的區(qū)域,所以梯度懲罰項(xiàng)為:

(1)邊緣補(bǔ)全的損失.本文將WGAN-GP 損失應(yīng)用到模型的兩個(gè)部分中,對(duì)邊緣補(bǔ)全網(wǎng)絡(luò)來說,它的對(duì)抗損失定義為:

其中,PBpred是邊緣補(bǔ)全圖像的數(shù)據(jù)分布,PBgt是真實(shí)邊緣圖像數(shù)據(jù)的分布,是從生成數(shù)據(jù)分布和真實(shí)數(shù)據(jù)分布采樣的點(diǎn)之間的直線中采樣的.

(2)紋理修復(fù)的損失.紋理修復(fù)網(wǎng)絡(luò)的輸出為修復(fù)結(jié)果Iout.它的對(duì)抗損失定義為:

其中,PIout是生成的修復(fù)圖像的分布,PIgt是真實(shí)圖像的分布.

WGAN-GP 損失和l1重構(gòu)損失聯(lián)合使用時(shí)更容易訓(xùn)練,優(yōu)化過程更穩(wěn)定,因此在紋理修復(fù)網(wǎng)絡(luò)中使用重構(gòu)損失和WGAN-GP 損失組合作為目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.紋理修復(fù)網(wǎng)絡(luò)的重構(gòu)損失被定義為:

其中,N是樣本的數(shù)量,W,H,C分別是圖像的寬度、高度和通道數(shù).那么紋理修復(fù)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)損失函數(shù)為:

其中,λ1和λ2分別是重構(gòu)損失和對(duì)抗損失的參數(shù),在實(shí)驗(yàn)中,λ1=1,λ2=4.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

為了驗(yàn)證本文圖像修復(fù)方法的效果,本文實(shí)驗(yàn)中用Place2和CelebA 數(shù)據(jù)集來訓(xùn)練和評(píng)估本文的兩階段模型,CelebA 人臉數(shù)據(jù)集包含10 177 個(gè)名人身份的202 599 張人臉圖像.Place2是一個(gè)場(chǎng)景圖片數(shù)據(jù)集,它包含1 千萬張圖片,400 多個(gè)不同種類的場(chǎng)景.將掩碼設(shè)置為不規(guī)則覆蓋,覆蓋范圍設(shè)置整幅圖像的10-20%.

3.2 參數(shù)設(shè)置

本文的實(shí)驗(yàn)平臺(tái)為Windows10 系統(tǒng)、Python3.6和PyTorch1.0.0 結(jié)合的編程環(huán)境.CPU 信息為Intel(R)Core(TM)i7-8550U CPU,主頻2.0 GHz,內(nèi)存為16 GB,NVIDIA Titan XP GPU.在訓(xùn)練中使用 256×256的圖像,batch size 設(shè)置為32.使用Adam 優(yōu)化器[19]來優(yōu)化模型,它的參數(shù)設(shè)置為β1=0.9和β2=0.999.本文設(shè)置學(xué)習(xí)率為10-3來訓(xùn)練G1和G2生成器直到收斂為止,鑒別器以生成器學(xué)習(xí)率的0.1 倍進(jìn)行訓(xùn)練.

3.3 實(shí)驗(yàn)結(jié)果及分析

為了分析本文方法在多個(gè)場(chǎng)景的應(yīng)用效果,在Place2和CelebA 數(shù)據(jù)集上進(jìn)行效果評(píng)估.并與近年來基于生成式對(duì)抗網(wǎng)絡(luò)具有代表性的圖像修復(fù)方法進(jìn)行比較(上下文注意力的生成式對(duì)抗模型[13]和邊緣連接的生成式對(duì)抗模型[14]).本文用峰值信噪比(PSNR)和結(jié)構(gòu)相似性指數(shù)(SSIM)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量評(píng)估,以此來表示修復(fù)后圖像和真實(shí)圖像的差距.

峰值信噪比PSNR是一種評(píng)價(jià)圖像的客觀標(biāo)準(zhǔn),它直接衡量像素值的差異,數(shù)值越大表示失真越小.假設(shè)兩張圖像分別是X1和X2,計(jì)算公式如下:

結(jié)構(gòu)相似性指數(shù)(SSIM)是衡量圖像相似度的指標(biāo).它是一個(gè)0-1 之間的數(shù),這個(gè)數(shù)越大,表示修復(fù)圖像和真實(shí)圖像之間越相似,圖像更逼真.假設(shè)兩張圖像分別是X1和X2,計(jì)算公式如下:

其中,μX1和μX2分別為X1和X2的均值,σ2X1和σ2X2分別為X1和X2的方差,σX1X2為X1和X2的協(xié)方差,c1和c2為兩個(gè)常數(shù),避免除零.

本文的模型在CelebA和Place2 兩個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練和評(píng)估,通過大量數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練,最后進(jìn)行測(cè)試并計(jì)算該模型在不同數(shù)據(jù)集上的PSNR和SSIM平均值,并與基于上下文注意力的生成式對(duì)抗模型和基于邊緣連接的生成式對(duì)抗模型進(jìn)行比較,以上3 種修復(fù)方法在數(shù)據(jù)集上的PSNR和SSIM平均數(shù)值對(duì)比如表1、表2所示.

表1 不同修復(fù)方法在CelebA 上的PSNR和SSIM平均指數(shù)對(duì)比

表2 不同修復(fù)方法在Place2 上的PSNR和SSIM平均指數(shù)對(duì)比

由表1和表2可以看出本文方法的PSNR和SSIM平均值比其他兩種方法的平均值高,實(shí)驗(yàn)證明本文的算法在CelebA和Place2 數(shù)據(jù)集上的修復(fù)結(jié)果要優(yōu)于其余兩種修復(fù)方法.

本文的方法在Place2和CelebA 數(shù)據(jù)集上的修復(fù)結(jié)果如圖4所示,由圖可以看出修復(fù)后得到的圖像和真實(shí)圖像在顏色、結(jié)構(gòu)、風(fēng)格上基本一致,且圖像的紋理細(xì)節(jié)構(gòu)建比較準(zhǔn)確和清晰;缺失區(qū)域與背景區(qū)域之間邊界自然清晰,視覺效果一致,沒有修復(fù)過的痕跡.這表明本文的方法對(duì)于圖像修復(fù)任務(wù)有明顯的效果.

不同修復(fù)算法在Place2和CelebA 數(shù)據(jù)集上的修復(fù)結(jié)果如圖5所示,由圖5可以看出,在CelebA 數(shù)據(jù)集的圖像中,對(duì)比人面部表情以及五官的修復(fù)效果來看,本文的方法修復(fù)效果最好;可以看到圖5(c)(上下文注意力的方法)中,缺失區(qū)域的修復(fù)在視覺上比較模糊;在圖5(d)(邊緣連接的方法)中,可以明顯看到修復(fù)的結(jié)果出現(xiàn)了偏差,從圖中可以看出修復(fù)后的人臉面部稍微扭曲,并且出現(xiàn)五官與原圖偏差的現(xiàn)象.

圖4 本文的修復(fù)方法結(jié)果圖

在Place2 數(shù)據(jù)集的圖像中,從房屋窗戶和圓錐建筑來看,本文的方法修復(fù)效果比較好,窗戶和圓錐建筑的基本輪廓還有紋理與原圖都是最接近的;圖5(c)中,可以看到屋頂和煙囪都比較模糊,圓錐建筑修復(fù)結(jié)果比較好;在圖5(d)中,可以看到窗戶和圓錐建筑基本輪廓不清晰,修復(fù)結(jié)果比較模糊.最后一幅圖像中,上下文注意力和邊緣連接的修復(fù)視覺上比較模糊,且河水出現(xiàn)了扭曲,說明修復(fù)出現(xiàn)了偏差.總體來說,本文方法的修復(fù)結(jié)果最佳,在一定程度上緩解了圖像邊界模糊的現(xiàn)象,視覺效果上比較一致、連貫,缺失區(qū)域的紋理修復(fù)準(zhǔn)確且清晰.

4 結(jié)束語

本文提出了一種由邊緣到精細(xì)的兩階段模型,引入邊緣檢測(cè)和自注意力機(jī)制來解決圖像修復(fù)任務(wù)中存在的視覺效果差、邊界模糊和紋理不清晰等問題.本文基于生成式對(duì)抗網(wǎng)絡(luò)的模型,引入邊緣檢測(cè)得到受損圖像的邊緣補(bǔ)全圖,在紋理修復(fù)網(wǎng)絡(luò)中加入自注意力機(jī)制,利用自注意力具有全局視野的特點(diǎn),讓紋理修復(fù)網(wǎng)絡(luò)生成了更加精確的紋理圖像.通過實(shí)驗(yàn)結(jié)果表明,本文的方法在不同場(chǎng)景圖像的修復(fù)任務(wù)中,能夠生成邊界清晰,紋理精確,視覺連貫的圖像,表現(xiàn)了出色的性能.