基于多尺度結(jié)構(gòu)嵌入的圖像修復(fù)方法研究

王海涌 李海洋 高雪嬌

1(蘭州交通大學(xué)電子與信息工程學(xué)院 甘肅 蘭州 730070) 2(甘肅省人工智能與圖形圖像處理工程研究中心 甘肅 蘭州 730070)

0 引 言

圖像修復(fù)是一種利用擴(kuò)散、紋理、機(jī)器學(xué)習(xí)等方法,將圖像中殘缺部分進(jìn)行修復(fù)的技術(shù)。早期人們受到手工文物修復(fù)啟發(fā),Bertalmio等[1]提出BSCB(Bertalmio,Sapiro,Caselles,Ballester)模型,該算法利用圖像缺失處周圍信息及使用不同擴(kuò)散策略例如轉(zhuǎn)化為微分求解等對圖像缺失處的信息進(jìn)行補(bǔ)充。后來提出CDD (Curvature Driven Diffusions)模型,CDD[2]使用微分方程的同時(shí)建立圖像能量函數(shù),使函數(shù)最小化達(dá)到修復(fù)圖像的目的。擴(kuò)散的方法[3]進(jìn)行圖像修復(fù),主要利用數(shù)學(xué)方法從完好區(qū)域向缺失區(qū)域擴(kuò)散,對缺失區(qū)域進(jìn)行修復(fù)。擴(kuò)散方法存在修復(fù)后圖像模糊不清,不能夠?qū)^大缺失圖像進(jìn)行修復(fù)。Barnes等[4]的PM(Patch Match)算法將圖像修復(fù)問題轉(zhuǎn)換為圖像梯度與補(bǔ)丁之間的距離問題。修復(fù)中隨機(jī)找到最佳匹配的Patch對缺失進(jìn)行填充修復(fù)。由于PM修復(fù)過程中需要計(jì)算像素間的距離,因此修復(fù)方法對現(xiàn)有圖像特征依賴度較高。擴(kuò)散的方法對缺失較大、紋理結(jié)構(gòu)復(fù)雜的圖像修復(fù)效果較差。同時(shí)修復(fù)后圖像存在紋理不佳、圖像不清晰的問題。

為了提高修復(fù)圖片質(zhì)量,使修復(fù)后的圖像紋理結(jié)構(gòu)更加清晰,產(chǎn)生了基于紋理結(jié)構(gòu)的缺失圖像修復(fù)方法。Efros等[5]提出使用紋理特征修復(fù)圖像細(xì)節(jié)區(qū)域的紋理合成方法。從圖像完整區(qū)域中提取紋理信息,處理得到高分辨率紋理信息,從缺失邊界向缺失區(qū)域使用高分辨率紋理信息進(jìn)行修復(fù)。Criminisi等[6]從圖像中提取不同區(qū)域塊紋理信息,計(jì)算得到不同的優(yōu)先順序,使用最優(yōu)的紋理塊修復(fù)圖像。但是紋理復(fù)雜的圖像會出現(xiàn)不佳匹配,導(dǎo)致修復(fù)效果差。Simakov等[7]為了更好地定位和修復(fù)非靜態(tài)的視覺數(shù)據(jù),提出雙向補(bǔ)丁相似性的方法?；诩y理的修復(fù)方法,雖然提高了細(xì)節(jié)區(qū)域修復(fù)的效果,圖像紋理更符合視覺要求,但是也存在結(jié)構(gòu)扭曲、圖像模糊、修復(fù)后與原圖不一致的問題。

近來國內(nèi)外許多學(xué)者使用卷積神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)將圖像修復(fù)問題轉(zhuǎn)化為高級和低級像素合成問題的研究。Xie等[8]提出將深度網(wǎng)絡(luò)和稀疏編碼結(jié)合起來的疊加稀疏去噪自動編碼器對圖像進(jìn)行修復(fù)。該方法能修復(fù)小區(qū)域缺失,但是在大區(qū)域缺失修復(fù)上表現(xiàn)較差。Pathak等[9]將對抗網(wǎng)絡(luò)應(yīng)用在圖像修復(fù)領(lǐng)域,使用卷積編碼器解碼器網(wǎng)絡(luò)與生成對抗網(wǎng)絡(luò)共同訓(xùn)練,實(shí)現(xiàn)圖像像素一致,生成修復(fù)圖像。但是該方法訓(xùn)練過程不穩(wěn)定,存在修復(fù)區(qū)域缺失、生成不合理圖像的問題。Iizuka等[10]提出使用擴(kuò)張卷積的思想修復(fù)圖像,利用破損圖像與對應(yīng)掩碼,能夠?qū)Σ煌笮〉娜笔^(qū)域進(jìn)行修復(fù),但是該方法訓(xùn)練時(shí)間較長,缺失較大時(shí)產(chǎn)生修復(fù)結(jié)果較差,修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)比較深。Lin等[11]在全卷積網(wǎng)絡(luò)模型中使用部分卷積對圖像進(jìn)行修復(fù)。但修復(fù)缺失部分易產(chǎn)生結(jié)構(gòu)缺失、修復(fù)邊緣痕跡明顯、缺乏連貫性等問題。Yu等[12]引入兩階段的圖像修復(fù)網(wǎng)絡(luò),結(jié)果粗修復(fù)細(xì)修復(fù)提高修復(fù)效果。Nazeri等[13]利用邊緣結(jié)構(gòu)和對抗網(wǎng)絡(luò)進(jìn)行圖像修復(fù)。Xiong等[14]提出相似模型使用輪廓生成器結(jié)合生成對抗網(wǎng)絡(luò)進(jìn)行圖像修復(fù)。輪廓生成器訓(xùn)練產(chǎn)生缺失區(qū)域的可能輪廓信息,然后圖像生成器將生成的輪廓信息輔助缺失區(qū)域進(jìn)行修復(fù),生成最終結(jié)果。雖然多階段模型在圖像修復(fù)上表現(xiàn)出不錯(cuò)的效果,但是也存在一些問題。串聯(lián)的結(jié)構(gòu)易受到一階段生成不合理結(jié)構(gòu)信息影響;多階段隨著模型加深,圖像結(jié)構(gòu)信息容易被弱化遺忘,修復(fù)過程中無法生成恰當(dāng)結(jié)構(gòu)。

針對這些問題,本文在編碼解碼的生成對抗網(wǎng)絡(luò)修復(fù)基礎(chǔ)上提出一種嵌入結(jié)構(gòu)信息的級聯(lián)網(wǎng)絡(luò)修復(fù)算法。生成網(wǎng)絡(luò)采用由粗到細(xì)的兩級級聯(lián)方式,同時(shí)在生成階段嵌入結(jié)構(gòu)信息,幫助模型生成恰當(dāng)?shù)慕Y(jié)構(gòu)信息,提高粗修復(fù)階段結(jié)構(gòu)修復(fù)效果。細(xì)修復(fù)階段使用多尺度的注意力機(jī)制提高圖片修復(fù)效果。并使用WGAN-GP(improved Wasserstein Generative Adversarial Networks)鑒別器,提高模型訓(xùn)練過程的穩(wěn)定性。

1 基礎(chǔ)理論

1.1 生成對抗網(wǎng)絡(luò)

Goodfellow等[15]提出了一個(gè)極小極大的雙人游戲生成對抗網(wǎng)絡(luò)GAN(Generative Adversarial Networks)。

GAN包含生成器、鑒別器兩個(gè)模型。生成器(Generator)從樣本中獲取分布生成數(shù)據(jù)。鑒別器(Discriminator)將生成圖像與真實(shí)圖像輸入用于判斷真?zhèn)?。GAN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 生成對抗網(wǎng)絡(luò)模型

生成對抗的理想結(jié)果是生成模型生成出鑒別器無法判斷來源的圖片,生成器能以假亂真。訓(xùn)練過程中通過最大化D,最小化G,交替迭代更新當(dāng)Pdata=Pz時(shí)達(dá)到最優(yōu),GAN的目標(biāo)函數(shù):

(1)

式中:x表示從真實(shí)數(shù)據(jù)Pdata獲取采樣值;從Pz先驗(yàn)分布中獲取隨機(jī)噪聲的向量z;E表示期望。

從GAN提出以來出現(xiàn)了不同GAN變種,不同類型的GAN在某些方面具有突出的效果。為了改變原始GAN只能輸入噪聲的要求,實(shí)現(xiàn)特定條件圖像生成,產(chǎn)生了CGAN[16](Conditional Generative Adversarial Networks)網(wǎng)絡(luò)模型。為了使生成模型能夠更好地衡量兩個(gè)分布的散度,產(chǎn)生更優(yōu)秀修復(fù)效果,WGAN[17](Wasserstein Generative Adversarial Networks)使用Wasserstein距離代替了JS距離,但是同樣也面臨著訓(xùn)練困難不易收斂、梯度消失等問題。為了解決模型難以訓(xùn)練的問題,同時(shí)使網(wǎng)絡(luò)在訓(xùn)練的過程中更加穩(wěn)定,并且能夠加快收斂速度,提高生成質(zhì)量,生成更好的樣本。WGAN-GP[18]在WGAN的基礎(chǔ)上通過施加梯度懲罰對1-Lipschitz進(jìn)行限制,有效地解決了生成對抗網(wǎng)絡(luò)模型崩潰的問題。WGAN-GP鑒別器損失函數(shù)為:

L(D)=Ex～Pdata[D(x)]-Ez～Pz[D(G(z))]-

λEx～Ppenalty[(‖▽xD(x)‖2-1)2]

(2)

式中:▽x表示求D(x)梯度懲罰。在Pdata和Pz連線上采樣一點(diǎn)即為Ppenalty采樣點(diǎn)。重復(fù)該采樣操作得到x～Ppenalty集合。

1.2 注意力機(jī)制

在深度學(xué)習(xí)中已經(jīng)有許多關(guān)于學(xué)習(xí)空間注意力的研究。Jaderberg等[19]在解決對象分類問題中首先提出空間變換網(wǎng)絡(luò)的參數(shù)空間注意模塊,用于分類。該模型使用定位模塊,實(shí)現(xiàn)仿射變換到扭曲特征的預(yù)測。但是這個(gè)模型假定了一個(gè)全局變換,因此不適合補(bǔ)丁建模方面的注意力。Zhou等[20]使用外觀匹配相同物體的不同視圖,在新視圖合成中選擇哪些像素用以目標(biāo)重建,用于生成判定。實(shí)驗(yàn)證明在相同物體的匹配生成中是有效的,但是在背景區(qū)域生成效果比較差。Dai等[21]使用空間注意力,在訓(xùn)練網(wǎng)絡(luò)的過程中使用卷積的變種能夠更好利用周邊信息,當(dāng)需要從背景中獲取某些信息時(shí),能夠獲取所需要特征信息,但是對于某些細(xì)節(jié)以及整體結(jié)構(gòu)這些方法仍然具有局限性。

由于圖像不同對細(xì)節(jié)樣式要求各不相同,在修復(fù)的過程中選擇合適大小的補(bǔ)丁較為困難。一般較大的補(bǔ)丁有助于保持樣式的一致,較小的補(bǔ)丁有助于背景特征映射。使用不同大小的注意力解決單一場景的匹配限制,因此本文使用多尺度的注意力模塊。為了實(shí)現(xiàn)缺失位置像素特征結(jié)構(gòu)與缺失周圍能夠匹配。在卷積的過程中使用缺失部位和其周邊信息進(jìn)行匹配,并比較得到的每個(gè)像素的注意力得分,利用相應(yīng)的得分重建具體周邊信息的缺失處圖像。

在周圍圖像中提取像素bx,y與缺失像素fx,y使用余弦相似性進(jìn)行計(jì)算,修復(fù)過程中缺失位置和周圍環(huán)境不斷地進(jìn)行移動在核為k的區(qū)域上下移動,并使用Softmax比較每個(gè)像素得分。對較高注意力得分區(qū)域進(jìn)行反卷積重建,生成帶有周邊信息的缺失補(bǔ)丁。使用注意力能夠獲取周邊更多有用信息,豐富修復(fù)過程中的結(jié)構(gòu)漸變提高修復(fù)效果。通過不斷計(jì)算得到注意力得分,選擇最優(yōu)補(bǔ)丁并反卷積出修復(fù)區(qū)域注意力特征圖。公式為 :

(3)

式中:λ為常數(shù)。

將生成的特征圖和原始特征圖串聯(lián)起來,用φin、φatt1×1、φatt3×3表示。將特征輸入SENet (Squeeze Excitation Networks)模塊,通過全連接網(wǎng)絡(luò)fconv判斷當(dāng)前圖像哪些細(xì)節(jié)是重要的,fSE輸出表示為:

φout=fconv(fSE(〈φin,φatt1×1,φatt3×3〉))

(4)

2 網(wǎng)絡(luò)模型與改進(jìn)

為了進(jìn)一步獲取更多的特征信息,生成較為合適的圖像,設(shè)計(jì)使用的網(wǎng)絡(luò)模型包括修復(fù)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)。修復(fù)網(wǎng)絡(luò)由使用嵌入結(jié)構(gòu)信息和擴(kuò)張卷積的粗修復(fù)網(wǎng)絡(luò)組成,細(xì)修復(fù)網(wǎng)絡(luò)使用多尺度注意力機(jī)制提高修復(fù)細(xì)節(jié)效果。修復(fù)時(shí)加入結(jié)構(gòu)信息,擴(kuò)大修復(fù)視野,關(guān)注局部細(xì)節(jié)信息提高修復(fù)效果,使生成的圖像更加細(xì)膩真實(shí)。

2.1 生成器模型

將破損圖像輸入到網(wǎng)絡(luò)中,在粗修復(fù)過程中經(jīng)過卷積反卷積得到修復(fù)圖像。粗修復(fù)在不提高模型復(fù)雜度的前提下為了獲取更多信息使用擴(kuò)張卷積擴(kuò)大感受范圍,同時(shí)使用共享的生成器生成相應(yīng)結(jié)構(gòu)信息,為圖像修復(fù)反卷積過程提供可能結(jié)構(gòu)提示。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。模型輸入為H×W大小的彩色圖像,通過多次卷積操作將輸入圖像大小變?yōu)镠/4×W/4,反卷積得到粗修復(fù)結(jié)果。反卷積過程中嵌入多尺度結(jié)構(gòu)信息,為修復(fù)圖像提供先驗(yàn)條件,學(xué)習(xí)圖像結(jié)構(gòu)特征并預(yù)測可能出現(xiàn)的結(jié)構(gòu),通過特征合并避免不恰當(dāng)特征對修復(fù)結(jié)果產(chǎn)生的影響。

圖2 粗修復(fù)模型結(jié)構(gòu)

將粗修復(fù)輸出作為輸入,輸入到細(xì)修復(fù)網(wǎng)絡(luò)。為了提高細(xì)節(jié)修復(fù)效果,在細(xì)修復(fù)中使用多尺度文注意力機(jī)制獲取周邊有用信息提高修復(fù)效果。為了引入注意力模塊,在細(xì)節(jié)修復(fù)的過程中使用兩個(gè)并行編碼結(jié)構(gòu):上層的編碼器使用多尺度注意力機(jī)制學(xué)習(xí)輸入圖像待修復(fù)區(qū)域周邊細(xì)節(jié)信息,如紋理、色彩信息。下層編碼器利用擴(kuò)張卷積學(xué)習(xí)破損區(qū)域的特征信息。最后將兩個(gè)編碼器匯集到單個(gè)解碼器進(jìn)行反卷積操作輸出細(xì)修復(fù)結(jié)果。細(xì)修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)模型如圖3所示。

圖3 細(xì)修復(fù)模型結(jié)構(gòu)

2.2 鑒別器模型

生成對抗網(wǎng)絡(luò)在最小化損失函數(shù)的過程中生成結(jié)果,利用鑒別器判斷生成結(jié)果的真假。在對抗訓(xùn)練的過程中不斷反饋調(diào)節(jié),提升生成器生成效果。單鑒別器生成對抗模型雖然能夠修復(fù)圖像,但是也存在生成圖像效果差、與原始圖像不一致、模型不穩(wěn)定、訓(xùn)練難以收斂的問題。針對這些問題本文算法在鑒別過程中使用局部與全局鑒別器,雙鑒別器判別模型。局部與全局鑒別器用于判斷圖像的局部與整體是生成的還是真實(shí)的,并通過不斷的對抗訓(xùn)練提高局部全局鑒別器的判別能力,生成最優(yōu)的判別模型,提高圖像修復(fù)效果。鑒別模型結(jié)構(gòu)如圖4所示。

圖4 鑒別器模型結(jié)構(gòu)

2.3 損失函數(shù)

為了使修復(fù)模型更加穩(wěn)定易于收斂,提高修復(fù)圖片質(zhì)量。模型損失函數(shù)由修復(fù)過程中的結(jié)構(gòu)損失、重構(gòu)損失和鑒別過程中對抗損失構(gòu)成。在粗修復(fù)細(xì)修復(fù)過程中,生成圖像與真實(shí)圖像之間使用pixel-wiseL1損失。

L1=Ex∈Pdata,z∈pinput‖x-G(z)‖1

(5)

式中:x為真實(shí)數(shù)據(jù);z為噪聲數(shù)據(jù);G(z)為生成圖像。為了找到所需要的結(jié)構(gòu)使用金字塔結(jié)構(gòu)損失來獲取結(jié)構(gòu)信息,并將結(jié)構(gòu)信息融合到粗修復(fù)網(wǎng)絡(luò)中。

(6)

(7)

式中:Pr為真實(shí)數(shù)據(jù);z為生成器輸入;G(z)表示生成器生成數(shù)據(jù);m=0表示缺少像素,其他位置時(shí)m=1;實(shí)驗(yàn)中設(shè)置λ=10;⊙表示哈達(dá)瑪積。

綜上,整個(gè)模型損失函數(shù)為:

L=λ1L1+λ2L2+λ3L3

(8)

在實(shí)驗(yàn)中不斷調(diào)測試節(jié)超參數(shù),其中λ1、λ2、λ3為不同損失因子。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)基于ubuntu 18.04下TensorFlow 1.14.0 框架、CUDNN V10.0、CUDA V10.0、單塊GeForce RTX 2080Ti GPU 的環(huán)境訓(xùn)練網(wǎng)絡(luò)模型。網(wǎng)絡(luò)迭代訓(xùn)練1 000 000次,設(shè)置batchsize為16。實(shí)驗(yàn)在Places2數(shù)據(jù)集上驗(yàn)證模型效果,并在相同環(huán)境下測試其他方法,將修復(fù)結(jié)果進(jìn)行對比。Places2是一個(gè)含有不同環(huán)境的多場景數(shù)據(jù)集,能夠用在場景識別、圖像描述等領(lǐng)域。訓(xùn)練前將Places2數(shù)據(jù)集中2 500 000幅256×256圖片使用Places2 flist進(jìn)行劃分,生成訓(xùn)練集和驗(yàn)證集文件。其中訓(xùn)練集包含1 750 000幅圖片,驗(yàn)證集包含750 000幅圖片。實(shí)驗(yàn)中設(shè)置缺失最大尺寸為128×128,訓(xùn)練時(shí)對輸入模型場景圖片隨機(jī)生成缺失區(qū)域,將缺失區(qū)域與原圖合成缺失圖像作為輸入,輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

3.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法在圖像修復(fù)上的有效性,將本文方法與其他三種深度學(xué)習(xí)圖像修復(fù)方法進(jìn)行比較。首先驗(yàn)證本文修復(fù)模型的效果,對不同類型不同缺失大小圖像進(jìn)行修復(fù);其次在本文實(shí)驗(yàn)環(huán)境下重現(xiàn)其他修復(fù)方法,采用相同的實(shí)驗(yàn)數(shù)據(jù)與步驟對比不同方法修復(fù)效果;最后使用客觀評價(jià)標(biāo)準(zhǔn)對各個(gè)方法進(jìn)行比較,驗(yàn)證本文方法有效性。為了展示本文修復(fù)算法效果,選擇在不同缺失大小、不同缺失類型的缺失圖像使用本文方法進(jìn)行修復(fù),修復(fù)效果如圖5所示。

圖5 本文模型修復(fù)結(jié)果

圖5展示了Places2中選擇的四個(gè)不同場景在不同區(qū)域、不同破損面積、不同破損類型的破損圖像修復(fù)效果。其中:第1列為原始圖像;第2列為不規(guī)則缺失圖像;第3列為修復(fù)后圖像,可以看出不規(guī)則邊界區(qū)域能夠較好地?cái)M合整體結(jié)構(gòu);第4列為規(guī)則破損場景圖像;第5列為修復(fù)結(jié)果,可以看出修復(fù)圖像在整體的結(jié)構(gòu)、圖像完整性上有突出表現(xiàn)。

為了驗(yàn)證本文方法比其他修復(fù)方法更有效,對比的過程中重現(xiàn)GL[10]、 CA[12]和EG[13]等方法。采用相同的實(shí)驗(yàn)環(huán)境、訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù),對同一幅破損圖像進(jìn)行修復(fù)。對比修復(fù)結(jié)果比較各個(gè)修復(fù)算法的差異,如圖6所示。

圖6 本文模型與其他模型對比

圖6是不同破損圖像使用本文算法與GL、CA和EG算法的修復(fù)效果比較。其中:第1列為原圖;第2列表示要修復(fù)的圖像;第3列表示GL算法修復(fù)結(jié)果;第4列表示CA算法修復(fù)結(jié)果;第5列表示EG算法修復(fù)結(jié)果;第6列表示本文算法修復(fù)結(jié)果。可以看出GL不能很好地?cái)M合邊界導(dǎo)致邊界較為明顯,缺失區(qū)域內(nèi)部色彩差異較為明顯,修復(fù)效果比較差。CA修復(fù)填補(bǔ)區(qū)域出現(xiàn)顏色淡化與原圖差別較大。EG修復(fù)結(jié)果整體較好但是還會出現(xiàn)缺失部位修復(fù)細(xì)節(jié)不夠好。具體細(xì)節(jié)比較如圖7所示。

圖7 EG與本文模型對比

在不同缺失圖像修復(fù)結(jié)果對比中可以看出本文方法在修復(fù)邊界區(qū)域時(shí)能夠與邊界較好的擬合。缺失區(qū)域內(nèi)部紋理結(jié)構(gòu)和色彩與原圖更加接近。一方面嵌入結(jié)構(gòu)信息的細(xì)節(jié)修復(fù)能學(xué)習(xí)圖像結(jié)構(gòu)信息,提高紋理結(jié)構(gòu)的一致性,同時(shí)擴(kuò)張卷積獲取更大的視野得到更多的邊界信息;另一方面在細(xì)修復(fù)的過程中使用多尺度注意力機(jī)制。修復(fù)結(jié)果整體結(jié)構(gòu)連貫同時(shí)生成的圖片質(zhì)量較高與原圖十分接近。

為了能夠更好驗(yàn)證本文方法的有效性,本文使用客觀的評價(jià)方法對不同修復(fù)算法修復(fù)結(jié)果進(jìn)行比較。圖像在經(jīng)過修復(fù)后會出現(xiàn)某些部位與原始圖像不同,為了衡量修復(fù)后圖像質(zhì)量,使用峰值信噪比 (Peak Signal to Noise Ratio,PSNR)表示對修復(fù)結(jié)果的滿意程度。PSNR越大代表失真越少,表明圖像越真實(shí),修復(fù)效果越好。SSIM是對原圖與修復(fù)圖像從結(jié)構(gòu)、亮度、對比度三方面進(jìn)行比較。SSIM數(shù)值在0至1范圍,大小反映圖像結(jié)構(gòu)完整性,數(shù)值越大結(jié)構(gòu)越優(yōu)秀,修復(fù)圖與原圖越相似。平均L1 loss 和PSNR用于在像素級測量兩幅圖像之間的相似性。本文對不同的修復(fù)方法在PSNR、 SSIM和平均L1 loss進(jìn)行比較,對比結(jié)果如表1所示。

表1 結(jié)構(gòu)相似性對比

表1展示了本文算法與其他修復(fù)算法PSNR、 SSIM和Mean L1的對比結(jié)果。通過粗修復(fù)細(xì)修復(fù)中帶有多尺度結(jié)構(gòu)信息及擴(kuò)展卷積的修復(fù)網(wǎng)絡(luò),不僅學(xué)習(xí)圖像結(jié)構(gòu)特征,而且擴(kuò)大修復(fù)過程感受視野,獲取更多的圖像信息;在修復(fù)過程中使用多尺度注意力機(jī)制關(guān)注缺失區(qū)域細(xì)節(jié)信息,使生成的缺失區(qū)域圖像更加真實(shí)連貫。對比結(jié)果顯示本文修復(fù)方法在峰值信噪比、結(jié)構(gòu)相似性、平均L1損失上分別有不同提升。本文方法了提高修復(fù)質(zhì)量,修復(fù)圖片更加細(xì)膩,與真實(shí)圖片更加接近。

4 結(jié) 語

本文針對當(dāng)前深度學(xué)習(xí)圖像修復(fù)領(lǐng)域存在的問題,提出分階段分步驟的圖像修復(fù)方法。在修復(fù)圖像過程中使用結(jié)構(gòu)嵌入并結(jié)合注意力機(jī)制提高修復(fù)質(zhì)量。鑒別過程中,同時(shí)使用局部與全局鑒別器進(jìn)行鑒別,進(jìn)一步提高模型修復(fù)圖像效果,使用WGAN-GP損失提升模型收斂速度加快訓(xùn)練進(jìn)程。最后對不同的深度學(xué)習(xí)修復(fù)方法在相同數(shù)據(jù)集上進(jìn)行比較,并通過主客觀評價(jià)方法驗(yàn)證本文算法的優(yōu)越性。