基于結(jié)構(gòu)嵌入的圖像修復(fù)方法研究

王海涌，李海洋，高雪嬌

蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州730070

圖像修復(fù)是指用合理且細(xì)致的內(nèi)容填充圖像的損壞區(qū)域?，F(xiàn)有的修復(fù)方法大致分為兩類：傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)方法通過擴(kuò)散將低級特征從周圍環(huán)境傳播到缺失區(qū)域[1]，或者通過搜索融合來自相同圖像或外部圖像數(shù)據(jù)庫的相似補(bǔ)丁來填充缺失區(qū)域[2]。雖然這種方法能夠產(chǎn)生平滑的結(jié)果，特別是在背景修補(bǔ)任務(wù)中，但它受到可用圖像統(tǒng)計(jì)信息的限制，無法捕獲圖像的高級語義或全局結(jié)構(gòu)。在沒有對圖像內(nèi)容和結(jié)構(gòu)的高層次理解的情況下，尤其是當(dāng)圖像的很大一部分丟失或損壞時，常規(guī)方法通常難以產(chǎn)生語義上有意義的內(nèi)容。

基于深度學(xué)習(xí)的方法可以通過自動捕獲內(nèi)在的層次信息來理解圖像內(nèi)容，并生成高級語義特征合成缺失的內(nèi)容，這通常勝于修復(fù)任務(wù)中的常規(guī)方法。基于深度學(xué)習(xí)的方法可以分為兩類：一階段方法，如Pathak[3]和Iizuka[4]等人提出的方法；兩階段方法，如Yang[5]、Yu[6]、Nazeri[7]和Xiong[8]等人提出的方法。Pathak 提出基于CE（Context Encoder）的修復(fù)算法，使用編碼解碼的結(jié)構(gòu)進(jìn)行圖像修復(fù)，能夠修復(fù)大小為128×128的圖像中缺失為64×64的區(qū)域，這是第一個為大缺失區(qū)域提供合理結(jié)果的參數(shù)化修復(fù)算法。Iizuka在編碼解碼的基礎(chǔ)上引入全局鑒別器和局部鑒別器進(jìn)行圖像修復(fù)，使用兩個鑒別器來確保生成圖像的全局和局部一致性。Yang提出了結(jié)合圖像內(nèi)容和紋理約束來進(jìn)行優(yōu)化的多尺度神經(jīng)網(wǎng)絡(luò)修復(fù)方法，該方法不僅保留了上下文結(jié)構(gòu)，而且利用深度分類網(wǎng)絡(luò)中最相似的中間特征層相關(guān)性來調(diào)整和匹配產(chǎn)生高頻細(xì)節(jié)信息進(jìn)行圖像修復(fù)。Yu引入了粗略到細(xì)化的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行圖像修復(fù)，第一階段網(wǎng)絡(luò)進(jìn)行初始粗略預(yù)測，第二階段網(wǎng)絡(luò)將粗略預(yù)測作為輸入并預(yù)測精確結(jié)果，為了獲取更多有用信息在卷積中加入上下文注意力機(jī)制提高圖像修復(fù)效果。Nazeri 提出利用邊緣結(jié)構(gòu)結(jié)合對抗網(wǎng)絡(luò)的兩級圖像修復(fù)模型。該模型由邊緣生成器和圖像生成器組成。邊緣生成器訓(xùn)練產(chǎn)生缺失區(qū)域的可能邊緣草圖。然后圖像生成器將生成的草圖作為結(jié)構(gòu)的先驗(yàn)條件生成最終結(jié)果。Xiong提出了一個類似的模型，采用輪廓生成器代替邊緣生成器，這更適用于損壞的圖像包含明顯對象的情況。通過引入結(jié)構(gòu)信息，兩種方法都產(chǎn)生了更為直觀清晰的修補(bǔ)結(jié)果。

一階段修復(fù)模型在復(fù)雜場景很難產(chǎn)生較好的修復(fù)效果，因此提出了兩階段方法分別進(jìn)行內(nèi)容生成和紋理細(xì)化。兩階段模型研究表明，邊緣、輪廓等結(jié)構(gòu)知識對生成合理、詳細(xì)的圖像修復(fù)內(nèi)容具有重要作用。然而也存在一些問題：由于網(wǎng)絡(luò)不斷加深，鑒別器數(shù)量增加，模型需要更多的參數(shù)；網(wǎng)絡(luò)使用串聯(lián)的結(jié)構(gòu)，在修復(fù)過程中會受到一階段產(chǎn)生的不合理結(jié)構(gòu)影響；在學(xué)習(xí)過程中，如果沒有明確的結(jié)構(gòu)指導(dǎo)，由于結(jié)構(gòu)的稀疏性和網(wǎng)絡(luò)的深度，結(jié)構(gòu)信息可能會被弱化或遺忘，可能無法充分地融合結(jié)構(gòu)信息。兩階段修復(fù)仍然會產(chǎn)生一些與周圍區(qū)域不一致的邊界偽影、扭曲結(jié)構(gòu)和模糊紋理。

針對這些問題，本文提出使用多任務(wù)框架來整合結(jié)構(gòu)進(jìn)行圖像修復(fù)。利用共享的生成器在進(jìn)行圖像修復(fù)的同時產(chǎn)生結(jié)構(gòu)信息。為了進(jìn)一步融合結(jié)構(gòu)信息，引入結(jié)構(gòu)嵌入模塊，將學(xué)習(xí)到的結(jié)構(gòu)特征輸入到修復(fù)過程中，作為圖像修復(fù)的前提條件。同時還加入多尺度注意機(jī)制，通過匹配合并不同大小的注意力塊生成的特征圖，捕獲多種尺度的信息，并靈活地利用背景信息來平衡不同樣式的圖像的需求，細(xì)化生成的結(jié)構(gòu)和內(nèi)容。通過采用多任務(wù)策略、結(jié)構(gòu)嵌入和注意力機(jī)制，可以充分利用結(jié)構(gòu)特征、圖像信息來提高圖像修復(fù)質(zhì)量。

1 相關(guān)內(nèi)容

1.1 生成對抗網(wǎng)絡(luò)

2014年Goodfellow等人[9]提出了生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN），其在圖像生成、圖像修復(fù)、圖像超分辨率等場景應(yīng)用中取得不錯的結(jié)果。GAN包含生成器、鑒別器兩部分。生成器G（Generator）從樣本中獲取分布生成數(shù)據(jù)，鑒別器D（Discriminator）將生成圖像與真實(shí)圖像輸入用于判斷真?zhèn)?。?xùn)練過程中通過最大化D，最小化G，交替迭代更新，當(dāng)生成模型生成出鑒別器無法判斷來源的圖片時達(dá)到最優(yōu)。

從GAN 提出以來出現(xiàn)許多變形，不同類型的GAN在某些方面具有突出的表現(xiàn)。為了改變原始GAN只能輸入噪聲的要求，實(shí)現(xiàn)特定條件圖像生成，產(chǎn)生了CGAN（Conditional Generative Adversarial Networks）[10]。為了使生成模型能夠更好地衡量兩個分布的散度，產(chǎn)生更好的效果，誕生了WGAN（Wasserstein GAN）[11]。WGAN-GP[12]解決了模型難以訓(xùn)練的問題，同時使網(wǎng)絡(luò)在訓(xùn)練過程中更加穩(wěn)定，并且能夠加快收斂速度。為了判別輸入圖像某些塊的真假，產(chǎn)生了PatchGAN[13]。PatchGAN由全卷積網(wǎng)絡(luò)構(gòu)成，輸出為N×N的矩陣，取輸出矩陣的均值作為真假輸出。輸出矩陣中的每一個輸出，代表著原圖中一個感受野，對應(yīng)原圖的一個patch。

1.2 注意力機(jī)制

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)中的空間注意力的研究與應(yīng)用越來越多。Jaderberg等人[14]在神經(jīng)網(wǎng)絡(luò)中引入?yún)?shù)化空間注意力模塊STN（Spatial Transform Network）。使用局部模塊對全局曲面特征進(jìn)行仿射變換，由于模型使用全局變換，不適合在局部修復(fù)中使用。Zhou等人[15]在圖像修復(fù)中使用外觀預(yù)測偏移矢量，通過偏移矢量指定圖像中使用哪些像素進(jìn)行重構(gòu)，實(shí)現(xiàn)圖像修復(fù)。該方法對匹配相同對象的相關(guān)視圖是有效的，但是從背景區(qū)域到目標(biāo)區(qū)域預(yù)測時表現(xiàn)較差。Yu 等人[6]提出使用上下文關(guān)注層，獲取遙遠(yuǎn)空間位置處的相關(guān)特征對圖像進(jìn)行修復(fù)。同時使用空間傳播層，促進(jìn)關(guān)注區(qū)域的連貫性。但是在缺失處進(jìn)行選擇和交換時，由于使用固定大小的補(bǔ)丁，當(dāng)背景區(qū)域缺乏相關(guān)內(nèi)容時會導(dǎo)致效果變差。

圖像修復(fù)要求生成與原圖風(fēng)格一致的圖像，確保樣式一致性的一個重要方法是利用背景信息。在特征圖上進(jìn)行面或像素匹配有助于提高生成圖像的質(zhì)量。但是，由于不同圖像對細(xì)節(jié)和樣式的要求各不相同，很難確定合適的補(bǔ)丁匹配大小。通常，較大的面有助于確保樣式的一致性，而較小的面在使用背景特征映射時更為靈活。通過不同特征面的選擇，解決單一場景匹配的限制問題。因此本文使用多尺度的注意力模塊，該模塊可以根據(jù)圖像的風(fēng)格靈活地利用背景內(nèi)容。

為了實(shí)現(xiàn)缺失像素與周圍環(huán)境較好地匹配，本文使用不同大小的補(bǔ)丁進(jìn)行傳播。選擇使用兩個大小不同的補(bǔ)丁，生成兩個特征圖，并使用余弦相似性匹配補(bǔ)丁與背景。

其中，Sx,y,x′,y′表示已提取像素bx,y與缺失像素fx,y間的相似性。為了計(jì)算每個補(bǔ)丁的權(quán)重，在得分圖上使用softmax 計(jì)算得分S*。由于缺失補(bǔ)丁的偏移可能對背景補(bǔ)丁產(chǎn)生相等的偏移，在注意力傳播過程中使用大小為k的核進(jìn)行從左到右、從上到下的傳播，將得分較高的補(bǔ)丁進(jìn)行合并，利用反卷積操作恢復(fù)注意力特征圖。

將生成的特征圖和原始特征圖串聯(lián)起來，用φin、φatt1×1、φatt3×3表示。為了確定當(dāng)前圖像上哪一級的細(xì)節(jié)是最重要的，將特征圖輸入SENet（Squeeze Excitation Networks）模塊以重新加權(quán)不同的通道。SENet 模塊首先計(jì)算出特征映射的平均池化值，然后將其放入全連接的神經(jīng)網(wǎng)絡(luò)中，計(jì)算出原始特征映射各通道的權(quán)重，并對其進(jìn)行加權(quán)。fSE輸出表示為：

2 網(wǎng)絡(luò)模型與改進(jìn)

2.1 生成器模型

圖像修復(fù)模型由生成模型和對抗模型組成。生成模型由一個共享的生成器組成，同時生成不同比例的圖像和相應(yīng)結(jié)構(gòu)，其中結(jié)構(gòu)生成作為輔助，為圖像修復(fù)任務(wù)提供可能的結(jié)構(gòu)提示。

生成模型如圖1所示，生成器由一個空間上下文編碼器和一個解碼器組成，該空間上下文編碼器向下采樣兩次，連接八個殘差塊和一個注意力模塊，解碼器則對其進(jìn)行兩次向上采樣生成原始大小的圖像。為了更好地利用結(jié)構(gòu)信息，在解碼過程中使用結(jié)構(gòu)嵌入層和注意力層。在結(jié)構(gòu)嵌入層中將結(jié)構(gòu)特征以不同尺度嵌入到解碼階段，作為圖像生成的先驗(yàn)。它首先從圖像生成分支中分離出來，學(xué)習(xí)特定的結(jié)構(gòu)特征并預(yù)測可能的結(jié)構(gòu)，然后通過級聯(lián)操作將學(xué)習(xí)到的特征合并。這種并行模式不僅為圖像生成提供了結(jié)構(gòu)先驗(yàn)，而且避免了不適當(dāng)?shù)念A(yù)處理帶來的不利影響。

圖1 生成模型結(jié)構(gòu)Fig.1 Generating model structure

使用邊緣結(jié)構(gòu)來表示圖像結(jié)構(gòu)。首先預(yù)測包含邊緣信息的梯度圖，然后在金字塔結(jié)構(gòu)損失中引入隱式正則化方案，以學(xué)習(xí)邊緣結(jié)構(gòu)。在修復(fù)過程中，生成邊緣結(jié)構(gòu)梯度圖。一方面，圖像的邊緣結(jié)構(gòu)通常是稀疏的，并且僅能表達(dá)草圖信息，因此需要設(shè)計(jì)用于邊緣生成的專用網(wǎng)絡(luò)層。另一方面，梯度圖本身不僅傳達(dá)了可能的邊緣信息，而且還代表了紋理信息或其他高頻細(xì)節(jié)，這對于詳細(xì)的紋理合成十分重要。

設(shè)I表示真實(shí)圖像，C和E分別表示其梯度和邊緣圖。使用Sobel 濾波器提取梯度圖，并使用Canny 檢測器獲取邊緣圖。作為輸入，相應(yīng)的梯度圖和邊緣圖，遮擋圖M，1 表示已知區(qū)域，0表示未知區(qū)域，⊙表示哈達(dá)瑪積（Hadamard Product）。生成器生成圖像內(nèi)容，并生成不同比例的梯度圖：

其中，G代表生成器，Ipred表示生成的圖像，表示尺度s的預(yù)測梯度圖。表示尺度s的不完全梯度圖，比例尺的數(shù)量取決于生成器的結(jié)構(gòu)。最終修復(fù)的圖像為：

2.2 鑒別器模型

鑒別器在最小化損失函數(shù)的過程中生成最優(yōu)結(jié)果，利用鑒別器判斷生成結(jié)果真假。在對抗訓(xùn)練的過程中不斷反饋調(diào)節(jié)，提升生成器生成效果。單鑒別器模型雖然能夠修復(fù)圖像，但存在生成圖像質(zhì)量效果差、與原始圖像不一致的問題；使用雙鑒別器模型存在結(jié)構(gòu)較深、訓(xùn)練不穩(wěn)定、難以收斂的問題。

針對這些問題，本文算法使用一個Patch-GAN[13]鑒別器和一個預(yù)先訓(xùn)練和固定的VGG-16[16]網(wǎng)絡(luò)進(jìn)行結(jié)構(gòu)生成學(xué)習(xí)和圖像生成學(xué)習(xí)。對于結(jié)構(gòu)生成使用Patch-GAN鑒別器評估每個結(jié)構(gòu)補(bǔ)丁的真假。鑒別器網(wǎng)絡(luò)使用70×70大小的PatchGAN，對70×70重疊圖像塊是真還是假進(jìn)行鑒別。PatchGAN鑒別器比全局圖像鑒別器具有更少的參數(shù)，并且能夠以完全卷積的方式處理任意大小的圖像。細(xì)節(jié)生成鑒別器將風(fēng)格損失和從ImageNet上預(yù)先訓(xùn)練的VGG-16 中獲取的感知損失進(jìn)行整合。在對抗性損失的幫助下，通過使用不同的對抗性損失權(quán)重來控制清晰度和細(xì)節(jié)的水平，組合訓(xùn)練目標(biāo)有利于模型學(xué)習(xí)產(chǎn)生良好的結(jié)構(gòu)，利于圖像修復(fù)。鑒別器模型結(jié)構(gòu)如圖2所示。

圖2 鑒別器模型結(jié)構(gòu)Fig.2 Discriminator model structure

2.3 損失函數(shù)

為了使修復(fù)模型更加穩(wěn)定易于收斂，提高修復(fù)圖像質(zhì)量，在圖像修復(fù)不同階段使用不同的損失函數(shù)。在修復(fù)過程中需要找出所需結(jié)構(gòu)特征實(shí)現(xiàn)破損圖像修復(fù)。在結(jié)構(gòu)匹配的過程中生成器實(shí)現(xiàn)兩個目標(biāo)：找出所需結(jié)構(gòu)和修復(fù)損壞的圖像。為了找到所需要的結(jié)構(gòu)，使用金字塔結(jié)構(gòu)損失來獲取結(jié)構(gòu)信息，并引入混合圖像損失來監(jiān)督圖像修復(fù)。使用金字塔結(jié)構(gòu)損失指導(dǎo)結(jié)構(gòu)的生成和嵌入，并將結(jié)構(gòu)信息融入到生成過程中。金字塔結(jié)構(gòu)損失包括預(yù)測的梯度圖與對應(yīng)的真實(shí)圖之間的L1 距離，以及學(xué)習(xí)邊緣結(jié)構(gòu)的正則化項(xiàng)。

生成圖像Ipred與真實(shí)圖像之間使用pixel-wiseL1距離來度量：

感知損失計(jì)算輸入ImageNet 數(shù)據(jù)集上預(yù)先訓(xùn)練的VGG-16 網(wǎng)絡(luò)[16]后，在特征空間中Ipred與其真實(shí)圖像之間的L1距離。

在鑒別過程中，使用了預(yù)先訓(xùn)練和固定的VGG-16的感知損失和風(fēng)格損失。感知損失和風(fēng)格損失比較生成圖像的深層特征圖與真實(shí)圖像間的差異。計(jì)算特征空間中預(yù)測與真實(shí)圖像之間的L1距離。損失函數(shù)形式化如下：

其中，?pooli表示VGG-16 中第i個pooling 層的特征圖。H、W和C表示特征圖的高度、寬度和通道大小，N是VGG16特征提取中生成的特征映射數(shù)。將生成的圖像放入VGG-16 特征提取器中，并將pool1、pool2 和pool3中的特征映射與對應(yīng)的真實(shí)圖像進(jìn)行比較。本文模型中，使用感知損失來衡量高層結(jié)構(gòu)之間的相似性。

感知損失有助于捕捉高層結(jié)構(gòu)，但仍缺乏保持風(fēng)格一致性的能力。為了解決這個問題，使用風(fēng)格損失Lstyle保持圖像風(fēng)格一致性。使用風(fēng)格損失可以從背景中學(xué)習(xí)顏色和整體風(fēng)格信息，風(fēng)格損失的公式如下：

利用上面討論的損失函數(shù)，模型可以生成合理的內(nèi)容。然而當(dāng)模型試圖學(xué)習(xí)更多的細(xì)節(jié)時，生成的區(qū)域往往是模糊的，這就需要有一個鑒別器來生成精細(xì)的細(xì)節(jié)。使用Patch-GAN作為鑒別器，在對抗性損失Ladv的幫助下，通過使用不同的對抗性損失權(quán)重來控制清晰度和細(xì)節(jié)的水平。對抗損失表示為：

綜上整個模型損失函數(shù)為：

在實(shí)驗(yàn)中不斷調(diào)節(jié)測試超參數(shù)，其中λ1、λ2、λ3、λ4是平衡不同損失項(xiàng)貢獻(xiàn)的超參數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

下面展示本文方法與幾種最先進(jìn)的圖像修復(fù)方法的實(shí)驗(yàn)比較，以及本文方法不同模塊有效性的消融實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)處理與實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在Places2 數(shù)據(jù)集上驗(yàn)證模型效果，并在相同環(huán)境下測試其他方法，將修復(fù)結(jié)果進(jìn)行對比。Places2是一個含有不同環(huán)境的多場景數(shù)據(jù)集，能夠應(yīng)用在場景識別、圖像描述等領(lǐng)域。實(shí)驗(yàn)中，使用的圖像大小為256×256，并使用規(guī)則和不規(guī)則圖像掩膜進(jìn)行訓(xùn)練和測試。為了進(jìn)行比較，使用規(guī)則掩膜固定大小，遵循EG[7]模型中常用的基線和不規(guī)則掩膜的實(shí)驗(yàn)設(shè)置。訓(xùn)練時對輸入模型場景圖片隨機(jī)生成缺失區(qū)域和邊緣圖像，將缺失區(qū)域與原圖合成缺失圖像，并將缺失圖像及邊緣圖輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。用Sobel 濾波器生成梯度映射，用Canny 檢測器生成邊緣映射。模型中參數(shù)設(shè)置為λ1=0.1,λ2=0.07,λ3=250,λ4=0.3。所有的實(shí)驗(yàn)都是在Ubuntu18.04系統(tǒng)上進(jìn)行，使用i7-9700F 3 GHz CPU和單個11 GB GeForce GTX 2080Ti 在TensorFlow1.14.0框架中實(shí)現(xiàn)。

3.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證模型效果，將本文模型與當(dāng)前其他修復(fù)模型進(jìn)行比較。首先展示了本文模型的修復(fù)效果；其次對不同模型修復(fù)效果進(jìn)行比較；最后對本文模型進(jìn)行客觀評價。

圖3展示了本文模型針對不同缺失類型、不同缺失大小的不同圖像修復(fù)效果。對比原圖和修復(fù)結(jié)果，可以看到修復(fù)圖像在結(jié)構(gòu)、完整程度上表現(xiàn)突出，能夠在規(guī)則和不規(guī)則破損圖像中生成具有邊緣結(jié)構(gòu)和精細(xì)細(xì)節(jié)紋理的逼真圖像。

圖3 修復(fù)結(jié)果Fig.3 Repair result

為了驗(yàn)證本文模型的有效性，將本文方法與GL[4]、CA[6]和EG[7]方法進(jìn)行比較。使用相同的環(huán)境與數(shù)據(jù)對破損圖像進(jìn)行修復(fù)對比，對比結(jié)果如圖4所示。

圖4 不同模型修復(fù)對比Fig.4 Comparison of repairing different models

GL 是一種有效的語義修復(fù)方法，可以處理更大的缺失圖像，生成合成的內(nèi)容，但修復(fù)圖像紋理、結(jié)構(gòu)表現(xiàn)較差。CA 在理解整個圖像的上下文方面是有效的，但是結(jié)果往往不易辨識。EG使生成的內(nèi)容具有與背景區(qū)域相似的紋理，然而當(dāng)背景信息具有誤導(dǎo)性時，表現(xiàn)不佳。與這些方法相比，本文的修復(fù)結(jié)果所產(chǎn)生的偽影較少，尤其是對于較大缺失圖像。與這些方法相比，本文方法能夠產(chǎn)生更合理美觀的結(jié)果，同時能夠生成精細(xì)的紋理。

為了客觀評價模型的優(yōu)劣，將本文模型與其他模型進(jìn)行定量的比較。分別采用結(jié)構(gòu)相似性指數(shù)（SSIM）、峰值信噪比（PSNR）和平均L1 loss 進(jìn)行比較。表1 表示本文方法在Places2數(shù)據(jù)集上與GL、CA和EG的數(shù)值比較結(jié)果。在Places 數(shù)據(jù)集上，本文方法具有更好的PSNR 和平均L1 loss。L1 loss 和PSNR 用于在像素級測量兩幅圖像之間的相似性。

表1 Places2上數(shù)值比較Table 1 Comparison of values on Places2

3.3 模型分析

算法主要在生成階段使用多尺度的結(jié)構(gòu)特征和注意力模塊，同時在修復(fù)過程中使用組合損失優(yōu)化生成結(jié)果。為了驗(yàn)證算法不同模塊的有效性，在Places2 數(shù)據(jù)集上做消融對比實(shí)驗(yàn)。

為了分析本文方法不同模塊在圖像修復(fù)模型中起到的不同作用，以EG生成器為基準(zhǔn)，添加不同模塊驗(yàn)證不同模塊的作用。分別添加學(xué)習(xí)策略（LS）、結(jié)構(gòu)嵌入模塊（ST）、注意力模塊（AT），直至整個模型建立。在帶有規(guī)則缺失的測試集中，對逐漸增加的模塊進(jìn)行定量和定性分析。定性的比較如圖5所示。

圖5 消融對比Fig.5 Comparison of ablation

使用共享的生成器同時完成圖像和相應(yīng)結(jié)構(gòu)替代，而不是使用單一修復(fù)結(jié)構(gòu)，本文模型生成了更合理清晰的圖像結(jié)構(gòu)。這表明多任務(wù)策略將結(jié)構(gòu)信息整合到修補(bǔ)過程中能夠增強(qiáng)修復(fù)效果。通過嵌入注意力模塊，學(xué)習(xí)圖像中類似的結(jié)構(gòu)和相關(guān)圖案信息進(jìn)一步提高修復(fù)結(jié)果。如表2 所示，與基線相比，隨著逐步集成不同模塊，本文模型在度量標(biāo)準(zhǔn)上的性能逐漸得到改善或得以保留。

表2 消融定量對比Table 2 Quantitative comparison of ablation

4 結(jié)束語

本文提出結(jié)合圖像結(jié)構(gòu)并使用多尺度注意力模塊的圖像修復(fù)算法，使用多任務(wù)學(xué)習(xí)策略，結(jié)合結(jié)構(gòu)嵌入，并使用注意力進(jìn)行圖像修復(fù)。在實(shí)驗(yàn)中引入多種損失，包括風(fēng)格損失、結(jié)構(gòu)損失、對抗損失等，以保證產(chǎn)生精細(xì)的修復(fù)內(nèi)容。通過消融研究驗(yàn)證不同組塊對模型效果的影響，定性定量比較該實(shí)驗(yàn)與當(dāng)前其他算法的優(yōu)劣。各種圖像修復(fù)對比實(shí)驗(yàn)表明，本文算法能夠充分利用結(jié)構(gòu)知識生成清晰、精細(xì)的圖像。