融合雙向感知Transformer與頻率分析策略的圖像修復

摘 要：現(xiàn)有圖像修復技術通常很難為缺失區(qū)域生成視覺上連貫的內容，其原因是高頻內容質量下降導致頻譜結構的偏差，以及有限的感受野無法有效建模輸入特征之間的非局部關系。為解決上述問題，提出一種融合雙向感知Transformer與頻率分析策略的圖像修復網(wǎng)絡（bidirect-aware Transformer and frequency analysis，BAT-Freq）。具體內容包括，設計了雙向感知Transformer，用自注意力和n-gram的組合從更大的窗口捕獲上下文信息，以全局視角聚合高級圖像上下文；同時，提出了頻率分析指導網(wǎng)絡，利用頻率分量來提高圖像修復質量，并設計了混合域特征自適應對齊模塊，有效地對齊并融合破損區(qū)域的混合域特征，提高了模型的細節(jié)重建能力。該網(wǎng)絡實現(xiàn)空間域與頻率域相結合的圖像修復。在CelebA-HQ、Place2、Paris StreetView三個數(shù)據(jù)集上進行了大量的實驗，結果表明，PSNR和SSIM分別平均提高了2.804 dB和8.13%，MAE和LPIPS分別平均降低了0.015 8和0.096 2。實驗證明，該方法能夠同時考慮語義結構的完善和紋理細節(jié)的增強，生成具有逼真感的修復結果。

關鍵詞：圖像修復；生成對抗網(wǎng)絡；小波變換；Transformer

中圖分類號：TP391.41"" 文獻標志碼：A"" 文章編號：1001-3695（2025）03-037-0927-10

doi：10.19734/j.issn.1001-3695.2024.05.0214

Image inpainting technique incorporating bidirect-aware Transformer and frequency analysis strategies

Zhao Zhiwei，F(xiàn)an Yao，Zheng Lizhi，Yu Siyun

（School of Information Engineering，Xizang Minzu University，Xianyang Shaanxi 712000，China）

Abstract：

Image inpainting techniques typically encounter difficulties generating visually coherent content for missing regions，primarily due to spectral structure deviations resulting from high-frequency content quality reduction and the inadequacy of limited perceptual fields in efficiently handling non-local feature relationships.To tackle these challenges，this paper proposed an image inpainting network incorporating a bidirect-aware Transformer and frequency analysis strategy，termed bidirect-aware Transformer and frequency analysis（BAT-Freq）.It designed a bidirect-aware Transformer that captured wider contextual information using self-attention and n-gram，aggregating high-level image contexts globally.Moreover，it introduced a frequency ana-lysis guidance network to boost restoration quality through frequency component utilization，designed a hybrid feature adaptive normalization module for efficient alignment and fusion of hybrid region features in damaged regions，thus enhancing detail reconstruction capabilities.The network affected image inpainting by integrating spatial and frequency regions.Experiments conducted across three datasets-CelebA-HQ，Place2，and Paris StreetView-exhibit improvements with PSNR and SSIM averaging 2.804 dB and 8.13% increases，respectively，alongside decreases in MAE and LPIPS averaging 0.015 8 and 0.096 2，respectively.These outcomes illustrate the method’s concurrent consideration of semantic structure refinement and texture detail enhancement，producing restorations with a realistic sensation.

Key words：image inpainting;generative adversarial network;wavelet transform;Transformer

0 引言

隨著數(shù)字媒體技術的迅速發(fā)展，圖像修復的任務已不僅僅局限于簡單還原受損區(qū)域的原始狀態(tài)，而是發(fā)展到了一個新階段，要求“理解”自然圖像的大規(guī)模結構，并能高效生成圖像內容。它在各種圖像編輯任務中得到了廣泛的研究，例如根據(jù)剩余的背景像素填充給定的孔洞或去除不需要的對象。真實且高保真的圖像修復仍然是一項具有挑戰(zhàn)性的任務，特別是當損壞區(qū)域很大并且具有復雜的紋理和結構圖案時，需要學習圖像結構并對缺失區(qū)域進行像素生成。

傳統(tǒng)的圖像修復方法，如基于擴散的方法［1］、基于樣本的方法［2］，主要通過假設破損圖像中的已知和未知區(qū)域共享相似的內容，將背景像素塊匹配、復制和重新對齊到缺失區(qū)域。傳統(tǒng)的圖像修復方法在處理小的缺失區(qū)域時能產(chǎn)生合理的結果，但它們缺乏語義理解，難以為大孔洞破損圖像生成合理的內容和連貫的語義信息。相比之下，基于卷積神經(jīng)網(wǎng)絡（CNN）的修復方法［3］以自我監(jiān)督的方式對大規(guī)模數(shù)據(jù)集進行訓練，顯示了其學習豐富紋理模式的能力，并用這些學習到的內容填充了缺失的區(qū)域。然而，在復雜的場景下，CNN有限的感受野，不足以獲取生成高質量圖像所需的信息，從而導致不必要的偽影和模糊的結果。

作為在語言任務中得到充分探索的體系結構，Transformer［4］在各種計算機視覺任務中表現(xiàn)出優(yōu)越的性能。與CNN模型相比，它放棄了內置的局部歸納先驗，通過多頭自注意力模塊建立遠程交互關系，近期的研究［5］也展示了其對圖像結構關系進行建模的能力，且表明了全局信息的早期聚合有利于更大的有效感受野。模型需要有足夠大的感受野來交互和聚合所有本地信息，學習到的全局上下文對于視覺場景的整體理解至關重要。盡管Transformer具有比CNN更高的性能上限，但其計算復雜度隨著輸入長度的增加而呈二次方增加，復雜且高昂的參數(shù)量使其難以訓練并獲得足夠大的感受野［6］。與此同時，很少有方法探索對圖像修復任務有用的圖像內在的低頻和高頻信息。F原理［7］證明神經(jīng)網(wǎng)絡優(yōu)先擬合從低到高的頻率信號。因此，模型傾向于生成具有更高優(yōu)先級和更表面復雜性的頻率，即僅生成低頻信號。但由于高頻分量包含更細致的信息，丟失它們可能會導致生成器合成具有更多混疊偽影的模糊圖像，所以在生成圖像時有必要考慮頻率信號，特別是高頻信號，原因是生成器通常會避開它們［7］。解決圖像高頻信息缺失的一種方法是直接使用頻率感知訓練目標［8］，但他們常面臨感知質量和重建的兩難困境，即對抗性損失傾向于修復高頻紋理細節(jié)并提高感知質量，而重建中的L1損失更側重于修復低頻全局結構。簡單地將它們結合在一起，往往會導致頻間沖突，從而影響修復區(qū)域的真實感和完整性。

綜上所述，已有模型在圖像修復任務中難以生成令人滿意且合理的結果的原因可歸結為以下兩點：a）基于復雜度和參數(shù)量的限制無法擴大感受野范圍，模型缺少對全局信息的理解;b）忽略了頻率信息在整個生成過程中的巨大影響，導致修復結果缺少細節(jié)同時出現(xiàn)更多偽影。針對這些問題，提出了融合雙向感知Transformer與頻率分析策略的圖像修復（bidirect-aware Transformer and frequency analysis，BAT-Freq）技術，在擴大模型感受野的同時從頻域角度改善圖像修復質量。它可以分為兩個部分。第一部分由三階段不同分辨率的Transformer模塊組成，其中Transformer通過所提出的n-gram［9］雙向感知算法來擴大感受野，模擬遠程交互；并在Transformer中引入密集均勻注意力（dense uniform attention，DUA）以提供所需的密集交互，保持遠程依賴關系，使模型的整體優(yōu)化更容易，提高泛化能力。第二部分通過自然保留空間信息的小波變換來分解圖像得到多個頻率分量，并分別修復每個頻帶中的缺失區(qū)域。將重建好的低頻分量通過跳躍連接送入模型頭部卷積模塊，高頻分量通過跳躍連接送入尾部卷積模塊，為模型提供圖像結構信息的同時緩解生成器生成高頻細節(jié)的壓力。在頻域內重建破損區(qū)域，使模型能夠明確且單獨地將對抗性損失應用于高頻分量，將L1損失應用于低頻分量，能夠有效地減輕頻率之間的沖突。此外，設計了混合域特征自適應對齊（hybrid feature adaptive normalization，HFAN）模塊，確保多個頻段和空間域特征的一致性，有助于抑制偽影并有效保留紋理細節(jié)。其主要貢獻如下：

a）設計雙向感知Transformer模塊，獲取前向和后向的圖像上下文，擴大感受野范圍，增強模型提取信息的能力；并引入密集均勻注意力，提供所需的密集交互，使其整體優(yōu)化更容易，以全局視角實現(xiàn)更全面和合理的修復。

b）提出頻率分析指導網(wǎng)絡，單獨修復不同頻段的破損區(qū)域，從而有效地減輕頻率間沖突，同時最大限度地減少對抗損失和重建損失。利用重建的頻率分量來提高圖像修復質量。

c）設計了混合域特征自適應對齊模塊，有效地對齊并融合破損區(qū)域的頻率域和空間域特征，有助于抑制偽影和保留圖像細節(jié)。

d）將所提BAT-Freq與現(xiàn)有的先進方法進行比較。在Places［10］、CelebA-HQ［11］和Paris StreetView［3］三個數(shù)據(jù)集上的實驗表明，BAT-Freq在定性和定量評估方面都表現(xiàn)出了良好的性能。

1 相關工作

1.1 基于Transformer的圖像修復

深度神經(jīng)網(wǎng)絡已被廣泛研究用于圖像生成和修復［12］。特別的是，生成對抗網(wǎng)絡［13］已用來生成具有真實結構和合理外觀的圖像。例如：Pathak等人［3］提出了一種基于GAN的方法來修復大面積破損區(qū)域的圖像；Nazeri等人［14］利用邊緣作為輔助信息來改善修復效果；Wang等人［8］采用具有不同感受野的多個分支進行修復。盡管上述方法以不同的方式解決圖像修復問題產(chǎn)生了優(yōu)越的效果，但大多都難以處理大量缺失的場景。

Transformer［4］在自然語言處理和計算機視覺領域的許多任務上取得了良好的性能，因為它學習了序列數(shù)據(jù)的遠程交互。最近基于Transformer的架構，例如混合視覺Transformer［15］利用圖像的自注意力在視覺任務中表現(xiàn)出較高競爭力，然而，由于其二次計算復雜度和高內存使用率，其有限的感受野范圍無法滿足對視覺場景的整體理解需求，自注意力通常也僅限于像素級密集預測任務。為了解決這種計算復雜性，最近提出了各種更有效地處理自注意力的方法。例如：PVT［16］架構采用分層金字塔結構來減少計算量；Swin Transformer［17］提出了在非重疊的局部窗口內計算自注意力的窗口自注意力（WSA），避免了特征映射分辨率的二次時間復雜度，但這種方法缺乏不同窗口之間的交互，導致僅存在局部依賴關系。

1.2 基于小波變換的圖像修復

眾所周知，圖像本質上可視為一種信號形式，故而，信號處理領域的小波變換技術同樣適用于圖像處理場景，并且已得到廣泛應用［18］。文獻［7］已經(jīng)表明神經(jīng)網(wǎng)絡更喜歡生成復雜性更低的低頻信號。因此，在特征提取過程中可能會丟失部分高頻信號，從而導致生成帶有噪聲和混疊偽影的圖像。為了探索在圖像修復時是否出現(xiàn)類似現(xiàn)象，從而設計優(yōu)化的架構，首要步驟便是分析當前圖像修復方法在處理過程中的頻率分量變化情況。

小波變換將信號分解為不同的頻率分量，并在各種圖像處理任務中展現(xiàn)出良好的性能［19］?；谛〔ǖ男迯驮缭谏疃葘W習盛行之前就已經(jīng)被研究過。例如，Zhang等人［20］在小波域中分解圖像，分別使用擴散和基于樣本的方法生成結構和紋理。WaveFill［21］將圖像分解為多個頻率分量，并用分解信號填充損壞的圖像區(qū)域，從而實現(xiàn)圖像修復。這些方法試圖縮小頻域中的信息間隙，以提高模型的性能。盡管這些方法在小波域中操作，但它們僅依賴于修復網(wǎng)絡來預測不同小波子帶中缺失的信息，或直接將空間域信息與小波域信息進行融合，不僅無法為大的損壞區(qū)域生成有意義的內容，還容易因不同域信息的對齊和融合而產(chǎn)生偽影和模糊。針對以上的問題，本文從擴大模型感受野并結合頻域分析改善圖像修復質量的角度，提出BAT-Freq圖像修復模型。主要包含雙向感知Transformer修復瓶頸塊和頻率分析指導網(wǎng)絡兩個方面。第一個方面以有效的感受野范圍更多地關注語義內容及全局結構，第二個方面通過頻率分析指導學習更豐富的圖像紋理和高頻細節(jié)。兩方面聯(lián)合重建破損圖像，實現(xiàn)良好的圖像修復效果。

2 本文模型

BAT-Freq架構主要由雙向感知Transformer修復瓶頸塊、頻率分析指導網(wǎng)絡和兩個判別器組成。雙向感知Transformer修復瓶頸塊和頻率分析指導網(wǎng)絡構成了該模型的生成器。兩個判別器分別為高頻分量判別器和BAT-Freq判別器。具體如圖1所示。

2.1 整體架構

本文目標是以一種有效的方式合成破損圖像的缺失內容。為此，提出BAT-Freq網(wǎng)絡來解決圖像修復問題。

首先，使用三個卷積層構成的頭部卷積模塊對256×256的輸入掩碼圖像Im和掩碼M進行三次卷積下采樣，分別提取三個不同分辨率的編碼特征Zenci（i=1，2，3）。使用頭部卷積模塊主要有兩個原因：a）將局部歸納先驗納入早期視覺處理對于更好地進行視覺展現(xiàn)和優(yōu)化［22］至關重要;b）它是為快速下采樣而設計的，以降低計算復雜度和內存成本。

針對以足夠大的感受野來交互和聚合本地信息，從而獲得對視覺場景的整體理解的目標，將頭部卷積模塊輸出的編碼特征Zenc3送入雙向感知Transformer修復瓶頸塊，該模塊由三個階段不同分辨率的雙向感知Transformer組成，三個階段的輸入特征分辨率分別為32，16，32，形成信息瓶頸層，以增強特征信息的表達能力和獲取全局結構信息的能力，進而生成內容自洽的語義內容。

為了解決因高頻信息的缺失而導致的生成質量的降低，將編碼特征Zenc1和Zenc2分別進行小波分解獲得多個頻率分量。獲得低頻和高頻分量后饋送入頻率分析指導網(wǎng)絡進行重建。將重建完成的低頻子帶（LLi，i=1，2）在頭部卷積模塊中采用跳躍連接來保持圖像整體的結構和輪廓；使用小波逆變換將重建后的高頻子帶信號（LHi、HLi、HHi，i=1，2）重構為原始特征，并使用跳躍連接送入尾部卷積模塊提供詳細信息，尾部卷積模塊為頭部卷積模塊的鏡像結構。為了緩解優(yōu)化不同頻率子帶時產(chǎn)生的沖突，對頻率分量中的低頻子帶信息采用L1重構損失，高頻子帶信息采用對抗性損失，從而在修復圖像的同時有效緩解頻率間的沖突。為了實現(xiàn)頻域內部一致性和與空間域的外部一致性，提出了混合域特征自適應對齊模塊，可以有效地對齊和融合頻率特征及空間特征，消除不同統(tǒng)計量的特征融合問題。最后將真實圖像和生成的圖像輸入鑒別器，訓練整個模型。

2.2 雙向感知Transformer（BAT）

近期的研究已經(jīng)證明，具有窗口多頭自注意力的Swin Transformer［17］可以有效地從圖像中提取結構和紋理特征，而普通的窗口多頭自注意力由于感受野有限，在進行圖像修復時無法有效修復大孔洞破損圖像。文獻［23］表明多頭自注意力傾向于學習密集的相互作用，但softmax的梯度在密集的注意力周圍不太穩(wěn)定，使得模型更難訓練。針對以上問題，設計了雙向感知Transformer應用于圖像修復任務中。首先提出n-gram雙向感知算法，將n-gram定義為Transformer中相鄰的局部窗口，通過窗口多頭自注意相互作用，擴展了感受野以提供更豐富的上下文信息，如圖2（b）所示。其次，將DUA插入到Transformer中，以提供所需的密集交互。DUA從自注意力中取代了密集的全局聚合，從而保留了模型的長程依賴性，使Transformer的整體優(yōu)化更容易，并提高了其泛化能力，如圖2（c）所示。

如圖2所示，本文采用了SwinV2［24］中提出的尺度余弦注意力（scaled-cosine attention）以及后歸一化（post-normalization）技術。對于尺度余弦窗口自注意力（WSA），公式如下：

2.3.2 混合域特征自適應對齊（HFAN）

將高頻信息投影到特征空間后，HFAN通過聚合低頻到高頻的注意力分數(shù)來對齊低頻和高頻的破損區(qū)域。并使用結合空間域特征的AdaIN來進一步豐富缺失的高頻信息，得到細粒度調制參數(shù)γH和βH。最后從空間域特征中學習粗略調制參數(shù)γs和βs，將兩組參數(shù)加權求和，得到最終的像素級細粒度調制參數(shù)。具體如圖5所示。

對于進行重建的頻率分量，需要在以空間域語義特征為約束的同時，對齊頻率域內的低頻和高頻分量，這是不同頻段生成一致且真實內容的關鍵步驟。頻率域內外特征的有效融合面臨兩方面的挑戰(zhàn)：a）對于頻率域內部來說，首先，低頻和高頻波段的統(tǒng)計數(shù)據(jù)有明顯的差異，直接將高頻信息相加或拼接，由于其高稀疏性，會極大地抑制高頻信息；其次，對不同的分支進行明確的損失函數(shù)訓練，學習能力在分支之間也有所不同;b）對于頻率域外的空間域語義內容來說，空間域特征會對頻率域特征進行一定的約束和調制。因此，當單獨修復不同分支而不進行分支之間的對齊時，一個網(wǎng)絡分支可能會生成在自己頻段內合理，但在其他分支頻段（形狀或大?。┎灰恢碌膬热荨＿@些問題都會導致修復結果中的各種模糊和偽影。鑒于此，提出了HFAN，如圖5所示。該方法可以對齊和融合低頻、高頻以及空間域特征，以實現(xiàn)更合理的修復。

a）為了對齊頻率域缺失區(qū)域的內容，將低頻特征的自注意力分數(shù)聚合到高頻特征上。由于注意力圖描述了低頻特征塊之間的相關性，所以可以通過對未損壞區(qū)域的特征進行集體聚合來重建損壞區(qū)域的未對齊高頻特征。應用注意力聚合的另一個優(yōu)點是通過建立遠程依賴關系來利用遠距離的互補特征。如圖5中A模塊所示，注意力分數(shù)Wj，i是由低頻子帶LL={ll1，…，llN}（N為空間位置的個數(shù)，N=H×W）計算得到的，首先將其分別轉換為key和query兩個特征空間，即K=f（LL），Q=g（LL），f和g為1×1卷積。

b）針對統(tǒng)計數(shù)據(jù)差異問題，本文以空間域特征為約束，將低頻特征與目標高頻特征對齊，促進特征有效融合，降低生成目標高頻波段的難度。如圖5中B模塊所示，高頻特征上的聚合輸出H通過四層卷積網(wǎng)絡來學習細粒度調制參數(shù)γH和βH（即用于縮放的γH和用于偏差的βH），并在中間兩層使用與空間語義特征結合的自適應實例歸一化（adaptive instance normalization，AdaIN）將空間域的語義內容的均值和方差與高頻子帶的均值和方差對齊，指導空間域與頻率域之間的對齊。同時，將空間域語義圖通過核為3×3的卷積層來學習粗略調制參數(shù)γs和βs。將兩組參數(shù)加權求和，得到最終的像素級細粒度調制參數(shù)γ和β注入到低頻特征LL。

其中：αγ和αβ是可學習的權重參數(shù)；U為調制特征；μL和σL為LL沿通道尺寸的平均值和標準差。

2.4 損失函數(shù)

為了提高生成的質量，本網(wǎng)絡采用了非飽和對抗損失［13］來優(yōu)化本文的整體架構，并且將L1重構損失應用于分解的低頻子帶，對抗性損失應用于高頻子帶，從而在生成修復圖像的同時有效地緩解了頻間沖突。并且，本文采用了經(jīng)驗系數(shù)較低的感知損失［29］，提高模型的穩(wěn)定性，增強對抗樣本的魯棒性。

本文用Iout表示最終完成的圖像，用{Lout，Hout}表示小波域中的預測，用Igt表示真實圖像及其對應的小波域分量為{Lgt，Hgt}。G為本文的生成器，DI為該網(wǎng)絡中整體框架的判別器，DH是小波域中高頻子帶的判別器。

a）對抗性損失。模型BAT-Freq的對抗性損失的計算為

3 實驗

3.1 數(shù)據(jù)集與指標

a）數(shù)據(jù)集。訓練和測試是在3個公開可用的數(shù)據(jù)集CelebA-HQ［11］、Place2［10］和Paris StreetView［3］上以256×256分辨率進行。CelebA-HQ數(shù)據(jù)集包含30 000個對齊的人臉圖像，本文對其進行隨機分割，生成26 000個訓練圖像和4 000個驗證圖像。Place2由365個不同場景的180多萬張自然圖像組成，本文從原始數(shù)據(jù)集中隨機選擇220 000張圖像作為訓練數(shù)據(jù)集，30 000張圖像作為驗證。Paris StreetView是巴黎街景圖像的集合，包含14 900張訓練圖像和100張驗證圖像。在實驗過程中，使用MAT［32］提供的不規(guī)則掩碼進行訓練。為了模擬實際情況中的破損，且體現(xiàn)所提方法的泛化性，使用MAT［32］提供的不規(guī)則掩碼和文獻［33］包含的12 000張掩碼對圖像進行隨機掩碼測試。所有圖像和不規(guī)則掩碼的大小均調整為256×256像素。

b）比較方法。將所提方法與列出的先進方法進行比較：EC［14］、ICT［5］、WaveFill［21］、MAT［32］、Coordfill［34］、ORFNet［35］。

c）評價指標。本文使用四種廣泛采用的評估指標進行評估：（a）峰值信噪比（PSNR）是一種廣泛使用的客觀測量圖像質量的方法；（b）結構相似性指數(shù)（SSIM），是利用符合人類感知的亮度、對比度和結構等因素來評價圖像之間的相似度;（c）平均絕對誤差（MAE）是指兩個值之間的平均絕對誤差;（d）學習感知圖像像素相似度（learning perceptual image patch similarity，LPIPS）是一種從感知角度量化圖像之間差異的方法，能夠更好地反映人類對圖像的感知和理解。

d）實驗細節(jié)。所提方法使用PyTorch框架實現(xiàn)，并通過Adam優(yōu)化器優(yōu)化模型，其中β1=0和β2=0.99，并將生成器和鑒別器的學習率分別設置為1E-4和4E-4，訓練期間batch size設置為8。本文的實驗硬件配置為單張IntelCore i7-11700 CPU，NVIDIA GeForce RTX 3090 24 GB GPU，軟件環(huán)境為Windows 11，PyTorch v1.7.0、CUDA v11.0。

3.2 定量評價

本文使用不規(guī)則掩碼［33］對數(shù)據(jù)進行了廣泛的定量評估，并在CelebA-HQ、Place2和Paris StreetView驗證圖像上使用EC、ICT、WaveFill、MAT、Coordfill和ORFNet進行基準測試。實驗中的不規(guī)則掩碼是基于掩碼區(qū)域占圖像大小的比例進行分類的。通過運行公開可用的預訓練方法來獲得比較模型的性能。

不規(guī)則掩碼實驗表明，在不同掩碼比例下，BAT-Freq取得了較好的修復效果，如表1所示。BAT-Freq的有效性很大程度上歸功于基于頻率分量的指導和雙向感知Transformer修復瓶頸塊的全局理解，為缺失區(qū)域生成合理的結構和紋理。具體來說，使用小波變換將圖像轉換到小波域，在不損失空間信息的情況下，可以將圖像精確地分解到多個頻段，單獨地對高頻分量應用對抗性損失，對低頻分量應用L1損失，這緩解了網(wǎng)絡同時優(yōu)化兩個不同目標而引入的內容沖突，并采用HFAN，可以實現(xiàn)高、低頻信息在不同頻帶內的對齊，提高圖像PSNR和SSIM的修復質量指標。此外，BAT允許模型建立遠程依賴關系，這有助于破損圖像生成具有更好感知質量的更合理語義的內容。

3.3 定性評價

圖6～8分別為CelebA-HQ、Paris StreetView和Place2驗證集上的定性實驗結果。將BAT-Freq模型與人臉數(shù)據(jù)集CelebA-HQ上的現(xiàn)有方法進行比較。如圖6所示，EC［14］是一種先結構再紋理的兩階段修復方法，第一階段的結構預測不完整會導致后一步紋理模糊、邊緣不清晰，如圖6（b）中第二、三行人臉的輪廓和五官結構所示。ICT［5］使用Transformer來重建視覺先驗，然后使用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡來修復細節(jié)，但如圖6（c）所示，結果明顯存在語義不合理和邊緣區(qū)域不一致的問題。WaveFill單獨地合成不同頻段的破損圖像區(qū)域，試圖平衡圖像的頻率域和空間域，但如圖6（d）所示，無法獲取明確的語義信息，導致破損區(qū)域存在不同程度的模糊。

MAT使用掩碼感知機制來修復大規(guī)模掩碼，但在修復的破損區(qū)域與真實圖像之間的銜接存在不自然、不流暢的現(xiàn)象，如圖6（e）所示。Coordfill能夠以較少的參數(shù)量對破損圖像進行快速的修復，但面對大面積破損的圖像時，會出現(xiàn)語義不明確、邊緣模糊等現(xiàn)象，如圖6（f）所示。ORFNet是一種三階段修復網(wǎng)絡，各階段采用不同大小的感受野修復，能較好地理解圖像的整體結構，但修復結果存在一定的偽影，如圖6（g）所示。相比之下，所提方法有效利用了上下文信息，并借助小波變換的頻率指導為圖像提供了更豐富的細節(jié)，如圖6（h）所示。

在Paris StreetView數(shù)據(jù)集上對不同方法的效果進行了可視化分析，結果如圖7所示。EC在面對大面積破損時，建筑物的窗臺會出現(xiàn)模糊，在人工標記的掩碼中，窗戶會出現(xiàn)模糊和變形。ICT在像素級別修復破損區(qū)域，但它無法很好地捕獲全局語義結構，如圖7（c）所示，破損區(qū)域出現(xiàn)明顯的語義不合理部分。WaveFill的可視化結果表明其修復結果細節(jié)部分存在模糊現(xiàn)象，回避生成清晰的真實紋理。MAT利用遠程上下文來重建結構和紋理，但在圖7（e）第三、四行中出現(xiàn)語義不合理的修復結果。盡管Coordfill修復的結果較為合理，但破損區(qū)域邊緣仍存在模糊現(xiàn)象。ORFNet由粗到細再到全局修復，能生成較合理的全局語義，但生成的窗臺和門框邊緣存在扭曲和變形，如圖7（g）所示。相比之下，所提模型有效生成了語義合理且細節(jié)紋理真實的圖像，提高了感知質量。如圖7（h）第二、四行所示，BAT-Freq修復的門和窗戶都有合理的輪廓和清晰的紋理細節(jié)。

所提方法在Place2數(shù)據(jù)集上進行了進一步評估，如圖8所示。在面對大面積掩碼的破損圖片時，EC、WaveFill和Coordfill的修復結果明顯出現(xiàn)了語義不清、模糊格紋和偽影等情況，導致整體修復結果不合理，如圖8第一、三行所示。由于缺乏對全局結構信息的約束，ICT在細節(jié)修復時出現(xiàn)不合理的語義，如圖8（c）第五行所示。雖然MAT在生成高分辨率的修復結果方面表現(xiàn)更好，但它仍然難以生成與整體圖像上下文平滑集成的紋理，如圖8（e）所示。ORFNet能夠較好地生成圖像的語義細節(jié)，如圖8（g）第五行所示，但面對大面積破損時，所生成的圖像會出現(xiàn)模糊的紋理，如圖8（g）第一、四行所示。與上述方法相比，所提方法結合了n-gram雙向感知算法，有效地擴大了感受野，能夠更好地學習全局結構信息。此外，BAT-Freq采用了頻率分析網(wǎng)絡提供豐富的細節(jié)和可感知的信息，獲得高質量的修復結果，如圖8（h）所示。

3.4 消融實驗

本節(jié)將梳理框架的哪些組件對最終性能貢獻最大。通過使用Paris StreetView數(shù)據(jù)集中256×256分辨率的圖像訓練模型。定量比較如表2所示。

在消融實驗中，訓練了六個網(wǎng)絡模型：

a）頻率分析指導網(wǎng)絡。為了用真實的內容快速填補缺失的區(qū)域，本文提出了將編碼特征分解成多個頻率分量，并進行低頻跳躍連接以保留輪廓和結構信息，然后通過采用高頻跳躍連接減輕了生成器合成精細細節(jié)的困難，從而為生成器提供了豐富的頻率信息。為了更深入地理解，本節(jié)構建了一個沒有頻率指導部分的模型（表2中的模型A）。本文認為所提頻率指導部分有助于保持顏色一致性和減少模糊。如圖9所示，沒有頻率感知部分的模型在示例中生成顏色不正確的內容和模糊的偽影。定量和定性結果都驗證了頻率感知部分的重要性。

b）高頻子帶跳躍連接。取消高頻子帶跳躍連接（表2中的模型B），發(fā)現(xiàn)指標評價都存在下降，特別是在PSNR上，這表明所修復的圖像失去了一些真實度。此外，在圖9中展示了可視化的例子。與不使用高頻跳躍連接的網(wǎng)絡相比，所提模型可以很好地利用高頻細節(jié)來重建網(wǎng)絡結構和紋理，顯示出高頻子帶的有效性。

c）低頻子帶跳躍連接。為了處理大掩碼，除了有條件的遠程交互之外，本文還引入了低頻跳躍連接。為了量化所提網(wǎng)絡的低頻子帶跳躍連接的作用，去除了低頻跳躍連接部分（表2中的模型C）。從表2的結果來看，沒有低頻跳躍連接的修復結果在結構輪廓上存在著缺失、不連貫，表明低頻跳躍連接有助于生成合理輪廓。

d）HFAN。圖9所示（表2中的模型D），頻率之間直接拼接無法有效對齊不同頻率之間的特征，以獲得更好的內容一致性。HFAN有效地解決了這個問題。

e）損失函數(shù)方案。本文將L1重建損失應用于分解的低頻子帶，將對抗性損失應用于高頻子帶，從而在修復圖像的同時有效減輕頻間沖突。去除該損失函數(shù)設計（表2中的模型E），可以發(fā)現(xiàn)PSNR指標降低，表明該損失函數(shù)方案的設計進一步增加了修復圖像的細節(jié)。

f）BAT。所提框架中，本文探究由BAT建模遠程上下文擴大模型感受野是否有助于修復大面積掩碼。用原始的Swin Transformer（表2中的模型“F”）替換BAT，發(fā)現(xiàn)所有指標性能都有明顯下降，特別是在SSIM上，這表明修復的圖像失去了一些保真度。

4 結束語

本文提出了BAT-Freq，一種旨在通過融入頻域分析視角來增強修復效果的圖像修復網(wǎng)絡，它以小波域中的低頻和高頻信息為指導，減輕了生成器生成豐富圖像細節(jié)的困難，并進一步明確且單獨地將對抗性損失應用于高頻分支，將L1損失應用于低頻分支，以保持真實圖像的頻率信息，提高修復圖像的真實度。為了確保不同域特征的修復一致性，提出了混合域特征自適應對齊模塊，它可以有效地對齊和融合多頻率特征和空間域特征，保證了不同域特征的一致性，

并有助于抑制偽影和保留圖像紋理細節(jié)。此外，本文方法設計雙向感知Transformer應用到圖像修復任務中，允許模型建立遠程依賴關系并有效感知了上下文信息，擴大模型感受野。大量實驗表明，BAT-Freq對于不同掩碼比例下的隨機掩碼都實現(xiàn)了出色的圖像修復效果。在CelebA-HQ、Place2、Paris StreetView三個數(shù)據(jù)集上進行了大量的實驗。具體來說，該模型將峰值信噪比（PSNR）和結構相似性指數(shù)（SSIM）分別平均提高了2.804 dB和8.13%。此外，

它還將平均絕對誤差（MAE）和學習感知圖像塊相似度（LPIPS）分別降低了0.015 8和0.096 2。展望未來，由于結構信息的限制，所提模型不適合多元圖像修復，筆者將研究如何將小波分解和不同頻段的處理的思想應用于多模態(tài)（如文本、姿勢）引導的圖像修復和圖像生成任務。

參考文獻：

［1］Levin A，Zomet A，Weiss Y.Learning how to inpaint from global image statistics［C］//Proc of the 9th IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2003：305-312.

［2］Ruic＇ T，Piurica A.Context-aware patch-based image inpainting using Markov random field modeling［J］.IEEE Trans on Image Proces-sing，2015，24（1）：444-456.

［3］Pathak D，Krhenbühl P，Donahue J，et al.Context encoders：feature learning by inpainting［C］//Proc of IEEE Conference on Computer Vision and Patter Recognition.Piscataway，NJ：IEEE Press，2016：2536-2544.

［4］Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

［5］Wan Ziyu，Zhang Jingbo，Chen Dongdong，et al.High-fidelity pluralistic image completion with Transformers［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：4672-4681.

［6］d’Ascoli S，Touvron H，Leavitt M L，et al.ConViT：improving vision transformers with soft convolutional inductive biases［J］.Journal of Statistical Mechanics：Theory and Experiment，2022，2022（11）：114005.

［7］Xu Z Q J，Zhang Yaoyu，Luo Tao，et al.Frequency principle：Fourier analysis sheds light on deep neural networks［EB/OL］.（2019-01-19）.https：//arxiv.org/abs/1901.06523.

［8］Wang Yi，Tao Xin，Qi Xiaojuan，et al.Image inpainting via generative multi-column convolutional neural networks［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：329-338.

［9］Brown P F，Della Pietra V J，De Souza P V，et al.Class-based n-gram models of natural language［J］.Computational Linguistics，1992，18（4）：467-480.

［10］Zhou Bolei，Lapedriza A，Khosla A，et al.Places：a 10 million image database for scene recognition［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2018，40（6）：1452-1464.

［11］Karras T，Aila T，Laine S，et al.Progressive growing of GANs for improved quality，stability，and variation［EB/OL］.（2018-02-26）.https：//arxiv.org/abs/1710.10196.

［12］Zhan Fangneng，Yu Yingchen，Cui Kaiwen，et al.Unbalanced feature transport for exemplar-based image translation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2021：15023-15033.

［13］Goodfellow I J，Pouget-Abadie J，Mirza M，et al.Generative adversarial nets［J］.Communications of the ACM，2020，63（11）：139-144.

［14］Nazeri K，Ng E，Joseph T，et al.EdgeConnect：generative image inpainting with adversarial edge learning［EB/OL］.（2019-01-11）.https：//arxiv.org/abs/1901.00212.

［15］Yu Xiaohan，Wang Jun，Zhao Yang，et al.Mix-ViT：mixing attentive vision Transformer for ultra-fine-grained visual categorization［J］.Pattern Recognition，2023，135：109131.

［16］Wang Wenhai，Xie Enze，Li Xiang，et al.Pyramid vision Transformer：a versatile backbone for dense prediction without convolutions［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：548-558.

［17］Liu Ze，Lin Yutong，Cao Yue，et al.Swin Transformer：hierarchical vision Transformer using shifted windows［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：9992-10002.

［18］Dongwook C，Bui T D.Multivariate statistical approach for image denoising［C］//Proc of IEEE International Conference on Acoustics，Speech，and Signal Processing.Piscataway，NJ：IEEE Press，2005：589-592.

［19］Dong Bin，Jiang Qingtang，Shen Zuowei，et al.Image restoration：wavelet frame shrinkage，nonlinear evolution PDEs，and beyond［J］.Multiscale Model amp; Simulation，2017，15（1）：606-660.

［20］Zhang Hongying，Dai Shimei.Image inpainting based on wavelet decomposition［J］.Procedia Engineering，2012，29：3674-3678.

［21］Yu Yingchen，Zhan Fangneng，Lu Shijian，et al.WaveFill：a wavelet-based generation network for image inpainting［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：14094-14103.

［22］Xiao Tete，Singh M，Mintun E，et al.Early convolutions help transformers see better［C］//Proc of the 35th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2024：30392-30400.

［23］Hyeon-Woo N，Yu-Ji K，Heo B，et al.Scratching visual transformer’s back with uniform attention［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2023：5784-5795.

［24］Liu Ze，Hu Han，Lin Yutong，et al.Swin Transformer v2：scaling up capacity and resolution［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：11999-12009.

［25］Pagliardini M，Gupta P，Jaggi M.Unsupervised learning of sentence embeddings using compositional n-gram features［C］//Proc of Confe-rence of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2018：528-540.

［26］Diao Shizhe，Bai Jiaxin，Song Yan，et al.ZEN：pre-training Chinese text encoder enhanced by n-gram representations［C］//Proc of Fin-dings of the Association for Computational Linguistics：EMNLP.Stroudsburg，PA：Association for Computational Linguistics，2020：4729-4740.

［27］Cohen T，Welling M.Group equivariant convolutional networks［C］//Proc of the 33rd International Conference on Machine Learning.New York：JMLR.org，2016：2990-2999.

［28］Daubechies I.The wavelet transform，time-frequency localization and signal analysis［J］.IEEE Trans on Information Theory，1990，36（5）：961-1005.

［29］Johnson J，Alahi A，Li Feifei.Perceptual losses for real-time style transfer and super-resolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：694-711.

［30］Isola P，Zhu Junyan，Zhou Tinghui，et al.Image-to-image translation with conditional adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1063-6919.

［31］Mescheder L M，Geiger A，Nowozin S.Which training methods for GANs do actually converge？［C］//Proc of International Conference on Machine Learning.［S.l.］：PMLR，2018：3481-3490.

［32］Li Wenbo，Lin Zhe，Zhou Kun，et al.MAT：mask-aware Transformer for large hole image inpainting［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：10748-10758.

［33］Liu Guilin，Reda F A，Shih K J，et al.Image inpainting for irregular holes using partial convolutions［C］//Proc of European Conference on Computer Vision.Cham：Springer，2018：85-100.

［34］Liu Weihuang，Cun Xiaodong，Pun C M，et al.CoordFill：efficient high-resolution image inpainting via parameterized coordinate querying［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2023：1746-1754.

［35］劉恩澤，劉華明，王秀友，等.基于優(yōu)化感受野策略的圖像修復方法［J］.計算機應用研究，2024，41（6）：1893-1900.（Liu Enze，Liu Huaming，Wang Xiuyou，et al.Deep neural network inpainting method based on optimized receptive field strategy［J］.Application Research of Computers，2024，41（6）：1893-1900.）