傅里葉變換下的粗細雙路徑圖像修復算法

陳 剛，盛 況，楊振國，劉文印，3

1.廣東工業(yè)大學 計算機學院，廣州 510006

2.廣東開放大學 人工智能學院，廣州 510091

3.鵬城實驗室 網(wǎng)絡(luò)空間安全研究中心，廣東 深圳 518005

圖像修復（image inpainting）是以結(jié)構(gòu)優(yōu)先，紋理兼顧的方式，將破損的區(qū)域利用現(xiàn)有的技術(shù)和周圍的信息進行重建的過程[1]。隨著媒體技術(shù)的發(fā)展，以圖像為標的承載的信息充斥著各行各業(yè)，比如老照片的修復[2]、藝術(shù)品的修復[3]、車輛違規(guī)的判定[4]、刑偵圖像的增強與修復[5]、數(shù)字博物館的建設(shè)[6]等等，各行各業(yè)都涉及到圖像修復的相關(guān)技術(shù)，由此可見，圖像修復也是當前人工智能領(lǐng)域的一個重要熱點。隨著深度學習的不斷發(fā)展，圖像修復技術(shù)也不斷的推陳出新。Pathak等[7]首次用CNN預(yù)測周圍環(huán)境中場景的缺失部分，并利用周圍的圖像信息來推斷缺失的圖像，解決了圖像連續(xù)缺失的問題，但是修復的圖像模糊且視覺一致性較差。Jiang等[8]提出基于生成對抗的圖像修復算法（image inpainting based on generative adversarial networks，IIGAN），該算法傳統(tǒng)的基于全局和局部判別器的生成對抗網(wǎng)絡(luò)的算法基礎(chǔ)上設(shè)計了具有跳轉(zhuǎn)連接的編碼器-解碼器，同時使用具有風險懲罰項的對抗損失代替鉸鏈損失，然而，修復的圖像結(jié)構(gòu)性差。Sagong 等[9]設(shè)計了一種共享編碼器和粗細雙路徑解碼的圖像修復算法，該算法利用粗路徑生成初始圖像，再通過CAM（the contextual attention module）模塊利用初始的圖像重建精細特征，進而實現(xiàn)高質(zhì)量的雙路徑修復，但是該方法修復圖像由于存在頻域差而導致圖像邊界模糊和全局結(jié)構(gòu)較差。針對上述不足，本文提出了傅里葉變換下的粗細雙路徑圖像修復算法（coarse and fine dual path image inpainting algorithm based on Fourier transform，F(xiàn)TCFP）。該算法首先在傳統(tǒng)的粗細雙路徑修復算法（PEPSI）的基礎(chǔ)上，首先，設(shè)計具有壓縮獎懲（squeeze-and-excitation，SE）機制的編碼器，該編碼器將通過全局平均池將全局通道特征與圖中位置信息融合，擴大了網(wǎng)絡(luò)的全局視野，提高網(wǎng)絡(luò)的全局結(jié)構(gòu)修復能力；其次，在網(wǎng)絡(luò)訓練時首次引入了焦頻損失（focal frequency loss，F(xiàn)FL）監(jiān)督圖像的修復，縮小了原始圖像與修復圖像的頻域差，改善了修復圖像的偽影和模糊性，進而增強了圖像的質(zhì)量。最后將該算法應(yīng)用于實驗，實驗表明，改進算法以微小的時間成本獲得了較好的性能提升，且優(yōu)于基線。

1 相關(guān)研究

目前圖像的修復算法很多，依據(jù)修復方法可以分為四類：基于結(jié)構(gòu)的圖像修復算法、基于紋理的圖像修復算法、基于稀疏表示的圖像修復方法以及基于深度學習的圖像修復方法。基于結(jié)構(gòu)的圖像修復方法，一般是依據(jù)圖像結(jié)構(gòu)信息優(yōu)先原則，采用邊緣擴散的方式進行圖像修復，但是該方法修復的視覺效果差。Bertalmio等[1]提出了基于三階微分方程的圖像修復算法，該算法是沿著等照線的方向按結(jié)構(gòu)優(yōu)先，紋理兼顧的原則將邊緣信息擴散到缺失區(qū)，直到缺失區(qū)域填充完成。然而，該算法修復圖像的結(jié)構(gòu)性差?；诩y理合成的算法是基于樣本塊的紋理合成，該算法是在缺失區(qū)域邊緣選擇一個缺失塊，然后在完好區(qū)域采用一定的優(yōu)先級搜索合適的匹配塊進行匹配，直到完成修復。但是該算法很難匹配到合適的塊。路志英等[10]提出了一種Criminisi 算法的改進算法，該算法優(yōu)化了優(yōu)先級，使得擁有更多信息的像素塊具有更多的優(yōu)先級，從而避免距離較遠的關(guān)聯(lián)度低的像素塊很難搜索到的問題。然而，該算法的修復圖像缺乏全局結(jié)構(gòu)。基于稀疏表示的圖像修復算法，該算法利用過完備字典和已知的圖像信息進行稀疏編碼，通過不斷地訓練和更新過完備字典而實現(xiàn)圖像的修復。Engan 等[11]提出了一種優(yōu)化字典的學習算法，該算法在稀疏編碼和字典訓練階段，采用最小二乘法對給定的圖像重建方程進行求解。不過，該算法的求解過程比較耗時并且修復圖像比較模糊?；谏疃葘W習的圖像修復算法，由于神經(jīng)網(wǎng)絡(luò)包含較多的隱含的感知機，能夠通過組合底層的網(wǎng)絡(luò)表示高層的抽象特征，因此，具有復雜結(jié)構(gòu)的深度學習網(wǎng)絡(luò)具有較強的表征能力和學習能力。Wang等[12]設(shè)計了三個并行的編碼器產(chǎn)生不同感受野的生成對抗圖像修復算法，該算法利用一種隱式多樣化馬爾可夫隨機場實現(xiàn)正則化而修復圖像，但是修復圖像邊界模糊并且存在偽影。Zeng 等[13]設(shè)計了基于金字塔式的自編碼器，該自編碼器利用注意力轉(zhuǎn)移網(wǎng)絡(luò)（attention transfer network，ATN）將已知的特征遷移到缺失區(qū)從而實現(xiàn)較好的填充效果，但是該算法所修復的圖像比較模糊并且邊界不清晰。Zheng等[14]提出了一種長短注意力機制的粗細雙路徑的多元化的修復算法，該算法修復圖像視覺一致性差且紋理模糊。Yu 等[15]提出了一種粗細兩級網(wǎng)絡(luò)的圖像修復算法，該算法用粗路徑產(chǎn)生粗略的生成結(jié)果，再用粗路徑生成結(jié)果經(jīng)過二級精細路徑重建精細的圖像。雖然該網(wǎng)絡(luò)修復的圖像細節(jié)特征豐富，但是所修復圖像全局結(jié)構(gòu)表現(xiàn)不佳。

2 基于傅里葉變換的粗細雙路徑圖像修復

2.1 算法框架

本節(jié)介紹傅里葉變換下的粗細雙路徑圖像修復算法網(wǎng)絡(luò)框架[16]，該框架是一種改進的生成對抗網(wǎng)絡(luò)結(jié)構(gòu)[17-18]，其中生成器包括一個共享單編碼器和兩個并行粗細雙路徑解碼器組成，而判別器是一個基于全局與局部判別器改進的可以修復隨機破損塊的一個集群判別器。修復網(wǎng)絡(luò)是由一個10 層的生成器和5 層判別器結(jié)構(gòu)，其中生成器是由一個單編碼器加雙解碼器組成的結(jié)構(gòu)，如圖1 所示。編碼器負責輸入的圖像特征采集，首先將采集的結(jié)果輸入到粗路徑進行修復，修復產(chǎn)生一個大致完整的初始圖像。然后利用CAM模塊從粗路徑修復結(jié)果中提取重建圖像的精細特征，最終產(chǎn)生一個令人滿意的修復結(jié)果。值得注意的是由于傳統(tǒng)的粗細雙路徑圖像修復算法[9]存在修復的圖像高頻的邊界模糊并且全局結(jié)構(gòu)性較差，因此，本文引入了焦頻損失[19]的目的是監(jiān)督網(wǎng)絡(luò)從圖像像素和頻域差兩方面進行訓練，縮小修復圖像與原圖像頻域差，改善重建圖像的模糊和偽影，進而提高修復圖像的視覺效果；同時為了擴大編碼器的采集數(shù)據(jù)的感受野引入了壓縮獎罰機制[20]，從兩方面改進網(wǎng)絡(luò)，提升圖像修復的全局結(jié)構(gòu)特征。

圖1 所提算法框架圖Fig.1 Frame diagram of proposed algorithm

2.2 生成網(wǎng)絡(luò)

本節(jié)主要介紹生成網(wǎng)絡(luò)，生成網(wǎng)絡(luò)包括一個6層卷積和4層擴張卷積網(wǎng)絡(luò)的單路徑編碼器以及5層粗細雙路徑解碼器。如圖1所示，在精細路徑解碼器的前端植入了一個注意力模塊CAM，同時為了改善編碼器采集全局信息的能力，本文編碼器的每層卷積網(wǎng)絡(luò)后面引入了壓縮獎懲網(wǎng)絡(luò)，該網(wǎng)絡(luò)能有效地提取圖像更多的全局特征，改善圖像的全局結(jié)構(gòu)性，同時，生成器粗細路徑訓練及對抗訓練中引入焦頻損失（FFL），進而縮小修復圖像與原始圖像的頻率差，降低偽影，改善圖像質(zhì)量。具體的實現(xiàn)過程為：首先，帶有遮擋MASK 的圖像從共享編碼器輸入，經(jīng)過帶有壓縮獎懲網(wǎng)絡(luò)編碼器產(chǎn)生一個256通道的特征圖。其次，解碼器的粗網(wǎng)絡(luò)負責生成一個大致完整的初步修復結(jié)果，之后，利用粗網(wǎng)絡(luò)生成的前景和背景之間關(guān)系訓練CAM模塊產(chǎn)生精細路徑的輸入特征，同時利用CAM 的輸入特征產(chǎn)生更加精細結(jié)果。最后將精細網(wǎng)絡(luò)與判別器進行對抗訓練，重建質(zhì)量更高的圖像。將圖1 的第一層卷積和壓縮獎懲塊實現(xiàn)過程展示如圖2，其中，圖中X表示輸入，O表示經(jīng)過Ctr卷積操作的輸出(X,O∈RH×W×C)，Csq表示順著維度將特征進行壓縮的操作，Cex表示通過V為每個通道生成權(quán)重特征矯正操作，其他層次類似。

2.2.1 基于壓縮獎懲網(wǎng)絡(luò)的編碼器

傳統(tǒng)的卷積建模的通道關(guān)系是隱式和局部的，導致卷積網(wǎng)絡(luò)數(shù)據(jù)采集的視野受限，從而無法有效地采集圖像全局特征。從理論上來說卷積網(wǎng)絡(luò)越深越能放大網(wǎng)絡(luò)的局部視野，無法擴展到全局視野。然而，SE塊能夠顯式地改變通道之間的依賴關(guān)系，自適應(yīng)地校準通道間的響應(yīng)關(guān)系。將SE 塊進行疊加，能夠以微小的計算成本為深層的架構(gòu)產(chǎn)生顯著的約25%性能提升[20]。因此，鑒于文獻[20]和PEPSI 網(wǎng)絡(luò)結(jié)構(gòu)，為了改善深層卷積網(wǎng)絡(luò)的提取全局特征的性能，本文設(shè)計了一種具有壓縮獎懲網(wǎng)絡(luò)并能顯式地修改通道中的依賴關(guān)系用于增強網(wǎng)絡(luò)全局表達能力的編碼器。該編碼器能通過修改圖像的尺寸大小而統(tǒng)計全局的平均池來提取全局的特征。

具體的實現(xiàn)是在FTCFP 網(wǎng)絡(luò)的前6 層卷積網(wǎng)絡(luò)后面插入壓縮獎懲塊SE，SE 塊是一個不改變通道大小的高效的計算單元。令O=[o1,o2,…,oC]，Ctr表示卷積操作，Q=[q1,q2,…,qC]表示卷積核集合，那么輸入X經(jīng)過卷積Ctr的輸出O的實現(xiàn)如公式（1）：

（1）壓縮全局信息

由于傳統(tǒng)的卷積網(wǎng)絡(luò)學習到的過濾器都是在局部的視野進行操作的，從而無法有效地利用該區(qū)域以外的上下文特征，導致修復的圖像缺少全局結(jié)構(gòu)特征。當卷積操作處于網(wǎng)絡(luò)的較低層時，卷積網(wǎng)絡(luò)的感受野比較小的問題更加突出，從而導致該區(qū)域的紋理缺少上下文信息而不連續(xù)。因此，為了解決通道間的依賴關(guān)系，必須引入在卷積過程必須以全局視野進行操作的機制，該機制能夠必須能夠以較小的計算成本代價換取較大性能提升收益。然而，在所有的注意力機制當中，SE塊就是一種輕便高效的計算單元。因此，為了改善卷積的網(wǎng)絡(luò)的全局視野問題，本文引入SE 注意力塊進行協(xié)助。首先，SE塊將全局空間信息壓縮到一個通道描述器，該通道描述器嵌入了全局特征的分布，使得網(wǎng)絡(luò)的全局通道信息能被較低層的網(wǎng)絡(luò)使用，從而改善了通道的依賴關(guān)系。形式上來看，通道描述器z∈RC是通過壓縮所有的輸出oc而生成的，輸出z的第c個輸出表示如下：

其中，Csq表示壓縮卷積操作。

（2）自適應(yīng)矯正特征

經(jīng)過（1）的壓縮操作匯聚了全局信息，接著要捕獲通道間的依賴關(guān)系。為了實現(xiàn)這個目標，將全局信息壓入通道描述器后，本文使用新型門機制來捕捉通道之間的非線性的依賴關(guān)系和互斥關(guān)系，同時使用sigmoid函數(shù)Π的進行激活，對應(yīng)于圖2 的Cex操作，其計算公式如下：

其中，u∈R1×1×C是一個全局池化的權(quán)重值，它是通過全局信息（通道描述器）z經(jīng)過兩次乘矩陣V∈RC×C實現(xiàn)全連接操作，具體是V1乘以z得到一個1×1×C/r的張量（r=16，縮放系數(shù)），將生成結(jié)果經(jīng)過一個φ的Relu函數(shù)運算，保持維度不變，然后再將V2與剛經(jīng)過φ激活函數(shù)之后的結(jié)果相乘，其實一個全連接過程，得到最后的維度為1×1×C，其中C為通道數(shù)。最后將得到權(quán)重uc與輸出oc相乘，得到最后的經(jīng)過SE 塊的特征圖。公式如下：

（3）SE塊性能分析

為了驗證SE 塊的有效性，在本文算法的基礎(chǔ)算法PEPSI基礎(chǔ)上添加SE塊與未添加SE塊的算法在峰值信噪比（PSNR）和結(jié)構(gòu)相似比（SSIM）以及得分距離（FID）之間進行比較，比較結(jié)果如表1所示。

從表1 可以看出，添加了SE 塊的PEPSI 算法相對比沒有添加SE塊算法，在PSNR、SSIM以及FID方面有所提高，特別在結(jié)構(gòu)相似比SSIM 以及距離得分FID 方面有較大提升，說明SE 塊能夠提升修復圖像的全局結(jié)構(gòu)性。

2.2.2 傅里葉變換過程

眾所周知，圖像是由像素構(gòu)成的。但是除了像素之外它還隱藏了另一個信息——頻域，表示像素變化快慢和分布的度量單位。因此，對于目前的圖像修復來說，修復圖像與原始圖像之間差距有可能是由于頻域差引起的偏差。減少修復圖像與原始圖像的頻域差對于提高圖像重建和合成質(zhì)量是有幫助的。然而F-Principle原則——深度學習傾向于優(yōu)先使用低頻來擬合目標函數(shù)[21]，即神經(jīng)網(wǎng)絡(luò)訓練過程中，網(wǎng)絡(luò)模型會優(yōu)先合成優(yōu)先級高的低頻成分的像素，而對于高頻成分難合成的像素則避開，而每一個像素對于圖像的代價是相同的，因此，縮小頻域差可以改善重建圖像的高頻成分進而提高圖像質(zhì)量，下面闡述傅里葉變換在FTCFP 算法中實現(xiàn)過程。

（1）圖像傅里葉變換的表示

離散傅里葉變換（discrete Fourier transform，DFT）是將滿足一定條件某個函數(shù)表示成三角函數(shù)，即將特定函數(shù)表示成帶有頻率，振幅，周期等變量的正弦和余弦函數(shù)。為了需要，用(p,q)表示圖像空間中在空間上像素的坐標，(s,t)表示該圖像中像素對應(yīng)的頻譜上的頻率坐標，對應(yīng)二維傅里葉變化公式如下：

其中，W是圖像寬，H表示圖像高，F(xiàn)(s,t)為對應(yīng)頻譜上的復頻率值，f(p,q)為空間像素值。e 和i 分別是歐拉數(shù)和虛單位。遵循歐拉公式：

將公式（5）按歐拉公式展開得公式如下：

（2）頻率距離表示

為了表示原始圖像與修復圖像之間的頻域差，必須設(shè)計一個距離來度量它們之間的差異，同時這個距離必須是可導。在頻域中，數(shù)據(jù)在頻譜上表現(xiàn)為空間中的不同頻率；在可視化頻域函數(shù)中，表現(xiàn)為二維函數(shù)的正弦分量。通過公式（7）可以知道F(s,t)其是具有實部和虛部的實函數(shù)。公式（7）可以表示為：

向量在向量空間是由模和相位組成的，模在文中表示為振幅，表示波能量的大小，振幅表示如下：

F(s,t)的第二成分為相位ΔF(s,t)，表示頻譜空間的二維正弦波與起始值的位移，相位的表示如下：

因此，真假圖像在頻域上的差距要考慮兩個方面的差距，即波的振幅和相位，所以真假圖像的歐拉距離表示為：

其中，F(xiàn)r表示真實圖像的頻域向量，F(xiàn)f表示修復（偽造）圖像的頻域向量，d(Fr-Ff)表示原始圖像與修復圖像頻域的歐拉距離。

（3）動態(tài)頻譜權(quán)重矩陣

由于譜偏倚現(xiàn)象[22]，神經(jīng)網(wǎng)絡(luò)對低頻目標函數(shù)學習偏倚，即神經(jīng)網(wǎng)絡(luò)在合成目標函數(shù)時有一種傾向優(yōu)先合成低頻率的像素成分，而對難合成的頻率成分會避開。然而，每個像素對于整體圖像而言具有相同的意義。因此，要使得重建圖像質(zhì)量較以往有較大的提升，必須對目標函數(shù)做適當處理，否則與常規(guī)的基于像素的目標函數(shù)合成沒有太大區(qū)別。受到了在線難實例挖掘[23]和焦點損失[24]的啟發(fā)。本文引入了頻譜權(quán)重矩陣來動態(tài)調(diào)整難合成頻率和容易合成頻率的權(quán)重信息。通過頻譜權(quán)重矩陣減少容易合成的頻率成分權(quán)重，并且增加難合成的頻率成分權(quán)重，不斷迭代修改矩陣權(quán)重，直到最后模型收斂。頻譜權(quán)重矩陣元素ω(s,t)表示為：

其中，γ是一個反應(yīng)模型中難易頻率的聚焦的程度的比例因子，越大說明難易越難聚焦，本文γ=1，表明高頻與低頻較易聚焦。頻譜權(quán)重矩陣計算其實是要兩次遍歷矩陣中所有元素的過程，每一次遍歷的時間復雜度為O(n)，其中，n=H×W為圖像的像素數(shù)也就是輸入特征圖的大小。因此兩次遍歷的時間復雜度為O(n)+O(n)=O(n)，然而卷積神經(jīng)網(wǎng)絡(luò)時間復雜度依賴所有層的參數(shù)量（特征圖大小的平方×卷積核大小的平方×輸入×輸出）[25]。然而，網(wǎng)絡(luò)模型參數(shù)量遠大于圖像的大小，并且由于矩陣運算是卷積網(wǎng)絡(luò)之后進行的，它和網(wǎng)絡(luò)模型是相加關(guān)系，相當于增加了一個很小的偏置，因此其對算法時間復雜度影響很小，而實際上FTCFP 的每步迭代時間0.516 s，而PEPSI的為0.508 s。

FFL計算分三步：首先，頻譜矩陣歸一化，歸一化是將所有的像素點的頻率差遍歷求和。然后，將每個點的頻率差與之前和相除求商，得到歸一化后的權(quán)重矩陣。頻譜權(quán)重矩陣反映的是每個像素的頻率差所占整個圖像的頻域差的比重。最后，將每個像素頻率權(quán)重與后面歸一化的頻率差的歐式距離相乘，相當于放大或者縮小了某個像素點損失在總損失比重，頻率差越大對應(yīng)的權(quán)重越大，對應(yīng)的像素的損失越大。在總訓練時間一定情況下，占用訓練時間越多。因此，可以用頻譜權(quán)重矩陣精確調(diào)節(jié)高頻或者低頻成分的訓練時間。

（4）焦頻損失性能分析

為了驗證焦頻損失的有效性，本文將加了焦頻損失函數(shù)FFL 的本文算法和未加焦頻損失函數(shù)FFL 本文算法進行實驗，時間結(jié)果如表2所示。

表2 添加FFL與未添加FFL的本文算法性能比較Table 2 Performance comparison of algorithm with and without FFL loss

從表2可知，F(xiàn)FL既能有效地減少信號損失，又能提高網(wǎng)絡(luò)的提取特征的能力，因此添加FFL 算法的PSNR與FID 值比未添加FFL 的性能有較大提升。同時添加FFL 的算法與未添加FFL 的修復圖像與原圖像的比較如圖3所示。

圖3 添加FFL的算法與未添加FFL算法結(jié)果比較Fig.3 Comparison between algorithm with and without FFL

從圖3 可以看出，添加FFL 的輪廓清晰，沒有添加FFL的算法邊界不清晰且整體圖像模糊，因此FFL損失可以改善高頻成分的圖像效果，可以給重建圖像提供清晰輪廓。

2.3 判別器網(wǎng)絡(luò)

目前，判別器的輸入是真假圖像，輸出是判別輸入的假圖像是真還是假。大部分的判別器都是基于全局判別器和局部判別器的結(jié)構(gòu)，這種結(jié)構(gòu)判別器能提高修復的圖像全局結(jié)構(gòu)性，然而，這種結(jié)構(gòu)的判別器只適合處理固定正方形的孔洞，而實際缺失區(qū)域是任意形狀和大小的，因此，這種局部判別器無法修復不規(guī)則的孔洞。為了解決這個問題，本文受文獻[26]的啟發(fā)，設(shè)計可以單獨處理多個任意形狀的孔洞的集群判別器。該集群判別與傳統(tǒng)的局部判別器的最大不同在于最后兩層的設(shè)計，最后兩層采用了512通道的卷積層及區(qū)域像素的整合層，如圖1所示。集群判別器能通過區(qū)域整合層將特征劃分為若干個像素塊，同時判別每個像素塊的真假。因此，這種結(jié)構(gòu)使得判別器能對不同接受域的特征進行分類，從而實現(xiàn)了對不同大小的圖像區(qū)域進行判別分類，進一步實現(xiàn)對任意大小孔洞進行修復。

2.4 損失函數(shù)

網(wǎng)絡(luò)模型的訓練涉及到的損失函數(shù)包括，粗網(wǎng)絡(luò)和細網(wǎng)絡(luò)訓練所涉及的重構(gòu)損失L2，用于減少頻域差的焦頻損失FFL，以及細路徑用到的鉸鏈對抗損失。

2.4.1 重構(gòu)損失

本文涉及到重構(gòu)損失的有兩處，（1）粗路徑修復對CAM的特征進行補全，（2）細路徑的修復也用到重構(gòu)損失。根據(jù)文獻[27]，考慮到歐拉距離L2在目標函數(shù)合成過程能避免過度擬合，同時L1在非系數(shù)向量計算中效率低，因此本文的重構(gòu)損失采用L2距離計算，粗路徑重構(gòu)損失如下：

其中，i為第i塊缺失區(qū)域。

2.4.2 對抗損失

本文模型中采用了譜歸一化（spectral normalization）來滿足利普希茨連續(xù)條件。同時對抗訓練采用鉸鏈對抗損失Ladv，Ladv分別由LGadv和LDadv組成，公式分別如下：

其中，xfi表示偽造圖像，Pfi表示偽造圖像分布.對應(yīng)判別損失為：

其中，xri表示真實圖像，Pxi表示真實圖像分布，而i表示第i個原始圖像塊或者偽造圖像塊。偽造圖像塊和對應(yīng)的原始圖像塊的關(guān)系如下：

其中，xfi和xri分別表示第i個偽造的圖像塊和原始的圖像塊。λi、λadv為平衡兩種損失的超參數(shù)。

2.4.3 焦頻損失

通過粗細解碼器生成特征圖，將生成的特征圖進行傅里葉變換，變換過程參考公式（5）～（7）為了表示真假圖像之間的焦頻損失，參考公式（11）、（12），得到焦頻損失為：

其中，ω(s,t)為頻譜矩陣元素，而W、H為圖像寬高。

2.4.4 目標損失

整個訓練過程中，包括粗路徑及細路徑，甚至對抗訓練，總損失函數(shù)如下：

其中，F(xiàn)FL表示細路徑的焦頻損失，T和Tmax分別表示迭代的次數(shù)和最大迭代次數(shù)。

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集

本文選用了開源人臉數(shù)據(jù)集CelebA 進行實驗，CelebA 是一個大型的人臉數(shù)據(jù)集，擁有操作20 萬張人臉圖像，每張圖像都有超過40個屬性以及5個人臉特征坐標，該數(shù)據(jù)包含了大量的姿態(tài)和背景。為了實驗需要，本文從20 多萬圖像中抽取了6.2 萬照片進行實驗，選取了80%的圖像作為訓練集，剩下20%作為測試集。

3.2 評價指標

圖像評價包括定量評價和定性評價，定量評價指標比較多，不同的評價指標有各自的側(cè)重點，本文選取了三個經(jīng)典的評價指標，包括峰值信噪比（peak signalto-noise ratio，PSNR）、結(jié)構(gòu)相似性比（structural similarity，SSIM）以及距離得分（Frechet inception distance score，F(xiàn)ID）。其中，PSNR主要表示信號最大可能功率與影響它的表示精度的破壞性噪聲功率的比值。它以分貝（dB）為單位。公式如下：

其中，xr和xf分別原始圖像和偽造圖像，n表示像素數(shù)。結(jié)構(gòu)相似性指數(shù)SSIM，是衡量兩幅圖像的相似性指標，其公式表示如下：

其中，xr、xf分別表示原始圖像和重建圖像（修復圖像），A為協(xié)方差，Tr為跡，表示矩陣的主對角線的和。

3.3 基線和實施過程

本文從近幾年的圖像修復算法中選取一些經(jīng)典的、有代表性的圖像修復算法為基線。分別為基于生成對抗的圖像修復算法[8]，該算法在傳統(tǒng)的全局和局部判別器的基礎(chǔ)上設(shè)計跳轉(zhuǎn)連接的編碼器-解碼器而實現(xiàn)圖像修復；基于生成多列卷積神經(jīng)網(wǎng)絡(luò)的圖像修復算法（GMCNN[12]）是由多尺度生成器和基于全局與局部的判別器組成的生成對抗網(wǎng)絡(luò)圖像修復算法；基于金字塔上下文編碼的圖像修復算法（PENNet）[13]，該算法在生成器中采用金字塔結(jié)構(gòu)設(shè)計編碼器，同時引入感知損失和風格損失；并行解碼雙路徑網(wǎng)絡(luò)快速圖像修復算法（PEPSI[9]）是具有共享編碼器和粗細雙路徑快速的生成對抗網(wǎng)絡(luò)的圖像修復算法；而多樣式圖像修復算法（PICNet[14]）是具有長短注意力機制的生成對抗網(wǎng)絡(luò)圖像修復算法；基于上下文語義生成性圖像修復算法（GI[15]）采用粗細兩級網(wǎng)絡(luò)，同時在全局和局部判別器的對抗損失中引入了風險懲罰滿足利普希茨連續(xù)條件的生成網(wǎng)絡(luò)圖像修復算法。

本實驗平臺為 Ubuntu18.0 系統(tǒng)，學習框架為tensorflow 1.15，對應(yīng)CUDA=10.0，CUDNN=8.1，GPU為GeForce RTX2080Ti，受文獻[8-9]的啟發(fā)，損失函數(shù)的參數(shù)設(shè)置為λi=0.1，λC=5，λadv=10，batchsize=8，實驗?zāi)芸焖俚厥諗坑?00 epoch 附近。圖4～7 分別展示了粗路徑重構(gòu)損失(Lcr)、細路徑重構(gòu)損失(Lfr)、對抗損失(FFL)，焦頻損失(LDadv)的收斂情況。其中粗路徑重構(gòu)損失收斂在0.10～0.13 區(qū)間，細路徑收斂于0.11～0.12之間。而對抗損失和焦頻損失分別收斂在1.0和0.05附近。從圖7可以看出，F(xiàn)FL精度還有很大提升，也從另一個方面說明，F(xiàn)FL必須與合適的修復網(wǎng)絡(luò)才能發(fā)揮更大的性能。

圖5 細路徑重構(gòu)損失收斂曲線Fig.5 Convergence curve of fine path reconstruction loss

圖6 對抗損失收斂曲線Fig.6 Adversarial loss convergence curve

圖7 焦頻損失收斂曲線Fig.7 Convergence curve of focal frequency loss

3.4 實驗的定量和定性分析

本文從定量和定性兩個方面對本文提出的算法的性能進行闡述，表3展示了不同的算法的性能，從表3可知，F(xiàn)TCFP 的峰值信噪比（PSNR）、結(jié)構(gòu)相似比（SSIM）以及距離得分（FID）等性能均優(yōu)于基線。從PSNR 來看，由于PEPSI 和FTCFP 均是雙解碼器結(jié)構(gòu)，雙解碼器結(jié)構(gòu)能有效地減少信號的損失[28]，因此兩者的PSNR 均高于其他基線。由于在FTCFP中的編碼器中引入了壓縮獎懲塊（SE），該結(jié)構(gòu)能對所有的通道關(guān)系建模，捕捉通道間的依賴關(guān)系，從而實現(xiàn)擴大卷積網(wǎng)絡(luò)的全局視野，提高重建圖像的全局結(jié)構(gòu)，因此FTCFP的SSIM優(yōu)于基線。正由于雙解碼器與壓縮獎懲塊的協(xié)同作用共同減少了信號損失，所以，F(xiàn)TCFP的PSNR的值優(yōu)于PEPSI及其他基線。從表3來看，F(xiàn)TCFP從縮小頻域的角度去重建圖像，使得FTCFP 能提取到其他基線所不能提取到的高頻特征，最終使得FTCFP的FID值顯著優(yōu)于基線34.58%～38.79%。

表3 不同修復算法修復效果的比較Table 3 Comparison of inpainting effects of different algorithms

定性性能從圖8 可知，第一列圖8（a）遮擋圖，第二列圖8（b）為PICNet[14]為多樣性修復算法的修復結(jié)果圖，修復效果較差，圖像比較模糊，主要是由于生成路徑訓練過程中存在很大不確定性，導致了長短注意力沒有發(fā)揮到圖像增強的作用。第三列圖8（c）為GMCNN[12]圖像修復算法的修復結(jié)果，細節(jié)清晰但是全局結(jié)構(gòu)特征較差，修復圖像最下一行沒有生成胡須，修復圖像與原圖像結(jié)構(gòu)特征明顯不一致。第四列圖8（d）為PENNet[13]算法的修復結(jié)果結(jié)構(gòu)，該算法修復的圖像嘴唇和原始圖像不一致，主要是模型中注意力模塊沒有完全將底層網(wǎng)絡(luò)的特征表示抽象高層語義。第五列為圖8（e）為PEPSI[9]算法修復結(jié)果，該修復結(jié)果與圖8（h）的原始圖像結(jié)構(gòu)相差較大，原因在于PEPSI[9]算法修復圖像無法提取圖像的全局特征。第六列為圖8（f）為GI[15]算法的修復結(jié)果，GI 算法修復圖像紋理清晰但全局結(jié)構(gòu)性不強，該算法核和PEPSI[9]算法為粗細兩級圖像修復算法，可以提取精細紋理，但是修復圖像結(jié)構(gòu)一致性不太理想。而第七列8（g）為IIGAN[8]的修復結(jié)構(gòu)，臉部有斑紋，同時嘴型不同。相反，與原圖像相比，本文算法修復圖像無論是紋理還是結(jié)構(gòu)均優(yōu)于基線。

圖8 不同方法的修復結(jié)果對比圖Fig.8 Comparison of inpainted results images by different algorithms

3.5 討論

為了驗證網(wǎng)絡(luò)的泛化能力，討論FTCFP 算法對不同的破損的修復情況，將不同掩膜的迭代次數(shù)均設(shè)為200 個epoch，其他硬件環(huán)境和學習框架均相同，分別在圖像中心做不同程度的掩膜，圖9（b）～圖9（g）分別為6%、14%以及37%的掩膜情況和修復結(jié)果。從圖9的全圖來看，圖9（c）的修復結(jié)果最好，既保持了原始圖像的結(jié)構(gòu)又保留原圖的局部細節(jié)；圖9（e）展示了掩膜14%的修復結(jié)果，雖然保留了原圖的大致結(jié)構(gòu)，然而，眼睛、嘴巴等局部特征及細節(jié)特征在減弱；圖9（g）展示掩膜37%的修復結(jié)構(gòu)，與原圖相比修復結(jié)構(gòu)與原圖還是很大相似，然而與其他掩膜的修復結(jié)果相比，修復效果最差。主要是因為隨著遮擋率不斷加大，在訓練次數(shù)相同的情況，網(wǎng)絡(luò)所能力提取的特征在減少，網(wǎng)絡(luò)的修復效果越差。另一方面也反映了神經(jīng)網(wǎng)絡(luò)模型與參數(shù)數(shù)量和數(shù)據(jù)集的特征具有較強的相關(guān)性，若是隨著遮擋率不斷加大，數(shù)據(jù)集數(shù)量和迭代次數(shù)也相應(yīng)增加才可能達到遮擋率較小的網(wǎng)絡(luò)模型相同的效果。

圖9 不同掩膜的修復結(jié)果Fig.9 Inpainted results of different masks

4 結(jié)束語

本文提出了一種基于多傅里葉變換的粗細雙路徑的圖像修復算法，該算法是在傳統(tǒng)的粗細雙路徑的圖像修復算法的編碼器中引入了壓縮獎懲模塊SE，從而提高了網(wǎng)絡(luò)的全局特征信息的提取能力，使得修復圖像與原始圖像具有較強的視覺一致性；同時由于修復圖像和原始圖像始終存在頻域差，導致修復圖像模糊和存在偽影，因此，在生成器訓練時引入了焦頻損失，從另一個角度監(jiān)督圖像修復，縮小了修復圖像與原圖像的頻域差，加強了修復圖像的局部圖像與全局圖像結(jié)構(gòu)一致性，改善了圖像重建質(zhì)量。最后，將本文算法應(yīng)用于CelebA數(shù)據(jù)集，結(jié)果顯示FTFCP 算法修復的圖像結(jié)果都優(yōu)于基線，證明該算法有效。