基于深度學(xué)習(xí)的圖像修復(fù)方法研究綜述

彭進(jìn)業(yè),余 喆,屈書毅,胡琦瑤,王 珺

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院, 陜西 西安 710127;2.陜西省絲綢之路文化遺產(chǎn)數(shù)字化保護(hù)與傳承協(xié)同創(chuàng)新中心, 陜西 西安 710127)

圖像是人類溝通交流、傳遞、記錄與保存信息的重要手段。早期的人們以紙、墻壁、石碑為載體記錄生活及藝術(shù)創(chuàng)作,隨著時(shí)間推移,這些圖像載體受到環(huán)境、氣候或人為因素的影響,導(dǎo)致其表面出現(xiàn)風(fēng)化、褪色、氧化及污損,不利于文化的傳承。最早的圖像修復(fù)技術(shù)起源于文藝復(fù)興時(shí)期,修復(fù)師根據(jù)古老的圖像和顏色痕跡來修補(bǔ)損壞的部分,盡可能使修復(fù)的部分與原始的繪畫風(fēng)格和色彩相匹配,以便保持整體的視覺一致性。這項(xiàng)技術(shù)很大程度上依賴于修復(fù)師的經(jīng)驗(yàn)和對古老藝術(shù)品的理解,費(fèi)時(shí)且費(fèi)力。

隨著計(jì)算機(jī)技術(shù)的發(fā)展,數(shù)字圖像逐漸成為記錄和保存信息的主要媒介。然而,數(shù)字圖像在傳遞和存儲(chǔ)過程中,會(huì)不可避免地出現(xiàn)像素丟失等質(zhì)量退化問題,因此,數(shù)字圖像修復(fù)技術(shù)應(yīng)運(yùn)而生。傳統(tǒng)的圖像修復(fù)方法的工作原理是根據(jù)圖像的已知區(qū)域推斷未知區(qū)域,利用紋理結(jié)構(gòu)一致性、樣本相似性等思想構(gòu)建算法,能夠修復(fù)一些破損較小的圖像。當(dāng)破損的區(qū)域面積較大、與已知區(qū)域無明顯相關(guān)性、結(jié)構(gòu)紋理較復(fù)雜時(shí),其修復(fù)后的圖像與原始圖像存在明顯差異,且伴有破損邊緣模糊、斷層等問題。

近年來,隨著計(jì)算硬件的不斷進(jìn)步,深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺、自然語言處理、語音識別等多個(gè)領(lǐng)域取得了突破性的進(jìn)展[1]。圖像修復(fù)作為計(jì)算機(jī)視覺任務(wù)的基礎(chǔ),在特征學(xué)習(xí)和語義理解方面得到了強(qiáng)大的技術(shù)支撐。利用深度學(xué)習(xí)技術(shù)可以獲取圖像的高級語義信息,生成具有正確語義的內(nèi)容,解決了傳統(tǒng)圖像修復(fù)方法的不足。其中,圖像修復(fù)效果較突出的深度學(xué)習(xí)模型有Rumelhart等人提出的自編碼器(autoencoder,AE)[2]、Goodfellow等人提出的GAN(generative adversarial network)[3]、Vaswani等人提出的Transformer[4]、Dhariwal等人提出的Diffusion Models[5]等。研究者們在上述模型的基礎(chǔ)上,根據(jù)不同的數(shù)據(jù)類型、修復(fù)策略和應(yīng)用場景進(jìn)行改進(jìn),解決了大面積缺失的圖像修復(fù)、不規(guī)則圖像修復(fù)等難題。

盡管圖像修復(fù)技術(shù)是許多視覺下游任務(wù)的基礎(chǔ),但相關(guān)的前沿綜述性工作很少。因此,本文針對基于深度學(xué)習(xí)的圖像修復(fù)算法的發(fā)展,從修復(fù)策略的角度出發(fā),對圖像修復(fù)算法進(jìn)行系統(tǒng)性梳理,分類框架如圖1所示。根據(jù)不同的修復(fù)策略,本文將基于深度學(xué)習(xí)的算法分為基于像素生成式修復(fù)、漸進(jìn)式修復(fù)、基于不規(guī)則卷積修復(fù)、基于Transformer修復(fù)、基于擴(kuò)散模型修復(fù)和基于調(diào)制修復(fù)[6-8]。為了直觀地展示不同修復(fù)策略下圖像修復(fù)的效果,本文介紹了不同類型圖像修復(fù)方法的實(shí)驗(yàn)比對、常用數(shù)據(jù)集和質(zhì)量評價(jià)指標(biāo)。最后,重點(diǎn)分析了當(dāng)前圖像修復(fù)領(lǐng)域存在的難點(diǎn)和問題,并對未來科學(xué)熱點(diǎn)和研究趨勢進(jìn)行展望。

圖1 基于深度學(xué)習(xí)的圖像修復(fù)方法分類框架Fig.1 Classification framework for deep learning-based image inpainting methods

1 基于修復(fù)策略的圖像修復(fù)研究現(xiàn)狀

修復(fù)策略從不同的角度出發(fā),為圖像修復(fù)問題提供了不同的解決方案。本節(jié)將修復(fù)策略分為6類:像素生成式修復(fù),漸進(jìn)式修復(fù)、基于不規(guī)則卷積修復(fù)、基于Transformer修復(fù)、基于擴(kuò)散模型修復(fù)和基于調(diào)制修復(fù),并對每一類方法的核心思想和發(fā)展進(jìn)程進(jìn)行系統(tǒng)性梳理(見圖1)。

1.1 像素生成式圖像修復(fù)

基于像素生成式圖像修復(fù)方法旨在通過逐個(gè)像素地生成缺失區(qū)域的像素值恢復(fù)損壞的圖像。這種方法使用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[9]或卷積神經(jīng)網(wǎng)絡(luò)(CNN)[10],以已知區(qū)域的某個(gè)像素點(diǎn)為基點(diǎn),通過設(shè)計(jì)算法由基點(diǎn)像素逐漸向周圍像素進(jìn)行迭代計(jì)算,生成新的像素點(diǎn),從而實(shí)現(xiàn)未知區(qū)域的圖像填充。

1.1.1 基于RNN的生成式圖像修復(fù)

基于RNN的生成式圖像修復(fù)算法通常將圖像分解成像素序列,并使用RNN對整張圖像的像素序列進(jìn)行遍歷,學(xué)習(xí)全局樣本的特征分布,從而逐個(gè)生成缺失區(qū)域的像素值,其原理如圖2所示。

圖2 基于RNN的像素生成原理Fig.2 Principles of pixel generation based on RNN

其具體步驟分為3步。①數(shù)據(jù)準(zhǔn)備。將缺失的圖像分解成像素序列,并將缺失區(qū)域的像素作為輸入序列。其中,每個(gè)像素通常由其坐標(biāo)、周圍像素的值和其他上下文信息組成。②模型構(gòu)建。構(gòu)建一個(gè)RNN模型,利用前一個(gè)時(shí)刻像素的值預(yù)測當(dāng)前時(shí)刻的像素值。合理利用周圍像素的值和全局特征,這些上下文信息能夠很好地幫助模型理解圖像的結(jié)構(gòu)和紋理,從而生成更精確的像素值。③逐像素迭代生成。從圖像的左上角開始,RNN模型將根據(jù)已生成的像素和上下文信息逐個(gè)像素點(diǎn)地預(yù)測修復(fù)后的像素值。每一次迭代,模型都根據(jù)之前生成的像素和上下文信息進(jìn)一步優(yōu)化修復(fù)結(jié)果。

Van等人于2016年提出一個(gè)新穎的PRNN(pixel recurrent neural networks)結(jié)構(gòu)[11],通過對長短期記憶LSTM[12]層采用殘差連接,構(gòu)建了新穎的二維LSTM層:行LSTM和對角BiLSTM,它們更容易擴(kuò)展到更大的數(shù)據(jù)集。PRNN可以在生成圖像時(shí)利用先前生成的像素和上下文信息,具有較強(qiáng)的圖像修復(fù)能力,并且能夠生成具有細(xì)節(jié)和紋理的高質(zhì)量圖像。然而,由于其逐像素生成的特性,生成圖像的速度較慢,同時(shí)可能面臨長距離依賴問題。為了克服這些問題,后續(xù)的研究在PRNN的基礎(chǔ)上進(jìn)行了改進(jìn),例如PixelCNN[13]采用了更高效的掩膜卷積結(jié)構(gòu),它允許模型在生成每個(gè)像素時(shí)只考慮其左邊和上邊的像素。這樣的限制確保了模型生成圖像的因果性,使得圖像生成更加快速。在此基礎(chǔ)上,Salimans等人對PixelCNN進(jìn)行改進(jìn),提出了一種名為PixelCNN++的改進(jìn)模型[14],PixelCNN++使用了離散化的邏輯混合似然度,與原始PixelCNN使用的256-way softmax相比,能夠更快地訓(xùn)練模型。這些改進(jìn)使得基于RNN的圖像生成模型在生成高分辨率圖像時(shí)取得了更好的性能。

基于RNN的生成式圖像修復(fù)算法可以利用圖像中的時(shí)序和上下文信息,生成更加精確、紋理連貫的圖像。由于這種方法需遍歷全局像素點(diǎn),因此,在處理大尺度圖像時(shí)會(huì)面臨計(jì)算復(fù)雜度高、耗時(shí)較長的問題。并且在遍歷像素的后期階段,像素點(diǎn)之間的相關(guān)性會(huì)逐漸減弱,使得該算法對于復(fù)雜的缺失圖案表現(xiàn)不佳。

1.1.2 基于CNN的生成式圖像修復(fù)

CNN在處理圖像數(shù)據(jù)時(shí),由于局部連接和共享權(quán)重的結(jié)構(gòu),能夠有效地捕捉圖像和其他空間數(shù)據(jù)中的局部特征,有助于降低參數(shù)量,提高模型的訓(xùn)練效率,并且對更大范圍的特征關(guān)系也能較好地處理,其生成原理見圖3。

圖3 基于CNN的像素生成原理Fig.3 Principles of pixel generation based on CNN

Oliveira等人受CNN的啟發(fā),提出了一種簡單快速的圖像修復(fù)方法,將待修復(fù)圖像與加權(quán)平均內(nèi)核進(jìn)行卷積,計(jì)算像素鄰域的加權(quán)平均值[15]。該算法的速度相比于先前的算法快2到3個(gè)數(shù)量級,從而使得修復(fù)在交互式應(yīng)用中變得實(shí)用。Hadhoud等人注意到文獻(xiàn)[15]生成的像素是由周圍的鄰域像素產(chǎn)生的,應(yīng)該將每個(gè)像素的顏色與鄰近像素的一小部分顏色進(jìn)行平均,并將其顏色的一小部分貢獻(xiàn)給每個(gè)相鄰像素,因此,其將中心零權(quán)重的位置修改至右下角,再進(jìn)行卷積,不需要太多次的迭代卷積操作就可以修復(fù)出更高質(zhì)量的圖像[16]。Jain等人發(fā)現(xiàn)卷積網(wǎng)絡(luò)能夠提供與小波和馬爾可夫隨機(jī)場方法相當(dāng)?shù)男阅?在某些情況下甚至更好,因此,提出了一種更高效更快速的低級視覺的圖像修復(fù)方法,結(jié)合了兩個(gè)主要思想:使用卷積網(wǎng)絡(luò)作為圖像處理架構(gòu),以及從特定噪聲模型合成訓(xùn)練樣本的無監(jiān)督學(xué)習(xí)過程[17]。但由于該方法僅限于加入特定的噪聲類型,因此使用的局限性很大。

綜上所述,像素生成式圖像修復(fù)相比一些傳統(tǒng)的圖像修復(fù)方法,不需要先驗(yàn)信息或人工標(biāo)記的輔助數(shù)據(jù),更具有自主性和自適應(yīng)性。并且可以適用于各種圖像修復(fù)任務(wù),包括缺失、遮擋、噪聲和破損等,具有一定的通用性。但是該類方法存在以下缺點(diǎn):①需要大量的計(jì)算資源和時(shí)間,特別是在處理高分辨率圖像時(shí);②需要大量高質(zhì)量有標(biāo)簽的訓(xùn)練數(shù)據(jù),否則修復(fù)結(jié)果可能不理想;③在修復(fù)具有復(fù)雜紋理和細(xì)節(jié)的情況下可能會(huì)產(chǎn)生偽影或不真實(shí)的細(xì)節(jié)。像素生成式圖像修復(fù)方法在圖像處理領(lǐng)域具有很大的研究前景,未來的研究方向?qū)⒓性诟倪M(jìn)模型的泛化能力、數(shù)據(jù)集的質(zhì)量及計(jì)算效率等方面。

1.2 漸進(jìn)式圖像修復(fù)

漸進(jìn)式圖像修復(fù)策略旨在將圖像由較低質(zhì)量一步一步修復(fù)成高質(zhì)量的圖像,從子任務(wù)中獲得的附加信息有助于最終結(jié)果的生成,其實(shí)現(xiàn)方式有多種,包括由粗尺度圖像逐漸修復(fù)到細(xì)尺度圖像、由局部到整體修復(fù)圖像、由低分辨率逐漸修復(fù)到高分辨率、由圖案結(jié)構(gòu)逐漸修復(fù)出圖像內(nèi)容、由掩膜到圖像的修復(fù)。

1.2.1 粗尺度到細(xì)尺度圖像修復(fù)

Yu等人觀察到CNN從遠(yuǎn)程空間位置借用或復(fù)制信息方面的效率不高,導(dǎo)致修復(fù)大型缺失區(qū)域時(shí)產(chǎn)生與周圍區(qū)域不一致的失真結(jié)構(gòu)或模糊紋理,從而提出了一種新的基于深度生成模型的方法,不僅可以合成新的圖像紋理結(jié)構(gòu),而且還可以在網(wǎng)絡(luò)訓(xùn)練過程中顯式地利用周圍圖像特征作為參考,以獲得更好的預(yù)測結(jié)果[18]。該網(wǎng)絡(luò)包括2個(gè)階段:第1階段是粗尺度圖像修復(fù)階段,該階段用重建損失訓(xùn)練一個(gè)簡單的編碼器-解碼器網(wǎng)絡(luò)來得到粗尺度的圖像內(nèi)容;第2階段是細(xì)尺度圖像修復(fù)階段,該階段采用與第1階段相同的編碼器-解碼器結(jié)構(gòu),并集成了上下文注意力模塊,能夠充分利用周圍圖像特征作為參考,產(chǎn)生合理的修復(fù)結(jié)果。雖然這種方法取得了視覺上良好的結(jié)果,但由于其特征編碼分為兩階段,需要大量的計(jì)算資源。為了降低粗尺度-細(xì)尺度結(jié)構(gòu)的計(jì)算資源,Sagong等人提出了一個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu)PEPSI,該網(wǎng)絡(luò)由一個(gè)共享的編碼網(wǎng)絡(luò)和一個(gè)具有粗尺度路徑和細(xì)尺度路徑的并行解碼網(wǎng)絡(luò)組成[19]。粗尺度路徑產(chǎn)生一個(gè)初步的修復(fù)結(jié)果,用于訓(xùn)練編碼網(wǎng)絡(luò)以預(yù)測上下文注意力模塊的特征。同時(shí),細(xì)尺度修復(fù)路徑使用由上下文注意力模塊重建的改進(jìn)特征生成更高質(zhì)量的修復(fù)結(jié)果。Ma等人發(fā)現(xiàn)直接采用標(biāo)準(zhǔn)的卷積架構(gòu)容易忽略長距離區(qū)域之間的相關(guān)性,提出了區(qū)域級卷積來局部處理不同類型的圖像區(qū)域,既可以精確地重建已知區(qū)域,又能從已知區(qū)域中粗略推斷出未知區(qū)域[20]。同時(shí),引入非局部操作對不同區(qū)域之間的相關(guān)性進(jìn)行全局建模,從而保證缺失和現(xiàn)有區(qū)域之間的視覺一致性。最后,將區(qū)域級卷積和非局部相關(guān)性集成到一個(gè)由粗到細(xì)的網(wǎng)絡(luò)框架中,以恢復(fù)語義合理且視覺逼真的圖像。

1.2.2 局部到整體圖像修復(fù)

由局部到整體的圖像修復(fù)將整個(gè)修復(fù)任務(wù)細(xì)分成了不同的子任務(wù),每個(gè)子任務(wù)都從缺失區(qū)域的外層逐漸向內(nèi)進(jìn)行修復(fù),最終將局部修復(fù)的結(jié)果整合在一起,完成整幅圖像的修復(fù)。這樣可以確保修復(fù)的結(jié)果在局部和整體上都具有合理的結(jié)構(gòu)和連貫性。Zhang等人提出一種基于局部-整體的語義圖像修復(fù)方法,該方法將整個(gè)修復(fù)過程分成4個(gè)階段,從缺失區(qū)域的外圍逐步向中心進(jìn)行修復(fù),每個(gè)階段旨在完成整個(gè)修復(fù)過程的一部分,并在后續(xù)階段中進(jìn)一步優(yōu)化修復(fù)結(jié)果[21]。在每個(gè)階段,網(wǎng)絡(luò)根據(jù)之前階段的修復(fù)結(jié)果和圖像的語義信息生成新的修復(fù)結(jié)果,從而逐步填補(bǔ)缺失區(qū)域,得到高質(zhì)量的修復(fù)結(jié)果。Li等人設(shè)計(jì)了一種循環(huán)特征推理(RFR)網(wǎng)絡(luò),主要由插入式的循環(huán)特征推理模塊和知識一致性注意力(KCA)模塊構(gòu)成[22]。類似于人類解決問題的方式,先解決較簡單的部分,然后將結(jié)果作為額外信息來解決較困難的部分。RFR模塊循環(huán)地推斷卷積特征圖的缺失邊界,然后將其作為進(jìn)一步推理的線索。該模塊逐步加強(qiáng)了對缺失區(qū)域中心的約束,使修復(fù)結(jié)果變得更加精準(zhǔn)。Zeng等人引入了一個(gè)深度生成模型,不僅能夠輸出修復(fù)結(jié)果,還輸出相應(yīng)的置信度圖[23]。將中間過程產(chǎn)生的置信度圖作為反饋,逐步填補(bǔ)缺失區(qū)域,每次迭代只保留缺失區(qū)域內(nèi)置信度高的像素,并在下一次迭代中重點(diǎn)關(guān)注未填充的像素。由于該方法重復(fù)使用前一次迭代的部分預(yù)測結(jié)構(gòu)作為已知像素,這個(gè)過程將逐漸優(yōu)化最終的修復(fù)結(jié)果。

從局部到整體的的圖像修復(fù)可以產(chǎn)生許多中間結(jié)果,合理利用這些中間結(jié)果可以減少最終修復(fù)結(jié)果的誤差。但是,中間結(jié)果的生成也會(huì)消耗更多的計(jì)算時(shí)間。

1.2.3 低分辨率到高分辨率圖像修復(fù)

由低分辨率到高分辨率的圖像修復(fù)首先將高分辨率圖像降采樣為低分辨率圖像,然后在低分辨率圖像上進(jìn)行修復(fù),以減少計(jì)算成本。Yang等人提出了一種混合優(yōu)化方法,該方法將編碼器-解碼器的預(yù)測作為全局內(nèi)容約束,并將缺失區(qū)域與已知區(qū)域之間的局部神經(jīng)patch塊的相似性作為紋理約束[24]。修復(fù)出來的低分辨率結(jié)果經(jīng)過上采樣操作將被再次精細(xì)化修復(fù),從而生成高分辨率的修復(fù)結(jié)果。將高頻殘差圖像添加到大的模糊圖像上能夠生成具有豐富細(xì)節(jié)的圖像,基于此,Yi等人提出了一種上下文殘差聚合技術(shù),通過對上下文patch塊中的殘差進(jìn)行加權(quán)聚合生成缺失區(qū)域的高頻殘差,網(wǎng)絡(luò)只需要在低分辨率圖像上進(jìn)行預(yù)測,用低分辨率圖像指導(dǎo)高分辨率圖像進(jìn)行修復(fù)[25]。因此,該方法在內(nèi)存和計(jì)算功率的消耗上大大減少,并且降低了對高分辨率訓(xùn)練數(shù)據(jù)集的需求。Kulshreshtha等人認(rèn)為增加圖像尺寸會(huì)相應(yīng)地減少網(wǎng)絡(luò)在修復(fù)區(qū)域可用的局部上下文信息,因此,提出了一種新穎的由低分辨率到高分辨率的迭代優(yōu)化方法,該方法通過使用低分辨率預(yù)測作為指導(dǎo),在推斷過程中最小化多尺度一致性損失,僅優(yōu)化網(wǎng)絡(luò)的中間特征圖,在優(yōu)化過程中能夠生成細(xì)節(jié)豐富的高分辨率圖像修復(fù)結(jié)果,同時(shí),保持了低分辨率預(yù)測的顏色和結(jié)構(gòu)[26]。Liu等人提出了一種通過參數(shù)化坐標(biāo)查詢進(jìn)行高分辨率圖像修復(fù)的新穎框架CoordFill,只需在低分辨率條件下對高分辨率圖像進(jìn)行編碼,以捕捉更大的感受野[27]。該方法首先對高分辨率圖像進(jìn)行下采樣并編碼缺失區(qū)域,然后,通過基于注意力的快速傅里葉卷積參數(shù)生成網(wǎng)絡(luò)為每個(gè)空間塊產(chǎn)生空間自適應(yīng)參數(shù),最后,將這些參數(shù)作為一系列多層感知器的權(quán)重和偏差,輸入是編碼的連續(xù)坐標(biāo),輸出是合成的顏色值,這種連續(xù)的位置編碼有助于通過在高分辨率圖像上重新采樣坐標(biāo),合成逼真的高頻紋理。

1.2.4 結(jié)構(gòu)到內(nèi)容圖像修復(fù)

由結(jié)構(gòu)到內(nèi)容的圖像修復(fù),其主要目標(biāo)是先恢復(fù)圖像的結(jié)構(gòu)信息,然后再填充細(xì)節(jié)內(nèi)容。這類方法首先通過設(shè)計(jì)算法嘗試恢復(fù)圖像的大致結(jié)構(gòu),包括邊緣、輪廓和主要的物體形狀,這一步旨在填充缺失區(qū)域,使得整體圖像看起來更加完整和連貫。在結(jié)構(gòu)恢復(fù)的基礎(chǔ)上,再進(jìn)一步利用周圍像素的上下文信息完善修復(fù)結(jié)果。

邊緣能夠表現(xiàn)出物體的形狀和輪廓,是常用的引導(dǎo)方式。Liao等人提出了一種考慮場景結(jié)構(gòu)和上下文的圖像修復(fù)模型E-CE[28]。之前的內(nèi)容編碼器使用整個(gè)圖像的上下文預(yù)測缺失圖像區(qū)域,E-CE通過根據(jù)邊緣結(jié)構(gòu)信息恢復(fù)紋理,避免了圖像不同邊緣之間的上下文信息易混淆的問題。該方法首先從mask圖像中提取邊緣,并通過一個(gè)全卷積網(wǎng)絡(luò)進(jìn)行邊緣修復(fù)。然后,將完成的邊緣圖與原始遮罩圖像一起輸入到修改后的上下文編碼器網(wǎng)絡(luò)中,以預(yù)測缺失區(qū)域。Nazeri等人采用結(jié)構(gòu)感知的策略,提出了一個(gè)兩階段模型EdgeConnect,將圖像修復(fù)問題分為結(jié)構(gòu)預(yù)測和圖像補(bǔ)全2個(gè)階段[29]。EdgeConnect的第1階段主要用于預(yù)測缺失區(qū)域的圖像結(jié)構(gòu),提取出邊緣圖,然后將邊緣圖傳遞給第2階段,用于引導(dǎo)缺失區(qū)域的修復(fù)過程。該方法彌補(bǔ)了圖像修復(fù)領(lǐng)域中卷積神經(jīng)網(wǎng)絡(luò)與邊緣合成網(wǎng)絡(luò)結(jié)合的空缺,并且在全局結(jié)構(gòu)信息的修復(fù)上取得了顯著突破,但是對于一些精細(xì)化局部結(jié)構(gòu)的處理還有欠缺。為解決以上問題,Li等人設(shè)計(jì)了一個(gè)視覺結(jié)構(gòu)重建層(VSR),解決邊緣結(jié)構(gòu)和特征的重建,通過共享參數(shù)使二者相互受益[30]。具體而言,VSR采用部分卷積和瓶頸塊恢復(fù)缺失區(qū)域中部分邊緣信息,然后將重新構(gòu)建的邊緣與缺失的輸入圖像相結(jié)合,通過填充語義上有意義的內(nèi)容逐步縮小缺失區(qū)域的范圍。Ren等人專注于細(xì)粒度紋理的修復(fù),提出了一個(gè)兩階段模型,將圖像修復(fù)任務(wù)分為結(jié)構(gòu)重建和紋理生成兩部分[31]。在第1階段使用保留邊緣的平滑圖像訓(xùn)練一個(gè)結(jié)構(gòu)重建器,修復(fù)輸入圖像中的缺失結(jié)構(gòu);第2階段設(shè)計(jì)了一個(gè)使用外觀流的紋理生成器產(chǎn)生圖像的細(xì)節(jié)。Deng等人采用結(jié)構(gòu)引導(dǎo)的雙分支網(wǎng)絡(luò)用于古代壁畫修復(fù),壁畫修復(fù)過程分為結(jié)構(gòu)重建和內(nèi)容修復(fù)[32]。在結(jié)構(gòu)重建階段,利用門控卷積和快速傅里葉卷積殘差塊重建受損壁畫的缺失結(jié)構(gòu)。在內(nèi)容修復(fù)階段,使用由結(jié)構(gòu)重建階段生成的邊緣結(jié)構(gòu)引導(dǎo)壁畫的內(nèi)容修復(fù)。由于圖像的邊緣結(jié)構(gòu)通常是稀疏的,只傳遞圖像的二進(jìn)制輪廓信息,而梯度圖本身不僅傳遞了可能的邊緣信息,還包含一些紋理信息或高頻細(xì)節(jié)。基于此,Yang等人提出先預(yù)測整個(gè)梯度圖,引入梯度信息嵌入方案,將學(xué)習(xí)到的結(jié)構(gòu)特征明確地輸入到圖像修復(fù)過程中[33]。

分割技術(shù)可以預(yù)測圖像中不同物體的邊界和形狀信息,用這些分割結(jié)果指導(dǎo)圖像修復(fù)是非常有意義的。為解決生成模型沒有利用語義分割信息約束物體的形狀,從而導(dǎo)致邊界模糊的問題,Song等人分解了圖像修復(fù)過程中類間差異和類內(nèi)變化,將修復(fù)過程分解為分割預(yù)測和分割引導(dǎo)2個(gè)步驟,首先預(yù)測缺失區(qū)域的分割標(biāo)簽,然后生成分割引導(dǎo)的修復(fù)結(jié)果[34]。Yu等人基于Segment-Anything模型(SAM)提出了一種名為Inpaint Anything(IA)的新模型,該模型是一種多功能工具,結(jié)合了移除任何物體、填充任何內(nèi)容和替換任何內(nèi)容的功能,還能夠處理多樣化和高質(zhì)量的輸入圖像[35]。

由結(jié)構(gòu)到內(nèi)容的圖像修復(fù)可以確保修復(fù)的圖像保持原有的形狀和結(jié)構(gòu),同時(shí)加入了更真實(shí)的紋理和細(xì)節(jié)信息。但是仍存在以下問題:①邊緣信息無法指導(dǎo)顏色的生成;②分割信息依賴于標(biāo)簽的精度,如果相同語義標(biāo)簽的外觀差異太大,則分割信息會(huì)混淆最終的修復(fù)結(jié)果。

1.2.5 掩膜到圖像修復(fù)

由掩膜預(yù)測到圖像修復(fù)是盲圖像修復(fù)中常用的方法。盲圖像修復(fù)是指在圖像中缺失或損壞的像素位置未知的情況下,通過算法自動(dòng)恢復(fù)這些缺失或損壞的像素,不需要為缺失區(qū)域指定掩碼,使圖像看起來完整和清晰。這種技術(shù)可以廣泛應(yīng)用于圖像去噪、修復(fù)損壞的舊照片等。

Liu等人受到殘差學(xué)習(xí)算法的啟發(fā),引入了編碼器和解碼器結(jié)構(gòu),并改進(jìn)了L1損失函數(shù)處理異常值,該算法可以預(yù)測損壞區(qū)域中缺失的信息[36]。在掩膜預(yù)測的過程中會(huì)不可避免地出現(xiàn)預(yù)測誤差,導(dǎo)致后續(xù)修復(fù)的圖像中出現(xiàn)偽影。為了解決這個(gè)問題,Wang等人提出了一個(gè)兩階段的視覺一致性網(wǎng)絡(luò),首先,預(yù)測語義不一致的區(qū)域,使掩碼預(yù)測的可信度更高,然后,使用新的空間歸一化方法修復(fù)預(yù)測的缺失區(qū)域,通過這種方式,生成了在語義上令人信服和在視覺上引人注目的內(nèi)容[37]。為了跳過損壞區(qū)域的預(yù)測步驟并獲得更好的結(jié)果,Phutke等人提出了一種新的端到端架構(gòu),其中包括小波查詢多頭注意力變換模塊和全向門控注意力模塊[38]。所提出的小波查詢多頭注意力將經(jīng)過處理的小波系數(shù)作為查詢提供給多頭注意力,從而提供了編碼器特征。全向門控注意力從編碼器學(xué)習(xí)到的所有維度的注意力特征將被傳輸?shù)较鄳?yīng)的解碼器當(dāng)中。

由掩膜到圖像的修復(fù)方法不需要提供手動(dòng)繪制的掩膜,省時(shí)省力。但仍然面臨許多挑戰(zhàn):① 難以準(zhǔn)確區(qū)分受損區(qū)域和有效區(qū)域,有效區(qū)域可能包含紋理、邊緣和其他重要信息,而這些信息也可能在受損區(qū)域存在,使得模型難以區(qū)分;②缺乏掩膜信息,模型容易受圖像中復(fù)雜結(jié)構(gòu)的干擾,導(dǎo)致不合理的修復(fù)效果;③預(yù)測受損區(qū)域始終存在一定的誤差,難以實(shí)現(xiàn)高質(zhì)量的修復(fù)效果。

綜上所述,漸進(jìn)式圖像修復(fù)類方法可以逐漸提高修復(fù)結(jié)果的質(zhì)量,并且生成的圖像具有平滑自然的過渡效果,能夠避免在修復(fù)區(qū)域和原始圖像之間產(chǎn)生明顯的邊緣。另一方面,研究者可以根據(jù)數(shù)據(jù)集的特性和需求,自行設(shè)計(jì)在網(wǎng)絡(luò)訓(xùn)練時(shí)添加所需細(xì)節(jié)。但該類方法存在以下缺點(diǎn):①多次的迭代計(jì)算生成修復(fù)結(jié)果,需要大量的計(jì)算資源;②該類方法通常需要采用兩階段網(wǎng)絡(luò)的結(jié)構(gòu),相對于一次性修復(fù)方法更加復(fù)雜;③想要生成高質(zhì)量的修復(fù)結(jié)果可能需要更多時(shí)間,難以適應(yīng)一些實(shí)時(shí)或高效率需求的應(yīng)用。在未來,漸進(jìn)式圖像修復(fù)方法的研究可能集中在以下幾方面:①開發(fā)更高效的算法,減少計(jì)算成本和時(shí)間延遲;②研究能夠自動(dòng)調(diào)整修復(fù)速度和細(xì)節(jié)程度的方法,以適應(yīng)不同的需求和場景;③研究適用于實(shí)時(shí)或互動(dòng)的應(yīng)用,如視頻修復(fù)。

1.3 基于不規(guī)則卷積的圖像修復(fù)

在傳統(tǒng)的圖像修復(fù)中,缺失的區(qū)域通常是通過周圍像素的信息填充,或者通過學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)生成缺失內(nèi)容。然而,在某些情況下,修復(fù)過程可能會(huì)引入偽影或不一致性。在基于不規(guī)則卷積的圖像修復(fù)中,神經(jīng)網(wǎng)絡(luò)被設(shè)計(jì)用于改進(jìn)架構(gòu)中的卷積操作,具有更強(qiáng)大的自適應(yīng)性,有助于在修復(fù)缺失區(qū)域的同時(shí)更好地保留原始圖像的結(jié)構(gòu)和紋理。卷積核的形狀和尺寸可以靈活調(diào)整,因此,不規(guī)則卷積可以適應(yīng)不同形狀和大小的掩膜,并對其進(jìn)行有效的修復(fù)。目前,根據(jù)卷積濾波器的類型,可以將不規(guī)則卷積分為部分卷積、門控卷積、雙向卷積和區(qū)域卷積。

1.3.1 基于部分卷積的圖像修復(fù)

Liu等人在2018年首次提出采用部分卷積進(jìn)行不規(guī)則掩膜的圖像修復(fù)[39]。部分卷積的操作原理如圖4所示。傳統(tǒng)卷積核的每個(gè)元素都被用來與圖像的對應(yīng)位置進(jìn)行加權(quán)計(jì)算,而部分卷積中對于缺失區(qū)域內(nèi)的像素,卷積核的權(quán)重被設(shè)為0,不進(jìn)行計(jì)算。這樣可以避免缺失區(qū)域的信息被不正確地填充。受上述啟發(fā),Chen等人將部分卷積應(yīng)用于數(shù)字敦煌壁畫的修復(fù),使用基于部分卷積的深度神經(jīng)網(wǎng)絡(luò)作為壁畫修復(fù)的基礎(chǔ)模型,并采用滑動(dòng)窗口方法進(jìn)行數(shù)據(jù)增強(qiáng),以解決訓(xùn)練過程中的樣本量不足問題,并提高網(wǎng)絡(luò)的準(zhǔn)確性[40]。該方法在大面積不規(guī)則缺失的壁畫圖像上修復(fù)效果良好。Wang等人提出了一種基于多尺度自適應(yīng)部分卷積和模擬筆畫形狀掩膜的唐卡壁畫修復(fù)方法,設(shè)計(jì)了一種基于核的多尺度自適應(yīng)部分卷積,能夠準(zhǔn)確區(qū)分有效像素和無效像素,并提取多尺度對象的特征,這對提取唐卡壁畫中的多尺度信息非常有效[41]。

圖4 部分卷積Fig.4 Partial convolution

雖然部分卷積的提出大大提高了不規(guī)則圖像修復(fù)的效率和精度,但是它并未精細(xì)到考慮卷積濾波器覆蓋的像素?cái)?shù)量。當(dāng)濾波窗口內(nèi)包含有效像素時(shí),即使有效像素的數(shù)量非常小,當(dāng)前位置的值都會(huì)變?yōu)?。

1.3.2 基于門控卷積的圖像修復(fù)

Yu等人在2019年提出門控卷積[42],其基本思想是只選擇部分像素參與卷積運(yùn)算,而其他像素則被動(dòng)態(tài)地忽略或削弱其權(quán)重。門控卷積的操作原理如圖5所示。在門控卷積中,對于每個(gè)通道在每個(gè)空間位置,都有一個(gè)可學(xué)習(xí)的門控機(jī)制,用于決定是否對該像素進(jìn)行卷積操作。這樣可以使得卷積操作對于圖像中的不同區(qū)域有不同的處理方式,從而更好地應(yīng)對不規(guī)則的圖像修復(fù)任務(wù)。Chang等人提出了一種自由形式掩膜視頻修復(fù)模型,使用3D門控卷積處理自由形式掩模的不確定性[43]。Li等人設(shè)計(jì)了一種基于門控卷積和自注意力的金字塔網(wǎng)絡(luò)GAP-Net,并改變了特征提取策略,該方法改善了不規(guī)則圖像的修復(fù)效果并加速了網(wǎng)絡(luò)的學(xué)習(xí)速度[44]。Xie等人利用帶有門控卷積的生成對抗網(wǎng)絡(luò)對CT圖像的截?cái)鄥^(qū)域進(jìn)行圖像修復(fù),并將這些修復(fù)后的圖像應(yīng)用于放射治療的劑量計(jì)算中[45]。該方法可以直接有效地對不完整的CT圖像進(jìn)行修復(fù),并且在圖像可視化和劑量學(xué)方面更接近真實(shí)標(biāo)簽結(jié)果。Ma等人提出了一種新穎的密集門控卷積網(wǎng)絡(luò)用于生成圖像修復(fù),通過修改門控卷積的網(wǎng)絡(luò)結(jié)構(gòu),將門控卷積和密集連接的共同優(yōu)點(diǎn)集成到一起,大大減少了網(wǎng)絡(luò)參數(shù),有效地改善了網(wǎng)絡(luò)的修復(fù)效果[46]。

圖5 門控卷積Fig.5 Gate convolution

1.3.3 基于雙向卷積的圖像修復(fù)

傳統(tǒng)的卷積在修復(fù)圖像時(shí)只關(guān)注輸入圖像的局部特征,忽略了輸出圖像的全局特征。針對這個(gè)問題,Xie等人在2019年提出利用雙向卷積進(jìn)行圖像修復(fù)[47],其原理如圖6所示。雙向卷積不僅考慮了從輸入到輸出的卷積過程,還考慮了從輸出到輸入的卷積過程。這種正反向信息同時(shí)包含的卷積操作使得模型可以同時(shí)從輸入和輸出的角度來理解圖像的特征和結(jié)構(gòu)。同時(shí),引入了可學(xué)習(xí)的雙向注意力圖,該注意力圖允許模型在修復(fù)圖像時(shí)同時(shí)關(guān)注缺失區(qū)域和周圍的上下文信息,從而進(jìn)一步提高修復(fù)結(jié)果的準(zhǔn)確性和質(zhì)量。Guo等人提出了一種邊緣引導(dǎo)的可學(xué)習(xí)雙向注意力圖Edge-LBAM,改進(jìn)不規(guī)則缺失區(qū)域的圖像修復(fù)[48]。該方法引入了一個(gè)可學(xué)習(xí)的注意力圖模塊,用于學(xué)習(xí)特征重新歸一化和掩膜更新,使其能夠以端到端的方式進(jìn)行訓(xùn)練。此外,在解碼器中進(jìn)一步提出了可學(xué)習(xí)的反向注意力圖,用于強(qiáng)調(diào)填充未知像素而不是重建所有像素。該方法在生成連貫的圖像結(jié)構(gòu)和防止顏色不一致和模糊方面是有效的。Ma等人將雙向卷積的思想與Transformer技術(shù)相結(jié)合,提出了一種新穎的雙向自回歸Transformer的圖像修復(fù)模型[20]。該方法利用Transformer學(xué)習(xí)自回歸分布,還結(jié)合了掩膜語言模型,實(shí)現(xiàn)對丟失區(qū)域的上下文信息進(jìn)行雙向建模,從而對缺失的圖像實(shí)現(xiàn)更好地修復(fù)。Guo等人提出了一種圖像修復(fù)雙流網(wǎng)絡(luò),將結(jié)構(gòu)約束紋理合成和紋理引導(dǎo)結(jié)構(gòu)重建以耦合方式建模,這兩個(gè)子任務(wù)可以交換有用的信息,從而實(shí)現(xiàn)相互促進(jìn)[48]。此外,引入了一個(gè)雙向門控特征融合模塊以及上下文特征聚合模塊,進(jìn)一步優(yōu)化結(jié)果,使得修復(fù)后的圖像既具有語義合理的結(jié)構(gòu),又包含豐富的細(xì)節(jié)紋理。

圖6 雙向卷積Fig.6 Bi-directional convolution

1.3.4 基于區(qū)域卷積的圖像修復(fù)

傳統(tǒng)的圖像修復(fù)方法通常使用全局卷積來填補(bǔ)圖像中的缺失部分,這可能導(dǎo)致修復(fù)結(jié)果的細(xì)節(jié)丟失和模糊。為了解決這個(gè)問題,Ma等人引入了區(qū)域卷積和非局部相關(guān)的概念,在修復(fù)過程中更好地保留了圖像細(xì)節(jié)和結(jié)構(gòu)[20]。區(qū)域卷積將每個(gè)像素的卷積核限制在特定的區(qū)域內(nèi),從而有選擇地捕捉局部細(xì)節(jié)。其中,卷積核的大小和形狀可以根據(jù)具體的應(yīng)用場景進(jìn)行靈活調(diào)整,完全取決于需要修復(fù)的缺失區(qū)域的形狀,從而更好地適應(yīng)不同的圖像修復(fù)任務(wù)。

綜上所述,基于不規(guī)則卷積修復(fù)的方法具有更大的自由度,能夠更精確地捕獲和修復(fù)圖像中的細(xì)節(jié),并且適用于不同形狀的掩膜,在處理復(fù)雜圖像修復(fù)問題時(shí)具有優(yōu)勢。相對于傳統(tǒng)卷積方法,不規(guī)則卷積可以更好地減少偽影的產(chǎn)生,使修復(fù)結(jié)果更自然。但該類方法相比于傳統(tǒng)卷積,其計(jì)算復(fù)雜度更大,且超參數(shù)更難調(diào)整。未來的研究可以關(guān)注于改進(jìn)不規(guī)則卷積操作的設(shè)計(jì),以提高其性能和適應(yīng)性,同時(shí)降低計(jì)算量。

1.4 基于調(diào)制修復(fù)

調(diào)制技術(shù)是一種在生成模型中使用的方法,它可以調(diào)整生成器的特征表示,從而控制生成樣本的特征和風(fēng)格。調(diào)制技術(shù)最初源自圖像風(fēng)格遷移的研究,后來被應(yīng)用于生成對抗網(wǎng)絡(luò)和其他生成模型中。近年來,調(diào)制技術(shù)在圖像生成、圖像修復(fù)、圖像編輯等領(lǐng)域都有廣泛的應(yīng)用,可以幫助圖像修復(fù)方法更好地控制圖像的生成過程,從而產(chǎn)生更真實(shí)和合理的修復(fù)結(jié)果。在圖像修復(fù)中,調(diào)制可以用于2個(gè)方面:特征調(diào)制和空間調(diào)制。特征調(diào)制通過學(xué)習(xí)參數(shù)調(diào)整生成器的特征表示,使其能夠根據(jù)輸入的條件信息生成不同風(fēng)格或類別的修復(fù)結(jié)果。例如,可以通過調(diào)制參數(shù)指定修復(fù)結(jié)果的顏色、紋理或形狀等特征。空間調(diào)制通過學(xué)習(xí)參數(shù)調(diào)整生成器的特征表示,使其能夠根據(jù)輸入的空間位置信息在不同位置上生成不同的修復(fù)內(nèi)容。這樣可以確保修復(fù)結(jié)果在不同位置上保持一致性和逼真性。

Zhao等人引入了一種通用的方法,即共調(diào)制生成對抗網(wǎng)絡(luò)Co-Modulated GANs[49]。Co-Modulated GANs的核心思想是將無條件調(diào)制生成器的生成能力適應(yīng)到圖像條件生成器中,采用了一個(gè)聯(lián)合仿射變換對樣式表示進(jìn)行條件約束,使得生成器在生成圖像的過程中靈活地控制特征的分布和統(tǒng)計(jì)特性。通過特征調(diào)制,Co-Modulated GANs能夠融合條件輸入(例如圖像的部分信息)和隨機(jī)性(例如潛在向量的隨機(jī)采樣),從而生成多樣且一致的結(jié)果。為了更好地建模圖像的全局上下文信息,Zheng等人提出了一種新穎的機(jī)制,將全局代碼調(diào)制與空間代碼調(diào)制級聯(lián),以便處理部分無效的特征,并更好地將全局上下文注入到空間區(qū)域中[50]。首先,從最高級別特征中提取全局風(fēng)格代碼S,并對其進(jìn)行L2規(guī)范化,然后,使用基于多層感知機(jī)的映射網(wǎng)絡(luò)從噪聲中生成一個(gè)風(fēng)格代碼W,模擬圖像生成的隨機(jī)性,最后,將風(fēng)格代碼W與S組合在一起成為全局代碼,用于后續(xù)的解碼步驟。在解碼階段提出了一種全局-空間級聯(lián)調(diào)制,通過全局調(diào)制塊和空間調(diào)制塊分別并行地上采樣全局特征和局部特征,以實(shí)現(xiàn)在解碼階段連接全局上下文。該方法確保了修復(fù)后的圖像在全局和局部尺度上保持一致。

綜上所述,基于調(diào)制的圖像修復(fù)方法可以根據(jù)需求自行調(diào)整生成器的特征表示,對于保留圖像的細(xì)節(jié)和紋理非常有用。這種有選擇性地修復(fù)特定頻率范圍內(nèi)信息的方式更具有靈活性,不會(huì)對整個(gè)圖像進(jìn)行過度處理。但是該類方法大多數(shù)都采用生成模型,對于高質(zhì)量有標(biāo)簽的數(shù)據(jù)有大量的需求,而配對的數(shù)據(jù)集往往難以獲取。因此,基于調(diào)制的修復(fù)方法在未來可以重點(diǎn)關(guān)注于有效利用有限數(shù)據(jù)和弱標(biāo)簽,以及如何更精確地控制生成樣本的屬性。

1.5 基于Transformer修復(fù)

Transformer是Vaswani等人在2017年提出的一種基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)架構(gòu)[51],最初用于自然語言處理任務(wù)。在傳統(tǒng)的RNN或CNN中,序列數(shù)據(jù)會(huì)引入順序依賴或局部性,這導(dǎo)致在處理長序列數(shù)據(jù)時(shí)可能面臨梯度消失或梯度爆炸等問題。而Transformer采用完全基于自注意力機(jī)制的新型網(wǎng)絡(luò)結(jié)構(gòu),關(guān)注序列中的所有位置,建立全局依賴,從而更好地處理長序列數(shù)據(jù)。

如圖7所示,Transformer由編碼器和解碼器組成,其中,編碼器用于處理輸入序列數(shù)據(jù),而解碼器用于生成輸出序列數(shù)據(jù)。每個(gè)編碼器和解碼器由多層堆疊的自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)構(gòu)成。Transformer的結(jié)構(gòu)設(shè)計(jì)在應(yīng)用于圖像修復(fù)任務(wù)中具有一定的優(yōu)勢:一方面,自注意力機(jī)制允許網(wǎng)絡(luò)在生成修復(fù)結(jié)果時(shí)對圖像的各個(gè)位置進(jìn)行精細(xì)的關(guān)注,從而能夠更好地恢復(fù)復(fù)雜的圖像結(jié)構(gòu)和細(xì)節(jié);另一方面,Transformer可以通過調(diào)整注意力機(jī)制的尺度適應(yīng)不同大小的圖像修復(fù)任務(wù),能夠靈活處理小尺寸和大尺寸的圖像,無需重新設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。

圖7 Transformer模型架構(gòu)Fig.7 The architecture of Transformer

Wan等人將Transformer應(yīng)用于圖像修復(fù)領(lǐng)域,將Transformer的外觀先驗(yàn)重構(gòu)與CNN的紋理補(bǔ)充結(jié)合在一起,利用Transformer恢復(fù)了多樣化的連貫結(jié)構(gòu)以及一些粗糙的紋理,利用CNN在高分辨率掩膜圖像的引導(dǎo)下增強(qiáng)了粗略先驗(yàn)的局部紋理細(xì)節(jié)[52]。Zhou等人將Transformer應(yīng)用于修復(fù)復(fù)雜場景的圖像,提出了一種多個(gè)單應(yīng)性變換融合方法TransFill[53]。模型首先估計(jì)兩個(gè)圖像之間的匹配特征點(diǎn),根據(jù)它們在目標(biāo)圖像中估計(jì)的深度將內(nèi)點(diǎn)進(jìn)行聚類,并為每個(gè)聚類估計(jì)一個(gè)單應(yīng)性以進(jìn)行初始圖像配準(zhǔn),得到粗尺度的修復(fù)。然后,使用深度雙邊顏色轉(zhuǎn)換解決顏色匹配問題,并通過像素級空間變換解決視差問題,得到進(jìn)一步修復(fù)的結(jié)果。最后,通過學(xué)習(xí)一組融合掩碼合并之前產(chǎn)生的修復(fù)結(jié)果,得到最終修復(fù)的圖像。Wang等人提出一種頻率引導(dǎo)Transformer和自頂向下細(xì)化網(wǎng)絡(luò)FT-TDR,用于修復(fù)人臉盲圖像[54]。FT-TDR使用基于Transformer的網(wǎng)絡(luò)通過建模不同塊之間的關(guān)系檢測要修復(fù)的受損區(qū)域,生成掩碼。然后,采用了一個(gè)自頂向下的細(xì)化網(wǎng)絡(luò),以分層的方式恢復(fù)不同層次的特征,并生成與未遮擋的人臉區(qū)域在語義上一致的內(nèi)容。由于ViT[55]在圖像視覺領(lǐng)域具有巨大的應(yīng)用前景,Cao等人將ViT作為掩膜自動(dòng)編碼器,并使用來自MAE的注意力先驗(yàn),使修復(fù)模型學(xué)習(xí)到遮擋和未遮擋區(qū)域之間更多的遠(yuǎn)距離依賴關(guān)系[56]。與先前依賴于先驗(yàn)直接指導(dǎo)的方法不同,Yu等人在Transformer基礎(chǔ)上開發(fā)了一個(gè)端到端的多模態(tài)引導(dǎo)圖像修復(fù)網(wǎng)絡(luò),包含1個(gè)修復(fù)分支和2個(gè)用于語義分割和邊緣紋理的輔助分支[57]。在每個(gè)Transformer塊內(nèi),通過輔助去歸一化,并提出多尺度空間感知注意模塊,用來高效地學(xué)習(xí)多模態(tài)結(jié)構(gòu)特征。與當(dāng)前僅在像素級別上使用解碼器的Transformer圖像修復(fù)不同,Liu等人提出了同時(shí)包含編碼器和解碼器的Transformer網(wǎng)絡(luò)模型[58]。其中,編碼器通過自注意模塊捕獲圖像中所有patch塊的紋理語義相關(guān)性,解碼器中建立了一個(gè)動(dòng)態(tài)的patch詞匯表,用于在掩膜區(qū)域上填充patch。在此基礎(chǔ)上,通過概率擴(kuò)散過程,提出了一個(gè)以已知區(qū)域?yàn)殄^點(diǎn)的結(jié)構(gòu)-紋理匹配注意模塊,將這兩者的優(yōu)勢結(jié)合起來進(jìn)行漸進(jìn)式修復(fù)。為了構(gòu)建一個(gè)適合個(gè)人使用的小型計(jì)算模型,Chen等人提出了一種結(jié)合特殊Transformer和傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的輕量級模型,并提出了一種新的損失函數(shù)加強(qiáng)顏色細(xì)節(jié)[59]。Naderi等人將Swin Transformer塊引入人臉修復(fù)任務(wù)中,實(shí)現(xiàn)更大的感受野,并平衡全局和局部特征[60]。通過給每個(gè)面部部位使用單獨(dú)的鑒別器,增加了修復(fù)模型的泛化能力,提高了其對語義面部部位的理解。Liao等人提出了一種基于多尺度Transformer架構(gòu)的參考引導(dǎo)的修復(fù)框架TransRef,核心思想是在編碼器的每個(gè)尺度中,引導(dǎo)信息逐步嵌入到缺失圖像中[61]。具體而言,提出了一個(gè)參考patch對齊模塊,用于粗略地對齊參考圖像和掩膜圖像。為了對粗略對齊的特征進(jìn)行優(yōu)化,提出了一個(gè)參考patch模塊,首先,通過多頭參考注意機(jī)制在小patch級別上對融合特征進(jìn)行優(yōu)化,然后,與掩膜圖像的主要特征進(jìn)行融合,最后,將來自所有尺度的融合特征進(jìn)行級聯(lián),解碼為完整的圖像。

綜上所述,基于Transformer修復(fù)的方法在圖像的全局上下文理解方面更有優(yōu)勢,能夠更好地理解圖像內(nèi)容和語義信息,修復(fù)完成的圖像更具有合理性。但是,Transformer模型通常需要大量的計(jì)算資源,應(yīng)用于實(shí)時(shí)修復(fù)時(shí)可能導(dǎo)致較長的修復(fù)時(shí)間,并且當(dāng)模型尺寸較大時(shí),很難部署在受限的設(shè)備中。因此,基于Transformer的圖像修復(fù)方法在未來可能集中于研究小規(guī)模的模型,盡可能在減小計(jì)算復(fù)雜性的同時(shí),保證圖像修復(fù)的性能,讓其部署在移動(dòng)設(shè)備或嵌入式系統(tǒng)中成為可能。

1.6 基于擴(kuò)散模型修復(fù)

擴(kuò)散模型是一類基于概率分布的生成模型,用于生成圖像或其他類型的數(shù)據(jù)樣本。它們通常利用隨機(jī)擴(kuò)散過程模擬樣本生成的過程,通過逐漸去除信號中的噪聲生成高質(zhì)量的樣本。在最近的研究中,擴(kuò)散模型已經(jīng)被證明可以生成高質(zhì)量的圖像,并且具有一些理想的屬性[62-63],如分布覆蓋范圍、固定訓(xùn)練目標(biāo)和易于擴(kuò)展等。相比于經(jīng)典的CNN、GAN模型,擴(kuò)散模型具有更好的泛化能力,不易出現(xiàn)模式崩潰的問題,且不需要特定掩膜的訓(xùn)練就可以產(chǎn)生高保真的輸出。

Lugmayr等人提出了一種基于去噪擴(kuò)散概率模型的圖像修復(fù)方法RePaint,該方法適用于極端掩模[64]。如圖8所示,RePaint由兩階段組成。第1階段使用深度神經(jīng)網(wǎng)絡(luò)生成缺失像素的粗略估計(jì)。該網(wǎng)絡(luò)在大量類似圖像的數(shù)據(jù)集上進(jìn)行訓(xùn)練,并使用卷積和反卷積層學(xué)習(xí)周圍像素與缺失像素之間的關(guān)系。第2階段采用去噪擴(kuò)散概率模型處理來自第1階段輸出的粗略估計(jì)。該模型使用馬爾科夫隨機(jī)場建模圖像像素與周圍上下文之間的依賴關(guān)系,然后,基于周圍像素預(yù)測缺失像素的最可能值,并根據(jù)上一次迭代的結(jié)果更新其預(yù)測,直到預(yù)測收斂為最終解決方案。RePaint的一個(gè)關(guān)鍵優(yōu)勢是能夠處理帶有缺失像素、裂縫、孔洞和其他類型損傷的圖像,還可以處理紋理表面,例如頭發(fā)和草地。Li等人提出了一種修復(fù)大面積缺失區(qū)域同時(shí)保留圖像紋理和結(jié)構(gòu)的空間擴(kuò)散模型SDM[65]。 SDM使用深度神經(jīng)網(wǎng)絡(luò)生成缺失像素的粗略估計(jì), 然后使用空間擴(kuò)散模型對其進(jìn)行改進(jìn)。 空間擴(kuò)散模型的一個(gè)關(guān)鍵優(yōu)勢是能夠填充大的缺失區(qū)域, 同時(shí)保持原始圖像的紋理和結(jié)構(gòu)。 Horita等人引入結(jié)構(gòu)引導(dǎo)解決大面積缺失的圖像修復(fù)問題, 提出了一種結(jié)構(gòu)引導(dǎo)擴(kuò)散模型SGDM[66]。SGDM由結(jié)構(gòu)生成器和紋理生成器組成,都屬于擴(kuò)散概率模型。結(jié)構(gòu)生成器用于生成邊緣圖像,該圖像指導(dǎo)紋理生成器進(jìn)行更具語義效率的修復(fù)。由于依賴結(jié)構(gòu)生成器的輸出可能會(huì)導(dǎo)致錯(cuò)誤的修復(fù),因此采用了一種聯(lián)合訓(xùn)練方法,應(yīng)用了貝葉斯去噪和動(dòng)量框架[67],從數(shù)據(jù)增強(qiáng)中隨機(jī)擦除區(qū)域,防止數(shù)據(jù)損壞并提高泛化性能。雖然SGDM生成的圖像在結(jié)構(gòu)、紋理和顏色梯度方面具有更好的泛化能力,但仍存在2個(gè)缺點(diǎn),一是無法生成具有足夠封閉邊緣的圖像,二是采用兩個(gè)擴(kuò)散模型使得計(jì)算成本較高。為了改善計(jì)算成本高和所需時(shí)間長的問題,Rombach等人提出利用壓縮模型和UNet架構(gòu)在低維潛在空間上進(jìn)行高分辨率的圖像合成,該空間具有較低的復(fù)雜性[68]。壓縮模型基于自編碼器,它通過感知損失和基于patch的對抗目標(biāo)訓(xùn)練,有助于實(shí)現(xiàn)自然的重建效果。這種嘗試首次達(dá)到了在復(fù)雜度降低和細(xì)節(jié)保留之間的平衡點(diǎn),極大提高了修復(fù)后圖像的視覺保真度。

圖8 RePaint模型架構(gòu)Fig.8 The architecture of RePaint

綜上所述,基于擴(kuò)散模型的修復(fù)方法利用擴(kuò)散過程填補(bǔ)缺失區(qū)域,通常能夠生成高質(zhì)量的修復(fù)結(jié)果,在修復(fù)大面積缺失的圖像上具有優(yōu)勢,還可以生成多樣性的修復(fù)結(jié)果,在創(chuàng)造性修復(fù)方面為研究者提供更多的思路。但是該類方法存在訓(xùn)練時(shí)間長、計(jì)算復(fù)雜度高的問題,擴(kuò)散模型通常依賴于一些參數(shù)的選擇和調(diào)整,并且需要研究者在參數(shù)設(shè)置方面具有一定的經(jīng)驗(yàn)。

2 圖像修復(fù)相關(guān)數(shù)據(jù)集

數(shù)據(jù)集在整個(gè)機(jī)器學(xué)習(xí)流程中起著至關(guān)重要的作用,是用于訓(xùn)練、驗(yàn)證和測試機(jī)器學(xué)習(xí)模型的基礎(chǔ)。實(shí)際上,收集大量配對的缺失圖像和完整圖像是相當(dāng)困難的,因此,研究者大多數(shù)是利用大規(guī)模的公共數(shù)據(jù)集,通過在這些公共數(shù)據(jù)集上設(shè)計(jì)掩膜,生成缺失圖像。在圖像修復(fù)任務(wù)中,數(shù)據(jù)集被分為圖像數(shù)據(jù)集和掩膜圖像數(shù)據(jù)集。圖像數(shù)據(jù)集的類別包括物體、場景、人臉等,掩膜圖像數(shù)據(jù)集分為規(guī)則掩膜和不規(guī)則掩膜,規(guī)則掩膜一般由研究者直接在圖像任意位置添加矩形掩膜獲得。本節(jié)將介紹每個(gè)類別中的一些代表性數(shù)據(jù)集。

2.1 掩膜圖像數(shù)據(jù)集

NVIDIA Irregular Mask數(shù)據(jù)集[39]收集了大量不規(guī)則掩膜,其中包含 55 116張用于訓(xùn)練的掩膜圖像,以及12 000個(gè)用于測試的掩膜圖像。該數(shù)據(jù)集中圖像的分辨率為512×512,圖9(a)展示了該數(shù)據(jù)集的樣例。

圖9 掩膜圖像數(shù)據(jù)集樣例Fig.9 An example of masked image dataset

Quick Draw Irregular Mask數(shù)據(jù)集[69]是一個(gè)不規(guī)則掩膜數(shù)據(jù)集,它是基于Quick Draw數(shù)據(jù)集制作的。通過從Quick Draw數(shù)據(jù)集中隨機(jī)采樣筆畫、隨機(jī)選擇筆畫數(shù)量以及隨機(jī)采樣放大倍數(shù),得到分辨率為 512×512的50 000張訓(xùn)練掩膜圖像和10 000張測試掩膜圖像,圖9(b)展示了該數(shù)據(jù)集的樣例。

Foreground-aware數(shù)據(jù)集[70]是一個(gè)不規(guī)則掩膜數(shù)據(jù)集,包含了標(biāo)注的前景和背景信息,可以幫助算法更好地理解圖像中不同部分的語義和結(jié)構(gòu)。該數(shù)據(jù)集包含10萬個(gè)用于訓(xùn)練的掩膜和1萬個(gè)用于測試的掩膜,每個(gè)掩模都是大小為 256×256的二值圖像。

2.2 圖像數(shù)據(jù)集

常用的街景圖像數(shù)據(jù)集有谷歌街景數(shù)字圖像數(shù)據(jù)集 SVHN[71]、巴黎街景圖像數(shù)據(jù)集Paris StreetView[72]和城市街景數(shù)據(jù)集Cityscapes[73]。SVNH數(shù)據(jù)集是從Google StreetView中的門牌號獲得的,由99 289張經(jīng)過小裁剪的數(shù)字圖像組成,涵蓋了從1位數(shù)字到3位數(shù)字不等的各種房號,圖像中的數(shù)字可能出現(xiàn)在不同位置、不同尺度或不同背景下。Paris StreetView數(shù)據(jù)集收集了巴黎城市中不同地區(qū)的街景圖像,這些圖像捕捉了城市的各個(gè)角落和風(fēng)貌,它包含14 900個(gè)訓(xùn)練圖像和100 個(gè)測試圖像。Cityscapes數(shù)據(jù)集側(cè)重于城市街道場景的語義理解,收集了德國和其他城市的城市街景圖像。每張圖像都有詳細(xì)的像素級別標(biāo)注,用于表示每個(gè)像素屬于不同的類別,如道路、建筑物、車輛等。該數(shù)據(jù)集總共包含5 000張帶有精細(xì)標(biāo)注的圖像和20 000張帶有粗略標(biāo)注的圖像。Cityscapes數(shù)據(jù)集樣例如圖10(a)所示。

圖10 圖像數(shù)據(jù)集樣例Fig.10 An example of image dataset

常用的場景數(shù)據(jù)集包含日常場景圖像數(shù)據(jù)集MS COCO[74]、大規(guī)模多場景圖像數(shù)據(jù)集ImageNet[75]和自然場景圖像數(shù)據(jù)集Places2[76]。MS COCO數(shù)據(jù)集收集了來自各種場景和環(huán)境的圖像,涵蓋了超過80個(gè)不同的物體和場景類別,如人、動(dòng)物、物體、交通工具、建筑物等。每張圖像都有詳細(xì)的標(biāo)注,包括物體的邊界框、物體類別、圖像分割掩膜等信息。ImageNet是根據(jù)WordNet層次結(jié)構(gòu)組織的圖像數(shù)據(jù)集,每個(gè)子集都代表一個(gè)有意義的概念,當(dāng)前版本的數(shù)據(jù)集包含21 841個(gè)非空子集和14 197 122張圖像。ImageNet數(shù)據(jù)集樣例如圖10(b)所示。Places2數(shù)據(jù)集包含來自400個(gè)場景類別的超過 1 000萬張圖像,具有不同種類的場景、不同季節(jié)、天氣和光照條件。

常用的人臉圖像數(shù)據(jù)集包含人臉標(biāo)志數(shù)據(jù)集 Helen Face[77]、大型人臉屬性數(shù)據(jù)集CelebA[78]、高質(zhì)量圖像數(shù)據(jù)集CelebA-HQ[79]和多樣化的高質(zhì)量人臉數(shù)據(jù)集FFHQ[80]。Helen Face數(shù)據(jù)集中的人臉圖像包括了不同種族、性別、年齡和表情的人臉,以及不同姿勢、光照條件和背景。每張人臉圖像都有對應(yīng)的人工標(biāo)注,標(biāo)注了人臉上的關(guān)鍵點(diǎn)位置,如眼睛、鼻子、嘴巴。該數(shù)據(jù)集包含2 000張用于訓(xùn)練的圖像和330張用于測試的圖像。CelebA數(shù)據(jù)集是一個(gè)大規(guī)模的人臉屬性數(shù)據(jù)集,收集了來自互聯(lián)網(wǎng)的名人人臉圖像。該數(shù)據(jù)集多樣性大、數(shù)量大、注釋豐富,包括10 177個(gè)身份、202 599張人臉圖像、5個(gè)地標(biāo)位置以及每張圖像40個(gè)屬性注釋。CelebA-HQ數(shù)據(jù)集由GAN模型開發(fā),構(gòu)建了CelebA的高質(zhì)量版本,該數(shù)據(jù)集包含30 000張尺寸為1 024×1 024的圖像。 FFHQ數(shù)據(jù)集收集了來自Flickr圖片分享平臺的人臉圖像, 其中包括各種不同類型的人臉照片, 包含70 000張尺寸為1 024×1 024的圖像。

常用的物體圖像數(shù)據(jù)集包括建筑物數(shù)據(jù)集Fa?ade[81]、紋理數(shù)據(jù)集DTD[82]、斯坦福汽車數(shù)據(jù)集Stanford Cars[83]。Facade 數(shù)據(jù)集是來自不同城市、具有不同建筑風(fēng)格的立面圖像的數(shù)據(jù)集,從現(xiàn)代建筑到傳統(tǒng)建筑等,包括來自不同來源的606張經(jīng)過校正的立面圖像。DTD數(shù)據(jù)集是一個(gè)紋理數(shù)據(jù)庫,收集野外的紋理圖像,如植物、動(dòng)物、紋理材質(zhì)等。該數(shù)據(jù)集由5 640張圖像組成,按照47個(gè)類別進(jìn)行組織。DTD數(shù)據(jù)集樣例如圖10(c)所示。Stanford Cars數(shù)據(jù)集收集了不同品牌、型號、顏色和角度的汽車圖像,每張汽車圖像都有對應(yīng)的標(biāo)注,標(biāo)注了汽車的型號、品牌等信息。該數(shù)據(jù)集包含來自196類汽車的16 185張圖像。

3 質(zhì)量評價(jià)指標(biāo)及代表性方法性能對比

在完成圖像修復(fù)工作后,一般需要通過質(zhì)量評價(jià)指標(biāo)衡量模型的性能。質(zhì)量評價(jià)方法分為主觀評價(jià)和客觀評價(jià),主觀評價(jià)方法需要多名觀察者對修復(fù)后的圖像與原圖進(jìn)行對比并打分,客觀評價(jià)方法采用不同的屬性對修復(fù)后的圖像與原圖進(jìn)行計(jì)算。主觀評價(jià)依賴于觀察者的主觀感受,不僅費(fèi)時(shí)費(fèi)力,而且缺乏公平性?？陀^評價(jià)借助不同的評判指標(biāo)對圖像進(jìn)行量化界定,能夠區(qū)分人眼感知不到的細(xì)微差別,從不同角度和屬性出發(fā),對圖像進(jìn)行更全面的評判。例如,均方誤差、峰值信噪比、結(jié)構(gòu)相似性指數(shù)[84]和學(xué)習(xí)感知圖像塊相似性通常被用來衡量重構(gòu)圖像的質(zhì)量。初始分?jǐn)?shù)[85]、Fréchet初始距離[86]在生成對抗網(wǎng)絡(luò)中通常被用來衡量生成圖像樣本的質(zhì)量。本節(jié)簡要介紹常用的客觀評價(jià)指標(biāo)的工作原理。

1)平均絕對偏差(mean absolute error, MAE,式中簡記EMAE)[87]衡量了修復(fù)后的圖像Iout與原始圖像Iimage像素之間的絕對差異的平均程度,MAE值越小說明修復(fù)后的圖像越接近原始圖像。其計(jì)算公式為

(1)

2)均方誤差(mean square error, MSE,式中簡記EMSE)[88]衡量了修復(fù)后的圖像Iout與原始圖像Iimage之間差異的平方的平均值,MSE值越小,修復(fù)后的圖像質(zhì)量越好。然而,由于平方項(xiàng)的存在,MSE在處理異常值時(shí)可能會(huì)受到較大的影響,較大的誤差會(huì)被放大。其計(jì)算公式為

(2)

3)峰值信噪比(peak signal to noise ratio,PSNR,式中簡記RPSNR)是一種衡量噪聲影響修復(fù)結(jié)果程度的評價(jià)指標(biāo),比較修復(fù)后的圖像Iout與原始圖像Iimage之間的相似性。較高的PSNR值表示重建圖像與原始圖像之間的差異較小,即圖像的質(zhì)量較高。其計(jì)算公式為

(3)

式中:PMAX是圖像的最大可能像素值。

4)結(jié)構(gòu)相似性指數(shù)(structure similarity index measure,SSIM,式中簡記MSSIM)是一種用于測量兩個(gè)圖像之間的相似度。SSIM能夠感知結(jié)構(gòu)信息的變化,它基于修復(fù)后的圖像Iout和原始圖像Iimage之間的3個(gè)屬性進(jìn)行比較測量:亮度、對比度、結(jié)構(gòu)。SSIM的計(jì)算公式是3個(gè)屬性的加權(quán)組合,

MSSIM=[l(x,y)]α[c(x,y)]β[s(x,y)]γ

(4)

式中:l(x,y)、(x,y)、s(x,y)表示修復(fù)后的圖像Iout和原始圖像Iimage的亮度、對比度、結(jié)構(gòu)的估計(jì)值。

5)學(xué)習(xí)感知圖像塊相似性(learned perceptual image patch similarity,LPIPS,式中簡記SLPIPS)[89]是一種使用卷積神經(jīng)網(wǎng)絡(luò)衡量圖像之間相似性的評價(jià)指標(biāo)。LPIPS首先將修復(fù)后的圖像Iout和原始圖像Iimage分成小的圖像塊,然后,使用預(yù)訓(xùn)練的CNN模型提取這些圖像塊的特征表示,最后,通過比較這些特征表示的差異計(jì)算圖像之間的相似性分?jǐn)?shù)。其計(jì)算公式為

(5)

6)初始分?jǐn)?shù)(inception score,IS,式中簡記SIS)是一種用于評價(jià)生成對抗網(wǎng)絡(luò)生成的圖像質(zhì)量和多樣性的指標(biāo),能夠衡量生成圖像的逼真度和多樣性。IS首先使用預(yù)訓(xùn)練的Inception V3模型提取修復(fù)后的圖像Iout與原始圖像Iimage的特征向量,然后,計(jì)算每張圖像的預(yù)測類別分布及分布的多樣性,最終,由預(yù)測類別分布的分散程度和均衡程度綜合評估修復(fù)后圖像Iout的質(zhì)量和多樣性。其計(jì)算公式為

(6)

式中:x表示生成的圖像;y表示Inception V3模型提取的向量;N表示生成圖像的數(shù)量;i表示生成圖像數(shù)量變量。生成具有有意義對象的圖像會(huì)導(dǎo)致條件標(biāo)簽分布p(y|xi)的熵低,生成具有不同對象的圖像會(huì)導(dǎo)致邊緣標(biāo)簽分布p(y) 的熵高,因此,根據(jù)KL散度,IS越高圖像質(zhì)量越好。

7)Fréchet初始距離(Fréchet Inception distance,FID,式中簡記dFID)的計(jì)算方法基于深度特征的統(tǒng)計(jì)特性,通常使用預(yù)訓(xùn)練的Inception V3模型提取圖像的特征,計(jì)算修復(fù)后的圖像和原始圖像特征的多維高斯分布,并測量這兩個(gè)分布之間的相似程度。FID越小,則表示這兩個(gè)圖像在特征空間中越接近,即修復(fù)后圖像的質(zhì)量越高。其計(jì)算公式為

dFID=‖μx-μy‖2+

(7)

式中:μx表示原始圖像的特征均值;μy表示修復(fù)后圖像的特征均值;tr(·)表示矩陣的跡。與Inception Score相比,FID更加關(guān)注圖像在特征空間中的分布,因此,可以更準(zhǔn)確地捕捉圖像的質(zhì)量和多樣性。然而,FID需要復(fù)雜的計(jì)算量,因?yàn)樯婕暗綀D像的特征統(tǒng)計(jì)分析。

結(jié)合上述質(zhì)量評價(jià)指標(biāo),統(tǒng)計(jì)了一些代表性方法的部分實(shí)驗(yàn)結(jié)果,如表1所示,展示了不同圖像修復(fù)方法在常用數(shù)據(jù)集上的性能對比結(jié)果。其中,“↑”表示該評價(jià)指標(biāo)值越大圖像質(zhì)量越好,“↓”表示該評價(jià)指標(biāo)值越小圖像質(zhì)量越好,“-”表示文獻(xiàn)中沒有該評價(jià)指標(biāo)的數(shù)值結(jié)果。

表1 不同圖像修復(fù)方法在常用數(shù)據(jù)集上的性能對比Tab.1 Performance comparison of various image inpainting methods on common datasets

4 結(jié)論與展望

圖像修復(fù)作為底層任務(wù),旨在從受損、缺失或受噪聲干擾的圖像中恢復(fù)出原始圖像的信息,對于許多計(jì)算機(jī)高級視覺任務(wù)的成功具有關(guān)鍵意義。通過圖像修復(fù),可以有效地還原受損圖像的內(nèi)容和細(xì)節(jié),使其恢復(fù)到更接近原始狀態(tài),從而為后續(xù)的視覺分析和應(yīng)用提供更準(zhǔn)確、可靠的數(shù)據(jù)基礎(chǔ)。隨著深度學(xué)習(xí)技術(shù)的飛速進(jìn)步,涌現(xiàn)出大量新技術(shù)和新模型,從而推動(dòng)基于深度學(xué)習(xí)的圖像修復(fù)方法邁上蓬勃發(fā)展的階段。這些方法通過應(yīng)用新的模型架構(gòu)、優(yōu)化模型結(jié)構(gòu)、采用先進(jìn)的修復(fù)策略、先驗(yàn)信息等方面,取得了更加卓越的修復(fù)效果。然而,由于技術(shù)不斷地迭代,這類方法在新技術(shù)方面的應(yīng)用總結(jié)并未得到及時(shí)更新。因此,本文從修復(fù)策略的角度出發(fā),盡可能全面地對基于深度學(xué)習(xí)的圖像修復(fù)任務(wù)進(jìn)行分類總結(jié),概述了常用的圖像修復(fù)數(shù)據(jù)集和質(zhì)量評價(jià)指標(biāo),總結(jié)了一些代表性方法的性能對比。在此基礎(chǔ)上,針對該領(lǐng)域目前存在的難題和未來研究趨勢做出以下展望。

1)如何根據(jù)不同的圖像區(qū)域或損壞類型自適應(yīng)地采用不同的修復(fù)策略,是一個(gè)亟需解決的難題?；谙袼厣墒降男迯?fù)方法通?？梢杂行У靥幚碓肼?通過預(yù)測像素值降低噪聲的影響,但是每個(gè)像素獨(dú)立地預(yù)測和生成,會(huì)導(dǎo)致修復(fù)結(jié)果在復(fù)雜紋理區(qū)域出現(xiàn)失真和模糊。漸進(jìn)式圖像修復(fù)策略以分階段處理的方式在解決復(fù)雜損壞、提高修復(fù)質(zhì)量以及充分利用信息傳遞方面具有明顯的優(yōu)勢。然而,不同階段之間的信息傳遞可能不夠充分,導(dǎo)致前后階段之間的一致性和連貫性下降,并且每個(gè)階段的修復(fù)都可能引入一定的誤差,這些誤差可能會(huì)在后續(xù)階段中積累,從而影響修復(fù)結(jié)果的質(zhì)量?；诰矸e感知的修復(fù)策略可以適應(yīng)不同類型的損壞,但對于大范圍的復(fù)雜損壞可能失效,并且在處理復(fù)雜紋理和結(jié)構(gòu)時(shí)容易引入失真和模糊?；谡{(diào)制的修復(fù)方法注重保留圖像的結(jié)構(gòu)和紋理特征等高頻信息,修復(fù)結(jié)果通常更加自然和真實(shí),不容易引入失真,但常常忽略低頻信息,而在一些情況下,圖像的低頻信息也很重要。因此,現(xiàn)有的方法大都針對于不同類型的損壞選擇不同的修復(fù)策略,難以兼顧所有損壞模式。如何實(shí)現(xiàn)根據(jù)圖像的特點(diǎn)靈活地采用修復(fù)策略是一個(gè)值得深入研究的方向。

2)計(jì)算效率高、成本低的高分辨率圖像修復(fù)模型是一個(gè)有待研究的熱點(diǎn)問題。隨著科技的發(fā)展和商業(yè)應(yīng)用的擴(kuò)展,高分辨率圖像在醫(yī)療、安防、衛(wèi)星圖像等諸多領(lǐng)域的需求逐漸增加,并且隨著數(shù)據(jù)的可獲取性和多樣性不斷提升,為訓(xùn)練更高質(zhì)量的圖像修復(fù)模型創(chuàng)造了良好的環(huán)境。盡管一些高級的圖像修復(fù)方法(如Transformer類)在高分辨率圖像上的修復(fù)結(jié)果優(yōu)異,但其計(jì)算成本和硬件要求難以在實(shí)際應(yīng)用中推廣。雖然U-Net類和GAN類修復(fù)方法在高分辨率圖像修復(fù)中具有一定的潛力,但它們通常采用增加卷積層擴(kuò)大感受野的方式使模型學(xué)習(xí)高層次的圖像信息,不僅會(huì)導(dǎo)致模型的參數(shù)量和計(jì)算量增加,還會(huì)增加模型的復(fù)雜性,從而使模型更容易過擬合訓(xùn)練數(shù)據(jù)。因此,研究低計(jì)算成本的高分辨率圖像修復(fù)的方法對更好地利用豐富的大規(guī)模數(shù)據(jù)具有重要意義。

3)研究一種能在多類型數(shù)據(jù)集上進(jìn)行綜合訓(xùn)練并合理修復(fù)各種類型圖像的模型具有重要意義。目前基于網(wǎng)絡(luò)架構(gòu)改進(jìn)的圖像修復(fù)方法大多數(shù)都是針對某一類數(shù)據(jù)集進(jìn)行訓(xùn)練,不僅適用范圍受限,而且無法統(tǒng)一衡量方法的好壞。如果能實(shí)現(xiàn)利用單一模型在多類型數(shù)據(jù)集上進(jìn)行綜合訓(xùn)練,讓不同類型的任務(wù)共享底層特征表示,將有助于模型更好地捕捉數(shù)據(jù)之間的共性和聯(lián)系,避免了為每種數(shù)據(jù)類型設(shè)計(jì)和訓(xùn)練獨(dú)立模型的重復(fù)工作。這不僅可以將共享的底層特征表示遷移到其他相關(guān)任務(wù)上,還簡化了系統(tǒng)的架構(gòu)和部署。

4)研究一種能夠自動(dòng)檢測圖像受損區(qū)域并根據(jù)圖像類型進(jìn)行合理修復(fù)的網(wǎng)絡(luò)架構(gòu)具有實(shí)際意義?，F(xiàn)有的大多數(shù)圖像修復(fù)算法都需要給網(wǎng)絡(luò)中輸入缺失區(qū)域的掩膜圖像,以指導(dǎo)模型更精準(zhǔn)地修復(fù)受損區(qū)域,而在實(shí)際場景中獲取受損區(qū)域的掩膜圖像是不現(xiàn)實(shí)的。雖然基于掩膜到圖像的盲圖像修復(fù)方法能夠讓模型盡可能地從輸入圖像中推斷缺損的位置和特征,但是在自主識別缺損區(qū)域及修復(fù)內(nèi)容合理性方面仍面臨很大的挑戰(zhàn)。

5)隨著對自動(dòng)化及自適應(yīng)圖像修復(fù)方法的需求增加,設(shè)計(jì)一種無參考的質(zhì)量評價(jià)指標(biāo)迫在眉睫。當(dāng)前使用的客觀質(zhì)量評價(jià)指標(biāo)PSNR、SSIM、FID等都屬于全參考質(zhì)量評價(jià)指標(biāo),必須采用未破損的原圖作為參考圖像,對修復(fù)后的圖像進(jìn)行對比計(jì)算。如果在未來實(shí)現(xiàn)了自動(dòng)化及自適應(yīng)的圖像修復(fù)方法,就需要在符合人眼視覺判斷的無參考質(zhì)量評價(jià)指標(biāo)方面進(jìn)行深入研究。