數(shù)字圖像修復(fù)方法研究進(jìn)展

摘? 要：圖像修復(fù)的目的在于根據(jù)已知的圖像信息訓(xùn)練提取特征，再依據(jù)提取的有效特征恢復(fù)圖像受損部分的像素。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，數(shù)字圖像修復(fù)技術(shù)可以幫助人們解決更加復(fù)雜的問(wèn)題。文章梳理了該領(lǐng)域近年來(lái)的研究現(xiàn)狀：首先概述了傳統(tǒng)圖像修復(fù)方法以及存在的缺陷，然后對(duì)比分析修復(fù)效果有顯著提高的圖像修復(fù)方法，最后總結(jié)當(dāng)前數(shù)字圖像修復(fù)技術(shù)存在的缺陷并對(duì)將來(lái)的研究方向進(jìn)行展望。

關(guān)鍵詞：圖像修復(fù);計(jì)算機(jī)視覺(jué);自編碼網(wǎng)絡(luò)

中圖法分類(lèi)號(hào)：TP391.4? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2022）04-0038-03

Research Progress of Digital Image Inpainting Methods

WANG Ke

（College of Physics and Information Engineering， Fuzhou University， Fuzhou? 350108， China）

Abstract： The purpose of image inpainting is to train and extract features according to known image information， and then restore the damaged part pixels of the image based on the extracted effective features. With the development of deep learning technology， digital image inpainting technology can help people solve more complex problems. This paper combs the current state of research in this field in recent years： firstly， it outlines the traditional image inpainting methods and their defects， then it compares and analyzes the image inpainting methods that have significantly improved the inpainting effect， finally， it summarizes the defects of current digital image inpainting techniques and provides an outlook on future research directions.

Keywords： image inpainting; computer vision; auto encoder network

0? 引? 言

圖像修復(fù)（Image Inpainting）是一種旨在恢復(fù)受損圖像中像素特征受損的部分，然后生成與原始圖像在像素質(zhì)量和語(yǔ)義上高度相似圖像的技術(shù)。在傳統(tǒng)的圖像修復(fù)技術(shù)中，通常采用的是統(tǒng)計(jì)概率的機(jī)器學(xué)習(xí)算法，然后對(duì)其進(jìn)行改進(jìn)，以不同的方式促進(jìn)圖像修復(fù)的效果。傳統(tǒng)的圖像修復(fù)技術(shù)在低分辨和紋理結(jié)構(gòu)簡(jiǎn)單的圖像上修復(fù)效果較好，但是，針對(duì)高分辨和紋理復(fù)雜結(jié)構(gòu)圖像的修復(fù)卻不盡人意。

2014年以后，隨著深度學(xué)習(xí)技術(shù)研究不斷深入，數(shù)字圖像修復(fù)技術(shù)逐漸應(yīng)用于各行各業(yè)，幫助人們解決復(fù)雜的問(wèn)題。深度學(xué)習(xí)技術(shù)能夠彌補(bǔ)傳統(tǒng)圖像修復(fù)技術(shù)在紋理結(jié)構(gòu)和語(yǔ)義內(nèi)容上修復(fù)的缺陷，較好地解決了圖像修復(fù)在語(yǔ)義中的特征提取，使得修復(fù)的結(jié)果可以達(dá)到人類(lèi)視覺(jué)滿意的效果。本文將對(duì)傳統(tǒng)圖像修復(fù)方法和基于深度學(xué)習(xí)的數(shù)字圖像修復(fù)方法進(jìn)行對(duì)比分析，重點(diǎn)分析新出現(xiàn)的基于深度學(xué)習(xí)的方法，并對(duì)將來(lái)的研究熱點(diǎn)和發(fā)展方向提出展望。

1? 傳統(tǒng)圖像修復(fù)方法

傳統(tǒng)的圖像修復(fù)方法主要分為基于擴(kuò)散的方法和基于補(bǔ)丁的方法。分類(lèi)如圖1所示，本章主要介紹具有代表性的傳統(tǒng)圖像修復(fù)方法，總結(jié)和分析其優(yōu)缺點(diǎn)。

1.1? 基于擴(kuò)散的方法

基于擴(kuò)散的圖像修復(fù)方法主要是將圖像破損區(qū)域周?chē)南袼匦畔⒅饾u擴(kuò)散到破損區(qū)域，然后合成新的紋理來(lái)填充受損部分。Bertalmio等人[1]提出的BSCB（Bertalmio Sa piro Caselles Ballester）模型，它的中心思想是沿著等照度線向破損區(qū)域的方向光滑的傳遞信息，以達(dá)到補(bǔ)全圖像的目的。修補(bǔ)過(guò)程就是利用已知的像素信息向受損部分?jǐn)U散修復(fù)受損部分。Chan等人[2]在全變分（Total Variation， TV）模型[3]基礎(chǔ)上，提出CDD（Curvature Driven Diffusions）模型，經(jīng)過(guò)優(yōu)化后提出的CDD模型可以利用曲率來(lái)控制擴(kuò)散強(qiáng)度進(jìn)一步的擴(kuò)散已知圖像的信息，進(jìn)而提高圖像修復(fù)的真實(shí)性。

1.2? 基于補(bǔ)丁的方法

基于補(bǔ)丁的方法也稱(chēng)為基于樣本塊方法，它的中心思想是在已知的圖像中尋找與損壞區(qū)域最佳匹配的補(bǔ)丁塊，然后復(fù)制補(bǔ)丁塊的像素信息進(jìn)行填充，繼而完成受損圖像的修復(fù)。Criminisi等人[4]提出了一種紋理合成修復(fù)算法，這種方法也是基于匹配的補(bǔ)丁塊，在紋理和結(jié)構(gòu)信息的修復(fù)上，取得了不錯(cuò)的修復(fù)效果。Barnes等人[5]提出一種稱(chēng)為PatchMatch算法，通過(guò)使用快速最近鄰域算法降低了補(bǔ)丁塊搜索過(guò)程的內(nèi)存和計(jì)算成本。更多時(shí)候圖像受損情況是小部分缺失，這時(shí)基于補(bǔ)丁的方法就變得不好處理，研究者們引入了深度學(xué)習(xí)方法進(jìn)行圖像修復(fù)。756FB558-D66D-4ECD-A2ED-20B98D954884

2? 基于深度學(xué)習(xí)的圖像修復(fù)方法

圖像修復(fù)技術(shù)根據(jù)修復(fù)對(duì)象不同可分為：矩形遮蓋和小范圍破損區(qū)域的修復(fù)模型、修復(fù)不規(guī)則形狀的模型、產(chǎn)生多種修復(fù)結(jié)果的模型和修復(fù)高分辨率的模型。下面對(duì)具有代表性的模型進(jìn)行了分析和總結(jié)。

2.1? 基于自編碼器的圖像修復(fù)

自編碼器（Auto Encoder， AE）最早于1986年由Rumelhart等人[6]提出概念，后面逐步出現(xiàn)各種基于自編碼器的網(wǎng)絡(luò)方法。Pathak等人[7]提出名為上下文編碼器（Context Encoder， CE）圖像修復(fù)網(wǎng)絡(luò)，它將由基于上下文的像素預(yù)測(cè)驅(qū)動(dòng)的無(wú)監(jiān)督特征學(xué)習(xí)應(yīng)用于小矩形塊的圖像修復(fù)。CE網(wǎng)絡(luò)的結(jié)構(gòu)由編碼器和解碼器組成，中間采用通道等寬的全連接層（Channel-wise fully-connected layer）連接，編碼器提取輸入圖像特征，解碼器將壓縮后的特征圖逐步放大，恢復(fù)到原始圖片的大小。重建損失和對(duì)抗性損失兩種損失結(jié)合在一起使生成的圖像既具有結(jié)構(gòu)性，又具備真實(shí)語(yǔ)義，使預(yù)測(cè)結(jié)果更加真實(shí)。

2.2? 基于生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)

最早提出生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks， GAN）模型的是Goodfellow等人[8]，其靈感來(lái)自博弈論。由生成器和判別器組成，生成器是生成內(nèi)容，判別器是判斷生成內(nèi)容和真實(shí)內(nèi)容的真假。GAN結(jié)構(gòu)如圖2所示。

Zhao等人[9]提出基于無(wú)監(jiān)督跨空間變換的多樣性圖像修復(fù)網(wǎng)絡(luò)（Unsupervised Cross-space Translation Generative Adversarial Network， UCTGAN）。該網(wǎng)絡(luò)由多樣性映射模塊、生成模塊和條件編碼器模塊組成。在該模型中，通過(guò)輸入不同的真實(shí)圖像可以得到不同的修復(fù)圖像，通過(guò)判別器評(píng)估和多個(gè)損失的綜合得分排名可以返回修復(fù)效果最好的圖像，提高了圖像修復(fù)真實(shí)性和客觀一致性。

2.3? 多樣化的圖像修復(fù)方法

Liu等人[10]提出了PD-GAN（Probabilistic Diverse GAN），PD-GAN是一種用于圖像修復(fù)的概率多樣化GAN。對(duì)于待修復(fù)區(qū)域圖像，PD-GAN會(huì)產(chǎn)生具有多樣化和視覺(jué)逼真的多個(gè)修復(fù)結(jié)果。作者提出了空間概率分集歸一化（SPDNorm），模擬生成以上下文信息為條件的像素概率。同時(shí)，作者提出感知多樣性損失，并進(jìn)一步以PD-GAN方法進(jìn)行多樣化的內(nèi)容生成。在圖像填充過(guò)程中，待修復(fù)圖像邊界附近的像素應(yīng)該更具確定性，而位于待修復(fù)區(qū)域中心的像素應(yīng)該享受更多多樣化。

2.4? 高分辨率的圖像修復(fù)方法

先前的圖像修復(fù)方法由于內(nèi)存的限制，一直僅限于處理低分辨率圖像，但隨著深度學(xué)習(xí)技術(shù)研究逐步深入，高分辨率圖像的修復(fù)方法開(kāi)始了探索。Yi等人[11]提出一種上下文殘差聚合（Contextual Residual Aggregation， CRA）機(jī)制，對(duì)高分辨率圖像進(jìn)行修復(fù)。結(jié)合輕量級(jí)門(mén)控卷積和多個(gè)抽象級(jí)別上使用上下文注意力等技術(shù)，提高了圖像的修復(fù)質(zhì)量，同時(shí)可在不占用大量計(jì)算能力情況下對(duì)高分辨率圖像進(jìn)行推理和修復(fù)。

3? 數(shù)據(jù)集

近年來(lái)，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)研究領(lǐng)域蓬勃發(fā)展。許多學(xué)術(shù)機(jī)構(gòu)和企業(yè)在各種視覺(jué)任務(wù)中都開(kāi)放了大量的圖像數(shù)據(jù)集，以幫助更多的從業(yè)者將科研成果轉(zhuǎn)化為生產(chǎn)，為社會(huì)生產(chǎn)進(jìn)步和人民生活提供更好的服務(wù)。基于目前的技術(shù)和計(jì)算能力，訓(xùn)練一個(gè)通用的圖像修復(fù)模型仍然是一個(gè)很大的挑戰(zhàn)，因此大多數(shù)模型研究仍然是基于特定類(lèi)型的數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試。表1列出了圖像修復(fù)研究中最常用的幾個(gè)數(shù)據(jù)集。

4? 結(jié)? 論

本文主要是對(duì)深度學(xué)習(xí)技術(shù)在圖像修復(fù)方向提出的方法原理進(jìn)行簡(jiǎn)要的介紹和總結(jié)，重點(diǎn)從傳統(tǒng)圖像修復(fù)方法和深度學(xué)習(xí)圖像修復(fù)方法兩方面進(jìn)行對(duì)比和分析。深度學(xué)習(xí)技術(shù)彌補(bǔ)了傳統(tǒng)圖像修復(fù)的不足，使得圖像修復(fù)更加符合客觀要求。研究人員在生成模型選擇、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、判別器優(yōu)化、損失函數(shù)優(yōu)化等方面不斷創(chuàng)新并取得了長(zhǎng)足的進(jìn)步，并且隨著深度學(xué)習(xí)技術(shù)和硬件設(shè)備的快速發(fā)展，在醫(yī)學(xué)、文物數(shù)字修復(fù)等領(lǐng)域都有了很好的應(yīng)用。本文在對(duì)現(xiàn)有的技術(shù)進(jìn)行分析的基礎(chǔ)上，針對(duì)目前仍然存在的問(wèn)題和難點(diǎn)，對(duì)未來(lái)的研究方向和發(fā)展趨勢(shì)做出展望：（1）圖像修復(fù)實(shí)際上就是通過(guò)提取已知圖像的特征信息來(lái)進(jìn)行匹配破損圖像缺失區(qū)域的信息，但是如何將已知區(qū)域和未知缺失區(qū)域聯(lián)系起來(lái)提高圖像修復(fù)的準(zhǔn)確性，還需要在后續(xù)的研究中深入探索。（2）目前的圖像修復(fù)方法在處理規(guī)則的結(jié)構(gòu)化數(shù)據(jù)、小孔修復(fù)和低分辨率圖像修復(fù)等方面都能取得較好的修復(fù)效果。如何提高復(fù)雜紋理、大孔洞和高分辨率圖像的修復(fù)效果將會(huì)成為后續(xù)圖像修復(fù)研究的主要熱點(diǎn)。（3）對(duì)于深度學(xué)習(xí)技術(shù)來(lái)說(shuō)，網(wǎng)絡(luò)結(jié)構(gòu)越深，修復(fù)圖像的效果越好，但同時(shí)也會(huì)帶來(lái)數(shù)據(jù)集不好訓(xùn)練的問(wèn)題，對(duì)計(jì)算機(jī)機(jī)器的要求更高。如何平衡網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)和修復(fù)圖像的質(zhì)量之間的矛盾，需要進(jìn)一步的研究。（4）視頻流圖像的修復(fù)在現(xiàn)階段來(lái)說(shuō)具有一定的挑戰(zhàn)，如何結(jié)合網(wǎng)絡(luò)結(jié)構(gòu)來(lái)進(jìn)行修復(fù)，結(jié)合哪種網(wǎng)絡(luò)結(jié)構(gòu)來(lái)處理視頻流圖像也將會(huì)具有重大意義。

參考文獻(xiàn)：

[1] BERTALMIO M，SAPIRO G，CASELLES V，et al. Image inpainting [EB/OL].[2021.12.03].https：//dl.acm.org/doi/pdf/10.1145/344779.344972.

[2] CHAN T F，SHEN J H. Nontexture Inpainting by Curvature-Driven Diffusions [J].Journal of visual communication and image representation，2001，12（4）：436-449.756FB558-D66D-4ECD-A2ED-20B98D954884

[3] SHEN J J，CHAN T F. Mathematical models for local non-texture inpaintings [J].SIAM Journal on Applied Mathematics，2002，62（3）：1019-1043.

[4] CRIMINISI A，PEREZ P，TOYAMA K. Region filling and object removal by exemplar-based image inpainting [J].IEEE Transactions on image processing，2004，13（9）：1200-1212.

[5] BARNES C，SHECHTMAN E，F(xiàn)INKELSTEIN A，et al. PatchMatch： A randomized correspondence algorithm for structural image editing [J].ACM Transactions on Graphic，2009，28（3）：24.

[6] RUMELHART D E，HINTON G E，WILLIAMS R J. Learning internal representations by error propagation [J].Readings in Cognitive Science，1988：399-421.

[7] PATHAK D，KRAHENBUHL P，DONAHUE J，et al. Context encoders： Feature learning by inpainting [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：2536-2544.

[8] GOODFELLOW I J，POUGET-ABADIE J，MIRZA M，et al. Generative adversarial nets [J].Proceedings of the 27th International Conference on Neural Information Processing Systems，2014，2：2627-2628.

[9] ZHAO L，MO Q H，LIN S H，et al. UCTGAN： Diverse Image Inpainting Based on Unsupervised Cross-Space Translation [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：5740-5749.

[10] LIU H Y，WAN Z Y，HUANG W，et al. PD-GAN： Probabilistic Diverse GAN for Image Inpainting [J/OL].arXiv：2105.02201 [cs.CV].[2021-12-14].https：//arxiv.org/abs/2105.02201v1.

[11] YI Z L，TANG Q，AZIZI S，et al. Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：7505-7514.

作者簡(jiǎn)介：王柯（1994—），女，漢族，河南周口人，碩士研究生在讀，研究方向：圖像修復(fù)與圖像生成。756FB558-D66D-4ECD-A2ED-20B98D954884