基于圖像分塊和改進(jìn)Criminisi算法的圖像修復(fù)方法

摘 ?要： 圖像在采集和傳輸過程中，由于多種因素的干擾，圖像會受到一定的損傷，導(dǎo)致圖像質(zhì)量下降。針對目前圖像修復(fù)方法存在修復(fù)時間長，修復(fù)效果有限等不足，提出基于圖像分塊和改進(jìn)Criminisi算法的圖像修復(fù)方法。首先將原始圖像劃分為多個子塊，然后采用Criminisi算法對每一子塊圖像進(jìn)行修復(fù)，并針對傳統(tǒng)Criminisi算法存在的局限性進(jìn)行相應(yīng)的改進(jìn)，最后通過具體的圖像修復(fù)實(shí)驗(yàn)分析所提方法的有效性和優(yōu)越性。結(jié)果表明，所提方法減少了圖像修復(fù)時間，可以加快圖像修復(fù)的速度，圖像修復(fù)后的質(zhì)量要遠(yuǎn)優(yōu)于對比方法，是一種速度快、效果好的圖像修復(fù)方法。

關(guān)鍵詞： 圖像修復(fù); 圖像子塊; Criminisi算法; 修復(fù)效率; 修復(fù)效果; 實(shí)驗(yàn)分析

中圖分類號： TN911.73?34; TP181 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）01?0063?04

Image inpainting method based on image partition and

improved Criminisi algorithm

QI Juhui

Abstract： In the process of image acquisition and transmission， the image may be damaged to a certain extent due to the interference of many factors， resulting in the degradation of image quality. There are some shortcomings in the current image inpainting methods， such as long inpaiting time and limited repair effect. Therefore， an image inpainting method based on image segmentation and improved Criminisi algorithm is proposed. In the method， the original image is divided into several sub?blocks， and then each image sub?block is renovated with the Criminisi algorithm. The corresponding timing is changed for the limitations of the traditional Criminisi algorithm. Finauy， the effectiveness and superiority of the proposed method are analyzed by specific image inpainting experiments. The results show that the proposed method can shorten the duration of image restoration， accelerate the speed of image restoration， and the quality of image restoration is much better than that of contrast method. It is a fast and effective image restoration method.

Keywords： image inpainting; image sub?block; Criminisi algorithm; restoration efficiency; restoration effect; experimental analysis

0 ?引 ?言

隨著多媒體技術(shù)、數(shù)字?jǐn)z像設(shè)備的不斷發(fā)展，圖像處理和分析處理技術(shù)在多個領(lǐng)域得到了成功應(yīng)用，每天都有許多新的圖像產(chǎn)生，并在網(wǎng)絡(luò)上進(jìn)行傳輸。圖像在采集過程中，由于受到外界環(huán)境、天氣以及采集設(shè)備、攝像人員水平的限制，圖像質(zhì)量沒有達(dá)到實(shí)際應(yīng)用要求。同時在傳輸過程中，受到人為因素、網(wǎng)絡(luò)干擾等，使得圖像出現(xiàn)損壞或者部分缺失，這樣嚴(yán)重影響圖像的完整性。因此如何保持圖像完整性，提高圖像的清晰度，使其可以更好地描述圖像所要表達(dá)的內(nèi)容成為大家關(guān)注的焦點(diǎn)[1?3]。

當(dāng)前改善圖像質(zhì)量的方法眾多，如圖像增強(qiáng)技術(shù)、圖像復(fù)原技術(shù)和圖像修復(fù)技術(shù)。相對圖像增強(qiáng)技術(shù)、圖像復(fù)原技術(shù)，圖像修復(fù)技術(shù)主要針對缺失或受損圖像，可以對圖像缺失進(jìn)行修補(bǔ)，實(shí)際應(yīng)用價值更高，因此圖像修復(fù)技術(shù)的研究成為當(dāng)前一個重要的研究方向[4?6]。幾十年來，圖像修復(fù)技術(shù)一直被學(xué)者們所關(guān)注，國外對圖像修復(fù)技術(shù)研究的起步比較早，圖像修復(fù)技術(shù)十分成熟，國內(nèi)圖像修復(fù)技術(shù)研究時間比較短，但是發(fā)展速度相當(dāng)快，己經(jīng)有了長足的進(jìn)步，在許多方面已經(jīng)達(dá)到了國外圖像修復(fù)水平[7]。當(dāng)前，圖像修復(fù)技術(shù)主要包括：基于偏微分技術(shù)的圖像修復(fù)方法、基于紋理信息的圖像修復(fù)方法、基于結(jié)構(gòu)信息的圖像修復(fù)方法[8]。其中，基于偏微分技術(shù)的圖像修復(fù)方法主要是對待填充區(qū)域進(jìn)行不斷的擴(kuò)展，使得修復(fù)區(qū)域不斷縮小，到最后使得修復(fù)區(qū)域完全消失，最具代表性的方法是全變分原理的圖像修復(fù)，該方法的圖像修復(fù)效果好，但是圖像修復(fù)時間長，不能進(jìn)行圖像網(wǎng)絡(luò)的在線修復(fù)[9?10]?；诮Y(jié)構(gòu)信息的圖像修復(fù)方法，當(dāng)損壞或者缺失的區(qū)域較小時，圖像修復(fù)效果好，但是當(dāng)圖像缺陷的區(qū)域比較大，圖像修復(fù)效果急劇下降[11]。基于紋理信息的圖像修復(fù)方法對圖像進(jìn)行劃分，得到紋理部分和結(jié)構(gòu)部分，對于紋理部分和結(jié)構(gòu)部分分別進(jìn)行修復(fù)，圖像修復(fù)結(jié)果更加自然和完整，經(jīng)典方法為Criminisi算法的圖像修復(fù)方法，無論在圖像修復(fù)質(zhì)量或者修復(fù)速度方面，均優(yōu)于其他圖像修復(fù)方法。但是Criminisi算法同樣存在一定的缺陷，如重要信息丟失嚴(yán)重，修復(fù)區(qū)域的亮度不夠等[12?13]。

針當(dāng)目前圖像修復(fù)方法存在修復(fù)時間長，修復(fù)效果有限等不足，提出基于圖像分塊和改進(jìn)Criminisi算法的圖像修復(fù)方法。該方法對原始圖像進(jìn)行分塊，然后采用改進(jìn)Criminisi算法對子塊圖像進(jìn)行修復(fù)，最后通過圖像修復(fù)仿真實(shí)驗(yàn)測試本文方法的性能。結(jié)果表明，本文方法的圖像修復(fù)質(zhì)量好，圖像修復(fù)效率高，具有比較明顯的優(yōu)越性。

1 ?本文提出的圖像修復(fù)方法

1.1 ?圖像分塊

對于一幅待修復(fù)的原始圖像，將其劃分為多個子塊圖像，子塊圖像之間不存在重復(fù)區(qū)域，具體劃分思想如圖1所示。圖像經(jīng)過分塊后，可以對每一下子塊進(jìn)行修復(fù)操作，這些操作可以并行實(shí)現(xiàn)，能夠有效減少圖像修復(fù)的時間，加快圖像修復(fù)的速度。

1.2 ?傳統(tǒng)Criminisi算法

2003年，有學(xué)者提出圖像修復(fù)的Criminisi算法，突破了傳統(tǒng)圖像修復(fù)的框架，相對以前的圖像修復(fù)方法，Criminisi算法主要從兩個方面做了比較大的改進(jìn)，具體為：圖像修復(fù)順序的改善;采用區(qū)域的方式進(jìn)行填充和修復(fù)。

傳統(tǒng)方法從外往內(nèi)進(jìn)行修復(fù)，是一個典型的收縮過程，這樣外面圖像的像素優(yōu)先級別就高;而Criminisi算法采用優(yōu)先權(quán)的修復(fù)方式，認(rèn)為待修復(fù)像素點(diǎn)的周圍像素優(yōu)先級別更高，應(yīng)該提前進(jìn)行修改操作，較好地克服了傳統(tǒng)方法無法有效修復(fù)圖像邊緣的缺陷。同時，傳統(tǒng)方法修復(fù)采用像素點(diǎn)方式進(jìn)行修復(fù)，修復(fù)的時間比較長，而Criminisi算法采用區(qū)域方式進(jìn)行修復(fù)，大幅度降低了圖像的修復(fù)時間。

設(shè)原始待修復(fù)圖像為[I]，其待修復(fù)的區(qū)域?yàn)閇Ω]，[Φ]表示有效區(qū)域，[Ω]和[Φ]的邊界為[?Ω]，[p]表示邊界上優(yōu)先權(quán)最大的像素點(diǎn)，[φp]表示以[p]為中心的區(qū)域，該區(qū)域信息一部分已知，一部分未知待填充，[?Ip]表示[p]的等照度線方向，[np]表示[p]法向量。Criminisi算法的工作原理為：不斷對待修復(fù)區(qū)域進(jìn)行填充，直到待修復(fù)區(qū)域面積為零，具體如圖2所示。

Criminisi算法的工作過程具體如下：

Step1：輸入圖像，并對圖像進(jìn)行一定的處理，如尺寸大小的修改等。

Step2：將原始圖像待修復(fù)區(qū)域標(biāo)記為[Ω]，這樣圖像有用區(qū)域?yàn)椋篬Φ=I-Ω]，確定圖像中待修復(fù)區(qū)域邊界優(yōu)先權(quán)最大像素點(diǎn)，并估計[φp]，計算邊界上像素點(diǎn)的優(yōu)先權(quán)[P（p）]，具體為：

[P（p）=C（p）×D（p） ] （1）

式中：[D（p）]表示置信度，用于描述[φp]的信息量的多少，[D（p）]越大，那么其越早被修復(fù);[C（p）]表示數(shù)據(jù)項(xiàng)，用于描述[p]點(diǎn)的亮度變化程度，具體為：

[C（p）=q∈φp?ΦC（1）φpD（p）=?Ip*npa] （2）

式中：[φp]表示[φp]的面積;[a]表示歸一化因子;[np]表示[?Ω]和[p]的正交向量。

Step3：在邊界上像素點(diǎn)中找到優(yōu)先權(quán)最大的點(diǎn)[p]后，然后搜索最優(yōu)先的修復(fù)塊，設(shè)[φp]表示優(yōu)先級最高的待修復(fù)塊，那么完好區(qū)域的最佳樣本塊[φ′q]確定方式為：

[φ′q=arg min dφ′q∈Ω（φq，φ′q）] ? ? （3）

式中：[d（φq，φ′q） ]表示[φq]和[φ′q]之間的距離，計算公式具體為：

[d（φq，φ′q）=i jφq（i，j）-φ′q（i，j）2] ? ?（4）

Step4：采用完好區(qū)域的最佳樣本塊[φ′q]像素值填充到[φp]的像素點(diǎn)，[φp]的邊界就會發(fā)生變化，這樣[φp]置信度就會發(fā)生改變，具體改變方式為：

[C（p）=C（p）， ? ?p∈φp?Ω] ?（5）

Step5：不斷重復(fù)Step2～Step4，直至受損區(qū)域修復(fù)完整為止。

1.3 ?Criminisi算法的不足及改進(jìn)

在標(biāo)準(zhǔn)Criminisi算法的實(shí)際應(yīng)用中，發(fā)現(xiàn)其存在一些問題，具體表現(xiàn)為：到了修復(fù)后期，優(yōu)先權(quán)值不太可信，使圖像修復(fù)的順序發(fā)生錯誤;最佳樣本塊不是真正的最優(yōu)，修復(fù)效果差。因此，本文對標(biāo)準(zhǔn)Criminisi算法進(jìn)行改進(jìn)，具體如下。

1.3.1 ?優(yōu)先權(quán)值計算公式的改進(jìn)

從式（1）可以看出，當(dāng)[C（p）=0]時，無論置信度[D（p）]有多高，只要優(yōu)先權(quán)[P（p）=0]，就會對該區(qū)域進(jìn)行優(yōu)先修復(fù)，因此，對優(yōu)先權(quán)[P（p）]的計算公式做如下修改：

[Pp=Cp， ? ?Dp=0αCp+βDp， ? ?Dp≠0， ?and ?Cp≥0.5CpDp， ? ?Dp≠0， ?and ?Cp<0.5] （6）

式中[α]和[β]分別為一常數(shù)。

從式（6）可知，即使[Cp]=0，只要[Dp]比較大，那么該區(qū)域也能夠得到優(yōu)先修復(fù)，較好地解決了Criminisi算法存在的缺陷。

1.3.2 ?最佳樣本塊的確定

在標(biāo)準(zhǔn)Criminisi算法的圖像修改過程中，要搜索到和邊緣上優(yōu)先權(quán)值最大的最佳樣本塊，需要對整個圖像源完好區(qū)域進(jìn)行搜索，這樣搜索空間大，搜索時間長。事實(shí)上，最佳樣本塊僅存在于一個固定區(qū)域內(nèi)，基于馬爾可夫隨機(jī)場原理，本文將最佳樣本塊限定在待修補(bǔ)像素點(diǎn)為中心的正方形鄰域內(nèi)，該鄰域大小為[S×S]，如果受損區(qū)域最大為[m×n]，那么[S=2max+1]，這樣加快了最佳樣本塊的確定時間，加快圖像修復(fù)速度。

1.4 ?本文方法的圖像修復(fù)步驟

基于圖像分塊和改進(jìn)Criminisi算法的圖像修復(fù)方法的工作步驟具體為：

1） 收集待修復(fù)的圖像，并對圖像進(jìn)行一定的處理，如去噪、尺寸大小的歸一化操作等。

2） 對待修復(fù)的圖像進(jìn)行分塊操作，得到不同大小的子塊圖像。

3） 對每一個子塊圖像采用改進(jìn)Criminisi算法進(jìn)行修復(fù)。

4） 對修復(fù)后的子塊圖像進(jìn)行組合，得到最終的圖像修復(fù)結(jié)果。

2 ?圖像修復(fù)效果的測試與分析

2.1 ?測試環(huán)境

為了測試基于圖像分塊和改進(jìn)Criminisi算法的圖像修復(fù)方法的性能，選擇的測試平臺為：Intel 奔騰G4560 CPU，威剛XPG Z1 DDR4 2400 16 GB RAM，三星970 EVO NVMe M.2 250 GB固態(tài)硬盤，影馳GeForce RTX 2080 GAMER 顯卡的計算機(jī)，操作系統(tǒng)為WIN 10，采用Visual C++ 6.0作為編程方法，選擇圖像修復(fù)對象如圖3，圖4所示。

2.2 ?圖像修復(fù)結(jié)果的主觀評價

為了使本文方法的圖像修復(fù)結(jié)果具有可比性，本文選擇傳統(tǒng)Criminisi算法進(jìn)行對比測試，它們對鴕鳥圖像和猩猩圖像的修復(fù)結(jié)果如圖5，圖6所示。

由圖5和圖6的鴕鳥圖像和猩猩圖像的修復(fù)結(jié)果可知：Criminisi算法的修復(fù)結(jié)果出現(xiàn)了明顯的斷裂現(xiàn)象，同時一些不合理的信息也進(jìn)行了過度延伸，如紋理信息，出現(xiàn)了許多錯位的現(xiàn)象;而本文方法可以對損壞區(qū)域進(jìn)行較好地修復(fù)，修復(fù)后圖像更加完整，視覺效果更優(yōu)，圖像區(qū)域間的過渡效果更加自然，這主要是因?yàn)楸疚姆椒▽riminisi算法進(jìn)行了有效的改進(jìn)，鴕鳥圖像和猩猩圖像的修復(fù)結(jié)果才會更加理想。

2.3 ?圖像修復(fù)結(jié)果的客觀評價

采用峰值信噪比（PSNR）[14]對圖像修復(fù)結(jié)果進(jìn)行客觀評價，結(jié)果如表1所示。從表1可知，鴕鳥圖像或者猩猩圖像，本文方法修復(fù)后圖像的PSNR更大，修復(fù)后圖像與理想圖像間的誤差小，這表示圖像中有用信息量更多，相對于Criminisi算法，本文方法明顯提升了圖像質(zhì)量。

統(tǒng)計兩種方法對鴕鳥圖像或者猩猩圖像修復(fù)的時間，結(jié)果如表2所示。

從表2可知，本文方法的圖像修復(fù)時間短，Criminisi算法的圖像修復(fù)時間較長，因此本文方法圖像修復(fù)速度要快于Criminisi算法，改善了圖像修復(fù)效率。

3 ?結(jié) ?語

由于圖像經(jīng)常受到外界的干擾，出現(xiàn)許多損失區(qū)域，一些重要信息丟失，為了改善圖像質(zhì)量，提出基于圖像分塊和改進(jìn)Criminisi算法的圖像修復(fù)方法。與當(dāng)前其他圖像修復(fù)方法進(jìn)行了對比測試，結(jié)果表明，本文方法的圖像修復(fù)時間短，提高了圖像修復(fù)效率，圖像修復(fù)后視覺效果更優(yōu)，更加有利于后續(xù)的圖像處理和分析研究。

參考文獻(xiàn)

[1] LUO K， LI D X， FENG Y M. Depth?aided inpainting for disocclusion restoration of multi?view images using depth image?based rendering [J]. Journal of Zhenjiang University （Science A）， 2009， 10（12）： 1738?1749.

[2] 耿衛(wèi)江.結(jié)構(gòu)相似度索引耦合最優(yōu)稀疏表示的大規(guī)模損壞圖像動態(tài)修復(fù)[J].科學(xué)技術(shù)與工程，2014，60（25）：107?114.

[3] 康佳倫，唐向宏，張東，等.特征分類學(xué)習(xí)的結(jié)構(gòu)稀疏傳播圖像修復(fù)方法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2015，27（5）：864?872.

[4] 謝瓊，張紅英，彭博.基于模式相似性的圖像修復(fù)算法[J].現(xiàn)代電子技術(shù)，2013，36（2）：94?96.

[5] 孟春芝，何凱，焦青蘭.自適應(yīng)樣本塊大小的圖像修復(fù)方法[J].中國圖象圖形學(xué)報，2012，17（3）：337?341.

[6] 來毅，任莉，劉穎.空間差異度量約束的圖像修復(fù)[J].電訊技術(shù)，2018，58（8）：900?906.

[7] 楊歆，孫俊航.動態(tài)調(diào)節(jié)耦合紋理差異量化的圖像修復(fù)算法[J].計算機(jī)工程與設(shè)計，2018，39（7）：2015?2019.

[8] 杜閃閃，韓超.基于總變分模型的改進(jìn)圖像修復(fù)算法[J].激光與光電子學(xué)進(jìn)展，2018，55（7）：175?180.

[9] 朱婉霞，王國棟，潘振寬，等.基于多通道非線性擴(kuò)散項(xiàng)的運(yùn)動模糊圖像盲復(fù)原[J].激光與光電子學(xué)進(jìn)展，2018，55（7）：191?199.

[10] 謝斌，丁成軍，劉壯.基于圖像分解的圖像修復(fù)算法[J].激光與紅外，2018，48（5）：651?658.

[11] 劉繼忠，吳文虎，程承，等.基于像素濾波和中值濾波的深度圖像修復(fù)方法[J].光電子[?]激光，2018，29（5）：539?544.

[12] 李夢雪，翟東海，孟紅月，等.劃分特征子區(qū)域的圖像修復(fù)算法[J].計算機(jī)應(yīng)用，2017，37（12）：3541?3546.

[13] 張從飛，邵利平，師軍.結(jié)合自適應(yīng)梯度分類匹配的改進(jìn)Criminisi圖像修復(fù)算法[J].小型微型計算機(jī)系統(tǒng)，2018，39（2）：379?385.

[14] 何凱，?？』?，沈成南，等.基于SSIM的自適應(yīng)樣本塊圖像修復(fù)算法[J].天津大學(xué)學(xué)報（自然科學(xué)與工程技術(shù)版），2018，51（7）：763?767.

作者簡介：齊巨慧（1978—），男，山西原平人，碩士，工程師，研究方向?yàn)橛嬎銠C(jī)應(yīng)用。