基于改進(jìn)樣本塊匹配準(zhǔn)則的圖像修復(fù)

張君　常霞　王利娟

摘 要 基于樣本塊的圖像修復(fù)方法是圖像修復(fù)中常用的方法，有修復(fù)速度快，處理效果好，尤其可以處理大面積破損區(qū)域的圖像等優(yōu)點(diǎn)?；跇颖緣K的圖像修復(fù)方法在進(jìn)行修復(fù)時(shí)，置信度項(xiàng)逐漸衰減為零，使得優(yōu)先權(quán)計(jì)算的準(zhǔn)確性明顯降低，導(dǎo)致后期樣本塊的修復(fù)順序發(fā)生較大的誤差，產(chǎn)生圖像局部模糊等情況。針對(duì)以上問(wèn)題，本文引入引導(dǎo)因子和改用L1距離作為新的匹配準(zhǔn)則。根據(jù)實(shí)驗(yàn)處理結(jié)果，本文改進(jìn)的圖像修復(fù)方法具有更佳的視覺(jué)效果和更強(qiáng)的魯棒性，縮短了修復(fù)所用時(shí)間，取得了較好的修復(fù)效果。

關(guān)鍵詞 圖像修復(fù);樣本塊;優(yōu)先權(quán);置信度項(xiàng);匹配準(zhǔn)則

中圖分類號(hào)： TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.02.006

0 引言

圖像修復(fù)是圖像處理的一個(gè)熱點(diǎn)問(wèn)題，已用于文藝作品修護(hù)、醫(yī)學(xué)影像診斷、刑事偵查、日常修圖等方面。圖像修復(fù)技術(shù)根據(jù)圖像未破損區(qū)域的先驗(yàn)信息，來(lái)處理圖像中破損區(qū)域，滿足人眼視覺(jué)連續(xù)性并符合當(dāng)前圖像場(chǎng)景的方法。圖像修復(fù)是根據(jù)圖像先驗(yàn)信息的幾何特征和紋理結(jié)構(gòu)模擬出來(lái)的結(jié)果，可能與原圖像差別較大，但視覺(jué)上不會(huì)有明顯違和感，且與當(dāng)前圖像場(chǎng)境搭配融洽。因此，主觀方面上感知效果佳和客觀評(píng)價(jià)指標(biāo)相吻合的修復(fù)方法，都可視為最佳修復(fù)方法。

2000年Bertalmio和Sapiro等人[1]提出了數(shù)字圖像修復(fù)問(wèn)題，使得圖像修復(fù)引起人們的普遍關(guān)注。他們模仿流體力學(xué)方程，將等照度線方向進(jìn)行延伸和擴(kuò)散，進(jìn)而將圖像受損部分填補(bǔ)。該修復(fù)方法是一個(gè)連續(xù)迭代并不斷光滑擴(kuò)散的圖像變換（BCSB模型）過(guò)程。為改善該模型的缺陷，研究者在偏微分方程的基礎(chǔ)上，又相繼提出了整體變分模型（TV模型）和曲率驅(qū)動(dòng)擴(kuò)散模型（CDD模型）。當(dāng)修復(fù)區(qū)域面積較大時(shí)，以上三種修復(fù)方法會(huì)出現(xiàn)修復(fù)效果過(guò)度平滑、偽影延伸過(guò)度的現(xiàn)象。因此，基于偏微分方程的修復(fù)模型適用于處理破損面積相對(duì)較小的圖像。

2004年Criminisi等人[2]提出了基于樣本塊的圖像修復(fù)模型。該方法可修復(fù)破損面積較大的圖像，改善了基于偏微分方程圖像修復(fù)的不足?；跇颖緣K的圖像修復(fù)方法是將完整的圖像信息以樣本塊為基本單元，通過(guò)一定的匹配準(zhǔn)則，復(fù)制到圖像受損區(qū)域，完成整個(gè)圖像修復(fù)的過(guò)程。以置信度項(xiàng)和數(shù)據(jù)項(xiàng)的乘積構(gòu)成優(yōu)先權(quán)函數(shù)，經(jīng)過(guò)計(jì)算優(yōu)先權(quán)函數(shù)大小，確定圖像修復(fù)順序，進(jìn)而完成填充修復(fù)過(guò)程。隨著樣本塊填充的進(jìn)行，置信度項(xiàng)逐漸衰減為零，就造成填充后期圖像模糊等問(wèn)題。為解決這一問(wèn)題，諸多學(xué)者進(jìn)行不同方向的算法改進(jìn)。例如，改善優(yōu)先權(quán)性能[3-6]，自適應(yīng)調(diào)節(jié)樣本塊的大小[7-9]，優(yōu)化匹配準(zhǔn)則[10-11]，改進(jìn)樣本塊搜索原則和樣本塊的填充方式[12]。本文從優(yōu)先權(quán)函數(shù)的性能和匹配準(zhǔn)則這兩個(gè)方面進(jìn)行改進(jìn)和優(yōu)化。將原始算法中數(shù)據(jù)項(xiàng)和置信度項(xiàng)乘積改為三項(xiàng)之和，規(guī)避了置信度項(xiàng)急劇衰減為零和數(shù)據(jù)項(xiàng)中等照度線方向正交于法線方向而降為零等這兩種情況，更好的減緩了各項(xiàng)因素的制約關(guān)系，擴(kuò)大了數(shù)值的變化范圍，更有利于處理復(fù)雜結(jié)構(gòu)的圖像。另外采用L1距離作為匹配準(zhǔn)則，降低計(jì)算的復(fù)雜度，提高了匹配的準(zhǔn)確性。

1 基于樣本塊的圖像修復(fù)模型

基于樣本塊的圖像修復(fù)方法是在圖像破損區(qū)域?qū)ふ覂?yōu)先權(quán)函數(shù)值最大的樣本塊，然后通過(guò)SSD準(zhǔn)則，在完好的圖像區(qū)域找到與之最匹配的源樣本塊，將源樣本塊中的紋理信息和結(jié)構(gòu)信息復(fù)制給待修復(fù)的樣本塊，完成一次填充。

整個(gè)圖像區(qū)域?yàn)镮，Φ為圖像的源區(qū)域，Ω為圖像的待修復(fù)區(qū)域，其中I=Φ+Ω。p為待修復(fù)邊緣上的像素點(diǎn)，Ψp是以p為中心的待修復(fù)樣本塊。

基于樣本塊的圖像修復(fù)算法步驟如下：

（1）計(jì)算優(yōu)先權(quán)。首先確定待修復(fù)區(qū)域的邊緣，然后計(jì)算待修復(fù)區(qū)域邊緣上樣本塊的優(yōu)先權(quán)值，并找出優(yōu)先權(quán)值最大的像素點(diǎn)p所在的樣本塊Ψp。

m和n分別表示樣本塊的長(zhǎng)和寬，R，G和B分別表示紅綠藍(lán)色素帶，p和q分別表示待修復(fù)樣本塊中心點(diǎn)和匹配塊中心點(diǎn)。

（3）置信度項(xiàng)的更新。目標(biāo)樣本塊被填充后，則變成已知像素點(diǎn)，此時(shí)置信度值需要重新更新，使得C（p）=C（q），并重新計(jì)算新的優(yōu)先權(quán)值。如此完成一次填充，循環(huán)進(jìn)行以上步驟，直至完成全部區(qū)域填充。

在基于樣本塊的圖像修復(fù)算法中，優(yōu)先權(quán)函數(shù)是由置信度項(xiàng)和數(shù)據(jù)項(xiàng)這兩項(xiàng)相乘得到的，根據(jù)優(yōu)先權(quán)函數(shù)值的大小確定需要填充的樣本塊順序。樣本塊填充順序決定著圖像修復(fù)質(zhì)量的好壞。而由置信度項(xiàng)和數(shù)據(jù)項(xiàng)構(gòu)成的優(yōu)先權(quán)函數(shù)，就具有至關(guān)重要的決定性作用。隨著后期填充的進(jìn)行，置信度項(xiàng)的可信度會(huì)越來(lái)越低，導(dǎo)致填充順序出現(xiàn)越來(lái)越大的累積誤差。甚至可能還未完成破損區(qū)域填充，就已經(jīng)出現(xiàn)邊緣模糊不清晰的情況。

2 改進(jìn)的優(yōu)先權(quán)函數(shù)

基于樣本塊圖像修復(fù)算法中，優(yōu)先權(quán)函數(shù)由兩項(xiàng)組成：置信度項(xiàng)C（p）和數(shù)據(jù)項(xiàng)D（p）。修復(fù)過(guò)程中，樣本塊的填充順序由填充前緣的優(yōu)先權(quán)函數(shù)大小決定的。隨著填充的進(jìn)行，置信度項(xiàng)逐漸衰減為零，且累積誤差越來(lái)越大，比想象中更容易達(dá)到零，即在原始圖像修復(fù)過(guò)程中，圖像后期的填充效果不佳，局部圖像模糊，偽影情況比較明顯，與圖像場(chǎng)景不融合，肉眼可見(jiàn)修復(fù)效果不理想?？紤]到這些情況，本文提出一種新的優(yōu)先權(quán)函數(shù)

P（p）=C（p）+D（p）+7*τ（6）

其中，τ為引導(dǎo)因子。首先優(yōu)先權(quán)函數(shù)由之前的兩項(xiàng)數(shù)乘變?yōu)槿?xiàng)相加，將置信度項(xiàng)的大小變化更細(xì)膩化，在一定程度上延拓置信度項(xiàng)衰減程度，相比之前的數(shù)乘，有了很大的改善。另外，填充順序并非只受置信度項(xiàng)衰減影響，填充前緣的線性結(jié)構(gòu)對(duì)此也有著至關(guān)重要的影響，因此將線性結(jié)構(gòu)的變化進(jìn)一步加強(qiáng)和放大也可以緩沖數(shù)據(jù)項(xiàng)的影響。而本文設(shè)計(jì)的引導(dǎo)因子τ正好利用了圖像填充前緣結(jié)構(gòu)的變化，即類似于梯度，對(duì)填充順序的選擇起到了一定的引導(dǎo)作用和加強(qiáng)優(yōu)先權(quán)函數(shù)的篩選優(yōu)先樣本塊的填充順序的準(zhǔn)確性。其中τ的計(jì)算如下：

從數(shù)學(xué)表達(dá)式上看，優(yōu)先權(quán)函數(shù)兼顧了數(shù)據(jù)項(xiàng)和置信度項(xiàng)的變化情況及影響效果，可以較好地適應(yīng)圖像的局部變化情況。另外從圖中也可以看出隨著修復(fù)過(guò)程的進(jìn)行，置信度項(xiàng)的變化相較之前，大小變化明顯緩慢了很多，面對(duì)相同的圖片修復(fù)過(guò)程，在把握?qǐng)D像紋理信息和結(jié)構(gòu)信息的細(xì)節(jié)變化上，更勝一籌。

圖1（a）為原圖，圖1（b）為受損圖，圖1（c）為原始算法修復(fù)圖，圖1（d）為以置信度項(xiàng)和數(shù)據(jù)項(xiàng)之和為優(yōu)先權(quán)函數(shù)的算法修復(fù)圖，圖1（e）為本文改進(jìn)優(yōu)先權(quán)的算法修復(fù)圖。由表1可以看出改進(jìn)優(yōu)先權(quán)函數(shù)的算法是三種算法中效率最高的。

3 匹配原則設(shè)計(jì)

基于樣本塊圖像修復(fù)的原始算法中，根據(jù)像素差的平方和原則（SUM OF SQUARED DIFFERENCES）尋找最佳匹配塊。本文采用L1距離作為最佳匹配塊的尋找原則，將原來(lái)的像素差的平方和改為像素差的絕對(duì)值和。在計(jì)算方面，將原來(lái)的二次改為一次，降低了運(yùn)算的復(fù)雜度，縮短了圖像處理的運(yùn)行時(shí)間，精確度上也得到了明顯的改善。下圖為處理結(jié)果對(duì)比：

圖2（1）為原圖，圖2（2）為受損圖，圖2（3）為原始算法修復(fù)圖，圖2（4）為SSD匹配準(zhǔn)則和L1距離結(jié)合的修復(fù)圖，圖2（5）為以L1距離為匹配準(zhǔn)則的修復(fù)圖。從表2中可以看到，以L1為匹配準(zhǔn)則的修復(fù)圖像的峰值信噪比是最高的，且所用時(shí)間也是最短的，也因此證明了L1距離的有效性和運(yùn)算的高效率性。

4 實(shí)驗(yàn)結(jié)果

下面是三組實(shí)驗(yàn)處理結(jié)果，字母標(biāo)號(hào)的圖為程序運(yùn)行結(jié)果圖。其中，A1、B1、C1為原始基于樣本塊圖像修復(fù)方法的處理結(jié)果圖，A2、B2、C2為文獻(xiàn)[4]中算法處理結(jié)果圖，A3、B3、C3為本文算法處理結(jié)果圖。表3為三組實(shí)驗(yàn)結(jié)果的運(yùn)行數(shù)據(jù)。第一組魚群實(shí)驗(yàn)組，原始算法和文獻(xiàn)[4]算法處理結(jié)果圖中，都可以明顯看到有偽影情況，本文算法結(jié)果圖畫面比較清晰無(wú)偽影情況出現(xiàn)，且與周圍環(huán)境比較契合。結(jié)合表3中的數(shù)據(jù)，可以看到本文算法要比文獻(xiàn)[4]算法運(yùn)行速度快，峰值信噪比是三種算法中最大的，也充分說(shuō)明本文在應(yīng)對(duì)復(fù)雜背景破損圖時(shí)，也可以很好地修復(fù)圖像。第二組牛群實(shí)驗(yàn)組，原始算法處理圖中，在路和草叢的銜接處不自然，路的拐彎處有些僵直生硬。參考文獻(xiàn)[4]算法修復(fù)結(jié)果圖中在拐角處草叢和路銜接有斷缺，路中間的黑點(diǎn)和周圍環(huán)境不協(xié)調(diào)，視覺(jué)上略有不自然。本文算法修復(fù)結(jié)果圖中，草叢處修復(fù)比較自然，且草叢的葉也比較茂盛，修復(fù)效果細(xì)膩。第三組冰川實(shí)驗(yàn)圖中，破損修復(fù)圖中，補(bǔ)全部分雪塊、雪塊與流水的連接以及水面波紋的修復(fù)是難點(diǎn)，這三種算法修復(fù)各有不同，但從處理結(jié)果圖中可以看出，本文算法在水面波紋修復(fù)上修復(fù)效果更好。

從這三組實(shí)驗(yàn)中不難發(fā)現(xiàn)，若原圖像受損部分與未受損部分顏色差別較大，則修復(fù)后的圖像與原圖像計(jì)算后得到的峰值信噪比會(huì)降低很多。第一組和第二組實(shí)驗(yàn)缺損部分與原圖像色彩差別不大，所以整體修復(fù)后的峰值信噪比要高一點(diǎn)，但第二組實(shí)驗(yàn)缺損的牛與周圍色彩差別較大，所以修復(fù)后的圖像與原圖像計(jì)算得到的峰值信噪比相對(duì)要低很多。所以峰值信噪比作為圖像修復(fù)的客觀評(píng)價(jià)指標(biāo)是有一定的局限性的，與主觀評(píng)價(jià)指標(biāo)存在一定的差異性。

5 結(jié)束語(yǔ)

本文改進(jìn)的算法中，增加了引導(dǎo)因子，最大限度改善置信度項(xiàng)驟降為零的情況。通過(guò)實(shí)驗(yàn)對(duì)比，驗(yàn)證了本文改進(jìn)的算法具有更強(qiáng)適應(yīng)性和填充的準(zhǔn)確性。本文算法的缺點(diǎn)是針對(duì)太復(fù)雜的圖像背景，修復(fù)的情況還存在一定的缺憾，因此需要進(jìn)一步研究修復(fù)過(guò)程中細(xì)節(jié)信息的處理和利用，進(jìn)一步提高修復(fù)效果和修復(fù)效率。另外，圖像修復(fù)的客觀評(píng)價(jià)指標(biāo)還需要進(jìn)一步研究，主觀評(píng)價(jià)指標(biāo)更加一致的客觀評(píng)價(jià)函數(shù)。

參考文獻(xiàn)

[1]Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting. Proceedings of the 27th annual conference on Computer graphics and interactive techniques.2000.

[2]A. Criminisi，P. Perez，K. Toyama.Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing.2004.

[3]李開(kāi)宇，孫玉剛.引入連續(xù)性強(qiáng)度和置信度因子的快速圖像修復(fù)[J].中國(guó)圖象圖形學(xué)報(bào)，2012，17（4）：23-28.

[4]梁淑芬，郭敏，梁湘群.改進(jìn)的Criminisi算法的數(shù)字圖像修復(fù)技術(shù)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（5）.

[5]張申華，王克剛，祝軒.局部特征信息約束的改進(jìn)Criminisi算法[J].計(jì)算機(jī)工程與應(yīng)用，2014（8）.

[6]侯玉婷[1]，彭進(jìn)業(yè)[1]，韓東辰[1].改進(jìn)的Criminisi圖像修復(fù)算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（11）：135-138.

[7]孟春芝，何凱，焦青蘭.自適應(yīng)樣本塊大小的圖像修復(fù)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2012（03）：40-44.

[8]朱園珠，朱曉臨，陳嫚，李雪艷.基于改進(jìn)優(yōu)先級(jí)的自適應(yīng)圖像修復(fù)算法[J].合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2014（37）：689.

[9]陳美玲，朱鋁芬，張?jiān)?，et al.一種改進(jìn)的Criminisi新算法的圖像復(fù)原技術(shù)[J].現(xiàn)代信息科技，2019（18）.

[10]常晨，尹立新，方寶龍.一種改進(jìn)的Criminisi圖像修復(fù)算法[J].計(jì)算機(jī)應(yīng)用與軟件，2012（09）：246-248+273.

[11]李志丹，茍慧玲，程吉祥，et al.結(jié)合梯度特征與色彩一致性的圖像修復(fù)[J].光學(xué)精密工程，2019，27（01）：256-264.

[12]劉華明，畢學(xué)慧，葉中付，王維蘭.樣本塊搜索和優(yōu)先權(quán)填充的弧形推進(jìn)圖像修復(fù)[J].中國(guó)圖象圖形學(xué)報(bào)（8期）：993-1003.