基于改進(jìn)樣本塊匹配準(zhǔn)則的數(shù)字圖像修復(fù)方法

張園園

(安徽工業(yè)經(jīng)濟(jì)職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)與藝術(shù)學(xué)院,安徽 合肥 235100)

隨著互聯(lián)網(wǎng)的飛速發(fā)展,有關(guān)圖像信息的交流和互動(dòng)已經(jīng)成為當(dāng)今人們獲取信息和傳遞信息的重要依據(jù),人們?nèi)粘Ｉ钪袌D像信息必不可少[1].但是圖像信息在傳輸過程中會(huì)出現(xiàn)一些損壞以及一些人為的破壞,導(dǎo)致圖像出現(xiàn)污跡和劃痕；且拍照時(shí)不注意而拍入鏡頭的物體、人物以及拍照時(shí)留下的時(shí)間和文字信息,導(dǎo)致圖像不美觀[2,3].因此,圖像修復(fù)問題是當(dāng)今人們重視的問題,尤其是藝術(shù)價(jià)值和收藏價(jià)值較高的圖像修復(fù)問題具有更高的研究?jī)r(jià)值.圖像修復(fù)最早起源于古文物書畫等作品的修復(fù),且修復(fù)過程采用手工完成.但手工修復(fù)非常耗費(fèi)精力和金錢,也隱藏很大的風(fēng)險(xiǎn),會(huì)造成不可逆的結(jié)果[4-6].因此,當(dāng)前通常采用數(shù)字化的數(shù)字圖像修復(fù)技術(shù),利用特定的算法確定待修復(fù)區(qū)域,并依據(jù)有效的匹配規(guī)則,完成圖像修復(fù),確保修復(fù)圖像達(dá)到原圖的視覺效果[7,8].本文采用基于改進(jìn)樣本塊匹配準(zhǔn)則的數(shù)字圖像修復(fù)方法,提高修復(fù)圖像的質(zhì)量.

1 數(shù)字圖像修復(fù)研究

1.1 采集最佳目標(biāo)匹配塊

采用Criminisi算法進(jìn)行待修復(fù)圖像板塊優(yōu)先權(quán)的確定,設(shè)置H為整個(gè)圖像；Δ為等待修復(fù)區(qū)域；αΔ為待修復(fù)區(qū)域輪廓；α為已知像素區(qū)域,且α=1-Δ；Q為輪廓中心的目標(biāo)點(diǎn),待修復(fù)圖像板塊優(yōu)先權(quán)設(shè)定為：

Q(q)=B(q)O(q)

(1)

式(1)中：采用置信度項(xiàng)B(q)對(duì)目標(biāo)塊Υq中準(zhǔn)確信息進(jìn)行評(píng)定,得出：

(2)

將B(q)初始化后,得出：

(3)

數(shù)據(jù)項(xiàng)O(q)表示每次迭代輪廓αΔ前沿的等照強(qiáng)度函數(shù)：

(4)

(5)

σΔ的單位外法線方向?yàn)閡q,歸一化因子為φ,值為255.

為了獲取最大優(yōu)先級(jí)的匹配塊Υn,應(yīng)在找到最大優(yōu)先權(quán)的目標(biāo)塊Υq后通過匹配準(zhǔn)則對(duì)所在的已知區(qū)域中進(jìn)行搜索,兩種匹配塊匹配準(zhǔn)則為：

(6)

式(6)中的Υq和Υn相對(duì)的已知像素點(diǎn)RGB的誤差平方和(SSD)用o(Υq,Υn)表示如下：

(7)

其中,Υq及Υn中已知像素點(diǎn)分別對(duì)應(yīng)式中的s及k,Υq中像素點(diǎn)φ的RGB三原色分別為V(s)、F(s)、K(s)；Υn中像素點(diǎn)k的RGB三原色分別為V(k)、F(k)、K(k)；因此,可以通過以上方法找到最佳目標(biāo)匹配塊.

1.2 基于IG-GN算法的圖像修復(fù)方法

IG-GN算法是用于模板圖像及目標(biāo)圖像的高效配準(zhǔn)方法.由于將一種簡(jiǎn)單同時(shí)不實(shí)用的平方差及(SSD)相關(guān)準(zhǔn)則運(yùn)用在最初的IG-GN算法中,使得圖像潛在的亮度變得非常敏感.該種情況使得任何可能的移位和縮放變化在目標(biāo)圖像中都會(huì)引起很大的誤差[9],導(dǎo)致匹配塊和目標(biāo)塊產(chǎn)生一定的變形差異[10].因此,本文采用一種能夠接受圖像塊之間存在的潛在變化且融合了仿射變換函數(shù)的魯棒性高且實(shí)用的相關(guān)準(zhǔn)則,即ZNSSD準(zhǔn)則,其表示如下：

(8)

(9)

(10)

IG-GN算法采用的零均值歸一化平方差與ZNSSD相關(guān)準(zhǔn)則更加具備實(shí)用性,亮度的線性轉(zhuǎn)變可以在目標(biāo)圖像中出現(xiàn)[11],且算法的精準(zhǔn)度會(huì)增加.上述圖像修復(fù)效果更加適合常規(guī)視覺標(biāo)準(zhǔn),是因?yàn)樗趫D像修復(fù)中,能夠明顯減少圖像塊之間的差異[12].

最小化ZNSSD相關(guān)準(zhǔn)則BZNSSD(Δq)是IG-GN算法的運(yùn)算目標(biāo).通過將泰勒級(jí)數(shù)將式(8)展開后得出圖像形變?cè)隽喀為：

(11)

(12)

(13)

結(jié)合式(12)、(13)可以看出,這兩個(gè)都是只與對(duì)照?qǐng)D像有關(guān)的常數(shù),且都可以通過預(yù)計(jì)算得出.為得出最終的形變?cè)隽拷Y(jié)果,采用最小二乘法最小化公式(11)中BZNSSD(Δq),則有：

(14)

式(14)中海森矩陣N6×6表示如下：

(15)

通過式(15)可以看出,只對(duì)照?qǐng)D像的局部梯度值、參考形變函數(shù)的雅可比矩陣的海森矩陣,與形變參數(shù)p不相關(guān),其是迭代計(jì)算中的常數(shù),能夠通過預(yù)計(jì)算得出.該種運(yùn)算過程忽略了海森矩陣的循環(huán)運(yùn)算以及求逆過程,使得IG-GN算法運(yùn)算效率大大提高.

形變參數(shù)增量Δq通過以上計(jì)算得出,因此也確定了對(duì)照?qǐng)D像的形變函數(shù)增量M(β;Δq).作用在目標(biāo)圖像的新形變函數(shù),需要對(duì)形變函數(shù)增量求逆矩陣同時(shí)組合即刻形變函數(shù)M(β;q),采用公式(16)修正M(β;q)：

(16)

式(16)中形變函數(shù)增量的求逆操作為M-1(β;Δq),由此獲取修正后的形變函數(shù)M(β;q).

IC-GN算法進(jìn)行收斂迭代運(yùn)算過程中,為使形變函數(shù)達(dá)到形變參數(shù)增量是零或者迭代次數(shù)達(dá)到預(yù)設(shè)最大次數(shù)[13],采用式(14)對(duì)當(dāng)前形變函數(shù)下的形變參數(shù)增量進(jìn)行反復(fù)計(jì)算且修正來完成,則設(shè)置收斂規(guī)范是形變參數(shù)增量的模值不大于0.001,相應(yīng)的定義公式為：

(17)

基于IC-GN算法的圖像修復(fù)詳細(xì)流程如下：

(1)方法初始化.采用Criminisi算法獲取最佳目標(biāo)匹配塊,設(shè)置對(duì)照?qǐng)D像以及目標(biāo)圖像分別是待修復(fù)圖像塊以及最佳目標(biāo)匹配塊,初始形變參數(shù)是兩個(gè)圖像塊的相對(duì)位置偏差[14].通過式(12)到(15)運(yùn)算出對(duì)照?qǐng)D像的梯度值、形變函數(shù)的雅克比矩陣以及海森矩陣后,進(jìn)行高斯牛頓迭代法的運(yùn)算.

(2)形變的目標(biāo)圖像塊j(x+M(β;q))通過雙三次插值算法得出.

(3)形變參數(shù)增量Δq根據(jù)優(yōu)化算法與式(14)得出.

(4)利用式(14)獲取形變參數(shù)增量Δq,依據(jù)Δq可獲取形變函數(shù)增量M(β;Δq),為了獲取修正的形變函數(shù),需要將M(β;Δq)同前期的形變函數(shù)融合,并采用式(16)描述的修正方法進(jìn)行修正M(β;q).

(5)將式(17)作為修復(fù)算法的收斂規(guī)范,循環(huán)執(zhí)行過程(2)到(4)直到滿足收斂規(guī)范.

(6)將獲取最佳形變函數(shù)作用在目標(biāo)圖像中,通過該結(jié)果對(duì)待修復(fù)圖像塊中的未知像素進(jìn)行填補(bǔ)[15],完成圖像修復(fù).

2 實(shí)驗(yàn)分析

為了對(duì)本文提出的基于改進(jìn)樣本塊匹配準(zhǔn)則的數(shù)字圖像修復(fù)方法的有效性進(jìn)行驗(yàn)證,對(duì)比分析本文方法和Komodakis方法的修復(fù)結(jié)果.所有實(shí)驗(yàn)均在windows10平臺(tái)上采用Visual Stu dio 2017完成,計(jì)算機(jī)配置為IntelCoreTMm3-8100Y CPU@1.1.GHz 1.6GHz、RAM 4GB.

采用Komodakis方法和本文方法對(duì)圖1進(jìn)行修復(fù),修復(fù)結(jié)果分別用圖2和圖3表示.

圖1 待修復(fù)圖像

圖2 Komodakis方法去除修復(fù)效果

圖3 本文方法去除修復(fù)效果

對(duì)比分析圖1—圖3三個(gè)圖可以看出采用Komodakis方法進(jìn)行修復(fù)后,圖像較為模糊,而使用本文方法后,圖像更清晰,沒有明顯模糊區(qū)域,證明了本文方法修復(fù)效果更好.

分別采用Komodakis方法和本文方法對(duì)圖4中的白色污染區(qū)域進(jìn)行修復(fù),兩種方法的修復(fù)結(jié)果分別用圖5和圖6描述.

對(duì)比分析圖4—圖6三個(gè)圖能夠明顯看出,通過Komodakis方法修復(fù)后,白色污染的修復(fù)區(qū)域明顯存在邊界紋路,而通過本文方法針對(duì)白色污染區(qū)域進(jìn)行修復(fù)后,修復(fù)區(qū)域不存在邊界紋路,有效降低修復(fù)后的圖像邊界上像素值跳躍現(xiàn)象,確保修復(fù)后的圖更接近原圖或者達(dá)到原圖,修復(fù)效果好.

對(duì)比分析兩種方法的圖像修復(fù)質(zhì)量以及修復(fù)后圖像峰值信噪比,結(jié)果分別用圖7和表1描述：

圖4 待修復(fù)圖像

圖5 Komodakis方法修復(fù)效果

圖6 本文方法修復(fù)效果

從圖7中能夠直觀看出,相對(duì)于Komodakis方法,本文方法對(duì)于天空?qǐng)D和楓葉圖分別進(jìn)行全圖修復(fù)和區(qū)域污染修復(fù)后的圖像質(zhì)量更好,本文方法具備更好的修復(fù)能力.

圖7 圖像修復(fù)質(zhì)量對(duì)比

通過表1可以看出,本文方法修復(fù)后的圖像峰值信噪比低于Komodakis方法的峰值信噪比,說明本文方法修復(fù)后的圖像含噪少,圖像清晰度好.

3 結(jié) 論

文章研究的基于改進(jìn)樣本塊匹配準(zhǔn)則的數(shù)字圖像修復(fù)方法,將最小化ZNSSD相關(guān)準(zhǔn)則作為樣本塊匹配準(zhǔn)則,依據(jù)該準(zhǔn)則采用IG-GN算法修復(fù)數(shù)字圖像.該種算法采用的最小化ZNSSD相關(guān)準(zhǔn)則具有較高的實(shí)用性,使得目標(biāo)圖像中可呈現(xiàn)亮度的線性轉(zhuǎn)變,降低目標(biāo)圖像潛在亮度的敏感性,降低匹配塊和目標(biāo)塊存在的變形差異,確保修復(fù)后的數(shù)字圖像中不存在模糊區(qū)域和邊界紋路,增強(qiáng)圖像修復(fù)質(zhì)量.