基于鄰域關(guān)聯(lián)因子耦合信息度量規(guī)則的圖像修復(fù)算法

常國(guó)鋒，許利軍

(1.新鄉(xiāng)學(xué)院 計(jì)算機(jī)與信息工程學(xué)院，河南 新鄉(xiāng) 453003； 2.武漢理工大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢 430063)

數(shù)字圖像已被應(yīng)用于醫(yī)學(xué)檢測(cè)、教育科研以及航天探測(cè)等多個(gè)領(lǐng)域[1]。雖然數(shù)字圖像較傳統(tǒng)紙質(zhì)信息傳遞的媒介具有便于獲取以及保存的特點(diǎn)，但在數(shù)字圖像生成以及存儲(chǔ)等環(huán)節(jié)都有可能造成數(shù)字圖像信息的破損[2-3]。由此，數(shù)字圖像修復(fù)技術(shù)應(yīng)運(yùn)而生。圖像修復(fù)是通過(guò)合適的信息，對(duì)破損內(nèi)容進(jìn)行填充，使得數(shù)字圖像具有較好的視覺(jué)效果。

近年出現(xiàn)了較多圖像修復(fù)方法。Fuchs等[4]對(duì)全變分模型進(jìn)行分析，建立了高階全變分模型，用于圖像修復(fù)，但是這種方法不適合于受損面積較大圖像的修復(fù)。Dai等[5]將分段函數(shù)應(yīng)用于圖像修復(fù)，通過(guò)其與數(shù)據(jù)項(xiàng)及置信度計(jì)算圖像修復(fù)的順序，利用Sobel算子替代梯度方向，對(duì)等照度線(xiàn)的計(jì)算方法進(jìn)行改進(jìn)，促進(jìn)信息的融合，采用基于相似性識(shí)別受損區(qū)域附近樣本的方法獲取最優(yōu)匹配塊，修復(fù)受損區(qū)域。這種方法能夠適應(yīng)大、小面積損壞圖像的修復(fù)，但在獲取最優(yōu)匹配塊時(shí)，采用的是固定尺寸的樣本塊，沒(méi)有考慮圖像紋理信息的變化度，修復(fù)結(jié)果不理想。廖斌等[6]通過(guò)對(duì)圖像分解方法進(jìn)行研究，利用小波變換對(duì)圖像進(jìn)行分解，求取子圖信息，并通過(guò)子圖的顏色和結(jié)構(gòu)特點(diǎn)計(jì)算匹配塊的需求，通過(guò)最小堆隨機(jī)査找方法和窄帶模型對(duì)圖像進(jìn)行修復(fù)。這種方法也能夠適應(yīng)大面積破損圖像的修復(fù)，但由于小波變換對(duì)方向選擇較為敏感，在圖像分解時(shí)易丟失圖像的細(xì)節(jié)信息，使得修復(fù)圖像含有間斷現(xiàn)象。Huang等[7]利用圖像分割的方法來(lái)對(duì)破損圖像進(jìn)行修復(fù)，采用分水嶺圖像分割算法對(duì)圖像進(jìn)行分割，通過(guò)在數(shù)據(jù)項(xiàng)中引入反映紋理特征細(xì)節(jié)的曲率特征來(lái)計(jì)算優(yōu)先級(jí)，在圖像分割區(qū)域內(nèi)搜索像素塊的匹配，完成圖像修復(fù)。圖像分割方法避免了圖像信息丟失，但這種方法將像素塊的匹配塊搜索范圍限定在圖像分割區(qū)域內(nèi)，使得修復(fù)圖像的整體視覺(jué)效果不佳。

為了改善損壞區(qū)域的修復(fù)效果，消除間斷和振鈴效應(yīng)，本研究利用圖像塊的像素均值和方差，設(shè)計(jì)了一種新的圖像修復(fù)算法。在計(jì)算待修復(fù)塊的優(yōu)先權(quán)時(shí)，考慮圖像塊之間的關(guān)聯(lián)性，利用待修復(fù)塊與其鄰域塊的歸一化互相關(guān)值構(gòu)造鄰域關(guān)聯(lián)因子，通過(guò)其與置信度以及數(shù)據(jù)項(xiàng)計(jì)算待修復(fù)塊的優(yōu)先權(quán)，獲取優(yōu)先修復(fù)塊。在獲取樣本塊尺寸時(shí)，考慮圖像紋理信息的變化度，通過(guò)圖像塊對(duì)應(yīng)的均值和方差信息建立信息度量規(guī)則，對(duì)樣本塊尺寸進(jìn)行調(diào)節(jié)。通過(guò)誤差平方和函數(shù)(sum of squared differences,SSD)，在圖像的整個(gè)已知區(qū)域，根據(jù)樣本塊大小，搜索與待修復(fù)塊對(duì)應(yīng)的最優(yōu)匹配塊，用于修復(fù)受損區(qū)域。最后，測(cè)試了所提算法的修復(fù)性能。

1 圖像修復(fù)算法設(shè)計(jì)

如圖1所示，算法由計(jì)算優(yōu)先權(quán)、樣本塊調(diào)節(jié)以及獲取最優(yōu)匹配塊三個(gè)部分組成，具體步驟如下:

圖1 所提算法的修復(fù)過(guò)程

1)計(jì)算待修復(fù)塊對(duì)應(yīng)的鄰域關(guān)聯(lián)因子，聯(lián)合數(shù)據(jù)項(xiàng)和置信度，構(gòu)造優(yōu)先權(quán)計(jì)算模型，從破損區(qū)域中選取出優(yōu)先修復(fù)塊；

2)計(jì)算優(yōu)先修復(fù)塊的像素均值以及灰度方差值，用以建立信息度量規(guī)則，對(duì)樣本塊的大小進(jìn)行選擇，選取適當(dāng)?shù)臉颖緣K大小;

3)按照確定的樣本塊大小，對(duì)已知區(qū)域中的圖像塊以及優(yōu)先修復(fù)塊進(jìn)行SSD計(jì)算，選取最小SSD值對(duì)應(yīng)的圖像塊作為優(yōu)先修復(fù)塊的最優(yōu)匹配塊。利用其內(nèi)部的像素值對(duì)優(yōu)先修復(fù)塊進(jìn)行填充，完成圖像的修復(fù)。

1.1 計(jì)算優(yōu)先權(quán)

對(duì)于破損區(qū)域?yàn)棣龋阎獏^(qū)域?yàn)棣?，θ與ω的邊界線(xiàn)為?θ的破損圖像I，Criminis算法中提出了通過(guò)置信項(xiàng)C(p)和數(shù)據(jù)項(xiàng)D(p)的乘積運(yùn)算來(lái)計(jì)算待修復(fù)塊優(yōu)先權(quán)P(p)的方法[8]：

P(p)=C(p)D(p)，

(1)

其中p為?θ上的一個(gè)待修復(fù)像素點(diǎn)。

令以p為中心的待修復(fù)塊為Up，其尺寸為s×s，則置信項(xiàng)C(p)為：

(2)

其中|Up|為Up中已知像素點(diǎn)的總數(shù)。

數(shù)據(jù)項(xiàng)D(p)為：

(3)

(4)

(5)

由式(5)可見(jiàn)，當(dāng)Up與Hq的相關(guān)性越強(qiáng)時(shí)，D(Up,Hq)的值也越大；此時(shí)由式(4)可見(jiàn)，E(p)的值也將越大。由此可見(jiàn)，E(p)反映了待修復(fù)塊Up與其鄰域的關(guān)聯(lián)性，且該關(guān)聯(lián)性的大小與E(p)的值成正比。

通過(guò)E(p)構(gòu)造的優(yōu)先權(quán)計(jì)算模型為：

(6)

其中，β,δ,γ為權(quán)重系數(shù)，且0≤β,δ,γ<1，β+δ+γ=1。

1.2 樣本塊調(diào)節(jié)

樣本塊大小對(duì)修復(fù)圖像的效果有重要的影響。所提算法是基于圖像塊的修復(fù)技術(shù)，樣本塊越大，在修復(fù)圖像時(shí)就可以按照樣本塊大小，一次性修復(fù)更大的破損區(qū)域，對(duì)圖像復(fù)原的效率越高；反之，圖像塊越小，則對(duì)圖像復(fù)原的效率越低。對(duì)于單一紋理區(qū)域，其信息變化度較小，可以選擇較大的樣本塊尺寸，以便縮短算法運(yùn)行時(shí)間。對(duì)于紋理較為豐富的區(qū)域，其信息變化度較大，如果采用較大的樣本塊將導(dǎo)致該樣本塊內(nèi)有多種紋理信息，容易造成修復(fù)圖像出現(xiàn)紋理間斷以及振鈴效應(yīng)[10]。對(duì)此，本研究通過(guò)對(duì)圖像塊的像素均值以及灰度方差進(jìn)行度量，建立了信息度量規(guī)則，對(duì)樣本塊的大小進(jìn)行調(diào)節(jié)。

令b為以像素點(diǎn)i為中心的圖像塊，其尺寸為w×w，i的像素值為gi，則該圖像塊對(duì)應(yīng)的像素均值A(chǔ)(i,w)與灰度方差值G(i,w)分別為[11]：

(7)

(8)

樣本塊的紋理信息變化與樣本塊的像素均值以及灰度方差值有關(guān)，可通過(guò)相鄰兩個(gè)樣本塊的像素均值以及灰度方差來(lái)建立信息度量規(guī)則，對(duì)相鄰樣本塊的信息變化度進(jìn)行度量，從而實(shí)現(xiàn)樣本塊大小的調(diào)節(jié)，如圖2所示。該信息度量規(guī)則的實(shí)現(xiàn)過(guò)程如下：

圖2 樣本塊大小調(diào)節(jié)過(guò)程圖

1)設(shè)立樣本塊初始大小為w×w，通過(guò)式(7)和式(8)分別計(jì)算其像素均值A(chǔ)(i,w)與灰度方差G(i,w)；

2)將該樣本塊向外擴(kuò)大兩個(gè)像素，擴(kuò)展成(w+2)×(w+2)，并利用式(7)和式(8)分別計(jì)算其像素均值A(chǔ)(i,w+2)與灰度方差G(i,w+2)，計(jì)算擴(kuò)展大小后樣本塊與擴(kuò)展前樣本塊的像素均值之差ΔA(i,w,w+2)及灰度方差ΔG(i,w,w+2)；

ΔA(i,w,w+2)=|A(i,w)-A(i,w+2)|，ΔG(i,w,w+2)=|G(i,w)-G(i,w+2)|。

(9)

3)將ΔA(i,w,w+2)與ΔG(i,w,w+2)分別與均值閾值ε和方差閾值φ進(jìn)行比較。若ΔA(i,w,w+2)<ε且ΔG(i,w,w+2)<φ，則表示擴(kuò)展大小后樣本塊的信息變化度不大，樣本塊大小擴(kuò)展成功，此時(shí)設(shè)置w=w+2。若ΔA(i,w,w+2)≥ε或ΔG(i,w,w+2)≥φ，則表示擴(kuò)展失敗，樣本塊大小仍為w。迭代該過(guò)程直到確定樣本塊大小為止。

1.3 獲取最優(yōu)匹配塊

從樣本塊大小調(diào)節(jié)的過(guò)程可知，所用圖像塊初始大小為w×w，最終圖像塊大小是需要根據(jù)信息度量規(guī)則所確定的。確定樣本塊大小后，以該大小在破損圖像的已知區(qū)域內(nèi)尋找與待修復(fù)塊相似度最高的最優(yōu)匹配塊，用以對(duì)待修復(fù)塊進(jìn)行填充修復(fù)。通過(guò)誤差平方和函數(shù)對(duì)待修復(fù)塊與匹配塊中像素點(diǎn)的RGB差值進(jìn)行計(jì)算以獲取最優(yōu)匹配塊，是一種較為常用的方法，在此將采用該方法獲取最優(yōu)匹配塊。

SSD函數(shù)搜尋最優(yōu)匹配塊的過(guò)程為[12]：

(10)

其中SSD函數(shù)為：

(11)

R(·)、G(·)、B(·)分別表示像素點(diǎn)的RGB值。

2 實(shí)驗(yàn)結(jié)果

在Intel酷睿雙核，4GBRAM的計(jì)算機(jī)上，利用MATLAB 2014作為軟件進(jìn)行實(shí)驗(yàn)，對(duì)算法進(jìn)行實(shí)驗(yàn)測(cè)試，測(cè)試結(jié)果與文獻(xiàn)[13-14]中所用方法進(jìn)行對(duì)比。實(shí)驗(yàn)測(cè)試目標(biāo)均選擇紋理結(jié)構(gòu)豐富的圖像，再對(duì)其進(jìn)行不同程度的破損操作，隨后分別利用不同方法對(duì)小面積以及大面積破損圖像進(jìn)行修復(fù)測(cè)試，以驗(yàn)證不同方法的修復(fù)性能。實(shí)驗(yàn)過(guò)程中的相關(guān)參數(shù)為β=0.5，δ=0.3，γ=0.2，w×w=3×3，ε=6，φ=3。按照如下實(shí)驗(yàn)過(guò)程進(jìn)行修復(fù)測(cè)試：

1)利用式(4)計(jì)算待修復(fù)塊的鄰域關(guān)聯(lián)因子，分別聯(lián)合式(2)和式(3)來(lái)計(jì)算損壞子塊的置信度和數(shù)據(jù)項(xiàng)，以此形成優(yōu)先權(quán)計(jì)算模型式(6)，根據(jù)式(6)，破損區(qū)域中選取出優(yōu)先修復(fù)塊；

2)通過(guò)式(7)、式(8)分別計(jì)算優(yōu)先修復(fù)塊的像素均值以及灰度方差值，形成建立信息度量規(guī)則，按照?qǐng)D2所示流程對(duì)樣本塊的大小進(jìn)行選擇，選取適當(dāng)?shù)臉颖緣K大小；

3)按照確定后的樣本塊大小，利用式(11)對(duì)已知區(qū)域中的圖像塊以及優(yōu)先修復(fù)塊進(jìn)行SSD計(jì)算，并根據(jù)式(10)選取最小SSD值對(duì)應(yīng)的圖像塊，將其作為優(yōu)先修復(fù)塊的最優(yōu)匹配塊。利用其內(nèi)部的像素值對(duì)優(yōu)先修復(fù)塊進(jìn)行填充，完成圖像修復(fù)。若破損圖像為黑白圖像，則可將式(11)中的R、G、B值更換成圖像的灰度值，然后再通過(guò)式(10)選取最小SSD值對(duì)應(yīng)的圖像塊，求取最優(yōu)匹配塊，對(duì)圖像進(jìn)行修復(fù)：

(12)

式中G(·)表示像素點(diǎn)的灰度值。

采用文獻(xiàn)[13]、[14]和本文方法分別對(duì)小面積破損圖像的修復(fù)結(jié)果如圖3所示。對(duì)比圖3中的修復(fù)結(jié)果可發(fā)現(xiàn)，圖3(c)的修復(fù)結(jié)果中含有多處修復(fù)不完全以及間斷現(xiàn)象，圖3(d)的修復(fù)結(jié)果中含有較為嚴(yán)重的模糊現(xiàn)象與塊效應(yīng)，圖3(e)的修復(fù)結(jié)果中不存在修復(fù)不完全以及間斷現(xiàn)象，僅有一處輕微模糊現(xiàn)象。

圖3 不同方法對(duì)小面積破損圖像修復(fù)結(jié)果

圖4為不同方法對(duì)遮蔽物大面積破損圖像的修復(fù)結(jié)果。通過(guò)修復(fù)結(jié)果可見(jiàn)，文獻(xiàn)[13]方法修復(fù)的結(jié)果中含有邊緣間斷現(xiàn)象以及振鈴效應(yīng)，文獻(xiàn)[14]方法修復(fù)的結(jié)果中含有塊效應(yīng)和修復(fù)不完全現(xiàn)象，本文方法修復(fù)的結(jié)果中僅存一處些許塊效應(yīng)。

圖4 不同方法對(duì)遮蔽物大面積破損圖像修復(fù)結(jié)果

不同方法對(duì)黑白破損圖像的修復(fù)結(jié)果如圖5所示。對(duì)比修復(fù)結(jié)果可見(jiàn)，文獻(xiàn)[13]方法的修復(fù)結(jié)果中含有修復(fù)不完全以及間斷現(xiàn)象，文獻(xiàn)[14]方法的修復(fù)結(jié)果中含有振鈴以及間斷現(xiàn)象，本文方法的修復(fù)結(jié)果中僅存一處輕微修復(fù)遺留現(xiàn)象。

圖5 不同方法對(duì)黑白破損圖像修復(fù)結(jié)果

不同方法對(duì)老照片破損圖像的修復(fù)結(jié)果如圖6所示。從圖6可見(jiàn)，文獻(xiàn)[13]方法的修復(fù)結(jié)果中含有模糊以及塊現(xiàn)象，文獻(xiàn)[14]方法的修復(fù)結(jié)果中含有間斷以及修復(fù)殘留現(xiàn)象，本文方法的修復(fù)結(jié)果中僅存一處輕微模糊現(xiàn)象。

圖6 不同方法對(duì)老照片破損圖像修復(fù)結(jié)果

不同方法對(duì)文字大面積破損圖像的修復(fù)結(jié)果如圖7所示。通過(guò)修復(fù)圖像的整體效果可見(jiàn)，文獻(xiàn)[13-14]方法及本文方法的修復(fù)效果都還好，但將不同方法的修復(fù)區(qū)域進(jìn)行放大可見(jiàn)，文獻(xiàn)[13]方法的修復(fù)區(qū)域含有模糊及修復(fù)不完全現(xiàn)象，文獻(xiàn)[14]方法的修復(fù)區(qū)域含有振鈴及間斷現(xiàn)象，本文方法的修復(fù)區(qū)域僅有輕微模糊現(xiàn)象。由此可見(jiàn)，本研究所提方法修復(fù)的圖像具有較好的視覺(jué)效果，圖像的邊緣及紋理連續(xù)性較好。因?yàn)樗岱椒ㄍㄟ^(guò)待修復(fù)塊與其鄰域塊的歸一化互相關(guān)值構(gòu)造了鄰域關(guān)聯(lián)因子，通過(guò)其構(gòu)造了優(yōu)先權(quán)計(jì)算模型，在優(yōu)先權(quán)計(jì)算過(guò)程中考慮了待修復(fù)塊與其鄰域的關(guān)聯(lián)性，使得優(yōu)先權(quán)計(jì)算更穩(wěn)定和合理，同時(shí)所提方法還利用圖像塊的像素均值以及灰度方差值，建立了信息度量規(guī)則，通過(guò)對(duì)圖像塊的信息變化度進(jìn)行計(jì)算，獲取合適大小的樣本塊，適應(yīng)圖像中不同的紋理變化，提高了算法修復(fù)圖像的質(zhì)量。

圖7 不同方法對(duì)文字大面積破損圖像修復(fù)結(jié)果

為了進(jìn)一步對(duì)所提方法的修復(fù)性能進(jìn)行測(cè)試，選用圖4(a)作為測(cè)試圖像，將其進(jìn)行不同程度的損壞，然后利用不同方法對(duì)損壞圖像進(jìn)行修復(fù)，并對(duì)不同方法修復(fù)圖像的結(jié)構(gòu)相似度(SSIM)和修復(fù)平均耗時(shí)進(jìn)行對(duì)比，以分析不同方法的修復(fù)性能。SSIM反映了修復(fù)圖像與原圖像在結(jié)構(gòu)上的相似程度，是圖像修復(fù)算法測(cè)試過(guò)程中常用的數(shù)值測(cè)量指標(biāo)，其值的大小與修復(fù)圖像質(zhì)量的好壞成正比[15]。

圖8展示了不同方法修復(fù)圖像的SSIM結(jié)果，對(duì)比SSIM值可見(jiàn)，本文方法修復(fù)圖像的SSIM值一直最大；不同方法對(duì)損壞度為45%的破損圖像進(jìn)行修復(fù)后，文獻(xiàn)[13]、[14]方法以及本文方法修復(fù)圖像的SSIM值分別為0.835、0.899以及0.954。不同方法的修復(fù)平均耗時(shí)如表1所示，發(fā)現(xiàn)文獻(xiàn)[14]具有最高的修復(fù)效率，平均耗時(shí)最少，僅為3.73 s。本方法同樣具有較為理想的修復(fù)效率，平均耗時(shí)為3.92 s，與文獻(xiàn)[14]較為接近。由此說(shuō)明，本研究方法同時(shí)具有較高的修復(fù)性能與效率。原因在于通過(guò)建立信息度量規(guī)則對(duì)相鄰樣本塊的信息變化度進(jìn)行度量，根據(jù)信息變化度的大小，對(duì)樣本塊的尺寸進(jìn)行調(diào)節(jié)，使得樣本塊大小能夠適應(yīng)信息變化的劇烈程度。雖然采用動(dòng)態(tài)的樣本塊尺寸需要一個(gè)迭代過(guò)程，一定程度上增加了算法的計(jì)算量，但本文算法仍然屬于基于塊的修復(fù)技術(shù)范疇，在對(duì)圖像進(jìn)行較好修復(fù)的同時(shí)還具備較高的修復(fù)效率。另外，通過(guò)引入SSD函數(shù)，在整個(gè)已知區(qū)域中對(duì)待修復(fù)塊與匹配塊中像素點(diǎn)的RGB差值進(jìn)行計(jì)算，尋找與待修復(fù)塊最為相似的匹配塊作為最優(yōu)匹配塊，對(duì)待修復(fù)塊進(jìn)行填充修復(fù)，保證了填充修復(fù)內(nèi)容的正確性，提高了修復(fù)性能。文獻(xiàn)[13]中設(shè)計(jì)了圖像修復(fù)所需的自適應(yīng)變分泛函，構(gòu)造了一種穩(wěn)定的變分格式，并計(jì)算了最小泛函解的存在性和唯一性，通過(guò)泛函導(dǎo)出了四階偏微分方程，并通過(guò)其對(duì)應(yīng)的離散形式完成像素?cái)U(kuò)散，實(shí)現(xiàn)圖像修復(fù)。由于偏微分方程不適應(yīng)大面積損壞圖像的修復(fù)，且這種像素?cái)U(kuò)散并非基于塊的修復(fù)方法，需要遍歷整個(gè)圖像的像素，增加了算法的計(jì)算量，導(dǎo)致效率不佳。文獻(xiàn)[14]利用空間變化方法對(duì)置信項(xiàng)進(jìn)行更新，并通過(guò)匹配置信項(xiàng)的方法計(jì)算待修復(fù)塊的優(yōu)先權(quán)值，獲取優(yōu)先修復(fù)塊，利用快速傅立葉變換搜索與待修復(fù)塊最為匹配的最佳匹配塊，以完成圖像修復(fù)。該方法中搜索最佳匹配塊時(shí)，采用了固定尺寸的樣本塊，雖然可以避免反復(fù)的迭代過(guò)程，提高修復(fù)效率，但忽略了圖像的信息變化度，使得算法不能夠較好地適應(yīng)圖像的不同紋理結(jié)構(gòu)，導(dǎo)致修復(fù)性能有所下降。

圖8 不同方法修復(fù)圖像的SSIM結(jié)果

表1 不同算法的修復(fù)平均耗時(shí)

3 結(jié)論

本研究利用待修復(fù)塊與其鄰域塊的歸一化互相關(guān)值構(gòu)造鄰域關(guān)聯(lián)因子，構(gòu)造了優(yōu)先權(quán)計(jì)算模型，優(yōu)先權(quán)的計(jì)算過(guò)程中考慮了待修復(fù)塊與其鄰域的關(guān)聯(lián)性，優(yōu)先權(quán)的計(jì)算更為穩(wěn)定和準(zhǔn)確。同時(shí)，所提方法還利用圖像塊對(duì)應(yīng)的均值和方差信息建立了信息度量規(guī)則，根據(jù)度量結(jié)果對(duì)樣本塊的大小進(jìn)行調(diào)整，獲取合理的樣本塊大小。引入SSD函數(shù)對(duì)待修復(fù)塊與匹配塊中像素點(diǎn)的RGB差值進(jìn)行計(jì)算，在已知區(qū)域中獲取最優(yōu)匹配塊，完成圖像修復(fù)。通過(guò)實(shí)驗(yàn)可見(jiàn)，所提方法修復(fù)的圖像具有較好的視覺(jué)效果和較好的結(jié)構(gòu)相似度，說(shuō)明所提方法具有較好的修復(fù)性能。