輪廓波系數(shù)引導(dǎo)的數(shù)字圖像修復(fù)算法研究

李宣妮，王慧琴，吳 萌

LI Xuanni,WANG Huiqin,WU Meng

西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安710055

School of Information and Control Engineering,Xi’an University of Architecture and Technology,Xi’an 710055,China

1 引言

數(shù)字圖像修復(fù)是指對(duì)圖像局部區(qū)域內(nèi)丟失或損壞的數(shù)據(jù)按照特定規(guī)則進(jìn)行填補(bǔ)，以恢復(fù)整幅圖像的完整性和原有的視覺效果。它本身是一個(gè)病態(tài)問題，故不能保證完全正確地恢復(fù)圖像的被損壞部分，也就是說無法通過已知信息使圖像恢復(fù)原狀，因此需要加入合理的約束條件，使修復(fù)結(jié)果盡量滿足人的視覺心理需求。Criminisi等人[1]提出了基于樣本的圖像修復(fù)方法，在圖像信息完好區(qū)域中尋找與受損區(qū)域最匹配的像素塊，將其作為樣本填充到受損區(qū)域?qū)崿F(xiàn)圖像修復(fù)。但由于算法本身的局限性，修復(fù)結(jié)果常出現(xiàn)紋理混亂和馬賽克效應(yīng)，這一缺點(diǎn)在復(fù)雜紋理圖像的修復(fù)中更加明顯，另外該算法時(shí)間復(fù)雜度比較高，無法滿足大數(shù)據(jù)量圖像的修復(fù)需求。

為解決大數(shù)據(jù)量圖像修復(fù)需求的問題，本文研究了在輪廓波分解下的數(shù)字圖像修復(fù)技術(shù)。輪廓波（contourlet）變換是多尺度幾何分析工具，采用不可分離濾波器組建立多分辨率多方向率分析，能夠?qū)崿F(xiàn)靈活的多分辨率、局部的、多方向性的圖像表示[2]。該變換不僅可以提供小波分解的主要特征，而且還能提供不同角度各向異性的方向信息，角度方向的個(gè)數(shù)可以調(diào)整，因此它可以很好地捕捉各種角度的圖像邊緣特征[3]。

2 提取圖像的輪廓波系數(shù)

輪廓波是由Do 和Vetterli 于2001 年構(gòu)建的多尺度幾何分析工具，與小波相比，在處理二維甚至更高維含“非線性奇異”的信號(hào)時(shí)，高維小波基由于受到小波張量積方向局限性的影響，達(dá)不到理想的最優(yōu)逼近。輪廓波是比小波更為“稀疏”的多尺度幾何分析表述工具，它不僅能夠提供任意方向上的信息，而且它使用了迭代濾波器，使得計(jì)算效率高且復(fù)雜度低。

輪廓波變換是利用類似于輪廓段（contour segment）的基結(jié)構(gòu)來逼近圖像。如圖1，輪廓波基的支撐區(qū)間是具有隨尺度變化長寬的條形結(jié)構(gòu)，具有方向性和各異性，用輪廓波系數(shù)表示圖像的紋理能量更加集中，這些系數(shù)在不同的分解尺度間有一定的相關(guān)性和延續(xù)性[4]。在某些分解子帶中，系數(shù)賦值變化較大，而某些子帶中系數(shù)賦值多為0。這種變化用系數(shù)的方差來衡量是最合適的，方差的大小表示所在分解子帶的能量變化強(qiáng)度。

圖1 小波與輪廓波對(duì)曲線的描述

紋理圖像有豐富的邊緣信息和明顯的方向性，做輪廓波分解時(shí)能夠在某些方向的子帶中產(chǎn)生大量的分解系數(shù)，使在該方向的分解系數(shù)方差明顯增大。因此可以用輪廓波分解系數(shù)的方差來衡量圖像紋理能量變化的強(qiáng)弱[5]，公式為：

其中，e為分解子帶的方差，i為分解尺度。

所以，子帶方差的大小可以作為該子帶能量變化強(qiáng)弱的指標(biāo)。

3 基于樣本的圖像修復(fù)算法

基于樣本的圖像修復(fù)算法的實(shí)質(zhì)是用等光照線驅(qū)動(dòng)的圖像采樣的過程[6]，將圖像源區(qū)域信息作為修復(fù)樣本填充圖像的待修復(fù)區(qū)域。其修復(fù)過程如圖2 所示。

圖2 基于樣本的圖像修復(fù)算法的修復(fù)過程

圖3（a）為需要修復(fù)的圖像，Ω是圖像的待修復(fù)區(qū)域，?Ω是破損區(qū)域的填充前緣，Φ是源區(qū)域。圖（b）是以填充前緣上的某像素p∈δΩ為中心，劃定待修復(fù)圖像塊Ψp。圖（c）對(duì)待修復(fù)圖像塊Ψp來說，最可能的候選匹配樣本塊位于源區(qū)域中兩紋理之間的邊界上，如Ψq′，Ψq″。圖（d）是將最匹配的樣本塊拷貝到待修復(fù)圖像塊Ψp的位置上，實(shí)現(xiàn)了Ω的部分填充。這時(shí)，待修復(fù)區(qū)域Ω面積縮小，并產(chǎn)生新的填充前緣，最重要的是自動(dòng)地保留了圖像等光照線的方向。圖像填充邊緣上的每個(gè)像素以此方法迭代執(zhí)行，待修復(fù)區(qū)域Ω的面積不斷減小，直至為零。

優(yōu)先值計(jì)算公式為：

其中，C(p)為置信度項(xiàng)，D(p)為數(shù)據(jù)項(xiàng)，且：

其中，|Ψp|是Ψp的面積，α為歸一化因子（對(duì)于常用的灰度圖像，α=255），是單位矢量：代表p點(diǎn)的等光照線方向，可以用灰度梯度表示，即(-Iy,Ix)；np是填充前緣?Ω上p點(diǎn)處的法向量，可以用模板圖像I（0 表示待修復(fù)的像素點(diǎn)，1 表示沒有損壞的像素點(diǎn)的二值圖像）表示。Ix和Iy表示x方向和y方向的梯度，可得np=(Ix,Iy)。

圖3中修復(fù)結(jié)果出現(xiàn)了大塊的錯(cuò)誤填充，由文獻(xiàn)[7-9]可知，圖像修復(fù)的結(jié)果與在修復(fù)過程中填充邊緣像素的修復(fù)順序有關(guān)。這是由于圖像修復(fù)的過程有時(shí)會(huì)沿著某一方向連續(xù)進(jìn)行，使結(jié)果違反“人類視覺連通性”的原則，如圖4。

圖3 基于樣本的修復(fù)實(shí)驗(yàn)

圖4 錯(cuò)誤的圖像修復(fù)步驟

為避免圖4 情況的發(fā)生，在基于樣本的修復(fù)模型中引入輪廓波系數(shù)表示的圖像紋理能量信息，使填充邊緣上紋理的像素點(diǎn)能先修復(fù)。

4 輪廓波系數(shù)指導(dǎo)圖像修復(fù)

4.1 基本算法改進(jìn)

圖像的邊緣和梯度值都反映圖像的紋理特征，當(dāng)圖像在某一像素梯度值較大時(shí)說明在該像素點(diǎn)附近的圖像紋理較豐富[10-11]。

在公式（2）中引入β因子：

其中β大于1，表示圖像紋理能量的信息。改進(jìn)的優(yōu)先值公式考慮到輪廓波系數(shù)表示的圖像紋理能量，紋理能量越大的圖像塊優(yōu)先值越大，越早被修復(fù)。

4.2 圖像紋理的輪廓波系數(shù)量化

由公式（1）可知，圖像的紋理越豐富，對(duì)應(yīng)輪廓波系數(shù)的子帶方差越大，子帶能量越強(qiáng)。對(duì)于一幅大小為m×n的圖像，輪廓波系數(shù)的各子帶紋理能量可表示為：

平均紋理能量為：

根據(jù)式（5）～（7）對(duì)圖像紋理程度的定義，計(jì)算圖5中圖像組的平均紋理能量，結(jié)果如表1 所示。

圖5 不同紋理特征的圖像

表1 圖5 中各圖像的紋理程度量化結(jié)果

可見，對(duì)于不同紋理程度的圖像，計(jì)算得到的紋理能量不同：越平滑的圖像，紋理能量越??；紋理越復(fù)雜的圖像，紋理能量越大。因此，可以根據(jù)圖像紋理能量的大小來引導(dǎo)圖像修復(fù)的過程，本文通過引入β因子實(shí)現(xiàn)這一過程。

4.3 β因子的自適應(yīng)選擇

圖6 β值對(duì)修復(fù)結(jié)果的影響

對(duì)不同紋理程度的圖像進(jìn)行修復(fù)仿真實(shí)驗(yàn)，結(jié)果如表2 所示?？梢?，隨著圖像紋理越復(fù)雜，對(duì)應(yīng)最佳β值的選取越大。

表2 自適應(yīng)β值

4.4 本文算法實(shí)驗(yàn)及對(duì)比分析

將本文算法分別與Criminisi 算法和利用小波系數(shù)修復(fù)的β方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果及分析如下：

圖7 與圖8 是兩組修復(fù)實(shí)驗(yàn)，兩組中的（a）為原圖，（b）為用Criminisi算法修復(fù)的結(jié)果，（c）為用基于小波系數(shù)的修復(fù)算法的修復(fù)結(jié)果，（d）為用本文算法修復(fù)的結(jié)果。

圖7 目標(biāo)物去除效果比較

圖8 恢復(fù)破損圖像效果比較

就人眼直接觀察發(fā)現(xiàn)，圖7 與圖8 中的（b）圖和（c）圖均存在著不同程度的錯(cuò)誤紋理堆積，（d）圖紋理比較自然。

計(jì)算圖7 與圖8 的三種算法修復(fù)結(jié)果的MSE（均方誤差）和修復(fù)耗時(shí)，結(jié)果如表3。

表3 圖7 與圖8 中三種修復(fù)算法客觀評(píng)價(jià)

分析表3 中數(shù)據(jù)：圖7 中使用本文算法與Criminisi算法相比，前者的MSE值降低了38.7%，修復(fù)耗時(shí)減少了52.0%；與用基于小波系數(shù)的Criminisi算法相比，本文算法的MSE值降低了18.5%，修復(fù)耗時(shí)減少了30.6%。圖8 中使用本文算法與Criminisi 算法相比，前者的MSE值降低了44.7%，修復(fù)耗時(shí)減少了63.9%；與用基于小波系數(shù)的Criminisi 算法相比，本文算法的MSE值降低了20.6%，修復(fù)耗時(shí)減少了43.9%?？梢?，無論是從主觀評(píng)價(jià)還是客觀評(píng)價(jià)來看，本文算法都優(yōu)于Criminisi 算法和基于小波系數(shù)的Criminisi修復(fù)算法。

5 結(jié)束語

本文研究了輪廓波系數(shù)引導(dǎo)的基于樣本的圖像修復(fù)算法。實(shí)現(xiàn)了不同紋理特征圖像的自適應(yīng)修復(fù)策略，先對(duì)圖像做輪廓波變換，提取輪廓波系數(shù)估計(jì)圖像紋理能量，根據(jù)紋理能量自適應(yīng)選取β值，改進(jìn)優(yōu)先值計(jì)算公式，優(yōu)化了圖像修復(fù)的順序，使修復(fù)對(duì)圖像的紋理特征更為敏感。通過實(shí)驗(yàn)看出，本文算法在修復(fù)的效果和速率復(fù)雜度上都明顯優(yōu)于Criminisi 算法和用小波系數(shù)修復(fù)圖像的算法。

[1] Criminisi A，Perez P，Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing，2004，13（9）：1200-1212.

[2] Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing，2005，14（12）：2091-2106.

[3] Do M N，Vetterli M.Wavelet based texture retrieval using generalized Gaussian density[J].IEEE Transactions on Image Processing，2002，11（2）：146-158.

[4] 郭蔚，李婷.輪廓波變換原理及其構(gòu)造方法[J].數(shù)學(xué)進(jìn)展，2012，41（3）：266-275.

[5] 趙一凡，夏良正.基于輪廓波特征的紋理圖像識(shí)別方法[J].東南大學(xué)學(xué)報(bào)：自然科學(xué)版，2008（S2）：128-131.

[6] 張偉彬.基于修復(fù)順序的圖像修復(fù)算法[J].計(jì)算機(jī)工程與應(yīng)用，2008，44（22）：195-196.

[7] 張紅英.數(shù)字圖像修復(fù)技術(shù)的研究與應(yīng)用[D].成都：電子科技大學(xué)，2006.

[8] 王黎明.基于樣本塊的圖像修補(bǔ)方法研究[D].北京：首都師范大學(xué)，2008.

[9] Sun J，Yuan L.Image completion with structure propagation[J].ACM Transactions on Graphics，2005，3：861-868.

[10] 李一哲.基于樣圖的紋理合成技術(shù)研究[D].合肥：中國科技大學(xué)，2006.

[11] 陳卿，王慧琴，吳萌.基于紋理特征的自適應(yīng)圖像修復(fù)算法[J].計(jì)算機(jī)應(yīng)用，2011，6（6）：1572-1574.