自適應(yīng)插值算法在圖像修復(fù)中的應(yīng)用研究

馬 敏， 趙 亮， 王化祥

（1.中國(guó)民航大學(xué)航空自動(dòng)化學(xué)院，天津 300300； 2.天津大學(xué)電氣與自動(dòng)化工程學(xué)院，天津 300072）

自適應(yīng)插值算法在圖像修復(fù)中的應(yīng)用研究

馬 敏1， 趙 亮1， 王化祥2

（1.中國(guó)民航大學(xué)航空自動(dòng)化學(xué)院，天津 300300； 2.天津大學(xué)電氣與自動(dòng)化工程學(xué)院，天津 300072）

針對(duì)BSCB模型速度慢、整體變分模型易產(chǎn)生階梯效應(yīng)的缺點(diǎn)，提出了一種基于擴(kuò)散率函數(shù)的自適應(yīng)插值算法。該算法利用待修復(fù)像素點(diǎn)周?chē)囊阎袼攸c(diǎn)的梯度權(quán)函數(shù)和距離權(quán)函數(shù)，對(duì)未知像素點(diǎn)進(jìn)行賦值。實(shí)驗(yàn)結(jié)果顯示：將該算法應(yīng)用到灰度圖像和彩色圖像的修復(fù)中，與傳統(tǒng)算法相比所需運(yùn)算時(shí)間短，視覺(jué)效果較好，定量評(píng)價(jià)指標(biāo)（峰值信噪比）也證明了該算法的有效性。

計(jì)量學(xué)；圖像修復(fù)；偏微分方程；擴(kuò)散率函數(shù)；自適應(yīng)插值

1 引 言

圖像修復(fù)是指根據(jù)已知信息對(duì)數(shù)字圖像中丟失、破損的部分進(jìn)行還原修復(fù)，以恢復(fù)其完整性和原有的視覺(jué)效果［1］。圖像修復(fù)可用于修復(fù)圖像劃痕、去除多余物體以及文物保護(hù)等多方面，主要有基于紋理和基于非紋理的修復(fù)方法［2］。Criminisi等提出了基于紋理的圖像修復(fù)方法，在未受損圖像中尋找與受損模塊最為匹配的修復(fù)模塊并填充到受損區(qū)域內(nèi)，從而實(shí)現(xiàn)圖像的修復(fù)［3，4］，該方法修復(fù)過(guò)程耗時(shí)大、效率低?；诜羌y理的圖像修復(fù)的最新方法是基于偏微分方程的方法，包括Bertalmio等人在2000年引入了BSCB模型，Chan和Shen等人基于偏微方程提出了整體變分（total variational，TV）和曲率驅(qū)動(dòng)方法。這類算法可以保持邊緣同時(shí)去除噪聲，但是難以得到高效、穩(wěn)定的修復(fù)模型［5］。文獻(xiàn)［6］沿Sobel算子確定的邊緣方向進(jìn)行自適應(yīng)插值。文獻(xiàn)［7］將逆梯度運(yùn)算融入傳統(tǒng)的雙線性與雙三次插值方法中，實(shí)現(xiàn)了圖像邊緣的銳化。這些插值方法雖可以得到較高的信噪比，但總體來(lái)說(shuō)，這些圖像修復(fù)方法運(yùn)行比較緩慢，且難以恢復(fù)紋理細(xì)節(jié)。

圖像的修復(fù)問(wèn)題實(shí)質(zhì)上是圖像插值問(wèn)題，對(duì)圖像中已知像素的灰度值采用不同的距離權(quán)函數(shù)和梯度權(quán)函數(shù)進(jìn)行運(yùn)算，并對(duì)其賦值，從而得到未知像素的灰度值［8］。針對(duì)圖像劃痕等小面積修復(fù)情形，本文提出一種基于擴(kuò)散函數(shù)的自適應(yīng)插值算法（Adaptive Interpolation，AI）的修復(fù)模型，并進(jìn)行算法實(shí)驗(yàn)，取得了較好的結(jié)果。

2 擴(kuò)散率函數(shù)

作為數(shù)學(xué)物理模型，熱傳導(dǎo)方程表示一種傳熱過(guò)程。它屬于線性偏微分方程，也被稱為擴(kuò)散方程［8］。圖像的熱傳導(dǎo)平滑方程為

式中方程的初始條件為I0＝I（x，y，0），通常為輸入的原始圖像。?2為圖像拉普拉斯算子。由于熱傳導(dǎo)方程所描述的是各向同性的擴(kuò)散過(guò)程，所以在圖像平滑過(guò)程中，其定位特性較差，在大尺度上所保留的圖像特征的空間位置會(huì)發(fā)生漂移，造成區(qū)域邊界的模糊。針對(duì)這一問(wèn)題，Perona和Malik提出了擴(kuò)散率可變的各向異性擴(kuò)散方程［9］，

式中：div為散度算子，c（x，y，t）為擴(kuò)散率函數(shù)，?為梯度算子，I0為方程的初始條件。擴(kuò)散率函數(shù)是以像素點(diǎn)的梯度||?I（x，y，t）|| 為自變量的單調(diào)下降函數(shù)，

其中g(shù)（s）為單調(diào)下降函數(shù)。對(duì)于邊界點(diǎn)等梯度比較大的像素點(diǎn)，擴(kuò)散率較小，從而平滑功能會(huì)減弱，而當(dāng)灰度值變化較平緩時(shí)，梯度值較小，擴(kuò)散率則會(huì)比較大。實(shí)際應(yīng)用中，擴(kuò)散率函數(shù)通常選擇為

式中參數(shù)λ用來(lái)區(qū)分需要不同平滑強(qiáng)度的區(qū)域。

3 算法描述

文獻(xiàn)［8］提出了一種圖像插值放大算法，其主旨是用未知像素周?chē)枷袼鼗叶戎档募訖?quán)和來(lái)決定待確定像素的灰度值，而各個(gè)原始像素的權(quán)值由圖像在這一點(diǎn)的歸一化導(dǎo)數(shù)值和它與被插像素之間的距離控制，并且原始像素點(diǎn)與內(nèi)插像素距離越近，對(duì)它的影響就越大。假設(shè)插入的像素為α，在α附近有4個(gè)原始像素分別為α1，α2，α3，α4，它們之間的位置關(guān)系如圖1所示。

圖1 α與αi（i＝1，2，3，4）的位置關(guān)系

若用Δxi表示α與αi（i＝1，2，3，4）的水平距離，用Δyi表示兩者垂直方向的距離，則αi對(duì)α的影響權(quán)值D可以表示為：

本文提出一種將自適應(yīng)插值用于圖像修復(fù)的方法，分別求取待修復(fù)區(qū)域像素點(diǎn)周?chē)囊阎袼攸c(diǎn)的梯度權(quán)函數(shù)和距離權(quán)函數(shù)，對(duì)未知像素點(diǎn)進(jìn)行賦值。

假設(shè)圖I表示一幅受損的灰度圖像，I（x，y）是像素點(diǎn)（x，y）的灰度值，D表示圖像I中待修復(fù)區(qū)域。在插值過(guò)程中，應(yīng)充分利用已知像素信息以保證像素值估計(jì)的準(zhǔn)確性，同時(shí)要權(quán)衡算法的運(yùn)算量，因此本文選用了5×5鄰域來(lái)為像素點(diǎn)賦值，如圖2所示。

圖2 像素（i，j）的5×5鄰域示意圖

對(duì)于區(qū)域內(nèi)一點(diǎn)（i，j），其灰度值I（i，j）由其5 ×5鄰域內(nèi)已知像素的灰度值決定，表達(dá)式為式中m和n不同時(shí)為0。W為各個(gè)像素點(diǎn)的梯度權(quán)函數(shù)，S為各個(gè)像素點(diǎn)的距離權(quán)函數(shù)，距離權(quán)函數(shù)S的確定引用文獻(xiàn)［7］中的方法

式中Δx（u，v）和Δy（u，v）分別為待確定像素點(diǎn)（u，v）與其鄰域像素點(diǎn)（i，j）之間的垂直距離和水平距離。

由于梯度是表征像素是否在平滑區(qū)域的一個(gè)重要物理量，本文的另一個(gè)權(quán)值引用P-M各項(xiàng)異性擴(kuò)散模型中的擴(kuò)散率函數(shù)：

式中Ix（u，v）和Iy（u，v）分別為圖像在像素點(diǎn)α處垂直方向和水平方向的一階導(dǎo)數(shù)。將距離權(quán)函數(shù)式（7）與梯度權(quán)函數(shù)式（8）帶入式（6）即可計(jì)算出插入像素點(diǎn)的灰度值。式中λ為待定參數(shù)，根據(jù)圖像的具體情況取值，λ值越小，越趨向于對(duì)邊緣的增強(qiáng)；λ值的增大可加強(qiáng)對(duì)圖像的平滑作用。一般取χ＝3修復(fù)效果較好。

基于擴(kuò)散率函數(shù)的圖像修復(fù)算法主要步驟如下：

1）輸入待修復(fù)圖像I和破損標(biāo)記mask，其中，mask表示待修復(fù)區(qū)域；

2）將破損區(qū)域內(nèi)像素點(diǎn)置0，其余置1；

3）對(duì)于待修復(fù)區(qū)域內(nèi)的每個(gè)像素，計(jì)算出其5 ×5鄰域內(nèi)所有已知像素的距離權(quán)值和梯度權(quán)值。

4）利用式（6）～式（8）求出待修復(fù)像素點(diǎn)（m，n）的灰度值I（m，n）；

5）重復(fù)步驟2）～步驟4），直到所有未知像素均被確定，輸出修復(fù)后的圖像I。

4 實(shí)驗(yàn)及結(jié)果分析

本文以MATLAB2009a為平臺(tái)，在PC機(jī)（Intel（R）Core（TM）2 Duo CPU E4500，2.20 GHz，1 G內(nèi)存）上對(duì)自適應(yīng)插值算法進(jìn)行實(shí)現(xiàn)，取參數(shù)λ＝3，并與經(jīng)典的的BSCB算法和基于TV模型的圖像修復(fù)方法進(jìn)行比較。

本文采用峰值信噪比（PSNR）、耗時(shí)2個(gè)指標(biāo)對(duì)所修復(fù)圖像進(jìn)行科學(xué)的評(píng)估。峰值信噪比（PSNR）為：式中：U為原圖像；U1為修復(fù)后的圖像；M和N分別表示圖像的行值和列值。在圖像修復(fù)中，PSNR值越大，說(shuō)明修復(fù)效果越好。

圖3 Lena圖像修復(fù)劃痕效果比較

圖3是用BSCB算法，TV算法和AI方法分別處理帶劃痕Lena圖像的對(duì)比試驗(yàn)。從表1中可以看到本文的方法耗時(shí)為5.14 s，遠(yuǎn)小于BSCB算法，相應(yīng)的PSNR的數(shù)值也較大，修復(fù)質(zhì)量較好。TV的算法雖然時(shí)間上略占優(yōu)勢(shì)，但對(duì)lena帽子上劃痕的修復(fù)存在錯(cuò)誤的修復(fù)塊，且邊緣處不是很清晰。AI方法修復(fù)的圖片，直觀上修復(fù)質(zhì)量略優(yōu)于BSCB算法和TV算法，而且從表1中可以看出其修復(fù)速度較前兩種方法有很大的提高。

圖4 Canyon圖像去除文字效果比較

圖4是用3種方法進(jìn)行彩色圖像canyon上文字去除的對(duì)比試驗(yàn)。雖然視覺(jué)效果沒(méi)有太大差別，但是從表1和表2中可以看出新提出的AI方法時(shí)效比BSCB算法提高到2.5倍，比TV方法也稍有提高，而客觀評(píng)價(jià)指標(biāo)PSNR也比其它兩種算法有明顯提高。

實(shí)驗(yàn)過(guò)程中3種方法的運(yùn)算時(shí)間和峰值信噪比比較如表1和表2所示。

表1 運(yùn)算時(shí)間比較s

表2 峰值信噪比比較

5 結(jié)束語(yǔ)

本文把圖像放大算法中插值的思想運(yùn)用到圖像修復(fù)中，提出了以基于擴(kuò)散率函數(shù)的自適應(yīng)插值算法。從仿真及計(jì)算PSNR的結(jié)果可以看出，該方法在保持圖像修復(fù)質(zhì)量基本不變的情況下，修復(fù)時(shí)效約為BSCB算法的4.8倍，而PSNR值比TV算法提高了許多。解決了傳統(tǒng)的修復(fù)算法耗時(shí)長(zhǎng)、效率低的問(wèn)題。經(jīng)過(guò)仿真結(jié)果表明，本文的方法修復(fù)后的圖像信息過(guò)渡自然，視覺(jué)效果有很大提高，具有較強(qiáng)的實(shí)用價(jià)值。該算法均能得到比其它算法更好的效果。

［1］ Li X D，Du Y，Ling F.Using a subpixelmappingmodel to improve the accuracy of landscape pattern indices［J］.Ecological Indicators，2011，11（5）：1160－1170.

［2］ 張紅英.數(shù)字圖像修復(fù)技術(shù)的研究與應(yīng)用［D］.成都：電子科技大學(xué)，2006.

［3］ Criminisi A，Perez P，Toyama K.Objectremoval by exemplarbased inpainting［C］／／Computer Vision and Pattern Recognition.USA：IEEE Computer Society Conference，2003：721－728.

［4］ Shen ZQ，Qi J G，Wang K.Modification of pixelswapping algorithm with initialization from a sub-pixel spatial attractionmodel［J］.Photogrammetric Engineering and Remote Sensing，2009，75（5）：557－567.

［5］ 許威威，潘志庚，張明敏.一種基于整體變分的圖像修補(bǔ)算法［J］.中國(guó)圖象圖形學(xué)報(bào)，2002，7（4）：351－355.

［6］ 江雯，陳更生，楊帆.基于Sobel算子的自適應(yīng)圖像縮放算法［J］.計(jì)算機(jī)工程，2010，36（7）：214－216.

［7］ Hwang JW，Lee H S.Adaptive Image Interpolation Based on Local Gradient Features［J］.IEEE Signal Processing Letters，2004，11（3）：359－362.

［8］ 許微.基于偏微分方程的圖像修復(fù)及放大算法研究［D］.天津大學(xué)，2007.

［9］ Perona P，Malik J.Scale-space and edge detection using anisotropic diffusion［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1990，12（7）：629－639.

［10］ Lin S Y，Shi J Y.Fast natural image matting in perceptual color space［J］.Computers and Graphics，2005，29（3）：403－414.

Application Research on Adaptive Interpolation Algorithm in Im age Restoration

MA Min1， ZHAO Liang1， WANG Hua-xiang2
（1.Civil Aviation University of China，Tianjin 300300，China；2.Tianjin University，Tianjin 300072，China）

Since the BSCBmodelhasan inherentslow rate，and the totalvariationmodel is subject to staircase effect，to overcome these disadvantages，an adaptive interpolation algorithm is proposed based on the diffusivity function.The proposed algorithm repairs the unknown pixels by using the gradient weight function and distance weight function of the neighboring pixels whose values are known.Experimental results show that compared to the traditional methods，the proposed algorithm can obtain relatively higher image quality in a shorter time for both gray and color image restoration，additionally，the quantitative evaluation indicator has also verified the effectiveness of the proposed method.

Metrology；Image restoration；Partial differential equation；Diffusivity function；Adaptive interpolation

TB96

A

1000-1158（2014）04-0331-04

10．3969／j．issn．1000-1158．2014．04．06

2012-07-18；

2013-05-28

國(guó)家自然科學(xué)基金青年基金（61102096）

馬敏（1971－），女，安徽霍邱人，中國(guó)民航大學(xué)教授，研究生導(dǎo)師，主要從事無(wú)損檢測(cè)及新型傳感器的研究。mm5739＠163.com