圖像插值的自適應(yīng)鄰域?yàn)V波方法

詹 毅,李聲杰,李 夢(mèng)

(1.重慶大學(xué)a.計(jì)算機(jī)學(xué)院;b.數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,重慶400030;

2.重慶工商大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,重慶400067;3.重慶文理學(xué)院數(shù)學(xué)與財(cái)經(jīng)學(xué)院,重慶402160)

圖像插值的自適應(yīng)鄰域?yàn)V波方法

詹 毅1a,2,李聲杰1b,李 夢(mèng)3

(1.重慶大學(xué)a.計(jì)算機(jī)學(xué)院;b.數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,重慶400030;

2.重慶工商大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,重慶400067;3.重慶文理學(xué)院數(shù)學(xué)與財(cái)經(jīng)學(xué)院,重慶402160)

圖像待插像素用其鄰域內(nèi)連續(xù)方向上像素的Tyler展開(kāi)可以得到較好的近似,但是沿著灰度連續(xù)和不連續(xù)方向(跨越圖像邊緣方向)的Tyler展開(kāi)近似的線性平均會(huì)增加圖像邊緣寬度,引起圖像邊緣的視覺(jué)模糊以及產(chǎn)生鋸齒邊緣。為此,通過(guò)一個(gè)與灰度距離相關(guān)的權(quán)函數(shù),自適應(yīng)選擇待插像素鄰域內(nèi)的Tyler展開(kāi),提出一個(gè)鄰域?yàn)V波圖像插值方法。與待插像素位于圖像邊緣同側(cè)的像素權(quán)函數(shù)的值較大,像素的Tyler展開(kāi)被選擇為待插像素的近似;反之則權(quán)函數(shù)的值較小,像素的Tyler展開(kāi)不用作待插像素的Tyler展開(kāi)。實(shí)驗(yàn)結(jié)果表明,該方法避免了跨越圖像邊緣的Tyler展開(kāi)的線性平均,可減小插值圖像邊緣的寬度,增加邊緣斜坡坡度,從而獲得清晰的插值圖像邊緣。

圖像插值;線性插值;Tyler展開(kāi)式;鄰域?yàn)V波;自適應(yīng)方法;雙邊濾波

1 概述

圖像插值是圖像處理中的一個(gè)逆問(wèn)題,它把低分辨率圖像恢復(fù)到高分辨率圖像。由于其在理論與實(shí)際生活中的巨大應(yīng)用,在過(guò)去的二十多年獲得了廣泛的研究。如何有效去除插值圖像邊緣的鋸齒現(xiàn)象、模糊以及振鈴現(xiàn)象等人工虛像,并獲得視覺(jué)美感的插值結(jié)果是圖像插值領(lǐng)域的關(guān)鍵問(wèn)題。近年來(lái)大量的算法被提出來(lái)用于解決這一問(wèn)題,如紋理方向插值[1]、水平線方向插值[2]、二階方向?qū)?shù)插值[3]、邊緣協(xié)方差信息插值[4]、水平集運(yùn)動(dòng)插值[5]、徑向基函數(shù)插值[6]、雙側(cè)濾波[7]等。文獻(xiàn)[8]基于各向異性距離方法提出一種邊緣保持的核回歸圖像插值方法。這種核回歸建立在非參數(shù)回歸模型基礎(chǔ)之上,使插值圖像的邊緣信息也得到一定的保持,但是這種方法需要圖像像素點(diǎn)處的高階導(dǎo)數(shù),這在圖像處理中是一個(gè)比較困難的問(wèn)題,必然會(huì)影響插值圖像的視覺(jué)效果。文獻(xiàn)[9]提出了一種基于再生核的圖像插值方法。該方法將圖像沿水平、垂直、對(duì)角線3個(gè)方向再生,并按照再生核數(shù)值積分方法導(dǎo)出了圖像插值算法,利用再生核的數(shù)學(xué)模型特點(diǎn)來(lái)保持圖像的邊界信息和光滑性。然而這種方法計(jì)算復(fù)雜度高,而且按塊插值的快速方法會(huì)破壞跨越塊的圖像邊緣的光滑性。文獻(xiàn)[10]將逆梯度運(yùn)用到傳統(tǒng)的雙線性與雙三次插值方法中,銳化了圖像邊緣,這種方法對(duì)彩色圖像的插值效果沒(méi)有對(duì)灰度圖像的插值效果好。文獻(xiàn)[11]用小波的多分辨率分析對(duì)圖像邊緣的頻率特性進(jìn)行無(wú)偏估計(jì)改善傳統(tǒng)的線性插值方法。這種方法依賴于精確的圖像邊緣方向和位置的估計(jì),而由于實(shí)際圖像的多樣性,單一的圖像邊緣檢測(cè)濾波器并不能完全準(zhǔn)確地提取圖像的邊緣,在實(shí)際應(yīng)用中具有一定的局限性。

本文提出一個(gè)二元函數(shù)Tyler展開(kāi)式的鄰域?yàn)V波圖像插值方法。它自適應(yīng)地選擇Tyler展開(kāi)的方向,更好地實(shí)現(xiàn)了減小圖像邊緣寬度功能的同時(shí)能有效抑制邊緣鋸齒現(xiàn)象,從而產(chǎn)生視覺(jué)效果良好的插值圖像。

2 圖像線性插值

對(duì)于傳統(tǒng)的雙線性、雙三次插值來(lái)說(shuō),待插像素只是距離的函數(shù)。對(duì)圖1(a)所示的一維原始圖像進(jìn)行線性插值的剖面圖示,如圖1(b)所示。在像素位置A和B之間插入C,D兩個(gè)像素。從圖中可以看出線性插值方法使插值圖像邊緣斜坡變緩,邊緣寬度變大,插值圖像的邊緣變得更模糊。因此,要使插值圖像邊緣的視覺(jué)清晰度高,就需要使得圖像邊緣斜坡坡度陡,也需要使圖像邊緣寬度窄,如圖1(c)實(shí)折線所示。文獻(xiàn)[12]把圖1(a)的一維信號(hào)看成是一個(gè)連續(xù)函數(shù),從而像素D的灰度值就可以由像素B的灰度值通過(guò)函數(shù)的Tyler展開(kāi)式近似得到:

其中,u′,u″是一維信號(hào)u在像素xB處沿方向xB→xD的一階、二階方向?qū)?shù)。

圖1 一維信號(hào)插值示意圖

像素D的灰度值可以由像素A的灰度值通過(guò)相同的方法計(jì)算。不過(guò),從圖1可以看出,以像素A進(jìn)行Tyler展開(kāi)去估計(jì)像素D存在很大的誤差,原因是在像素D處信號(hào)是不連續(xù)的。而在圖像插值中待插像素以哪個(gè)像素Tyler展開(kāi)合適是未知的,文獻(xiàn)[12]通過(guò)對(duì)各個(gè)方向Tyler展開(kāi)進(jìn)行雙線性加權(quán)來(lái)解決這個(gè)問(wèn)題。顯然這樣做的結(jié)果與線性插值有相同的缺陷,都會(huì)增大插值圖像的邊緣寬度,形成較模糊的邊緣,同時(shí)也會(huì)產(chǎn)生鋸齒邊緣。因此,合理選擇Tyler展開(kāi)的方向是產(chǎn)生更好的圖像插值的關(guān)鍵。

3 Tyler展開(kāi)式鄰域?yàn)V波器

3.1 濾波器設(shè)計(jì)

把圖像u看作二維連續(xù)函數(shù),則u在待插像素x處的灰度值可以用它的鄰域像素y處的灰度值表示如下:

其中,▽u,Du分別是u在y處的梯度向量和Hessian矩陣,這里用等號(hào)代替式(1)中約等于號(hào)。然而在不連續(xù)點(diǎn)、不可微點(diǎn)處的這個(gè)Tyler展開(kāi)式并不能準(zhǔn)確表示這些點(diǎn)的值。圖像邊緣處的點(diǎn)就是這樣的一些點(diǎn),如果用這些點(diǎn)進(jìn)行Tyler展開(kāi)會(huì)模糊圖像邊緣,甚至?xí)a(chǎn)生鋸齒現(xiàn)象。因此,希望待插像素盡量用灰度連續(xù)變化方向上的像素Tyler展開(kāi),減少灰度不連續(xù)變化方向上像素點(diǎn)的Tyler展開(kāi)表示的貢獻(xiàn),最好不用這些點(diǎn)的展開(kāi)式。如圖1所示,待插像素D處用像素B的Tyler展開(kāi),而減小像素A的Tyler展開(kāi)的貢獻(xiàn),或不用像素A的Tyler展開(kāi);而待插像素C處用像素A的Tyler展開(kāi),而減小像素B的Tyler展開(kāi)的貢獻(xiàn),或不用像素B的Tyler展開(kāi)。因此,需要設(shè)計(jì)一個(gè)權(quán)系數(shù)來(lái)對(duì)待插像素鄰域的像素進(jìn)行選擇性的Tyler展開(kāi),這個(gè)權(quán)函數(shù)不僅要考慮像素距離對(duì)插值的影響還要考慮像素灰度差對(duì)插值的影響。受雙邊濾波[13]的啟發(fā),在本文中選擇以下函數(shù)作為加權(quán)函數(shù):

這里用等號(hào)代替約等于號(hào)。式(4)本質(zhì)上是對(duì)待插像素x的鄰域像素的Tyler展開(kāi)的一個(gè)自適應(yīng)選擇,選擇正確的像素進(jìn)行Tyler展開(kāi)插值。這種選擇是強(qiáng)制使式(4)的右端充分接近于0,從而最大程度減小沿不連續(xù)方向上的Tyler展開(kāi)對(duì)插值的貢獻(xiàn)。

待插像素x的所有鄰域像素的Tyler展開(kāi)式都滿足式(4),對(duì)它們求和可得圖像u在點(diǎn)x處的插值滿足如下方程:

其中,Ω是像素x的鄰域。通過(guò)簡(jiǎn)單的計(jì)算可得如下的鄰域?yàn)V波器:

其中:

綜上所述,Tyler展開(kāi)鄰域?yàn)V波器的設(shè)計(jì)原理可以簡(jiǎn)述如下:

(1)用待插像素的鄰域像素的Tyler展開(kāi)式近似表示待插像素(式(2))。

(2)用權(quán)函數(shù)式(3)自適應(yīng)選擇準(zhǔn)確的Tyler展開(kāi)式(式(4))。

(3)把所有的Tyler展開(kāi)求和,選擇有效的Tyler展開(kāi)式并平均(式(5))。

(4)由上一步導(dǎo)出鄰域?yàn)V波器(式(6))。

3.2 數(shù)值實(shí)現(xiàn)

用uij記u在像素點(diǎn)(i,j)處的Tyler展開(kāi)表達(dá)式,ux(i,j),uy(i,j)是u在(i,j)處的一階導(dǎo)數(shù),uxx(i,j),uxy(i,j),uyy(i,j)是u在(i,j)處的二階偏導(dǎo)數(shù)。類似的,可以得到在像素(i,j+1)(i+1,j) (i+1,j+1)處的Tyler展開(kāi)表達(dá)式uij+1,ui+1j,ui+1j+1。對(duì)這4個(gè)不同的表達(dá)結(jié)果求和,得到最終的插值表達(dá)式為:

圖2 插值網(wǎng)格

4 實(shí)驗(yàn)結(jié)果與分析

用式(7)對(duì)全彩色Parrots,peppers,barche, flower,eye圖像進(jìn)行插值,用實(shí)驗(yàn)結(jié)果說(shuō)明提出算法的有效性。為了更好地進(jìn)行比較,將原始大小圖像降采樣2倍,再對(duì)降采樣圖像放大2倍。以文獻(xiàn)[4, 10,12]中算法的實(shí)驗(yàn)結(jié)果與本文實(shí)驗(yàn)結(jié)果進(jìn)行實(shí)驗(yàn)對(duì)比;首先從實(shí)驗(yàn)的視覺(jué)效果說(shuō)明本文算法的有效性,用峰值信噪比(PSNR)值說(shuō)明3種算法的全局性能。

圖3顯示了4種算法對(duì)Parrot圖像插值的結(jié)果。從圖中可以看出文獻(xiàn)[12]算法在圖像邊緣產(chǎn)生了鋸齒和模糊現(xiàn)象;這是由于它是對(duì)各個(gè)方向的泰勒展開(kāi)式的線性組合,而不是以最優(yōu)方向上的像素灰度的刻畫(huà)。文獻(xiàn)[10]算法的插值圖像在鸚鵡眼睛左邊的黑色羽毛邊緣有些模糊;而本文方法都能有效地抑制圖像邊緣的鋸齒和模糊現(xiàn)象,文獻(xiàn)[4]算法具有更好的抑制鋸齒現(xiàn)象的能力。本文算法雖稍次于文獻(xiàn)[4]中的算法,但是算法簡(jiǎn)單而且它可以進(jìn)行任意倍的圖像插值,這方面又是優(yōu)于文獻(xiàn)[12]算法的。從圖4中的眼睛圖像插值結(jié)果也可看出,文獻(xiàn)[4]算法在瞳孔中木條邊緣的虛像是比較明顯的,文獻(xiàn)[12]算法在眼瞼處出現(xiàn)了一些不應(yīng)有的斑點(diǎn)。圖5為flower圖像的插值結(jié)果。從圖中可以看出,在花瓣的邊緣處文獻(xiàn)[12]算法的邊緣模糊現(xiàn)象是可見(jiàn)的。表1是4種算法的峰值信噪比值的比較。從表中可以看出,本文插值算法具有較高的峰值信噪比,與文獻(xiàn)[4]算法相比平均提高了0.5dB。文獻(xiàn)[12]算法與文獻(xiàn)[10]插值算法在峰值信噪比之間的差別不大,這與實(shí)驗(yàn)結(jié)果反映的視覺(jué)效果是一致的。

圖3 Parrot圖像整數(shù)倍插值結(jié)果比較

圖4 eye圖像整數(shù)倍插值結(jié)果比較

圖5 flower倍插值結(jié)果比較

表1 3種算法峰值信噪比比較dB

5 結(jié)束語(yǔ)

本文自適應(yīng)地選擇Tyler展開(kāi)式近似表示的方向,獲得了一個(gè)實(shí)現(xiàn)簡(jiǎn)單的鄰域?yàn)V波插值算法。該算法使得圖像邊緣同側(cè)的待插值像素只用同側(cè)像素的Tyler展開(kāi)式近似加權(quán),異側(cè)像素的Tyler展開(kāi)對(duì)插值幾乎沒(méi)有影響,避免了異側(cè)Tyler展開(kāi)的加權(quán)平均產(chǎn)生的邊緣模糊,減小了圖像邊緣的寬度從而獲得清晰的圖像邊緣。本文算法具有較低的算法復(fù)雜度、良好的客觀質(zhì)量和視覺(jué)效果,有很強(qiáng)的實(shí)際應(yīng)用價(jià)值。后續(xù)工作將研究具有各向異性的鄰域?yàn)V波器圖像插值。

[1] 王 健,馬漢杰.基于紋理方向的運(yùn)動(dòng)圖像插值算法[J].計(jì)算機(jī)工程,2011,37(1):218-223.

[2] 詹 毅.自適應(yīng)圖像插值改進(jìn)算法[J].計(jì)算機(jī)工程, 2010,36(16):200-202.

[3] Hao Jiang,Moloney C.A New Direction Adaptive Scheme for Image Interpolation[C]//Proceedings of InternationalConferenceonImageProcessing. New York,USA:IEEE Press,2002:369-372.

[4] Li Xin,OrchardMT.NewEdgeDirectedInterpolation[J].IEEE Transactions on Image Processing, 2000,10(10):311-314.

[5] Aly H A,Dubois E.Image Up-sampling Using TotalvariationRegularizationwithaNewObservation Model[J].IEEE Transactions on Image Processing, 2005,14(10):1647-1659.

[6] Casciola G,Ontefusco L B,Morigi S.Edge-driven Image Interpolation Using Adaptive Anisotropic Radial Basis Function[J].Journal of Mathematical Imaging Vision, 2010,36(2):125-129.

[7] Hung K W,Siu W C.Fast Image Interpolation Using Bilateral Filter[J].IET Image Process,2012,6(7): 877-890.

[8] 張崢嶸,劉紅毅,韋志輝.邊緣保持的核回歸圖像插值方法[J].計(jì)算機(jī)工程,2011,37(19):194-197.

[9] 施云惠,李 鋅,尹寶才.基于再生核W空間的圖像插值算法[J].計(jì)算機(jī)仿真,2007,24(3):219-222.

[10] Hwang J W,Lee H S.Adaptive Image Interpolation Based on Local Gradient Features[J].IEEE Signal Processing Letters,2004,11(3):359-362.

[11] Reeth E V,Bertolino P,Nicolas M.Image Interpolation Based on a Multi-resolution Directional Map[EB/OL]. (2011-02-15).http://www.researchgate.net/publication/229006704_Image_interpolation_based_on_a_ multi-resolution_directional_map.

[12] 詹 毅.基于泰勒展開(kāi)式的圖像插值方法[J].計(jì)算機(jī)工程,2012,38(13):202-204.

[13] Manduehi T R.Bilateral Filtering for Gray and Color Images[C]//Proceedingsofthe6thInternational Conference on Computer Vision.[S.l.]:IEEE Press, 1998:839-846.

編輯 顧逸斐

Adaptive Neighborhood Filtering Method of Image Interpolation

ZHAN Yi1a,2,LI Shengjie1b,LI Meng3
(1a.College of Computer Science;1b.College of Math and Statistics,Chongqing University,Chongqing 400030,China;
2.College of Math and Statistics,Chongqing Technology and Business University,Chongqing 400067,China;
3.School of Math and Finances,Chongqing University of Arts and Sciences,Chongqing 402160,China)

The interpolated pixel can be expanded along the direction on which image grey is continuously varied by Tyler expansion.But the linear average of these Tyler expansions along the continuous and discontinuous direction will enlarge the width of image edges and introduce blurring and zigzag effects.In this paper,a neighborhood filtering for image interpolation is proposed.A weighted function based on grey distance adaptively selects the Tyler expansions in the neighborhood of interpolated pixel.The principle of the method is that the weight of the pixel which lies on the same lateral of image edges with the interpolated pixel is large,so its Tyler expansion is selected,vice versa,the weight is small and its Tyler expansion is not selected.It avoids the average of the expansions which cross the image edges,and can reduce width of edge and increase slope,which produce scrip edges.

image interpolation;linear interpolation;Tyler expansion;neighborhood filtering;adaptive method;bilateral filtering

詹 毅,李聲杰,李 夢(mèng).圖像插值的自適應(yīng)鄰域?yàn)V波方法[J].計(jì)算機(jī)工程,2015,41(2):224-227,233.

:Zhan Yi,Li Shengjie,Li Meng.Adaptive Neighborhood Filtering Method of Image Interpolation[J]. Computer Engineering,2015,41(2):224-227,233.

1000-3428(2015)02-0224-04

:A

:TP391.41

10.3969/j.issn.1000-3428.2015.02.043

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202349);重慶市基礎(chǔ)與前沿研究計(jì)劃基金資助一般項(xiàng)目(cstc2013jcyjA40058);重慶市教委科學(xué)技術(shù)研究基金資助項(xiàng)目(KJ131209,KJ120709);重慶文理學(xué)院校級(jí)基金資助項(xiàng)目(R2012SC20)。

詹 毅(1971-),男,副教授、博士,主研方向:圖像處理;李聲杰,教授、博士;李 夢(mèng),副教授、博士。

2014-02-11

:2014-05-03E-mail:zhanyi@ctbu.edu.cn