改進(jìn)的二維小波超分辨率重建方法

周靖鴻，朱建軍，周 璀，樊東昊

(中南大學(xué)地球科學(xué)與信息物理學(xué)院，湖南 長(zhǎng)沙410083)

一、引 言

遙感圖像超分辨率重建是對(duì)一幅或多幅低分辨率觀測(cè)影像，通過(guò)一定的算法重建出高分辨率的影像［1］。1984年物理學(xué)家Morlet在研究地球物理信號(hào)時(shí)首先提出了小波的概念［2］;1986年Meyer構(gòu)造了具有二維伸縮和平移的規(guī)范正交基［3］;隨后通過(guò)Mallat［4］和Daubechies［5］的進(jìn)一步改進(jìn)和發(fā)展，小波變換多分辨率分析的特性日漸凸顯。經(jīng)一些學(xué)者的研究，小波逐漸進(jìn)入大地測(cè)量與遙感等測(cè)繪數(shù)據(jù)處理過(guò)程中［6-7］。二維小波變換可獲得圖像的低頻子圖和3個(gè)方向的高頻子圖，郝鵬威［8］、劉笑宙［9］與陶洪久［10］等將二維小波變換與各插值方法相結(jié)合進(jìn)行圖像超分辨率重建，都得到了一定的重建效果;屈有山等［11］提出了小波雙三次插值算法提高遙感圖像分辨率，其方法分析了小波變換各層高頻子圖與上一層對(duì)應(yīng)方向上高頻子圖的相似性，基于此對(duì)原圖像小波分解的高頻子圖進(jìn)行雙三次插值可獲得與原圖像尺寸相同、對(duì)應(yīng)3個(gè)方向上的高頻子圖，將獲得的高頻子圖與原圖進(jìn)行小波重構(gòu)便得到該方法的重建結(jié)果，重建過(guò)程中低頻利用原圖，能量并未增加，會(huì)使得尺寸增大一倍后的重建圖像整體變得暗淡;趙秀影等［12］對(duì)此進(jìn)行了改進(jìn)，對(duì)高頻進(jìn)行雙三次插值，低頻利用原圖乘以2倍系數(shù)變換后得到，這可使重建后圖像的平均能量與原圖一致，圖像亮度不變重建效果更好;針對(duì)原有圖像插值方法的不足，Smith等［13］提出了基于離散傅里葉變換的零填充重采樣插值方法(以下簡(jiǎn)稱DFT零填充重采樣)，證明了對(duì)圖像傅里葉變換后頻率域的零填充插值可獲得空域理想差值，該方法較傳統(tǒng)的插值方法優(yōu)越［14］。綜合以上，本文提出一種改進(jìn)的小波超分辨率方法，即對(duì)圖像二維小波分解后的各高頻分量采用DFT零填充重采樣方法處理，使各高頻信息在插值過(guò)程中既不增加多余能量又能獲得理想的插值結(jié)果，低頻部分則利用文獻(xiàn)［12］中的方法對(duì)原圖進(jìn)行系數(shù)變換得到，使得重建圖像的亮度與原圖保持一致，最后對(duì)處理后的高低頻分量進(jìn)行二維小波逆變換獲得最終超分辨率圖像。經(jīng)試驗(yàn)論證了改進(jìn)方法的可行性和有效性。

二、小波雙三次插值

二維小波變換是在一維小波的基礎(chǔ)上發(fā)展起來(lái)的。其變換過(guò)程是將二維信號(hào)依次進(jìn)行行、列兩個(gè)方向上的一維小波變換。由于二維小波分析方法對(duì)圖像處理具有多尺度、多分辨率的性質(zhì)，能將圖像進(jìn)行多尺度的高低頻率分解，獲得低頻與3個(gè)方向上的高頻信息，因此被廣泛應(yīng)用于圖像頻率域分析過(guò)程中。二維小波分解公式如下

對(duì)應(yīng)重構(gòu)公式為

式中，f(x，y)為原始圖像;R2為二維平方可積空間;φ為尺度基函數(shù);ψ為小波基函數(shù);ˉψ是ψ的共軛;ˉφ是φ的共軛;d1、d2、d3分別為水平、垂直、對(duì)角3個(gè)方向的高頻分量;C為低頻分量;J為最大分解層數(shù);j代表分解到第j層，且j=1，2，…，J。

傳統(tǒng)的小波雙三次插值法，首先通過(guò)二維小波分解獲得低頻子圖與3個(gè)方向的高頻子圖［11-12］，然后對(duì)各個(gè)高頻子圖分別進(jìn)行雙三次插值，同時(shí)低頻子圖利用原圖或原圖乘以一個(gè)變換系數(shù)后得到，最后利用處理后的低頻與高頻進(jìn)行小波重構(gòu)獲得最終重構(gòu)結(jié)果。該方法利用了二維小波多分辨率分析的特性，有一定的重建效果。

三、改進(jìn)的小波重建方法

文獻(xiàn)［11］中的小波雙三次插值算法是將小波分解的各高頻信息進(jìn)行雙三次插值以作為重構(gòu)過(guò)程的高頻，重構(gòu)過(guò)程的低頻則用原圖來(lái)代替。高頻分量對(duì)應(yīng)圖像的邊緣細(xì)節(jié)，低頻分量則決定圖像的主要輪廓，該方法有一定效果，但雙三次插值過(guò)程會(huì)引入噪聲給高頻信息帶入誤差，使得原本表示圖像細(xì)節(jié)信息的高頻部分失去精準(zhǔn)性。其低頻部分的替代過(guò)程雖遵循了小波分解各方向信息與上一層對(duì)應(yīng)方向上信息的相似性，但由于超分辨率重建會(huì)使得影像的尺寸增大，而原圖作為低頻其能量分散到尺寸更大的圖幅當(dāng)中將使得重建后的圖像變得暗淡，觀測(cè)效果降低?；诖?，文獻(xiàn)［12］中對(duì)低頻信息處理過(guò)程進(jìn)行改進(jìn)，低頻分量采用原圖乘以2倍系數(shù)變換后獲得，可使得超分辨率重建過(guò)程中圖像尺寸增大至兩倍的同時(shí)，其能量也是原圖像的兩倍，這使得每一像素的平均亮度與原圖相當(dāng)，重建效果得到改善，但高頻仍是采用雙三次插值，同樣存在文獻(xiàn)［11］中的弊端。

高頻信息進(jìn)行雙三次插值會(huì)使得代表圖像細(xì)節(jié)信息的高頻部分引入噪聲能量，對(duì)高頻信息的描述不精細(xì)，從而會(huì)模糊高頻信號(hào)。而文獻(xiàn)［13］提出的零填充重采樣方法對(duì)二維序列傅里葉變換后采用零填充處理，未加入任何多余能量。二維傅里葉變換公式為

式中，F(xiàn)f為二維信號(hào)f的傅里葉變換;u、v分別為對(duì)應(yīng)于x、y的傅里葉變換頻率。

該過(guò)程對(duì)各高頻分量利用式(6)分別進(jìn)行傅里葉變換，然后將得到的二維序列放入到一個(gè)尺寸為其兩倍大小的空矩陣中心處，矩陣中的其他部分均取零值，接著對(duì)零填充處理后的信號(hào)進(jìn)行IDFT(離散傅里葉逆變換)，其公式為

以上零填充重采樣操作可獲得二維序列信號(hào)的理想插值結(jié)果［13］，這相比于傳統(tǒng)的雙三次插值等插值方法都要優(yōu)越。綜上所述，本文對(duì)原有方法進(jìn)行改進(jìn)，采用DFT零填充重采樣代替原有雙三次插值進(jìn)行單幀圖像超分辨率重建高頻信號(hào)的處理過(guò)程，重建過(guò)程的低頻信號(hào)采用文獻(xiàn)［12］中用原圖乘以2倍系數(shù)的方法，改進(jìn)方法流程如圖1所示。

圖1 改進(jìn)的小波超分辨率重建方法流程

改進(jìn)的小波超分辨率重建方法具體步驟如下:

1)二維小波分解。將原圖利用式(1)—式(4)進(jìn)行二維小波分解，獲得一個(gè)方向的低頻與3個(gè)方向的高頻。

2)高低頻信息處理。用原圖乘以2倍系數(shù)作為下一步重建過(guò)程的低頻信息，3個(gè)方向高頻信息則依次利用上一步中二維小波分解得到的各高頻信息進(jìn)行DFT零填充重采樣操作，得到對(duì)應(yīng)方向上處理后的各高頻分量。

3)二維小波重構(gòu)。將處理獲得的低頻信息與處理后3方向高頻信息利用式(5)進(jìn)行二維小波逆變換，獲得最終的超分辨重建結(jié)果。

四、模擬試驗(yàn)

為驗(yàn)證方法的有效性，進(jìn)行以下試驗(yàn)。試驗(yàn)用的原圖像選取某地區(qū)上空的遙感影像，從其中截取尺寸大小為500像素×500像素的圖像，如圖2(a)所示。對(duì)原圖進(jìn)行隔行隔列降采樣，得到4幅大小為250像素×250像素的圖像。然后模擬圖像降質(zhì)過(guò)程，將4幅圖像對(duì)應(yīng)坐標(biāo)的像素值進(jìn)行求均值處理，得到圖2(b)。試驗(yàn)分別采用文獻(xiàn)［15］中的DFT零填充重采樣、文獻(xiàn)［11］中的小波雙三次插值方法、文獻(xiàn)［12］中改進(jìn)的小波雙三次插值方法，以及本文改進(jìn)的小波超分辨率重建方法進(jìn)行，各方法重建結(jié)果分別如圖2(c)、圖2(d)、圖2(e)、圖2(f)所示。采用峰值信噪比(PSNR)與均方根誤差(RMSE)對(duì)重建結(jié)果與原圖進(jìn)行定量比較，所得結(jié)果見(jiàn)表1，峰值信噪比越大均方根誤差越小表示重建效果越好［16］，PSNR與RMSE的計(jì)算公式分別為

表1 各種超分辨率方法重建結(jié)果

表1說(shuō)明了本文改進(jìn)方法明顯優(yōu)于各傳統(tǒng)方法。同時(shí)從圖2(c)中可得零填充重采樣方法的紋理細(xì)節(jié)較好，但過(guò)程中總能量并未增加，而整幅圖的尺寸由250像素×250像素?cái)U(kuò)大到500像素×500像素，導(dǎo)致重建后圖幅的平均能量是試驗(yàn)用圖的一半左右，圖像變得暗淡。從圖2(d)中可得小波雙三次插值雖有一定的效果，但高頻分量采用雙三次插值使得細(xì)節(jié)部分增加了多余的能量，引入了噪聲，這反映在圖中可看出建筑物邊緣線條的不流暢性，且低頻用原圖會(huì)出現(xiàn)與圖2(c)中同樣的暗淡效果。從圖2(e)可得文獻(xiàn)［12］對(duì)小波雙三次插值方法進(jìn)行改進(jìn)，利用原圖乘以2倍系數(shù)后所得圖像作為重建過(guò)程的低頻，使得重建圖像的亮度與原圖保持一致，但高頻仍采用雙三次插值，使得圖像細(xì)節(jié)的重建效果不佳。從圖2(f)可得利用本文方法對(duì)圖像小波分解的高頻部分利用零填充重采樣處理，實(shí)現(xiàn)了高頻細(xì)節(jié)的理想插值，同時(shí)低頻采用原圖乘以2倍系數(shù)，這樣組合的重建效果最優(yōu)。通過(guò)表1的定量對(duì)比證明了以上結(jié)論的正確性，說(shuō)明本文方法是一種較傳統(tǒng)方法更好的單幀影像小波超分辨率重建方法。

圖2 各種超分辨率重建方法比較

五、結(jié)束語(yǔ)

本文在原有小波雙三次插值超分辨率重建的基礎(chǔ)上，利用零填充重采樣代替高頻重建過(guò)程的雙三次插值，低頻利用原圖乘以2倍系數(shù);并通過(guò)試驗(yàn)定性分析與定量對(duì)比，證明了改進(jìn)方法重建效果較傳統(tǒng)方法更優(yōu)。創(chuàng)新點(diǎn)如下:①將零填充重采樣引入到二維小波分解高頻信息的插值過(guò)程，保證高頻信息不引入噪聲的同時(shí)使得其重采樣結(jié)果最大限度地相似于高分辨率圖像的高頻部分;②將原有的低頻處理方法與改進(jìn)的高頻處理方法相結(jié)合，使得重建得到的高分辨率圖像與原圖像具有同樣的亮度且高頻細(xì)節(jié)較原有方法更加清晰。

［1］ 孫濤，林立宇，孫夫雄，等．光學(xué)遙感影像復(fù)原與超分辨重建［M］．北京:國(guó)防工業(yè)出版社，2012．

［2］ GROSSMANN A，MORLET J．Decomposition of Hardy Functions into Square Integrable Wavelets of Constant Shape［J］．SIAM Journal on Mathematical Analysis，1984，15(4):723-736．

［3］ 楊建國(guó)．小波分析及其工程應(yīng)用［M］．北京:機(jī)械工業(yè)出版社，2005．

［4］ MALLAT S G．A Theory for Multiresolution Signal Decomposition:the Wavelet Representation［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11(7):674-693．

［5］ DAUBECHIESI．Ten Lectures on Wavelets［M］．Philadelphia:Society for Industrial and Applied Mathematics，1992．

［6］ 寧津生，汪海洪，羅志才．小波分析在大地測(cè)量中的應(yīng)用及其進(jìn)展［J］．武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2004，29(8):659-663．

［7］ 劉偉，周懷軍，馬軍驥．基于超分辨分析方法的跳頻信號(hào)相對(duì)時(shí)延估計(jì)［J］．測(cè)繪通報(bào)，2012(S1):49-51．

［8］ 郝鵬威，朱重光．基于小波的圖像插值方法［J］．遙感學(xué)報(bào)，1998，2(2):98-102．

［9］ 劉笑宙，涂國(guó)防．小波雙線性插值應(yīng)用于光學(xué)遙感圖像［J］．中國(guó)科學(xué)院研究生院學(xué)報(bào)，2003，20(1):39-43．

［10］ 陶洪久，柳健，田金文．基于小波變換和插值的超分辨率圖像處理算法［J］．武漢理工大學(xué)學(xué)報(bào)，2002，24(8):63-66．

［11］ 屈有山，田維堅(jiān)，李英才，等．基于小波雙三次插值提高光學(xué)遙感圖像空間分辨率的研究［J］．光子學(xué)報(bào)，2004，33(5):601-604．

［12］ 趙秀影，蘇耘，董艷芹，等．一種基于小波與雙三次插值的CCD圖像超分辨方法［J］．計(jì)算機(jī)應(yīng)用研究，2009，26(6):2365-2367．

［13］ SMITH J O．Mathematics of the Discrete Fourier Transform(DFT)［D］．Stanford University:Center for Computer Research in Music and Acoustics(CCRMA)，2002．

［14］ 周武，胡躍明．基于相位相關(guān)和重采樣的亞像素圖像配準(zhǔn)算法［J］．華南理工大學(xué)學(xué)報(bào):自然科學(xué)版，2010，38(10):68-73．

［15］ 周武．精密圖像配準(zhǔn)方法研究及在精密電子組裝中的應(yīng)用［D］．廣州:華南理工大學(xué)，2012．

［16］ 陶珂，朱建軍．多指標(biāo)融合的小波去噪最佳分解尺度選擇方法［J］．測(cè)繪學(xué)報(bào)，2012，41(5):749-755．