基于小波方法的超分辨率圖像重建

王 靜，吳愛弟

（天津職業(yè)技術(shù)師范大學(xué)理學(xué)院，天津 300222）

近年來，隨著科學(xué)技術(shù)的提高，人們能夠獲得的信息量越來越多，對(duì)信息量的需求也越來越大。對(duì)于圖像而言，人們希望所獲得的圖像的分辨率越高越好。自從1970年以來，伴隨著CCD（電耦合元件）與CMOS（互補(bǔ)金屬氧化物半導(dǎo)體）圖像傳感器的發(fā)明及應(yīng)用，使得圖像的質(zhì)量有所改善。但是，在采集圖像時(shí)，傳感器很容易受到外界因素的影響，使得圖像的清晰度不高而且伴有噪聲的干擾，無法很好地反映原始場(chǎng)的信息，影響了圖像的質(zhì)量，視覺效果難以滿足人們的需要。人們?cè)O(shè)法通過改變傳感器的內(nèi)部硬件來提高獲取的圖像的分辨率。但是，這種改善物理硬件的方法成本很高，而且有時(shí)難以實(shí)現(xiàn)。因此，有必要考慮一種能克服這種限制的新措施來提高圖像分辨率。超分辨率重建技術(shù)在這種背景下應(yīng)運(yùn)而生。超分辨率圖像重建技術(shù)（super resolution image reconstruction，SRIR）是指利用質(zhì)量較差的、空間分辨率較低的已知圖像獲取高于成像系統(tǒng)分辨率的圖像。該技術(shù)無需硬件參與就可以提高圖像的空間分辨率，而且現(xiàn)有的低分辨率成像系統(tǒng)仍可以使用，既經(jīng)濟(jì)又容易實(shí)現(xiàn)。超分辨率重建技術(shù)已在軍事領(lǐng)域、衛(wèi)星遙感領(lǐng)域、醫(yī)學(xué)領(lǐng)域等很多方面得到了廣泛應(yīng)用[1-5]。

近年來，隨著小波理論的成熟，人們?cè)絹碓蕉嗟貙⑵湟氲綀D像重建技術(shù)中去并取得了很重要的研究成果。小波變換有很多優(yōu)點(diǎn)，它可以分離出圖像的高頻和低頻信息，也具有分解多尺度的特性[5－7]。以往的超分辨率重建技術(shù)中，經(jīng)常采用插值法，如最鄰近插值法、雙線性插值法等對(duì)觀測(cè)圖像進(jìn)行放大[8－9]。

本文研究單幀圖像的超分辨率圖像重建，結(jié)合小波方法和迭代方法[10－11]來進(jìn)行圖像重建。迭代過程中對(duì)高頻部分采用非線性外推[12]來獲得新的高頻分量，再結(jié)合原始的圖像進(jìn)行反復(fù)迭代，直到收斂到最優(yōu)解為止。該方法彌補(bǔ)了插值算法中不能提供豐富的高頻信息量的不足，而且使圖像在保持較好的邊緣和細(xì)節(jié)的前提下達(dá)到更高的峰值信噪比。

1 超分辨率圖像重建的數(shù)學(xué)模型

超分辨率圖像重建的首要步驟是建立觀測(cè)模型，建立低分辨率與高分辨率圖像的聯(lián)系。每幅低分辨率都是由其高分辨率圖像經(jīng)過運(yùn)動(dòng)偏移、模糊退化和下采樣后形成，在圖像的形成過程中不可避免地會(huì)有噪聲的干擾。其形成過程如圖2所示。

圖1 低分辨率圖像成像過程

首先，將待重建的高分辨率圖像假設(shè)為f，大小為L(zhǎng)1N1× L2N2，其向量表示為f=（f1，f2，…，fN）T。其中N=L1N1×L2N2；L1與L2分別為水平和垂直方向的降采樣尺度，相應(yīng)的低分辨率圖像g大小為N1×N2，向量表示為g=（g1，g2，…，gN）T，其中 M=N1× N2。由以上分析可知，圖像g可以表示為如下矩陣形式：

式中：D為降采樣矩陣；B為模糊矩陣；F為運(yùn)動(dòng)變換矩陣；n為加性噪聲。

本文算法中，將以上觀測(cè)模型轉(zhuǎn)換成其等價(jià)模型為：

其中：矩陣L表示從高分辨率圖像f到低分辨率圖像g過程中的運(yùn)動(dòng)、模糊與下采樣處理。采用文獻(xiàn)[13]中的矩陣模型，矩陣L=Lx? Ly，“?”代表張量積，Lx與Ly分別代表水平和垂直方向的循環(huán)矩陣。矩陣L的第一行可以表示為其中，前個(gè)元素為1，最后個(gè)元素為非零元。

2 非線性外推方法

本文在超分辨率圖像重建的過程中，對(duì)分解后的高頻分量采用了非線性外推技術(shù)，即：如果圖像I0為原始的低頻圖像，對(duì)I0中的高頻分量H0進(jìn)行非線性濾波，可以外推出與H0相位一致的更高頻的圖像H，其非線性濾波是對(duì)H0削波而得到的,如下所示：

式（3）中的c為剪切參數(shù)；H0max為高頻圖像H0中的灰度最大值，c決定非線性濾波的剪切閾值T。式（4）中的BOUND（x）為對(duì)H0中像素 x的剪切函數(shù)。式（5）中用幅度s對(duì)剪切后的H0進(jìn)行縮放。式（6）中的BP表示帶通濾波[12]。

3 基于小波方法的超分辨率圖像重建算法

由于小波變換具有空域和頻域“變焦距”的特性，選擇小波方法對(duì)圖像進(jìn)行重建，可以在不同分辨率上分析信號(hào)的局部性質(zhì)。文獻(xiàn)[14]最早提出基于小波變換的單幀圖像的超分辨率重建算法，具體步驟如下：

①將觀測(cè)圖像進(jìn)行小波變換，得到低頻子帶和水平、垂直、對(duì)角線3個(gè)方向相應(yīng)的高頻子帶。

②將高頻子帶進(jìn)行插值，得到頻率增加一倍的高頻子帶。

③將處理過的高頻子帶去噪進(jìn)行能量控制，結(jié)合觀測(cè)圖像一同進(jìn)行小波逆變換，得到高分辨率圖像。

由于此方法沒有對(duì)低頻部分進(jìn)行處理而在處理高頻子帶的時(shí)候采用了插值，這對(duì)圖像重建帶來一定的弊端，為了優(yōu)化此算法，胡熹[15]提出了一種優(yōu)化的算法。該算法將觀測(cè)圖像進(jìn)行了鄰域插值處理，再進(jìn)行小波變換，得到處理過的低頻部分。同時(shí)，運(yùn)用小波逆變換來代替插值的方法提高圖像的分辨率，即將小波一級(jí)分解后的高頻子帶當(dāng)作低頻部分，對(duì)應(yīng)的高頻子帶全部置零，再進(jìn)行小波逆變換，這樣就得到分辨率增加一倍的高頻子帶，然后再對(duì)3個(gè)方向分辨率增加后的高頻子帶進(jìn)行能量控制，最后再將能量控制后的高頻子帶與處理過的低頻部分進(jìn)行逆變換，得到分辨率增加的重建圖像。

4 迭代和小波方法的超分辨率圖像重建算法

4.1 去噪問題

在重建過程中涉及圖像預(yù)處理問題以及高頻能量控制問題，本文采用小波閾值去噪方法對(duì)圖像進(jìn)行處理，即對(duì)小波分解后的各層系數(shù)中大于和小于某閾值的系數(shù)分別處理，然后對(duì)處理完的小波系數(shù)再進(jìn)行小波變換，重構(gòu)出經(jīng)過去噪后的圖像。常用的閾值函數(shù)主要是硬閾值函數(shù)和軟閾值函數(shù)。本文主要采用軟閾值函數(shù)[4]。軟閾值函數(shù)如圖2所示，可表示為：

圖2 軟閾值函數(shù)

圖中：橫坐標(biāo)ω表示原始小波系數(shù)；縱坐標(biāo)η（ω）表示閾值化后的小波系數(shù)；T為閾值。

4.2 閾值估計(jì)

Donoho在1994年提出了VisuShrink方法（或稱統(tǒng)一閾值去噪方法）。它是針對(duì)多維獨(dú)立正態(tài)變量聯(lián)合分布，在維數(shù)趨向無窮時(shí)得出的結(jié)論，在最小最大估計(jì)的限制下得出的最優(yōu)閾值[4]。閾值的選擇滿足：

式中：σn為噪聲標(biāo)準(zhǔn)方差；N為信號(hào)的長(zhǎng)度。

4.3 本文的算法

上述圖像的重建算法，將小波分解后的高頻子帶進(jìn)行了插值處理，本文算法將小波分解得到的高頻子帶當(dāng)作低頻部分，相應(yīng)的高頻部分全部置零進(jìn)行小波逆變換，再利用圖像非線性外推技術(shù)來增加高頻部分的信息量。另外，本文算法不再將處理過的高頻子帶與原始圖像直接進(jìn)行逆變換，而是利用迭代方法來得到最優(yōu)的重建圖像。

這里，結(jié)合文獻(xiàn)[13]將式（2）中的Ld當(dāng)作小波低通分解矩陣，采用文獻(xiàn)[13]中構(gòu)造的相應(yīng)的小波低通重構(gòu)矩陣Ld，小波高通水平、垂直、對(duì)角線方向的分解矩陣 H1，H2，H3，小波高通水平、垂直、對(duì)角線方向的重構(gòu)矩陣顯然滿足因此，對(duì)任意的f，有于是可以利用迭代的方法求解，即：

給原始圖像一個(gè)初值處理，如插值，然后再進(jìn)行迭代。算法具體步驟如下：

①將原始圖像g插值得到f0作為迭代的初始估計(jì)。

②對(duì)插值后的圖像f0進(jìn)行小波變換，即計(jì)算Lf0、H1f0、H2f0、H3f0。

③將高頻成分H1f0、H2f0、H3f0進(jìn)行非線性濾波，可以外推出與 H1f0、H2f0、H3f0相位一致的3個(gè)方向的高頻子帶，即 S1、S2、S3。

④將③處理過的高頻子帶進(jìn)行上述小波去噪處理。

⑤將原始圖像當(dāng)作低頻部分結(jié)合外推后的高頻部分進(jìn)行小波逆變換得到超分辨率重建圖像f1。

上述重建過程中，很好地保留了圖像的原始信息，同時(shí)也很好地保留了圖像的細(xì)節(jié)和輪廓，能夠有效地重建出高分辨率圖像。

5 實(shí)驗(yàn)結(jié)果與分析

為了說明本算法的有效性，將算法中參數(shù)K選為4，t選為0.5，并選取大小為128×128的 woman2和512 ×512的lena作為測(cè)試圖像。對(duì)原始圖像進(jìn)行平均濾波、下采樣并加入隨機(jī)的高斯白噪聲，獲得大小減半的低分辨率圖像。為了研究本文算法在超分辨率圖像重建上的優(yōu)越性，采用小波方法、最鄰近插值法、雙線性插值法及本文的方法分別進(jìn)行圖像重建。選用峰值信噪比PSNR作為圖像重建質(zhì)量的客觀評(píng)價(jià)標(biāo)準(zhǔn)。PSNR的具體表達(dá)式為[16]：

實(shí)驗(yàn)1：給出大小為128×128的圖像，如圖3（a）所示。圖3（b）為運(yùn)用平均濾波下采樣，采樣因子為2，產(chǎn)生的低分辨率圖像，大小為64×64。依次運(yùn)用小波方法、最鄰近插值方法、雙線性插值方法和本文方法對(duì)低分辨率圖像（b）進(jìn)行圖像重建實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 woman2高分辨率重建圖像算法比較

實(shí)驗(yàn)2：給出大小為512×512的lena圖像，如圖4（a）所示。圖4（b）為相應(yīng)的低分辨率圖像大小為256×256。同樣地，依次運(yùn)用小波方法、最鄰近插值方法、雙線性插值方法和本文方法對(duì)低分辨率圖像（b）進(jìn)行圖像重建實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖4所示。

從主觀的圖像質(zhì)量來看，本文方法相比小波方法而言，圖像質(zhì)量明顯提高，圖像紋理較清晰，而且既沒有最鄰近插值那么明顯的邊緣鋸齒，也沒有雙線性插值那樣模糊，由表1數(shù)據(jù)可知，采用本文方法進(jìn)行超分辨率圖像重建，其PSNR值比小波方法、最鄰近插值法和雙線性插值法也均有不同程度的提高。說明本文方法能有效地改善圖像的重建質(zhì)量。

圖4 lena高分辨率圖像算法比較

表1 lena與woman2的圖像重建結(jié)果的PSNR值dB

6 結(jié)束語

隨著圖像處理技術(shù)的日益推廣，超分辨率重建技術(shù)越來越成為圖像處理領(lǐng)域研究的熱點(diǎn)，不僅有重要的理論研究意義，也有重要的實(shí)際應(yīng)用價(jià)值。由于傳統(tǒng)的算法存在著一定的不足，影響了圖像重建的質(zhì)量，使圖像的部分信息丟失。本文針對(duì)這些不足提出改進(jìn)的基于小波方法的超分辨率圖像重建算法，該算法結(jié)合了小波變換和迭代算法，一方面，利用小波變換的諸多優(yōu)點(diǎn)，如它的多尺度分解，高頻低頻信息的可分離性等；另一方面，利用非線性外推方法增加高頻分量加快了迭代速度。本方法使得重建的圖像保持了良好的細(xì)節(jié)和邊緣信息，提高了圖像的峰值信噪比。

［1］張良培，沈煥鋒，張洪艷，等.圖像超分辨率重建［M］.北京：科學(xué)出版社，2012.

［2］孫濤.光學(xué)遙感影像復(fù)原與超分辨率重建［M］.北京：國(guó)防工業(yè)出版社，2012.

［3］楊欣.圖像超分辨率技術(shù)復(fù)原與應(yīng)用［M］.北京：國(guó)防工業(yè)出版社，2013.

［4］周偉.基于MATLAB的小波分析應(yīng)用［M］.西安：西安電子科技大學(xué)出版社，2010.

［5］唐曉初.小波分析及其應(yīng)用［M］.重慶大學(xué)出版社，2005.

［6］CHAN T F，SHEN J.圖像處理與分析［M］.北京：科學(xué)出版社，2013.

［7］NGUYEN N，MILANFAR P.An effieient wavelet-based algorithm for image super resolution［J］.IEEE Intemational Conferenee on Image Proeessing，2000（2）：351-354.

［8］李慶揚(yáng)，王能超，易大義.數(shù)值分析［M］.武漢：華中科技大學(xué)出版社，2006.

［9］董理.超分辨率圖像重建研究［D］.廣州：華南理工大學(xué)，2011.

［10］何進(jìn)榮.基于加權(quán)范數(shù)迭代算法的總變差正則化圖像復(fù)原方法［D］.武漢：武漢理工大學(xué)，2009.

［11］胡學(xué)剛，吳勇，劉艷.一種變步長(zhǎng)迭代正則化圖像復(fù)原的新算法［J］.計(jì)算機(jī)應(yīng)用研究，2010，27（4）：1572-1574.

［12］戴天榮，張立明.一種改進(jìn)的非線性外推圖像增強(qiáng)算法及在高分辨率圖像重建中的應(yīng)用［J］.紅外與毫米波學(xué)報(bào)，2003，22（3）：197-202.

［13］RAYMOND H C，TONY F.Wavelet algorithms for high-resolution image reconstruction［J］.SIAM J SCI Comput，2003，24（4）：1408-1432.

［14］HONGGIU T，XINJIAN T，JIAN L，et al.Super-resolution remote sensing image processing algorithm based on wavelet transform and interpolation［J］.Proceedings of SPIE，2003，98：259-263.

［15］胡熹.基于第二代小波的圖像超分辨率重建研究［D］.武漢：華中科技大學(xué)，2009.

［16］喬建蘋.超分辨率重建與圖像增強(qiáng)技術(shù)研究［D］.濟(jì)南：山東大學(xué)，2008.