多向?yàn)V波結(jié)合小波逆變換的圖像超分辨率重建

宋明煜 張靖 俞一彪

摘 ?要：超分辨率圖像重建技術(shù)是指對(duì)低分辨率圖像進(jìn)行處理得到高分辨率的圖像。文章提出多向?yàn)V波和小波逆變換相結(jié)合的超分辨率圖像重建算法，首先對(duì)原始圖像進(jìn)行多向?yàn)V波處理，得到水平、垂直和對(duì)角線的高頻分量圖像，然后將原始圖像作為小波變換的低頻分量，結(jié)合上述高頻分量圖像進(jìn)行小波逆變換得到超分辨率重建圖像。實(shí)驗(yàn)結(jié)果顯示，文章提出的方法相比已有的小波變換超分辨率重建方法在視覺(jué)感受、峰值信噪比和均方差等方面有顯著提高。

關(guān)鍵詞：超分辨率圖像重建;多向?yàn)V波;多向差分;小波變換

中圖分類號(hào)：TP391.41 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）15-0005-04

Abstract：Super-resolution image reconstruction technology refers to processing low-resolution images to obtain high-resolution images. A super-resolution image reconstruction algorithm combining multi-directional filtering and inverse wavelet transformation is proposed. Firstly，the original image is processed by multi-directional filtering to obtain the horizontal，vertical and diagonal high-frequency component images. Then，the original image is taken as the low-frequency component of wavelet transform，and then the super-resolution reconstruction image is obtained by inverse wavelet transform combined with the high-frequency component image. The experimental results show that compared with the existing wavelet transform super-resolution reconstruction methods，the proposed method has a significant improvement in visual perception，peak signal-to-noise ratio and mean square deviation.

Keywords：super-resolution image reconstruction;multi-directional filtering;multi-directional difference;wavelet transform

0 ?引 ?言

圖像的超分辨率重建技術(shù)可以對(duì)現(xiàn)有的低分辨率圖像進(jìn)行相關(guān)處理來(lái)獲得對(duì)應(yīng)的高分辨率圖像。基于低分辨率圖像的超分辨率圖像重建技術(shù)在多媒體通信、醫(yī)學(xué)影像分析、視頻監(jiān)控等領(lǐng)域具有十分廣泛的應(yīng)用價(jià)值[1]。

近年來(lái)，隨著小波理論的成熟，越來(lái)越多的人將小波技術(shù)引入圖像重建領(lǐng)域，并取得了重要的研究成果。離散小波變換（Discrete Wavelet Transform，DWT）[2]具有很多優(yōu)點(diǎn)，它不僅可以分離圖像的高頻信息含量和低頻信息含量，而且具有多尺度分解的特點(diǎn)。超分辨率影像重建技術(shù)于60年代由Harris以單張影像復(fù)原的概念和方法提出，隨后許多人對(duì)其進(jìn)行了研究，并相繼提出了各種復(fù)原方法。雖然這些方法作出了較好的仿真結(jié)果，但并沒(méi)有在實(shí)際中得到廣泛的應(yīng)用[3]。80年代初，Tsai和Huang首先提出了基于序列或多幀影像的超分辨率重建問(wèn)題，并給出了基于頻域逼近的重建影像的方法[4]。80年代末之后，隨著計(jì)算機(jī)技術(shù)、電子技術(shù)以及信號(hào)處理理論與技術(shù)特別是小波理論、自適應(yīng)濾波理論以及一些優(yōu)化理論的發(fā)展，人們?cè)诔直媛视跋裰亟ǚ椒ㄑ芯可先〉昧送黄菩赃M(jìn)展，研究成果倍出，其應(yīng)用涵蓋了航空航天遙感、目標(biāo)識(shí)別、醫(yī)學(xué)計(jì)算機(jī)層析成像、空中目標(biāo)光電監(jiān)視成像等諸多領(lǐng)域[5]。

2016年香港中文大學(xué)Dong等人將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單張圖像超分辨率重建上，完成了深度學(xué)習(xí)在圖像超分辨率重建問(wèn)題的開(kāi)山之作，提出了超分辨率卷積神經(jīng)網(wǎng)絡(luò)SRCNN（Super Resolution Convolutional Neural Network，SRCNN）。重建效果遠(yuǎn)遠(yuǎn)優(yōu)于其他傳統(tǒng)算法[6]。美國(guó)加州大學(xué)Milanfar等人提出了大量實(shí)用的超分辨率圖像復(fù)原算法[7];Chan等人從總變差正則方面[8]，Zhao等人、Nagy等人則是從數(shù)學(xué)方法、多幀圖像的去卷積和彩色圖像的超分辨率增強(qiáng)方面，對(duì)超分辨率圖像恢復(fù)進(jìn)行了深入研究。Rajan等人分別從物理學(xué)和成像透鏡散射的角度提出了新的超分辨率圖像恢復(fù)方法[9];韓國(guó)浦項(xiàng)理工大學(xué)將各向異性擴(kuò)散方法用于超分辨率圖像重建[10]?；趩畏鶊D像的超分辨率重建的重建質(zhì)量和計(jì)算簡(jiǎn)便性仍然是目前的研究熱點(diǎn)之一。

在多媒體通信領(lǐng)域，實(shí)時(shí)通信時(shí)由于信道的限制往往很難直接獲得高分辨率高清晰度的圖像，而一些應(yīng)用場(chǎng)景又對(duì)圖像的質(zhì)量有較高要求，此時(shí)圖像的超分辨率重建工作就顯得尤為重要。如果直接拉大圖像，會(huì)產(chǎn)生視覺(jué)上的模糊的現(xiàn)象，即馬賽克效應(yīng)。為了克服這種馬賽克效果，現(xiàn)考慮利用小波反變換對(duì)圖像進(jìn)行處理，使圖像尺寸放大卻依然保持視覺(jué)上的清晰效果。利用小波變換可以對(duì)圖像進(jìn)行降低分辨率處理，那么理論上小波逆變換（IDWT）即可對(duì)圖像實(shí)現(xiàn)高分辨率的重建，因此考慮采用這個(gè)基本原理進(jìn)行系統(tǒng)的搭建。

本文提出采用多向?yàn)V波結(jié)合小波逆變換的方法（Multi-directional Filtering with inverse Wavelet Transform，MFWT）構(gòu)建超分辨率圖像重建方法，根據(jù)具體濾波處理方法不同而形成兩種重建算法：（1）多向高通濾波小波逆變換算法，首先分別構(gòu)建水平、垂直和對(duì)角方向高通濾波器對(duì)低分辨率原始圖像進(jìn)行濾波，得到三個(gè)方向的高頻分量，然后將原始圖像作為低頻分量，結(jié)合得到的三個(gè)高頻分量通過(guò)小波逆變換得到超分辨率重建圖像;（2）多向差分濾波小波逆變換重建算法，這一算法與前述算法的差異在于高通濾波方法的不同，其通過(guò)對(duì)原始低分辨率圖像前向差分實(shí)現(xiàn)水平、垂直和對(duì)角方向的高通濾波。實(shí)驗(yàn)證明本文提出的方法相對(duì)經(jīng)典小波變換重建方法有較好的重建質(zhì)量和較小的計(jì)算量。

1 ?小波變換超分辨率圖像重建

二維小波變換把一幅圖像分解成尺度更小的四個(gè)分量，這四個(gè)分量分別為低頻分量和水平、垂直與對(duì)角三個(gè)方向的高頻分量。對(duì)于一個(gè)圖像來(lái)說(shuō)，低頻分量也保留了原始圖像的大部分信息，而高頻分量主要包含原始圖像的輪廓等細(xì)節(jié)信息。

迄今為止，幾乎所有基于小波變換理論的圖像超分辨率計(jì)算總體方案都是把原始圖像作為小波變換中的LL分量，再利用不同的計(jì)算方法來(lái)計(jì)算HL、LH、HH這三個(gè)高頻分量，最后再將這四個(gè)分量進(jìn)行小波逆變換，得到需要的超分辨率圖像[11]。如圖1所示，經(jīng)典小波變換超分辨率圖像重建方法直接將低分辨率原始圖像作為低頻分量，并對(duì)其進(jìn)行小波變換得到HL、LH、HH三個(gè)高頻分量，之后再通過(guò)線性插值形成所需尺度的高頻分量，然后將這三個(gè)高頻分量作為目標(biāo)超分辨率圖像的高頻分量進(jìn)行小波逆變換最終得到重建的超分辨率圖像。這里的LL代表水平垂直低頻分量，LH、HL和HH分別代表垂直、水平和對(duì)角高頻細(xì)節(jié)分量[12]。

這種經(jīng)典小波變換超分辨率圖像重建方法利用了小波變換的特點(diǎn)，但在獲取高頻信息方面，通過(guò)小波分解再插值的方法會(huì)因插值計(jì)算窗口過(guò)寬引起較大誤差與失真，從而使得重建圖像的輪廓邊緣變得模糊。

2 ?多向高通濾波小波逆變換重建方法

利用小波逆變換重建超分辨率圖像的方法的難點(diǎn)在于如何獲取低分辨率原始圖像對(duì)應(yīng)的高頻信息，具體來(lái)說(shuō)就是利用小波逆變換獲取超分辨率圖像重建所需的水平、垂直和對(duì)角高頻分量。本文提出多向?yàn)V波的方法可以較好克服經(jīng)典DWT方法重建超分辨率圖像輪廓邊緣信息模糊的問(wèn)題。

基于小波變換原理，小波分解結(jié)果代表了原始圖像的低頻主體分量以及水平、垂直和對(duì)角線三個(gè)方向的高頻分量，并可以基于這四個(gè)分量通過(guò)小波逆變換無(wú)失真恢復(fù)原始圖像。在超分辨率圖像重建中，低分辨率原始圖像因保留了完整的圖像基礎(chǔ)信息，可以作為所需超分辨率圖像小波分解得到的低頻分量，而其對(duì)應(yīng)的高頻分量可以通過(guò)對(duì)其高通濾波估計(jì)得到。其中，可以通過(guò)分別把二維圖像按照水平方向和垂直方向分成行向量和列向量的一維信號(hào)進(jìn)行高通濾波來(lái)獲得水平和垂直高頻分量，可以直接通過(guò)對(duì)圖像的二維高通濾波來(lái)獲得對(duì)角高頻分量。若原始圖像的第h行和第v列像素值序列分別為xh和xv，則其離散傅立葉變換后得到的頻率和相位信息可以分別用式（1）和式（2）來(lái)表示。整個(gè)圖像x（m，n）的二維DFT如式（3）所示。

將x（m，n）作為低頻分量，結(jié)合以上三個(gè)高頻分量進(jìn)行小波逆變換就可以得到重建超分辨率圖像。理論上可以證明，多向差分濾波雖然無(wú)法精確計(jì)算得到原始低分辨率圖像對(duì)應(yīng)的高頻分量，但其計(jì)算窗口寬度僅為經(jīng)典DWT方法插值計(jì)算窗口寬度的一半，因此估算精度明顯提升，有利于提高重建超分辨率圖像的質(zhì)量。

4 ?實(shí)驗(yàn)結(jié)果與分析

選取分辨率為128×128像素的圖像作為本實(shí)驗(yàn)的原始低分辨率圖像對(duì)本文算法進(jìn)行仿真驗(yàn)證，得到256×256像素的高分辨率圖像，完成了2倍超分辨率的圖像重建。為了體現(xiàn)算法對(duì)不同圖像的有效性，實(shí)驗(yàn)中選取了三幅標(biāo)準(zhǔn)的灰度圖（Lena、Bridge和Zebra）進(jìn)行圖像重建。實(shí)驗(yàn)中小波變換采用Haar小波分別實(shí)現(xiàn)了經(jīng)典DWT方法、本文提出的多向高通濾波小波逆變換算法MFWT-1和多向差分濾波小波逆變換算法MFWT-2。采用均方差（Mean Squared Error，MSE）和峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）兩個(gè)客觀指標(biāo)來(lái)衡量重建圖像的質(zhì)量，主要通過(guò)比較重建圖像的細(xì)節(jié)和視覺(jué)感受進(jìn)行主觀評(píng)價(jià)。

4.1 ?客觀評(píng)價(jià)

經(jīng)典DWT、MFWT-1和MFWT-2各算法的超分辨率圖像重建實(shí)驗(yàn)結(jié)果如表1和表2所示。

由表1可知，本文提出的方法MFWT-1和MFWT-2得到的超分辨率重建圖像的PSNR值相比經(jīng)典DWT算法有明顯提高，同時(shí)，采用高通濾波的方法MFWT-1相比采用差分濾波的方法MFWT-2更加優(yōu)越。而從表2也可以看出，本文方法重建的圖像與目標(biāo)圖像之間的均方誤差較小，MFWT-1方法同樣獲得了最優(yōu)MSE指標(biāo)值，與PSNR測(cè)試結(jié)果一致。

4.2 ?主觀評(píng)價(jià)

表3展示了使用三種不同方法對(duì)三種低分辨率圖像的超分辨率重建效果。

可以明顯看出采用本文提出的兩種方法重建圖像的主觀視覺(jué)效果優(yōu)于傳統(tǒng)小波變換方法，特別是在紋理細(xì)節(jié)豐富區(qū)域的重構(gòu)質(zhì)量有很好的提高，重構(gòu)的圖像邊緣更加光滑，同時(shí)圖像細(xì)節(jié)也更加清晰。

圖4是Lena圖像的眼部和帽檐局部細(xì)節(jié)放大對(duì)比圖，可以明顯看到MFWT-1的重建細(xì)節(jié)優(yōu)于MFWT-2和經(jīng)典DWT方法，相對(duì)而言，無(wú)論在邊緣輪廓的平滑度、紋理的清晰度和灰度層次方面都有很大改善。

以上主觀評(píng)價(jià)的結(jié)果與客觀評(píng)價(jià)一致，說(shuō)明了采用多向?yàn)V波結(jié)合小波逆變換可以有效提高超分辨率圖像重建的質(zhì)量，以及對(duì)原始圖像直接高通濾波和差分濾波相對(duì)DWT高頻分量插值方法都能更好地獲取重建所需的高頻分量。另外，MFWT-1的重建質(zhì)量要優(yōu)于MFWT-2，說(shuō)明采用濾波器進(jìn)行高通濾波的方法比時(shí)域差分濾波要好，差分濾波的計(jì)算窗口雖然比經(jīng)典DWT的插值計(jì)算窗口窄了一半，但仍然大于理論上的標(biāo)準(zhǔn)窗口寬度，因此效果不如直接高通濾波方法。

5 ?結(jié) ?論

目前圖像超分辨率重建的研究越來(lái)越受到國(guó)內(nèi)外學(xué)者的重視，基于小波變換的圖像超分辨率重建的關(guān)鍵問(wèn)題在于如何獲取與低分辨率圖像對(duì)應(yīng)的高頻分量信息。本文主要研究了結(jié)合多向?yàn)V波的小波逆變換圖像超分辨率重建算法，通過(guò)引入水平、垂直和對(duì)角方向高通濾波來(lái)獲得圖像重建所需的三個(gè)方向的高頻分量，結(jié)合低分辨率原始圖像經(jīng)過(guò)小波逆變換得到重建圖像。實(shí)驗(yàn)證明了本文提出的算法相對(duì)于經(jīng)典DWT算法在PSNR和MSE性能指標(biāo)上均取得明顯優(yōu)勢(shì)，并且明顯提升了重建圖像的主觀視覺(jué)感受。說(shuō)明多向?yàn)V波可以有效提取原始低分辨率圖像對(duì)應(yīng)的高頻分量，相對(duì)經(jīng)典DWT方法的線性插值方法具有明顯優(yōu)勢(shì)。

參考文獻(xiàn)：

[1] 賀清碧，黃大榮，楊永琴.基于小波分析和多項(xiàng)式細(xì)分定位的超分辨率圖像重建算法 [J].計(jì)算機(jī)科學(xué)，2016，43（3）：313-316.

[2] 劉揚(yáng)陽(yáng)，金偉其，蘇秉華.基于正交離散小波的超分辨力圖像復(fù)原算法 [J].北京理工大學(xué)學(xué)報(bào)，2005（5）：431-434+438.

[3] HARRIS J L. Diffraction and Resolving Power [J].Journal of the Optical Society of America，1964，54（7）：931-936.

[4] HUANG T S. Advances in computer vision & image processing [M]//TSAI R Y. Multipleframe Image Restoration and Registration.Greenwich：JAI Press Inc.，1984：317-339.

[5] 肖杰雄.基于POCS算法的超分辨率圖像重建 [D].上海：上海交通大學(xué)，2009.

[6] DONG C，LOY C C，HE K M，et al. Learning a Deep Convolutional Network for Image Super-Resolution [C]//European Conference on Computer Vision，ECCV 2014. Cham：Springer，2014：184-199.

[7] NGUYEN N，MILANFAR P. An efficient wavelet-based algorithm for image super resolution [C]//Proceedings 2000 International Conference on Image Processing.Vancouver：IEEE，2000：351-354.

[8] CHAN T F，WONG C K. Muhichannel Image Deconvolution by Total Variation Regularization [C].San Diego：SPIE，1997：358-366.

[9] WOOD S L，RAJAN D，CHRISTENSEN M P，et al. Resolution improvement for compound eye images through lens diversity [C]//3rd IEEE Signal Processing Education Workshop.2004 IEEE 11th Digital Signal Processing Workshop，2004.Taos Ski Valley：IEEE，2004：151-155.

[10] KIM H，JANG J H，HONG K S. Edge-enhancing super-resolution using anisotropic diffusion [C]//Proceedings 2001 International Conference on Image Processing.Thessaloniki：IEEE，2001：130-133.

[11] 董理.超分辨率圖像重建算法研究 [D].廣州：華南理工大學(xué)，2011.

[12] 葉雙清，楊曉梅.基于小波變換和非局部平均的超分辨率圖像重建 [J].計(jì)算機(jī)應(yīng)用，2014，34（4）：1182-1186.

作者簡(jiǎn)介：宋明煜（1995—），男，漢族，吉林長(zhǎng)春人，學(xué)士學(xué)位，主要研究方向：圖像信號(hào)處理;張靖（1994—），男，漢族，江蘇揚(yáng)州人，碩士，主要研究方向：語(yǔ)音信號(hào)處理;通訊作者：俞一彪（1962—），男，漢族，江蘇無(wú)錫人，教授，博士，主要研究方向：語(yǔ)音信號(hào)處理、多媒體通信、信息隱藏。