多幀圖像超分辨率重建算法的研究

王 靜，吳愛弟

（天津職業(yè)技術(shù)師范大學(xué)理學(xué)院，天津 300222）

多幀圖像超分辨率重建算法的研究

王 靜，吳愛弟

（天津職業(yè)技術(shù)師范大學(xué)理學(xué)院，天津 300222）

多幀圖像超分辨率重建技術(shù)就是將一些變形、模糊、降采樣的多幅低分辨率圖像進行融合估計出一幅高分辨率圖像。其步驟主要分為：運動估計、插值處理、圖像重建。本文采用Vandewalle配準方法將處理過的低分辨率圖像序列映射到一幅高分辨率網(wǎng)格上，然后進行插值，最后結(jié)合小波變換和迭代方法進行圖像重建。并采用小波閾值去噪方法進行去噪處理。實驗結(jié)果表明本文算法能很好的提高圖像的峰值信噪比，是圖像重建的一種有效方法。

超分辨率圖像重建；運動估計；插值；小波變換；閾值去噪

1 引言

在圖像系統(tǒng)中，從圖像的獲取，到圖像的傳送、接受、輸出等等一系列環(huán)節(jié)，都會受到系統(tǒng)的物理條件和外界因素的干擾，從而使得人們最終獲取的圖像的分辨率降低，針對這些因素，又為了滿足人們的實際需要，圖像超分辨率重建技術(shù)應(yīng)運而生。超分辨率圖像重建就是將一系列分辨率較低、質(zhì)量較差的低分辨率圖像在像素級進行序列融合，從而得到分辨率較高、質(zhì)量更好的圖像。自1984年，Tsai和Huang首次提出了基于序列或多幀圖像的超分辨率重建算法之后，超分辨率重建技術(shù)成為人們關(guān)注的焦點，該技術(shù)得到了較快的發(fā)展，也取得豐碩的研究成果。其方法主要是分為頻域方法和空域方法兩大類。超分辨率圖像重建方法無需改變成本較高的物理硬件設(shè)施，從軟件的角度，改變圖像的分辨率，既經(jīng)濟又實用。并廣泛應(yīng)用到軍事領(lǐng)域、航天領(lǐng)域，醫(yī)療衛(wèi)生安全領(lǐng)域等等[1-3]。

多幀圖像的超分辨率圖像重建，即將一些變形、模糊、降采樣、噪聲混疊后的多幅低頻圖像進行融合估計出一幅高分辨率圖像或圖像序列。

近些年，隨著小波理論的成熟，人們越來越多地將其引入到圖像超分辨率重建技術(shù)中去，“小波”有很多優(yōu)點，比如它的分解多尺度的特性，它也可以分離出圖像的高頻和低頻信息量等等[4]。

本文主要研究多幀圖像的超分辨率圖像重建，主要步驟為：運動估計、插值處理、圖像重建。采用頻率Vandewalle配準方法[5]，將處理過的低分辨率圖像序列，映射到一幅高分辨率網(wǎng)格中去，由于在高分辨率網(wǎng)格上的分布不是均勻的，所以通過插值來得到一幅均勻分布的單幀圖像，然后將小波變換和迭代方法[6]結(jié)合起來進行圖像重建，在迭代過程中對高頻子帶采用圖像融合技術(shù)[7]進行處理，以獲得信息量增加的高頻子帶，再結(jié)合原始圖像進行反復(fù)迭代，直到收斂到最優(yōu)解為止。最后采用峰值信噪比來進行實驗分析，結(jié)果表明重建圖像很好的保持了圖像原有的細節(jié)特征，加之多幀圖像的超分辨率圖像重建可利用的圖像信息量豐富，所以重建圖像有很好的峰值信噪比。

2 超分辨圖像重建的數(shù)學(xué)模型

2.1 降質(zhì)模型

超分辨率圖像重建問題是一個嚴重病態(tài)的逆問題，如果想要求解這個逆問題，就必須弄清楚圖像的成像過程。圖像在獲取的過程中，存在很多因素會使得圖像的質(zhì)量降低，如光學(xué)系統(tǒng)的像差、大氣擾動、散焦和噪聲污染等。因此，建立精確的退化模型對圖像的重建至關(guān)重要，精確的模型更加精確和全面的反應(yīng)成像過程的物理過程。

圖1 低分辨率圖像

首先，假設(shè)待重建的高分辨率圖像的大小為L1N1×L2N2，表示成矢量的形式為f=[f1，f2，…，fN]T，N=L1N1×L2N2，f是理想的未經(jīng)過降質(zhì)的高分辨率圖像，水平方向和垂直方向的降采樣因子為L1和L2，由觀測模型所獲得的l幀低分辨率圖像gk=[gk，1，gk，2，…，gk，M]T，k= 1，2，…，l，大小為N=L1×L2，由上圖可以看出低分辨圖像的降質(zhì)模型為：

其中，D為形變矩陣，B為模糊矩陣，M為降采樣矩陣，n為噪聲。

本文中將采用上式的等價模型[8]：

其中，矩陣L表示從高分辨率圖像f到低分辨率圖像g過程中的運動、模糊與下采樣處理。采用文獻[8]中的矩陣模型，矩陣L=Lx?Ly，“?”代表張量積，Lx與Ly代表水平和垂直方向的循環(huán)矩陣。矩陣L的第一行可以表示為。其中，前個元素為，最后個元素為非零元。

本文中結(jié)合小波方法中把當作小波低通分解矩陣，采用[9]中構(gòu)造的相應(yīng)的小波低通重構(gòu)矩陣Ld，小波高通水平、垂直、對角線方向的分解矩陣H1，H2，H3，小波高通水平、垂直、對角線方向的重構(gòu)矩顯然滿足因此，對任意的f，有f=LdLf+

2.2 重建模型

由上述模型可以看出超分辨率重建的模型就是降質(zhì)過程的逆過程，大多數(shù)超分辨率重建的過程分為三個方面：運動估計（圖像配準）、插值和重建。大體流程如下：

圖2 重建過程

2.2.1 運動估計（Motion Estimation）

隨著腫瘤治愈率明顯提高，治療時首要考慮的因素往往是平衡療效與如何減少其治療的毒性，尤其是兒童。在腫瘤的治療中，心臟損傷是患者長期生存較嚴重的遲發(fā)性不良反應(yīng)，而在引發(fā)心臟損傷的因素中，縱隔放療和蒽環(huán)類藥物的化療是發(fā)生心臟疾病的最高危險因素，患者在初期可能無明顯癥狀，但這種心臟毒性通常在治療結(jié)束5-10年后方表現(xiàn)出來，并且心衰一旦發(fā)生，目前尚無有效救治手段。

對于圖像重建技術(shù)來說，運動估計是實現(xiàn)圖像超分辨率重建的基礎(chǔ)，在圖像處理領(lǐng)域占據(jù)著十分重要的地位，精準的運動估計對圖像的重建效果有著明顯的改善和影響。多幀圖像的超分辨率重建技術(shù)就是利用一系列低分辨率圖像之間的微小差異所包含的非冗余信息來提高圖像的分辨率。所以，圖像重建技術(shù)首先要得到低分辨率圖像幀與幀間的運動信息，即低分辨率圖像之間的偏移關(guān)系，求出幾幀圖像在同一位置時的位置差，通過分析，估計出相對位置參數(shù)，然后將各幀圖像配準到同一坐標系。這樣所有的低分辨率圖像幀上的像素就映射到同一共同的參考幀上，然后再進行操作重建圖像?？梢姡珳实倪\動估計對于圖像重建技術(shù)來說至關(guān)重要，關(guān)系到重建圖像的質(zhì)量優(yōu)劣。

本文采用的是基于頻域的圖像配準方法，該算法的配準精度比較高，采用頻率域算法來估計運動參數(shù)，圖像的運動可用包含水平、垂直和旋轉(zhuǎn)角度的函數(shù)來表示，假設(shè)參考圖像為f1（x），而f1（x）經(jīng)過平移和旋轉(zhuǎn)之后的圖像為f2（x）：

其中，x′=x+Δx，做變換x″=Rx′，則它們的振幅可表示為：

（1）旋轉(zhuǎn)估計

為了更好的利用頻域幅值的這種關(guān)系估計旋轉(zhuǎn)角度，定義以下一個旋轉(zhuǎn)角度為的函數(shù)：

（2）平移估計

圖像在平面內(nèi)的移動可通過頻率域中的一個線性相位移動來表示，相位差為∠（F2（u）/F1（u）），它是u的線性函數(shù)，平移參數(shù)Δx可以通過計算相位差的斜率2πΔx，為了減少對噪聲的敏感度，可通過最小二乘法來擬合相位差平面的斜率。頻域Vandewalle方法的魯棒性很強，而且抗干擾能力很好，可以消除圖像的混疊信息。

2.2.2 插值（Interpolation）

在圖像序列經(jīng)過運動估計之后，就要進行插值和重建；單幀圖像則是直接進行插值和重建。插值是圖像重建根本的環(huán)節(jié)，就是將運動估計后的低分辨圖像的像素點投影到一個高分辨率網(wǎng)格上，這時，得到的圖像往往是非均勻分布的，需要通過插值使其成為均勻分布的高分辨率圖像[10]。

3 閾值去噪

一般來說，現(xiàn)實中的信號都是帶噪信號，在對圖像信號進一步分析之前，需要將有效的信號提取出來。信號在生成和傳輸過程中，常常受到很多噪聲的干擾而使得質(zhì)量變差，因此有目的地從測量數(shù)據(jù)過程中獲取有用的信息，即進行去噪，就成為許多分析過程中的一個重要的步驟。

本文采用小波閾值去噪方法[11]對圖像進行處理。即對小波分解后的各層系數(shù)中大于和小于某閾值的系數(shù)分別處理，然后對處理完的小波系數(shù)再進行小波變換，重構(gòu)出經(jīng)過去噪后的圖像。

圖2 重建過程

4 算法的提出

本文的算法先將低分辨率圖像序列進行運動配準，采用頻率Vandewalle配準方法，將處理過的低分辨率圖像序列，映射到一幅高分辨率網(wǎng)格中去，由于在高分辨率網(wǎng)格上的分布不是均勻的，所以通過插值來得到一幅均勻分布的單幀圖像，然后重建處理過的單幀圖像，從而得到分辨率增加的圖像。具體步驟如下：

第一步：經(jīng)過簡單處理得到可以使用的參考幀圖像g，對一系列低分辨率圖像相對于參考幀進行運動配準，首先，為了使圖像得以對稱，通過加塔基窗口得到窗口函數(shù)fLR，m，LR代表低分辨率，m代表第m幅低分辨率圖像，將所有低分辨率圖像進行傅里葉變換得到FLR，m，計算每幅待配準圖像fm（m=2，3，…，M），關(guān)于參考圖像f1的旋轉(zhuǎn)角度：計算圖像的極坐標（r，θ），對于任意角度α，計算相應(yīng)的[5]中定義的旋轉(zhuǎn)角度hm（α），hm（α）每隔0.1°計算一次，然后在選定的區(qū)間內(nèi)尋找h1（α）和hm（α）的相關(guān)情況，找到滿足條件的旋轉(zhuǎn)角度。然后進行平移參數(shù)配準，計算待配準圖像fm（m= 2，3，…，M）和參考圖像f1的相位差，然后計算相位差斜率Δx，并以此為未知數(shù)，列出平面線性方程，并用最小二乘法得到方程的解作為平移參數(shù)Δxm。

第二步：在運動估計之后，將配準后的圖像映射到高分辨率網(wǎng)格上，采用非均勻空域樣本內(nèi)插法，得到一幅均勻分布的高分辨率圖像f0，作為以下步驟的初始估計。

第三步：對得到的高分辨圖像我們再進行進一步地去噪去模糊，即對插值后的圖像f0進行小波變換，計算Lf0，H1f0，H2f0，H3f0。將低分辨率圖像g進行一級分解，得到低頻子帶S0和三個方向的高頻子帶即H1g，H2g，H3g。然后將高頻子帶H1g，H2g，H3g分別當作低頻部分，相應(yīng)的高頻部分全部置零進行逆變換得到分辨率增加一倍的高頻子帶S1，S2，S3。

圖像融合即將H1f0，H2f0，H3f0與S1，S2，S3進行融合。得到相應(yīng)的高頻子帶S1′=tH1f0+（1-t）S1，S2′= tH2f0+（1-t）S2，S3′=tH3f0+（1-t）S3，t為權(quán)衡系數(shù)。

將處理過的高頻子帶進行上述小波去噪處理。再將原始圖像當作低頻部分結(jié)合融合后的高頻部分進行小波逆變換得到超分辨率重建圖像f1。

5 實驗分析

為了說明本文算法在超分辨率圖像重建上的優(yōu)越性，我們采用插值方法、迭代反投影法[13]、穩(wěn)健性重建方法[14]及本文的方法分別進行圖像重建。選用峰值信噪比PSNR作為圖像重建質(zhì)量的客觀評價標準。關(guān)于PSNR的具體表達如下[12]：

其中f（i，j）為原圖像，f?（i，j）為重建圖像，N×N為原圖像尺寸。PSNR越大時，圖像的質(zhì)量越好。

實驗1：實驗選用512×512的Lena.jpg圖像作為原始圖像。首先進行下采樣，得到256×256的低分辨率圖像，并且以此作為參考幀，對參考幀行平移和旋轉(zhuǎn)，可以得到包括參考幀在內(nèi)的一系列低分辨率圖像，本文選用4幀256×256的低分辨率圖像作為重建的依據(jù)，按照上述方法進行重建，并依次選用非均勻內(nèi)插法、迭代反投影方法、穩(wěn)健性重建方法同本文的方法進行比較。實驗結(jié)果如圖4所示：

圖4 算法比較

實驗2：選用256×256的cameraman.jpg圖像作為原始圖像。首先進行下采樣，得到128×128的低分辨率圖像，并且以此作為參考幀，對參考幀進行平移和旋轉(zhuǎn)，可以得到包括參考幀在內(nèi)的一系列低分辨率圖像，本文選用4幀128×128的低分辨率圖像作為重建的依據(jù)，按照上述方法進行重建，并依次選用非均勻內(nèi)插法、迭代反投影方法、穩(wěn)健性重建方法同本文的方法進行比較。實驗結(jié)果如圖5所示：

實驗結(jié)果表明，本文總結(jié)的基于小波的超分辨率圖像重建算法，在多幀圖像的超分辨率圖像重建中，有很一定的優(yōu)勢，在一定程度上避免了圖像模糊和邊緣鋸齒現(xiàn)象，圖像的重建質(zhì)量從視覺上有很好的效果，而對于客觀的評價標準峰值信噪比而言，本文的方法和幾種經(jīng)典的重建算法相比較，提高了峰值信噪比。而同單幀圖像的超分辨率圖像重建相比較，當實驗條件相同，我們可以看出多幀圖像的超分辨率圖像重建無論是從視覺效果還是從峰值信噪比對的結(jié)果而言，都有一定的優(yōu)勢，這是因為待重建的多幀低分辨率圖像包含的信息量大，可以利用的信息量比單幀多，重建的效果自然會增強。

圖4 算法比較

表1 Lena圖像和cameraman圖像的重建結(jié)果的PSNR值單位（dB）

6 結(jié)束語

超分辨重建技術(shù)自產(chǎn)生以來發(fā)展迅速，隨著圖像處理技術(shù)的日益推廣，該技術(shù)越來越成為圖像處理領(lǐng)域研究的熱點，在幾十年的時間里，無論是國外還是國內(nèi)研究領(lǐng)域里都取得了重要的研究成果，超分辨重建技術(shù)有很重要的研究意義和實用價值。本文介紹的多幀圖像重建方法在配準時候采用了Vandewalle配準方法并結(jié)合了小波和迭代方法的優(yōu)勢來重建圖像，從而得到了分辨率提高的圖像，并且圖像很好的保持了圖像的原有特征，也達到了很好的峰值信噪比。

［1］ 張良培，沈煥鋒，張洪艷，袁強強.圖像超分辨率重建[M].北京：科學(xué)出版社，2012.8.

［2］ 孫濤.光學(xué)遙感影像復(fù)原與超分辨率重建[M].北京：國防工業(yè)出版社，2012.7.

［3］ 王會鵬.多幀圖像超分辨率重建算法研究[D].河南：解放軍信息工程大學(xué)，2010.4.

［4］ 唐曉初.小波分析及其應(yīng)用 [M].重慶：重慶大學(xué)出版社，2005.

［5］ Patrick Vandewalle，Sabine Susstrunk，Martin Vetterli.A Frequency Domain Approach to Registration of Aliased Images with Application to Super-resolution[J].Applied Signal Processing.2006，4：1-14.

［6］ 何進榮.基于加權(quán)范數(shù)迭代算法的總變差正則化圖像復(fù)原方法：[D].武漢：武漢理工大學(xué)，2009.

［7］ 敬忠良，肖剛，李振華.圖像融合理論與應(yīng)用[M].北京；高等教育出版社，2007.10.

［8］ Raymond，H.Chan.Tony，F(xiàn).Wavelet Algorithms for High-Resolution Image Reconstruction[J].SIAM J.SCI.Comput. Vol.24（2003）：1408-1432.

［9］ Hongjiu T，Xinjian T，Jian L，et al.Super-resolution Remote Sensing Image Processing Algorithm Based on Wavelet Transform and Interpolation[J].Proceedings of SPIE，2003，4898：259-263.

［10］唐磊.多幀圖像超分辨率重建算法研究[D].浙江：浙江大學(xué)，2011.1.

［11］張明.圖像超分辨率重建和插值算法研究[D].北京：中國科學(xué)技術(shù)大學(xué)，2010.5.

［12］張?zhí)m.多幀圖像超分辨率重建關(guān)鍵技術(shù)研究 [D].天津：天津理工大學(xué)，2010.12.

［13］A.Rav-Acha，A.Zomet and S.Peleg，Robust Super-Resolution[J].Proceedings international conference on computer vision and pattern，recognition（CVPR），2001.Vol.I，pp.645-650.

Research on Multi-frame Images Super-resolution Reconstruction

WANG Jing，WU Ai-di
（School of Science，Tianjin University of Technology and Education，Tianjin，300222，China）

Multi-frame super-resolution image reconstruction refers to image processing which produce high resolution image from a set of distortion，blurring and down-sampling images.This technique fuses these low resolution sequences at pixel level to achieve a high resolution image.The steps are divided into:motion estimation，interpolation processing，image reconstruction.We apply the Vandewalle registration method to estimate motion parameter，then map to a high-resolution grid by interpolation.At last，the algorithm combined with the wavelet and iteration to reconstruct the super-resolution image.At the same time，we applied the method of wavelet threshold de-noising.The experiment results show that this algorithm improves the resolution and PSNR.It is a useful method of Super-resolution image reconstruction.

Super-resolution reconstruction；Motion estimation；Interpolation；Wavelet transform；Threshold de-noising

T

A

2095－0926（2014）04－0001－04

2014-00-00

天津市應(yīng)用基礎(chǔ)及前沿技術(shù)研究計劃項目（12JCYBJC10600）

王 靜（1988—），女，碩士研究生；吳愛弟（1963—），男，教授，碩士生導(dǎo)師，研究方向為圖像處理、地震信號等.