基于反向投影的單幀圖像超分辨率重建方法

王樂

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

基于反向投影的單幀圖像超分辨率重建方法

王樂

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

針對(duì)單幀圖像超分辨率重建提出一種基于反向投影的單幀圖像超分辨率重建方法。根據(jù)迭代反向投影算法的思想，使用估計(jì)高分辨率圖像得到4幅模擬低分辨率圖像，并將其與實(shí)際低分辨率圖像的誤差圖像進(jìn)行反向投影。在反向投影過程中，自適應(yīng)地對(duì)其權(quán)重進(jìn)行計(jì)算，用來更新原先的估計(jì)高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)于不同的降質(zhì)模型有較好的魯棒性，計(jì)算量小，能有效提高單幀圖像超分辨率重建的質(zhì)量。

超分辨率重建；迭代反向投影；自適應(yīng)；魯棒性

0　引言

圖像的分辨率在一定程度上反映圖像所記錄的信息量，越高的分辨率代表著對(duì)細(xì)節(jié)的分辨能力越強(qiáng)，圖像記錄的信息也就越多。隨著多媒體技術(shù)的發(fā)展，人們對(duì)于圖像的分辨率也有著更高的要求。如遙感、視頻監(jiān)控、醫(yī)學(xué)成像［1］、水下視覺等領(lǐng)域，都對(duì)圖像的分辨率有著較高的要求。提高分辨率可以通過硬件和軟件兩種途徑。硬件方式往往是通過減小傳感器上的像素尺寸，提高單位面積上的像素密度來實(shí)現(xiàn)的。該方法會(huì)隨著傳感器尺寸的減小引起散粒噪聲，同時(shí)也增加了硬件成本。并且在一些特定條件下，如因傳輸帶寬的限制，環(huán)境的限制，并不能運(yùn)用硬件方法提高分辨率，所以“超分辨率重建技術(shù)”應(yīng)運(yùn)而生，用來克服硬件條件的限制，通過軟件的方法達(dá)到提升分辨率的目的。超分辨率重建在單幀圖像超分辨率重建，多圖像超分辨率重建，以及視頻超分辨率重建方面都有著廣泛的研究。對(duì)于單幀圖像的超分辨率重建，也有很多的方法，基于鄰域嵌入的方法［2］，基于樣本學(xué)習(xí)的方法［3］，基于稀疏表示的方法［4］，基于神經(jīng)網(wǎng)絡(luò)的方法［5］等。本文利用傳統(tǒng)插值方法結(jié)合迭代反向投影方法［6］的主要思想，提出了一種基于反向投影的單幀圖像超分辨率重建方法，相對(duì)于傳統(tǒng)插值方法，該方法在超分辨率重建結(jié)果上有一定的提高。而相比與迭代反向投影方法，本文方法不需要具體的降質(zhì)模型，也不需要進(jìn)行迭代，具有更快的速度以及更好的實(shí)用性。為了驗(yàn)證本文提出的方法的有效性，對(duì)于不同的降質(zhì)模型進(jìn)行了實(shí)驗(yàn)。

1　降質(zhì)模型

為了進(jìn)行超分辨率重建，并且使得重建結(jié)果有一個(gè)客觀的參照，往往需要先從高分辨率圖像得到一幅低分辨率圖像。一幅低分辨率圖像，可以看成是一幅高分辨率（High-Resolution，HR）圖像經(jīng)過模糊，降采樣以及添加噪聲后的結(jié)果。本文通過對(duì)輸入的高分辨率圖像X用退化函數(shù)對(duì)退化過程進(jìn)行建模，并添加噪聲來得到一幅低分辨率（Low-Resolution，LR）圖像Y。用公式表示為：

其中D為降采樣矩陣，H為模糊矩陣，E為加性高斯白噪聲。由于高斯噪聲多被用于低照度下成像傳感器噪聲的一種近似，所以本文選擇高斯噪聲作為添加的噪聲。

本文采用兩種不同的降質(zhì)模型來說明本文所提出的方法并不只對(duì)某單一的降質(zhì)模型有效。第一種降質(zhì)模型使用模糊函數(shù)將圖片的每個(gè)像素點(diǎn)的灰度值變?yōu)榘ㄆ浔旧碓趦?nèi)的相鄰4個(gè)像素點(diǎn)的像素值的平均值，然后使用降采樣函數(shù)將圖像的分辨率變?yōu)橐话耄詈蠹尤?5dB的高斯噪聲。

第二種降質(zhì)模型，前2個(gè)步驟和第一種降質(zhì)模型一致，在步驟2執(zhí)行之后，再對(duì)降采樣后的圖像再進(jìn)行一次模糊，使得降采樣后圖像的每個(gè)像素點(diǎn)的灰度值再變?yōu)榘ㄆ湓趦?nèi)周邊4個(gè)像素點(diǎn)灰度值和的1/4，最后再加上25dB的高斯噪聲，以模擬更為惡劣的降質(zhì)過程。

2　迭代反向投影

圖像插值在超分辨率圖像重建中是一種基礎(chǔ)，但同時(shí)也很重要的一種方法。迭代反向投影（Iterative Back-Projection，IBP），也是一種利用圖像插值的超分辨率重建方法。圖像插值是在已知像素的有限的鄰域內(nèi)對(duì)插值像素進(jìn)行估計(jì)，一維信號(hào)插值可表現(xiàn)為下圖所示：

圖1　一維圖像插值

經(jīng)典的插值算法有最近領(lǐng)域插值，雙線性插值，三次樣條插值，雙三次樣條插值［7］等。上述幾種插值方法的本質(zhì)都屬于多項(xiàng)式插值，其插值序列可以寫成如下的形式：

其中C（xk）為插值系數(shù)，β（x）為插值基函數(shù)。本文采用雙三次樣條插值方法，來對(duì)低分辨率圖像進(jìn)行插值。該插值方法是內(nèi)插的，所以可以直接用x_k處的像素值f（xk）來替換C（xk），省去了對(duì)插值系數(shù)的估算過程。

在文獻(xiàn)［6］提出的迭代反向投影方法中，通過使用模擬LR圖像與輸入LR圖像的誤差進(jìn)行迭代反向投影得到HR圖像。其依據(jù)是如果通過超分辨率重建得到的圖像接近原始的高分辨率圖像，那么該通過超分辨率重建得到的圖像通過同樣的降質(zhì)模型得到的低分辨率圖像，應(yīng)該與輸入的LR圖像盡量的接近，然后將兩者的誤差投影到高分辨率圖像上，通過反復(fù)的迭代便能得到效果更好的高分辨率圖像。其流程如下：

圖2　迭代反向投影過程

迭代反向投影方法，通過將誤差反向投影去更新估計(jì)的HR圖像，通過反復(fù)的迭代，能夠較好地減少重構(gòu)誤差，使獲得的HR圖像滿足相應(yīng)的需求。在降質(zhì)（投影）過程中，IBP算法依賴于實(shí)際的降質(zhì)模型，而降質(zhì)模型在實(shí)際中應(yīng)用中是未知的，也難以估計(jì)。

3　本文方法

由上述IBP方法可以看出，該方法依賴于圖像的降質(zhì)模型，而在實(shí)際情況下，降質(zhì)模型往往是無法準(zhǔn)確得到的。在多幀圖像超分辨率重建過程中，圖像的配準(zhǔn)往往也會(huì)花費(fèi)較多的時(shí)間，配準(zhǔn)的效果也對(duì)結(jié)果有著很大的影響。同時(shí)，在迭代反投影方法中，迭代的過程需要經(jīng)過多次的插值，投影以及反投影過程，花費(fèi)的時(shí)間較長(zhǎng)。因此，本文根據(jù)迭代反向投影的思想，提出一種快速的基于反向投影的單幀圖像的超分辨率重建方法。該方法包括五個(gè)步驟：1）通過插值方法得到估計(jì)的HR圖像；2）對(duì)得到的HR圖像，進(jìn)行降采樣，到四幅模擬LR圖像；3）通過計(jì)算模擬LR圖像和原始LR圖像的差值，得到差值圖像；4）對(duì)差值圖像進(jìn)行反投影，得到4幅反投影后的差值圖像；5）使用4幅反投影后的差值圖像對(duì)估計(jì)的HR圖像進(jìn)行更新。

本文的方法可用如下公式表示：

其中f0為估計(jì)HR圖像。f1為更新后的HR圖像。e1，e2，e3，e4為四幅誤差圖像。a，b，c，d是四幅誤差圖像的權(quán)重系數(shù)，P為反投影操作。

其中4幅低分辨率圖像的獲得方法如圖3所示：

圖3　估計(jì)HR圖像降采樣過程

從HR圖像獲得4幅LR圖像的過程中，因?yàn)椴灰蕾囉趫D像的降質(zhì)模型，直接取估計(jì)HR圖像中的像素值，以獲得較多的信息，同時(shí)也獲得4幅具有較高相似度的圖像。使用LR1，LR2，LR3，LR4與原始輸入LR圖像的差值圖像進(jìn)行反向投影。

對(duì)于投影權(quán)重系數(shù)a，b，c，d確定的方法如下：1）分別計(jì)算LR1，LR2，LR3，LR4和原始輸入LR圖像之間的相關(guān)系數(shù)ce1，ce2，ce3，ce4。令四幅模擬LR圖像的權(quán)重分別如下所示：

這一步可以保證和輸入LR圖像相關(guān)度較高的模擬LR圖像有較高的權(quán)重，也從一定程度減少了錯(cuò)誤，或者噪聲對(duì)于反向投影的干擾；2）計(jì)算四幅誤差圖像e1，e2，e3，e4的平均灰度me1，me2，me3，me4，如果平均灰度值小于0，則將其對(duì)應(yīng)的權(quán)重系數(shù)置為負(fù)，若平均灰度值大于0，則不變。

4　實(shí)驗(yàn)結(jié)果分析

本文對(duì)圖4（a）原始HR圖像，使用2.1節(jié)中描述的第一種降質(zhì)模型，對(duì)HR圖像進(jìn)行降質(zhì)，圖4（b）為得到原始LR圖像，使用雙三次樣條插值得到圖4（c）估計(jì)HR圖像，然后進(jìn)行降采樣得到四幅LR圖像，再進(jìn)行反向投影得到圖4（d）更新后的HR圖像。

為了客觀地反映圖像的超分辨率重建效果，本文使用使用峰值信號(hào)信噪比PSNR，來描述圖像的超分辨率重建效果。首先計(jì)算所得圖像和原始圖像的均方誤差MSE：

圖4　效果對(duì)比

對(duì)于不同的降噪模型以及不同的圖像，基于雙三次樣條插值的實(shí)驗(yàn)結(jié)果如表1和表2所示。

由以上實(shí)驗(yàn)數(shù)據(jù)可以看出，在不需要先驗(yàn)知識(shí)作為支撐的情況下，本文所提出的方法對(duì)于傳統(tǒng)的基函數(shù)是內(nèi)插的插值方法在重建效果上有一定的提高，并且具有較少的計(jì)算量和時(shí)間開銷。同時(shí)對(duì)于不同的降質(zhì)模型都有著不錯(cuò)的效果。

表1　降質(zhì)模型1實(shí)驗(yàn)結(jié)果PSNR值

5　結(jié)語

對(duì)于單幀圖像的超分辨率重建問題，本文提出了一種基于傳統(tǒng)插值和反向投影的的單幀圖像超分辨率重建方法。本文提出的基于反向投影的單幀圖像超分辨率重建方法，對(duì)于不同的降質(zhì)模型都能取得較好的重建效果，具有較好的適應(yīng)性以及較小的計(jì)算開銷，是一種快速的，魯棒性較高的單幀圖像超分辨率重建方法，并且不依賴與圖像的降質(zhì)模型，具有較高的實(shí)用性。

［1］T.M.Lehman，C.Conner and K.Spitzer.B-Spline Interpolation in Medical Image Processing［J］，IEEE Trans.Med.Imaging，2001，20，660-665.

［2］H.Chang，D.Y.Yeung，and Y.Xiong.Super-Resolution Through Neighbor Embedding［C］.IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Washington，DC，USA，2004，1：275-282.

［3］W.T.Freeman，R.R.Jones，E.C.Pasztor.Example-Based Super-Resolution［J］.IEEE Computer Graphics and Application，2002，22（2）：56-65.

［4］J.Yang，J.Wright，T.Huang，Y.Ma.Image Super-Resolution Via Sparse Representation［J］.IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

［5］M.Awad，S.E.EI-Khamy and M.M.Abd Elnaby.Neural Modeling of Polynomial Image Interpolation［C］.Proceeding of International Conference on Computer Engineering and System，Cairo，2009：469-474.

［6］M.Irani and S.Peleg.Improving Resolution by Image Registration［J］.CVGIP：Graphical Models and Image Processing，1991，53（3）：231-239.

［7］J.K.Han and H.M.Kim.Modified Cubic Convolution Scaler with Minimum Loss of Information［J］.Optical Eng.2001，40，540-546.

Single-Frame Image Super-Resolution Reconstruction Based on Back-Projection

WANG Le
（College of Computer Science，Sichuan University，Chengdu 610065）

Proposes a single-frame image super-resolution reconstruction method based on back-projection.According to the thought of iterative back-projection algorithms，uses the high-resolution image to get 4 simulate low-resolution images，uses the error image between simulated low-resolution images and the actual low-resolution images to do back-projection.In the projection process，the weights of error images are adaptive，uses these error images to update the high-resolution image.The experimental results show that the proposed algorithm for different degradation models has good robustness，and small amount of calculation.The method can improve the quality of single frame image super-resolution reconstruction.

Super-Resolution Resconstruction；Iterative Back-Projection；Adaptive；Robustness

1007-1423（2016）23-0050-04DOI：10.3969/j.issn.1007-1423.2016.23.013

王樂（1992-），男，江蘇鎮(zhèn)江人，研究生，研究方向?yàn)槌直媛手亟?/p>

2016-06-02

2016-08-10

國(guó)家自然科學(xué)基金面上項(xiàng)目（No.61071162）