增益映射耦合局部正則化的圖像重構(gòu)算法*

朱莉

(西安科技大學 計算機學院，陜西 西安 710054)

增益映射耦合局部正則化的圖像重構(gòu)算法*

朱莉

(西安科技大學 計算機學院，陜西 西安 710054)

針對當前的圖像重構(gòu)方法在對多幀超分辨率圖像復原時，存在明顯的模糊效應與振鈴效應的不足，提出增益映射控制耦合局部正則化的圖像重構(gòu)算法。首先，通過對低分辨率圖像中亞像素的移動進行分析，構(gòu)建高低分辨率圖像的成像模型,再對超分辨率圖像進行估值，將重構(gòu)問題轉(zhuǎn)化為一個不穩(wěn)定的線性方程式組；然后，構(gòu)造正則化算子，聯(lián)合改進的代數(shù)重建法求其穩(wěn)定值；最后，采用基于局部自適應正則化的增益可控方法建立增益映射，完成超分辨率圖像重構(gòu)。仿真結(jié)果表明，與當前圖像重構(gòu)算法相比，在修復低分辨率圖像時，該機制擁有更好的重構(gòu)效果，有效降低了模糊效應與振鈴效應。

圖像重構(gòu)；亞像素；正則化算子；局部自適應；增益映射；超分辨率

0 引言

由于成像環(huán)境不理想以及成像設(shè)備硬件分辨率有限等多種因素會導致圖像出現(xiàn)模糊、噪聲等問題，導致獲取不到超分辨率圖像[1]。故學者們提出了多幀超分辨率圖像重構(gòu)方法，利用低分辨率圖像序列間某種類別的附加信息進行互補重構(gòu)，獲取無法辨識的細節(jié)信息從而轉(zhuǎn)換成高分辨率圖像[2-3]。

基于學習以及基于插值技術(shù)的重構(gòu)方法為目前較常用的超分辨率圖像重構(gòu)方法。如Ahmadreza[4]等人利用各向同性高斯濾波器，對輸入圖像像素的結(jié)構(gòu)張量進行計算，再利用結(jié)構(gòu)張量插值法實現(xiàn)重構(gòu)，實驗表明該方法能獲得質(zhì)量較高的重構(gòu)圖像。賈茜[5]等人通過輪廓模板插值算法對低分辨率圖像進行放大，然后將所得圖像用MCA模型分解，最后將處理后的圖像進行合成，從而完成超分辨率圖像重構(gòu)。實驗結(jié)果表明該方法有效提高了圖像銳度，重構(gòu)效果佳。雖然基于插值法的重構(gòu)算法實現(xiàn)快速易行，對超分辨率圖像重構(gòu)也有一定的效果，但由于插值過程所固有的平滑效應，導致得到的重構(gòu)圖像存在棋盤和振鈴效應。

對此，樊博[6]等人利用兩步迭代算法和全變分正則化實現(xiàn)超分辨率圖像重構(gòu)，利用兩步迭代收縮得到新的估值，最后利用全變分實現(xiàn)重構(gòu)，實驗表明該算法能夠較好地實現(xiàn)圖像的重構(gòu)。首照宇[7]提出了一種改進的基于字典的重構(gòu)算法，通過引入聯(lián)合訓練思想確保高、低分辨率圖像具有相同的表示系數(shù)，利用迭代反投影增強重建約束實現(xiàn)重構(gòu)，實驗結(jié)果顯示該方法具有較好的重構(gòu)效果。

然而，此類算法都是基于學習的超分辨率方法，在重構(gòu)效果上較插值法都有所提高，但是由于計算的復雜性導致該類方法實現(xiàn)復雜，效率較低。

對此，本文提出了增益映射控制耦合局部正則化的圖像重構(gòu)算法。首先，通過對低分辨率圖像中亞像素的移動進行分析；然后，構(gòu)造正則化算子，聯(lián)合改進的代數(shù)重建法求其穩(wěn)定值；最后，采用基于局部自適應正則化的增益可控方法，建立增益映射，完成超分辨率圖像重構(gòu)，并測試本文算法的重構(gòu)性能。

1 圖像成像模型

由于拍攝時相機的移動等原因會導致亞像素平移的產(chǎn)生，從而使圖像變得不清晰[8-9]。圖1中表示了低分辨率圖像[βx，βy]中覆蓋 3個亞像素沿水平和垂直方向平移的示意圖。

圖1 在同一分辨率因素(Lx，Ly)下的 3個亞像素平移示意圖

用 f(x，y)表示連續(xù)二維圖像，用 fHR表示尺度為LxR× LyC的離散高清圖像。用表示尺度為R×C的第k個低分辨率離散圖像，且用Lx和Ly分別表示該低分辨率離散圖像在X和Y方向上的分辨率因素。通過對f(x，y)進行不同速度的采樣，可得到 fHR和表達式如下：

其中Tx和Ty分別表示X和Y方向上的采樣周期。

其中，k=0，1，2，…K-1。Yk表示觀測到的第k個低分辨率圖像，X表示高分辨率圖像 fHR，ek表示加性噪聲。

可見，Yk和ek的尺寸為M=RC，X的尺寸為N=LxLyRC，表示大氣模糊矩陣，表示CCD模糊矩陣。D表示尺寸為M×N的下采樣矩陣。令，則式(3)為：

其中，k=0，1，2，…K-1。

當參數(shù)的分布未知時，式(4)可寫為：

其中，k=0，1，2，…K-1。Ak=DHFk表示結(jié)合了不同種類模糊、下采樣的完全轉(zhuǎn)換矩陣，其大小為M×N。

2 超分辨率圖像的估值

由于低分辨率圖像被噪聲污染嚴重，故不能直接對形成模型式(5)進行求解，需要先求解超分辨圖像的估值。在最小二乘法下，當下采樣滿足式(5)時，有如下關(guān)系式：

因為包含樣本均值 μ和方差 σ2的||e||2=N(μ2+σ2)為一個正常數(shù)，所以式(6)可演變?yōu)椋?/p>

其中ρ(·)是一個距離函數(shù)，定義為ρ(Yk，AkX)=||AkX-Yk||p(1≤p≤2)。在進行誤差估值時 L1范比 L2范有更好的效果，故可將式(8)可退化成：

因為方程式組式(10)存在病態(tài)特性，所以式(10)是不穩(wěn)定的，下面將對方程式組式(10)進行求解。

3 迭代算法與正則化

代數(shù)重建法(ART)屬于級數(shù)展開法的一種并得到了廣泛應用[10]。ART利用 L2范制定了相異度，并且對迭代后得到的每一個元素都進行了更新。由于在進行誤差估值時 L1范比L2范有更好的效果，在此將ART中的相異度改進為用L1范來制定，那么X?中第j個元素的第(n+1)次迭代的表達式如下：

其中 j=0，1，2…N-1，k=0，1，2，…K-1，Ak，j是 Ak中的第j列元素。迭代參數(shù)β(n)表示第n次迭代的步長。其中迭代次數(shù)n與低分辨率圖像指數(shù)k有關(guān)，其關(guān)系為n=k/K。

正則化被廣泛用在求解不穩(wěn)定線性方程組上，當獲得數(shù)據(jù)的保真度很低時，正則化過程很重要[11-13]。由于式(10)的不穩(wěn)定性導致高清圖像X的重構(gòu)存在不穩(wěn)定性，所以本文將用正則化耦合L1范的ART來得到改進的ART，從而求解式(10)的穩(wěn)定解。

一個獲得圖像重構(gòu)穩(wěn)定解的方法是保持圖像空間灰度的同質(zhì)性[14-15]。為了獲取該穩(wěn)定解，本文構(gòu)造一個正則化算子 φ(X)，根據(jù)高清圖像解法的先驗知識，可將正則化算子 φ(X)與式(8)結(jié)合，可得到廣義的最小代價函數(shù)：

其中λ是拉格朗日常數(shù)也叫做正則化參數(shù)，該參數(shù)用來調(diào)控數(shù)據(jù)誤差項和正則項之間的比例。

在此引進由全變差和雙邊濾波器結(jié)合而得到的BTV模型，通過該模型構(gòu)造正則化函數(shù)如下：

其中，h+m≥0，參數(shù) ω代表窗口大?。沪?0＜α＜1)代表加權(quán)系數(shù)；和分別代表h和m像素值在水平和垂直方向移位的移位算子矩陣。α值越大，降低的噪聲也就越多，同時對估值的圖像也造成越大的邊緣模糊。

用正則化函數(shù)式(13)對 L1范的 ART算法(式(11))進行耦合，得到：

由圖2可見，通過正則化耦合的ART算法迭代后所得圖像雖然有一定的重構(gòu)效果，但是還存在明顯的振鈴以及模糊效應。下面將采用局部自適應正則化的增益可控方法，建立增益映射，完成超分辨率圖像重構(gòu)。

圖2 改進ART算法重構(gòu)效果圖

4 局部自適應正則化及增益映射的建立

由于邊緣高對比度及振鈴大小與圖像梯度大小成正比，故本文采用自適應技術(shù)，使得被估計的高清圖像中，每個像素值的正則項和誤差項的關(guān)系由該像素值的局部信息來控制，從而克服振鈴效應和模糊效應。本文采用基于局部自適應正則化的增益可控方法，建立增益映射，完成超分辨率圖像重構(gòu)。

本文采取根據(jù)像素值鄰域的光滑度來給該像素值分配一些增益值，以此來對每個像素值進行修正。該增益值可在迭代過程中抑制振鈴效應的傳播，并且不會產(chǎn)生模糊效應。因此通過引進增益映射對迭代算法(14)進行修正，故可得下式：

膨脹-腐蝕現(xiàn)象影響了原始圖像的邊緣強度，其中圖像的膨脹會帶來白噪聲的影響，圖像的腐蝕會帶來暗噪聲的影響。然而形態(tài)學開運算和閉運算，能夠在不影響圖像邊緣銳度的情況下分別移除白噪聲和暗噪聲[16-17]。故在此將構(gòu)造基于增益映射Ig的多尺度形態(tài)學。假設(shè)Q表示一個圓盤結(jié)構(gòu)元素單元，則rQ定義如下：

rQ是一個大小為r的結(jié)構(gòu)元素。則用rQ(r=1，2，…，m)構(gòu)造的基本增益映射 Ig可歸納為以下幾步實現(xiàn)：

(1)初始化圖像Z=0。

(2)按以下步驟迭代m次，其中r=1，2，…，m。

①通過Xn獲取圖像Z1和Z2：

②用結(jié)構(gòu)元素Q結(jié)合灰度形態(tài)學對Z1進行腐蝕：

③用結(jié)構(gòu)元素Q結(jié)合灰度形態(tài)學對Z2進行膨脹：

④計算中間梯度圖像：

(3)在[0，1]中對Z中的元素進行規(guī)范化

其中 Zmax和 Zmin為 Z的最大和最小值，Sigmoid為一個邏輯函數(shù)，定義如下：

(4)通過對 Z的像素字典進行排序，獲取對角元素，從而形成增益映射 Ig。

結(jié)構(gòu)元素大小的最大值m由估值圖像的對比度決定，隨著迭代的進行，m將逐漸減少。

圖3展示了本文算法的重構(gòu)效果對比圖，在此m的取值為 4，圖3(a)為本文算法迭代 1次后所得圖像，(b)為本文算法迭代10次后所得圖像。

圖3 本文算法的重構(gòu)效果對比圖

5 仿真結(jié)果與分析

采用經(jīng)過模糊后的圖像作為低分辨率圖像，模糊算子H采用5×5的加權(quán)系數(shù)，再將下采樣因子D為5的噪聲加入目標圖像，最后所得被損壞圖像為彩色圖像和灰度圖像作為測試圖像，見圖4（a）、圖5（a）。通過借助MATLAB 7.10軟件來測試本文超分辨率圖像重構(gòu)機制，為了體現(xiàn)本文機制有效性與優(yōu)異性，將文獻[18]和文獻[19]的重構(gòu)方法作對照。

5.1 不同機制對彩色圖像重構(gòu)的質(zhì)量對比分析

圖4為不同圖像重構(gòu)機制對圖4（a）重構(gòu)后的效果圖?？梢娫趯Φ头直媛什噬珗D像重構(gòu)時，本文機制的重構(gòu)質(zhì)量最佳，見圖4（d）；而對照組的兩種圖像重構(gòu)算法重構(gòu)的圖像顯然存在振鈴和模糊效應，見圖4（b）和圖4（c）。原因是本文重構(gòu)機制采用自適應技術(shù)，使得被估計的高清圖像中，每個像素值的正則項和誤差項的關(guān)系由該像素值的局部信息來控制，從而克服振鈴效應和模糊效應。

圖4 不同機制對彩色圖像重構(gòu)的視覺對比圖

圖5 不同機制對灰色圖像重構(gòu)的視覺對比圖

5.2 不同機制對灰色圖像重構(gòu)的質(zhì)量對比

從視覺效果圖對比可見，在對低分辨率灰色圖像重構(gòu)時，本文機制的重構(gòu)質(zhì)量最佳，見圖5（d），圖像清晰度較好；而對照組的兩種圖像重構(gòu)算法的復原圖像質(zhì)量不佳，分別見圖5（b）與圖5（c），較為模糊，喪失了部分紋理信息。

5.3 量化分析

將不同程度的噪聲加入到圖4的低分率圖像中，然后用不同重構(gòu)算法來處理這些圖像，最后通過得到的PSNR來對不同機制的重構(gòu)效果進行量化分析，PSNR量化圖如圖6所示。從圖中可見，本文重構(gòu)機制優(yōu)于對照組的機制，原因是本文采用了基于增益映射Ig的多尺度形態(tài)學，能夠在不影響圖像邊緣銳度的情況下分別移除白噪聲和暗噪聲，從而保持了邊緣銳度提高了PSNR，保持了圖像的結(jié)構(gòu)相似度。

圖6 不同重構(gòu)機制的量化分析

6 結(jié)論

本文提出了基于局部自適應正則化的圖像重構(gòu)算法。通過對低分辨率圖像中亞像素的移動進行分析，確定高低分辨率圖像間的形成模型,將重構(gòu)問題轉(zhuǎn)化為一個不穩(wěn)定的線性方程式組；然后構(gòu)造正則化算子，聯(lián)合改進的代數(shù)重建法求其穩(wěn)定值；最后采用基于局部自適應正則化的增益可控方法，完成超分辨率圖像重構(gòu)。仿真結(jié)果表明，本文機制擁有更好的重構(gòu)效果，有效降低了模糊與振鈴效應。

[1]CHENG P，QIU Y Y，ZHAO K，et al.A transductive graphical model for single image super-resolution[J].Elsevier Neurocomputing，2015，148(1)：376-387.

[2]POLATKAN G，BLEI D，DAUBECHIES I.A bayesian nonparametric approach to image super-resolution[J].Pattern Analysis and Machine Intelligence，2015，37(2)：346-358.

[3]ROYLE S J.Super-duper resolution imaging of mitotic microtubules[J].Nature Reviews Molecular Cell Biology，2015，16(2)：67-76.

[4]BAGHAIE A，Yu Zeyun.Structure tensor based image interpolation method[J].AEU Electronics and Communications，2015，69(2)：515-522.

[5]賈茜，易本順，肖進勝.基于結(jié)構(gòu)成分雙向擴散的圖像插值算法[J].電子與信息學報，2014，36(11)：2541-2548.

[6]樊博，楊曉梅，胡學姝.基于壓縮感知的超分辨率圖像重建[J].計算機應用，2013，33(2)：480-483.

[7]首照宇，廖敏璐，陳利霞.改進的基于稀疏表示的圖像超分辨率重建算法[J].計算機應用與軟件，2014，31(4)：201-204.

[8]XUN Z J.A fixed-point method for a class of super-large scale nonlinear complementarities problems[J].Computers& Mathematics with Applications，2014，67(5)：999-1015.

[9]MAISELI B，ALLY N，Gao Huijun.A noise-suppressing and edge-preserving multiframe super-resolution image reconstruction method[J].Signal Processing，2015(34)：1-13.

[10]PRUN V E，NIKOLAEV D P，BUZMAKOV A V，et al. Effective regularized algebraic reconstruction technique for computed tomography[J].Crystallography Reports，2013，58 (7)：1063-1066.

[11]張曉克，許建剛.超分辨率圖像重建技術(shù)研究[J].科技創(chuàng)新與應用，2014，32(11)：68-69.

[12]劉哲，張永亮，郝珉慧.一種快速的超分辨率圖像重構(gòu)算法[J].光電子.激光，2013，24(2)：372-377.

[13]PENG H，RAO R，DIANAT S.Multispectral image denoising with optimized vector bilateral filter[J].Image Process，2014，23(1)：264-273.

[14]KYUNGSHIN D，SHIKMOON Y.Super-resolution image reconstruction using wavelet based patch and discrete wavelet transform[J].Journal of Signal Processing Systems，2015，81(1)：71-81.

[15]SALGADO C，DOLUI S，MICHAILOVICH V.Reconstruction of hardy data using a split Bergman optimization approach[J]. Image Analysis and Recognition，2013，50(1)：589-596.

[16]KUMAR B K S.Image fusion based on pixel significance using cross bilateral filter[J].Image and Video Processing，2013，5(9)：1193-1204.

[17]YIN W，OSHER S，GOLDFARB D，et al.Bregman iterative algorithms for L1-minimization with applications to compressed sensing[J].SIAM J Image Science，2008，1(1)：143-168.

[18]WUNDERLI T.Total variation time flow with quantile regression for image restoration[J].Mathematical Analysis and Applications，2013，403(1)：272-282.

[19]ZHOU L，LU X B，XUE T.A local structure adaptive super-resolution reconstruction method based on BTV regularization[J].Multimedia Tools and Applications，2014，71(3)：1879-1892.

Super resolution image reconstruction algorithm based on gain map and local regularization

Zhu Li
(Collge of Computer，Xi′an University of Science and Technology，Xi′an 710054，China)

Owing to these defects such as blurring effect and ringing effect,caused by the current image reconstruction algorithm for the ill-posed multi-frame super-resolution image,this paper proposes an effective mechanism based on local adaptive regularization for image reconstruction.First,by analysis of the sub-pixel shifts in low-resolution image,the high and low resolution formation model is constructed,and by estimate an HR image,the reconstruction problems are transformed into an unstable linear equations.Then,a regularization operator is constructed,combined modified algebraic reconstruction technique for the solution of the linear equations.Finally,the gain control method based on local adaptive regularization is used to realize construction of gain map, and complete the SR image reconstruction.The simulation results show that comparing with current image reconstruction algorithm, the reconstruction performance of this mechanism is better,which effectively reduces the blurring effect and ringing effect under the condition of LR image.

image reconstruction；sub-pixel；regularization operator；local adaptive；gain map；super-resolution

TP391

A

10.16157/j.issn.0258-7998.2016.03.036

朱莉.增益映射耦合局部正則化的圖像重構(gòu)算法[J].電子技術(shù)應用，2016，42(3)：127-131.

英文引用格式：Zhu Li.Super resolution image reconstruction algorithm based on gain map and local regularization[J].Application of Electronic Technique，2016，42(3)：127-131.

2015-11-30)

朱莉(1976-)，通信作者，女，碩士，講師，主要研究方向：圖像處理、模式識別與機器學習，E-mail：XUSTZhli1976@163.com。

國家自然科學基金-聯(lián)合基金項目(U1261114)；陜西省教育廳專項科研自然科學類項目(2013JK1140)；陜西省科學技術(shù)研究與發(fā)展計劃工業(yè)攻關(guān)項目(2014K05-37)