一種自適應(yīng)超分辨率圖像重建方法研究

常芳+李潤鑫+喬少華+尚振宏+劉輝

摘 要：針對圖像去噪的問題，提出了一種自適應(yīng)范數(shù)及正則化參數(shù)的圖像重建方法。首先，考慮到退化圖像不僅含有高斯噪聲，而且含有拉普拉斯噪聲，利用最大似然估計的思想估計高斯噪聲和拉普拉斯噪聲的標(biāo)準(zhǔn)差；其次，由于在圖像重建過程中，噪聲分布會發(fā)生變化，為此，構(gòu)造基于統(tǒng)計量的高斯和拉普拉斯權(quán)重函數(shù)，整合L1、L2范數(shù)，設(shè)計一種自適應(yīng)加權(quán)函數(shù)；最后，結(jié)合自適應(yīng)正則化參數(shù)方法，設(shè)計了一種自適應(yīng)L1、L2范數(shù)及正則化參數(shù)的圖像重建方法。實(shí)驗(yàn)結(jié)果表明，提出的方法對含有混合噪聲的不同圖像具有比較理想的重建效果。

關(guān)鍵詞：統(tǒng)計量；自適應(yīng)；權(quán)重函數(shù)；L1-L2范數(shù)；正則化參數(shù)

DOIDOI：10.11907/rjdk.172377

中圖分類號：TP317.4

文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2018）002-0219-05

0 引言

圖像重建是指利用信號處理和圖像處理方法，通過軟件計算的方式將退化的低分辨率（Low Resolution，LR）圖像轉(zhuǎn)化成高分辨率（High Resolution，HR）圖像的技術(shù)[1-4]。目前，圖像重建技術(shù)在視頻監(jiān)控、圖像打印、刑偵分析、醫(yī)學(xué)圖像處理、衛(wèi)星成像等領(lǐng)域得到了廣泛應(yīng)用。圖像重建的主要方法有：凸集投影方法（POCS）[1]、最大后驗(yàn)概率估計方法（MAP）[1]、迭代反投影方法（IBP）[5]和最大似然估計（ML）[6]。其中，最大似然估計是基于最大后驗(yàn)概率估計的一種方法，是一種基于概率的算法框架，也是目前實(shí)際應(yīng)用和科學(xué)研究中運(yùn)用最多的一類方法。該方法較為靈活，特別是它的正則項，可以自由加入對具體問題的約束。在提出最大后驗(yàn)概率方法之后，對于如何設(shè)計一個有效的正則項成為圖像處理領(lǐng)域的研究熱點(diǎn)和難點(diǎn)[7]。在過去的30年里，學(xué)者們陸續(xù)提出許多正則化方法，比較常用的有Tikhonov[1，8-9]正則化、全變差（Total Variation，TV）[10]正則化以及Farsiu S[11]等提出的雙邊全變差（Bilateral Total Variation，BTV）正則化。雙邊全變差正則化算法能夠得到比較理想的稀疏解，同時具有良好的邊緣信息保持和噪聲抑制效果，采用雙邊全變差作為正則項。

在現(xiàn)實(shí)世界中，低分辨率圖像往往含有高斯和拉普拉斯脈沖噪聲。在圖像重建過程中，L1范數(shù)對圖像的邊緣保持恢復(fù)效果較好，但是會出現(xiàn)階梯效應(yīng)，同時產(chǎn)生虛假邊緣，視覺效果并不理想；而L2范數(shù)對圖像平滑效果比較理想，但是去噪和邊緣保持能力不理想。為了達(dá)到同時抑制兩種噪聲目的，提出一種自適應(yīng)的L1、L2范數(shù)的數(shù)據(jù)保真項模型。同時，對于傳統(tǒng)的圖像重建算法，正則化參數(shù)是通過隨機(jī)選取，圖像重建結(jié)果不能達(dá)到理想效果。為此，提出了一種簡單有效的自適應(yīng)正則化方法。實(shí)驗(yàn)結(jié)果表明，本文提出的方法可以有效地抑制圖像混合噪聲，并且在圖像平滑區(qū)域、邊緣保持方面有很好的重建效果。

1 自適應(yīng)范數(shù)及正則化參數(shù)超分辨率方法

1.1 退化模型

圖像退化是指圖像在獲取、傳輸和存儲過程中，因各種不確定因素影響導(dǎo)致圖像質(zhì)量下降。通常，圖像退化數(shù)學(xué)模型可以用一個線性過程表達(dá)，其定義如式（1）所示：

式（1）中，x為原始高分辨率圖像，z為退化圖像，Dk為第k幅圖像的模糊算子，Hk為第k幅圖像的下采樣算子，F(xiàn)k為第k幅圖像的幾何運(yùn)動算子，Nk為加性噪聲。

目前，圖像重建都是以退化模型式為理論依據(jù)，通過已知的LR圖像z，對式（1）反向求解，得到HR圖像x。與此同時，求解過程往往忽略一些問題：由于LR圖像數(shù)量不足以及病態(tài)的模糊因子D，往往導(dǎo)致解的不唯一性。為了解決這一系列問題，通常采用正則化方法對其解空間加以限制。一般的標(biāo)準(zhǔn)正則化最小化函數(shù)是由描述模型誤差的數(shù)據(jù)保真項和約束模型實(shí)現(xiàn)魯棒性的正則項構(gòu)成。其表達(dá)式如式（2）所示：

式（2）中，P通常取1或2，λ為正則化參數(shù)，R（x）為正則項，對式（2）進(jìn)行最優(yōu)化求解完成圖像的重建。

1.2 自適應(yīng)L1、L2范數(shù)模型

圖像噪聲理論上可以理解為是不可預(yù)測、隨機(jī)發(fā)生的，是一個多維隨機(jī)過程，可以利用概率密度分布函數(shù)來描述。高斯和拉普拉斯噪聲的概率密度分布函數(shù)定義分別如式（3）、（4）所示：

式（3）、（4）中，r表示N維噪聲向量，σG、mG、σL和mL分別表示高斯和拉普拉斯對應(yīng)的標(biāo)準(zhǔn)差和均值。

計算拉普拉斯概率密度分布函數(shù)的最大似然估計（MAP），對式（4）等式兩邊取對數(shù)，計算結(jié)果如式（5）所示：

對式（5）求σL的偏導(dǎo)數(shù)，計算結(jié)果如式（6）所示：

根據(jù)式（6）計算可得拉普拉斯噪聲的標(biāo)準(zhǔn)差如式（7）所示：

其中，拉普拉斯噪聲均值可以表示為：

同理，可得高斯噪聲的均值和標(biāo)準(zhǔn)差，如式（9）、（10）所示：

如前文所述，在式（2）中，當(dāng)p=2時，L2范數(shù)通常對高斯噪聲有比較好的魯棒性；而當(dāng)p=1時，L1范數(shù)對拉普拉斯噪聲有比較好的魯棒性。在圖像處理過程中，圖像會受到混合噪聲的影響（主要是高斯脈沖噪聲）。為了解決這些問題，本文采取一種自適應(yīng)L1-L2范數(shù)框架，通過脈沖噪聲檢測圖的驅(qū)動，利用不同范數(shù)解決超分辨率問題。

為實(shí)現(xiàn)在圖像處理過程中兩種噪聲自適應(yīng)范數(shù)的選擇，考慮利用最大似然估計，構(gòu)造基于統(tǒng)計量的權(quán)重函數(shù)，對應(yīng)的高斯噪聲權(quán)重表達(dá)式如式（11）所示：

式（11）中，σG、σL分別對應(yīng)高斯和拉普拉斯噪聲的標(biāo)準(zhǔn)差。令v=σLσG，則式（11）可以表示為：

同理，對應(yīng)的拉普拉斯噪聲權(quán)重函數(shù)為1-S（v）。

當(dāng)v=1時，高斯噪聲和拉普拉斯噪聲分布趨于相等，權(quán)重都為0.5；當(dāng)v≠1時，兩種噪聲通過標(biāo)準(zhǔn)差比自主選擇對應(yīng)的權(quán)重，如圖2所示。endprint

目標(biāo)函數(shù)對應(yīng)的數(shù)據(jù)保真項則可以定義為：

1.3 自適應(yīng)正則化

對于正則項R（x）的選擇是圖像重建的一個非常關(guān)鍵的任務(wù)，然而本文提出的模型具有靈活地添加先驗(yàn)約束的特征。在這項研究中，主要任務(wù)是測試數(shù)據(jù)保真項的自適應(yīng)范數(shù)的性能?；陔p邊全變差（Bilateral Total Vriation，BTV）在圖像重建過程中具有良好的抑制噪聲和保持邊緣的性能，為此，選擇BTV正則化算法作為先驗(yàn)知識，其表達(dá)式如式（14）所示：

式（14）中，α為雙邊濾波算子的權(quán)重系數(shù)，取值為[0，1]，l和m分別表示圖像x在水平和垂直方向上的位移，Slx和Smy為平移后的變換矩陣。

正則項參數(shù)λ用于平衡數(shù)據(jù)誤差項與正則項之間的相對貢獻(xiàn)。當(dāng)λ選取過大時，圖像重建會導(dǎo)致邊緣紋理過重和圖像噪聲過大；當(dāng)λ選取過小時，會導(dǎo)致不穩(wěn)定的解。因此，正則化參數(shù)的選取對于圖像的重建效果至關(guān)重要。傳統(tǒng)的參數(shù)選取方法主要有通過經(jīng)驗(yàn)手動調(diào)整和利用L曲線的方法[12]，然而，手動調(diào)整對于選擇適當(dāng)?shù)膮?shù)非常困難。為此，提出一種比較簡單和實(shí)用的正則化參數(shù)選取方法，該方法充分利用迭代重建的信息獲取最佳效果。表達(dá)式如式（15）所示：

式（15）中，μ是一個接近零但不等于零的參數(shù)，以防止分母為零。這里設(shè)置μ=0.01，λ與zk-DkHkFkx成正比，與R（x）成反比。zk-DkHkFkx的均值表示圖像噪聲大小，該均值越小表示圖像噪聲越小，對應(yīng)的正則化參數(shù)λ也會越小。R（x）用于描述圖像的紋理和細(xì)節(jié)，為了得到式（2）的最小值，選擇R（x）的最大值。通過該方法，選擇的正則化參數(shù)λ將是最佳的參數(shù)值。

綜合式（13）～（15），最終的圖像重建目標(biāo)函數(shù)如式（16）所示：

1.4 目標(biāo)函數(shù)優(yōu)化

對于式（16）的求解，本文采用共軛梯度下降法，在圖像迭代過程中，沿負(fù)梯度的方向進(jìn)行收斂，直到目標(biāo)函數(shù)達(dá)到最小值。目標(biāo)函數(shù)對應(yīng)的梯度函數(shù)表達(dá)式為：

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)步驟

（1）選取LR圖像序列中的某一幀作為參照圖像，利用光流法對LR圖像序列進(jìn)行配準(zhǔn)。

（2）利用雙立方插值法，通過LR參照圖像生成初始HR圖像xn。

（3）將xn代入式（11）、（15），求得自適應(yīng)噪聲權(quán)重函數(shù)S（v）及正則化參數(shù)λ，再將xn、S（v）和λ代入式（17），求得此次迭代的HR圖像xn+1。

（4）設(shè)定迭代閾值：‖xn+1-xn‖xn≤η，這里設(shè)置η=10-4，判斷xn+1是否滿足迭代停止條件，如果滿足，停止迭代，則xn+1即為所求的重建圖像；否則，返回步驟（3）。

2.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文設(shè)計的自適應(yīng)范數(shù)加權(quán)函數(shù)圖像重建方法的有效性，分別與L2BTV[21]算法、L1BTV[22]算法作實(shí)驗(yàn)對比。實(shí)驗(yàn)中選取512×521Lena、512×512peppers、321×481boat和481×321corn作為原始高分辨率灰度圖像，利用平面投影運(yùn)動模型，加入高斯模糊算子σ2PSF=0.4，下采樣算子為2，加入高斯與拉普拉斯噪聲（σ2+s），生成一組低分辨率序列圖像。

本文采用峰值信噪比（Peak Signal To Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity，SSIM）[13]作為圖像重建質(zhì)量評估標(biāo)準(zhǔn)。其定義式分別如式（18）、（19）所示：

式（18）、（19）中，為重建高分辨率圖像，x為原始高分辨率圖像，μ、μx和σ2、σ2x分別為對應(yīng)的均值和方差，σx為協(xié)方差，C1和C2為常數(shù)。

為了驗(yàn)證本文提出模型的有效性，與L2BTV、L1BTV算法的重建結(jié)果進(jìn)行比較。圖3（a）為Lena低分辨率序列圖像中的一幀，其中，高斯噪聲與拉普拉斯噪聲強(qiáng)度為（0.001+0.1）；圖3（b）為L1BTV重建結(jié)果，可以很容易發(fā)現(xiàn)基于L2范數(shù)的模型對椒鹽噪聲的抑制效果不太理想；而圖3（c）表現(xiàn)出明顯的噪聲抑制效果，圖3（d）是本文提出方法的重建效果圖，相比于前兩種重建方法，該方法在圖像的平滑區(qū)域和邊緣保持方面有比較理想的重建效果。實(shí)驗(yàn)結(jié)果如表1所示，隨著椒鹽噪聲強(qiáng)度的增加，本文提出方法的PSNR和SSIM沒有大幅下降，相比于前兩種方法，PSNR和SSIM分別平均提高了4.26dB、0.13。

同樣，在圖4中，圖4（a）為peppers低分辨率序列圖像中的一幀，加入的高斯噪聲與椒鹽噪聲強(qiáng)度為（0.001+0.12）。相比于L2BTV與L1BTV，本文提出方法的重建效果具有明顯的優(yōu)越性。實(shí)驗(yàn)結(jié)果如表2所示，本文方法的PSNR和SSIM值分別提高了3.19dB、0.14。

圖5、圖6為加入了不同高斯噪聲強(qiáng)度的圖像重建效果，圖5（a）為高斯和拉普拉斯噪聲強(qiáng)度為（0.002+0.12）的boat低分布率序列圖像中的一幀，圖6（a）為高斯與拉普拉斯強(qiáng)度為（0.003+0.08）的corn低分辨率序列圖像中的一幀。相較于前兩組實(shí)驗(yàn)，隨著高斯噪聲強(qiáng)度的

增加，L2BTV和L1BTV對應(yīng)的PSNR和SSIM值出現(xiàn)了大幅下降，而本文提出的方法卻沒有，如表3、表4所示，說明本文提出的方法對高斯噪聲也具有較好的抑制效果。

3 結(jié)語

針對混合噪聲圖像的重建，利用最大似然估計的思想，構(gòu)造了一種基于統(tǒng)計量的自適應(yīng)L1、L2范數(shù)的數(shù)據(jù)保真項模型。對于正則項，本文選取雙邊全變差正則化算法，同時，考慮到正則化參數(shù)對圖像重建的全局效果起著關(guān)鍵作用，設(shè)計了一種簡單有效的自適應(yīng)方法。實(shí)驗(yàn)數(shù)據(jù)表明，本文提出的方法效果優(yōu)于L1BTV、L2BTV算法，獲得了比較理想的重建結(jié)果。

參考文獻(xiàn)：

[1] LEE E S， KANG M G. Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration[J]. IEEE Transactions on Image Processing，2003，12（7）：826-837.endprint

[2] SONG H H， ZHANG L， WANG P K， et al. An adaptive L1-L2 hybrid error model to super-resolution[C]. Proceedings of 2010 IEEE 17th Interational Conference on Image Processing. Piscataway： IEEE，2010：2821-2824.

[3] 安耀祖，陸耀，趙紅.一種自適應(yīng)正則化的超分辨率圖像算法[J].自動化學(xué)報，2012，38（4）：601-608.

[4] 查志遠(yuǎn)，劉輝，尚振宏，等.自適應(yīng)加權(quán)編碼L1/2正則化的圖像重建算法[J].計算機(jī)應(yīng)用，2015，35（3）：835-839.

[5] IRANI M， PELEG S. Improving resolution by image registration[J]. CVGIP： Graphical models and image processing，1991，53（3）：231-239.

[6] FENG ZUREN， LV NA， LI LIANGFU. Research on image matching similarity criterion based on maximum posterior probability[J]. Acta Automatica Sinica，2007，33（1）：1-8.

[7] SU HENG， ZHOU JIE， ZHANG ZHIHAO. Survey of super-resolution image reconstruction methods[J]. Acta Automatica Sinica，2013，39（8）：1202-1213.

[8] HENNINGS-YEOMANS P H， BAKER S， KUMAR B V K V. Simul-taneous super-resolution and feature extraction for recognition of low-resolution faces[C]. In： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Anchorage， AK： IEEE，2008：1-8.

[9] BOYD S， VANDEUBERGHE L. Convex optimization[M]. Cambridge： Cambridge University Press，2009：305-310.

[10] RUDIN L， OSHER S， FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Physica： D，1992，60：259-268.

[11] FARSIU S， ROBINSON D， ELAD M， et al. Fast and robust multi-frame super-resolution[J]. IEEE Transactions on Image Processing，2004，13（10）：1327-1344.

[12] BOSE N K， LERTRATTANAPANICH S， KOO J. Advances in super-resolution using L-curve[C]. Proceedings of the 2001 IEEE International Syxnposiuxn on Circuits and Systems. Sydney， NSW： IEEE，2001，2：433-436.

[13] WANG Z， BOVIK A C， LU L C. Why is image quality assessxnent so difficult[C]. Proceedings of the 2002 IEEE International Conference on Acoustics， Speech， and Signal Processing （ICASSP）. Orlando， FL， USA： IEEE，2002，4：IV-3313-IV-3316.endprint