基于L1—L2混合噪聲模型的圖像超分辨率重建方法

李?？⑤x

摘要：文章提出了一種基于L1-L2混合噪聲模型（HNM）方法用于圖像、視頻的超分辨重建，該方法有效利用L1范數(shù)在突變區(qū)域較好保持圖像邊緣信息的特點，同時兼顧了L2范數(shù)對圖像平坦區(qū)域的噪聲抑制特性。針對求解過程中噪聲分布的改變，L1、L2范數(shù)的選擇問題，提出一種自適應(yīng)隸屬度（AMD）方法，該方法不僅能達到理想的實驗效果，而且大大地減少了迭代次數(shù)與運算時間。

Abstract： L1-L2 hybrid noise model （HNM） method is proposed in this paper for image/video super-resolution. This method has the advantages of both L1 norm minimization （i.e. edge preservation） and L2 norm minimization （i.e. smoothing characterization）. In view of noise distribution changing and selecting L1 norm minimization or L2 norm minimization， the paper propose an efficient adaptive membership degree （AMD） method， which get the ideal result but the proposed AMD method can reduce the number of iterations and save much computational cost.

關(guān)鍵詞：混合噪聲模型；超分辨率；L1范數(shù)；L2范數(shù)；自適應(yīng)隸屬度

Key words： hybrid noise model；super-resolution；L1 norm；L2 norm；adaptive membership degree

中圖分類號：TP751 文獻標(biāo)識碼：A 文章編號：1006-4311（2016）06-0192-03

0 引言

超分辨率重建技術(shù)，利用拍攝目標(biāo)的先驗信息、單幅圖像的信息以及多幅圖像間的補充信息，以時間帶寬換取空間分辨率，提取出低分辨率圖像中的高頻信息，使重建結(jié)果更接近于理想未退化的圖像，廣泛地應(yīng)用于圖像視頻處理領(lǐng)域，如遙感圖像，醫(yī)學(xué)圖像，視頻監(jiān)控和高清電視等。但由于其利用空域先驗信息的能力的局限性，當(dāng)前的研究多集中在空域?？沼蚍ㄖ饕械赐队埃↖terative back projection， IBP）[1]、凸集投影（Projection on to convex sets， POCS）[2]、最大后驗概率估計（Maximum a posteriori，MAP）[3]以及最大似然估計（Maximum likelihood，ML）。其中，迭代反投影運算量小，收斂速度較快，但是難以利用先驗約束信息，超分辨率結(jié)果不唯一。凸集投影和最大后驗概率估計是目前研究最多的方法，其成像模型可以方便地利用先驗信息，但是運算量大，收斂速度慢。最大似然估計可以看作最大后驗概率估計在等概率先驗?zāi)Ｐ拖碌奶乩齕4]。

通常情況下，低分辨率圖像需要預(yù)先進行運動估計，點擴散函數(shù)（PSF）估計以及亮度校正等[5-7]。在現(xiàn)實世界中，許多真實的圖像、視頻序列中，低分辨率圖像、視頻序列下觀測模型中的噪聲服從拉普拉斯分布（如椒鹽噪聲）[5，7]，由于高斯噪聲分布通常被看作是均值濾波器，它能夠使圖像具有更好的平滑效果，而拉普拉斯噪聲分布通常被看作中值濾波器，它能夠使圖像保持良好的邊緣效果[5]。

在本文中，我們提出了一種基于高斯分布和拉普拉斯分布的混合噪聲模型。由于在超分辨率重建迭代過程中，噪聲的分布會發(fā)改變，因此，我們提出了一種自適應(yīng)隸屬度（AMD）方法，該方法不僅能達到有效的實驗效果，而且大大地減少了迭代次數(shù)與運算時間。

1 圖像模型

1.1 觀測模型

超分辨率重建圖像序列的退化模型可用一個線性過程來描述，該觀測模型可由下面的退化過程表示[7-8]：

yk=DkHkFkx+Nk，k=1，…，K （1）

其中，K是低分辨圖像的個數(shù)，x是高分辨率圖像，yk代表著第k幅低分辨率圖像，Dk和Hk各代表下采樣算子和模糊算子（系統(tǒng)的點擴散函數(shù)PSF），F(xiàn)k表示第k幅低分辨圖像的幾何運動算子，NK表示第k幅圖像的隨機加性噪聲。

1.2 運動模型

對于低分辨率圖像的幾何運動算子Fk的獲取，本文采用平面投影運動模型（8DoF）[6]來獲取，8DoF是從不同視角捕捉到的平面和近平面運動目標(biāo)，乃至攝像機沿光軸旋轉(zhuǎn)情況下進行運動建模的最佳方法。對于小范圍、短時目標(biāo)運動（如連續(xù)視頻幀之間），8DoF變換能夠在場景整體運動未知的情況下獲得運動目標(biāo)模型的足夠的逼近精度。

1.3 模糊算子（PSF）

因此，從式（8）我們可得，如果比值v>0.7602，則噪聲更傾向于高斯分布，反之，噪聲更傾向服從拉普拉斯分布。

L2處理高斯噪聲時圖像能夠保持更好的平滑特性，L1范數(shù)處理拉普拉斯噪聲時圖像能夠更好地保持邊緣特性。為了使圖像能夠同時具有更好的平滑特性與更好的邊緣特性，在本文中，我們定義了一個關(guān)于v的拉普拉斯的隸屬函數(shù)H（v）（圖1灰線所示）。由于通過式（8）我們可知v=0.7602時，兩種噪聲分布趨于相等，即為0.5，則H0.7602=0.5，我們利用式（3）中的尺度權(quán)重因子α來約束H0，即

2.4 自適應(yīng)隸屬度方法（AMD）

我們使用SCG（scaled conjugate gradient）方法[8]來優(yōu)化式（12）。隨著迭代過程的進行，我們會發(fā)現(xiàn)式（12）中的數(shù)據(jù)誤差項中的噪聲分布會發(fā)生改變，因此在每次完成迭代過程后根據(jù)此時的數(shù)據(jù)誤差項中的噪聲分布更新H（v）的值，并且根據(jù)v的變化，我們提出了一種自適應(yīng)隸屬度方法（AMD），該方法的偽代碼如表1所示。

3 實驗與分析

本文分別將以L1范數(shù)和L2范數(shù)結(jié)合的BTV的超分辨率重建方法，記為L1BTV[5]和L2BTV[6]，本文采用了實驗圖像為合成圖像，分別加入了高斯噪聲和椒鹽噪聲，并假設(shè)PSF和運動算子可知。為了驗證本文提出的L1-L2混合噪聲模型圖像超分辨率方法（在下文中，稱為HNM）的有效性，以及在保持圖像平滑和保持圖像邊緣的優(yōu)越性，本文將與L1BTV和L2BTV超分辨重建方法作實驗對比。為了客觀評估方法的性能，本文采用峰值信噪比（Peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似度（Structural similarity，SSIM ）[6]超分辨重建圖像客觀質(zhì)量的定量評價方法。

圖2（a） 是其中一幅Lena退化后的低分辨率圖像加入方差σ2為0.08高斯噪聲，圖2（b）是HNM方法重建的結(jié)果，圖2（c）是L1BTV方法重建的結(jié)果，圖2（d）是L2BTV方法重建的結(jié)果。從表2中可以看出，此時的HNM重建的Lena的峰值信噪比（PSNR）為36.41，結(jié)構(gòu)相似度索引（SSIM）為0.9855，而L1BTV，L2BTV重建Lena的峰值信噪比（PSNR）分別為34.35和32.79，結(jié)構(gòu)相似度索引（SSIM）分別為0.9842和0.9836。另外，從圖3可以看到隨著尺度權(quán)重因子α的變化，HNM方法與L1BTV，L2BTV方法重建圖像的結(jié)構(gòu)相似度索引（SSIM）變化趨勢圖也說明了本文方法要比L1BTV，L2BTV方法重建效果較理想。

4 結(jié)論

文章提出一種基本L1-L2混合噪聲模型對圖像進行超分辨重建方法，該方法結(jié)合了高斯模型與拉普拉斯模型的優(yōu)點，我們設(shè)計一種關(guān)于這高斯模型與拉普拉斯模型關(guān)系的隸屬函數(shù)，根據(jù)該隸屬函數(shù)，在迭代過程中，我們可以很好的選擇噪聲模型分布。由于迭代過程中，噪聲分布會發(fā)生改變，我們提出了一種自適應(yīng)隸屬度（AMD）方法，該方法可以很有效地結(jié)束迭代。通過以上實驗結(jié)果，文章方法與L1BTV、L2BTV方法相比較，在處理不同噪聲的時候具有較高的峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM），而且在平滑、邊緣保持等細節(jié)區(qū)域具有更好的重建效果。具有更好優(yōu)越性。

參考文獻：

[1]Irani M， Peleg S. Improving resolution by image registration[J]. CVGIP： Graphical models and image processing， 1991， 53（3）： 231-239.

[2]禹晶，蘇開娜，肖創(chuàng)柏. 一種改善超分辨率圖像重建中邊緣質(zhì)量的方法[J].自動化學(xué)報，2007，33（6）：577-582.

[3]Lee E S， Kang M G. Regularized adaptive high-resolution image reconstruction considering inAMDurate subpixel registration[J]. Image Processing， IEEE Transactions on， 2003， 12（7）： 826-837.

[4]安耀祖，陸耀，趙紅.一種自適應(yīng)正則化的圖像超分辨率方法[J].自動化學(xué)報，2012，38（4）：601-608.

[5]Farsiu S， Robinson M D， Elad M， et al. Fast and robust multiframe super resolution[J]. Image processing， IEEE Transactions on， 2004， 13（10）： 1327-1344.

[6]Pickup L C. Machine learning in multi-frame image super-resolution[D]. Oxford University， 2007.

[7]Farsiu S， Robinson D， Elad M， et al. Robust shift and add approach to super-resolution[C] Optical Science and Technology， SPIE's 48th Annual Meeting. International Society for Optics and Photonics， 2003： 121-130.

[8]Nabney I. NETLAB： methods for pattern recognition[M]. Springer， 2002.