基于迭代重加權(quán)的廣義總變分超分辨率重建

周　芹　馬志強(qiáng)　單　勇

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院　陜西 西安 710077)

?

基于迭代重加權(quán)的廣義總變分超分辨率重建

周芹馬志強(qiáng)單勇

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院陜西 西安 710077)

摘要由于傳統(tǒng)超分辨率重建算法在模糊和噪聲嚴(yán)重的情況下不能有效地抑制圖像中的噪聲，提出基于迭代重加權(quán)范數(shù)的廣義總變分超分辨率重建算法。該算法采用迭代重加權(quán)的數(shù)據(jù)保真項(xiàng)和正則項(xiàng)構(gòu)造廣義總變分的代價(jià)函數(shù)，并采用預(yù)處理共軛梯度法對其進(jìn)行優(yōu)化,能夠有效地抑制噪聲的產(chǎn)生。實(shí)驗(yàn)證明，該算法在去除噪聲的同時(shí)，能夠很好地保持圖像的細(xì)節(jié)信息，有很好的視覺效果。

關(guān)鍵詞圖像超分辨率廣義總變分迭代重加權(quán)預(yù)處理共軛梯度去噪

0引言

圖像超分辨率SR(Super Resolution)是指從多幅低分辨率LR(Low Resolution)圖像獲得一幅或多幅清晰的高分辨率HR(High Resolution)圖像的重建技術(shù)。如果將圖像的退化模型看成是正問題，那么超分辨率重建問題實(shí)際上是一個(gè)反問題；又由于噪聲的不確定性和低分辨率圖像幀數(shù)的不足，使得超分辨率重建也是個(gè)病態(tài)問題。為了解決超分辨率重建算法的病態(tài)反問題，引入了正則項(xiàng)以便約束待估計(jì)的高分辨率圖像的解空間，此方法稱為正則化方法。經(jīng)典的正則化超分辨率重建算法主要有Tikhonov正則化[1]、總變分TV(Total Variation)正則化[2,3]、雙邊總變分BTV(Bilateral Total Variation)正則化[4-7]和最近提出的總廣義變分正則化TGV(Total Generalized Variation)正則化[8,9]。一個(gè)典型的重構(gòu)過程包括了圖像配準(zhǔn)、高分辨率插值、消除模糊噪聲等后期處理過程[10]。

觀測到的低分辨率圖像在噪聲比較大，模糊比較嚴(yán)重的情況下，傳統(tǒng)超分辨率重建算法不能很好地抑制噪聲。而文獻(xiàn)[11]表明迭代重加權(quán)范數(shù)在去噪和去卷積方面有很好的效果。因此，本文將迭代重加權(quán)范數(shù)應(yīng)用于超分辨率重建中，從而提出了基于迭代重加權(quán)[11]的超分辨率重建算法。該算法考慮了每幀低分辨率圖像的配準(zhǔn)誤差存在差異，從而對數(shù)據(jù)保真項(xiàng)采用加權(quán)處理。同時(shí)，考慮了同一幀低分辨率圖像中當(dāng)前像素的周圍像素點(diǎn)對其貢獻(xiàn)不同，對正則項(xiàng)也采用加權(quán)處理，并利用迭代重加權(quán)方法和預(yù)處理共軛梯度法對代價(jià)函數(shù)進(jìn)行優(yōu)化求解。

1基礎(chǔ)知識(shí)

圖像觀測模型可以描述為景物的高分辨率圖像X經(jīng)過降質(zhì)(大氣擾動(dòng)變形、光學(xué)模糊、鏡頭下采樣以及噪聲污染)后，最終得到N幀低分辨率圖像Yk,{k∈[1,N]}的過程。因此，觀測模型用矩陣形式表示如下：

Yk=DkBkFkX+Nk

(1)

式中，Dk是下采樣矩陣；Bk是系統(tǒng)的模糊矩陣；Fk是運(yùn)動(dòng)矩陣，可通過圖像配準(zhǔn)求得。Nk是噪聲矩陣。

將其簡化可得：

Y=HX+N

(2)

由于模糊、噪聲等退化因素的影響或LR圖像數(shù)量的不足，導(dǎo)致超分辨率圖像重建方法是一個(gè)具有病態(tài)特性的反問題。為了克服病態(tài)特性，需要引入正則項(xiàng)進(jìn)行約束，從而穩(wěn)定解并加速算法的收斂性。因此典型的超分辨率代價(jià)函數(shù)可用極小值問題來表示：

(3)

式中，第一項(xiàng)是數(shù)據(jù)保真項(xiàng)，衡量重建的高分辨率圖像經(jīng)過降質(zhì)后得到的LR圖像與觀測到的LR圖像的一致性；第二項(xiàng)是正則項(xiàng)，以便約束解的唯一性和穩(wěn)定性，λ表示正則化參數(shù)，主要用于平衡數(shù)據(jù)保真項(xiàng)與正則項(xiàng)。p、q表示范數(shù),當(dāng)p=1、q=1時(shí)，式(3)相當(dāng)于L1總變分的代價(jià)函數(shù)，簡記為L1TV；當(dāng)p=2、q=1時(shí)，式(3)相當(dāng)于L2總變分的代價(jià)函數(shù)，簡記為L2TV。DuX和DvX分別表示圖像X在像素點(diǎn)的水平方向和垂直方向的一階導(dǎo)數(shù)。

2基于迭代重加權(quán)的超分辨率重建

2.1迭代重加權(quán)范數(shù)

迭代重加權(quán)范數(shù)IRN(Iteratively Reweighted Norm)在文獻(xiàn)[11]中首次被提出用去噪和去卷積，其定義為：用加權(quán)的L2范數(shù)等價(jià)代替p范數(shù)和q范數(shù)。

迭代重加權(quán)范數(shù)是與迭代重加權(quán)最小二乘法[12]IRLS(Iteratively Reweighted Least Squares)緊密相關(guān)的。IRLS算法采用一個(gè)迭代過程求解一系列加權(quán)最小二乘問題，并在每一步迭代中按照一定的規(guī)則對權(quán)系數(shù)進(jìn)行調(diào)整，使其逐步逼近最優(yōu)拉格朗日乘子。IRLS最小化p范數(shù)如下：

(4)

其中，HX-Y表示配準(zhǔn)誤差，即估計(jì)出的高分辨率圖像經(jīng)過降質(zhì)后得到的低分辨率圖像與觀測到的低分辨率圖像之間的誤差。

迭代重加權(quán)范數(shù)是指當(dāng)p<2時(shí)，采用迭代的方式，用自適應(yīng)加權(quán)的L2范數(shù)逼近最優(yōu)解。在第k次迭代時(shí)，解X(k)是下式的最小解：

(5)

式中，權(quán)重矩陣W(k)1/2= diag(|HX(k)-Y|p-2)，其物理意義是各幀的權(quán)重矩陣隨配準(zhǔn)誤差的不同而改變，當(dāng)配準(zhǔn)誤差HX-Y較大時(shí)，選擇較小的權(quán)重系數(shù)。反之，選擇較大的權(quán)重系數(shù)。

對式(5)求導(dǎo)并令其為0，可得迭代公式為：

X(k+1)=(HTW(k)H)-1HTW(k)Y

(6)

以上分析表明，迭代重加權(quán)范數(shù)可以利用對權(quán)重的調(diào)整逐步逼近目標(biāo)函數(shù)的全局最優(yōu)解。

2.2數(shù)據(jù)保真項(xiàng)的廣義形式

為了采用迭代重加權(quán)范數(shù)的思想，即用加權(quán)的L2范數(shù)代替p范數(shù)，定義數(shù)據(jù)保真項(xiàng)為一個(gè)二次函數(shù)：

(7)

式中，第二項(xiàng)F(X)的形式如式(4),其中的X(k)是一個(gè)常數(shù)，表示函數(shù)在當(dāng)前迭代的最優(yōu)解;并且：

(8)

(9)

2.3正則項(xiàng)的廣義形式

為了采用迭代重加權(quán)范數(shù)的思想，即用加權(quán)的L2范數(shù)代替q范數(shù)，定義正則項(xiàng)為一個(gè)二次函數(shù)：

(10)

(11)

(12)

(13)

式(11)的推導(dǎo)可參考文獻(xiàn)[11]，表示權(quán)重系數(shù)與像素點(diǎn)的梯度成反比關(guān)系，即當(dāng)邊緣處的梯度較大時(shí)，采用較小的權(quán)重系數(shù)以便保留圖像的邊緣信息；當(dāng)平坦區(qū)域的梯度較小時(shí)，采用較大的權(quán)重系數(shù)以便平滑噪聲，從而達(dá)到保持圖像細(xì)節(jié)信息的同時(shí)能夠去除噪聲。式(13)表示：當(dāng)像素點(diǎn)的梯度(DuX(k))2+(DvX(k))2小于閾值εR時(shí)，可將權(quán)值系數(shù)設(shè)置為0，即對于正則項(xiàng)而言，梯度很小以至于接近0是被允許的。此時(shí)的正則項(xiàng)對迭代沒有貢獻(xiàn)量，而只取決于前次迭代和當(dāng)前迭代的保真項(xiàng)。

2.4代價(jià)函數(shù)及其優(yōu)化求解

根據(jù)以上分析，超分辨率重建模型——廣義總變分的代價(jià)函數(shù)可表示為：

(14)

(15)

對于上式可采用預(yù)處理共軛梯度法[13]PCG(Preconditioned Conjugate Gradient)對其進(jìn)行求解，而其中的閾值εF和εR的自適應(yīng)選取在下文介紹。本文算法步驟如下：

1) 選擇低分辨率參考幀，對圖像進(jìn)行Lucas-Canada光流法配準(zhǔn)；

2) 對低分辨率參考幀進(jìn)行插值得到初始高分辨率圖像X(0);

5) 如果達(dá)到最大迭代次數(shù)，則停止迭代，得到的解即為重建的高分辨率圖像，否則返回步驟4。

2.5閾值的自適應(yīng)選取

重建圖像質(zhì)量的優(yōu)劣取決于權(quán)重矩陣的值，而權(quán)重矩陣的值與閾值εF和εR的選取是密不可分的。若閾值選取過小，那么迭代次數(shù)會(huì)增多，從而導(dǎo)致程序運(yùn)行時(shí)間長，效果不明顯；若閾值選取過大，那么重建結(jié)果不能很好的保持圖像的邊緣細(xì)節(jié)信息，導(dǎo)致重建圖像質(zhì)量較差，所以選取合適的閾值對于重建圖像質(zhì)量而言是至關(guān)重要的。由式(8)和式(11)可知，閾值是與第k次迭代的解X(k)有關(guān)，所以，閾值的選取應(yīng)隨著迭代次數(shù)的不同而自適應(yīng)的改變。

本文首先計(jì)算當(dāng)前迭代過程中重建的高分辨率圖像X(k)的累積直方圖，通過噪聲占有特定的百分比來確定閾值的自適應(yīng)選取。對于εF，需要確定當(dāng)前迭代中配準(zhǔn)誤差的累積直方圖，即hF=hist(HX(k)-Y),再計(jì)算hF的固定百分比作為閾值εF的值。同樣，對于εR，需要確定當(dāng)前迭代中估計(jì)的高分辨率圖像的梯度值的累積直方圖，即hR=hist(|(DuX(k))2+(DvX(k))2|)q/2，再計(jì)算hR的固定百分比作為閾值εR的值。一般地，數(shù)據(jù)保真項(xiàng)和正則項(xiàng)對應(yīng)的百分比應(yīng)該分別低于5%和1%，從而提高重建圖像的質(zhì)量和去噪性能。

3實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文的算法的魯棒性和有效性，在Windows XP平臺(tái)，Matlab 7.0.1環(huán)境下將本文算法與Tikhonov正則化方法以及文獻(xiàn)[3]中的L2TV算法作比較。Tikhonov算法非常經(jīng)典，經(jīng)常用作對比算法，下面簡稱TK算法。而文獻(xiàn)[3]中的L2TV算法是本文算法在取p=2、q=2時(shí)的特殊形式，用以比較本文算法的優(yōu)越性，之所以選擇L2范數(shù)，是因?yàn)長2范數(shù)對高斯噪聲的去除性能優(yōu)于L1范數(shù)。采用峰值信噪比PSNR(Peak Signal to Noise Ratio)和歸一化的均方誤差NMSE(Normalized Mean Square Error)作為質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，PSNR和NMSE的公式如下：

實(shí)驗(yàn)采用尺寸為383×383的peppers圖像和512×512的Goldhill圖像作為原始圖像。將圖像經(jīng)過隨機(jī)平移，用半徑為3.2的圓形區(qū)域進(jìn)行高斯模糊(方差為5)，再以因子2對其下采樣。最后加入方差為0.01的高斯噪聲產(chǎn)生4幅低分辨率圖像，將圖像的灰度值規(guī)整到[0,1]，利用這4幅低分辨率圖像序列進(jìn)行超分辨率重建。本文算法選擇的參數(shù)為p=2、q=1,自適應(yīng)閾值εF中選取的百分比為0.05，自適應(yīng)閾值εR中選取的百分比為0.1，迭代次數(shù)為3。

幾種不同算法的peppers圖像和Goldhill圖像得到的重建結(jié)果如圖1和圖2所示。其中(a)表示參考幀，(b)、(c)、(d)分別表示TK算法、TV算法和本文算法的重建結(jié)果。從圖1和圖2可以直觀地看出本文算法的去除噪聲性能明顯優(yōu)于TK算法和TV算法。重建結(jié)果的PSNR和NMSE的值如表1所示，本文算法的峰值信噪比明顯高于前兩種方法，歸一化的均方誤差比前兩種算法都小，從定量上表明本文算法保留了更多的圖像細(xì)節(jié)信息，進(jìn)一步反映了本文算法的優(yōu)越性。

圖1　不同算法的peppers圖像的超分辨率重建結(jié)果

圖2　不同算法的Goldhill圖像的超分辨率重建結(jié)果

參考幀TKTVIRNPeppers圖像PSNR19.8126.5327.4928.11NMSE0.0750.0160.0130.011Goldhil圖像PSNR19.3924.4324.8325.74NMSE0.0500.0160.0140.013

4結(jié)語

本文針對在噪聲較大、模糊比較嚴(yán)重的情況下，傳統(tǒng)的圖像超分辨率重建不能很好兼顧抑制噪聲和保持圖像細(xì)節(jié)信息的不足，提出了基于迭代重加權(quán)范數(shù)的廣義總變分超分辨率重建算法。該算法在分析了迭代重加權(quán)范數(shù)原理的基礎(chǔ)上，將迭代重加權(quán)思想分別應(yīng)用于數(shù)據(jù)保真項(xiàng)和正則項(xiàng)，從而定義了它們的廣義形式，構(gòu)造了廣義總變分的代價(jià)函數(shù)，并對其中的權(quán)重及其閾值進(jìn)行自適應(yīng)調(diào)整，利用預(yù)處理共軛梯度對其迭代，確定最優(yōu)解。結(jié)果表明，本文算法不僅有優(yōu)越的去噪性能，還能保持更多的圖像細(xì)節(jié)信息。

參考文獻(xiàn)

[1] 商俊國,焦斌亮.多幀圖像的Tikhonov正則化重建算法研究[J].計(jì)算機(jī)應(yīng)用研究,2011,28(2):785-787,791.

[2] Rudin L,Osher S,Fatemi E.Nonlinear total variation based noise removal algorithms[J].Physical Review D,1992,60(1-4):259-268.

[3] 占美全,鄧志良.基于L1范數(shù)的總變分正則化超分辨率圖像重建[J].科學(xué)技術(shù)與工程,2010,10(28):6903-6906.

[4] Farsiu S,Robinson M D.Fast and Robust Multiframe Super Resolution[J].IEEE Transactions on Image Processing,2004,13(10):1327-1344.

[5] 安耀祖,陸耀,趙紅.一種自適應(yīng)正則化的圖像超分辨率算法[J].自動(dòng)化學(xué)報(bào),2012,38(4):601-608.

[6] 楊欣,周大可,費(fèi)樹民.基于自適應(yīng)雙邊全變差的圖像超分辨率重建[J].計(jì)算機(jī)研究與發(fā)展,2012,49(12):2696-2702.

[7] 蔣建國,董艷春.邊緣增強(qiáng)型非局部模型超分辨率重建算法[J].中國圖象圖形學(xué)報(bào),2011,16(10):1772-1778.

[8] Bredies K,Kunisch K,Pock T.Total generalized variation[J].SIAM J Imaging Sciences,2010,3(3):492-526.

[9] Knoll F,Bredies K,Pock T,et al.Second order total generalized variation(TGV)for MRI[J].Magnetic Resonance in Medicine,2011,65(2):480-491.

[10] 李家德,張葉,賈平.采用非局部均值的超分辨率重構(gòu)[J].光學(xué)精密工程,2013,21(6):1576-1585.

[11] Rodriguez P,Wohlberg B.Efficient minimization method for a generalized total variation functional[J].IEEE Transactions on Image Processing,2009,18(2):322-332.

[12] Bube K,Langan R.Hybrid l1/l2minimization with applications to tomography[J].Geophysics,1997,62(4):1183-1195.

[13] 張同兵,謝建,朱建軍.預(yù)處理共軛梯度法解病態(tài)問題及在GPS中的應(yīng)用[J].測繪工程,2010,19(4):60-63.

收稿日期：2015-01-12。陜西省自然科學(xué)基金項(xiàng)目(2013JM80 25)。周芹，碩士生，主研領(lǐng)域：圖像超分辨率重建。馬志強(qiáng)，副教授。單勇，講師。

中圖分類號(hào)TP391

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.07.051

SUPER RESOLUTION RECONSTRUCTION WITH GENERALISED TOTAL VARIATION BASED ON ITERATIVELY REWEIGHTING

Zhou QinMa ZhiqiangShan Yong

(SchoolofInformationandNavigation,AirForceEngineeringUniversity,Xi’an710077,Shaanxi,China)

AbstractSince conventional superresolution reconstruction algorithm cannot restrain image noise effectively under the condition of serious blur and noise, we proposed the superresolution reconstruction algorithm with generalised total variation which is based on iteratively reweighting norm. The algorithm uses the iteratively weighted data fidelity term and the regularisation term to construct the cost function of generalised total variation, and adopts the preconditioned conjugate gradient method to optimise the solution, so that it can effectively suppress noise generation. Experiment proved that the algorithm could well preserve the image details while removing noise, and had good visual effect.

KeywordsImage superresolutionGeneralised total variationIteratively reweightingPreconditioned conjugate gradientDenoising