基于L曲線的自適應(yīng)時空正則化視頻超分辨率重建*

陳為龍，郭 黎

(1.四川師范大學(xué)數(shù)字媒體學(xué)院，成都610068;2.湖北民族學(xué)院信息工程學(xué)院，湖北恩施445000)

1 引言

目前對于空間域的超分辨率重建最為典型的有最大后驗概率(MAP)[1]、迭代反投影(IBP)[2－3]、凸集投影(POCS)[4]等算法，文獻(xiàn)[5 －6]也對超分辨率技術(shù)進(jìn)行了研究。這些方法有效地提高了視頻幀的配準(zhǔn)精度，提升了視頻重建效果，但是大多是基于理想的情況進(jìn)行求解，這與超分辨率圖像重建的實際應(yīng)用是不完全符合的。在實際應(yīng)用中，由于配準(zhǔn)誤差、噪聲、低分辨率圖像數(shù)量不足、退化模型估計誤差等原因，使得超分辨率重建成為一個典型的病態(tài)問題。為了更有效地求解這類病態(tài)問題，通常在求解的過程中引入正則化的方法，利用解的先驗知識構(gòu)造附加約束，以確保解的存在、唯一和連續(xù)，從而把病態(tài)問題轉(zhuǎn)成良態(tài)。大多數(shù)的正則化重建，正則化系數(shù)的估計都靠經(jīng)驗選取，很可能因為系數(shù)選取的不準(zhǔn)確造成重建效果不理想。本文提出了一種基于L曲線的自適應(yīng)正則化系數(shù)計算方法，可以通過算法自適應(yīng)計算出正則化系數(shù)，提高了正則化系數(shù)選取的準(zhǔn)確性。

2 超分辨率重建中的正則化

超分辨率重建是從已知的低分辨率圖像序列{yk，k=1，2，…，m}中求出未知的高分辨率圖像的過程，它是一個不適定的反問題，不滿足Hadamard條件，即解的存在性、解的唯一性和解的連續(xù)性［7－8］。超分辨率重建中的低分辨率觀測模型為

其中，X表示原始的高分辨率圖像向量，y為低分辨率圖像序列向量。將超分辨率重建的目標(biāo)函數(shù)進(jìn)行簡化成為

其中，‖·‖p為距離范數(shù)，高分辨率估計X是經(jīng)排序后的Nx×1維列向量，低分辨率圖像y是經(jīng)排序后的Ny×1維列向量。超分辨率重建是一個逆向求解的問題，需要加入一個懲罰函數(shù)來抑制噪聲等的影響，加入懲罰函數(shù)的方法就是正則化。加入正則化項的超分辨率重建如式(3)所示:

式中，‖AX－Y‖2是數(shù)據(jù)擬合項，代表數(shù)據(jù)的相似性;‖γX‖2為正則化項，它在一定程度上控制解的擾動;λ是正則化系數(shù)，它用來平衡上式中的第一項(數(shù)據(jù)擬合項)和第二項(正則化項)在求解中的貢獻(xiàn)，通常為標(biāo)量。當(dāng)λ值增加，會使重建圖像的平滑度增大。在低分辨率圖像數(shù)量不足、運動估計存在誤差以及存在噪聲等情況下，較大的λ值能夠有效提高重建圖像的質(zhì)量。但同時，對λ的取值不能過大，否則容易造成重建圖像過于平滑。常用的正則化方法主要有 Tikhonov正則化［9－10］、截斷奇異值分解正則化等方法［11－12］。

3 基于L曲線的自適應(yīng)時空正則化視頻超分辨率重建

為解決超分辨率重建中的病態(tài)問題，在超分辨率重建中通常引入空間正則化算子來得到較為精確的解，避免重建過程中放大噪聲以及出現(xiàn)空間振鈴現(xiàn)象。對于視頻而言，除了空間信息，視頻各幀在時間上也存在幀間相關(guān)信息。因此，本文在視頻超分辨率重建中引入時空聯(lián)合正則化算子，通過圖像本身的空間平滑信息和視頻相鄰幀的幀間相關(guān)先驗信息的引入，有效提高解的質(zhì)量。另外，在正則化重建中通過L曲線自適應(yīng)計算得到最合適的正則化系數(shù)，由此得到較好的重建結(jié)果。

3.1 時空正則化算子的提出

為了更好地利用視頻的時空聯(lián)合特性，提出了時空聯(lián)合正則化算子Γ，重建的代價函數(shù)如式(4):

式中，Y是輸入的低分辨率視頻幀序列，A是重建的權(quán)值矩陣，Γ是正則化算子，X代表重建后的高分辨率視頻序列，λ是時空聯(lián)合正則化系數(shù)。此目標(biāo)函數(shù)中將L1范數(shù)和L2范數(shù)聯(lián)合起來使用，第一項(數(shù)據(jù)擬合項)中的L2范數(shù)用于加強對于數(shù)據(jù)重建的真實度;第二項(正則化項)采用L1范數(shù)用于提高梯度域的稀疏性，產(chǎn)生在時間和空間上更銳化的邊緣并且避免振鈴效應(yīng)。其中，時空聯(lián)合正則化算子Γ如下:

3.2 基于L曲線的正則化系數(shù)的確定

在超分辨率重建過程中引入的正則化方法都包含對數(shù)據(jù)忠實性的一種折衷考慮，因此，在式(3)中的正則化系數(shù)λ是可變的。如何確定一個最優(yōu)的λ就是需要解決的問題。事實上，當(dāng)λ變化時，關(guān)于λ‖γX‖2對于‖AX－Y‖2可以在lg－lg尺度上得到圖形的表示，這種圖形表示的曲線稱為L曲線［13］。特別注意的是，λ是一個沿著這條曲線的參數(shù)。

在L曲線水平和垂直部分相交的地方有一個拐點，此處定義了過正則化和欠正則化的合理過渡，即在這兩種極端情況下的一種合理平衡，該拐點處對應(yīng)的正則化系數(shù)λ的值則是最合適的正則化系數(shù)的數(shù)值。圖1中，在曲線上對應(yīng)拐點處的最合適的正則化系數(shù)用λ*來表示。λ*通常采用如下定義，即用于表示優(yōu)化的λ必須等于下面曲率函數(shù)的最大值:

式中，R(λ)=lg‖γX(λ)‖2，S(λ)=lg‖AX － Y‖2。

圖1 L_Curve示意圖Fig.1 The L_Curve diagram

3.3 本文算法的提出

基于前面的分析，本文所提出的基于L曲線的自適應(yīng)時空正則化超分辨率重建算法步驟描述如下(其中，F(xiàn)ramenum是低分辨率視頻的總幀數(shù)):

Step 1:令i=1(當(dāng)前要重建的是低分辨率視頻的第i幀);

Step 2:對當(dāng)前的i和j(此處的j=i…i+num，是參與此次重建的所有高分辨率幀的編號)進(jìn)行如下操作;

Step 3:輸入低分辨率視頻中的圖像序列構(gòu)成向量Y;

Step 4:構(gòu)造每個高分辨率像素點對每個低分辨率像素點的相對貢獻(xiàn)權(quán)值，即構(gòu)造稀疏矩陣A;

Step 5:構(gòu)造正則化矩陣Γ;

Step 6:根據(jù) Y、A、Γ，采用3.2 節(jié)的方法計算出當(dāng)前i對應(yīng)的最合適的正則化系數(shù)λ;并把Y、A、Γ和λ代入式(4)，計算得到X;

Step 7:因為X中包含了num幀高分辨率幀的信息，取第i幀高分辨率幀對應(yīng)的信息，得到Xi即為重建后的第i幀高分辨率幀(其中，num是參與時空正則化的幀數(shù)，num越大，時間正則化越明顯;num越小，時間正則化越弱。本文中取num=2);

Step 8:i=i+1。當(dāng)i=Framenum時停止，得到重建的高分辨率視頻;否則，繼續(xù)Step 2～Step 8。

4 實驗

為了更好地證明算法的有效性，我們采用如下一系列的實驗來進(jìn)行驗證。實驗中，我們將基于稀疏矩陣的自適應(yīng)時空正則化重建的結(jié)果分別與雙三次插值、正則化系數(shù)過大的重建結(jié)果和正則化系數(shù)過小的重建結(jié)果進(jìn)行對比。本文實驗平臺為Win7 64位操作系統(tǒng)，Matlab2010版本，英特爾賽揚雙核處理器(2.6 GHz)，4 GB內(nèi)存。

4.1 模擬視頻序列重建實驗

首先對模擬的多幅低分辨率圖像序列進(jìn)行超分辨率重建，本實驗使用了字母圖像進(jìn)行實驗。首先對圖像進(jìn)行平移和旋轉(zhuǎn)產(chǎn)生10幅低分辨率觀測圖像，然后對模擬的圖像序列采用大小為7×7、方差為0.5的高斯點擴展函數(shù)進(jìn)行空間模糊，再進(jìn)行2倍的空間下采樣，然后加入信噪比為40 dB的隨機噪聲，并將它們作為觀測得到的低分辨率圖像序列。對該模擬圖像序列進(jìn)行2倍超分辨率重建，取出第6幀的重建結(jié)果如圖2所示。

圖2 重建視頻的第6幀F(xiàn)ig.2 The 6th frame in reconstructed video sequence

圖2 中(a)為原始高分辨率的圖像，(b)為模擬低分辨率序列的第6幀，(c)為雙三次2倍插值放大的結(jié)果，(d)為正則化系數(shù)過小的超分辨率重建結(jié)果(λ=0.000 5)，(e)是正則化系數(shù)過大的超分辨率重建結(jié)果(λ=0.003)，(f)為自適應(yīng)時空正則化超分辨率重建結(jié)果(λ =0.001 7)，(g)、(h)、(i)和(j)分別為(c)、(d)、(e)和(f)的局部放大圖。從實驗結(jié)果可以看到，雙三次插值和正則化系數(shù)過大的重建結(jié)果都很模糊，正則化系數(shù)過小，導(dǎo)致圖像太過銳化，字母和其他形狀邊緣會有明顯的振鈴效應(yīng)(字母或其他圖像的邊緣處有明顯的高亮區(qū)域)。采用本文提出的算法計算得到的正則化系數(shù)，可以得到更好的重建效果。圖3是重建序列第6幀時得到的L曲線圖及最優(yōu)的正則化系數(shù)值。

圖3 重建視頻第6幀時的L曲線Fig.3 The L_Curve of the SR reconstruction(the 6th frame)

4.2 真實視頻序列重建實驗

采用“MissAmerica”視頻序列，圖4中(a)和(b)分別是該視頻序列的第1幀和第12幀。

我們對輸入的低分辨率視頻序列進(jìn)行2倍的空間重建，效果對比如圖4所示。其中，(c)是對視頻序列第1幀雙線性2倍插值放大的結(jié)果，(d)為正則化系數(shù)過小的超分辨率重建結(jié)果(λ=0.000 8)，(e)是正則化系數(shù)過大的超分辨率重建結(jié)果(λ=0.003 6)，(f)為自適應(yīng)時空正則化超分辨率重建結(jié)果(λ=0.001 9)，(g)～(j)是對視頻序列第 12幀的實驗結(jié)果。

圖4 重建視頻的部分幀F(xiàn)ig.4 Some frames in reconstructed video sequence

從實驗結(jié)果可以看到，雙三次插值和正則化系數(shù)過大的重建結(jié)果都很模糊。正則化系數(shù)過小，導(dǎo)致圖像太過銳化，圖像中多處有明顯的振鈴現(xiàn)象?；贚曲線的自適應(yīng)時空正則化重建結(jié)果則明顯好于其他幾種方法。圖5(a)和(b)是重建序列第1幀和第12幀時得到的L曲線圖及最優(yōu)的正則化系數(shù)值。

圖5 重建視頻得到的L曲線圖Fig.5 The L_Curve of the SR reconstruction(the 1st and 6th frame)

5 總結(jié)

為解決超分辨率重建的病態(tài)問題，提高解的穩(wěn)定性，必須引入正則化的方法。在正則化重建過程中，正則化系數(shù)的確定是一個難點:過大的正則化系數(shù)會導(dǎo)致重建圖像過度平滑;正則化系數(shù)過小，又可能會導(dǎo)致圖像的過度銳化，也不能有效克服噪聲等因素對重建效果的影響。本文根據(jù)不同算子所具有的特點，并結(jié)合視頻序列的時間特性，在重建過程中引入了時空正則化算子。同時，算法中提出了一種基于L曲線的自適應(yīng)時空正則化系數(shù)計算方法，用以自動計算出最優(yōu)的正則化系數(shù)。通過模擬視頻序列和真實視頻序列的重建實驗證明了所提算法的有效性。

使用基于L曲線的方法可以自動計算得到合適的正則化系數(shù)，有效地解決了如何確定正則化系數(shù)這一難點問題。但因為基于L曲線的方法本質(zhì)是在數(shù)據(jù)項和正則化項之間尋找一種數(shù)值折衷，是基于數(shù)值的客觀分析，再考慮到不同的圖像給人的視覺感受不同等因素，該方法并不能保證對所有的視頻重建都能得到最優(yōu)的視覺效果，但基于L曲線的方法對絕大多數(shù)的重建效果都是優(yōu)異的。

[1]Shen H F，Zhang L P，Huang B，et al.A map approach for joint Motion estimation segmentation，and super resolution[J].IEEE Transactions on Image Processing，2007，16(2):479－490.

[2]Irani M，Peleg S.Motion analysis for image enhancement resolution，occlusion，and transparency [J].Journal of Visual Common Image Represent，1993(4):324 －335.

[3]曹聚亮，呂海寶，譚曉波，等.基于實時幀迭代反投影算法的圖像序列超分辨率處理[J].光學(xué)技術(shù)，2004，30(5):558－563.CAO Ju － liang，LV Hai－ bao，TAN Xiao － bo，et al.Superresolution of image sequences based on real－time frame iterative back － projection algorithm[J].Optical Technique，2004，30(5):558 －563.(in Chinese)

[4]范沖，龔健雅，朱建軍.一種基于去混疊影像配準(zhǔn)方法的POCS超分辨率序列圖像重建[J].測繪學(xué)報，2006，35(11):358 －363.FAN Chong，GONG Jian － ya，ZHU Jian － jun.POCS Super－resolution Sequence Image Reconstruction Based on Image Registration Excluded Aliased Frequency Domain[J].Acta GeodaetICA et Cartographica Sinica，2006，35(11):358 －363.(in Chinese)

[5]張進(jìn)，王仲，李雅潔，等.高精度影像測量系統(tǒng)中圖像的超分辨率重建[J].光學(xué)精密工程，2011，19(1):168 －174.ZHANG Jin，WANG Zhong，LI Ya － jie，et al.Super－ resolution reconstruction of image in high accuracy image measuring system[J].Optics and Precision Engineering，2011，19(1):168 －174.(in Chinese)

[6]Chen W L，He X H，Song H Y.An improved sequence －to－sequence alignment method combined with featurebased image registration algorithm[J].Journal of Information Science and Engineering，2012，28(3):617 －630.

[7]Borman S.Topics on multiframe superresolution restoration[D].Indiana，IN:University of Notre Dame，2004.

[8]Guo K，Yang X，Zha H，et al.Multiscale semilocal interpolation with antialiasing[J].IEEE Transactions on Image Processing，2012，21(2):615 －625.

[9]Chung J，Eldad N，James N.Numerical methods for coupled super － resolution[J].Inverse Problems，2006，22(4):1261－1272.

[10]商俊國，焦斌亮.多幀圖像的Tikhonov正則化重建算法研究[J].計算機應(yīng)用研究，2011，28(2):785 －791.SHANG Jun － guo，JIAO Bin － liang.Research on Tikhonov regularization multiframe images reconstruction algorithm[J].Application Research of Computers，2011，28(2):785 －791.(in Chinese)

[11]Vogel C R.Computational methods for inverse problems[M].Philadelphia:SIAM，2002:97－126.

[12]Bovik A C.Handbook of image and video processing[M].London:Academic Press，2009:141 －160.

[13]王宏志，趙爽，胡艷君.基于L－曲線正則化的MAP超分辨率圖像復(fù)原[J].吉林大學(xué)學(xué)報(理學(xué)版)，2008，46(2):275 －278.WANG Hong － zhi，ZHAO Shang，HU Yan － jun.Super－resolution on Image Resolution with MAP Based on L－ Curve[J].Journal of Jilin University(Science Edition)，2008，46(2):275 －278.(in Chinese)