自適應(yīng)約束下的雙邊全變差正則化超分辨率重建*

周 芹，馬志強(qiáng)，單 勇，黨建國

(1.空軍工程大學(xué) 信息與導(dǎo)航學(xué)院，西安710077;2.解放軍94188 部隊(duì)，西安710077)

1 引 言

目前，很多圖像受到成像系統(tǒng)和成像條件的限制，使得圖像的空間分辨率得不到提高，而硬件方面的改進(jìn)已經(jīng)達(dá)到了瓶頸，因此，通過軟件的算法和仿真來提高圖像的空間分辨率成了一種有效的途徑，即超分辨率圖像的重建技術(shù)。圖像超分辨率(Super Resolution，SR)重建是指利用信號處理的技術(shù)從一幅或多幅觀測到的低分辨率(Low Resolution，LR)圖像來獲得一幅清晰的高分辨率圖像(High Resolution，HR)［1］，它在視頻監(jiān)控、衛(wèi)星遙感圖像以及醫(yī)療診斷中具有重要的應(yīng)用價(jià)值。

1984年，Tsai 和Huang［2］首先提出了將頻域方法應(yīng)用到SR 重建中，然而基于頻域的SR 重建方法必須滿足全局一致運(yùn)動(dòng)，并且難以利用圖像的先驗(yàn)信息，因此其發(fā)展受到了限制。后來，許多學(xué)者將SR 重建問題引入到空域中。由于空域法不僅能夠方便地引入圖像的先驗(yàn)知識，而且能夠模擬各種退化模型，具有很好的靈活性，因此SR 重建技術(shù)在空域的研究得到了很大程度的發(fā)展?？沼蚍椒ㄖ饕校?］非均勻插值法、迭代反投影法、凸集投影法、最大后驗(yàn)概率法、正則化方法以及基于學(xué)習(xí)的方法。其中，正則化方法［3－7］能夠充分地引入圖像的先驗(yàn)信息，將SR 重建的病態(tài)反問題轉(zhuǎn)化為良性問題，使得重建結(jié)果可以得到穩(wěn)定的解并加快算法的收斂性，因此，正則化方法成為了圖形領(lǐng)域的一個(gè)研究熱點(diǎn)。

由于退化因素的存在，圖像的一個(gè)像素點(diǎn)會(huì)對其他的像素點(diǎn)產(chǎn)生影響，因此，圖像的細(xì)節(jié)信息要得到準(zhǔn)確的描述，一般需要考慮圖像先驗(yàn)?zāi)Ｐ椭械漠?dāng)前像素與周圍像素的關(guān)聯(lián)性和邊緣保持性。Rudin等人［6］提出的全變差(Total Variation，TV)先驗(yàn)?zāi)Ｐ秃虵arsiu 等人［7］提出的雙邊全變差(Bilateral Total Variation，BTV)先驗(yàn)?zāi)Ｐ投荚谝欢ǔ潭壬媳Ａ袅藞D像的邊緣信息，但是由于模型對相同位置上的鄰近像素點(diǎn)都采用相同的平滑系數(shù)，所以大大削弱了算法保持邊緣的能力。因此，在保持邊緣方面也有許多學(xué)者進(jìn)行了研究［8－12］，并取得了很好的效果。而且代價(jià)函數(shù)中正則化參數(shù)的選取對重建結(jié)果有直接的影響，然而當(dāng)前的選取方法復(fù)雜度高且不易實(shí)現(xiàn)。針對上述問題，本文提出了將當(dāng)前像素的局部鄰域內(nèi)的像素差值加入到權(quán)重系數(shù)的計(jì)算中，并引入自適應(yīng)正則化參數(shù)，以便得到目標(biāo)函數(shù)的全局最優(yōu)解，使得重建結(jié)果具有更好的視覺效果。

2 經(jīng)典BTV 先驗(yàn)?zāi)Ｐ偷某直媛手亟?/h2>

退化模型描述了從真實(shí)場景到觀測到的多幅低分辨率圖像的整個(gè)過程，因此退化模型的準(zhǔn)確建立是非常重要的。假設(shè)某一HR 圖像經(jīng)過降質(zhì)得到N幀LR 圖像，降質(zhì)過程包括運(yùn)動(dòng)變形、大氣和光學(xué)模糊、下采樣以及加性噪聲等，則退化模型可表示為

式中，Dk是下采樣矩陣;Bk是系統(tǒng)的模糊矩陣;Fk是運(yùn)動(dòng)矩陣，可通過運(yùn)動(dòng)估計(jì)求得;Nk是噪聲矩陣。

在大多數(shù)情況下，由于所用的成像條件相同，且下采樣因子相同，所以將其簡單地寫成

由于模糊、噪聲等退化因素的影響和LR 圖像數(shù)量的不足，導(dǎo)致超分辨率圖像重建方法是一個(gè)具有病態(tài)特性的反問題，為了克服病態(tài)特性，引入正則化進(jìn)行約束，從而穩(wěn)定解并加速算法的收斂性。

Farsiu 等人［7］提出的基于BTV 先驗(yàn)?zāi)Ｐ偷拇鷥r(jià)函數(shù)為

第一項(xiàng)是數(shù)據(jù)一致項(xiàng)，主要用來衡量觀測到的低分辨率圖像與降質(zhì)后的低分辨率圖像的相似程度;第二項(xiàng)是正則項(xiàng)，主要用于平滑約束，并保留具有高頻特性的圖像邊緣和紋理信息;λ 為正則化系數(shù)，主要用來衡量數(shù)據(jù)一致項(xiàng)和正則項(xiàng)的貢獻(xiàn)量;Slx和Smy分別表示圖像在水平和垂直方向平移的像素個(gè)數(shù);P 是像素鄰域的階數(shù)，即選取窗口的半徑;α為權(quán)重，標(biāo)量，0 ＜α ＜1。

由于權(quán)重系數(shù)α 是定值，使得模型對當(dāng)前像素相同位置上的鄰近像素點(diǎn)都采用相同的平滑系數(shù)，所以大大削弱了算法保持邊緣的能力;每次迭代過程中，正則項(xiàng)對重建結(jié)果的貢獻(xiàn)量也是變化的，所以上述恒定的正則化參數(shù)也會(huì)影響重建結(jié)果得到全局最優(yōu)解。本文針對這兩個(gè)局限性對其進(jìn)行改進(jìn)。

3 基于自適應(yīng)約束的超分辨率重建

3.1 自適應(yīng)約束權(quán)重矩陣的設(shè)計(jì)

由式(3)可知，雙邊全變差的正則化函數(shù)可表示為

式中，l、m 分別表示圖像沿x、y 方向平移的像素個(gè)數(shù)，令則其表示像素X(i，j)與之間的灰度值差值的絕對值，0≤X'(i，j)≤255。

選用一個(gè)滑動(dòng)窗口計(jì)算各像素點(diǎn)的局部鄰域殘差均值(Local Neighbour Residual Mean，LNRM)，對各像素進(jìn)行鄰域約束:

式中，N 是滑動(dòng)窗口的大小，(i，j)分別表示當(dāng)前像素位置的橫、縱坐標(biāo)，的物理意義同上，(珋，珋)屬于以(i，j)為中心、大小為N× N 的鄰域，LNRM(i，j)表示像素X(i，j)在該鄰域內(nèi)的局部殘差均值。N 的選取會(huì)對重建結(jié)果產(chǎn)生一定的影響，如果太小，則起不到鄰域約束作用，易受到對準(zhǔn)誤差、噪聲的影響;如果太大，鄰域約束作用不明顯，弱化高頻與低頻區(qū)域間的差異，極易退化為全局加權(quán)方法［10］。

本文提出的自適應(yīng)約束權(quán)重矩陣的設(shè)計(jì)步驟如下:

首先根據(jù)重建圖像的局部鄰域殘差均值確定當(dāng)前像素屬于平坦區(qū)域還是邊緣區(qū)域:給定閾值T，如果中心像素的LNRM 小于T，則該像素處于對比度低的光滑區(qū)域;如果中心像素的LNRM 大于T，則該像素處于對比度高的邊緣區(qū)域。此處的閾值T 應(yīng)使上述過程能夠區(qū)分出圖像中的主要邊緣區(qū)域;

然后，根據(jù)文獻(xiàn)［13］中提到的沿邊緣方向擴(kuò)散快，應(yīng)具有較大的擴(kuò)散系數(shù)，而垂直邊緣方向擴(kuò)散慢，應(yīng)具有較小的擴(kuò)散系數(shù)，在平坦區(qū)域采用相同的擴(kuò)散程度，且擴(kuò)散系數(shù)較大的原理，設(shè)計(jì)自適應(yīng)約束正則化函數(shù)的權(quán)值?？煞譃橐韵聝煞N情況:

(l)若當(dāng)前像素點(diǎn)屬于對比度低的光滑區(qū)域，則其相同位置上的鄰近像素點(diǎn)的權(quán)值相同，取α(i，j)=1，表示對局部鄰域像素采用各向同性擴(kuò)散，以便快速平滑噪聲;

(2)若當(dāng)前像素點(diǎn)為邊緣像素，則沿邊緣方向上(LNRM 相對較小)使用相對較大的權(quán)值，以便快速擴(kuò)散;垂直邊緣方向上(LNRM 相對較大)的正則化函數(shù)使用較小的權(quán)值，以此對圖像的高頻信息施加較小的懲罰約束，從而保護(hù)圖像的邊緣信息。

根據(jù)以上分析，本文設(shè)計(jì)的權(quán)重系數(shù)為

式中，T 表示閾值，能夠區(qū)分主要的邊緣區(qū)域;τ 指修飾因子;LNRM(i，j)表示像素X(i，j)在該鄰域內(nèi)的局部殘差均值;αi，j表示像素點(diǎn)對當(dāng)前像素點(diǎn)X(i，j)的加權(quán)系數(shù)，0≤αi，j≤1。令加權(quán)系數(shù)矩陣則式(4)可表示為

3.2 正則化參數(shù)的自適應(yīng)確定

由文獻(xiàn)［14］可知，過大的正則化系數(shù)會(huì)導(dǎo)致重建圖像過度平滑;正則化系數(shù)過小，又可能會(huì)導(dǎo)致圖像的過度銳化，也不能有效克服噪聲，因此，正則化參數(shù)對重建結(jié)果有著直接的影響，它的恰當(dāng)選取不僅能保證代價(jià)函數(shù)得到一個(gè)全局最優(yōu)解，還能很好地保持圖像邊緣信息。而現(xiàn)有的選取方法如人工選取方法復(fù)雜度高，難以確定全局最優(yōu)值。所以根據(jù)文獻(xiàn)［4］的推導(dǎo)，本文定義正則化參數(shù)的自適應(yīng)選取方法為

式中，γ 為控制參數(shù)，其必須滿足

3.3 代價(jià)函數(shù)的求解

根據(jù)以上分析，代價(jià)函數(shù)可表示為

對其求導(dǎo)，并采用梯度下降法對其迭代求解，迭代公式為

式中，β 表示迭代步長。迭代停止條件為

3.4 SR 圖像重建算法的流程

本文算法的流程如下:

(1)輸入LR 圖像序列，選取其中的一幀作為參考幀，利用Lucas－Canada 光流法對圖像序列進(jìn)行配準(zhǔn);

(2)對參考幀進(jìn)行插值得到初始的HR 圖像X(n)=X(0);

(3)根據(jù)得到的HR 圖像進(jìn)行超分辨率重建:首先利用更新的X(n)，將其代入公式(8)，求得自適應(yīng)的正則化參數(shù)λ;再將更新的X(n)其代入公式(6)，得到加權(quán)系數(shù)矩陣α;最后，將它們代入超分辨率重建的代價(jià)函數(shù)中，利用公式(11)和公式(12)得到此次迭代所求出的HR 圖像X(n);

(4)判斷是否滿足迭代停止條件，若滿足，則得到的HR 圖像即為重建結(jié)果;否則，返回步驟3。

4 實(shí)驗(yàn)與結(jié)果分析

為了進(jìn)一步驗(yàn)證提出的自適應(yīng)約束的BTV 正則化超分辨率算法的有效性，將本文算法與雙三次線性插值(Bicubic)、Tikhonov 算法(以下簡稱TK 算法)以及經(jīng)典BTV 重建算法作對比。Bicubic 算法和TK 算法是經(jīng)典的對比算法，而采用經(jīng)典BTV 重建算法作為對比算法，主要是用于突出本文算法的有效性。實(shí)驗(yàn)的測試代碼使用Matlab2007 軟件編寫，仿真環(huán)境為:Pentium Dual－Core E5200 處理器、2 GB 內(nèi)存的Windows XP 操作系統(tǒng)。為了對重建結(jié)果進(jìn)行定量評價(jià)，采用峰值信噪比(PSNR)的評價(jià)標(biāo)準(zhǔn)衡量算法的魯棒性。PSNR 的公式表示為

式中，N1和N2分別為LR 圖像像素的行數(shù)和列數(shù)，L表示圖像量化的灰度級別，X(i，j)和(i，j)分別表示參考圖像中的像素點(diǎn)和重建圖像的像素點(diǎn)。

實(shí)驗(yàn)分別采用230×230 的Lena 圖像和309×309 的tape 圖像和288×288 的Peppers 圖像進(jìn)行實(shí)驗(yàn)，進(jìn)行相應(yīng)的仿射變換、高斯模糊(標(biāo)準(zhǔn)差為5)、下采樣(因子為2)產(chǎn)生4 幅低分辨率圖像。實(shí)驗(yàn)中，首先將圖像的灰度級進(jìn)行歸一化，限定最大迭代次數(shù)為90，并用自適應(yīng)約束的BTV 正則化進(jìn)行SR重建，采用梯度下降法對其進(jìn)行迭代。對于經(jīng)典BTV 重建算法，參數(shù)選擇為:P =4;λ =0.001;α=0.1，迭代步長0.25。本文算法的參數(shù)選擇為:P=N=4;T=0.001;τ=0.001，迭代步長0.25，權(quán)重系數(shù)矩陣的算法代入式(6)，λ 的計(jì)算代入式(7)，得到的重建結(jié)果如圖1和圖2所示。其中，(a)表示參考幀的低分辨率圖;(b)表示目標(biāo)區(qū)域的Bicubic 的重建結(jié)果;(c)表示目標(biāo)區(qū)域的Tikhonov 重建結(jié)果;(d)、(e)分別表示經(jīng)典BTV 算法和本文算法對目標(biāo)區(qū)域的重建結(jié)果。表1表示當(dāng)最大迭代次數(shù)為90 時(shí)的PSNR 值。圖4是重建Lena 圖像時(shí)不同重建算法的PSNR 隨迭代次數(shù)的變化示意圖。

圖1 Lena 圖像的超分辨率重建結(jié)果Fig.1 Super－resolution reconstructed result of Lena image

圖2 Tape 圖像的超分辨率重建結(jié)果Fig.2 Super－resolution reconstructed result of Tape image

圖3 Peppers 圖像的超分辨率重建結(jié)果Fig.3 Super－resolution reconstructed result of Peppers image

表1 PSNR 值的比較Table 1 The comparison of PSNR

由圖1和圖2及圖3可以看出，Bicubic 重建結(jié)果比經(jīng)典BTV 算法以及本文算法明顯較差，TK 算法的重建結(jié)果在邊緣處比較模糊，經(jīng)典BTV 算法在圖像重建過程中，邊緣紋理等細(xì)節(jié)過于平滑，造成高頻信息的丟失。而本文算法考慮了各像素的鄰域信息，對相同位置的鄰近像素點(diǎn)自適應(yīng)的選擇其加權(quán)系數(shù)，在高頻范圍內(nèi)的重建結(jié)果明顯優(yōu)于BTV算法，視覺效果更好，如Lena 圖像重建結(jié)果中帽子上的紋理和Tape 圖像重建結(jié)果的圓形區(qū)域的內(nèi)環(huán)以及Peppers 圖像的青椒的梗。由圖4可知，當(dāng)?shù)螖?shù)過少(如小于30)時(shí)，效果相當(dāng)，隨著迭代次數(shù)的增加，PSNR 的值隨之增加，當(dāng)?shù)螖?shù)達(dá)到一定的值時(shí)，PSNR 的值趨于穩(wěn)定，重建效果好，提高了算法的魯棒性。經(jīng)典BTV 正則化算法模型即公式(3)中，權(quán)重系數(shù)α 是一個(gè)恒定值，因此在迭代求解過程中，權(quán)重系數(shù)α 仍是常量;而本文算法模型即公式(10)中，權(quán)重系數(shù)α 是一個(gè)矩陣，它隨著每次迭代估計(jì)的高分辨率圖像X 的更新而更新，因此在迭代過程中，本文算法的時(shí)間復(fù)雜度相對較高，例如Lena 圖像采用經(jīng)典BTV 算法的時(shí)間為20 s，而采用本文算法需要3.9 min。實(shí)驗(yàn)結(jié)果表明，與Bicubic算法、Tikhonov 算法和經(jīng)典BTV 算法相比，本文提出的自適應(yīng)約束的BTV 正則化超分辨率重建算法能夠很好地保持圖像的邊緣紋理細(xì)節(jié)，得到更好的重建結(jié)果。

圖4 Lena 圖像不同重建算法的PSNRFig.4 Lena image’s PSNR with different reconstructed algorithm

5 結(jié)束語

本文針對經(jīng)典BTV 先驗(yàn)?zāi)Ｐ蛯ο嗤恢蒙系泥徑袼攸c(diǎn)都采用相同的平滑系數(shù)，導(dǎo)致算法的邊緣保持能力被大大削弱的不足，提出了一種自適應(yīng)約束的BTV 正則化先驗(yàn)?zāi)Ｐ停⑵鋺?yīng)用到圖像的超分辨率重建中。該算法將圖像局部鄰域殘差均值用于權(quán)重系數(shù)的計(jì)算，提高了算法的魯棒性、邊緣保持能力;并引入自適應(yīng)選擇正則化參數(shù)的方法，降低了計(jì)算的復(fù)雜度，而且能確定代價(jià)函數(shù)的全局最優(yōu)值。實(shí)驗(yàn)結(jié)果表明，該算法可有效地增強(qiáng)高分辨率圖像高頻細(xì)節(jié)區(qū)域的視覺效果。然而，關(guān)于窗口大小N 的選取仍沒有準(zhǔn)確的方法確定，所以如何有效確定窗口N 的值使得重建效果最優(yōu)是下一步研究的內(nèi)容。

［1］ Park C P，Park M K，Kang M G. Super－resolution image reconstruction:A technical overview［J］. IEEE Signal Processing Magazine，2003，20(3):21－34.

［2］ Tsai R Y，Huang T S. Multi－frame image restoration and registration［J］.Advance in Computer Vision and Image Processing，1984，1(2):317－339.

［3］ 邵文澤.基于圖像建模理論的多幅圖像正則化超分辨率重建算法研究［D］.南京:南京理工大學(xué)，2008.SHAO Wenze. Image Modeling Based Regularized Multi－Frame Super－ Resolution Reconstruction ［D］. Nanjing:Nanjing University of Science and Technology，2008.(in Chinese)

［4］ Song H H，Zhang L，Wang P K，et al. An Adaptive L1－L2 Hybrid Error Model To Super－Resolution［C］//Proceedings of 2010 17th IEEE International Conference on Image Processing. Hong Kong:IEEE，2010:2821－2824.

［5］ 楊欣，周大可，費(fèi)樹岷.基于自適應(yīng)雙邊全變差的圖像超分辨率重建［J］.計(jì)算機(jī)研究與發(fā)展，2012，49(12):2696－2701.YANG Xin，ZHOU Dake，F(xiàn)EI Shumin. A Self－Adapting bilateral total variation technology for image super－resolution reconstruction［J］. Journal of Computer Research and Development，2012，49(12):2696－2701.(in Chinese)

［6］ Rudin L，Osher S，F(xiàn)atemi E. Nonlinear total variation based noise removel algorithms［J］.Physical Review D，1992，60:259－268.

［7］ Farsiu S，Robinson D. Fast and Robust Multiframe Super Resolution［J］.IEEE Transactions on Image Processing，2004，13(10):1327－1344.

［8］ 蔣建國，董艷春，齊美彬，等. 邊緣增強(qiáng)型非局部模型超分辨率重建算法［J］. 中國圖象圖形學(xué)報(bào)，2011，16(10):1772－1778.JIANG Jianguo，DONG Yanchun，QI Meibin，et al. Edge－enhanced nonlocal model super－resolution reconstruction［J］.Journal of Image and Graphics，2011，16(10):1772－1778. (in Chinese)

［9］ 鄧承志，田偉，汪勝前，等. 近似稀疏正則化的紅外圖像超分辨率重建［J］. 光學(xué)精密工程，2014，22(6):1648－1654.DENG Chengzhi，TIAN Wei，WANG Shengqian，et al. Super－resolution of approximate sparsity regularized infrared images［J］. Optics and Precision Engineering，2014，22(6):1648－1654. (in Chinese)

［10］ 安耀祖，陸耀，趙紅. 一種自適應(yīng)正則化的圖像超分辨率算法［J］.自動(dòng)化學(xué)報(bào)，2012，38(4):601－608.AN Yaozu，LU Yao，ZHAO Hong. An Adaptive－regularized Image Super－ resolution［J］. Acta Automatica Sinica，2012，38(4):601－608. (in Chinese)

［11］ 蔣曉慧，趙勛杰，李成金，等.自適應(yīng)加權(quán)的總變分正則化圖像超分辨率重［J］. 紅外技術(shù).2014，36(4):290－293.JIANG Xiaohui，ZHAO Xunjie，LI Chengjin，et al. A Super－Resolution Algorithm Based on Adaptive Weighted Total Variation［J］. Infrared Technology，2014，36(4):290－293. (in Chinese)

［12］ 梁風(fēng)梅，邢劍卿，羅中良，等.基于Huber 函數(shù)雙邊全變分的多幀文檔圖像超分辨率重建［J］.中山大學(xué)學(xué)報(bào)(自然科學(xué)版)，2014，53(4):74－78，82.LIANG Fengmei，XING Jianqing，LUO Zhongliang，et al.The Super－ resolution Reconstruction of Muti－ frames Document Images Based on Huber Function and Bilateral Total Variation［J］. Acta Scientiarum Naturalium Universitatis Sunyatseni，2014，53(4):74－78，82. (in Chinese)

［13］ 陳建軍，田逢春，邱宇，等. 非線性各向異性擴(kuò)散的圖像修復(fù)［J］. 重慶大學(xué)學(xué)報(bào)，2010，33(10):94－97，101.CHEN Jianjun，TIAN Fengchun，QIU Yu，et al. Image inpainting based on nonlinear anisotropic diffusions［J］.Journal of Chongqing University，2010，33(10):94－97，101. (in Chinese)

［14］ 陳為龍，郭黎. 基于L 曲線的自適應(yīng)時(shí)空正則化視頻超分辨率重建［J］. 電訊技術(shù)，2014，54(7):888－892.CHEN Weilong，GUO Li. Video Super－Resolution Reconstruction Based on L－ curve Adaptive Spatial－Temporal Regularization［J］. Telecommunication Engineering，2014，54(7):888－892.(in Chinese)