廣義非局部均值和自相似性的超分辨率算法

吳 煒， 鄭成林， 張瑩瑩， 周壽桓

(1. 四川大學(xué) 電子信息學(xué)院，四川 成都 610064；2. 華為技術(shù)有限公司，廣東 深圳 518129)

通過圖像處理方法，將低分辨率圖像放大為高分辨率圖像并保留圖像的高頻細(xì)節(jié)一直以來是圖像處理領(lǐng)域研究的熱點(diǎn)之一．目前提高圖像的分辨率的技術(shù)可分類為圖像插值技術(shù)[1-3]、圖像超分辨率技術(shù)[4-5]兩大類．通過圖像插值技術(shù)處理的圖像通常缺少高頻細(xì)節(jié)，顯得較為模糊．圖像超分辨率技術(shù)是目前提高圖像分辨率的主要方法之一．

為了克服上述問題，筆者提出一種簡單高效的基于廣義非局部平均和自相似性的單幅圖像超分辨率算法．算法首先通過自身建立訓(xùn)練庫，即對低分辨率圖像進(jìn)行下采樣，將低分辨率和其下采樣圖像作為一個訓(xùn)練庫，然后利用這個訓(xùn)練庫進(jìn)行基于學(xué)習(xí)的超分辨率算法復(fù)原．自然圖像中通常包含足夠多的重復(fù)結(jié)構(gòu)模式，非局部平均算法正是利用這種性質(zhì)來抑制噪聲、克服偽影的．由于非局部平均的優(yōu)良性能，因此，將非局部平均引入超分辨率復(fù)原，進(jìn)行處理的特征系數(shù)更符合廣義高斯分布．為了提高復(fù)原圖像的質(zhì)量，提出一種基于廣義非局部平均的超分辨率算法．實(shí)驗(yàn)表明，文中算法具有較好的性能，復(fù)原的圖像無論是主觀的視覺效果，還是客觀的均方根誤差，都取得較好的結(jié)果．

1 算法的基本原理

1.1 基于學(xué)習(xí)的超分辨率的基本思想

基于學(xué)習(xí)的超分辨率復(fù)原的基本思想是利用一個圖像訓(xùn)練集中的高低分辨率圖像的對應(yīng)關(guān)系，估計待放大的低分辨率圖像的高頻細(xì)節(jié)，最后獲得高分辨率放大圖像．它的過程是輸入一幅低分辨率圖像，對其進(jìn)行特征提取，接著主要以這些信息為依據(jù)建立學(xué)習(xí)模型，然后通過該模型估計高頻信息，最終復(fù)原出最優(yōu)的超分辨率圖像．傳統(tǒng)的算法需要外部的一個訓(xùn)練庫，這使得算法的內(nèi)存消耗較大．針對這一問題，筆者利用圖像的自相似性，通過自身建立訓(xùn)練庫，即對待放大圖像進(jìn)行下采樣，然后待放大圖像和其下采樣圖像構(gòu)建一個包含高低分辨率圖像的訓(xùn)練庫，相對于傳統(tǒng)的方法這樣可以大大減少內(nèi)存消耗．

1.2 算法的基本理論

設(shè)IH為高分辨率圖像，其對應(yīng)的低分辨率圖像為IL，超分辨率復(fù)原需解決的問題是在已知IL的條件下，估計出最優(yōu)的IH．目前最常用方法為最大后驗(yàn)概率法(MAP)，即求使條件概率P(IH|IL)最大的IH．高分辨率圖像可以看做是低分辨率圖像與高頻信息的疊加，它可表示為

IH=H?IL，

(1)

其中，H表示高頻信息，?表示疊加運(yùn)算．由于IL已知，這樣將估計IH的問題轉(zhuǎn)化為估計H的問題．設(shè)IL=L?M，其中L和M分別表示低頻和中頻信息．在估計高頻信息的過程中，中頻信息M比低頻信息L提供的有用信息更多，因此，認(rèn)為高頻信息條件獨(dú)立于低頻信息[7]，即有

P(H|IL)=P(H|M，L)≈P(H|M) ．

(2)

根據(jù)貝葉斯估計理論，有

P(H|M)=P(H|M)P(H)/P(M)=P(M，H)/P(M) ,

(3)

其中，P(M)為低分辨率圖像中頻信息的先驗(yàn)概率；P(M，H)為中頻信息與高頻信息的聯(lián)合概率．為了求得最優(yōu)的高頻信息H，須求取使聯(lián)合概率P(M，H)取最大值的H．提取IL的中頻特征即可獲得M，因此，P(M)可認(rèn)為是常數(shù)．這樣，超分辨率問題變?yōu)?/p>

(4)

由于圖像尺寸太大，維數(shù)太高，因此，通常將圖像劃分為圖像塊進(jìn)行處理．圖像塊之間的關(guān)系模型可通過馬爾可夫模型[10]建立．但是求解該模型需要反復(fù)迭代，計算量較大．一般可認(rèn)為塊與塊之間是相互獨(dú)立的；相鄰塊之間的方塊效應(yīng)可通過重疊分塊[8]來解決．這樣，有

(5)

其中，Mk和Hk分別表示第k個圖像塊的中頻信息和高頻信息；n為圖像塊的數(shù)目．由式(5)可知，只要獲得使聯(lián)合概率P(Mk，Hk)最大的高頻信息塊Hk，那么由這些Hk拼接而成的高頻信息圖像的聯(lián)合概率也最大．聯(lián)合概率P(Mk，Hk)可表示為

(6)

(7)

圖1 算法的總體框圖

2 算法框架

2.1 特征表示

高頻信息H使用高分辨率圖像IH與插值放大的低分辨率圖像之差表示，即

H=Idiff=IH-Intp(IL) ,

(8)

其中，Intp(·)表示插值運(yùn)算．對中頻信息，通過提取待復(fù)原低分辨率的高斯差(Difference of Gaussians， DoG)特征來表示，即M= DoG(IL)，其中DoG(·)表示高斯差提取運(yùn)算．

2. 2 訓(xùn)練庫建立

通過圖像的自相似性建立訓(xùn)練庫，即對低分辨率圖像IL進(jìn)行下采樣，將其和其下采樣圖像ILL作為一個訓(xùn)練庫．IL和ILL分別作為訓(xùn)練庫中的高、低分辨率圖像，ILL可表示為

ILL=(G*IL)↓ ,

(9)

其中，G為高斯核，*表示卷積運(yùn)算，↓表示下采樣運(yùn)算．

2.3 學(xué)習(xí)算法

提出一種基于非局部均值的高頻信息估計方法，即在訓(xùn)練庫中尋找K個最相似的中頻系數(shù)塊，然后根據(jù)相似程度計算每個相似塊的權(quán)重．由于提取的中頻信息統(tǒng)計特征服從廣義高斯分布，因此，權(quán)重計算時，采用廣義高斯分布特性．最后根據(jù)這些相似塊對應(yīng)的高頻系數(shù)塊和權(quán)重重建估計的高頻系數(shù)．另外，為了降低計算復(fù)雜度，加快運(yùn)算速度，文中采用局部窗口搜索，即將搜索范圍限定在一個小的區(qū)域內(nèi)，搜索對應(yīng)位置的一個局部窗口，而不是全圖搜索．這樣可以大大減少運(yùn)算量，對復(fù)原的性能影響也不大．

3 廣義非局部均值

非局部均值平均算法[15]是一種性能優(yōu)越的圖像去噪算法．它的基本思想是利用圖像中具有重復(fù)結(jié)構(gòu)的性質(zhì)來抑制噪聲，克服傳統(tǒng)算法中出現(xiàn)的偽影，提高圖像的質(zhì)量[3]．

圖像塊的值可利用相似塊的加權(quán)平均來計算，即

K(i)=∑ω(i，j)K(j) ,K(j)∈N(K(i)) ,

(10)

ω(i，j)=exp(-d(i，j)/h2)/Z(i) ,

(11)

(12)

其中，Γ(·)是Gamma函數(shù)，α是尺度參數(shù)，β的取值決定f(x)的衰減率．對于兩個高斯差特征系數(shù)塊K(j)與K(i)之間的權(quán)重ω(i，j)，可由式(13)計算．

(13)

其中，廣義高斯模型代替了高斯模型，在計算權(quán)重過程中涉及到參數(shù)α和β的求?。闹胁捎肈o和Vetterli提出的一種最大似然估計[17]: 即使用牛頓-拉夫遜算法估計α和β的值．

4 算法的實(shí)現(xiàn)細(xì)節(jié)

算法分為兩個主要過程，即訓(xùn)練過程和復(fù)原過程．訓(xùn)練過程主要是建立自身訓(xùn)練庫．復(fù)原過程是利用訓(xùn)練過程獲取的信息對低分辨率圖像進(jìn)行復(fù)原．訓(xùn)練過程和復(fù)原過程的示意圖如圖2所示．

圖2 算法流程圖

訓(xùn)練過程如下:

(1) 對IL進(jìn)行下采樣獲得其對應(yīng)的低分辨率圖像ILL．

(2) 為了計算方便，將ILL插值放大到與IL相同分辨率，表示為ILE．插值放大可使用雙線性插值算法等．

(3) 對IL和ILE分別提取高頻差分圖像特征和中頻高斯差特征，獲得高頻、中頻特征圖像FH、FM．

(4) 對高、中頻特征圖像FH和FM進(jìn)行重疊分塊．

復(fù)原過程如下:

(5) 將輸入的待復(fù)原的低分辨率圖像IL進(jìn)行插值放大，獲得放大后的圖像ILH．

(6) 計算插值放大后圖像ILH的中頻高斯差特征圖像TM．

(7) 將上一步生成的特征圖像TM劃分成相互重疊的系數(shù)塊．

(8) 對于每一個圖像塊，在FM的對應(yīng)位置的鄰域內(nèi)尋找與該圖像塊最相似的K個系數(shù)塊．并根據(jù)式(14)計算每一個相似塊對應(yīng)的權(quán)重ωk(i)．

(10) 將高頻系數(shù)塊PH(i)拼接為高頻特征圖像H．

(11) 將估計獲得的高頻特征圖像H與輸入的插值放大圖像ILH相加，獲得高分辨率圖像IH．

5 實(shí)驗(yàn)結(jié)果與分析

為了評價文中算法的效果，將文中算法與最近鄰插值算法、Cubic B-Spline插值算法、基于稀疏表示的方法[13]、基于灰度值的自相似性方法[12]進(jìn)行對比．實(shí)驗(yàn)中文中方法取相似塊數(shù)量K=9，控制指數(shù)函數(shù)的衰減速度的參數(shù)h=1，系數(shù)塊的大小為 5×5， 塊與塊的重疊長度為2，搜索窗口大小為 7×7．為了評價效果，除了采用主觀的視覺評價外，還采用峰值信噪比(PSNR) 、結(jié)構(gòu)相似度(SSIM)作為客觀的圖像質(zhì)量評價標(biāo)準(zhǔn)．為了對算法的適應(yīng)性進(jìn)行評估，使用了4類圖像進(jìn)行測試，這4類圖像即圖像處理中的常用圖像、遙感圖像、視頻圖像和噪聲圖像．實(shí)驗(yàn)中先對原始圖像進(jìn)行下采樣，然后再對下采樣的圖像進(jìn)行放大．

5.1 常用圖像的實(shí)驗(yàn)

文中采用圖像處理中常用的圖像作為測試圖像(大小均為512×512)，8幅測試圖分別是Lena、Pepper Airplane、Man、Street、Bike、Baboon和Barbara．其中，Pepper圖像的實(shí)驗(yàn)比較圖如圖3所示，可以看出最近鄰插值算法，Cubic B-Spline方法在放大圖像的同時模糊了大部分的圖像細(xì)節(jié)．基于稀疏表示的方法雖然可以復(fù)原出大部分圖像細(xì)節(jié)，但約顯得模糊；基于灰度值的自相似性方法復(fù)原效果不太理想．而文中算法能恢復(fù)出圖像的細(xì)節(jié)，其復(fù)原結(jié)果更逼真．從視覺效果來看，文中算法復(fù)原結(jié)果與原始高分辨率圖像最為相似．表1為不同方法對8幅測試圖像的平均PSNR和平均SSIM．可以看出，文中方法的結(jié)果具有最高的PSNR和SSIM，這說明文中方法結(jié)果最好，客觀評價與主觀評價結(jié)果完全一致．

圖3 Pepper圖像的實(shí)驗(yàn)比較圖

實(shí)驗(yàn)中系數(shù)塊的大小和搜索窗口大小對復(fù)原圖像的性能有一定的影響．系數(shù)塊大小對性能的影響如圖4(a)所示，圖中PSNR為8幅測試圖像的平均值．可以看出，隨著系數(shù)塊大小的增加，復(fù)原的性能在下降．這是由于越小的塊，越可能在自相似性訓(xùn)練庫中尋找到相似性高的塊，因此，復(fù)原效果也就越好．搜索窗口大小對性能的影響如圖4(b)所示，圖中PSNR為8幅測試圖像的平均值．可以看出，隨著搜索范圍的增大，復(fù)原的性能逐步提高，但是當(dāng)搜索范圍大于7后，性能的提高速度大大下降．復(fù)原的性能不僅不能隨著搜索范圍的增大而無限增大，而且會增加計算量，因此，選擇適中的搜索范圍即可．

表1 各種不同方法對常用圖像、遙感圖像、視頻圖像、噪聲圖像放大后結(jié)果的平均PSNR、SSIM

圖4 參數(shù)對性能的影響

5.2 遙感圖像的實(shí)驗(yàn)

這部分實(shí)驗(yàn)主要針對遙感圖像來分析算法的性能，在實(shí)驗(yàn)室中分別對光學(xué)遙感圖像和SAR遙感圖像進(jìn)行實(shí)驗(yàn)．實(shí)驗(yàn)中光學(xué)、SAR遙感圖像各使用10幅，圖像分辨率大小都是 256×256．一幅光學(xué)遙感和一幅SAR遙感圖像的比較結(jié)果如圖5所示，與上一個實(shí)驗(yàn)類似，文中算法效果最好，與原始高分辨率圖像最為相似．表1列出不同方法對光學(xué)遙感和SAR遙感圖像進(jìn)行復(fù)原處理結(jié)果的平均PSNR和平均SSIM．文中方法的結(jié)果具有最高的平均PSNR和平均SSIM，這說明文中方法結(jié)果最好，客觀評價與主觀評價結(jié)果一致．

圖5 不同方法對光學(xué)遙感圖像(第1行)以及SAR遙感(第2行)的比較

5.3 視頻圖像的實(shí)驗(yàn)

這部分實(shí)驗(yàn)將對取自于網(wǎng)站“http://media.xiph.org/video/derf/”的視頻圖像進(jìn)行測試．測試中使用的視頻包括“Harbour”、“Galleon”，“Mobcal”，“Aspen”和“Pedestrian”視頻序列．視頻圖像的分辨率從4CIF到 1 080 p．實(shí)驗(yàn)中根據(jù)畫面的變化隨機(jī)從這些視頻中抽取22幀(幅)圖像幀進(jìn)行實(shí)驗(yàn)．獲取自”Aspen”視頻的一幀圖像的比較結(jié)果如圖6所示．與前面的實(shí)驗(yàn)一致，文中算法效果最好，效果清晰，復(fù)原出的圖像細(xì)節(jié)，與真實(shí)的圖像最為相似．表1列出不同方法對測試圖像進(jìn)行復(fù)原處理結(jié)果的平均PSNR和平均SSIM；與前面的實(shí)驗(yàn)一樣，文中方法結(jié)果最好．

圖6 “Aspen”視頻的一幀圖像的比較(右上角為矩形標(biāo)注區(qū)域的局部放大圖)

5.4 噪聲圖像的實(shí)驗(yàn)

為了測試文中算法在噪聲下的性能，首先對5.1節(jié)中的低分辨率圖像施加噪聲標(biāo)準(zhǔn)差為10的高斯白噪聲，然后進(jìn)行超分辨率放大．表1列出處理結(jié)果的平均PSNR和平均SSIM，從具體數(shù)據(jù)來看，文中方法PSNR 值和SSIM 值都高于其他對比方法，這說明文中方法結(jié)果最好．

6 總 結(jié)

筆者提出一種基于廣義非局部均值和自相似性的超分辨率算法．算法不僅解決了先前的基于學(xué)習(xí)的超分辨率算法內(nèi)存消耗較大的缺點(diǎn)，而且提升了超分辨率復(fù)原效果．實(shí)驗(yàn)結(jié)果表明，文中算法對圖像取得較好的復(fù)原效果．總的來說，算法復(fù)原出的超分辨率圖像更接近于真實(shí)圖像，具有更好的主觀和客觀質(zhì)量．文中算法不是專門針對噪聲圖像設(shè)計的算法，雖然該算法可以較好地復(fù)原出噪聲圖像的高頻信息，使得復(fù)原的高頻信息幾乎不包含噪聲，但是并沒有消除低頻圖像中原有的噪聲．因此，要想對噪聲圖像取得較好視覺效果，必須在超分辨率復(fù)原的同時消除原有圖像中的噪聲，這將是下一步的工作．

[1] Chen H, Leou J. Saliency-directed Color Image Interpolation Using Artificial Neural Network and Particle Swarm Optimization[J]. Journal of Visual Communication and Image Representation, 2012, 23: 343-358.

[2] Liu X, Zhao D, Xiong R, et al. Image Interpolation Via Regularized Local Linear Regression[J]. IEEE Transactions on Image Processing, 2011, 20(12): 3455-3469.

[3] Guo K, Yang X, Zha H, et al. Multiscale Semilocal Interpolation with Antialiasing[J]. IEEE Transactions on Image Processing, 2012, 21(2): 615-625.

[4] Van J D. Image Super-resolution Survey [J]. Image and Vision Computing, 2006, 24(10): 1039-1052.

[5] 寧貝佳, 冀峰, 高新波. 具有隨機(jī)位移的多幀圖像超分辨重建快速算法[J]. 西安電子科技大學(xué)學(xué)報, 2012, 39(1): 105-110.

Ning Beijia, Ji Feng, Gao Xinbo. Fast Super-resolution Reconstruction Algorithms for Multi-frame Images with Random Shifts [J]. Journal of Xidian University, 2012, 39(1): 105-110.

[6] Baker S, Kanade T. Limits on Super-resolution and How to Break Them[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(9): 1167-1183.

[7] Freeman W T, Jones T R, Pasztor E C. Example-based Super Resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[8] Wu W, Liu Z, He X. Learning-based Super Resolution Using Kernel Partial Least Squares[J]. Image and Vision Computing, 2011, 29(6): 394-406.

[9] Yang J C, Wright J, Huang T, et al. Image Super-resolution as Sparse Representation of Raw Image Patches[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2008: 1806-1816.

[10] Wu W, Liu Z, Gueaieb W, et al. Single-image Super-resolution Based on Markov Random Field and Contourlet Transform[J]. Journal of Electronic Imaging, 2011, 20: 023005.

[11] Kawano H, Suetake N, Cha B, et al. Sharpness Preserving Image Enlargement by Using Self-decomposed Codebook and Mahalanobis Distance[J]. Image and Vision Computing, 2009, 27(6): 684-693.

[12] Freedman G, Fattal R. Image and Video Upscaling from Local Self-Examples[J]. ACM Transactions on Graphics, 2011, 30(2): 12-22.

[13] Zeyde R, Elad M, Protter M. On Single Image Scale-Up Using Sparse-Representations [C]//Lecture Notes in Computer Science: 6920. Heidelberg: Springer, 2012: 711-730.

[14] Yang C, Huang J, Yang M. Exploiting Self-similarities for Single Frame Super-Resolution[C]//Proceedings of Asian Conference on Computer Vision: 6494. Heidelberg: Springer, 2010: 497-510.

[15] Heidarzadeh A, Avanaki A N. An Enhanced Nonlocal-means Algorithm for Image Denoising[C]//Proceedings of 2007 9th International Symposium on Signal Processing and Its Applications. Piscataway: IEEE, 2007: 4555487.

[16] 馮象初, 劉濤, 李亞峰. 小波域中的廣義非局部平均去噪算法[J]. 西安電子科技大學(xué)學(xué)報, 2010, 37(5): 941-946.

Feng Xiangchu, Liu Tao, Li Yafeng. Generalized Nonlocal Mean Denoising Research Based on the Wavelet Domain[J]. Journal of Xidian University, 2010, 37(5): 941-946.

[17] Souidene W, Beghdadi A. Image Denoising in the Transformed Domain Using Nonlocal Neighbourhoods[C]//IEEE International Confereence on Acoustics, Speech, and Signal Processing. Piscataway: IEEE, 2006: 869-871.