聯(lián)合稀疏表示和總變分正則化的超分辨率重建方法*

黃煒欽 黃德天 柳培忠 顧培婷 劉曉芳

?

聯(lián)合稀疏表示和總變分正則化的超分辨率重建方法*

黃煒欽 黃德天 柳培忠 顧培婷 劉曉芳

華僑大學工學院

為提高基于稀疏表示的圖像超分辨率重建的質量，該文提出了聯(lián)合稀疏表示與總變分正則化的超分辨率重建算法。首先，在字典訓練階段，從具有相似統(tǒng)計特征的訓練圖片中獲取圖像塊，作為訓練字典的樣本，并用K-SVD算法進行字典訓練，得到高、低分辨率的字典。在稀疏編碼階段，根據局部稀疏編碼模型求解出低分辨圖像的稀疏表示系數，再利用稀疏表示系數和高分辨率字典對輸入低分辨率圖像進行重建，得到高分辨率圖像。最后，將重建得到的高分辨率圖像進行總變分正則化優(yōu)化，進一步提高重建效果。仿真實驗結果表明，該算法在客觀評價指標和主觀視覺效果上，圖像質量都有明顯提高。

超分辨率重建 稀疏表示 總變分正則化 字典訓練

1 概述

圖像的空間分辨率用于衡量圖像質量，圖像的空間分辨率越高說明圖像越清晰，細節(jié)信息越豐富，圖像質量越高，其表達信息的能力就越強，越有利于后續(xù)的圖像處理、分析和理解。在實際應用中，受成像系統(tǒng)物理分辨率限制以及場景變化等諸多因素的影響，成像系統(tǒng)只能得到分辨率較低的圖像，往往不能滿足實際應用的要求[1-4]，如何基于已有硬件條件及當前的觀測圖像提高圖像分辨率，成為一個亟待解決的問題。

圖像超分辨率(Super Resolution, SR) 重建技術[5]一直以來都是數字圖像處理的研究熱點之一，該技術是從軟件方面通過一些相關算法將低分辨率(Low Resolution, LR)圖像重建為清晰的高分辨率(High Resolution, HR)圖像。該技術利用已有的低分辨率圖像重建出高分辨率圖像，能夠突破現有成像器件的固有限制,只從軟件的角度實現高分辨率圖像的重建，是解決該問題較為經濟而有效的手段之一。

當前，基于插值的方法、基于重建的方法和基于學習的方法是單幅圖像超分辨率重建的三種主要方法?；诓逯档乃惴ㄖ饕尾逯岛碗p三次插值[6]等方法，該算法雖然實現起來較為簡單，但是重建出來的圖像經常存在鋸齒效應，并且鋸齒效應會隨著圖像放大而更為明顯?；谥亟ǖ姆椒╗7]主要利用圖像的相關先驗知識來建立超分辨率的模型，但是先驗模型選取受主觀因素影響較大，所以該方法缺乏一定的自適應性，重建的效果不好。近年來，比較流行的方法是基于學習的圖像超分辨率方法，該方法根據相似的訓練集訓練字典，來預測低分辨率圖像中丟失的細節(jié)信息，從而完成圖像重建。作為基于學習的最為突出的算法之一，基于稀疏表示的圖像超分辨率重建由Thomas Huang 團隊里的Yang開創(chuàng)，并吸引了國內外學者的廣泛研究。Yang等[8]將大量高分辨率圖像組成的圖像庫作為訓練樣本，通過全局字典學習構建能夠稀疏表示圖像塊的字典；假設高分辨圖像塊的稀疏系數可由低分辨圖像塊的稀疏系數來表示，首先利用低分辨圖像塊和低分辨字典獲得低分辨率系數，然后利用求得的低分辨系數和訓練好的高分辨字典重建出高分辨率圖像塊。該算法獲得的重建圖像雖然具有較好的視覺效果，但一般存在較大的均方誤差，且當圖像庫不能提供與待處理圖像相似的圖像塊時，算法的重建效果將無法保證。Zeyde等[9]在基于超完備字典學習的稀疏表示超分辨算法的基礎上進行了改進，將主成分分析方法用于圖像的降維，并且將正交匹配追蹤算法應用于稀疏編碼，在一定程度上，雖然該方法提高了圖像重建的速度，但是重建圖像的精度并沒有明顯提高。Elad等[10]在基于稀疏表示的單幅圖像超分辨重建中，利用統(tǒng)計預測模型來稀疏表示低分辨率圖像塊和高分辨率圖像塊，并采用誤差平方和均值最小估計得到高分辨率圖像塊的預測，得到了比基于雙字典的超分辨率更好的重建效果。文獻[11]在假設可以得到一對字典使得高低分辨率圖像塊具有相同的稀疏表示的前提下，通過訓練分類樣本以得到兩個字典，為了獲得更準確的稀疏系數，選取細節(jié)圖像塊作為方法的對象。該算法可以減少重建偽像，一定程度上提高了重建精度。Sajjad等[12]主要利用圖像的邊緣、輪廓和高階結構等特征來訓練字典，通過求解L1正則化最小平方問題來獲得高低分辨率圖像塊之間的稀疏表示矢量，并通過所學習的字典來重構高分辨圖像，算法取得了較好的重建效果。文獻[13]先采用稀疏表示方法從輸入的低分辨率圖像生成保留邊緣的高分辨率圖像，再結合上下文感知檢測方法，利用跨尺度自相似性生成細節(jié)推測的高分辨圖像，最后通過這兩個高分辨圖像進行加權得到清晰的重建圖像。

為了對超分辨率重建后的圖像進行進一步的優(yōu)化和恢復，Rudin等[14]首次提出總變分正則化模型，并將該正則化模型應用于圖像去噪處理。本文將總變分思想融入到文獻[15]中，對該文獻重建后的高分辨率圖像進行進一步優(yōu)化，以此對圖像進一步降噪、去卷積和圖像修復，從而進一步提高重建圖像的質量。

2 基于稀疏表示的超分重建模型

上式中，表示降采樣操作，表示糊化矩陣，表示為運動變換算子，表示為隨機的高斯加性噪聲。通過稀疏表示模型來求解圖像重建這個具有病態(tài)性的反問題，在滿足一定的條件下，式(1)存在唯一的稀疏解。

(3)

從式(3)可以看出，在圖像的稀疏表示中引入了稀疏求解這一約束條件，而0范數問題的求解是一個NP 難問題，并且對于0范數問題的求解計算量大，而1范數是接近0范數的凸優(yōu)化問題，所以，在稀疏度足夠大的情況下，0范數的求解問題可以等價轉換為1范數求解，即：

圖像的超分辨率重建就是通過由已知的來對進行重建。但是復雜隨機的決定了重構任務的不確定性。由信號的稀疏表示可知，理想的圖像可以表示為，對應的圖像可以表示為，聯(lián)合式(2)有：

(5)

如果選擇合適的字典對，則圖像在D字典下的稀疏表示系數可近似由對應的圖像在D字典下的稀疏表示系數來表示，即有。定義，則有：

式(6)表明，當通過學習獲得高、低分辨率字典對后，可以由求得稀疏表示系數，然后由不同分辨率圖像的稀疏表示的不變性，通過重建出高分辨率圖像。

3 基于稀疏表示和總變分全局優(yōu)化的超分重建

3.1 字典訓練

實驗中，本文從具有相似統(tǒng)計特征的訓練圖片中隨機獲取原始圖像塊來訓練生成字典，需要準備的字典訓練過程如下：

3.1.1 樣本采集

本文需要采用自然景觀圖像作為訓練集，這些圖像樣本訓練集有一定的紋理。對于字典的訓練，本文取30張高清圖像作為高分辨率圖像訓練樣本，然后對著30張圖像進行下采樣，得到30張對應的低分辨率圖像，并把它們分為100000個圖像塊，這個訓練集遠小于文獻[16]所需要的訓練樣本。

3.1.2 字典對的訓練

每個高分辨率訓練圖像都有其對應的通過下采樣得到的低分辨率圖像。將和分塊，組成訓練集和，記為圖像對應的稀疏編碼矩陣，為圖像對應的稀疏編碼矩陣，利用K-SVD算法來求解以下優(yōu)化問題：

(8)

由式(7)和(8)可以得到高、低分辨率字典對，分別表示為，。

在訓練階段，本文減去每個圖像塊的平均像素值，讓字典表示的是圖像的紋理而不是絕對的強度。實驗證明，在結合稀疏表示的先驗知識的條件下，簡單隨機采樣得到的字典已經足以生成高質量的重建圖像。

3.2 局部稀疏編碼

在字典訓練階段，得到了高低分辨率字典對D和D。對于每一個輸入的低分辨率圖像塊，本文得到一個與低分辨率字典D相對應的稀疏表示。高分辨率的圖像塊字典D會根據這個稀疏表示系數來生成所要輸出的高分辨率圖像塊。通過式(9)，可以得到低分辨率圖像塊的稀疏表示系數：

其中，是一個線性提取操作，目的是為了確保計算出的系數更加適合低分辨信號。一般的，是一種高通濾波器，因為人對圖像的高頻部分是比較敏感的，所以使用高通濾波器來獲取低分辨率圖像中的高頻部分，用來估計丟失的高頻信息。文獻[15]將一階和二階導數作為低分辨率圖像塊的特征，盡管簡單，但是這些特征證明的效果極好。四個用于倒數提取的一維濾波器如下：

(10)

其中，表示轉置。使用這四個濾波器，每個圖像塊可以得到四個描述特征向量，然后把這四個特征向量聯(lián)合起來，作為低分辨率圖像的最后表示。通常式(9)的優(yōu)化問題是NP難問題，文獻[15]采用最小化1范數來求解稀疏表示系數，如式(11)所示：

3.3 總變分正則化優(yōu)化圖像

本文提出的圖像恢復方法是基于Rudin-Osher-Fatemi總變分(TV)圖像恢復技術[17]，將上一階段得到的圖像進行總變分正則化優(yōu)化。本文需要構造一個基于總變分正則項理論的圖像去噪、去卷積和修復圖像的恢復模型，該模型需要滿足的條件是找到一個圖像，使得式(12)取得最小：

(13)

接下來解決式(12)的最小化問題。由于Split-Bregman方法是一種用來解決規(guī)則化問題的快速方法，也適用于各種各樣的TV正則化問題，效率高，可靠性強，本文采用文獻[14]所使用的Split- Bregman算法來求解優(yōu)化后的圖像。

3.4 算法步驟

綜合以上分析，本文具體步驟總結如下：

步驟1：對高分辨率訓練樣本圖像進行下采樣，得到低分辨率樣本圖像。

步驟2：將和分塊，分別得到高、低圖像子塊和。

步驟4：結合與D通過求解式子來求得低分辨率圖像的稀疏表示矩陣。

步驟6：將圖像進行總變分正則化優(yōu)化，得到優(yōu)化圖像。

4 實驗結果與分析

實驗的軟硬件環(huán)境為：計算機CPU 為Intel Core i5-4590 3.30 GHz，內存4GB，操作系統(tǒng)為Windows64,MATLAB 為2012b。

圖像評價主要包括客觀評價和主觀評價，其中客觀評價指標主要是峰值信噪比(PSNR)和結構相似性度量(SSIM)。PSNR值越高，表示重構的圖像質量好，SSIM值越大，表明重構圖像與原始圖像越相似，重建效果越好。

為了驗證本文算法的性能，在實驗中采用大量測試圖像進行實驗。實驗時，低分辨率圖像塊放大倍數為3倍。實驗結果與雙三次插值算法和文獻[15]提出的算法進行比較。表1給出了10幅測試圖像利用3 種算法得到的PSNR值和SSIM 值。由表1 可以看出，10幅圖像中，本文算法獲得的PSNR和SSIM都是最高，這說明本文算法能夠更好地恢復圖像的結構，提高圖像的重建質量。

圖1從主觀方面展示了本文提及的三種重建方法的重建效果。圖1自左往右分別表示為低分辨率圖像、雙三次插值、文獻[15]提出的算法和本文算法重建的高分辨率圖像，以及原始高分辨率圖像，分別用(a)、(b)、(c)、(d)、(e)表示。從中可見，本文重建的圖像有更好的全局視覺效果。

表1 PSNR和SSIM下不同算法重建效果的比較(PSNR/SSIM)

5 結束語

本文提出的圖像超分辨率重建算法是一種結合稀疏表示和總變分正則化的超分辨率重建方法，該算法利用了總變分正則化在圖像降噪、去卷積和修復效果好的特點，通過對基于稀疏表示重建出的圖像進一步優(yōu)化處理，以此提高重建的質量。實驗結果表明，與多種超分辨率算法相比，本文算法具有較好的超分辨重建效果，但是效果還有一定的提升空間，如何更好地利用總變分進行圖像恢復與優(yōu)化，是今后需要進一步研究的課題。

參考文獻:

[1] Zhang L, Zhang L, Mou X, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[2]Pok G, Liu J C, Nair A S. Selective removal of impulse noise based on homogeneity level information.[J]. IEEE Transactions on Image Processing, 2003, 12(1):85-92.

[3] Foi A, Katkovnik V, Egiazarian K. Pointwise shape-adaptive DCT for high-quality denoising and deblocking of grayscale and color images.[J]. IEEE Transactions on Image Processing, 2007, 16(5): 1395-1411.

[4] Banham M R, Katsaggelos A K. Digital image restoration[J]. IEEE Signal Processing Magazine, 1997, 14(2):24-41.

[5] Kang M G, Chaudhuri S. Super-resolution image reconstruction[J]. IEEE Signal Processing Magazine, 2003, 20(3):19-20.

[6] Hou H S, Andrews H. Cubic splines for image interpolation and digital filtering[J]. IEEE Transactions on Acoustics Speech & Signal Processing, 1979, 26(6):508-517.

[7] Multiple frame image restoration and registration[C]// Advances in Computer Vision & Image Processing Greenwich Ct, Jai Press Inc, 1984.

[8] Yang J, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[9] Zeyde R, Elad M, Protter M. On Single Image Scale-Up Using Sparse- Representations[C]// International Conference on Curves and Surfaces, Springer-Verlag, 2010:711-730.

[10] Peleg T, Elad M. A Statistical Prediction Model Based on Sparse Representations for Single Image Super-Resolution[J]. IEEE Transactions on Image Processing, 2014, 23(6):2569-82.

[11] Zhao Y, Chen Q, Sui X, et al. A novel infrared image super-resolution method based on sparse representation[J]. Infrared Physics & Technology, 2015, 71:506-513.

[12] Sajjad M, Mehmood I, Baik S W. Image super-resolution using sparse coding over redundant dictionary based on effective image representations[J]. Journal of Visual Communication & Image Representation, 2014, 26(C):50-65.

[13] Lu J, Sun Y. Context-aware single image super-resolution using sparse representation and cross-scale similarity[J]. Signal Processing Image Communication, 2015, 32(C):40-53.

[14] Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms [J]. Physica D-nonlinear Phenomena, 1992, 60(1-4):259-268.

[15] Yang J, Wright J, Huang T, et al. Image super-resolution as sparse representation of raw image patches[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2008:1-8.

[16] Sun J, Zheng N N, Tao H, et al. Image Hallucination with Primal Sketch Priors[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition, IEEE Computer Society, 2003:729.

[17] Goldstein T, Osher S. The split Bregman method for L1 regularized problems[J]. Siam Journal on Imaging Sciences, 2009, 2(2): 323-343.

華僑大學研究生科研創(chuàng)新能力培育計劃資助項目。