基于卡通紋理分解和稀疏表示的圖像超分辨率重建

徐川　端木春江

摘 要：針對(duì)Yang等人提出的基于稀疏表示的圖像超分辨率的重建效果不夠理想問(wèn)題，提出了一種將圖像卡通紋理分解和稀疏表示相結(jié)合的方法用以實(shí)現(xiàn)單幅低分辨率圖像的超分辨率重建。本文提出的算法涉及到卡通字典和紋理字典的學(xué)習(xí)，圖像重建過(guò)程分為兩步。首先重建觀測(cè)低分辨率圖像的卡通高分辨率圖像和紋理高分辨率圖像，最后將重建的卡通和紋理高分辨率圖像線性加權(quán)疊加，實(shí)現(xiàn)低分辨率觀測(cè)圖像的超分辨率重建。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在主觀視覺和客觀指標(biāo)峰值信噪比（PSNR）上都有明顯的提升。

關(guān)鍵詞：超分辨率；稀疏表示；字典學(xué)習(xí)；卡通紋理

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：Due to the unsatisfactory result of image super-resolution reconstruction based on sparse representation method proposed by Yang et al，this paper proposes a new method，which combines image cartoon-texture decomposition and sparse representation，to achieve super-resolution reconstruction of low-resolution single images.The algorithm proposed in this paper involves two types of dictionaries：the cartoon dictionary and the texture dictionary.The image reconstruction process is divided into 2 steps：firstly，it reconstructs a high-resolution cartoon image and a high-resolution texture image from a low-resolution image，then，it overlays the newly reconstructed high-resolution cartoon image and the high-resolution texture image through linear weighting.As the experiment result shows，the method proposed in this paper brings significant improvement in both subjective visual quality and objective PSNR （Peak Signal to Noise Ratio）.

Keywords：super resolution；sparse representation；dictionary learning；cartoon-texture

1 引言（Introduction）

提高圖像的分辨率一直都是圖像處理領(lǐng)域一個(gè)重要的課題，由于成像系統(tǒng)及工藝的限制，從硬件方面提高圖像分辨率難度大且成本高，所以通過(guò)軟件算法的方法能夠?qū)崿F(xiàn)圖像的超分辨率重建具有重要意義[1]。此外，這種利用算法來(lái)實(shí)現(xiàn)圖像增強(qiáng)的方法廣泛應(yīng)用于軍事遙感、衛(wèi)星成像、視頻監(jiān)控和醫(yī)學(xué)圖像等領(lǐng)域，可見它的理論研究極具價(jià)值。超分辨率重建，直白地講，就是通過(guò)同一場(chǎng)景下一幅或者多幅低分辨率圖像重建一幅清晰的高分辨率圖像。目前，圖像的超分辨率重建算法主要有三種。第一種是基于插值的超分辨率重建算法，即利用周圍像素或者鄰近像素點(diǎn)間的關(guān)系對(duì)高分辨率圖像中未知像素進(jìn)行估計(jì)，這類方法簡(jiǎn)單、運(yùn)算速度快，缺點(diǎn)是重建的高分辨率圖像會(huì)存在塊效應(yīng)且圖像邊緣伴隨鋸齒效應(yīng)；第二種是基于重建約束的超分辨率重建算法，假設(shè)合理的圖像退化模型，根據(jù)圖像退化模型來(lái)重建高分辨率圖像；第三種是基于學(xué)習(xí)的超分辨率重建算法，通過(guò)對(duì)訓(xùn)練圖像特征塊的學(xué)習(xí)，建立兩種之間的關(guān)系，根據(jù)它們之間的這種關(guān)系重建出高分辨率圖像，這類方法是近來(lái)研究的熱點(diǎn)方向[2]。

2 基于稀疏表示的超分辨率圖像重建（Super- resolution image reconstruct-ion based on sparse representation）

2.1 信號(hào)的稀疏表示

任何維空間域的一個(gè)維信號(hào)都可以由N個(gè)維度的基向量的線性組合來(lái)表示，即，其中表示對(duì)應(yīng)的系數(shù)。寫成矩陣的形式，即為。可以將看成的基矩陣；是由構(gòu)成的維的列向量組成的系數(shù)向量，對(duì)于這個(gè)系數(shù)向量可看成是信號(hào)的等價(jià)表示，或者是信號(hào)在線性組合下的表征。若系數(shù)向量中元素不為零的數(shù)目遠(yuǎn)遠(yuǎn)小于，就稱該信號(hào)具有稀疏性。

2.2 稀疏編碼實(shí)現(xiàn)圖像超分辨率重建

壓縮感知的理論研究表明自然圖像具有稀疏性，這使得利用稀疏理論來(lái)研究圖像處理成為可能[3]。設(shè)圖像信號(hào)為，對(duì)于具有稀疏性的圖像信號(hào)，尋求一個(gè)類似于一維信號(hào)稀疏分解中的基矩陣，使得圖像信號(hào)在上得到最稀疏化的表示。圖像稀疏表示的問(wèn)題，即圖像信號(hào)

將稱作字典，為原子，叫做系數(shù)矩陣，表示精度允許的誤差。在經(jīng)典的稀疏表示的圖像超分辨率重建模型中，涉及到兩個(gè)字典高分辨率字典和低分辨率字典。本文采用文獻(xiàn)[4]中聯(lián)合字典訓(xùn)練的方式，將高、低分辨率訓(xùn)練樣本統(tǒng)一進(jìn)行稀疏關(guān)聯(lián)學(xué)習(xí)，為了保證高、低分辨率圖像能有相同的稀疏表示系數(shù)。對(duì)于輸入的待重建的低分辨率圖像塊，求解在下的稀疏表示。此時(shí)，則高分辨率圖像塊，最后將得到高分辨率圖像塊和低分辨率圖像塊雙三次插值得到的圖像合成求得重建的高分辨率圖像塊。

3 快速卡通紋理分解模型（Fast cartoon texture decomposition model）

圖像卡通-紋理分解，又可以稱為結(jié)構(gòu)-紋理分解，一個(gè)灰度級(jí)圖像可以表示為分解成；其中表示圖像的結(jié)構(gòu)分量，包含圖像的大部分低頻和部分中高頻，是圖像的主要特征結(jié)構(gòu)部分，是圖像的簡(jiǎn)化逼近，也稱為卡通（cartoon）；表示圖像的紋理部分（texture），包含圖像的大部分高頻和部分中頻部分，由紋理和噪聲組成的振蕩成分[5]。對(duì)于圖像卡通紋理分解的算法，若是采用線性的分解算法的話，類似于數(shù)字信號(hào)中的濾波過(guò)程，給定一個(gè)恰當(dāng)?shù)念l率點(diǎn)，高于該頻率點(diǎn)就被屏蔽掉；即從一個(gè)圖像中分解出卡通部分時(shí)必然包括小部分的高頻成分，同樣分解出紋理部分時(shí)肯定會(huì)帶有少部分低頻成分模糊圖像的邊緣。后來(lái)Meyer提出了通過(guò)解決變分問(wèn)題的方法來(lái)解決卡通紋理分解的問(wèn)題。即當(dāng)卡通部分具有最小的總變分（TV），紋理部分在BV的對(duì)偶空間中具有最小的范數(shù)，那么就能夠得到較好的卡通紋理分解；不懲罰振蕩準(zhǔn)則，即當(dāng)紋理分量的頻率越高，相對(duì)應(yīng)的范數(shù)就越小。本文圖像卡通紋理分解算法采用文獻(xiàn)[5]中提到的快速卡通紋理分解算法。

4 本文算法的步驟（The steps of the algorithm）

本文大體的框架分為兩個(gè)步驟。第一步，對(duì)于稀疏字典的學(xué)習(xí)，即從已知的樣本庫(kù)中訓(xùn)練得到高低分辨率字典；第二步，超分辨率圖像的重建過(guò)程。根據(jù)低分辨率觀測(cè)圖像塊和訓(xùn)練得到的低分辨率字典得到對(duì)應(yīng)的稀疏表示系數(shù)，然后再利用高分辨率字典和的乘積來(lái)估計(jì)高分辨率圖像塊。然而本文加入了圖像卡通-紋理分解的概念，首先對(duì)樣本進(jìn)行卡通紋理分解，分為卡通的樣本和紋理的樣本，依據(jù)不同的兩類樣本庫(kù)分別訓(xùn)練得到兩對(duì)字典，即卡通的高低分辨率字典、和紋理的高低分辨率字典、。對(duì)于輸入的待重建低分辨率圖像，將其進(jìn)行卡通紋理分解為卡通圖像和紋理圖像。運(yùn)用稀疏表示的方法估計(jì)的高分辨率卡通圖像，同樣也可估計(jì)出高分辨率紋理圖像，然后將和加權(quán)線性疊加，最后全局優(yōu)化得到目標(biāo)圖像。具體的圖像重建步驟如下：

步驟1：輸入卡通字典和紋理字典，低分辨率觀測(cè)圖像，卡通紋理分解為。

步驟2：從的左上角開始逐個(gè)取3×3圖像塊，保留1個(gè)像素寬的重疊區(qū)域，計(jì)算對(duì)應(yīng)于卡通的低分辨率字典的稀疏表示系數(shù)，然后利用2.2節(jié)提到的稀疏表示的方法估計(jì)出卡通圖像的高分辨率圖像。

步驟3：將估計(jì)得到的卡通圖像的高分辨率圖像和的雙三次插值放大的圖像疊加得到卡通圖像超分辨率重建的初始估計(jì)；同樣可以得到，紋理圖像的初始估計(jì)；根據(jù)線性權(quán)重疊加得到初始的超分辨率圖像最優(yōu)估計(jì)。

步驟4：最后對(duì)圖像全局優(yōu)化，根據(jù)，

計(jì)算最終估計(jì)的高分辨圖像。

5 實(shí)驗(yàn)與分析（Experiment and analysis）

本文使用的軟硬件實(shí)驗(yàn)環(huán)境為Core（TM）2 Quad CPU Q9400 2.66GHz，2GB內(nèi)存和Matlab 7.8.0（R2009a）實(shí)驗(yàn)平臺(tái)。選取和文獻(xiàn)[4]中一樣的69張具有相似統(tǒng)計(jì)特性的圖像作為樣本庫(kù)，首先對(duì)其進(jìn)行卡通紋理分解，分為卡通圖像樣本庫(kù)和紋理圖像樣本庫(kù)，分別稀疏編碼學(xué)習(xí)，求解卡通字典和紋理字典，再分別進(jìn)行卡通和紋理高分辨率圖像的重建，最后線性疊加合成。這里線性疊加的權(quán)重比例，經(jīng)實(shí)驗(yàn)比較選擇了為最佳。對(duì)于彩色圖像，因?yàn)槿祟愐曈X系統(tǒng)對(duì)亮度信號(hào)更為敏感，本實(shí)驗(yàn)中只取相應(yīng)的亮度通道進(jìn)行處理。如圖2所示，運(yùn)用本文提出的算法對(duì)128×128像素的Lena圖像進(jìn)行超分辨率圖像重建。圖像塊大小選取3×3像素，并保留一個(gè)像素寬的重疊區(qū)域。放大的倍數(shù)為2，則相對(duì)應(yīng)的高分辨率圖像塊大小為6×6，保留兩個(gè)像素的重疊。最后，將本文實(shí)驗(yàn)的結(jié)果與雙三次插值法、Yang等人的算法在視覺效果和峰值信噪比（PSNR）評(píng)價(jià)標(biāo)準(zhǔn)方面進(jìn)行對(duì)比。

如圖1所示，（a）低分辨率Lena圖像。（b）雙三次插值法（Bi-cubic）重建的圖像。（c）Yang算法重建的Lena圖像。（d）原始高分辨率Lena圖像。（e）本文算法重建的高分辨率卡通圖像。（f）本文算法重建的高分辨率紋理圖像。（g）本文算法重建的高分辨率Lena圖像。從實(shí)驗(yàn)結(jié)果可以看出雙三次插值法重建的圖像有均勻的顆粒感，而且細(xì)節(jié)部分模糊。Yang算法和本文提出的算法重建的高分辨率圖像則表現(xiàn)不明顯，且畫面細(xì)膩，細(xì)節(jié)部分清晰。

下面的表1給出了三種超分辨率算法的峰值信噪比（PSNR）和實(shí)驗(yàn)所消耗時(shí)間的比較，從表1中可以看到，PSNR方面，本文算法較前兩種方法重建的圖像有所提高，不過(guò)耗時(shí)方面相比前兩種方法還有待提高，如何縮短計(jì)算時(shí)間復(fù)雜度也是接下來(lái)要研究的課題。

6 結(jié)論（Conclusion）

本文是在經(jīng)典的稀疏表示的超分辨率圖像重建基礎(chǔ)之上，提出將卡通紋理分解的方法與稀疏表示結(jié)合來(lái)實(shí)現(xiàn)圖像超分辨重建。從實(shí)驗(yàn)結(jié)果來(lái)看，首先，在同等條件下，本文算法重建的圖像質(zhì)量在視覺上比雙三次插值法和Yang等人提出的算法要好；再者，峰值信噪比（PSNR）方面也比后兩種方法高。這表明本文提出的方法具有一定優(yōu)越性。不過(guò)，文中涉及兩個(gè)字典的學(xué)習(xí)即卡通和紋理字典的學(xué)習(xí)，必將提高了實(shí)驗(yàn)的時(shí)間復(fù)雜度。接下來(lái)，可考慮在加快稀疏編碼學(xué)習(xí)的速度上做研究，提高計(jì)算效率，得到更加有效、緊湊的字典。

參考文獻(xiàn)（References）

[1] Lu Ziwei，Wu Chengdong，Chen Dongyue，et al.Overview on Image Super R-esolution Reconstruction.26th Chinese Control and Decision Conference，CCDC，2014：2009-2014.

[2] Yao Zhao，et al. A novel infrared image super-resolution method based on sparse representation[J].Infrared Physics&Technology， 2015（71）：506-513.

[3] Zhang Shunli.Compressed Sensing Method Application in Image Denois-ing[J].International Journal of Signal Processing，Image Processing and Pattern Recognition，2015，8（1）：203-212.

[4] Yang Jianchao，et al.Image Super-Resolution Via Sparse Representation[J].IEEE Transaction on Image Processing，2010，19（11）：2861-2873.

[5] Antoni Buades，et al.Fast Cartoon Texture Image Filters[J].IEEE Transaction On Image Processing，2010，19（8）：1978-1986.

作者簡(jiǎn)介：

徐 川（1990-），男，碩士生.研究領(lǐng)域：圖像處理.

端木春江（1974-），男，副教授.研究領(lǐng)域：視頻通信，圖像處理.