基于K-SVD的自適應(yīng)選擇字典的超分辨率重建算法?

基于K-SVD的自適應(yīng)選擇字典的超分辨率重建算法?

薛冰王春興

（山東師范大學(xué)濟(jì)南250358）

超分辨率技術(shù)是由低分辨率圖像復(fù)原出高分辨率圖像的技術(shù)，在計(jì)算機(jī)視覺(jué)系統(tǒng)中發(fā)揮重要的作用。針對(duì)傳統(tǒng)基于學(xué)習(xí)算法的不足，提出一種基于K-SVD的自適應(yīng)選擇字典的超分辨率重建算法。該方法基于稀疏超分辨率模型，利用圖像相似性和冗余特性，并結(jié)合圖像金字塔結(jié)構(gòu)，采用低分辨率圖像本身來(lái)訓(xùn)練高、低分辨率字典對(duì)。同時(shí)在稀疏重構(gòu)時(shí)應(yīng)用正則正交匹配追蹤（Regularized Orthogonal Matching Pursuit，ROMP）提高重構(gòu)的精度和速度；最后利用人眼的視覺(jué)特性，采用一種自適應(yīng)選擇字典的算法，提高了重建的效率。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的超分辨率算法相比，該算法不但有更高的峰值信噪比（Peak Signal to Noise Ratio，PSNR）結(jié)構(gòu)相似性（Structural Similarity，SSIM），且計(jì)算速度更快。

圖像超分辨率；稀疏字典；圖像金字塔

Class NumberTP301.6

1 引言

圖像超分辨率重建技術(shù)［1～2］就是采用信號(hào)處理技術(shù)，從單幀或多幀低分辨率圖像中估計(jì)出質(zhì)量較好的高分辨率圖像。該技術(shù)廣泛應(yīng)用于高清數(shù)字電視、衛(wèi)星成像、公共安全和醫(yī)學(xué)成像等領(lǐng)域。目前，圖像的超分辨率算法包括：基于插值的算法、基于重建的算法［3～4］和基于學(xué)習(xí)的算法?；诓逯档姆椒ㄗ钪庇^且算法簡(jiǎn)單易行，可用于并行計(jì)算，但高頻細(xì)節(jié)損失明顯，從而造成圖像模糊。基于重建的方法利用圖像的降質(zhì)模型，引入不同的先驗(yàn)信息來(lái)重建圖像，雖然重建結(jié)果保留了更多圖像細(xì)節(jié)，但當(dāng)分辨率提升要求較高（4倍以上）時(shí)，先驗(yàn)假設(shè)存在較大誤差，造成獲取的亞像素運(yùn)動(dòng)信息不準(zhǔn)確，重建效果一般不理想。

基于學(xué)習(xí)的方法是利用高分辨率圖像庫(kù)和圖像退化模型獲得一個(gè)高低分辨率的圖像訓(xùn)練庫(kù)，然后通過(guò)一定的學(xué)習(xí)方法得到高低分辨率圖像之間的關(guān)系，最后利用優(yōu)化算法對(duì)待重建的低分辨率圖像進(jìn)行優(yōu)化，重構(gòu)出相應(yīng)的高分辨率圖像。1999年，F(xiàn)reeman等［5］提出利用馬爾可夫網(wǎng)絡(luò)模型來(lái)表示訓(xùn)練庫(kù)中高、低分辨圖像塊的對(duì)應(yīng)關(guān)系，然后根據(jù)貝葉斯最大后驗(yàn)估計(jì)（Maximum A Posteriori，MAP）準(zhǔn)則和最速下降法求出局部最大值。該方法使用更多的先驗(yàn)信息，重建的圖像細(xì)節(jié)也更豐富，但是該方法需要耗費(fèi)大量的訓(xùn)練時(shí)間來(lái)構(gòu)建圖像塊對(duì)生成馬爾可夫網(wǎng)絡(luò)。Yang［6～7］（SCSR）等提出基于稀疏表示的超分辨率重建算法從大量自然圖像中學(xué)習(xí)得到高低分辨率字典對(duì)，運(yùn)用稀疏表示原理重構(gòu)出高分辨率圖像。Zeyde在［8］Yang提出算法的基礎(chǔ)上采用K-SVD［9］算法訓(xùn)練字典，很大程度地提高了字典訓(xùn)練的速度，同時(shí)保持了重建圖像的質(zhì)量?；谙∈璞硎镜某直媛史椒P(guān)鍵在于字典的構(gòu)造，當(dāng)前常用的方法是通過(guò)學(xué)習(xí)由大量高分辨率圖像組成的樣本庫(kù)得到字典。但是，如果待處理的低分辨率圖像和樣本圖像相關(guān)度不高，重建后的高分辨率圖像就會(huì)帶有明顯的人工效應(yīng)，降低重建圖像的質(zhì)量。

因此，針對(duì)以上問(wèn)題，本文提出了一種基于K-SVD的自適應(yīng)選擇字典的超分辨率重建算法。本文在稀疏表示的超分辨率模型基礎(chǔ)上，利用圖像自相似性［10～11］和冗余特性，并結(jié)合圖像金字塔結(jié)構(gòu)，采用低分辨率圖像自身訓(xùn)練得到高、低分辨率塊之間的對(duì)應(yīng)關(guān)系，建立稀疏字典對(duì)，減少了對(duì)圖像庫(kù)的依賴(lài)；同時(shí)在稀疏重構(gòu)時(shí)應(yīng)用正則正交匹配追蹤（Regularized Orthogonal Matching Pursuit，ROMP）［12］提高重構(gòu)的精度和速度；最后利用人眼的視覺(jué)特性，采用一種自適應(yīng)選擇字典的算法，提高了重建的效率，減少重建時(shí)間。

2 基于稀疏表示的超分辨率重建模型

圖像的稀疏表示是圖像或圖像信號(hào)可以利用過(guò)完備字典原子庫(kù)［13～15］中一系列合適的原子進(jìn)行線性組合來(lái)進(jìn)行逼近。給定圖像y和過(guò)完備字典D，可以利用D中一系列合適的基線性組合來(lái)表示圖像y。其中的數(shù)學(xué)關(guān)系可表示為式（1）：

其中：α為表示稀疏系數(shù)?！?是NP-難問(wèn)題，可以采用基追蹤BP算法、OMP算法、ROMP算法等進(jìn)行求解。利用稀疏表示理論建立高、低圖像塊之間的關(guān)系如下：

該最小化問(wèn)題使用K-SVD字典學(xué)習(xí)算法同時(shí)確定字典和稀疏系數(shù)。只要選擇合適的高、低分辨率字典對(duì)，理想的高分辨率圖像在合適的高分辨率字典下的稀疏表示可近似由低分辨率圖像在低分辨率字典Dl下的稀疏表示來(lái)表征，即αh=αl。通過(guò)偽逆計(jì)算高分辨率字典Dh：

所求高分辨率圖像由下式獲得：

3 高低分辨率字典對(duì)學(xué)習(xí)算法

通常高低分辨率圖像訓(xùn)練集是由高分辨率圖像訓(xùn)練庫(kù)和圖像退化模型獲得的，但是這種方法獲得的圖像訓(xùn)練集重建時(shí)間太長(zhǎng)。Glasner等［16］研究表明，圖像塊具有跨尺度相似性，因此本文提出采用圖像自身獲得訓(xùn)練樣本對(duì)，以實(shí)現(xiàn)字典對(duì)的學(xué)習(xí)，提高重建速度。

為了獲得高低分辨率字典對(duì)，首先對(duì)低分辨率圖像X進(jìn)行分塊并反復(fù)利用Gaussian濾波器對(duì)圖像進(jìn)行濾波，得到的訓(xùn)練高分辨率圖像Gaussian金字塔。對(duì)于輸入低分辨率圖像的圖像塊m1可以在低分辨率圖像（第三次、第四層）找到相似的圖像塊m2、m3，而這些低分辨率圖像塊也可以在其上一層中找到對(duì)應(yīng)的相似的高分辨率圖像塊n2、n1，利用不同層間高低分辨率圖像塊之間的關(guān)系形成圖像金字塔，圖1圖像金字塔結(jié)構(gòu)為圖像金字塔。假設(shè)該Gaussian金字塔第一層為高分辨率圖像，第i層為(X)，圖1所示為圖像Gaussian金字塔結(jié)構(gòu)。然后對(duì)獲得的高分辨率圖像金字塔結(jié)構(gòu)中的每個(gè)圖像進(jìn)行下采樣和插值放大，下采樣因子和放大倍數(shù)為k，得到對(duì)應(yīng)的低分辨率圖像金字塔結(jié)構(gòu)，即：

其中：filter函數(shù)表示用Gaussian濾波器對(duì)圖像進(jìn)行濾波，amplify函數(shù)為插值函數(shù)。最后通過(guò)計(jì)算高、低分辨率圖像金字塔差值，獲得高分辨率圖像的高頻信息金字塔，即：

因此，根據(jù)所獲得的高低分辨率圖像金字塔結(jié)構(gòu)即可獲得高低分辨率圖像訓(xùn)練樣本。獲得高低分辨率圖像訓(xùn)練樣本對(duì)之后，由K-SVD算法訓(xùn)練高低分辨率字典對(duì){Dh,Dl}。

圖1 圖像Gaussian金字塔

4 自適應(yīng)選擇重建字典

由于人眼對(duì)高頻信息更敏感對(duì)平滑區(qū)域相對(duì)較弱的視覺(jué)特性。而基于字典的重建算法是處理圖像塊的，不同大小的圖像塊會(huì)影響到圖像重建的效率和質(zhì)量。因此通過(guò)邊緣檢測(cè)算法將圖像邊緣檢測(cè)出來(lái)，根據(jù)圖像區(qū)域是平滑區(qū)域還是邊緣區(qū)域來(lái)選擇不同大小尺寸的字典，提高重建效率和質(zhì)量。本文應(yīng)用快速有效的Sobel邊緣檢測(cè)技術(shù)來(lái)檢測(cè)圖像邊緣信息。

對(duì)于給定的圖像f(x,y)的梯度定義為向量式：

該向量的幅值表示式為

通常，該向量用絕對(duì)值▽f≈|Gx|+|Gy|來(lái)近似。這個(gè)近似值避免了平方和開(kāi)方計(jì)算，簡(jiǎn)化了計(jì)算復(fù)雜度，并且其在平滑區(qū)域的值為零，在像素值變化區(qū)域其幅值與亮度變化程度成比例。實(shí)際中我們通常將梯度的幅值稱(chēng)為梯度。梯度向量的基本屬性是它指向f在坐標(biāo)(x,y)處最大變化率的方向，最大變化率出現(xiàn)的角度定義為

圖2顯示了一個(gè)大小為3×3的Sobel邊緣檢測(cè)器掩膜，其中各個(gè)Z代表不同鄰域的像素值，分別用圖2（b）和（C）作為兩個(gè)掩膜對(duì)圖像進(jìn)行濾波，然后相應(yīng)梯度圖像的近似可以通過(guò)計(jì)算兩個(gè)濾波后的圖像絕對(duì)值的和獲得。在x方向和y方向?qū)?shù)用一幅圖像中的小鄰域上的像素值的差值來(lái)近似。在區(qū)域（如z5）的中心點(diǎn)的x方向的導(dǎo)數(shù)的近似為

類(lèi)似的，y方向的導(dǎo)數(shù)由下面的差值近似：

那么一個(gè)鄰域的中心點(diǎn)處的梯度為

圖2 大小為3×3的Sobel邊緣檢測(cè)器掩膜

圖像經(jīng)過(guò)Sobel掩膜后如圖3所示，其中檢測(cè)出的邊緣部分，我們使用較小圖像塊字典，而平滑區(qū)域使用較大圖像塊字典。并且可以看出，圖像平滑部分占了整幅圖像的大部分，所以圖像重建過(guò)程中可大大提高算法搜索時(shí)間。

圖3 自適應(yīng)選擇字典

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中，為了對(duì)比的一致性，本文方法與Bicu?bic、Yang的方法一樣都采用5×5圖像塊、字典大小為512、放大倍數(shù)為3，有2個(gè)像素重疊的重建方式，并給出所有方法的重建圖像與原始圖像進(jìn)行PSNR和SSIM對(duì)比，并給出各個(gè)重建方法的重建圖像效果圖，如圖4所示。

如圖3所示（以head、leaf、parthenon、lena為例），從實(shí)驗(yàn)結(jié)果可以看出Bicubic插值方法重建圖像比較模糊，邊緣也比較粗糙；Yang等的算法較前兩種算法實(shí)驗(yàn)結(jié)果有明顯改善，但邊緣信息仍存在模糊現(xiàn)象。實(shí)驗(yàn)表明，本文算法所的結(jié)果比前面兩種算法在圖像邊緣和細(xì)節(jié)方面有進(jìn)一步的提高。

圖4 不同方法的重建結(jié)果圖

表1 三種不同重建方法的PSNR值

表2 三種不同方法的SSIM值

為了進(jìn)一步驗(yàn)證本文算法，采用峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM對(duì)算法進(jìn)行客觀的評(píng)價(jià)。從表1和表2可以看出本文方法的PSNR值和SSIM值相對(duì)于其他兩種方法有不同程度的提高。

此外，本文采用低分辨率圖像自身訓(xùn)練字典對(duì)，不但避免對(duì)訓(xùn)練圖像庫(kù)的依賴(lài)，而且結(jié)合ROMP算法提高稀疏編碼的速度，減少字典訓(xùn)練的時(shí)間。圖5顯示了用本文算法和其他兩種字典算法對(duì)lena、face、leaf、parthenon進(jìn)行超分辨率所需時(shí)間的對(duì)比結(jié)果，由圖5可以看出本文算法重建時(shí)間更短。

圖5 自適應(yīng)選擇字典與固定字典算法時(shí)間對(duì)比圖

6 結(jié)語(yǔ)

本文在稀疏表示的超分辨率模型基礎(chǔ)上，提出結(jié)合金字塔結(jié)構(gòu)并用低分辨率自身訓(xùn)練高低分辨率字典，提高重建的質(zhì)量；其次應(yīng)用ROMP提高了稀疏編碼的效率，并應(yīng)用一種自適應(yīng)選擇字典的算法提高重構(gòu)的精度和速度，提高重建效率。實(shí)驗(yàn)結(jié)果表明，本文提出的基于K-SVD的自適應(yīng)選擇字典的超分辨率重建算法能夠獲得更好的重建效果。此外，本文不需要訓(xùn)練大量的圖像，一方面提高了對(duì)不同圖像類(lèi)型的自適應(yīng)性，另一方面也加快了字典訓(xùn)練速度，節(jié)省了時(shí)間提高了重建效率。如何利用圖像的自身特性獲得更強(qiáng)的稀疏表示能力以及進(jìn)一步提高算法的效率，提高算法的實(shí)時(shí)性將是下一步的研究工作。

［1］方振宇.圖像超分辨率重建技術(shù)的研究及應(yīng)用［D］.武漢：武漢理工大學(xué)，2012.

FANG Zhenyu.Research and Application of Image Su?per-Resolution Reconstruction Technology［D］.Wuhan：Wuhan University of Technology，2012.

［2］Vandewalle P.Super-resolution from unregistered aliased images［D］.Ecole Polytechnique Federale de Lausanne，2006.

［3］W.Dong et al.，Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regulariza?tion［J］.IEEETrans.ImageProcess.2011，20（7）：1838-1857.

［4］J.Yu et al.，A unified learning framework for single image superresolution［J］.IEEE Trans.Neural Netw.Learn.Syst，2014，25（4）：780-792.

［5］Choi J，Yu K，Kim Y.A new adaptive component-substitu?tionbased satellite image fusion by using partial replace?ment［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49（1）：295-309.

［6］J.Yang，J.Wright，T.Huang，et al.Image super-resolu?tion as sparse representation of raw image patches［J］. IEEE Conference on Computer Vision and Pattern Recog?nition（CVPR）.Washington，DC USA：IEEE Computer Society，2008：1-8.

［7］Yang J，Wright J，Huang T S，et al.Image super-restora?tion via sparse represenlation［J］.IEEE Trans.Image Pro?cessing，2010，19（11）：2861-2873.

［8］R.Zeyde，M.Protter，M.Elad，On single image scale-up us?ing sparse-representations，curves and surfaces［M］.Lect Notes Comput Sci.Springer，2012：711-730.

［9］Aharon M，Elad M，Bruckstein A.The K-SVD：An algoro?thm for design of dictionaries for sparse representation［J］. IEEE Trans Signal Process，2006：4311-4322.

［10］Thung K-h，Paramesran R，Lim C-L.Content-based im?age quality metric using similarity measure of moment vectors［J］.PatternRecognition，2012，45（6）：2193-2204.

［11］H.Zhang，et al.Image and video restorations via nonlocal kernel regression［J］.IEEE Trans.Cybern，2013，43（3），1035-1046.

［12］D.Needell.Topics in Compressed Sensing［D］.Davis： University of California，2009.

［13］Avcibas I，Sankur B，Sayood K.Statistical evaluation of image quality measures［J］.Joural of Electronic Imaging，2002，11（2）：206-213.

［14］楊玲，劉怡光，黃蓉剛.新的基于稀疏表示的單張彩色超分辨率重建算法［J］.計(jì)算機(jī)應(yīng)用，2013，33（2）：472-475.

YANG Ling，LIU Yiguang，HUANG Rong gang.A new color super-resolution reconstruction algorithm based on sparse representation［J］.Computer Application，2013，33（2）：472-475.

［15］徐國(guó)明，薛模根，崔懷超.基于過(guò)完備的魯棒性單幅圖像超分辨率重建模型及算法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖像學(xué)學(xué)報(bào)，2012，24（12）：1599-1605.

XU Guoming，XUE Mogen，CUI Huaichao.Single image super resolution reconstruction model and algorithm based on complete robustness［J］.Journal of computer aided design and imaging，2012，24（12）：1599-1605.

［16］Glasner D，Bagon S，Irani M.Super-resolution from a sin?gle image［C］//Proceedings of the 12th IEEE Internation?al Conference on Comouter Vision，Kyoto，Japan，2009：349-356.

版權(quán)聲明

本刊已許可萬(wàn)方數(shù)據(jù)庫(kù)、中國(guó)學(xué)術(shù)期刊(光盤(pán)版)電子雜志社在中國(guó)知網(wǎng)及其系列數(shù)據(jù)庫(kù)等產(chǎn)品中以數(shù)字化方式復(fù)制、匯編、發(fā)行、信息網(wǎng)絡(luò)傳播本刊全文。著作權(quán)使用費(fèi)與本刊稿酬一并支付。作者向本刊提交文章發(fā)表的行為即視為同意我編輯部上述聲明。

《計(jì)算機(jī)與數(shù)字工程》編輯部

Super-resolution Reconstruction Algorithm Based on K-SVD Adaptive Selection Dictionary

XUE BingWANG Chunxing
（Shandong Normal University，Jinan250358）

Super-resolution technology is a technique for recovering high-resolution images from low-resolution images，and plays an important role in computer vision systems.To solve the deficiency of traditional learning algorithm，a super-resolution re?construction algorithm that adaptive selected dictionary based on K-SVD is proposed.This method which is based on the sparse su?per-resolution model uses the image self-similarity and redundancy and low-resolution image itself to train the low-resolution and high-resolution dictionary pairs in combination with image pyramid structure.At the same time，regular orthogonally matched track?ing（ROMP）is applied in sparse reconstruction to improve the accuracy and reconstruction speed.Finally，by using the human visu?al characteristics，an adaptive selecting dictionary algorithm is adopted to improve the reconstruction efficiency.Experimental re?sults show that the proposed algorithm not only has a higher Peak Signal to Noise Ratio（PSNR）and Structure Similarity（SSIM），but also has a faster computation speed than the traditional super-resolution algorithm.

image super-resolution，sparse dictionary，image pyramid

TP301.6

10.3969/j.issn.1672-9730.2017.05.036

2016年11月10日，

2016年12月20日

國(guó)家自然科學(xué)基金“用于癲癇發(fā)作預(yù)測(cè)的腦電特征深度學(xué)習(xí)研究”（編號(hào)：61501283）資助。

薛冰，女，碩士研究生，研究方向：信號(hào)與信息處理。王春興，男，博士，教授，碩士生導(dǎo)師，研究方向：圖像處理、多媒體信息安全、智能儀器設(shè)計(jì)與應(yīng)用。