基于圖像塊分類的圖像超分辨率重建

杜凱敏 康寶生

摘 要：針對當前圖像超分辨率重建算法中存在的字典單一而導(dǎo)致重建圖像質(zhì)量不佳的問題，提出一種將圖像塊分類與圖像卡通紋理分解相結(jié)合的單幅圖像超分辨率重建算法。首先，將圖像分塊，并將圖像塊分為邊緣類、紋理類和平滑類三類，其中紋理類用形態(tài)成分分析 （MCA）算法分解為卡通部分和紋理部分;然后，對邊緣類、卡通部分和紋理部分分別訓練高低分辨率字典;最后，求解稀疏系數(shù)并與高分辨率字典重建圖像塊。仿真結(jié)果顯示，與基于稀疏表示的超分辨率重建（SCSR）算法和單幅圖像超分辨率重建（SISR）算法相比，所提算法的峰值信噪比（PNSR）值分別提高了0.26dB和0.14dB，表明該算法的重建效果更好，重建圖像紋理細節(jié)更豐富。

關(guān)鍵詞：圖像重建; 圖像塊分類;卡通紋理;稀疏表示;K奇異值分解

中圖分類號： TP391.41

文獻標志碼：A

Abstract： Concerning the poor quality of existing image super-resolution reconstruction caused by single dictionary， a new single image super-resolution algorithm based on classified image patches and image cartoon-texture decomposition was proposed. Firstly， an image was divided into image patches which were classified into smooth patches， edge patches and texture patches， and the texture class was divided into cartoon part and texture part by Morphological Component Analysis （MCA） algorithm. Secondly， ege patches， cartoon part and texture part of texture patches were applied respectively to train the dictionaries of low-resolution and high-resolution. Finally， the sparse coefficients were calculated， then the image patches were reconstructed by using the corresponding high-resolution dictionary and sparse coefficients. In the comparison experiments with Sparse Coding Super-Resolution （SCSR） algorithm and Single Image Super-Resolution （SISR） algorithm， the Peak Signal-to-Noise Ratio （PSNR） of the proposed algorithm was increased by 0.26dB and 0.14dB respectively. The experimental results show that the proposed algorithm can obtain more details in texture with better reconstruction effect.

Key words： image reconstruction; image patch classification; cartoon-texture; sparse representation; K-Singular Value Decomposition （K-SVD）

0 引言

圖像作為人們?nèi)粘Ｉ罴肮ぷ髦凶钪匾男畔⑤d體之一，其分辨率高低在某些應(yīng)用方面，如醫(yī)學領(lǐng)域、遙感信息處理領(lǐng)域等至關(guān)重要。而當僅靠硬件已經(jīng)難以再有效提高其分辨率，或者需要付出更大代價才能達到要求時，用軟件方法提高圖像分辨率就顯得尤為重要，超分辨率圖像重建算法便應(yīng)運而生。目前，圖像超分辨率重建可大致分為三類：基于插值的方法[1]、基于重建的方法[2]和基于學習的方法?；诓逯档闹亟ǚ?，簡單快速，但重建圖像模糊高頻信息丟失嚴重;基于重建的圖像重建法需要對多幅圖像配準，重建過程復(fù)雜，重建圖像細節(jié)不理想;基于學習的超分辨率重建算法能夠?qū)⑾闰炛R融入圖像高頻信息重建中，極大地提高了重建圖像質(zhì)量，已成為國內(nèi)外學術(shù)界的研究熱點?；趯W習的超分辨率算法常用的研究方法包括神經(jīng)網(wǎng)絡(luò)和稀疏表示等[3]。Dong等[4]首次提出使用三個卷積層的超分辨率卷積神經(jīng)網(wǎng)絡(luò)算法，較傳統(tǒng)方法在圖像重建效果上有明顯優(yōu)勢。Kim等[5]提出的深遞歸卷積網(wǎng)絡(luò)超分辨率重建算法，使用遞歸神經(jīng)網(wǎng)絡(luò)并增加卷積層，避免了過多的網(wǎng)絡(luò)參數(shù)，改進了Dong等[4]的算法。Ledig等[6]在此基礎(chǔ)上提出新的超分辨率算法SRGAN（Super Resolution using Generative Adversarial Network），該算法使用了生成式對抗網(wǎng)絡(luò)，同時改進了代價函數(shù)，使重建高分辨率圖像看起來更真實?；谏窠?jīng)網(wǎng)絡(luò)的超分辨率重建已經(jīng)取得了突破性的成績，但如何在放大倍數(shù)較高情況下保持重建圖像質(zhì)量是目前的難點。

Yang等[7-8]應(yīng)用壓縮感知理論[9]提出了基于稀疏表示的超分辨率算法，使得圖像重建效率有了很大提升。Zeyde等[10]將K奇異值分解（K-SingularValue Decomposition，K-SVD）算法[11]和正交匹配追蹤（Orthogonal Matching Pursuit，OMP）法[12]應(yīng)用到圖像重建的字典訓練和稀疏編碼的過程中，降低了算法復(fù)雜度。張曉燕等[13]提出了一種改進的稀疏表示超分辨率重建算法，通過提高稀疏表示系數(shù)的精度增強圖像的紋理特性。王旸[14]將迭代反投影結(jié)合自適應(yīng)字典學習提出了超分辨率圖像重建效果優(yōu)化算法。以上基于稀疏表示的算法雖然在圖像重建上都取得了較好的效果，但是都存在字典單一的問題，導(dǎo)致部分圖像重建效果不佳。徐川[15]提出將圖像用形態(tài)成分分析（Morphological Component Analysis，MCA）分解為紋理和卡通部分之后分別生成兩對字典，使其高分辨重建圖像的高頻細節(jié)效果有了很大改善。練秋生等[16]提出將圖像塊分類處理，該方法對圖像邊緣重構(gòu)效果較好。文獻[15-16]的方法在一定程度上解決了字典單一問題，但字典對不同類圖像塊的適用性仍有待提高。

鑒于此，針對目前圖像重建算法中存在字典單一[3]、適用性低的問題，受到文獻[15-16]的啟發(fā)，本文在文獻[10]的框架下提出一種圖像塊分類與卡通紋理分解相結(jié)合的算法。通過將圖像塊分類，應(yīng)用MCA對紋理類圖像塊分解，將各類圖像塊作為不同的樣本訓練生成特征字典，可更好地對圖像的邊緣和紋理細節(jié)信息進行重構(gòu)。實驗結(jié)果表明，本文算法在視覺及客觀效果上都有所提高。

1 相關(guān)工作

基于稀疏表示的圖像超分辨率重建算法根據(jù)學習樣本庫圖像的先驗知識，通過機器學習的方法訓練字典，然后將低分辨率圖像在一定程度上重建為高分辨率圖像。由于其引入了先驗信息，對圖像的重建效果較好，因此已經(jīng)成為當前圖像重建領(lǐng)域的研究熱點之一。而圖像信號的稀疏表示和字典訓練是基于稀疏表示的圖像超分辨率算法的關(guān)鍵。

1.1 圖像信號的稀疏表示

基于稀疏表示的圖像超分辨率重構(gòu)算法的理論基礎(chǔ)之一是信號的稀疏表示。信號的簡單、高效表示是信號處理性能效率提高的關(guān)鍵。圖像的稀疏表示簡而言之就是用大而少的

稀疏系數(shù)將圖像信號線性表示出來，便于對圖像的加工處理。圖像信號的稀疏表示可以簡單表示為：

1.2 字典訓練

基于學習的超分辨率重建算法的另一關(guān)鍵是字典學習。字典訓練是對龐大樣本圖像信號的一種降維表示，通過字典訓練可以學習樣本圖像信號中的特征，并用盡可能少的資源存儲，以滿足稀疏表示用盡可能少的系數(shù)表示圖像信號的要求。字典可看成一個由許多原子（或基函數(shù)）組成的n×l矩陣，其中l(wèi)≥n，即該矩陣的列數(shù)遠大于行數(shù)。字典是通過機器學習的方法訓練已有的一系列樣本生成的，可將其表示為求解優(yōu)化問題：

式中：X= [x1，x2，…，xx]是由樣本組成的矩陣;t0是控制稀疏系數(shù)α的稀疏度。字典學習的常用方法有最佳方向法（Method of Optional Direction， MOD）和K-SVD算法。 超完備字典訓練過程為：給定一個隨機初始字典D0∈Rn×l，并將其規(guī)范化;求解稀疏系數(shù)α，根據(jù)α更新字典D0至D1，再由D1更新稀疏系數(shù)α;迭代更新，直至滿足算法的終止條件，即可得到超完備字典Dk。

1.3 基于稀疏表示的重建算法

在圖像獲取過程中，常常由于成像設(shè)備或者天氣因素的影響，使圖像的分辨率達不到預(yù)期目標。高清晰圖像亦可能在圖像傳輸過程中丟失部分信息，導(dǎo)致清晰度降低。由上述等各種原因造成的單幅圖像退化，可以描述為：

式中：Zl是低分辨率圖像;Yh是高分辨率圖像;S和B分別為下采樣算子和模糊因子;C為加性噪聲。圖像超分辨率重建就是由低分辨率圖像求解高分辨率圖像，是圖像退化的逆向過程，也是典型病態(tài)問題求解。

基于稀疏表示的圖像超分辨率重建算法是通過學習高低分辨率圖像之間存在的映射關(guān)系，求解高分辨率圖像，包括字典訓練與圖像重建兩個關(guān)鍵步驟。在字典訓練階段，通過對樣本庫圖像學習得到一對具映射關(guān)系的高低分辨率字典對。在圖像重建階段，通過低分辨率圖像和低分辨率字典求解稀疏系數(shù)，用稀疏系數(shù)和高分辨率字典重建高分辨率圖像塊。

2 本文算法

針對現(xiàn)有算法存在的字典單一、適用性低的問題，為了提高字典的適用性，使其對圖像局部特征更具有針對性，本文將圖像塊分為三類作為不同的訓練樣本，訓練出對圖像不同局部特征適用性更強的字典。本文算法主要步驟包括：1）圖像分塊并將圖像塊分類：先將圖像分塊，然后通過局部方差和熵將圖像塊分為平滑類、邊緣類和紋理類，并對紋理類圖像塊作卡通紋理分解;2）字典訓練：對不同類圖像塊用K-SVD算法進行字典訓練，得到不同類圖像塊的多個字典對;3）圖像重建：求解稀疏系數(shù)并與高分辨率字典對圖像重建。

2.1 圖像塊分類

將圖像分為8×8大小的圖像塊，根據(jù)局部方差和熵將圖像塊分成三類：平滑類、邊緣類和紋理類，并將邊緣和紋理類分別處理之后用作不同字典的訓練樣本。以這種方式生成的字典訓練不同類型的圖像塊對圖像細節(jié)及高頻信息恢復(fù)更為精確。局部方差值的大小反映了圖像塊中像素灰度值的差異變化，方差值越小圖像塊中像素差異越小，圖像更趨于平滑;熵值E反映圖像塊中像素灰度值的分布特征和空間特性，主要用于區(qū)分邊緣和紋理塊。

4 結(jié)語

針對現(xiàn)有的基于稀疏表示的圖像超分辨率重建算法存在的字典單一問題，本文提出了一種將圖像塊分類與圖像卡通紋理分解相結(jié)合的圖像超分辨率重建算法。該算法針對圖像局部特征塊生成更具有針對性的特征字典，能夠更好地重建圖像的邊緣部分和高頻紋理信息，不論是客觀評價還是視覺效果上都取得了較好的效果。如何在圖像塊分類階段更好地針對不同圖像設(shè)置合適的閾值，以及如何更好地將彩色圖像的色彩信息重建將是下一步研究方向。

參考文獻：

[1] ZHOU D. An edge-directed bicubic interpolation algorithm [C]// Proceedings of the 2010 3rd International Congress on Image and Signal Proncessing. Piscataway， NJ： IEEE， 2010： 1186-1189.

[2] 陶志強，李海林，張紅兵.基于新邊緣指導(dǎo)插值的迭代反投影超分辨率重建算法[J].計算機工程，2016，42（6）：255-260. （TAO Z Q， LI H L， ZHANG H B. Iterative back projection super resolution reconstruction algorithm based on new edge directed interpolation [J]. Computer Engineering， 2016， 42（6）： 255-260.）

[3] 曾凱，丁世飛.圖像超分辨率重建的研究進展[J].計算機工程與應(yīng)用，2017，53（16）：29-35. （ZENG K， DING S F. Advances in image super-resolution reconstruction [J]. Computer Engineering and Applications，2017，53（16）：29-35.）

[4] DONG C， CHEN C L， HE K， et al. Learning a deep convolutional network for image super-resolution [C]// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8692. Cham： Springer， 2014：184-199.

[5] KIM J， LEE J K， LEE K M. Deeply-recursive convolutional network for image super-resolution [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 1637-1645.

[6] LEDIG C， THEIS L， HUSZAR F， et al. Photo-realistic single image super-resolution using a generative adversarial network [C]// Proceedings of the 2017 Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2017： 105-114.

[7] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2861-2873.

[8] YANG J， WANG Z W， LIN Z， et al. Coupled dictionary learning for image super-resolution [J]. IEEE Transactions on Image Processing， 2012， 21：3467-3478.

[9] CANDES E J， WAKIN M B. An introduction to compressive sampling [J]. IEEE Signal Processing Magazine， 2008， 25（2）： 21-30.

[10] ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations [C]// Proceedings of the 7th International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010： 711-730.

[11] AHARON M， ELAD M， BRUCKSTEIN A， et al. K-SVD： an algorithm for designing of overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing， 2006， 54（11）： 4311-4322.

[12] RUBINSTEIN R， ZIBULEVSKY M， ELAD M. Efficient implementation of the K-SVD algorithm using batch orthogonal matching pursuit [R]. Technion， Israel： Technion University， 2008： 1-15.

Rubinstein R， Zibulevsky M， Elad M. Efficient Implementation of the K-SVD Algorithm Using Batch Orthogonal Matching Pursuit， Technical Report， Technion University， Israel， 2008.

[13] 張曉燕，秦龍龍，錢淵，等.一種改進的稀疏表示超分辨率重建算法[J].重慶郵電大學學報（自然科學版），2016，28（3）：400-405. （ZHANG X Y， QIN L L， QIAN Y， et al. An improved sparse representation of super resolution reconstruction algorithm [J]. Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2016， 28（3）： 400-405.）

[14] 王旸.超分辨率圖像重建效果優(yōu)化算法研究[J].控制工程，2018，25（5）：740-745.（WANG Y. An optimal algorithm for super-resolution image reconstruction [J]. Control Engineering of China， 2018， 25（5）： 740-745.）

[15] 徐川. 基于卡通紋理分解和稀疏表示的圖像超分辨率重建[J]. 軟件工程，2016，19（5）：2096-1472. （XU C. Image super-resolution reconstruction based on cartoon-texture decomposition and sparse representation [J]. Software Engineering， 2016， 19（5）： 2096-1472.）

[16] 練秋生， 張偉. 基于圖像塊分類稀疏表示的超分辨率重構(gòu)算法[J]. 電子學報，2012，40（5）：920-925.（LIAN Q S，ZHANG W. Image Super-resolution algorithms based on sparse representation of classified image patches [J]. Acta Electronica Sinica， 2012， 40（5）： 920-925.）