基于圖像塊分類(lèi)處理的快速單圖超分辨率重建*

倪　浩，阮若林，劉芳華，王建峰

（1.湖北科技學(xué)院 電子與信息工程學(xué)院，湖北 咸寧 437100；2.湖北科技學(xué)院 生物醫(yī)學(xué)工程學(xué)院，湖北 咸寧 437100；3.湖北科技學(xué)院 網(wǎng)絡(luò)管理中心，湖北 咸寧 437100）

基于圖像塊分類(lèi)處理的快速單圖超分辨率重建*

倪浩1，阮若林2，劉芳華1，王建峰3

（1.湖北科技學(xué)院 電子與信息工程學(xué)院，湖北 咸寧 437100；2.湖北科技學(xué)院 生物醫(yī)學(xué)工程學(xué)院，湖北 咸寧 437100；3.湖北科技學(xué)院 網(wǎng)絡(luò)管理中心，湖北 咸寧 437100）

基于稀疏編碼的單幅圖像超分辨率重建效果較好，但其計(jì)算量大、計(jì)算復(fù)雜，較低的超分速度阻礙了實(shí)時(shí)應(yīng)用。為提高超分速度，提出一種基于圖像塊處理的快速超分辨率重建算法。先將特征提取后的圖像塊用均值和方差對(duì)分成 3類(lèi)，再分別運(yùn)用不同的方法對(duì)圖像塊進(jìn)行超分處理，如雙三次插值（Bicubic）、鄰域嵌入（NE）和稀疏編碼超分法（SCSR）等。另外還運(yùn)用主成分分析法（PCA）對(duì)圖像塊進(jìn)行降維。實(shí)驗(yàn)中與經(jīng)典的SCSR方法相比較，在獲得幾乎相同的PSNR值時(shí)，超分耗時(shí)減少了17.2 s。新方法的超分效果與經(jīng)典的NE和SCSR方法處于同一水平，超分速度得到了較顯著的提高。

超分辨率；圖像塊；稀疏編碼；PCA

0　引言

超分辨率重建（Super-Resolution，SR）技術(shù)是利用一幅或多幅低分辨率圖像生成一幅高分辨率圖像。實(shí)際應(yīng)用中需要用到這種分辨率增強(qiáng)技術(shù)，如在高分辨率顯示設(shè)備上顯示由低分辨率傳感器捕獲的圖像時(shí)，可減少視覺(jué)上的偽影。文中主要研究單幅圖像的超分算法，輸入的低分圖像只有一幅，另外還有多幅各類(lèi)圖像組成的訓(xùn)練集，通過(guò)字典訓(xùn)練和圖像重建后形成預(yù)測(cè)的高分圖像，是一種基于學(xué)習(xí)的方法。

FREEMAN W T[1]利用馬爾科夫隨機(jī)場(chǎng)（MRF）建立高分圖像和低分圖像間的聯(lián)系用于超分重建。CHANG H[2]等應(yīng)用“流形學(xué)習(xí)”的理論將局部線(xiàn)性嵌入（Local Linear Embedding，LLE）用于超分重建，提出鄰域嵌入（Neighbor Embedding，NE）法，所需訓(xùn)練樣本較少，但會(huì)導(dǎo)致過(guò)擬合和欠擬合現(xiàn)象。以此為基礎(chǔ)，GAO X[3]等提出將稀疏編碼鄰域選擇算法應(yīng)用于圖像重建，雖然解決了NE法的問(wèn)題，但重建復(fù)雜結(jié)構(gòu)圖像時(shí)效果不佳。YANG J C[4-5]等將機(jī)器學(xué)習(xí)引入到超分重建中，提出利用字典學(xué)習(xí)的稀疏編碼超分算法(Sparse Coding Super Resolution，SCSR)。ZEYDE R[6]和 YANG J[7]等在不同程度上提升了超分速度或效果。在眾多的超分辨率重建研究中，學(xué)者們都用訓(xùn)練樣本來(lái)重建高分圖像，但大多數(shù)學(xué)者并不太關(guān)注圖像各區(qū)域的區(qū)別和訓(xùn)練樣本的組織問(wèn)題，而這些方面可以為減少超分過(guò)程中的計(jì)算量，提高超分速度，打開(kāi)新的思路。

1　基于稀疏編碼的超分辨率重建

稀疏編碼的目的是用一組基元的線(xiàn)性加權(quán)組合來(lái)近似表示輸入信號(hào)x∈Rn。這些基元是一些基礎(chǔ)信號(hào)，往往是從一個(gè)超完備字典 D∈Rn×K(n＜K)中選出的。稀疏編碼就是自動(dòng)找出較好的基元組合的方法，因此單幅圖像的超分辨率重建問(wèn)題可以表示為：

其中，pk為第k個(gè)圖像塊，D為超完備字典，qk為稀疏系數(shù)。H和S分別為模糊和下采樣操作數(shù)。從超分重建的角度看，S可理解為將輸入低分圖像Y放大s倍后得到與高分圖像相同尺寸的超分圖像X*，并使其與原始高分圖像X的誤差最小。

1.1稀疏編碼解決方案

一些典型的超分重建問(wèn)題解法中，常將式(1)稀疏先驗(yàn)中無(wú)確定解析式的 l0－范數(shù)近似放松至 l1－范數(shù)，再引入拉格朗日乘子式來(lái)形成最小化表達(dá)式[8]：

其中F為特征提取操作數(shù)，用來(lái)提取低分輸入圖像塊的邊角信息，正則化參數(shù)λ為平衡式中兩項(xiàng)的常數(shù)。以稀疏表示理論為基礎(chǔ)，YANG J C[4]和 He等人提出聯(lián)合字典學(xué)習(xí)方法訓(xùn)練生成超完備字典，其中字典訓(xùn)練和圖像重建階段分別使用K－SVD和OMP算法。雖然這些基于稀疏編碼的超分算法能得到比較好的高分圖像，但是耗時(shí)較長(zhǎng)，制約了其實(shí)時(shí)應(yīng)用。

1.2加速超分辨率重建的思路

自然圖像中包含高頻和低頻部分。前者為邊緣和角等跳變幅度較大區(qū)域，后者為相對(duì)平滑區(qū)域。圖像放大時(shí)，插值法比應(yīng)用稀疏編碼的方法速度快得多，但沿圖像邊角會(huì)產(chǎn)生較明顯的偽影，如振鈴、鋸齒和模糊等。盡管整體超分效果不如稀疏編碼法，但它在平滑區(qū)域的超分效果也非常好。YANG J C[4]分別用Bicubic和SCSR放大圖像“Lena”中的近 2500個(gè)圖像塊，并對(duì)放大圖像塊的RMSE值進(jìn)行對(duì)比。結(jié)果表明，10%的圖像塊 Bicubic方法比SCSR效果更好，28%的圖像塊SCSR方法更好，分布在圖像的邊角、輪廓部分，如Lena的帽檐和臉頰邊緣。而其他的62%圖像塊用兩種方法的效果基本相同。因此，可將特征提取后的高頻圖像塊按照一定的標(biāo)準(zhǔn)分成幾類(lèi)，再以平衡超分效果和速度為依據(jù)，用不同的方法處理相應(yīng)類(lèi)別的圖像塊，提高圖像整體的超分速度。

此外，一幅圖像是由成千上萬(wàn)的圖像塊組成的，對(duì)于每個(gè)圖像塊，可以通過(guò)減少它的維度來(lái)減少圖像塊處理中的運(yùn)算量。大量圖像塊處理時(shí)，維度較少的圖像塊累積節(jié)約下來(lái)的運(yùn)算時(shí)間能為提高超分重建的速度作出較大的貢獻(xiàn)[6]。

2　圖像塊分類(lèi)處理超分算法

文中提出的基于圖像塊分類(lèi)處理的超分辨率重建算法是一種改進(jìn)的稀疏編碼超分算法（Proposed Sparse Coding Super－Resolution，PSCSR），包括圖像訓(xùn)練和圖像重建兩部分，具體算法如下：

(1)超分訓(xùn)練階段：

④聯(lián)合字典訓(xùn)練得到高分字典Dh和低分字典Dl。

(2)超分重建階段：

①根據(jù)所選閾值對(duì)將圖像塊利用均值和方差進(jìn)行分類(lèi)，并予以標(biāo)記；

②Bicubic插值處理第一類(lèi)圖像塊；

③用NE超分放大第二類(lèi)圖像塊；

④利用Dl在第三類(lèi)圖像塊上計(jì)算其稀疏表示；

⑤將求得的稀疏系數(shù)和Dh相乘來(lái)恢復(fù)第三類(lèi)圖像的目標(biāo)高分圖像塊；

⑦結(jié)合以上3種圖像塊處理方法，形成目標(biāo)高分圖像。

2.1圖像塊降維

圖像塊分類(lèi)處理超分算法利用主成分分析（Principal Component Analysis，PCA）來(lái)對(duì)每個(gè)圖像塊進(jìn)行降維處理。PCA是統(tǒng)計(jì)模式識(shí)別中一種典型的特征提取方法，提取的新特征是原始信號(hào)特征的線(xiàn)性函數(shù)，建立的低維子空間能最好地反應(yīng)數(shù)據(jù)點(diǎn)集和平均值之間的區(qū)別。空間中的維度越少，圖像模式間的距離越小，可避免高維空間中分類(lèi)的復(fù)雜度。

圖像超分時(shí)，從劃分好的低分圖像塊開(kāi)始，所有圖像塊的總像素均為，經(jīng)過(guò)插值操作數(shù)Q和R 線(xiàn)性濾波器集后，可以表示為nR維的。結(jié)果圖像塊的實(shí)際維度（n/s2）不會(huì)增加，而且它比nR要小得多，使計(jì)算量過(guò)大。降維的主要作用在于節(jié)省訓(xùn)練和超分時(shí)的計(jì)算量。因此，在轉(zhuǎn)到字典學(xué)習(xí)階段之前的最后一步就是減少輸入低分圖像塊{}k的維度。PCA算法應(yīng)用到這些圖像塊向量，尋找一個(gè)能夠投影圖像塊的子空間，并保留99.9%的平均能量。這種投影操作將圖像塊轉(zhuǎn)換為降維后的特征向量，定義 B∈ Rnl×nR，則可表示為。

2.2圖像塊分類(lèi)

將低分圖像劃分成有一定重疊區(qū)域的p×p圖像塊集，則每個(gè)高頻圖像塊絕對(duì)像素值均值為：

其中，fk(i，j)是低分圖像的高頻部分第k個(gè)圖像塊的絕對(duì)像素值。而低分圖像的高頻圖像塊的均方差可表示為：

低分圖像的每個(gè)高頻圖像塊為pk，均值和方差對(duì)記為(Mk，MNk)，其中k＝1，…，mn，每個(gè)圖像塊的均值和方差均用式(3)和(4)計(jì)算。根據(jù)圖像特點(diǎn)，選取一個(gè)均值、方差閾值對(duì)(Mky，MNky)，與每個(gè)圖像塊的均值和方差對(duì)比較，并用MSk標(biāo)記如下：

這樣，所有高頻圖像塊均按均值和方差閾值劃分為3類(lèi)。為驗(yàn)證此分類(lèi)法，實(shí)驗(yàn)將“Lena”劃分為若干個(gè)相同大小的圖像塊，設(shè)置均值和方差閾值對(duì)為（40，400），則圖像塊被分為3類(lèi)。為便于標(biāo)注，第1類(lèi)圖像塊的亮度值不變，第2類(lèi)和第3類(lèi)的亮度分別減少和增加50。圖1中可看出，亮部（第3類(lèi)）集中在邊角區(qū)域，暗部集中在連續(xù)變化區(qū)域（第2類(lèi)）。

圖1　設(shè)定{Mk，MNk}對(duì)圖像塊分類(lèi)結(jié)果

2.3圖像塊處理

按照MSk標(biāo)記的圖像塊，根據(jù)算法2按圖像塊類(lèi)型將不同區(qū)域的圖像塊用不同的方法進(jìn)行處理[9]。

（1）第1類(lèi)：表示圖像特征的相對(duì)平坦區(qū)域，其高頻部分可看作是高頻噪聲，只需用最快的 Bicubic算法將這類(lèi)圖像塊插值形成相應(yīng)的高分圖像塊。

（2）第2類(lèi)：表示圖像的連續(xù)變化區(qū)域，為平衡超分速度和超分效果，選用NE法重建高分圖像塊。

（3）第3類(lèi)：表示圖像邊角和紋理。為提升圖像邊緣的銳度和整體的清晰度，使用相對(duì)精確的SCSR算法來(lái)生成高分圖像塊。

在圖像重建階段，所預(yù)測(cè)的高分圖像塊拼接起來(lái)重建預(yù)測(cè)的高分圖像X*，在重疊區(qū)域?qū)⒚總€(gè)像素多個(gè)預(yù)測(cè)值的平均值作為最終的復(fù)原值[10]。

3　實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在一臺(tái)英特爾 Core i5、1.6 GHz的筆記本電腦上用 MATLAB完成。除明確指出外，所設(shè)置的基本參數(shù)都相同。圖像訓(xùn)練中總共采樣10 000個(gè)低分圖像塊，大小為5×5，放大倍數(shù)s＝3。利用隨機(jī)梯度遞減在字典學(xué)習(xí)階段所得字典對(duì)尺寸為 k＝1 024，正則化參數(shù)取 λ＝0.1。運(yùn)用文獻(xiàn)[4]中的方法提取低分圖像的特征，F(xiàn)使用f1＝[－1，0，1]，f2＝，f3＝[1，0，－2，0，1]，f4＝4個(gè)濾波器進(jìn)行求導(dǎo)。

3.1超分圖像效果對(duì)比

比較結(jié)果圖像和原始高分圖像的相關(guān)性時(shí)，利用通用的PSNR計(jì)算方法來(lái)量化不同超分算法的效果。圖2中大多數(shù)實(shí)驗(yàn)圖像使用 PSCSR方法比 SCSR的效果稍有下降。因?yàn)樗诤?jiǎn)化運(yùn)算和降維的處理過(guò)程中會(huì)丟失一些圖像信息。但從整體上看，PSCSR的方法的效果幾乎和SCSR方法相同。所有實(shí)驗(yàn)圖像的PSCSR效果均優(yōu)于NE。而在第2幅圖像“Zebra”中，由于存在大量的紋理細(xì)節(jié)，用SCSR進(jìn)行圖像放大時(shí)產(chǎn)生了較嚴(yán)重的偽影，其PSNR值比PSCSR還要低。

圖2　實(shí)驗(yàn)圖像及其PSNR值對(duì)比

圖3　超分結(jié)果對(duì)比，上圖為 Zebra，下圖為 Girl，s＝3

圖3中為局部放大的超分目標(biāo)圖像，除了Bicubic法外，其余3種方法的超分效果在視覺(jué)上處于同一水平。在“Zebra”圖像中，SCSR算法在恢復(fù)圖像邊角的銳度方面表現(xiàn)最好，但同時(shí)伴隨了較為嚴(yán)重的鋸齒和偽影，導(dǎo)致圖像紋理發(fā)生了扭曲和形變。PSCSR方法結(jié)果看起來(lái)較為模糊，但是相對(duì)于其他方法，圖中斑馬脖子上的紋理細(xì)節(jié)恢復(fù)得更好。在另一幅圖像“Girl”中，后 3種算法的超分效果非常接近。圖中女孩的眼睛和眼珠的輪廓部分都能夠清晰地還原出來(lái)。這些與圖3中的PSNR值表現(xiàn)是一致的。

3.2超分速度對(duì)比

從表1中可以看出，超分耗時(shí)與圖像尺寸密切相關(guān)，圖像越大，耗時(shí)越長(zhǎng)，反之亦然。3種超分方法的超分耗時(shí)的關(guān)系可以描述為：tPSCSR＜tNE＜tSCSR。文中提出的PSCSR方法通過(guò)圖像分類(lèi)處理和圖像降維來(lái)減少圖像超分過(guò)程中的計(jì)算量，理論上可以以此來(lái)提高超分速度。表1的數(shù)據(jù)很好地證明了這一點(diǎn)。PSCSR方法所消耗的時(shí)間比文中提到的SCSR、NE等典型算法都要少。5幅測(cè)試圖像的超分速度平均下來(lái)，PSCSR能夠比 SCSR快17.2 s，比NE快12.1 s。

表1　超分耗時(shí)對(duì)比

4　結(jié)論

為提高基于實(shí)例學(xué)習(xí)的單圖超分辨率重建算法的速度，文中提出了一種基于圖像塊分類(lèi)處理的快速超分重建算法。一方面，根據(jù)各種典型算法的超分速度和它們對(duì)圖像中各區(qū)域的超分效果分析，選取圖像塊的均值和方差閾值，將圖像塊按不同的均值和方差范圍分成3類(lèi)，分別采用Bicubic、NE和SCSR 3種方法進(jìn)行圖像塊重建，相對(duì)于完全采用稀疏編碼的方法，減少了部分計(jì)算量。另一方面，引入PCA對(duì)每個(gè)圖像塊進(jìn)行降維處理，維度較少的圖像塊處理過(guò)程中計(jì)算量也相對(duì)較少。實(shí)驗(yàn)表明，文中算法的超分效果與經(jīng)典的SCSR和NE保持在同一水平的同時(shí)，超分速度有較大幅度的提升。在后續(xù)研究中，可以從優(yōu)化稀疏編碼的復(fù)雜度入手，提高計(jì)算效率，從而進(jìn)一步提高超分重建的速度。

[1]FREEMAN W T，PASZTOR E C，JONES T R，et al. Example－based super－resolution[J]．IEEE Computer Graphics and Applications，2002，22(2)：56－65.

[2]CHANG H，YEUNG D，XIONG Y M.Super－resolution through neighbor embedding[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Washington.D.C，USA：IEEE，2004：275－282.

[3]GAO X，ZHANG K，TAO D，et al.Joint learning for singleimage super－resolution via a coupled constraint[J].IEEE Transactions on Image Processing，2012，21(2)：469－480.

[4]YANG J C，WRIGHT J，MA Y.Image super－resolution via sparse representation[J]．IEEE Transactions on Image Procesing，2010，19(11)：2861－2873.

[5]YANG J C，WRIGHT J，HUANG T，et al.Coupled dictionary training for image super－resolution[J].IEEE Transactions on Image Processing，2012，21(8)：3467－3478.

[6]ZEYDE R，ELAD M，PROTTER M.On single image scaleup using sparse－representations[C].Proceedings of the 7th International Conference on Curves and Surfaces Avignon，F(xiàn)rance：Springer，2010：1－20.

[7]YANG J，LIN Z，COHEN S.Fast image super－resolution based on in－place example regression[C].Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2013，Portland，2013：1059－1066.

[8]練秋生，張偉.基于圖像塊分類(lèi)稀疏表示的超分辨率重構(gòu)算法[J].電子學(xué)報(bào)，2012，40(5)：920－925.

[9]Xie Qinlan，Chen Hong，Cao Huimin.Improved examplebased single－image super－resolution[C].Image and Signal Processing(CISP)，2010，3：1204－1207.

[10]潘宗序，禹晶，肖創(chuàng)柏，等.基于自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率算法[J].電子學(xué)報(bào)，2015，43(2)：209－216.

阮若林（1974－），通信作者，男，博士，副教授，主要研究方向：視音頻編碼，E－mail：rlruan@qq.com。

劉芳華（1982－），女，碩士，講師，主要研究方向：計(jì)算機(jī)仿真，圖像處理。

Fast super-resolution for single image based on patch classification and processing

Ni Hao1，Ruan Ruolin2，Liu Fanghua1，Wang Jianfeng3
(1.School of Electronic and Information Engineering,Hubei University of Science and Technology，Xianning 437100，China；2.School of Biomedical Engineering，Hubei University of Science and Technology，Xianning 437100，China；3.Center of Network Management，Hubei University of Science and Technology，Xianning 437100，China)

The performance of single image super-resolution via sparse coding is promising.But the relatively low speed hinders its real-time application because of the large and complex computation.This paper presents a Proposed Sparse Coding Super-Resolution(PSCSR)algorithm to promote the super-resolution speed.The new method classifies the feature extracted image patches into three classifications with the finite pair of mean and variance.After that,it employs different methods to recover different classified patches,such as Bicubic,NE and SCSR.Additionally,it uses PCA to reduce the patch dimensionalities.In the experiments,the new method is 17.2 s faster than the classic SCSR while the PSNRs are nearly the same.The new method is faster than NE and SCSR with almost the same super-resolution performance.

super-resolution；image patch；sparse coding；PCA

TP391

A

10.16157/j.issn.0258-7998.2015.10.039

國(guó)家自然科學(xué)基金（61271256）；湖北省高等學(xué)校優(yōu)秀中青年科技創(chuàng)新團(tuán)隊(duì)計(jì)劃項(xiàng)目（T201513）；湖北省自然科學(xué)基金項(xiàng)目（2015CFB452）；湖北省教育廳科研計(jì)劃指導(dǎo)性項(xiàng)目（B2015080）

（2015－06－11）

倪浩（1981－），男，碩士，講師，主要研究方向：機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)。

中文引用格式：倪浩，阮若林，劉芳華，等.基于圖像塊分類(lèi)處理的快速單圖超分辨率重建[J].電子技術(shù)應(yīng)用，2015，41 (10)：143-146.

英文引用格式：Ni Hao，Ruan Ruolin，Liu Fanghua，et al.Fast super-resolution for single image based on patch classification and processing[J].Application of Electronic Technique，2015，41(10)：143-146.