紋理約束的局部自學(xué)習(xí)單幅圖像超分辨率算法

譚臺哲，尚 鵬

(廣東工業(yè)大學(xué)計算機(jī)學(xué)院，廣東廣州 510006)

超分辨率算法的目的是利用一幅或者多幅低分辨率圖像來獲得一幅清晰的高分辨率圖像。由于高分辨率圖像在很多領(lǐng)域(例如視頻監(jiān)控、高清電視等)都有應(yīng)用，因此超分辨率一直是一個比較熱門的研究話題?，F(xiàn)有的超分辨率算法主要可以分為3類:基于插值、基于重建以及基于學(xué)習(xí)。

基于插值的超分辨率算法認(rèn)為圖像在空域里是平滑的，并且可以通過多項式函數(shù)充分逼近，例如雙線性、雙三次或者水平集函數(shù)［1－2］等。這種假設(shè)對自然圖像通常是不準(zhǔn)確的，因此過平滑的邊緣等缺陷經(jīng)常出現(xiàn)在插值后的高分辨率圖像中?；谥亟ǖ某直媛仕惴ɡ枚喾嗤瑘鼍暗牡头直媛蕡D像來恢復(fù)原始的高分辨率圖像［3－4］，這種算法是基于圖像的成像原理，其中每一幅低分辨率圖像對未知的高分辨率圖像都有一組線性約束，當(dāng)有足夠多的低分辨率圖像時，算法就可以恢復(fù)出相應(yīng)的高分辨率圖像，然而這種算法受限于兩倍的縮放因子［5－6］?；诓逯档乃惴ê突谥亟ǖ乃惴▋烧叨夹枰容^多的先驗(yàn)知識，其中與邊緣相關(guān)的先驗(yàn)知識用的比較多［7－11］，這主要是為了能夠得到比較清晰的邊緣。然而，邊緣在平滑和降采樣的過程中被削弱了，除此以外，在重建后的圖像中，一些邊緣點(diǎn)在實(shí)際的高分辨率圖像中根本不存在。

基于學(xué)習(xí)的超分辨率算法采用分塊的思想，并通過一組有代表性的圖像集來學(xué)習(xí)低分辨率圖像塊與高分辨率圖像塊之間的映射關(guān)系，利用這種映射關(guān)系得到高分辨率圖像。Freeman等［12－13］首次提出了基于學(xué)習(xí)的超分辨率算法，并且通過Markov網(wǎng)絡(luò)學(xué)習(xí)低分辨率圖像塊與高分辨率圖像塊之間的映射關(guān)系。文獻(xiàn)［14］采用了局部線性嵌入的方法。在文獻(xiàn)［15－16］中，學(xué)習(xí)的過程中融入稀疏表達(dá)的方法。由于超分辨率算法在重建紋理方面的不足，Sun等［17］提出了利用先驗(yàn)知識來重建紋理的方法，Xiong等［18］建議在超分辨率之前先對圖像特征進(jìn)行增強(qiáng)，文獻(xiàn)［19］利用了紋理上下文來學(xué)習(xí)重建超分辨率圖像，文獻(xiàn)［20］在學(xué)習(xí)的過程中結(jié)合了紋理上下文與稀疏表達(dá)的方法。近幾年，文獻(xiàn)［21－23］提出了基于自學(xué)習(xí)的超分辨率算法，這種算法只需要一幅輸入圖像即可。Glasner等［21］結(jié)合了傳統(tǒng)的和基于學(xué)習(xí)的超分辨率算法，F(xiàn)reedman等［22］發(fā)現(xiàn)并在超分辨率算法中運(yùn)用了局部縮放不變性原理。

本文提出了一種新的基于自學(xué)習(xí)的超分辨率算法，為了得到比較理想的紋理特征，算法利用了紋理上下文來搜索得到高分辨率圖像塊。實(shí)驗(yàn)結(jié)果證明，這種搜索方法可以引入更合理的紋理，從而使得超分辨率重建后的圖像看起來更自然真實(shí)。

1 局部自學(xué)習(xí)

Freeman等［22］發(fā)現(xiàn)，在自然圖像中很多奇異點(diǎn)(例如邊緣等)在以很小的比例縮放后是不變的，如圖1所示(原圖為彩色圖片)。黃色框中的圖像塊在下采樣之后與紅色框中圖像塊很像。在算法中，利用這種特性來學(xué)習(xí)低分辨率圖像塊與高分辨率圖像塊之間的映射關(guān)系。由于只是在一個局部區(qū)域進(jìn)行學(xué)習(xí)，因此很大程度上縮短了學(xué)習(xí)時間。

圖1 局部縮放不變性

假設(shè)原始圖像為I0，首先用雙三次插值函數(shù)u對其進(jìn)行插值，得到的插值圖像為

其中，L1缺少高頻成分，這些缺失的高頻成分將通過之后的局部自學(xué)習(xí)算法來獲得，學(xué)習(xí)的圖像塊從圖像L0中得到

式中:D指的是降采樣操作;G為高斯核。對于圖像L1中的每一個圖像塊p，在圖像L0中對應(yīng)的局部區(qū)域里搜索與之最為相似的圖像塊q(p)。圖像塊q的高頻成分為

式中:H0用于還原插值后圖像中缺失的高頻成分，即

具體流程如圖2所示。

圖2 局部自學(xué)習(xí)流程

2 紋理約束搜索

紋理上下文沒有一個明確的定義，它只是紋理特征的一種表現(xiàn)形式，與文獻(xiàn)［19－20］中紋理上下文定義不同，受到文獻(xiàn)［24］對生物視覺研究的啟發(fā)，本文定義一個圖像塊的紋理上下文為它對一個擁有4種濾波器的濾波器組的響應(yīng)，這4種濾波器分別為

式中:R表示圖像塊對濾波器的響應(yīng)。

這些濾波器可以有效地獲取圖像不同方向的空間結(jié)構(gòu)，如圖3所示。圖像塊S1與S2的紋理相似度可以通過χ2來衡量

圖3 圖像對不同濾波器的響應(yīng)

針對每一個圖像塊p，搜索找出與其紋理最為相似的5個圖像塊q，利用這5個圖像塊來還原缺失的高頻成分。

3 后處理

為了進(jìn)一步保證重建后得到的高分辨率圖像的準(zhǔn)確性，當(dāng)獲得一個高分辨率圖像Ih后，將其轉(zhuǎn)換成相應(yīng)低分辨率圖像并與原低分辨率圖像Il進(jìn)行對比。若二者之間有很大的差異，則說明得到的高分辨率圖像中有錯誤。為了糾正這些錯誤，首先構(gòu)造了一個能量函數(shù)

其梯度為

式中:U為上采樣操作，然后通過梯度下降法對其進(jìn)行優(yōu)化求解，從而保證得到的高分辨率圖像與原低分辨率圖像的一致性。

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的有效性，在計算機(jī)上做了仿真實(shí)驗(yàn)，對于彩色圖像，首先將它們從RGB空間轉(zhuǎn)換成YIQ空間。對于Y通道用相應(yīng)的超分辨率算法，對于I和Q通道直接用雙三次插值算法，然后再重新轉(zhuǎn)換成RGB空間。

以wheel和child兩幅標(biāo)準(zhǔn)圖像放大4倍為例來說明本算法的有效性，其中分塊大小7×7，與5×5和9×9大小的分塊相比，7×7大小的分塊比較適中，重建后的效果更為自然真實(shí)，如圖4所示。為了保證圖像塊之間的兼容性和平滑性，塊間重疊3個像素。以下分別從重建圖像的主觀質(zhì)量和客觀RMSE這兩個方面對本文算法加以分析。圖5對比了本文算法與雙三次插值算法以及文獻(xiàn)［25］中提出算法的效果，圖6對比了本文算法與文獻(xiàn)［10，13］以及文獻(xiàn)［21］提出的算法的效果。

圖4 不同分塊大小效果對比

圖5 wheel圖像效果對比

由圖5的對比效果可以看出本文算法可以重建得到比較清晰的邊緣，由圖6的對比效果可以看出本文算法在重建紋理方面效果較好(主要體現(xiàn)在帽子上)，因此重建后的圖像看起來更真實(shí)自然。

圖6 child圖像效果對比

5 結(jié)語

紋理約束的局部自學(xué)習(xí)單幅圖像超分辨率算法利用自然圖像中的局部縮放不變性原理在輸入圖像中的局部區(qū)域?qū)W習(xí)低分辨率圖像塊與高分辨率圖像塊之間的映射關(guān)系，從而很大程度上縮短了學(xué)習(xí)時間。同時，為了更好地重建紋理特征，算法利用紋理上下文來進(jìn)行搜索，實(shí)驗(yàn)結(jié)果表明算法重建的高分辨率圖像在視覺效果上有明顯的提高，是一種簡單有效的算法，具有較高的實(shí)用價值。

:

［1］MORSE B，SCHWARTZWALD D.Image magnification using level set reconstruction［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai，USA:IEEE Press，2001:333－340.

［2］PARK S，PARK M，KANG M.Super－resolution image reconstruction:a technical overview［J］.IEEE Signal Processing Magazine，2003(20):21－36.

［3］IRANI M，PELEG S.Improving resolution by image registration［J］.Computer Vision，Graphics and Image Processing，1991，53(3):231－239.

［4］FARSIU S，ROBINSON M，ELAD M，et al.Fast and robust multiframe super resolution［J］.IEEE Trans.Image Processing，2004，13(10):1327－1344.

［5］BAKER S，KANADE T.Limits on super－resolution and how to break them［J］.IEEE Trans.PAMI，2002，24(9):1167－1183.

［6］LIN Z，SHUM H.Fundamental limits of reconstruction－based superresolution algorithms under local translation［J］.IEEE Trans.PAMI，2004，26(1):83－97.

［7］LI X，ORCHARD M.New edge directed interpolation［J］.IEEE Trans.Image Processing，2001，10(10):1521－1527.

［8］WANG Q，WARD R.A new orientation－adaptive interpolation method［J］.IEEE Trans.Image Processing，2007，16(4):889－900.

［9］TAI Y，TONG W，TANG C.Perceptually－inspired and edge－directed color image super－resolution［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York，USA:IEEE Press，2006:1948－1955.

［10］FATTAL R.Image upsampling via imposed edge statistics［J］.ACM Trans.Graphics，2007，26(3):95.

［11］SUN J，XU Z，SHUM H.Image super－resolution using gradient profile prior［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Anchorage，USA:IEEE Press，2008:211－219.

［12］FREEMAN W，PASZTOR E，CARMICHAEL O.Learning low－level vision［J］.International Journal of Computer Vision，2000，40(1):25－47.

［13］FREEMAN W，JONES T，PASZTOR E.Example－based super－resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56－65.

［14］CHANG H，YEUNG D，XIONG Y.Super－resolution through neighbor embedding［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004.Washington，USA:IEEE Press，2004:275－282.

［15］YANG J，WRIGHT J，HUANG T，et al.Image super－resolution via sparse representation of raw image patches［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Anchorage，USA:IEEE Press，2008:156－162.

［16］YANG J，WRIGHT J，HUANG T，et al.Image super－resolution via sparse representation［J］.IEEE Trans.Image Processing，2010，19(11):2861－2873.

［17］SUN J，ZHENG N，TAO H，et al.Image hallucination with primal sketch priors［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Madison，USA:IEEE Press，2003:729－736.

［18］XIONG X，SUN X，WU F.Image hallucination with feature enhancement［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Miami，USA:IEEE Press，2009:131－139.

［19］SUN J，ZHU J，TAPPEN M.Context－constrained hallucination for image super－resolution［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco，USA:IEEE Press，2010:96－101.

［20］LIANG Y，YUEN P，LAI J.Image super－resolution by textural context constrained visual vocabulary［J］.Signal Processing:Image Communication，2012，27(10):1096－1108.

［21］GLASNER D，BAGON S，IRANI M.Super－resolution from a single image［C］//Proc.IEEE International Conference on Computer Vision.Kyoto，Japan:IEEE Press，2009:349－356.

［22］FREEDMAN G，F(xiàn)ATTA R.Image and video upscaling from local selfexamples［J］.ACM Trans.Graphics，2009，28(4):106.

［23］YANG C，HUANG J，YANG M.Exploiting self－similarities for single frame super－resolution［C］//Proc.Asian Conference on Computer Vision.Queenstown，New Zealand:［s.n.］，2010:497－510.

［24］BERGEN J，ADELSON E.Early vision and texture perception［J］.Nature，1988，333(6171):363－364.

［25］SHAN Q，LI Z，JIA J，et al.Fast image/video upsampling［EB/OL］.［2013－07－10］.http://www.cse.cuhk.edu.hk/～ leojia/projects/upsampling/.