多級(jí)字典學(xué)習(xí)的圖像超分辨率算法

范九倫, 史香曄, 徐　健, 張小丹

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

多級(jí)字典學(xué)習(xí)的圖像超分辨率算法

范九倫, 史香曄, 徐健, 張小丹

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

摘要:改進(jìn)單級(jí)字典學(xué)習(xí)的圖像超分辨率算法，給出一種多級(jí)字典學(xué)習(xí)的圖像超分辨率算法。通過多對(duì)字典的訓(xùn)練，記錄不同層級(jí)退化圖像和原始高分辨率圖像之間的關(guān)系，由多對(duì)字典預(yù)測(cè)給定低分辨率圖像不同層級(jí)丟失的高頻信息，將預(yù)測(cè)出的高頻信息與給定的低分辨率圖像相加，得到逐級(jí)增強(qiáng)的高分辨率圖像。在訓(xùn)練圖像集相同的條件下，對(duì)于無噪聲且沒有壓縮的低分辨率圖像，改進(jìn)算法相比單級(jí)字典學(xué)習(xí)的圖像超分辨率算法，恢復(fù)出的高分辨率圖像的峰值信噪比可平均提高約0.6 dB。

關(guān)鍵詞:圖像超分辨率；稀疏表示；字典訓(xùn)練

利用圖像超分辨率(Super-resolution，SR)算法，可將一個(gè)或多個(gè)低分辨率(Low-resolution，LR)圖像重建出高分辨率(High-resolution，HR)圖像[1-3]。SR算法分為基于差值、基于重構(gòu)和基于學(xué)習(xí)的方法。

基于插值的方法[4]包括雙線性插值法和雙三次插值法[5]。這類方法雖然簡(jiǎn)單高效，但是重建的HR圖像非常模糊，而且邊緣處有振鈴和鋸齒的人工痕跡，故不適合重建具有豐富紋理的圖像；利用方向插值算法[6-7]重建HR圖像，可以豐富放大后圖像的紋理信息，但其恢復(fù)能力有限?；谥貥?gòu)的方法通過降質(zhì)模型重建HR圖像，降質(zhì)模型選擇不佳可能會(huì)使圖像質(zhì)量受損。

基于學(xué)習(xí)的方法假設(shè)LR圖像中缺少的細(xì)節(jié)可從對(duì)訓(xùn)練樣本的學(xué)習(xí)中獲得，不受模型選擇所限，根據(jù)它可能涉及的稀疏局部模型[8-11]假設(shè)，圖像塊都能用字典中少量原子的線性組合表示[12]，不過，采用單級(jí)字典重建的HR圖像會(huì)在圖像邊緣部分引入人工痕跡。

為了減少基于稀疏表示的圖像放大(SingleImageScale-UpUsingSparse-Representations,SR_SISU)算法[12]帶來的人工痕跡，本文擬給出一種基于多級(jí)字典學(xué)習(xí)的圖像超分辨率(Multi-dictionariesLearningBasedImageSuperResolution,ML_SR)算法，借助記錄著不同層級(jí)退化圖像和原始HR圖像之間關(guān)系的多對(duì)字典，預(yù)測(cè)給定的LR圖像不同層級(jí)丟失的高頻信息，實(shí)現(xiàn)對(duì)LR圖像的增強(qiáng)。

1ML_SR算法

SR_SISU算法將LR/HR圖像映射到同一子空間，利用其在子空間稀疏表示系數(shù)相同的關(guān)系，重建LR圖像對(duì)應(yīng)的HR圖像,即

‖ai‖0≤T (i=1,2,…,P)。其中Dh為HR字典，Dl為LR字典，ai為稀疏表示系數(shù)。

相對(duì)于SR_SISU算法，ML_SR算法利用α對(duì)LR/HR字典，逐級(jí)增強(qiáng)重建圖像的質(zhì)量(α=3)。ML_SR算法分為訓(xùn)練和測(cè)試兩個(gè)階段。

訓(xùn)練階段包括特征提取和字典學(xué)習(xí)兩個(gè)部分。特征提取是用β個(gè)濾波器從水平和垂直兩個(gè)方向提取圖像特征，從而得到β個(gè)特征圖像。如此既可減少算法執(zhí)行時(shí)間，又能在后續(xù)字典學(xué)習(xí)時(shí)，根據(jù)不同特征對(duì)字典分類，重建出質(zhì)量更好的HR圖像。字典學(xué)習(xí)是利用提取的低頻特征和計(jì)算的高頻分量，借助K均值奇異值分解方法訓(xùn)練字典，以得出α對(duì)HR/LR字典。

測(cè)試階段是利用提取特征后的LR圖像和α對(duì)HR/LR字典，重建出逐級(jí)增強(qiáng)的高分辨率圖像。

1.1特征提取

1.1.1第一類特征提取算法

1.1.2第二類特征提取算法

1.2降維

(1)

1.3字典學(xué)習(xí)

‖qs,k‖0≤L。

(2)

其中矩陣

Q=[qs,1, qs,2, …, qs,N]。

為了得到公式(2)的解，可將HR字典Dh表示為

1.4測(cè)試過程

具體測(cè)試步驟描述如下。

1.5多級(jí)字典訓(xùn)練算法和重建算法

采用多級(jí)字典訓(xùn)練算法訓(xùn)練字典，得到3對(duì)HR/LR字典,并用所得字典來重建HR測(cè)試圖像。

(1) 多級(jí)字典訓(xùn)練算法

輸入HR測(cè)試圖像集{Hs}。

步驟1將HR測(cè)試圖像集{Hs}隨機(jī)分為3組，即{H1，s}、{H2，s}和{H3，s}。

(2) 多級(jí)重建算法

輸入LR圖像Lt。

2實(shí)驗(yàn)結(jié)果與分析

為得到質(zhì)量更佳的HR圖像，用4個(gè)濾波器即

提取LR圖像水平和垂直方向的一階和二階特征。設(shè)置圖像的放大倍數(shù)為3，字典對(duì)數(shù)α=3，塊大小n=81，降維至nl=30，字典原子m=1000，字典原子中元素的個(gè)數(shù)L=3。因人類視覺系統(tǒng)對(duì)亮度變化更敏感，故只對(duì)亮度成分使用ML_SR算法。

為證明ML_SR算法的有效性，分別與SR_ISR[14]和SR_SISU[12]兩處單級(jí)字典學(xué)習(xí)的SR算法，在視覺和峰值信噪比兩個(gè)準(zhǔn)則上作對(duì)比。

實(shí)驗(yàn)所用測(cè)試圖像如圖1所示。3種對(duì)比算法的峰值信噪比如表1所示，其中ML_SR-2和ML_SR-3分別表示2級(jí)字典學(xué)習(xí)算法和3級(jí)字典學(xué)習(xí)算法。對(duì)3幅測(cè)試圖像Foreman、Pepper和Zebra，通過不同算法放大3倍的視覺效果分別如圖2、圖3和圖4所示。

圖1　測(cè)試圖像

算法ForemanZebraPepperFlowersMonarchPpt3BridgeSR_ISR32.038627.953133.325028.248730.713324.977724.8240SR_SISU33.139128.458734.003528.402231.049525.130525.0175ML_SR-234.361228.726434.382628.605531.440125.617425.1382ML_SR-335.237728.748134.416628.649231.521425.718225.1611

圖2　圖像Foreman放大3倍的效果

圖4 圖像Pepper放大3倍的效果

由表1可見：對(duì)于圖像Foreman，ML_SR算法要比SR_ISR算法高約3.2dB，比SR_SISU算法高約2.1dB；對(duì)于圖像Zebra，ML_SR算法比SR_ISR算法高約0.8dB，比SR_SISU算法高約0.3dB;對(duì)于圖像Pepper，ML_SR算法比SR_ISR算法高約1.1dB，比SR_SISU算法高約0.4dB;對(duì)于圖像Flowers、Monarch、Ppt3和Bridge，ML_SR算法比SR_ISR算法分別高約0.4dB、0.8dB、0.8dB和0.3dB， 比SR_SISU算法分別高約0.2dB、0.5dB、0.6dB和0.1dB。總體來說，ML_SR算法比SR_ISR算法平均高約1.1dB，比SR_SISU算法平均高約0.6dB,因此，ML_SR算法優(yōu)于SR_ISR算法和SR_SISU算法。

從圖2可見：SR_ISR算法恢復(fù)了圖像的大部分高頻細(xì)節(jié)，但重建后的圖像看起來比較模糊；SR_SISU算法雖然提高了圖像的分辨率，但引入了大量的人工痕跡；ML_SR算法在墻的縫隙處人工痕跡明顯減少，而且整幅圖像紋理清晰，細(xì)節(jié)豐富。從圖3可見:SR_ISR算法恢復(fù)的辣椒瓣比較光滑;SR_SISU算法恢復(fù)出的辣椒瓣比SR_ISR算法的恢復(fù)效果細(xì)節(jié)更豐富，但有點(diǎn)模糊；ML_SR恢復(fù)出的辣椒瓣清晰且細(xì)節(jié)豐富。從圖4可見：SR_ISR算法恢復(fù)出斑馬腹部上的大部分細(xì)節(jié)；SR_SISU算法恢復(fù)出的斑馬腹部過于尖銳；ML_SR恢復(fù)的斑馬腹部與原圖像接近，都較平坦。

通過以上圖表可知，ML_SR算法確實(shí)能夠有效地重建出質(zhì)量更好、細(xì)節(jié)更豐富和紋理更清晰的HR圖像。

3結(jié)語

給出一種多級(jí)字典學(xué)習(xí)的圖像超分辨率算法,使用多對(duì)HR/LR字典對(duì)測(cè)試圖像進(jìn)行多級(jí)增強(qiáng)。實(shí)驗(yàn)結(jié)果表明，隨著增強(qiáng)級(jí)別的提高，HR圖像的清晰度更高、細(xì)節(jié)更豐富，且人工痕跡更少。與單級(jí)字典學(xué)習(xí)的SR算法相比，所給ML_SR算法優(yōu)勢(shì)明顯。多級(jí)字典學(xué)習(xí)的算法能有效提高輸出圖像質(zhì)量，可用于低照度圖像增強(qiáng)和去圖像模糊。另外，稀疏表示模型能有效描述兩個(gè)不同空間信號(hào)之間的關(guān)系，可應(yīng)用于研究兩個(gè)不同空間信號(hào)間的轉(zhuǎn)換。

參考文獻(xiàn)

[1]范九倫, 王彥梓, 徐健，等. 基于核典型相關(guān)分析的圖像放大算法[J/OL]. 西安郵電大學(xué)學(xué)報(bào),2015, 20(2):52-57[2015-10-11].http://www.cnki.net/kcms/doi/10.13682/j.issn.2095-6533.2015.02.011.html.

[2]XUJ,CHANGZG,FANJL,et.al.NoisyImageMagnificationwithTotalVariationRegularizationandOrder-changedDictionaryLearning[J/OL].JournalofElectronicImaging, 2015,24(1):13039-1-29[2015-10-11].http://asp.eurasipjournals.springeropen.com/articles/10.1186/s13634-015-0225-y.

[3]ROMANOY,PROTTERM,ELADM.SingleImageInterpolationviaAdaptiveNon-LocalSparsity-BasedModeling[J/OL].IEEETransactionsonImageProcessing, 2014, 20(2):3085-3098[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6819019.DOI:10.1109/TIP.2014.2325774.

[4]SEKARK,DURAISAMYV,REMIMOLAM.AnapproachofimagescalingusingDWTandbicubicinterpolation[C/OL]//InternationalConferenceonGreenComputingCommunicationandElectricalEngineering.Coimbatore:IEEE, 2014: 1-5[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6922406.DOI:10.1109/ICGCCEE.2014.6922406.

[5]CHENSL,HUANGHY,LUOCH.ALow-CostHigh-QualityAdaptiveScalarforReal-TimeMultimediaApplications[J/OL].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2011, 21(11) :1600-1611[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5734808.DOI:10.1109/TCSVT.2011.2129790.

[6]SHIHJ,WARDR.Cannyedgebasedimageexpansion[C/OL]//IEEEInternationalSymposiumonCircuitsandSystems.USAAZPhoenix-Scottsdale:IEEE,2002:I-785-788[2015-10-11].http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=1009958.DOI:10.1109/ISCAS.2002.1009958.

[7]WANGQ,WARDRK.ANewOrientation-AdaptiveInterpolationMethod[J/OL].IEEETransactionsonImageProcessing, 2007,16(4):889-900[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4130438.DOI:10.1109/TIP.2007.891794.

[8]ELADM,AHARONM.ImageDenoisingviaLearnedDictionariesandSparseRepresentation[C/OL]//2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(Volume1).USAWashingtonDC:IEEE, 2006 : 895-900[2015-10-11].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1640847.DOI:10.1109/CVPR.2006.142.

[9]ELADM,AHARONM.ImageDenoisingViaSparseandRedundantRepresentationsOverLearnedDictionaries[J/OL〗.IEEETransactionsonImageProcessing, 2006, 15(12):3736-3745[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4011956.DOI:10.1109/TIP.2006.881969.

[10]BRUCKSTEINAM,DONOHODL,ELADM.FromSparseSolutionsofSystemsofEquationstoSparseModelingofSignalsandImages[J/OL].SocietyforIndustrialandAppliedMathematicsReview, 2009, 51(1):34-81[2015-10-11].http://epubs.siam.org/doi/abs/10.1137/060657704.DOI:10.1137/060657704.

[11]ELADM.SparseandRedundantRepresentations:FromTheorytoApplicationsinSignalandImageProcessing[M/OL].NewYork:Springer, 2010: 172-181[2015-10-11].http://link.springer.com/book/10.1007/978-1-4419-7011-4.

[12]ZEYDER,ELADM,PROTTERM.Onsingleimagescale-upusingsparse-representation[C/OL]//CurvesandSurfaces:7thInternationalConference,Avignon,France,June24-30, 2010,RevisedSelectedPapers.Berlin:SpringerBerlinHeidelberg, 2012: 711-730[2015-10-11].http://link.springer.com/chapter/10.1007/978-3-642-27413-8_47.

[13]SUNH,NIL.Compressedsensingdatareconstructionusingadaptivegeneralizedorthogonalmatchingpursuitalgorithm[C/OL]//2013 3rdInternationalConferenceonComputerScienceandNetworkTechnology(ICCSNT).Dalian:IEEE,2013:1102-1106[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6967295.DOI:10.1109/ICCSNT.2013.6967295.

[14]YANGJC,WRIGHTJ,HUANGTS,et.al.Imagesuper-resolutionviasparserepresentation[J/OL].IEEETransactiononImageProcessing, 2010, 19(11) : 2861-2873[2015-10-11].http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5466111.DOI:10.1109/TIP.2010.2050625

[責(zé)任編輯:瑞金]

Imagesuper-resolutionalgorithmbasedonmulti-leveldictionarieslearning

FANJiulun,SHIXiangye,XUJian,ZHANGXiaodan

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:The image super-resolution algorithm based on sigle-stage dictionaries learning is improved and an image super-resolution algorithm based on multi-level dictionaries is proposed. The relationship between different levels of the degraded image and the original high resolution images is recorded by training the multiple dictionaries. The multiple training dictionaries are used to predict the different levels high-frequency information lost in the given low resolution image. Add the predict high-frequency information to the given low resolution image and acquire the high resolution image with quality enhanced progressively. In conditions with the same training image set, for the noiseless and uncompressed low resolution images, the revised algorithm can recover high resolution images that the peak signal to noise ratio improves 0.6 dB in average, compared to the image super-resolution algorithm based on single-stage dictionaries.

Keywords:image super-resolution, sparse representation, dictionary training

doi:10.13682/j.issn.2095-6533.2016.03.004

收稿日期：2015-10-14

基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(61340040,61202183,61102095)

作者簡(jiǎn)介：范九倫(1964-)，男，博士，教授，從事圖像處理與模式識(shí)別研究。E-mail:jiulunf@xiyou.edu.cn 史香曄(1991-)，女，碩士研究生，研究方向?yàn)橥ㄐ排c信息系統(tǒng)。E-mail:shi_xiangye@163.com

中圖分類號(hào)：TN911.73

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-6533(2016)03-0032-06