基于極限學習機的圖像超分辨率算法

劉翠響，張鳳林，李敏

（河北工業(yè)大學電子信息工程學院，天津300401）

基于極限學習機的圖像超分辨率算法

劉翠響，張鳳林，李敏

（河北工業(yè)大學電子信息工程學院，天津300401）

為了進一步提高基于學習的超分辨率圖像重建質(zhì)量，考慮到極限學習機（ELM）具有學習速度快和良好數(shù)據(jù)預測與分析能力，提出了1種基于極限學習機的圖像超分辨率重建方法.在圖像稀疏思想下，將高分辨率圖像中的高頻細節(jié)信息作為原子構建冗余字典.具體是提取訓練圖像的高頻信息，采用改進的K-SVD算法對高低分辨率圖像進行字典學習，構建對應的特征字典作為極限學習機的輸入訓練網(wǎng)絡參數(shù)，建立超分辨率重建模型.最后仿真實驗結果表明，所提算法能取得比對比算法更好的實驗數(shù)據(jù).

極限學習機；字典學習；超分辨率；高頻信息

0 引言

由于硬件設備的限制和不可抗拒的自然因素等影響，現(xiàn)實中獲得的圖像分辨率往往不能滿足人類的實際需求.為了節(jié)約成本，獲得更高的經(jīng)濟效益，通過軟件編程的方法獲得高分辨率（High resolution，HR）圖像的技術應運而生，即超分辨率重建（Super resolution，SR）.SR技術是利用低分辨率（Low resolution，LR）圖像或圖像庫信息，通過信號處理方法重建成像系統(tǒng)截止頻率之外的相關信息，使重建圖像獲得更多細節(jié)信息.

圖像超分辨率重建技術目前主要分為基于插值算法、基于重建算法和基于學習算法三大類.傳統(tǒng)的插值算法[1]雖然實現(xiàn)方法簡單直觀，但是無法引進先驗信息導致重建圖像不理想.基于重建的方法，例如：凸集投影POCS算法[2]、IBP算法[3]以及最大后驗概率MAP算法[4]等，是在數(shù)學模型基礎上，對圖像進行配準重建，其亞像素估計精度對圖像重建結果有非常重要的影響，除此之外IBP算法在圖像重建邊緣有很強的振鈴效應，嚴重影響圖像質(zhì)量.

近來，隨著機器學習與深度學習的深入發(fā)展，基于學習的SR重建算法成為研究的主流方向.Yang等[5-6]提出了利用圖像塊的稀疏性重建超分辨率圖像.算法通過Lee等[7]提出的FFS算法訓練聯(lián)合字典使得高低分辨率圖像對具有相同的稀疏表示系數(shù)，用低分辨率字典下的稀疏表示乘以高分辨率字典得到相應的高分辨率圖像塊.稀疏表示對噪聲有一定的魯棒性，進而重建出的圖像具有較好的視覺效果.雖然圖像庫包含有豐富細節(jié)的高分辨率圖像，但無法保證所獲取的先驗信息的準確性與可靠性，使得重建圖像存在較大的均方誤差[8]，算法中樣本選取與字典訓練方法也較為復雜.Engan等[9]提出的最優(yōu)方向（method of optimal directions，MOD）算法可以代替Lee提出的FFS算法進行字典學習，保證圖像重建質(zhì)量前提下提高字典訓練速度.Elad提出奇異值分解算法[10]用于訓練字典，先是用于圖像去噪取得了不錯的效果[11]，隨后又提出改進的K-SVD算法[12]，達到了減小字典構建誤差并加快稀疏字典的構建，在超分辨率圖像重建研究領域被廣泛應用.

另外，機器學習方法中的支持向量機SVR對輸入數(shù)據(jù)具有良好預測能力[13-14]而被應用于圖像處理領域.將圖像超分辨率重建看成一個回歸問題，則具有非線性映射能力的支持向量機可以很好的解決這一問題.本文受SVR思想的啟發(fā)，在稀疏思想的基礎上，提出用極限學習機訓練超分辨率重建模型，ELM與SVR相比，訓練速度快且泛化能力強，最后取得較好的實驗數(shù)據(jù).

1 稀疏性理論與改進字典學習

圖像的稀疏表示是將高分辨率圖像中的高頻細節(jié)信息作為原子構建冗余字典，并利用該字典對低分辨率圖像進行稀疏表示，進一步超分辨率重建.而在本文算法中的思想是利用稀疏編碼理論學習構建冗余字典，提取字典中的每個原子構成特征集作為極限學習機的輸入特征，訓練出超分辨率重建模型.

由于稀疏矩陣最優(yōu)解的封閉性，可以考慮矩陣每列的非零元素而使零元素項保持完整性，現(xiàn)只需求解稀疏矩陣的每一列即可，設是D對應于稀疏矩陣的非零支集的子矩陣，則（3）式轉(zhuǎn)化為如下求解：

改進KSVD算法中使用正交匹配追蹤算法OMP求解稀疏編碼過程，對稀疏矩陣的每一列處理后得到更新后的稀疏系數(shù)矩陣，而后利用更新后的稀疏矩陣對字典原子進行更新.下面給出公式（2）的補償項：

2 ELM算法描述

2004年，Huang等[15]提出了具有快速構建和學習能力的單隱層前饋神經(jīng)網(wǎng)絡，該算法在執(zhí)行過程中只需要設置網(wǎng)絡隱層節(jié)點的個數(shù)，不用調(diào)整網(wǎng)絡的輸入權值以及隱層單元的偏置，能產(chǎn)生唯一最優(yōu)解，因其學習速度快稱之為極限學習機（Extreme Learning Machine，ELM），如圖1所示給出ELM算法的網(wǎng)絡結構圖.隨著深度學習在機器學習領域的發(fā)展，大量的研究證明，ELM相比于機器學習領域重要的工具支持向量機具有更方便的參數(shù)調(diào)整和更好的泛化能力，這使得ELM在圖像處理、特征選取、數(shù)據(jù)序列預測等方面被廣泛的應用.

圖1 極限學習機網(wǎng)絡結構Fig.1 Extreme learning machine network structure

進一步可以簡化為矩陣表達式為：

其中，H被稱作神經(jīng)網(wǎng)絡的隱含層輸出矩陣.在極限學習機算法中，只需要求出輸入權值的最小二乘解就能完成網(wǎng)絡的訓練，輸出權值矩陣可由得到，其中H+表示神經(jīng)網(wǎng)絡隱含層輸出矩陣的Moore-penrose廣義逆.

3 本文算法描述

極限學習機重建超分辨率圖像包括訓練和預測兩個階段.總的算法流程如下圖2所示.基于人眼對亮度信息最為敏感，所以對于彩色圖，只處理亮度通道，其它兩通道采用雙三次插值算法進行處理.

圖2 算法流程Fig.2 Algorithm process

在訓練階段，首先獲得有用的細節(jié)信息作為ELM算法的輸入.HR圖像經(jīng)過高斯模糊和下采樣k倍，然后用插值方法放大k倍，則高分辨率圖像的高頻信息將通過式（9）獲得

圖像的稀疏表示是將高分辨率圖像中的高頻細節(jié)信息作為原子構建冗余字典，假設低分辨率圖像與樣本中訓練的高分辨率圖像具有相似的特征，則通過機器學習可以得到對應的高分辨率圖像.所以，作為ELM算法輸入的高頻信息作為先驗知識可以通過稀疏表示構建冗余特征字典.

在測試階段，低分辨率圖像經(jīng)過相同的插值方法獲得初始高分辨率圖像，然后通過字典學習構建相對原始圖像訓練字典來說的低分辨率特征字典.最后通過ELM訓練出來的高分辨率模型預測高分辨率信息.

本文利用極限學習機進行圖像超分辨率重建，利用現(xiàn)有改進的字典算法對訓練樣本圖像進行稀疏表示，構造特征字典.我們知道圖像重建過程是病態(tài)的逆問題，這必然導致ELM算法輸出矩陣存在不適定問題，即存在較大輸出權值和過擬合現(xiàn)象.為了提高ELM算法的學習效率和預測能力，文中引入l1范數(shù)正則化方法對ELM算法進行優(yōu)化.l1范數(shù)正則化方法又稱為LASSO算法.由（8）式得目標優(yōu)化函數(shù)為：

由式（10）求得輸出矩陣，其中λ為正則項系數(shù)，控制誤差與正則項的相對重要程度.確定輸出矩陣后ELM算法訓練階段完成，在測試階段將相同方法得到的特征作為機器的輸入，根據(jù)訓練模型可以預測需要的信息.

用改進ELM算法訓練重建模型進行超分辨率重建的具體步驟如下：

1）創(chuàng)建訓練樣本和測試樣本；

2）采集高分辨率圖像的高頻信息HF；

3）采用改進字典構建高分辨率圖像和低分辨率圖像的字典；

4）訓練階段，將HF和高分辨率字典以及低分辨率圖像塊送入改進的極限學習機訓練高分辨率模型；

5）預測階段，低分辨率特征字典和低分辨率圖像塊預測測試圖像的高頻信息IHF；

4 實驗結果與分析

為了測試基于改進極限學習機算法重建超分辨率圖像的效果，現(xiàn)選擇USB-SIPI（網(wǎng)址：http：//sipi. usc.edu/database）標準數(shù)據(jù)庫的圖像進行仿真實驗.在實驗中，設置隱層節(jié)點數(shù)為20，sigmoid為激勵函數(shù).為了方便視覺上對重建圖像質(zhì)量進行評定，現(xiàn)將測試的原始圖像作為高分辨率標準圖像，降采樣以及高斯模糊原始圖像作為低分辨率圖像.客觀上，采用峰值信噪比PSNR和結構相似度SSIM對重建圖像質(zhì)量進行定量分析.為了使實驗數(shù)據(jù)具有說服力，提出用傳統(tǒng)的基于雙三次插值算法以及基于支持向量機算法[13]的圖像超分辨率重建結果進行對比，對比標準是峰值信噪比PSNR和結構相似度SSIM越大，說明重建效果越好.另外，為了要求統(tǒng)一，本文用于超分辨率重建模型的訓練樣本選用和支持向量機算法一樣的訓練圖像.

圖3為3幅圖像在縮放因子k=2的重建結果，比較同1幅圖像在不同算法下的重建效果，以及局部放大效果以低分辨率圖像作為參考.從圖中可以看出雙三次插值重建圖像邊緣模糊，視覺質(zhì)量差.SVR算法恢復了部分細節(jié)，但是重建圖像仍需要進一步提高.與以上2種方法相比本文算法能有效的獲取訓練圖像的額外信息，恢復了更多的細節(jié)部分，重建圖像更加清晰從局部放大部分更能體現(xiàn)出本文算法的優(yōu)越性.同時表1列出的不同算法重建不同圖像的相應峰值信噪比PSNR和結構相似度SSIM也說明了本文算法具有較好的重建效果.在放大倍數(shù)k分別為2和4兩種情況下，網(wǎng)絡的訓練階段：表2數(shù)據(jù)表明本文算法的訓練速度對比支持向量機算法耗時較少、訓練速度較快.

圖4為選擇的1幅標準圖像放大4倍即k=4的重建結果.隨著降采樣因子的增大，所有算法恢復圖像的效果都有所下降，但相對來說，無論是從圖像的紋理細節(jié)上，還是人臉的面部表情上都可以看出本文算法的重建結果更佳.如表3所示，仍然具有最好的峰值信噪比PSNR和結構相似度SSIM.

表1 k=2時不同算法的SR重建PSNR和SSIM數(shù)據(jù)對比（PSNR/SSIM）Tab.1 k=2 different algorithms of SR reconstruction PSNR and SSIM data contrast（PSNR and SSIM）

圖3 k=2重建結果對比Fig.3 k=2 Reconstruction results

圖4 k=4重建結果對比Fig.4 k=4 reconstruction results

表2 兩種算法訓練網(wǎng)絡的耗時比較Tab.2 Training time comparison of the two algorithms

表3 k=4時不同算法的SR重建PSNR和SSIM數(shù)據(jù)對比（PSNR/SSIM）Tab.3 k=4 different algorithms of SR reconstruction PSNR and SSIM data contrast(PSNR and SSIM)

5 總結

文中基于機器學習的思想，提出了一種極限學習機的超分辨率圖像重建方法.針對易出現(xiàn)過擬合現(xiàn)象采用正則化方法求解輸出矩陣.在訓練階段，將訓練圖像和高分辨率特征字典作為ELM算法的輸入訓練網(wǎng)絡參數(shù)，建立超分辨率重建模型.最后進行仿真實驗表明，本文算法能很好保持圖像有用信息，有效改善低分辨率圖像質(zhì)量.下一步研究重點是如何有效尋找更多的先驗信息，使得預測高頻信息更接近真實圖像丟失的信息.

[1]Liu X，Zhao D，Zhou J，et al.Image interpolation via graph-based bayesian label propagation[J].IEEE Transactions on Image Processing，2014，23（3）：1084-1096.

[2]Huang H，F(xiàn)an X，Qi C，et al.A learning-based POCS algorithm for face image super-resolution reconstruction[C]//2005 International Conference on Machine Learning and Cybernetics.IEEE，2005，8：5071-5076.

[3]Nayak R，Harshavardhan S，Patra D.Morphology based iterative back-projection for super-resolution reconstruction of image[C]//Emerging Technology Trends in Electronics，Communication and Networking（ET2ECN），2014 2nd International Conference on.IEEE，2014：1-6.

[4]李展，陳清亮，彭青玉，等.基于MAP的單幀字符圖像超分辨率重建[J].電子學報，2015，43（1）：191-197.

[5]Yang J，Wright J，Huang T，et al.Image super-resolution as sparse representation of raw image patches[C]//Computer Vision and Pattern Recognition，2008.CVPR 2008.IEEE Conference on.IEEE，2008：1-8.

[6]Yang J，Wright J，Huang T S，et al.Image super-resolution via sparse representation[J].IEEE transactions on image processing，2010，19（11）：2861-2873.

[7]Lee H，Battle A，Raina R，et al.Efficient sparse coding algorithms[C]//Advances in neural information processing systems.2006：801-808.

[8]潘宗序，禹晶，肖創(chuàng)柏，等.基于自適應多字典學習的單幅圖像超分辨率算法[J].電子學報，2015，43（2）：209-216.

[9]Engan K，Aase S O，Husoy J H.Method of optimal directions for frame design[C]//Acoustics，Speech，and Signal Processing，1999.Proceedings.，1999 IEEE International Conference on.IEEE，1999，5：2443-2446.

[10]Aharon M，Elad M，Bruckstein A.K-SVD：An algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing，2006，54（11）：4311-4322.

[11]Elad M，Aharon M.Image denoising via sparse and redundant representations over learned dictionaries[J].IEEE Transactions on Image processing，2006，15（12）：3736-3745.

[12]Smith L N，Elad M.Improving dictionary learning：Multiple dictionary updates and coefficient reuse[J].IEEE Signal Processing Letters，2013，20（1）：79-82.

[13]Yang M C，Chu C T，Wang Y C F.Learning sparse image representation with support vector regression for single-image super-resolution[C]//2010 IEEE International Conference on Image Processing.IEEE，2010：1973-1976.

[14]Yang M C，Wang Y C F.A self-learning approach to single image super-resolution[J].IEEE Transactions on Multimedia，2013，15（3）：498-508.

[15]Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：a new learning scheme of feedforward neural networks[C]//Neural Networks，2004.Proceedings.2004 IEEE International Joint Conference on.IEEE，2004，2：985-990.

[責任編輯 代俊秋]

Image super-resolution based on extreme learning machine

LIU Cuixiang,ZHANG Fenglin,LI Min
（School of Electronic and Information Engineering,Hebei University of Technology,Tianjin 300401,China）

In order to further improve the quality of the learning-based super-resolution image reconstruction,considering the extreme learning machine(ELM)with fast learning speed and good data prediction and analysis,this paper proposes image super resolution reconstruction based on the extreme learning machine.Under the idea of image sparse,high-frequency details is used as atomic to construct redundant dictionary.Specifically,high frequency information of the training image is extracted.The improved K-SVD algorithm is used to carry out dictionary learning on high and low resolution images.The corresponding feature dictionary is constructed as the input to train network parameter.Super-resolution reconstruction model is established.Finally the simulation results show that the proposed algorithm can obtain better experimental data than the comparative algorithm.

extreme learning machine;dictionary learning;super resolution;high frequency information

TP391

A

1007-2373（2017）02-0011-06

10.14081/j.cnki.hgdxb.2017.02.003

2016-12-05

天津市自然科學基金（14JCZDJC32600）

劉翠響（1973-），女，副教授，博士，liucuix@126.com.