趙志輝,趙瑞珍,岑翼剛,張鳳珍
(1.北京交通大學(xué) 信息科學(xué)研究所,北京 100044; 2.北京交通大學(xué) 現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100044)
基于稀疏表示與線性回歸的圖像快速超分辨率重建
趙志輝,趙瑞珍,岑翼剛,張鳳珍
(1.北京交通大學(xué) 信息科學(xué)研究所,北京 100044; 2.北京交通大學(xué) 現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100044)
單幅圖像超分辨率的目的是從一幅低分辨率的圖像來(lái)重構(gòu)出高分辨率的圖像?;谙∈璞硎竞袜徲蚯度氲某直媛蕡D像重建方法使得重建圖像質(zhì)量有了極大的改善。但這些方法還很難應(yīng)用到實(shí)際中,因?yàn)槠渲亟▓D像的速度太慢或者需要調(diào)節(jié)復(fù)雜的參數(shù)。目前大多數(shù)的方法在圖像重建的速度和質(zhì)量?jī)蓚€(gè)方面很難有一個(gè)好的權(quán)衡。鑒于以上問(wèn)題提出了一種基于線性回歸的快速圖像超分辨率重建算法,將稀疏表示和回歸的方法有效地結(jié)合在一起。通過(guò)稀疏表示訓(xùn)練的字典,用一種新的方式將整個(gè)數(shù)據(jù)集劃分為多個(gè)子空間,然后在每一類(lèi)子空間中獨(dú)立地學(xué)習(xí)高低分辨率圖像之間的映射關(guān)系,最后通過(guò)選擇相應(yīng)的投影矩陣來(lái)重建出高分辨圖像。實(shí)驗(yàn)結(jié)果表明,相比于其他方法,本文提出的算法無(wú)論在圖像重建速度還是重建質(zhì)量方面都取得了更好的超分辨率重建效果。
線性回歸;超分辨率;字典訓(xùn)練;稀疏表示;圖像重建;特征訓(xùn)練;子空間;鄰域嵌入
圖像超分辨率(super resolution,SR)[1-4]重建是計(jì)算機(jī)視覺(jué)中一個(gè)重要的問(wèn)題,在醫(yī)學(xué)成像、安全監(jiān)控、遙感衛(wèi)星等領(lǐng)域中起著重要的作用,已經(jīng)得到了廣泛的應(yīng)用。通常,圖像超分辨率的任務(wù)就是從一幅或多幅低分辨率(low resolution,LR)的輸入圖像來(lái)重構(gòu)出一幅高分辨率(high resolution,HR)的輸出圖像。雖然這是一個(gè)病態(tài)的問(wèn)題,但由于應(yīng)用的需求以及人們研究的興趣,許多方法相繼被提出來(lái)解決這個(gè)問(wèn)題。最簡(jiǎn)單方法就是利用插值算法,比如最鄰近插值、雙三次線性插值等。雖然這些插值算法運(yùn)算簡(jiǎn)單,復(fù)雜度低,但重建的圖像精度不高,邊緣模糊,很難滿足實(shí)際應(yīng)用中圖像的需求。
為了提高圖像重建的質(zhì)量,更有效的方法是基于學(xué)習(xí)的方法,利用圖像的統(tǒng)計(jì)先驗(yàn)[5-6]知識(shí)或者機(jī)器學(xué)習(xí)(machine learning,ML)[7-9]技術(shù)來(lái)學(xué)習(xí)一個(gè)從LR圖像塊到HR圖像塊的映射函數(shù)。最近比較流行的方法是基于字典或樣本學(xué)習(xí)的方法。其中表現(xiàn)較好的是基于字典學(xué)習(xí)的超分辨率重建算法,它通常是建立在稀疏編碼(sparse coding,SC)[10]基礎(chǔ)上的,其假設(shè)自然的圖像塊可以通過(guò)字典原子的線性組合來(lái)稀疏表示。但這些方法由于在重建圖像的時(shí)候需要進(jìn)行一定時(shí)間的稀疏編碼,實(shí)時(shí)性較差。最近,Timofte等[11]在重建階段繞開(kāi)了稀疏編碼的部分,通過(guò)將一個(gè)單一的大字典劃分為多個(gè)小字典,在保留圖像重建精度的前提下,重建速度有了明顯的改善。
受以上文獻(xiàn)的啟發(fā),本文提出了一種快速重建圖像的模型,在提高圖像重建速度的同時(shí)力爭(zhēng)改善圖像的重建質(zhì)量。在我們的算法中,將字典原子和LR特征之間的相關(guān)性作為測(cè)量依據(jù),將整個(gè)數(shù)據(jù)集劃分為多個(gè)子空間,然后在每一類(lèi)子空間上獨(dú)立地學(xué)習(xí)高低分辨率圖像之間的映射關(guān)系。實(shí)驗(yàn)結(jié)果表明,在標(biāo)準(zhǔn)的自然圖像測(cè)試集上,我們提出的算法重建的圖像細(xì)節(jié)更加清晰,效果更好。
這一部分簡(jiǎn)要介紹基于字典對(duì)的圖像SR。主要包括基于鄰域嵌入(neighbour embedding,NE)和稀疏編碼(SC)的方法。
1.1 基于鄰域嵌入的超分辨率重建
鄰域嵌入的方法假設(shè)LR圖像塊和其對(duì)應(yīng)的HR圖像塊有著相似的局部幾何流形。Chang 等[12]通過(guò)使用局部線性嵌入的流形學(xué)習(xí)方法,將這個(gè)假設(shè)用于圖像SR。由于在LR和HR的特征空間中,流形被認(rèn)為有著相似的幾何結(jié)構(gòu),這也就意味著只要有足夠的樣本,就可以使用在LR特征域中局部近鄰樣本的權(quán)重來(lái)重建出HR特征域中的圖像塊。
對(duì)于在LR特征空間中輸入的一個(gè)圖像塊,搜尋訓(xùn)練集中與其歐氏距離最近的K個(gè)圖像塊作為它的鄰域。通過(guò)計(jì)算一個(gè)帶有約束的最小二乘問(wèn)題得到該鄰域中的樣本表示輸入圖像塊的K個(gè)系數(shù)權(quán)值,然后利用這K個(gè)權(quán)值和訓(xùn)練集中HR特征空間對(duì)應(yīng)的K個(gè)圖像塊的線性組合即可重建出HR圖像塊。最終將所有的HR圖像塊合并到一起,并且平均相鄰圖像塊重疊區(qū)域的像素值得到重建的HR圖像。
1.2 基于稀疏編碼的超分辨率圖像重建
鄰域嵌入的方法需要在整個(gè)訓(xùn)練集中選擇鄰近的圖像塊,當(dāng)需要提高圖像重建的效果時(shí),訓(xùn)練集會(huì)變得越來(lái)越大,計(jì)算的復(fù)雜度也將越來(lái)越高。為了解決這一問(wèn)題,Yang等[13]通過(guò)字典對(duì)的學(xué)習(xí)將稀疏編碼的方法用于圖像SR。假設(shè)LR圖像塊和HR圖像塊有相同的稀疏表示系數(shù),在整個(gè)訓(xùn)練集上一起學(xué)習(xí)高低分辨率字典對(duì),如式(1):

式中:N和M分別表示HR圖像塊和LR圖像塊的維數(shù);Xh和Yl分別表示訓(xùn)練樣本中高低分辨率圖像塊;Dh和Dl分別表示高分辨率字典和低分辨率字典;Z是圖像塊對(duì)應(yīng)的稀疏表示系數(shù)。對(duì)于輸入的LR圖像塊,計(jì)算其在字典Dl下相應(yīng)的稀疏表示系數(shù)α。最終利用這個(gè)系數(shù)α和學(xué)習(xí)好的字典Dh即可重建出HR圖像塊。
這樣通過(guò)稀疏編碼的方式將整個(gè)訓(xùn)練集轉(zhuǎn)化成固定大小的字典,避免了訓(xùn)練集變大帶來(lái)的困難。Zeyde等[14]在以上框架的基礎(chǔ)上,通過(guò)在字典學(xué)習(xí)過(guò)程中進(jìn)行的幾個(gè)重要的修正改善了運(yùn)行的速度。由于重建圖像時(shí)稀疏模型的求解需要消耗一定的時(shí)間,所以上述所有基于字典對(duì)學(xué)習(xí)的方法中圖像重建的速度仍然是相對(duì)較慢的。
針對(duì)以上存在的問(wèn)題,我們將稀疏表示和回歸的方法結(jié)合起來(lái)。對(duì)于字典訓(xùn)練,本文用一種新的相關(guān)性的聚類(lèi)方法來(lái)替代K-means聚類(lèi)方法將整個(gè)訓(xùn)練樣本集有效地劃分為多個(gè)子空間。同時(shí)直接利用LR特征和HR特征之間的關(guān)系提出了一種新的線性映射模型,避免了重建過(guò)程中稀疏編碼的求解。該算法主要包括兩個(gè)階段,分別是訓(xùn)練階段和重建階段。
2.1 訓(xùn)練階段

為了僅得到圖像的高頻信息,我們對(duì)每一幅HR圖像Xm做如下處理:










以上的回歸問(wèn)題類(lèi)似于一個(gè)線性最小二乘問(wèn)題,因此有如下閉式解:

2.2 重建階段


從整個(gè)重建的過(guò)程中可以看出,同基于稀疏表示字典對(duì)的方法相比,我們提出的算法在重建圖像時(shí)省去了稀疏編碼的部分,降低了計(jì)算的復(fù)雜度,提高了圖像SR重建的速度。
2.3 本文算法的整體流程
我們將本文提出的算法稱為快速線性回歸算法(fast linear regression,F(xiàn)LR)。重建算法的訓(xùn)練階段總結(jié)如下。
輸入 訓(xùn)練集中HR圖像集Xh={X1,X2,…,Xu}和LR圖像集Yl={Y1,Y2,…,Yu}。




由于訓(xùn)練階段的所有計(jì)算過(guò)程均可在線下進(jìn)行,這使得重建階段更加高效。整個(gè)算法的重建階段總結(jié)如下。

輸出 HR重建圖像X。




實(shí)驗(yàn)編程環(huán)境為MATLAB 2014,計(jì)算機(jī)的配置為Inter(R) Core(TM) i5-4460 CPU @3.20 Hz,主頻為3.20 GHz,8 GB內(nèi)存,windows 7操作系統(tǒng)。
實(shí)驗(yàn)選用比較常用的兩個(gè)標(biāo)準(zhǔn)自然圖像測(cè)試集,一個(gè)是來(lái)自參考文獻(xiàn)[16]中包含5幅圖像的Set5測(cè)試集,另一個(gè)是來(lái)自參考文獻(xiàn)[14]中包含14幅圖像的Set14測(cè)試集作為整個(gè)實(shí)驗(yàn)的測(cè)試圖像集。同樣,為了更好地體現(xiàn)與其他參考文獻(xiàn)算法比較的公平性,實(shí)驗(yàn)中我們使用Yang等[13]提出的算法中的91幅圖像作為訓(xùn)練集圖像,字典的大小同參考文獻(xiàn)[11,14]一樣為1 024列,對(duì)LR圖像分別進(jìn)行2倍和3倍尺度的超分辨率重建。由于人的視覺(jué)感知系統(tǒng)對(duì)亮度的變化更加敏感,先將彩色圖像轉(zhuǎn)換到Y(jié)UV顏色空間,然后僅對(duì)亮度信號(hào)Y進(jìn)行放大重建,而其他信號(hào)通過(guò)簡(jiǎn)單的bicubic插值來(lái)放大。整個(gè)實(shí)驗(yàn)中,我們對(duì)比了比較有代表性的基于鄰域嵌入和稀疏表示的算法,以及基于回歸和快速重建的算法。除了主觀的視覺(jué)評(píng)價(jià)外,本文采用峰值信噪比(PSNR)以及圖像重建的運(yùn)行時(shí)間分別評(píng)價(jià)圖像的重建質(zhì)量和重建速度。
由于篇幅有限,這里我們只展示2幅圖像通過(guò)不同方法進(jìn)行3倍重建的視覺(jué)效果。為了更好地觀察圖像重建的效果,我們對(duì)兩幅圖像的局部均進(jìn)行了放大處理。其中,圖1是對(duì)來(lái)自于測(cè)試集Set 14中像素大小為768×512的Monarch圖像重建的結(jié)果,圖2是對(duì)來(lái)自于測(cè)試集Set 5中像素大小為288×288的Bird圖像重建的結(jié)果。從圖1和圖2中可以看出,圖(b)bicubic插值方法重建的圖像過(guò)于平滑并且存在振鈴效應(yīng);圖(c)Yang等[13]的方法在邊緣處有著鋸齒效應(yīng);圖(d)Zeyde等[14]與圖(e)ANR[11]的方法相差不多,基本可以保持圖像的邊緣結(jié)構(gòu),但某些紋理等細(xì)節(jié)之處仍不是很好;從圖(f)可見(jiàn)本文的FLR方法在重建紋理細(xì)節(jié)和消除偽邊緣與鋸齒兩方面均取得了不錯(cuò)的效果,重建的圖像更加清晰邊緣更加銳利,在視覺(jué)效果上更接近于原始的HR圖像。
表1定量地展示了不同算法在測(cè)試圖像集Set 5和Set 14上針對(duì)不同放大因子的平均PSNR和運(yùn)行時(shí)間。相比于其他評(píng)價(jià)指標(biāo)[17],PSNR的值可以更好地代表人的感知效果。而運(yùn)行時(shí)間的快慢是體現(xiàn)算法能否很好地應(yīng)用到實(shí)際中的重要指標(biāo)。從表1中最后一行的實(shí)驗(yàn)數(shù)據(jù)可以看出,本文提出的快速線性回歸算法(FLR)要明顯好于基于鄰域嵌入和稀疏表示的算法以及其他方法。其中,圖像的重建質(zhì)量為29.15 dB,重建時(shí)間僅為0.93 s。比基于鄰域嵌入的算法(NE+LLE)[16]PSNR值高0.55 dB,速度快4.2倍;比Zeyde等[14]PSNR值高0.48 dB,速度也要快2.4倍。相比于單獨(dú)基于線性回歸(SF)[7]的方法,其實(shí)驗(yàn)結(jié)果來(lái)自于參考文獻(xiàn)[18],我們的FLR算法平均PSNR要比其高0.95 dB,由于兩種方法提取的特征不同,我們的算法速度上要快26.4倍之多。和目前最快重建算法之一的ANR[11]相比,本文的方法運(yùn)行時(shí)間與其相差不多,但圖像重建的PSNR要高0.50 dB。另外,同最近提出的卷積神經(jīng)網(wǎng)(SRCNN)[9]方法相比,它的實(shí)驗(yàn)結(jié)果來(lái)自于參考文獻(xiàn)[19],我們的FLR算法PSNR也要高0.15 dB,速度提高5.4倍。值得一提的是,SRCNN需要通過(guò)GPU訓(xùn)練大約72 h,而本文的FLR僅需要花費(fèi)24 min就可以完成訓(xùn)練。另外,我們的算法并沒(méi)有進(jìn)行優(yōu)化,也沒(méi)有通過(guò)并行計(jì)算來(lái)加速,這一切都為以后在實(shí)際應(yīng)用中提供了極大的可能性。

圖1 測(cè)試集Set 14 Monarch圖像放大3倍的不同方法超分辨結(jié)果對(duì)比Fig. 1 Comparison of Monarch image from Set 14 with upscaling ×3 for different method

圖2 測(cè)試集Set 5 Bird圖像放大3倍的不同方法超分辨結(jié)果對(duì)比Fig.2 Comparison of Bird image from Set 5 with upscaling ×3 for different method

DatasetNE+LLE[17]Zeyde[14]SF[7]ANR[11]SRCNN[9]FLRfactorPSNR/TimePSNR/TimePSNR/TimePSNR/TimePSNR/TimePSNR/TimeSet5x235.77/4.1935.78/2.4035.63/20.4635.83/0.7336.34/3.0036.58/0.76x331.84/1.9831.90/1.1331.27/11.8931.92/0.4532.393.00/32.60/0.45Set14x231.76/8.8531.81/4.9231.04/39.1131.80/1.5632.18/4.9032.30/1.67x328.60/3.9128.67/2.2728.20/24.5928.65/0.9129.00/5.0029.15/0.93
針對(duì)傳統(tǒng)基于稀疏編碼超分辨率算法圖像重建速度慢以及重建效果不理想的問(wèn)題,我們將稀疏表示和回歸的方法有效地結(jié)合在一起,提出了一種快速的線性回歸算法。通過(guò)將字典原子作為聚類(lèi)中心,將字典原子和LR特征的相關(guān)性作為測(cè)量依據(jù),有效地將整個(gè)特征空間劃分為多個(gè)子空間,同時(shí)學(xué)習(xí)了一個(gè)簡(jiǎn)單并且有效的線性映射回歸函數(shù)。實(shí)驗(yàn)結(jié)果表明,該算法不僅實(shí)現(xiàn)了計(jì)算復(fù)雜度低,運(yùn)行時(shí)間快的目的,而且相比于大多數(shù)目前較好的不同算法,圖像的重建質(zhì)量也有了明顯的改善。
[1]BHAVSAR A V. Range image super-resolution via reconstruction of sparse range data[C]//Proceedings of the 2013 International Conference on Intelligent Systems and Signal Processing. Gujarat, India, 2013: 198-203.
[2]YANG Minchun, WANG Y C F. A self-learning approach to single image super-resolution[J]. IEEE transactions on multimedia, 2013, 15(3): 498-508.
[3]PARK S C, PARK M K, KANG M G. Super-resolution image reconstruction: a technical overview[J]. IEEE signal processing magazine, 2003, 20(3): 21-36.
[4]LI Xin, ORCHARD M T. New edge-directed interpolation[J]. IEEE transactions on image processing, 2001, 10(10): 1521-1527.
[5]FATTAL R. Image upsampling via imposed edge statistics[J]. ACM transactions on graphics (TOG), 2007, 26(3): 95.
[6]FREEMAN W T, JONES T R, PASZTOR E C. Example-based super-resolution[J]. IEEE computer graphics and applications, 2002, 22(2): 56-65.
[7]YANG C Y, YANG M H. Fast direct super-resolution by simple functions[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, Australia, 2013: 561-568.
[8]SUN Jian, XU Zongben, SHUM H Y, et al. Image super-resolution using gradient profile prior[C]//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, USA, 2008: 1-8.
[9]DONG Chao, LOY C C, HE Kaiming, et al. Learning a deep convolutional network for image super-resolution[M]//FLEET D, PAJDLA T, SCHIELE B, et al. Computer Vision-ECCV 2014. Switzerland: Springer, 2014: 184-199.
[10]OLSHAUSEN B A, FIELD D J. Sparse coding with an overcomplete basis set: a strategy employed by V1[J]. Vision research, 1997, 37(23): 3311-3325.
[11]TIMOFTE R, DE V, VAN GOOL L. Anchored neighborhood regression for fast example-based super-resolution[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, Australia, 2013: 1920-1927.
[12]CHANG Hong, YEUNG D Y, XIONG Yimin. Super-resolution through neighbor embedding[C]//Proceedings of the 2004 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC, USA, 2004.
[13]YANG Jianchao, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE transactions on image processing, 2010, 19(11): 2861-2873.
[14]ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations[M]//BOISSONNAT J D, CHENIN P, COHEN A, et al. Curves and Surfaces. Berlin Heidelberg: Springer, 2012: 711-730.
[15]AHARON M, ELAD M, BRUCKSTEIN A.rmK—SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE transactions on signal processing, 2006, 54(11): 4311-4322.
[16]BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//Proceedings of British Machine Vision Conference 2012. Guildford, Surrey, UK, 2012: 1-10.
[17]YANG C Y, MA C, YANG M H. Single-image super-resolution: a benchmark[M]//FLEET D, PAJDLA T, SCHIELE B, et al. Computer Vision-ECCV 2014. Switzerland: Springer, 2014: 372-386.
[18]TIMOFTE R, DE SMET V, VAN GOOL L. A+: adjusted anchored neighborhood regression for fast super-resolution[M]//CREMERS D, REID I, SAITO H, et al. Computer Vision—ACCV 2014. Switzerland: Springer, 2014: 111-126.
[19]SCHULTER S, LEISTNER C, BISCHOF H. Fast and accurate image upscaling with super-resolution forests[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA, 2015: 3791-3799.
Rapid super-resolution image reconstruction based on sparse representation and linear regression
ZHAO Zhihui1,2, ZHAO Ruizhen1,2, CEN Yigang1,2, ZHANG Fengzhen1,2
(1. Institute of Information Science, Beijing Jiaotong University, Beijing 100044, China; 2. Beijing Key Laboratory of Advanced Information Science and Network Technology, Beijing Jiaotong University, Beijing 100044, China)
Single-image super-resolution aims at reconstructing a high-resolution image from a single low-resolution image. Recent methods relying on both neighborhood embedding and sparse coding have led to significant quality improvements. However, the application of these approaches is still practically difficult because they are either too slow or demand tedious parameter tweaks. In most of these methods, the speed and quality of image reconstruction are the two aspects that cannot be balanced easily. With regard to the abovementioned problems, this research proposed a rapid image super-resolution reconstruction algorithm based on linear regression, which effectively combined the sparse representation with the regression method. First, a dictionary was trained using the K-SVD algorithm based on training samples. Subsequently, the entire dataset was divided into a number of subspaces according to the atoms in the dictionary. Moreover, the mapping from low-to-high-resolution images can be independently obtained for each subspace. Finally, the high-resolution image was reconstructed by selecting the corresponding projection matrix. Experimental results demonstrate that both the image reconstruction quality and the speed of the proposed algorithm performed better than other widely used methods.
linear regression; super-resolution; dictionary learning; sparse representation; image reconstruction; feature learning; subspace; neighborhood embedding

趙志輝,男,1990年生,碩士研究生,主要研究方向?yàn)橄∈璞硎九c圖像超分辨率。

趙瑞珍,男,1975年生,教授,博士生導(dǎo)師,博士,主要研究方向?yàn)閳D像與信號(hào)處理算法、壓縮感知與稀疏表示、信息感知域智能信息處理。主持參與國(guó)家自然科學(xué)基金、教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃、“863”計(jì)劃等多項(xiàng)項(xiàng)目。

岑翼剛,男,1978年生,教授,博士生導(dǎo)師,博士,主要研究方向?yàn)樾〔ǚ治觥嚎s感知、圖像處理。發(fā)表學(xué)術(shù)論文40余篇。
10.11992/tis.201603039
http://kns.cnki.net/kcms/detail/23.1538.TP.20170227.1800.010.html
2016-03-19.
日期:2017-02-27.
國(guó)家自然科學(xué)基金項(xiàng)目(61272028, 61572067);國(guó)家“863”計(jì)劃項(xiàng)目(2014AA015202);廣東省自然科學(xué)基金項(xiàng)目(2016A030313708);北京市自然科學(xué)基金項(xiàng)目(4162050).
岑翼剛. E-mail:ygcen@bjtu.edu.cn.
TP391.41
A
1673-4785(2017)01-0008-07
趙志輝,趙瑞珍,岑翼剛,等. 基于稀疏表示與線性回歸的圖像快速超分辨率重建[J]. 智能系統(tǒng)學(xué)報(bào), 2017, 12(1): 8-14.
英文引用格式:ZHAO Zhihui, ZHAO Ruizhen, CEN Yigang, et al. Rapid super-resolution image reconstruction based on sparse representation and linear regression[J]. CAAI transactions on intelligent systems, 2017, 12(1): 8-14.