用支持向量回歸法實現(xiàn)單幀圖像超分辨率重建

袁其平，林海杰，陳志宏，楊曉蘋

(天津理工大學 天津市薄膜電子與通信器件重點實驗室，天津 300384)

?

用支持向量回歸法實現(xiàn)單幀圖像超分辨率重建

袁其平，林海杰，陳志宏*，楊曉蘋

(天津理工大學 天津市薄膜電子與通信器件重點實驗室，天津 300384)

由于一些傳統(tǒng)的超分辨率重建算法學習多幅不同類別的圖像仍無法獲得好的重建效果，本文提出了一種基于支持向量回歸機和光柵掃描的單幀圖像超分辨率重建算法。該算法首先采用光柵掃描法對一組高低分辨率訓練圖像提取圖像塊，從塊中分別抽取輸入向量和標簽像素。利用Log算子判斷這些塊是屬于高頻空間還是低頻空間，從而構(gòu)建高低頻空間向量對并對其進行優(yōu)化。然后，用支持向量回歸機(SVR)工具訓練優(yōu)化后的向量對，得到高低頻空間下的兩個字典;抽取測試低分辨率圖像中的塊并得到高低頻空間下的輸入向量，利用SVR工具回歸對應的屬于超分辨率圖像塊的標簽像素并得到回歸后的圖像。最后，對圖像進行后處理得到最終的超分辨率圖像。與其它算法的對比實驗表明：提出的算法具有較好的視覺效果。特別在放大倍數(shù)為2時，提出的算法在不同圖像上的峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)值較雙三次插值法分別提高了3.1%～5.3%和1.5%～8.1%。得到的結(jié)果顯示提出的算法獲得了更好的重建效果。

超分辨率重建；單幀圖像；支持向量回歸機；Log算子；光柵掃描

1　引　言

高分辨率(HR)圖像在工業(yè)應用、視頻監(jiān)控、衛(wèi)星監(jiān)測等大量應用場合中的需求很大。然而實際生活中由于成本，環(huán)境以及自然條件的限制，得到的圖像大部分是低分辨率(LR)的，并不能滿足人們的需求，所以許多學者致力于利用圖像處理算法獲取HR圖像。在近年來得益于機器學習理論的進步，超分辨率(SR)技術(shù)發(fā)展迅速。SR通過處理多幀或單幀LR圖像獲得一幀HR圖像。目前SR方法主要分為兩大類，即基于重建的超分辨率技術(shù)和基于學習的超分辨率技術(shù)。基于重建的超分辨率技術(shù)發(fā)展的較早，其中大部分方法是利用多幀低分辨率圖像來重建高分辨率圖像的，這種方法要求有多幀具有互補性的LR圖像。穆紹碩等人在傳統(tǒng)的局部線性嵌入算法(LLE)的基礎(chǔ)上提出了一種基于自學習的改進LLE算法，并且在硬件上予以實現(xiàn)[1]。賈蘇娟等人以相關(guān)系數(shù)為相似性測度實現(xiàn)了彩色序列LR圖像的光度配準，從而重構(gòu)出一幅光度得到改善的HR圖像[2]。何林陽等人提出了一種基于改進二值化魯棒尺度不變特征(BRISK)的快速圖像配準算法，極大地提高了多幀LR圖像間的匹配率，獲得了較好的超分辨率圖像重建效果[3]。然而實際中并不總能得到多幀LR圖像，所以單幀超分辨率重建技術(shù)的研究在實際應用中特別重要。近年來，機器學習理論發(fā)展迅速，許多學者把目光逐漸投向了基于學習的超分辨率技術(shù)，由于其不需要多幅LR圖像而逐漸得到廣泛應用，這種方法的難點在于選擇合適的訓練數(shù)據(jù)和學習模型。作為一種學習圖像的方法，圖像的稀疏編碼被廣泛應用于超分辨圖像重構(gòu)中。它是在稀疏域中利用訓練得到的單字典或者雙字典進行降噪，預測高分辨率圖像信息[4-5]。也有學者利用圖像塊間的非局部自相似性，再加上一些全局和局部優(yōu)化約束來提升圖像的質(zhì)量[6-7]，但是這類方法要求圖像本身塊間要具有相似性，對于塊間相似度不高的圖像，效果會有所下降?；貧w法作為一種超分辨率圖像重構(gòu)的方法，應用十分廣泛。ZHANG等人提出了一種非局部核回歸的正則化方法[8]，LI等人提出多核回歸的方法來重構(gòu)超分辨圖像[9]。

支持向量回歸機(SVR)作為支持向量機(SVM)的一種拓展，它是核回歸法的一種工具，在極度缺乏有效數(shù)據(jù)的情況，具有很好的泛化能力。在數(shù)據(jù)擬合以及金融預測等方面應用很廣泛。NI等人通過優(yōu)化傳統(tǒng)SVR模型來提高重構(gòu)效果[10]，YANG等人提出了基于貝葉斯理論的金字塔下SVR的學習框架，在稀疏域下抽取圖像特征[11]。也有不少學者將深度卷積網(wǎng)絡應用到圖像的超分辨率重建中，結(jié)合一些先驗知識提高重構(gòu)效果[12-13]。TIMOFTE等人提出一種可調(diào)固定鄰域回歸的方法來快速復原超分辨圖像[14]。從統(tǒng)計學角度建立模型的方法也被用于超分辨率圖像重建，PELEG等人利用圖像稀疏表示與統(tǒng)計學相結(jié)合的方法來重構(gòu)超分辨率圖像，但選取的圖像要有一定的統(tǒng)計規(guī)律[15]。孟偉等人提出一種圖像的調(diào)制傳遞函數(shù)(MTF)，并將其用于重構(gòu)遙感圖像[16]。在本文中，提出了一種基于支持向量回歸機和光柵掃描的SR學習框架，利用光柵掃描方法僅從單幀圖像中學習字典，因此能夠充分利用單幀圖像中的信息。在訓練字典時提取部分像素值、圖像塊的平均像素值以及圖像塊局部二值模式(LBP)編碼[17]，接著，對提取的特征進行有效優(yōu)化，使得回歸更加準確。特別地由于SVR回歸法存在一定的回歸誤差，有時多個SVR模型反而會造成重建誤差累積，提出的方法在高低頻空間下訓練了高低頻兩個SVR字典，最后應用字典得到回歸的超分辨圖像。

2　支持向量回歸理論

(1)

3　本文算法的實現(xiàn)

通常認為圖像采集設備獲取到的低分辨率圖像是經(jīng)過下列降質(zhì)模型得到的：

ILR=DBIHR+n.

(2)

式中IHR為實際高分辨率圖像，ILR為得到的低分辨率圖像，D為下采樣因子，B為鏡頭模糊，n為對應的噪聲。模型中通過ILR來求解IHR的過程即為超分辨重構(gòu)過程，重構(gòu)圖像通常稱為SR圖像，記為ISR。通常認為這個求逆過程是個病態(tài)問題，即給定ILR可以求解出不同的ISR。提出算法不是利用公式(2)根據(jù)ILR來求解ISR，而是借助該模型得到HR圖像所對應的LR圖像(用來組成訓練和測試樣本集)。算法中只考慮n=0的情況，之所以這樣是因為文中關(guān)注的是重構(gòu)算法，而不是去噪算法。

如圖1所示，提出的算法包括兩部分，左框為訓練字典部分，右框為預測部分。圖2和圖3詳細介紹了算法的具體實現(xiàn)步驟，圖2是具體的訓練字典部分，圖3詳細介紹了回歸過程。在訓練字典和預測時，抽取圖像中子塊的大小m=3。

圖1　算法的主要框架

在訓練字典的過程中：

a.如圖2所示，這種步長為S循環(huán)掃描的分塊方式被稱為光柵掃描法，這是因為圖像第一次分塊是從坐標點(1，1)開始，第N次分塊到(m，m)結(jié)束 (m為子塊的大小)。這種分塊方式是從上到下，從左到右的抽取方式，若S=1，m=3，則分塊總共為N=m2=9次；

b.如圖2，在每次掃描抽取塊時，先將塊中像素排成一行。每一塊的輸入向量由3部分組成：一行中奇數(shù)位置的像素、塊的背景灰度和LBP編碼；得到的每個塊的向量長度用公式(3)表示，其中N*為正整數(shù)。

(3)

最終抽取的向量對由如公式(4)和(5)所示：

輸入向量X=[x1，…，xp]

xp=[R1(B1，…，B2n+1，Bav，Blbp)，…，

Ri(B1，…，B2n+1，Bav，Blbp)]，

(4)

其中：xp為第p次光柵掃描得到的輸入向量矩陣，p=1，…，N。Ri是第p次掃描時第i塊組成的輸入向量；B2n+1為第i塊中第2n+1個像素值，Bav，Blbp分別為第i塊的平均灰度值和局部二值模式編碼。

如圖2，標簽像素抽取的是圖像IHR中塊的中心像素值，這些被抽取標簽像素的塊和ILR圖像經(jīng)雙三次插值得到的圖像IHR1中的塊是一一對應的。最終得到的標簽向量為：

Y=[y1， …， yp]， yp=[L1，…，Li]，

(5)

式中：yp為第p次掃描得到的標簽向量矩陣，p=1，…，N。Li表示第p次掃描時第i塊組成的標簽向量。

c.在掃描得到所有塊時，需要通過拉普拉斯-高斯(Log)算子判斷每個塊是否為高頻。在高低頻空間中分別得到兩對向量對，然后通過剔除兩對向量對中的重復冗余數(shù)據(jù)，得到優(yōu)化后的兩對向量對，再通過訓練分別得到高頻空間字典和低頻空間字典。優(yōu)化向量對以及在高頻空間分別回歸得到的結(jié)果均可以減小引入的回歸誤差。

圖2　學習過程的流程圖

圖3為預測過程圖，在預測過程中：

a. 測試的LR圖像均由公式(2)中的模型降質(zhì)得到；

b. 回歸后得到的圖像并不是最終的SR圖像，經(jīng)過公式(6)的像素歸一化后輸出最終的SR圖像，這樣保證了最終的SR圖像和HR1圖像的背景灰度一致。

(6)

c.如圖3所示，在回歸中同樣用了光柵掃描方法來抽取測試圖像的輸入向量。

圖3　預測過程的流程圖

4　實驗和分析

4.1實驗過程

在實驗中，所有圖像均來自于南加利福尼亞大學數(shù)字圖像處理研究院(USC-SIPI)官方的數(shù)據(jù)庫(http://sipi.usc.edu/database/)，采用圖2中大小為512×512的圖像用于訓練字典，采用圖4中8幅大小為512×512或者256×256的圖像測試算法性能。公式(2)降質(zhì)模型中選用了5×5 高斯模糊核來模糊圖像，下采樣HR圖像和上采樣LR圖像的因子都為2。訓練SVR字典的工具是LibSVM[19]。使用RBF核函數(shù)(C=2.2，ε=0.1，且核函數(shù)的參數(shù)σ=0.01)訓練SVR字典，且使用了交叉驗證。抽取塊大小m=3，循環(huán)掃描步長S=1，共掃描9次。

圖4　參與測試的圖像.從左到右，從上到下分別編號為1—8

(7)

所選取的圖像都是8位灰度級，即最大灰度值即為255，I(i，j)和I′(i，j)為兩幅相同大小圖像在相同坐標(i，j)點的像素值。

SSIM如公式(8)所示，它是一個經(jīng)常用來比較兩幅圖像相似程度的指標。

(8)

式中：μ和σ分別是圖像x和y的像素均值和方差，σxy是圖像x和圖像y的協(xié)方差。兩幅圖像完全相同時，σxy取最大值1。

4.2實驗結(jié)果

圖5和圖6分別展示了第5、6幅測試圖的詳細比較結(jié)果。本文選擇用于對比分析的方法包括雙三次插值算法，KIM等人提出的利用先驗知識的稀疏回歸算法[21]，YANG等人提出的訓練雙字典算法[5]，DONG等人提出的深度卷積網(wǎng)絡算法[12]，PELEG等人提出的統(tǒng)計模型下稀疏表示算法[15]，TIMOFTE等人提出的可調(diào)整固定領(lǐng)域回歸的算法[14]，本文提出算法以及HR圖像方法(文中分別以BI、SRP、ScSR、CNN、ASP、A+、PR、HR縮寫表示)。通過圖5、6比較可知，提出的算法有較好的視覺效果。雙三次插值圖像由于丟失了大量的高頻信息，所得圖像最為模糊。ScSR，ASP，SRP，CNN和A+也恢復出一定量的高頻信息，而提出的算法恢復出了更多的邊緣信息。PSNR和SSIM的比較結(jié)果分別展示于表1和表2，從表中可以得出，提出算法的PSNR和SSIM高于其它算法。特別是第6幅圖，提出的算法比雙三次插值在PSNR上提高了5.3%。

圖5　第5幅圖比較(放大倍數(shù)為2) 第一行：BI， ScSR， CNN， ASP.第二行：SRP， A+， PR， HR

圖6　第6幅圖比較(放大倍數(shù)為2) 第一行：BI， ScSR， CNN， ASP. 第二行：SRP， A+， PR， HR

Tab.1PSNRs of SR images by different methods(dB)

表2　不同算法的SR圖像SSIM比較結(jié)果

5　結(jié)　論

由于現(xiàn)有算法是通過學習多幅高低分辨率圖像間的關(guān)系進行重構(gòu)，故得到的重構(gòu)效果并不好。針對這種利用圖像信息效率不高的問題，本文提出了一種基于光柵掃描和支持向量回歸機的超分辨率圖像重構(gòu)的學習方法。首先，利用光柵掃描法在高低頻空間下抽取訓練字典需要的輸入向量和像素標簽對并且優(yōu)化它們，利用LIBSVM工具訓練生成字典；其次抽取低分辨率測試圖像中高低頻空間下的輸入向量，然后將回歸得到的對應高分辨率圖像中部分像素加入雙三次插值圖像中去，并對圖像進行后處理，最終輸出超分辨率圖像。實驗結(jié)果表明，與一些具有代表性的重建方法相比，本文方法的視覺改善較為明顯。在PSNR和SSIM指標上比雙三次插值算法分別平均提高了3.1%～ 5.3%和1.5%～8.1%。這表明該方法具有更好的重建效果。

[1]穆紹碩，張葉，賈平. 基于自學習局部線性嵌入的多幅亞像元超分辨成像[J].光學 精密工程，2015，23(9): 2677-2686.

MU SH SH， ZHANG Y， JIA P. Super-resolution imaging of multi-frame sub-pixel images based on self-learning LLE [J].Opt.PrecisionEng.， 2015， 23(9): 2677-2686. (in Chinese)

[2]賈蘇娟， 韓廣良， 陳小林，等.光度非均勻彩色序列圖像超分辨重建[J].液晶與顯示，2014， 29(1): 106-113.

JIA S J，HAN G L，CHEN X L，etal.. Super-resolution reconstruction with photometric change of color image sequence [J].ChineseJournalofLiquidCrystalsandDisplays， 2014， 29(1) : 106-113.(in Chinese)

[3]何林陽， 劉晶紅，李剛，等.改進BRISK特征的快速圖像配準算法[J].紅外與激光工程，2014， 43(8): 2722-2727.

HE L Y， LIU J H， LI G，etal.. Fast image registration approach based on improved BRISK [J].InfraredandLaserEngineering， 2014， 43(8): 2722-2727.(in Chinese)

[4]鄧承志， 田偉，汪勝前，等. 近似稀疏正則化的紅外圖像超分辨率重建[J]. 光學 精密工程，2014，22(6): 1648-1654.

DENG CH ZH， TIAN W， WANG SH Q，etal.. Super-resolution reconstruction of approximate sparsity regularized infrared images [J].Opt.PrecisionEng.， 2014， 22(6): 1648-1654.(in Chinese)

[5]YANG J C， WANG Z W， LIN Z，etal..Coupled dictionary training for image super-resolution [J].IEEETransactionsonImageProcessing，2012， 21(8): 3467-3478.

[6]REN C， HE X H， TENG Q Z，etal..Single image super-resolution using local geometric duality and non-local similarity [J].IEEETransactionsonImageProcessing， 2016， 25(5): 2168-2183.

[7]龔衛(wèi)國，潘飛宇，李進明.用雙層重建法實現(xiàn)單幅圖像的超分辨率重建[J]. 光學 精密工程， 2014， 22(3): 720-729.

GONG W G， PAN F Y， LI J M. Single-image super-resolution reconstruction via double layer reconstructing [J].Opt.PrecisionEng.，2014， 22(3): 720-729.(in Chinese)

[8]ZHANG K B， GAO X B， LI J，etal..Single image super-resolution using regularization of non-local steering kernel regression [J].SignalProcessing， 2016， 123: 53-63.

[9]LI J M， QU Y Y， LI C H，etal..Image super-resolution based on multi-kernel regression [J].MultimediaToolsandApplications，2016， 75: 4115-4128.

[10]NI K S， NGUYEN T Q.Image super-resolution using support vector regression [J].IEEETransactionsonImageProcessing， 2007，16(6): 1596-1610.

[11]YANG M C， WANG Y C F. A self-learning approach to single image super-resolution [J].IEEETransactionsonMultimedia， 2013，15(3): 498-508.

[12]DONG C， CHEN C L， HE K M，etal..Image super-resolution using deep convolutional networks [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2016， 38(2): 295-307.

[13]LIANG Y D， WANG J J， ZHOU S P，etal..Incorporating image priors with deep convolutional neural networks for image super-resolution [J].Neurocomputing，2016， 194: 340-347.

[14]TIMOFTE R， DE S， VAN G L. A+:adjusted anchored neighborhood regression for fast super-resolution [C].Proceedingofthe12thAsianConferenceonComputerVision， 2014: 111-26.

[15]PELEG T， ELAD M. A statistical prediction model based on sparse representations for single image super-resolution [J].IEEETransactionsonImageProcessing，2014， 23(6): 2569-2582.

[16]孟偉，金龍旭，李國寧，等. 調(diào)制傳遞函數(shù)在遙感圖像復原中的應用[J]. 紅外與激光工程，2014，43(5):1690-1696.

MENG W， JIN L X， LI G N，etal..Application of MTF in remote sensing image restoration [J].InfraredandLaserEngineering， 2014， 43(5): 1690-1696.(in Chinese)

[17]ZHAO G Y， AHONEN T， MATAS J，etal.. Rotation-invariant image and video description with local binary pattern features [J].IEEETransactionsonImageProcessing， 2012， 21(4): 1465-1477.

[18]CHEN P H， LIN C J， SCHOLKOPF B. A tutorial on v-support vector machines [J].AppliedStochasticModelsinBusinessandIndustry，2005， 21(2): 111-136.

[19]CHANG C C， LIN C J. LIBSVM: a library for support vector machines [J].ACMTransactionsonIntelligentSystemsandTechnology，2011， 2(3).

[20]張振東，陳健，王偉國，等. 基于SSIM_NCCDFT的超分辨率的復原評價方法研究[J]. 液晶與顯示，2015，30(4): 713-721.

ZHANG ZH D， CHEN J， WANG W G，etal..Evaluation method of super-resolution restoration based on SSIM_NCCDFT [J].ChineseJournalofLiquidCrystalsandDisplays， 2015， 30(4): 713-721.(in Chinese)

[21]KIM K I，KWON Y. Single-image super-resolution using sparse regression and natural image prior [J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2010， 32(6): 1127-1133.

林海杰(1991-)，男，山西呂梁人，碩士研究生，2014年于山西師范大學獲得學士學位， 主要研究圖像識別，圖像重構(gòu)，模式識別的研究。E-mail: haijie_lin@126.com

陳志宏(1978-)， 男，天津人，博士， 講師， 1996年于大連理工大學獲得學士學位，2004年、2008年于天津大學分別獲得碩士、博士學位，主要研究圖像處理，模式識別等方面的研究。E-mail: chenzhihong_tjut@163.com

導師簡介：

袁其平(1962-)，男，江蘇淮安人，學士，教授，1983年于南京工學院獲得學士學位，主要從事光電信息處理，模式識別的研究。E-mail: Yqp1962@163.com

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Single image super-resolution reconstruction using support vector regression

YUAN Qi-ping， LIN Hai-jie， CHEN Zhi-hong*， YANG Xiao-ping

(TianjinKeyLaboratoryofFilmElectronicandCommunicationDevices，TianjinUniversityofTechnology，Tianjin300384，China)*Correspondingauthor，E-mail：chenzhihong_tjut@163.com

Some of the traditional single-frame super-resolution (SR) reconstruction algorithms can not get good reconstruction results， although they learns many different types of images. Therefore， a super-resolution method combined with the Support Vector Regression (SVR) and raster-scan actions was proposed. Firstly， image patches were extracted from a group of high resolution (HR) images and the corresponding low resolution (LR) edition by the raster-scan actions， and input vectors and pixel vectors were taken out from the patches. The Log algorithm was used to determine that those patches were belong to high-frequency space or low frequency space then to construct the high and low frequency vector pairs. Then， those optimized vector pairs were trained by the SVR and two dictionaries in high/low frequency spaces were built eventually. Furthermore， input vectors were extracted from tested LR images in high/low frequency space， and the SVR tool was used to predict the SR pixel labels and the predicted pixels were added to bicubic interpolation image based on LR edition. Finally， the SR image was obtained by post-processing the previous image. In comparison with other algorithms， experimental results indicate that the proposed method provides good visual effects. It enhances its Peak Signal-to-Noise Ration (PSNR) and Structural Similarity Index Measurement (SSIM) by 3.1%-5.3% and 1.5%-8.1% on different images， respectively as compared with bicubic interpolation method.

super-resolution reconstruction; single image; support vector regression; Log algorithm; raster-scan

2016-06-13；

2016-07-19.

天津市應用基礎(chǔ)與前沿技術(shù)研究計劃青年基金資助項目(No.14JCQNJC00900)

1004-924X(2016)09-2302-08

TP391.4

A

10.3788/OPE.20162409.0001