基于Gabor變換的圖像鄰域嵌入超分辨率放大

武曉敏, 徐 健,2, 范九倫, 王彥梓

(1.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121; 2.西安交通大學(xué) 電子與信息工程學(xué)院， 陜西 西安 710049)

基于Gabor變換的圖像鄰域嵌入超分辨率放大

武曉敏1, 徐 健1,2, 范九倫1, 王彥梓1

(1.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121; 2.西安交通大學(xué) 電子與信息工程學(xué)院， 陜西 西安 710049)

為了改善圖像超分辨率放大的效果，提出一種基于Gabor變換的超分辨率放大算法。通過(guò)將圖像塊與多方向、多尺度的Gabor濾波器求卷積，來(lái)提取圖像塊的局部特征；利用歐幾里得距離度量標(biāo)準(zhǔn)，為提取了Gabor特征的測(cè)試圖像塊尋找準(zhǔn)確的近鄰圖像塊，并通過(guò)聯(lián)合學(xué)習(xí)高、低分辨率圖像塊對(duì)的方法，求出圖像塊對(duì)之間的關(guān)系；將尋找到的近鄰圖像塊進(jìn)行線性組合，求得所需的高分辨率圖像塊。實(shí)驗(yàn)結(jié)果顯示，圖像的Gabor特征能夠幫助測(cè)試圖像塊找到更準(zhǔn)確的近鄰圖像塊，從而提高超分辨率算法的性能。

超分辨率放大；Gabor特征；鄰域嵌入；聯(lián)合學(xué)習(xí)；映射矩陣

圖像的超分辨率放大(Super-resolution, SR)就是從一幅或幾幅低分辨率(Low-resolution, LR)圖像中恢復(fù)其高頻信息來(lái)得到其對(duì)應(yīng)的高分辨率(High-resolution, HR)圖像。超分辨率技術(shù)在生物醫(yī)療、軟硬件民用設(shè)備、刑偵圖像和遙感圖像處理等方面都有廣泛應(yīng)用。SR方法主要分為三大類，即基于插值的方法[1-3]、基于重建的方法[4-7]和基于學(xué)習(xí)的方法[8-19]。

基于學(xué)習(xí)的SR方法利用圖像在高頻細(xì)節(jié)上的相似性，即通過(guò)學(xué)習(xí)LR圖像和對(duì)應(yīng)HR圖像之間的關(guān)系來(lái)指導(dǎo)圖像超分辨率放大的過(guò)程[20]。

文[11]將HR圖像塊和相應(yīng)的LR圖像塊作為樣本，利用馬爾可夫網(wǎng)絡(luò)模型描述在高分辨率重建過(guò)程中原始圖像與樣本塊之間的關(guān)系，這種算法的結(jié)果與訓(xùn)練樣本有著密切的聯(lián)系，且會(huì)引入一些較明顯的人工痕跡。

文[12]提出一種典型的基于鄰域嵌入(Neighbor Embedding，NE)算法，此算法從流型學(xué)習(xí)引入了局部線性嵌入(Locally Linear Embedding, LLE)[21]，即LR圖像塊與它對(duì)應(yīng)的HR圖像塊在結(jié)構(gòu)上是局部相似的。但是，一個(gè)LR圖像塊可能對(duì)應(yīng)多個(gè)HR圖像塊，影響了此算法的重建效果。

文[13]在文[12]的基礎(chǔ)上利用分組圖像塊對(duì)(Grouping Patch Pairs，GPPs)來(lái)尋找近鄰點(diǎn)的位置，并結(jié)合了聯(lián)合學(xué)習(xí)的方法來(lái)實(shí)現(xiàn)圖像的超分辨率放大，此算法能較好地解決一對(duì)多的問(wèn)題。但是，它是基于提取圖像的梯度特征來(lái)尋找近鄰圖像塊的，而梯度特征只能代表圖像兩個(gè)方向(垂直和水平)的紋理信息，對(duì)于所選近鄰塊的準(zhǔn)確性有一定影響。

為了提取更能代表圖像紋理信息的特征，本文將嘗試?yán)肎abor濾波器來(lái)提取圖像多方向多尺度的局部信息，提出一種基于Gabor變換的圖像鄰域嵌入超分辨率放大(GTNE-SR)算法。由于Gabor小波與人類視覺(jué)系統(tǒng)中簡(jiǎn)單細(xì)胞的視覺(jué)刺激響應(yīng)非常相似，即Gabor濾波器的頻率和方向表示接近人類視覺(jué)系統(tǒng)對(duì)于頻率和方向的表示，常常被用來(lái)表示和描述圖像紋理，因此，提取圖像的Gabor特征也許能幫助找到更準(zhǔn)確的近鄰圖像，進(jìn)而提高圖像超分辨率放大的性能。

1 GTNE-SR算法

GTNE-SR算法的具體流程如圖1所示。

圖1 算法流程

1.1 算法分解

1.1.1 訓(xùn)練過(guò)程及尋找近鄰點(diǎn)位置

基于NE的SR本質(zhì)上是利用機(jī)器學(xué)習(xí)的方法得到高低分辨率圖像間的映射關(guān)系。為了讓機(jī)器模擬圖像生成的過(guò)程，需要有能供學(xué)習(xí)的訓(xùn)練樣本，且訓(xùn)練樣本不僅要包含LR圖像，還要有對(duì)應(yīng)的HR圖像。這樣在輸入一張LR測(cè)試圖時(shí)，就可以通過(guò)學(xué)習(xí)到的映射關(guān)系生成對(duì)應(yīng)的HR圖像。

雖然圖像的Gabor濾波特征對(duì)外界環(huán)境如光照、圖像旋轉(zhuǎn)等具有較強(qiáng)的魯棒性，但當(dāng)濾波器個(gè)數(shù)較多時(shí)，其構(gòu)成的Gabor特征維數(shù)太高。比如選取W個(gè)濾波器，其實(shí)部與虛部一共就有2W個(gè)濾波器，這樣若圖像在分塊時(shí)的尺寸為q×q時(shí)，那么一個(gè)圖像塊所有的Gabor特征級(jí)聯(lián)后，其特征維數(shù)就為q×q×2×W，很明顯維數(shù)較高，這樣就會(huì)使得存儲(chǔ)困難、計(jì)算量加大而耗時(shí)。故考慮將Gabor小波特征僅用以尋找近鄰點(diǎn)的位置，而其后的重建過(guò)程則采用維數(shù)較低(q×q×4)的梯度特征。

首先定義LR梯度特征訓(xùn)練集

它對(duì)應(yīng)的HR圖像訓(xùn)練集為

對(duì)于輸入的低分辨率測(cè)試圖像，首先定義其梯度特征集為

它對(duì)應(yīng)的高分辨率圖像塊

對(duì)于Gabor特征集中的每一個(gè)低分辨率測(cè)試圖像塊，可以求出其與低分辨率訓(xùn)練集中每個(gè)圖像塊的距離

(1)

1.1.2 訓(xùn)練圖像塊對(duì)的聯(lián)合學(xué)習(xí)

假設(shè)Li∈d×K(i=1,2,…,M)是由K個(gè)d維的列向量按列排放在一起的矩陣，這些向量是第i個(gè)測(cè)試圖像塊的近鄰點(diǎn)集合Ni中K個(gè)近鄰位置所對(duì)應(yīng)的訓(xùn)練樣本塊，即}r∈Ni。同樣可得其對(duì)應(yīng)的Hi∈m×K(i=1,2,…,M)和}r∈Ni。

根據(jù)先驗(yàn)知識(shí)，訓(xùn)練集中同一索引對(duì)應(yīng)的高低分辨率塊在結(jié)構(gòu)上應(yīng)該是相似的，但由于特征向量維數(shù)的不一致，無(wú)法直接判斷其相似性，所以將它們分別通過(guò)兩個(gè)不同的映射函數(shù)映射到維數(shù)相同的子空間后，就可以直接比較其相似性。為了求解

(2)

需要計(jì)算出映射函數(shù)

fl:d→p,

fh:m→p。

假設(shè)用映射矩陣Pl∈d×p和Ph∈m×p來(lái)代替映射函數(shù)fl和fh，式(2)可以寫成

(3)

將式(3)的求和部分展開可得[13,24]

tr{[(Li)TPl-(Hi)TPh]T[(Li)TPl-(Hi)TPh]}=

其中I是一個(gè)K×K的單位矩陣，假設(shè)

則式(3)可以簡(jiǎn)寫成

s.t.PTQQTP=I,PTQl=0.

(4)

這里l表示一個(gè)2K維的全1向量。令

E=QAQT,F=QQT,

這樣P就可以由

EP=λFP

經(jīng)特征值分解的方法求得。

為了更有效地解決上述的特征值分解問(wèn)題，可將EP=λFP變化為

Li(Li)TPl-Li(Hi)TPh=λLi(Li)TPl,

(5)

Hi(Hi)TPh-Hi(Li)TPl=λHi(Hi)TPh。

(6)

根據(jù)式(6)，可以得到

(7)

把式(7)入式(5)，就可以得到

Li(Hi)T[Hi(Hi)T]-1Hi(Li)TPl=

(1-λ)2Li(Li)TPl。

(8)

假設(shè)

G=Li(Hi)T[Hi(Hi)T]-1Hi(Li)T,

J=Li(Li)T,

則式(8)就可寫成

GPl=(1-λ)2JPl,

(9)

這樣，只要根據(jù)式(9)求出Pl，將其代入式(7)就可以求出對(duì)應(yīng)的Ph。它們將高、低分辨率圖像塊映射到了同樣維數(shù)的子空間。這里有一點(diǎn)需要注意，由于Hi(Hi)T不一定可逆，為了防止其奇異，一般可取

Hi(Hi)T=Hi(Hi)T+τI,

其中τ是一個(gè)極小的正數(shù)(如10-6)[24]，I是一個(gè)單位矩陣。

1.1.3 后處理過(guò)程

由于初始生成的圖像可能受到噪聲等的降質(zhì)影響，為了使圖像更適合人類視覺(jué)系統(tǒng)，需要對(duì)最初生成的高分辨率圖像先經(jīng)過(guò)去除噪聲，然后再進(jìn)行圖像增強(qiáng)。

假設(shè)X是高分辨率圖像，Y是其對(duì)應(yīng)的低分辨率圖像，它是X經(jīng)過(guò)模糊B，下采樣D和受到噪聲η干擾后所生成的降質(zhì)圖像，即

Y=DBX+η。

(10)

首先，采用全變分法(Total Variation, TV)[22]法進(jìn)行圖像去模糊，然后用反投影迭代法(Iterative Back-projection, IBP)[23]的方法進(jìn)行圖像增強(qiáng)，IBP過(guò)程可表示為

其中μ是用來(lái)均衡平滑先驗(yàn)和反投影迭代的約束因子(不妨設(shè)其為1)，X0是去噪后的高分辨率圖像，可以采用梯度下降法等優(yōu)化方法求得最優(yōu)解X*。

1.2 算法描述

根據(jù)此前的流程分解，可把GTNE-SR算法總結(jié)如下。

輸入

(1) 低分辨率測(cè)試圖像Y和圖像塊尺寸q×q。

(2) 訓(xùn)練數(shù)據(jù)集

(3) 近鄰數(shù)K,映射矩陣的維數(shù)p。

(4) Gabor濾波器參數(shù),包括核方向變量個(gè)數(shù)

V=3 (v=0,1,2)，

尺度變量個(gè)數(shù)

U=4 (μ=0,1,2,3),

Gabor小波的窗口大小h×w，其余參數(shù)參考文獻(xiàn)[25]。

輸出 HR圖像X*。

步驟1 將Y的梯度圖像和Gabor特征圖像分別有重疊地分割成q×q的圖像塊(重疊像素可以是1個(gè)或者2個(gè))，構(gòu)成測(cè)試數(shù)據(jù)集

步驟2.3 利用Nj中位置處對(duì)應(yīng)的訓(xùn)練圖像塊構(gòu)成矩陣L和Hi，然后通過(guò)式(6)(7)(8)計(jì)算出映射矩陣Pl和Ph。

步驟2.5 為使重建的誤差達(dá)到最小，用最小二乘的方法求出最優(yōu)的權(quán)值向量

步驟2.6 運(yùn)用最優(yōu)權(quán)值重建

步驟4 用TV法對(duì)X0進(jìn)行去噪，用IBP法對(duì)圖像進(jìn)行增強(qiáng)，最后輸出高分辨率圖像X*。

2 實(shí)驗(yàn)參數(shù)設(shè)置及實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)所用訓(xùn)練樣本下載自Yang[14]的主頁(yè)，共69幅具有各種類型的圖像作為高分辨率訓(xùn)練圖，另外8幅不同類型的測(cè)試圖是很多研究者常用來(lái)做實(shí)驗(yàn)的標(biāo)準(zhǔn)圖像，如圖2所示，為了后面描述方便，將這些測(cè)試圖像從1到8依次編序。

(a) 第1幅 (b) 第2幅(c) 第3幅(d) 第4幅

(e) 第5幅(f) 第6幅(g) 第7幅(h) 第8幅

圖2 測(cè)試圖像

為了模仿圖像從LR圖像形成HR圖像的過(guò)程，將HR訓(xùn)練樣本進(jìn)行4倍下采樣作為本實(shí)驗(yàn)的LR訓(xùn)練圖像。由于人類視覺(jué)系統(tǒng)對(duì)于亮度的敏感性比色度要強(qiáng)，我們將所有的圖像先進(jìn)行彩色空間的轉(zhuǎn)化，即將RGB彩色空間轉(zhuǎn)化到Y(jié)CbCr彩色空間。對(duì)于最初輸入的LR測(cè)試圖像，將其亮度部分先通過(guò)插值方法放大2倍得到其中低頻信息，并以此時(shí)得到的圖像Y0作為低分辨率測(cè)試圖像，在此基礎(chǔ)上進(jìn)行超分辨率放大至4倍來(lái)恢復(fù)其高頻信息。對(duì)于其色度部分，直接進(jìn)行插值放大至4倍即可。對(duì)于LR訓(xùn)練圖像，其亮度部分也先放大兩倍得到插值后的圖像Y1。

提取圖像的Gabor特征時(shí)，首先選取Gabor濾波器的個(gè)數(shù)W為12(因?yàn)楫?dāng)濾波器個(gè)數(shù)增加至40時(shí)，第7幅測(cè)試圖像的峰值信噪比(Peak Signal to Noise Ratio, PSNR)的值只增加了0.001 7 dB，但運(yùn)行時(shí)間卻為濾波器個(gè)數(shù)為12時(shí)的3倍，見圖3)，將低分辨率圖像通過(guò)與Gabor核卷積運(yùn)算分別生成24幅Gabor特征圖像，其中包含12幅實(shí)部特征圖像和12幅虛部特征圖像；然后將所有的低分辨率Gabor特征圖像分成4×4的圖像塊，將每個(gè)低分辨率圖像塊的Gabor特征按列排放，即為4×4×24=384維的列向量。Gabor特征的維數(shù)較高，若使用Gabor特征來(lái)計(jì)算映射矩陣和最優(yōu)權(quán)值，計(jì)算量很大，這也是只選擇用Gabor特征來(lái)找近鄰點(diǎn)位置的一個(gè)重要原因。

圖3 第7幅測(cè)試圖像的峰值信噪比及對(duì)應(yīng)運(yùn)行時(shí)間

接下來(lái)提取圖像的梯度特征，對(duì)于高、低分辨率訓(xùn)練圖像和2倍插值后的LR測(cè)試圖像，將其與式

f1=[-1,0,1],

f3=[1,0,-2,0,1],

(11)

的4個(gè)一維濾波器卷積可得到每幅圖像的4幅梯度特征圖像。

為了保證訓(xùn)練集中圖像塊的有效性，需要將每個(gè)訓(xùn)練圖像塊去直流,同時(shí)，還要進(jìn)一步篩選含有紋理(方差大于90，見圖4)的圖像塊作為訓(xùn)練樣本。這樣實(shí)驗(yàn)的訓(xùn)練集中就有55 829個(gè)高低分辨率圖像塊對(duì)。為了保證放大后圖像的連續(xù)性，在對(duì)圖像分塊的時(shí)候要有重疊部分。

圖4 第4幅測(cè)試圖在不同方差時(shí)的峰值信噪比值

2.2 近鄰數(shù)對(duì)實(shí)驗(yàn)的影響

近鄰圖像塊的數(shù)目對(duì)實(shí)驗(yàn)有一定的影響。為了測(cè)試GTNE-SR算法中近鄰數(shù)K的最佳值，將近鄰數(shù)的范圍設(shè)為從1～20，Gabor濾波器窗口大小設(shè)為5×5，映射矩陣維數(shù)為10，實(shí)驗(yàn)結(jié)果如圖5所示。從圖5(a)可見，隨著近鄰數(shù)K的增加，均方根誤差(Root-mean-square Error, RMSE)的整體變化趨勢(shì)是逐漸減小，直至K=19的時(shí)候達(dá)到最小。圖5(b)中的峰值信噪比(Peak Signal to Noise Ratio，PSNR)曲線呈現(xiàn)出相反趨勢(shì)，最終在K=19的時(shí)候達(dá)到最大值。綜上所述，近鄰數(shù)K=19的時(shí)候性能較好。

(a) 第5幅測(cè)試圖像近鄰數(shù)與RMSE的關(guān)系

(b) 第5幅測(cè)試圖像近鄰數(shù)與PSNR的關(guān)系

2.3 Gabor小波核窗口大小對(duì)實(shí)驗(yàn)的影響

Gabor小波核窗口的大小對(duì)實(shí)驗(yàn)的結(jié)果也是有一定影響的。窗口太大可能會(huì)將大量細(xì)節(jié)模糊，而窗口過(guò)小可能引入一些非細(xì)節(jié)的噪聲等。因此，為了驗(yàn)證核窗口大小對(duì)實(shí)驗(yàn)的影響，我們將窗口的高度h設(shè)為3、5、7、9，窗口寬度w與高度h一致。實(shí)驗(yàn)結(jié)果如圖6所示，它們分別是第6幅測(cè)試圖像的實(shí)驗(yàn)結(jié)果。從圖6(a)可見Gabor核窗口的高度為5時(shí)，其RMSE為最小，從圖6(b)可見Gabor核窗口的高度為5時(shí)，其PSNR達(dá)到峰值。因此，當(dāng)Gabor窗口大小為5×5時(shí)，性能達(dá)到最好。

(a) Gabor核高度與RMSE的關(guān)系

(b) Gabor核高度與PSNR的關(guān)系

另外，實(shí)驗(yàn)過(guò)程中還考慮了映射矩陣維數(shù)和Gabor濾波器的個(gè)數(shù)這兩個(gè)參數(shù)對(duì)本實(shí)驗(yàn)的影響，實(shí)驗(yàn)結(jié)果證明，當(dāng)映射矩陣維數(shù)較高或?yàn)V波器個(gè)數(shù)增加時(shí)，算法的復(fù)雜度增加且耗時(shí)，但對(duì)實(shí)驗(yàn)的結(jié)果卻無(wú)明顯改善。

2.4 實(shí)驗(yàn)結(jié)果對(duì)比

為了評(píng)估GTNE-SR算法的性能，現(xiàn)將其與雙三次插值、Freeman[11]、NESR[12]、JLSR[13]4種算法進(jìn)行對(duì)比。為了公平對(duì)比，幾種算法選用同樣的訓(xùn)練圖像，且每一種算法的參數(shù)設(shè)置都按照原文獻(xiàn)中所設(shè)置的最佳參數(shù)，并選擇RMSE、PSNR、結(jié)構(gòu)相似性(Structural Similarity Index Measurement，SSIM)[26]和特征相似性(Feature Similarity Index Measurement, FSIM)[27]作為4種客觀標(biāo)準(zhǔn)，相關(guān)數(shù)據(jù)見表1。

表1 測(cè)試圖經(jīng)過(guò)不同方法4倍放大的客觀標(biāo)準(zhǔn)對(duì)比

從表1可見,GTNE-SR算法的每幅測(cè)試圖的SSIM和FSIM比其他4種算法都高，大部分測(cè)試圖的PSNR也高于其他4種算法，而其對(duì)應(yīng)的RMSE大部分低于其他算法。

各算法4倍放大視覺(jué)圖像對(duì)比結(jié)果如圖7和圖8所示，3倍放大的對(duì)比結(jié)果如圖9所示，其中圖9(c)為ASDS(Adaptive Sparse Domain Selection)算法[18]的實(shí)驗(yàn)結(jié)果。由此可見GFNE-SR算法的有效性，即GTNE-SR算法振鈴少，邊緣清晰，紋理細(xì)節(jié)較多且人工痕跡較少。

(a) 雙三次插值 (b)Freeman (c)NESR

(d)JLSR (e)GTNE-SR (f)原始高分辨率圖

圖7 第2幅測(cè)試圖像不同方法的4倍放大結(jié)果

(a)為雙三次插值

(b)Freeman

(c)NESR

(d)JLSR

(e)GTNE-SR

(f)原始高分辨率圖

圖8 第5幅測(cè)試圖不同方法的4倍放大結(jié)果

(a) 雙三次插值 (PSNR: 30.3286) (b) JLSR (PSNR: 30.6965) (c) ASDS (PSNR: 32.6098) (d) GTNE-SR(PSNR: 32.1820)

圖9 第3幅測(cè)試圖像不同方法的3倍放大效果

3 結(jié)論

利用二維Gabor濾波器具有在空間域和頻率域同時(shí)取得最優(yōu)局部化的特性，提取圖像多方向多尺度的紋理信息作為特征來(lái)尋找近鄰點(diǎn)的位置,隨后利用聯(lián)合學(xué)習(xí)的思想構(gòu)建兩個(gè)映射矩陣，將不同維數(shù)的高低分辨率圖像塊映射至同一維數(shù)的特征空間，從而可以構(gòu)建最優(yōu)權(quán)值。從實(shí)驗(yàn)結(jié)果可以看出，GTNE-SR算法比雙三次插值、Freeman、NESR和JLSR算法有更好的性能。

尋找能夠更加有效地度量近鄰塊位置的距離標(biāo)準(zhǔn)將是未來(lái)工作的主要方面，另外，還可以考慮引入模糊C-均值聚類[28]或其他聚類，以降低算法的復(fù)雜度。

[1] Mallat S, Yu Guoshen, Super-resolution with sparse mixing estimators[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2889-2900.

[2] Chaves-Roman H, Ponomaryov V. Super resolution image generation using wavelet domain interpolation with edge extraction via a sparse representation[J].IEEE Geoscience and Remote Senssing Letters, 2014, 11(10): 1777-1781.

[3] Zhang David, Wu Xiaolin. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2226-2238.

[4] Huang T S, Tsai R Y. Multi-frame image restoration and registration[J]. Advances in Computer Vission and Image Processing, 1984, 1(2): 317-339.

[5] Li Xuelong, Hu Yanting, Gao Xinbo, et al. A multi-frame image super-resolution method[J]. Signal Processing, 2010, 90(2): 405-414.

[6] Protter M, Elad M, Takeda H, et al. Generalizing the nonlocal-means to super-resolution reconstruction[J]. IEEE Transactions on Image Processing, 2009, 18(1): 36-51.

[7] Gao Xinbo, Wang Qian, Li Xuelong, et al. Zernike-moment-based image super resolution[J]. IEEE Transactions on Image Processing, 2011, 20(10): 2738-2747.

[8] Dong Weisheng, Zhang Lei, Shi Guangming and Li Xin. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1620-1630.

[9] Timofte R, de Smet V, Gool L V. Anchored neighborhood regression for fast example-based super-resolution[C]//Proceeding of international Conference on Computer Vision. New York: IEEE, 2013: 1920-1927.

[10] Chen Xiaoxuan, Qi Chun. Low-rank neighbor embedding for single image super-resolution[J]. IEEE Signal Processing Letters, 2014, 21(1): 79-82.

[11] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[12] Chang Hong, Yeung Dit-Yan, Xiong Yimin. Super-resolution through neighbor embedding[C]//Proceeding of Conference on Computer Vision and Pattern Recongnition. New York: IEEE, 2004: 274-282.

[13] Gao Xinbo, Zhang Kaibing, Tao Dacheng. Joint learning for single-image super-resolution via a coupled constraint[J]. IEEE Transactions on Image Processing, 2012,21(2): 469-480.

[14] Yang Jianchao, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[15] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representation[C]//International Conference on Curves and Surfaces. Berlin:Springer, 2010: 711-730.

[16] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]//Proceeding of International Conference on Computer Vision. New York: IEEE, 2009: 349-356.

[17] Yang Chih-Yuan, Huang Jiabin, Yang Ming-Hsuan. Exploiting self-similarities for single frame super-resolution[C]//Proceeding of Asian Conference on Computer Vision.Berlin:Springer,2010: 497-510.

[18] Dong Weisheng, Zhang Lei, Shi Guangming, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2011, 20( 7): 1838-1857.

[19] Zhang Kaibing, Gao Xinbo, Tao Dacheng, et al. Single image super-resolution with multiscale similarity learning[J]. IEEE Transactions on Neural Networks and Leaning Systems, 2013, 24(10): 1648-1659.

[20] 卓力，王素玉，李曉光.圖像/視頻的超分辨率復(fù)原[M].北京：人民郵電出版社，2011：253-266.

[21] Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5500): 2323-2326.

[22] Lloyd S. Least squares quantization in PCM[J]. IEEE Transactions on Information Theory, 1982, 28( 2): 129-137.

[23] Irani M, Peleg S, Improving resolution by image registration[J]. Graphical Models and Image Processing, 1991, 53(3), 231-239.

[24] Li Bo, Chang Hong, Shan Shiguang, et al. Low-resolution face recognition via coupled local preserving mappings[J]. IEEE Signal Processing Letters, 2010, 17(1): 20-23.

[25] Liu Chengjun, Wechsler H. Gabor Feature Based Classification Using the Enhanced Fisher Linear Discriminant Model For Face Recognition[J]. IEEE Transactions on Image Processing, 2002, 11(4): 467-476.

[26] Wang Zhou, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing., 2004, 13(4): 600-612.

[27] Zhang Lin, Zhang Lei, Mou Xuanqin, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386 .

[28] 范九倫. 抑制式模糊C-均值聚類研究綜述[J]. 西安郵電大學(xué)學(xué)報(bào)，2014，19(3)：1-5.

[責(zé)任編輯:王輝]

Image super-resolution based on Gabor-transformed-neighbor-embedding

WU Xiaomin1, XU Jian1,2, FAN Jiulun1, WANG Yanzi1

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China；2.Image Processing and Recognition Center, Xi’an Jiaotong University, Xi’an 710049, China)

An algorithm based on Gabor transformation is proposed to improve the performance of image super-resolution (SR). In this algorithm, the local features of images can be obtained by the convolutions of the image patches and the multi-scale and multi-orientation Gabor filters. The K-nearest-neighbors (KNNs) can be found out for each test image patch by computing the Euclidean distances between it and image patches in the training set. The relationships between the low-resolution (LR) and the high-resolution (HR) image patch pairs can be obtained by joint learning method. The required HR image patch can be computed by the linear combination of the corresponding KNNs. Experimental results show that the Gabor features which extracted from image patch can help the test image patch to find its more accurate KNNs and thus improve the performance of SR.

super-resolution, Gabor feature, neighbor-embedding, joint learning, projection matrix

10.13682/j.issn.2095-6533.2014.06.008

2014-06-18

國(guó)家自然科學(xué)基金資助項(xiàng)目(61102095，61202183，61340040)

武曉敏(1989-),女,碩士研究生,研究方向?yàn)閳D像處理和模式識(shí)別。E-mail:wuxiaomin_0110@163.com 徐健(1981-),女,副教授,從事數(shù)字圖像處理研究。E-mail：xujian_paper@126.com

TP391.4

A

2095-6533(2014)06-0038-10