結(jié)合多特征的單幅圖像超分辨率重建算法

黃劍華, 王丹丹, 金 野

(哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001 )

?

結(jié)合多特征的單幅圖像超分辨率重建算法

黃劍華, 王丹丹, 金 野

(哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001 )

為提高直接捕獲的圖像質(zhì)量，針對(duì)梯度特征只能提取水平、垂直方向信息及非下采樣輪廓波變換(NSCT)提取細(xì)節(jié)信息不足的缺陷，提出一種結(jié)合Gabor變換及NSCT的超分辨率重建算法. 該算法充分利用Gabor變換和NSCT的互補(bǔ)性，針對(duì)輸入圖像塊的特點(diǎn)，采用Gabor變換來提取紋理特征，NSCT來提取輪廓特征，然后分別利用稀疏模型進(jìn)行重建，最后合并成一幅高分辨率圖像. 由于輸入圖像或多或少存在模糊，在重建過程中，加入了去模糊的正則項(xiàng)，以消除輸入模糊的影響. 實(shí)驗(yàn)結(jié)果表明，結(jié)合兩種特征的超分辨率效果與單一特征相比，能夠恢復(fù)更多的細(xì)節(jié)信息，去模糊正則項(xiàng)也有一定的作用. 本文方法與Kim提出的核嶺回歸及Yang提出的稀疏表示算法(SCSR)相比，主觀上視覺效果更加清晰，客觀上PSNR值平均提高了近2dB，說明了該算法能夠有效地提高圖像的質(zhì)量.

單幀圖像超分辨率；Gabor；NSCT；稀疏表示；模糊

高分辨率圖像所呈現(xiàn)的圖像細(xì)節(jié)更為豐富，表達(dá)信息的能力更強(qiáng)，在醫(yī)學(xué)、軍事、遙感、視頻監(jiān)控等領(lǐng)域都有廣泛應(yīng)用. 然而直接捕獲的圖像由于成像設(shè)備及采集環(huán)境的限制，往往存在模糊、變形、含噪聲等. 為了提高圖像的分辨率，最直觀的方法即為改善成像設(shè)備，然而高昂的費(fèi)用限制了其應(yīng)用范圍，因而通過軟件的方法來提高圖像分辨率成為當(dāng)前重要的研究領(lǐng)域之一.

基于學(xué)習(xí)的單幀圖像超分辨率(SR)是圖像重建的一個(gè)重要分支，即輸入一幅低分辨率圖像，預(yù)測(cè)對(duì)應(yīng)的高分辨率圖像，主要方法有：局部線性嵌入方法(LLE)[1]、核嶺回歸方法(KRR)[2]、稀疏表示方法[3-5]，及一些方法尋求準(zhǔn)確的模糊核[6-7]來進(jìn)行超分辨率. 其中Yang提出的稀疏編碼方法(SCSR)[3]將壓縮感知理論開創(chuàng)性地應(yīng)用到了超分辨率中，利用稀疏表示這個(gè)強(qiáng)先驗(yàn)知識(shí)，取得了較好的效果. 文獻(xiàn)[4]提出了耦合字典訓(xùn)練方法，提高了算法的計(jì)算效率，文獻(xiàn)[5]進(jìn)一步改進(jìn)了該算法，提高了算法的穩(wěn)定性. 但是這類方法大多數(shù)采用一階梯度及二階梯度(水平、垂直方向)來提取圖像的高頻信息，并不能提取任意方向的信息，因此該特征描述的信息并不全面. 非下采樣輪廓波變換(NSCT)具有多尺度性、多方向性、平移不變性，能夠提取多方向多尺度的信息. Amisha[8]在超分辨率中引入了該變換，復(fù)原了更多的圖像高頻信息，但是相對(duì)而言，NSCT不能很好地提取圖像細(xì)節(jié)紋理信息. Gabor變換[9-11]由于其有效性，被廣泛地用于紋理分析，因此可以結(jié)合NSCT與Gabor的優(yōu)勢(shì)，對(duì)圖像進(jìn)行綜合特征提取.

本文嘗試?yán)肗SCT與Gabor變換的互補(bǔ)性，針對(duì)不同特征的低分辨率圖像塊采用不同的方法進(jìn)行提取，然后分別在稀疏表示的框架下對(duì)圖像塊進(jìn)行稀疏重構(gòu)，最后合并成一幅高分辨率圖像，意在提高圖像的超分辨率效果. 另外，由于圖像或多或少都存在模糊，本文嘗試加入去模糊正則項(xiàng)，使算法能夠處理模糊輸入的情況.

1 基于稀疏表示的超分辨率算法

近十年來，稀疏表示作為一個(gè)強(qiáng)有力的工具被廣泛地用于圖像去噪、壓縮、超分辨率中[12]. 其主要思想是對(duì)于一個(gè)給定的信號(hào)y∈Rn，可以由過完備字典D∈Rn×m(n

(1)

該模型表示在滿足誤差ε下，l0范數(shù)準(zhǔn)則下最小的α. 然而，式(1)求解是NP困難問題，為解決該問題，文獻(xiàn)[13]提出可以用l1范數(shù)來逼近l0，即

(2)

式(2)為凸優(yōu)化問題，利用拉格朗日乘數(shù)因子λ，該式就轉(zhuǎn)變成了數(shù)學(xué)上的套索問題[14]，即

(3)

通過求解式(3)，就可以得到信號(hào)y在字典D下的稀疏表示系數(shù)α.

SCSR[3]方法將稀疏表示的理論用于圖像超分辨率中，其基本思想是首先從訓(xùn)練集中構(gòu)造一個(gè)描述高低分辨率圖像塊對(duì)應(yīng)關(guān)系的過完備字典，然后尋求每一個(gè)待重建的圖像塊在該字典下的稀疏表示系數(shù)，最后利用該系數(shù)構(gòu)造出高分辨率圖像. 整體過程分為字典訓(xùn)練部分與稀疏重構(gòu)部分，其中字典訓(xùn)練部分采用聯(lián)合訓(xùn)練的方式，即

式中

(4)

(5)

式中：α*表示稀疏表示系數(shù)，y表示低分辨率圖像，S表示下采樣操作，B表示模糊操作，X1表示稀疏重構(gòu)后的高分辨率圖像. 利用式(4)可以求得圖像塊y的稀疏表示系數(shù)α*，由于圖像結(jié)構(gòu)的相似性，高低分辨率圖像塊在各自字典下具有相同的稀疏表示系數(shù)，因此可以利用該系數(shù)α*與高分辨率圖像字典Dh構(gòu)造出初始的高分辨率圖像X0. 由于低分辨率圖像本身存在一些噪聲，在式(4)過程中也可能會(huì)造成一定的人工偽跡，為去除這些影響，利用式(5)加強(qiáng)重建約束，這樣就得到了最終的高分辨率圖像X1.

2 本文算法

在圖像超分辨率中，主要恢復(fù)圖像的高頻信息，因此無論是在字典訓(xùn)練過程還是稀疏重構(gòu)部分，首要步驟就是提取低分辨率圖像的高頻信息，以便對(duì)丟失的信息做更為準(zhǔn)確的預(yù)測(cè)，故特征提取方法成為超分辨率效果的關(guān)鍵因素之一.

大多數(shù)方法采用一階梯度及二階梯度來提取圖像的高頻信息，但是，由于梯度只能沿水平、垂直方向，不能全面描述圖像的高頻信息. 為克服該缺點(diǎn)，采用NSCT與Gabor相結(jié)合的方式來提取特征. 圖像在降質(zhì)過程中丟失的高頻信息一般為紋理信息和輪廓信息，因此，重點(diǎn)恢復(fù)這兩類信息. 對(duì)低分辨率圖像塊進(jìn)行了分類，依據(jù)小塊的方差分成平坦塊(小方差)和非平坦塊(大方差). 首先來觀察這兩類圖像塊的特點(diǎn)，一般來說，對(duì)于平坦塊，其紋理特征較為豐富，而對(duì)于非平坦塊，其輪廓特征較為豐富. 在圖1中，將lena圖像塊分成了兩類，其塊大小選取的是25*25，歸一化后圖像塊方差選取的是0.22，左圖為平坦塊，右圖為非平坦塊. 從圖1可以看到，左圖細(xì)節(jié)紋理信息較多，而右圖輪廓邊緣信息較豐富.

圖1 方差分類圖

針對(duì)圖像塊的特點(diǎn)，對(duì)于平坦塊，重點(diǎn)復(fù)原紋理信息，利用Gabor濾波器提取小塊的紋理特征，進(jìn)而求出在紋理字典庫下的稀疏表示系數(shù)，再利用該系數(shù)進(jìn)行紋理信息重構(gòu)；而對(duì)于非平坦塊，重點(diǎn)恢復(fù)其輪廓信息，利用NSCT提取小塊的輪廓特征，類似地，求出其在輪廓字典庫下的稀疏表示系數(shù)，利用該系數(shù)進(jìn)行輪廓信息的重構(gòu)，最后，將重建的圖像塊組合成一副完整的圖像. 另外，圖像在降質(zhì)過程中或多或少會(huì)造成圖像模糊，因此在稀疏重構(gòu)過程中，對(duì)圖像進(jìn)行了整體優(yōu)化，加入了去模糊的正則項(xiàng)，以消除模糊的影響. 算法總體流程圖如圖2所示.

圖2 算法流程圖

本算法的改進(jìn)點(diǎn)主要有兩方面：一是將低分辨率圖像塊進(jìn)行了分類，針對(duì)不同的圖像塊提取不同的特征；二是在超分辨率過程中加入了去模糊正則項(xiàng)，消除了模糊輸入的影響.

2.1 提取圖像塊的特征

由于人類視覺系統(tǒng)對(duì)圖像的輪廓信息極其敏感，因此有效復(fù)原圖像的輪廓信息相當(dāng)重要. NSCT不僅具有良好的多方向性和多尺度性，還具有平移不變性，能夠有效地提取圖像的輪廓特征. NSCT由非下采樣金字塔(NSP)分解和非下采樣方向?yàn)V波器組(NSDFB)分解組成. 以兩層NSP分解和兩層NSDFB分解為例，闡述圖像分解過程. 圖像首先經(jīng)NSP分解得到一個(gè)高頻子帶和一個(gè)低頻子帶，然后采用NSDFB對(duì)高頻子帶進(jìn)行方向分解，若方向分解系數(shù)為m，則得到2m個(gè)高頻子帶. 而下一次NSP分解再對(duì)上一層NSP分解得到的低頻圖像進(jìn)行分解，因此經(jīng)過兩層NSP分解和兩層NSDFB分解，可以得到1個(gè)低頻子帶和8個(gè)高頻子帶. 相比較梯度特征，NSCT可以得到更多尺度與方向的信息，對(duì)圖像的描述能力更強(qiáng). 圖3為具有兩層NSP分解與兩層NSDFB分解的NSCT的結(jié)構(gòu)圖.

圖3 NSCT結(jié)構(gòu)圖(兩層NSP分解與兩層NSDFB分解)

Fig.3 NSCT with two-level NSP decomposition and two-level NSDFB decomposition

另外，除了圖像的輪廓信息，紋理信息也極為重要. 在圖像分析領(lǐng)域，Gabor變換已經(jīng)成功地用于提取圖像的紋理特征. 與NSCT變換相比，Gabor變換能夠更好地提取圖像的細(xì)節(jié)信息，其由不同方向不同頻率的濾波器組組成，同樣具有多方向性、多尺度性以及平移不變性. 二維的Gabor函數(shù)[15]如下式所示：

式中：x′=xcos θ+ysin θ, y′=-xsin θ+ycos θ，σ為高斯沿x軸和y軸的標(biāo)準(zhǔn)偏差，(μ,ν)為空間頻率.

綜合NSCT與Gabor變換各自的優(yōu)勢(shì)，用NSCT來提取圖像塊的輪廓信息，用Gabor變換來提取紋理信息，這樣，圖像的輪廓及紋理信息被有效地提取出來. 圖像塊通過NSCT生成的各個(gè)子帶級(jí)聯(lián)成一個(gè)向量作為圖像塊的輪廓特征，同樣，圖像塊經(jīng)過Gabor變換得到的各個(gè)子帶也被級(jí)聯(lián)成一個(gè)向量作為圖像塊的紋理特征.

2.2 正則化約束

圖像在降質(zhì)過程中或多或少會(huì)變得模糊，因此在超分辨率過程中，去除模糊的能力也成為影響其效果的關(guān)鍵因素. 對(duì)于圖像去噪、去模糊、超分辨率這類不適定的反問題，為了逼近原圖像信息的解，必須加入額外的先驗(yàn)知識(shí)來使解穩(wěn)定，這類方法統(tǒng)稱為正則化方法，故需要尋求合適的去模糊正則項(xiàng).

很多含參的圖像先驗(yàn)方法被用于求解這類問題，最簡(jiǎn)單的方法是使用高斯平滑懲罰項(xiàng)，但是效果并不好. 后來開始使用lp(0.7≤p≤1)范數(shù)[16]來反映圖像的統(tǒng)計(jì)特性，還有很多復(fù)雜的方法嘗試學(xué)習(xí)一些濾波器及代價(jià)函數(shù)[17-18]. 這些方法已經(jīng)成功地用于圖像去噪，但對(duì)于圖像去模糊是不適用的，因?yàn)槟：僮鲿?huì)削弱圖像的高頻信息，這將會(huì)導(dǎo)致模糊圖像比清晰圖像有一個(gè)更低的代價(jià). 例如單純地最小化l1范數(shù)，可以去除一定的噪聲，然而會(huì)得到一幅比較模糊的圖像[19]. 而l1/l2(L1范數(shù)/L2范數(shù))有效地解決了這個(gè)問題，該正則項(xiàng)會(huì)隨著圖像模糊程度的增加而增大，故可以通過最小化該參數(shù)以達(dá)到去模糊的效果[20]. l1/l2相比較l1而言，能夠更準(zhǔn)確地描述清晰圖像的特點(diǎn)，無論模糊操作還是銳化操作，都將使其增大，即真實(shí)圖像的l1/l2最小. 因此采用l1/l2作為去模糊的正則項(xiàng).

在求解過程中，由于圖像的低頻子帶幾乎不受模糊的影響，因此首先提取重建完初始的高分辨率圖像的梯度特征(水平、垂直方向)，然后通過求解式(6)(最小化l1/l2)來得到模糊核，進(jìn)而利用文獻(xiàn)[21]的模糊算法得到高分辨率圖像. 正則項(xiàng)約束為

(6)

2.3 超分辨率詳細(xì)算法

首先訓(xùn)練紋理字典及輪廓字典作為輸入(訓(xùn)練方法見2.4節(jié))，超分辨率過程主要分為兩部分：稀疏表示模型和正則化約束. 稀疏表示模型主要利用稀疏表示先驗(yàn)構(gòu)造出初始的高分辨率圖像，而正則化約束則是對(duì)初始的高分辨率圖像進(jìn)行優(yōu)化，去除人工偽跡及模糊、噪聲的影響.

1)稀疏表示模型. 將低分辨率圖像劃分成小塊，依據(jù)小塊方差分為平坦塊與非平坦塊. 對(duì)于平坦塊，用Gabor濾波器提取其紋理特征，利用式(4)在紋理字典庫下求得對(duì)應(yīng)的高分辨率圖像塊；對(duì)于非平坦塊，用NSCT提取其輪廓特征，同樣的方法，求得其在輪廓字典下對(duì)應(yīng)的高分辨率圖像塊，最后將圖像塊組合成完整的初始的圖像.

2)正則化約束. 正則化約束條件有兩個(gè)：一是式(5)保證重建約束，由于初始圖像含有噪聲及在1)過程中可能產(chǎn)生不必要的人工偽跡，該正則化約束主要是去除這些影響；二是式(6)去除模糊的影響，使算法能夠處理模糊輸入的情況. 具體的算法如下.

算法1 整體的超分辨率算法框架.

從Y的左上角開始，對(duì)于每一個(gè)5*5的圖像塊yj(塊與塊之間重疊4個(gè)像素點(diǎn))執(zhí)行以下步驟：

1)計(jì)算yj的方差. 若方差大于θ，則用NSCT提取圖像塊的輪廓特征，在以下的步驟中采用輪廓字典；相反，若方差小于θ，則用Gabor濾波器提取圖像塊的紋理特征，在下列步驟中采用紋理字典.

2)利用式(4)求得圖像塊在對(duì)應(yīng)字典下的稀疏表示系數(shù)，再利用相同的系數(shù)及對(duì)應(yīng)的高分辨率圖像字典求得初始的高分辨率圖像X0.

利用式(5)求得滿足重建約束并最接近X0的圖像X1.

消除模糊輸入的影響并重建出最終的高分辨率圖像X*.

1)利用式(6)求得模糊核B*.

2)在模糊核B*下，利用去模糊算法[20]恢復(fù)出圖像X*.

輸出：高分辨率圖像X*.

2.4 字典訓(xùn)練

在圖像超分辨率過程中，將低分辨率圖像塊分成了平坦塊與非平坦塊，分別復(fù)原其紋理信息及輪廓信息，因此，需要訓(xùn)練兩個(gè)字典：紋理字典及輪廓字典. 對(duì)于紋理字典，首先隨機(jī)挑選訓(xùn)練庫中方差比較小的圖像塊，進(jìn)而采用Gabor濾波器提取其紋理特征，生成紋理特征庫，對(duì)紋理特征庫進(jìn)行聯(lián)合訓(xùn)練，便得到了紋理特征字典. 同樣地，對(duì)于輪廓字典，選取方差比較大的圖像塊，用NSCT提取其輪廓特征進(jìn)行字典的訓(xùn)練. 字典訓(xùn)練方法與SCSR訓(xùn)練字典的方法相同，具體訓(xùn)練流程見圖4.

圖4 字典訓(xùn)練流程圖

3 實(shí)驗(yàn)結(jié)果

為了說明算法的可行性和有效性，分別做了以下對(duì)比實(shí)驗(yàn). 采用和SCSR方法相同的訓(xùn)練集，測(cè)試圖像從USC-SIPI，F(xiàn)lickr收集，另外還收集了一些經(jīng)典圖像作為測(cè)試圖像. 在字典訓(xùn)練過程中，采用歸一化后的圖像塊方差0.27作為區(qū)分平坦塊和非平坦塊的閾值，進(jìn)而進(jìn)行紋理字典及輪廓字典的訓(xùn)練. 為得到與高分辨率圖像相對(duì)應(yīng)的低分辨率圖像，首先將測(cè)試圖像降采樣2倍，再用5×5的高斯模糊核或運(yùn)動(dòng)模糊核對(duì)其進(jìn)行模糊處理. 綜合考慮算法的復(fù)雜度及準(zhǔn)確性，采用2個(gè)尺度、4個(gè)方向的Gabor濾波器組對(duì)圖像塊進(jìn)行紋理特征的提取，采用兩層NSP及兩層NSDFB分解的NSCT對(duì)圖像塊進(jìn)行輪廓特征的提取. 在超分辨率中，選擇5×5的小塊作為單位進(jìn)行超分辨率. 分別討論特征、去模糊項(xiàng)、字典大小對(duì)超分辨率效果的影響以及不同超分辨率方法的對(duì)比，實(shí)驗(yàn)效果采用PSNR值進(jìn)行評(píng)估，PSNR值越高代表重建效果越好.

3.1 特征對(duì)超分辨率效果的影響

首先用方差為1的高斯模糊核對(duì)15幅圖像進(jìn)行模糊處理，然后分別采用Gabor、NSCT以及兩種結(jié)合的方式(本方法)提取圖像的特征，再分別進(jìn)行超分辨率. 另外，將SCSR方法作為參照. 采用各種方法進(jìn)行超分辨率的PSNR值在表1中顯示，從表1可以看出，采用NSCT與Gabor相結(jié)合的方式進(jìn)行超分辨率的PSNR值是最高的，因而從客觀上說明結(jié)合這兩種方法是有效的. 對(duì)松鼠這幅圖像采用不同特征提取方法進(jìn)行超分辨率的效果如圖5所示，從圖像中可以觀察到采用NSCT及Gabor相結(jié)合方式的超分辨率圖像更為清晰.

3.2 模糊正則項(xiàng)對(duì)超分辨率效果的影響

用運(yùn)動(dòng)模糊核(分別沿45度角移動(dòng)3，4，5，6個(gè)像素)將23幅圖像進(jìn)行模糊處理，再分別用SCSR方法與本方法進(jìn)行超分辨率，其PSNR值如表2所示. 表中最后一行為(3，45)行與(6，45)行PSNR值的差值. 從表2可以看到，隨著輸入圖像運(yùn)動(dòng)模糊程度的加深，SCSR方法重建出的圖像PSNR值下降的非?？?，即超分辨率效果迅速變差，而本文方法重建出的圖像PSNR值下降的相對(duì)緩慢，這說明模糊正則項(xiàng)的加入是有效的. img1的重建效果如圖6所示，從圖6可以觀察到，SCSR方法由(3，45)到(6，45)重建出的圖像效果差別很大，而本文方法差別比較小，從感官上說明了模糊正則項(xiàng)的有效性.

表1 不同特征提取方法的對(duì)比

表2 不同模糊程度的輸入的對(duì)比

3.3 字典規(guī)模對(duì)超分辨率效果的影響

首先訓(xùn)練大小為256、512、1024的三類字典，每一類字典都包括本文算法用到的紋理字典、輪廓字典以及SCSR方法的字典，然后分別用SCSR方法、本文方法進(jìn)行重建，輸入圖像用方差為1的高斯模糊核進(jìn)行模糊處理，其超分辨率圖像對(duì)應(yīng)的PSNR值如表3所示，最后一行是23幅圖像的平均值. 從表3可以看出，就平均值而言，字典越大,PSNR值越高,即圖像復(fù)原效果越好，這是符合人們的直覺認(rèn)識(shí). 更重要的是，對(duì)于相同規(guī)模的字典，本文方法的PSNR值都比SCSR方法高，這也說明了本文算法的有效性.

表3 字典大小對(duì)超分辨率效果的影響

3.4 不同方法的對(duì)比

將本文方法與Bicubic差值、SCSR[3]、KRR[2]方法進(jìn)行了對(duì)比，表4展示了使用不同方法對(duì)圖像進(jìn)行超分辨率的PSNR值，其中l(wèi)ena，peppers采用方差為1的高斯模糊核進(jìn)行模糊處理，Gaussian(5,1)行展示的是43幅圖像PSNR的平均值. 這組圖像采用方差為1的5×5高斯模糊核進(jìn)行處理，Motion(5，45)也是43幅圖像PSNR的平均值，該組圖像采用5×5的運(yùn)動(dòng)模糊核(沿45度運(yùn)動(dòng)了5個(gè)像素值)進(jìn)行模糊處理，其余同理. 從表4可以觀察到，本文方法的PSNR值相比較SCSR、KRR提高了大概2 dB. 對(duì)lena及peppers進(jìn)行重建的圖像如圖7、圖8所示，從圖中可以觀察到本方法重建出的圖像更為清晰.

表4 不同方法間的對(duì)比

圖5 松鼠的超分辨率效果(不同特征提取方法)

圖6 img1的超分辨率效果(不同模糊輸入)

圖8 peppers的超分辨率效果，從左往右依次是：原始輸入圖片，SCSR，KRR，Ours，Truth

4 結(jié) 論

結(jié)合多特征融合和稀疏表示的超分辨率方法，利用NSCT與Gabor的互補(bǔ)性，針對(duì)不同的低分辨率圖像塊，采用不同的方法來提取特征，進(jìn)而進(jìn)行重建. 此外，算法針對(duì)SCSR方法處理模糊輸入情況較差的缺點(diǎn)，加入了去模糊正則項(xiàng)，使得算法能夠較好地處理模糊輸入的情況，最終使得重建后的圖像較好地復(fù)原了丟失的高頻信息. 通過各方面的實(shí)驗(yàn)驗(yàn)證了該算法的有效性.

[1] CHANG H, YEUMG D Y, XIONG Y. Super-resolution through neighbor embedding[C]// Proceedings of the 2004 IEEE Computer Society Conference onComputer Vision and Pattern Recognition.Washington, DC:IEEE, 20041:275-282.

[2] KIM K I, KWON Y. Single-image super-resolution using sparse regression and natural image prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(6): 1127-1133.

[3]YANG J, WEIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions onImage Processing, 2010, 19(11): 2861-2873.

[4]YANG J, WANG Z, Lin Z, et al. Coupled dictionary training for image super-resolution[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3467-3478.

[5]PELEG T, ELAD M. A statistical prediction model based on sparse representations for single image super-resolution[J]. IEEE Transactions on Image Processing, 2014, 23(6): 2569-2582.

[6]MICHAELI T, IRANI M. Nonparametric blind super-resolution [C]//Proceedings of the IEEE International Conference on Computer Vision. Sydney: IEEE, 2013: 945-952.

[7]EFRAT N, GLASNER D, APARTSIN A, et al. Accurate blur models vs. image priors in single image super-resolution [C]// Proceedings of the IEEE International Conference on Computer Vision. Sydney: IEEE, 2013: 2832-2839.

[8]SHAH A J, MAKWANA R, GUPTA S B. Single image super-resolution via non sub-sample contourlet transform based learning and a Gabor prior[J]. International Journal of Computer Applications, 2013, 64(18)：32-38.

[9]ACHARYA T, RAY A K. Image processing: principles and applications[J]. Journal of Electronic Imaging, 2006, 15(3):579-584.

[10]WU J, WEI Z, CHANG Y. Color and texture feature for content based image retrieval[J]. International Journal of Digital Content Technology & Its Applications, 2010,4(4):43-49.

[11]DO M N, VETTERLI M. Wavelet-based texture retrieval using generalized Gaussian density and Kullback-Leibler distance[J]. IEEE Transactions on Image Processing, 2002, 11(2): 146-158.

[12]ELAD M. Sparse and redundant representations: from theory to applications in signal and image processing[M]. New York: Springer, 2010.

[13]CHEN S S, DONOHO D L, SAUNDERS M A. Atomic decomposition by basis pursuit[J]. SIAM review, 2001, 43(1): 129-159.

[14]TIBSHIRANI R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society, 1996,58(1): 267-288.

[15]吳高洪, 章毓晉, 林行剛. 分割雙紋理圖像的最佳Gabor濾波器設(shè)計(jì)方法[J]. 電子學(xué)報(bào), 2001, 29(1):48-50.

WU Gaohong, ZHANG Yujin, LIN Xinggang. Optimal Gabor filter design for bi-textured image segmentation[J].Chinese Journal of Electronics, 2001, 29(1):48-50.

[16]GUPTA A, JOSHI N, ZITNICK C L, et al. Single image deblurring using motion density functions[C]//Computer Vision-ECCV 2010. Berlin: Springer, 2010: 171-184.

[17]WEISS Y, FREEMAN W T. What makes a good model of natural images?[C]// IEEE Conference on Computer Vision and Pattern Recognition. Puerto Rico:IEEE, 2007: 1-8.

[18]ROTH S, BLACK M J. Fields of experts: a framework for learning image priors[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego:IEEE, 2005, 2: 860-867.

[19]LEVIN A, WEISS Y, DURAND F, et al. Understanding and evaluating blind deconvolution algorithms[C]// IEEE Conference on Computer Vision and Pattern Recognition. Miami:IEEE, 2009: 1964-1971.

[20]KRISHNAN D, TAY T, FERGUS R. Blind deconvolution using a normalized sparsity measure[C]// IEEE Conference on Computer Vision and Pattern Recognition. Colorado Spribgs: IEEE, 2011: 233-240.

[21]ZORAN D, WEISS Y. From learning models of natural image patches to whole image restoration[C]// IEEE International Conference on Computer Vision. Barcelona:IEEE, 2011: 479-486.

[22]LEVIN A, FERGUS R, DURAND F, et al. Image and depth from a conventional camera with a coded aperture[J].ACM Transactions on Graphics, 2007, 26(3): 70.

[23]BECK A, TEBOULLE M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems[J]. SIAM Journal on Imaging Sciences, 2009, 2(1): 183-202.

(編輯 王小唯 苗秀芝)

Single image super-resolution reconstruction based on multi-feature fusion

HUANG Jianhua, WANG Dandan, JIN Ye

(School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China)

The gradients extract the information only along the horizontal and vertical directions and the non-subsampled contourlet transform (NSCT) is poor relatively to capture the detailed information. To overcome the drawback, a novel super-resolution approach combined Gabor with NSCT is proposed to improve the quality of image captured directly. The algorithm makes full use of the complementary of the Gabor transform and NSCT, to extract the texture feature using the Gabor transform and to extract the contour feature using the NSCT according to the characteristics of input image pieces. After that the sparse coding reconstruction is performed, and finally merge the pieces into a initial high-resolution image. Since the input image is blurred more or less, the approach revises the initial high-resolution image through the deblurred regularization to eliminate the influence of blurred input. Experiment results show that combining the Gabor and NSCT can recover more details and the deblurred regularization is also effective. Compared to the kernel ridge regression method proposed by Kim and the sparse coding super-resolution (SCSR) method proposed by Yang, the images produced by our approach are clearer in subjectively and the average PSNR is nearly 2 dB higher, which means that the proposed approach can improve the quality of image.

single image super-resolution; Gabor; NSCT; sparse representation; blur

10.11918/j.issn.0367-6234.2016.11.005

2016-04-14

國(guó)家自然科學(xué)基金(61402133)

黃劍華(1967—)，男，教授

黃劍華，jhhuang@hit.edu.cn

TP391

A

0367-6234(2016)11-0028-07