基于多引導(dǎo)濾波器的單幅圖像超分辨率技術(shù)

劉 哲，韓九強(qiáng)，黃世奇

?

基于多引導(dǎo)濾波器的單幅圖像超分辨率技術(shù)

劉 哲1,2，韓九強(qiáng)2，黃世奇1

（1. 西京學(xué)院電子信息工程系，陜西 西安 710123；2. 西安交通大學(xué)電信學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，陜西 西安 710049）

提出了一種基于多引導(dǎo)濾波器的單幅圖像超分辨率方法。首先，該方法通過大量的自然圖像建立高低分辨率圖像塊樣本訓(xùn)練庫，并通過聚類算法將具有相似性質(zhì)的高低分辨率樣本塊進(jìn)行聚類；其次，將輸入低分辨率圖像進(jìn)行重疊分塊，并在樣本庫中搜索最近鄰的高低分辨率樣本聚類；再次，將輸入低分辨率圖像塊作為輸入圖像，與樣本庫中最近鄰的低分辨率聚類樣本作為引導(dǎo)圖像，運(yùn)用本文提出的多引導(dǎo)濾波器計(jì)算引導(dǎo)濾波器的參數(shù)；最后，利用樣本庫中最近鄰的高分辨率聚類樣本和引導(dǎo)濾波器的參數(shù)，通過多引導(dǎo)濾波器就可以重構(gòu)高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，本文算法不僅能很好地重構(gòu)圖像的高頻細(xì)節(jié)，還能很好地恢復(fù)圖像的紋理特征。

超分辨率；引導(dǎo)濾波器；樣本訓(xùn)練庫；高頻細(xì)節(jié)

0 引言

單幅圖像超分辨率[1-2]（SISR）技術(shù)，是指用圖像處理算法將單幅低分辨率圖像轉(zhuǎn)換成高分辨率圖像，構(gòu)建更高分辨率圖像所缺失的高頻細(xì)節(jié)，這在數(shù)學(xué)上是一個(gè)病態(tài)問題。高分辨率意味著圖像中的像素密度高，能夠提供更為豐富的圖像細(xì)節(jié)，而這些細(xì)節(jié)在許多實(shí)際應(yīng)用中不可或缺，所以圖像超分辨率技術(shù)在醫(yī)學(xué)診斷、模式識(shí)別、視頻監(jiān)控、生物鑒別、高清晰電視成像、遙感圖像解譯、高空對(duì)地觀測(cè)等領(lǐng)域有著廣泛的應(yīng)用。一直以來，單幅圖像超分辨率技術(shù)是視頻圖像處理領(lǐng)域研究的熱門方向和一個(gè)具有相當(dāng)挑戰(zhàn)性的理論分支[1]。

傳統(tǒng)的圖像超分辨率技術(shù)有基于插值的超分辨率重建、基于重建的圖像超分辨方法和基于學(xué)習(xí)的超分辨率算法[2]。SISR更先進(jìn)的方法是基于統(tǒng)計(jì)圖像先驗(yàn)[1,3]或基于復(fù)雜的機(jī)器學(xué)習(xí)算法[4-5]來學(xué)習(xí)從低分辨率到高分辨率的映射函數(shù)，其中最好的算法之一是基于稀疏字典學(xué)習(xí)方法，其假設(shè)可以使用字典原子的稀疏編碼來表示自然圖像塊。特別是耦合字典學(xué)習(xí)方法[6-8]實(shí)現(xiàn)了很好的單幅圖像超分辨率的結(jié)果。Timofte[9]通過研究指出了該方法的計(jì)算瓶頸，并提出用許多較小的字典替換單個(gè)字典，從而避免在推理期間耗時(shí)的稀疏編碼步驟，大大提高了計(jì)算速度，同時(shí)保持與以前方法相同的超分辨率結(jié)果精度。

稀疏字典學(xué)習(xí)技術(shù)[10-12]，其主要思想是高低分辨率圖像塊對(duì)具有相同的稀疏字典表示。然而，該稀疏約束同時(shí)涉及在訓(xùn)練和推理階段最小化L1范數(shù)函數(shù)，從而導(dǎo)致復(fù)雜的數(shù)學(xué)計(jì)算[13-15]。最近，隨著學(xué)者對(duì)自然圖像塊流形結(jié)構(gòu)的更深的理解，基于流形學(xué)習(xí)方法的單幅圖像超分辨率技術(shù)[10-13,16]有了很大進(jìn)展。流形學(xué)習(xí)就是從高維采樣數(shù)據(jù)中恢復(fù)低維流形結(jié)構(gòu)，即找到高維空間中的低維流形，并求出相應(yīng)的嵌入映射，以實(shí)現(xiàn)維數(shù)約簡或者數(shù)據(jù)可視化。它是從觀測(cè)到的現(xiàn)象中去尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律。近年來，我們目睹了從耗時(shí)復(fù)雜的稀疏字典技術(shù)向更高效的流形學(xué)習(xí)模型的轉(zhuǎn)變。基于流形的學(xué)習(xí)，將耗時(shí)的推理階段學(xué)習(xí)轉(zhuǎn)為離線學(xué)習(xí)，大大降低了學(xué)習(xí)的復(fù)雜性，提高了算法的效率和精度。

在本文中，提出了一種基于多引導(dǎo)濾波器的流形學(xué)習(xí)單幅圖像超分辨率方法，該方法能實(shí)現(xiàn)快速在線學(xué)習(xí)。首先，該方法通過大量的自然圖像建立高低分辨率圖像塊樣本訓(xùn)練庫，并通過聚類算法將具有相似性質(zhì)的高低分辨率樣本塊進(jìn)行聚類；其次，將輸入低分辨率圖像進(jìn)行重疊分塊，并在樣本庫中搜索最近鄰的高低分辨率樣本聚類；再次，將輸入低分辨率圖像塊作為輸入圖像，與樣本庫中最近鄰的低分辨率聚類樣本作為引導(dǎo)圖像，運(yùn)用本文提出的多引導(dǎo)濾波器計(jì)算引導(dǎo)濾波器的參數(shù)；最后，利用樣本庫中最近鄰的高分辨率聚類樣本和引導(dǎo)濾波器的參數(shù)，通過多引導(dǎo)濾波器就可以重構(gòu)高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，本文算法不僅能很好地重構(gòu)圖像的高頻細(xì)節(jié)，還能很地的恢復(fù)圖像的紋理特征，同時(shí)本文算法具有很高的執(zhí)行效率。

1 多引導(dǎo)濾波器原理及其性質(zhì)

1.1 引導(dǎo)濾波器

引導(dǎo)圖像濾波器由He等人[11]提出，其濾波輸出是引導(dǎo)圖像的線性變換。在引導(dǎo)濾波的定義中，用到了局部線性模型。該模型認(rèn)為，某函數(shù)上一點(diǎn)與其鄰近部分的點(diǎn)成線性關(guān)系，一個(gè)復(fù)雜的函數(shù)就可以用很多局部的線性函數(shù)來表示，當(dāng)需要求該函數(shù)上某一點(diǎn)的值時(shí)，只需計(jì)算所有包含該點(diǎn)的線性函數(shù)的值并做平均即可。一方面，引導(dǎo)圖像濾波器和雙邊濾波器一樣具有很好的保留邊緣、平滑噪聲的作用；另一方面，在引導(dǎo)圖像的作用下，該濾波器可以使輸出圖像比輸入圖像具有更多邊緣信息。

引導(dǎo)濾波器的關(guān)鍵就是假設(shè)引導(dǎo)圖像和濾波輸出圖像之間是局部線性模型。在以像素點(diǎn)為中心的窗口w中，輸出圖像是引導(dǎo)圖像的線性變換：

q＝aI＋b"?w(1)

式中：(a,b)為常量。該線性模型假定當(dāng)且僅當(dāng)引導(dǎo)圖像有邊緣時(shí)才會(huì)有邊緣，這是因?yàn)?＝?。為了求出線性系數(shù)(a,b)要對(duì)濾波輸入圖像進(jìn)行約束。假設(shè)輸出圖像是由輸入圖像減去噪聲得到的：

q＝p－n(2)

為了求出線性系數(shù)(a,b)的最優(yōu)解，要使和之間的差異最小，等價(jià)為最小化窗口w中的代價(jià)函數(shù)：

公式(3)是一個(gè)線性回歸模型，它的最優(yōu)解是：

1.2 多引導(dǎo)濾波器

q＝1k1i＋2k2i＋…＋aI＋b"?w(6)

式中：(1k,2k, …,a,b)是常量，為了求出線性系數(shù)(1k,2k, …,a,b)，要對(duì)濾波輸入圖像進(jìn)行約束。假設(shè)輸出圖像是由輸入圖像減去噪聲得到的：

q＝p－n(7)

為了求出線性系數(shù)(1k,2k,…,a,b)的最優(yōu)解，要使和之間的差異最小，等價(jià)為最小化窗口w中的代價(jià)函數(shù)：

式中：1,2, …,為正則化參數(shù)。公式是一個(gè)線性回歸模型，運(yùn)用最小二乘可以對(duì)(8)式進(jìn)行求解。先對(duì)(8)式中的各參數(shù)求導(dǎo)，使得導(dǎo)數(shù)等于0：

…………

對(duì)上面的各等式進(jìn)行移項(xiàng)得到：

…………

對(duì)上面各等式(9)、(10)、(11)、(12)統(tǒng)一寫成矩陣的形式，見式(13)：

＝(13)

式中：

＝(￠)－1￠(14)

因此，通過式(6)和(14)可以計(jì)算得到輸出圖像。

1.3 多引導(dǎo)濾波器的性質(zhì)

基于學(xué)習(xí)的超分辨率方法，首先需要構(gòu)建高低分辨率圖像的訓(xùn)練樣本庫，樣本訓(xùn)練庫在構(gòu)建時(shí)，需要對(duì)高低分辨率圖像的訓(xùn)練庫的樣本進(jìn)行聚類，最直接的聚類是根據(jù)樣本特征圖像灰度相似度進(jìn)行聚類。然后通過學(xué)習(xí)訓(xùn)練樣本，對(duì)高低分辨率樣本圖像之間的關(guān)系進(jìn)行編碼（encoding），最后對(duì)于低分辨率測(cè)試圖像，在樣本庫中搜索最接近的聚類，利用上述學(xué)習(xí)到的編碼關(guān)系指導(dǎo)超分辨率重建過程。

設(shè)圖像1、2、…、I是樣本庫中同一聚類，即它們具有灰度上和結(jié)構(gòu)上的相似性，即存在以下的關(guān)系：

1≈2≈…≈I(15)

下面我們就這種情況討論多引導(dǎo)濾波器的性質(zhì)。

1.3.1 邊緣保持功能

要討論多引導(dǎo)濾波器的性質(zhì)，設(shè)輸入圖像和引導(dǎo)圖像近似相等，即1≈2≈…≈I≈，代入(6)式得到：

q≈(1k＋2k＋…＋a)1i＋b(16)

令a＝1k＋2k＋…＋a及1i＝1i，則(16)式變?yōu)椋?/p>

q≈aI＋b(17)

可以看出，在此種情況下，多引導(dǎo)濾波器的表達(dá)式和單引導(dǎo)濾波器表達(dá)式相似，于是可以求出：

下面進(jìn)行討論：

1）?q＝a?I，即當(dāng)輸入圖像有梯度時(shí)，輸出圖像也有類似的梯度，這就是可以解釋均值濾波器具有梯度保持功能；

2）當(dāng)圖像處于邊緣時(shí)，方差2的取值比較大，當(dāng)?2時(shí)，a?1，b?0，q＝I，此時(shí)多引導(dǎo)濾波器具有邊緣保持功能；

3）當(dāng)圖像處于平坦區(qū)域時(shí)，方差2的取值比較小，當(dāng)?2時(shí)，a?0，b?1，q＝，此時(shí)多引導(dǎo)濾波器具有圖像平滑功能。

另外，我們考慮更為一般的情況，對(duì)于(6)式表示的多引導(dǎo)濾波器，求解(8)式代價(jià)函數(shù)，并且滿足1≈2≈…≈I≈和1≈2≈…≈≈，于是可以得到參數(shù)(a,2k,…,a,b)的通用解：

b＝－(1k＋2k＋…＋a)(20)

且滿足：

下面進(jìn)行討論更為一般的情況：

1.3.2 結(jié)構(gòu)保持功能

有趣的是，多引導(dǎo)濾波器不是簡單的邊緣保持平滑濾波器。由于q＝aI＋b的局部線性模型，使得可以將結(jié)構(gòu)從引導(dǎo)圖像轉(zhuǎn)移到輸出圖像上，即使濾波輸入是平滑的也同樣滿足這個(gè)性質(zhì)。從這點(diǎn)上講，引導(dǎo)濾波器和流形學(xué)習(xí)具有類似的性質(zhì)。

假設(shè)數(shù)據(jù)是均勻采樣于一個(gè)高維歐氏空間中的低維流形，流形學(xué)習(xí)就是從高維采樣數(shù)據(jù)中恢復(fù)低維流形結(jié)構(gòu)，即找到高維空間中的低維流形，并求出相應(yīng)的嵌入映射，以實(shí)現(xiàn)維數(shù)約簡或者數(shù)據(jù)可視化。它是從觀測(cè)到的現(xiàn)象中去尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律。也就是說，在局部區(qū)域內(nèi)，高維流形和低維流形具有類似的結(jié)構(gòu)。

2 基于多引導(dǎo)濾波器超分辨率技術(shù)

2.1 樣本訓(xùn)練庫構(gòu)建

基于多引導(dǎo)濾波器超分辨率技術(shù)，首先構(gòu)建訓(xùn)練樣本庫。我們通過搜集大量自然圖像，建立了豐富的低分辨率（LR）樣本庫及其對(duì)應(yīng)的高分辨率（HR）樣本庫。

高分辨率（HR）圖像塊h和低分辨率（LR）圖像塊l存在以下關(guān)系：

l＝(h?)ˉ(22)

式中：?代表卷積；是高斯卷積核；ˉ代表下采樣；表示下采樣尺度因子。

2.2 算法實(shí)現(xiàn)

基于多引導(dǎo)濾波器超分辨算法實(shí)現(xiàn)過程如下：

1）對(duì)構(gòu)建的樣本庫按照灰度相似性進(jìn)行聚類，本文采用兩個(gè)圖像塊對(duì)應(yīng)點(diǎn)像素值之差的絕對(duì)值之和（SAD）作為相似度的標(biāo)識(shí)，用來度量兩個(gè)圖像塊的相似度。設(shè)有兩個(gè)圖像塊和，如果兩個(gè)圖像塊對(duì)應(yīng)點(diǎn)像素值之差的絕對(duì)值之和（SAD）滿足式(23)的關(guān)系，則圖像塊和是一個(gè)聚類，式中是選擇的閾值：

通過式(23)可以將低分辨率樣本庫和對(duì)應(yīng)高分辨率樣本庫進(jìn)行聚類。

2）設(shè)樣本訓(xùn)練庫中低分辨率樣本塊l的大小為5×5，高分辨率樣本快h的大小為5×5，表示尺度因子。

3）將輸入的低分辨率圖像LR劃分成5×5的子塊，相鄰子塊的重疊區(qū)域?qū)挾葹?個(gè)像素，構(gòu)成匹配圖像塊。圖像塊在樣本訓(xùn)練庫中進(jìn)行搜索，找到與之匹配的聚類，這個(gè)聚類有個(gè)相似低分辨塊(l1,l2,…,lk)，與之對(duì)應(yīng)的是個(gè)相似高分辨塊(h1,h2,…,hk)。

4）運(yùn)用雙三次插值將(l1,l2,…,lk)和插值放大到5×5。對(duì)放大后的引導(dǎo)圖像(l1,l2,…,lk)和輸入圖像，利用公式(6)和(14)，可以計(jì)算出多引導(dǎo)濾波器的輸出圖像，由此可以計(jì)算出參數(shù)(1,2,…,a,b)。

＝1h1＋2h2＋…＋ahk＋b(24)

6）合并所有的超分辨率重構(gòu)的匹配窗，相鄰圖像塊重疊區(qū)域的像素值使用平均融合得到，這樣就求出了最終的超分辨率圖像HR。

3 實(shí)驗(yàn)和分析

在本文實(shí)驗(yàn)中，選擇測(cè)試的環(huán)境為：

1）操作系統(tǒng)Windows XP SP3；

2）應(yīng)用程序開發(fā)環(huán)境Matlab 2012a；

3）計(jì)算機(jī)配置Inter Core i5，主頻3.5GHz，8.0GB內(nèi)存。

3.1 多引導(dǎo)濾波器的特性實(shí)驗(yàn)

為了對(duì)多引導(dǎo)濾波器的特性進(jìn)行驗(yàn)證，我們選擇了圖1中的(a)作為輸入圖像，圖1中的(b)、(c)、(d)3幅圖像作為引導(dǎo)圖像，而且這3幅引導(dǎo)圖像逐漸變得有些模糊，這主要是為了驗(yàn)證在引導(dǎo)圖像逐步變得模糊情況下，多引導(dǎo)濾波器能否保持圖像的邊緣。由于本文基本圖像塊的大小選擇為5×5，所以多引導(dǎo)濾波器的半徑為＝3，圖1中(e)、(f)、(g)、(h)分別是在正則化參數(shù)取不同值時(shí)多引導(dǎo)濾波器的圖像，由輸出圖像結(jié)果可以得到以下幾個(gè)結(jié)論：

1）引導(dǎo)濾波器具有良好的圖像邊緣保持和增強(qiáng)功能，由圖1中(e)、(f)、(g)、(h)輸出圖像結(jié)果可以看出，在正則化參數(shù)比較小的情況下，尤其是當(dāng)正則化參數(shù)＝0.1（圖1(e)）時(shí)，多引導(dǎo)濾波器的輸出對(duì)圖像邊緣的保持效果尤為明顯。

2）由圖1中(e)、(f)、(g)、(h)輸出圖像結(jié)果可以看出，隨著正則化參數(shù)原來越大，多引導(dǎo)濾波器輸出圖像變得越來越模糊。所以在選擇用多引導(dǎo)濾波器時(shí)，一定要選擇合適的參數(shù)。

3）在輸入圖像和部分引導(dǎo)圖像質(zhì)量比較好，部分引導(dǎo)圖像質(zhì)量下降情況下（如變得模糊等），總體上不太會(huì)影響多引導(dǎo)濾波器的輸出。

4）多引導(dǎo)濾波器可以利用積分圖和并行化計(jì)算來進(jìn)行加速，所以該濾波器的執(zhí)行效率很高，如果運(yùn)用GPU就可以達(dá)到實(shí)時(shí)計(jì)算。

根據(jù)實(shí)驗(yàn)結(jié)果，我們選取正則化參數(shù)＝0.1，來對(duì)本文所提方法進(jìn)行驗(yàn)證。

3.2 主觀對(duì)比分析

將本文提的算法分別與Kim算法[17]、Wang算法[18]、Sun算法[19]進(jìn)行比較分析，Kim算法基于稀疏回歸和自然圖像先驗(yàn)、Wang算法基于半耦合字典學(xué)習(xí)、Sun算法主要基于梯度分布先驗(yàn)。同一算法對(duì)不同圖像選取相同的參數(shù)。主觀效果如圖2和圖3所示，選擇超分辨率圖像的局部圖像（如圖中矩形框標(biāo)記的部分）進(jìn)行局部對(duì)比分析。對(duì)圖2的處理中，Sun算法和Wang算法在圖像的邊緣處會(huì)產(chǎn)生鋸齒、銳度不夠；Kim算法在圖像的邊緣處產(chǎn)生了輕微振鈴效應(yīng)，邊緣比較模糊；本文算法邊緣保持得很好，沒有偽影等不良現(xiàn)象產(chǎn)生，邊緣銳度較好。本文算法的整體清晰度和圖像邊緣銳度明顯好于其他3種方法，頭部和石頭圖像部分的紋理也比較清晰，但是本文算法在圖像邊緣也會(huì)產(chǎn)生的鋸齒效應(yīng)。

圖1 多引導(dǎo)濾波器實(shí)驗(yàn)結(jié)果

圖2 四種算法超分辨率對(duì)比圖

（(a)與(e)是Sun算法結(jié)果，(b)與(f)是Wang算法結(jié)果，(c)與(g)是Kim算法結(jié)果，(d)與(h)是本文算法結(jié)果）

Fig.2 Comparison of four super - resolution algorithms result（(a)and (e) Sun,(b) and (f)Wang，(c) and (g) Kim，(d) and (h) proposed）

圖3 四種算法超分辨率對(duì)比圖

（(a)與(e)是Sun算法結(jié)果，(b)與(f)是Wang算法結(jié)果，(c)與(g)是Kim算法結(jié)果，(d)與(h)是本文算法結(jié)果）

Fig.3 Comparison of four super - resolution algorithms result（(a）and (e) Sun, (b) and (f)Wang, (c) and (g) Kim, (d) and (h) proposed）

3.3 客觀指標(biāo)對(duì)比分析

對(duì)客觀效果評(píng)估，用可量化的技術(shù)指標(biāo)來進(jìn)行評(píng)價(jià)。本文用圖像峰值信噪比（PSNR）和圖像結(jié)構(gòu)的相似性（SSIM）評(píng)價(jià)不同算法的性能。表1是測(cè)試圖像在2倍超分辨率放大情況下的客觀評(píng)價(jià)結(jié)果。本文所測(cè)試的3幅測(cè)試圖像來源于加州大學(xué)伯克利分校圖像分割數(shù)據(jù)庫。從表1的分析數(shù)據(jù)可以看出，本文提出的方法在所有情況下都比其他3種方法獲得的結(jié)果要好，表現(xiàn)最優(yōu)。

表1 PSNR和SSIM比較

為進(jìn)一步評(píng)價(jià)不同算法超分辨性能，圖2、圖3分別比較了使用4種不同算法重建的結(jié)果?？梢钥闯?，Sun算法不能有效恢復(fù)圖像的高頻信息，生成的圖像有些模糊。與Sun算法結(jié)果相比較，經(jīng)典的Wang算法通過學(xué)習(xí)HR與LR圖像間的字典表示，在一定程度上能有效恢復(fù)出LR圖像中丟失的高頻細(xì)節(jié)，得到的結(jié)果比較清晰。Kim算法的效果從整體上看與Wang算法效果相當(dāng)。從視覺質(zhì)量上看，Wang算法能夠得到比Sun算法更多的高頻細(xì)節(jié)，與上述3種方法得到的結(jié)果相比，本文提出的基于多引導(dǎo)濾波器單幅圖像超分辨率算法在保持圖像邊緣和恢復(fù)紋理細(xì)節(jié)方面都有不同程度的改善，得到的結(jié)果不僅邊緣更清晰更真實(shí)，而且紋理更加豐富。這是由于圖像的局部流形結(jié)構(gòu)在局部范圍可以保持良好的一致性，在學(xué)習(xí)過程中，結(jié)合最近鄰域自相似特性，使得參與重建的圖像塊均與目標(biāo)圖像塊具有相似的結(jié)構(gòu)，因而能獲得較好的重建質(zhì)量。

3.4 算法運(yùn)行時(shí)間比較分析

為了分析比較4種不同算法的運(yùn)行時(shí)間，對(duì)圖像大小為64×32個(gè)像素的原始圖像分別放大2倍、3倍、4倍、5倍，不同算法在不同放大倍數(shù)的情況下，其運(yùn)行時(shí)間如圖4所示。由圖4可以看出，本文所提算法的運(yùn)行時(shí)間大大低于其他3種算法，隨著放大倍數(shù)的增加，其他3種算法的運(yùn)行時(shí)間快速增加，而本文算法運(yùn)行時(shí)間增加比較緩慢。當(dāng)圖像超分放大5倍時(shí)，本文算法的執(zhí)行效率幾乎是Sun算法執(zhí)行效率的100倍。之所以本文算法效率很高，其主要原因是本文算法將最耗時(shí)的學(xué)習(xí)訓(xùn)練改為了離線學(xué)習(xí)，在進(jìn)行本文算法超分辨計(jì)算時(shí)，只需通過查表，找到對(duì)應(yīng)的映射函數(shù)，從而大大提高了算法的運(yùn)行效率。

圖4 圖像不同放大倍數(shù)運(yùn)行時(shí)間

4 結(jié)論

在本文中，提出了一種基于多引導(dǎo)濾波器的流形學(xué)習(xí)單幅圖像超分辨率方法，該方法能實(shí)現(xiàn)快速在線學(xué)習(xí)。首先，該方法通過大量的自然圖像建立高低分辨率圖像塊樣本訓(xùn)練庫，并通過聚類算法將具有相似性質(zhì)的高低分辨率樣本塊進(jìn)行聚類；其次，將輸入低分辨率圖像進(jìn)行重疊分塊，并在樣本庫中搜索最近鄰的高低分辨率樣本聚類；再次，將輸入低分辨率圖像塊作為輸入圖像，與樣本庫中最近鄰的低分辨率聚類樣本作為引導(dǎo)圖像，運(yùn)用本文提出的多引導(dǎo)濾波器計(jì)算引導(dǎo)濾波器的參數(shù)；最后，利用樣本庫中最近鄰的高分辨率聚類樣本和引導(dǎo)濾波器的參數(shù)，通過多引導(dǎo)濾波器就可以重構(gòu)高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，本文算法不僅能很好地重構(gòu)圖像的高頻細(xì)節(jié)，還能很好地恢復(fù)圖像的紋理特征，同時(shí)本文算法具有很高的執(zhí)行效率。

[1] Freeman W T, Jones T R, Pasztor E C. Exaple-based super-resolutio[J]., 2002, 22(2): 56-65.

[2] Glasner Daniel, Bagon Shai, Irani Michal. Super resolution from a single image[C]//12, 2009: DOI:10.1109/ICCV.2009.5459271.

[3] Fattal R. Upsampling via Imposed Edges Statistics[J]., 2007, 26(3): 95.

[4] DONG C, Change Loy C, HE K, et al. Learning a deep convolutional network for image super-resolution[C]//, 2014: 35-40.

[5] YANG C Y, YANG M H. Fast direct super-resolution by simple functions. [C]//, 2015: 223-227.

[6] WANG S, ZHANG L, LIANG Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C]//, 2012: 79-84.

[7] CUI Z, CHANG H, SHAN S. Shan, et al. Deep network cascade for image super-resolution [C]//, 2014: 49-64.

[8] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representations[J]., 2010: 541-552.

[9] FAN W, YEUNG D Y. Image hallucination using neighbor embedding over visual primitive manifolds[C]//, 2007: 1-7.

[10] Timofte R, Smet V D, Gool L V. Anchored neighborhood regression for fast example based super-resolution[C]//, 2013: 256-266.

[11] YANG C Y, YANG M H. Fast direct super resolution by simple functions[C]/, 2013: 105-112.

[12] YANG J, LIN Z, Cohen S. Fast image super resolution based on in-place example regression[C]//, 2013: 753-761.

[13] Timofte R, Rothe R, Gool L V. Seven ways to improve example-based single image super resolution[J].,2016: 1865-1873.

[14] YANG J, WRIGHT J, MA Y. Image super resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[15] Zeyde R, Elad M, Protter M. On single image scale up using sparse-representations[C]//, 2012: 6920: 711-730.

[16] Timofte R, Smet V D, Gool L V. A+: Adjusted anchored neighborhood regression for fast super-resolution[C]//, 2014: 283-290.

[17] Kim K I, Kwon Y. Single-image super-resolution using sparse regression and natural image prior[J]., 2010, 32(6): 1127-1133.

[18] WANG S, ZHANG L, LIANG Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photosketch synthesis[C]//, 2012: 586-593.

[19] SUN J, XU Z, et al. Image super-resolution using gradient profile prior[C]//, 2008: 862-871.

[20] Nasrollahi K, Moeslund T B. Super-resolution: a comprehensive survey[J]., 2014, 25(6): 1423-1468.

[21] Mairal J, Bach F, Ponce J, et al. Non-local sparse models for image restoration[C]//, 2010, 30(2): 2272-2279.

[22] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]//, 2009, 30(2): 349-356.

[23] Freedman G, Fattal R. Image and video upscaling from local self-examples[J]., 2011, 30(2): 1-11.

[24] Kawano H, Suetake N, Cha B, Aso T. Sharpness preserving image enlargement by using self-decomposed codebook and Mahalanobis distance[J]., 2014, 27(6): 684-693.

[25] ZHANG Y Q, LIU J Y, YANG W H, et al. Image super-resolution based on structure-modulated sparse representation[J]., 2015, 24(9): 2797-2810.

[26] ZHANG Y Q, XIAO J S, LI S H, et al. Learning block-structured incoherent dictionaries for sparse representation[J]., 2015, 58(10):1-15.

[27] YANG C Y, HUANG J B, YANG M H. Exploiting self-similarities for single frame super-resolution[C]/10th(), Queen-stown, New Zealand: Springer, 2016: 497-510.

Single Image Super-Resolution Based on Multi-Guided Filtering

LIU Zhe，HAN jiuqiang，HUANG Shiqi

(1.,,’710123,; 2.,,’710049,)

In this paper, a single image super-resolution method based on multi-guided filtering is proposed. First, anexemplar training database consisting of pairs of low-resolution and corresponding high-resolution image patches is constructed using many natural images. High- and low-resolution image patches with similar properties are clustered using a clustering algorithm. Next, the low-resolution input image is divided into overlapping patches, and the nearest neighbor high-and low-resolution sample cluster is searched againstthe exemplar training database. Then, the low-resolution input image patch is used as the new input; the nearest neighbor low-resolution clustering sample is used as the guide image. The multi-guided filter is used to calculate the parameters of the guide filter. Finally, the high-resolution images can be reconstructed with the multi-guided filter using the nearest neighbor high-resolution clustering samples and the parameters of the multi-guide in the sample bank. Experimental results show that the proposed algorithm not only reconstructs the high-frequency detail of an image, but also recovers the texture features.

super resolution，guided filtering，exemplar training database，high frequency detail

TP391.41

A

1001-8891(2017)10-0920-08

2017-01-25；

2017-03-06.

劉哲（1972-），男，教授級(jí)高工，博士，研究方向?yàn)闄C(jī)器視覺、人工智能及模式識(shí)別。

國家自然科學(xué)基金（61473237）。