基于多尺度自相似性和非局部均值的單幅圖像超分辨率方法

劉 哲，黃世奇，姜 杰

?

基于多尺度自相似性和非局部均值的單幅圖像超分辨率方法

劉 哲，黃世奇，姜 杰

（西京學(xué)院信息工程學(xué)院，陜西 西安 710123）

提出了一種基于多尺度局部自相似性和非局部均值的單幅圖像超分辨率算法，該算法不依賴于外界圖像，僅僅在原始圖像的局部子窗口中搜索目標(biāo)圖像塊的相似子塊，利用非局部均值算法對(duì)相似子塊進(jìn)行加權(quán)求和來估計(jì)待復(fù)原圖像，然后在復(fù)原圖像上疊加最相似子塊的高頻細(xì)節(jié)圖像，獲得高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，本文算法不僅能很好地重構(gòu)圖像的高頻細(xì)節(jié)，還能很好地恢復(fù)圖像的紋理特征。

超分辨率；多尺度；局部自相似；非局部均值

0 引言

這些年，隨著圖像超分辨率技術(shù)的快速發(fā)展，使得實(shí)現(xiàn)低成本、高分辨率、高信噪比的圖像設(shè)備成為可能。圖像超分辨率技術(shù)，是指用圖像處理算法將低分辨率圖像轉(zhuǎn)換成高分辨率圖像，構(gòu)建更高分辨率圖像所缺失的高頻細(xì)節(jié)。高分辨率意味著圖像中的像素密度高，能夠提供更多的細(xì)節(jié)，而這些細(xì)節(jié)在許多實(shí)際應(yīng)用中不可或缺。圖像超分辨率技術(shù)在醫(yī)學(xué)診斷、模式識(shí)別、視頻監(jiān)控、生物鑒別、高清晰電視成像、遙感圖像解譯、高空對(duì)地觀測(cè)等領(lǐng)域有著廣泛的應(yīng)用。一直以來，圖像超分辨率技術(shù)是視頻圖像處理領(lǐng)域研究的熱門方向和一個(gè)具有相當(dāng)挑戰(zhàn)性的理論分支[1]。

傳統(tǒng)的圖像超分辨率技術(shù)有基于插值的超分辨率重建、基于重建的圖像超分辨方法和基于學(xué)習(xí)的超分辨率算法[2]。近年來，隨著圖像局部自相似性和非局部均勻理論[3-6]的出現(xiàn)，局部自相似性和非局部均勻理論在圖像增強(qiáng)、圖像降噪和圖像復(fù)原等方面得到了很好的應(yīng)用，尤其是在在圖像超分辨率方面取得了比其它方法更好的效果?；趫D像局部自相似性的超分辨率方法利用了圖像廣泛具有的局部自相似性，并將這種結(jié)構(gòu)自相似性作為圖像重構(gòu)過程中的附加信息[3-6]。近年來相繼出現(xiàn)了一些利用非局部（nonlocal, NL）自相似結(jié)構(gòu)的超分辨率方法[3-4]，其基本思路是在整幅圖像中搜索相同尺度的相似圖像塊，利用這些相似圖像塊所提供的互補(bǔ)信息重構(gòu)高分辨率圖像。由于圖像自身中相同尺度相似圖像塊所提供的附加信息具有一定的局限性，因而制約了這種方法圖像重構(gòu)效果的進(jìn)一步提升，文獻(xiàn)[5]構(gòu)建與圖像高、低頻子圖所對(duì)應(yīng)的高、低頻碼本，并通過高頻碼本所提供的附加信息實(shí)現(xiàn)圖像重構(gòu)，這種方法實(shí)際上是利用了圖像自身不同尺度相似圖像塊所提供的附加信息。文獻(xiàn)[6]將相同尺度和不同尺度相似圖像塊所提供的附加信息均加入到圖像重構(gòu)過程中，利用相同尺度相似圖像塊就如同利用多幅低分辨率圖像，而不同尺度相似圖像塊又提供了不同分辨率圖像塊間的對(duì)應(yīng)關(guān)系，取得了良好圖像重構(gòu)效果和視覺效果。Freedman等[7]使用簡(jiǎn)單的灰度信息作為特征，使得復(fù)原效果提升有限。文獻(xiàn)[8-11]使用稀疏表示技術(shù)，通過自相似性建立冗余字典或典書（codebook）進(jìn)行超分辨率復(fù)原，取得不錯(cuò)的效果，但是該算法復(fù)雜度較大；Glasner等[12]由輸入圖像采用金字塔的形式構(gòu)建訓(xùn)練庫，利用圖像塊的冗余度并結(jié)合傳統(tǒng)超分辨算法和基于樣本的超分辨率算法，得到了較好的算法結(jié)果，但是算法容易產(chǎn)生人工痕跡。

針對(duì)傳統(tǒng)插值超采樣算法和相關(guān)的基于學(xué)習(xí)的超分辨率算法的缺陷[13-15,16-18]，在考察了局部自相似性學(xué)習(xí)的超采樣方法各自的優(yōu)勢(shì)后，本文針對(duì)單幅圖像超分辨率重建問題，提出了一種基于多尺度局部自相似單幅和非局部均值單幅圖像超分辨率方法。首先，給出了本文提出的“類高斯”引導(dǎo)濾波器技術(shù)，該濾波器具有良好的圖像邊緣保持和圖像平滑降噪能力；其次利用該引導(dǎo)濾波器與該圖像卷積求差，求出圖像的高頻細(xì)節(jié)圖像HF（下文用HF表示高頻細(xì)節(jié)圖像）；再次使用輪廓模板插值方法將原始圖像放大倍，得到放大后的LR圖像；接著，利用圖像自身的局部自相似性，在LR圖像上取一個(gè)小窗口，分別在原始圖像和HF圖像上對(duì)應(yīng)的一個(gè)大窗口內(nèi)，利用非局部均值（NLM）計(jì)算圖像塊間的相似重建系數(shù)，繼而將此重建系數(shù)傳遞給對(duì)應(yīng)原始圖像中的圖像塊，通過相似塊的加權(quán)平均來重建圖像塊的值；最后，將重建圖像塊和其對(duì)應(yīng)最相似塊的高頻細(xì)節(jié)圖像疊加，得到最終的超分辨率圖像。重復(fù)這個(gè)過程，直至達(dá)到需要的放大倍數(shù)。

1 高頻細(xì)節(jié)圖像HF的求取

1.1 “類高斯”引導(dǎo)濾波器

引導(dǎo)濾波是近年才出現(xiàn)的濾波技術(shù)，在引導(dǎo)濾波的定義中，用到了局部線性模型。該模型認(rèn)為，某函數(shù)上一點(diǎn)與其鄰近部分的點(diǎn)成線性關(guān)系，一個(gè)復(fù)雜的函數(shù)就可以用很多局部的線性函數(shù)來表示，當(dāng)需要求該函數(shù)上某一點(diǎn)的值時(shí)，只需計(jì)算所有包含該點(diǎn)的線性函數(shù)的值并進(jìn)行平均即可。這種模型在表示非解析函數(shù)上非常有用。

同理，我們可以認(rèn)為圖像是一個(gè)二維函數(shù)，而且沒法寫出解析表達(dá)式，因此我們假設(shè)該函數(shù)的輸出與輸入在一個(gè)二維窗口內(nèi)滿足線性關(guān)系，我們構(gòu)造如下函數(shù)：

q＝aI＋b(1)

式中：是輸入圖像；是輸出圖像；a和b的表達(dá)式為：

a＝(I－)2/[＋(I－)2]

b＝－a(2)

式中：為滿足0＜＜1的因子，用來控制a值的大小及函數(shù)寬度，同時(shí)避免a過大。

式(1)表示在以為中心的×方形區(qū)域內(nèi)，輸出圖像和輸入圖像滿足線性映射關(guān)系?！练叫螀^(qū)域所有像素的均值用表示，其計(jì)算公式為：

式(1)～(3)組成了本文所提出的均值引導(dǎo)濾波器。下面對(duì)所給出的均值引導(dǎo)濾波器性質(zhì)進(jìn)行討論：

1）?q＝a?I，即當(dāng)輸入圖像有梯度時(shí)，輸出圖像也有類似的梯度，這就是可以解釋均值濾波器具有邊緣保持功能。

2）當(dāng)I不是邊緣點(diǎn)時(shí)，I的值趨近于時(shí)，即I?，此時(shí)a≈0，b≈，由此可得q＝b，輸出圖像的像素點(diǎn)q被平滑。

3）當(dāng)I是邊緣點(diǎn)時(shí)，I的值和的值相差較大，此時(shí)a?0，b≈0，由此可得q＝I，由此輸出圖像的像素點(diǎn)q的邊緣點(diǎn)得以保持。

下面對(duì)函數(shù)a進(jìn)行討論，為了討論方便，將I的歸一化到[0,1]區(qū)間，此時(shí)＝0.5。I在[0,1]區(qū)間內(nèi)作為輸入，a作為輸出，分別畫出＝0.5、＝0.1、＝0.01、＝0.05時(shí)a的圖形，分別如圖1所示。

由圖1可知，函數(shù)a具有以下優(yōu)良的性質(zhì)：

1）該函數(shù)圖形是“倒高斯分布圖”，在本文中稱作“類高斯核”，具有軸對(duì)稱、各向同性，連續(xù)性、光滑性好。

2）它與圖像卷積不會(huì)改變圖像的整體動(dòng)態(tài)特性。

3）當(dāng)I?時(shí)，a?0；當(dāng)I與差距越來越大時(shí)，a?1；所以該函數(shù)能自適應(yīng)保持像素點(diǎn)的特性。

4）當(dāng)尺度因子越來越小時(shí)，該函數(shù)寬度越來越小，函數(shù)變化越迅速；尺度因子越來越大時(shí)，該函數(shù)寬度越來越大，函數(shù)變化越緩慢；較大時(shí)，表現(xiàn)為平滑性越好，當(dāng)較小時(shí)，表現(xiàn)為邊緣保持性好。

5）具有與高斯函數(shù)相同的性質(zhì)，可以做為核平滑函數(shù)，在圖像處理領(lǐng)域可以得到廣泛應(yīng)用。

圖1 當(dāng)e取不同值時(shí)函數(shù)ak的圖形

1.2 HF圖像的求取

優(yōu)異的圖像超分辨率算法應(yīng)該滿足以下2個(gè)條件：

①能很好地恢復(fù)圖像的高頻細(xì)節(jié)部分；②能很好地恢復(fù)圖像的局部紋理特征。

設(shè)輸入圖像為，是引導(dǎo)濾波器，則輸入圖像的高頻細(xì)節(jié)圖像HF計(jì)算如下：

HF＝－*(4)

式中：*代表卷積；的尺寸選為5×5。

通過求HF，可以把隱藏在圖像內(nèi)部的高頻信息給挖掘出來，如圖2所示。圖2左圖是原始圖像，右圖是運(yùn)用式(4)所求原始圖像的高頻細(xì)節(jié)圖像。由圖2可以看出，運(yùn)用引導(dǎo)濾波器可以很好地獲得圖像豐富的邊緣細(xì)節(jié)信息。

圖2 高頻細(xì)節(jié)圖像求取結(jié)果

2 多尺度局部自相似超分辨率算法

2.1 基本思想

圖像的局部自相似性是指在同一幅圖像中存在相同尺度或不同尺度的相似結(jié)構(gòu)，其具體表現(xiàn)為圖像中相同尺度或不同尺度中位于局部鄰域中的圖像具有相似圖像塊。研究這種局部自相似性，提取這些相似塊中的高頻細(xì)節(jié)成分，進(jìn)行分析處理和紋理細(xì)節(jié)合成，估計(jì)出高分辨率圖像中的高頻細(xì)節(jié)成分，以此實(shí)現(xiàn)圖像的超分辨率。利用局部自相似性進(jìn)行超分辨率重建的方法原理，訓(xùn)練集合包含3幅圖像，分別是原始圖像、原始圖像對(duì)應(yīng)的高頻圖像HF以及原始圖像對(duì)應(yīng)的插值放大圖像LR。我們的目標(biāo)是不依賴于任何外界圖像，利用圖像在不同尺度間的自相似性特征，生成超分辨率圖像HR。

2.2 插值和塊匹配搜索

對(duì)原始圖像，首先采用插值算法將其放大倍得到初始高分辨率圖像LR，插值算法的選取會(huì)對(duì)最終結(jié)果產(chǎn)生一定影響，一個(gè)較好的插值算法必然會(huì)得到一個(gè)較好的最終結(jié)果。選取Getreuer的輪廓模板插值算法[16]。算法利用高分辨率圖像的輪廓與輸入的低分辨率圖像的輪廓保持一致的特性，事先估計(jì)自然圖像輪廓的形狀得到了具有57個(gè)輪廓模板的待選模板的集合。對(duì)于輸入的低分辨率圖像的每個(gè)像素點(diǎn)計(jì)算其為中心的鄰域的輪廓模板值，選取合適的模板進(jìn)行插值。最終得到了較好的高分辨率圖像。輪廓模板插值算法在保持插值圖像整體輪廓和細(xì)節(jié)等方面都取得了很好的效果，但是由于缺少先驗(yàn)知識(shí)，得到的高分辨率圖像和自然圖像相比，紋理部分有所缺失。本文進(jìn)一步處理，補(bǔ)充高頻的紋理細(xì)節(jié)部分。

在初始高分辨率圖像LR中以像素(,)為中心，構(gòu)造一個(gè)小窗口圖像塊作為待匹配窗，在中對(duì)應(yīng)位置(,)為中心的一個(gè)大窗口鄰域內(nèi)搜索相似塊，其中：

＝/，＝/(5)

式中：為縮放因子。

塊匹配搜索如圖3所示。圖3的左側(cè)代表插值放大后的圖像LR，右圖代表原始圖像，在LR中選取大小為3×3的待匹配窗，在中選取大小為5×5的搜索窗，的中心坐標(biāo)是(,)，的中心坐標(biāo)是(,)，分別是圖中黑框表示的像素坐標(biāo)值。匹配窗在搜索窗內(nèi)進(jìn)行相似塊的搜索，本文采用兩個(gè)圖像塊對(duì)應(yīng)點(diǎn)像素值之差的絕對(duì)值之和（sum of absolute difference, SAD）作為相似度的標(biāo)識(shí)。

圖3 塊匹配搜索示意圖

2.3 基于非局部均值的灰度圖像自相似性重構(gòu)

非局部均值濾波是一種基于塊匹配來確定濾波權(quán)值的濾波算法，非局部均值濾波在計(jì)算中加入了每一個(gè)點(diǎn)的權(quán)重值，所以能夠保證在相鄰且相差很大的點(diǎn)在方框中求平均值時(shí)相互之間的影響減小，也就對(duì)圖像邊緣細(xì)節(jié)部分保留很多，這樣圖像看起來會(huì)更清晰，同時(shí)還能很好的抑制噪聲。因此，首先進(jìn)行基于非局部均值的灰度圖像自相似性超分辨率重構(gòu)。這樣既保證了超分辨率重構(gòu)圖像大量邊緣信息的保留，同時(shí)也抑制了噪聲。

式中：()表示第個(gè)相似塊p。權(quán)值()滿足：

()可以表示為：

式中：()表示圖像塊與p之間的歐式距離；表示歸一化常數(shù)。

于是根據(jù)式(9)可以求出歸一化常數(shù)：

由上面的推導(dǎo)知道，利用式(6)可完成基于非局部均值的灰度圖像自相似性的超分辨率重構(gòu)。雖然利用這種方法進(jìn)行超分辨率重構(gòu)的圖像能保留大部分邊緣細(xì)節(jié)信息，但會(huì)使相當(dāng)多的紋理特征損失。對(duì)于損失的紋理特征通過高頻細(xì)節(jié)自相似性重構(gòu)來進(jìn)行恢復(fù)。

2.4 基于最佳匹配塊的高頻細(xì)節(jié)自相似性重構(gòu)

下面利用圖像自相似性，待匹配窗在搜索窗的鄰域內(nèi)進(jìn)行匹配搜索，找到與最相似的匹配塊，再在HF圖像找到與最匹配塊相對(duì)應(yīng)的高頻圖像塊h。本文中SAD作為相似度的標(biāo)識(shí)，所以最匹配塊就是SAD值最小的兩個(gè)塊。所以：

＝argmin|－|(11)

根據(jù)式(4)可以求出最佳匹配塊的高頻圖像塊h：

h＝－*0(12)

2.5 多尺度框架下超分辨率算法

在2.2節(jié)中，我們提到了用輪廓模板將原始圖像放大倍，當(dāng)這個(gè)取不同值時(shí)，最佳匹配塊之間的SAD均值是否接近，這是我們進(jìn)行多尺度設(shè)計(jì)的主要依據(jù)。為此，我們?cè)O(shè)計(jì)了一個(gè)實(shí)驗(yàn)，來說明尺度因子取不同值時(shí)，局部自相似性的效果。其中，匹配塊的大小為3×3，搜索窗的大小為5×5，特征為RGB空間灰度值（0～255），并對(duì)SAD均值進(jìn)行歸一化。圖4給出了放大因子取不同值時(shí)，SAD歸一化均值的取值情況。

圖4 放大因子a取不同值時(shí)SAD歸一化均值

由圖可知，隨著放大因子的增大，SAD歸一化均值也增大，即圖像的局部自相似性變得越差，尤其是當(dāng)逐步增大時(shí)，圖像的局部自相似性急劇變差。所以我們?cè)O(shè)為放大尺度因子，它的取值可以比較小，通過逐步迭代把圖像放大到需要的倍數(shù)。設(shè)為為每一次迭代時(shí)的尺度因子，為最終要達(dá)到的放大倍數(shù)，要達(dá)到放大倍數(shù)，需要迭代次：

＝ln/ln(14)

這就是多尺度自相似性的主要原理。

由式(14)可以看出，當(dāng)的取值過小，迭代次數(shù)過多，算法的時(shí)間復(fù)雜度就大大增加。當(dāng)的取值逐步增大時(shí)，尋找到的匹配塊相似度會(huì)下降很快。本文所處理的圖像是放大到2倍，我們選取放大尺度因子的值為1.25，需要迭代4次就可以完成。

2.6 算法實(shí)現(xiàn)

基于引導(dǎo)濾波和多尺度局部自相似單幅圖像超分辨率算法實(shí)現(xiàn)過程如下：

1）對(duì)原始圖像，首先采用輪廓模板插值算法將其放大倍得到初始高分辨率圖像LR。

2）將LR有重疊劃分成3×3的子塊，重疊區(qū)域?qū)挾葹?個(gè)像素，構(gòu)成待匹配窗；將原始圖像有重疊劃分成5×5子塊，重疊區(qū)域?qū)挾葹?個(gè)像素，構(gòu)成搜索窗。

4）利用圖像自相似性，待匹配窗在搜索窗的鄰域內(nèi)進(jìn)行匹配搜索，找到與最相似的匹配塊；利用式(12)求出最佳匹配塊的高頻細(xì)節(jié)圖像塊h。

6）合并所有的超分辨率重構(gòu)的待匹配窗，相鄰圖像塊重疊區(qū)域的像素值使用平均融合得到，得到最終的超分辨率圖像HR。

7）令＝HR，返回步驟1），直至得到最終放大倍數(shù)。

3 實(shí)驗(yàn)和分析

為了驗(yàn)證本文算法的有效性，將基于多尺度局部自相似性和非局部均值單幅圖像超分辨率算法，與Freedman算法[7]、Glasner算法[12]進(jìn)行綜合分析比較。在所有實(shí)驗(yàn)中選取如下參數(shù)：

①放大尺度因子＝1.25，通過4次迭代圖像放大到2倍；②搜索窗的大小為5×5，匹配窗的大小為3×3；③引導(dǎo)濾波器的尺度因子＝0.01。

測(cè)試環(huán)境為：①操作系統(tǒng)Windows XP SP3；②應(yīng)用程序開發(fā)環(huán)境Matlab 2012a；③筆記本計(jì)算機(jī)配置Inter Core i5-Y430p，8.0GB內(nèi)存。

3.1 高頻細(xì)節(jié)對(duì)比分析

分別利用Freedman算法、Glasner算法和本文算法對(duì)圖像進(jìn)行2倍的超分辨率放大重構(gòu)，分別如圖5的(a)、(b)、(c)所示，而后利用本文提出的基于引導(dǎo)濾波算法，求取圖像(a)～(c)的HF圖像，其結(jié)果分別如圖5的(d)～(f)所示。由圖5可知，由本文超分辨重構(gòu)圖像的高頻細(xì)節(jié)最為豐富，其次是Freedman算法，Glasner算法最差。由圖5的(c)和(f)可以看出，本文算法可以很好地重構(gòu)圖像的細(xì)節(jié)部分，尤其是對(duì)具有大面積紋理特征（如毛發(fā)）的圖像也能夠進(jìn)行有效的恢復(fù)。

3.2 主觀對(duì)比分析

針對(duì)不同的算法，選取各自算法最合適的參數(shù)以達(dá)到最好的效果。同一算法對(duì)不同圖像選取相同的參數(shù)。主觀效果如圖6～圖8所示，選擇超分辨率圖像的局部（如圖中方框標(biāo)記的部分）進(jìn)行局部對(duì)比。對(duì)圖6的處理中，F(xiàn)reedman算法和Glasner算法在數(shù)字的邊緣處有很寬的過渡、銳度不夠，F(xiàn)reedman算法在數(shù)字的邊緣處產(chǎn)生了輕微振鈴效應(yīng)，Glasner算法在數(shù)字邊緣比較模糊，本文算法邊緣保持的很好，沒有偽影等不良現(xiàn)象產(chǎn)生，邊緣銳度較好。對(duì)圖7的處理中，Glasner算法在帽子紋理邊緣沒有很好的清晰度和銳度，F(xiàn)reedman算法和本文算法的清晰度和銳度都很好，F(xiàn)reedman算法在臉部的邊緣有類似于殘影的不良現(xiàn)象產(chǎn)生，在相同的地方，Glasner算法比Freedman算法有更為嚴(yán)重的類似于殘影的不良現(xiàn)象，本文算法不僅沒有不良現(xiàn)象產(chǎn)生，而且具有非常好的清晰度和銳度。圖8中，Glasner、Freedman算法和本文算法得到了紋理較為豐富毛發(fā)，但對(duì)馬腿部分，本文算法比Glasner和Freedman算法有更好的對(duì)比度和細(xì)節(jié)保持效果。因此，從主觀效果來看，本文算法效果整體優(yōu)于對(duì)比算法。

圖5 高頻細(xì)節(jié)對(duì)比圖

圖6 3種算法超分辨率對(duì)比圖（1）

圖7 3種算法超分辨率對(duì)比圖（2）

Fig.7 Comparison of three super-resolution algorithms(Ⅱ)

圖8 3種超分辨率算法整體對(duì)比圖

Fig.8 Comparison of three super-resolution algorithms

3.3 客觀指標(biāo)對(duì)比分析

用圖像峰值信噪比（PSNR）和圖像結(jié)構(gòu)的相似性（SSIM）評(píng)價(jià)不同算法的性能。表1是測(cè)試圖像在2倍超分辨率放大情況下的客觀評(píng)價(jià)結(jié)果?？梢钥闯?，本文方法在所有情況下都比其他2種方法獲得的結(jié)果要好。

為進(jìn)一步評(píng)價(jià)不同算法超分辨性能，圖6～圖8比較了分別使用3種不同算法重建的結(jié)果?？梢钥闯?，Glasner算法不能有效恢復(fù)圖像的高頻信息，生成的圖像有些模糊。與Glasner算法結(jié)果相比較，經(jīng)典的Freedman算法通過學(xué)習(xí)HR與LR圖像間的對(duì)應(yīng)關(guān)系，在一定程度上能有效恢復(fù)出LR圖像中丟失的高頻細(xì)節(jié)，得到的結(jié)果比較清晰。從視覺質(zhì)量上看，F(xiàn)reedman算法能夠得到比Glasner算法更多的高頻細(xì)節(jié)，但由于重建過程直接使用1次放大到需要的倍數(shù)，得到的圖像在紋理細(xì)節(jié)區(qū)域仍出現(xiàn)明顯的失真。與上述2種方法得到的結(jié)果相比，基于引導(dǎo)濾波和多尺度局部自相似性單幅圖像超分辨率算法在保持圖像邊緣和恢復(fù)紋理細(xì)節(jié)方面都有不同程度的改善，得到的結(jié)果不僅邊緣更清晰更真實(shí)，而且紋理更加豐富。這是由于圖像的局部自相似特性在小的尺度因子范圍下可以保持良好的特性，在鄰域選擇過程中，結(jié)合局部自相似特性，使得參與重建的圖像塊均與目標(biāo)圖像塊具有相似的結(jié)構(gòu)，因而能獲得較好的重建質(zhì)量。

表1 3種超分辨率算法PSNR和SSIM的比較

4 結(jié)論

提出了基于多尺度局部自相似性和非局部均值單幅圖像超分辨率算法。首先，引進(jìn)了類高斯分布的“類高斯核”，在此基礎(chǔ)上構(gòu)建均值引導(dǎo)濾波器，該濾波器是一種線性邊緣保持濾波器，可以得到圖像的高頻細(xì)節(jié)。其次，根據(jù)圖像的自相似性，對(duì)初始高分辨率圖像和原始低分辨率圖像進(jìn)行分塊，得到待匹配窗和搜索窗，根據(jù)NLM，待匹配窗圖像塊的值利用搜索窗中相似塊的加權(quán)平均計(jì)算得到。再次，利用圖像自相似性，待匹配窗在搜索窗的鄰域內(nèi)進(jìn)行匹配搜索，找到與待匹配窗最相似的匹配塊，計(jì)算出最佳匹配塊的高頻細(xì)節(jié)圖像塊，與相似塊的加權(quán)平均值相加，重構(gòu)出高分辨率待匹配窗。最后，合并所有的超分辨率重構(gòu)的待匹配窗，相鄰圖像塊重疊區(qū)域的像素值使用平均融合得到，得到最終的超分辨率圖像。實(shí)驗(yàn)結(jié)果表明，本文算法不僅能很好地重構(gòu)圖像的高頻細(xì)節(jié)，還能很好地恢復(fù)圖像的紋理特征，得到的結(jié)果不僅邊緣更清晰更真實(shí)，而且紋理更加豐富。在下一步的研究中，將重點(diǎn)研究基于學(xué)習(xí)的多尺度自相似性單幅圖像超分辨率算法。

[1] Nasrollahi K, Moeslund T B. Super-resolution: a comprehensive survey[J]., 2014, 25(6): 1423-1468. doi:10.1007/ s00138-014-0623-4.

[2] Van Ouwerkerk J D. Image super resolution survey[J]., 2006, 24(10):1039-1052.doi:10.1016/j.imavis.2006.02.026.

[3] Protter M, Elad M, Takeda H, et al. Generalizing the nonlocal-means to super-resolution reconstruction[J]., 2009, 18(1): 36-51.doi:10.1109/TIP.2008.2008067.

[4] Mairal J, Bach F, Ponce J, et al. Non-local sparse models for image restoration[C]//12th,Kyoto, Japan, 2009: 2272-2279.

[5] Suetake N, Sakano M, Uchino E. Image super-resolution based on localself similarity[J]., 2013, 15(1): 26 -30 .doi:10.1007/ s10043-008-0005-0.

[6] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C] //12th, Kyoto, Japan, 2009: 349-356 . doi:10.1109/ICCV.2009.5459271.

[7] Freedman G, Fattal R. Image and video up scaling from localself -examples[J]., 2011, 30(2):1-11. doi: 10.1145/1944846.1944852.

[8] Kawano H, Suetake N, Cha B, et al. Sharpness preservingimage enlargement by using self-decomposed codebook and Mahalanob is distance[J]., 2014, 27(6): 684-693. doi:10.1016/j.imavis.2008.07.013

[9] ZHANG Y Q, LIU J Y, YANG W H, et al. Image super-resolution based on structure-modulated sparse representation[J]., 2015, 24(9): 2797-2810. doi:10.1017/ s11444-014 -5768-4.

[10] ZHANG Y Q, XIAO J S, LI S H, et al. Learning block-structured incoherent dictionaries for sparse representation[J]., 2015, 58(10): 1-15. doi:10.1007/s 11432-014-5258-6.

[11] YANG C Y, HUANG J B, YANG M H. Exploiting self-similarities for single frame super-resolution[C]//10th(ACCV), Queen-stown, New Zealand: Springer, 2016: 497-510.

[12] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]//12th(ICCV). Kyoto, Japan, 2009: 349-356. doi:10.1109/ ICCV.2009. 5459271.

[13] Schulter S, Leistner C, Bischof H. Fast and accurate image up scaling with super-resolution forests[C]//2015, Boston, MA, 2015: 3791-3799.

[14] Sajjad M, Ejaz N, Baik S W. Multi-kernel based adaptiveinterpolation for image super-resolution[J]., 2015, 72(3): 2063-2085. doi:10.1109/CVPR.2015.7299003.

[15] Catalin Ionescu, Orestis Vantzos, Cristian Sminchisescu. Matrix back propagation for deep networks with structured layers[C]//, 2015: doi:10.1101/ ICCV.2015.65789987.

[16] Getreuer P. Contour stencils: total variation along curvesfor adaptive image interpolation[J]., 2011, 4(3): 954-979. doi:10.1137/100802785.

[17] XIAO Jinsheng, DU Kanghua, TU Chaoping, et al. Bokeh display based on depth information extraction of multi-focus images[J]., 2015,41(2): 304-311.

[18] XIAO J S, LI W H, LIU G X, et al. Hierarchical tone mapping based on image colour appearance model[J]., 2015, 8(4): 358-364.

Single Image Super Resolution Method Based on Multi-scale Self-similarity and Non Local Means

LIU Zhe，HUANG Shiqi，JIANG Jie

(,,’710123,)

In this paper, we propose a new single image super resolution algorithm based on multi-scale local self-similarity and non local means. This algorithm does not rely on an external example database nor use the whole input image as a source for example patches. Instead, we extract similar patches from extremely localized region in the input image, similar patches are weighted summed to estimate the image to be restored using a non-local mean algorithm, and then the high frequency detail image of the most similar patch is added to the restored image to obtain a high-resolution image. Experimental results show that the proposed algorithm can not only reconstruct the high frequency details of the image, but also restore the texture features of the image.

super resolution，multi-scale，self-similarity，non-local mean

O121.8，G558

A

1001-8891(2017)04-0345-08

2016-11-02；

2016-12-28.

劉哲（1972-），男，博士，教授級(jí)高工，研究方向?yàn)闄C(jī)器視覺、人工智能及模式識(shí)別。

國家自然科學(xué)基金（61473237）資助。