基于多類預(yù)測器學(xué)習(xí)的超分辨率復(fù)原算法

湯嘉立，柳益君，杜卓明,3

(1.江蘇理工學(xué)院 計算機(jī)工程學(xué)院，江蘇 常州 213001；2.江蘇大學(xué) 機(jī)械工程學(xué)院，江蘇 鎮(zhèn)江 212013；3.南京師范大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，江蘇 南京 210023)

0　引　言

超分辨率復(fù)原作為一種能有效提高圖像分辨率的圖像后處理算法，可以在不需要提高硬件設(shè)備性能的前提條件下提高圖像中人們感興趣目標(biāo)的識別精度。近年來，基于學(xué)習(xí)的超分辨率算法已成為一種提高圖像空間分辨率的有效途徑，通過機(jī)器學(xué)習(xí)算法得到高低分辨率(HR和LR)圖像之間的關(guān)系，進(jìn)而對圖像進(jìn)行超分辨率復(fù)原[1-6]。此類算法中復(fù)原質(zhì)量和算法速度兩者之間存在著此消彼長的矛盾。因此，文獻(xiàn)[7]提出基于樣本紋理學(xué)習(xí)的超分辨率算法，通過圖像的紋理特性預(yù)分類輸入樣本塊；文獻(xiàn)[8]通過支持向量機(jī)(SVM)算法進(jìn)行LR輸入圖像的預(yù)分類，增強(qiáng)其樣本子庫的圖像特性相關(guān)性；文獻(xiàn)[9]通過基因表達(dá)式編程(GEP)算法解決LR圖像的多標(biāo)記分類問題，在LR圖像塊預(yù)分類時根據(jù)圖像多重特征篩選出其相關(guān)圖像類別。

基于范例學(xué)習(xí)的超分辨率復(fù)原算法過程中涉及到兩個重要階段：一是在樣本數(shù)量眾多的樣本庫中找到最佳匹配的樣本，二是依據(jù)樣本提供的高頻信息來復(fù)原低分辨率圖像的插值放大圖像中的高頻細(xì)節(jié)。尋找最佳匹配的樣本采用“搜索”的方式，而復(fù)原高頻信息則采用簡單的“粘貼”方式，即直接將樣本的高頻信息復(fù)制至放大圖像的相應(yīng)部分。文獻(xiàn)[7-9]都屬于“搜索與粘貼”學(xué)習(xí)，在這種學(xué)習(xí)中，圖像超分辨率復(fù)原的效果受樣本庫影響很大。如果一個LR圖像塊在樣本庫中沒有匹配的樣本，將極大地降低復(fù)原結(jié)果質(zhì)量。為了避免這種不良后果，一般采用這樣的做法：首先，找出與LR圖像塊的像素達(dá)到最佳匹配的若干樣本，然后對這些匹配樣本求平均值，最后將估計的高頻信息層疊加到放大的圖像中。這種方法的優(yōu)點是簡單、易于實現(xiàn)，但也存在著明顯缺點，那就是導(dǎo)致估計結(jié)果過于平滑[10]。

本文提出一種基于神經(jīng)網(wǎng)絡(luò)多類預(yù)測器的設(shè)計與訓(xùn)練算法，將LR塊到HR塊的映射問題看作預(yù)測問題，以克服文獻(xiàn)[7-9]“搜索與粘貼”學(xué)習(xí)和文獻(xiàn)[10]線性多類預(yù)測學(xué)習(xí)的局限性。在對多類預(yù)測器的訓(xùn)練過程中，以預(yù)測權(quán)值的形式儲存訓(xùn)練樣本中隱含的規(guī)律性先驗知識。

1　基于GEP的神經(jīng)網(wǎng)絡(luò)權(quán)值優(yōu)化

傳統(tǒng)的反向傳播(back-propagation，BP)學(xué)習(xí)算法是前饋網(wǎng)絡(luò)學(xué)習(xí)的主要算法之一，但具有收斂速度慢和易陷入局部最小值這兩個固有的本質(zhì)缺點。Levenberg和Marquardt研究了非線性最小方差優(yōu)化問題，對以搜索方向為核心的迭代優(yōu)化算法進(jìn)行了很大改進(jìn),并利用了近似的二階導(dǎo)數(shù)信息，速度比梯度法有了很大提升[11]。LM算法雖然能加快BP神經(jīng)網(wǎng)絡(luò)的收斂速度，但仍然沒有克服其易于陷入局部最優(yōu)的缺點，所以需要尋找更為有效的訓(xùn)練方法。

1.1　應(yīng)用GEP算法避免局部極小

作為遺傳算法家族的一員，GEP算法是一種基于生物基因結(jié)構(gòu)和功能的新型自適應(yīng)演化算法，具有良好的全局優(yōu)化性、并行性和穩(wěn)定性。GEP在符號回歸、函數(shù)發(fā)現(xiàn)、參數(shù)優(yōu)化、時間序列預(yù)測、分類等方面都有很好地應(yīng)用，目前也有GEP結(jié)合神經(jīng)網(wǎng)絡(luò)的研究。Ferreira提出了GEP網(wǎng)絡(luò)，GEP網(wǎng)絡(luò)是GEP和人工神經(jīng)網(wǎng)絡(luò)相結(jié)合的產(chǎn)物。它將神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、參數(shù)用GEP個體進(jìn)行編碼，通過個體進(jìn)化來達(dá)到訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目的[12]。文獻(xiàn)[13]使用GEP算法優(yōu)化RBF(radial basis function)神經(jīng)網(wǎng)絡(luò)，對其中心向量及連接權(quán)值等參數(shù)進(jìn)行優(yōu)化，取得了良好的效果。

對于多層前饋神經(jīng)網(wǎng)絡(luò)，GEP算法既可以用于優(yōu)化網(wǎng)絡(luò)權(quán)值，也可以用于指導(dǎo)網(wǎng)絡(luò)拓?fù)溥x擇。本文將GEP算法結(jié)合LM算法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，利用GEP算法優(yōu)化網(wǎng)絡(luò)的初始權(quán)值，既避免局部極小，又能加快網(wǎng)絡(luò)的收斂速度，提高網(wǎng)絡(luò)的收斂精度。

1.2　GEP算法優(yōu)化網(wǎng)絡(luò)權(quán)值的途徑

目前GEP創(chuàng)建常數(shù)主要有3類方法：方法一由算法本身創(chuàng)建常數(shù)；方法二為Ferreira提出的GEP-RNC算法[14]，在基因尾部附加DC域，在基因中使用兩次索引方法指定數(shù)值常量，DC域和候選常量集的內(nèi)容也可以參加GEP的各種遺傳操作，即候選常量在進(jìn)化過程中也可以進(jìn)行進(jìn)化；方法三是一種簡化的常量處理方法MC[15]，該方法直接將常量作為終結(jié)符來創(chuàng)建常數(shù)，并且候選常數(shù)集合在整個優(yōu)化過程中始終保持不變。3種方法各有其特點，解決不同問題時有不同的表現(xiàn)。與方法二相比，方法一和方法三的搜索空間更小，計算時間更少。而在有浮點數(shù)的模型等復(fù)雜問題上，方法二和方法三可以獲得更高的成功率和精度，特別是方法二在求解很多復(fù)雜問題上都有更好的表現(xiàn)。

值得注意的是，文獻(xiàn)[16]提出了一種基于GEP方法的實數(shù)參數(shù)優(yōu)化方法UC-GEP(uniform-constants based GEP)，常數(shù)域直接參與進(jìn)化。并在來自IEEE Congress on Evolutionary Computation 2005的9個基準(zhǔn)函數(shù)上進(jìn)行了大量實驗，將UC-GEP和其它3種算法進(jìn)行了比較，包括MC-GEP(meta constants based GEP)、MUC-GEP(meta-uniform-constants based GEP)和傳統(tǒng)的浮點遺傳算法FP-GA(float point genetic algorithm)。實驗結(jié)果表明，在所有的測試函數(shù)上至少一種GEP實參優(yōu)化方法優(yōu)于FP-GA，而GEP實參優(yōu)化方法中以UC-GEP方法最佳。文獻(xiàn)[16]的實驗結(jié)果說明了GEP實參優(yōu)化方法具有優(yōu)良的性能，將其用于多層前饋神經(jīng)網(wǎng)絡(luò)的權(quán)值優(yōu)化，可望取得良好的效果。

2　基于小生境GEP的NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)算法

本文在借鑒文獻(xiàn)[16]提出的實數(shù)參數(shù)優(yōu)化方法UC-GEP的基礎(chǔ)上，在GEP算法的群體設(shè)計中采用小生境技術(shù)，進(jìn)一步提高GEP的全局優(yōu)化性能和收斂速度。一般地，小生境技術(shù)在劃分的種群類中選擇若干適應(yīng)值較大的優(yōu)秀個體代表組成一個群，然后在各個個體類中以及不同個體類之間對個體執(zhí)行變異、雜交等遺傳操作，生成新一代種群。與一般GEP算法相比，基于小生境技術(shù)的GEP算法NGEP(niche GEP)能更好地維護(hù)解的多樣性，全局尋優(yōu)能力更佳，收斂速度也更快。將NGEP算法與LM算法相結(jié)合來訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)，首先采用NGEP算法全局優(yōu)化網(wǎng)絡(luò)權(quán)值，然后采用LM算法進(jìn)行快速局部細(xì)致搜索，不僅可以避免局部極小問題，還可以加快網(wǎng)絡(luò)收斂速度。

2.1　問題描述和編碼設(shè)計

對輸入圖像提取圖像塊矢量，將輸入圖像作為I0，通過Laplacian分解得到I1，如式(1)所示

I1=sz(g(I0))

(1)

式中：g()為高斯函數(shù)，sz()為z倍下采樣。差圖像L1為I1插值放大后與I0之間的差，圖像塊在L1中提取，對于訓(xùn)練圖像則在差圖像L1與L2中提取訓(xùn)練樣本，提取到的圖像塊形成矢量

b=[b0b1…b15]T

(2)

算法實現(xiàn)中，對提取的式(2)表示的矢量進(jìn)行了如下去均值和方差歸一化的預(yù)處理

x=[x0x1…x15]T

(3)

其中

(4)

式中：μ和σ2分別為矢量b的均值和方差。

預(yù)測時，首先根據(jù)樣本分類時生成的碼本對輸入數(shù)據(jù)編碼分類，然后采用對應(yīng)的子預(yù)測器進(jìn)行預(yù)測。多類預(yù)測器在所有子預(yù)測器訓(xùn)練完畢后得到。其中，各個子預(yù)測器的輸出為

式中：x′為式(5)表示的訓(xùn)練樣本中的擴(kuò)展矢量

x′={x0,x1,…,x15,1}

(6)

多類預(yù)測器設(shè)計采用平行結(jié)構(gòu)，其中各個子預(yù)測器是獨立的，故可以并行訓(xùn)練，從而提高訓(xùn)練速度，使算法可以滿足實時處理的要求。對于每個子預(yù)測器，采用樣本庫中相應(yīng)類別的樣本子集對其進(jìn)行訓(xùn)練，訓(xùn)練時權(quán)值矩陣初始化為零。

利用NGEP-LM算法對多層前饋神經(jīng)網(wǎng)絡(luò)的初始權(quán)值進(jìn)行尋優(yōu)，這是一個神經(jīng)網(wǎng)絡(luò)的連接權(quán)值優(yōu)化問題。對網(wǎng)絡(luò)中各神經(jīng)元之間的連接權(quán)值進(jìn)行統(tǒng)一編號，得到一組連接權(quán)值w1,w2,…,wn，其中n為連接的個數(shù)。網(wǎng)絡(luò)權(quán)值優(yōu)化問題可以用式(7)表示

(7)

式中：E為網(wǎng)絡(luò)輸出誤差；此外，作為網(wǎng)絡(luò)權(quán)值，wi需滿足約束條件-1

由于網(wǎng)絡(luò)涉及多個連接權(quán)值，NGEP-LM算法采用多輸出GEP。在問題描述中已假設(shè)網(wǎng)絡(luò)的連接權(quán)值數(shù)為n，故一個個體應(yīng)有n個輸出，第i個輸出部分解碼為連接權(quán)值wi。采用文獻(xiàn)[16]中的GEP參數(shù)優(yōu)化方法優(yōu)化連接權(quán)值。這里采用僅含普通基因的個體結(jié)構(gòu)，第i個基因解碼輸出wi。采用浮點數(shù)作為終結(jié)符集，{+,-,×,/}作為函數(shù)符集。為使wi滿足約束條件，對于第i個基因取其計算值的小數(shù)部分作為解碼輸出值。

2.2　算法描述

本文提出NGEP-LM多層前饋網(wǎng)絡(luò)學(xué)習(xí)算法，即基于NGEP算法和LM算法的混合學(xué)習(xí)算法來訓(xùn)練網(wǎng)絡(luò)，并將這種NGEP-LM網(wǎng)絡(luò)應(yīng)用于圖像超分辨率復(fù)原的高頻信息預(yù)測，建立有效的預(yù)測模型。訓(xùn)練算法描述如下。

算法1：基于多類預(yù)測器學(xué)習(xí)(NGEP-LM)算法

輸入：算法訓(xùn)練樣本，網(wǎng)絡(luò)誤差閾值ε，種群規(guī)模N，進(jìn)化代數(shù)閾值gen，遺傳算子參數(shù)，海明距離L，結(jié)構(gòu)確定的多層前饋神經(jīng)網(wǎng)絡(luò)

輸出：參數(shù)值確定的多層前饋神經(jīng)網(wǎng)絡(luò)

Begin

步驟1根據(jù)種群規(guī)模N初始化種群，新種群進(jìn)化代數(shù)設(shè)為1；

步驟2判斷初始種群的進(jìn)化代數(shù)是否已達(dá)到gen，達(dá)到閾值則跳轉(zhuǎn)到步驟9；

步驟3根據(jù)種群個體的適應(yīng)值進(jìn)行所有個體排序；

步驟4得到適應(yīng)值最大的最優(yōu)種群個體，通過精英保留算法復(fù)制最優(yōu)個體到下一代；

步驟5對種群進(jìn)行小生境淘汰運算；

步驟6根據(jù)輪盤賭策略在種群中選擇兩個個體，按算法設(shè)定概率進(jìn)行插串、逆串、變異、單點重組和基因重組的遺傳操作，從而產(chǎn)生兩個新的后代個體，將其加入新的種群；

步驟7判斷新生成的種群規(guī)模是否已達(dá)到N，如果小于N則跳轉(zhuǎn)至步驟6；

步驟8使用新生成的種群替代初始雙親種群；

步驟9進(jìn)化代數(shù)加1，跳轉(zhuǎn)至步驟2；

步驟10解碼最高的最優(yōu)個體得到網(wǎng)絡(luò)初始權(quán)值；

步驟11在全局優(yōu)化網(wǎng)絡(luò)權(quán)值基礎(chǔ)上采用LM算法繼續(xù)訓(xùn)練網(wǎng)絡(luò)，當(dāng)網(wǎng)絡(luò)誤差達(dá)到閾值ε時，結(jié)束網(wǎng)絡(luò)訓(xùn)練。

End

3　實驗結(jié)果與分析

實驗圖像選自國外常用標(biāo)準(zhǔn)測試圖像庫，選擇Bus、Elaine、House、Man、Parrot等20幅圖像作為實驗測試圖像。對原始圖像進(jìn)行高斯模糊后再2倍下采樣，使其成為低分辨率測試圖像。將低分辨率測試圖像放大到原來高分辨率圖像的大小來進(jìn)行客觀性能測試和主觀效果分析。采用Matlab程序來實現(xiàn)復(fù)原算法。

3.1　性能測試

(1)NGEP-LM神經(jīng)網(wǎng)絡(luò)多類預(yù)測器設(shè)計

實驗采用基于NGEP-LM神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法對20幅圖像進(jìn)行超分辨復(fù)原。所有的訓(xùn)練樣本聚類的類別數(shù)N=6，故碼書中有6個碼字c0,c1,……,c5，相應(yīng)地需要訓(xùn)練6個預(yù)測器。每個碼字均有屬于該碼字代表類別的成對LR/HR樣本塊。對于一個輸入LR圖像塊，按式(2)和式(3)提取其矢量x，然后利用6級碼書對矢量x編碼。若碼字ci與矢量x距離最近，則采用ci對應(yīng)的神經(jīng)網(wǎng)絡(luò)預(yù)測器Pi預(yù)測高頻信息。

網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)對于建立神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型至關(guān)重要，其設(shè)計內(nèi)容包括確定輸入結(jié)點、輸出結(jié)點和層數(shù)。由于經(jīng)充分學(xué)習(xí)的三層前饋網(wǎng)絡(luò)能逼近任何函數(shù)，故網(wǎng)絡(luò)采用三層結(jié)構(gòu)。根據(jù)式(6)，輸入向量是16維實數(shù)矢量，故輸入層應(yīng)含16個神經(jīng)元。如何設(shè)置隱含層神經(jīng)元的個數(shù)仍是個未決問題，本實驗采用一種常用的經(jīng)驗法則，對于有m個結(jié)點的輸入層，取隱含層結(jié)點個數(shù)為2m+1。因此，這里隱含層結(jié)點數(shù)為33個。輸出層輸出高頻信息。

(2)參數(shù)設(shè)置

實驗使用MATLAB軟件實現(xiàn)算法1。網(wǎng)絡(luò)誤差閾值ε設(shè)為0.001，網(wǎng)絡(luò)隱含層和輸出層傳遞函數(shù)分別采用正切函數(shù)tansig()和線性函數(shù)purelin()。將GEP種群規(guī)模N設(shè)為300，遺傳代數(shù)gen設(shè)為1000，遺傳操作概率均設(shè)為0.1，海明距離L設(shè)為2，涉及到的其它參數(shù)采用MATLAB中的默認(rèn)參數(shù)值。

(3)高分辨率圖像的生成

NGEP-LM神經(jīng)網(wǎng)絡(luò)的多類預(yù)測器訓(xùn)練完畢，便可用于圖像的超分辨率復(fù)原。整個過程按下面3步進(jìn)行。

1)插值放大

將輸入低分辨率圖像雙線性插值放大到高分辨率圖像尺寸，作為HR圖像的初始估計。

2)高頻信息估計

將NGEP-LM神經(jīng)網(wǎng)絡(luò)的多類預(yù)測器預(yù)測估計高頻信息。目標(biāo)高分辨率圖像的每個4×4圖像塊在輸入的低分辨率圖像中都有對應(yīng)位置的圖像塊。通過輸入LR圖像塊中特征矢量對應(yīng)的多類預(yù)測器，預(yù)測其對應(yīng)HR圖像塊的高頻信息。

3)高頻信息疊加

將估計所得的高頻信息疊加到高分辨率圖像的初始估計圖像，進(jìn)而形成高分辨率圖像。首先將高頻信息疊加到初始估計圖像I0上，然后利用低分辨率圖像進(jìn)行約束，得到高分辨率輸出圖像。假設(shè)對復(fù)原的高分辨率圖像進(jìn)行模糊和下采樣可以得到輸入的低分辨率圖像，I0經(jīng)過模糊和下采樣得到低分辨率圖像I1，I0中每個2×2方塊Si對應(yīng)于I1中一個像素ai。假設(shè)bi為輸入低分辨率圖像中與ai相同位置的像素值，則將誤差項bi-ai加到Si的每個像素值上，以此進(jìn)行低分辨率約束誤差修正。

3.2　圖像復(fù)原結(jié)果

采用基于多類預(yù)測器學(xué)習(xí)的算法對20幅圖像進(jìn)行超分辨率復(fù)原實驗，通過計算峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)數(shù)值來進(jìn)行實驗圖像的客觀性能分析。測試結(jié)果見表1和表2。

圖1列出了實驗圖像的4種超分辨率學(xué)習(xí)算法的復(fù)原結(jié)果。5幅圖像從左到右依次是文獻(xiàn)[1]經(jīng)典Freeman基于范例學(xué)習(xí)算法、文獻(xiàn)[8]基于SVM預(yù)分類學(xué)習(xí)算法、文獻(xiàn)[9]基于GEP多標(biāo)記學(xué)習(xí)算法、本文基于多類預(yù)測器學(xué)習(xí)(NGEP-LM)算法的復(fù)原結(jié)果。

表1　本文復(fù)原算法的PSNR值

表2　本文復(fù)原算法的SSIM值

圖1　4種超分辨率學(xué)習(xí)算法的復(fù)原結(jié)果

3.3　分析討論

根據(jù)表1數(shù)據(jù)、文獻(xiàn)[9]、文獻(xiàn)[8]和文獻(xiàn)[1]分別得出NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)、GEP學(xué)習(xí)、SVM學(xué)習(xí)的復(fù)原算法和Freeman算法這4種算法的PSNR、SSIM曲線，分別如圖2和圖3所示。由圖2可以看出，NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法的PSNR在各幅圖像上普遍大于SVM學(xué)習(xí)的復(fù)原算法，而與GEP學(xué)習(xí)的復(fù)原算法的PSNR曲線接近；由圖3可以看出，NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法的SSIM在各幅圖像上普遍大于GEP學(xué)習(xí)及SVM學(xué)習(xí)的復(fù)原算法。

圖2　NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法等4種算法的PSNR曲線

圖3　NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法等4種算法的SSIM曲線

(1)圖像客觀性能分析

首先分析算法的圖像客觀性能PSNR。以經(jīng)典Freeman基于范例學(xué)習(xí)算法為標(biāo)準(zhǔn)，計算6種算法在PSNR和SSIM平均值上的提高幅度，測試結(jié)果如圖4所示。其中，橫坐標(biāo)1至6分別表示雙線性插值算法、文獻(xiàn)[1]經(jīng)典Freeman基于范例學(xué)習(xí)算法、文獻(xiàn)[7]基于樣本紋理學(xué)習(xí)算法、文獻(xiàn)[8]基于SVM預(yù)分類學(xué)習(xí)算法、文獻(xiàn)[9]基于GEP多標(biāo)記學(xué)習(xí)算法、本文基于多類預(yù)測器學(xué)習(xí)(NGEP-LM)算法。可以得知，本文算法的PSNR值比標(biāo)準(zhǔn)Freeman算法提高了14.93%，比文獻(xiàn)[9]基于GEP多標(biāo)記學(xué)習(xí)算法的16.55%低1.62%，比SVM學(xué)習(xí)的復(fù)原算法的8.18%高6.75%。NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法的PSNR介于SVM學(xué)習(xí)和GEP學(xué)習(xí)的復(fù)原算法之間，且接近于后者。

圖4　6種算法的PSNR和SSIM平均值的提高幅度曲線

然后對NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法的圖像客觀性能SSIM做進(jìn)一步深入分析。6種算法的SSIM平均值、最大值和最小值如圖5所示。同樣，橫坐標(biāo)值1至6分別表示雙線性插值算法、文獻(xiàn)[1]經(jīng)典Freeman基于范例學(xué)習(xí)算法、文獻(xiàn)[7]基于樣本紋理學(xué)習(xí)算法、文獻(xiàn)[8]基于SVM預(yù)分類學(xué)習(xí)算法、文獻(xiàn)[9]基于GEP多標(biāo)記學(xué)習(xí)算法、本文基于多類預(yù)測器學(xué)習(xí)(NGEP-LM)算法。以Freeman算法為標(biāo)準(zhǔn)，計算6種算法在SSIM上的提高值和幅度?？梢缘弥猄VM學(xué)習(xí)的復(fù)原算法的SSIM平均提高幅度是5.13%，而NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法的SSIM平均提高幅度為14.1%，是前者的2.75倍；GEP學(xué)習(xí)的復(fù)原算法的SSIM平均提高幅度是7.69%，NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法是其1.83倍。NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法的SSIM提高幅度較SVM學(xué)習(xí)及GEP學(xué)習(xí)的復(fù)原算法均有了較大提高。

圖5　6種算法的SSIM比較

(2)圖像主觀性能分析

主觀上，與經(jīng)典Freeman算法以及SVM學(xué)習(xí)的復(fù)原算法和GEP學(xué)習(xí)的復(fù)原算法相比，NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法結(jié)果具有更豐富的細(xì)節(jié)。如Bus圖像的數(shù)字編號、Elaine圖像的眼睛和發(fā)絲、House圖像的建筑物邊緣、Man圖像的帽飾部分、Parrot圖像的眼睛部分，如圖6所示。

圖6　測試圖像局部復(fù)原結(jié)果

4　結(jié)束語

本文提出基于NGEP-LM神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的超分辨率復(fù)原算法。一方面，該算法避免了采用基于“搜索與粘帖”學(xué)習(xí)的圖像超分辨率復(fù)原算法時搜索結(jié)果中不匹配的示例塊會造成復(fù)原圖像質(zhì)量嚴(yán)重下降的問題；另一方面，該算法將尋找LR塊的相應(yīng)HR塊看作LR塊到HR塊的非線性映射問題，從而解決已有的基于多類預(yù)測學(xué)習(xí)的復(fù)原算法由于采用線性預(yù)測方式而造成的圖像邊緣部分較為平滑的問題。實驗結(jié)果表明：在圖像的客觀性能上，NGEP-LM網(wǎng)絡(luò)學(xué)習(xí)的復(fù)原算法的PSNR和SSIM性能均有了一定提升；從主觀觀察結(jié)果來看，20幅復(fù)原圖像輪廓普遍更為清晰。

參考文獻(xiàn)：

[1]Freeman WT,Jones TR,Pasztor EC.Example-based superresolution[J].IEEE Computer Graphics and Applications,2002,22(2):56-65.

[2]Timofte R,De V,Gool LV.Anchored neighborhood regression for fast example-based super-resolution[C]//IEEE International Conference on Computer Vision.Sydney:IEEE,2013:1920-1927.

[3]Kim C,Choi K,Ra JB.Example-based super-resolution via structure analysis of patches[J].Signal Processing Letters IEEE,2013,20(4):407-410.

[4]Bevilacqua M,Roumy A,Guillemot C,et al.Single-image super-resolution via linear mapping of interpolated self-examples[J].IEEE Transactions on Image Processing,2014,23(12):5334-5347.

[5]Jeong S,Yoon I,Jeon J,et al.Multi-frame example-based super-resolution using locally directional self-similarity[C]//Proc of IEEE International Conference on Consumer Electro-nics.Las Vegas:IEEE,2015:631-632.

[6]Trinh DH,Luong M,Dibos F,et al.Novel example-based method for super-resolution and denoising of medical images[J].IEEE Transactions on Image Processing,2014,23(4):1882-1895.

[7]CAO Yang,LI Xiaoguang,WANG Suyu,et al.Pre-classified learning based image super-resolution algorithm[J].Journal of Data Acquisition & Processing,2009,24(4):514-518(in Chinese).[曹楊,李曉光,王素玉,等.基于預(yù)分類學(xué)習(xí)的超分辨率復(fù)原算法[J].數(shù)據(jù)采集與處理,2009,24(4):514-518.]

[8]TANG Jiali,ZUO Jianmin,HUANG Chenrong.Image super-resolution algorithm based on SVM pre-classified learning[J].Journal of Application Research of Computers,2012,29(8):3151-3175(in Chinese).[湯嘉立,左健民,黃陳蓉.基于SVM預(yù)分類學(xué)習(xí)的圖像超分辨率重建算法[J].計算機(jī)應(yīng)用研究,2012,29(8):3151-3175.]

[9]Wang Y,Wang X,Li S.The remote-sensed image restoration based on GEP algorithm[C]//International Symposium on Multispectral Image Processing & Pattern Recognition,2009:37-41.

[10]LI Xiaoguang,SHEN Lansun,Lam KM,et al.An algorithm for super-resolution restoration of human faces based on self-example learning[J].Chinese High Technology Letters,2009,19(4):377-381(in Chinese).[李曉光,沈蘭蓀,Lam KM,等.一種基于自樣本學(xué)習(xí)的人臉圖像超分辨率復(fù)原算法[J].高技術(shù)通訊,2009,19(4):377-381.]

[11]Shawash J,Selviah DR.Real-time nonlinear parameter estimation using the levenberg-marquardt algorithm on field programmable gate arrays[J].IEEE Transactions on Industrial Electronics,2013,60(1):170-176.

[12]Azamathulla HM.Gene expression programming for prediction of scour depth downstream of sills[J].Journal of Hydrology,2012,s460-461(5):156-159.

[13]GU Linglan.Data sparse issue of collaborative filtering algorithm based on GEP-RBF[J].Computer & Digital Enginee-ring,2013,41(9):1433-1436(in Chinese).[古凌嵐.基于GEP-RBF的協(xié)同過濾數(shù)據(jù)稀疏性問題研究[J].計算機(jī)與數(shù)字工程,2013,41(9):1433-1436.]

[14]Ferreira C.Gene expression programming:Mathematical modeling by an artificial intelligence[J].Engineering Applications of Artificial Intelligence,2005,9(6):587-588.

[15]ZHOU Qian,WANG Hong,YAO Zhen.Rule classification based on gene expression programming[J].Computer Engineering and Design,2013,34(10):3492-3496(in Chinese).[周倩,王紅,姚震.基于基因表達(dá)式編程的規(guī)則分類[J].計算機(jī)工程與設(shè)計,2013,34(10):3492-3496.]

[16]Sabar NR,Ayob M,Kendall G,et al.Automatic design of a hyper-heuristic framework with gene expression programming for combinatorial optimization problems[J].IEEE Transactions on Evolutionary Computation,2015,19(3):309-325.