基于自回歸正則化和稀疏表示的圖像超分辨率重建

李麗敏，冉 峰，郭愛英，郁懷波，沈華明

(1.上海大學(xué) 微電子研究與開發(fā)中心，上海 200444； 2.上海大學(xué) 新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室，上海 200444； 3.上海大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院，上海 200444)

高分辨率圖像(High Resolution, HR)在生活中的諸多領(lǐng)域具有舉足輕重的作用，但是由于現(xiàn)有成像系統(tǒng)器件等物理?xiàng)l件的限制，HR圖像的獲取有一定的難度，其成本也高.圖像超分辨率重建(Super-Resolution, SR)技術(shù)[1-2]可以很好地解決這個(gè)棘手的問(wèn)題，即用計(jì)算機(jī)技術(shù)通過(guò)重構(gòu)算法來(lái)對(duì)低分辨率圖像(Low Resolution, LR)進(jìn)行處理，獲得相對(duì)應(yīng)的高分辨率圖像.SR技術(shù)在安全監(jiān)控、衛(wèi)星遙感、軍事偵查、醫(yī)學(xué)成像和高清視頻等領(lǐng)域得到了廣泛的應(yīng)用.

由于應(yīng)用的需求，LR圖像重建出HR圖像的方法相繼被提出.首先為最簡(jiǎn)單的基于插值的方法，例如最鄰近點(diǎn)插值和雙線性插值等，雖然此法計(jì)算量小且運(yùn)算簡(jiǎn)單，但存在重構(gòu)圖像不夠清晰、邊緣模糊的問(wèn)題，從而無(wú)法滿足實(shí)際應(yīng)用中的質(zhì)量要求.其次為基于重建的方法通過(guò)多幀LR圖像反向投影出HR圖像,通用的方法有迭代反投影法(Iterative Back Projection, IBP)[3]和最大后驗(yàn)概率估計(jì)法(Maximum A Posteriori, MAP)[4]等，其能夠重建出較好的圖像質(zhì)量,但這類方法的參數(shù)很難估計(jì)，所以提高圖像分辨率的能力有限，且易產(chǎn)生過(guò)度光滑現(xiàn)象.更加有效的方法為基于學(xué)習(xí)的方法，對(duì)大數(shù)量的高低分辨率圖像樣本集進(jìn)行學(xué)習(xí)訓(xùn)練，得到HR、LR圖像的關(guān)系作為先驗(yàn)知識(shí)來(lái)指導(dǎo)重構(gòu)[5].機(jī)器學(xué)習(xí)(Machine Learning, ML)[6-7]技術(shù)的目的是對(duì)低分辨率特征塊和高分辨率圖像塊進(jìn)行訓(xùn)練而得到兩者的關(guān)系，效果比較理想，然而其所需要的樣本訓(xùn)練圖像數(shù)量達(dá)到了百萬(wàn)量級(jí)，工作量之大使復(fù)雜度增高.在基于學(xué)習(xí)的重構(gòu)算法中，Yang等[8-9]開創(chuàng)的超分辨率重建算法是稀疏表示方法的領(lǐng)導(dǎo)者，通過(guò)自然高分辨率圖像集訓(xùn)練一個(gè)相對(duì)應(yīng)于高低分辨率圖像的字典對(duì)，隨之根據(jù)稀疏系數(shù)相同重建出LR圖像相對(duì)應(yīng)的HR圖像.該算法的重建圖像具有較好的視覺效果，但是其缺乏一定的正則性.在此算法的基礎(chǔ)上多位學(xué)者又進(jìn)行了研究.首先為正則化提供理論基礎(chǔ)的是Tikhonov等，在其文獻(xiàn)[10]中利用正則化理論求解信號(hào)的病態(tài)逆問(wèn)題.正則化已經(jīng)成功應(yīng)用于圖像壓縮和插值[11].Wu等[12]指出AR模型是從圖形的局部計(jì)算而來(lái)，在邊緣重構(gòu)方面取得了好的效果，但是從初始圖像估算到的模型常會(huì)產(chǎn)生偽影.

基于上述討論，本文針對(duì)稀疏系數(shù)和圖像重建質(zhì)量問(wèn)題，提出稀疏編碼結(jié)合空間自適應(yīng)正則化算法.利用K-SVD方法構(gòu)造相對(duì)應(yīng)于高低分辨率圖像的字典，根據(jù)稀疏系數(shù)相同的特點(diǎn)在字典的作用下完成高分辨率圖像塊的重建，同時(shí)通過(guò)自適應(yīng)正則化項(xiàng)對(duì)稀疏系數(shù)求解進(jìn)行進(jìn)一步的約束，然后在全局約束下對(duì)重建圖像進(jìn)行整體優(yōu)化.本文算法整體分為3個(gè)部分： (1) 超分重建部分主要介紹了稀疏原理和稀疏表示的局部和全局約束；(2) 字典的建立介紹了字典訓(xùn)練算法和特征提取算子；(3) 正則項(xiàng)的建立對(duì)稀疏系數(shù)函數(shù)進(jìn)行約束.實(shí)驗(yàn)結(jié)果表明，本文算法的重建圖像PSNR指標(biāo)與稀疏編碼等方法比有了一定的提升且圖像重建效果也有所提高，其中，圖像的平均重建PSNR為34.58dB，比Bicubic的平均值高2.58dB；比NE方法的平均值高1.01dB；比稀疏編碼的平均值高0.13dB.

1 相關(guān)理論

設(shè)X為HR圖像，其相對(duì)應(yīng)的LR圖像為Y，則Y為X經(jīng)過(guò)下采樣和模糊而得到的，其退化模型為：

Y=EHX，

(1)

其中：E為向下采樣濾波器；H為模糊算子.求解SR的過(guò)程為病態(tài)的逆問(wèn)題，對(duì)于給定的LR圖像Y，有無(wú)限多的HR圖像X滿足上面約束，這里用X的圖像塊x的稀疏先驗(yàn)來(lái)解決這個(gè)問(wèn)題.

若取任意信號(hào)x∈RN,則x可由矩陣D中有限個(gè)列向量通過(guò)線性組合來(lái)近似表示.用式表示如下：

(2)

關(guān)于稀疏系數(shù)α的求解，也可以近似的寫為下式：

(3)

利用稀疏先驗(yàn)知識(shí)，首先用局部約束來(lái)恢復(fù)局部圖像塊的高頻細(xì)節(jié)，其次利用全局優(yōu)化對(duì)整個(gè)圖像進(jìn)行約束，使得目標(biāo)圖像更加的一致和自然.

1.1 稀疏表示的局部約束

設(shè)x為HR圖像X的圖像塊，y為相應(yīng)的LR圖像Y的特征塊，則由稀疏理論可知，x=Dhα，其中Dh∈RN×L為HR圖像訓(xùn)練所得的字典，α為稀疏系數(shù).對(duì)于低分辨率特征塊，由于會(huì)在測(cè)量中引入噪聲，所以對(duì)于y，有y=Dlα+n,其中Dl∈RN×L為低分辨率圖像訓(xùn)練所得的字典.假設(shè)n為高斯白噪聲,則低分辨率圖像的稀疏優(yōu)化問(wèn)題可以寫為下式的形式：

(4)

其中：ε為大于0的實(shí)數(shù)，表示噪聲強(qiáng)度或稀疏表示誤差.由于式(4)的計(jì)算量非常大，所以將l0范數(shù)轉(zhuǎn)換為l1范數(shù)的凸優(yōu)化問(wèn)題,同時(shí)考慮到低分辨率圖像中的特征提取，則式(4)可以改為以下形式：

(5)

其中：F為特征提取算子，用來(lái)提供一個(gè)具有感知意義的約束.此條件約束了在字典Dl作用下的低分辨率特征塊和輸入低分辨率特征塊的匹配度.

對(duì)于圖像塊的掃描是從左到右、從上到下而不是隨機(jī)選取的，所以要考慮到在重建過(guò)程中每一個(gè)圖像塊和其周圍塊的兼容性，即對(duì)圖像塊y的超分辨率重建Dhα進(jìn)行約束,可以進(jìn)一步得到下式[9]：

(6)

其中： 矩陣P的作用是提取當(dāng)前圖像塊和之前重構(gòu)得到的HR圖像塊的交叉區(qū)域；ω是之前在交叉區(qū)域重建的HR圖像.此條件約束了HR、LR圖像塊之間的兼容性.

式(6)可以采用Lagrange Multipliers進(jìn)一步進(jìn)行改進(jìn)得到下式：

(7)

1.2 整體優(yōu)化

對(duì)掃描選取的輸入LR圖像的特征塊進(jìn)行處理，得到其相對(duì)應(yīng)的HR圖像的估計(jì)值X0，由于重構(gòu)的結(jié)果不完全相等及噪聲的影響，我們將X0投影到Y(jié)=EHX的解空間中來(lái)消除誤差，定義目標(biāo)函數(shù)

(8)

上述優(yōu)化問(wèn)題可以采用反向投影算法,重建約束下的全局模型會(huì)去除局部約束可能產(chǎn)生的偽影.上式的計(jì)算結(jié)果就是超分辨率重建的目標(biāo)HR圖像的估計(jì)值.

2 字典的建立

2.1 高低分辨率的字典訓(xùn)練

高分辨率圖像塊Xh直接由高分辨率圖像得到，低分辨率圖像塊Yl是Y插值放大后取特征而得到的.我們將Xh和Yl合在一起成為一個(gè)訓(xùn)練樣本.用此樣本來(lái)學(xué)習(xí)得到高、低分辨率字典.

為了對(duì)HR圖像塊和LR特征塊統(tǒng)一進(jìn)行稀疏關(guān)聯(lián)學(xué)習(xí),將采樣后的訓(xùn)練樣本對(duì)定義為M={Xh,Yl},其中,xi(1≤i≤n)∈Xh表示HR圖像塊，yi(1≤i≤n)∈Yl為相應(yīng)LR圖像特征塊.為了便于圖像的重建，HR圖像的圖像塊和LR圖像的特征塊應(yīng)具有相同的稀疏表達(dá)系數(shù).字典可分別通過(guò)下式求得[13]：

(9)

(10)

其中A為稀疏表達(dá)系數(shù)矩陣.由于要使HR、LR圖像具有相同的稀疏表示系數(shù)，式(9)和(10)可以聯(lián)合優(yōu)化求解為：

(11)

其中N和M分別為高低分辨率圖像塊的維數(shù).將(1)式進(jìn)一步簡(jiǎn)化為：

(12)

因此，可以使用相同的學(xué)習(xí)方法來(lái)聯(lián)合構(gòu)造兩個(gè)字典.值得注意的是，Dh和Dl不能進(jìn)行簡(jiǎn)單的線性連接，而是要進(jìn)行歸一化處理，否則，訓(xùn)練過(guò)程僅會(huì)因高分辨率圖像塊而變動(dòng).

字典D在超分辨率重建中占有很重要的作用,字典質(zhì)量會(huì)影響最終的重建結(jié)果.本文采用稀疏K-SVD字典方法進(jìn)行構(gòu)造.首先進(jìn)行稀疏表示，設(shè)D已知，用該字典對(duì)給定數(shù)據(jù)進(jìn)行稀疏表達(dá).其次進(jìn)行字典更新，初始字典下的稀疏系數(shù)和原數(shù)據(jù)有較大差別.在滿足稀疏的前提下，將字典逐列進(jìn)行優(yōu)化，減小整體誤差且逼近估計(jì)字典.利用式(12)求解HR和LR圖像相對(duì)應(yīng)的字典Dh和Dl.

2.2 特征提取

為了更好地獲得圖像信息，超分辨率重建在訓(xùn)練樣本和圖像重構(gòu)階段都會(huì)有特征提取，目的是提取出圖像的特征紋理來(lái)確保計(jì)算系數(shù)擬合低分辨率信號(hào)的最相關(guān)部分.本文向上采樣借鑒文獻(xiàn)[13]中的方法用局部自適應(yīng)插值將原始LR圖像采樣，減少SR預(yù)處理過(guò)程中的誤差,從而提高重構(gòu)圖像的質(zhì)量.

最能代表圖像信息的為圖像中高頻分量且高頻信號(hào)對(duì)預(yù)測(cè)HR圖像至關(guān)重要，故重建通常會(huì)選擇高頻信號(hào)作為特征.由于微分梯度的簡(jiǎn)潔有效性，本文使用微分來(lái)提取LR圖像的特征塊并加入邊緣提取算子來(lái)突出圖像特點(diǎn)，本文對(duì)Yang等的特征算子進(jìn)行改進(jìn)，4個(gè)改進(jìn)的一維濾波算子如下：

其中： T為轉(zhuǎn)置符號(hào)；f1為一階梯度濾波算子水平分量；f2為垂直分量；f3為二階水平分量；f4為二階垂直分量.將4個(gè)一維濾波器應(yīng)用到每個(gè)圖像塊可以得到相對(duì)應(yīng)的4個(gè)特征向量，將其連接成一個(gè)特征向量作為此圖像塊的特征表示即特征塊.實(shí)際上，濾波器直接應(yīng)用到整幅圖像上，生成4幅梯度圖，將4幅圖的同一位置的圖像塊取出并將4個(gè)小塊連接在一起，就形成了圖像的特征向量.增加的邊緣提取算子用來(lái)提取圖像的邊緣信息，其為：

fe=[1,0,2,0,1].

3 基于稀疏表示與自回歸正則化的超分辨率重建

3.1 自適應(yīng)正則化

當(dāng)下采樣矩陣和噪聲產(chǎn)生小幅度擺動(dòng)時(shí)，重構(gòu)結(jié)果將受到外界的干擾從而產(chǎn)生比較大的變化，且一幅圖的局部可視為平穩(wěn)過(guò)程可以進(jìn)行建模，因此本文方法采用空間自適應(yīng)正則化項(xiàng)進(jìn)一步對(duì)求解方程進(jìn)行約束，使得稀疏系數(shù)解更加的穩(wěn)定.通過(guò)建模加入自適應(yīng)正則化(Auto-Regressive，AR)模型來(lái)約束求解公式，實(shí)現(xiàn)圖像重構(gòu)的自適應(yīng)控制.從集群高質(zhì)量訓(xùn)練圖像塊中學(xué)習(xí)一組AR模型，并自適應(yīng)地選擇一個(gè)正則化模型以使輸入圖像塊正則化.對(duì)于正則化項(xiàng)的構(gòu)造，可分模型的訓(xùn)練和自適應(yīng)選擇兩步.

1) 模型的訓(xùn)練 從集群HR圖像集中訓(xùn)練多組AR模型，然后自選擇其中的一個(gè)來(lái)約束輸入圖像塊.對(duì)于整個(gè)訓(xùn)練數(shù)據(jù)集，本文將其分為k個(gè)子訓(xùn)練數(shù)據(jù)集Si(1≤i≤k)，對(duì)于每一個(gè)Si，用其所擁有的全部樣本塊來(lái)學(xué)習(xí)出一個(gè)AR模型.本文用來(lái)訓(xùn)練模型的高清圖像塊為方形，訓(xùn)練此模型的最終目的是利用相鄰的像素大小來(lái)預(yù)測(cè)圖像塊的中心像素.考慮到模型的階數(shù)對(duì)于建模至關(guān)重要且階數(shù)越高越可能會(huì)導(dǎo)致數(shù)據(jù)過(guò)度擬合，故本文實(shí)驗(yàn)中的圖像塊設(shè)為3×3像素大小即階數(shù)為8.設(shè)ai為第i個(gè)子訓(xùn)練數(shù)據(jù)集Si的模型向量，則ai可由下式簡(jiǎn)單求得：

(13)

其中：sj是子訓(xùn)練數(shù)據(jù)集Si中圖像塊Sj的中心像素值；qj是由sj周圍像素組成的模型參數(shù)向量，這些都由AR模型支持.對(duì)于每個(gè)子圖像訓(xùn)練集都用上述計(jì)算過(guò)程訓(xùn)練，則可以得到一系列的正則化模型{a1,a2,…,ai,…,ak},這些模型會(huì)被應(yīng)用于SR重建的局部自適應(yīng).

(14)

(15)

其中：η為折中參數(shù)，用于調(diào)節(jié)模型的影響.為了表達(dá)的方便，我們將最后一個(gè)約束項(xiàng)進(jìn)行簡(jiǎn)化，則式(15)可寫為

(16)

其中：E為單位矩陣；A(i,j)的取值如下：

3.2 超分辨率重建流程

超分辨率重建流程見圖1.超分辨率重建算法主要分為4部分，分別為訓(xùn)練樣本提取階段、高低分辨率字典訓(xùn)練階段、AR模型建立和圖像重構(gòu)階段.其中圖像重構(gòu)階段為紫色框流程.

本文算法的整體流程如下：

輸入： 測(cè)試圖像Y0，字典訓(xùn)練圖像M，AR模型樣本圖像R.

1) 對(duì)圖像進(jìn)行訓(xùn)練得高分辨率字典Dh和低分辨率字典Dl.

2) 從樣本圖像R中訓(xùn)練得到AR模型，將正則項(xiàng)加入到目標(biāo)函數(shù)中.

3) 初始化： 提取Y0對(duì)應(yīng)的LR特征圖像Y.

4) 對(duì)Y進(jìn)行分塊得到圖像塊y，由式(16)來(lái)計(jì)算最優(yōu)稀疏系數(shù)估計(jì)值α*.

5) 根據(jù)x=Dhα*得到高分辨率塊x，進(jìn)而得到高分辨率圖像初始值X0.

6) 由式(8)得到最終高分辨率圖像的最優(yōu)估計(jì)值X*，滿足全局重建約束.

輸出： 高分辨率圖像X*.

圖1 超分辨率重建流程Fig.1 Super-resolution reconstruction process

4 實(shí)驗(yàn)與分析

本文采用MATLAB2013a作為仿真實(shí)驗(yàn)平臺(tái)，計(jì)算機(jī)的配置如下，CPU： Inter(R) Core(TM) i5-3210 M CPU @ 2.50GHz；主頻為2.50GHz；內(nèi)存4GB；系統(tǒng)類型： 64位操作系統(tǒng).

實(shí)驗(yàn)選擇了標(biāo)準(zhǔn)測(cè)試集自然圖像庫(kù)Set5和Set14[14-15].選用文獻(xiàn)[9]中的91幅高分辨率圖像作為字典訓(xùn)練的圖像集.實(shí)驗(yàn)中對(duì)比了本文算法、基于鄰域嵌入(Neighbor Embedding,NE)[16]和稀疏編碼重建(Sparse Coding Reconstruction, SCR)等算法.實(shí)驗(yàn)結(jié)果采用主觀和客觀兩種評(píng)價(jià)方法來(lái)進(jìn)行評(píng)價(jià)，其中后者采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)指標(biāo)來(lái)進(jìn)行評(píng)測(cè)，若其值越高，則重建質(zhì)量效果越好.PSNR值優(yōu)于其他的評(píng)價(jià)指標(biāo)[17]的一點(diǎn)是它可以更好地表達(dá)出人的視覺和感知效果.

4.1 字典的選擇

圖2 字典大小對(duì)PSNR值的影響Fig.2 Influence on the PSNR value of size of dictionary

訓(xùn)練樣本的個(gè)數(shù)為100000個(gè)，字典大小分別設(shè)置為256,512,1024和2048，對(duì)自然圖像Butterfly采用多種方法進(jìn)行處理，其放大倍數(shù)為2倍.由于雙三次插值與字典訓(xùn)練無(wú)關(guān)故不計(jì)入對(duì)比結(jié)果.峰值信噪比的對(duì)比結(jié)果如圖2所示.訓(xùn)練時(shí)，大小為256字典訓(xùn)練時(shí)間為3h左右，大小為512為4.3h左右，大小為1024達(dá)到了5.5h，而大小為2048時(shí)間將近8h且可能導(dǎo)致代碼中的矩陣接近奇異值.理論來(lái)說(shuō)，圖像塊數(shù)量越多字典越大，重建效果越好，但是隨之而來(lái)的計(jì)算量也越大.由曲線圖可以看出隨著字典的增大，PSNR值在增大，但1024后增大的幅度較小，為了對(duì)質(zhì)量和效率有一個(gè)折衷，本文字典的大小選擇為1024.

4.2 重建效果對(duì)比

選擇樣本塊數(shù)量為100000個(gè)，字典大小為1024進(jìn)行實(shí)驗(yàn)對(duì)比.考慮到文章篇幅有限，這里僅僅展示了兩幅自然圖像通過(guò)不同算法分別進(jìn)行2倍、3倍尺度的圖像重構(gòu).圖3是對(duì)放大2倍的Pepper圖像的重建結(jié)果，其像素大小為512×512，圖4是對(duì)放大3倍的Girl圖像的重建結(jié)果，其像素大小為255×258.通過(guò)比較圖3和圖4中同一區(qū)域的細(xì)節(jié)大圖可以看出圖x(c)Bicubic方法重構(gòu)圖像產(chǎn)生了平滑現(xiàn)象仍然模糊.圖x(d)的NE算法產(chǎn)生平滑效果，邊緣處有鋸齒效應(yīng).圖x(e)稀疏編碼算法在邊緣和紋理上效果增強(qiáng).圖x(f)表明本文算法不僅邊緣銳化效果好，而且圖像更加清晰，特征細(xì)節(jié)和振鈴現(xiàn)象都處理的較好.基于正則項(xiàng)改進(jìn)的原理在仿真中具有好的效果.由此可見本文算法在主觀視覺效果上有了一定地提升.

圖3 Pepper測(cè)試圖像放大2倍的不同方法超分辨率結(jié)果對(duì)比Fig.3 Comparison of pepper images with upscaling factor of 2 for different methods

圖4 Girl測(cè)試圖像放大3倍的不同方法超分辨率結(jié)果對(duì)比Fig.4 Comparison of girl images with upscaling fator of 3 for different methods

表1為不同算法在測(cè)試集自然圖像中放大2倍時(shí)的峰值信噪比.表1數(shù)據(jù)表明，本文算法在評(píng)價(jià)指標(biāo)下要優(yōu)于雙三次插值、鄰域嵌入和稀疏編碼等方法.其中，圖像的平均重建PSNR為34.58dB，比Bicubic方法的平均值高2.58dB；比NE方法的平均值高1.01dB；比稀疏編碼方法的平均值高0.13dB.

表1 本文方法與其他超分辨率重建方法效果對(duì)比

5 結(jié) 語(yǔ)

本文針對(duì)超分辨率重建圖像質(zhì)量的提高，將稀疏編碼和正則化項(xiàng)有效結(jié)合，提出了一種空間自適應(yīng)正則化超分辨率重建算法.該算法在稀疏表示的基礎(chǔ)上利用自回歸模型來(lái)對(duì)圖像的局部進(jìn)行自適應(yīng)的調(diào)整，有效的提高了稀疏表示系數(shù)的精確度.實(shí)驗(yàn)結(jié)果表明，本文方法與多種圖像超分辨率重構(gòu)算法相比具有有效性，而且無(wú)論是在視覺上還是圖像質(zhì)量上都能得到較好的重建效果.