稀疏表示圖像超分辨率重建的自適應(yīng)方法

夏荷艷,曹飛龍

(中國計(jì)量大學(xué) 理學(xué)院,浙江 杭州 310018)

現(xiàn)實(shí)生活中的大多數(shù)圖像是由各種帶有傳感器的照相設(shè)備獲取的,但是由于傳感器本身的性能限制、環(huán)境影響以及拍攝手法等原因,圖像獲取過程中通常會(huì)產(chǎn)生信息損失,導(dǎo)致實(shí)際所獲的圖像的分辨率低于原始場景.也就是說,我們用硬件設(shè)備往往是從高分辨率(High-Resolution,HR)場景中獲取低分辨率(Low-Resolution,LR)圖像.并且由于HR圖像相對(duì)于LR圖像能夠提供更豐富的細(xì)節(jié),故許多領(lǐng)域?qū)D像的分辨率都有一定要求.于是,如何從LR圖像盡可能還原出HR圖像就是一個(gè)值得研究的課題.20世紀(jì)六十年代,首次出現(xiàn)了圖像超分辨率重建的概念[1],經(jīng)過幾十年的發(fā)展,圖像超分辨率重建技術(shù)已取得了豐碩的成果,并在醫(yī)學(xué)成像、衛(wèi)星成像、機(jī)器視覺等領(lǐng)域有著廣泛的應(yīng)用.目前,圖像超分辨率重建從算法上一般可以分為基于插值[2-4]、基于重建[5-9]和基于學(xué)習(xí)[10-19]等三個(gè)類別,其中21世紀(jì)初出現(xiàn)的基于學(xué)習(xí)的方法使圖像超分辨率重建技術(shù)有了里程碑式的突破.該類方法的核心思想是從外部圖像樣本庫中學(xué)習(xí)LR圖像和HR圖像之間的對(duì)應(yīng)關(guān)系,再利用所學(xué)的對(duì)應(yīng)關(guān)系估計(jì)當(dāng)前LR圖像的HR版本.馬爾可夫網(wǎng)絡(luò)(Markov Network)[10]和近鄰嵌入(Neighbor Embedding)[11]是其中有效的學(xué)習(xí)方式.前者利用馬爾可夫網(wǎng)絡(luò)學(xué)習(xí)對(duì)應(yīng)關(guān)系,缺點(diǎn)是計(jì)算成本大；后者利用LR圖像與圖像樣本庫中的k個(gè)近鄰的關(guān)系,用這些近鄰的HR版本構(gòu)造所求的HR圖像，該方法雖然降低了計(jì)算成本,卻在近鄰個(gè)數(shù)的選取上存在爭議.

信號(hào)稀疏表示理論已引起巨大關(guān)注.文獻(xiàn)[16]將稀疏表示的思想引入到圖像超分辨率重建中,取得了較好的效果,從而進(jìn)一步推動(dòng)了超分辨率重建的發(fā)展.然而,該方法模型中的參數(shù)是人為設(shè)定的,并不能根據(jù)圖像本身性質(zhì)自適應(yīng)地設(shè)置參數(shù).雖然作者提出了在噪聲環(huán)境下可以根據(jù)稀疏系數(shù)的分布先驗(yàn)和噪聲水平計(jì)算參數(shù),但在實(shí)際應(yīng)用中噪聲水平是未知的,所以這并不是一種完全自適應(yīng)且實(shí)際可行的方法.圖像超分辨率重建通常采用局部重建的方式,將輸入的LR圖像分成數(shù)萬個(gè)補(bǔ)丁分別重建,再將重建后的補(bǔ)丁整合成最終的HR圖像,這些補(bǔ)丁在重建模型中的最佳參數(shù)都不盡相同.因此,雖然模型中體現(xiàn)的只是一個(gè)參數(shù)的選擇,實(shí)際上相當(dāng)于上萬個(gè)參數(shù)的選擇,而人為設(shè)定這些參數(shù)導(dǎo)致上萬個(gè)參數(shù)都使用相同的值.所以,如果可以根據(jù)每個(gè)補(bǔ)丁的情況自適應(yīng)地確定參數(shù),必然會(huì)提升圖像重建效果.本文針對(duì)基于稀疏表示的超分辨率模型提出一種參數(shù)自適應(yīng)方法,實(shí)驗(yàn)表明我們的方法是有效的,并且在噪聲環(huán)境下仍具有魯棒性.

本文內(nèi)容組織如下.在第一節(jié)中,我們會(huì)介紹基于稀疏表示的圖像超分辨率重建算法模型.第二節(jié)中給出我們的參數(shù)自適應(yīng)的方法.在第三節(jié)中,我們用實(shí)驗(yàn)來驗(yàn)證所提方法的有效性.最后,在第四節(jié)中,我們會(huì)對(duì)本文做簡要的總結(jié).

1 預(yù)備知識(shí)

在這一節(jié)中,我們介紹基于稀疏表示的圖像超分辨率重建的算法思想和經(jīng)典模型以及我們需要解決的問題.

1.1 圖像超分辨率重建問題

通常,我們認(rèn)為LR圖像是HR圖像經(jīng)下采樣和模糊作用后產(chǎn)生的,即

Y=SHX+n.

(1)

式(1)中X是HR圖像,S和H分別是下采樣算子和模糊算子,Y是低分辨率圖像,n是環(huán)境噪聲.超分辨率重建的任務(wù)就是解決已知Y求X的問題.現(xiàn)在最常用的方式是找到HR圖像和LR圖像之間普遍存在的對(duì)應(yīng)關(guān)系來達(dá)到重建目的.由于方程(1)是一個(gè)病態(tài)問題,并沒有精確解,所以,我們通常用重構(gòu)所得圖像與原始HR圖像之間的相似性來評(píng)判重建效果的優(yōu)劣.

1.2 基于稀疏表示的超分辨率重建

信號(hào)稀疏理論和實(shí)驗(yàn)表明,高分辨率信號(hào)之間的線性關(guān)系可以從它們的低維投影中精確地恢復(fù).受此啟發(fā),在文獻(xiàn)[16]中,Yang等突破性地構(gòu)建了基于稀疏表示的超分辨率重建模型.

Yang等的思想是:構(gòu)造一個(gè)超完備字典D∈Rl×k,其中k遠(yuǎn)大于l,則圖像f可以由該字典中的有限個(gè)原子線性組合表示,即所謂的稀疏表示：

f=Dα0.

(2)

式(2)中表示系數(shù)向量α0是稀疏的.進(jìn)一步,如果通過學(xué)習(xí),使LR圖像和HR圖像在其各自字典下的稀疏系數(shù)向量是相同的,那么LR圖像和HR圖像之間的對(duì)應(yīng)關(guān)系也就由此建立.換句話說,只要求出LR圖像在其字典下的的系數(shù),HR圖像自然就可以通過這個(gè)系數(shù)求得.

LR圖像補(bǔ)丁在其字典下的系數(shù)求解模型是

i=1,2,…,m.

(3)

式(3)中Dl是低分辨率字典,yi是LR圖像Y中第i個(gè)補(bǔ)丁的向量形式,補(bǔ)丁總數(shù)是m,λ是正則化參數(shù).

由于求解(3)式是NP-hard問題,所以,文獻(xiàn)[20]指出,只要系數(shù)αi足夠稀疏,(3)式中的l0范數(shù)可以用l1范數(shù)代替.因此,(3)式等價(jià)于:

i=1,2，…,m.

(4)

(5)

其中Dh是高分辨率字典。

高分辨率字典Dh和低分辨率字典Dl的是利用一個(gè)具有數(shù)萬張自然圖像補(bǔ)丁的樣本庫訓(xùn)練而成的，文獻(xiàn)[16]和[21]已對(duì)字典的聯(lián)合訓(xùn)練做了詳細(xì)的說明.

將所有m個(gè)HR圖像補(bǔ)丁重建完畢后,將這些補(bǔ)丁按位置順序疊加再對(duì)重疊部分的像素值做平均處理后,就可以得到目標(biāo)HR圖像X0.文獻(xiàn)[16]又用全局約束進(jìn)一步提高重建效果：

2 參數(shù)自適應(yīng)方法

在這一節(jié)中,我們先給出正則化參數(shù)λ自適應(yīng)的算法,然后對(duì)超分辨率重建的算法步驟做進(jìn)一步說明.

2.1 參數(shù)自適應(yīng)算法

由上一節(jié)可知,稀疏系數(shù)向量α的值是圖像重建過程中的關(guān)鍵,它可由(4)式求得.然而,式中稀疏正則項(xiàng)參數(shù)λ是根據(jù)經(jīng)驗(yàn)人為取定的,對(duì)于每一個(gè)補(bǔ)丁yi的重建,λ都是相同的值.雖然人為確定的只是一個(gè)參數(shù)的值,但是實(shí)際影響的是每個(gè)補(bǔ)丁的重建,所以我們根據(jù)每個(gè)補(bǔ)丁的自身性質(zhì)，自適應(yīng)地計(jì)算每個(gè)補(bǔ)丁的λ值.

文獻(xiàn)[22]根據(jù)圖像復(fù)原中原始圖像x本身及其退化過程中的性質(zhì),給出了一種正則化參數(shù)的計(jì)算方法,我們將這種方法與稀疏表示模型相聯(lián)系,給出稀疏正則項(xiàng)的參數(shù)自適應(yīng)方法.

根據(jù)文獻(xiàn)[22],正則化參數(shù)λ可以由上一步迭代結(jié)果中的目標(biāo)圖像xt確定,受此啟發(fā),我們將(4)式改寫為:

i=1,2,…,m.

(7)

i=1,2,…,m.

(8)

或

i=1,2,…,m.

(9)

(4)式及(7)～(9)式通常被稱為Lasso問題,有很多方法可以求解,我們采用的是文獻(xiàn)[23]所提的特征符號(hào)搜索算法.

為了敘述方便,我們將(9)式重記為

i=1,2,…,m.

(10)

與文獻(xiàn)[22]相似,我們?cè)O(shè)λ(αi)是關(guān)于J(λ(αi),αi)的線性函數(shù)：

λ(αi)=γJ(λ(αi),αi).

(11)

根據(jù)文獻(xiàn)[22]的建議,我們選擇γ的值為

由(10)式和(11)式可得：

(12)

2.2 字典選取

字典的選取是圖像超分辨率重建中的重要步驟,對(duì)重建效果有很重要的影響.由于我們的創(chuàng)新點(diǎn)并不在于字典訓(xùn)練,所以實(shí)驗(yàn)過程中采用的是與文獻(xiàn)[16]相同的訓(xùn)練方式,即從包含近百張自然圖像的數(shù)據(jù)庫中獲得十萬張高分辨圖像補(bǔ)丁及相同數(shù)量相同內(nèi)容的低分辨率圖像補(bǔ)丁,再用文獻(xiàn)[21]提出的字典聯(lián)合訓(xùn)練方法得到具有1 024個(gè)原子的高分辨率字典Dh和低分辨率字典Dl.

2.3 圖像超分辨率重建算法

我們將參數(shù)自適應(yīng)的算法納入基于稀疏表示的圖像超分辨率重建的經(jīng)典算法框架中,實(shí)現(xiàn)參數(shù)自適應(yīng)的圖像超分辨率重建,下面給出算法流程:

步驟1: 輸入訓(xùn)練好的高分辨率字典Dh與低分辨率字典Dl,輸入LR圖像Y并將它分成m個(gè)補(bǔ)丁并將補(bǔ)丁向量化;

步驟2: 對(duì)于每個(gè)補(bǔ)丁,求解(4)式得到初始化系數(shù)α0;

步驟3: 通過(12)式計(jì)算自適應(yīng)參數(shù)λ;

步驟4: 求解(9)式得到稀疏系數(shù)向量α*;

步驟5: 通過(5)式得到HR圖像補(bǔ)丁;

步驟6: 將向量形式的補(bǔ)丁恢復(fù)成矩陣，并按原位置組合成HR圖像X0;

步驟7: 用(6)式作全局優(yōu)化,得到X*;

步驟8: 輸出HR圖像X*.

3 實(shí)驗(yàn)結(jié)果與分析

為了檢驗(yàn)所提出的參數(shù)自適應(yīng)方法的有效性,我們選取一些圖像超分辨率重建研究領(lǐng)域常用的圖片,在不同尺寸擴(kuò)大因子和噪聲環(huán)境下進(jìn)行了測(cè)試，并將結(jié)果與雙三次線性插值(Bicubic)[2]、近鄰嵌入(NE)[11]以及參數(shù)λ分別為0.1,0.15和0.2時(shí)的稀疏表示(ScSr)[16]進(jìn)行對(duì)比.

3.1 實(shí)驗(yàn)實(shí)施細(xì)節(jié)

實(shí)驗(yàn)中所用的低分辨率圖像是尺寸均為128×128的彩色圖像,所取的補(bǔ)丁尺寸為5×5,相互之間重疊4個(gè)像素.我們將圖像從RGB空間轉(zhuǎn)到Y(jié)CbCr空間進(jìn)行重建實(shí)驗(yàn).由于人眼對(duì)光照比較敏感,所以,我們的算法只用于Y通道,Cb和Cr通道均直接用雙三次線性插值進(jìn)行重建.為了突顯圖像特征,我們將LR圖像補(bǔ)丁向量化后減去均值,再用與文獻(xiàn)[16]相同的方式提取梯度特征,重建后再加上均值.所有實(shí)驗(yàn)均在Intel(R) Core(TM) i3-4150 CPU@3.50GHz環(huán)境下使用MATLAB2010b進(jìn)行.

我們用三個(gè)圖像超分辨率重建領(lǐng)域內(nèi)常用的指標(biāo)來評(píng)價(jià)實(shí)驗(yàn)效果，這三個(gè)指標(biāo)分別是均方根誤差、峰值信噪比和結(jié)構(gòu)相似度,對(duì)于兩張圖像x和y,它們的三項(xiàng)評(píng)價(jià)指標(biāo)計(jì)算方式如下：

均方根誤差

(13)

峰值信噪比

PSNR(x,y)=20lg(P/RMSE).

(14)

結(jié)構(gòu)相似度

(15)

其中h和w分別是圖像橫向和縱向像素個(gè)數(shù),P是像素的最大取值,我們所用的是8位彩色圖像,P=255.ux和uy是圖像窗口的亮度估計(jì),σx和σy是對(duì)比度估計(jì).k1和k2小于1的常數(shù).

對(duì)于均方根誤差,其值越小表示重建效果越好,而峰值信噪比和結(jié)構(gòu)相似度都是值越大表示重建圖像與原始圖像越接近.

3.2 實(shí)驗(yàn)結(jié)果

為了形象化參數(shù)的自適應(yīng)選擇,我們?cè)趫D1中顯示了圖像Butterfly中隨機(jī)50個(gè)補(bǔ)丁的正則化參數(shù)在人工選擇和自適應(yīng)情況下數(shù)值的對(duì)比.由圖1可見,不同于人工選擇使所有補(bǔ)丁使用單一且非最佳參數(shù)值的情況,參數(shù)自適應(yīng)算法使每個(gè)補(bǔ)丁都根據(jù)自身性質(zhì)有了最適合自己的值.

圖1 參數(shù)值的可視化Figure 1 The visualization of parameters

我們用8張測(cè)試圖像在不同算法下進(jìn)行了擴(kuò)大因子為2時(shí)的重建實(shí)驗(yàn),圖2顯示的是圖像Butterfly和Lenna在不同方法下的重建效果對(duì)比.

由圖2可見,我們的方法在部分細(xì)節(jié)顯示上更為清晰.表1為8張圖像在不同方法下的數(shù)值結(jié)果對(duì)比,ScSr1,ScSr2,ScSr3分別表示正則化參數(shù)λ分別為0.1，0.15和0.2時(shí)的稀疏表示方法.三項(xiàng)評(píng)價(jià)指標(biāo)均表明,我們的方法在所有測(cè)試圖像上的重建效果均優(yōu)于其它方法.

同時(shí),我們也進(jìn)行了將圖像尺寸擴(kuò)大三倍的實(shí)驗(yàn),表2顯示的是尺寸擴(kuò)大因子為3時(shí)Flower和Raccoon兩張圖像在各種方法下的重建數(shù)值結(jié)果對(duì)比.三項(xiàng)指標(biāo)表明,在擴(kuò)大三倍的情況下,我們的方法仍然優(yōu)于其它方法.我們還在不同噪聲環(huán)境下進(jìn)行了對(duì)比實(shí)驗(yàn),表3展示的是在均方差分別為0,2,4時(shí)的高斯噪聲環(huán)境下的實(shí)驗(yàn)對(duì)比結(jié)果,表4展示的是密度分別為0,0.001和0.002時(shí)椒鹽噪聲下的實(shí)驗(yàn)對(duì)比結(jié)果.實(shí)驗(yàn)所用圖片均是Yellow flower.由表中實(shí)驗(yàn)數(shù)據(jù)可知,我們的方法在不同種類不同水平噪聲環(huán)境下仍然適用.

圖2 擴(kuò)大因子為2時(shí)的重建效果對(duì)比Figure 2 The comparison of reconstruction when the magnification factor is 2

方法評(píng)價(jià)指標(biāo)LennaBikeParrotHatPlantButterflyLeavePepperBicubicRMSE5.845317.58859.74118.50867.297216.013317.56929.8488PNSR32.794023.226228.358629.533730.867724.041223.235728.2632SSIM0.89150.72790.88390.82770.86550.82690.82010.8768NERMSE12.108321.070012.12839.81648.624618.991921.598111.6908PNSR26.469121.657526.454828.291829.416022.559421.442526.7739SSIM0.71800.591850.80970.75590.75360.73780.71540.7564ScSr1RMSE4.517515.75748.89117.65526.735614.231715.89629.2102PNSR35.032924.181129.151730.451631.563325.075924.105028.8454SSIM0.91570.78580.89700.85460.87110.86880.86030.8865ScSr2RMSE4.514815.75228.88587.64996.735514.215015.90279.2136PNSR35.038024.184029.156930.457731.563425.075924.101428.8423SSIM0.91580.78590.89710.85470.87110.86890.86030.8863ScSr3RMSE4.515415.74688.88327.64876.736514.206715.90509.2155PNSR35.036824.186929.159430.459131.562125.080924.100128.8404SSIM0.91590.78580.89710.85470.87110.86890.86030.8862本文RMSE4.508415.73228.87557.64556.733214.196815.89339.2068PNSR35.050424.195029.167030.462731.566325.087024.106528.8486SSIM0.91600.78590.89730.85470.87140.86900.86040.8869

表2 擴(kuò)大因子為3時(shí)重建數(shù)值對(duì)比

表3 不同水平高斯噪聲環(huán)境下重建效果對(duì)比

表4 不同水平椒鹽噪聲環(huán)境下的重建效果對(duì)比

此外,我們還對(duì)人工設(shè)定參數(shù)的方法和本文提出的參數(shù)自適應(yīng)方法在運(yùn)行時(shí)間上進(jìn)行了比較,由表5可見,我們的方法在時(shí)間上也具優(yōu)越性.

表5 運(yùn)行時(shí)間對(duì)比

4 總結(jié)與展望

圖像超分辨率重加在許多領(lǐng)域均有重要的應(yīng)用.本文對(duì)基于稀疏表示的圖像超分辨率算法進(jìn)行了改進(jìn),提出了正則化參數(shù)自適應(yīng)的算法,使其模型中的參數(shù)可以自適應(yīng)地確定.實(shí)驗(yàn)結(jié)果表明，我們的方法在不同擴(kuò)大因子以及不同噪聲環(huán)境下均顯示出了相對(duì)于人為選擇參數(shù)的優(yōu)越性,重構(gòu)出的圖像在細(xì)節(jié)上更加清晰.在未來的研究中,期望能進(jìn)一步完善參數(shù)的自適應(yīng)計(jì)算.

[1] HARRIS J L. Diffraction and resolving power[J].JournaloftheOpticalSocietyofAmerica, 1964, 54:931-933.

[2] HOU H, ANDREWS H. Cubic splines for image interpolation and digital filtering[J].IEEETransactionsonAcousticsSpeech&SignalProcessing, 1979, 26(6):508-517.

[3] ALLEBACH J, WONG P W. Edge-directed interpolation[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing.Lausanne: IEEE, 1996:707-710.

[4] UNSER M, ALDROUBI A, EDEN M. Fast spline transforms for continuous image represen tation and interpolation[J].IEEETransactionsonPatternAnalysis&MachineIn-telligence, 1991, 13(3):277-285.

[5] TAI Y W, LIU S C, BROWN M S, et al. Super resolution using edge prior and single image detail synthesis[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. San Francisco: IEEE, 2010:2400-2407.

[6] SUN J, SUN J, XU Z B, et al. Image super-resolution using gradient profile prior[C] //ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Anchorage: IEEE, 2008:1-8.

[7] MARQUINA A, OSHER S J. Image super-resolution by TV-regularization and bregman iteration[J].JournalofScientificComputing, 2008, 37(3):367-382.

[8] LANE R O. Non-parametric bayesian super-resolution[J].IETRadarSonarNavigation，2010，4(4):639-648.

[9] FARSIU S, ROBINSON M D, ELAD M, et al. Fast and robust multiframe super resolution[J].IEEETransactionsonImageProcessing, 2004, 13(10):1327-1344.

[10] FREEMAN W T, JONES T R, PASZTOR E C. Example-based super-resolution[J].IEEEComputerGraphics&Applications, 2002, 22(2):56-65.

[11] CHANG H, YEUNG D Y, XIONG Y M. Super-resolution through neighbor embedding[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Washington, D.C.: IEEE, 2004: 275-282.

[12] BAKER S, KANADE T. Limits on super-resolution and how to break them[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2002, 24(9):1167-1183.

[13] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution[C]//ProceedingsofAsianConferenceonComputerVision. Singapore: Springer, 2014:111-126.

[14] HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Boston: IEEE, 2015:5197-5206.

[15] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse representations[C]//Proceedingsofthe7thInternationalConferenceonCurvesandSurfaces. Avignon: ACM, 2010:711-730.

[16] YANG J C, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J].IEEETransactionsonImageProcessing, 2010, 19(11):2861-2873.

[17] DONG W S, ZHANG L, SHI G M, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].IEEETransactiononImageProcessing, 2011, 20(7):1838-1857.

[18] ZHANG K B, TAO D C, GAO X B, et al. Learning multiple linear mappings for efficient single image super-resolution[J].IEEETransactionsonImageProcessing, 2015, 24(3):846-861.

[19] DONG C, CHEN C L, HE K M, et al. Image super-resolution using deep convolutional networks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2016, 38(2):295-307.

[20] DONOHO D L. For most large underdetermined systems of linear equations the minimal L(1)norm solution is also the sparsest solution[J].CommunicationsonPure&A-ppliedMathematics, 2006, 59(6):797-829.

[21] YANG J C, WANG Z W, LIN Z, et al. Coupled dictionary training for image super-resolution[J].IEEETransactionsonImageProcessing, 2012, 21(8):3467-3478.

[22] KANG M G, KATSAGGELO A K. General choice of the regularization functional in regularized image restoration[J].IEEETransactionsonImageProcessing, 1995, 4(5): 594-602.

[23] HONGLAK L, ALEXIS B, RAJAT R, et al. Efficient sparse coding algorithms[C]//Proceedingsofthe19thInternationalConferenceonNeuralInformationProcessingSystems. Canada: NIPS, 2006:801-808.