改進(jìn)的稀疏表示圖像超分辨率復(fù)原算法

邱大偉，劉彥隆

(太原理工大學(xué) 信息工程學(xué)院，山西 太原030024)

?

改進(jìn)的稀疏表示圖像超分辨率復(fù)原算法

邱大偉，劉彥隆

(太原理工大學(xué) 信息工程學(xué)院，山西 太原030024)

摘要:針對(duì)信號(hào)的稀疏分解特征，結(jié)合圖像的超分辨率復(fù)原的特點(diǎn)，提出了基于稀疏表示的圖像超分辨率復(fù)原算法，對(duì)兩個(gè)過(guò)完備字典的訓(xùn)練過(guò)程、稀疏表示復(fù)原算法處理過(guò)程進(jìn)行闡述，同時(shí)對(duì)改進(jìn)算法中采用的優(yōu)化的特征提取算法和自適應(yīng)邊緣方向插值優(yōu)化低分辨率圖像的初始估計(jì)兩個(gè)過(guò)程進(jìn)行詳細(xì)描述，并通過(guò)MATLAB對(duì)其進(jìn)行仿真和驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法的復(fù)原效果進(jìn)一步提高，圖像細(xì)節(jié)能夠得到恢復(fù)，獲得更好的魯棒性。

關(guān)鍵詞:稀疏表示；特征提??；邊緣插值

超分辨率圖像復(fù)原一直是一個(gè)熱門(mén)研究對(duì)象，它解決的是不改變硬件的條件下改善圖像質(zhì)量的同時(shí)重建成像系統(tǒng)截止頻率之外的信息的問(wèn)題。超分辨率復(fù)原算法主要分為基于重建的方法和基于學(xué)習(xí)的方法，基于重建的方法主要是要獲取一個(gè)精確的圖像獲取模型，人為地構(gòu)造高分辨率圖像的先驗(yàn)約束，低分辨率圖像由模型估計(jì)出高分辨率圖像，比較經(jīng)典的算法就是POCS算法，文獻(xiàn)[1]就是利用POCS算法進(jìn)行圖像超分辨率重建，論文中復(fù)原算法包括3個(gè)部分：構(gòu)造參考幀、進(jìn)行運(yùn)動(dòng)估計(jì)和對(duì)參考幀進(jìn)行修正；文獻(xiàn)[2]將改進(jìn)后的小波融合技術(shù)運(yùn)用到運(yùn)動(dòng)模糊圖像復(fù)原中，算法的思想是將Randon變換和微分自相關(guān)法巧妙地結(jié)合起來(lái)得到模糊尺度，再利用小波融合技術(shù)進(jìn)行復(fù)原，得到了較好的圖像邊緣細(xì)節(jié)信息。由于重建方法的先驗(yàn)約束人為操作因素較大，重建靈活性不高，所以提出了基于學(xué)習(xí)的重建算法，用學(xué)習(xí)過(guò)程獲得先驗(yàn)知識(shí)，取代重建中人為定義的平滑約束項(xiàng)，因?yàn)椴煌瑘D像在高頻細(xì)節(jié)上具有相似性，所以通過(guò)學(xué)習(xí)算法獲得大量圖像高分辨率和低分辨率之間的關(guān)系，對(duì)于輸入的低分辨率圖像利用這種關(guān)系就能得到高分辨率圖像，由William T.Freeman提出的利用馬爾科夫隨機(jī)場(chǎng)實(shí)現(xiàn)的基于示例學(xué)習(xí)的超分辨率復(fù)原算法是比較經(jīng)典的學(xué)習(xí)復(fù)原算法，如文獻(xiàn)[3]，F(xiàn)reeman通過(guò)大量的輸入高分辨率圖像訓(xùn)練得到高低分辨率匹配對(duì)作為學(xué)習(xí)字典，利用KD樹(shù)算法檢索補(bǔ)丁對(duì)，再通過(guò)置信傳播算法進(jìn)行全局能量?jī)?yōu)化，最終得到復(fù)原圖像；文獻(xiàn)[4]提出的稀疏混合估計(jì)的方法實(shí)現(xiàn)圖像超分辨率復(fù)原，通過(guò)正交匹配追蹤減少混合系數(shù)的計(jì)算，利用稀疏小波混合插值實(shí)現(xiàn)圖像復(fù)原；文獻(xiàn)[5]提出的利用非局部自回歸模型進(jìn)行稀疏表示的圖像超分辨率復(fù)原，算法利用非局部自回歸矩陣S、權(quán)重矩陣λ和η、PCA字典ψ不斷更新當(dāng)前圖像估計(jì)x，通過(guò)最小化能量函數(shù)進(jìn)行圖像的超分辨率復(fù)原；文獻(xiàn)[6]尋找每一個(gè)輸入低分辨率塊的稀疏表示，通過(guò)這個(gè)稀疏表示系數(shù)和過(guò)完備字典來(lái)生成高分辨率圖像，過(guò)完備字典是通過(guò)學(xué)習(xí)訓(xùn)練庫(kù)中高分辨率和低分辨率圖像的對(duì)應(yīng)關(guān)系得到的。

本文算法是在文獻(xiàn)[6]算法上的改進(jìn)，改進(jìn)過(guò)程分為以下兩個(gè)部分：1)二維特征提取的改進(jìn)；2)用邊緣方向插值代替雙三次插值作為高分辨率圖像的初始估計(jì)。

1圖像降質(zhì)的稀疏表示

設(shè)X為高分辨率圖像，Y為低分辨率圖像，x為X的圖像塊，y為Y的圖像塊，則x與y之間有如下關(guān)系

y=Lx=LDα

(1)

式中：L為投影矩陣，D為過(guò)完備字典，α為稀疏表示。

構(gòu)造兩個(gè)字典：高分辨率字典Dh和低分辨率字典Dl，對(duì)于每一個(gè)高分辨率圖像塊和低分辨率圖像塊有相同的稀疏表示。

高分辨率圖像塊x可以通過(guò)高分辨率字典Dh和稀疏表示α得到

x≈Dhα

(2)

稀疏表示α是通過(guò)低分辨率圖像塊y和低分辨率字典Dl得到的，所以組合所有的圖像塊x即得到復(fù)原的高分辨率圖像塊。

主要的問(wèn)題就是稀疏表示α的確定，用式(3)來(lái)計(jì)算

(3)

式中：F為特征提取，后面章節(jié)將介紹F的獲得過(guò)程。

為了使得到的稀疏表示α更加稀疏，用l1范數(shù)代替0范數(shù)，如

(4)

求解式(5)即可得

(5)

以上算法是經(jīng)典圖像稀疏表示模型，但是算法存在一個(gè)主要的問(wèn)題：沒(méi)有考慮圖像塊之間的關(guān)系，所以考慮到鄰近圖像塊的相關(guān)性，設(shè)置了圖像塊之間的重疊區(qū)域，式(4)可寫(xiě)成

min‖α‖1

(6)

式中：P為復(fù)原區(qū)域與復(fù)原區(qū)域的重疊部分，ω為重疊部分中之前復(fù)原部分。進(jìn)一步得到

(7)

解此式即得到稀疏表示а，進(jìn)一步可得到高分辨率圖像X。

2稀疏表示的圖像復(fù)原

低分辨率圖像Y可以由高分辨率圖像X通過(guò)模糊和下采樣得到，即

Y=SHX

(8)

式中：H為模糊濾波器。

稀疏表示的圖像復(fù)原過(guò)程就是求式(9)的過(guò)程

(9)

式中：X0為通過(guò)稀疏表示得到的高分辨率圖像；X*為最終的高分辨率圖像。

完整的算法流程圖如圖1所示。

3過(guò)完備字典學(xué)習(xí)算法

影響稀疏表示復(fù)原效果好壞的一個(gè)主要因素是字典的選擇，字典通?？梢酝ㄟ^(guò)兩種方法得到：1)由已知的信號(hào)變換構(gòu)造出字典，如小波變換、Contourlet變換等；2)由給定的訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)構(gòu)造出字典，如K-SVD樹(shù)字典學(xué)習(xí)算法、在線字典學(xué)習(xí)算法等[7]。

過(guò)完備字典學(xué)習(xí)算法被廣泛用于信號(hào)的稀疏表示中，字典學(xué)習(xí)算法首先從訓(xùn)練數(shù)據(jù)開(kāi)始，設(shè)M為一組訓(xùn)練數(shù)據(jù)，把M放入一個(gè)N×L的矩陣中，即M∈RN×L,通過(guò)字典訓(xùn)練求的字典D∈RN×L和對(duì)應(yīng)的稀疏表示α∈RN×L，這時(shí)要滿足約束條件即保證信號(hào)殘差ε=M-Dα和稀疏表示α均最小，即

(10)

高分辨率字典Dh計(jì)算公式如

(11)

低分辨率字典Dl計(jì)算公式如

(12)

字典訓(xùn)練過(guò)程流程圖如圖2所示。

4改進(jìn)的稀疏表示復(fù)原算法

對(duì)原始稀疏表示超分辨率復(fù)原算法的改進(jìn)主要集中在兩個(gè)方面：特征提取的改進(jìn)、初始估計(jì)的改進(jìn)。

4.1特征提取方法的改進(jìn)

圖像邊緣是圖像的重要特征，邊緣特征提取是圖像復(fù)原關(guān)鍵的一部分。前面提到特征提取F就是本文算法提取的圖像邊緣特征，是為了使訓(xùn)練出來(lái)的字典適用于大多數(shù)和訓(xùn)練數(shù)據(jù)相關(guān)的低分辨率復(fù)原圖像，這樣可以使得到的復(fù)原高分辨率圖像分辨率更高。

算法中利用MATLAB函數(shù)庫(kù)中conv2(二維卷積運(yùn)算函數(shù))進(jìn)行圖像的粗邊緣提取，利用的是一階、二階梯度濾波算法。一階梯度濾波算子如圖3a、3b所示，二階梯度濾波算子如圖3c、3d所示。

改進(jìn)算法中對(duì)二階梯度濾波算法的算子進(jìn)行改進(jìn)，如圖4a、4b所示。

以圖5為例，分別進(jìn)行原始二階梯度濾波的圖像特征提取和改進(jìn)后二階梯度濾波的圖像特征提取處理，結(jié)果如圖6所示，改進(jìn)后的特征提取算法提取的特征更細(xì)膩，保留了更多的高頻細(xì)節(jié)。后文將講述這樣改進(jìn)將使圖像的復(fù)原效果進(jìn)一步提高。

4.2復(fù)原算法初始估計(jì)的改進(jìn)

原始算法對(duì)于輸入低分辨率圖像先進(jìn)行雙三次插值放大，得到高分辨率的初始估計(jì)，雙三次插值雖然效率很高，但是插值效果卻有待提高，為了提高復(fù)原效果，將用邊緣方向插值代替雙三次插值，改進(jìn)算法的處理效果較之前明顯改善。

邊緣方向插值的基本思想為：利用高分辨率圖像和低分辨率圖像協(xié)方差的幾何對(duì)偶性質(zhì)，用可以計(jì)算

的低分辨率圖像的局部協(xié)方差系數(shù)對(duì)高分辨率圖像進(jìn)行自適應(yīng)插值。

算法原理如下：

輸入低分辨率圖像Xi,j(尺寸是H×W)，用式(13)進(jìn)行圖像插值

Y2i,2j=Xi,j

(13)

(14)

Y2i+1,2j+1是插值得到的高分辨率圖像，α是線性插值系數(shù)，它的計(jì)算公式如

α=R-1r

(15)

式中：R=[Rkl],(0≤k,l≤3) r=[rk],(0≤k≤3)是高分辨率圖像的局部協(xié)方差系數(shù)，利用高分辨率圖像和低分辨率圖像協(xié)方差的幾何對(duì)偶性可以由低分辨率圖像的協(xié)方差計(jì)算出高分辨率圖像的協(xié)方差，幾何對(duì)偶性是指高分辨率圖像和低分辨率圖像沿相同方向的協(xié)方差是一致的，如圖7所示。

圖7中可以看到，當(dāng)從Y2i,2j插值到Y(jié)2i+1,2j+1時(shí)的高分辨率協(xié)方差Rkl,rk和低分辨率協(xié)方差Rkl,rk是幾何對(duì)偶的，幾何對(duì)偶能促使不用明確估計(jì)邊緣方向的情況下就能夠計(jì)算二維信號(hào)的局部協(xié)方差。

用經(jīng)典計(jì)算協(xié)方差的方法很容易計(jì)算出低分辨率圖像的協(xié)方差如下

(16)

y=[y1,…,yk,…,yM2]T是低分辨率圖像中M×M像素大小的一個(gè)數(shù)據(jù)變量，C是yk的沿對(duì)角線方向的4個(gè)相鄰像素點(diǎn)，所以根據(jù)上面兩個(gè)公式再根據(jù)高低分辨率協(xié)方差的一致性可以得到系數(shù)α為

α=(CTC)-1(CTy)

(17)

所以可以利用公式(14)進(jìn)行邊緣方向插值，改進(jìn)復(fù)原效果。

5仿真結(jié)果

對(duì)于輸入的彩色圖像，根據(jù)人眼的視覺(jué)特性對(duì)亮度信息比較敏感，將彩色圖像進(jìn)行顏色空間的分離，分解成y、cb和cr三個(gè)分量，對(duì)y分量進(jìn)行改進(jìn)的稀疏表示的圖像復(fù)原處理，對(duì)cb和cr分量只進(jìn)行雙三次插值處理。圖像的評(píng)價(jià)是通過(guò)計(jì)算y分量的峰值信噪比(Peak Signal to Noise Ratio，PSNR)來(lái)完成，PSNR值越高，重建的效果越好。

5.1圖像復(fù)原

對(duì)于如圖8a所示的大小為256×256的高分辨率圖像，對(duì)其進(jìn)行下采樣2倍得到128×128的低分辨率圖像作為輸入低分辨率圖像，如圖8b所示，算法處理過(guò)程中的圖像塊尺寸是5×5大小的像素，塊與塊之間的重疊像素是4，字典大小為512，稀疏正則化參數(shù)λ是0.15，稀疏正則化參數(shù)的取值依賴(lài)于輸入圖像的噪聲水平，本次仿真輸入的圖像是低噪聲圖像，所以取λ=0.15，采樣的圖像塊的個(gè)數(shù)取值為110 000。如圖8所示為文獻(xiàn)[6]稀疏表示原始算法和改進(jìn)稀疏表示復(fù)原算法的復(fù)原效果比較圖。

從圖8可以看出，改進(jìn)算法重建效果明顯優(yōu)于插值算法的結(jié)果，雙三次插值結(jié)果過(guò)于模糊且缺乏高頻信息。通過(guò)對(duì)重建圖像的PSNR值比較可以知道改進(jìn)算法得到的圖像的PSNR值較高，說(shuō)明改進(jìn)算法有效。

對(duì)于Lena輸入圖像，分別采用雙三次插值、稀疏表示算法和改進(jìn)的稀疏表示復(fù)原算法進(jìn)行處理，目標(biāo)放大倍數(shù)設(shè)置為2倍，如圖9所示，可見(jiàn)改進(jìn)算法在視覺(jué)效果上較雙三次插值有明顯提高，不僅保留大部分圖像細(xì)節(jié)，而且復(fù)原出的圖像更接近于原始圖像，比較PSNR值后發(fā)現(xiàn)也較稀疏表示原始算法有所提高。

5.2圖像特征提取對(duì)復(fù)原效果的影響

圖像復(fù)原中的字典學(xué)習(xí)不是對(duì)訓(xùn)練圖像直接訓(xùn)練，而是針對(duì)圖像的特征向量，因?yàn)橹苯訉?duì)訓(xùn)練樣本的特征進(jìn)行學(xué)習(xí)，能夠更好地抓住圖像的高頻分量之間的聯(lián)系，進(jìn)而準(zhǔn)確地預(yù)測(cè)出高分辨率圖像的高頻信息，所以圖像特征提取算法的選取直接影響重建的效果。

圖像特征提取比較典型的方法包括：一階、二階梯度濾波算法、拉普拉斯濾波算法、索貝爾算法、普利維特算法和羅伯茨算法等，原始圖像稀疏復(fù)原算法中的特征提取采用一階、二階梯度濾波算法，以低分辨率Lena圖像作為輸入圖像，目標(biāo)放大倍數(shù)為2倍，將以上特征提取算法分別用于稀疏表示的改進(jìn)算法中，可以得到表1所示的PSNR值。

表1圖像特征提取算法對(duì)復(fù)原效果的影響

從表1的PSNR值可以看到，改進(jìn)一階、二階梯度濾波算法作為低分辨率圖像的圖像特征提取算法得到更高的PSNR值，說(shuō)明改進(jìn)的特征提取方法的有效性。

5.3目標(biāo)放大倍數(shù)對(duì)復(fù)原效果的影響

對(duì)于圖像超分辨率復(fù)原，還比較關(guān)心不同目標(biāo)的放大倍數(shù)進(jìn)行復(fù)原的問(wèn)題，如圖10所示為改進(jìn)稀疏表示算法對(duì)于Lena低分辨率圖像分別在放大倍數(shù)為2和4時(shí)的復(fù)原結(jié)果。

從圖10可以看出，隨著放大倍數(shù)的增加，復(fù)原效果卻在減弱。通過(guò)比較表2的不同算法在不同放大倍數(shù)下的PSNR值可以看到隨著放大倍數(shù)的增加，復(fù)原效果明顯變差。

表2不同目標(biāo)放大倍數(shù)對(duì)復(fù)原效果的影響

6結(jié)論

雖然稀疏表示的圖像超分辨率復(fù)原算法較傳統(tǒng)的基于重建的超分辨率復(fù)原算法取得更好的效果，但由于其復(fù)雜度較高，學(xué)習(xí)過(guò)程效率明顯偏低，所以在工程上的應(yīng)用并不多，如何提高學(xué)習(xí)過(guò)程的效率是接下來(lái)要注重研究的問(wèn)題。

本文改進(jìn)算法首先對(duì)圖像特征提取過(guò)程進(jìn)行改進(jìn)，通過(guò)不斷探索，找到了一條改進(jìn)策略，提高了圖像復(fù)原的效果，同時(shí)，算法在初始估計(jì)上也進(jìn)行了改進(jìn)，對(duì)于輸入的低分辨率圖像，通過(guò)邊緣方向插值代替原始的雙三次插值，實(shí)現(xiàn)圖像的初始放大。

算法中同時(shí)用到了迭代反投影算法對(duì)重建的圖像進(jìn)行全局約束，而這種算法有一個(gè)很大的缺點(diǎn)：對(duì)高分辨率圖像的錯(cuò)誤校正具有局限性，接下來(lái)的工作也將繼續(xù)尋找最優(yōu)的全局約束算法，改善復(fù)原效果。

參考文獻(xiàn)：

[1]肖杰雄．基于POCS算法的超分辨率圖像重建[D]．上海：上海交通大學(xué)，2009．

[2]趙環(huán)旭，滕青芳．小波融合技術(shù)在運(yùn)動(dòng)模糊圖像復(fù)原中的應(yīng)用[J]．電視技術(shù)，2014，38(5)：9-11．

[3]FREEMANWT，LIUC．Advancesinmarkovrandomfieldsforvisionandimageprocessing[M].Boston，USA：MITPress，2011．

[4]MALLATS，YUG．Super-resolutionwithsparsemixingestimators[J]．IEEEtransactionsonimageprocessing，2010，19(11)：2889-2900．

[5]DONGWS，ZHANGL，RASTISLAVL，etal.Sparserepresentationbasedimageinterpolationwithnonlocalautoregressivemodeling[J]．IEEEtransactionsonimageprocessing，2013，22(4)：1382-1394．

[6]YANGJC，WRIGHTJ，THOMASS，etal.Imagesuper-resolutionviasparserepresentation[J]．IEEEtransactionsonimageprocessing，2010，19(11)：2861-2873．

[7]吳煒，陶青川．基于學(xué)習(xí)的圖像增強(qiáng)技術(shù)[M]．西安：西安電子科技大學(xué)出版社，2013：141-143．

Improved image super-resolution via sparse representation

QIU Dawei，LIU Yanlong

(CollegeofInformationEngineering，TaiYuanUniversityofTechnology，Taiyuan030024，China)

Key words:sparse representation; feature extraction; edge interpolation

Abstract:In view of the feature on signal sparse decomposition, together with the characteristic of the image super-resolution, an algorithm of image super-resolution via sparse representation is designed in this paper. The training process of the two over-complete dictionary and the processing procedure of the resolution via sparse representation is described. And then, the improved algorithm of the optimizing the feature extraction algorithm and optimizing the initial value of low-resolution image with adaptively selects the directional edge direction interpolation are described in detail. Meanwhile, the simulation and verification are also given based on MATLAB. Experimental results show that improved algorithm can effectively extract more superior quality than original algorithm, image can be directly restored. At the same time, the improved algorithm can obtain better robustness.

中圖分類(lèi)號(hào):TN957.52

文獻(xiàn)標(biāo)志碼:B

DOI：10.16280/j.videoe.2016.01.027

基金項(xiàng)目：山西省自然科學(xué)基金項(xiàng)目(2013011017-3)

作者簡(jiǎn)介：

邱大偉(1991— )，碩士生，主要研究方向?yàn)閳D像處理、模式識(shí)別；

劉彥隆(1965— )，碩士生導(dǎo)師，主要研究方向?yàn)閳D像編碼、圖像處理、語(yǔ)音識(shí)別，為本文通訊作者。

責(zé)任編輯：許盈

收稿日期：2015-06-13

文獻(xiàn)引用格式：邱大偉，劉彥隆.改進(jìn)的稀疏表示圖像超分辨率復(fù)原算法[J].電視技術(shù),2016，40(1)135-140.

QIU D W，LIU Y L. Improved image super-resolution via sparse representation[J].Video engineering,2016,40(1)：135-140.