基于非局部稀疏編碼的超分辨率圖像復(fù)原

劉 哲 楊 靜陳 路

(西北工業(yè)大學(xué)理學(xué)院 西安 710129)

基于非局部稀疏編碼的超分辨率圖像復(fù)原

劉 哲 楊 靜*陳 路

(西北工業(yè)大學(xué)理學(xué)院 西安 710129)

基于壓縮感知的超分辨率圖像復(fù)原方法通常采用局部稀疏編碼策略，對(duì)每一圖像塊獨(dú)立編碼，易產(chǎn)生人工的分塊效應(yīng)。針對(duì)上述問(wèn)題，該文提出一種基于非局部稀疏編碼的超分辨率圖像復(fù)原方法。該算法在字典訓(xùn)練和圖像編碼過(guò)程中分別運(yùn)用圖像的非局部自相似先驗(yàn)知識(shí)，即利用低分辨率圖像的插值圖像訓(xùn)練字典，并通過(guò)計(jì)算相似塊局部編碼的加權(quán)平均，得到每一圖像塊的非局部稀疏編碼。仿真實(shí)驗(yàn)表明，所提算法能夠獲得更優(yōu)的復(fù)原效果，并且對(duì)于含噪圖像具有較強(qiáng)的魯棒性。

超分辨率圖像復(fù)原；壓縮感知；非局部自相似；非局部稀疏編碼；單字典訓(xùn)練

1 引言

隨著信息技術(shù)的發(fā)展，高質(zhì)量、高清晰度的圖像日益成為遙感、醫(yī)學(xué)和生物識(shí)別等領(lǐng)域的普遍需求。然而，在圖像獲取過(guò)程中，由于成像系統(tǒng)自身的局限性，所獲得的圖像往往分辨率較低，無(wú)法反映真實(shí)場(chǎng)景的信息。因此，圖像的超分辨率復(fù)原方法被提出并迅速成為國(guó)內(nèi)外學(xué)者的研究熱點(diǎn)。

壓縮感知(Compressive Sensing, CS)[1]理論的發(fā)展為超分辨率圖像復(fù)原提供了新的思路。CS理論指出：在適當(dāng)條件下，高分辨率(High Resolution, HR)圖像可由其下采樣產(chǎn)生的低分辨率(Low Resolution, LR)圖像以高概率復(fù)原[2]。2009年，Sen等人[3]將CS理論應(yīng)用于超分辨率圖像復(fù)原，利用HR圖像在小波基下可被稀疏編碼的先驗(yàn)知識(shí)，加入模糊濾波器降低下采樣矩陣與小波基間的相關(guān)性，并在CS理論框架下求解HR圖像。然而由于一般自然圖像細(xì)節(jié)豐富、結(jié)構(gòu)復(fù)雜，小波基無(wú)法為其提供最優(yōu)的稀疏編碼。文獻(xiàn)[4,5]使用隨機(jī)選取的成對(duì)高、低分辨率圖像塊來(lái)稀疏表示圖像，提高了復(fù)原圖像的視覺效果，但為了實(shí)現(xiàn)精確重構(gòu)需要大量成對(duì)的圖像塊構(gòu)造高、低分辨率字典，計(jì)算復(fù)雜度高。

為了降低該類算法的計(jì)算復(fù)雜度，Yang等人[6,7]通過(guò)設(shè)計(jì)退化矩陣，將雙字典(高、低分辨率字典)訓(xùn)練改進(jìn)為單字典訓(xùn)練，僅運(yùn)用少量HR圖像塊訓(xùn)練高分辨率字典。文獻(xiàn)[8]運(yùn)用聚類和多任務(wù)學(xué)習(xí)的思想同時(shí)訓(xùn)練多個(gè)只含少量原子的字典。2013年，Liu等人[9]進(jìn)一步將圖像的形態(tài)學(xué)分解思想應(yīng)用于字典訓(xùn)練過(guò)程中，運(yùn)用形態(tài)學(xué)構(gòu)成分析方法將訓(xùn)練集圖像分解為不同的形態(tài)學(xué)部分，針對(duì)每一部分構(gòu)造相應(yīng)的字典，提高了復(fù)原圖像的質(zhì)量。

然而，基于壓縮感知的復(fù)原方法[6]對(duì)每一圖像塊獨(dú)立編碼，未考慮不同圖像塊之間的聯(lián)系，使得復(fù)原圖像存在人工的分塊效應(yīng)和模糊。近年來(lái)有關(guān)圖像冗余的研究成果表明，自然圖像具有非局部的自相似性質(zhì)(Non-local Self-Similarity, NSS)[10]，即圖像中存在大量相似的圖像塊結(jié)構(gòu)，而這些相似塊的空間距離可能較遠(yuǎn)。利用這種圖像冗余對(duì)相似塊進(jìn)行相關(guān)操作，有利于保持圖像的邊緣，已被廣泛應(yīng)用于求解各類圖像處理中的反問(wèn)題[10-14]。

為了消除復(fù)原圖像中存在的人工分塊效應(yīng)及模糊，本文基于圖像的NSS性質(zhì)，引入基于NSS的字典訓(xùn)練方法，并通過(guò)將相似塊的局部編碼作加權(quán)平均，對(duì)每一圖像塊進(jìn)行非局部稀疏編碼，實(shí)現(xiàn)了一種基于非局部稀疏編碼的超分辨率圖像復(fù)原算法。

2 基于壓縮感知的超分辨率圖像復(fù)原

基于壓縮感知的超分辨率圖像復(fù)原方法[6]通過(guò)設(shè)計(jì)退化矩陣，在壓縮感知理論框架下求解復(fù)原圖像，將復(fù)雜的雙字典訓(xùn)練過(guò)程[4,5]改進(jìn)為單字典訓(xùn)練，算法的時(shí)間效率明顯提高。

首先，利用隨機(jī)選取的HR圖像塊通過(guò)K奇異值分解(K-means Singular Value Decomposition, K-SVD)算法訓(xùn)練高分辨率字典Dh[15]。將LR圖像Y分塊，對(duì)每一圖像塊y，復(fù)原旨在求解其相應(yīng)的HR圖像塊x，其中y可看作是由x經(jīng)過(guò)退化矩陣H和噪聲N作用得到的，即

上述圖像退化方程的求解是一個(gè)高度不適定的病態(tài)反問(wèn)題，其解并不唯一。CS理論指出，若x在某個(gè)與H不相關(guān)的過(guò)完備字典Dh下可被稀疏編碼，即

那么上述不適定問(wèn)題可轉(zhuǎn)化為求解式(3)所示的優(yōu)化問(wèn)題：

式中α為圖像塊x的稀疏編碼，||α||0＜＜K (||α||0表示α中非零元素的個(gè)數(shù)，K為α所含元素的總數(shù))，λ為正常數(shù)，用于平衡兩項(xiàng)約束條件所占的比重。運(yùn)用基追蹤算法求解優(yōu)化問(wèn)題式(3)，再由式(2)即可得到HR圖像塊x，組合HR圖像塊得到HR圖像X。

上述算法充分利用了自然圖像的稀疏性質(zhì)，且只進(jìn)行單字典訓(xùn)練的思想使得算法的計(jì)算復(fù)雜度有效下降。然而該方法對(duì)每一圖像塊進(jìn)行獨(dú)立復(fù)原，忽略了相似圖像塊的稀疏編碼之間的聯(lián)系，使得復(fù)原圖像中存在不同程度的人工分塊效應(yīng)，在圖像邊緣處容易出現(xiàn)鋸齒現(xiàn)象。為克服以上不足，本文在上述復(fù)原方法的基礎(chǔ)上，綜合利用圖像的局部稀疏與非局部自相似性質(zhì)進(jìn)行復(fù)原。

3 基于非局部稀疏編碼的超分辨率圖像復(fù)原

3.1 基于NSS的字典訓(xùn)練

圖像復(fù)原效果的優(yōu)劣依賴于字典的選擇。利用大量隨機(jī)選取的HR圖像塊訓(xùn)練成字典來(lái)稀疏表示圖像，能夠充分利用訓(xùn)練集圖像所提供的高頻信息[4-9]。然而由于HR圖像是隨機(jī)選擇的，它們?cè)谕庥^上與待復(fù)原的LR圖像有較大的差別，因此這些HR圖像為復(fù)原提供的細(xì)節(jié)信息可能是不準(zhǔn)確的。

由于自然圖像具有非局部自相似性，LR圖像及其相應(yīng)的插值圖像中相似的圖像塊結(jié)構(gòu)能夠?yàn)閺?fù)原提供必要的細(xì)節(jié)信息。本文首先利用雙三次(Bicubic)和雙線性(Bilinear)兩種插值算法對(duì)LR圖像進(jìn)行插值，再將插值圖像作為訓(xùn)練集進(jìn)行字典訓(xùn)練，這樣就充分利用了圖像的冗余特性，使得訓(xùn)練出的字典Dh有更強(qiáng)的表現(xiàn)力。雙三次與雙線性算法是兩種常見且簡(jiǎn)單易行的圖像插值算法，由于插值算法不同，其產(chǎn)生的插值圖像便能夠提供不同的細(xì)節(jié)信息。使得訓(xùn)練集圖像更豐富，得到的字典能更準(zhǔn)確地稀疏表示圖像?；贜SS的字典訓(xùn)練過(guò)程如下：

(1)分別用雙三次與雙線性插值算法插值LR圖像Y，得到訓(xùn)練集圖像X1,X2；

(2)將X1,X2分塊，組成訓(xùn)練集Qh=[x1x2…xq](其中xi為第i個(gè)圖像塊的向量形式)，記B=[b1b2…bq]為相應(yīng)的稀疏編碼矩陣，利用K-SVD算法求解以下優(yōu)化問(wèn)題：

得到高分辨率字典Dh=[d1d2…dK]；

(3)標(biāo)準(zhǔn)化Dh，使得||dj||2=1,j=1,2,…,K。

3.2 非局部稀疏編碼

在文獻(xiàn)[6]算法框架的基礎(chǔ)上，對(duì)圖像塊的局部編碼系數(shù)作非局部處理。首先對(duì)每一圖像塊xi，用正則化正交匹配追蹤(Regularized Orthogonal Matching Pursuit, ROMP)[16]算法求解優(yōu)化問(wèn)題式(3)得到其局部稀疏編碼αi；之后在整幅圖像中搜索圖像塊xi的相似塊xj，并通過(guò)式(5)計(jì)算xi的非局部稀疏編碼βi：

3.3 本文算法步驟

綜合以上分析，本文算法流程如圖1所示。

具體步驟總結(jié)如下：

輸入：LR圖像Y，放大倍數(shù)s，退化矩陣H。

步驟1 用Y的插值圖像作為訓(xùn)練集，并利用K-SVD算法訓(xùn)練字典hD；

步驟 2 對(duì)每一圖像塊yi，由ROMP算法求解式(3)，得到其局部稀疏編碼；

步驟4 迭代執(zhí)行以下步驟，更新X(t)得到X(t+1),t=0,1,2,…。

(1)在X(t)中搜索的相似塊，并由計(jì)算的非局部稀疏編碼；

(3)對(duì)X(t+1)進(jìn)行迭代反投影計(jì)算，進(jìn)一步減小誤差。

輸出：HR圖像X。

4 仿真實(shí)驗(yàn)及結(jié)果分析

為檢驗(yàn)本文算法的有效性，對(duì)多類圖像進(jìn)行超分辨率復(fù)原實(shí)驗(yàn)。實(shí)驗(yàn)中LR圖像塊的大小取為22×。為保持復(fù)原圖像中塊與塊間的一致性，塊與塊之間有一個(gè)像素的重疊。考慮到人眼對(duì)彩色圖像的亮度通道較為敏感，只對(duì)亮度通道采用上述算法，其余通道利用Bicubic插值算法復(fù)原。

為比較不同算法的復(fù)原質(zhì)量，采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和結(jié)構(gòu)化自相似程度(Structural SIMilarity, SSIM)兩種客觀評(píng)價(jià)標(biāo)準(zhǔn)。PSNR指標(biāo)通過(guò)計(jì)算復(fù)原圖像與原圖像的歐式距離來(lái)評(píng)價(jià)重構(gòu)質(zhì)量，計(jì)算公式為

這里(,)mnf,(,)mng分別代表原始圖像與復(fù)原圖像，圖像大小為MN×。PSNR值越高，復(fù)原圖像與原圖像越接近，復(fù)原質(zhì)量越好；SSIM指標(biāo)與人眼的視覺感知系統(tǒng)相關(guān)，計(jì)算公式為

μx,μy表示原始圖像與復(fù)原圖像的均值，σx,σy為圖像標(biāo)準(zhǔn)差，σx,y為原始圖像與復(fù)原圖像的協(xié)方差。SSIM值介于01～之間，越接近1，說(shuō)明復(fù)原圖像與原圖像結(jié)構(gòu)化相似程度越高，復(fù)原效果越好。

4.1 自然圖像實(shí)驗(yàn)

為驗(yàn)證本文算法的有效性，對(duì)多幅不同類型、不同特點(diǎn)的圖像(實(shí)驗(yàn)LR圖像如圖2)進(jìn)行復(fù)原實(shí)驗(yàn)，放大倍數(shù)為2。將本文算法與雙三次插值、基于壓縮感知的復(fù)原算法[6,7]進(jìn)行比較，部分實(shí)驗(yàn)結(jié)果的局部放大圖如圖3所示，實(shí)驗(yàn)圖像的PSNR與SSIM指標(biāo)如表1所示，表中最后一列給出了不同算法下評(píng)價(jià)指標(biāo)的平均值。

無(wú)論從主觀視覺效果還是客觀評(píng)價(jià)指標(biāo)來(lái)看，本文算法都取得了更好的復(fù)原效果。由局部放大圖可知，雙三次插值算法生成的復(fù)原圖像過(guò)于平滑，文獻(xiàn)[6]算法圖像在邊緣處有鋸齒效應(yīng)和模糊，而本文算法具有更加清晰的邊緣和細(xì)節(jié)。由客觀評(píng)價(jià)指標(biāo)可知，本文算法復(fù)原效果略優(yōu)于文獻(xiàn)[7]算法，這是由于本文算法中基于NSS的字典訓(xùn)練方式使用LR圖像的插值圖像訓(xùn)練字典，更有利于保護(hù)圖像的細(xì)節(jié)信息。圖表中本文算法1為去掉本文算法中非局部稀疏編碼部分(即步驟4(1)，步驟4(2))的實(shí)驗(yàn)結(jié)果。由本文算法1與本文算法的對(duì)比結(jié)果可以看出，非局部稀疏編碼策略帶來(lái)了很大的性能提升。這是由于非局部稀疏編碼策略充分利用了相似圖像塊所提供的信息，加強(qiáng)了圖像塊稀疏編碼間的聯(lián)系，使得每一圖像塊的編碼不再彼此獨(dú)立。

圖1 基于非局部稀疏編碼的超分辨率圖像復(fù)原算法流程圖

圖2 實(shí)驗(yàn)圖像

圖3 自然圖像復(fù)原實(shí)驗(yàn)結(jié)果局部放大圖

4.2 含噪圖像實(shí)驗(yàn)

由于受到環(huán)境因素的影響和成像系統(tǒng)自身的局限性，人們所獲得的圖像往往含有不同程度的噪聲。為驗(yàn)證本文算法對(duì)噪聲的魯棒性，對(duì)含噪圖像進(jìn)行超分辨率復(fù)原實(shí)驗(yàn)。選取Lena和遙感2105含噪圖像進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)中通過(guò)加入均值為0，標(biāo)準(zhǔn)差σ為5, 10, 15的高斯白噪聲來(lái)模擬實(shí)際獲取的圖像中所含的噪聲，復(fù)原圖像的PSNR與SSIM指標(biāo)如表2所示。圖4為噪聲標(biāo)準(zhǔn)差10σ=時(shí)的實(shí)驗(yàn)結(jié)果。

分析圖表數(shù)據(jù)可知，在對(duì)含噪圖像進(jìn)行復(fù)原時(shí)，文獻(xiàn)[6]算法的復(fù)原結(jié)果有時(shí)并不如傳統(tǒng)的雙三次插值算法好，而本文算法的復(fù)原效果較優(yōu)。由于非

局部稀疏編碼本質(zhì)上相當(dāng)于對(duì)圖像的稀疏編碼系數(shù)進(jìn)行濾波，而濾波過(guò)程是圖像去噪的重要手段，因此本文算法針對(duì)含噪圖像具有較強(qiáng)的魯棒性，能夠在放大圖像的同時(shí)抑制圖像中的噪聲。這也使得本文算法更加適用于實(shí)際應(yīng)用。

表1 不同算法下自然圖像復(fù)原結(jié)果比較

表2 不同算法下含噪圖像復(fù)原結(jié)果比較

圖4 含噪圖像復(fù)原實(shí)驗(yàn)結(jié)果

4.3 不同放大倍數(shù)下各算法復(fù)原效果的比較

超分辨率圖像復(fù)原要求復(fù)原算法能夠?qū)Φ头直媛蕡D像進(jìn)行不同倍數(shù)的放大，放大倍數(shù)越高，復(fù)原所需添加的細(xì)節(jié)信息就越多，復(fù)原工作越復(fù)雜。實(shí)驗(yàn)選取9696×的Child圖像，分別用雙三次插值、文獻(xiàn)[6]算法和本文算法對(duì)其進(jìn)行1.5, 2.0, 2.5, 3.0, 4.0, 5.0倍放大，并對(duì)實(shí)驗(yàn)結(jié)果描點(diǎn)繪圖，如圖5所示。由曲線變化圖可知，隨著放大倍數(shù)的增加，復(fù)原效果逐漸變差。放大5.0倍時(shí)，文獻(xiàn)[6]算法相比于雙三次插值算法效果較差，而本文算法卻能取得較好的復(fù)原效果。這是由于稀疏編碼理論能夠從少量的采樣值中抓住圖像的關(guān)鍵信息進(jìn)行圖像復(fù)原，并且本文算法充分利用了圖像的非局部自相似先驗(yàn)知識(shí)。

5 結(jié)束語(yǔ)

壓縮感知與稀疏編碼理論可實(shí)現(xiàn)低維信號(hào)到高維信號(hào)的精確重構(gòu)，基于稀疏編碼的超分辨率圖像復(fù)原方法也成為近年來(lái)的研究熱點(diǎn)[17,18]。本文在此基礎(chǔ)之上，將圖像的非局部自相似性質(zhì)作為先驗(yàn)知識(shí)，在訓(xùn)練字典和圖像編碼過(guò)程中分別運(yùn)用這一先驗(yàn)知識(shí)，提出了一種基于非局部稀疏編碼的超分辨率圖像復(fù)原方法，并進(jìn)行了仿真和對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性和魯棒性。在非局部稀疏編碼的過(guò)程中，圖像塊的相似度判斷起著關(guān)鍵作用。本文采用歐式距離判斷相似程度，其優(yōu)點(diǎn)是簡(jiǎn)單易行，但也存在不能反映塊結(jié)構(gòu)特點(diǎn)的不足。在未來(lái)的工作中，設(shè)計(jì)更加有效的相似塊評(píng)判標(biāo)準(zhǔn)、結(jié)合更多的圖像先驗(yàn)知識(shí)進(jìn)行復(fù)原，是值得進(jìn)一步研究的問(wèn)題。

圖5 不同算法下評(píng)價(jià)指標(biāo)隨放大倍數(shù)變化曲線圖

[1] Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.

[2] Kulkarni N, Nagesh P, Gowda R, et al.. Understanding compressive sensing and sparse representation-based super-resolution[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(5): 778-789.

[3] Sen P and Darabi S. Compressive image super-resolution[C]. 2009 Conference Record of the Forty-Third Asilomar Conference on Signals, Systems and Computers, Pacific Grove, CA, 2009: 1235-1242.

[4] Yang J, Wright J, Huang T S, et al.. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[5] Lu J, Zhang Q, Xu Z, et al.. Image super-resolution by dictionary concatenation and sparse representation with approximate L0norm minimization[J]. Computers & Electrical Engineering, 2012, 38(5): 1336-1345.

[6] Yang S, Sun F, Wang M, et al.. Novel super resolution restoration of remote sensing images based on compressive sensing and example patches-aided dictionary learning[C]. 2011 International Workshop on Multi-Platform/Multi-Sensor Remote Sensing and Mapping (M2RSM), Xiamen, 2011: 1-6.

[7] Yang S, Wang M, Sun Y, et al.. Compressive sampling based single-image super-resolution reconstruction by dual-sparsity and non-local similarity regularizer[J]. Pattern Recognition Letters, 2012, 33(9): 1049-1059.

[8] Yang S, Liu Z, Wang M, et al.. Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction[J]. Neurocomputing, 2011, 74(17): 3193-3203.

[9] Liu W and Li S. Multi-morphology image super-resolution via sparse representation[J]. Neurocomputing, 2013, 120(23): 645-654.

[10] Buades A, Coll B, and Morel J M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530.

[11] Yu H, Chen F, Zhang Z, et al.. Single infrared image super-resolution combining non-local means with kernel regression[J]. Infrared Physics & Technology, 2013, 61: 50-59.

[12] Dong W, Zhang D, Shi G, et al.. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[13] Romano Y, Protter M, and Elad M. Single image interpolation via adaptive non-local sparsity-based modeling[J]. IEEE Transactions on Image Processing, 2014, 23(7): 3085-3098.

[14] Dong W, Shi G, Zhang L, et al.. Super-resolution with nonlocal regularized sparse representation[C]. Visual Communications and Image Processing 2010, Huangshan, China, 2010: 77440H-77440H-10.

[15] Aharon M, Elad M, and Bruckstein A. K-svd: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[16] Needell D and Vershynin R. Uniform uncertainty principle and signal recovery via regularized orthogonal matching pursuit[J]. Foundations of Computational Mathematics, 2009, 9(3): 317-334.

[17] Yang S, Wang M, Chen Y, et al.. Single-image superresolution reconstruction via learned geometric dictionaries and clustered sparse coding[J]. IEEE Transactions on Image Processing, 2012, 21(9): 4016-4028.

[18] Tang Y, Yuan Y, Yan P, et al.. Greedy regression in sparse coding space for single-image super-resolution[J]. Journal of Visual Communication and Image Representation, 2013, 24(2): 148-159.

劉 哲： 女，1970年生，教授，博士，主要研究方向?yàn)閳D像處理、壓縮感知和信息融合等.

楊 靜： 女，1990年生，碩士生，研究方向?yàn)閳D像復(fù)原、壓縮感知.

陳 路： 男，1991年生，碩士生，研究方向?yàn)閳D像去塊效應(yīng)、圖像處理.

Super-resolution Image Restoration Based on Nonlocal Sparse Coding

Liu Zhe Yang Jing Chen Lu

(School of Science, Northwestern Polytechnical University, Xi’an 710129, China)

Super-resolution image restoration methods based on Compressive Sensing (CS) generally adopt local sparse coding strategy. Such strategy encodes each image block independently, which easily induces artificial blocking effect. To overcome this problem, a super-resolution image restoration method based on nonlocal sparse coding is proposed. The nonlocal self-similarity of image is considered as a prior in the dictionary training and image coding processes, respectively. Specifically, the proposed algorithm trains the dictionary with interpolated low-resolution images, and calculates the weighted average local code of similar patches, in order to obtain the nonlocal sparse code of each image block. Numerical experiments suggest that the proposed algorithm has a good recovery performance, and is robust to image noise.

Super-resolution image restoration; Compressive Sensing (CS); Nonlocal self-similarity; Nonlocal sparse coding; Single dictionary training

TP391

A

1009-5896(2015)03-0522-07

10.11999/JEIT140481

2014-04-11收到，2014-09-11改回

國(guó)家自然科學(xué)基金(61070138)資助課題

*通信作者：楊靜 yangjing199002@163.com