一種梯度正則化稀疏表示的圖像超分辨率重建方法

黃淑英，胡曉燕，吳 昕，吳佳俊，許亞婷

(江西財(cái)經(jīng)大學(xué) 軟件與物聯(lián)網(wǎng)工程學(xué)院，南昌 330032)

1 引 言

單幅圖像SR重建是指從一幅輸入的LR圖像恢復(fù)出HR圖像的技術(shù)[1].SR重建技術(shù)是當(dāng)前計(jì)算機(jī)視覺和圖像處理領(lǐng)域的研究熱點(diǎn)，許多SR重建算法相繼被提出，主要有基于插值的方法、基于重建的方法、基于學(xué)習(xí)的方法.基于插值的圖像SR重建方法[2-4]簡(jiǎn)單且易實(shí)現(xiàn)，其思想是重建圖像中待補(bǔ)充的像素點(diǎn)利用周圍的像素點(diǎn)加權(quán)獲得，加權(quán)像素點(diǎn)距離補(bǔ)充像素點(diǎn)的距離越近加權(quán)的比重就越大，但重建出的圖像邊緣往往比較模糊.基于重建的圖像SR重建方法[5，6]根據(jù)圖像觀測(cè)模型進(jìn)行建模來(lái)估計(jì)HR圖像，并結(jié)合先驗(yàn)知識(shí)來(lái)約束重建圖像，以得到更多的圖像細(xì)節(jié)信息，主要方法包括：凸集投影法[7]、迭代反投影法[8]和最大后驗(yàn)概率法[9]等，在圖像先驗(yàn)信息不足的情況下基于重建的方法得到的重建結(jié)果不理想.

基于學(xué)習(xí)的SR重建方法[10]是目前比較流行的SR重建技術(shù)，其主要思想是利用圖像訓(xùn)練集來(lái)學(xué)習(xí)LR圖像塊到HR圖像塊之間的映射關(guān)系.該思想最初是由Freeman和Paztor[11]等人提出.基于學(xué)習(xí)的SR方法優(yōu)勢(shì)是充分利用了圖像自身的先驗(yàn)知識(shí)，能得到較準(zhǔn)確的重建結(jié)果.Chang等人[12]提出了局部線性嵌入(Local Linear Embedding，LLE)的方法，認(rèn)為HR/LR圖像塊在兩個(gè)不同的特征空間中具有相似的局部幾何形狀流形.該算法應(yīng)用訓(xùn)練集重構(gòu)HR圖像，通過(guò)重疊目標(biāo)HR圖像中的塊，實(shí)現(xiàn)了塊之間的局部兼容性，增加了平滑度約束.2010年Yang等人[13]運(yùn)用壓縮感知(Compressive Sensing，CS)的思想提出了基于稀疏表示的SR重建算法，該算法用圖像對(duì)聯(lián)合訓(xùn)練兩個(gè)過(guò)完備字典，將LR圖像塊用LR字典表示的系數(shù)與HR圖像塊用HR字典表示系數(shù)來(lái)重建圖像.該算法實(shí)現(xiàn)了對(duì)圖像塊更緊湊的表示，從大量LR圖像學(xué)習(xí)先驗(yàn)知識(shí)，圖像重建效果較好，但學(xué)習(xí)過(guò)完備字典需要耗費(fèi)大量時(shí)間.Zeyde等人[14]在Yang基礎(chǔ)上改進(jìn)算法，用K-SVD算法和正交匹配追蹤算法(Orthogonal Matching Pursuit，OMP)進(jìn)行字典訓(xùn)練，縮短了運(yùn)行時(shí)間且得到了更好的重建結(jié)果.2011年，Dong等人[15]提出了自適應(yīng)稀疏域選擇和自適應(yīng)正則化的圖像SR算法，將樣例圖像塊學(xué)習(xí)自回歸模型引入到算法中規(guī)范化圖像局部結(jié)構(gòu)，提高重建圖像的質(zhì)量.后來(lái)Dong等人[16]在稀疏模型中考慮到稀疏編碼對(duì)噪聲的影響提出了非局部集中稀疏表示(Non-locally Centralized Sparse Representation，NCSR)方法，加入非局部自相似性約束來(lái)更精確地估計(jì)稀疏編碼系數(shù)，在圖像去噪、去模糊、SR重建方面均表現(xiàn)出色.近年來(lái)，由于深度學(xué)習(xí)具有強(qiáng)大的學(xué)習(xí)能力，基于深度學(xué)習(xí)的方法[17，18]也越來(lái)越被重視，并且有一系列方法被提出.Dong等人[19]首次將3層卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)引入圖像SR中，效果上取得了顯著的提升.雖然基于深度學(xué)習(xí)的方法已取得很好的重建結(jié)果，但是需要大量的數(shù)據(jù)訓(xùn)練，目前真實(shí)場(chǎng)景的訓(xùn)練數(shù)據(jù)集很難獲得，數(shù)據(jù)集中的LR大多是通過(guò)雙3次插值降采樣等操作模擬獲得，因而對(duì)處理真實(shí)場(chǎng)景的LR圖像效果并不好.因此，本文將重點(diǎn)針對(duì)稀疏表示的SR重建方法進(jìn)行研究.

雖然稀疏表示的方法取得了較好的效果，但還有許多值得改進(jìn)的地方.由于LR圖像受到噪聲和模糊的影響，重建算法往往對(duì)噪聲不夠魯棒，在恢復(fù)圖像質(zhì)量去除噪聲的同時(shí)也丟失了大量圖像的高頻信息.針對(duì)稀疏表示的SR重建存在的問(wèn)題，本文在非局部稀疏表示的基礎(chǔ)上，結(jié)合鄰域回歸的方法，提出一種圖像梯度信息正則化來(lái)增強(qiáng)重建圖像的紋理細(xì)節(jié).本文也通過(guò)大量的實(shí)驗(yàn)驗(yàn)證了所提出的梯度正則化稀疏表示的SR重建方法對(duì)含有噪聲的LR圖像重建能獲得很好的重建結(jié)果.

2 圖像SR重建相關(guān)理論

2.1 圖像降質(zhì)模型

在圖像獲取的過(guò)程中，通常會(huì)受到圖像采集設(shè)備的影響，或者惡劣的天氣環(huán)境、抖動(dòng)、光照等外界因素的影響，所獲得的圖像大多分辨率比較低、質(zhì)量比較差.在圖像SR領(lǐng)域，建立符合實(shí)際成像的退化模型十分重要.圖像的降質(zhì)過(guò)程模型[6]如下：

y=Hx+n

(1)

其中，y是獲取的LR圖像，x是理想的HR圖像，H表示下采樣和模糊矩陣，n代表加性噪聲.圖像的SR重建與上述圖像降質(zhì)過(guò)程相反，包括提升LR圖像的分辨率、去噪、去模糊等操作.

2.2 信號(hào)稀疏表示理論

對(duì)于給定的正交字典或過(guò)完備字典，信號(hào)稀疏表示理論是指用該字典中盡可能少的原子來(lái)表示信號(hào)，并且總是可以求出一組大多數(shù)元素為零的稀疏解，其中字典生成和信號(hào)稀疏分解是該理論的關(guān)鍵.信號(hào)x用一組過(guò)完備字典Φ=[Φ1,…,Φi,…,Φk]表示為：

x=Φα

(2)

其中，α=[α1,α2,…，αk]為稀疏編碼系數(shù)，其特點(diǎn)是大部分元素都為零，只有較少的非零元素.因此，稀疏系數(shù)求解又可以用L0優(yōu)化問(wèn)題[20]表示為：

(3)

其中，‖α‖0表示系數(shù)的L0范數(shù).為了解決優(yōu)化問(wèn)題，上述L0最小化問(wèn)題可以轉(zhuǎn)化為近似L1范數(shù)最小化，要求是α有足夠少的非零元素，可表示為：

(4)

為了求解，可以把上式中約束項(xiàng)x≈Φα轉(zhuǎn)換成懲罰項(xiàng)得到下式：

(5)

其中，λ是正則化參數(shù)，用來(lái)平衡系數(shù)稀疏度和圖像重建誤差之間的權(quán)重.

2.3 基于稀疏表示的圖像SR重建

圖像SR重建是圖像降質(zhì)的逆過(guò)程，利用所獲得的退化圖像y，恢復(fù)出HR圖像x.稀疏表示在圖像復(fù)原領(lǐng)域表現(xiàn)優(yōu)異，圖像的稀疏先驗(yàn)信息可以有效提高圖像重建質(zhì)量，恢復(fù)圖像可以用字典原子的線性組合來(lái)逼近.假設(shè)LR圖像y和HR圖像x在過(guò)完備字典上的稀疏編碼系數(shù)非常接近，首先需要求得LR圖像在字典Φ上的稀疏系數(shù)αy，再根據(jù)x=Φαy就可以估計(jì)出HR圖像x.根據(jù)上節(jié)信號(hào)稀疏表示理論，圖像y在字典Φ上的稀疏系數(shù)αy求解為：

(6)

學(xué)習(xí)到一個(gè)好的字典，不僅能獲取圖像中所包含的信息，而且使得圖像在該字典上的表達(dá)更稀疏，進(jìn)而提高SR重建的質(zhì)量，這也是圖像稀疏表示的目的.從式(6)中可以看出，在求解系數(shù)αy時(shí)，構(gòu)建合適的字典是重建圖像的關(guān)鍵，同時(shí)構(gòu)建合適的正則化項(xiàng)可以提高稀疏系數(shù)的求解精度.

3 提出的圖像SR重建方法

3.1 重建模型

傳統(tǒng)的稀疏表示SR重建方法對(duì)含有噪聲的LR圖像進(jìn)行SR重建時(shí)，為了減少噪聲對(duì)重建結(jié)果的影響，通常會(huì)損失部分的高頻信息，從而導(dǎo)致重建的HR圖像出現(xiàn)模糊現(xiàn)象和斑塊效應(yīng).本文在圖像自適應(yīng)稀疏表示的基礎(chǔ)上，結(jié)合鄰域回歸[21]知識(shí)，通過(guò)構(gòu)建一個(gè)圖像梯度正則化項(xiàng)，提出一種基于稀疏表示的圖像SR算法.該方法在減少噪聲影響的同時(shí)，可以增強(qiáng)重建圖像細(xì)節(jié).本文構(gòu)建的SR重建模型表示如下：

(7)

(8)

(9)

其中W是歸一化因子，h是用來(lái)控制平滑程度的全局參數(shù).

稀疏非局部正則項(xiàng)雖然在圖像重建過(guò)程中能夠減少噪聲的影響，同樣也會(huì)導(dǎo)致圖像一部分紋理信息的丟失.針對(duì)此問(wèn)題，本文在此基礎(chǔ)上通過(guò)構(gòu)建一種基于鄰域回歸的梯度正則項(xiàng)來(lái)增強(qiáng)重建圖像的細(xì)節(jié)信息.下面將對(duì)圖像SR重建中字典學(xué)習(xí)、圖像塊稀疏域的選擇及鄰域回歸正則項(xiàng)做詳細(xì)地描述.

3.2 字典學(xué)習(xí)

(10)

其中，Sk表示聚類后的子數(shù)據(jù)集，αk為Sk在Φk上的系數(shù)矩陣.

3.3 自適應(yīng)稀疏域選擇

(11)

(12)

(13)

3.4 鄰域回歸梯度正則項(xiàng)的構(gòu)建

(14)

(15)

(16)

其中，NG是與Ng對(duì)應(yīng)的HR空間的梯度鄰域.

針對(duì)圖像重建過(guò)程中出現(xiàn)的邊緣紋理模糊的現(xiàn)象，本文利用上述鄰域回歸的方法來(lái)對(duì)評(píng)估圖像進(jìn)行清晰紋理細(xì)節(jié)的重建，來(lái)修正重建圖像的梯度信息，即在重建過(guò)程中讓重建圖像的梯度信息更接近評(píng)估的紋理信息.其能量函數(shù)定義如下：

min‖2

(17)

該能量函數(shù)在公式(7)中作為SR重建模型的一個(gè)正則項(xiàng)，在圖像重建過(guò)程中用來(lái)增強(qiáng)估計(jì)HR圖像的紋理細(xì)節(jié).

3.5 SR模型的求解

(18)

在每次迭代獲得評(píng)估圖像后，利用下面公式來(lái)更新圖像塊的稀疏系數(shù)，其公式如下：

(19)

對(duì)獲得的稀疏系數(shù)αi利用公式(8)的非局部均值進(jìn)行更新，采用迭代收縮算法更新稀疏編碼系數(shù)，公式如下：

(20)

其中Sτ是軟閾值函數(shù)，c是輔助參數(shù)，用來(lái)保證收縮函數(shù)是可優(yōu)化的.稀疏編碼系數(shù)更新完之后，則圖像塊重構(gòu)表示為：

(21)

重建HR圖像為：

(22)

4 實(shí)驗(yàn)結(jié)果及性能分析

為了驗(yàn)證所提出模型的有效性，本文做了大量的對(duì)比實(shí)驗(yàn)并與近年來(lái)一些方法做了比較，比較方法包括：Bicubic、NCSR[16]、EPLL[22]、NRSR[21]、INSR[23]、REPS-SR[24]方法.本節(jié)主要選取了12張測(cè)試圖像如圖1所示，來(lái)展示各方法的重建結(jié)果，其中包括6張彩色圖像(其名分別為：Butterfly、Hat、Parrots、Zebra、Plants、Bird)和6張灰度圖像(其名分別為：Flower、baby 、barbara、flowers、 baboon、Comic).在實(shí)驗(yàn)中采用如下步驟對(duì)測(cè)試圖像進(jìn)行降質(zhì)：首先，對(duì)測(cè)試圖像用標(biāo)準(zhǔn)偏差為1.6，尺寸大小為的7×7的高斯函數(shù)進(jìn)行模糊；然后，對(duì)模糊后的圖像進(jìn)行下采樣，下采樣的尺度因子分別為2、3、4；最后，對(duì)下采樣得到的LR圖像加入不同水平的高斯噪聲得到最后的LR圖像.實(shí)驗(yàn)中根據(jù)經(jīng)驗(yàn)設(shè)置基本參數(shù)如下：圖像塊的尺寸為6×6，聚類數(shù)k為64，重疊像素點(diǎn)數(shù)為4，δ為7，c為0.35，λ2為0.1.下面將利用實(shí)驗(yàn)結(jié)果對(duì)我們提出的模型的有效性進(jìn)行驗(yàn)證，并對(duì)各個(gè)方法所獲得SR重建圖像分別在主觀方面和客觀方面給出評(píng)價(jià).

圖1 測(cè)試圖像Fig.1 Test images

4.1 梯度正則化有效性驗(yàn)證

如圖2所示，圖2(a)為沒有應(yīng)用鄰域回歸正則項(xiàng)獲得的重建圖像的梯度圖，圖2(b)為使用一次鄰域回歸正則項(xiàng)后獲得的重建圖像的梯度圖.為了方便觀察，我們將局部區(qū)域進(jìn)行了放大，從放大區(qū)域我們可以看到圖2(a)中蝴蝶的翅膀邊緣模糊，有明顯的斷裂痕跡，而在圖2(b)中經(jīng)過(guò)一次鄰域回歸正則項(xiàng)獲得的重建圖像的梯度更加清晰，斷裂區(qū)域明顯地減少了.由此可見，利用加入鄰域回歸正則項(xiàng)后的SR重建方法能恢復(fù)出更多的圖像邊緣信息.

圖2 使用鄰域回歸正則化前后重建圖像梯度對(duì)比Fig.2 Image gradient comparison before and after regularization by neighborhood regression

4.2 實(shí)驗(yàn)結(jié)果對(duì)比

本節(jié)將從主觀和客觀兩方面與其余方法比較來(lái)證明我們提出方法的有效性.圖3是對(duì)圖像Butterfly放大3倍時(shí)的視覺圖，圖4是對(duì)圖像Parrots放大4倍時(shí)的視覺圖.為了方便觀察，我們剪切了局部區(qū)域進(jìn)行放大，從圖中的放大區(qū)域，可以明顯地觀察到其中Bicubic、NRSR方法重建的圖像損失了大量的紋理細(xì)節(jié)、邊緣模糊且含有一定的噪聲，如圖4中鳥眼睛周圍的紋路幾乎無(wú)法分辨；EPLL方法重建的圖像光滑區(qū)域仍存在很多噪聲且重建的邊緣存在鋸齒；NCSR、INSR方法重建圖像較EPLL方法質(zhì)量稍有提升，但仍存在邊緣模糊情況；REPS-SR方法對(duì)噪聲更具魯棒性可以很好地恢復(fù)出HR圖像，但在消除圖像噪聲的同時(shí)也損失了圖像的紋理細(xì)節(jié)；本文方法重建的圖像的邊緣相比于其它方法更為清晰同時(shí)也保留了圖像更多的紋理細(xì)節(jié)信息.

圖3 放大倍數(shù)為3，噪聲為8時(shí)不同算法對(duì)圖像Butterfly重建視覺效果對(duì)比Fig.3 Visual comparison samples of different methods on ′Butterfly′ image with a scale factor of 3, noise level of 8

圖4 放大倍數(shù)為4，噪聲為5時(shí)不同算法對(duì)圖像Parrots重建視覺效果對(duì)比Fig.4 Visual comparison samples of different methods on ′Parrots′ image with a scale factor of 4, noise level of 5

為了更好地說(shuō)明本文方法在重建圖像質(zhì)量方面的優(yōu)越性及對(duì)噪聲的魯棒性，我們對(duì)前面給出的12幅測(cè)試圖像在多種噪聲水平降質(zhì)的情況下進(jìn)行了實(shí)驗(yàn)比較.圖5顯示了當(dāng)噪聲水平逐漸增加時(shí)，所有對(duì)比方法在對(duì)圖像放大3倍的情況下得到的重建結(jié)果的PSNR/SSIM平均值.從圖中可以看出，相比于其他的SR重建方法，我們提出的方法獲得的PSNR是最好的，SSIM指標(biāo)也相對(duì)較高，并且在噪聲逐漸增大的時(shí)候我們提出的方法下降趨勢(shì)更慢.隨著噪聲水平增加，NCSR方法的PSNR和SSIM值比其他方法下降得更快；INSR方法SSIM值下降較快；EPLL方法雖然PSNR一直處于較低水平，但在噪聲增大時(shí)SSIM指標(biāo)呈上升趨勢(shì).綜上所述，我們的方法在高噪聲時(shí)達(dá)到了較高的PSNR/SSIM值，實(shí)驗(yàn)表明我們的方法在不同噪聲水平下重建效果都優(yōu)于所比較的方法.

圖5 不同方法在不同噪聲水平下圖像放大3倍PSNR/SSIM均值Fig.5 PSNR / SSIM average values of different methods under different noise levels with a scale factor of 3

我們也給出了所對(duì)比的幾種方法針對(duì)12幅測(cè)試圖像在不同放大倍數(shù)和不同噪聲水平下的重建圖像的客觀評(píng)價(jià)結(jié)果表1、表2和表3分別為放大倍數(shù)為2噪聲水平為10，放大倍數(shù)為3噪聲水平為8，放大倍數(shù)為4噪聲水平為5時(shí)的PSNR/SSIM結(jié)果.其中指標(biāo)測(cè)定值的最佳結(jié)果以粗體表示，下劃線表示結(jié)果處于第2高，從客觀結(jié)果可以看出我們提出的方法的PSNR/SSIM值在絕大部分情況下相比于其他對(duì)比方法效果更好，所有的PSNR和SSIM平均值均高于其他對(duì)比方法，這表明了本文提出的方法對(duì)邊緣模糊的LR圖像梯度信息重建是有效的.

表1 放大倍數(shù)為2噪聲為10時(shí)PSNR/SSIM結(jié)果Table 1 PSNR/SSIM results with a scale factor of 2 and noise level of 10

表2 放大倍數(shù)為3噪聲為8時(shí)PSNR/SSIM結(jié)果Table 2 PSNR/SSIM results with a scale factor of 3 and noise level of 8

表3 放大倍數(shù)為4噪聲為5時(shí)PSNR/SSIM結(jié)果Table 3 PSNR/SSIM results with a scale factor of 4 and noise level of 5

5 結(jié) 論

本文在自適應(yīng)稀疏表示的基礎(chǔ)上，針對(duì)當(dāng)前重建圖像存在邊緣模糊的情況，提出了一種梯度正則化稀疏表示的圖像SR重建算法.該算法在自適應(yīng)稀疏表示SR重建方法的基礎(chǔ)上，為了重建出更多的圖像細(xì)節(jié)信息，結(jié)合鄰域回歸的思想，對(duì)評(píng)估的HR圖像在HR梯度數(shù)據(jù)集中查找相似的紋理結(jié)構(gòu)來(lái)實(shí)現(xiàn)清晰紋理細(xì)節(jié)的重建，構(gòu)建一種鄰域回歸的梯度正則化項(xiàng)，以實(shí)現(xiàn)增強(qiáng)重建HR圖像的邊緣紋理信息的目的.實(shí)驗(yàn)結(jié)果表明，我們提出的基于梯度正則化的圖像SR重建算法重建結(jié)果優(yōu)于比較的其他方法，能恢復(fù)出更精細(xì)的邊緣信息.