基于局部結構相似與稀疏表示的超分辨率圖像重建

檀結慶, 蔡蒙琪, 朱星辰, 葛先玉

(合肥工業(yè)大學 數(shù)學學院,安徽 合肥 230601)

圖像超分辨率(super-resolution,SR)重建旨在從單個或幾個低分辨率(low-resolution,LR)圖像中恢復高分辨率(high-resolution,HR)圖像,被廣泛應用于電子圖像領域,例如遙感[1]、醫(yī)學成像[2]、生物識別[3]和智能監(jiān)控[4]等,因此近年來成為圖像處理和計算機視覺研究中的熱點之一。

一般情況下,圖像退化是從高分辨率圖像X得到一個低分辨率圖像Y的過程,可表示為Y=DHX+V,其中:D為未知的下采樣算子;H為模糊算子;V為附加噪聲。SR重建被視為上述圖像退化的逆過程。當前,基于不同的假設或LR圖像和HR圖像之間先驗知識的SR重建方法大致分為以下3類:①插值方法[5]。通過某點周圍若干個已知點的灰度值,以及周圍點和此點的位置關系,根據(jù)相應公式,算出該點的值。②重建方法[6]。這類方法通常都是基于多幀圖像的,需要結合先驗知識,包括凸集投影法(projection onto convex set, POCS)、貝葉斯分析方法、迭代反投影法(iterative back-projection, IBP)、最大后驗概率方法等。③基于學習的方法。該方法包括Example-based方法[7]、鄰域嵌入法[8]、支持向量回歸方法[9]、虛幻臉[10]、稀疏表示法[11]等。近幾年涌現(xiàn)了一些基于深度學習的方法[12-15],包括基于前饋深度網(wǎng)絡的方法、基于反饋深度網(wǎng)絡的方法以及基于雙向深度網(wǎng)絡的方法。

稀疏表示是SR重建算法中基于學習的一種算法,即用學習到的先驗知識來預測HR圖像塊和LR圖像塊之間的對應關系。信號稀疏表示的研究成果表明此類方法在實際應用中的魯棒性和適用性。文獻[11]首次基于壓縮感知理論，提出了基于稀疏編碼的圖像超分辨率重建方法(sparse coding super-resolution,SCSR),該算法時間損耗小且能達到不錯的重建效果,在人臉識別、行為識別和目標跟蹤等方面具有很好的性能。但稀疏表示獨立考慮圖像塊上的稀疏性,會導致重建圖像丟失局部結構和部分紋理信息。

在圖像SR重建時考慮局部結構,最早可以追溯到利用馬爾可夫網(wǎng)絡(Markov network) 學習LR和HR圖像之間的局部關系[16],但該算法依賴于大規(guī)模訓練集,泛化能力較弱。之后,文獻[17]將局部線性嵌入(locally linear embedding,LLE)引入SR圖像重建中,提出了基于近鄰嵌入的SR圖像重建算法。SCSR出現(xiàn)之后,為了更有效地提取稀疏信號,文獻[18]提出了群稀疏編碼算法,用字典中原子的組結構實現(xiàn)組字典約束以及平滑的稀疏表示。出于類似目的,研究者們利用拉普拉斯稀疏編碼(Laplacian sparse coding, LSc)[19]和保持局部結構稀疏編碼(local structure preserving sparse coding,LSPSc)[20],通過在標準稀疏編碼算法中添加相似性保留項,分別提出了用于圖像分類和圖像去噪的稀疏編碼算法,以混合稀疏編碼和局部性約束。

數(shù)字圖像塊中較小窗口內的圖像具有相似的幾何結構,為了能在稀疏表示的同時保持圖像紋理結構,必須將局部結構相似的特征嵌入到稀疏分解過程中,方能保持良好的空間位置信息。因此,本文將穩(wěn)定的局部空間流形結構引入稀疏量化中,提出基于局部結構相似與稀疏表示(local structural similarity and sparse representation, LSR)的SR圖像重建算法,使用一種保留局部相似結構的稀疏編碼公式來實現(xiàn)圖像SR重建。該算法不僅考慮了圖像塊間相似性的保留,而且考慮了非相似性的保留,并且比方向信息更好地模擬了圖像塊之間的交互,可以在更通用、更靈活的稀疏表示框架中處理SR圖像重建問題。

1 LSR超分辨率圖像重建

將所有樣本表示為X=[x1x2…xN]∈RP×N,字典矩陣(每列都是基向量)表示為B=[b1b2…bM]∈RP×M,稀疏系數(shù)矩陣(每列都是一個稀疏系數(shù)向量)表示為S=[s1s2…sN]∈RM×N。傳統(tǒng)的稀疏編碼考慮求解以下優(yōu)化問題:

s.t.‖bi‖2≤c,i=1,2,…,M

(1)

(1)式中的第1項是圖像重構誤差,第2項通過參數(shù)λ來控制稀疏表示S的稀疏性和重建誤差之間的平衡。其中常數(shù)c對字典B的基有一個范數(shù)約束,目的是將每個基的系數(shù)變化保持在同一水平。(1)式中的優(yōu)化問題通常是一個非確定性多項式(non-deterministic polynomial,NP)逆問題,因此常用L1懲罰項代替L0正則項來規(guī)范化稀疏編碼,得到:

s.t.‖bi‖2≤c,i=1,2,…,M

(2)

為了保留空間局部性信息,有必要將局部區(qū)域中圖像塊之間的結構關系作為有效的先驗知識合并到編碼過程中。LSR方法原理如圖1所示,在現(xiàn)有的流形學習方法中,局部線性嵌入假設每個數(shù)據(jù)點及其鄰域點都符合或接近于局部線性流形,并且可以從局部線性擬合中恢復全局非線性結構[21]。

圖1 LSR方法原理

受此啟發(fā),本文使用線性系數(shù)來表示圖像中塊的局部幾何結構,并通過線性系數(shù)從相鄰圖像塊的像素重構每個圖像塊,即

(3)

其中,W=[w1w2…wN]∈RK×N為圖像的局部流形結構矩陣。其元素wij滿足如下性質:對每個圖像塊xi,設Ωi={xi1,xi2,…,xiK}為它的空間K個最近鄰域,當xij?Ωi時,wij=0;當xij∈Ωi時,有

即

(4)

研究表明,內部圖像空間中局部鄰域的關系在相應的稀疏代碼空間中也保持[22]。為了更好地重建圖像紋理結構,保留空間局部性信息,本文將局部區(qū)域中圖像塊之間的結構關系編碼作為它們稀疏表示之間的結構關系,即

(5)

其中:si為圖像塊xi的稀疏表示;sij為xi鄰域圖像塊xij的稀疏表示。將(5)式代入(2)式,則基于局部結構相似與稀疏表示的編碼可記為:

(6)

其中,λ、γ均為正則化參數(shù)。(6)式的優(yōu)化問題主要從2個核心方面解決，即圖像鄰近相似結構權值矩陣W的計算以及稀疏表示矩陣S的優(yōu)化。

(1) 將對應于每個圖像塊的局部流形結構向量表示為wi=[wi1wi2…wiK]T,其元素wij表示從周圍圖像塊恢復其中心圖像塊的重建權重。在圖像空間中,從鄰域圖像塊{xij|j=1,2,…,K}到一個中心圖像塊xi的局部結構重建權重wi通過最小化重構誤差來計算，即

(7)

設e=[1 1 … 1]T,在約束條件eTwi=1下最小化損失函數(shù)是一個最小二乘約束問題。

令

Gi=[xi-xi1…xi-xiK]

(8)

則有

(9)

(10)

然后求解下式并重新調整權重以獲得最終所需要的解wi，即

(11)

(2) 將有效的先驗知識(表示為正則項)合并到編碼過程中:

(12)

滿足‖bi‖2≤c,i=1,2,…,M,c為約束常量,在文中設置為1。

求得稀疏表示S后,即可利用HR字典Bh和稀疏表示S重構出HR圖像X。此時獲得的HR圖像仍不滿足全局重建約束,還需進一步優(yōu)化:

(13)

其中,β為正參數(shù)。

對于固定字典本文提出的LSR算法總結為求解以下優(yōu)化問題:

(14)

其中:X=[x1x2…xN]∈RP×N為HR圖像;Y=[y1y2…yN]∈RP×N為LR圖像;si為X的第i個圖像塊xi的稀疏表示向量;Pi為圖像塊提取算子;ρ(X)為添加HR圖像先驗知識的懲罰項。

本文提出的基于局部結構相似與稀疏表示超分辨率圖像重建算法規(guī)納如下。

(2) 將LR圖像Y提取特征得到特征圖Y′。

(3) 對于Y′中每個圖像塊yi(i=1,2,…,m)執(zhí)行如下步驟:① 計算yi的平均像素值m,將每個像素減去m并做歸一化處理;② 通過(7)式求解圖像塊yi用其鄰域塊表示的權值wi;③ 通過(12)式求解稀疏表示系數(shù)si;④ 利用HR字典Bh和系數(shù)表示系數(shù)si重構HR圖像塊xi=Bhsi。

(4) 將圖像塊xi放入HR圖像X中,并通過(13)式的重建約束獲得最終的HR圖像X*。

輸出:SR圖像X*

2 實驗結果與分析

為驗證本文所提算法的有效性,對4幅LR的普通圖像進行實驗,實驗圖像如圖2所示。本文所做實驗均基于Intel(R) Core(TM) i7-8700 CPU @ 3.20 GHz 3.19 GHz 處理器在Matlab R2018b 環(huán)境下運行。將本文提出的LSR重建算法與稀疏表示SR重建方法進行視覺效果對比和客觀圖像質量測評算法對比。

圖2 測試圖像

實驗中,輸入LR圖像中使用大小為5×5的圖像塊,圖像塊選取步長為1。在色彩空間YCbCr中,因為人眼對光照亮度更加敏感,因此只針對Y空間使用本文算法進行重建,對于Cb、Cr空間使用雙三次插值算法重建。本文采用的字典訓練方法為文獻[11]提出的聯(lián)合字典訓練法,訓練的字典尺寸為1 024。

本文將提出的算法應用于一般圖像,如花朵、動物、紋理、遠景圖等。HR和LR字典是從互聯(lián)網(wǎng)收集的100 000個圖像塊對中訓練得到的。實驗中λ設置為0.2,γ設置為0.25,K設置為8。

2.1 視覺效果對比

4幅測試圖像分別在Bicubic插值算法、傳統(tǒng)稀疏表示SR重建算法和本文所提LSR重建算法下放大2倍的重建效果如圖3所示。分別用3種算法重建圖2c后的局部紋理細節(jié)對比如圖4所示?？梢钥闯?在視覺效果方面,與Bicubic插值算法和SR方法相比,LSR算法在保留圖像紋理和幾何結構方面均具有明顯優(yōu)勢,重建的圖像更加貼合原始清晰圖像。實驗過程中,存在一些圖像實驗效果不佳的現(xiàn)象,故本文所提方法對某些圖像的重建效果并不理想。

圖3 放大2倍后的重建效果

圖4 貓臉重建局部細節(jié)圖

2.2 客觀指標對比

本文采用的圖像客觀評價指標為峰值信噪比(peak signal to noise ratio, PSNR)、均方根誤差(root mean square error, RMSE)和結構相似性(structural similarity, SSIM)。

PSNR和RMSE的計算公式為:

PSNR=20lg(255/RMSE),

SSIM(X,X*)=L(X,X*)×

C(X,X*)S(X,X*),

表1 重建PSNR數(shù)值結果

表2 重建RMSE數(shù)值結果

表3 重建SSIM數(shù)值結果

3 結 論

本文提出了一種基于局部結構相似和稀疏表示的超分辨率圖像重建算法,通過添加局部結構約束項增加局部幾何結構相似性,更好地恢復紋理結構。實驗結果表明,針對圖像超分辨率重建問題,該算法較傳統(tǒng)稀疏表示算法有更好的重建效果,紋理細節(jié)重構得更加細膩,圖像整體恢復得更加自然。進一步研究工作是通過深入研究圖像局部結構相似性,實現(xiàn)更大縮放因子的圖像超分辨率重建。