倍增比自適應(yīng)的圖像超分辨率重建①

況奇剛,劉 浩,吳樂明,張鑫生,孫曉帆

(東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院,上海 201620)

超分辨率 (Super Resolution,SR)是將低分辨率(Low Resolution,LR)的圖像通過一定的算法提升到高分辨率 (High Resolution,HR).高分辨率圖像具有更高的像素密度、更多的細節(jié)信息、更細膩的畫質(zhì)[1].圖像超分辨率重建是指利用一幅或者一組低分辨率圖像序列構(gòu)建一幅高分辨率圖像.隨著圖像超分辨率處理研究的深入,越來越多的圖像重建算法被提出,但是這些算法卻很少涉及任意倍增比的圖像超分辨率技術(shù).機器視覺已可以識別清晰度很低的圖像,任意倍增比超分辨率技術(shù)具有越來越重要的意義.

1 序言

在在超分辨率重建中,HR圖像是利用LR圖像通過一定的算法來得到.如果按照技術(shù)手段來劃分,超分辨率重建可以分為以下三類:基于插值的方法、基于模型的方法、基于學(xué)習(xí)的方法.

基于插值的超分辨率重建方法簡單、快速,但容易產(chǎn)生模糊,效果較差.雙三次插值法(Bicubic)是不考慮邊緣的圖像處理算法,其算法簡單,然而重建的效果不好,重建圖像存在鋸齒效應(yīng)[2].基于模型的方法針對圖像的空間信息進行建模,在一定情況下能夠取得不錯的效果,隨著圖像尺寸的提高,其重建性能可能急劇下降,出現(xiàn)細節(jié)丟失、邊緣模糊等問題[3].

基于學(xué)習(xí)的超分辨率重建方法是目前研究的熱點和重點,這種方法是從大量的訓(xùn)練樣本集中獲取先驗知識來進行字典訓(xùn)練,因為加上了難以建模的先驗知識,其效果較好,但訓(xùn)練樣本的選擇非常重要[4].Yang等人提出了超分辨率重建的稀疏表示框架,其基本思想是低分辨率圖像塊和對應(yīng)的高分辨率圖像塊具有相同的稀疏表示系數(shù)[5].Zeyde等人在Yang的基礎(chǔ)上利用主成分分析進行降維和采取正交匹配追蹤算法進行稀疏編碼對其進行改進,使重建速度提高[6].Timofte等人則在Zeyde的研究基礎(chǔ)上提出錨定鄰域回歸(ANR)的方法,該方法在稀疏字典學(xué)習(xí)時結(jié)合鄰域嵌入方法,使用錨定鄰域回歸的方法將低分辨率圖像塊結(jié)合KSVD訓(xùn)練后的字典進行重建,取得了較好的高分辨率圖像[7].Timofte等人提出的全局回歸(GR)算法則是屬于ANR算法中的極端模式,全局回歸算法通過與預(yù)先計算的矩陣相乘來將超分辨過程轉(zhuǎn)換為將每個輸入特征投影到HR空間中,然而,這是一種全局性的解決方案,因此不針對特定的輸入特征,整個字典是訓(xùn)練圖像中所獲取特征的大致表示[8].

Jiang等人在錨定鄰域回歸(ANR)方法的基礎(chǔ)上,提出了一種稱為局部正則化錨定鄰域回歸(LANR)的快速圖像SR方法,應(yīng)用局部約束來選擇相似的字典原子,通過在學(xué)習(xí)簡單回歸函數(shù)之前引入這種靈活性,所提出的方法能夠快速生成具有銳利邊緣和豐富紋理的自然外觀結(jié)果[9].Jiang等人在LANR方法的基礎(chǔ)上提出了一種新的局部正則化錨定鄰域回歸非局部均值(LANR+NLM)的圖像SR方法,并根據(jù)其與輸入LR的相關(guān)性為每個字典原子賦予不同的自由度[10].盡管圖像超分辨率重建是近年來的研究熱點,但是仍然還存在一些挑戰(zhàn)性的問題[11].

傳統(tǒng)的圖像超分辨技術(shù)一般只能處理較小的放大倍數(shù),難以處理較大的放大倍數(shù).一般情況下,當(dāng)圖像倍增比大于4時,首先圖像質(zhì)量開始有所降低,隨之導(dǎo)致的結(jié)果就是圖像過于平滑,缺少很多細節(jié)上的真實感,使得肉眼難以辨別圖像.對于日益興起的機器視覺,任意倍增比圖像處理的研究卻顯得十分必要.我們在采用Yang等人的算法和Zeyde等人的算法進行圖像重建處理后,發(fā)現(xiàn)當(dāng)倍增比大于4時,算法便無法再執(zhí)行下去.為了研究現(xiàn)有圖像超分辨率算法對于任意倍增比的性能,在經(jīng)過大量實驗之后,本文選取Bicubic、GR、ANR、LANR 以及LANR+NLM五種代表性的算法,分析比較它們在任意倍增比中圖像超分辨率處理的性能.

2 任意倍增比的分析

本節(jié)所采用的圖像分別為常用的barbara、comic、zebra,在現(xiàn)有的五種圖像超分辨率重建算法中,依次進行倍增比從2到16的實驗.我們在大量測試后發(fā)現(xiàn),在一定倍增比范圍內(nèi),倍增比越大最終恢復(fù)的圖像質(zhì)量越低;并且對于高倍增比圖像的恢復(fù),越大的倍增比不同算法處理圖像的結(jié)果趨于一致.我們利用各種算法進行了2～16任意倍增比的圖像超分辨率處理,在不考慮處理時間的基礎(chǔ)上,針對重建圖像質(zhì)量結(jié)果,做出了如圖1所示三種圖像在任意倍增比(次數(shù))下的局部放大折線圖.可以看出,在低倍增范圍內(nèi),LANR+NLM算法處理圖像的優(yōu)勢更明顯,圖像質(zhì)量更高,并且在低倍增范圍內(nèi),隨著倍增比增大,圖像質(zhì)量下降得比較明顯;但是隨著倍增比的增大,特別是在高倍增比下,這五種算法在處理任意倍增圖像超分辨率開始趨于一致,圖像質(zhì)量下降趨于平緩.由圖中數(shù)據(jù)可以看出LANR+NLM算法的優(yōu)勢已經(jīng)逐漸失去,并且在圖像質(zhì)量方面已經(jīng)和LANR算法相同,說明LANR+NLM算法在達到一定倍增比時,算法處理性能基本和其它算法一致,并且質(zhì)量下降程度也較明顯.通過局部放大圖可以看出,在倍增比到達10～12之后,GR算法的優(yōu)勢開始逐漸顯示出來,并且隨著倍增比增大,由GR處理的圖像質(zhì)量相比與其它方法具有越來越明顯的優(yōu)勢.從表1、表2、表3給出的數(shù)據(jù)中可以看出,在低倍增范圍內(nèi),LANR+NLM有著很明顯的優(yōu)勢,但是在高倍增范圍內(nèi),LANR+NLM算法對圖像超分辨率處理有著很明顯的缺陷,而GR算法很明顯更適合進行超分辨率的高倍增比處理.對于Barbara重建圖像,圖2給出了在倍增比為12時不同算法的主觀質(zhì)量比較.

表3 Zebra 圖像的重建質(zhì)量 PSNR(dB)

3 任意倍增下的算法機制分析

根據(jù)第2節(jié)的實驗結(jié)果,本文算法將選取并結(jié)合全局回歸(GR)以及局部正則化錨定鄰域回歸非局部均值(LANR+NLM)的兩部分機制.

3.1 全局回歸機制

近鄰嵌入的方法就是為了降低圖像超分辨率重構(gòu)的時間復(fù)雜度和存儲需要,近鄰嵌入假設(shè)低分辨率塊和高分辨率塊在低維空間具有相似的局部紋理,而全局回歸的機制就是為每個輸入塊計算其在字典中的最近鄰元素,只是用近鄰的字典元素而不是整個字典,在訓(xùn)練的低分辨率圖像塊中尋找K個近鄰,將K個近鄰進行線性組合,大大降低了計算復(fù)雜度和重構(gòu)時間.所以在圖像處理倍增數(shù)增大時,相比于其他算法思想,能夠很大程度上恢復(fù)圖像.

圖2 倍增比為 12 時 barbara 的重建圖像

最小二乘法是使用l1范數(shù)進行約束或者正則化,所以這對計算的要求很高.基于這個問題,我們將問題重新定義為將l2范數(shù)用來調(diào)整最小二乘回歸方法.因此,若采用具有封閉形式的鄰域回歸來解決這個問題,則問題將變?yōu)?

其中,Nl對應(yīng)于用來解決該問題中LR空間的鄰域,這在鄰域嵌入的情況下將涉及特征y的K個最近鄰域,并且在稀疏編碼的情況下將涉及LR訓(xùn)練字典.參數(shù)λ能夠解決奇點問題并求出穩(wěn)定解,即系數(shù)向量β.而代數(shù)解由下式給出:

隨后,可以使用高分辨率鄰域中相同的系數(shù)Nh來計算HR:

其中,x是HR的輸出結(jié)果,并且Nh是對應(yīng)于Nl的HR鄰域.從上述分析可知,全局回歸機制適合于恢復(fù)整體框架,在高倍增超分的圖像處理性能方面較好.

3.2 局部正則化錨定鄰域回歸

在ANR中,訓(xùn)練字典的每個元素都被認為是LR空間中的一個錨點.每個錨點都關(guān)聯(lián)一個映射函數(shù).與稀疏編碼方法相比,ANR并不是考慮整個字典,而是偏向于在LR字典的局部鄰域中學(xué)習(xí):

局部正則化錨定鄰域回歸模型考慮了訓(xùn)練數(shù)據(jù)的非局部冗余和局部幾何機構(gòu),并采用這兩種先驗方式來處理不確定的SR重建問題.通過引入非局部冗余,對SR的魯棒特性進行預(yù)估.由于在自然圖像中經(jīng)常出現(xiàn)許多重復(fù)的圖案,可以利用局部幾何的數(shù)據(jù)空間,這種非局部冗余對于提高重建圖像的質(zhì)量非常有幫助,尤其是在低倍增圖像處理中,處理的效果更優(yōu).因此將非局部均值NLM納入該模型中作為補充正規(guī)則化.

基于以上考慮,首先應(yīng)用局部幾何的信息,通過調(diào)整斑塊來表示,以漸變像素為基礎(chǔ)進行預(yù)測目標斑塊.然后利用NLM濾波器來改善圖像超分辨率處理的結(jié)果.所以該模型包括了兩個步驟:學(xué)習(xí)字典中每個錨點的斑塊表示(即投影矩陣),并通過NLM濾波器確定結(jié)果.因此正則化最小二乘解可以通過分析推導(dǎo)出來:

其中,U是K×K對角矩陣:

這就是局部正則化錨定鄰域回歸的機制.從上述分析可知,鄰域回歸機制適合于恢復(fù)圖像細節(jié),對低倍增超分的圖像處理性能較好.

4 倍增比自適應(yīng)策略

為了提高任意倍增比下圖像超分辨率處理的性能,本文選定全尺度質(zhì)量總和Q為度量標準,并以在任意倍增比下的Q大小作為評判準則,通過各種算法的PSNR和Q值來評判其在任意倍增比中處理超分辨率圖像的優(yōu)劣性.通過累計在各種倍增比下的圖像質(zhì)量峰值信噪比,全尺度質(zhì)量總和Q定義如下:

式中,PSNR(k)為任意倍增比中峰值信噪比的值,k為任意倍增比,X表示最大的倍增比.通過計算比較這五種算法在任意倍增比中Q的值,可以得出這五種算法在任意倍增比中均有局限性,并不能達到圖像處理的最優(yōu)化.假設(shè)n為某一給定的倍增比,在分別計算倍增比n與n–1時的圖像質(zhì)量PSNR值之后,本文采用α表示倍增比n與n–1時PSNR的差,α值越小表明同一種算法中隨著倍增比的增大,處理圖像質(zhì)量接近,其性能增益愈發(fā)不明顯.通過上述數(shù)據(jù)統(tǒng)計測試圖像在任意倍增比中α,隨著倍增比的增加,倍增比為n和n–1時的α值越來越小并趨于0,能夠推斷隨著倍增比的增加,倍增比為n和n–1時的處理圖像質(zhì)量越來越相似.通過計算 α 值的大小,在倍增比達到 12 之后,α值為0,可以得出此時LANR算法以及LANR+NLM算法所處理的圖像趨于一致.β代表不同算法中同一倍增比k情況下Q的差,β越大表明,相同倍增比k下,不同算法處理性能差距越大.通過計算β可以得出而在一定倍增比范圍內(nèi),LANR+NLM算法所恢復(fù)的圖像質(zhì)量遠高于其它算法,其圖像恢復(fù)質(zhì)量高,性能較好,而GR在倍增比達到一定程度后,處理圖像質(zhì)量相比于其它有著明顯的優(yōu)勢.

本文提出了一種倍增比自適應(yīng)圖像重建(SAR)算法,有效融合了上述兩種圖像處理機制各自的優(yōu)點.為了能夠在圖像超分辨率任意倍增比中達到最優(yōu)的效果,本文所提SAR算法的目標是保證在任意的倍增比處理中圖像質(zhì)量均處于最好的狀態(tài),讓高分辨率圖像更加真實,便于自主學(xué)習(xí).在本文中,閾值q是指進行超分辨率兩種機制切換時的倍增比.為了做到倍增比自適應(yīng),達到處理圖像的最優(yōu)化,必須確定選取一個合適的q值:無論過大或者過小,都會導(dǎo)致圖像質(zhì)量下降明顯.

為了確定閾值q,將LANR+NLM以及GR算法的Q通過擬合曲線表達出來.這里定義γ表示Q在任意倍增比中的斜率,γ值表示的是Q在任意倍增比中的增加速度,通過比較γ的大小來確定閾值q的范圍,從而保證Q在任意倍增比中均處于較大值.從表4給出的數(shù)據(jù)可初步確定q值范圍在10～12之間,然后通過實驗仿真,所提SAR算法測試了這三種q值,通過分析不同q值的性能,在所選取全局回歸機制以及局部正則化錨定鄰域回歸機制,通過比較其Q值后發(fā)現(xiàn),q取10的情況下可以達到性能的最優(yōu)化,即當(dāng)倍增比小于等于10時,所提SAR算法選取局部正則化錨定鄰域回歸機制進行圖像超分辨率重建,當(dāng)倍增比大于10,自動切換為全局回歸機制進行圖像超分辨率重建.在這種SAR算法下,作為評判準則的Q將在任意倍增比中始終處于較大值,圖像恢復(fù)的總體性能最優(yōu).

表4 GR 和 LANR+NLM 算法Q的斜率γ

5 實驗結(jié)果

為了測試本文所提算法的主觀質(zhì)量和客觀質(zhì)量,本節(jié)采用MATLAB作為測試平臺,另外選取了廣泛使用的測試圖像:baby、bird、 butterfly、head、woman作為數(shù)據(jù)集,以驗證算法對其它尺寸圖像也具有相同效果,所選取圖像具有不同大小的尺寸,閾值q選取為10,也即是在倍增比為10時,將自動切換為全局回歸機制.在任意倍增比下,確保圖像處理質(zhì)量最優(yōu).客觀方面通過峰值信噪比對算法進行評估.PSNR越大,說明圖像恢復(fù)得越好.表1、表2、表3顯示了不同算法在任意倍增比下的處理結(jié)果,從中可以看出,隨著倍增比的增大,其圖像質(zhì)量下降速度有所減慢.Bicubic算法的恢復(fù)圖像質(zhì)量是最低的,相比與其它算法有很大的差距,其實用性較差,而GR算法雖然在低倍增比中處理圖像性能較差,可是當(dāng)倍增比高于10之后,其算法在高倍增比環(huán)境下圖像處理性能加強,其圖像質(zhì)量也是最高的.ANR 算法處理圖像在質(zhì)量方面一般,但是在任意倍增比中其性能比較穩(wěn)定,LANR+NLM算法在低倍增比范圍內(nèi),其圖像處理性能是最好的,圖像質(zhì)量也是最高的,但是隨著倍增比增大,LANR+NLM算法在圖像處理方面與LANR算法趨于一致,并且不如GR算法.表5顯示的是三種算法在不同圖像下全尺度質(zhì)量總和Q,其Q值越大,表示在全尺度范圍內(nèi)算法性能越好.如表5所示,對于本文所提SAR算法,在不同圖像下,Q值雖然在全尺度范圍內(nèi)不能持續(xù)保持最大,尤其在baby圖像中稍有不足,但總體而言Q值始終處于較大的情況,在全尺度倍增比下圖像超分辨率處理的總體性能最好.

表5 不同圖像下三種算法的圖像全尺度質(zhì)量總和Q比較

6 結(jié)論

本文通過對傳統(tǒng)圖像超分辨率重建方法在任意倍增比下進行圖像處理,在大量實驗分析后提出了一種倍增比自適應(yīng)的圖像超分辨率重建算法,通過統(tǒng)計學(xué)習(xí)設(shè)定合適的閾值,在任意倍增比中適時地轉(zhuǎn)換圖像處理算法,以提高圖像處理的總體性能.實驗結(jié)果顯示,所提SAR算法在全尺度倍增比中,所處理的圖像獲得了更好的整體重建質(zhì)量.