融合低秩和稀疏表示的圖像超分辨率重建算法

宋長明, 王赟

(中原工學(xué)院理學(xué)院, 451191, 鄭州)

圖像分辨率可以理解為圖像的可分辨能力,通過升級成像設(shè)備的硬件可以得到更高分辨能力的圖像。但是,設(shè)備升級技術(shù)突破困難,生產(chǎn)代價(jià)高,并且升級后設(shè)備的成像仍然易受環(huán)境影響,因此常采用超分辨率(super-resolution,SR)重建算法來提升圖像的分辨能力。從1幅或多幅退化的低分辨率(low-resolution,LR)圖像得到高分辨率(high-resolution,HR)圖像的圖像處理算法,稱為圖像超分辨率重建算法。

當(dāng)前,圖像超分辨率重建主要利用基于插值、重建和學(xué)習(xí)的3類算法?；诓逯档乃惴ㄈ蝿?wù)量小,直觀且易于實(shí)施,其中雙三次插值利用采樣點(diǎn)4×4鄰域內(nèi)16個(gè)已知像素點(diǎn)的灰度值來估計(jì)采樣點(diǎn)的灰度值[1];用Lanczos插值算法計(jì)算像素值的權(quán)重信息,重建效果良好[2]。但是,基于插值的算法沒有充分利用圖像的高頻信息,重建的圖像會出現(xiàn)邊緣、紋理缺失,存在明顯的塊效應(yīng)?；谥亟ǖ乃惴尤肓藞D像的先驗(yàn)信息來指導(dǎo)建模重建,代表性的方法有迭代反投影法(IBP)、最大后驗(yàn)概率法(MAP)和凸集投影法(POCS)等[3],其中最大后驗(yàn)概率算法利用統(tǒng)計(jì)模型描述圖像的紋理分布,提升了重建的效率,具有較好的穩(wěn)定性,但卻依賴于圖像的先驗(yàn)信息,重建圖像的紋理過于平滑,收斂速度慢,難以用于實(shí)時(shí)操作。基于學(xué)習(xí)的算法利用學(xué)習(xí)到的高、低分辨率圖像間的特征映射關(guān)系建模重建,最早由Freeman提出,通過在馬爾科夫隨機(jī)場內(nèi)建模,可以重建出更多的高頻細(xì)節(jié),但是計(jì)算負(fù)擔(dān)大,效率低[4-5]。2004年,Chang等結(jié)合流形的相關(guān)理論,提出了基于鄰域嵌入的超分辨率算法,克服了對樣本的依賴[6]。2008年,Yang等以低分辨圖像作為先驗(yàn)約束,充分利用了圖像間的結(jié)構(gòu)和內(nèi)容信息,提出了基于稀疏編碼的圖像超分辨率重建(ScSR)算法,重建效果更好,被廣泛推廣與應(yīng)用[7]。近年來,許多學(xué)者對基于學(xué)習(xí)的重建算法進(jìn)行了大量研究,例如:侯興松等在方向提升小波變換域進(jìn)行稀疏濾波,有效消除了壓縮感知中的混疊干擾[8];郝雯潔等采用了子半閾值迭代算法,使稀疏重建性能更加魯棒[9];Dong等對圖像進(jìn)行了非負(fù)稀疏編碼,符合實(shí)際應(yīng)用的要求[10];Huang等提出了非局部低秩正則化重建模型,充分利用了圖像的非局部自相似性[11]。

本文主要研究含有噪聲圖像的超分辨率重建,為了避免直接重建的不穩(wěn)定性,采用多層串聯(lián)方案[12]來逐層提升圖像的質(zhì)量。針對圖像SR重建算法效率低、易受退化噪聲影響的問題,結(jié)合低秩矩陣恢復(fù)與稀疏重建理論對退化圖像首先進(jìn)行低秩恢復(fù),得到低秩和稀疏部分,然后對低秩部分利用稀疏重建理論重建。對退化圖像低秩恢復(fù)后再重建,一是排除了圖像噪聲對于重建過程的影響,二是提升了算法的效率。實(shí)驗(yàn)結(jié)果表明,本文算法在運(yùn)行速度和峰值信噪比方面均效果良好。

1 基于稀疏表示的超分辨率重建理論

圖像的超分辨率重建與其退化過程相逆。將圖像的退化模型化:假設(shè)X為高分辨率圖像,則對應(yīng)的低分辨率圖像可表示為

Y=SHX

(1)

式中:S是降采樣矩陣;H是模糊矩陣[13]。

對于高分辨率圖像塊x,在由高分辨率圖像樣本訓(xùn)練得到的過完備字典Dh下有最稀疏表示α,則對于低分辨率圖像塊y,有

y=SHx=SHDhα=Dlα

(2)

式中Dl=SHDh為低分辨率字典。式(2)說明,高、低分辨率圖像塊在對應(yīng)的過完備字典下稀疏表示相同。因此,在重建階段,對于退化圖像塊y,求解下述優(yōu)化問題

min‖α‖0, s.t.‖y-Dlα‖0≤δ

式中δ為預(yù)先設(shè)定的稀疏表示誤差。得到上述優(yōu)化問題的解α后,利用Dh就能重建出高分辨率圖像塊。采用拉格朗日乘子法求解,即

(3)

上述重建理論成立的基礎(chǔ)是高、低分辨率圖像塊在對應(yīng)過完備字典對下的稀疏表示相同,因此要求Dh與Dl尺寸相同[7]。

2 融合低秩和稀疏表示的超分辨率重建理論

2.1 圖像低秩恢復(fù)理論

低秩矩陣恢復(fù)是繼數(shù)據(jù)的稀疏表示后一種重要的數(shù)據(jù)獲取和表示方式。對于數(shù)據(jù)Xn×n=[x1,x2,…,xn],xi∈Rn,可以被字典A=[a1,a2,…,am]的原子線性表出[14],即

X=AZ

式中Z=[z1,z2,…,zm]為X在字典A下的表示系數(shù),字典A通常是過完備的。在特定情況下,低秩矩陣恢復(fù)和稀疏表示等價(jià),此時(shí)上式即為在某些特定的字典下求解數(shù)據(jù)的稀疏表示。稀疏表示可能無法捕捉到數(shù)據(jù)X的整體結(jié)構(gòu),因此我們轉(zhuǎn)而求解下述優(yōu)化問題

模型的解Z為X在字典A下的低秩表示。上述模型計(jì)算量大,求解困難,可通過松弛得到如下等價(jià)優(yōu)化問題

式中‖·‖*為矩陣的核范數(shù)。取矩陣X作字典,從而有

其中X的元素可以當(dāng)作自身的低秩表示。通常得到的圖像受到噪聲等因素的影響,需要放松上述模型中的等式約束,即

(4)

得到優(yōu)化問題(4)的解(Z*,E*)后,通過X-E或者XZ*即可恢復(fù)出原始的數(shù)據(jù)X[15]。

因?yàn)閞ank(XZ)≤min(rank(X),rank(Z)),所以簡稱XZ為低秩部分,E為稀疏部分。低秩部分包含了圖像的大部分信息,稀疏部分主要是一些高頻細(xì)節(jié)信息。

2.2 算法的提出

現(xiàn)實(shí)得到的圖像會受到噪聲的污染,因此式(1)圖像的退化模型應(yīng)該修改為

Y=SHX+n

(5)

式中n為噪聲[16]。此時(shí)式(2)不再成立,對于包含少量信息的低分辨率圖像塊,為避免冗余字典的出現(xiàn),應(yīng)該選用較少原子的字典來表示,因此放松約束,不再要求高低分辨率字典原子數(shù)目相同。假設(shè)Dl為欠完備字典,Dh為過完備字典,在此假設(shè)基礎(chǔ)上,Peleg構(gòu)建了一個(gè)基于稀疏表示的統(tǒng)計(jì)預(yù)測模型(SPBSR)來實(shí)現(xiàn)單幅圖像的超分辨率重建[17]。

假設(shè)αh、αl為高、低分辨率圖像的稀疏表示,sh、sl為對應(yīng)的稀疏表示模式,其中

(6)

λ是滿足

的最大閾值,其中τ是預(yù)先指定的稀疏表示精度。在給定sl和αl的情況下,有

(7)

式中:bh∈Rmh是高分辨率稀疏模式的偏差向量;whl∈Rmh×ml是高低分辨率稀疏模式間的互動矩陣;Φ(z)=(1+exp(-2z))-1是激活函數(shù)。

進(jìn)一步,在給定sl和αl時(shí)使用最小均方差估計(jì),有

(8)

綜合上述分析,本文給出一種新的圖像超分辨率重建算法。首先,對退化圖像Y進(jìn)行低秩恢復(fù),得到低秩部分L和稀疏部分S,即Y=L+S。然后,對于低秩部分,采用上述預(yù)測模型進(jìn)行稀疏重建,這里低分辨率字典Dl為欠完備字典,高分辨率字典Dh為過完備字典,不需要高、低分辨率字典尺寸相同。相比HR圖像,LR圖像在退化過程中丟失了大量細(xì)節(jié)信息。為了確保重建模型的穩(wěn)定性,本文采用多層串聯(lián)算法來逐步提升圖像的質(zhì)量。Bagon提出的M級放大因子序列為1

重建模型的每一層與基本算法形式相同。在訓(xùn)練階段,從HR圖像生成一串質(zhì)量遞增的圖像,使用雙三次濾波,并設(shè)置降采樣因子為如下序列

q/q1>q/q2>…>q/qM=1

來得到一個(gè)M層的圖像金字塔,接著進(jìn)行雙三次插值處理,將圖像恢復(fù)到原始尺寸。對訓(xùn)練樣本的HR圖像使用標(biāo)準(zhǔn)差序列為

σ1=σ/q1>σ2=σ/q2>…>σM-1=σ/qM>σM=0

的高斯濾波,得到一組模糊圖像。

2.3 融合低秩和稀疏表示的超分辨率重建算法

綜合上述分析,本文提出融合低秩和稀疏表示的圖像超分辨率重建算法如下:

輸入:低分辨率圖像zl,放大倍數(shù)q,模型參數(shù)Dl、Dh、Chl、bh、whl通過線下學(xué)習(xí)得到

步驟:

(1)對zl進(jìn)行低秩恢復(fù)(low rank represent,lrr)得到[a,b]=lrr(zl,0.01);

(2)對zl進(jìn)行q倍雙三次插值得到y(tǒng)l,其中zl=zl·a;

3 實(shí) 驗(yàn)

實(shí)驗(yàn)在Intel Core i5-4200U 2.53 GHz計(jì)算機(jī)、Matlab R2016b軟件環(huán)境下進(jìn)行。實(shí)驗(yàn)設(shè)置重建環(huán)境為大小5×5、標(biāo)準(zhǔn)差1.5的高斯濾波,降采樣因子為3,噪聲為Matlab中imnoise函數(shù)產(chǎn)生的高斯噪聲,均值為0,方差為0.01。

現(xiàn)實(shí)環(huán)境中得到的圖像通常都會有一定的噪聲污染。以雙三次插值算法為例,選用lena圖像和foreman圖像,分別在無噪聲和使用Matlab的imnoise函數(shù)添加的均值為0、方差為0.01的噪聲環(huán)境下進(jìn)行對比實(shí)驗(yàn),表1記錄了重建圖像的峰值信噪比(用Rsn,peak表示),圖1給出了SPBSR算法重建性能的直觀顯示。

表1 插值重建性能

由表1可知,在噪聲環(huán)境下重建圖像的峰值信噪比大幅下降,同時(shí)圖1也表明,插值算法重建出的圖像趨于模糊,丟失了部分細(xì)節(jié)信息,并且在噪聲環(huán)境下算法的性能退化更加劇烈,說明噪聲極大地影響了算法的重建性能。

(a)原始圖像 (b)無噪聲插值重建圖像

(c)含噪聲圖像 (d)含噪聲插值重建圖像圖1 圖像插值重建性能對比

為了抑制圖像噪聲對重建過程的影響,對于待重建圖像zl,首先進(jìn)行低秩恢復(fù)得到低秩和稀疏部分。從低秩恢復(fù)的模型出發(fā),E為稀疏矩陣,包含圖像的部分高頻信息,因?yàn)樵肼曇彩歉哳l信息,所以會被吸收到E中。以foreman圖像為例,低秩恢復(fù)的直觀效果如圖2所示。

(a)原始圖像 (b)低秩恢復(fù)圖像(λ=0.15)圖2 foreman圖像低秩恢復(fù)示意圖

圖2表明,低秩恢復(fù)的圖像視覺效果更好,因此將低秩恢復(fù)操作融合到圖像的超分辨率重建是合理可行的。首先,對待重建的低分辨率圖像zl進(jìn)行低秩矩陣恢復(fù),得到低秩部分和稀疏部分;然后,將低秩部分插值重建到原始圖像尺寸,利用學(xué)習(xí)到的高低分辨率字典對進(jìn)行稀疏重建,得到最終的重建圖像。為了比較重建算法的優(yōu)劣,選用lena、butterfly、pepper、foreman、pens圖像,分別采用雙三次插值、ScSR、MSPB[18]和SPBSR算法進(jìn)行對比實(shí)驗(yàn),并選用峰值信噪比作為客觀評價(jià)指標(biāo),實(shí)驗(yàn)結(jié)果見表2,各算法重建性能的直觀對比見圖3(為了比較算法的性能,放大了圖像的部分細(xì)節(jié)信息)。

表2 不同算法的重建性能對比

(a)雙三次插值 (b)ScSR算法 (c)MSPB算法

(d)SPBSR算法 (e)本文算法 (f)原始圖像圖3 不同算法重建圖像的視覺效果展示

由表2可以看出,本文算法的性能最優(yōu),具有最高的峰值信噪比,說明在噪聲環(huán)境下對低分辨率圖像進(jìn)行低秩恢復(fù)操作是切實(shí)有效的。由圖3可以看出:雙三次插值重建對圖像噪聲幾乎沒有作用,重建結(jié)果相當(dāng)模糊,缺失了大量的高頻細(xì)節(jié)信息;ScSR算法對噪聲有一定的抑制,較之于插值算法性能有所提升,重建出了原始圖像的大部分信息,但是重建圖像的邊緣不夠清晰,有些模糊;MSPB算法的重建圖像對于噪聲的抑制作用明顯,但是重建出的圖像帶有陰影,影響了視覺效果;SPBSR算法的重建圖像具有不錯(cuò)的細(xì)節(jié)信息,不再趨于模糊,但是顆粒感強(qiáng)烈,影響視覺;本文算法加入了低秩恢復(fù)操作,提升了算法對噪聲的抑制作用,因此重建圖像邊緣清晰,視覺效果更好。

由表2還可以看出,MSPB算法和本文算法的性能相近。為了進(jìn)一步比較各種算法的性能,對比了各算法的運(yùn)行時(shí)間,見表3,可知本文算法與SPBSR算法耗時(shí)相近;MSPB算法耗時(shí)最多,是本文算法的十多倍;ScSR算法耗時(shí)次之,是本文算法的5倍左右;雙三次插值算法耗時(shí)最少。盡管MSPB算法與本文算法性能相近,但考慮其運(yùn)行效率的限制,不具備實(shí)時(shí)性;雙三次插值雖然運(yùn)行效率最高,但其重建性能低下;SPBSR算法與本文算法的運(yùn)行效率相近,但其重建性能不如本文算法。

表3 不同算法的圖像重建時(shí)間對比

為了達(dá)到更好的重建效果,對于低秩恢復(fù)操作取不同的λ值進(jìn)行對比實(shí)驗(yàn),結(jié)果見表4,可知λ=0.01時(shí)效果最好。表5給出了本文算法與SPBSR算法的性能比較結(jié)果。

表5 本文算法性能提升統(tǒng)計(jì)

表3的數(shù)據(jù)表明,加入低秩恢復(fù)操作后,本文算法的運(yùn)行時(shí)間減少,并且算法性能也有提升。但是,由于圖像的邊緣、紋理等細(xì)節(jié)信息與噪聲同屬高頻信息,因此稀疏部分同時(shí)包含有原始圖像的部分高頻信息,并且這部分信息沒有被用來重建原始圖像。圖2證實(shí)了這一情況:原圖背景中的一些黑色斑點(diǎn)在進(jìn)行低秩恢復(fù)操作時(shí)沒有被恢復(fù)出來,而是被當(dāng)作污染去除了,因?yàn)榈椭然謴?fù)的目的就是從受到污染的數(shù)據(jù)中恢復(fù)出干凈的數(shù)據(jù)。以Child圖像為例,低秩恢復(fù)的視覺效果如圖4所示。為了方便顯示,稀疏部分進(jìn)行了對比度增強(qiáng),可以看出其中包含有很多的細(xì)節(jié)信息,而這部分信息對于超分辨率重建是至關(guān)重要的,因?yàn)槌直媛手亟ǖ年P(guān)鍵就是重建原始圖像丟失的高頻信息。

(a)原始圖像 (b)低秩恢復(fù)圖像

(c)稀疏圖像圖4 低秩恢復(fù)誤差顯示

以parrots圖像為例,將原始圖像與重建圖像的視覺效果進(jìn)行對比,如圖5所示,可見重建圖像的背景也趨于模糊,同時(shí)重建圖像的邊緣不夠清晰。圖像重建算法的優(yōu)劣,由重建出的信息量決定。從圖4可以看出,低秩恢復(fù)操作得到的稀疏部分除了噪聲外,還含有原始圖像的一些邊緣細(xì)節(jié)信息,將這些高頻信息加入到重建過程,將會進(jìn)一步提升算法的重建性能。

(a)原始圖像 (b)重建圖像圖5 parrots重建圖像與原始圖像對比

4 總 結(jié)

針對圖像超分辨率重建算法收斂速度慢、易受退化圖像噪聲影響等問題,本文將低秩矩陣恢復(fù)與稀疏表示相結(jié)合,提出了一種新的圖像超分辨率重建算法。對于待重建的退化圖像,首先進(jìn)行低秩恢復(fù),得到含有原始圖像大部分信息的低秩部分和主要由噪聲組成的稀疏部分,然后對低秩部分利用學(xué)習(xí)到的高低分辨率字典對進(jìn)行稀疏重建。對退化圖像進(jìn)行低秩恢復(fù)后再重建,一是抑制了圖像噪聲對重建過程的影響,二是提升了算法的效率。實(shí)驗(yàn)結(jié)果表明,本文算法不僅在運(yùn)行速度上得到了提升,而且圖像的視覺效果更佳,更加清晰,相比SPBSR算法,本文算法的峰值信噪比指標(biāo)平均提高了4 dB。