基于張量低秩和TV正則化的圖像超分辨率重建

劉小花 唐貴進(jìn)

摘要：由于低秩先驗(yàn)?zāi)軌蛴行У貙W(xué)習(xí)圖像數(shù)據(jù)的冗余和數(shù)據(jù)的全局結(jié)構(gòu)，因此低秩約束在矩陣填充中得到廣泛應(yīng)用。以往的研究表明，低秩約束對(duì)張量恢復(fù)具有顯著影響，這些工作往往通過(guò)Tucker秩解決，然而Tucker秩不能捕獲張量的內(nèi)在相關(guān)性。提出一種新的基于張量鏈秩1（Tensor-TrainRank-1，TTRl）分解的逼近張量核范數(shù)的鄰近算子。低秩約束能夠很好地捕獲數(shù)據(jù)的全局結(jié)構(gòu)，但不能利用可視化數(shù)據(jù)的局部平滑性，因此提出將張量低秩和全變分（total variation，Tv）正則化相結(jié)合的超分辨率（super-resolution，SR）重建方法，充分利用圖像冗余性、全局結(jié)構(gòu)信息和圖像局部平滑性，實(shí)現(xiàn)圖像的SR重建。實(shí)驗(yàn)結(jié)果表明，相比于Tucker低秩和Tv正則化模型（LRTv-sR），該方法在峰值信噪比指標(biāo)上平均提高了0.2dB，充分驗(yàn)證了基于TTRl分解的張量低秩約束在超分辨率重建中更能保留彩色圖像的全局結(jié)構(gòu)特性。

關(guān)鍵詞：張量低秩;全變分;超分辨率重建

DOI：10.11907/rjd k.192112

中圖分類號(hào)：TP317.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）012-0187-05

0引言

圖像超分辨率（super-resolution，SR）重建目的是從一幅或多幅低分辨率（low resolution，LR）圖像中重建高分辨率（high resolution，HR）圖像，以獲得圖像中的更多細(xì)節(jié)，主要應(yīng)用于遙感成像、醫(yī)學(xué)診斷及智能監(jiān)控等方面。SR問(wèn)題本質(zhì)上可以轉(zhuǎn)化為圖像退化過(guò)程的逆問(wèn)題，但其本質(zhì)是不適定的，即存在多幅HR圖像可以通過(guò)降采樣生成相同的LR圖像。因此，要從LR圖像中獲得高質(zhì)量的HR圖像，通常會(huì)在圖像重建過(guò)程中引入圖像的先驗(yàn)知識(shí)作為約束條件，以得到更優(yōu)解。

現(xiàn)有圖像超分辨率重建方法一般分為基于插值的SR方法、基于重構(gòu)的圖像SR方法以及基于學(xué)習(xí)的圖像SR方法3類，其中基于插值的SR（例如經(jīng)典雙線性插值、雙立方插值（Bicubic Interpolation，BI）和邊緣引導(dǎo)插值方法，）利用基函數(shù)或插值核估計(jì)HR網(wǎng)格中的未知像素。雖然這些方法非常簡(jiǎn)單快捷，但很容易模糊高頻細(xì)節(jié)，因此可能導(dǎo)致HR重建圖像中出現(xiàn)明顯的模糊邊緣和不清晰的紋理等失真現(xiàn)象。近年來(lái)，為了約束重建過(guò)程以提高SR性能引入了許多先驗(yàn)知識(shí)，其中全變分（total variation，TV）平滑先驗(yàn)方法得到廣泛應(yīng)用，主要是由于其具有凸性、對(duì)圖像移位和旋轉(zhuǎn)的不變性以及保持邊緣的能力。

基于學(xué)習(xí)的超分辨率重建方法基本原理是：先構(gòu)建高/低分辨率圖像樣本庫(kù)，然后利用機(jī)器學(xué)習(xí)理論離線學(xué)習(xí)高，低分辨率樣本之間的映射關(guān)系，最后利用這種映射關(guān)系指導(dǎo)高分辨率圖像重建。文獻(xiàn)[14]提出了一種基于實(shí)例的方法。該方法假定在LR圖像中丟失的高頻細(xì)節(jié)可從經(jīng)過(guò)訓(xùn)練的LR和HR塊對(duì)中學(xué)習(xí)，也就是說(shuō)，通過(guò)學(xué)習(xí)這些訓(xùn)練塊對(duì)之間的共現(xiàn)關(guān)系得到HR圖像。然而，對(duì)于不合適的訓(xùn)練樣本，基于實(shí)例的SR方法可能會(huì)在合成圖像中產(chǎn)生明顯的偽影和多余的噪聲;Chang等提出了另一種基于學(xué)習(xí)的SR方法，該方法利用流形學(xué)習(xí)的局部線性嵌入原理，認(rèn)為在訓(xùn)練圖像集中小圖像塊對(duì)具有相同的局部幾何，從而減小訓(xùn)練集規(guī)模。對(duì)于從LR到HR圖像的一對(duì)多映射，多方面假設(shè)并不總是正確;另外，基于深度學(xué)習(xí)的SR算法也是基于學(xué)習(xí)的SR方法，Dong等率先提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的SR算法，利用深度學(xué)習(xí)與傳統(tǒng)稀疏編碼之間的關(guān)系，將圖像塊提取、非線性映射和圖像重建3個(gè)階段統(tǒng)一到深度卷積神經(jīng)網(wǎng)絡(luò)框架中，直接學(xué)習(xí)低分辨率和高分辨率圖像之間的端到端映射。該方法具有很好的重建效果，但其存在上下文信息缺乏關(guān)聯(lián)、收斂速度慢等問(wèn)題。近年來(lái)，SR問(wèn)題作為一種稀疏編碼方案得到了擴(kuò)展和發(fā)展，關(guān)注越來(lái)越多。楊等提出了一種稀疏表示SR方法，可以自適應(yīng)地選擇最相關(guān)的重建鄰域，從而避免過(guò)擬合或欠擬合。但是，當(dāng)訓(xùn)練數(shù)據(jù)庫(kù)中沒(méi)有紋理時(shí)性能就不夠好;文獻(xiàn)[25]提出了一種基于低秩矩陣補(bǔ)全（low-rank matrix completion，LRMC）的方法重建SR圖像。低秩矩陣補(bǔ)全算法最近已被證明能夠有效地從已知小樣本值中估計(jì)矩陣中的缺失值。

基于低秩約束能夠很好地捕獲數(shù)據(jù)的全局結(jié)構(gòu)，但不能利用圖像的局部平滑性，因此本文把TV作為一個(gè)正則化項(xiàng)集成到低秩張量補(bǔ)全模型中，并將其應(yīng)用于圖像超分辨重建問(wèn)題。為了恢復(fù)圖像數(shù)據(jù)，通常采用基于Tucker秩的核范數(shù)和SNN（sum ofnuclear norms）來(lái)解決低秩約束問(wèn)題。該方法首先將張量變換成若干展開(kāi)矩陣形式，然后用矩陣法恢復(fù)丟失的數(shù)據(jù)，最后將恢復(fù)的矩陣重構(gòu)為張量，以恢復(fù)丟失的數(shù)據(jù)。然而，該方法失去了圖像，幀之間的約束關(guān)系，必然導(dǎo)致圖像，幀之間約束關(guān)系的丟失。本文所建立的模型是基于一個(gè)平衡良好的矩陣化，即張量鏈秩1（Tensor-Train Rank-l，TTRl）分解，它將張量沿張量模排列進(jìn)行矩陣化，因此能更好地捕獲張量的內(nèi)在自然關(guān)聯(lián)性。

1理論基礎(chǔ)

3實(shí)驗(yàn)

將本文提出的方法應(yīng)用到一組下采樣和模糊彩色圖像中，評(píng)估該方法能否成功恢復(fù)原HR圖像。為此使用真實(shí)的HR圖像模擬LR圖像，如圖2所示。使用標(biāo)準(zhǔn)偏差為0.5的高斯平滑核模糊，然后對(duì)模糊圖像進(jìn)行下采樣，得到與原始HR圖像分辨率一半的LR圖像。通過(guò)與相應(yīng)的原始HR圖像進(jìn)行對(duì)比，評(píng)價(jià)所有方法對(duì)輸人LR圖像重建的質(zhì)量。

為驗(yàn)證本文提出方法（稱為L(zhǎng)RTV_TTRl）的有效性，采用多種比較方法，包括雙立方插值超分辨率方法（BISR）、基于TV的上采樣超分辨率方法（TVSR）、基于Tucker低秩和全變分正則化的圖像超分辨率（LRTV_SR）方法。

實(shí)驗(yàn)采用的10幅測(cè)試圖像來(lái)源于Set5和Set14。表l列出這些測(cè)試圖像在BISR、TVSR、LRTV_SR和LRT-VSR_TTRl幾種SR算法中得到的重建圖像PSNR和SSIM值。

為測(cè)試本文算法在視覺(jué)上的效果，選擇baby和bird作為測(cè)試圖像，對(duì)上述4種SR算法的重建圖像進(jìn)行視覺(jué)對(duì)比，見(jiàn)圖3和圖4。通過(guò)觀察，本文方法所重建的圖像在保留圖像邊緣時(shí)能恢復(fù)較多的細(xì)節(jié)部分。

進(jìn)行多組實(shí)驗(yàn)驗(yàn)證本文方法的有效性，包括應(yīng)用不同的模糊算子獲得LR圖像。實(shí)驗(yàn)部分將TV約束的權(quán)重參數(shù)λ1設(shè)置為0.05，張量低秩的約束權(quán)重參數(shù)λ2設(shè)置為0.95，懲罰參數(shù)p設(shè)置為0.1。對(duì)于TVSR算法，將張量低秩的約束權(quán)重參數(shù)λ2和懲罰參數(shù)p設(shè)置為0，以實(shí)現(xiàn)圖像重構(gòu)。

4結(jié)語(yǔ)

為充分利用圖像冗余性、全局結(jié)構(gòu)信息和圖像局部平滑性等先驗(yàn)信息，本文提出一種基于張量低秩和TV最小化約束的彩色圖像SR重建算法模型。提出了一種新的基于TTRl分解的逼近張量核范數(shù)的鄰近算子，捕獲張量數(shù)據(jù)（即彩色圖像）的內(nèi)在相關(guān)性，獲得圖像的全局結(jié)構(gòu)。由于張量低秩約束沒(méi)能利用圖像數(shù)據(jù)的局部平滑性，因此將張量低秩和TV正則化相結(jié)合實(shí)現(xiàn)圖像SR重建模型。與多種SR算法進(jìn)行比較實(shí)驗(yàn)，結(jié)果表明本文算法模型得到的重建圖像邊緣和結(jié)構(gòu)信息更加豐富。通過(guò)TTRl分解，證明本文用張量核范數(shù)最小化方法恢復(fù)低階張量的能力。但是，當(dāng)視覺(jué)數(shù)據(jù)維數(shù)較高時(shí)本文方法計(jì)算成本較高，下一步工作將從計(jì)算效率上優(yōu)化本文算法模型。