基于多字典和稀疏噪聲編碼的圖像超分辨率重建

王真真,楊 欣,朱松巖,周大可

(1.南京航空航天大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210016；2.江蘇工程技術(shù)學(xué)院，江蘇 南通 226000)

圖像超分辨率重建技術(shù)的目的是恢復(fù)圖像細(xì)節(jié)得到更高質(zhì)量的圖像.近年來(lái)，基于稀疏性的超分辨率技術(shù)已成為一種主要的圖像重建技術(shù)，文獻(xiàn)[1]顯示稀疏編碼已經(jīng)作為一種常用的機(jī)器學(xué)習(xí)技術(shù)用于圖像處理.文獻(xiàn)[2]中，通過提高稀疏編碼系數(shù)的精確度來(lái)提高重建方法的性能.通過學(xué)習(xí)詞典，稀疏性的方法試圖找到低分辨率和高分辨率的示例圖像之間的一些映射關(guān)系作為先驗(yàn)知識(shí)，以更好地重建.Zeyde等[3]采用基于主成分分析(PCA)進(jìn)行降維，并且利用OMP算法進(jìn)行K-SVD字典訓(xùn)練，對(duì)Yang模型[4]在計(jì)算時(shí)間和重建質(zhì)量方面進(jìn)行了改進(jìn)；此外，Zhang等[5]利用基于PCA的子空間字典訓(xùn)練來(lái)對(duì)Yang模型進(jìn)行擴(kuò)展和延伸，并且用非局部均值(NLM)約束代替反投影約束.與此同時(shí)，圖像的自相似性也被廣泛使用，文獻(xiàn)[6]中把自相似學(xué)習(xí)和基于實(shí)例學(xué)習(xí)相結(jié)合，從輸入的圖像自身和它們的退化版本訓(xùn)練字典，并且設(shè)計(jì)了一個(gè)漸進(jìn)的放大框架與自學(xué)習(xí)字典相兼容，證明了自相似學(xué)習(xí)的有效性；在文獻(xiàn)[7]中，利用圖像間的冗余信息，根據(jù)圖像自相似性構(gòu)造l1范數(shù)正則項(xiàng)補(bǔ)償對(duì)，抑制稀疏系數(shù)噪聲提高重建效果.

但針對(duì)用于學(xué)習(xí)的字典單一、圖像退化(噪聲、模糊和下采樣等)的問題，傳統(tǒng)的稀疏模型不足以精確地重建原始圖像.因此，本文提出一種多字典學(xué)習(xí)和稀疏編碼約束項(xiàng)相結(jié)合的SISR算法.訓(xùn)練過程中，利用聚類結(jié)果訓(xùn)練得到不同類別的子字典，以便為重建圖像塊選擇合適的子字典；求解α?xí)r，引入稀疏編碼噪聲，利用圖像非局部自相似性來(lái)獲得原始圖像稀疏編碼系數(shù)的良好估計(jì)，然后將觀測(cè)圖像的稀疏編碼系數(shù)集中到那些估計(jì)中，作為約束項(xiàng)來(lái)去除噪聲的影響.

1 字典訓(xùn)練

圖像重建中選擇合適的字典是一個(gè)關(guān)鍵的問題，但傳統(tǒng)的字典學(xué)習(xí)并沒有在最佳的稀疏域[8-9]，所有的圖像塊重建均使用同一個(gè)字典，針對(duì)此問題，本文在字典訓(xùn)練時(shí)，利用圖像的特征將它們合理地劃分成若干個(gè)簇，然后每個(gè)聚類訓(xùn)練生成子字典對(duì)，通過特征提取和隸屬度計(jì)算確定最佳字典對(duì)，獲得更好的重建目標(biāo).具體步驟如下：

1)k-means聚類.重建的精確度和有效性取決于合理的特征聚類，在進(jìn)行聚類時(shí)，利用波長(zhǎng)、顏色、相位等特征將圖像塊分為不同的類.將原始的HR圖像分為小的圖像塊{xi},i=1,2,…,p，利用Gabor濾波器對(duì)圖像塊進(jìn)行特征提取用于聚類，最優(yōu)的聚類數(shù)在2～6，實(shí)際的聚類過程由k均值聚類算法[10-11]完成.隨機(jī)選擇K個(gè)像素作為初始聚類的中心Ck，計(jì)算每個(gè)像素到聚類中心的Euclidean距離，將其分為K類，在此過程中，利用式(1)對(duì)Ck進(jìn)行更新，

(1)

其中，Di為簇內(nèi)像素間距離的平均值，n為簇內(nèi)像素的個(gè)數(shù).第k類中，當(dāng)Di最小時(shí)，相對(duì)應(yīng)的第i個(gè)像素被更新為新的聚類中心，若更新后的聚類中心和被替換的聚類中心之間的距離相差較小，則聚類結(jié)果對(duì)于訓(xùn)練分類字典對(duì)是可行的，否則重新進(jìn)行聚類.

2 改進(jìn)的SISR模型

2.1 傳統(tǒng)的稀疏模型

稀疏重建模型是一個(gè)將訓(xùn)練得到的字典中的原子進(jìn)行線性組合的過程，包括訓(xùn)練字典和求解稀疏表示系數(shù).其模型可表示為下面的約束函數(shù)：

(2)

傳統(tǒng)模型中，字典(如DCT、小波字典等)的學(xué)習(xí)并沒有在最佳的稀疏域，稀疏過完備字典編碼是不穩(wěn)定.式(2)中的稀疏正則項(xiàng)是為了選擇合適的稀疏域，而本文中，用于訓(xùn)練的圖像塊利用聚類的方法被分成k個(gè)類別，訓(xùn)練得到k對(duì)子字典，重建的圖像塊可以選擇最優(yōu)的子字典，使該圖像塊的編碼系數(shù)在其他子字典上為0，因此‖α‖1可以刪除.

2.2 引入稀疏噪聲約束項(xiàng)

(3)

其中αy是所有αy,i的級(jí)聯(lián).

為了獲得更好的IR，就期望式(2)得到的稀疏碼αy盡可能接近原始圖像的真實(shí)稀疏碼αx，但由于圖像退化過程中，模糊、噪聲等的影響，求得的稀疏碼αy總會(huì)和αx存在偏離，即為稀疏編碼噪聲υα=αy-αx，圖像重建的質(zhì)量依賴于噪聲稀疏編碼的水平.由于稀疏編碼αx是未知的，所以很難直接計(jì)算υα，但若可以對(duì)αx進(jìn)行合理良好的估計(jì)即β，則αy-β即為υα的良好估計(jì)，隨著迭代次數(shù)的增加，抑制υα(提高αy)即可以增加重建圖像的精確度.

根據(jù)稀疏編碼系數(shù)之間的強(qiáng)非局部相關(guān)性，從相似的自然圖像塊中學(xué)習(xí)估計(jì)β.基于圖像的冗余性，從原始HR圖像塊中獲得同尺度的相似圖像塊數(shù)據(jù)集；對(duì)原始圖像以sI(s=2;I=0,-1,-2,-3,-4,-5)倍縮減得到圖像金字塔，從圖像金字塔中得到多尺度相似圖像塊數(shù)據(jù)集，兩數(shù)據(jù)集中圖像塊大小相同，共同構(gòu)成相似圖像塊集Ψ.采用最近鄰搜索法來(lái)縮短搜索時(shí)間，得到Ρ塊最近鄰的圖像塊，在搜索的過程中，與圖像塊xi間的歐氏距離大于設(shè)定閾值時(shí)既舍棄.搜索得到圖像塊xi的非局部相似圖形塊集Ψi，可利用Ψi中圖像塊的稀疏編碼對(duì)βi進(jìn)行加權(quán)平均估計(jì).

αi,k為Ψi中圖形塊xi,k的稀疏編碼，Ψi中的圖像塊大小與xi相同，則對(duì)αi的良好估計(jì)(即βi)可以通過計(jì)算αi,k(l=1,2,…,Ρ)的加權(quán)平均值得到：

βi=∑k∈Ψiωi,kαi,k.

(4)

其中ωi,k是權(quán)重系數(shù)，利用非局部均值[12]的方法，設(shè)定權(quán)重與圖像塊間距離成反比：

(5)

引入稀疏編碼噪聲后得到的目標(biāo)函數(shù)模型為：

(6)

3 總體算法

步驟2：通過k-means和PCA訓(xùn)練得到字典Φ；

步驟3：利用最近鄰搜索法得到同尺度和多尺度的相似圖形塊集Ψi，通過公式(5)獲得權(quán)重矩陣；

步驟4：利用式(4)估計(jì)計(jì)算βi；

步驟5：將式(4)和式(5)以及求得的子字典Φi代入式(6)，利用梯度下降法迭代求解稀疏系數(shù)；

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，我們選擇圖像重建中常用的7幅圖進(jìn)行實(shí)驗(yàn).字典訓(xùn)練時(shí)，將7×7網(wǎng)格劃分為5個(gè)簇，對(duì)5個(gè)字典對(duì)進(jìn)行訓(xùn)練，字典大小為512，參數(shù)λ=0.1.原始HR圖像通過模糊降采樣(降采樣因子為3，加標(biāo)準(zhǔn)差為1.6的7×7高斯噪聲)得到LR圖像作為輸入.重建過程中參數(shù)為：圖像塊為3×3，重疊1個(gè)像素，相似圖像塊的個(gè)數(shù)取Ρ=10，權(quán)值矩陣中h值為10，迭代次數(shù)l(l=1,2,…,L),L=240.將本文的算法與ASDS[13]和SSIM[14]進(jìn)行對(duì)比，在主觀判斷的同時(shí)，也通過峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)來(lái)比較重建結(jié)果.

圖1～2中顯示了不同方法的視覺重建結(jié)果.圖1中(b)和(c)重建結(jié)果較為模糊，并且可以觀察到沿邊緣的鋸齒狀痕跡，但本文算法中，選擇合適的子字典在最佳稀疏域上進(jìn)行重建，字典中的原子線性組合得到的重建結(jié)果更好；在引入稀疏噪聲的過程中，去噪的同時(shí)，也間接的將自相似性用到了圖像的重建中，因此本文重建結(jié)果獲得了較為清晰的圖像邊緣，和更為豐富和清晰的圖像細(xì)節(jié)；同時(shí)從表1中也可以看到，本文算法的PSNR和SSIM值基本上均高于其他兩種算法.

圖2中對(duì)于帶有噪聲的圖像，通過表2，可以發(fā)現(xiàn)由于噪聲的影響，其重建效果均低于不帶有噪聲圖片的重建，但本文算法的PSNR和SSIM值依舊高于其他2種算法.對(duì)于輸入帶有噪聲的圖像，算法通過引入稀疏噪聲編碼來(lái)抑制噪聲的影響.圖2(b)和(c)雖然也能恢復(fù)圖像的大部分細(xì)節(jié)，但邊緣仍受鋸齒效應(yīng)的影響，本文算法由于引入了稀疏噪聲編碼約束項(xiàng)，利用非局部自相似性獲得原始圖像稀疏編碼系數(shù)的良好估計(jì)，抑制噪聲的同時(shí)也引入非局部自相似，減小塊效應(yīng)帶來(lái)的影響和重建時(shí)產(chǎn)生的人工痕跡，獲得較為清晰的邊緣，并且對(duì)噪聲具有一定的魯棒性.

從表3可以看出，重建效果并沒有隨著σ的增大而越來(lái)越差，并且σ=20和σ=100相比，PSNR(db)和SSIM幾乎沒有差別，即在噪聲增大的同時(shí)，噪聲對(duì)圖像重建結(jié)果的影響越來(lái)越小，因此可以看出本文算法可以抑制噪聲的影響，對(duì)噪聲具有魯棒性.

表1 無(wú)噪聲圖像重建結(jié)果的PSNR(db)和SSIM對(duì)比

表2 帶有噪聲圖像(σ=5)重建結(jié)果的PSNR(db)和SSIM對(duì)比

表3 不同σ重建結(jié)果的PSNR(db)和SSIM對(duì)比

5 結(jié)語(yǔ)

本文通過聚類之后訓(xùn)練生成子字典對(duì)，并且利用圖像非局部自相似性來(lái)獲得原始圖像稀疏編碼系數(shù)的良好估計(jì)，引入稀疏編碼噪聲.實(shí)驗(yàn)表明，與ASDS算法[13]和SSIM算法[14]相比較，本文算法有更好的重建結(jié)果，獲得了更豐富的圖像細(xì)節(jié)和更清晰的邊緣，并且本文的算法對(duì)噪聲具有一定的抑制作用.