基于單幀圖像的超分辨率算法＊

賈 泂，付芳梅，鄭忠龍，趙建民，郭 麗，張海新，俞牡丹

(浙江師范大學 數(shù)理與信息工程學院，浙江 金華 321004)

0 引言

圖像的超分辨率技術在視頻、遙感、醫(yī)學和安全監(jiān)控等領域具有十分重要的應用，同時也逐步擴展到其他各個領域.隨著稀疏編碼與壓縮傳感理論的逐步發(fā)展，圖像的超分辨率算法已經(jīng)成為研究熱點之一.圖像的超分辨率(super resolution，SR)是指由一幅低分辨率圖像(low resolution，LR)或圖像序列恢復出高分辨率圖像(high resolution，HR).但是，SR 問題是一個不適定問題，只有在合理的假設和先驗知識條件下，SR 問題才是可逆的.在圖像處理領域中，已經(jīng)涌現(xiàn)了諸多圖像的超分辨率算法［1-4］.這些算法分為2 類:一類是基于重建的算法;另一類是基于示例學習的算法.基于重建的算法的主要缺點是:如果沒有足夠的約束條件或超分辨率的倍數(shù)過高，得到的圖像的效果明顯下降.基于示例學習算法就能較好地克服這一缺點，它先學習低分辨率圖像塊與高分辨率圖像塊之間的函數(shù)關系，然后通過這種關系得到相應的高分辨率圖像.

基于示例學習的SR 算法可分為基于最近鄰的和基于回歸的算法.基于最近鄰算法得到的圖像在視覺效果上比較差.因此，學者們提出了基于回歸算法，該算法首先學習從低分辨率圖像塊映射到高分辨率圖像塊的函數(shù).文獻［1-5］的算法都是基于訓練樣本庫來學習回歸函數(shù)，這樣的算法對于大樣本訓練圖像需要花費大量的時間，并且實驗結果也依賴于對樣本庫的選擇.因此，研究只基于低分辨率圖像本身來重建高分辨率圖像的算法更有意義.

由文獻［6-7］知，自然圖像具有冗余性與自相似性，同一尺度或不同尺度同場景的圖像塊都重復出現(xiàn)很多次.本文結合基于示例學習算法與圖像的自相似性，提出一種新的圖像超分辨率算法，僅基于單幅低分辨率圖像本身，沒有額外的樣本庫.實驗結果驗證了本文算法的優(yōu)越性，此算法在保證超分辨率圖像質量的前提下，克服了對樣本庫的依賴性.

1 R-KSVD 算法

近幾年來，冗余字典算法的研究都基于一種特征空間，而本文算法使用Guided 濾波［8］、一階導數(shù)和二階導數(shù)算法提取圖像的2 種特征，得到更加全面的信息.本文算法具體描述(R-KSVD 算法)如下:

輸入:字典初始值D0，樣本向量y，非零元個數(shù)L，最大值相似度s=0.9;

輸出:α*為稀疏度為L 的系數(shù)矩陣α 的近似值，訓練后的字典D;

初始化:初始字典D0，余量e0=y，索引集Δ0=?，迭代次數(shù)t=1;

R-KSVD 算法主要分為2 步:

1) 稀疏分解:固定D，使用R-OMP 算法估計系數(shù)矩陣α;

R-OMP 算法:重復執(zhí)行步驟1 到步驟5，直到收斂:

步驟1:從D 的所有列與余量e 的內積中找到最大值相似度大于s 所對應的D 的列數(shù)，從中隨機選出dj，然后通過最小二乘法確定此時的稀疏系數(shù)的索引λ;

步驟2:更新索引集Δt=Δt－1∪{λ}，字典子集Dt=［Dt－1，dj］;

步驟5:若t ＞L，則輸出α*并停止計算.否則繼續(xù)步驟1.

2) 更新字典階段:使用SVD 同時更新一次更新字典的每個原子和其相應的非零系數(shù)，使得損失函數(shù)最小.

冗余字典的學習主要是采用迭代模式交替更新α 和D.字典學習的第1 階段將D 固定，求出最優(yōu)系數(shù)矩陣α;第2 階段通過更新后的α，訓練得到新的字典～D.如此反復迭代幾次即可得到優(yōu)化的D 和α.大量的字典學習算法已被應用于圖像超分辨率領域中［9-10］.在字典的更新算法中，K-SVD 的使用較為廣泛.K-SVD 運用SVD 每次更新一個原子(即字典的一列)和其對應的稀疏系數(shù)，直到所有的原子更新完畢為止，重復迭代幾次即可得到優(yōu)化的字典和稀疏系數(shù).

然而，每次對內積最大列的相應系數(shù)進行更新，不一定能得到最優(yōu)的結果.為了解決這一難題，本文對OMP 算法進行了松弛，提出了一種新的更新系數(shù)矩陣的算法Relaxation OMP(R-OMP).首先定義了s表示相對于內積最大列的一個度(本文設為s=0.9)，然后隨機選擇內積最大值相似度大于s 的列，對其相對系數(shù)進行更新.本文訓練字典算法，第1 階段使用R-OMP 算法進行稀疏表示，并把這種算法稱為松弛的K-SVD 算法，即R-KSVD.由R-KSVD 算法，可進一步了解本文所提的算法.

2 基于單幀圖像的超分辨率算法

本文主要研究僅基于一幅低分辨率圖像的超分辨率算法，與傳統(tǒng)的基于示例的學習算法相比，本文算法不再借用額外的樣本庫來學習低分辨率圖像到高分辨圖像的映射關系，而是根據(jù)自然圖像的自相似性與冗余性［6-7］，僅從一幅低分辨率輸入圖像中挖掘這一函數(shù)關系.

僅基于一幅圖像的超分辨率可理解為輸入一幅低分辨率圖像Y，在沒有任何額外信息的情況下，輸出一幅同樣場景的高分辨率圖像X.另外，超分辨率后的圖像X 應該與輸入圖像Y 保持一致，即低分辨率圖像Y 可以看作是超分辨率圖像X 經(jīng)過模糊和下采樣的圖像，即

式(1)中:H 表示模糊算子;Sd表示下采樣算子.

圖像的超分辨率問題是一個不適定問題，這是因為滿足約束(1)的高分辨率圖像X 不是唯一的.只有在合理的假設和先驗知識情況下，圖像的超分辨率問題才可以求解.由于字典D 是冗余的，因而所有的高分辨率圖像塊x 都能通過Dh∈RN×K進行稀疏表示，即

然后將根據(jù)低分辨率圖像塊重建高分辨率圖像塊.本文使用R-KSVD 算法聯(lián)合訓練低分辨率圖像塊字典Dl和高分辨率圖像塊字典Dh.在得到Dl與Dh的前提下，首先對提取特征過的低分辨率圖像(梯度圖)進行適當?shù)膮^(qū)塊劃分;然后，利用低分辨率圖像字典Dl對每一個梯度圖內的圖像塊y 進行稀疏表達，可得到如下模型:

本文算法直接作用于圖像的特征域，這里F 是特征提取算子.本文使用Guided 濾波［8］、一階導數(shù)和二階導數(shù)算法提取圖像的2 種特征，得到更加全面的信息.

求解式(3)是一件很困難的事.但是最新研究成果表明，只要系數(shù)向量α 足夠稀疏，式(3)就可以轉化為如下模型:

應用拉格朗日尋優(yōu)法，式(4)又等效于以下優(yōu)化目標函數(shù):

參數(shù)λ 用來平衡優(yōu)化目標中對系數(shù)稀疏性的要求和稀疏表達結果及真實低分辨率圖像塊y 的接近程度.為了充分利用相鄰圖像塊具體一致性的信息，本文在稀疏表達圖像塊時采用了從左到右、從上到下的掃描方式.

受近年信號稀疏理論的啟發(fā)［1］，低分辨率圖像塊和高分辨率圖像塊相對于字典Dl和Dh，具有大致相同的稀疏表示.給出低分辨率和高分辨率圖像塊對P={xh，yl}i，其中{yl}i表示低分辨率圖像的特征塊，{xh}i表示對應的高分辨率圖像塊.為了保證2 個字典的一致性，聯(lián)合訓練字典Dl和Dh，即

式(6)中，Y 和X 分別表示低分辨率特征和高分辨率圖像塊合成向量后的維數(shù).式(6)也可以寫成

式(7)中，

3 后項處理算法

接下來主要討論基本的后項處理算法(IBP).盡管IBP 算法可以有效地縮小余量且得到不錯的效果，但是處理過程中沒有考慮邊緣信息.筆者在后項處理過程中使用Guided 濾波，更好地估計高分辨率余量圖像和恢復邊緣信息.這個算法的具體描述如圖1 所示.

圖1 后項處理的過程

第n 次迭代高分辨率圖像的余量如下:

1)計算相對于低分辨率圖像的誤差

2)更新高分辨率圖像

式(10)和式(11)中:r 是窗口的半徑;γ 是調整參數(shù);4 是超分辨率圖像的倍數(shù);X(n)是第n 次超分辨率后的圖像.重復此過程直到滿足評判標準為止.

4 實驗結果

設實驗中測試圖像的超分辨率倍數(shù)為4.實驗參數(shù):最大值相似度s=0.9;窗口半徑r=2;調整參數(shù)γ=0.01;稀疏參數(shù)λ=0.01.先用Guided 濾波、一階導數(shù)和二階導數(shù)算法提取低分辨率圖像的2 種特征，然后基于輸入圖像本身從不同尺度和不同方向生成訓練字典所需的數(shù)據(jù)庫［6］.低分辨率特征塊的大小為2 ×2，高分辨率圖像塊大小為8 ×8，使用R-KSVD 算法聯(lián)合訓練大小為1 024 的字典Dl和Dh.

對于彩色圖像，因為人的視覺對光最為敏感，所以只考慮亮度通道，其他2 個通道(Cb，Cr)使用Bicubic 插值算法進行超分辨率.選取的低分辨率圖像如圖2 所示，超分辨率測試圖像分別用了最近鄰插值算法(NN)、Bicubic 插值算法(BC)以及本文算法.高分辨率圖像的性能指標主要從RMSE(Root Mean Square Error)和SSIM(Structural Similarity)［10］2 個方面進行比較.從表1、表2 和圖3～圖6 可見，本文的超分辨率算法比其他算法更加優(yōu)越.

表1 實驗結果比較(RMSE 指標)

表2 實驗結果比較(SSIM 指標)

圖2 4 幅低分辨率測試圖像

圖3 從左到右依次為NN 算法、BC 算法、本文算法建筑物的超分辨率的效果與原圖像

圖4 從左到右依次為NN 算法、BC 算法、本文算法視力測試圖的超分辨率的效果與原圖像

圖5 從左到右依次為NN 算法、BC 算法、本文算法小女孩的超分辨率的效果與原圖像

圖6 從左到右依次為NN 算法、BC 算法、本文算法花的超分辨率的效果與原圖像

5 結語

本文提出的算法在保證超分辨率圖像質量的前提下，克服了對樣本庫的依賴性.實驗證明了本文算法的優(yōu)越性.下一步的工作是進一步考慮在學習字典時如何提取更有效的特征，如何節(jié)省更多的計算時間.

［1］Yang Jianchao，Wright J，Huang T S，et al.Image super-resolution as sparse representation of raw image patches［C］//CVPR.Anchorage:IEEE，2008:1-8.

［2］Goto T，Suzuki S，Hirano S，et al.Fast and high quality learning based super-resolution utilizing TV regularization method［C］//ICIP.Brussels:IEEE，2011:1185-1188.

［3］Tang Yi，Pan Xiaoli，Yuan Yuan，et al.Local semi-supervised regression for single-image super-resolution［C］//MMSP.Hangzhou:IEEE，2011:1-5.

［4］Yang Shuyuan，Wang Min，Chen Yiguang，et al.Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding［J］.ICIP，2012，21(9):4016-4028.

［5］Jiang Junjun，Hu Ruimin，Han Zhen，et al.Efficient single image super-resolution via graph embedding［C］//ICME.Melbourne:IEEE，2012:610-615.

［6］Glasner D，Bagon S，Irani M.Super-resolution from a single image［C］//Computer Vision.Kyoto:IEEE，2009:349-356.

［7］Chen Shaofeng，Gong Hanjie，Li Cuihua.Super resolution from a single image based on self-similarity［C］//ICCIS.Chengdu:IEEE，2011:91-94.

［8］He Kaiming，Sun Jian，Tang Xiaoou.Guided image filtering［M］.Berlin:Springer-Verlag，2010:1-14.

［9］Yang Jianchao，Wang Zhaowen，Lin Zhe，et al.Coupled dictionary training for image super-resolution［J］.ICIP，2012，21(8):3467-3478.

［10］Wang Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment:From error visibility to structural similarity［J］.ICIP，2004，13(4):600-612.

［11］Zhou Fei，Yang Wenming，Liao Qingming.Single image super-resolution using incoherent sub-dictionaries learning［J］.IEEE Transactions on Consumer Electronics，2012，58(3):891-897.