一種基于MOD字典學(xué)習(xí)的圖像超分辨率重建新算法

鄒建成， 張文婷

（北方工業(yè)大學(xué)圖像處理與模式識(shí)別研究所，北京 100144）

一種基于MOD字典學(xué)習(xí)的圖像超分辨率重建新算法

鄒建成， 張文婷

（北方工業(yè)大學(xué)圖像處理與模式識(shí)別研究所，北京 100144）

將低分辨率圖像重建成高分辨率圖像是圖像處理領(lǐng)域中的一個(gè)重要課題。Yang提出一種基于聯(lián)合字典學(xué)習(xí)的圖像超分辨率重建算法，其算法樣本選取與字典訓(xùn)練方法較為復(fù)雜。提出一種基于MOD字典學(xué)習(xí)的圖像超分辨率重建新算法，首先采用少量的訓(xùn)練樣本代替Yang的大量訓(xùn)練樣本，然后使用MOD字典學(xué)習(xí)算法代替Yang的FFS字典學(xué)習(xí)算法，最后利用字典對(duì)圖像進(jìn)行稀疏表示與重建。實(shí)驗(yàn)結(jié)果表明，所提出的算法速度較快，并且重建圖像的質(zhì)量較高。

圖像處理；圖像重建；聯(lián)合字典；超分辨率重建；MOD

隨著科技的發(fā)展，圖像在人類傳遞信息中越來(lái)越重要。由于受成像系統(tǒng)中自然條件與硬件設(shè)備的限制，人們往往無(wú)法輕易獲取清晰的高分辨率圖像。圖像超分辨率重建算法可以把低分辨率圖像重建為高分辨率圖像，該算法無(wú)需改進(jìn)硬件設(shè)備且使用成本較低。因此在醫(yī)學(xué)圖像、安全監(jiān)控、衛(wèi)星圖像等領(lǐng)域有非常重要的應(yīng)用價(jià)值。

最早的重建方法是插值法[1]，這種方法簡(jiǎn)單快速，其缺點(diǎn)是沒(méi)有足夠的先驗(yàn)知識(shí)，重構(gòu)出來(lái)的圖像質(zhì)量較差。蔡念等[2]對(duì)插值算法進(jìn)行改進(jìn)，并應(yīng)用在圖像超分辨率重建技術(shù)中。Irani和 Peleg[3]在1991年提出迭代反投影法(iterative back-projection, IBP)，該算法的優(yōu)點(diǎn)是運(yùn)算量小，缺點(diǎn)是結(jié)果不唯一，因此在實(shí)際應(yīng)用中價(jià)值較小。此后出現(xiàn)的還有凸集投影法、正則化法[4-5]、圖像金字塔法[6]等。

Dong等[7]提出一種基于自適應(yīng)稀疏域選擇的重建方法，對(duì)訓(xùn)練圖像塊進(jìn)行分類，訓(xùn)練多對(duì)字典進(jìn)行選擇并重建，重建速度相對(duì)較快，但在重建細(xì)節(jié)豐富的圖像時(shí)效果不夠理想。Yang等[8]利用圖像具有稀疏性，提出了一種圖像超分辨率重建算法，該算法約束高低分辨率圖像在對(duì)應(yīng)的高低分辨率字典下有相同的稀疏表示，其重建效果相對(duì)較好，并且聯(lián)合字典的思想對(duì)圖像超分辨率重建研究具有很好的指導(dǎo)意義，其缺點(diǎn)是須從較多的圖像中提取大量的圖像塊，因此字典訓(xùn)練花費(fèi)的時(shí)間較長(zhǎng)，并且在圖像邊緣會(huì)出現(xiàn)重建噪聲。

本文在聯(lián)合字典思想的基礎(chǔ)上提出一種基于MOD字典學(xué)習(xí)的圖像超分辨率重建新算法，首先從低分辨率圖像中提取少量圖像塊，并對(duì)圖像塊進(jìn)行字典學(xué)習(xí)獲得一對(duì)高低分辨率字典，這里采用的字典學(xué)習(xí)算法是 Engan等[9]的最優(yōu)方向(method of optimal directions, MOD)算法，它代替Yang算法中使用的 Lee等[10]提出的 FFS(feature-sign search)算法，然后利用字典對(duì)低分辨率圖像塊進(jìn)行稀疏表示與重建，最后對(duì)重建結(jié)果做進(jìn)一步優(yōu)化，以達(dá)到更好的重建效果。實(shí)驗(yàn)結(jié)果表明，本文算法選取訓(xùn)練樣本較少，字典訓(xùn)練與重建的速度較快，且重建后圖像具有更高的質(zhì)量。

1 圖像的稀疏表示

假設(shè)D=［d1,d2,…,dm］∈Rn×m（n＜m）是一個(gè)過(guò)完備字典，其中 dm為D的基元。y∈Rn為一個(gè)列向量表示的圖像塊，y可以用D中的基元線性表示，表達(dá)式如下：

其中，x=［x1,x2,…,xm］T∈Rm為圖像塊y的稀疏表示，x僅含有限個(gè)非零元素，其余均為0。式(1)沒(méi)有唯一解x，現(xiàn)在的目的是求圖像塊y的稀疏表示x，表達(dá)式如下：

式(2)意為找到包含非零元素個(gè)數(shù)最小的x并且滿足Dxy=，其中非零元素個(gè)數(shù)可以用稀疏度表示。但是求解0范數(shù)的問(wèn)題已被證明是一個(gè)NP難問(wèn)題[11]，計(jì)算復(fù)雜，不易求出。1999年，Chen等[12]研究發(fā)現(xiàn)，在信號(hào)足夠稀疏的條件下，0l范數(shù)可以轉(zhuǎn)化為1l范數(shù)進(jìn)行稀疏求解，把式(2)從非凸轉(zhuǎn)化為凸優(yōu)化求解，即：

實(shí)際應(yīng)用中，圖像會(huì)有噪聲存在，因此結(jié)果會(huì)有稀疏表示誤差，式(3)可以轉(zhuǎn)化為：

其中，ε表示稀疏誤差或噪聲強(qiáng)度。

2 MOD算法

其中，k0表示圖像塊的稀疏度，即稀疏表示系數(shù) xi中的非零元素個(gè)數(shù)。

MOD算法：

步驟2. 主要迭代過(guò)程：從k=1開(kāi)始迭代。

由式(6)獲得一個(gè)稀疏系數(shù)矩陣X(k)。

字典更新階段：根據(jù)樣本 Y與稀疏系數(shù)矩陣X(k)更新字典D。足夠小，則停止。否則，進(jìn)行下一次迭代。

步驟3. 輸出結(jié)果D(k)。

停止條件：如果

3 一種基于MOD字典學(xué)習(xí)的圖像超分辨率重建新算法

本文算法的過(guò)程大體可以分為3步：①訓(xùn)練樣本提??；②聯(lián)合字典學(xué)習(xí)；③圖像的稀疏表示與重建。首先，對(duì)低分辨率圖像提取少量的圖像塊作為訓(xùn)練樣本；然后，在聯(lián)合字典思想的基礎(chǔ)上對(duì)圖像樣本采用MOD算法進(jìn)行字典學(xué)習(xí)，獲得一對(duì)高低分辨率字典；最后利用獲得的低分辨率字典對(duì)低分辨率圖像進(jìn)行稀疏表示，結(jié)合高分辨率字典與稀疏系數(shù)得到清晰的高分辨率圖像。

3.1 訓(xùn)練樣本提取

為了得到良好稀疏表示能力的字典，訓(xùn)練樣本的獲取十分重要。本文在樣本提取過(guò)程中把輸入圖像X看作高分辨率HR圖像，對(duì)圖像X進(jìn)行下采樣與插值操作，得到與X大小相同的圖像Y，表達(dá)式如下：

其中，H表示插值操作，S為下采樣操作，把圖像Y看作樣本提取的低分辨率LR圖像。

由于圖像的結(jié)構(gòu)特征主要表現(xiàn)在高頻部分，所以獲得LR圖像的高頻特征十分重要。本文使用的特征提取算子為一階和二階梯度算子[13]：

通過(guò)算子對(duì)圖像Y進(jìn)行特征提取，獲得四幅低分辨率特征圖像｛Y11,Y12,Y21,Y22｝。從圖像X的位置k處提取一個(gè)大小的圖像塊，表達(dá)式如下：

3.2 聯(lián)合字典學(xué)習(xí)

本節(jié)目的是利用MOD算法學(xué)習(xí)一對(duì)高低分辨率字典，其約束高分辨率樣本hX與低分辨率樣本Yl具有相同的稀疏表示α。通常情況下，單獨(dú)訓(xùn)練一個(gè)高分辨率字典Dh和低分辨率字典Dl的表達(dá)式如下：

其中， k0表示稀疏度。為了保證樣本Xh和Yl具有相同的稀疏表示α，本文根據(jù)聯(lián)合字典生成的思想，把式(11)、(12)合并為：

由上式可以看出，聯(lián)合字典的學(xué)習(xí)方法與單個(gè)字典的學(xué)習(xí)方法相似。本文采用MOD字典學(xué)習(xí)算法求解表達(dá)式(13)，由結(jié)果Dc分解得到需要的高分辨率字典Dh和低分辨率字典Dl，其中Dl用來(lái)求解輸入圖像的稀疏系數(shù)，Dh用來(lái)與稀疏系數(shù)重建高分辨率圖像。

3.3 圖像的稀疏表示與重建

根據(jù)上一節(jié)獲得的字典對(duì)輸入圖像進(jìn)行稀疏表示與重建，在圖像稀疏表示部分借鑒 Lee等[10]提出的 FSS算法，利用低分辨率字典Dl對(duì)輸入圖像求解稀疏系數(shù)α，利用高分辨率字典Dh與稀疏系數(shù)α進(jìn)行重建。

算法流程：

(1) 輸入：低分辨率圖像X，字典Dh，Dl。

(2) 對(duì)圖像X進(jìn)行雙三次插值放大得到圖像X1。

(3) 循環(huán)過(guò)程：從圖像X1左上角依次取出大小為55×的圖像塊x。同樣，從圖像X1的四幅特征圖像的相同位置分別取大小為55×的圖像塊，合并成列向量。

步驟1. 計(jì)算圖像塊x的平均值m。

其中，λ表示正則化參數(shù)，用于平衡重建誤差逼近項(xiàng)與稀疏約束正則項(xiàng)，根據(jù)經(jīng)驗(yàn)通常取值在0到1之間。

(4) 輸出：高分辨率圖像Z0。

為了進(jìn)一步提高重建圖像Z0的分辨率，本文使用迭代反投影算法[14]對(duì)重建結(jié)果進(jìn)行優(yōu)化處理，即求解優(yōu)化問(wèn)題：

對(duì)式(15)采用迭代的方法求出誤差圖像并更新重構(gòu)圖像：

其中，Z0k表示由高分辨率圖像Z0第k次迭代的結(jié)果，X表示輸入圖像，L表示降質(zhì)因子，↑s表示放大s倍，p表示反投影濾波器，實(shí)驗(yàn)中采用的是拉普拉斯濾波器。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)在CPU為雙核2.0 GHz，內(nèi)存為2.0 GB的計(jì)算機(jī)上運(yùn)行。實(shí)驗(yàn)中對(duì)RGB彩色圖像進(jìn)行測(cè)試，處理圖像時(shí)將其轉(zhuǎn)化為YUV圖像，由于人眼對(duì)亮度信息更加的敏感，因此只對(duì)亮度分量進(jìn)行稀疏重建，圖像放大倍數(shù)為2，其他分量采用雙三次插值算法放大。實(shí)驗(yàn)中選擇把大小為128×128的低分辨率圖像重建成大小為 256×256的高分辨率圖像，測(cè)試圖像如圖1所示。字典學(xué)習(xí)過(guò)程對(duì)低分辨率圖像不重疊的提取大小為5×5的圖像塊作為訓(xùn)練樣本，初始字典選取高斯隨機(jī)矩陣，大小為512，迭代次數(shù)10次，稀疏度k0=4。圖像重建過(guò)程中，為了保持重建后的圖像塊之間的緊密性，相鄰圖像塊之間有4個(gè)像素的重疊，稀疏正則項(xiàng)48.0=λ。迭代反投影算法的迭代次數(shù)為20。實(shí)驗(yàn)中的Yang算法與Dong算法均從其相應(yīng)的網(wǎng)站下載[15-16]。

圖1 大小為128×128的低分辨率測(cè)試圖像

表1為插值算法、Dong算法[7]、Yang算法[8]與本文算法分別對(duì)每幅低分辨率圖像重建的效果。定義峰值信噪比(peak signal to noise ratio, PSNR)為性能指標(biāo)。由表1可知，插值算法的PSNR值最低，依次為Dong和 Yang的算法，本文算法比其他 3種算法具有更高的PSNR值。

表2為Dong算法與本文算法對(duì)不同圖像重建分別所需要的時(shí)間，這里的本文重建時(shí)間包括字典訓(xùn)練的時(shí)間，而Dong算法重建時(shí)間不包括字典學(xué)習(xí)時(shí)間，Dong算法中字典學(xué)習(xí)過(guò)程是單獨(dú)進(jìn)行的，其實(shí)驗(yàn)需要47 min。Dong算法重建過(guò)程迭代900次，本文算法字典訓(xùn)練過(guò)程僅提取676個(gè)相關(guān)圖像塊，迭代10次，本文算法相對(duì)簡(jiǎn)單。由表2可知，明顯本文算法速度比較快。

表1 4種不同算法對(duì)不同圖像的重建效果

表2 對(duì)不同圖像超分辨率重建的時(shí)間(s)

圖2 4種算法對(duì)Butterfly圖像超分辨率重建結(jié)果

圖3 4種算法對(duì)Bike圖像超分辨率重建結(jié)果

圖4 4種算法對(duì)Plants圖像超分辨率重建結(jié)果

如圖2～4所示，其分別對(duì)圖1中大小為128×128的Butterfly、Bike、Plants三幅低分辨率圖像使用4種不同算法重建成大小為 256×256的高分辨率圖像。插值算法由于沒(méi)有足夠的先驗(yàn)知識(shí)，重構(gòu)出來(lái)的圖像效果較差，整體較為模糊；Dong算法與Yang算法都可以更好地恢復(fù)一定的細(xì)節(jié)，但是圖像邊緣仍會(huì)出現(xiàn)一些鋸齒效應(yīng)；而本文算法是提取少量相關(guān)的圖像塊來(lái)進(jìn)行字典學(xué)習(xí)，有足夠的先驗(yàn)知識(shí)，因此保證了在重建速度較快的基礎(chǔ)上圖像質(zhì)量有所提高，重建圖像的邊緣比其他方法相對(duì)的平滑清晰，細(xì)節(jié)更加豐富。

5 結(jié) 論

本文提出一種基于MOD字典學(xué)習(xí)的圖像超分辨率重建新算法，對(duì)一幅圖像提取少量樣本采用MOD算法進(jìn)行字典學(xué)習(xí)，利用對(duì)應(yīng)字典對(duì)輸入圖像進(jìn)行稀疏表示與重建。該算法有效地降低了Yang字典訓(xùn)練中的時(shí)間消耗，并且提高了重建圖像的質(zhì)量。本文是針對(duì)一幅圖像單獨(dú)進(jìn)行字典學(xué)習(xí)與重建，如何根據(jù)一幅圖像訓(xùn)練的字典重建另一幅不相關(guān)的圖像將是以后研究的重點(diǎn)。

[1] Nguyen N, Milanfar P. A wavelet-based interpolationrestoration method for super-resolution [J]. Circuits Systems and Signal Processing, 2000, 19(4): 321-338.

[2] 蔡 念, 張海員, 張 楠, 等. 基于小波的改進(jìn)加權(quán)拋物線插值的圖像超分辨率算法[J]. 圖學(xué)學(xué)報(bào), 2012, 33(1): 50-55.

[3] Irani M, Peleg S. Improving resolution by image registration [J]. CVGIP: Graphical Models and Image Processing, 1991, 53(3): 231-239.

[4] Nhat N, Milanfar P, Golub G. A computationally efficient super resolution image reconstruction algorithm [J]. IEEE Transactions on Image Processing, 2001, 10(4): 573-583.

[5] Hardie R C, Barnard K J, Armstrong E E. Joint MAP registration and high- resolution image estimation using a sequence of under-sampled images [J]. IEEE Transactions on Image Processing, 1997, 6(12): 1621-1633.

[6] Yang C, Huang J, Yang M. Exploiting self-similarities for single frame super-resolution [C]//Lecture Notes in Computer Science, Springer Berlin Heidelberg, 2011: 497-510.

[7] Dong Weisheng, Zhang Lei, Shi Huangming, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization [J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[8] Yang Jianchao, Wright J, Huang T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[9] Engan K, Aase S O, Husoy J H. Method of optimal directions for frame design [C]//Proceedings of IEEE International Conference on Acoustic, Speech, and Signal Processing, Phoenix, AZ, USA, 1999: 2443-2446.

[10] Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms [J]. Advances in Neural Information Processing Systems, 2007, 19: 801.

[11] Davis G, Mallat S, Avellaneda M. Adaptive greedy approximation [J]. Constructive Approximation, 1997, 13(1): 57-98.

[12] Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basispursuits [J]. SIAM Journal on Scientific Computing, 1999, 20: 33-61.

[13] Zeyde R, Elad M, Protter M. On single image scale-up using sparse representation [C]//Proceedings of the 7thInternational Conference on Curves and Surfaces, Avignon, France, 2012: 711-730.

[14] Tibshirani R. Regression shrinkage and selection via the lasso [J]. Journal of the Royal Statistical Society, 1996, 58(1): 267-288.

[15] Yang Jianchao. Image super-resolution via sparse representation [EB/OL]. (2010-11-01) [2014-09-26]. http://www.ifp.illinois.edu/～jyang29/codes/.

[16] Dong Weisheng. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization [EB/OL]. (2011-07-28) [2014-09-26] http://www4. comp.polyu.edu.hk/～cslzhang/ASDS_AReg.htm/.

A New Algorithm of Image Super-Resolution Reconstruction Based on MOD Dictionary-Learning

Zou Jiancheng, Zhang Wenting

(Institute of Image Processing and Pattern Recognition, North China University of Technology, Beijing 100144, China)

It is an important topic to reconstruct a high resolution image from a low resolution image. Yang proposed an image super-resolution reconstruction algorithm based on the joint dictionary-learning, which needs large samples, and dictionary training methods are complicated. In this paper, a new algorithm of image super-resolution reconstruction based on MOD dictionary-learning is proposed, a small amount of training samples is firstly used to replace large numbers of training samples of Yang′s, then the MOD dictionary-learning algorithm is used instead of Yang′s FFS dictionary-learning algorithm, at last, the resulted dictionary is applied to the image sparse representation and super-resolution reconstruction. The experimental results show that the image reconstruction speed is improved greatly with better reconstruction quality.

image processing; image reconstruction; joint dictionary; super-resolution reconstruction; MOD

TP 319

A

2095-302X(2015)03-0402-05

2014-10-08；定稿日期：2014-10-24

國(guó)家自然科學(xué)基金資助項(xiàng)目(61170327)，國(guó)家科技重大專項(xiàng)支持資助項(xiàng)目(2014ZX02502)

鄒建成(1966-)，男，貴州遵義人，教授，博士，博士生導(dǎo)師。主要研究方向?yàn)閳D像處理、模式識(shí)別。E-mail：zjc@ncut.edu.cn

張文婷(1990-)，女，安徽亳州人，碩士。主要研究方向?yàn)閳D像超分辨率重建。E-mail：1007897269@qq.com