基于離線雙字典學(xué)習(xí)算法的圖像超分辨率重建研究

周 琳，楊 娜

?

基于離線雙字典學(xué)習(xí)算法的圖像超分辨率重建研究

周 琳，楊 娜

（河南牧業(yè)經(jīng)濟(jì)學(xué)院，河南 鄭州 450045）

為了提高圖像超分辨率重建的質(zhì)量，采用離線雙字典學(xué)習(xí)算法。首先圖像塊建立字典稀疏模型，確定字典中原子數(shù)量；然后使用基于離線字典學(xué)習(xí)對圖像稀疏編碼，同時(shí)把稀疏編碼統(tǒng)一到一個框架中進(jìn)行優(yōu)化編碼；接著對字典進(jìn)行分解多個子字典，將圖像塊中像素點(diǎn)的列向量在子字典展開；最后雙字典與超分辨率重構(gòu)中不同分辨率的異構(gòu)數(shù)據(jù)進(jìn)行同構(gòu)化，確定控制殘差條件，給出了算法實(shí)現(xiàn)過程。實(shí)驗(yàn)仿真顯示本文算法重建效果清楚，峰值信噪比最大，BIQI最小。

離線雙字典；超分辨率重建；稀疏；控制殘差

0 引言

圖像在成像過程中受到噪聲的污染，其成像為低分辨率的圖像，但是現(xiàn)實(shí)需要高清的圖像，因此需要將一幅或者多幅低分辨率圖像合成出高分辨率圖像，提供圖像細(xì)節(jié)信息，在視頻監(jiān)控、成像技術(shù)、遙感圖像等領(lǐng)域有著廣泛的應(yīng)用前景[1-3]。

基于字典學(xué)習(xí)的圖像超分辨率重建算法有：Jianchao Yang的基于L1范數(shù)優(yōu)化的聯(lián)合字典學(xué)習(xí)算法（Combine Dictionary Learning，CDL），通過聯(lián)合正交基來構(gòu)成字典[4]，但是算法對大系數(shù)的稀疏信號重建還不夠準(zhǔn)確；基于耦合學(xué)習(xí)超完備字典方法（Couple Overcomplete Dictionary Learning，CODL），通過超完備字典中的冗余基取代傳統(tǒng)字典中的正交基[5]，但建立字典對的過程繁瑣，字典樣本的選取對重構(gòu)有一定影響；Roman Zeyde的基于低分辨率字典學(xué)習(xí)的高分辨率字典數(shù)值計(jì)算方法（High Resolution Numerical Base on Low Resolution Dictionary Learning，HRBLRDL），字典原子能夠包含圖像的降質(zhì)信息[6]，但是對強(qiáng)模糊退化圖像的超分辨率能力有限；基于粒子字典學(xué)習(xí)算法（Particle Dictionary Learning，PDL），考慮到圖像之間的相似性[7]，但是算法效率較低，沒有有效地利用字典的內(nèi)在聯(lián)系；基于鄰域字典嵌入算法（Neighborhood Embedding Dictionary Learning，NEDL），用近鄰系數(shù)聯(lián)合圖像塊線性組合為超分辨圖像[8]，但是存在欠擬合或過擬合缺陷。

本文采用基于離線雙字典學(xué)習(xí)算法（Offline Double Dictionary Learning，ODDL）對圖像超分辨率進(jìn)行重建，在圖像塊中建立字典稀疏模型，確定稀疏精確重構(gòu)高分辨率圖像的條件即字典中原子的數(shù)量；通過離線字典學(xué)習(xí)中的原子線性組合表示任意一幅與訓(xùn)練樣本具有類似結(jié)構(gòu)特征的圖像，將圖像塊中像素點(diǎn)的列向量在子字典展開；雙字典與超分辨率重構(gòu)中不同分辨率的異構(gòu)數(shù)據(jù)進(jìn)行同構(gòu)化，確定重建的殘差補(bǔ)償過程。實(shí)驗(yàn)仿真顯示本文算法重建效果清楚，峰值信噪比大，BIQI最小。

1 改進(jìn)字典學(xué)習(xí)算法思路

1.1 基于稀疏模型的局部塊建立字典模型

選取的字典原子應(yīng)與信號的本質(zhì)特征一致，這樣信號才能通過字典中盡可能少量的原子來表示，使表示結(jié)果更稀疏[9-10]，取原圖中大小為×像素的圖像塊，將塊中的像素點(diǎn)按照從上到下，從左到右的順序排成一個列向量∈R×，字典基元組用稀疏表達(dá)模型來表示圖像塊：min||||0，滿足：

式中：||||0為范數(shù)，表示中非零系數(shù)的個數(shù)；＝[1,2, …,d]∈R×為過完備字典，d為的原子，||×||0為非零元素個數(shù)；為稀疏表示的誤差控制閾值。這樣每個圖像塊都可以表示成字典基元組的一個線性組合[11]。

通過參數(shù)平衡稀疏性和稀疏表示誤差：

稀疏精確重構(gòu)高分辨率圖像的條件只要字典中原子的數(shù)量滿足：

1.2 基于離線字典學(xué)習(xí)的圖像稀疏編碼

假設(shè)訓(xùn)練樣本包含的圖像區(qū)域?yàn)椋?/p>

式中：y和y￠為圖像中和￠的向量表示，學(xué)習(xí)過程通過訓(xùn)練過完備字典來稀疏表示[12]，其目標(biāo)函數(shù)為：

式中：￠為￠訓(xùn)練的字典，為訓(xùn)練的字典。

訓(xùn)練字典完成后，為了使訓(xùn)練圖像區(qū)域與原始圖像區(qū)域具有相同的稀疏表示，需要將它們統(tǒng)一到一個稀疏編碼框架中進(jìn)行優(yōu)化編碼[13]，優(yōu)化模型如下：

式中：為依據(jù)所得的稀疏編碼。

在離線訓(xùn)練字典時(shí)，通過字典中的原子線性組合表示任意一幅與訓(xùn)練樣本具有類似結(jié)構(gòu)特征的圖像，從訓(xùn)練圖像集中選取一定量的特征作為已知量[14]，通過訓(xùn)練樣本進(jìn)行均值聚類劃分獲得字典，從循環(huán)開始利用和，使用feature sign search算法得到每個訓(xùn)練樣本的稀疏編碼，利用Lagrange dual算法來優(yōu)化字典：

1.3 子字典學(xué)習(xí)過程

式中：g、g為子字典、第個和第個原子，越小子字典原子間相干性越弱[15]。

將圖像塊中像素點(diǎn)的列向量在子字典展開：

式中：為尺度稀疏系數(shù)，∈(0, 1)。

2 基于雙字典學(xué)習(xí)的超分辨率重構(gòu)

圖像超分辨率重建猶如傳統(tǒng)的病態(tài)反問題，其解不唯一，字典學(xué)習(xí)是對重建結(jié)果進(jìn)行約束以得到最優(yōu)化的結(jié)果。在圖像超分辨重建中，需要雙字典，一個是對低分辨率重建的低分辨率字典，另一個是對超分辨率重建的超分辨率字典，低分辨率和超分辨率屬于異構(gòu)數(shù)據(jù)[16-17]，在實(shí)際中需要把異構(gòu)數(shù)據(jù)進(jìn)行同構(gòu)化，其過程為：

式中：￠是低分辨率圖像區(qū)域的字典；￠是超分辨率圖像區(qū)域的字典；0和分別是正則化參數(shù)；是滿足低分辨率、超分辨率字典的稀疏表示。把低分辨率重建的字典使用在超分辨率重建的字典過程為：

當(dāng)稀疏字典￠和￠訓(xùn)練之后，重建圖像H￠通過特征算子2提取其特征集合p￠，與降維矩陣相乘得p￠。在￠中得最佳匹配因子：

∈(0, 0.05)為控制殘差。殘差補(bǔ)償過程為：對重建高辨率圖像H￠隨機(jī)采樣，獲得相應(yīng)的低辨率圖像H*，計(jì)算H－H*，對其值進(jìn)行插值獲取殘差；最后將殘差疊加到重建圖像H￠中，最終獲得超分辨重建圖像H2。

計(jì)算H的特征p￠：

p￠＝￠(13)

則H最佳估計(jì)H￠為：

H￠＝H2＋p￠(14)

算法流程：

快干型高光聚氨酯面漆Hardtop E88及快干型聚氨酯半光面漆Hardtop E88 SG有著優(yōu)異的保光、保色性能，可形成光澤度高、鮮映性強(qiáng)、外觀豐滿的鏡面效果，同樣綠色環(huán)保又出色的施工性能在順應(yīng)社會發(fā)展趨勢的同時(shí)也意味著更大的經(jīng)濟(jì)效益。

1）輸入圖像，通過圖像局部塊建立字典模型；

2）離線字典對圖像稀疏編碼；

3）劃分多個子字典進(jìn)行學(xué)習(xí)，圖像塊中像素點(diǎn)在子字典展開；

4）雙字典對超分辨率重建，滿足重建控制殘差，進(jìn)行步驟5），否則進(jìn)行步驟2）；

5）輸出圖像。

3 實(shí)驗(yàn)仿真

3.1 重建視覺對比

選擇Lena、Cameraman作為訓(xùn)練集，每幅圖像采用2000個圖像塊來訓(xùn)練，稀疏字典大小分別選擇256，子字典個數(shù)為32個，進(jìn)行放大4倍的超分辨率仿真，低分辨圖像取4×4圖像塊，并保留與周圍圖像塊1個像素的重疊，對應(yīng)的超分辨率圖像取9×9圖像塊，保留3個像素的重疊，如圖1所示。然后本文算法ODDL與CDL、CODL、HRBLRDL、PDL、NEDL分別進(jìn)行比較，其結(jié)果如圖2和圖3所示，在具體實(shí)施過程中，參數(shù)＝0.01，＝1，從低分辨率圖像的2倍放大圖像中提取特征數(shù)據(jù)，即8×8圖像塊。

在圖2和圖3的重建效果中，本文算法處理的結(jié)果在紋理上要比其他算法更清晰，可清楚看到本文算法圖2的(a)中Lena頭發(fā)邊緣的自然曲線和圖3的(a)中重建效果Cameraman的手指動作，其他算法結(jié)果過于平滑，Lena的眼部周圍出現(xiàn)格子效應(yīng)，Cameraman的鼻子輪廓有鋸齒現(xiàn)象，消除放大圖像的邊緣偽跡，實(shí)現(xiàn)了主客觀良好的圖像超分辨率重構(gòu)。這是因?yàn)楸疚乃惴▽γ糠头直媛蕡D像特征塊對應(yīng)采用子字典中的稀疏編碼判定誤差，選擇最小誤差子字典的特征部分重建圖像塊，將重建圖像中廣泛存在的像素點(diǎn)保留下來，奇異值點(diǎn)剔除掉，保留了高頻細(xì)節(jié)信息，使得重建效果最佳，其它的方法重建效果存在振鈴和陰影缺陷。

3.2 完全參考圖像質(zhì)量評價(jià)

重建圖像質(zhì)量峰值信噪比（Peak Signalto Noise Ratio，PSNR）評價(jià)參數(shù)：

式中：PSNR單位為dB，值越大，說明重建質(zhì)量越好。

圖2 Lena重建效果

3.2.2 相似度指標(biāo)

相似度指標(biāo)（Structural Similarity Index Measure- ment，SSIM）衡量2幅圖像相似程度，其值越大越好，最大為1：

式中：和為均值；和為方差；為和之間的協(xié)方差。

3.2.3 通用質(zhì)量評價(jià)指數(shù)

通用質(zhì)量評價(jià)指數(shù)（Universal Image Quality Index，UIQI）：

3.2.4 偏差指數(shù)

偏差指數(shù)（Difference Index，DI）用來比較重建圖像和標(biāo)準(zhǔn)圖像偏離的程度，定義重建圖像的偏差指數(shù)的表達(dá)式為：

式中：、為圖像寬和高；x、y分別為標(biāo)準(zhǔn)圖像和重建圖像上對應(yīng)(,)點(diǎn)的灰度值。偏差指數(shù)的大小反映了重建圖像對標(biāo)準(zhǔn)圖像的保持程度，偏差指數(shù)越大，重建效果越差。

3.2.5 邊緣信息保持指數(shù)

邊緣信息保持指數(shù)（Edge Preserve Index，EPI），考察圖像經(jīng)過重建后邊緣不模糊，邊緣點(diǎn)不位移，計(jì)算公式如下：

若EPI值接近1，說明重建圖像與標(biāo)準(zhǔn)圖像越接近，效果最好。

表1給出了圖2和圖3中不同算法的PSNR、SSIM、UIQI、DI、EPI值。

從表1的結(jié)果中可以看出，對不同的圖像本文算法的PSNR、SSIM、UIQI、DI、EPI值較優(yōu)，使重建圖像質(zhì)量較好，這時(shí)因?yàn)槎鄠€子字典的P越小子字典原子間的相干性越弱，在圖像超分辨重建中，對不同的分辨率圖像采用不同的字典，防止數(shù)據(jù)異構(gòu)化，同時(shí)本文算法在高、低分辨率圖像塊的字典上具有相同的表示系數(shù)，在重建中利用控制殘差對重建約束。

3.3 無參考質(zhì)量評價(jià)

無參考質(zhì)量評價(jià)（Blind Image Quality Index，BIQI）作為圖像質(zhì)量的評測算法，不需要標(biāo)準(zhǔn)的優(yōu)質(zhì)圖像作為參考，返回評測的指標(biāo)值介于0～100之間，0為質(zhì)量最優(yōu)，100為質(zhì)量最差：

式中：p為圖像在JPEG、JPEG2000、白噪聲、高斯模糊、快衰落5類中的分布概率；q為在相應(yīng)5類中的失真程度，q越小失真越小。評價(jià)不同算法在較大分辨率提升倍率下的重構(gòu)效果，低分辨率圖像與不同倍率分辨率提升后重構(gòu)圖像的BIQI指標(biāo)取平均值，圖4給出了平均BIQI指標(biāo)與分辨率提升倍率之間的關(guān)系。

從圖4可以看出本文算法在分辨率提升倍率增加情況下平均BIQI指標(biāo)變化率增加較少，保證了圖像的重建質(zhì)量，其他算法在分辨率提升倍率較大時(shí)重構(gòu)圖像的質(zhì)量下降十分明顯。

表1 不同算法的PSNR、SSIM、UIQI、DI、EPI值

圖4 平均BIQI指標(biāo)與分辨率提升倍率之間的關(guān)系

4 總結(jié)

本文提出基于離線雙字典學(xué)習(xí)算法對圖像超分辨率進(jìn)行重建，字典稀疏模型確定字典中原子數(shù)量，把稀疏編碼統(tǒng)一到一個框架中進(jìn)行優(yōu)化編碼，將圖像塊中像素點(diǎn)的列向量在子字典展開，確定重建控制殘差條件，實(shí)驗(yàn)仿真顯示本文算法重建效果清楚，峰值信噪比大，BIQI最小，為圖像超分辨率重建提供了一種新的參考方法。

[1] Qiegen Liu, Shanshan Wang, Jianhua Luo. A novel predual dictionary learning algorithm[J]., 2012, 23(1): 182-193.

[2] Q. Barthélemy, A. Larue, J. I. Mars. Decomposition and dictionary learning for 3D trajectories[J]., 2014, 98(5): 423-437.

[3] 江靜, 張雪松. 圖像超分辨率重建算法綜述[J]. 紅外技術(shù), 2012, 34(1): 24-30.

Jiang Jing, Zhang Xue-song. A Review of Super-resolution Reconstruction Algorithms[J]., 2012, 34(1): 24-30.

[4] Jianchao Yang, Zhaowen Wang, Zhe Lin, et al. Coupled dictionary training for image super-resolution[J]., 2012, 21(8): 3467-3478.

[5] Mingli Song, Chun Chen, Jiajun Bu, et al. Image-based facial sketch-to-photo synthesis via online coupled dictionary learning[J]., 2012, 193(15): 233-246.

[6] Roman Zeyde, Michael Elad, Matan Protter. On Single Image Scale-Up Using Sparse-Representations[C]//7th, 2010: 711-730.

[7] S. F. Cotter, K. Kreutz-Delgado, B. D. Rao. Backward sequential elimination for sparse vector subset selection[J]., 2001, 81(9): 1849-1864.

[8] Qidan Zhu, Lei Sun, Chengtao Cai. Non-local neighbor embedding for image super-resolution through FoE features[J]., 2014, 141(10): 211-222.

[9] 余雷, 滿家巨, 劉利剛. 基于聯(lián)合字典學(xué)習(xí)的圖像去噪[J]. 湖南師范大學(xué)自然科學(xué)學(xué)報(bào), 2013, 36(6): 11-16.

Yu Lei, Man Jiaju, Liu Ligang. Image Denoising via Joint-Dictionary Learning[J]., 2013, 36(6): 11-16.

[10] Liu Liu, Zhen weiShi. Airplane detection based on rotation invariant and sparse coding in remote sensing images[J]., 2014, 125(9): 5327-5333.

[11] 梁銳華, 成禮智. 基于小波域字典學(xué)習(xí)方法的圖像雙重稀疏表示[J]. 國防科技大學(xué)學(xué)報(bào), 2012, 34(4): 126-131.

Liang Ruihua, Cheng Lizhi. Double sparse image representation via learning dictionaries in wavelet domain[J]., 2012, 34(4): 126-131.

[12] 李民, 程建, 湯萬瓊. 基于學(xué)習(xí)字典的圖像類推方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2011, 28(8): 3171-3173.

Li Min, Cheng Jian, Tang Wanqiong. Image analogies method based on learned dictionary[J]., 2011, 28(8): 3171-3173.

[13] 段菲, 章毓晉. 一種面向稀疏表示的最大間隔字典學(xué)習(xí)算法[J]. 清華大學(xué)學(xué)報(bào): 自然科學(xué)版, 2012, 52(4): 566-570.

Duan Fei, Zhang Yujin. Max-margin learning algorithm for sparse representation[J]., 2012, 52(4): 566-570.

[14] 羅燕龍. 基于局部稀疏表示模型的在線字典學(xué)習(xí)跟蹤算法研究[D]. 福建: 廈門大學(xué), 2014: 45-60.

Luo YanLong. Representation of learning tracking model based on local sparse Online Dictionary[D]. FuJian: Xiamen University, 2014: 45-60.

[15] 馬路, 鄧承志, 汪勝前, 等. 特征保留的稀疏表示圖像去噪[J]. 計(jì)算機(jī)應(yīng)用, 2013, 33(5): 1416-1419.

Ma Lu, Deng Chengzhi, Wang Shengqia, et al. Feature-retained image de-noising via sparse representation[J]., 2013, 33(5): 1416-1419.

[16] Ender M. Eksioglu. Online dictionary learning algorithm with periodic updates and its application to image denoising[J]., 2014, 41(8): 3682-3690.

[17] 彭真明, 景亮, 何艷敏, 等. 基于多尺度稀疏字典的多聚焦圖像超分辨融合[J]. 光學(xué)精密工程, 2014, 22(1): 169-175.

Peng Zhenming, Jing Liang, He Yan min, et al. Superresolution fusion of multi-focus image based on multiscale sparse dictionary[J]., 2014, 22(1): 169-176.

Image Super Resolution Reconstruction Based on Offline Double Dictionary Learning Algorithm

ZHOU Lin，YANG Na

(450045,)

In order to improve the quality of image super-resolution reconstruction, offline double dictionary learning algorithm is established. First, dictionary sparse representation model was built by image block, and the number of atoms in dictionary is determined. Second, sparse code of image is used based on offline dictionary learning and put into frame to optimize code. Third, double dictionary is decomposed into some sub dictionaries, and column vector of pixel of image block is spread in sub dictionary. Last, heterogeneous data with different resolution in the final dictionary learning and super resolution reconstruction is getting isomorphic, control residual is determined, and process is given. Simulation shows that ODDL algorithm reconstruction result is clear, PSNR is better, and BIQI is lower.

offline double dictionary，super resolution reconstruction，sparse，control residual

A

1001-8891(2015)04-0277-06

2014-12-09；

2015-02-04.

周琳（1977-），女，河南西華人，碩士，實(shí)驗(yàn)師，主要研究方向：計(jì)算機(jī)教育技術(shù)研究。

河南省教育廳“十五”教育科學(xué)規(guī)劃課題，編號：2005-JKGHAZ-086；河南省社科聯(lián)課題，編號：SKL-2011-1927。