基于視覺傳達(dá)的多幀圖像高分辨率重建仿真

李 博

(中國(guó)醫(yī)科大學(xué)，遼寧 沈陽(yáng) 110000)

1 引言

圖像處理技術(shù)不斷發(fā)展，視覺傳達(dá)技術(shù)和高分辨率重建技術(shù)在圖像處理中的應(yīng)用日益廣泛。與此同時(shí)，人們對(duì)視頻圖像的分辨率要求也日益提升。但由拍攝環(huán)境、經(jīng)濟(jì)成本等因素影響，重構(gòu)圖像分辨率較低，無(wú)法滿足醫(yī)療放射學(xué)、航天飛行、遙感測(cè)繪等應(yīng)用領(lǐng)域的實(shí)際需要[1]?；谝曈X傳達(dá)技術(shù)的多幀圖像高分辨率重建方法采用結(jié)合稀疏表示算法和深度學(xué)習(xí)算法滿足上述領(lǐng)域的高分辨率圖像，無(wú)需改變當(dāng)前應(yīng)用的硬件系統(tǒng)，在重建質(zhì)量上具有非常大的優(yōu)勢(shì)，所以近年來(lái)，國(guó)防、醫(yī)學(xué)、智能交通、公共安全領(lǐng)域都獲得了廣泛的應(yīng)用[2]。

三次樣條插值法是常用的一種方法[3]，通常情況下是以單幀圖像進(jìn)行空間像素點(diǎn)擴(kuò)展，在重建過程中難以避免邊緣模糊，導(dǎo)致重建效果不好。文獻(xiàn)[4]方法在重建過程中，對(duì)于某些幀像素點(diǎn)匹配時(shí)誤差較大，致使最終重建后的圖像細(xì)節(jié)不夠豐富清晰。為此，本文提出基于視覺傳達(dá)的多幀圖像高分辨重建方法。相對(duì)于以上兩種方法，本文方法重建后的圖像質(zhì)量較好，可以保留更多的圖像細(xì)節(jié)。

2 相關(guān)理論

2.1 ScSR算法及局限性分析

(1)

(2)

多幀高分辨圖像重構(gòu)時(shí)，基于稀疏表示的高分辨率重建方法是選出梯度相對(duì)較大的數(shù)值用于后續(xù)候選字典原子的構(gòu)建[8]。

然而，相對(duì)圖像的紋理信息極為復(fù)雜，使梯度的邊緣構(gòu)造大于紋理值的變化。假如候選字典原子是通過梯度特征來(lái)選取，那么建立的字典邊緣構(gòu)造將會(huì)偏重，致使重構(gòu)后的高分辨率圖像紋理結(jié)構(gòu)極為平滑，影響高分辨圖像重建質(zhì)量。因此，通過人工手段建立的基于稀疏表示的高分辨率重建方法屬于低層級(jí)特征字典，字典在一些領(lǐng)域上具有局限性。對(duì)圖像的深層次特征進(jìn)行獲取，需要?jiǎng)?chuàng)建新的字典，高分辨率圖像特征表述方法，是后續(xù)提高重建圖像質(zhì)量的必然手段[9]。

2.2 基于深度學(xué)習(xí)的深層次特征提取模型

PCANet是通過深度學(xué)習(xí)理論和卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的一種較為簡(jiǎn)易的深度學(xué)習(xí)方法。PCANet是由兩個(gè)PCA(主成分分析法)濾波層、一個(gè)哈希層、一個(gè)直方圖計(jì)算層構(gòu)成的，可實(shí)現(xiàn)提取高分辨率圖像的深層次特征[10]。但是與通常使用的網(wǎng)絡(luò)不同的是，PCANet的濾波器計(jì)算效率更高。PCANet不是通過訓(xùn)練所得，而是通過獲取高分辨率圖像部分區(qū)域映射結(jié)果，再采用PCA(主成分分析法)提取高分辨率圖像主成分，各個(gè)主成分為一個(gè)獨(dú)立的濾波器[11]。

當(dāng)樣本圖像采用此濾波器，并提取特征時(shí)，無(wú)需進(jìn)行多次迭代運(yùn)算獲取最優(yōu)權(quán)值，由此減少了計(jì)算時(shí)間。

為了進(jìn)一步論述PCANe深度網(wǎng)絡(luò)提取高分辨率圖像特征的優(yōu)勢(shì)，設(shè)定輸入圖像為N個(gè)，大小為8×8，移動(dòng)距離為1的窗口遍布多幀高分辨率圖像。采用PCA計(jì)算該映射特征L1的主要部分，將L1個(gè)主要部分調(diào)試為L(zhǎng)1個(gè)濾波器，最后得到和普通CNN一樣L1個(gè)特征映射；然后，第2層與第1層處理方式相同，而第3層能夠得出L2個(gè)映射特征。而PCANet的特征就是L2個(gè)映射特征，所以能夠?yàn)橹蟮膱D像處理提供一個(gè)可靠的數(shù)據(jù)[12]。

因此，PCANet在提取圖像特征時(shí)，實(shí)質(zhì)是對(duì)圖像像素點(diǎn)直接處理，且操作階段加入了分塊處理過程，深度網(wǎng)絡(luò)輸出的圖像塊數(shù)量相比之前有所增加。PCANet采用深度網(wǎng)絡(luò)學(xué)習(xí)過程進(jìn)行提取圖像的特征，通過PCANet提取的圖像特征與通過人工規(guī)則所獲取的特征相比，其細(xì)節(jié)信息更加豐富，紋理結(jié)構(gòu)更加突出，為后續(xù)高分辨率重建提供豐富的先驗(yàn)知識(shí)，較好的填充了低分辨率圖像細(xì)節(jié)，便于超分辨率圖像重建。

3 基于視覺傳達(dá)的多幀圖像高分辨率重建方法

文中將PCANet與基于稀疏表示的高分辨率重建方法的優(yōu)點(diǎn)相結(jié)合，提出基于視覺傳達(dá)的多幀圖像高分辨率重建方法。對(duì)于多幀圖像高分辨率重建方法，先假設(shè)高分辨率圖像和低分辨率圖像是對(duì)于各自字典所具備的稀疏表達(dá)方式，接著通過PCANet深度網(wǎng)絡(luò)而得到圖像樣本特征，對(duì)字典的結(jié)合獲得一對(duì)過完備字典Dh與D1。高分辨率圖像重建階段，對(duì)低分辨率圖像采用相同的方式進(jìn)行處理，通過PCANet方式進(jìn)行深層次特征提取，將低分辨率圖像特征D1稀疏所表達(dá)的系數(shù)直接作用在Dh上，就能獲得相對(duì)應(yīng)的高分辨率特征圖像。實(shí)現(xiàn)低分辨率圖像的高分辨率重建。在通過PCANet深度網(wǎng)絡(luò)進(jìn)行圖像樣本的挖掘，能夠獲取相對(duì)非深度網(wǎng)絡(luò)更好的圖像特征，建立的深層特征字典，也可以提升其描述能力，對(duì)圖像重建后的質(zhì)量有著顯著的提升。

(3)

以上述所得數(shù)據(jù)矩陣X來(lái)提取特征，將提取出來(lái)的特征視為ScSR模型中的特征樣本，代入PCANet的特征字典中。

(4)

通過和高分辨率圖像同樣的處理過程，給出提取低分辨率圖像深層次細(xì)節(jié)特征結(jié)果，即

(5)

式中：Fhi與Fli分別代表高分辨率圖像和低分辨率圖像的特征提取結(jié)果；Bhist代表直圖像編碼的經(jīng)過；B代表分割圖像樣本塊數(shù)。

文中通過結(jié)合稀疏編碼方法，在ScSR框架中訓(xùn)練字典，目標(biāo)是獲取一組能夠表示復(fù)雜的特征樣本字典對(duì)Dh與D1。使K對(duì)圖像生成的深層次細(xì)節(jié)特征Fhi與Fli，在Dh與D1上有著同樣的稀疏表示，且Fhi與Fli是有相同的描述系數(shù)，即

(6)

(7)

(8)

式中：N與M分別表示圖像的高、低分辨率特征塊元素值所進(jìn)行列矢量的維度重排，1/N與1/M是采用平衡式(6)，(7)的Dh與D1之間的代價(jià)，為便于后續(xù)計(jì)算，將式(8)重構(gòu)得到

(9)

(10)

在獲得字典對(duì)DC后，采用基于稀疏正則模型的高分辨率圖像重建方法得出LR圖像Y的重建HR圖像X。

圖像重建階段，受到外界環(huán)境噪聲干擾，圖像中存在部分噪聲，在重建后的圖像會(huì)出現(xiàn)塊效應(yīng)以及圖像的模糊偽影?？紤]到通常情況下，采用常規(guī)的反向投影模型，不能確保圖像重建之后的圖像質(zhì)量；在非部分局部相似性先驗(yàn)約束下，通過圖像與圖像之間的相似塊進(jìn)行匹配，來(lái)更好地保存圖像的細(xì)節(jié)。相對(duì)重建后存在的圖像塊效應(yīng)和模糊偽影，進(jìn)行消除，在反向投影全局優(yōu)化的基礎(chǔ)上引進(jìn)非局部的相似性經(jīng)驗(yàn)約束，來(lái)優(yōu)化HR圖像。文中的全局約束與非全局約束模型X*的表達(dá)式為

(11)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境與參數(shù)分析

仿真環(huán)境為Pentium M1.60GHz CPU，760M RAM。為了證明本文方法的效果，對(duì)本文方法與文獻(xiàn)[4]方法和三次樣條插值法進(jìn)行對(duì)比分析。

結(jié)合相關(guān)仿真工具對(duì)圖像模擬實(shí)驗(yàn)。假如使用高斯模糊模型，設(shè)定3×3區(qū)域不變的高斯濾波器，將其采樣因子設(shè)定為4，對(duì)所有低分辨率圖像都加進(jìn)高斯噪音，滿足信噪比為30dB。

4.2 實(shí)驗(yàn)結(jié)果分析

圖1分別是幾幅測(cè)試圖像使用各個(gè)算法重建的圖像結(jié)果。圖像像素為512×512。

圖1 仿真結(jié)果

根據(jù)圖1可以看出，三次樣條插值方法通過圖像單幀像素點(diǎn)進(jìn)行空間擴(kuò)展，在重建過程中難以避免導(dǎo)致邊緣模糊，重建效果一般。文獻(xiàn)[4]方法對(duì)于某些幀像素點(diǎn)匹配時(shí)誤差較大，致使最終重建后的圖像細(xì)節(jié)不夠豐富清晰，重建效果劣于三次樣條插值方法。相比之下可以看出，本文方法相較于其它兩種方法，在高分辨率圖像重構(gòu)中具有明顯的優(yōu)勢(shì)。

高頻殘差分量塊和中頻殘差分量塊絕對(duì)差和間的關(guān)系，如圖2所示。

圖2 中、高頻圖像塊間的相關(guān)性

由上圖可以看出，兩幅圖都呈現(xiàn)出正相關(guān)的特性，雖然殘差圖像塊間的相關(guān)性較原始圖像塊的相關(guān)性相對(duì)弱一些，但從圖中可見，相關(guān)性仍是非常明顯的，足夠支持本章算法的思路，可以利用中頻殘差信息來(lái)預(yù)測(cè)高頻殘差信息。

圖3 各種方法對(duì)圖像重建的結(jié)果

由上圖可以看出，文獻(xiàn)[4]方法由于幀像素點(diǎn)匹配時(shí)誤差較大，重建圖像質(zhì)量沒有明顯的提升。三次樣條插值方法具有明顯的鋸齒現(xiàn)象，且邊界的銳化保持度不明顯。所提方法不僅可以重建明顯的邊界輪廓，對(duì)不明顯的邊界紋理也有改善。主要原因在于所提方法通過PCANet深度網(wǎng)絡(luò)進(jìn)行圖像樣本的挖掘，能夠獲取相對(duì)非深度網(wǎng)絡(luò)更好的圖像特征，建立的深層特征字典，也可以提升其描述能力，對(duì)圖像重建后的質(zhì)量有著顯著的提升。

均方誤差(MSE)單位為常數(shù)、結(jié)構(gòu)相似度(SSIM)單位為%。選取均方誤差(MSE)、峰值信噪比(PSNR)以及結(jié)構(gòu)相似度(SSIM)這3個(gè)評(píng)價(jià)指標(biāo)進(jìn)行測(cè)試。SSIM參數(shù)用來(lái)評(píng)價(jià)圖像與圖像之間結(jié)構(gòu)失真。

(12)

(13)

(14)

表1 仿真數(shù)值的結(jié)果標(biāo)準(zhǔn)

結(jié)合圖1、2與表1結(jié)果可以看出，文獻(xiàn)[4]方法的均方誤差(MSE)的指標(biāo)為30.12%，峰值信噪比(PSNR)的指標(biāo)為18.65%，結(jié)構(gòu)相似度(SSIM)指標(biāo)為0.43%；三次樣條插值方法的均方誤差(MSE)的指標(biāo)為26.54%，峰值信噪比(PSNR)的指標(biāo)為19.58%，結(jié)構(gòu)相似度(SSIM)指標(biāo)為0.57%；本文方法的均方誤差(MSE)的指標(biāo)為5.54%，峰值信噪比(PSNR)的指標(biāo)為33.25%，結(jié)構(gòu)相似度(SSIM)指標(biāo)為0.95%。無(wú)論從均方誤差(MSE)、峰值信噪比(PSNR)以及結(jié)構(gòu)相似度(SSIM)這3種指標(biāo)上，還是從主觀視覺角度來(lái)看，本文提出的方法重建效果均優(yōu)于其它兩種方法，圖像重建后細(xì)節(jié)更豐富，質(zhì)量更好。

5 結(jié)論

本文提出的重建方法，通過獲取多幀圖像的深層次特征，來(lái)增強(qiáng)高分辨率字典以及低分辨率字典描述圖像細(xì)節(jié)信息以及框架結(jié)構(gòu)的能力，保持重建后的圖像具有豐富細(xì)節(jié)信息。本文方法在主觀評(píng)價(jià)與客觀評(píng)價(jià)上均較優(yōu)，重建后的圖像細(xì)節(jié)信息更豐富，圖像質(zhì)量更好。

未來(lái)階段將優(yōu)化重建方法的計(jì)算時(shí)間，對(duì)于影響圖像的重建眾多因素進(jìn)行詳細(xì)分析，進(jìn)一步提升基于視覺傳達(dá)的多幀圖像高分辨率重建效率。