利用子空間稀疏特征的超分辨率圖像重建算法

沈 瑜，劉 成，楊 倩

1.蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州730070

2.甘肅省人工智能與圖形圖像處理工程研究中心，蘭州730070

傳統(tǒng)的圖像復(fù)原技術(shù)通過減少成像過程中各種干擾因素影響來提高圖像復(fù)原的質(zhì)量。但是，這些方法很難將成像系統(tǒng)截止頻率以外的信息進(jìn)行復(fù)原。為此，圖像超分辨率重建的概念被提出，它的基本思想是將低分辨率圖像通過某些技術(shù)或者方法恢復(fù)至對應(yīng)的高分辨率圖像。它在衛(wèi)星成像、醫(yī)學(xué)圖像診斷、高分辨率視頻等領(lǐng)域具有很強(qiáng)的應(yīng)用價值。近年來，深度學(xué)習(xí)在多媒體領(lǐng)域的應(yīng)用愈加廣泛，與此同時，以深度學(xué)習(xí)為基礎(chǔ)的超分辨率圖像重建技術(shù)[1]也成為了圖像處理領(lǐng)域的重點(diǎn)研究方向。

王忠謙等提出的雙三次插值法[2]通過LR圖像信息，在鄰點(diǎn)間計算得到插值點(diǎn)像素，實(shí)現(xiàn)HR圖像的重建。該方法雖然較為簡單，但是不能較好地保持圖像的高頻信息，同時還會造成圖像邊緣的振鈴效應(yīng)。Yang等[3]利用聯(lián)合訓(xùn)練的方法尋找LR和HR圖像塊相對應(yīng)的過完備字典。這種方式使LR和HR圖像塊所獲得的稀疏系數(shù)較為相似。該方法取得的圖像重建質(zhì)量較好。但是，訓(xùn)練和重建過程需要多次迭代，算法復(fù)雜度偏大。Timofte等[4]提出的A+算法是建立在圖像特征和錨定領(lǐng)域回歸量的基礎(chǔ)上，但它沒有在字典上學(xué)習(xí)回歸量。因此，該方法具有非常低的時間復(fù)雜度。Zhu等[5]提出了一種基于可變形塊的單圖像超分辨方法。通過變形圖像塊，字典對圖像變得更具表現(xiàn)力。結(jié)果表明，該方法有助于提高圖像表示精度，算法魯棒性也顯著提升。香港中文大學(xué)Dong等[6]首次引入卷積神經(jīng)網(wǎng)絡(luò)處理超分辨率圖像重建問題，其網(wǎng)絡(luò)架構(gòu)主要分為特征提取、非線性映射和圖像重建三個階段。該方法采用均方誤差作為其損失函數(shù)，通過隨機(jī)梯度下降法對其進(jìn)行優(yōu)化，從而使網(wǎng)絡(luò)的收斂速度加快。但是該方法不適合多尺度放大，而且忽略了圖像塊之間的上下文依賴。后來，根據(jù)圖像分類的VGG網(wǎng)絡(luò)[7]提出的極深網(wǎng)絡(luò)[8]解決了圖像的單一尺度放大的問題，該方法通過級聯(lián)形式的濾波器，有效整合了圖像塊之間的上下文信息。此外，該方法也指出：對于訓(xùn)練過程中出現(xiàn)的梯度消失、梯度膨脹等問題，殘差學(xué)習(xí)和可調(diào)梯度裁剪[9]策略可以對其有效消除，但是該方法在參數(shù)存儲和檢索方面存在不足。西安交通大學(xué)的Liang等[10]采用了一種在訓(xùn)練過程中對代價函數(shù)增加約束條件的方法，如：重建圖像的梯度輪廓[11]、非局部相似性[12]等，該方法充分考慮了圖像的邊緣信息，但對重建圖像質(zhì)量的提升效果甚微。該方法也表明了把淺層卷積神經(jīng)網(wǎng)絡(luò)和圖像先驗(yàn)知識相結(jié)合，對圖像質(zhì)量的改善能力非常有限。文獻(xiàn)[13-14]利用在合適的稀疏字典原子下，LR/HR圖像塊稀疏表示系數(shù)是相同的這一性質(zhì)，提出了基于稀疏編碼的超分辨率重建方法，該方法使圖像的視覺效果有了很大程度的改善，而且也表明了稀疏編碼模型所蘊(yùn)含的領(lǐng)域知識可以對深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)的設(shè)計提供很大幫助。在眾多基于深度學(xué)習(xí)的超分辨率圖像重建方法中，利用字典模型的重建技術(shù)備受青睞。文獻(xiàn)[15]提出了一種基于協(xié)作稀疏表達(dá)的字典學(xué)習(xí)算法。該方法將圖像劃分為不同聚類，并且構(gòu)建了協(xié)作稀疏字典模型。最后，利用圖像自身的結(jié)構(gòu)自相似性選擇對應(yīng)的映射矩陣來完成圖像重建。這種方法使得圖像的超分辨率質(zhì)量得到了進(jìn)一步提升。文獻(xiàn)[16]提出一種新的基于層次聚類的超分辨率圖像重建算法，該方法利用層次聚類和改進(jìn)的主成分分析方法訓(xùn)練得到字典模型，并且在完成重建以后對圖像進(jìn)行全局優(yōu)化，有效提升了圖像的峰值信噪比和結(jié)構(gòu)相似度。還有其他字典模型，比如多尺度字典[17-18]、壓縮感知字典等[19]都在超分辨率圖像重建中取得了較好的效果。在現(xiàn)有研究工作中，基于人工特征設(shè)計詞典模型（如圖像灰度信息、梯度或紋理結(jié)構(gòu)等淺層特征），對源圖像信息的表達(dá)能力是非常有限，尤其是對于結(jié)構(gòu)復(fù)雜、特征豐富的圖像，需要一種模型來提取圖像的深層次學(xué)習(xí)特征以獲得更好的圖像重建效果。

在此基礎(chǔ)上，本文提出了一種具有高斯內(nèi)核函數(shù)的PCANet模型用來提取圖像的深度學(xué)習(xí)特征作為源圖像的精確表示，并且對子空間特征進(jìn)行稀疏優(yōu)化，提高了算法的魯棒性。通過訓(xùn)練得到的LR濾波器將提取到深度學(xué)習(xí)特征分解為多個特征映射以獲得LR圖像更加稀疏的特征表示，同時結(jié)合訓(xùn)練得到的映射函數(shù)可以更精確地估計出HR圖像的稀疏特征表示，有效解決了特征匹配過程中準(zhǔn)確度低的問題。

1 PCANet模型

深度學(xué)習(xí)的思想是挖掘數(shù)據(jù)的多層次表示方法，通過更高、更深層次的特征來增強(qiáng)抽象數(shù)據(jù)的語義表達(dá)能力。其結(jié)構(gòu)模型和人類大腦分層處理信息的機(jī)制具有相似之處。文獻(xiàn)[20]表明，利用深度分層模型能夠獲得稀疏性、選擇性和魯棒性更佳的學(xué)習(xí)特征，能有效增強(qiáng)對圖像語義的描述能力。所以，尋找新的多層特征提取模型變成了深度學(xué)習(xí)方面的一個研究熱點(diǎn)。

PCANet[21]是一種把卷積神經(jīng)網(wǎng)絡(luò)理論和PCA（主成分分析）理論相結(jié)合且結(jié)構(gòu)較為簡單的深度學(xué)習(xí)算法。利用PCANet模型可以從圖像數(shù)據(jù)庫中提取到與人工設(shè)計規(guī)則完全不同的深度學(xué)習(xí)特征[22]。因此，將PCANet算法應(yīng)用到圖像數(shù)據(jù)中深層次的特征的提取是可行的。

本文算法利用PCANet模型提取圖像深度學(xué)習(xí)特征，并且加入稀疏優(yōu)化算法，對子空間特征映射進(jìn)行處理。然后利用學(xué)習(xí)得到的映射函數(shù)，用LR圖像特征估計出HR圖像的稀疏特征表示，解決了特征匹配準(zhǔn)確度低的問題。本文算法的流程如圖1所示。

2 利用PCANet模型提取圖像特征

PCANet算法是一種線性分析方法，不能有效提取圖像的非線性特征。在非線性空間引入內(nèi)核函數(shù)的方法可以彌補(bǔ)這些不足，它在圖像特征的高維空間中比線性方法更為有效。因此，本文在PCANet模型的濾波器核中引入核函數(shù)，可以有效提高該模型提取圖像非線性特征的能力。本文利用引入核函數(shù)的PCANet模型提取圖像深度學(xué)習(xí)特征，主要包括預(yù)處理、特征提取、特征輸出三個階段。

2.1 預(yù)處理階段

首先，對所有HR圖像進(jìn)行子采樣，將子采樣圖像縮放成和原始HR圖像相同的尺寸，得到對應(yīng)的LR圖像。樣本可表示為，其中分別代表LR圖像和HR圖像，P代表圖像對的數(shù)目。把每一張HR圖像由k1×k2大小的滑動窗口分割成m×n個圖像塊，k1、k2分別表示為滑動窗口的長度和寬度，m、n分別代表沿滑動窗口橫向和縱向的圖像塊的數(shù)量。為了去除HR圖像特征之間相關(guān)性，降低冗余，每個HR圖像塊進(jìn)行去均值操作后轉(zhuǎn)換為矩陣形式，第i個HR圖像可以表示為：

樣本集中所有HR圖像轉(zhuǎn)換成矩陣形式可以表示為：

與HR圖像對應(yīng)的LR圖像轉(zhuǎn)換成矩陣形式可以表示為：

2.2 PCANet模型特征提取階段

利用PCANet模型提取圖像深度學(xué)習(xí)特征主要分為以下三個階段：

提取深度學(xué)習(xí)特征的第一階段是通過核函數(shù)構(gòu)造新樣本集的過程，將樣本集SRL,H={xl,xh}由一個非線性映射φ(?)映射至高維空間，其中φ(?)指高斯內(nèi)核函數(shù)，其表達(dá)式為所以新樣本集可以表示為，其中

第二階段主要是過濾和卷積的過程，假設(shè)第i層中所需的濾波器的數(shù)量為L1，根據(jù)公式（4）對輸入的數(shù)據(jù)矩陣通過最小化重構(gòu)誤差獲得PCANet濾波器：

通過提取對應(yīng)于協(xié)方差矩陣Xh的最大特征值所對應(yīng)的特征向量，由式（5）計算得到PCANet模型的濾波器矩陣PW。

圖1 算法流程圖

每個訓(xùn)練圖像的主要信息可以通過第一個PCANet濾波器保存，并且可以通過公式（6）計算得到：

第三階段也是卷積和過濾的過程，把上層輸出結(jié)果作為本層的輸入，對該層進(jìn)行和上層一樣的操作得到：

上述兩個階段中第一層中有L1個濾波器，第二層中有L2個濾波器。因此，對于每個訓(xùn)練圖像，L1×L2特征矩陣用作輸出，用公式（8）表示：

在輸出層，對輸出結(jié)果執(zhí)行二值化哈希編碼，得到最終的特征輸出。其中T表示PCANet的中間特征提取結(jié)果，H(?)是可以增加每個特征的差異的階躍函數(shù)，2h′-1是將每個像素值更改為0～255之間數(shù)字的系數(shù)。

3 子空間特征稀疏優(yōu)化

利用PCANet算法提取圖像深度學(xué)習(xí)特征時，為了使其第一層和第二層的提取結(jié)果更加具有稀疏性，分別對兩層輸出的圖像特征進(jìn)行稀疏優(yōu)化。目的是找出最佳投影系數(shù)矩陣A。假設(shè)有P個訓(xùn)練圖像樣本，其數(shù)據(jù)矩陣其投影系數(shù)矩陣A=可以通過以下函數(shù)計算得到：

其中，U∈Pm×Pl和V∈Pn×Pr分別是左乘投影矩陣和右乘投影矩陣。最佳左、右投影矩陣可以通過解決以下目標(biāo)函數(shù)的最小化問題來解決：

其中，P指樣本數(shù)量，‖‖?F指的是矩陣的Frobenius-范數(shù)。根據(jù)文獻(xiàn)[23]提供的方法可以迭代更新出Uopt和Vopt。

在迭代更新得到Uopt和Vopt后，將成本函數(shù)設(shè)為以下形式：

其中，λ是一個常數(shù)，對式（12）進(jìn)行求導(dǎo)可以得到：

即：

其中，I1和I2為單位矩陣。由式（14）進(jìn)一步得到：

所以得到：

其中vec(A)指的是矩陣A的矢量形式，“?”指的是矩陣的克羅內(nèi)克積。通過迭代更新式（11）和循環(huán)計算式（12）得到的最佳投影矩陣A即為稀疏優(yōu)化后的子空間特征。

4 圖像重建

LR和HR圖像特征匹配度較低的問題會嚴(yán)重影響圖像的重建質(zhì)量，在本文算法的圖像重建過程中，根據(jù)文獻(xiàn)[14]的方法學(xué)習(xí)一組LR濾波器把上一階段利用PCANet模型提取到的深度學(xué)習(xí)特征經(jīng)過二值哈希編碼得到的特征圖再分解為多個特征映射，其表達(dá)式如下：

在上式中需要解決M和f的優(yōu)化問題，其中M的優(yōu)化問題可以通過文獻(xiàn)[24]提出的方法解決，對于f的優(yōu)化問題可以表示為：

文獻(xiàn)[25]中提出的SA-ADMM算法可以克服在學(xué)習(xí)過程中由于樣本集過大帶來的存儲器容量不足的問題。因此，可以采用該方法對f進(jìn)行優(yōu)化。

獲得LR濾波器以后，為了解決映射過程中出現(xiàn)的空間大小不足和特征數(shù)量不一致的問題，需要在LR和HR圖像之間訓(xùn)練一組映射函數(shù)。即：

式中，k指放大因子；Mhj(kx,ky)是(kx,ky)的特征映射；是(x,y)的特征映射，W是映射函數(shù)g(?)的參數(shù)，這里通過一個稀疏線性變換矩陣來估計HR圖像稀疏系數(shù)。

其中e是約束HR濾波器能量的標(biāo)量。同樣利用SAADMM算法交替更新fh和映射函數(shù)參數(shù)W來優(yōu)化目標(biāo)函數(shù)。當(dāng)保持fh不變時，通過求解下式的最優(yōu)解可以得到迭代更新W。

映射函數(shù)確定后，HR特征圖可以由W)估計得到。

通過上述階段得到HR濾波器fh和其對應(yīng)的特征圖Mh后，對二者進(jìn)行卷積和得到最終的重建圖像，即：

本文算法具體流程如下：

（1）輸入：訓(xùn)練圖像樣本集SRL,H={xl,xh}，正則化參數(shù)γ，λ。

（2）輸出：超分辨率圖像X。

（3）預(yù)處理：將樣本集SRL,H={xl,xh}通過φ(xi,xj)=映射至高維空間，得到新數(shù)據(jù)集

（4）根據(jù)公式（6）、（8）計算得到圖像特征矩陣Ohhi。

（5）稀疏優(yōu)化：根據(jù)公式（11）、（12）、（16）計算得到其最佳投影矩陣A。

（6）對稀疏優(yōu)化后的空間特征進(jìn)行二值哈希編碼，得到其特征圖。

（7）根據(jù)公式（18）、（21）、（22），利用SA-ADMM算法迭代更新得到fl、fh和映射函數(shù)W。

（8）根據(jù)公式（23）得到最終重建圖像。

5 實(shí)驗(yàn)分析

5.1 數(shù)據(jù)集

本文利用雙三次插值調(diào)整HR圖像的大小來生成LR圖像訓(xùn)練樣本。使用Yang等[3]提供的相同91個訓(xùn)練圖像。從這些圖像中隨機(jī)裁剪1 000張64×64個較小的圖像用于訓(xùn)練PCANet模型和濾波器的學(xué)習(xí)。

測試階段采用三個廣泛使用的基準(zhǔn)測試集Set5[26]、Set14[27]和BSD100[28]，它們分別包含5幅、14幅和100幅圖像。從這三個數(shù)據(jù)集中隨機(jī)抽取60幅圖像進(jìn)行測試，并且對這60幅圖像通過縮放和旋轉(zhuǎn)的方式擴(kuò)充測試集。

5.2 模型分析

本文提出具有高斯內(nèi)核函數(shù)的PCANet模型是為了更精確地提取圖像的深層次特征，從而達(dá)到更好的圖像重建效果。文獻(xiàn)[8]中提出的ResNet網(wǎng)絡(luò)和文獻(xiàn)[7]中提出的VGG網(wǎng)絡(luò)均是以深層次網(wǎng)絡(luò)提取圖像特征。為了驗(yàn)證PCANet模型的有效性，將其與ResNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對比分析，對比結(jié)果如下：

在BSD100[28]數(shù)據(jù)集中選取兩幅圖像，分別利用PCANet模型、Res Net網(wǎng)絡(luò)、VGG網(wǎng)絡(luò)提取圖像特征，圖2是提取圖像特征過程中三個模型特征圖可視化后獲得的特征圖和對應(yīng)的直方圖。

從可視化特征圖中可以看出，ResNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)獲得的特征圖與源圖像差異較大，未能保留源圖像中的紋理和邊緣結(jié)構(gòu)特征。從對應(yīng)的特征直方圖中可以看出，隨著網(wǎng)絡(luò)層數(shù)的增加，ResNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)形成的特征直方圖出現(xiàn)“多峰值”現(xiàn)象，說明形成的特征圖中顏色、邊緣結(jié)構(gòu)等特征分布不均勻，和源圖像相比，差異越來越明顯。從PCANet模型得到的特征圖中，可以清晰地辨識源圖像中的紋理細(xì)節(jié)特征。從特征直方圖中也可以觀察出隨著網(wǎng)絡(luò)層數(shù)的增加，PCANet模型得到的特征直方圖并未出現(xiàn)“多峰值”現(xiàn)象，且趨于平穩(wěn)，證明網(wǎng)絡(luò)層數(shù)的增加不會使源圖像的特征造成過多丟失，從而說明利用PCANet模型提取圖像深度學(xué)習(xí)特征比ResNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)更有效。

除此之外，還利用PCANet模型、ResNet網(wǎng)絡(luò)、VGG網(wǎng)絡(luò)在Set5[26]、Set14[27]和BSD100[28]三個數(shù)據(jù)集上做定性結(jié)果分析。根據(jù)文獻(xiàn)[29]中的方法對三種模型提取到的特征圖像和源圖像進(jìn)行特征點(diǎn)選取和匹配，三種模型在三個數(shù)據(jù)集上特征點(diǎn)識別率和重復(fù)率如表1、圖3所示。

從表1中可以看出，PCANet模型在三個數(shù)據(jù)集上識別率達(dá)94.90%，高于ResNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)。從圖3中可以看出，隨著特征點(diǎn)的增多，三種模型的特征點(diǎn)識別重復(fù)率均在上升，但是PCANet模型的重復(fù)率明顯低于ResNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)，證明在特征提取階段，PCANet模型可以去除相關(guān)特征，降低冗余，有利于模型提高模型效率。

線性核函數(shù)、多項(xiàng)式核函數(shù)、高斯核函數(shù)、多層感知核函數(shù)是幾種較為常見的核函數(shù)，核函數(shù)可以改變圖像數(shù)據(jù)的特征濃度比，進(jìn)而產(chǎn)生不同的主成分分析效果。不同核函數(shù)將樣本集映射的高維特征空間也有所不同。高斯函數(shù)具備良好的差值能力，對訓(xùn)練圖像的局部特征信息的提取能力更強(qiáng)。因此，可以利用高斯函數(shù)來提高算法中的圖像分辨率。圖4是在Set5數(shù)據(jù)集上，各種核函數(shù)的視覺效果對比圖。

圖2 三種模型可視化特征圖及對應(yīng)直方圖

表1 三種模型在不同數(shù)據(jù)集特征點(diǎn)識別率對比表%

圖3 三種模型特征點(diǎn)重復(fù)率對比圖

從視覺效果對比圖中可以看出，其他三種核函數(shù)對圖像輪廓和細(xì)節(jié)的增強(qiáng)效果不明顯。這是因?yàn)榫€性函數(shù)的特點(diǎn)是對圖像的線性特征有良好的提取能力，但是對圖像的非線性特征提取能力不足，所以獲得圖像的PSNR值最小，但是其視覺效果較好，這是因?yàn)镻SNR是評價圖像質(zhì)量最常用的客觀指標(biāo)之一，它是基于對應(yīng)像素點(diǎn)之間的誤差，是基于誤差敏感的圖像質(zhì)量評價。在評價圖像質(zhì)量時，由于未考慮人眼的視覺特性（人眼對空間頻率較低的對比差異敏感度較高，對一個區(qū)域的感知結(jié)果會受到鄰近區(qū)域的影響），因而會出現(xiàn)評價結(jié)果與主觀視覺效果不一致的情況。多項(xiàng)式函數(shù)的特點(diǎn)是可以提取圖像的非線性特征，所以采用多項(xiàng)式核函數(shù)可以獲得比線性函數(shù)稍高的PSNR值，但是該函數(shù)需要設(shè)置的參數(shù)較多，導(dǎo)致模型運(yùn)行時間最長。多感知器函數(shù)需要設(shè)置參數(shù)較少，但是該函數(shù)需要加入激活函數(shù)提高其非線性特征的表達(dá)能力，所以采用多感知器函數(shù)作為模型的核函數(shù)，運(yùn)行時間比多項(xiàng)式函數(shù)少，PSNR值較低。高斯函數(shù)對圖像特征的表達(dá)能力強(qiáng)于其他三種函數(shù)，且需要設(shè)置的參數(shù)只有一個，所以選擇高斯函數(shù)作為PCANet模型的核函數(shù)，不僅運(yùn)行時間降低，且PSNR值達(dá)到最大，對圖像的邊緣和不規(guī)則結(jié)構(gòu)區(qū)域的重構(gòu)也較為清晰，說明高斯函數(shù)作為核函數(shù)效果最佳。

圖4 各種核函數(shù)視覺效果對比圖（PSNR/Time）

5.3 參數(shù)設(shè)置

第一個參數(shù)的設(shè)置就是PCANet模型中濾波器數(shù)量。處理圖像塊的窗口大小k1=k2=5。對于第一階段網(wǎng)絡(luò)，將第一階段L1中的濾波器數(shù)量從5調(diào)整至55。在考慮第二階段時，設(shè)置L1=35。并將L2從2調(diào)整至12。結(jié)果如圖5所示，可以觀察到，當(dāng)L1≥35時PCANet模型獲得了最佳性能；當(dāng)L1=35時，L2=8時，PCANet-2獲得最佳結(jié)果。因此PCANet模型中濾波器的數(shù)目設(shè)置為L1=35，L2=8。

圖5 L1、L2濾波器數(shù)量對比圖

為了更好地捕捉圖像的稀疏性，提高重建圖像的質(zhì)量，LR和HR濾波器核的尺寸大小和數(shù)目的設(shè)置尤為重要。所以設(shè)計實(shí)驗(yàn)2，通過改變?yōu)V波器核尺寸大小觀察重建圖像的PSNR值。設(shè)計實(shí)驗(yàn)3，實(shí)驗(yàn)3內(nèi)容包括：一是利用三幅測試圖像，首先固定LR濾波器的數(shù)目為600，調(diào)整LR濾波器和HR濾波器之間的數(shù)量比率，觀察均方誤差值，尋找二者之間的最佳數(shù)量比率。二是通過觀察均方誤差值，確定LR濾波器的數(shù)目。

表2 表明，在LR濾波器和HR濾波器的尺寸都為5×5時，重建圖像的PSNR值最大，效果最佳。從圖6和表3得出的數(shù)據(jù)表明，LR濾波器和HR濾波器的數(shù)量比率為1.8時，均方誤差值達(dá)到最??；LR濾波器的數(shù)目為1 000時，均方誤差值最小。

表2 濾波器核尺寸對比表（PSNR）dB

圖6 LR與HR濾波器數(shù)目比率圖

表3 LR濾波器數(shù)目對比表（MSE）

對于在濾波器學(xué)習(xí)階段的正則化參數(shù)λ和γ的確定，將λ的值由0.02變至0.10，將γ的值由15變至120，觀察其重建圖像的PSNR值，由圖7和圖8得出，當(dāng)λ=0.04，γ=60時，重建圖像的PSNR值最大，效果最佳。

圖7 參數(shù)γ對于PSNR的影響

圖8 參數(shù)λ對于PSNR的影響

5.4 實(shí)驗(yàn)結(jié)果

為了評價本文算法的性能，用本文算法對測試圖片分別進(jìn)行2倍、3倍超分辨圖像重建，并且將測試結(jié)果與BI算法[2]、ScSR算法[3]、A+算法[4]、DPSR算法[5]、SRCNN算法[6]、VDSR算法[8]進(jìn)行比較。

在利用核函數(shù)進(jìn)行重建樣本集時，σ2=4。在濾波器學(xué)習(xí)階段，能量約束參數(shù)e分別設(shè)置為4和9，用于縮放因子2和3。在SR重建階段，LR濾波器數(shù)目和HR濾波器數(shù)目分別設(shè)置為1 000、1 800。由表4和表5可以看出，本文算法相比于現(xiàn)有的ScSR算法、SRCNN等算法，平均PSNR值提高了0.21 dB以上，圖9和圖10為本文算法的實(shí)際重建效果。

表4 k=2各種算法PSNR值的對比dB

表5 k=3各種算法PSNR值的對比dB

從圖9和圖10中可以看出，BI算法在評價指標(biāo)峰值信噪比方面效果最差，說明該方法得到的重建圖像不能完整地保留圖像的全部信息。A+算法雖然提升了圖像的峰值信噪比，但是在重建圖像的邊緣結(jié)構(gòu)造成了輕微的模糊現(xiàn)象。SRCNN算法有效提升了圖像的清晰度和圖像邊緣紋理的對比度，但是在圖像的邊緣細(xì)節(jié)處產(chǎn)生了偽影。DPSR算法、ScSR算法和VDSR算法整體提升了重建圖像的視覺效果，但是在處理紋理結(jié)構(gòu)更加豐富的圖像（如圖10）時，會造成較為明顯的塊效應(yīng)。本文算法通過稀疏優(yōu)化圖像的深度特征，對圖像的局部細(xì)節(jié)信息表達(dá)能力更強(qiáng)，能夠充分保留圖像的邊緣細(xì)節(jié)結(jié)構(gòu)，而且重建圖像不存在明顯的偽影和塊效應(yīng)，使重建圖像的峰值信噪比得到有效提升。

圖9 不同算法在放大因子為2的重建視覺效果比較

圖10 不同算法在放大因子為3的重建視覺效果比較

本實(shí)驗(yàn)在具有Intel i9 9900K 5.0 GHz CPU，顯卡NIADIA RTX 2080Ti以及64 GB RAM上運(yùn)行的，圖11是在放大因子設(shè)置為2的不同算法的運(yùn)行時間的比較，可以很直觀地看出，本文算法相較于BI算法、A+算法、VDSR算法和SRCNN算法相比，運(yùn)行時間得到很大提升，DPSR算法在硬件條件相同時耗費(fèi)時間最長。

圖11 不同算法在放大因子為2的運(yùn)行時間比較

6 結(jié)語

本文提出的基于PCANet模型的超分辨率圖像重建算法，首先通過PCANet模型提取圖像特征，然后根據(jù)訓(xùn)練獲得的LR濾波器，HR和LR圖像特征之間的映射函數(shù)估計出HR圖像的特征表示，最后聯(lián)合學(xué)習(xí)得到的HR濾波器進(jìn)行卷積求和得到最終的重建圖像。本文算法將重建圖像的PSNR值提高了0.21 dB，有效改善了圖像的視覺效果。后續(xù)將繼續(xù)研究其他用來提取圖像特征的網(wǎng)絡(luò)模型，以及設(shè)計性能更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，重建效果更佳的超分辨率圖像。