基于稀疏高斯過程的圖像超分辨率重建算法

李建敏，吳 蕓，杜曉鳳，朱順痣

(廈門理工學院計算機與信息工程學院，福建 廈門 361024)

圖像超分辨率重建技術能夠在不改造現(xiàn)有成像系統(tǒng)硬件設備的前提下，用最經(jīng)濟的方式獲取高于成像系統(tǒng)原始分辨率的高質量圖像。近年來，基于學習的超分辨率重建算法成為圖像超分辨率技術領域的一個研究熱點[1-5]。通過學習低分辨率與高分辨率圖像之間的映射關系，預測低分辨率圖像中丟失的高頻信息，從而得到高分辨率圖像。高斯過程回歸是近年發(fā)展起來的一種基于貝葉斯理論的非參數(shù)回歸方法，能夠直接從數(shù)據(jù)中建模，具有很強的適應性和泛化能力，能有效避免過擬合。He等[6]首次將高斯過程回歸模型應用在圖像超分辨率重建研究中，能有效地保持邊緣信息，但是由于樣本較少，恢復的高頻信息有限，重建質量較差，并且需要在線訓練模型，造成重建過程十分耗時。Wang等[7-8]提出的稀疏高斯過程方法和基于字典采樣和T似然的高斯過程方法效果有所改進。Li等[9]提出基于原型的高斯過程回歸加速算法(prototype-based gaussian progress regression,PGPR)離線學習模型，PGPR屬于近鄰嵌入的方法，離線學習的各錨點高斯過程回歸模型的可靠性受近鄰相似度的影響。每個錨點的鄰域是由其他錨點構成的，而這些錨點代表的是各個聚類的中心，屬于差異性比較大的樣本。由這些錨點構成的鄰域集合相似度不高，所以導致PGPR算法在圖像重建質量上不盡如人意。為此，本文提出稀疏偽輸入高斯過程回歸算法，改進離線學習階段訓練集構建方式，在不同子空間內部進行模型學習，同時使用少量偽輸入對模型進行近似求解，以在降低時間復雜度的同時提高圖像的重建質量。

1 高斯過程回歸模型

給定訓練集D={(x1,y1),(x2,y2),…,(xn,yn)}，其中x表示輸入向量，y表示輸出標量。關于x和y之間的關系，考慮以下回歸模型：

y=f(x)+ε。

(1)

(2)

式(2)中：K為核函數(shù)，一般使用高斯核函數(shù)，I為單位矩陣?，F(xiàn)在需要預測x*對應的輸出值y*，根據(jù)高斯過程的假設，觀測值Y和預測值y*的聯(lián)合分布也是一個高斯分布，于是有

(3)

然后根據(jù)高斯分布的性質，條件概率分布P(y*|Y)同時也是一個高斯分布，那么可以得出其均值和方差分別是:

m(y*)=K(x*,X)(K(X,X)+σ2I)-1Y，

(4)

cov(y*)=K(x*,x*)-K(X,x*)[K(X,X)+σ2I]-1K(x*,X)。

(5)

根據(jù)貝葉斯決策理論，損失函數(shù)最小化值為預測分布的中值。這里預測分布P(y*|Y)為高斯分布，故用其均值作為y*的預測值，理論上進行預測的時間復雜度為O(M3)，M為訓練樣本數(shù)量。每個核函數(shù)都有參數(shù)，稱為高斯過程的超參數(shù)，學習階段就是為了優(yōu)化超參數(shù)。

2 稀疏高斯過程回歸重建算法

2.1 算法框架

Li等[9]287由公式(4)發(fā)現(xiàn)，如果在核函數(shù)確定的情況下，預測結果只和訓練集相關。如果能夠確定訓練集，就能夠離線訓練高斯過程回歸模型，確定核函數(shù)的參數(shù)，這樣預測公式就變換成

f(x*)=m(y*)=K(x*,X)A。

(6)

式(6)中：A=(K(X,X)+σ2I)-1Y，可以離線計算。因此，預測階段的時間復雜度將降低到O(N)，其中N為訓練集的樣本數(shù)量。在PGPR算法中N為學習階段確定的錨點近鄰數(shù)量。

PGPR算法中構建的訓練集相似性較低，導致重建結果較差，為了解決這個問題，提高鄰域集內樣本的相似性，應該在聚類內部構建高斯過程回歸模型的訓練集，因為聚類內部樣本的相似度更高。受到Yang等[10]的啟發(fā)，將訓練集分成不同的特征子空間，在每個子空間內部訓練高斯過程回歸模型。因為每個子空間內部的所有樣本都是最相似的，訓練得到的高斯過程回歸模型準確度自然要高。然而，每個子空間內部的樣本規(guī)模是比較大的，同樣存在求解的效率問題。譬如訓練集有10 000 000個樣本，分成1 000個子空間，那么每個子空間內部平均有10 000個樣本，如果直接使用標準高斯過程回歸模型求解，將會十分耗時。

Snelson等[11]提出了稀疏偽輸入的高斯過程近似算法，只需用到訓練集中一個較小的活動子集，在顯著降低了計算復雜度的同時，保證了近似計算結果的精度。該算法可以解決子空間中樣本數(shù)量大引起的效率問題。該方法隨機選取訓練集中M(M?N)個樣本構成偽輸入子集進行計算。Snelson等[11]認為如果偽輸入子集的分布和原始集合分布一致的話，那么該子集就能很好的表示原始數(shù)據(jù)集合。該方法在超參數(shù)的訓練過程中，添加這一約束，進行偽輸入子集的優(yōu)化，從而減少近似計算的誤差，最終可以得到預測均值的近似值為：

m(y*)=Q*N[QN+diag(KN-QN)+σ2I]-1Y。

(7)

式(7)中：QN=KNMKM-1KMN，詳細推導過程可以參考文獻[11]1 259。因此與公式(4)相同，公式(7)可以轉寫成

f(x*)=Q*NA。

(8)

式(8)中：A=[QN+diag(KN-QN)+σ2I]-1Y。從公式(8)可知，如果訓練集確定的話，那么矩陣A可以離線計算，從而降低預測階段的時間復雜度。

因此提出了基于稀疏高斯過程回歸的超分辨率重建算法(sparse pseudo-input gaussian processes regression,SPGPR)，算法包括學習階段和預測階段，算法的框架如圖1所示。

圖1 算法框架圖

2.2 時間復雜度分析

假設訓練集中樣本個數(shù)為N，一張待重建的低分辨率圖像有S個相互重疊的大小為W的圖像塊，每個低分辨率圖像塊的特征向量的維度為d，偽輸入個數(shù)為k。在基于稀疏高斯過程回歸模型中，將訓練集分成C個特征子空間，其中C和k都遠小于N。在超分辨圖像預測階段只要進行最近鄰搜索，判斷待重建圖像塊所屬的特征子空間，所以近鄰查詢的時間復雜度降低為O(dC)，是一個常數(shù)。并且在矩陣A已知的情況下，按照公式(8)預測高頻信息只需要O(Wk)，只和待重建圖片大小以及偽輸入個數(shù)相關。可見預測階段的時間復雜度和PGPR算法一致。

3 實驗結果及分析

3.1 實驗參數(shù)

實驗采用文獻[9]289中的訓練集，測試圖片使用超分辨重建研究中較通用的8張圖片，包括女孩、蝴蝶、嬰兒和女士等。實驗中涉及到的參數(shù)主要有子空間數(shù)量、稀疏偽輸入個數(shù)、圖像塊大小以及圖像塊重疊區(qū)域大小，分別為1 000、60、5px×5px、4。實驗中使用的核函數(shù)為高斯核函數(shù)。

3.2 實驗比較及結果分析

為了驗證基于稀疏高斯過程回歸超分辨率重建算法的有效性，使用雙三次插值，SCSR算法[13]，GPR—He算法[6]，ANR算法[14]和PGPR算法[9]等算法進行對比實驗，并分別從客觀和主觀質量評價兩個方面比較算法的性能。表1和表2分別是測試圖像在4倍(4×4)重建情況下，使用峰值信噪比(peak signal-to-noise ratio,PSNR)和結構相似度(structural SIMilarity,SSIM)[15]兩種質量評價方法的客觀評價結果。實驗中，在獲得初始的高分辨率重建圖像之后，使用迭代反向投影算法進一步提高超分辨率重建圖像的質量。實驗中迭代反向投影算法的迭代次數(shù)設置為20。

表1 不同算法4倍超分重建的PSNR結果對比

表2 不同算法4倍超分重建的SSIM結果對比

從表1～2可知，GRP—HE算法重建效果的效果非常差，主要原因是算法本身沒有利用外部訓練集，可利用的高頻信息有限。SPGPR算法在兩個客觀評價指標上都取得了最好的結果。相比PGPR算法，PSNR平均提高了0.25 db，SSIM平均提高了0.01左右，提升效果比較明顯。

為了從視覺質量上進一步評價不同算法重建后的圖像質量,從嬰兒和蝴蝶圖像在放大4倍情況下不同算法的對比結果可以看出，SPGPR的邊緣比其他算法清晰一些，并且細節(jié)和紋理上都比其他對比算法要豐富(見圖2、圖3)。

圖2 不同算法對嬰兒圖像4倍超分結果對比

圖3 不同算法對蝴蝶圖像4倍超分結果對比

圖4是蝴蝶、摩托車和嬰兒在放大4倍情況的對比圖。

圖4 SPGPR和PGPR 在3張圖片上的重建結果對比

圖4從主觀效果上對比了SPGPR和PGPR算法。從細節(jié)放大部分可以看出，SPGPR算法恢復出來的細節(jié)紋理更豐富，而且邊緣也比較清晰，相比而言PGPR算法結果的邊緣就相對模糊些。

對比GPR-He、PGPR和SPGPR算法在測試集圖像上進行重建的時間效率如圖5所示，所用數(shù)據(jù)都是在配置3.4 GHz CPU和8 GB內存的戴爾Optiplex 990個人主機上運行得出的。在這8張測試圖片上，GPR—He平均需要8 min左右，PGPR和SPGPR所需的時間基本一致，平均只需要1 min左右?？梢娞岢龅姆椒ㄔ谔岣咧亟ǚ直媛实耐瑫r，保持了較低的時間復雜度。

圖5 3種算法運行時間對比

4 結語

高斯過程回歸是一種有效的非參數(shù)回歸學習方法，但直接使用高斯過程回歸模型對圖像超分辨率重建問題進行建模求解，時間復雜度太高。對PGPR算法進行了改進，提出稀疏偽輸入高斯過程回歸圖像超分辨率重建算法，在不同特征子空間內部離線學習高斯過程回歸模型，并引入稀疏偽輸入近似算法提高模型效率。實驗表明，方法在保持時間復雜度的同時，較大的提高了圖像的重建質量。但目前方法重建圖像的邊緣還不夠銳化，后續(xù)研究擬加上邊緣的約束，同時引入多核學習模型進一步提高圖像的重建質量。