局部多項式回歸的圖像重建改進

張 明,胡訪宇

(中國科學技術(shù)大學,安徽合肥230027)

0 引言

圖像超分辨率重建 (super-resolution reconstruction,SRR)是指由一幅低分辨率圖像或圖像序列恢復出高分辨率圖像,將獲取圖像時丟失或降低的高頻信息恢復出來的過程。有些文獻對SR的定義較窄,只是指基于同一場景的圖像序列和視頻序列的SRR,實際上,多幅圖像的SRR大多數(shù)都是以單幅圖像的SRR為基礎。由于成像系統(tǒng)傳感器陣列密度的限制和高昂的成本,SRR技術(shù)成為提高圖像分辨率的重要方法。在1984年,Tsai和Huang首先提出了基于多幅圖像的SRR問題,采用頻域方法重建一幅SR圖像。此后,研究者們又提出了多種空域方法,如凸集投影法(POCS)、最大后驗概率法(MAP)、迭代反投影法(IBP)、最大期望法(EM)等。美國加州大學Milanfar等提出了大量實用SRR算法。本文是在Takeda提出的核函數(shù)回歸方法進行圖像處理和重建[1]基礎上,針對像素點隨機分布,增加了與像素點數(shù)目相關(guān)的權(quán)重項。

1 局部多項式回歸

大小為M×N的灰度圖_像可以用_二維函數(shù)的觀察模型表示。自變量Xi=T,x1i=1,2,…,M,x2i=1,2,…,N。因變量yi是Xi處的像素值,則

式中,f(?)為回歸函數(shù);σ(Xi)εi是獨立同分布零均值方差為σ(Xi)的加性高斯白噪聲值,i=1,2,…,P,表示取樣窗中像素點數(shù)目。

采用不同的基函數(shù)都可以將f(?)展開[2]。X=[x1,x2]T的鄰域Xi處的像素值的N階Taylor展開為:

式中,▽和Η分別為梯度算子_和海賽算子;vech(?)把對稱矩陣下三角部分按字典序排成列向量;β0為用回歸函數(shù)得出的X處的估計值f^(X);{βn}Nn=1為回歸函數(shù)的n階梯度系數(shù)。

令 β={βs1,s2:s1+s2=S,S=0,…,N},在加權(quán)最小二乘下用核函數(shù)回歸方法求解:

式中,K(?)代表在中心點處取得最大值的核函數(shù),其限定條件是非負定對稱單峰。平滑矩陣 Ηi=hI的求解方法被稱為經(jīng)典核回歸(Classical Kernel Regression,CKR)方法。h為全局平滑因子,可以約束取樣窗口的帶寬,限定取樣窗中像素點數(shù)目P。h的選定在文獻[3]中有進一步的優(yōu)化,但是計算量比較大。具體推導過程參見文獻[4]。

2 改進核回歸方法

假設高維空間和低維空間的映射函數(shù)是連續(xù)平滑的,由Weierstrass估計理論,在低維空間中計算需要重建的像素點和鄰域的核函數(shù),并由核函數(shù)的線性組合重建高維空間像素點。為獲得圖像的局部方向信息,假設更精確的平滑矩陣=,梯度向量的協(xié)方差矩陣估_計=GTiGi。

式中,fx1(?)和fx2(?)是在x1和x2方向上的梯度;C^i通常是非滿秩不穩(wěn)定的,進行奇異值分解(SVD),處理第一成分和第二成分分量。

特征向量v1,v2和對應特征值λ1,λ2分別含有圖像的局部結(jié)構(gòu)的方向信息和強度信息。

式中,ξi約束縮放因子ρi和尺度因子 γi分母不為零;在圖像平坦區(qū)域(λ1≈λ2);ρi保持核函數(shù)圓形形狀,γi步長大 ;在圖像邊緣(λ1＞ λ2),ρi會沿邊緣拉伸核函數(shù)的形狀,γi步長小。0≤a≤0.5是結(jié)構(gòu)性敏感因子。

這種在CKR的基礎上,利用圖像的局部方向信息提高重建圖像質(zhì)量的方法稱為可控核回歸(Steering Kernel Regression,SKR)方法,核函數(shù)形式變換如下:

d(Xi , X)=‖ Xi -X ‖22來控制權(quán)重大小?？紤]到h 一定的情況下, 隨機取樣像素點數(shù)目越多, 則各自的權(quán)重應該越小, 改進權(quán)重函數(shù)因子為:

3 實驗和結(jié)果分析

采用標準測試圖像集(512×512)灰度圖像,利用隨機取樣刪除85%的像素值。為了保證實驗的可重復性和可比較性,設定種子起始狀態(tài)為0。分別用原來CKR方法和改進CKR方法進行圖像重建,利用重建圖像的梯度信息運用SKR方法提高圖像質(zhì)量,減小RMSE。

首先,利用lena圖像作為測試圖像,保持原來CKR方法[1]中設定參數(shù)的情況下,在h=2.3時,用原來CKR和SKR方法得RMSE為9.577 dB和8.124 7 dB,用改進 CKR和 SKR方法得RMSE為9.351 9 dB和8.088 9 dB。

h=3時,RMSE隨alpha的變化曲線如圖1和圖2所示。改進CKR方法的RMSE始終下降,改進SKR方法的RMSE先下降,在alpha=1處開始上升。星線對應alpha=0,即原來CKR和SKR方法,各點標出便于比較。改進方法的RMSE曲線始終落在原來方法曲線的下方。

圖1 CKR方法的RMSE變化曲線

圖2 SKR方法的RMSE變化曲線

h=30、alpha=1時,標準測試圖像集(512×512)灰度圖像數(shù)據(jù)的實驗結(jié)果如表1所示。

表1 灰度圖像數(shù)據(jù)的仿真結(jié)果

4 結(jié)束語

在CKR方法基礎上考慮權(quán)重函數(shù)的優(yōu)化,增加隨機取樣像素點數(shù)目相關(guān)的權(quán)重項,可以有效降低CKR方法的RMSE。由于SKR方法是利用CKR重建圖像的梯度信息進行圖像質(zhì)量的提高,所以改進SKR方法的RMSE降低不會太顯著。實驗也驗證了本方法可以提高圖像分辨率,同時降低重建圖像的RMSE。

[1]TAKEDA H,FARSIU S,MILANFAR P.Kernel Regression for Image Processing and Reconstruction[J].IEEE Transactions on Image Processing,2007,16(2):349-366.

[2]PHAM T Q,VAN VLIET L J,SCHUTTE K.Robust Fusion of Irregularly Sampled Data Using Adaptive Normalized Convolution[J].EURASIP Journalon Applied Signal Processing,2006(10):1-12.

[3]ZHANG Z G,CHAN S C,ZHANG X,et al.High-resolution Reconstruction of Human Brain MRI Image Based on Local Polynomial Regression[C].IEEE/EMBS Conference on Neural Engineering,April 29-May 2,2009.Antalya,Turkey.NER,2009:245-248.

[4]TAKEDA H.Kernel Regression for Image Processingand Reconstruction[D].Santa Cruz:Univ.of California,2006:32-57.