PSF估計(jì)與隨機(jī)森林特征增強(qiáng)的超分辨率重建

鄭 艷,白 旭,金 鑫,陳克海

(1.廣東工貿(mào)職業(yè)技術(shù)學(xué)院 測(cè)繪遙感信息學(xué)院,廣州 510510;2.中石化石油工程設(shè)計(jì)有限公司,山東 東營(yíng) 257000;3.北京城建勘測(cè)設(shè)計(jì)研究院有限責(zé)任公司,北京 100101)

圖像的超分辨率重建技術(shù)是指利用序列低分辨率圖像之間的互補(bǔ)信息得到更高分辨率的圖像。由于這種算法處理方式比提高硬件的方式成本更低,且更有效,所以遙感影像在商業(yè)、醫(yī)學(xué)、軍事、林業(yè)等各個(gè)方面得到應(yīng)用。序列圖像的超分辨率重建方法很多,例如基于頻域的重建方法和基于空域的重建方法?；陬l域的重建方法假設(shè)噪聲和模糊對(duì)圖像沒(méi)有影響,忽略了點(diǎn)擴(kuò)散函數(shù)(Point Spread Function,PSF)的作用,所以通常只能用于理想圖像退化模型。

學(xué)者們相繼又提出了遞歸最小二乘法[1]、離散DCT變換[2]和小波變換[3-4]等。這些方法考慮點(diǎn)擴(kuò)散函數(shù)的影響,降低噪聲和模糊對(duì)重建影像的影響,提高算法的效率和重建圖像的質(zhì)量。頻域法重建過(guò)程簡(jiǎn)單、運(yùn)行速度快,但針對(duì)復(fù)雜的圖像退化模型,頻域法處理效率較低,且難以加入先驗(yàn)知識(shí)。即在序列圖像超分辨率重建應(yīng)用中,以空域超分辨率重建方法為主。

空域超分辨率重建方法可以方便引入先驗(yàn)信息處理復(fù)雜的退化模型[5]。同時(shí),經(jīng)典的空域超分辨率重建處理方法有非均勻采樣內(nèi)插法(Non-uniform Sampling Interpolation,NUI)[6]、迭代反投影法(Iterative Back-Projection approach,IBP)、凸集投影法(Projection Onto Convex Sets,POCS)[7]、最大后驗(yàn)概率法(Maximum-A-Posteriori, MAP)等。針對(duì)圖像中細(xì)節(jié)邊緣信息,解決插值上采樣時(shí)產(chǎn)生的邊緣鋸齒現(xiàn)象,提出邊緣引導(dǎo)的插值算法,可以改善重建后圖像的邊緣細(xì)節(jié)信息;劉克儉等[8]通過(guò)將IBP算法與直方圖均衡化結(jié)合,改善圖像中的高頻細(xì)節(jié)信息。武興睿[9]提出一種基于PSF重構(gòu)和改進(jìn)MAP估計(jì)的自適應(yīng)超分重建方法。

以上方法中,POCS方法具有原理簡(jiǎn)單、模型靈活、易引入先驗(yàn)信息等優(yōu)點(diǎn),在圖像超分辨率重建領(lǐng)域應(yīng)用廣泛?；赑OCS的改進(jìn)方法,李慧芳等[10]針對(duì)POCS重建后圖像的邊緣振蕩效應(yīng)問(wèn)題提出改進(jìn)方法。肖杰雄等[11]針對(duì)POCS處理后圖像邊界信息質(zhì)量降低的問(wèn)題提出邊緣質(zhì)量保持的改進(jìn)方法。王琳琳[12]提出基于預(yù)處理的POCS改進(jìn)算法,房垚鑫[13]提出基于邊緣檢測(cè)的POCS改進(jìn)算法。邵文浩等[14]提出基于亞毫米波成像的改進(jìn)POCS超分辨率算法。POCS算法在影像分辨方面具有很大的潛力,本文發(fā)揮POCS方法的自身優(yōu)勢(shì),針對(duì)該方法中PSF不準(zhǔn)確和邊緣等細(xì)節(jié)特征不足的問(wèn)題,研究PSF估計(jì)與隨機(jī)森林特征增強(qiáng)的超分辨率重建,并進(jìn)行實(shí)驗(yàn)驗(yàn)證,證明該方法的可行性。

1 基于PSF估計(jì)與隨機(jī)森林特征增強(qiáng)的POCS超分辨率重建方法

1.1 傳統(tǒng)POCS方法及不足

傳統(tǒng)POCS方法主要包括構(gòu)建高分辨率初參考幀、運(yùn)動(dòng)參數(shù)估計(jì)、基于點(diǎn)擴(kuò)散函數(shù)的圖像修正三個(gè)步驟。

1)插值方法構(gòu)建高分辨率初始參考幀。POCS方法采用雙線性插值方法構(gòu)建高分辨率初始參考幀,即利用一幅低分辨率圖像,通過(guò)雙線性插值的方法,從x方向和y方向上分別進(jìn)行一次插值,得到一幅和目標(biāo)分辨率圖像相同分辨率的初始估計(jì)[15],見圖1。

圖1 雙線性插值原理圖

由圖1可以看到,假設(shè)二維圖像f(x,y)在Q11=(x1,y1)、Q12=(x1,y2),Q21=(x2,y1)以及Q22=(x2,y2)幾個(gè)點(diǎn)的像素值已知,可求出P= (x,y)處的像素值,即進(jìn)行x和y方向的線性插值。將得到的x方向的線性插值和y方向上線性插值進(jìn)行式(4)運(yùn)算,最終得到點(diǎn)P= (x,y)的雙線性插值的結(jié)果。

(1)

(2)

(3)

(4)

2)運(yùn)動(dòng)參數(shù)估計(jì)。在進(jìn)行序列LR圖像的超分辨率重建之前,需要對(duì)序列圖像之間的運(yùn)動(dòng)偏移量進(jìn)行估計(jì),也稱為圖像配準(zhǔn)[16]。在凸集投影方法中,運(yùn)動(dòng)參數(shù)估計(jì)是指將低分圖像上的每一個(gè)像素都精確配準(zhǔn)到相應(yīng)的高分圖像上相應(yīng)像素的坐標(biāo)位置。常用的運(yùn)動(dòng)估計(jì)方法有仿射變換方法、圖像像素遞歸法、基于塊匹配的方法等。POCS方法中采用基于塊匹配的運(yùn)動(dòng)估計(jì)方法。

3)基于PSF圖像修正。在成像過(guò)程中總會(huì)存在著圖像的退化現(xiàn)象,一般通過(guò)估計(jì)退化圖像的PSF來(lái)恢復(fù)。在傳統(tǒng)POCS方法中PSF由常見的高斯模型來(lái)表示:

(5)

式中:(x,y)為重建圖像像素的橫坐標(biāo)與縱坐標(biāo);(X0,Y0)為點(diǎn)擴(kuò)散函數(shù)的中心坐標(biāo);Sh為點(diǎn)擴(kuò)散函數(shù)的支撐域,通常取3×3、5×5或7×7等。對(duì)于點(diǎn)擴(kuò)散函數(shù)h(x,y)需要?dú)w一化操作,即:

(6)

式中:h′(x,y)為歸一化后的PSF模板;(m,n)為PSF的作用范圍。

經(jīng)典POCS方法主要存在以下3個(gè)問(wèn)題:

1)未對(duì)退化圖像的PSF進(jìn)行估計(jì)。PSF表示輸入一點(diǎn)光源其輸出時(shí)成像的光場(chǎng)分布[17]。PSF不僅表示點(diǎn)成像的形態(tài),還反映出點(diǎn)成像過(guò)程中所受的其他干擾因素,是衡量一幅圖像質(zhì)量好壞的一個(gè)重要函數(shù)[18];可以有效地對(duì)退化圖像的點(diǎn)擴(kuò)散函數(shù)進(jìn)行估計(jì),大幅度提高重建圖像的質(zhì)量。經(jīng)典POCS方法沒(méi)有根據(jù)實(shí)際成像情況對(duì)退化圖像的點(diǎn)擴(kuò)散函數(shù)進(jìn)行估計(jì),默認(rèn)使用高斯函數(shù)作為點(diǎn)擴(kuò)散函數(shù),忽略了點(diǎn)擴(kuò)散函數(shù)對(duì)圖像重建的影響。實(shí)際問(wèn)題中由于噪聲、模糊等降質(zhì)因素的影響,點(diǎn)擴(kuò)散函數(shù)往往較為復(fù)雜。因此,如何根據(jù)圖像得到更精確的PSF是提高POCS方法的一個(gè)關(guān)鍵。未估計(jì)點(diǎn)擴(kuò)散函數(shù)的重建結(jié)果見圖2。

圖2 未估計(jì)點(diǎn)擴(kuò)散函數(shù)重建結(jié)果

由圖2可以看到,未估計(jì)點(diǎn)擴(kuò)散函數(shù)導(dǎo)致重建圖像邊緣不清晰、紋理細(xì)節(jié)信息較少,同時(shí)重建圖像存在噪聲和模糊,嚴(yán)重影響影像后期應(yīng)用。

2)重建后的圖像細(xì)節(jié)特征不清晰。POCS方法采用雙線性插值方法構(gòu)建高分辨率初始參考幀圖像,導(dǎo)致重建后圖像的邊緣會(huì)產(chǎn)生鋸齒現(xiàn)象,如圖3所示。重建過(guò)程有效增強(qiáng)圖像本身的細(xì)節(jié)特征生成更好的高分辨初始幀有助于重建效果的改善。

圖3 默認(rèn)參考幀圖像重建結(jié)果

1.2 本文方法原理

基于對(duì)POCS方法的分析,提出了PSF估計(jì)與隨機(jī)森林特征增強(qiáng)的超分辨率重建。隨機(jī)森林是一種機(jī)器學(xué)習(xí)模型,訓(xùn)練速度快、不易陷于過(guò)擬合,且實(shí)現(xiàn)比較簡(jiǎn)單[19]。本文提出在參考幀生成階段,利用隨機(jī)森林方法訓(xùn)練圖像的梯度特征,得到邊緣增強(qiáng)圖像,然后將邊緣增強(qiáng)之后的圖像與另一幅上采樣圖像進(jìn)行加權(quán)融合,生成邊緣增強(qiáng)的參考幀圖像,清除POCS方法的初始幀鋸齒現(xiàn)象。在PSF方面,采用比值稀疏約束模型估計(jì)圖像的真實(shí)PSF,改善POCS方法中PSF不準(zhǔn)確導(dǎo)致的超分辨率重建效果欠佳的問(wèn)題。

本文算法的流程如圖4所示,具體的步驟如下:

圖4 圖像重建流程

1)輸入序列低分辨率圖像gi(i=1,2,3,…,n);

2)對(duì)gi(i=1,2,3,…,n)的圖像進(jìn)行上采樣,得到fi(i=1,2,3,…,n),利用隨機(jī)森林方法對(duì)g1進(jìn)行邊緣特征增強(qiáng)、2倍上采樣得到J,利用f1和g1加權(quán)平均得到參考幀圖像f;

3)使用光流法對(duì)f與上采樣后的fi(i=2,3,…,n)進(jìn)行配準(zhǔn)得到運(yùn)動(dòng)矢量Vx和Vy;

4)利用比值稀疏約束模型估計(jì)出f的PSF,確定窗口作用范圍;

5)計(jì)算PSF窗口作用范圍內(nèi)當(dāng)前序列圖像的真實(shí)像素值與重建圖像初始估計(jì)值之間的殘差R,輸入閾值T進(jìn)行判斷,根據(jù)殘差R與閾值T的大小關(guān)系對(duì)多特征參考幀圖像f做出修正,得到重建高分辨率圖像P1和P2。

6)根據(jù)閾值T得到判斷每幀低分辨率圖像像素點(diǎn)是否都已完成處理,若完成將P1和P2加權(quán)平均,得到最后的超分辨率重建圖像。

1.2.1 基于比值稀疏約束模型的PSF估計(jì)

在比值稀疏約束模型中,L1范數(shù)與L2范數(shù)的比值形式L1/L2被作為圖像先驗(yàn)。當(dāng)L1范數(shù)減小時(shí),相比于L1范數(shù),L2范數(shù)會(huì)縮小的更多,L1/L2的值變大。將L1/L2的值作為稀疏約束項(xiàng),并對(duì)其進(jìn)行優(yōu)化求取最小值[17]。即:

(7)

式中:C為成本函數(shù);x為未知空間中高頻的清晰圖像;y為觀測(cè)圖像;k為圖像的點(diǎn)擴(kuò)散函數(shù);λ和ψ為正則化參數(shù),用來(lái)控制k和正則化項(xiàng)的權(quán)重,其中第一項(xiàng)為數(shù)據(jù)保真項(xiàng),第二項(xiàng)為L(zhǎng)1/L2的正則項(xiàng),是促進(jìn)x的尺度不變的度量約束項(xiàng)。成本函數(shù)C中包含清晰圖像x和點(diǎn)擴(kuò)散函數(shù)k兩個(gè)變量,從初始點(diǎn)擴(kuò)散函數(shù)更新迭代至較大的點(diǎn)擴(kuò)散函數(shù)。在多次迭代和更新過(guò)程中,不僅耗費(fèi)大量時(shí)間還會(huì)出現(xiàn)誤差。為了避免這種情況發(fā)生,通常將成本函數(shù)C分成兩個(gè)方程,采用交替迭代的方式求解。

(8)

(9)

用以上模型估計(jì)圖像的點(diǎn)擴(kuò)散函數(shù),更新x時(shí),將正則化項(xiàng)的分母固定(看成常數(shù)),用迭代收縮閾值算法,計(jì)算更新k時(shí)使用迭代加權(quán)最小二乘法進(jìn)行計(jì)算,最終得到圖像的PSF。

1.2.2 基于隨機(jī)森林的邊緣特征增強(qiáng)

邊緣特征是圖像最基本的特征,一般指圖像中局部不連續(xù)的區(qū)域,也是亮度反差變化最顯著的部分,隨機(jī)森林邊緣增強(qiáng)方法的流程如圖5所示。

圖5 邊緣增強(qiáng)方法原理

1)讀取序列LR圖像的第一幀g1,2倍上采樣得到圖像S;

2)對(duì)圖像S利用隨機(jī)森林方法進(jìn)行邊緣增強(qiáng)得到圖像E,由于邊緣增強(qiáng)之后的圖像存在噪聲,采用中值濾波對(duì)E進(jìn)行降噪,得到參考幀圖像f2。

其中隨機(jī)森林邊緣增強(qiáng)方法主要分為:特征提取階段、隨機(jī)森林訓(xùn)練階段和驗(yàn)證階段。特征提取階段主要利用圖像當(dāng)中的一階、二階(水平和垂直)梯度對(duì)圖像進(jìn)行梯度特征提取;訓(xùn)練階段主要對(duì)提取出的圖像水平梯度和垂直梯度進(jìn)行訓(xùn)練,得到有利于圖像邊緣增強(qiáng)的隨機(jī)森林模型;驗(yàn)證階段主要是輸入退化圖像對(duì)隨機(jī)森林邊緣增強(qiáng)方法進(jìn)行驗(yàn)證。每個(gè)階段的具體流程如圖6所示。

圖6 隨機(jī)森林邊緣增強(qiáng)方法流程

驗(yàn)證階段:放大LR圖像塊y,計(jì)算所有圖像塊的梯度特征;通過(guò)LSH模型MLSH計(jì)算壓縮特征;每個(gè)圖像塊使用壓縮特征搜索葉節(jié)點(diǎn),從訓(xùn)練的隨機(jī)森林τ中獲得相應(yīng)的回歸器;在所有的超分辨率圖像塊當(dāng)中,通過(guò)利用葉子節(jié)點(diǎn)中的加權(quán)嶺回歸器R得到邊緣增強(qiáng)后的圖像。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)介紹

城市區(qū)域地物類別多,場(chǎng)景復(fù)雜,易于對(duì)比參考,故以“珠海一號(hào)”視頻衛(wèi)星顯示某城區(qū)數(shù)據(jù)為研究源,進(jìn)行超分辨率重建實(shí)驗(yàn),并與IBP方法、POCS方法和文獻(xiàn)[4]算法進(jìn)行對(duì)比分析,實(shí)驗(yàn)結(jié)果如圖7～14所示。為了驗(yàn)證本文方法和POCS改進(jìn)算法[20]的對(duì)比效果,進(jìn)行了第二組數(shù)據(jù)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖15所示。

圖7 城鎮(zhèn)區(qū)域R分量圖像超分辨率重建結(jié)果

圖8 城鎮(zhèn)區(qū)域R分量圖像超分辨率重建結(jié)果細(xì)節(jié)圖

圖9 城鎮(zhèn)區(qū)域G分量圖像的超分辨率重建結(jié)果

圖10 城鎮(zhèn)區(qū)域G分量圖像超分辨率重建結(jié)果

圖11 城鎮(zhèn)區(qū)域B分量圖像超分辨率重建結(jié)果

圖12 城鎮(zhèn)區(qū)域B分量圖像超分辨率重建結(jié)果細(xì)節(jié)圖

圖13 城鎮(zhèn)區(qū)域真彩色圖像超分辨率重建結(jié)果

圖14 城鎮(zhèn)區(qū)域真彩色圖像超分辨率重建細(xì)節(jié)圖

圖15 與文獻(xiàn)[20]的超分重建結(jié)果對(duì)比

2.2 實(shí)驗(yàn)結(jié)果及分析

圖7、圖9、圖11分別為實(shí)驗(yàn)的城鎮(zhèn)區(qū)域R、G、B分量的超分辨率重建結(jié)果,圖13為由R、G、B分量合成的彩色圖結(jié)果展示,圖8、圖10、圖12、圖14分別為實(shí)驗(yàn)區(qū)域的紅框標(biāo)注區(qū)域的局部細(xì)節(jié)展示。從圖7、圖9、圖11的三組整體圖可以看出,本文方法重建后的R、G、B分量整體更清晰,比迭代反投影方法、傳統(tǒng)POCS、文獻(xiàn)[4]方法更具優(yōu)勢(shì),對(duì)比圖8、圖10、圖12的細(xì)節(jié)部分,可以看到,迭代反投影方法重建后,圖像有噪聲現(xiàn)象,傳統(tǒng)POCS和文獻(xiàn)[4]方法效果相差不多,但傳統(tǒng)POCS平滑現(xiàn)象更明顯,細(xì)節(jié)不清楚,本文方法的重建圖像在建筑物邊緣、地物分界處、道路邊緣方面都更清晰,細(xì)節(jié)更好,整體上也沒(méi)有噪聲和過(guò)平滑的現(xiàn)象。從R、G、B分量合成的彩色圖13和圖14也可以看出,迭代反投影方法的噪聲更明顯,傳統(tǒng)POCS平滑更突出,文獻(xiàn)[4]方法的邊緣細(xì)節(jié)明顯沒(méi)有本文方法多。

對(duì)比分析可知,本文方法處理后的圖像增強(qiáng)清晰度,同時(shí)提升整體地物的細(xì)節(jié)信息更加豐富,噪聲明顯減少,邊緣輪廓清晰,圖像質(zhì)量提高。

本文利用信息熵與平均梯度兩個(gè)指標(biāo)對(duì)重建圖像進(jìn)行質(zhì)量評(píng)定,信息熵指標(biāo)評(píng)定結(jié)果如表1所示,平均梯度指標(biāo)評(píng)定結(jié)果如表2所示。第二組實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)如表3所示。

表1 RGB圖像信息熵評(píng)價(jià)指標(biāo) dB

表2 平均梯度評(píng)價(jià)指標(biāo) dB

表3 平均梯度評(píng)價(jià)指標(biāo) dB

通過(guò)表1、表2的客觀評(píng)價(jià)結(jié)果可以看到,本文所選的不同區(qū)域的影像重建結(jié)果的客觀評(píng)價(jià)指標(biāo)相比其他算法都有很明顯的提高,本文方法的信息熵整體比其它方法提升了約0.1～0.5 dB,平均梯度提升了約0.5～2.0 dB。表3中本文方法比文獻(xiàn)[20]方法信息熵提高了約0.06 dB,平均梯度提高了約0.03 dB,說(shuō)明本文方法優(yōu)于新的POCS方法。

3 結(jié)束語(yǔ)

為了解決POCS算法重建后圖像邊緣模糊、圖像細(xì)節(jié)信息不足的問(wèn)題,本文提出了PSF估計(jì)與隨機(jī)森林特征增強(qiáng)的超分辨率重建。選用了兩組衛(wèi)星數(shù)據(jù)進(jìn)行了驗(yàn)證,實(shí)驗(yàn)結(jié)果與IBP方法,經(jīng)典POCS方法、文獻(xiàn)[4]、文獻(xiàn)[20]算法進(jìn)行對(duì)比。分析實(shí)驗(yàn)結(jié)果,從視覺(jué)分析角度評(píng)價(jià),本文方法影像邊緣信息和細(xì)節(jié)信息更加豐富;從定量指標(biāo)角度評(píng)價(jià),本文方法的信息熵整體上比IBP、經(jīng)典POCS、文獻(xiàn)[4]、文獻(xiàn)[20]方法提升了約0.06～0.5 dB,平均梯度提升了約0.03～2.0 dB;在主觀和客觀兩個(gè)角度,都說(shuō)明了本文方法優(yōu)于其它4種對(duì)比方法。本文提出的方法具有提高邊緣保持能力和增強(qiáng)紋理細(xì)節(jié)信息的效果,能夠改善圖像質(zhì)量,為后期的應(yīng)用提供更好的數(shù)據(jù)。