超分辨率重構(gòu)技術(shù)用于紅外掃描系統(tǒng)的關(guān)鍵

吳 艷， 安博文， 葉洪濤， 林 川

(1.廣西工學(xué)院電控系，廣西 柳州 545006; 2.上海海事大學(xué)，上海 200083)

0 引言

紅外波段相對(duì)于可見(jiàn)光波段，觀測(cè)天候性更好，可以全天獲取圖像，但由于紅外傳感器件受制造材料、工藝等因素的影響，獲得的原始紅外圖像存在非均勻性和盲元等，處理相對(duì)可見(jiàn)光更復(fù)雜，紅外波段圖像質(zhì)量也遠(yuǎn)低于可見(jiàn)光圖像，空間分辨率遠(yuǎn)小于可見(jiàn)光［1］。超分辨率重構(gòu)(Super－Resolution Reconstruction，SRR)技術(shù)是提高遙感圖像空間分辨率最有前景的方法。對(duì)于SRR在遙感領(lǐng)域的應(yīng)用，目前典型的有德國(guó)的紅外遙感器 HSRS、萊卡公司數(shù)字航空相機(jī) ADS40［2］、法國(guó)SPOT－5［3］和歐盟的MSG。在國(guó)內(nèi)，多家研究機(jī)構(gòu)和高校在超分辨率重建技術(shù)方面都已做了許多研究工作，為該項(xiàng)技術(shù)在國(guó)內(nèi)的研究和發(fā)展奠定了一定的理論和工程基礎(chǔ)。然而，目前在國(guó)內(nèi)，該技術(shù)在工程上的成功應(yīng)用還沒(méi)有實(shí)例，因此，利用SRR技術(shù)提高紅外掃描成像系統(tǒng)的空間分辨率，并從工程實(shí)驗(yàn)的角度研究SRR應(yīng)用于紅外掃描成像系統(tǒng)需要解決的問(wèn)題意義重大。

1 SRR技術(shù)簡(jiǎn)介

SRR是從多幅有欠采樣的互有子像素位移的圖像融合出一幅更高分辨率的圖像［4－6］。它是圖像融合的一個(gè)分支，相對(duì)一般的圖像融合技術(shù)，待重構(gòu)的源圖像有一定約束條件:必須是同一個(gè)波段，必須具有非整數(shù)像元位移。SRR技術(shù)是硬軟結(jié)合的技術(shù)。通過(guò)硬件平臺(tái)獲得多幅有子像元位移的圖像，它的本質(zhì)是利用空間換取時(shí)間帶寬，以獲得更高的采樣頻率，獲得的多幅圖像經(jīng)重構(gòu)能否有更好的質(zhì)量、更高的空間分辨率除了滿(mǎn)足SRR技術(shù)適用的基本條件［7］，還受重構(gòu)算法、待重構(gòu)圖像錯(cuò)位量的估算及待重構(gòu)圖像本身噪聲因素的影響。

2 錯(cuò)位量估計(jì)與噪聲的影響分析

對(duì)于重構(gòu)算法的研究，在文獻(xiàn)［8］中已說(shuō)明，本文研究待重構(gòu)圖像的錯(cuò)位量與待重構(gòu)圖像的噪聲對(duì)SRR的影響，并在工程應(yīng)用上對(duì)這兩個(gè)關(guān)鍵問(wèn)題進(jìn)行有效解決。圖1與方程組(1)從SRR原理來(lái)解釋配準(zhǔn)誤差對(duì)重構(gòu)效果的影響，圖2與方程組(2)從SRR原理來(lái)解釋待重構(gòu)圖像的噪聲對(duì)重構(gòu)效果的影響。

圖1 探測(cè)元錯(cuò)位不一致采樣重構(gòu)示意圖Fig.1 Reconstruction sketch map for sensor sampling with nonuniformal displacement

如圖1所示，若探測(cè)元1、探測(cè)元2、探測(cè)元3均錯(cuò)位4/9個(gè)像元，如果錯(cuò)誤地估算為均錯(cuò)位1/3個(gè)像元來(lái)重構(gòu)，重構(gòu)圖像按方程組(1)解，顯然方程組(1)中各方程的系數(shù)是從各探測(cè)元錯(cuò)位1/3像元得出的，由于各待重構(gòu)圖像錯(cuò)位量估計(jì)不準(zhǔn)，方程系數(shù)錯(cuò)誤，從方程組(1)反演出來(lái)的圖像不是正確的重構(gòu)圖像。按圖1所示，各探測(cè)元采樣圖像像元與重構(gòu)圖像像元滿(mǎn)足方程組(1)所示關(guān)系為

從SRR原理來(lái)解釋噪聲對(duì)重構(gòu)效果的影響，圖2為受噪聲干擾重構(gòu)示意圖(圖中x1、x2、x3排中單個(gè)像元噪聲值用nxx表示，nxx為0則沒(méi)受噪聲干擾)，從重構(gòu)方程組(2)可知，重構(gòu)過(guò)程在增加有用像素，提高空間分辨率的同時(shí)，受噪聲干擾像元也會(huì)相應(yīng)增加，重構(gòu)圖像的噪聲擴(kuò)散了，因此，如果低分辨率圖像x1、x2、x3受噪聲干擾概率大，受干擾像元多，干擾噪聲幅值大，即加到像元的nxx值大，則重構(gòu)圖像可信度降低，當(dāng)SNR低到一定程度時(shí)重構(gòu)圖像就不可信。圖像的質(zhì)量由空間分辨率與SNR兩個(gè)指標(biāo)共同決定，因此，當(dāng)待重構(gòu)圖像的SNR低到一定的值時(shí)，重構(gòu)圖像的空間分辨率的增加低于噪聲擴(kuò)大帶來(lái)的惡化效果時(shí)，圖像重構(gòu)不再有意義。

圖2 考慮噪聲的重構(gòu)示意圖Fig.2 Reconstruction sketch map with noise

3 待重構(gòu)圖像錯(cuò)位量的估算

在掃描成像中主要通過(guò)多路分光或線陣探測(cè)器的錯(cuò)位排列來(lái)實(shí)現(xiàn)亞像元序列圖像的獲取。為了減少待重構(gòu)圖像配準(zhǔn)的難度，準(zhǔn)確獲得多幅具有一定錯(cuò)位量的圖像，目前研究較多的是線陣探測(cè)器錯(cuò)位排列的獲取方式［9］，通過(guò)線陣探測(cè)器的錯(cuò)位排列來(lái)實(shí)現(xiàn)SRR的排列方式主要有3種。

1)兩路探測(cè)器線陣列沿線陣方向錯(cuò)開(kāi)半個(gè)像元，在掃描方向上錯(cuò)開(kāi)n個(gè)像元(n為正整數(shù))，并且兩排線陣列保持很高的配準(zhǔn)精度。德國(guó)的紅外遙感器HSRS、萊卡公司數(shù)字航空相機(jī)ADS40以及西安光學(xué)精密機(jī)械研究所做的研究采用了這種方法，見(jiàn)圖3。

圖3 探測(cè)器錯(cuò)位排列方式1Fig.3 The first mode of sensor arrangement

2)兩路探測(cè)器線陣列沿線陣方向錯(cuò)開(kāi)半個(gè)像元，在掃描方向錯(cuò)開(kāi)(n+0.5)個(gè)像元(n為正整數(shù))，法國(guó)SPOT－5采用了這種方法，見(jiàn)圖4。

圖4 探測(cè)器錯(cuò)位排列方式2Fig.4 The second mode of sensor arrangement

圖5 探測(cè)器錯(cuò)位排列方式3Fig.5 The third mode of sensor arrangement

按以上幾種排列方式，通過(guò)在推掃方向取不同的采樣頻率，可以得到采樣密度不同、錯(cuò)位量可估計(jì)的低分辨率圖像。

4 基于圖像序列的同位像素比較濾波法

對(duì)低分辨率圖像進(jìn)行濾波，在SNR獲得提高的同時(shí)必然伴隨著分辨率的下降，不同的濾波算法平滑效果不同，因此，對(duì)于噪聲比較明顯的低分辨率圖像重構(gòu)之前的濾波至關(guān)重要。對(duì)于白噪聲與散粒噪聲目前比較典型的有自適應(yīng)濾波(維納濾波)、中值濾波［10－11］，本文介紹基于序列的同位像素比較濾波法，這種方法對(duì)白噪聲、散粒噪聲都適用，在進(jìn)行SRR仿真分析時(shí)效果好于維納濾波和中值濾波?；谛蛄械耐幌袼乇容^濾波法流程如圖6所示。

圖6 基于圖像序列的同位像素比較濾波法流程Fig.6 Filtering of relative pixel comparation based on image sequence

5 圖像序列同位像素比較濾波法對(duì)重構(gòu)效果的分析

采用課題研究組自行研制的紅外掃描相機(jī)同時(shí)獲得四列探測(cè)器掃描圖像，圖7、圖9、圖11、圖13分別為四列探測(cè)器獲得的原始圖像與去除背景噪聲后的圖像，圖8、圖10、圖12、圖14分別為四列探測(cè)器獲得的圖像進(jìn)行灰度一致性調(diào)節(jié)后的圖像與進(jìn)行非均勻性校正和基于圖像序列逐像素濾波后的圖像。

圖7 探測(cè)器陣列1獲得的原始圖像與除去背景噪聲之后的圖像Fig.7 Raw image and the denoised image of sensor array 1

圖8 灰度值調(diào)整之后的圖像與非均勻性校正并基于序列的同位像素濾波后的圖像Fig.8 The image after grey－level adjusting and the one after nonuniformity correction and filtering

圖9 探測(cè)器陣列2獲得的原始圖像與除去背景噪聲之后的圖像Fig.9 Raw image and the denoised image of sensor array 2

圖10 灰度值調(diào)整之后的圖像與非均勻性校正并基于序列的同位像素濾波后的圖像Fig.10 The image after grey－level adjusting and the one after nonuniformity correction and filtering

圖11 探測(cè)器陣列3獲得的原始圖像與除去背景噪聲之后的圖像Fig.11 Raw image and the denoised image of sensor array 3

圖13 探測(cè)器陣列4獲得的原始圖像與除去背景噪聲之后的圖像Fig.13 Raw image and the denoised image of sensor array 4

圖14 灰度值調(diào)整之后的圖像與非均勻性校正并基于序列的同位像素濾波后的圖像Fig.14 The image after grey－level adjusting and the one after nonuniformity correction and filtering

圖15 為4個(gè)通道圖像經(jīng)去除背景噪聲、灰度一致調(diào)節(jié)、非均勻性校正后(圖8、圖10、圖12、圖14左邊圖)的重構(gòu)圖像，圖16是非均勻性校正并基于圖像序列的同位像素濾波后(圖8、圖10、圖12、圖14右邊圖)的重構(gòu)圖像［5］，通過(guò)圖15與圖16可以看到，基于序列的同位像素濾波后重構(gòu)圖像效果明顯要好，圖15與圖16相關(guān)評(píng)價(jià)指標(biāo)如表1所示。分別取圖15與圖16中的一部分得出其梯度圖像如圖17所示，圖17左邊為圖15的梯度圖，右邊為圖16的梯度圖，從圖17可以明顯看到，圖16的梯度圖輪廓要比圖15的梯度圖清晰。

圖15 四通道獲得的圖像非均勻性校正后重構(gòu)結(jié)果圖Fig.15 Reconstructed image from four channel images after nonunformity correction

圖16 四通道獲得的圖像非均勻性校正并同位像素濾波后重構(gòu)結(jié)果Fig.16 Reconstructed image from four channel images after nonunformity correction and filtering

圖17 圖15與圖16的梯度圖Fig.17 Gradient images of Fig.15 and Fig.16

表1 圖15與圖16評(píng)價(jià)指標(biāo)Table 1 Evaluating indexes for Fig.15 and Fig.16

6 結(jié)束語(yǔ)

文中對(duì)SRR技術(shù)應(yīng)用于紅外掃描成像系統(tǒng)需要解決的兩個(gè)關(guān)鍵問(wèn)題:待重構(gòu)圖像錯(cuò)位量估計(jì)與待重構(gòu)圖像噪聲去除進(jìn)行了理論分析與實(shí)驗(yàn)研究。研究表明:通過(guò)采用固定錯(cuò)位量的多排傳感器，并精確計(jì)算其曝光時(shí)間，可以準(zhǔn)確估算待重構(gòu)圖像的錯(cuò)位量;對(duì)待重構(gòu)圖像中噪聲的去除，提出的基于圖像序列的同位像素比較濾波法，可以有效減少待重構(gòu)圖像噪聲對(duì)重構(gòu)效果的影響。對(duì)這兩個(gè)問(wèn)題的實(shí)驗(yàn)研究，相對(duì)于已有的大量理論研究，可以提供更為客觀的工程應(yīng)用參考。

［1］ 吳艷，陳凡勝.SRR在我國(guó)靜止氣象衛(wèi)星紅外通道應(yīng)用可行性的研究［J］.紅外與激光工程，2010，39:335－339.

［2］ REULKE R，BECKER S，HAALA N，et al.Determination and improvement of spatial resolution of the CCD－linescanner system ADS40［J］.ISPRS Journal of Photogrammetry and Remote Sensing，April，2006，60(2):10.

［3］ 譚兵，邢帥，徐青，等.SPOT5超模式數(shù)據(jù)處理技術(shù)研究［J］.遙感技術(shù)與應(yīng)用，2004，19(4):249－252.

［4］ HENDRIKS L，CRIS L，VLIET V，et al.Improving resolution to reduce aliasing in an under sampled image sequence［J］.SPIE，2000，2965:214－222.

［5］ ELAD，M，F(xiàn)EUER A.Restoration of a single superresolution image from several blurred，noisy and undersampled measured images［J］.IEEE Transactions on Image Processing，1997，6(12):1646－1658.

［6］ MERINO M T，NUNEZ J.Super－resolution of remotely sensed images with variable－pixel linear reconstruction［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45:1446－1457.

［7］ 吳艷，陳凡勝，陳桂林.圖像復(fù)原與SRR適用基本條件及提高空間分辨率上限的研究［J］.紅外與毫米波學(xué)報(bào)，2010，29(5):351－356.

［8］ 吳艷，陳凡勝.基于IBP的實(shí)用的SRR重構(gòu)算法研究［J］.紅外技術(shù)，2009，31(12):720－723.

［9］ 周峰.提高線陣采樣式光學(xué)遙感器圖像空間分辨率的新方法研究［J］.宇航學(xué)報(bào)，2006，27(2):227－232.

［10］ GONZALEZ R C，WOODS R E.Digital image processing［M］.2nd ed.Prentice Hall，Upper Saddle，2002.

［11］ ELAD M，F(xiàn)EUER A.Superresolution restoration of an image sequence:Adaptive filtering approach ［J］.IEEE Transactions on Image Processing，1999，8(3):387－395.