長波紅外雙線列探測器推掃圖像配準(zhǔn)技術(shù)研究

張 曉，王宏博，張騰飛，湯瑜瑜，危 峻

?

長波紅外雙線列探測器推掃圖像配準(zhǔn)技術(shù)研究

張 曉1,2，王宏博1,2，張騰飛1,2，湯瑜瑜1，危 峻1

（1. 中國科學(xué)院 上海技術(shù)物理研究所，上海 200083；2. 中國科學(xué)院大學(xué)，北京 100049）

寬波段成像儀上搭載了一個雙通道長波紅外相機(jī)，采用推掃方式成像。分析了相機(jī)獲取的2個通道遙感圖像存在的3種失配變換類型，結(jié)合SIFT特征算子，給出了一組配準(zhǔn)參數(shù)，配準(zhǔn)精度達(dá)到亞像素級，滿足了利用雙通道遙感數(shù)據(jù)和分裂窗算法反演地溫的需求。

圖像配準(zhǔn)；推掃成像；SIFT分裂窗算法；長波紅外

0 引言

隨著大規(guī)模面陣和長線列探測器研制技術(shù)的發(fā)展[1]，推掃掃描成像技術(shù)在航天遙感儀器中的應(yīng)用逐漸被推廣。與傳統(tǒng)的光機(jī)掃描方式相比，采用推掃掃描方式成像，探測器駐留時間長，靈敏度和信噪比高，因而可以達(dá)到更高的地面分辨率和光譜分辨率，而且沒有光機(jī)轉(zhuǎn)動部件，對平臺姿態(tài)影響小，但也隨之產(chǎn)生了總視場小、響應(yīng)非均勻和定標(biāo)難度大等問題[2]。

在星載寬波段成像儀上，搭載了一個雙通道長波紅外相機(jī)，用于獲取分裂窗遙感數(shù)據(jù)。基于探測器響應(yīng)波段限制和高靈敏度的要求[3]，采用推掃掃描方式成像，而光機(jī)結(jié)構(gòu)設(shè)計和地球偏流角導(dǎo)致了2個通道遙感圖像的失配[4]，從而直接影響利用分裂窗算法反演地溫。本文從成像原理上分析該相機(jī)遙感圖像的失配變換類型，給出3種變換模型及其公式，結(jié)合SIFT（Scale Invariant Feature Transform）特征算子修正變換參數(shù)[5-6]，從而配準(zhǔn)2個通道的推掃圖像，為完成地溫反演的遙感任務(wù)做好準(zhǔn)備。

1 分裂窗圖像配準(zhǔn)

1.1 分裂窗算法

分裂窗算法以地表熱輻射傳導(dǎo)方程為基礎(chǔ)，一般利用大氣窗口內(nèi)2個長波紅外通道對大氣吸收作用的不同，通過2個通道測量值的各種組合來剔除大氣的影響，進(jìn)行大氣和地表比輻射率的修正，從而得到實時地表溫度圖像[7]。

(0)＝×(1)＋×(2)＋(1)

式中：(0)為實時地表溫度圖像；(1)、(2)為2個長波通道的等效亮溫圖像；、、為由實時大氣狀況決定的參數(shù)。

相機(jī)上設(shè)置了CH18（8.125～8.825mm）和CH19（8.925～9.275mm）2個長波紅外分裂窗通道，采用雙線列推掃掃描方式成像。2個通道對同一地表位置有一個成像時間差，光學(xué)設(shè)計上也有一個視角差，加上地球自轉(zhuǎn)產(chǎn)生的地球偏流角問題，2個通道的遙感圖像間會存在一定的失配[8]。根據(jù)分裂窗算法原理，完成2個通道遙感圖像的配準(zhǔn)，找到同一地物目標(biāo)在2幅遙感圖像上的位置并保證分辨率水平相吻合，是采用分裂窗算法反演地表溫度的前提[9]。

1.2 圖像配準(zhǔn)

圖像配準(zhǔn)就是將不同時間、不同傳感器或不同視角下獲取的同一場景的兩幅或更多的圖像進(jìn)行像素位置和線分辨率匹配的過程。一般情況下，圖像之間的失配信息未知，要通過提取標(biāo)準(zhǔn)圖像和待配準(zhǔn)圖像之間的差異獲取，從而指導(dǎo)配準(zhǔn)過程。典型的配準(zhǔn)基本步驟為[10]：①特征檢測；②特征匹配；③變換模型確定及參數(shù)估計；④圖像重采樣與配準(zhǔn)。這樣獲取的變換模型完全來自于圖像特征的檢測和匹配，由此發(fā)展了Moravec算法、SIFT算法和SURF算法等多種算法[11]。本文通過分析相機(jī)的成像原理和光機(jī)參數(shù)，總結(jié)2個通道推掃圖像間存在的3種失配變換類型，分析變換參數(shù)，從而確定變換模型[12]：

M_Result＝Fun(M_Org) (2)

式中：M_Result為變換結(jié)果圖像；M_Org為原始圖像；Fun為變換模型函數(shù)；表征了圖像配準(zhǔn)的變換過程。在此基礎(chǔ)上，結(jié)合圖像的SIFT特征算子確定各失配變換參數(shù)，配準(zhǔn)相機(jī)推掃圖像。

2 圖像失配分析

為了減小儀器體積、降低光校難度，相機(jī)選擇了折射式光學(xué)系統(tǒng)，采用單鏡頭成像。而為了滿足42°大視場要求，考慮到單視場方案將會產(chǎn)生嚴(yán)重的邊緣畸變，且相應(yīng)的探測器規(guī)模要求高，可靠性難以保證，所以選擇雙模塊視場拼接的方案[12-13]。相機(jī)由2個相同的子相機(jī)CAM1和CAM2拼接視場構(gòu)成，每個子相機(jī)由2列相同的400元HgCdTe線列探測器（CH18和CH19）集成封裝在一個杜瓦瓶中，通過前置濾光片保證2個通道不同的光譜帶寬，整個相機(jī)共4列探測器。子相機(jī)光敏面上的探測器位置結(jié)構(gòu)參數(shù)如圖1所示。

光敏元線尺寸det＝28mm，2個線列封裝間距det＝2.24mm＝80·det，其中CH19經(jīng)過光敏面主光軸。子相機(jī)星下點瞬時視場為：

IFOV＝det/opt＝1mrad (3)

式中：opt＝28mm為鏡頭焦距。子相機(jī)總視場為：

理想情況下，在進(jìn)行視場拼接時，2個子相機(jī)的主光軸與整個相機(jī)的主光軸都在穿軌方向所在平面，且沿穿軌方向分別呈＋FOV/2和－FOV/2的夾角，拼接成2·FOV的總視場[13-14]，如圖2所示。

圖2 子相機(jī)視場拼接

2.1 視角差引起的失配——仿射變換

如上所述，相機(jī)2個通道都從單相機(jī)的400元規(guī)模變?yōu)槠唇雍蟮?00元。理想情況下，經(jīng)過子相機(jī)光學(xué)主點的CH19對地視角為0°，2個子線列目標(biāo)地物在同一地理直線上，而CH18不能滿足此要求[8]，其對地視角為：

AOV＝det/opt＝80×IFOV＝80mrad (5)

將導(dǎo)致2個子線列的目標(biāo)地物不在同一地理直線上，如圖3所示。

圖3 傾斜觀測投影模型

由圖3可以計算夾角：

＝arctan[sin(FOV/2)×tan(AOV)]＝0.0157rad(6)

相比CH19，CH18的2個400P的子線列圖像分別沿穿軌方向產(chǎn)生了＋和－的旋轉(zhuǎn)仿射變換，引起2個通道推掃圖像間的失配。為實現(xiàn)圖像配準(zhǔn)，需要對CH18的2個線列圖像分別旋轉(zhuǎn)－和＋：

M_CH18_Temp1(1:400)＝rot(M_CH18(1:400),－) (7)

M_CH18_Temp1(401:800)＝

rot(M_CH18(401:800),＋) (8)

式中：M_CH18_Temp1為CH18通道校正旋轉(zhuǎn)變換后的等效亮溫圖像；rot表示旋轉(zhuǎn)變換函數(shù)。采用雙線性內(nèi)插法進(jìn)行旋轉(zhuǎn)校正，式(7)、(8)等價為下式(9)：

其中：

然后拼接：

M_CH18_Temp1(1:800)＝M_CH18_Temp1(1:400)＋M_CH18_Temp1(401:800) (11)

得到與CH19匹配的圖像。以上變換過程可表述為下式：

2.2 傾斜拼接引起的失配——縮放變換

成像儀飛行軌道高度＝400km，地面分辨率設(shè)計值為400m。但是根據(jù)折射式系統(tǒng)成像原理，圖2所示的傾斜拼接方法將導(dǎo)致相機(jī)穿軌方向的地面分辨率不一致，如圖4所示。

圖4 地面分辨率隨像元位置變換關(guān)系

再加上地表弧度和鏡頭場曲，2個通道推掃圖像會產(chǎn)生沿穿軌方向的縮放變換。如果地表靜止，這種分辨率的不一致性對于2個通道的影響完全一樣，同一地物在2個通道推掃圖像上所占像素位置和分辨率一致，可以不校正此縮放變換，但是地球處于不停的自轉(zhuǎn)狀態(tài)，產(chǎn)生地球偏流角，其沿穿軌方向的分量將會導(dǎo)致目標(biāo)在不同時間所成圖像上的位置有一定偏移，引起圖像間的失配[4]，所以在配準(zhǔn)之前要對2個通道推掃圖像都進(jìn)行重采樣，校正此傾斜拼接引起的分辨率不一致性，過程可表述為：

M_CH18_Temp2＝flx(M_CH18_Temp1,)(13)

M_CH19_Temp1＝flx(M_CH19,) (14)

式中：flx表示縮放變換函數(shù)；為縮放變換的比例因子。校正過程以相機(jī)星下點地面分辨率384.69m/pixel為標(biāo)準(zhǔn)，校正后圖像分辨率從800P提高到866P，＝1.0825。由于該變換都發(fā)生在穿軌方向，即圖像豎直方向，所以根據(jù)矩陣原理，上述過程等價為：

M_CH18_Temp2＝Trans_flx×M_CH18_Temp1 (15)

M_CH19_Temp1＝Trans_flx×M_CH19 (16)

式中：Trans_flx為等價的縮放變換矩陣；規(guī)模為866×，為推掃圖像行數(shù)。

2.3 地球偏流角引起的失配——平移變換

由于探測器集成封裝時兩線列之間的間距和地球偏流角的影響，2個通道推掃圖像間有一個時刻變化的成像時間差，導(dǎo)致了圖像間穿軌方向和沿軌方向都存在平移變換，引起圖像的失配[4]。雖然線列間距不變，但偏流角是時刻變化的，所以不同時刻圖像間的平移變換大小也不同，校正該失配需要實時地參考飛船星下點位置和軌道高度等多個數(shù)據(jù)，運算量大，并不可取，一般采用一定地理范圍內(nèi)選用一個固定的偏流角值校正圖像的方法，只要保證偏差在亞像素級別、滿足反演要求即可[8]。

假設(shè)寬波段成像儀飛行軌道高度為，與赤道夾角為，飛行角速度，相機(jī)星下點緯度，地球半徑為，地球自轉(zhuǎn)角速度，在沿軌方向，2個通道推掃圖像之間平移像素差為：

在穿軌方向，2個通道推掃圖像之間平移像素差為：

其中方向（即穿軌方向）上的平移方向由飛行方向和地球自轉(zhuǎn)方向的關(guān)系決定。變換后可校正由線列封裝間距和地球偏流角所產(chǎn)生的圖像失配。

3 實驗驗證

圖5是用寬波段成像儀長波紅外相機(jī)在高樓平臺上通過電動轉(zhuǎn)臺水平旋轉(zhuǎn)推掃所成圖像。

圖5 雙通道推掃圖像

以該推掃圖像說明第2章提到的圖像失配并進(jìn)行校正。

3.1 仿射變換

選擇2個通道推掃圖像左數(shù)第2座高樓天線局部范圍并放大，可明顯觀察到視角差所引起的仿射變換對圖像失配的影響，如圖6所示。

圖中白色亮線為線列方向，從圖6(a)可看出，CH18圖像的旋轉(zhuǎn)仿射變換導(dǎo)致原本豎直的樓頂天線在圖像中傾斜，圖6(b)中對應(yīng)的CH19圖像沒有明顯的傾斜現(xiàn)象。將CH18圖像作式(12)所示的旋轉(zhuǎn)校正，配準(zhǔn)后天線位置局部圖像如圖6(c)所示，沒有明顯的傾斜現(xiàn)象。

3.2 縮放變換

選擇CH18圖像左數(shù)第1座樓底層局部范圍并放大，可明顯觀察到傾斜拼接引起的縮放變換對圖像失配的影響，如圖7(a)所示，在同一空間直線上的建筑物目標(biāo)，因為相機(jī)分辨率的變化，在推掃圖像上變成一條曲線。

對該縮放變換進(jìn)行式(18)所示的校正，采用線性內(nèi)插重采樣，結(jié)果如圖7(b)所示，可使空間位置在同一直線上的建筑物目標(biāo)在推掃圖像上扔保持在同一直線。

3.3 平移變換

從圖5中可以明顯觀察到兩線列間距對推掃同一目標(biāo)成像時間差的影響，產(chǎn)生嚴(yán)重的平移變換，導(dǎo)致失配。根據(jù)封裝間距參數(shù)、目標(biāo)運動速度和推掃速度計算平移變換量，做式(19)所示變換可以校正該失配。

圖6 仿射變換前后圖像對比

圖7 縮放變換前后圖像對比

4 配準(zhǔn)結(jié)果

上文進(jìn)行了理論上的失配分析，總結(jié)了理想情況下2個通道間的3種失配變換類型，并用地面推掃圖像進(jìn)行了說明驗證，由此可得到理想情況下，該相機(jī)分裂窗通道圖像間的配準(zhǔn)公式如下：

M_CH19_Result＝flx(M_CH19,)

具體計算過程如式(9)、(15)、(16)、(20)。

在實際的光機(jī)裝校中，一定的距離和角度誤差在所難免，產(chǎn)生的，D，D等失配參數(shù)與理想情況略有偏差，需要通過光校實驗和成像結(jié)果進(jìn)行修正[15]。本文利用相機(jī)2個通道的推掃圖像，提取其SIFT特征算子并根據(jù)失配量修正相應(yīng)的失配參數(shù)，從而更準(zhǔn)確地配準(zhǔn)圖像。

4.1 SIFT算子

SIFT算子是一種圖像關(guān)鍵點的特征描述方法，這種特征對圖像的尺度變化和旋轉(zhuǎn)變化是不變的，對于標(biāo)準(zhǔn)圖像和待配準(zhǔn)圖像，正確匹配的特征點對能夠標(biāo)識出兩者在幾何位置上的正確對應(yīng)關(guān)系[5]，從而說明其失配水平。本文2個通道推掃圖像間的3種失配變換類型不會改變圖像的SIFT特征算子，提取2幅圖像相匹配的SIFT算子并計算失配量，可以用于失配參數(shù)的修正，從而指導(dǎo)配準(zhǔn)過程。

4.2 圖像失配說明

圖8是長波紅外相機(jī)2個通道的推掃圖像對應(yīng)像素直接疊加融合所得結(jié)果。

可見通道間失配嚴(yán)重。表1給出用SIFT算法處理配準(zhǔn)前2個通道推掃圖像所得相匹配的8個特征點及其失配量。

4.3 圖像配準(zhǔn)

通過對失配因素的分析，將2個通道推掃圖像間的配準(zhǔn)過程總結(jié)為以下3個步驟：

1）2個通道推掃圖像作穿軌方向的伸縮變換，如式(15)、(16)；

2）CH18圖像1～400行以第400行為基準(zhǔn)作負(fù)向角度1的仿射變換，401～800行以第401行為基準(zhǔn)作正向角度2仿射變換，如式(12)；

圖8 兩個通道直接融合圖像

3）CH18圖像1～400行作(1,1)的平移變換，401～800行作(2,2)的平移變換，如式(19)。

配準(zhǔn)過程中的變換參數(shù)1、2、(1,1)、(2,2)參考上文中的失配分析結(jié)果，然后利用上表1中數(shù)據(jù)進(jìn)行修正。本文采用的一組變換參數(shù)為1＝2＝0.864°，(1,1)＝(－3.85756, 92.69133)、(2,2) ＝(－4.86897, 90.56655)。配準(zhǔn)后2個通道推掃圖像對應(yīng)像素直接疊加融合結(jié)果如圖9所示，可見效果較好。

對配準(zhǔn)后2個通道推掃圖像作SIFT算法處理，得到相匹配的8個特征點及其失配情況如表2所示，顯示配準(zhǔn)結(jié)果基本保證了亞像素級的配準(zhǔn)精度。

5 結(jié)論

本文針對寬波段成像儀上的長波紅外相機(jī)，分析了2個通道在推掃成像時對地視角差、線列封裝間距、地球偏流角和視場傾斜拼接等產(chǎn)生失配的因素，總結(jié)了3種失配變換類型：仿射變換、縮放變換和平移變換。以光機(jī)分析計算為基礎(chǔ)，結(jié)合地面推掃圖像的SIFT特征算子，給出了一組配準(zhǔn)變換參數(shù)，在亞像素級配準(zhǔn)了2個通道的推掃圖像。

對地遙感系統(tǒng)集光、機(jī)、電于一體，理論分析與實際應(yīng)用有一定的差異。本文在理想情況下分析了2個通道推掃圖像失配的因素，沒有考慮光學(xué)系統(tǒng)畸變、機(jī)裝角度誤差等一系列實際問題，只簡單地利用SIFT特征算子的偏差對其進(jìn)行了校正，雖然誤差不大，但有一定的不足之處。總體來講，本文圖像配準(zhǔn)精度達(dá)到了亞像素級水平，基本滿足了該相機(jī)分裂窗算法反演地溫的遙感需求。

圖9 兩個通道配準(zhǔn)后融合圖像

表2 兩個通道配準(zhǔn)后圖像部分SIFT特征算子

[1] 李言謹(jǐn), 楊建榮, 何力, 等. 長波紅外2048元線列碲鎘汞焦平面器件[J]. 紅外與毫米波學(xué)報, 2009, 28(2): 90-92.

LI Yan-jin, YANG Jian-rong, HE Li, et al. Long-Wave infrared 2048-elements linear HgCdTe focal plane array[J]., 2009, 28(2): 90-92.

[2] 蔡海蛟, 徐蒙, 危峻. 推掃式紅外相機(jī)數(shù)據(jù)處理系統(tǒng)原理與設(shè)計[J]. 半導(dǎo)體光電, 2007, 28(3): 447-450.

CAI Hai-jiao, XU Meng, WEI Jun. Principle and design of data process system of push-broom infrared camera[J]., 2007, 28(3): 447-450.

[3] 孟鵬, 胡勇, 鞏彩蘭, 等. 用劈窗算法反演地表溫度的通道問題討論[J]. 國土資源遙感, 2010, 94(4): 16-20.

Meng Peng, Hu Yong, Gong Cailan, et al. Discussions on using channels of split-window algorithm to retrieve earth surface temperature[J]., 2010, 94(4): 16-20.

[4] 樊超, 李英才, 易紅偉. 空間相機(jī)中的偏流角分析[J]. 紅外與激光工程, 2006, 35(增刊): 216-220.

FAN Chao, LI Ying-cai, YI Hong-wei. Analysis of drift angle on space camera[J]., 2006, 35(S1): 216-220.

[5] 李曉明, 鄭鏈, 胡占義. 基于SIFT特征的遙感影像自動配準(zhǔn)[J]. 遙感學(xué)報, 2006, 10(6): 885-892.

LI Xiao-ming, ZHENG Lian, HU Zhan-yi. SIFT based automatic registration of remotely-sensed imagery[J]., 2006, 10(6): 885-892.

[6] 劉小軍, 楊杰, 孫堅偉, 等. 基于SIFT的圖像配準(zhǔn)方法[J]. 紅外與激光工程, 2008, 37(1): 156-160.

LIU Xiao-jun, YANG Jie, SUN Jian-wei, et al. Image registration approach based on SIFT[J]., 2008, 37(1): 156-160.

[7] 朱懷松, 劉曉錳, 裴歡. 熱紅外遙感反演地表溫度研究現(xiàn)狀[J]. 干旱氣象, 2007, 25(2): 17-21.

ZHU Huaisong, LIU Xiaomeng, PEI Huan. Summary on retrieval of land surface temperature using thermal infrared remote sensing[J]., 2007, 25(2): 17-21.

[8] 武星星, 劉金國. 應(yīng)用地球橢球的三線陣立體測繪相機(jī)像移補(bǔ)償[J]. 光學(xué)精密工程, 2011, 19(8): 1794-1800.

WU Xing-xing, LIU Jin-guo. Image motion compensation of three-line stereo mapping camera using earth ellipsoid[J]., 2011, 19(8): 1794-1800.

[9] 陳錢. 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢[J]. 紅外技術(shù), 2013, 35(6): 311-318.

CHEN Qian. The Status and Development Trend of Infrared Image Processing Technology[J].2013, 35(6): 311-318.

[10] Barbara Zitová, Jan Flusser. Image registration methods: a survey[J]., 2003, 21(11): 977-1000.

[11] 苑津莎, 趙振兵, 高強(qiáng), 等. 紅外與可見光圖像配準(zhǔn)研究現(xiàn)狀與展望[J]. 激光與紅外, 2009, 39(7): 693-699.

YUAN Jin-sha, ZHAO Zhen-bing, GAO Qiang, et al. Review and prospect on infrared/visible image registration[J].2009, 39(7): 693-699.

[12] Antoinc Maintz J B, Max A. Viergever. A survey of medical image registration[J]., 1998, 2(1): 1-36.

[13] 周倩婷, 危峻, 徐志鵬. 多模塊相機(jī)視場合成配準(zhǔn)的測試技術(shù)[J]. 紅外技術(shù), 2009, 31(4): 220-223.

ZHOU Qian-ting, WEI Jun, XU Zhi-peng. The testing technology based on field-of-view matching of multi-camera system[J]., 2009, 31(4): 220-223.

[14] 危峻, 蔡海蛟, 翁東山. 視場合成技術(shù)在推掃式成像光譜儀中的應(yīng)用研究[J]. 科學(xué)技術(shù)與工程, 2009, 9(15): 4531-4533.

WEI Jun, CAI Hai-jiao, WENG Dong-shan. Application Research of FOV Composition in Imaging Spectromete[J]., 2009, 9(15): 4531-4533.

[15] 杜小平, 劉明, 夏魯瑞, 等. 基于光譜角累加的高光譜圖像異常檢測算法[J]. 中國光學(xué), 2013, 6(3): 325-331.

DU Xiao-ping, LIU Ming, XIA Lu-rui, et al. Anomaly detection algorithm for hyperspectral imagery based on summation of spectral angles[J]., 2013, 6(3): 325-331.

Research of Push-broom Image Registration Technology for Double Linear LWIR Detector

ZHANG Xiao1,2，WANG Hong-bo1,2，ZHANG Teng-fei1,2，TANG Yu-yu1，WEI Jun1

（1.,200083,; 2.,100049,）

A dual-channel LWIR camera is mounted on the wide-band imaging spectrometer, using push-broom imaging mode. This paper analyzes the three kinds of mismatch transformations of the dual-channel remote sensing images acquired by this camera, and gives a set of registration parameters with reference to the SIFT. The sub-pixel registration accuracy meets the need for surface temperature inversion using the dual-channel remote sensing data and split-window algorithms.

image registration，Push-broom imaging，SIFT，split-window algorithm，LWIR

TP75

A

1001-8891(2015)02-0139-08

2014-06-30；

2014-10-28.

張曉（1987-），男，博士研究生，主要從事電路系統(tǒng)及航空遙感應(yīng)用方面的研究。E-mail：message1987@163.com。

國家高技術(shù)研究發(fā)展計劃（863計劃）項目：星載熱紅外高光譜成像儀工程樣機(jī)研制，編號：2013AA121102；中科院知識創(chuàng)新工程項目：寬波段成像儀，編號：Y1X09029N0X。