基于傳感器幾何特性和圖像特征的影像配準(zhǔn)方法

田上成 張喬 劉保成 崔超

(中國(guó)天繪衛(wèi)星中心, 北京 102102)

1 引言

多光譜成像技術(shù)是根據(jù)不同地物波譜特性的差異，分波段地記錄地物影像，從而利用地物在幾個(gè)比較狹窄波段內(nèi)表現(xiàn)出的明顯差異，進(jìn)行判讀等信息提取工作。多光譜成像必須在同一時(shí)間內(nèi)，同時(shí)用幾個(gè)不同的窄波段對(duì)同一地區(qū)進(jìn)行成像[1]。

目前，依靠單一傳感器的單波段探測(cè)技術(shù)已經(jīng)具有相當(dāng)完整的理論和比較成熟的技術(shù)。但是，隨著科學(xué)技術(shù)的發(fā)展，在很多場(chǎng)合中單波段探測(cè)手段已不能滿(mǎn)足對(duì)復(fù)雜背景下的目標(biāo)探查與識(shí)別?！疤炖L一號(hào)”立體測(cè)繪衛(wèi)星搭載的多光譜相機(jī)采用藍(lán)、綠、紅、近紅外集成為一體的 CCD組件，為更好地進(jìn)行信息提取和判讀提供了支持，而保證多波段圖像之間的配準(zhǔn)是有效判讀的前提。因此，解決多光譜數(shù)據(jù)生產(chǎn)中的各波段成像不同步問(wèn)題，是保證影像品質(zhì)的條件之一，這一過(guò)程對(duì)重新配準(zhǔn)的精度要求較高。

2 多光譜傳感器幾何特性

多光譜傳感器各波段波長(zhǎng)范圍如下：1) B1，藍(lán)波段：0.43～0.52μm；2) B2，綠波段：0.52～0.61μm；3) B3，紅波段：0.61～0.69μm；4) B4，近紅波段：0.76～0.9μm。

傳感器焦距都為650mm，CCD組件沿相機(jī)視場(chǎng)中心線(xiàn)(x方向)安裝，其中每個(gè)波段的CCD探元大小為0.013mm，2排CCD間距54個(gè)探元距離即0.702mm，假定CCD探元沿y方向排列，則各波段CCD中心點(diǎn)位置坐標(biāo)見(jiàn)表1。

表1 各波段CCD中心點(diǎn)位置坐標(biāo)Tab.1 The coordinates of each CCD center point

根據(jù)多光譜傳感器特點(diǎn)，在同一時(shí)刻不同波段間成像地物沿軌道方向距離約為

式中 H為軌道高度；f為焦距。由于CCD星下點(diǎn)地面分辨率為 9.994m，因此上述距離對(duì)應(yīng) 549.68/9.994=55(行)，從B1到B4間距離為165行。

因此，如果4個(gè)波段的CCD采用焦平面坐標(biāo)相同的成像模型，切出來(lái)的各波段景將在豎向有最大165行的差距，需要相應(yīng)增大切景長(zhǎng)度，以使波段間通過(guò)圖像匹配位移并縮減后保持標(biāo)準(zhǔn)景長(zhǎng)度。多波段配準(zhǔn)算法，按各譜段 CCD之間的間距計(jì)算多光譜相機(jī)拍攝地面同一景物的時(shí)間差，即多光譜波段間成像不是嚴(yán)格的同一時(shí)刻，因此需要進(jìn)行影像波段間配準(zhǔn)，將同一景物不同譜段的圖像一一對(duì)應(yīng)。

3 基于傳感器幾何特性和圖像灰度的配準(zhǔn)方法

目前多光譜圖像配準(zhǔn)算法主要基于圖像灰度值[2-3]，“天繪一號(hào)”衛(wèi)星多光譜影像波段間的配準(zhǔn)，起初系統(tǒng)采用了基于傳感器幾何特性和圖像灰度的配準(zhǔn)方法：通過(guò)傳感器的幾何特性分析波段配準(zhǔn)誤差，由于各波段在焦平面上位置誤差導(dǎo)致的配準(zhǔn)誤差，需要統(tǒng)計(jì)不同波段地物圖像在 x，y方向的相對(duì)誤差Δx、 Δy (Δx、Δ y為距離誤差)。以式(2)推導(dǎo)出在焦平面上2個(gè)方向的誤差Δx、Δ y，在焦平面上對(duì)CCD中心點(diǎn)坐標(biāo)進(jìn)行修正。

式中 x yΔΔ、為探元距離；f為焦距；sH為衛(wèi)星軌道高度。

在此基礎(chǔ)上各波段采用相同的成像模型及參數(shù)進(jìn)行分景定位并切景，在輻射校正后的 1A級(jí)產(chǎn)品上進(jìn)行波段間圖像匹配，獲得各波段的相對(duì)位置距離，據(jù)此進(jìn)行圖像剪切調(diào)整，采用互相關(guān)匹配的方法進(jìn)行配準(zhǔn)，并為了減少匹配所用的時(shí)間和消耗的資源，不使用全圖像匹配，而采取局部多點(diǎn)取圖匹配的方法。步驟如下：

1)讀入多波段圖像，根據(jù)圖像大小確定選擇的匹配區(qū)域數(shù)目為M×N(M與圖像行數(shù)有關(guān)，N與圖像列數(shù)有關(guān))；

2)若 M、N有效，將藍(lán)譜段圖像均勻分成 M×N份(邏輯上實(shí)現(xiàn)即可)，確定每份圖像中心位置，以該位置為中心各取出500×500像素的模板圖像；將綠譜段圖像向下位移55個(gè)像素后，均勻取出M×N份(與藍(lán)譜段對(duì)應(yīng)，邏輯實(shí)現(xiàn))；

3)將待匹配圖像與對(duì)應(yīng)的模板圖像對(duì)分別進(jìn)行歸一化積相關(guān)匹配，得到M×N個(gè)匹配結(jié)果；

4)利用擬合方法剔除其中的誤匹配區(qū)域，得到h個(gè)正確匹配結(jié)果；

5)求h個(gè)匹配區(qū)域的平均橫軸、縱軸值，得到兩圖像位移差d x、d y，據(jù)此移動(dòng)綠譜段圖像，實(shí)現(xiàn)配準(zhǔn)；

6)將另2個(gè)波段的圖像重復(fù)3) ～7) 步驟的工作，第3) 步中的下移55個(gè)像素分別變?yōu)橄乱?10和165個(gè)像素。

這種方法的優(yōu)點(diǎn)是穩(wěn)定性高，比較簡(jiǎn)單，但在有擾動(dòng)情況下結(jié)果會(huì)有偏差。在實(shí)際生產(chǎn)中波段間的匹配精度不夠理想，使影像出現(xiàn)輕微的重影現(xiàn)象而不夠清晰。為此，隨機(jī)抽取了100景影像產(chǎn)品，對(duì)其配準(zhǔn)情況進(jìn)行逐一檢查。檢查的方法如下：以每景的紅波段影像為基準(zhǔn)，通過(guò)目視的方法比較藍(lán)、綠、近紅外3個(gè)波段影像是否與其完全配準(zhǔn)，統(tǒng)計(jì)最小單位為像素，結(jié)果如圖1所示，圖中橫坐標(biāo)為波段間影像配準(zhǔn)的檢查結(jié)果分布情況。

由圖1可以看出，基于傳感器幾何特性和圖像灰度的配準(zhǔn)方法對(duì)波段間影像的配準(zhǔn)精度不高，配準(zhǔn)成功率低于15%。以紅波段影像為基準(zhǔn)，約90%影像在配準(zhǔn)后的波段間仍存在1～4個(gè)像素不等的偏差。針對(duì)這一問(wèn)題，利用SIFT算法進(jìn)行多光譜波段間影像配準(zhǔn)精，提出了基于傳感器幾何特性和圖像特征的配準(zhǔn)方法，極大提高了影像配準(zhǔn)精度，改善了影像品質(zhì)。

圖1 多光譜波段間影像匹配精度統(tǒng)計(jì)結(jié)果Fig.1 The statistical results of matching accuracy between multi-spectral bands

4 基于傳感器幾何特性和圖像特征的配準(zhǔn)方法

基于圖像特征進(jìn)行匹配配準(zhǔn)，可以提取各類(lèi)圖像中保持不變的特征，如線(xiàn)交叉點(diǎn)、物體邊緣、角點(diǎn)等圖像的顯著特征，大幅壓縮了圖像的信息量，使得計(jì)算量小、速度快；并且特征點(diǎn)不易受光照、旋轉(zhuǎn)等變換影像，對(duì)圖像灰度的變化具有魯棒性[4]。

4.1 特征點(diǎn)的提取和匹配

尺度不變特征變換(Scale Invariant Feature Transform, SIFT)算法[5-6]是一種穩(wěn)健的提取局部特征的算法，其對(duì)平移、旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)光照變化、噪聲等也保持一定程度的穩(wěn)定性，具有較強(qiáng)的魯棒性[7-8]，這為正確匹配提供了良好的條件?？紤]到地物對(duì)不同波段光譜的反射率、吸收率、透射率不同，相同地物的影像在不同波段會(huì)處于不同的灰度值范圍，SIFT算法能夠克服這種情況，提取出不同波段圖像的顯著特征，實(shí)現(xiàn)穩(wěn)定匹配。

本文首先根據(jù)傳感器幾何特性對(duì)圖像做粗配準(zhǔn)，然后使用局部多點(diǎn)取圖的方法得到各波段圖像的匹配部分，利用SIFT算法進(jìn)行特征點(diǎn)檢測(cè)并生成描述符(為便于說(shuō)明，下文稱(chēng)2幅待配準(zhǔn)波段圖像為圖a和圖b)。在提取的特征點(diǎn)數(shù)量較多時(shí)，描述符維數(shù)高，直接計(jì)算描述符之間的歐幾里德距離比較耗時(shí)，為了加速特征點(diǎn)匹配過(guò)程，建立特征描述符的K-d樹(shù)。先將所有的特征點(diǎn)放到根節(jié)點(diǎn)，再找到特征描述符方差最大一維作為劃分維，并找到該圖所有特征描述符在劃分維分量上的中值，即一半特征描述符的劃分維分量小于該值，一半大于該值，將分量小的那一半特征放到左節(jié)點(diǎn)下，較大的放入右節(jié)點(diǎn)下，并將劃分維和中值保存到根節(jié)點(diǎn)下，以便后續(xù)查找使用。依次在對(duì)左右子樹(shù)進(jìn)行類(lèi)似迭代操作，就可以建立K-d樹(shù)。檢測(cè)并得到圖a、圖b中的特征點(diǎn)、，建立圖b中的特征點(diǎn)描述的K-d樹(shù)，查找在K-d樹(shù)上的最近鄰和次近鄰特征點(diǎn)、。分別計(jì)算與、之間的歐氏距離 H1、H2，γ= H1H2，設(shè)定閾值β(β為界定圖a、圖b中的最近特征點(diǎn)而設(shè)定的常數(shù))，若γ＜β則與為一對(duì)匹配點(diǎn)對(duì)。

消除SIFT算法誤匹配的方法較多[9-10]，考慮到實(shí)際應(yīng)用中實(shí)時(shí)性和生產(chǎn)效率的要求，這里利用匹配點(diǎn)領(lǐng)域灰度相關(guān)性來(lái)進(jìn)行精匹配和誤匹配點(diǎn)的剔除：以對(duì)應(yīng)的2個(gè)初始配準(zhǔn)點(diǎn)為中心，取20×20大小區(qū)域的圖像，計(jì)算2幅圖像的灰度信息相關(guān)系數(shù)，設(shè)定閾值α(α通過(guò)統(tǒng)計(jì)實(shí)際不同波段圖像相似度來(lái)設(shè)定)，灰度相關(guān)系數(shù)大于α則匹配正確，灰度相關(guān)系數(shù)小于α則為無(wú)匹配，剔除。

4.2 影像配準(zhǔn)

采取局部多點(diǎn)取圖方法，基于傳感器幾何特性和圖像特征，首先對(duì)4個(gè)波段圖像進(jìn)行特征點(diǎn)提取和匹配，并利用匹配點(diǎn)領(lǐng)域灰度相似性度量進(jìn)行匹配驗(yàn)證，然后基于成功的匹配點(diǎn)，對(duì)波段間圖像進(jìn)行調(diào)整，從而實(shí)現(xiàn)多光譜影像的波段間配準(zhǔn)。步驟如下：

1)讀入多波段圖像，確定選擇的匹配區(qū)域數(shù)目為M×N(M與圖像行數(shù)有關(guān)，N與圖像列數(shù)有關(guān))；

2)若 M、N有效，將藍(lán)譜段圖像均勻分成 M×N份(邏輯上實(shí)現(xiàn)即可)，確定每份圖像中心位置，以該位置為中心各取出300×500像素的模板圖像；

3)將綠譜段圖像向下位移55個(gè)像素后均勻分成M×N份(邏輯上實(shí)現(xiàn)即可)，計(jì)算得到每份圖像的中心位置，以該位置為中心各取出200×300像素的待匹配圖像；

4)利用 SIFT算法對(duì)待配準(zhǔn)圖像進(jìn)行特征點(diǎn)提取和匹配，得到M×N個(gè)匹配結(jié)果；

5)利用匹配點(diǎn)領(lǐng)域灰度相關(guān)性來(lái)剔除誤匹配點(diǎn)，得到h個(gè)正確匹配結(jié)果；

6)求h個(gè)點(diǎn)的平均橫軸、縱軸值，得到兩幅圖像的位移差 d x，d y；

7)根據(jù) d x，d y移動(dòng)綠波段圖像，獲得與藍(lán)譜段配準(zhǔn)的新綠波段圖像；

8)另2個(gè)波段的圖像配準(zhǔn)重復(fù)3) ～7) 步驟的工作，并且采用并行處理方式各波段同步進(jìn)行，第3) 步中的下移55個(gè)像素分別變?yōu)橄乱?10和165個(gè)像素。

上述步驟中圖像特征點(diǎn)提取和匹配部分的流程如圖 2所示。

圖2 特征點(diǎn)提取與匹配流程Fig.2 The extracting and matching process of feature point

4.3 算法仿真及結(jié)果分析

將基于傳感器幾何特性和圖像特征的配準(zhǔn)方法應(yīng)用于“天繪一號(hào)”衛(wèi)星多光譜影像的生產(chǎn)中，在保證一定生產(chǎn)效率的同時(shí)，可以使 1A級(jí)產(chǎn)品的質(zhì)量得到大幅提高，波段間配準(zhǔn)的精度有了顯著改善。采用新算法，隨機(jī)抽取了100景DGP影像產(chǎn)品，對(duì)其進(jìn)行單機(jī)配準(zhǔn)實(shí)驗(yàn)，并對(duì)圖像進(jìn)行逐一檢查，檢查的方法同第3節(jié)所述，統(tǒng)計(jì)結(jié)果如圖3所示，圖中橫坐標(biāo)為波段間影像配準(zhǔn)的檢查結(jié)果分布情況。

由圖4可以看出，采用基于傳感器幾何特性和圖像特征的配準(zhǔn)方法，能夠提高多光譜波段間圖像的配準(zhǔn)精度，配準(zhǔn)成功率達(dá)到95%以上。對(duì)比圖1可見(jiàn)，配準(zhǔn)的準(zhǔn)確率得到了較大提高。

圖3 多光譜波段間影像匹配精度統(tǒng)計(jì)結(jié)果Fig. 3 The statistical results of matching accuracy between multi-spectral bands

5 結(jié)束語(yǔ)

本文針對(duì)“天繪一號(hào)”衛(wèi)星多光譜影像中存在的重影現(xiàn)象，在原有算法基礎(chǔ)上，提出了基于傳感器和圖像特征的配準(zhǔn)方法。實(shí)驗(yàn)結(jié)果表明，采用新算法的影像波段間配準(zhǔn)準(zhǔn)確率達(dá)到了95%，有效地解決了多光譜影像的配準(zhǔn)精度和圖像品質(zhì)問(wèn)題。在此基礎(chǔ)上，進(jìn)行多光譜影像亞像素級(jí)配準(zhǔn)可以進(jìn)一步提高產(chǎn)品質(zhì)量，這也是今后研究的重點(diǎn)。為提高影像生產(chǎn)效率，在以后的工作中可以考慮對(duì)SIFT算法和K-d樹(shù)近鄰搜索算法進(jìn)行優(yōu)化和改進(jìn)。

References)

[1]喬瑞亭, 孫和利, 李欣.攝影與空中攝影學(xué)[M]. 武漢: 武漢大學(xué)出版社, 2008.QIAO Ruiting, SUN Heli, LI Xin. Photography and Aerial Photography [M].Wuhan: Wuhan University Press, 2008. (in Chinese)

[2]朱近, 司美玲, 夏德深, 等.用局部灰度極值方法進(jìn)行多光譜圖像配準(zhǔn)算法研究[J]. 航天返回與遙感, 2010, 31(5): 32-37.ZHU Jin, SI Meiling, XIA Deshen, et al. Research on Multi-spectral Image Registration w ith Local Gray Extremum Method[J].Spacecraft Recovery & Remote Sensing, 2010, 31(5): 32-37. (in Chinese)

[3]童慶禧, 張兵, 鄭蘭芬. 高光譜遙感: 原理、技術(shù)與應(yīng)用[M]. 北京: 高等教育出版社, 2006.TONG Qingxi, ZHANG Bing, ZHENG Lanfen.Hyperspectral Remote Sensing[M]. Beijing: Higher Education Press, 2006. (in Chinese)

[4]曹紅杏, 柳稼航, 阮萍. 基于SIFT特征的圖像自動(dòng)拼接[J].電視技術(shù), 2008, 32(S1): 146-148.CAO Hongxing, LIU Jiahang, RUAN Ping. Sticking Image Based on SIFT[J]. Video Engineering, 2008, 32(S1), 146-148. (in Chinese)

[5]Lowe D G. Object Recognition From Local Scale-Invariant Features[C]//Proceedings of the International Conference on Computer Vision. Greece: Corfu, 1999: 1150-1157.

[6]Lowe D G. Distinctive Image Features From Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004,60(2): 91-110.

[7]Zhou H Y, Yuan Y, Shi C M. Object Tracking Using SIFT Features And Mean Shift[J]. Computer Vision and Image Understanding, 2009, 113(3): 345-352.

[8]M ikolajczyk K, Schm id C.A Performance Evaluationof Local Descriptors [J]. IEEE Transactions on Pattern Analysis And Machine Intelligence, 2005(10): 1615-1630.

[9]陳敏, 邵振峰, 慎于藍(lán).基于基準(zhǔn)點(diǎn)和基準(zhǔn)方向的sift誤匹配校正方法[J]. 測(cè)繪通報(bào), 2012(3): 16-18.CHEN M in, SHAO Zhenfeng, SHEN Yulan. A Method of Correcting SIFT M ismatches Based on Reference Point and Reference Direction[J]. Bulletin of Surveying and Mapping, 2012(3): 16-18. (in Chinese)

[10]張潔玉, 白小晶, 徐麗燕, 等. 基于空間分布描述符的SIFT誤匹配校正方法[J].中國(guó)圖像圖形學(xué)報(bào), 2009, 14(7): 1369-1376.ZHANG Jieyu, BAI Xiaojing, XU Liyan, et al. A Method of Correcting SIFT M ismatching Based on Spatial Distribution Descriptor[J]. Journal of Image and Graphics, 2009, 14(7): 1369-1376. (in Chinese)