紅外與可見光圖像配準在 EFVS中的應用研究

翟 豪,申 冰,李 宜,張光明

(中國民航飛行學院飛行技術(shù)學院)

1 引 言

從上世紀 90年代中期開始,隨著成像技術(shù)的進步,人們開始研究能穿透低能見度天氣的機載紅外或微波圖像傳感技術(shù),研發(fā)了增強視覺系統(tǒng)(EFVS)。EFVS的出現(xiàn),第一次使得機長在低能見度下都能看到航空器前方場景的動態(tài)圖像,極大地改善了機長的空間感知和情景意識。該系統(tǒng)在座艙下方外安裝紅外成像儀或微波圖像傳感器,實時采集航空器前方場景動態(tài)視頻圖像,經(jīng)處理后和相關(guān)的飛行指引符號疊加在 HUD(平視顯示儀)上顯示。盡管紅外或微波圖像具有分辨率低、圖像內(nèi)容可理解性較差等不足,但由于增強視覺系統(tǒng)采集的是實時的場景動態(tài)圖像,圖像內(nèi)容具有較高的真實性和可信性。特別是在航空器最后進近階段,因為此時航空器已對準跑道,圖像傳感器中所能看到的場景主要限于跑道、燈光及附近的場面,圖像內(nèi)容更易分辨和理解。目前投入使用的 EFVS存在只能處理和顯示單傳感器圖像、不能融合顯示多個波段和不同視點的增強視覺圖像的不足。

國際上自 1996年至今,每年舉行一次“Enhanced and Synthetic Vision”國際會議;在每年的“IEEE Digital Avionics System”國際會議上也有大量關(guān)于合成視覺(SVS)和增強視覺(EFVS)的工作報道。目前,包括美國、英國、加拿大、德國等國的政府和軍方研究機構(gòu),以及國際上著名的航電廠商(如:Honeywell、Rockwell、Thales等)仍在大力加這方面的研究。

2 EVFS系統(tǒng)中圖像配準技術(shù)的應用

由于機載傳感器特性和航空器的運動方式,圖像中的對象僅是剛性的改變位置、姿態(tài)和刻度,改變的原因往往是由攝影器材運動引起的。

所以本文擬將基于特征的圖像配準技術(shù)運用于增強視景系統(tǒng)中,在傳感器位置、指向、焦距不同時,通過實時逆透視變換處理,將二維圖像還原到三維空間中,并對還原的各圖像序列逐幀進行時間同步和空間配準處理,以期為航空器在低能見度下的最后進近階段提供更容易分辨和理解的圖像。

在傳感器位置、指向、焦距不同時,通過實時逆透視變換處理,將二維圖像還原到三維空間中,并對還原的各圖像序列逐幀進行時間同步和空間配準處理,以期為航空器在低能見度下的最后進近階段提供更容易分辨和理解的圖像。

合成方案如下。

圖1 視景增強系統(tǒng)圖像合成方案

本文只研究紅外攝像機所成圖像與航空照相機所成圖像的融合。

3 圖像配準仿真實驗

本文使用 ERDAS IMAGINE系統(tǒng)中的圖像預處理模塊進行遙感圖像配準的。ERDAS IMAGNIE作為遙感圖像處理軟件,最大的特點就是以模塊化的方式提供給用戶的,可使用戶根據(jù)自己的應用要求、資金情況合理地選擇不同功能模塊及其不同組合。

本文主要介紹基于圖像特征的配準算法?；趫D像特

征的方法是圖像配準中最常見的方法,對于不同特性的圖像,選擇圖像中容易提取并能夠在一定程度上代表待配準圖像相似性的特征作為配準依據(jù)?；谔卣鞯姆椒ㄔ趫D像配準方法中具有最強的適應性,而根據(jù)特征選擇和特征匹配方法的不同所衍生出的具體配準方法也是最多樣的。這類方法的主要共同之處是首先要對待配準圖像進行預處理,也就是特征提取的過程,再利用提取到的特征完成兩幅圖像特征之間的匹配,通過特征的匹配關(guān)系建立圖像之間的配準映射變換。這類方法一般包含 3個階段:

(1)計算并提取圖像的特征集(常常是特征點集);

(2)將這些特征作為控制結(jié)構(gòu),尋找兩幅圖像控制結(jié)構(gòu)的映射關(guān)系;

(3)建立控制結(jié)構(gòu)間的空間域的幾何變換,通常利用最小二乘原則建立一個二維多項式函數(shù)來對幾何變換進行擬合。

圖像配準按照以下五個步驟實施:

第一步,建立紅外傳感器所成圖像的坐標系;

第二步,提取紅外圖像中的跑道特征線;

第三步,重新繪制遙感圖像;

第四步,將重新繪制的遙感圖像與紅外傳感器所成的圖像疊加;

第五步,幾何糾正的精度分析。

第一步的目的是為圖像配準提供一個參考系統(tǒng)。對于相對配準通常是取一幅圖像的圖像坐標系作為偏移圖像坐標系,而另一幅圖像的圖像坐標系為參考坐標系或者校正圖像坐標系;對于圖像相對網(wǎng)格進行的配準,則通常取大地坐標系或者地圖坐標系作為校正圖像坐標系,而分量圖像的圖像坐標系作為原始圖像坐標系。

第二步是圖像配準的關(guān)鍵,由于多圖像反映了相同的或者部分相同的地面目標,因此,圖像上的一部分像素點應該在多圖像的其他分量上有代表同一地面點的同名點,即地面控制點(GCP:Geography Control Point)。選擇控制點的方式有三種:手工、半自動查找和計算機自動查找。本節(jié)采用的手工查找匹配控制點,最終所選擇的GCP的精度、數(shù)量以及它們在圖像上的分布情況在很大程度上決定了配準的精度。

第三步是用所得到的地面控制點確定圖像間畸變模型的參數(shù),它隨著所采取的糾正方法的不同而不同。在本論文中采用的畸變模型是二次多項式,利用它對兩幅圖像間的幾何畸變進行逼近,它的系數(shù)在糾正時可以用最小二乘法對分布在整個圖像區(qū)域上的控制點進行擬合而得到。

第四步是在基于畸變模型的基礎(chǔ)上對偏移圖像求取輸出圖像各像素的灰度值,即進行幾何變換和重采樣。

第五步由于對于相對配準則還沒有很好的客觀的方法進行評價,本文是利用 ERDAS IMAGNIE軟件的窗口地理連接(Geo Link/Unlink)功能及查詢光標(Inquire Cursor)功能進行目視定性檢驗。

4 結(jié) 論

可以看到,航拍圖像和雷達圖像配準后,對道路的特征有明顯加強。按照本文依托的項目的工作計劃,尚未采集同一機場的跑道的雷達圖像、紅外圖像和三維地理圖像,所以不能看到實際效果。但從以上配準的效果可以推測,對進近著陸時只有一條跑道的情況,配準圖像對跑道特征的加強是很有效的,從而增強飛行員的情景意識。

ERDAS IMAGINE作為遙感圖像處理軟件具有強大的模塊功能,它既不需要復雜的算法,也避免了大量的編程工作,因此用該軟件進行圖像配準比較易于實現(xiàn),但是這種方式也有它的局限性。如何實現(xiàn)自動選取控制點,提高控制點的定位精度和控制點選取的速度,將是今后研究的方向。因為航空器進近著陸時速度較快,所以對配準速度有較高的要求,這也將是下一步研究工作的重點問題之一。

[1] J.J.Arthur and L.J.Kramer.Flight Test Comparison Between Enhanced Vision(FLIR)and Synthetic Vision Systems[R].NASA,2005.

[2] J.J.Arthur and L.J.Prinzel et al.CFIT Prevention Using Synthetic Vision[J].Enhanced and Synthetic Vision 2003,V 5081:16.

[3] 黨安榮,王曉棟,陳曉峰,等.ERADS IMAGINE遙感圖像處理方法[M].清華大學出版社,2003:220-486.

[4] [美]莫伊克(Moik,J.G)著,徐建平等譯.遙感圖像的數(shù)字處理[M].北京:氣象出版社,1978:301-348.