高頻信息矢量匹配實現(xiàn)異源圖像配準

韓廣良

(中國科學院長春光學精密機械與物理研究所，吉林長春130033)

1 引言

目前基于光學成像的目標跟蹤系統(tǒng)越來越多地使用多波段成像傳感器進行目標場景的實時獲取處理，目的是利用不同波段傳感器響應場景的不同特性，獲取對目標更詳細的描述信息，以及更豐富的特征表達，通過對這些特征的處理，實現(xiàn)對場景目標更可靠更穩(wěn)定的捕獲和跟蹤。本文以目前應用最廣泛的可見與紅外圖像的多波段傳感器組合為例，說明其應用的特點。

采用多傳感器進行目標探測，大致可分為兩種情況，一是這幾種傳感器的圖像來自同一光學系統(tǒng)，即由光學系統(tǒng)通過鏡片組的折反等處理，使進入光學系統(tǒng)的光線同時成像在后端的多個傳感器上。這種方式的好處在于，雖然各個傳感器分別在不同的波段成像，但是由于其來源為同一組光線，因此，成像后的圖像是嚴格對應的。這種情況一般不需要復雜的圖像對準過程，即對于后期的圖像處理比較簡單，這里不討論此種情況。二是對于同一場景的不同波段傳感器，分別來自不同光學系統(tǒng)，甚至不同的成像時刻，不同的成像條件，雖然指向相同的場景，但是由于以上這些不同，導致相同的場景在不同傳感器中的表現(xiàn)形式具有很大的差異。例如一個地面的發(fā)電廠煙筒，一個可見光相機從其正上方向下拍攝，而另一個紅外相機從其側(cè)面拍攝，可以想象，這樣獲取的相同場景的異波段圖像之間，具有明顯的差異，要實現(xiàn)二者之間的配準，或者利用其中的一幅圖像，在另一幅圖像中進行自動識別定位，具有較大的難度。

目前這種非同光學系統(tǒng)的異源圖像之間的配準研究，被廣泛應用于智能武器、自尋的導引頭、動態(tài)目標識別等領域，由于其極具挑戰(zhàn)性而日益受到世界各國研究機構(gòu)的重視，但尚無可靠的方法解決此問題。

［1］［3］中解決異源圖像之間配準的方法一般集中在提取兩類圖像之間的共同特性，如紅外與可見圖像所具有的邊緣特性，利用此特性進行自動匹配，實現(xiàn)圖像的配準，但是這些方法均基于自動的特征提取和點陣圖像的特征提取，存在的問題是其中包含了誤識的、不正確的信息，這些錯誤信息嚴重影響圖像的配準精度。

本文就利用矢量方法提取圖像特征進行相應的探討。

2 可見與紅外圖像的特征分析

對于一個場景，成像到圖像傳感器中，其成像規(guī)律為:

式中I為x，y坐標處的圖像反映。

對于同一自然場景，可見光與紅外圖像的反應波段是不同的，紅外主要體現(xiàn)了場景的輻射特性，而可見光則主要反映了場景的自然光反射特性，因此，兩者對同一自然場景具有不同的最終圖像構(gòu)成。若加之其他的成像條件(如焦距、視場角、光照條件、成像角度、成像距離)等因素的影響，同一場景的兩種圖像會有相當大的差異，如圖1所示。

圖1 同一場景不同傳感器在不同成像條件下的圖像Fig.1 Images in different conditions and variable sensors to a same scene

為了解決這一問題，本文首先從兩者的相同特性來分析。

圖像低頻:從場景整體來看，紅外圖像與可見圖像對場景的波段反應是不同的，但是把焦點縮小到場景的局部，當場景的某個區(qū)域具有相同(或相似)的材質(zhì)、光照、表面反射性質(zhì)時，反應到紅外和可見光圖像上，其波段反應也是相同(或相似)的，這種相同性質(zhì)的局部區(qū)域，在圖像中反應為低頻區(qū)域，即圖像灰度變化比較平緩，當然，由于紅外和可見波段的不同反應，此低頻區(qū)域在兩種圖像中將呈現(xiàn)不同的灰度級別。

圖像高頻:在以上所述的場景局部區(qū)域的交界部分，由于兩個區(qū)域之間很可能會發(fā)生材質(zhì)、光照和表面反射特性的變化，從可見和紅外圖像的成像反應來看，交界部分將發(fā)生灰度的變動，即從一個灰度區(qū)域變化到另一個灰度區(qū)域，這在圖像中體現(xiàn)為圖像的高頻特性。

從以上的分析可看到，雖然紅外與可見圖像之間具有較大的區(qū)別，但在場景的邊緣和紋理處，可見和紅外圖像都表現(xiàn)灰度變化區(qū)域，即為高頻反應，這種對場景高頻區(qū)域的共同反應，可作為可見與紅外圖像對同一場景的共同特性。

對于以上成像方程，將其分解為高頻和低頻兩個部分，即:

式中fH和fL分別為圖像高頻和低頻組成部分。

實現(xiàn)紅外與可見圖像之間的配準或者匹配，需要研究的是其高頻部分，即異波段圖像之間的匹配可轉(zhuǎn)化為以下兩者的匹配過程，這里使用IR表示紅外圖像，V表示可見圖像。

式中IIR和IV分別為紅外和可見圖像，R為兩者匹配系數(shù)。

從圖2可以看到兩種圖像提取高頻信息后的相同點。

對于不同光學系統(tǒng)異源圖像來說，由于其成像條件不同，即使按照上面分析找到了兩者在圖像中的相同特征反應，但是由于這些相同特征已經(jīng)因成像條件的差異發(fā)生了各種變化，包括旋轉(zhuǎn)、縮放、透視，從而導致兩種圖像仍具有較大的區(qū)別，甚至截然相反(如兩類傳感器從兩個相對的位置對同一場景進行不同方向的觀察)。因此，為實現(xiàn)兩者的配準，引入了基于高頻特性的矢量模型。

圖2 同一場景不同傳感器在不同成像條件下的邊緣圖像Fig.2 Edge images in different conditions and variable sensors to a same scene

3 基于高頻特性的矢量模型

這里以可見光圖像為基準圖像，提取高頻信息，構(gòu)建模板，用于與紅外圖像的匹配，如圖3所示。以其中的立交橋為模板目標，利用常用的像素離散方法提取出邊緣(多數(shù)不為單像素，且不連續(xù))。另外由于光照等影響，這類邊緣并不能完好地表達一個目標或場景，且圖像中可能存在由于光線等因素引起的虛假邊緣和并不作為重點的干擾邊緣。

圖3 可見光基準圖像高頻邊緣信息提取Fig.3 Extraction of high-frequency edge information for visible base image

由于模板制備是不需要實時進行的，因此，引入矢量邊緣，如圖4(a)所示，采用若干分段并首尾相接的矢量集來表達圖像中一個連續(xù)的邊緣線條，即:式中P1，P2，…，Pn為矢量關鍵點，N為點集合。

這組n個矢量沿著該條圖像邊緣，共同構(gòu)成了一條完整的邊緣，這一矢量邊緣可由人工控制調(diào)整，因此，可以保證這種矢量邊緣能夠更好地體現(xiàn)原圖像中這條邊緣的真實走向。

圖像中所有可作為模板的矢量線條構(gòu)成了基于這個基準圖像的矢量模型，即:

式中C即為各矢量組成的矢量模型。

這種矢量邊緣模型實際上是由一系列有向線段構(gòu)成，以矢量端點和方向的形式存儲在計算機中，圖4(b)所示為利用以上方法構(gòu)建的基準圖像矢量模板。

圖4 矢量模板Fig.4 Vector template

與普通邊緣圖像模型相比，矢量邊緣模型具有明顯優(yōu)勢，除以上提到的因素外，其它主要在于:

(1)由于模型全部由矢量構(gòu)成，因此，可進行無損的各種模板數(shù)學變換，如旋轉(zhuǎn)、透視等;

(2)矢量模板的表達方式數(shù)據(jù)量小，可實現(xiàn)低容量存儲和快速運算;

(3)矢量模型模板的縮放不會發(fā)生類似點陣邊緣圖像的不連續(xù)階梯現(xiàn)象。

4 矢量模型實驗

4.1 實驗條件

為了驗證本文所提到的矢量模型在異源圖像間匹配的有效性，選取了若干場景，同時進行紅外和可見光圖像采集。采集過程中，分別從不同的角度獲取可見和紅外場景圖像，并記錄獲取時的參數(shù)數(shù)據(jù)，包括鏡頭焦距、距離、相機參數(shù)、經(jīng)緯度信息等，以用于實時模型變換和匹配。

4.2 矢量模型變換實驗

從可見光基準圖中提取出矢量模型后，按照與紅外圖像對應的視場參數(shù)、觀察角度等信息，對矢量模型進行實時的變換，圖5所示為變換的結(jié)果。

圖5 矢量模板及其依據(jù)實時視角參數(shù)的變換實驗Fig.5 Transform experiments of vector models according to real-time parameters

從矢量模型變換實驗結(jié)果可知，矢量邊緣模型在進行幾何視角變換時，能夠較好地保持與原圖像的一致性，而不會發(fā)生與點陣邊緣類似的邊緣不平滑現(xiàn)象。

4.3 矢量變換模型與紅外圖像的匹配實驗

圖6為利用該方法在可見光模板圖像中提取構(gòu)建矢量邊緣模型，并通過實時視角變換，與實時紅外圖像進行匹配的實驗。實驗中采用Canny算子提取實時紅外圖像的邊緣信息，通過視角變換后的可見光矢量模型圖形與實時紅外邊緣圖像進行基于特征的匹配，實現(xiàn)場景中目標的自動搜索。

圖6 采用矢量模板在實時紅外圖像中實現(xiàn)目標自動捕獲Fig.6 Auto target acquisition of infrared image based on vector model

圖6 (e)顯示了目標搜索的結(jié)果，與預期目標定位點完全一致。

5 結(jié)論

紅外和可見傳感器對場景高頻反映的相似圖像特性，可以用來進行異源圖像之間的特征匹配，實現(xiàn)圖像配準;基于預定義模板，也可在實時場景中實現(xiàn)自動目標搜索。但點陣圖像和圖像邊緣特性會導致自動提取的邊緣在進行此類應用時具有較大的不足。本文提出一種基于矢量邊緣的模型構(gòu)建方法，較好地解決了不同光學系統(tǒng)、不同成像條件、不同獲取方向的異源圖像之間相似特性的匹配。此方法可應用于基于光學圖像的目標自動搜索系統(tǒng)中，具有較高的實用性。

參考文獻：

［1］倪國強，劉瓊.多源圖像配準技術(shù)分析與展望［J］.光電工程，2004，31(9):1-6.NI G Q，LIU Q.Analysis and prospect of multi-source image registration techniques［J］.Opto-Electronic Eng.，2004，31(9):1-6.(in Chinese)

［2］劉婧，孫繼銀，朱俊林，等.前視紅外景象匹配制導基準圖生成研究［J］.微計算機信息，2007，23(10):279-281.LIU J，SUN J Y，ZHU J L，et al..Study on the generate of reference image on the guidance of FLIR scene matching［J］.Microcomputer Information，2007，23(10):279-281.(in Chinese)

［3］李俊山，李旭輝，羅蓉，等.不同傳感器圖像的景象匹配區(qū)選取準則研究［J］.微電子學與計算機，2007，24(1):210-213.LI J SH，LI X H，LUO R，et al..Research on selection criterion of scene matching field for different sensors［J］.Microe-lectronics ＆Computer，2007，24(1):210-213.(in Chinese)

［4］RIZVI S A，NASRABADI N M.Fusion of FLIR automatic target recognition algorithms［J］.Information Fusion，2003，4(4):247-258.

［5］張?zhí)煨?，曹楊，劉進，等.基于不變矩的前視紅外圖像機場目標識別［J］.華中科技大學學報(自然科學版)，2007，35(1):17-19.ZHANG T X，CAO Y，LIU J，et al..Recognition of airfields in forward looking infrared image sequences by affine moment invariants［J］.J.Huazhong University Science and Technology(Nature Science)，2007，35(1):17-19.(in Chinese)

［6］劉瓊，倪國強，周生兵.圖像配準中幾種特征點提取方法的分析與實驗［J］.光學技術(shù)，2007，33(1):62-67.LIU Q，NI G Q，ZHOU SH B.Experiments and analysis of several feature extraction methods for image registration［J］.Optical Technique，2007，33(1):62-67.(in Chinese)

［7］趙鵬，浦昭邦，張?zhí)镂?一種新的紅外與可見光圖像融合與跟蹤方法［J］.光電工程，2005，32(2):37-40.ZHAO P，PU ZH B，ZHANG T W.Fusion and tracking for IR and visible images［J］.Opto-Electronic Eng.，2005，32(2):37-40.(in Chinese)

［8］張?zhí)煨?成像自動目標識別［M］.武漢:湖北科學技術(shù)出版社，2005.ZHANG T X.Atomated Recognition of Imaged Target［M］.Wuhan:Hubei Science and Technology Press，2005.

［9］黨宏濤，張勝修.光學前視在巡航導彈地形跟蹤中的應用與仿真［J］.彈箭與制導學報，2007，27(2):71-73.DANG H T，ZHANG SH X.Application and simulation of optical forward vision system for cruise missile's terrain following［J］.J.Projectiles，Rockets，Missiles and Guidance，2007，27(2):71-73.(in Chinese)

［10］譚皓，王金巖，沈春林，等.巡航導彈中制導階段航跡規(guī)劃算法［J］.南京航空航天大學學報，2005，37(1):1-5.TAN H，WANG J Y，SHEN CH L，et al..Trajectory programming algorithm for cruise missile guidance［J］.J.Nanjing University Aeronautics＆Astronautics，2005，37(1):1-5.(in Chinese)

［11］魏偉波，芮筱亭.精確制導技術(shù)研究［J］.火力與指揮控制，2006，31(2):5-10.WEI W B，RUI X T.Study on precision guidance technology［J］.Fire Control and Command Control，2006，31(2):5-10.(in Chinese)

［12］楊樹謙.精確制導技術(shù)發(fā)展現(xiàn)狀與展望［J］.航天控制，2004，22(4):17-20.YANG SH Q.Development and prospect of PGM technology［J］.Aerospace Control，2004，22(4):17-20.(in Chinese)

［13］王甜，王建民，楊樹謙，等.紅外圖像自動目標識別技術(shù)發(fā)展［J］.飛航導彈，2005(11):45-47.WANG T，WANG J M，YANG SH Q，et al..Development of IR image auto target recognition technology［J］.Winged Missiles J.，2005(11):45-47.(in Chinese)

［14］楊衛(wèi)平，沈振康.紅外成像導引頭及其發(fā)展趨勢［J］.激光與紅外，2007，37(11):1129-1133.YANG W P，SHEN ZH K.Infrared image seeker technique and its development trend［J］.Laser＆Infrared，2007，37(11):1129-1133.(in Chinese)

［15］FLEEMAN E L.Technologies for future precision strike missile systems introduction/overview［C］.RTO SCI Lecture Series on“Technologies for Future Precision Strike Missile Systems”，Atlanta，USA，23-24 March，2000.

［16］RIEDL G，ASSEL M，F(xiàn)ENDT A，et al..IR focal plane array seekers for ground-to-ground and air-to-ground missiles［J］.SPIE，2001，4369:201-209.