基于點特征算子的紅外圖像實時拼接系統(tǒng)

王雨曦，王義坤，葛明鋒

?

基于點特征算子的紅外圖像實時拼接系統(tǒng)

王雨曦，王義坤，葛明鋒

（中國科學院上海技術(shù)物理研究所 空間主動光電技術(shù)重點實驗室，上海，200083）

針對畫幅式掃描成像方式獲取的紅外圖像，傳統(tǒng)的圖像拼接技術(shù)無法有效地完成紅外圖像的實時拼接。結(jié)合基于圖像點特征算子的實時拼接技術(shù)，對前沿的點特征提取及描述算子進行了模糊、噪聲、像移、旋轉(zhuǎn)下的性能研究，結(jié)果表明ORB特征提取算子及BRISK特征描述算子的性能最符合畫幅式紅外拼接系統(tǒng)的需要。最后在CPU＋GPGPU平臺上實現(xiàn)了以O(shè)RB＋BRISK算子為特征算子的紅外圖像實時拼接系統(tǒng)，并利用熱紅外遙感圖像進行了拼接的性能驗證。

紅外圖像；點特征算子；實時拼接；GPGPU；ORB；BRISK

0 引言

在機載的對地觀測領(lǐng)域，熱紅外波段是重要的遙感波段。隨著紅外遙感觀測的發(fā)展，大視場高空間分辨率的熱紅外圖像在軍事偵察、快速災(zāi)情監(jiān)測、大視場地質(zhì)勘探等方面的應(yīng)用越來越廣泛。由于紅外材料和工藝的限制，傳統(tǒng)的大視場熱紅外觀測技術(shù)都是采用單元探測器或者多元線陣器件進行掃描方式實現(xiàn)。其缺點是積分時間短，空間分辨率低。目前隨著小面陣熱紅外探測器件的發(fā)展，利用面陣熱紅外器件實現(xiàn)大視場高空間分辨率的熱紅外觀測是技術(shù)發(fā)展的趨勢。面陣熱紅外探測器件的缺點是無法獲得較大的像元數(shù)。目前國內(nèi)熱紅外探測器件的像元數(shù)只有640×512，離10k×8k的可見光探測器的像元數(shù)還有很大的差距。為了獲取高分辨率紅外圖像，需要采用長焦距的光學系統(tǒng)，但同時也會導致遙感系統(tǒng)的視場降低。所以為了能獲取大視場的高分辨率紅外圖像，需要采用紅外面陣探測器進行畫幅式掃描的成像。

畫幅式掃描成像方式如圖1所示。在飛機的翼展方向通過光機擺掃控制機構(gòu)控制面陣探測器畫幅式掃描成像。翼展方向的單幅高分辨圖像保持一定的重疊率，同時飛行方向行與行之間也保持一定的重疊率。通過實時的紅外圖像拼接就可以獲取連續(xù)的大視場高分辨率熱紅外圖像。

由于現(xiàn)場實時的數(shù)據(jù)應(yīng)用需求，需要構(gòu)建紅外圖像實時拼接系統(tǒng)來獲得實時的大視場紅外圖像。與傳統(tǒng)的圖像拼接相比，畫幅式掃描紅外圖像拼接不僅需要在飛行方向，還需要在掃描方向上進行圖像拼接，所以需要更快的拼接速度和更高的配準精度。同時由于在掃描方向上通過畫幅式擺掃的成像方式，所以需要求解每一個成像時刻的相機外方位元素，計算量更大，參數(shù)更多。

圖1 畫幅式掃描成像方式

為了完成高精度的圖像拼接，需要提取圖像的同名點信息來獲取相鄰圖像的幾何變換關(guān)系。同名點的提取及描述需要分別通過圖像點特征提取算子和點特征描述算子來實現(xiàn)。為了構(gòu)建實時的畫幅式掃描拼接系統(tǒng)，需要對圖像點特征提取及描述算子的性能和運算速度進行分析和比較，為選取合適的特征算子提供重要的參考。

畫幅式紅外圖像實時拼接系統(tǒng)中對點特征提取及描述算子的性能與傳統(tǒng)的點特征及描述算子的性能評價標準有所不同。傳統(tǒng)的特征提取及描述性能評價[1-4]提出的評價方法各有不同，但是都具有以下缺點：①沒有對實時性能較好的二值特征算子進行評價，而傳統(tǒng)的非二值特征算子占用內(nèi)存大，計算速度慢，無法滿足實時拼接系統(tǒng)的需求；②沒有考慮紅外遙感圖像的特點，對紅外圖像的提取及描述的性能弱于可見光圖像。

紅外遙感圖像具有以下特點：1）信噪比低[5]：主要因為紅外波段地物反射及輻射能量較弱。2）圖像能量來源復(fù)雜：短波能量主要來自地物反射，熱紅外則主要來自地物輻射，而中波則結(jié)合了兩者的特點。3）遙感圖像拼接的場景不同：①遙感圖像由于高度穩(wěn)定，所以對圖像縮放及尺度變化不敏感；②遙感圖像一般在穩(wěn)定平臺上成像，相鄰遙感圖像間的姿態(tài)角變換較?。虎塾捎诜e分時間內(nèi)飛機的高速運動會引入圖像像移模糊；④遙感圖像有著更豐富的紋理信息及更復(fù)雜的圖像內(nèi)容?；谝陨显?，所以需要對點特征算子進行基于紅外遙感圖像的性能評價，為選取合適的點特征算子提供參考。

文章基于點特征算子的紅外圖像拼接方案，對不同的點特征提取及描述算子進行了性能分析及評價，為畫幅式紅外實時拼接系統(tǒng)選取了合適的點特征算子，并在CPU＋GPGPU硬件平臺上實現(xiàn)了實時拼接系統(tǒng)的設(shè)計及驗證。

1 基于點特征算子的圖像拼接

1.1 圖像拼接流程

基于點特征算子的實時拼接系統(tǒng)的流程如圖2所示。

圖2 圖像拼接基本流程圖

紅外遙感圖像需要先經(jīng)過均勻性校正以消除非均勻性對特征提取及描述的影響[6]。紅外遙感圖像經(jīng)過圖像點特征提取及描述算子后，得到穩(wěn)定的圖像特征點和相應(yīng)的高維描述，然后利用高維特征匹配得到相鄰圖像間的特征點匹配信息，并進一步得到圖像間的空間變換矩陣。圖像間的特征匹配需要采用RANSAC[7]（random sample consensus）或GTM[8]（graph transformation matching）算法來消除誤匹配點的影響，同時提高匹配點的精度。最后利用全局配準來最小化投影誤差，同時對重合區(qū)域完成圖像融合，得到全景拼接圖像。

圖像點特征算子的性能決定了相鄰圖像之間特征點匹配的準確度和精度，從而影響到圖像空間姿態(tài)變換的精度，是拼接系統(tǒng)精度的決定性因素。同時點特征提取及匹配算法計算量大，是拼接系統(tǒng)實時性的瓶頸之一，所以實時紅外拼接系統(tǒng)的實現(xiàn)需要能同時滿足性能好和速度快的點特征算子。

1.2 點特征提取算子性能

圖像點特征提取算子需要具有良好的穩(wěn)定性和重復(fù)性，能夠在豐富的景物特征和隨機噪聲干擾下，對經(jīng)過一定的空間姿態(tài)變換后的紅外圖像提取出重復(fù)的特征點。衡量圖像點特征提取算子的指標主要有3點：①圖像點特征提取算子的重復(fù)率[1]；②圖像點特征提取算子提取點特征的數(shù)量；③點特征提取算子的時間復(fù)雜度。

重復(fù)率衡量了點特征提取算子對相鄰圖像提取重復(fù)的點特征的能力。設(shè)基準圖像的特征點集合為{}，經(jīng)過變換后的待配準圖像的特征點集合為{}，則圖像點特征提取算子的重復(fù)率定義為：

式中：Size{}表示集合中元素個數(shù)。

重復(fù)率是衡量點特征提取算子的重要指標，重復(fù)率越高，抗外界干擾的性能越好，特征點越穩(wěn)定。同時減少了誤匹配點的概率，為后續(xù)的點特征描述及匹配降低了計算量。

1.3 點特征描述算子性能指標

點特征描述算子需要具有穩(wěn)定的特征描述能力,同時具有較好的區(qū)分性，能有效地區(qū)分不同的紅外圖像特征，減少匹配后的誤匹配率。衡量圖像點特征描述算子的指標主要有3點：1）點特征匹配的召回率[9]；2）點特征匹配的精確度[9]；3）點特征描述子消耗的時間。召回率和準確率的定義如下：

特征匹配后匹配點對分為{}：正確的匹配點對；{}：錯誤的匹配點對

基礎(chǔ)矩陣校驗后匹配點對分為{}：正確的匹配點對；{}：錯誤的匹配點對，則召回率＝Size{}/ Size{}，精確度＝Size{∩}/Size{}。

召回率表示匹配的點特征中正確的匹配點占總的正確匹配點的比例，描述了特征描述子描述能力隨環(huán)境變換的退化能力。召回率越低，代表特征描述子的時間效率越低，大量時間浪費在計算錯誤的誤匹配點上。

精確度表示特征匹配后正確的匹配點對占總的匹配點對的比例，描述了特征對不同特征點區(qū)分的能力。精確度越高，正確的匹配點數(shù)越多，計算得到的基礎(chǔ)矩陣越精確。

2 點特征算子性能評價

2.1 性能評價框架

為了準確評價點特征算子的性能，本文采用在基準圖像上加入各種已知干擾和變換的方式來進行性能評價。由于中波紅外兼有短波紅外和熱紅外的反射和熱輻射成像特征，所以文中采用室內(nèi)獲取的10幅中波紅外圖像作為變換前的基準圖像。

為模擬飛行過程中的相鄰圖像的姿態(tài)和成像變換關(guān)系，基準圖像分別經(jīng)過以下處理：

1）高斯加噪：考慮到系統(tǒng)信噪比及熱紅外成像系統(tǒng)NEDT的指標，信噪比范圍從150到200，以5為步進。

2）高斯模糊：由于電路帶寬和光學帶寬的限制，采用高斯模糊來模擬帶寬的限制，高斯噪聲方差大小從1:10，以1為步進。

3）像移模糊：畫幅式擺掃成像方式在水平方向較大的像移存在。考慮到像移補償之后的殘余像移，像移模糊范圍為1～10個像素，以1為步進。

4）橫滾及偏航：由于橫滾和俯仰對于圖像的影響相似，文章采用橫滾來代替橫滾和俯仰的干擾。橫滾和偏航的角度為1°～10°，步進為1°。

2.2 點特征提取算子性能

文章共選取SIFT[10]（scale invariant feature transform）、SURF[11]（speeded up robust features）、CenSurE[12]（center surround extremas）、ORB[13]（oriented brief）、BRISK[14]（binary robust invariant scalable keypoints）5種圖像點特征提取算子。待測試算子代表了目前前沿的特征提取算子，具有計算點特征方向的能力，對角度變換具有穩(wěn)定性。同時對噪聲、光照等干擾具有較好的抗干擾性。

點特征算子的重復(fù)率評價采用對基準圖像和變換圖像分別提取穩(wěn)定的點特征并按照重復(fù)率定義的方式得到。點特征提取算子重復(fù)率性能如圖3所示。

圖3 點特征提取算子重復(fù)率曲線

圖3橫坐標為加入的干擾，最大值歸一化為100?？v坐標為算子的重復(fù)率，為對5種干擾取平均后的結(jié)果。

從圖3中可以發(fā)現(xiàn)ORB及SURF提取算子的性能最好，SIFT及CenSurE性能接近。BRISK提取算子性能較差，主要是因為經(jīng)過特征變換后，特征提取算子數(shù)量大幅減少而導致重復(fù)率降低。

不同圖像點特征提取算子消耗的時間及特征點數(shù)量如表1。

表1 特征點提取數(shù)量及時間

根據(jù)表1可以發(fā)現(xiàn)ORB提取算子比SURF和SIFT提取算子消耗的時間降低了一個數(shù)量級。ORB提取算子的實時性高主要因為采用FAST[15]算子作為核心檢測算子，同時加入矩（moment）計算來得到特征點方向。既保留了FAST特征提取速度快的優(yōu)勢，也增加了對旋轉(zhuǎn)的魯棒性。

考慮到ORB特征提取算子有著重復(fù)率性能好和運算速度快等優(yōu)點，所以在紅外圖像實時拼接中將使用ORB特征提取算子進行特征點的提取。

2.3 點特征描述算子性能

文章選取BRISK、ORB、SIFT、SURF、FREAK[16]5種圖像點特征描述算子。待測試算子代表了目前前沿的點特征描述算子，對特征描述具有較好的區(qū)分行和穩(wěn)定性。點特征描述算子測試流程如下：

1）采用SURF特征提取算子提取紅外圖像特征點；

2）利用待測試點特征描述子對特征點進行描述；

3）利用線性搜索得到與特征描述匹配的近鄰特征，并通過閾值法濾除誤匹配特征點；

4）根據(jù)已知的基礎(chǔ)矩陣，計算正確的匹配點對；

5）計算召回率和精確度。

點特征描述算子召回率和精確度的曲線如圖4和圖5所示。

圖4和圖5橫坐標為加入的干擾，最大值歸一化為100?？v坐標為分別為召回率和精確度，為對5種干擾取平均后的結(jié)果。

從圖4和圖5中可以發(fā)現(xiàn)ORB的召回率和精確度在干擾較大情況下的性能下降較快，而SIFT特征描述子性能最好。BRISK和ORB特征描述子的性能相比有所降低。

點特征描述算子平均每個特征描述消耗的時間如表2。

圖4 點特征描述算子召回率性能

圖5 點特征描述算子精確度性能

表2 點特征描述消耗的時間

根據(jù)表2可以發(fā)現(xiàn)BRISK特征描述子有著最好的實時性能。其主要原因是BRISK特征描述利用采樣點之間的大小信息，而不是統(tǒng)計信息來構(gòu)建二值描述信息?？紤]到BRISK描述算子同時具有較好的召回率和準確度性能。所以實時紅外拼接系統(tǒng)將會利用BRISK點特征描述算子。

3 實時拼接系統(tǒng)設(shè)計及驗證

3.1 拼接系統(tǒng)設(shè)計

紅外圖像實時拼接系統(tǒng)框圖如圖6。

圖6 圖像實時拼接系統(tǒng)框架

系統(tǒng)選用CPU＋GPGPU作為硬件實現(xiàn)平臺，利用CPU實現(xiàn)流程控制、優(yōu)化迭代等部分，而將高并行化及大運算量的圖像處理部分交給GPGPU實現(xiàn)。CPU為Intel i3 540，配置4GB內(nèi)存，并通過PCIe×16鏈路與GPGPU進行通信。GPGPU選用Nvidia公司Fermi系列C2050，具有448個核和2.5G全局顯存。紅外圖像實時拼接系統(tǒng)的算法步驟如下：

1）利用GPGPU完成圖像點特征的提取、描述及匹配，然后將特征點匹配信息回傳到CPU；

2）CPU端采用RANSAC算法計算出正確的匹配集和初始透視變換矩陣，然后通過最小化匹配誤差得到相鄰圖像間的單應(yīng)性變換矩陣。最小均方誤差法采用增量式迭代的方法：

式中：為共線方程的分母因子。

3）利用Bundle Adjustment[17]算法通過最小化全局圖像的最小化均方誤差進一步減少誤差，避免誤差累積導致的圖像錯位及模糊。全局配準誤差下降方法采用Levenberg-Marquardt迭代來更新所有成像時刻的外方位元素矩陣。誤差方程利用對偶的投影誤差，如式(4)所示。投影誤差方程代表了不同圖像和投影到同一三維點的投影誤差，通過最小化投影誤差，可以使得全局的外方位姿態(tài)矩陣最優(yōu)化。

4）利用相機的外方位姿態(tài)矩陣將紅外圖像投影到基準平面，并采用高斯融合的方法將重疊區(qū)域融合得到最終的全局圖像。

3.2 實時拼接系統(tǒng)驗證

拼接系統(tǒng)性能驗證采用美國FLIR SC325熱紅外相機在大連拍攝的熱紅外遙感圖像作為測試圖像。圖像拍攝高度為1000m，選用25°鏡頭，熱紅外圖像大小為320×240。拼接系統(tǒng)對11幅熱紅外圖像利用ORB/BRISK點特征算子進行拼接，同時利用經(jīng)典的SIFT點特征算子進行拼接并對結(jié)果進行比較。拼接結(jié)果如圖7所示。

兩種圖像點特征算子對相鄰圖片間計算出的單應(yīng)性矩陣基本相同，所以拼接后的圖像在視覺上也只是存在細微的差別。從圖7中可以發(fā)現(xiàn)利用ORB/BRISK算子完成的拼接圖像配準精度高，拼接效果好。

在11幅熱紅外圖像上計算兩種算法的時間復(fù)雜度如表3。

圖7 SIFT算子和ORB/BRISK算子拼接圖像

表3 SIFT和ORB/BRISK點特征算法時間比較

從結(jié)果中可以看出，ORB/BRISK在特征提取和特征描述量上消耗的時間均比SIFT特征算子低了一個數(shù)量級，而ORB/BRISK在GPU上的實現(xiàn)又有較快的速度提升，使得在單幅熱紅外圖像中的平均計算時間小于5ms，實時性能得到了很大提高。同時利用實時拼接系統(tǒng)拼接得到的圖像拼接速率達到了8.7fps，驗證了基于ORB/BRISK點特征算子的紅外圖像拼接系統(tǒng)的實時性。

4 結(jié)語

本文利用中波紅外圖像作為基準，并加入模糊、噪聲及角度變換等干擾，比較了點特征提取算子的重復(fù)率和點特征描述算子的召回率和精確度性能，并統(tǒng)計了不同特征算子消耗的時間。實驗結(jié)果表明ORB特征提取算子和BRISK特征描述算子不僅在性能上與經(jīng)典的SIFT和SURF算子性能接近，而且在實時性上也得到了很大的提高。系統(tǒng)通過對ORB/BRISK算子的硬件平臺實現(xiàn)，進一步縮減了圖像配準的時間，并構(gòu)建了基于硬件平臺的紅外實時拼接系統(tǒng)。通過對熱紅外圖像的拼接測試，驗證了ORB/BRISK算子在紅外實時拼接圖像中的可靠性。下一步將繼續(xù)研究圖像高維特征的快速索引和匹配算法及在GPGPU上的實現(xiàn)，進一步優(yōu)化實時拼接系統(tǒng)的性能。

[1] Mikolajczyk, Krystian, Cordelia Schmid. A performance evaluation of local descriptors[C]//, 2005, 27(10): 1615-1630.

[2] Miksik O, Mikolajczyk K. Evaluation of local detectors and descriptors for fast feature matching[C]//(), 21s, 2012: 2681-2684.

[3] 王利勇, 王慧, 李鵬程, 等. 低空遙感數(shù)字影像的點特征提取算子的比較[J]. 測繪科學, 2011, 36(1): 121-124.

[4] Maji S. A comparison of feature descriptors[R]. Berkeley: University of California, 2006.

[5] 唐麟, 劉琳, 蘇君紅. 紅外圖像噪聲建模及仿真研究[J]. 紅外技術(shù), 2014,36(7): 542-548.

[6] 張春雷, 向陽. 超光譜成像儀圖像均勻性校正[J]. 中國光學, 2013,6(4): 584-590.

[7] Fischler M A, Bolles R C. Random sample consensus: aparadigm for model fitting with applications to image analysis and automated cartography[J]., 1981, 24(6): 381-395.

[8] Aguilar W, Frauel Y, Escolano F, et al. A robust graph transformation matching for non-rigid registration[J]., 2009, 27(7): 897-910.

[9] Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]//, 2004: 506-513.

[10] Lowe D G. Distinctive image features from scale-invariant key points[J]., 2004, 60(2): 91-110.

[11] BayH, Tuytelaars T, Van GoolL. SURF: Speeded Up Robust Features[C] //, 2006: 404-417.

[12] Agrawal M, Konolige K, Blas M R.CenSurE: Center Surround Extremas for Realtime Feature Detection and Matching[C]//, 2008: 102-115.

[13] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]//2011(ICCV), 2011: 2564-2571.

[14] Stefan Leutenegger, Margarita Chli, Roland Siegwart. BRISK: Binary Robust Invariant Scalable Key points[C]//2011(), 2011: 2548-2555.

[15] Rosten E, and Drummond T. Machine Learning for High-speed Corner Detection[C]//, Springer Berlin Heidelberg, 2006: 430-443.

[16] Alahi A, Ortiz R, Vandergheynst P. FREAK: Fast Retina Keypoint[C]//, 2012: 510-517.

[17] Triggs B, McLauchlan P F, Hartley R I, et al. Bundle adjustment-a modern synthesis[C]//, 2000: 298-372.

Point Feature-based Real-time Infrared Image Mosaicking System

WANG Yu-xi，WANG Yi-kun，GE Ming-feng

（，，200083，）

As for the infrared image acquired by frame sweeping, traditional methods of image mosaicking cannot effectively accomplish the real-time infrared image mosaicking. The paper combines with the image mosaicking based on point feature algorithms and compares the performance of latest point feature detectors and descriptors under conditions of Gaussian blur, Gaussian noise, motion blur and rotation. The result shows ORB detector and BRISK descriptor are most consistent with frame infrared image mosaicking. The paper finally implements the real-time mosaicking system of frame infrared image based on ORB＋BRISK feature algorithm on CPU＋GPGPU platform, and verifies the mosaicking performance using infrared remote-sensing images.

infrared image，point feature detector，real-time mosaicking，GPGPU，ORB，BRISK

TP211.73

A

1001-8891(2015)03-0204-06

2014-11-13；

2014-12-17.

王雨曦（1989-），男，湖北荊門人，博士生，主要從事紅外遙感圖像處理方面的研究。E-mail：wangyuxi2006@126.com。

國家高技術(shù)研究發(fā)展計劃（863計劃）課題，編號：2012AA121102。