基于OpenCV的紅外與可見(jiàn)光圖像實(shí)時(shí)融合系統(tǒng)*

任貴文，賀行政,康榮學(xué)，李旭明

(中國(guó)安全生產(chǎn)科學(xué)研究院 重大危險(xiǎn)源監(jiān)控與事故應(yīng)急技術(shù)國(guó)家安全監(jiān)管總局安全生產(chǎn)重點(diǎn)實(shí)驗(yàn)室，北京 100012)

基于OpenCV的紅外與可見(jiàn)光圖像實(shí)時(shí)融合系統(tǒng)*

任貴文，賀行政,康榮學(xué)，李旭明

(中國(guó)安全生產(chǎn)科學(xué)研究院 重大危險(xiǎn)源監(jiān)控與事故應(yīng)急技術(shù)國(guó)家安全監(jiān)管總局安全生產(chǎn)重點(diǎn)實(shí)驗(yàn)室，北京 100012)

基于OpenCV圖像處理庫(kù)函數(shù)，在VS2013平臺(tái)下開(kāi)發(fā)了一種紅外與可見(jiàn)光圖像融合系統(tǒng)，該方法克服了紅外圖像特征點(diǎn)不明顯的缺點(diǎn)，通過(guò)特殊的攝像機(jī)標(biāo)定技術(shù)，完成了紅外與可見(jiàn)光攝像機(jī)的標(biāo)定，進(jìn)而實(shí)現(xiàn)了紅外與可見(jiàn)光圖像的匹配融合。實(shí)驗(yàn)證明，該系統(tǒng)能達(dá)到較好的融合效果，并能保證融合的實(shí)時(shí)性。

圖像融合；攝像機(jī)標(biāo)定；單應(yīng)矩陣

引 言

異源圖像獲取的信息具有更高的冗余性、互補(bǔ)性和可靠性，因此，基于異源圖像的匹配、配準(zhǔn)、融合等技術(shù)成為了研究熱點(diǎn)，并廣泛運(yùn)用于計(jì)算機(jī)視覺(jué)、反恐、安防、軍事等領(lǐng)域[1]。在異源圖像融合中，最為常見(jiàn)的是紅外熱成像和可見(jiàn)光圖像的融合，紅外熱成像是對(duì)人眼不可見(jiàn)的熱輻射的成像，因此它和可見(jiàn)光圖像可以實(shí)現(xiàn)相互補(bǔ)充，能全面地提供視野范圍內(nèi)的環(huán)境信息，實(shí)現(xiàn)對(duì)高溫物體的精確定位，為軍事、安防、安全生產(chǎn)等領(lǐng)域提供很好的技術(shù)支持。

在異源圖像的融合中，目前常見(jiàn)的技術(shù)大體分為兩種：基于灰度的匹配算法和基于特征的匹配算法。前者不僅計(jì)算量龐大，且在多模態(tài)圖像配準(zhǔn)問(wèn)題中難以取得較高的精度[2]；后者利用多模態(tài)圖像中的特征減少了計(jì)算量，適用范圍廣，在圖像灰度差異較大時(shí)也能得到較為精確的配準(zhǔn)結(jié)果[3]，然而，由于紅外熱成像技術(shù)的特殊性，尤其是熱輻射造成的邊緣外延現(xiàn)象，導(dǎo)致紅外圖像的邊緣特征不清晰，常見(jiàn)的圖像匹配算法并不適用于紅外與可見(jiàn)光圖像的匹配。

本文提出一種基于OpenCV的紅外與可見(jiàn)光圖像融合系統(tǒng)，通過(guò)攝像機(jī)標(biāo)定算法，對(duì)紅外和可見(jiàn)光攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的內(nèi)外參數(shù)，根據(jù)內(nèi)外參數(shù)，預(yù)計(jì)算出一個(gè)單應(yīng)矩陣，根據(jù)預(yù)計(jì)算的單應(yīng)矩陣來(lái)做圖像配準(zhǔn)。

1 攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定主要是求參數(shù)的過(guò)程，也就是確定攝像機(jī)的圖像坐標(biāo)系與物體在空間的三維坐標(biāo)系之間的映射過(guò)程[4]。目前的攝像機(jī)標(biāo)定方法主要有傳統(tǒng)攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法兩種，傳統(tǒng)的攝像機(jī)標(biāo)定技術(shù)需要有特定的定標(biāo)參照物，根據(jù)攝影集合方面的理論直接計(jì)算攝像機(jī)參數(shù)[5]。OpenCV中采用的是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種方法，由張正友提出，稱(chēng)作張氏平面模板標(biāo)定法，只需要對(duì)一個(gè)平面標(biāo)定板(棋盤(pán)格標(biāo)定板)在不同方向采集兩組以上圖像即可，標(biāo)定過(guò)程非常簡(jiǎn)單[6]。本文中通過(guò)對(duì)普通的棋盤(pán)格標(biāo)定板做創(chuàng)造性的加工處理后，完成了對(duì)紅外與可見(jiàn)光攝像機(jī)的同時(shí)標(biāo)定。

首先制作棋盤(pán)格標(biāo)定板，在普通的標(biāo)定板基礎(chǔ)上做修改，把棋盤(pán)格中黑白格子的黑格做隔熱處理，涂上特殊的隔熱材料，白色棋盤(pán)格保持不變。然后將棋盤(pán)格均勻加熱，加熱后的棋盤(pán)格有了明顯的溫度區(qū)分，可以同時(shí)采集到清晰的紅外與可見(jiàn)光圖像。最后，調(diào)用OpenCV函數(shù)CalibrateCamera2()進(jìn)行最終標(biāo)定，標(biāo)定成功后，會(huì)顯示出標(biāo)定后的圖像以及得到圖像融合需要的旋轉(zhuǎn)矩陣和平移矩陣。

2 圖像融合

由于紅外與可見(jiàn)光圖像的特征不一致，對(duì)融合疊加造成了一定的困難，常見(jiàn)的基于特征提取的融合算法對(duì)紅外與可見(jiàn)光圖像的融合效果并不好，因此通過(guò)使用預(yù)計(jì)算的單應(yīng)矩陣(變換矩陣，在計(jì)算機(jī)圖形學(xué)中的常用矩陣，3×3，控制平移、旋轉(zhuǎn)和縮放)來(lái)完成圖像的疊加融合，通過(guò)實(shí)驗(yàn)，疊加效果可以達(dá)到預(yù)期目的，且處理速度低于每幀10 ms，可以達(dá)到實(shí)時(shí)疊加的目的。圖像融合流程圖如圖1所示。

圖1 圖像融合流程圖

圖3 樣本圖像

圖像融合的步驟為：首先，讀取相機(jī)參數(shù)、可見(jiàn)光圖像、紅外圖像；然后，初始化虛擬標(biāo)定的參數(shù)，通過(guò)調(diào)用函數(shù)“bool homography::Init(cv::Size boardSize, double tanTheta, string intrinsicFN, string extrinsicFN, string rmapFN, int thres=0)；”完成初始化，函數(shù)的前兩個(gè)參數(shù)都用來(lái)控制虛擬標(biāo)定棋盤(pán)的位置和大小(第一個(gè)參數(shù)表示使用的虛擬棋盤(pán)的格數(shù)，第二個(gè)參數(shù)控制虛擬棋盤(pán)的大小，參數(shù)越大，則棋盤(pán)越大)，后面三個(gè)文件名都是標(biāo)定過(guò)程存儲(chǔ)的結(jié)果，最后一個(gè)參數(shù)為溫度的限制，用來(lái)剔除紅外圖像中的低溫部分。初始化完成后，根據(jù)虛擬棋盤(pán)格，將棋盤(pán)格的角點(diǎn)映射到兩張圖像上面，調(diào)用OpenCV函數(shù)計(jì)算單應(yīng)矩陣；最后，調(diào)用函數(shù)“cv::Mat rectifyMap(const cv::Mat leftImg, const cv::Mat rightImg)；”完成一幀的圖像疊加。

3 實(shí)驗(yàn)結(jié)論

本系統(tǒng)完成了對(duì)紅外攝像機(jī)和可見(jiàn)光攝像機(jī)的標(biāo)定以及圖像融合，實(shí)驗(yàn)過(guò)程中，使用的紅外攝像機(jī)是flir的tua640系列紅外機(jī)芯，可見(jiàn)光攝像機(jī)使用的是低照度模擬攝像機(jī)，兩個(gè)攝像機(jī)左右水平放置，間距為7 cm，通過(guò)自制的DSP視頻采集板，將兩路攝像機(jī)的視頻實(shí)時(shí)采集并通過(guò)網(wǎng)絡(luò)傳輸給標(biāo)定系統(tǒng)以及融合系統(tǒng)，標(biāo)定系統(tǒng)只在初次使用時(shí)調(diào)用，獲得標(biāo)定參數(shù)后，在保證攝像機(jī)相對(duì)位置不變的情況下，不需要反復(fù)標(biāo)定。

通過(guò)實(shí)驗(yàn)，得到標(biāo)定的效果圖如圖2所示，攝像機(jī)參數(shù)如表1所列。

圖2 校準(zhǔn)后圖像

表1 攝像機(jī)參數(shù)

根據(jù)得到的標(biāo)定參數(shù)，進(jìn)一步完成了圖像融合，樣本圖像如圖3所示，融合效果如圖4所示。

圖4 融合效果

結(jié) 語(yǔ)

通過(guò)簡(jiǎn)易的棋盤(pán)格標(biāo)定板完成了對(duì)紅外攝像機(jī)和可見(jiàn)光攝像機(jī)的標(biāo)定，解決了紅外攝像機(jī)對(duì)棋盤(pán)格辨識(shí)不清晰的問(wèn)題，為紅外攝像機(jī)的批量標(biāo)定找到了簡(jiǎn)單有效的方法。通過(guò)標(biāo)定參數(shù)計(jì)算單應(yīng)矩陣，完成了紅外與可見(jiàn)光圖像的融合，克服了紅外圖像和可見(jiàn)光圖像特征值不一致的弊端，達(dá)到了較好的融合效果，可以有效地、全方位地獲取攝像目標(biāo)的各種信息，達(dá)到很好的高溫警示效果。

[1] 朱英宏,李俊山,楊威,等.紅外與可見(jiàn)光圖像特征點(diǎn)邊緣描述與匹配算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2013,25(6):857-864.

[2] 趙明,林長(zhǎng)青.基于改進(jìn)SIFT 特征的紅外與可見(jiàn)光圖像配準(zhǔn)方法[J].光電工程,2011,38(9):130-136.

[3] 王穎,韓靜文.多特征紅外光與可見(jiàn)光圖像的分區(qū)域配準(zhǔn)[J].光電工程，2015,42(4):68-74.

[4] 于仕琪,宋瑞禎.OpenCV學(xué)習(xí)[M].北京:清華大學(xué)出版社,2009:406-432．

[5] 陳勝勇,劉盛.基于OpenCV的計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)[M].北京:科學(xué)出版社,2008：34-383．

[6] Zhang Zhengyou.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analzysis and Machine Intelligence,2000,22(11):1330-1334.

任貴文(碩士研究生)，主要研究方向?yàn)樽詣?dòng)檢測(cè)監(jiān)控與系統(tǒng)集成。

Infrared and Visible Light Image Real-time Fusion System Based on OpenCV

Ren Guiwen,He Xingzheng,Kang Rongxue,Li Xuming

(Key Laboratory of Major Hazard Control and Accident Emergency Technology,State Administration of Work Safety China Academy of Safety Science and Technology,Beijing 100012,China)

In this paper,an infrared and visible-light image fusion system is proposed which is based on OpenCV library of image processing functions in the VS2013 platform.The method overcomes the shortcoming of infrared image feature points are not obvious.Through a special camera calibration technique,the calibration of infrared and visible light cameras is completed,thus a fusion of infrared and visible images is achieved.The experiment results show that the system can achieve good fusion effect and can guarantee the integration of real time.

image fusion;camera calibration;homography

中國(guó)安全生產(chǎn)科學(xué)研究院基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金項(xiàng)目“遠(yuǎn)紅外熱成像火災(zāi)探測(cè)預(yù)警設(shè)備研發(fā)”(2015JBKY07)；國(guó)家十二五科技支撐計(jì)劃課題(2015BAK16B03)。

TP277

A

士然

2016-11-28)