一種共軸的電視紅外雙光成像系統(tǒng)

胡濤，任仙怡，張基宏

（1.深圳信息職業(yè)技術(shù)學(xué)院信息技術(shù)研究所，廣東 深圳 518172；2.深圳市可視媒體處理與傳輸重點實驗室，廣東 深圳 518171）

【信息技術(shù)應(yīng)用研究】

一種共軸的電視紅外雙光成像系統(tǒng)

胡濤1,2，任仙怡1,2，張基宏1,2

（1.深圳信息職業(yè)技術(shù)學(xué)院信息技術(shù)研究所，廣東 深圳 518172；2.深圳市可視媒體處理與傳輸重點實驗室，廣東 深圳 518171）

本文針對異源圖像融合中存在的圖像配準難題，以紅外與可見光為研究對象，研究提出一種共軸的電視紅外雙光成像系統(tǒng)。此系統(tǒng)首先利用可見光和長波紅外探測技術(shù)，攝取景物不同波段的輻射或反射光能，采用透射+二次反射成像的光學(xué)原理，輔以精密光學(xué)裝校實現(xiàn)雙波段對同一場景成像，來滿足圖像視場的匹配，然后設(shè)計基于GenICam和Directshow通用采集架構(gòu)的圖像采集系統(tǒng)，并采用VC++6.0編程實現(xiàn)了不同圖像采集設(shè)備的通用控制。實驗結(jié)果表明，利用此成像系統(tǒng)可獲取“配準的”可見光和紅外圖像，有效解決了紅外與可見光圖像融合中的圖像配準難題。

電視紅外雙波段；共軸光路；圖像配準；GenICam；Directshow

信息社會的較量歸根結(jié)底是信息獲取、管理和利用能力的競爭，信息獲取能力首當其沖。隨著現(xiàn)代信息技術(shù)的發(fā)展，可以獲取和利用的圖像資源急劇增加。不同傳感器獲取的目標信息因其成像方式、使用的電磁波段和分辨率的不同，從不同的側(cè)面揭示著目標的本質(zhì)。圖像融合綜合多種不同特性的圖像數(shù)據(jù)，相互取長補短，發(fā)揮各自優(yōu)勢，能更全面地反映目標特性，提供更強的信息解譯能力和可靠的分析結(jié)果，提高分析精度、應(yīng)用效果和使用價值[1,2]。

圖像融合可分為三個層次：像素級融合、特征級融合和決策級融合[3]。目前的研究集中于精度高，信息損失少的像素級融合[4]。在過去的幾十年里，大量的圖像融合方法被提出，其中，基于多尺度變換的圖像融合方法所采用的分解過程能夠模擬視覺神經(jīng)的初級處理形式，通過級與級的互聯(lián)提供局部處理與全局處理之間的聯(lián)系，因此可以獲得明顯改善的融合效果，多尺度變換圖像融合主要經(jīng)歷了金字塔變換、小波變換和超小波變換三個階段[5-9]。

圖像融合的圖像來源具有多樣性，大致分為三種：多傳感器非同時獲取的圖像；多傳感器同時獲取的圖像，如紅外/可見光圖像、遙感圖像；單一傳感器不同時間，或者不同環(huán)境下獲取的圖像，如多聚焦圖像、時間序列(動態(tài))圖像。

像素級的異源圖像融合在進行融合處理之前需要對源圖像進行基于特征的圖像配準操作，配準的步驟主要有特征提取，特征匹配，變換模型估計和圖像重采樣與變換[10]，但由于異源圖像間缺乏明顯的共有目標特征點，異源圖像的配準是一大難點，通常需要專業(yè)人員交互選擇匹配特征點來完成圖像配準。

紅外與可見光圖像融合是當前異源圖像融合的熱點，為解決紅外與可見光圖像配準難題，本文研究提出一種共軸的電視/紅外雙光成像系統(tǒng)，此系統(tǒng)首先采用透射+二次反射成像的光學(xué)原理，輔以精密光學(xué)裝校實現(xiàn)可見光/紅外雙波段對同一場景成像，然后基于GenICam和Directshow通用采集架構(gòu)實現(xiàn)可見光與紅外圖像采集，可以同時獲取到同一場景的紅外與可見光圖像，有效解決紅外與可見光圖像融合中的圖像配準難題。

1 共軸的電視/紅外雙光成像系統(tǒng)

電視紅外雙光成像系統(tǒng)整體構(gòu)架如圖1所示，主要由基于共軸光路設(shè)計的光學(xué)成像系統(tǒng)和基于GenICam和Directshow通用采集架構(gòu)的圖像采集系統(tǒng)兩部分構(gòu)成。

圖1 雙光成像系統(tǒng)整體構(gòu)架Fig.1 Framework of dual-band imaging system

1.1 基于共軸光路設(shè)計的光學(xué)成像系統(tǒng)

基于共軸光路設(shè)計的光學(xué)成像系統(tǒng)主要由紅外相機，可見光CDD相機，分光鏡，反射鏡，光學(xué)鏡頭構(gòu)成，其中，最關(guān)鍵的技術(shù)是共軸光路的設(shè)計。

（1）共軸光路設(shè)計

采用反射一次成像+分光二次成像的光學(xué)原理，設(shè)計出圖2所示的共軸光路：一束入射光首先被一半反半透的分光鏡分為兩束，其中一束進入可見光CCD探測器，另外一束則進入紅外探測器。通過共軸光路的設(shè)計，使得雙波段對同一場景同時成像成為可能。

圖2 共軸光路Fig.2 Coaxial optical path

（2）光學(xué)成像系統(tǒng)性能指標

（a）光軸重合度：優(yōu)于1′，相當于紅外圖像的±0.5像素。

（b）視場重合度：紅外與可見光同焦距：優(yōu)于60%；紅外與可見光不同焦距：優(yōu)于90%。

（c）圖像有效幀率：不低于5幀/秒。

（d）工作溫度： 0°～50°

（3）紅外成像系統(tǒng)指標

（a）鏡頭焦距：50mm±2mm。

（b）測器像元數(shù)：384×288。

（c）像元間距：35um或25um。

（d）探測器NETD：優(yōu)于120mK

（4）可見光成像系統(tǒng)指標

（a）鏡頭焦距：50mm±1mm；備用鏡頭焦距：45.8mm±1mm。

（b） 探測器像元數(shù)：1360×1280。

（c）探測器類型：2/3″黑白CCD。

（d）CCD信噪比：優(yōu)于46dB。

1.2 基于GenICam和Directshow的通用圖像采集系統(tǒng)

圖像采集系統(tǒng)主要完成可見光圖像和紅外圖像的采集，由圖像采集卡、計算機和基于GenICam、Directshow通用采集架構(gòu)的采集程序構(gòu)成。為了方便日后的維護與擴展升級，本文構(gòu)建了通用的圖像采集平臺，其中，采用GenICam通用采集構(gòu)架對接口為千兆以太網(wǎng)口的可見光CCD相機進行采集控制，實現(xiàn)可見光圖像采集，GenICam為各類常用的相機提供一個統(tǒng)一的編程接口，無論相機使用的是哪種傳輸協(xié)議或者實現(xiàn)了哪些功能，編程接口（API）都是一樣的，如圖3所示；采用如圖4所示的Directshow通用采集架構(gòu)，對使用經(jīng)典視頻采集卡的紅外相機進行控制實現(xiàn)紅外圖像采集，運用DirectShow，可以很方便地從支持WDM驅(qū)動模型的采集卡上捕獲數(shù)據(jù)，并且進行相應(yīng)的后期處理[11]。

圖4 Directshow通用采集構(gòu)架示意Fig.4 Generic acquisition framework of Directshow

由于GenICam和Directshow均是通用采集架構(gòu)，許多相機及采集卡都分別支持這兩個采集架構(gòu)，因此，此計算機圖像采集系統(tǒng)并不依賴于特定的硬件，具有較高的通用性。

圖5所示為本文所研制的電視/紅外雙光成像系統(tǒng)實物圖。基于共軸光路設(shè)計的光學(xué)成像系統(tǒng)實現(xiàn)了同一場景的同時成像，然而從紅外成像系統(tǒng)和可見光成像系統(tǒng)指標參數(shù)中可以看出兩個問題，第一個問題是可見光相機和紅外相機的視場不一致，它們之間的重合度為96%；第二個問題是可見光圖像和紅外圖像的分辨率不一致，可見光圖像的分辨率要遠大于紅外圖像。由于像素級的圖像融合要求融合的源圖像分辨率是完全一致的，因此，為了方便后續(xù)的圖像融合研究，還需要對采集圖像作一定的預(yù)處理，即對成像系統(tǒng)進行標定并按照標定參數(shù)對采集圖像進行剪裁及重采樣等處理，使紅外與可見光圖像的分辨率大小相同，顯然，這里的預(yù)處理與圖像配準相比要簡單得多。

圖5 雙光成像系統(tǒng)實物圖Fig.5 Device photo of dual-band imaging system

2 實驗結(jié)果與分析

如前所述，雙光成像系統(tǒng)的光學(xué)成像系統(tǒng)部分存在視場以及分辨率不一致問題，由于紅外相機的視場要稍大，而可見光成像系統(tǒng)的圖像分辨率又大于紅外成像系統(tǒng)，因此需要進行紅外圖像剪裁參數(shù)以及可見光圖像重采樣參數(shù)的標定，其中紅外圖像經(jīng)模擬采集卡所得圖像的分辨率大小為768×576，標定的剪裁參數(shù)為[11:569,7:766]，因而剪裁后的紅外圖像分辨為760×559，采用雙線性插值算法將可見光圖像進行圖像重采樣為同樣大小，經(jīng)過剪裁及重采集處理的紅外與可見圖像便可以應(yīng)用于后續(xù)的圖像融合研究。

圖6為電視/紅外雙光成像系統(tǒng)所采集的紅外圖像、可見光圖像以及圖像處理結(jié)果圖，(a)為原始紅外圖像，分辨率大小為768×576，(b)為原始可見光圖像，分辨率大小為1360×1024，(c)為經(jīng)過剪裁處理后的紅外圖像，分辨率大小為760×559，(d)為經(jīng)過重采樣處理后的可見光圖像，分辨率大小為760×559，(e)為(c)和(d)采用NSCT[9]多尺度變換的圖像融合結(jié)果圖。

圖6 圖像采集與處理Fig.6 Image acquisition and processing

3 結(jié)論

本文針對異源圖像融合中存在的圖像配準難題，以紅外與可見光為研究對象，通過設(shè)計共軸光路及輔以精密的光學(xué)裝校實現(xiàn)了雙波段同一場景成像，并基于GenICam和Directshow通用采集架構(gòu)采用VC++6.0編程實現(xiàn)通用的圖像采集系統(tǒng)，從而研究提出一種共軸的電視紅外雙光成像系統(tǒng)。實驗結(jié)果表明，利用此成像系統(tǒng)可成功獲取“配準的”可見光和紅外圖像，有效解決了紅外與可見光圖像融合中的圖像配準難題。

（References）

[1]Jang J H,Bae Y,Ra J B.Contrast-enhanced fusion of multisensor images using subband-decomposed multiscale retinex[J].IEEE Trans.Image Process.2012,21(8):3479-3490.

[2]Bennett E P,Mason J L,McMillan L.Multispectral bilateral video fusion[J],IEEE Trans.Image Process.2007,16 (5):1185-1194 .

[3]Pohl C,Genderen J L V.Multisensor image fusion in remote sensing:concepts,methods,and applications[J],Int.J.Remote Sensors.1998,19(5),823-854 .

[4]Piella G.General framework for multi-resolution image fusion:from pixels to Regions[J].Inf.Fusion,2003,4 (4),259-280.

[5]Toet A.Image fusion by a ratio of low pass pyramid[J],Pattern Recognit.Lett.1989,9 (4),245-253.

[6]Mallat S,Theory for multi-resolution signal decomposition:wavelet representation[J],IEEE Trans.Pattern Anal.Mach.Intell,1989,11 (7),674-693.

[7]Nencini F,Garzelli A,Baronti S,Alparone L.Remote sensing image fusion using the curvelet transform[J],Inf.Fusion,2007,8 (2),143-156.

[8]Do M N,Vetterli M.Contourlet transform:efficient directional multi-resolution image representation[J],IEEE Trans.Image Process,2005,14 (12),2091-2106.

[9]da Cunha A L,Zhou J,Do M N.Non-subsampled contourlet transform:theory,design,and applications[J],IEEE Trans.Image Process,2006,15 (10),3089-3101 .

[10]Zitová B,Flusser J.Image registration methods:a survey[J].Image and Vision Comput.2003,(21),977-1000 .

[11]陸其明.DirectShow開發(fā)指南[M].北京：清華大學(xué)出版社,2003.LU Qiming.Directshow Development Guide[M].Beijing：Tsinghua University Press,2003.（in Chinese）

Coaxial visible and infrared dual-band imaging system

HU Tao1,2，REN Xianyi1,2,ZHANG Jihong1,2

(1.Institute of Information Technology,Shenzhen Institute of Information Technology,Shenzhen 518172,P.R.China;2.Shenzhen Key Laboratory of Visual Media Processing and Transmission,Shenzhen 518171,P.R.China)

This paper proposed a coaxial visible and infrared dual-band imaging system to solve the registration problem existing in different-source image fusion,by taking visible and infrared as research object.The system utilizes the visible and infrared detection technology,uptakes the scenery radiation of different wavelengths or optical energy reflected,adopts transmission and secondary reflection theory to design the coaxial optical path,and realizes the dual-band imaging of same scene.What is more,a universal image acquisition system based on GenICam and Directshow is designed and implemented with VC++6.0 programming language to realize the control of different image capture device.The system can acquire the registered visible and infrared images,and effectively solves the problem of registration for visible and infrared images in different-source image fusion.

visible and infrared dual-band;coaxial optical path;image registration;GenICam;Directshow

TP391.41

：A

1672-6332（2014）01-0035-05

【責(zé)任編輯：楊立衡】

2014-2-20

國家自然科學(xué)基金(61271420)；廣東省自然科學(xué)基金(S2011040000662,S2012010008997)；深圳市科技計劃項目 (JC201105190829A)

胡濤（1979-），男（漢），湖北英山人，講師，博士，主要研究方向：機器視覺、圖像處理；E-mail:happy.hut@163.com