雙目紅外熱成像定位技術(shù)研究與應(yīng)用

浣　石， 陶為俊， 徐　沖

(廣州大學(xué) 土木工程防護(hù)研究中心， 廣東 廣州　510006)

?

雙目紅外熱成像定位技術(shù)研究與應(yīng)用

浣石， 陶為俊， 徐沖

(廣州大學(xué) 土木工程防護(hù)研究中心， 廣東 廣州510006)

文章基于數(shù)字圖像技術(shù)提出了交叉成像算法，通過將2臺紅外熱成像攝像機(jī)拍攝的圖像進(jìn)行交叉計(jì)算，提高了所拍攝圖像的分辨率.將海上的船舶作為對象，通過對圖像的分離、海平面的映射以及船舶的識別，得到了目標(biāo)圖像的高精度定位.其測量精度能夠很好地滿足監(jiān)測需要.高分辨率的熱紅外圖像在工程監(jiān)測和測量中有著重要的意義，這也將擴(kuò)展紅外熱成像技術(shù)在實(shí)際工程測量中的應(yīng)用.

熱成像； 交叉成像； 數(shù)字圖像處理

紅外熱成像攝像機(jī)是一種對物體表面自發(fā)熱輻射能量密度進(jìn)行成像的設(shè)備.它所拍攝到的圖像不是代表物體表面反射光通量的分布，而是反映物體表面溫度的分布.在水面航行的船舶其溫度與海水的溫度是截然不同的，因此不論是在陽光下還是在漆黑的夜晚，用紅外熱成像攝像機(jī)都可以拍攝到清晰的船舶圖像.由于物體熱輻射的波長比可見光的長，通常是在7～14 μm波段，因此大氣中原本能夠阻擋光線傳播的物質(zhì)，例如雨雪、煙霧等都不會阻擋熱輻射的傳播.所以說紅外熱成像攝像機(jī)是一種完全不需要光照的攝像機(jī).利用紅外熱成像攝像機(jī)所構(gòu)建的預(yù)警系統(tǒng)可以適合晝夜以及各種惡劣天氣環(huán)境.

由于紅外熱成像攝像機(jī)的圖像接收元件是為接收物體熱輻射能量而設(shè)計(jì)的，為了獲得一定的信噪比，每個接收單元的面積不能太小，也就是說，圖像的分辨率不可能太高.目前市面上主流的紅外熱成像攝像機(jī)的圖像分辨率為320×240，不到8萬像素，相比普通數(shù)碼相機(jī)上千萬像素的圖像分辨率來說是很低的.所以，絕大多數(shù)利用熱紅外成像的設(shè)備或者系統(tǒng)僅能提供視頻監(jiān)視或記錄功能.要想利用熱紅外圖像進(jìn)行高精度的圖像定位和測量，需要有特殊的圖像綜合處理技術(shù)來支持[1-5].

紅外熱成像攝像機(jī)的圖像像素較少，空間分辨率比較低，再加上安裝高度有限，不可能正對海平面成像，只能以較小的掠射角度來拍攝水面圖像[6]，這樣，熱紅外圖像中每一個像素對應(yīng)水面上的面積會隨著距離的增加而被迅速地“拉長”，由此一來，在攝像機(jī)軸線方向上無法對遠(yuǎn)處的目標(biāo)進(jìn)行精確的定位.

1　雙目紅外熱成像原理

熱紅外成像與所拍攝區(qū)域的幾何關(guān)系見圖1，所拍攝的范圍為一個近小遠(yuǎn)大的四邊形區(qū)域.得到的圖像為一個按照像素陣列依次排列的矩形區(qū)域.圖像像素與實(shí)際的四邊形區(qū)域中的位置一一對應(yīng).鑒于單個紅外熱成像攝像機(jī)的圖像像素低，因此，在遠(yuǎn)端像素所占有的空間也就增大，導(dǎo)致空間分辨率降低.增加一臺相交的紅外熱成像攝像機(jī)，見圖2.將A、B 2臺攝像機(jī)對著所拍攝的區(qū)域進(jìn)行交叉成像，然后對圖像進(jìn)行處理得到交叉后的圖像，單臺攝像機(jī)在遠(yuǎn)端沿軸向的空間分辨率低，通過另一臺交叉后，修正了軸向的空間分辨率問題，因此可以大大提高空間分辨率.

圖1　成像與拍攝區(qū)域的對應(yīng)關(guān)系圖

Fig.1Correspondence relationship between imaging and capture area

圖2　雙目成像原理圖

關(guān)于2個攝像機(jī)的圖像拼接計(jì)算，可以根據(jù)四節(jié)點(diǎn)等參變換建立坐標(biāo)變換的插值函數(shù)：

(1)

(2)

其中形函數(shù)Ni表示：

(3)

式中Px，Py分別為任意一點(diǎn)的圖像水平和豎向像素坐標(biāo)，Nx、Ny為圖像水平和豎向分辨率，ξ1=-1,ξ2=1,ξ3=1,ξ4=-1，η1=-1,η2=-1,η3=1,η4=1.Xi，Yi分別為像素點(diǎn)Px，Py所對應(yīng)的實(shí)際的平面坐標(biāo).

根據(jù)上述方程將2個攝像機(jī)的圖像進(jìn)行交叉計(jì)算，即可得到高分辨的圖像.

2　雙目紅外熱成像定位算法

2.1目標(biāo)分離

熱紅外攝像機(jī)拍攝到的圖像中包含了海水、天空、陸地、船舶以及其他海面設(shè)施.海面的熱紅外圖像中既有因水面波濤引起的快速變化的雜波，又有因洋流變化而導(dǎo)致的緩變的不均勻溫變場，隨著時間的變化，呈現(xiàn)出復(fù)雜、多變的圖樣[7].

圖像處理的第一步就是將海水及天空背景從熱紅外圖像中去除，只留下礁石以及水面物體目標(biāo).系統(tǒng)中采用時間均值濾波算法(采用5幀)來消除快速變化的水面波紋，然后使用Retinex算法去除背景，最后通過邊緣提取以及封閉區(qū)域填充的算法將目標(biāo)從復(fù)雜的背景中提取出來[8-10].具體過程見圖3，(a)為原始熱紅外圖像，(b)為去除海水背景后的圖象，(c)是最后得到的目標(biāo)增強(qiáng)圖像.增強(qiáng)算法采用線性動態(tài)范圍調(diào)整方法，其灰度級窗內(nèi)g=255/(b-a)*(f-a)，其中f為圖像像素點(diǎn)值，a=50，b=160.圖中的亮塊就是本文要觀察的對象.

圖3　目標(biāo)分離過程

2.2海平面映射

根據(jù)每幅熱紅外圖像的拍攝參數(shù)，其中包括攝像機(jī)的安裝位置、安裝高度、拍攝時攝像機(jī)的方位角、俯仰角以及鏡頭焦距、CCD尺寸等，可將其點(diǎn)對點(diǎn)地映射到海平面上.

若用(u,v)來表示像平面上的坐標(biāo)，用(x,y)來表示海平面上的坐標(biāo)，則這2個坐標(biāo)系之間的映射關(guān)系為

(4)

(5)

其中,x0為熱紅外攝像機(jī)的安裝位置，H為熱紅外攝像機(jī)距海面的高度，f為鏡頭焦距，p為像素間隔，α為方位角，β為俯仰角.

假定熱紅外攝像機(jī)CCD的每一個像素上接收到的輻射是均勻的，并且像素與像素之間沒有縫隙，根據(jù)以上的映射關(guān)系就可以用熱紅外圖像填出一張海平面輻射圖來.對于同一塊觀測海域，有左右2個機(jī)位進(jìn)行重疊覆蓋.用左側(cè)攝像機(jī)向右側(cè)拍攝的熱紅外圖像填出一個圖層，再用右側(cè)攝像機(jī)向左側(cè)拍攝的熱紅外圖像填出一個圖層，然后將2個圖層疊加在一起，2個圖層中同時都光亮的區(qū)域就是水面物體或者礁石、小島的影像，同時也就將目標(biāo)物體的位置準(zhǔn)確地勾畫出來了.

以下是一組實(shí)際拍攝的熱紅外圖像，采用了2臺熱紅外攝像機(jī)拍攝，每臺攝像機(jī)以不同的方位角各拍攝2張圖片用于拼接，見圖4和圖5.圖中每一行的2張圖片是同一個位置上的攝像機(jī)以不同角度拍攝的，由于船舶運(yùn)行速度較慢，而2個攝像機(jī)拍攝間隔在1 ms以內(nèi)，因此，拍攝不同步對船舶運(yùn)行速度計(jì)算影響較小，故可以忽略，從上到下分別是攝像機(jī)1向右側(cè)拍攝、攝像機(jī)2向左側(cè)拍攝的畫面.

圖4　攝像機(jī)1以2個不同角度拍攝的畫面

Fig.4The picture taken from two different angles with camera 1

圖5　攝像機(jī)2以2個不同角度拍攝的畫面

Fig.5The picture taken from two different angles with camera 2

經(jīng)過圖像增強(qiáng)及目標(biāo)分離算法后的圖像，見圖6和圖7.

圖6　攝像機(jī)1分離結(jié)果

圖7　攝像機(jī)2分離結(jié)果

根據(jù)上述理論，將攝像機(jī)1和2分離圖像進(jìn)行交叉計(jì)算，交叉計(jì)算后得到海面物體定位圖，見圖8，該圖像的分辨率較之前有了明顯的提高.圖8中從左向右依次是圖6和圖7交叉重構(gòu)而成.圖8中上方的白色長條與圖6和圖7中的白色長條相對應(yīng)，由于圖6和圖7是掠射圖，轉(zhuǎn)換成平面圖以后更加清晰.圖7右側(cè)圖片的黑色部分與圖8中最右側(cè)黑色部分相對應(yīng).

圖8　高分辨率海面物體定位圖

若海面大圖中每個像素代表2 m×2 m的面積，則每個圖塊目標(biāo)的大小、中心坐標(biāo)等參數(shù)很容易就能計(jì)算出來.

2.3船舶目標(biāo)的識別

從熱紅外圖像中找到的目標(biāo)不僅僅是船舶，還包括礁石、小島以及海上設(shè)施等，而真正會對橋墩構(gòu)成威脅的是那些移動中的船舶，因此,還要通過相關(guān)算法來確定船舶目標(biāo).

基本算法如下：

(1)掃描每一幅海面大圖，從中發(fā)現(xiàn)所有獨(dú)立亮塊，建立參數(shù)表；

(2)剔除面積過大或過小的亮快；

(3)對相鄰的亮塊進(jìn)行合并；

(4)與前一個周期的亮塊數(shù)據(jù)進(jìn)行對比，找出前后有關(guān)聯(lián)的目標(biāo)；

(5)如果目標(biāo)出現(xiàn)有規(guī)律的移動則判斷為船；

(6)根據(jù)2次以上的移動可計(jì)算出航向和航速；

(7)根據(jù)亮塊覆蓋的像素?cái)?shù)可判斷船的大小.

3　結(jié)　論

本文提出了雙目紅外熱成像定位算法，通過對圖像分離、海平面映射以及船舶識別得到了目標(biāo)圖像的高精度定位，彌補(bǔ)了紅外熱成像攝像機(jī)分辨率低的缺陷.通過在實(shí)際工程中的應(yīng)用，證明該方法具有穩(wěn)定性和有效性.

[1]BARAZZETTI L, SCAIONI M. Crack measurement: Development, testing and applications of an automatic image-based algorithm[J]. J Photogramm Remote Sensing, 2009, 64(3):285-296.

[2]TRINDER J C, JANSA J, HUANG Y. An assessment of the precision and accuracy of methods of digital target location[J]. J Photogramm Remote Sensing, 1995, 50(2):12-20.

[3]NISHIDA S, KAWAMOTO S, OKAWA Y, et al. Space debris removal system using a small satellite[J]. Acta Astronaut, 2009, 65(1): 95-102.

[4]LAURIN D G, BERALDIN J A, BLAIS F, et al. Three dimensional tracking and imaging laser scanner for space operations[C]. Aero Sense, 1999: 278-289.

[5]JIANG R, JAUREGUI D V. Development of a digital close-range photogrammetric bridge deflection measurement system[J]. Measurement, 2010, 43(10):1431-1438.

[6]ZEYNEP F A, JOANN B. Photogrammetric measurement of RC Bridge Column deformations[J]. Eng Struct, 2011, 33(8): 2407-2415.

[7]BLEYER M, GELAUTZ M. A layered stereo matching algorithm using image segmentation and global visibility constrains[J]. J Photogramm Remote Sensing, 2005, 59: 128-150.

[8]于起峰，尚洋. 攝像測量學(xué)原理與應(yīng)用研究[M].北京:科學(xué)出版社, 2009.

YU Q F, SHANG Y. Videometrics: Principles and researches[M].Beijing:Science Prsss, 2009.

[9]ZIA-UR R, DANIEL J J, GLENN A W. Retinex processing for automatic image enhancement[J]. J Electron Imaging, 2004, 13(1): 100-110.

[10]TANG L, CHEN S, LIU W, et al. Improved retinex image enhancement algorithm[J]. Procedia Environ Sci, 2011, 11(Part A):208-212.

【責(zé)任編輯： 孫向榮】

Study and application of the binocular infrared crosswise thermal imaging localization technology

HUAN Shi， TAO Wei-jun， XU Chong

(Civil Engineering Protection Research Center, Guangzhou University, Guangzhou 510006, China)

This essay presented cross imaging algorithm based on digital image technology and the image resolution was improved by crossing calculation of images captured by two thermal infrared imaging cameras. The ship at sea works as a target object. By separating the images, sea level mapping, and ship identification, high precision positioning of the target object can be achieved. Its accuracy of measurement appropriately satisfies the needs of projects. Thermal infrared images with high precision play important roles in project monitoring and measurement. This also expands the application of infrared thermal imaging technology in actual project monitoring and measurement.

thermal imaging; cross imaging; digital image processing

2016-05-09;

2016-05-28

國家自然科學(xué)基金資助項(xiàng)目(10872101)；福建省交通廳科研資助項(xiàng)目(201118)；浙江省科技廳科研資助項(xiàng)目(2009C13008)

浣石(1954-)，男，研究員，博士.E-mail: huanshi@gzhu.edu.cn

1671- 4229(2016)04-0039-04

U 644

A