基于紅外與可見光圖像火災(zāi)定位研究?

段琳鋒 侯新國(guó)

（海軍工程大學(xué)電氣工程學(xué)院 武漢 430033）

1 引言

隨著我國(guó)不斷發(fā)展壯大，艦船的噸位與數(shù)量也在不斷擴(kuò)大，各類大噸位艦船越來越多，大空間艦船的消防安全研究成重點(diǎn)［1］。火災(zāi)定位是火災(zāi)探測(cè)到火災(zāi)自動(dòng)撲救的重要環(huán)節(jié)，能給火災(zāi)的快速精準(zhǔn)撲救提供位置信息。單一攝像機(jī)獲取圖像信息不完善，火災(zāi)探測(cè)受干擾較大，而可見光圖像具有豐富細(xì)節(jié)特征和顏色信息，但易受光照和環(huán)境的影響；紅外圖像能夠呈現(xiàn)火災(zāi)的熱效應(yīng)，受光照影響小，但其分辨率低，利用兩種圖像的互補(bǔ)性能實(shí)現(xiàn)更有效的火災(zāi)檢測(cè)，因此，研究紅外與可見光圖像的火災(zāi)定位具有重要意義?；馂?zāi)定位是利用雙目視覺定位技術(shù)計(jì)算火災(zāi)三維空間坐標(biāo)的過程。雙目立體視覺技術(shù)是一種模仿人類視覺系統(tǒng)感知距離的方法，廣泛用于火災(zāi)定位、運(yùn)動(dòng)檢測(cè)等方面［2］。

在雙目視覺定位研究中攝像機(jī)標(biāo)定占有重要地位，攝像機(jī)標(biāo)定是依據(jù)攝像機(jī)的成像模型，確定空間三維點(diǎn)與圖像二維點(diǎn)之間對(duì)應(yīng)關(guān)系的參數(shù)模型［3～4］，即求解攝像機(jī)內(nèi)外參數(shù)的過程。紅外攝像機(jī)與可見光攝像機(jī)的成像原理不同，紅外圖像主要反映的是物體溫度的差異和紅外輻射度［5～6］，傳統(tǒng)的可見光攝像機(jī)標(biāo)定方法難以直接適用于紅外攝像機(jī)標(biāo)定，能同時(shí)標(biāo)定紅外攝像機(jī)與可見光攝像機(jī)的方法并不多。目前，大都研究是基于兩個(gè)可見光攝像機(jī)來進(jìn)行火災(zāi)定位，而對(duì)于紅外與可見光異源攝像機(jī)的火災(zāi)定位研究較少。因此，對(duì)紅外攝像機(jī)與可見光攝像機(jī)標(biāo)定技術(shù)進(jìn)行研究，并利用紅外攝像機(jī)與可見光攝像機(jī)進(jìn)行火災(zāi)定位具有重要意義。

本文根據(jù)紅外攝像機(jī)與可見光攝像機(jī)的成像特點(diǎn)，設(shè)計(jì)了能同時(shí)標(biāo)定這兩類攝像機(jī)的標(biāo)定板，并進(jìn)行了異源攝像機(jī)標(biāo)定，最后依據(jù)標(biāo)定的參數(shù)進(jìn)行了火災(zāi)定位實(shí)驗(yàn)。

2 標(biāo)定板設(shè)計(jì)

一般情況下，使用尺寸和形狀大小已知的標(biāo)定板進(jìn)行攝像機(jī)標(biāo)定［7］。常用打印的黑白相間棋盤格作為標(biāo)定板雖然顏色不同，但在常溫下黑白格之間溫度差異不大，在紅外攝像頭中沒有區(qū)分度，不能形成對(duì)比度較高的標(biāo)定圖像，因此需要設(shè)計(jì)一種同時(shí)能夠標(biāo)定紅外攝像機(jī)與可見光攝像機(jī)的標(biāo)定板。部分研究者也對(duì)此進(jìn)行了研究，如文獻(xiàn)［8］利用透明導(dǎo)熱的玻璃制作黑白相間的棋盤格，并在黑色格子涂上隔熱材料，再將標(biāo)定板放溫箱中均勻加熱后，紅外攝像機(jī)與可見光攝像機(jī)都能識(shí)別出標(biāo)定板的棋盤格。此方法對(duì)加熱板的加熱溫度要求較高，溫度過高過低都會(huì)使得紅外圖像的對(duì)比度不高。文獻(xiàn)［9］則是在涂有隔熱材料的棋盤格后放一個(gè)發(fā)光板和一個(gè)發(fā)熱板，通過控制加熱時(shí)間去控制棋盤格標(biāo)定板的溫差。文獻(xiàn)［10］利用黑白分明的漫射棋盤格和溫控等裝置，再通過控制黑白角點(diǎn)處的溫度，采集黑白棋盤格表面的紅外圖像和可見光圖像。文獻(xiàn)［11］利用帕爾貼效應(yīng)，將帕爾貼板嵌在方形棋盤格后面，通過控制電流去控制帕爾貼板的溫度，在棋盤格的邊緣處產(chǎn)生明顯的溫度差，獲得標(biāo)定的圖像。這類標(biāo)定板制作工藝復(fù)雜，價(jià)格昂貴，不適合簡(jiǎn)單實(shí)用的紅外與可見光攝像頭標(biāo)定系統(tǒng)。

本文根據(jù)現(xiàn)有標(biāo)定板制作工藝復(fù)雜，制作成本高的問題，通過對(duì)紅外攝像機(jī)成像原理和現(xiàn)有的標(biāo)定方法的研究，制作了一種可以同時(shí)提取紅外圖像與可見光圖像的簡(jiǎn)單實(shí)用棋盤格標(biāo)定裝置，如圖1所示。該標(biāo)定板以尺寸為50mm×50mm的鋁制片為主要材料，將部分鋁制片貼上黑色隔熱膠帶，再將貼有隔熱膠帶的鋁制片和未貼隔熱膠帶的鋁制片交錯(cuò)排列在吸水板上；將吸水板用熱水浸濕，使貼有隔熱膠帶和未貼隔熱膠帶的鋁制片形成溫度差，從而保證標(biāo)定板在紅外攝像機(jī)和可見光攝像機(jī)下成像都清晰。

圖1 棋盤格標(biāo)定板

3 雙目視覺定位技術(shù)

3.1 攝像機(jī)成像模型

攝像機(jī)成像模型是指三維空間中的物體投影到二維像平面上的一個(gè)數(shù)學(xué)模型。常用的攝像機(jī)模型是針孔模型，即透視投影模型［12～13］。模型中涉及四個(gè)坐標(biāo)系之間的轉(zhuǎn)換：世界坐標(biāo)系(OWXWYWZW)、攝像機(jī)坐標(biāo)系(OCXCYCZC)、圖像平面坐標(biāo)系(oxy)和像素坐標(biāo)系(Ouvuv)?？臻g中的點(diǎn)在四個(gè)坐標(biāo)系中的轉(zhuǎn)換關(guān)系如圖2所示。

圖2 攝像機(jī)透射變換模型

設(shè)點(diǎn)P在世界坐標(biāo)系中的坐標(biāo)為(XW,YW,ZW)，在攝像機(jī)坐標(biāo)系中的坐標(biāo)為(XC,YC,ZC)，在圖像坐標(biāo)系中的坐標(biāo)為(x,y)，在像素平面坐標(biāo)系中的坐標(biāo)為(u,v)。各坐標(biāo)系轉(zhuǎn)換關(guān)系如下。

像素平面坐標(biāo)系與圖像坐標(biāo)系轉(zhuǎn)換關(guān)系：

其中(u0,v0)表示坐標(biāo)原點(diǎn)O在像素平面坐標(biāo)系中的坐標(biāo)值，dx和dy分別表示像素在圖象中x和 y方向上的實(shí)際物理值。

根據(jù)小孔成像原理，有：

得到圖像坐標(biāo)系到攝像機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系：

其中 f表示攝像機(jī)焦距，即表示攝像機(jī)坐標(biāo)系原點(diǎn)到像平面的距離。

攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換：

其中R表示旋轉(zhuǎn)矩陣，T表示平移矩陣。

由上可以得出像素平面坐標(biāo)系與世界坐標(biāo)系轉(zhuǎn)換關(guān)系：

其中M1為攝像機(jī)的內(nèi)參數(shù)矩陣，M2為攝像機(jī)外部參數(shù)矩陣。

3.2 雙目視覺定位原理

雙目視覺定位模型如圖3所示，空間中任意一點(diǎn)P在左右兩個(gè)攝像頭中的像素坐標(biāo)分別為(μ1,ν1)和 (μ2,ν2)，在左右攝像機(jī)坐標(biāo)系中的位置為(xc1,yc1,zc1)、(xc2,yc2,zc2)。在雙目定位應(yīng)用中，為了簡(jiǎn)化攝像機(jī)坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換，一般將左右攝像機(jī)坐標(biāo)系中的一個(gè)作為世界坐標(biāo)系。本文假設(shè)左邊攝像機(jī)坐標(biāo)系為世界坐標(biāo)系。假設(shè)兩個(gè)攝像頭的內(nèi)參數(shù)A1、A2以及兩個(gè)攝像頭的之間的旋轉(zhuǎn)矩陣R和平移矩陣T都是已知的。根據(jù)式（6）可得：

圖3 雙目視覺定位模型

由此，在知道兩個(gè)攝像機(jī)的內(nèi)外參數(shù)以及P點(diǎn)在兩個(gè)圖像中的像素坐標(biāo)以后，可以通過求解式（6）可以得到P點(diǎn)在左邊攝像機(jī)坐標(biāo)系下的位置(xc1,yc1,zc1)。

4 攝像機(jī)標(biāo)定

4.1 標(biāo)定圖像

該文對(duì)?？低暤臒岢上耠p譜網(wǎng)絡(luò)攝像頭進(jìn)行標(biāo)定，兩個(gè)攝像機(jī)水平放置，可見光攝像機(jī)在右，紅外攝像機(jī)在左，兩個(gè)攝像頭相距約10cm，紅外攝像機(jī)拍攝的圖像最大分辨率是1280×720，可見光攝像機(jī)拍攝的圖像分辨率是1280×720。利用熱成像雙譜網(wǎng)絡(luò)攝像頭采集20組不同角度、不同距離的棋盤格圖像為標(biāo)定圖像，圖4給出了其中1組紅外和可見光的棋盤格圖像。

圖4 采集到的棋盤格圖像

該文采用Matlab2017b中的Stereo CameraCali?brator模塊進(jìn)行攝像機(jī)標(biāo)定，使用的算法為張友正相機(jī)標(biāo)定法，該方法只需攝像機(jī)對(duì)標(biāo)定板進(jìn)行至少3個(gè)不同角度的測(cè)量，可以任意移動(dòng)攝像機(jī)和標(biāo)定板，且移動(dòng)方向不需要知道，該方法精度高，操作簡(jiǎn)單。

4.2 標(biāo)定過程與結(jié)果

首先將采集到的紅外與可見光圖像分別保存到不同文件夾中，在Matlab命令行輸入Stereo Cam?eraCalibrator調(diào)出標(biāo)定工具箱；然后點(diǎn)擊Add images添加保存紅外與可見光圖像所在的文件夾路徑以及標(biāo)定板的網(wǎng)格尺寸；開始標(biāo)定，標(biāo)定板上的角點(diǎn)會(huì)被自動(dòng)檢測(cè)，在標(biāo)定完成后得到重投影誤差圖（見圖5）和雙目攝像機(jī)外部參數(shù)可視化模型（見圖6），并導(dǎo)出攝像機(jī)的具體參數(shù)，如表1所示。由圖5可知，本文制作的標(biāo)定板以及標(biāo)定流程的重投影誤差為0.92像素，達(dá)到亞像素級(jí)別，標(biāo)定結(jié)果驗(yàn)證了本文制作的標(biāo)定板的準(zhǔn)確性和有效性。

表1 攝像機(jī)內(nèi)外參數(shù)

圖5 誤差柱狀圖

圖6 雙目攝像機(jī)外部參數(shù)可視化模型

5 火災(zāi)定位實(shí)驗(yàn)

為了驗(yàn)證紅外與可見光攝像機(jī)火災(zāi)定位方法的準(zhǔn)確性，在模擬艦船大空間試驗(yàn)基地進(jìn)行火災(zāi)定位實(shí)驗(yàn)。通過攝像頭對(duì)不同距離火焰圖像的采集，進(jìn)行視頻火災(zāi)定位分析。實(shí)驗(yàn)開始前，根據(jù)測(cè)距的需求確定具體點(diǎn)火位置，點(diǎn)火位置示意圖如圖7所示。在垂直距離分別為5m、10m、15m、20m、30m，水平距離分別為3m、6m、10m的位置采集火焰視頻。確定點(diǎn)火位置后，在地面上用卷尺測(cè)量出點(diǎn)火位置并做好標(biāo)記，并調(diào)整攝像頭底座平行于實(shí)驗(yàn)場(chǎng)地地面。

圖7 點(diǎn)火位置示意圖

在探測(cè)到火災(zāi)的基礎(chǔ)上，得到火災(zāi)在紅外圖像和可見光圖像中對(duì)應(yīng)的像素坐標(biāo)，將像素坐標(biāo)和攝像機(jī)內(nèi)外參數(shù)代入式（6），計(jì)算出點(diǎn)火位置與左攝像頭的距離，然后對(duì)比計(jì)算出來的結(jié)果與實(shí)際測(cè)量的距離，并計(jì)算絕對(duì)誤差與相對(duì)誤差，所得結(jié)果如表2所示。表中火焰實(shí)際坐標(biāo)是俯視坐標(biāo)系下的坐標(biāo)，火焰定位坐標(biāo)是對(duì)火焰圖像識(shí)別定位后的坐標(biāo)，實(shí)際距離為點(diǎn)火位置與攝像頭的水平距離，定位距離為通過雙目視覺定位的火焰位置與攝像頭的水平距離。將實(shí)際距離距離與定位距離求差值即為絕對(duì)誤差，再將絕對(duì)誤差比上實(shí)際距離即為相對(duì)誤差。

表2 火災(zāi)定位表

從火災(zāi)視頻定位結(jié)果可以看出，當(dāng)火焰離攝像頭的距離較近時(shí)，它的定位誤差較小，當(dāng)火焰離攝像頭的距離越遠(yuǎn)時(shí)，它的定位誤差就會(huì)越大。對(duì)誤差原因分析，其主要誤差來源如下：

1）火焰離攝像機(jī)越遠(yuǎn)時(shí)，在圖像中呈現(xiàn)的區(qū)域就越小，對(duì)于遠(yuǎn)距離物體，單位像素下空間距離變化較大，是誤差進(jìn)一步放大。

2）由于在加工過程中很難制造出理想中的攝像頭，總會(huì)存在誤差，導(dǎo)致攝像頭徑向畸變和切向畸變，使得生成的圖像與針孔成像的模型形成一定偏差。同時(shí)，標(biāo)定用的圖像是在近距離拍攝，對(duì)近距離火焰定位精度更高，遠(yuǎn)距離會(huì)產(chǎn)生較大的誤差。

3）用單個(gè)像素坐標(biāo)來代替火災(zāi)區(qū)域坐標(biāo)不太準(zhǔn)確，應(yīng)該用多個(gè)火災(zāi)區(qū)域的平均像素代替火災(zāi)區(qū)域。

6 結(jié)語(yǔ)

該文結(jié)合紅外與可見光的攝像機(jī)成像原理的不同，設(shè)計(jì)了簡(jiǎn)單實(shí)用的棋盤格標(biāo)定裝置，該裝置制作成本低，制作工藝簡(jiǎn)單，且本能同時(shí)標(biāo)定紅外攝像機(jī)和可見光攝像機(jī)。該文分析了雙目標(biāo)定原理，并采集20組標(biāo)定圖像，利用Matlab中的stereo CameraCalibrator工具箱進(jìn)行紅外與可見光攝像頭的標(biāo)定，標(biāo)定結(jié)果重投影誤差較小，達(dá)到亞像素級(jí)別。最后進(jìn)行了火災(zāi)定位實(shí)驗(yàn)，得出實(shí)驗(yàn)結(jié)果相對(duì)誤差在7%以內(nèi)，并對(duì)誤差原因進(jìn)行了分析。