基于雙目立體視覺技術(shù)的信號(hào)彈高度測量方法研究

路曉冬， 王明泉， 郝利華， 丁 杰

(中北大學(xué) 信息與通信工程學(xué)院， 山西 太原 030051)

基于雙目立體視覺技術(shù)的信號(hào)彈高度測量方法研究

路曉冬， 王明泉， 郝利華， 丁 杰

(中北大學(xué) 信息與通信工程學(xué)院， 山西 太原 030051)

為了測量信號(hào)彈飛行高度， 本文提出了一種基于雙目立體視覺技術(shù)的信號(hào)彈高度測量方法. 首先研究了雙目立體相機(jī)的標(biāo)定過程， 然后對左右相機(jī)圖像進(jìn)行立體校正和圖像預(yù)處理， 最后通過基于特征的圖像匹配方法來獲取左右相機(jī)圖像中目標(biāo)點(diǎn)的視差， 進(jìn)而計(jì)算出信號(hào)彈的高度信息， 實(shí)現(xiàn)對信號(hào)彈飛行高度的快速準(zhǔn)確測量. 結(jié)果表明： 該方法可以較為準(zhǔn)確地測量出信號(hào)彈飛行高度， 滿足廠家需求， 且具有操作簡單、 使用靈活、 成本低廉等優(yōu)點(diǎn).

圖像處理； 雙目立體視覺技術(shù)； 高度測量； 相機(jī)標(biāo)定； 立體匹配

0 引 言

信號(hào)彈是利用其產(chǎn)生的煙、 光或聲信號(hào)來完成定位、 識(shí)別、 聯(lián)絡(luò)、 指揮、 報(bào)警等任務(wù)的一類特色彈藥， 具有簡便、 直觀、 不受干擾、 保密性強(qiáng)等優(yōu)點(diǎn)， 在軍事領(lǐng)域和民用領(lǐng)域有著廣泛的應(yīng)用[1]. 如何對信號(hào)彈發(fā)射高度進(jìn)行測量， 從而來指導(dǎo)產(chǎn)品的生產(chǎn)、 工藝改進(jìn)以及安全使用， 是信號(hào)彈生產(chǎn)廠家和相關(guān)使用單位非常關(guān)心的問題[2]. 目前已知的幾種國內(nèi)外信號(hào)彈高度測量方法如測高儀測定法、 激光電測法、 傳統(tǒng)交會(huì)法等都存在高度測量范圍小、 精度低、 操作復(fù)雜等缺點(diǎn)[3]. 本文采用的基于雙目立體視覺技術(shù)的信號(hào)彈高度測量方法， 主要是用兩臺(tái)CCD相機(jī)模仿人的雙眼， 通過獲取左右相機(jī)圖像中目標(biāo)的視差， 進(jìn)而來計(jì)算出目標(biāo)的三維信息[4].

1 數(shù)學(xué)模型

1.1 信號(hào)彈高度測量系統(tǒng)

圖 1 信號(hào)彈高度測量系統(tǒng)Fig.1 Flare height measurement system

基于雙目立體視覺技術(shù)的測量系統(tǒng)原理如圖 1 所示， 其中包括采集信號(hào)彈飛行圖像的兩臺(tái)相同的CCD相機(jī)、 控制兩相機(jī)同時(shí)開始采集圖像的同步控制電路、 將視頻信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)的圖像采集卡和處理圖像、 進(jìn)行三維重建的計(jì)算機(jī). 當(dāng)信號(hào)彈飛行到一定高度發(fā)生爆炸， 開始燃燒發(fā)光時(shí)， 同步控制電路利用聲傳感器提供觸發(fā)信號(hào)， 保證兩臺(tái)CCD相機(jī)同時(shí)開始進(jìn)行圖像采集， 數(shù)字圖像采集卡將左右相機(jī)圖像保存并傳輸?shù)接?jì)算機(jī)終端， 對采集到的左右相機(jī)圖像進(jìn)行立體校正， 將相機(jī)在數(shù)學(xué)上對準(zhǔn)到同一個(gè)觀察平面上， 使相機(jī)之間的像素行嚴(yán)格地互相對準(zhǔn)； 對校正后的圖像進(jìn)行二值化預(yù)處理以去除圖像中的噪聲； 對圖像進(jìn)行立體匹配來獲得信號(hào)彈在左右相機(jī)圖像中的視差； 利用得到的視差值來計(jì)算圖像中信號(hào)彈的深度信息， 即信號(hào)彈的高度值； 最后在計(jì)算機(jī)上自動(dòng)顯示出信號(hào)彈的飛行高度.

1.2 雙目立體視覺技術(shù)數(shù)學(xué)模型

圖 2 理想雙目立體視覺技術(shù)數(shù)學(xué)模型Fig.2 Mathematical model of ideal binocular stereo vision technology

式中：f為相機(jī)焦距；T為基線；d為視差.

但在實(shí)際實(shí)驗(yàn)中， 兩相機(jī)幾乎不可能像圖2中那樣嚴(yán)格平行對準(zhǔn)， 故需要通過數(shù)學(xué)方法計(jì)算出投影圖和畸變圖， 從而將左右圖像校正為前向平行對準(zhǔn). 圖 3 為實(shí)際中兩相機(jī)的數(shù)學(xué)模型圖， 設(shè)左攝像機(jī)的攝像機(jī)坐標(biāo)系Ow-XwYwZw與世界坐標(biāo)系O-xyz重合， 原點(diǎn)位于左攝像機(jī)的光心處， 圖像坐標(biāo)系為O1-XlYl， 焦距為fl； 右攝像機(jī)的攝像機(jī)坐標(biāo)系為Or-XrYrZr， 圖像坐標(biāo)系為Or-XrYr， 焦距為fr.

坐標(biāo)系O-xyz和坐標(biāo)系Or-XrYrZr之間的相互位置可以通過空間轉(zhuǎn)換矩陣M表示為

圖 3 雙目立體視覺技術(shù)數(shù)學(xué)模型Fig.3 Mathematical model of binocular stereo vision technology

2 關(guān)鍵技術(shù)

本文所提出的關(guān)鍵技術(shù)主要有： 相機(jī)標(biāo)定[7]、 圖像立體校正[8]、 圖像預(yù)處理[9]與圖像匹配[10].

2.1 相機(jī)標(biāo)定

相機(jī)標(biāo)定的目的就是確定相機(jī)位置、 屬性參數(shù)和建立成像幾何模型， 以便確定空間坐標(biāo)系中目標(biāo)點(diǎn)與它在圖像平面上像點(diǎn)之間的對應(yīng)關(guān)系. 本文針對靶場環(huán)境下信號(hào)彈測高實(shí)驗(yàn)， 采用具有操作簡單、 靈活且高精度的張正友標(biāo)定方法. 此方法只需要相機(jī)拍攝一個(gè)已知尺寸的棋盤格平面在3個(gè)以上不同方位的圖像， 為保證標(biāo)定精度， 一般采集10組以上不同方位的圖像， 標(biāo)定過程中， 相機(jī)和標(biāo)定板可以自由移動(dòng)， 操作十分簡單. 張氏標(biāo)定方法的基本步驟如下：

1) 制作1塊國際象棋棋盤格圖像的剛性平面標(biāo)定板， 并測量每個(gè)方塊的邊長；

2) 從不同角度拍攝12對標(biāo)定板圖像；

3) 檢測每幅圖像中的特征點(diǎn)， 并確定特征點(diǎn)的圖像坐標(biāo)；

4) 利用線性模型計(jì)算出相機(jī)的內(nèi)部參數(shù)和外部參數(shù)；

5) 利用畸變模型的系數(shù)對相機(jī)內(nèi)外參數(shù)進(jìn)行優(yōu)化.

2.2 圖像立體校正

當(dāng)兩個(gè)像平面是完全平行且行對準(zhǔn)時(shí)， 計(jì)算立體視差最為簡單. 但由于兩臺(tái)相機(jī)幾乎不可能有準(zhǔn)確的共面和行對準(zhǔn)的成像平面， 故需要對兩臺(tái)相機(jī)的圖像平面進(jìn)行重投影， 使得它們精確地落在同一個(gè)平面上， 而且圖像的行完全地對準(zhǔn)到前向平行的結(jié)構(gòu)上， 這就是立體校正. 根據(jù)標(biāo)定結(jié)果， 采用Bouguet算法進(jìn)行標(biāo)定立體校正. 根據(jù)屏幕坐標(biāo)和相機(jī)內(nèi)外參數(shù)， 二維點(diǎn)可以重投影到三維中， 重投影矩陣為

2.3 圖像預(yù)處理

在圖像的拍攝過程中， 由于各種原因(主要是天氣)造成圖像中含有噪聲， 甚至偽目標(biāo)， 為了改善圖像效果， 使圖像中目標(biāo)點(diǎn)位置更加清晰明確， 從而方便下一步特征提取和立體匹配， 對圖像進(jìn)行預(yù)處理來消除這些不利于圖像清晰度的噪聲因素. 本文針對實(shí)驗(yàn)圖像噪聲單一、 目標(biāo)與背景灰度差距明顯等特點(diǎn)， 采用二值化方法來對圖像進(jìn)行預(yù)處理， 取得了很好的預(yù)處理效果.

2.4 圖像匹配

由于在整個(gè)實(shí)驗(yàn)過程中， 圖像立體匹配在整個(gè)測量過程中耗時(shí)最多， 匹配質(zhì)量對計(jì)算結(jié)果有直接的影響.

圖 4 改進(jìn)FSAT角點(diǎn)提取算法Fig.4 Improved FSAT corner extraction algorithm

首先， 為了保證匹配速度， 采用改進(jìn)FAST角點(diǎn)提取算法來對目標(biāo)點(diǎn)進(jìn)行特征提取. 由于預(yù)處理后目標(biāo)點(diǎn)灰度值與背景相差較大， 故改進(jìn)后具體做法為：

1) 選擇圖片中的一個(gè)像素點(diǎn)I， 并設(shè)定閾值p；

2) 僅選取像素點(diǎn)I上下左右4個(gè)像素點(diǎn)Ii,i=1,2,3,4， 如圖 4 所示， 計(jì)算Ii與中心點(diǎn)I的像素差的絕對值

3)統(tǒng)計(jì)符合di>p的像素個(gè)數(shù)n， 若n≥2， 則該像素點(diǎn)I就可判斷為角點(diǎn).

根據(jù)實(shí)際生活經(jīng)驗(yàn)， 對于目標(biāo)點(diǎn)為一光斑， 光斑的中心點(diǎn)應(yīng)為發(fā)光體實(shí)際位置， 所以本文用光斑的所有角點(diǎn)的坐標(biāo)平均值來表示信號(hào)彈的位置， 即對左右圖像中目標(biāo)點(diǎn)進(jìn)行匹配.

3 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)設(shè)備選擇使用point gray相機(jī)公司的兩臺(tái)BFLY-U3-13S2M-CS高分辨率CCD工業(yè)相機(jī)， 該相機(jī)分辨率為1 288*964， 最大幀率為30 FPS， 傳感器為SonyICX445, CCD, 1/3″； 鏡頭選用日本Computar公司生產(chǎn)的的超低畸變鏡頭FV0420， 該鏡頭焦距4 mm， 視場角為59.96°×75.14°.

拍攝過程中將兩相機(jī)垂直水平面放置， 圖 5 所示為信號(hào)彈飛行姿態(tài)第110幀左右相機(jī)拍攝得到的圖像.

圖 5 飛行圖像Fig.5 Flight image

對圖5左右圖像分別進(jìn)行立體校正， 結(jié)果如圖 6 所示.

圖 6 立體校正結(jié)果Fig.6 Stereo calibration results

對立體校正后的圖像進(jìn)行二值化處理， 消除圖像中的噪聲， 達(dá)到增強(qiáng)目標(biāo)信息的目的， 結(jié)果如圖 7 所示.

對二值化預(yù)處理后的結(jié)果進(jìn)行基于特征的立體匹配， 結(jié)果如圖 8 所示.

圖 8 立體匹配結(jié)果(放大8倍)Fig.8 Stereo matching results(×8)

通過立體匹配和三維坐標(biāo)計(jì)算， 得到目標(biāo)點(diǎn)的高度結(jié)果如表 1 所示.

表 1 信號(hào)彈飛行高度測量結(jié)果

從表 1 可以看出， 本方法測量結(jié)果與人工測量結(jié)果誤差在20 m以內(nèi)， 且每發(fā)信號(hào)彈的整個(gè)飛行過程高度測量時(shí)間在1 min左右， 完全符合廠家測量要求.

選取序號(hào)1信號(hào)彈， 對其整個(gè)過程飛行過程每10幀取一組圖像進(jìn)行高度計(jì)算， 結(jié)果如表 2 和圖 9 所示.

表 2 序號(hào)1信號(hào)彈全過程飛行高度計(jì)算結(jié)果

圖 9 序號(hào)1信號(hào)彈飛行高度值變化過程Fig.9 The change process of flight height value of signal 1

觀察圖 9， 進(jìn)一步驗(yàn)證了本方法可以真實(shí)可靠地測出信號(hào)彈整個(gè)飛行過程. 整個(gè)飛行過程中， 高度值存在一定幅度的波動(dòng)是由于任一時(shí)刻信號(hào)彈發(fā)光狀態(tài)不一致， 對匹配結(jié)果導(dǎo)致影響， 從而造成一定的誤差.

4 結(jié) 論

本文提出了一種基于雙目立體視覺技術(shù)的信號(hào)彈高度測量方法， 通過雙目立體標(biāo)定、 立體校正、 立體匹配技術(shù)來實(shí)現(xiàn)對信號(hào)彈高度的實(shí)時(shí)測量. 實(shí)驗(yàn)結(jié)果顯示， 本方法的測量結(jié)果較為真實(shí)可靠， 可以準(zhǔn)確快速地對信號(hào)彈飛行高度進(jìn)行測量、 總結(jié)， 從而用于幫助廠家指導(dǎo)產(chǎn)品的生產(chǎn)、 工藝改進(jìn)以及安全使用， 具有很強(qiáng)的現(xiàn)實(shí)意義.

[1] 馬政， 王明泉， 李士林， 等. 基于聲光特性的煙花爆炸高度測量方法[J]. 測控技術(shù)， 2011， 30(4)： 30-33.

Ma Zheng， Wang Mingquan， Li Shilin， et al. Research on method of explosion height measurement for fireworks based on characteristics of sound and light[J]. Measurement and Control Technology， 2011， 30(4)： 30-33. (in Chinese)

[2] Xue Yingjuan， Hao Lihua. Measurement method for cluster warhead’s Dispersion area based on binocular stereo vision technique[J]. Journal of Measurement Science and Instrumentation， 2016， 7(2)： 123-128.

[3] 李士林， 王明泉， 侯慧玲. 基于信號(hào)彈高度測量方法[J]. 電子測試， 2012(2)： 5-7.

Li Shilin， Wang Mingquan， Hou Huiling. Height measurement technology and system for The signal flare basedon the characteristics of sound and light[J]. Electronic Test， 2012(2)： 5-7. (in Chinese)

[4] 張磊磊， 雷樹峰， 馮巧玲， 等. 信號(hào)彈高度測試技術(shù)[J]. 光電技術(shù)應(yīng)用， 2011， 26(3)： 74-77.

Zhang Leilei， Lei Shufeng， Feng Qiaoling， et al. Height measurement of signal flare[J]. Electro-Optic Technology Application， 2011， 26(3)： 74-77. (in Chinese)

[5] Andrea F， Emanuele T， Alessandro V. A compact algorithm for rectification of stereo pairs[J]. Machine Vision and Applications， 2000， (12)： 16-22.

[6] 吳慎將. 煙花炸點(diǎn)高度測量方法研究[D]. 西安： 西安工業(yè)大學(xué)， 2006.

[7] 唐曉輝， 楊雙， 鄧?yán)? 雙目立體視覺技術(shù)研究[J]. 軍民兩用技術(shù)與產(chǎn)品， 2016(6)： 33-34.

Tang Xiaohui， Yang Shuang， Deng Li. Research on binocular stereo vision technology[J]. Dual Use Technologies & Products， 2016(6)： 33-34. (in Chinese)

[8] 馬肖， 舒博倫， 李景春. 雙目立體視覺測距技術(shù)[J]. 電子設(shè)計(jì)工程， 2016(4)： 81-83.

Ma Xiao， Shu Bolun， Li Jingchun. Binocular stereo range-measuring technology[J]. Electronic Design Engineering， 2016(4)： 81- 83. (in Chinese)

[9] 孫瑞軒， 董浩， 肖磊， 等. 基于雙目立體視覺技術(shù)的運(yùn)動(dòng)物體空間位置信息測量方法研究[J]. 河北工業(yè)科技， 2017(1)： 30-35.

Sun Ruixuan， Dong Hao， Xiao Lei， et al. Research on the method of measuring the spatial position information of moving objects based on binocular stereo vision[J]. Hebei Journal of Industrial Science and Technology， 2017(1)： 30-35. (in Chinese)

[10] 王德海， 洪偉， 程群哲. 基于雙目立體視覺的目標(biāo)識(shí)別與定位[J]. 吉林大學(xué)學(xué)報(bào)(信息科學(xué)版)， 2016， 34(2)： 289-295.

Wang Dehai， Hong Wei， Cheng Qunzhe. Object recognition and localization based on binocular stereo vision[J]. Journal of Jilin University (Information Science Edition)， 2016， 34(2)： 289-295. (in Chinese)

[11] Lee J， Lee E， Tark H， et al. Efficient height measurement method of surveillance camera image. [J]. Forensic Science International， 2007， 177(1)： 17-23.

MeasurementMethodfortheHeightofSignalFlareBasedonBinocularStereoVisionTechnique

LU Xiaodong, WANG Mingquan, HAO Lihua, DING Jie

(School of Information and Communication Engineering, North University of China, Taiyuan 030051, China)

In order to measure the height of signal flare, the paper proposes a measurement method of measuring the height of the signal flare based on binocular stereo vision technique. Firstly, we researched the calibration process of binocular stereo camera. Stereo correction and image preprocessing were used on the left and right camera images. Finally, we got the parallax of the target point in the left and right camera images based on the feature matching method. The height information of the signal flare which realize the fast and accurate measurement of the flying height are calculated. The results show that the method can accurately measure the flare flight altitude, and can meet the needs of the manufacturers. What's more, the method the advantages of simple operation, flexible use and low cost.

image processing; binocular stereo vision technique; height measurement; camera calibration; stereo matching

1671-7449(2017)06-0505-07

2017-01-22

國家自然基金資助項(xiàng)目(61171177)； 國家重大科學(xué)儀器設(shè)備開發(fā)專項(xiàng)資助項(xiàng)目(2013YQ240803)； 山西省中青年拔尖人才資助項(xiàng)目； 山西省研究生教育創(chuàng)新資助項(xiàng)目

路曉冬(1993-)， 男， 碩士生， 主要從事圖像處理、 機(jī)器視覺等方面的研究.

TJ303.4

A

10.3969/j.issn.1671-7449.2017.06.007