基于雙目視覺的信號彈飛行高度軌跡測量

（中北大學(xué) 儀器科學(xué)與動態(tài)測試教育部重點實驗室，太原030051）

雙目立體視覺技術(shù)使用兩臺攝像機模擬人的雙眼對景物的感知，通過獲取目標(biāo)在兩臺攝像機圖像中的位置差異來計算目標(biāo)在三維場景中的位置信息，在工業(yè)自動化和生活中得到廣泛應(yīng)用[1]。

信號彈是一種用來傳遞信息或指示目標(biāo)的武器，其飛行高度是衡量其自身性能的重要指標(biāo)之一。傳統(tǒng)的信號彈飛行高度測量方法是由工人使用觀測儀對飛行高度進(jìn)行估計，這種測量方法精度低、主觀性強，對操作人員要求較高。文獻(xiàn)[2]采用了一種基于聲光特性的測量方法，通過比較信號彈達(dá)到理論最高點時的爆亮和爆響到達(dá)系統(tǒng)的時間差來測量信號彈的最大飛行高度。由于信號彈發(fā)出這種聲光信號的時刻是依據(jù)裝藥量推算得出，故這種方法測得結(jié)果與實際值存在一定誤差。目前國外對于信號彈飛行高度測量的研究較少。

信號彈在飛行過程中存在距離遠(yuǎn)、目標(biāo)小、空間運動范圍廣等特點，采用雙目立體視覺方法能夠快速、準(zhǔn)確地測量信號彈的飛行高度。本文針對信號彈性能參數(shù)測量需要，使用長基線雙目視覺系統(tǒng)對信號彈的飛行過程進(jìn)行記錄，對圖像序列使用背景減除法定位信號彈ROI 并從圖像中分割該區(qū)域，通過自適應(yīng)閾值的二值化方法從分割圖像中定位信號彈的像素坐標(biāo)，以此求取信號彈的飛行高度，繪制其發(fā)光過程中的高度軌跡并得出最大飛行高度值。經(jīng)實驗證明，系統(tǒng)測得的結(jié)果與人工觀測值基本一致，能夠較好地反映信號彈的實際飛行過程。系統(tǒng)運行速度快，自動化程度高，為信號彈測高問題提供了新的解決方案。

1 攝像機模型

1.1 坐標(biāo)變換

雙目立體視覺系統(tǒng)是通過數(shù)學(xué)和物理模型，使用坐標(biāo)變換的方式得到目標(biāo)在三維場景中的位置信息。在實際中常用的坐標(biāo)系有：

（1）像素坐標(biāo)系（u，v）

一般情況下，攝像機拍攝的數(shù)字圖像由像素構(gòu)成，像素坐標(biāo)系以圖像左上角像素為原點，像素坐標(biāo)表示該像素在圖像像素矩陣中的行數(shù)和列數(shù)。

（2）攝像機坐標(biāo)系（Xc，Yc，Zc）

攝像機坐標(biāo)系一般選取攝像機鏡頭光心為坐標(biāo)系原點，X軸和Y軸分別平行于像素坐標(biāo)系中的x軸和y軸，正方向同攝像機光軸，Z軸垂直于像平面與X軸和Y軸交于原點。

（3）世界坐標(biāo)系（Xw，Yw，Zw）

世界坐標(biāo)系原點可以根據(jù)需要任意選取，世界空間內(nèi)任意一點在世界坐標(biāo)系中都應(yīng)有唯一對應(yīng)的一組坐標(biāo)值。

式（1）定義了三維世界空間中任意一點同攝像機所拍攝圖像上的點間的變換關(guān)系[3]。經(jīng)過攝像機標(biāo)定可得出攝像機內(nèi)外參數(shù)，帶入式中即可求取世界中任意一點在圖像中的像素坐標(biāo)。

式中：fx和fy分別為單個像素點在x軸和y軸方向上的歸一化焦距。由此可得三維世界空間中任意一點的世界坐標(biāo)轉(zhuǎn)化為像素坐標(biāo)的流程，如圖1所示。

圖1 坐標(biāo)轉(zhuǎn)換流程Fig.1 Coordinate transforms

1.2 雙目測距原理

理想的雙目測距模型中左右攝像機的光軸絕對平行，距離一定，兩攝像機的焦距f 相等，像平面處在同一平面。理想的雙目測距模型如圖2所示。

圖2 雙目視覺模型Fig.2 Model of binocular vision

兩攝像機光心之間的距離稱為雙目視覺系統(tǒng)的基線T。在理想模型中，目標(biāo)P 在左右攝像機像平面的投影點橫坐標(biāo)分別為xl和xr，由幾何原理可以推導(dǎo)出目標(biāo)P 與系統(tǒng)間的距離Z，計算方法如式（2）所示：

2 系統(tǒng)標(biāo)定與圖像校正

2.1 系統(tǒng)標(biāo)定

建立準(zhǔn)確的目標(biāo)點與成像點間的對應(yīng)關(guān)系是確保測量精度的重要環(huán)節(jié)[4]。攝像機和鏡頭會在生產(chǎn)裝配過程中產(chǎn)生誤差，導(dǎo)致在實際成像中成像模型產(chǎn)生非線性畸變。系統(tǒng)單目標(biāo)定的目的是求取攝像機的內(nèi)參數(shù)矩陣與畸變向量。張正友標(biāo)定法[5]在標(biāo)定過程中使用標(biāo)定板平面上的點作為世界坐標(biāo)系，使得所有點坐標(biāo)值的Zw均為0，由攝像機成像模型可得式（3）：

式中：s為尺度因子；A為攝像機的內(nèi)參數(shù)矩陣；H為單應(yīng)性矩陣，由攝像機內(nèi)外參數(shù)構(gòu)成。由此可求解雙目視覺系統(tǒng)的內(nèi)外參數(shù)。

由于長基線雙目視覺系統(tǒng)兩攝像機距離較遠(yuǎn)，攝像機近距離共同視野較小，其外參數(shù)標(biāo)定中若繼續(xù)使用棋盤格標(biāo)定板，則會出現(xiàn)標(biāo)定板在左右攝像機圖像中所占面積過小的問題，導(dǎo)致外參數(shù)標(biāo)定誤差偏大。本實驗中系統(tǒng)的外參數(shù)標(biāo)定使用由黑色圓球搭建的標(biāo)定物為參照完成。

圖3 外參數(shù)標(biāo)定物Fig.3 External parameter calibration items

在標(biāo)定物中，以左上角位置圓球質(zhì)心作為世界坐標(biāo)系原點，使用左右攝像機同時拍攝的標(biāo)定物圖像獲取對應(yīng)點的像素坐標(biāo)，將其帶入攝像機數(shù)學(xué)模型可得式（4）：

2.2 圖像校正

在理想雙目測距模型中兩攝像機像平面平行，垂直光軸同像平面平行，但現(xiàn)實中不存在絕對平行[6]，圖像校正的目的就是將左右攝像機的成像在消除畸變的基礎(chǔ)上，使圖像的對極線映射至同一水平線上。

圖像校正需要由標(biāo)定獲取的外參數(shù)來進(jìn)行，其基本過程如下：

（1）將圖像的像素坐標(biāo)系下的坐標(biāo)變換至攝像機坐標(biāo)下；

（2）通過旋轉(zhuǎn)矩陣R 對坐標(biāo)進(jìn)行平行極線校正；

（3）通過畸變參數(shù)校正攝像機坐標(biāo)；

（4）將校正后的攝像機坐標(biāo)變換回像素坐標(biāo)系下。

通過以上操作，能夠得到處在同一平面，理想的行對準(zhǔn)圖像。

3 目標(biāo)分割與定位

3.1 圖像分割

信號彈的飛行過程具有活動空間廣、運動速度快的特點，反映在圖像序列中即目標(biāo)的像素坐標(biāo)值變化快，且連續(xù)幀間關(guān)鍵點距離變化較小，圖像相對背景單一固定。

背景減除算法（BS）是一種識別圖像序列中運動目標(biāo)的方法[7]，其原理是對相鄰幀圖像做出差分和二值化處理，再使用形態(tài)學(xué)膨脹處理來識別運動區(qū)域輪廓。由于信號彈飛行時會在圖像中留下煙霧，煙霧在圖像中不僅所占面積遠(yuǎn)大于信號彈目標(biāo)，且會被信號彈照亮，影響算法識別效果，針對信號彈目標(biāo)識別，本文對這種方法做出了一定修改。

首先依次讀取圖像序列，對于首張圖像直接使用其作為輸入背景（Background），將序列圖像與其相鄰幀（Frame）圖像進(jìn)行差分運算，獲取包含場景中運動目標(biāo)的差分圖（Different map），據(jù)此對圖像中所有像素點進(jìn)行分類，其次使用相鄰幀的分類信息補充背景信息。

信號彈飛行圖像序列中的像素點x（u，v）只有兩種分類情況，在背景（BG）上或運動目標(biāo)（FG）上。首先使用相鄰幀圖像差分的絕對值來計算圖像中像素點灰度值的變化量。定義一個閾值C，當(dāng)?shù)趖 幀圖像中像素點xt（u，v）的灰度值變化量ΔP 小于C時，將該點分類至背景，當(dāng)ΔP 大于等于C時，則綜合相鄰幀分類情況加權(quán)計算其概率分布以確定其分類，其屬于背景分類的概率計算方法如式（5）所示：

式中：C 依據(jù)圖像中運動區(qū)域附近的像素灰度值平均變化量來確定。由此可以利用相鄰幀的信息對圖像中運動目標(biāo)和背景做出更好的識別。方法效果如圖4所示。

圖4 識別效果對比Fig.4 Comparison of recognition effects

如圖4（a）所示，受天空中無關(guān)物體和鏡頭前障礙影響，原圖像的二值化差分圖像中出現(xiàn)2個目標(biāo)且無關(guān)物體在圖像中所占面積更大；如圖4（b）所示，原方法錯誤地將無關(guān)物體識別為了信號彈目標(biāo)；如圖4（c）所示，上述方法未受到無關(guān)物體影響。

3.2 目標(biāo)定位

信號彈離開發(fā)射裝置飛行至一定高度開始發(fā)光放熱并向下風(fēng)向移動，運動過程中信號彈本身發(fā)出的光會照亮空氣中的懸浮顆粒和自身燃燒留下的煙霧。常用的質(zhì)心提取方法是通過計算圖像矩來尋找連通區(qū)域的中心位置，并將其看作質(zhì)心[8]。對于密度均勻形狀標(biāo)準(zhǔn)的物體，質(zhì)心和幾何中心重合，信號彈飛行在空中表現(xiàn)為一個高亮度低紋理的圓形光斑，由于煙霧的影響光斑經(jīng)常會呈現(xiàn)為灰度逐漸遞減的水滴形斑點，在自動提取時容易出現(xiàn)誤判，本文中使用自適應(yīng)閾值二值化來解決這一問題。

信號彈飛行過程中，其亮度是一個從低快速變高再慢速降低的變化過程，同時信號彈向上飛行過程中所占的像素面積也會逐漸變小，即在固定閾值下二值圖像中連通區(qū)域面積會體現(xiàn)出一個快速增大后逐漸減小的過程。首先使用一個特定閾值L 作為初始幀的閾值并保存其連通區(qū)域的面積大小s，接著隨分割圖像序列輸入不斷比較在L 下二值化圖像連通區(qū)域面積s 相較于之前幀的變化量Δs，同時不斷更新截至此幀連通區(qū)域面積的平均值S。當(dāng)Δs 大于S的20%時，依據(jù)當(dāng)前S的大小來決策增加或減小L的取值。

假設(shè)閾值每次變化的大小為t，在第f 幀分割圖像中增減的次數(shù)為i，通過計算在閾值L+it 下二值圖像連通區(qū)域的面積，使其逼近上一幀分割圖像的面積。接著以原始閾值L 繼續(xù)對f+1 幀的分割圖像進(jìn)行處理，若Δs值依舊出現(xiàn)大幅波動，則將f 幀使用的閾值L+it 設(shè)定給之后所有幀。方法基本過程如圖5所示。

圖5 閾值決策流程Fig.5 Threshold determination flow chart

如圖6（a）、6（b）所示為使用OpenCV 函數(shù)庫中的輪廓識別方法分別在第100 幀與第120 幀圖像中定位效果，圖6（c）、6（d）為上述方法效果。

圖6 信號彈定位效果對比Fig.6 Comparison of the signal flare locating

直接提高二值化處理閾值也能緩解被照亮的煙霧被提取為光斑的概率，但同時會降低算法在信號彈亮度較低時的識別能力。在實際實驗中閾值會自動進(jìn)行4次左右的調(diào)節(jié)，與常用方法相比，上述方法對目標(biāo)的定位更加準(zhǔn)確。

4 實驗與數(shù)據(jù)處理

4.1 系統(tǒng)調(diào)試

本實驗使用由分辨率為4096*3000的灰點GS3-U3-123S6C-C型工業(yè)相機和焦距25 mm的長步道FA2515A 鏡頭組成的雙目視覺系統(tǒng)，基線長度為1.5 m。系統(tǒng)在測量前需要進(jìn)行攝像機標(biāo)定和靜態(tài)目標(biāo)精確性檢驗。

本實驗在攝像機內(nèi)參數(shù)標(biāo)定中使用的是規(guī)格11*9，方格寬度為30 mm的棋盤格標(biāo)定板，外參數(shù)標(biāo)定使用的是用黑色圓球搭建的標(biāo)定物。為提升標(biāo)定魯棒性降低實驗誤差[9]，每臺攝像機使用的內(nèi)參數(shù)標(biāo)定圖像均為18 張。

在進(jìn)行信號彈目標(biāo)測量前，先使用靜態(tài)目標(biāo)對系統(tǒng)精度進(jìn)行測試，結(jié)果如表1所示。

表1 靜態(tài)目標(biāo)檢精度檢驗結(jié)果Tab.1 Static target accuracy test results

4.2 數(shù)據(jù)處理

將標(biāo)定后的雙目視覺系統(tǒng)垂直于地面，從發(fā)射裝置下方拍攝信號彈飛行過程。將左右攝像機拍攝的圖像序列使用雙目視覺系統(tǒng)內(nèi)外參數(shù)進(jìn)行圖像校正處理，對圖像序列使用本文方法對左右攝像機圖像中的目標(biāo)進(jìn)行分割與定位并完成自動測量，生成信號彈飛行高度曲線。

由于信號彈在圖像中所占面積非常小，信號彈在接近最高點時其質(zhì)心在左右攝像機圖像中的視差趨于不變，導(dǎo)致此部分?jǐn)?shù)據(jù)波動較大，不易直觀獲取信號彈性能參數(shù)。本文使用的攝像機的拍攝速度為30 fps，在信號彈飛行達(dá)到最高點附近時，相鄰少數(shù)幀中信號彈目標(biāo)的飛行高度可以近似看作相等[10]。

由此，取5 幀視差均值作為計算信號彈飛行高度的依據(jù)，得出結(jié)果如圖7所示。

圖7 信號彈飛行高度變化曲線Fig.7 Comparison of the signal flare locating

以垂直于地面為正方向，信號彈離開發(fā)射裝置為t0時刻，信號彈的上升速度在t0時刻最大，飛行高度隨時間開始增加，受重力加速度作用其上升速度逐漸減小，在th時刻達(dá)到最高點，此時上升速度為0，th時刻后速度變?yōu)樨?fù)數(shù)，飛行高度隨時間開始減小?？梢娪上到y(tǒng)自動測量的信號彈飛行高度變化趨勢符合物理規(guī)律，結(jié)果可信度高。

4.3 實驗結(jié)果與分析

進(jìn)行多組實驗，將測量結(jié)果中最大高度值與人工觀測最高點高度值進(jìn)行對比，結(jié)果如表2所示。

表2 信號彈最高點測量結(jié)果對比Tab.2 Highest point comparison results for signal flares

由對比結(jié)果可知，系統(tǒng)測量結(jié)果與人工觀測值總體一致，相對誤差較小，符合信號彈測試需求。

系統(tǒng)測量結(jié)果與人工測量值的誤差隨信號彈飛行高度逐漸增加，分析原因可知，系統(tǒng)誤差主要由目標(biāo)定位點的漂移產(chǎn)生。信號彈目標(biāo)飛行高度增大時，在左右攝像機圖像中所占的面積逐漸減小的同時視差也在減小，致使定位點的誤差對高度計算結(jié)果影響逐漸增大。此外，觀測高度由有經(jīng)驗的工人使用觀測儀得出，存在主觀誤差。

5 結(jié)語

本文使用長基線雙目系統(tǒng)對多組信號彈飛行過程進(jìn)行了拍攝，使用基于背景減除算法的運動識別方法從圖像中自動分割信號彈圖像，采用自適應(yīng)閾值二值化方法從分割圖像中定位質(zhì)心，由多幀視差均值對信號彈飛行過程進(jìn)行高度繪制。實驗結(jié)果表明，本方法可以通過繪制高度變化曲線還原信號彈飛行的高度軌跡，測量精度可信，自動化程度高，能夠快速對信號彈性能做出有效評測。