面向低視角場(chǎng)面監(jiān)視的移動(dòng)目標(biāo)速度測(cè)量

張?zhí)齑?，丁萌，錢小燕，左洪福

（1.南京林業(yè)大學(xué) 汽車與交通工程學(xué)院，南京210037； 2.南京航空航天大學(xué) 民航學(xué)院，南京211106）

機(jī)場(chǎng)場(chǎng)面監(jiān)視是高級(jí)場(chǎng)面運(yùn)動(dòng)引導(dǎo)與控制系統(tǒng)（Advanced Surface Movement Guidance and Control System，A-SMGCS）的核心功能之一，也是確保安全、高效場(chǎng)面運(yùn)行的重要基礎(chǔ)。近年來，智能視頻監(jiān)視技術(shù)［1］的快速發(fā)展為機(jī)場(chǎng)場(chǎng)面監(jiān)視提供了一種低成本解決方案。與多點(diǎn)定位、廣播式自動(dòng)相關(guān)監(jiān)視（Automatic Dependent Surveillance-Broadcast，ADS-B）等協(xié)作監(jiān)視方式不同，智能視頻監(jiān)視屬于非協(xié)作監(jiān)視技術(shù)，無需監(jiān)視對(duì)象安裝應(yīng)答設(shè)備。同時(shí)，智能視頻監(jiān)視成本低廉，符合隨通用航空器快速發(fā)展而出現(xiàn)的中小型機(jī)場(chǎng)的需求，也可作為大型機(jī)場(chǎng)的輔助監(jiān)視手段［2］。目前，機(jī)場(chǎng)場(chǎng)面的智能視頻監(jiān)視研究主要圍繞移動(dòng)目標(biāo)識(shí)別、跟蹤、定位等幾個(gè)方面。文獻(xiàn)［3］通過在圖像中檢測(cè)航空器注冊(cè)碼進(jìn)行航空器識(shí)別。文獻(xiàn)［4］提出一種地圖輔助的貝葉斯跟蹤濾波算法實(shí)現(xiàn)移動(dòng)目標(biāo)跟蹤。文獻(xiàn)［5］通過攝像機(jī)標(biāo)定確定航空器的三維空間坐標(biāo)，并將視覺監(jiān)視系統(tǒng)獲得的定位信息與ADS-B系統(tǒng)獲得的識(shí)別信息進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)航空器自動(dòng)掛標(biāo)牌。文獻(xiàn)［6］利用背景減除和監(jiān)督學(xué)習(xí)方法對(duì)停機(jī)坪區(qū)域的移動(dòng)目標(biāo)進(jìn)行檢測(cè)，并利用立體視覺算法確定移動(dòng)目標(biāo)的三維空間坐標(biāo)。文獻(xiàn)［7-9］研究了基于視頻圖像的停機(jī)坪運(yùn)行監(jiān)視技術(shù)，包括運(yùn)動(dòng)檢測(cè)、跟蹤與行為分析，以提供停機(jī)坪活動(dòng)的位置、時(shí)間等信息。

近年來，機(jī)場(chǎng)自動(dòng)化水平不斷提升，以四維軌跡（4-dimensional trajectory）為基礎(chǔ)的場(chǎng)面運(yùn)行方式成為新的發(fā)展方向［10］。為實(shí)現(xiàn)基于四維軌跡的場(chǎng)面運(yùn)行引導(dǎo)與控制，實(shí)時(shí)測(cè)量移動(dòng)目標(biāo)的運(yùn)動(dòng)速度顯得十分關(guān)鍵。在機(jī)場(chǎng)場(chǎng)面視覺監(jiān)視系統(tǒng)中，對(duì)移動(dòng)目標(biāo)進(jìn)行準(zhǔn)確的三維空間定位是速度測(cè)量的基礎(chǔ)?，F(xiàn)有研究一般通過目標(biāo)檢測(cè)與跟蹤算法確定移動(dòng)目標(biāo)在圖像中的邊界框（bounding box），然后根據(jù)邊界框中心點(diǎn)坐標(biāo)確定移動(dòng)目標(biāo)位置［6，9］。攝像機(jī)視角較高時(shí)，能夠獲得移動(dòng)目標(biāo)的俯視圖，移動(dòng)目標(biāo)高度或相對(duì)攝像機(jī)的方位對(duì)邊界框的影響較小。此時(shí)，邊界框中心即為移動(dòng)目標(biāo)幾何中心，可近似認(rèn)為位于地面上，通過單應(yīng)矩陣即可確定其三維空間坐標(biāo)［11］。而攝像機(jī)視角較低時(shí)，所得側(cè)視圖中移動(dòng)目標(biāo)邊界框的中心點(diǎn)很少與移動(dòng)目標(biāo)中心重合，并且通常不在地面上。通過單目視覺難以確定邊界框中心點(diǎn)的高度或距離。同時(shí)，邊界框的位置、大小易受移動(dòng)目標(biāo)與攝像機(jī)的相對(duì)方位及目標(biāo)檢測(cè)算法穩(wěn)定性的影響，準(zhǔn)確計(jì)算移動(dòng)目標(biāo)位置較為困難［11-12］。

實(shí)際機(jī)場(chǎng)場(chǎng)面攝像機(jī)的安裝高度與航空器機(jī)身高度相差不大，只能獲得低視角的場(chǎng)面運(yùn)行視頻。針對(duì)這一特點(diǎn)，本文提出一種不依賴移動(dòng)目標(biāo)邊界框的速度測(cè)量方法。該方法通過檢測(cè)圖像特征點(diǎn)及對(duì)特征點(diǎn)進(jìn)行持續(xù)跟蹤和分析，實(shí)現(xiàn)移動(dòng)目標(biāo)運(yùn)動(dòng)速度測(cè)量。與邊界框相比，圖像特征點(diǎn)具有較高辨識(shí)度、不易受觀測(cè)角度變化等因素影響。同時(shí)，每個(gè)移動(dòng)目標(biāo)包含多個(gè)特征點(diǎn)，有利于避免個(gè)別特征點(diǎn)檢測(cè)或跟蹤錯(cuò)誤導(dǎo)致的速度測(cè)量誤差。

1 系統(tǒng)方案

本文移動(dòng)目標(biāo)運(yùn)動(dòng)速度測(cè)量的系統(tǒng)方案如圖1所示，包括攝像機(jī)標(biāo)定、特征點(diǎn)跟蹤、軌跡聚類、速度計(jì)算等關(guān)鍵步驟。攝像機(jī)標(biāo)定用于確定圖像平面坐標(biāo)到三維空間坐標(biāo)的變換關(guān)系。本文中基于場(chǎng)面幾何特征確定消失點(diǎn)（vanishing point），并根據(jù)消失點(diǎn)完成攝像機(jī)標(biāo)定。特征點(diǎn)跟蹤與軌跡聚類用于確定移動(dòng)目標(biāo)包含的特征點(diǎn)運(yùn)動(dòng)軌跡。在運(yùn)動(dòng)區(qū)域提取與特征點(diǎn)檢測(cè)的基礎(chǔ)上，利用基于光流的特征點(diǎn)跟蹤算法獲得每個(gè)特征點(diǎn)的運(yùn)動(dòng)軌跡，然后通過軌跡聚類確定特征點(diǎn)所屬的移動(dòng)目標(biāo)，最后根據(jù)相關(guān)特征點(diǎn)的高度與運(yùn)動(dòng)距離，計(jì)算每個(gè)移動(dòng)目標(biāo)的運(yùn)動(dòng)速度。

圖1 系統(tǒng)方案框圖Fig.1 Block diagram of system scheme

2 攝像機(jī)標(biāo)定與坐標(biāo)變換

本文采用智能道路交通監(jiān)視系統(tǒng)常用的基于消失點(diǎn)的攝像機(jī)標(biāo)定方法。首先根據(jù)路面幾何特征確定消失點(diǎn)，然后依次計(jì)算攝像機(jī)焦距、機(jī)場(chǎng)平面法向量和攝像機(jī)高度，完成攝像機(jī)標(biāo)定。為此，定義如圖2所示的三維空間坐標(biāo)系o-xyz和圖像坐標(biāo)系oi-uv。三維空間坐標(biāo)系o-xyz的原點(diǎn)o位于攝像機(jī)光心，z軸與攝像機(jī)光軸重合且與圖像平面垂直，原點(diǎn)o到圖像平面的距離為攝像機(jī)焦距f。圖像坐標(biāo)系oi-uv的原點(diǎn)oi位于圖像的幾何中心。

圖2 空間坐標(biāo)系與圖像坐標(biāo)系位置關(guān)系示意圖Fig.2 Illustration of position relation between spatial coordinate system and image coordinate system

直線S的消失點(diǎn)定義為S上的無窮遠(yuǎn)點(diǎn)PS=（x∞，y∞，z∞）在圖像平面的投影。假設(shè)直線S經(jīng)過點(diǎn)（x0，y0，z0），方向向量為nS=（nx，ny，nz），則PS在圖像平面的投影點(diǎn)（消失點(diǎn)）坐標(biāo)為

若機(jī)場(chǎng)平面上兩點(diǎn)之間的距離為d，且兩點(diǎn)在圖像中的投影分別為pa=（ua，va）、pb=（ub，vb），則有

根據(jù)上述分析，按如下步驟進(jìn)行攝像機(jī)標(biāo)定：

步驟1在2個(gè)正交方向分別選擇一組路面標(biāo)志線段，利用最小二乘法確定每組線段延長(zhǎng)線在圖像中的交點(diǎn)，得到消失點(diǎn)坐標(biāo)。

步驟2利用式（2）～式（4）計(jì)算攝像機(jī)焦距f和機(jī)場(chǎng)平面法向量n。

步驟3在機(jī)場(chǎng)平面上選擇距離已知的點(diǎn)對(duì)，利用式（6）計(jì)算攝像機(jī)高度h。

確定攝像機(jī)焦距f、機(jī)場(chǎng)平面法向量n和攝像機(jī)高度h后，若已知某點(diǎn)P在圖像中的投影p=（u，v）和點(diǎn)P相對(duì)機(jī)場(chǎng)平面的高度hP，則可根據(jù)如下坐標(biāo)變換關(guān)系確定該點(diǎn)的三維空間坐標(biāo)：

由式（7）可知，低視角視頻圖像中，若攝像機(jī)高度h與點(diǎn)P高度hP相差不大，忽略hP會(huì)導(dǎo)致較大空間定位誤差。

3 運(yùn)動(dòng)速度測(cè)量

3.1 特征點(diǎn)軌跡生成

為降低背景干擾，首先在視頻圖像中提取運(yùn)動(dòng)區(qū)域，確定移動(dòng)目標(biāo)在圖像中的大致位置。采用ViBe算法［13］檢測(cè)背景區(qū)域，通過背景減除及濾波、二值化、腐蝕、膨脹等后處理確定運(yùn)動(dòng)區(qū)域。上述方法能夠有效抑制移動(dòng)目標(biāo)內(nèi)部空洞，并較好地保留移動(dòng)目標(biāo)輪廓。

在運(yùn)動(dòng)區(qū)域內(nèi)，基于FAST算法［14］檢測(cè)圖像特征點(diǎn)，并應(yīng)用跟蹤算法生成多組特征點(diǎn)軌跡。采用基于光流的特征點(diǎn)跟蹤算法，根據(jù)當(dāng)前幀的特征點(diǎn)位置和光流場(chǎng)確定下一幀的特征點(diǎn)位置。對(duì)于非整數(shù)坐標(biāo)處的特征點(diǎn)，利用雙線性插值確定亞像素光流［15］。為減少遮擋導(dǎo)致的跟蹤誤差，通過特征點(diǎn)跟隨正、反向光流移動(dòng)后的位置與初始位置的差異（雙向誤差）判斷特征點(diǎn)是否被有效跟蹤［16］。

3.2 聚類分析

li，j反映了特征點(diǎn)i、j平均每幀的運(yùn)動(dòng)差異。若li，j較小，特征點(diǎn)i、j屬于同一移動(dòng)目標(biāo)的可能性較大；反之，i、j更有可能屬于不同的移動(dòng)目標(biāo)。記ti與集合T中所有特征點(diǎn)軌跡的差異度為li=（li，1，li，2，…，li，M）。根據(jù)li可以確定ti相對(duì)T中所有 特 征 點(diǎn) 軌 跡 的 偏 好 向 量ri=（ri，1，ri，2，…，ri，M）：若li，j小于給定閾值δc，則認(rèn)為ti與tj屬于同一移動(dòng)目標(biāo)，即ri，j=1；否則，ri，j=0。

按上述方法確定T中每個(gè)特征點(diǎn)軌跡的偏好向量，然后利用J-linkage算法［17］進(jìn)行分層聚類。每個(gè)聚類c對(duì)應(yīng)一個(gè)移動(dòng)目標(biāo)，且c中至少存在一條能夠反映聚類特征的軌跡tc，使得c中特征點(diǎn)軌跡與tc的差異度均小于閾值δc。

3.3 速度計(jì)算

確定移動(dòng)目標(biāo)包含的特征點(diǎn)軌跡后，根據(jù)式（7）計(jì)算特征點(diǎn)軌跡的三維空間坐標(biāo)，并以此為基礎(chǔ)計(jì)算運(yùn)動(dòng)速度。

式中：Fr為視頻幀率?？筛鶕?jù)實(shí)際需要確定L取值，獲得期望的速度更新頻率。

基于低視角視頻圖像進(jìn)行速度測(cè)量時(shí)，上述方法首先需要確定特征點(diǎn)高度。以移動(dòng)目標(biāo)與地面的接觸點(diǎn)為參考點(diǎn)，根據(jù)不同特征點(diǎn)在三維空間運(yùn)動(dòng)距離相同這一前提條件，基于式（7）計(jì)算特征點(diǎn)高度。速度計(jì)算時(shí)，優(yōu)先選擇高度較低的特征點(diǎn)，并對(duì)多個(gè)特征點(diǎn)的速度取平均值。

4 仿真實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

利用廣州白云國(guó)際機(jī)場(chǎng)場(chǎng)面運(yùn)行視頻數(shù)據(jù)集，對(duì)本文提出的速度測(cè)量方法進(jìn)行了驗(yàn)證。數(shù)據(jù)集共包含6段視頻，由五號(hào)道滑行路口的攝像機(jī)cam2513和北外場(chǎng)的攝像機(jī)cam9915拍攝。各段視頻的相關(guān)信息如表1所示。

表1 場(chǎng)面運(yùn)行視頻數(shù)據(jù)集Tab le 1 Dataset of surface operation videos

4.2 仿真結(jié)果分析

在三維空間中的2個(gè)正交方向分別選取5條平行直線段，用紅、綠兩色表示，如圖3所示。根據(jù)式（2）、式（3）確定3個(gè)正交方向的消失點(diǎn)和攝像機(jī)焦距f，如表2所示?；?條長(zhǎng)度已知的路面分割線，根據(jù)式（6）確定攝像機(jī)高度h，如表2所示。圖4以直觀形式展示了2架攝像機(jī)的標(biāo)定結(jié)果，其中紅、綠、藍(lán)色線段分別指向3個(gè)消失點(diǎn)，紅、綠線段平行于機(jī)場(chǎng)平面，藍(lán)色線段垂直于機(jī)場(chǎng)平面，黃色直線為地平線。

圖3 用于攝像機(jī)標(biāo)定的場(chǎng)面特征Fig.3 Surface features used for camera calibration

表2 攝像機(jī)標(biāo)定結(jié)果Tab le 2 Cam era calibration resu lts

圖4 攝像機(jī)標(biāo)定結(jié)果圖示Fig.4 Illustration of camera calibration results

本文方法的軌跡聚類結(jié)果如圖5所示。圖5（a）、（b）、（d）中只有一架航空器。圖5（e）、（f）中包含多個(gè)移動(dòng)目標(biāo)，本文方法能夠準(zhǔn)確區(qū)分不同移動(dòng)目標(biāo)的特征點(diǎn)軌跡。圖5（c）左上角3輛車包含在同一個(gè)運(yùn)動(dòng)區(qū)域內(nèi)，其中最左側(cè)車輛較小，未能檢測(cè)到有效的特征點(diǎn)，另外2輛車的運(yùn)動(dòng)速度存在差異，聚類算法能夠正確區(qū)分二者的特征點(diǎn)軌跡。圖6進(jìn)一步展示了用于速度測(cè)量的特征點(diǎn)軌跡在機(jī)場(chǎng)平面的投影，其中投影坐標(biāo)系的橫、縱坐標(biāo)軸分別經(jīng)過攝像機(jī)標(biāo)定過程中確定的2個(gè)消失點(diǎn)。由于標(biāo)定時(shí)選取的場(chǎng)面特征與滑行道平行，同時(shí)移動(dòng)目標(biāo)在運(yùn)動(dòng)過程中的側(cè)向位移較小，圖中軌跡投影均與橫/縱坐標(biāo)軸近似平行。

圖5 特征點(diǎn)軌跡聚類Fig.5 Feature point trajectory clustering

針對(duì)各段視頻的速度測(cè)量結(jié)果如圖7所示，其中實(shí)線為本文方法的自動(dòng)測(cè)量結(jié)果，虛線為手動(dòng)標(biāo)記移動(dòng)目標(biāo)接地點(diǎn)的位置變化得到的速度測(cè)量結(jié)果。圖7（a）中，航空器距離攝像機(jī)較遠(yuǎn)，速度測(cè)量結(jié)果容易出現(xiàn)誤差。圖7（b）中，航空器距離較近，2種方法所得結(jié)果基本一致。圖7（c）中，共有3輛車與1架航空器得到了有效的速度測(cè)量結(jié)果，其中車輛1和車輛3同時(shí)由靜止開始運(yùn)動(dòng)，初始階段二者速度相似，聚類算法未能區(qū)分二者的特征點(diǎn)軌跡，導(dǎo)致2種方法所得結(jié)果差別較大。圖7（d）中，1架航空器與1輛車先后出現(xiàn)在視場(chǎng)范圍內(nèi)，其中航空器距離較遠(yuǎn)，從第200幀左右開始減速，直至離開視場(chǎng)范圍；車輛與攝像機(jī)之間的距離較小，2種方法所得結(jié)果相似。圖7（e）中，車輛1、車輛2先后進(jìn)入視場(chǎng)，車速變化較小，2種方法所得結(jié)果較為接近。圖7（f）中，先后出現(xiàn)2架航空器和1輛車，其中航空器2距離較遠(yuǎn)；第150幀左右，航空器2開始被航空器1遮擋，無法獲得有效特征點(diǎn)軌跡，手動(dòng)標(biāo)記結(jié)果也存在一定誤差。對(duì)于航空器1，初始階段本文方法對(duì)特征點(diǎn)的位置估計(jì)偏高，導(dǎo)致速度測(cè)量結(jié)果偏大；隨后，受陰影內(nèi)特征點(diǎn)影響，速度測(cè)量結(jié)果偏??；在能夠檢測(cè)到移動(dòng)目標(biāo)接地點(diǎn)后，本文方法的速度測(cè)量結(jié)果開始接近手動(dòng)計(jì)算結(jié)果。受陰影內(nèi)特征點(diǎn)的影響，本文方法對(duì)車輛的速度測(cè)量結(jié)果偏小。

圖6 機(jī)場(chǎng)平面軌跡投影Fig.6 Trajectory projection on airport surface

與基于目標(biāo)邊界框的速度測(cè)量方法進(jìn)行對(duì)比?；谀繕?biāo)邊界框的速度測(cè)量方法，首先利用YOLO算法［18］在運(yùn)動(dòng)區(qū)域中檢測(cè)移動(dòng)目標(biāo)，確定移動(dòng)目標(biāo)邊界框，然后基于ECO跟蹤算法［19］確定后續(xù)幀的邊界框位置。由于利用數(shù)據(jù)集中的單目視覺圖像無法確定邊界框中心點(diǎn)高度，選擇理想高度為零的下邊界中心點(diǎn)計(jì)算目標(biāo)運(yùn)動(dòng)速度。圖8對(duì)比了2種速度測(cè)量方法的誤差。圖中根據(jù)移動(dòng)目標(biāo)經(jīng)過地面標(biāo)記點(diǎn)的時(shí)間與標(biāo)記點(diǎn)間距確定參考速度，將測(cè)得速度與參考速度之差視為測(cè)量誤差。每個(gè)移動(dòng)目標(biāo)的速度測(cè)量誤差均值與方差如表3所示。與基于特征點(diǎn)的方法相比，基于目標(biāo)邊界框進(jìn)行速度測(cè)量時(shí)，邊界框在相鄰圖像幀的大小和位置易出現(xiàn)突變，平均測(cè)量誤差通常較大且測(cè)量穩(wěn)定性較差。圖8（a）、（d）中航空器和圖8（f）中航空器2均距離攝像機(jī)較遠(yuǎn)，邊界框的影響尤為顯著，難以獲得有效的速度測(cè)量結(jié)果。此外，邊界框大小頻繁變化也導(dǎo)致圖8（c）中航空器與車輛1的速度測(cè)量誤差出現(xiàn)較大幅度波動(dòng)。

圖7 移動(dòng)目標(biāo)速度測(cè)量結(jié)果Fig.7 Moving object speed measurement results

圖8 速度測(cè)量誤差對(duì)比Fig.8 Comparison of speed measurement errors

表3 移動(dòng)目標(biāo)速度測(cè)量誤差均值與方差Tab le 3 M ean and variance of speed m easu rem en t errors for m oving objects

5 結(jié) 論

1）基于實(shí)際機(jī)場(chǎng)場(chǎng)面運(yùn)行視頻的仿真結(jié)果表明，當(dāng)移動(dòng)目標(biāo)距離較近時(shí)，本文方法測(cè)速結(jié)果與手動(dòng)標(biāo)記測(cè)速結(jié)果基本一致，應(yīng)用本文方法進(jìn)行低視角速度測(cè)量是可行的。

2）與基于目標(biāo)邊界框的速度測(cè)量方式相比，本文基于特征點(diǎn)跟蹤分析的方法在低視角速度測(cè)量的準(zhǔn)確性與穩(wěn)定性方面具有明顯優(yōu)勢(shì)。

為使本文方法能夠用于實(shí)際的機(jī)場(chǎng)場(chǎng)面視覺監(jiān)視系統(tǒng)，仍需優(yōu)化特征點(diǎn)跟蹤分析的相關(guān)算法，減少特征點(diǎn)高度估計(jì)誤差與陰影內(nèi)特征點(diǎn)的影響，同時(shí)還需合理規(guī)劃攝像機(jī)監(jiān)視范圍，并關(guān)聯(lián)不同攝像機(jī)獲取的信息。