利用無人機多源影像檢測車輛速度

姜尚潔，羅 斌，賀 鵬，楊國鵬，顧亞平，劉 軍，張 云，張良培

1. 武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢430079； 2. 解放軍95899部隊，北京 100085； 3. 淮安市水利勘測設計研究院有限公司，江蘇 淮安223000

交通是經(jīng)濟可持續(xù)發(fā)展的基礎，并隨著科學技術(shù)以及社會經(jīng)濟的發(fā)展而日益發(fā)達。交通需求的迅速增長導致交通阻塞、交通事故等一系列問題，成為困擾許多城市的通病[1]。 針對交通環(huán)境的惡化，各國都積極采取相應的措施來改善交通狀況，智能交通系統(tǒng)(intelligent traffic system，ITS)作為一種高效率的管理方法應運而生，也成為當今道路交通管理的發(fā)展趨勢[2]。其中車輛速度檢測是交通信息采集的重要組成部分，也是ITS研究中的熱點和難點。

隨著傳感器和通信技術(shù)的發(fā)展，車輛速度檢測方法主要有：線圈檢測、激光檢測、雷達檢測等[3]。其中感應線圈是應用最早的檢測技術(shù)之一，其利用電磁感應原理進行車輛速度的檢測，具備穩(wěn)定性強，測量精度高等優(yōu)點，但其安裝維修困難。激光檢測通過發(fā)射激光與反射激光到車輛的時間差來計算車輛速度，具備高精度、測速范圍大的優(yōu)點，但安裝要求較高且成本較高。雷達檢測在固定時間間隔發(fā)射兩個脈沖，通過測得的距離計算車輛速度，此方法測速范圍廣，不受天氣條件影響，但只能對單個目標進行測速，且容易受到無線電波的干擾[4-5]。隨著視頻檢測技術(shù)的發(fā)展，在交通視頻中可以獲取大量的交通狀況信息，應用目標識別等圖像處理技術(shù)可以獲取視頻中的車輛信息，進而檢測車輛速度，其中利用相機獲取視頻數(shù)據(jù)簡單便捷，并且視頻檢測容易模塊化和集成化[6]。例如文獻[7]利用交通錄像視頻計算車輛的運動軌跡以及速度等參數(shù)。文獻[8]提出基于高斯-卡爾曼混合模型的背景模型對目標進行檢測，并在此基礎上提取運動目標的運動參數(shù)。文獻[9]提出實時監(jiān)測動態(tài)場景中的運動目標系統(tǒng)。但傳統(tǒng)的視頻檢測存在局限性[10]：①相機往往固定在道路特定位置，這意味著獲取數(shù)據(jù)位置較為固定，不具備數(shù)據(jù)采集位置的靈活性；②視頻獲取主要依靠可見光相機，其依賴良好的光照條件，晝夜或天氣的轉(zhuǎn)換都可能影響檢測結(jié)果[11]。

無人機是一種操作便捷、能搭載多類型裝備并且能重復使用的無人駕駛航空器[12]。在信息化技術(shù)、通信技術(shù)、空氣動力技術(shù)等的迅猛發(fā)展下，無人機性能逐漸完善，其具有靈活機動、實時性強、風險小等獨特優(yōu)點，不僅在軍用戰(zhàn)場上，也在民用資源調(diào)查等領(lǐng)域占據(jù)著不可或缺的位置[12-13]。本文為解決傳統(tǒng)視頻獲取位置較為固定問題，嘗試通過無人機平臺獲取視頻數(shù)據(jù)。當然，無人機的廣泛應用也得益于搭載的傳感器，傳統(tǒng)搭載可見光相機的無人機應用于測繪、監(jiān)測與制圖領(lǐng)域[14]。由于傳感器技術(shù)的發(fā)展，獲取數(shù)據(jù)的類型和質(zhì)量都有了提升，例如：熱紅外相機也具備優(yōu)異的成像能力，而且成本也在急劇下降。本文嘗試通過熱紅外相機解決夜間車輛速度檢測問題，使得檢測方法不依賴光照條件，提高車輛速度檢測的穩(wěn)健性。

綜上，本文通過無人機平臺獲取可見光和熱紅外視頻數(shù)據(jù)，然后綜合利用多源數(shù)據(jù)檢測車輛，進而提高車輛檢測的精度，最后依據(jù)檢測結(jié)果跟蹤車輛并計算車輛速度。

1 基于無人機多源影像的車輛速度檢測

本文的研究工作主要包括以下幾個方面：①多源數(shù)據(jù)采集，通過無人機平臺采集可見光影像和熱紅外影像；②多源數(shù)據(jù)預處理，對采集的多源影像進行畸變校正并配準；③車輛檢測，應用深度學習對多源數(shù)據(jù)的車輛目標進行檢測，并將檢測結(jié)果進行決策融合；④車輛跟蹤，首先對相鄰視頻幀進行圖像特征匹配，重新定位車輛目標位置，校正因無人機運動引起的誤差，然后采用離散卡爾曼濾波對識別出的車輛進行跟蹤和預測；⑤車輛速度計算，根據(jù)車輛跟蹤結(jié)果，繪制車輛運動軌跡路線，并根據(jù)目標車輛的像素移動距離計算車輛實際行駛距離，通過采集圖像的頻率計算圖像采集的時間間隔，最后根據(jù)速度計算公式計算車速。方法流程如圖1所示。

圖1 本文方法流程Fig.1 Flowchart of the proposed approach

1.1 搭建無人機多源數(shù)據(jù)采集平臺

傳統(tǒng)無人機平臺由動力系統(tǒng)、控制系統(tǒng)、可見光相機、圖像傳輸模塊、GPS模塊和電池等組成[15]。為獲取多源影像中的熱紅外影像，需增加熱紅外相機，同時需要解決相機獲取數(shù)據(jù)的同步問題和傳輸問題。本文嘗試在無人機平臺增加電腦主板，然后通過編碼在電腦主板中同時獲取多源影像，最后使用4G模塊傳輸多源數(shù)據(jù)。無人機數(shù)據(jù)采集平臺框架如圖2所示。由飛行遙控器控制無人機的數(shù)據(jù)采集范圍，電腦主板獲取多源數(shù)據(jù)并將數(shù)據(jù)通過4G模塊傳輸至連接到基站的地面監(jiān)控客戶端。

圖2 多源數(shù)據(jù)采集平臺框架Fig.2 Multi-source data acquisition system flow diagram

1.2 相機校正

目前相機鏡頭處理技術(shù)正飛速地發(fā)展，但依舊存在幾何畸變，為了減少因圖像變形導致的配準誤差及圖像分辨率的計算誤差，本文需要對可見光相機和熱紅外相機進行畸變校正。對于可見光相機，可以使用傳統(tǒng)的黑白棋盤格作為標定板，提取棋盤格角點后估算理想無畸變情況下的內(nèi)參和外參，然后應用最小二乘估算實際存在的畸變系數(shù)，最后使用最大似然法提升估算精度。校正流程使用Matlab中的相機校準工具。但傳統(tǒng)的黑白棋盤格在熱紅外影像中成像幾乎相同，無法提取角點，所以并不適用于熱紅外相機校正。幸運的是，本文發(fā)現(xiàn)了由不同顏色大理石組成的廣場，并且大理石的排列方式和棋盤格一致。由于不同顏色的大理石反射率和吸收率是不同的，所以在光照條件下溫度也是不同的，溫度較高的大理石在熱紅外相機中表現(xiàn)為較亮的區(qū)域，而溫度較低的大理石恰好相反，整個廣場在熱紅外相機的成像如圖3所示，本文將該區(qū)域作為熱紅外相機的畸變校正區(qū)域。采用最穩(wěn)定極值區(qū)域(maximally stableextremal regions，MSER)算法來定位圖像中的黑色區(qū)域，因為圖像中的黑色區(qū)域較小，本文將區(qū)域大小和像素平均值作為閾值提取黑色區(qū)域，計算區(qū)域的中心點，將中心點視為“棋盤格”中的角點，提取的角點如圖4所示，提取角點后可使用Matlab中的相機校準工具進行畸變校正。

圖3 校正區(qū)域的熱紅外影像Fig.3 The calibration area in thermal infrared

圖4 提取校正區(qū)域的角點Fig.4 Detecting the points in the calibration area

1.3 多源數(shù)據(jù)的車輛檢測

車輛檢測是車輛速度檢測的基礎。選擇一個準確可靠的檢測方法是重中之重。其中車輛檢測方法主要有光流法、背景差異法、梯度比較法及知識型檢測法等[16-17]。這些檢測方法容易受到光照、陰影、圖像質(zhì)量的影響，而且本文中無人機獲取多源影像時存在運動，也就意味著背景存在差異。近些年來，基于機器學習的方法取得良好的試驗結(jié)果，利用大量正負樣本進行學習，從而對目標進行識別，從2013的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(region-based convolutional neural network，R-CNN)到Fast-R-CNN，F(xiàn)aster-R-CNN,SDD(the single shot detector)，YOLO(arxiw preprint arxiv:1612.08242,2016)等，一系列的方法不斷刷新目標檢測精度的新高[18]。本文采用的深度學習方法是YOLO，其具備速度快和效果佳的優(yōu)點，十分適合處理視頻數(shù)據(jù)。

1.3.1 基于YOLO的車輛檢測

YOLO的核心思想是利用整張圖像作為網(wǎng)絡的輸入，然后在輸出層直接回歸出目標框的位置和目標所屬的類別，以實現(xiàn)端對端的直接優(yōu)化。YOLO的基本實現(xiàn)思路如下：

(1) 首先將圖像分成S×S個網(wǎng)格，當某個目標中心落在這個網(wǎng)格中，則該網(wǎng)格就負責預測該目標。

(2) 然后在每個網(wǎng)格中預測B個目標框及對應的可信度(Confidence)。目標框包含5個參數(shù)：目標框的中心點坐標，寬度，高度及可信度。

(3) 在每個網(wǎng)格中預測C個目標類別的可能性。

(4) 最后在測試階段，將目標類別可能性和置信度相乘，計算出每個目標框的特定類別的可能性。

通過上述過程，YOLO從整個訓練圖像中學習目標的特征，在測試階段利用訓練模型進行目標檢測?；赮OLO的原理，在多源影像中檢測車輛目標，首先標記預處理后影像中的車輛目標，并分為訓練和測試數(shù)據(jù)集，使用YOLO深度學習框架訓練模型，然后將保存的模型用于車輛檢測，并將檢測結(jié)果決策融合，流程如圖5所示。

圖5 車輛檢測流程Fig.5 Flowchart of the vehicle detection

1.3.2 目標框決策融合

在多源數(shù)據(jù)車輛檢測結(jié)果中存在同一車輛多次被檢測的情況，如圖6所示。本文以車輛目標框中心點距離作為閾值，判斷是否將目標框融合。當中心點距離較小時，認為檢測結(jié)果為同一車輛目標，需進行融合[19]。

圖6 車輛檢測結(jié)果決策融合Fig.6 Decision fusion of vehicle detection result

新目標框的計算如式(1)所示

(1)

式中，(x,y)為目標框的中心點；(w,h)為目標框的高度和寬度；p表示目標框的可信度。

1.4 車輛跟蹤與速度計算

檢測出車輛目標后，為準確獲取車輛位移，需要圖像特征匹配校正車輛位置和卡爾曼濾波跟蹤車輛。

1.4.1 圖像區(qū)域特征匹配

為更準確地計算車輛位移，需考慮無人機平臺在懸停獲取多源數(shù)據(jù)時的運動。本文試驗數(shù)據(jù)中背景變化差異較小，采用圖像特征匹配方法匹配視頻幀間的背景，估算因無人機平臺抖動導致的背景位移，進而校正車輛在視頻幀中的位置。

本文首先提取圖像中SURF(speeded up robust features)特征點，并對特征點作匹配[20-21]，根據(jù)特征點的位置變動情況計算位移變換關(guān)系，進而校正車輛位置。以可見光視頻中的兩幀圖像為例，區(qū)域特征匹配結(jié)果如圖7所示，綠色標記點表示某一幀的特征點，紅色標記點表示對應匹配特征點在下一幀的位置。當紅色標記點和綠色標記點距離較近時，意味著無人機平臺相對較為穩(wěn)定，距離較遠時則相反。同理，熱紅外圖像特征匹配結(jié)果如圖8所示。

本文獲取多源影像時，無人機高度較為固定，所以相同車輛目標在視頻幀中的大小幾乎不會發(fā)生變化，并且試驗中的圖像配準結(jié)果也表明無需考慮車輛大小的變化。

圖7 可見光圖像匹配Fig.7 Visible image matching

圖8 熱紅外圖像匹配Fig.8 Thermal infrared image matching

1.4.2 目標跟蹤

本文根據(jù)圖像區(qū)域特征匹配校正視頻幀間車輛位置后，需要對車輛目標進行跟蹤預測，進而獲取車輛的運動軌跡，當車輛即將離開拍攝范圍時，結(jié)束對車輛目標的跟蹤，然后繪制車輛的運動軌跡。

20世紀60年代卡爾曼濾波理論被提出，其利用統(tǒng)計估計理論進行遞推，能根據(jù)過去的信號對未來的信號做出估計，依據(jù)的原理是時變隨機信號的統(tǒng)計特征和線性均方誤差最小化的優(yōu)化準則[22-23]。本文首先將檢測車輛位置的矩形框中心作為車輛的形心，采用卡爾曼濾波不斷更新車輛目標的真實位置和預測位置，實現(xiàn)車輛的目標跟蹤并繪制運動軌跡。

1.4.3 車速計算

在實際試驗時，為了避免把不必要的因素引入計算中，本文對試驗中的無人機平臺和交通情況做出3點假設：①無人機平臺可以精準懸停獲取數(shù)據(jù)，并提供高度信息，試驗中采用的無人機平臺垂直方向上的懸停精度為±0.5 m，這不僅為圖像分辨率計算提供數(shù)據(jù)，也可以保證相同車輛目標在視頻幀中幾乎不會發(fā)生大小變化，試驗中的圖像配準結(jié)果也表明無須考慮車輛大小的變化。②無人機平臺采集數(shù)據(jù)區(qū)域的路面是相對平坦的，可以在處理中近似認為是平面，因為復雜的路面情況會影響相機的標定，因此本試驗中的路面情況相對簡單。③無人機平臺增加增穩(wěn)云臺進行相機的姿態(tài)調(diào)整，角度抖動量為±0.03°，保證相機是垂直向下進行數(shù)據(jù)的獲取，盡量保證車輛位移計算的準確性。

基于以上假設，根據(jù)車輛在n幀發(fā)生的位移計算車輛速度，由式(2)計算得到

v=

(2)

式中，v為目標車輛速度；f為圖像分辨率，根據(jù)無人機獲取數(shù)據(jù)的高度和相機的焦距計算得知；(X(t+n),Y(t+n))表示車輛在第(t+n)幀的坐標位置；(X(t),Y(t))表示車輛在第t幀的坐標位置；T表示拍攝n幀圖像的時間間隔，根據(jù)相機獲取圖像的幀率計算得知。

2 試驗結(jié)果

2.1 數(shù)據(jù)采集

本試驗使用大疆MATRICE 100作為無人機平臺。在MATRICE 100上搭載DLCW工業(yè)相機用于采集可見光影像，其像元尺寸為5.0 μm×5.2 μm，并搭載熱紅外相機用于采集熱紅外影像，其波長范圍為8～14 μm。采集平臺以視頻的方式保存多源影像，其中視頻幀大小為1280×960，可見光圖像和熱紅外圖像的大小為640×480。試驗數(shù)據(jù)采集范圍為武漢市洪山區(qū)珞瑜路及光谷一路，其中珞瑜路路況較為復雜，如圖9和圖10所示。此數(shù)據(jù)主要用于車輛目標檢測模型的訓練，無人機相對于地面懸停高度范圍為20～80 m，獲取更為豐富的訓練樣本。光谷一路路況較為簡單，如圖11和圖12所示。此數(shù)據(jù)主要用于車輛速度計算的精度評價。為說明熱紅外影像在光照條件不足情況下的優(yōu)勢，在光谷一路分別采集白天和夜晚數(shù)據(jù)，無人機相對于地面懸停高度分別為34 m和37 m。

圖9 可見光圖像(珞瑜路)Fig.9 Visible image

圖10 熱紅外圖像(珞瑜路)Fig.10 Thermal infrared image

圖11 可見光圖像(光谷一路)Fig.11 Visible image

圖12 熱紅外圖像(光谷一路)Fig.12 Thermal infrared image

2.2 數(shù)據(jù)預處理

根據(jù)1.2節(jié)的介紹，搭載的可見光相機和熱紅外相機存在幾何畸變，使用傳統(tǒng)的棋盤格和廣場區(qū)域分別校正可見光相機和熱紅外相機。將校正后的多源影像手動選擇地面控制點，采用單映射矩陣進行配準，基于固定的相機和不變的模型，將圖像的變換關(guān)系應用于所有圖像，并將配準后的結(jié)果進行裁剪。其中配準時因可見光圖像的分辨率較高，將其作為基準影像，以珞瑜路中一段為例，配準結(jié)果如圖13和圖14所示。

圖13 可見光基準影像Fig.13 Visible based image

圖14 熱紅外圖像匹配結(jié)果Fig.14 Thermal infrared image matching result

下一步是選擇訓練數(shù)據(jù)集和測試數(shù)據(jù)集，在多源圖像中對車輛目標進行標記，標簽包含五個參數(shù)(class,x,y,w,h)分別為類別車輛，以及車輛的位置坐標，寬度和高度。在試驗中，本文對2000輛車進行了訓練數(shù)據(jù)的標記，并標記了500輛車輛作為測試數(shù)據(jù)?？梢姽鈹?shù)據(jù)和熱紅外數(shù)據(jù)的標記樣本分別如圖15和圖16所示。

圖15 可見光影像中的標記樣本Fig.15 Tagged samples from the visible image

圖16 熱紅外影像中的標記樣本Fig.16 Tagged samples from the infrared thermal image

2.3 車輛檢測

本文的YOLO訓練參數(shù)設置如下：權(quán)值衰減率為0.000 5，批尺寸為15,以及學習率為0.000 5，而且輸入圖像尺寸歸一化為448×448。對可見光影像和熱紅外影像進行模型訓練，保證訓練結(jié)果滿足收斂條件，并保存訓練模型結(jié)果。試驗訓練共3000次，訓練情況如圖17所示。

圖17 可見光和熱紅外影像訓練情況Fig.17 Iterations of visible image and infrared thermal image

將訓練模型加載，對無人機平臺采集的多源影像進行車輛檢測，以視頻中的一幀為例查看車輛檢測結(jié)果，檢測結(jié)果如圖18至圖21所示，其中檢測結(jié)果中的可信度設置為0.5。

其中，編號為1、2、4的車輛在可見光圖像中未被檢測，編號為6的車輛在熱紅外圖像中未被檢測，而通過目標框決策融合，這些編號車輛可以在圖21中被檢測，可見決策融合可以提高車輛的檢測率，并且在一定程度上提升目標框的位置準確度。

圖18 車輛真實位置Fig.18 Ground truth

圖19 可見光圖像檢測結(jié)果Fig.19 Visible image detection

圖20 熱紅外圖像檢測結(jié)果Fig.20 Thermal infrared image detection

圖21 決策融合檢測結(jié)果Fig.21 Decision fusion detection

同時，熱紅外影像可以使車輛檢測方法不依賴于光照條件。夜晚情況下的光照條件較差，可見光相機成像能力較差，如圖22所示，其車輛檢測難度較高。而熱紅外相機成像相對來說不受影響，如圖23所示，可以對車輛目標進行檢測。

圖22 可見光圖像(夜晚)Fig.22 Visible image(night)

圖23 熱紅外圖像(夜晚)Fig.23 Thermal infrared image (night)

2.4 車輛跟蹤

試驗中使用卡爾曼濾波對目標車輛跟蹤，并在白天和夜晚進行試驗，以其中一組為例，運動軌跡如圖24和圖25所示，紅色運動軌跡為手動標記的車輛運動軌跡，藍色運動軌跡為本文方法跟蹤的運動軌跡，其中數(shù)字表示一定時間間隔的車輛位置。

圖24 車輛在白天的跟蹤情況Fig.24 Vehicle tracking during daylight

本方法也同樣適用于道路車輛較為復雜的情況，跟蹤效果如圖26所示，其中紅色數(shù)字編號代表車輛，運動路徑表明編號27和38的車輛靜止，編號11車輛轉(zhuǎn)向，其余車輛近似直線行駛。

2.5 車輛速度計算

試驗中，對同一車輛目標采集了連續(xù)的k幀圖像，基于車輛跟蹤的結(jié)果，可通過1.4.3節(jié)方法計算其速度v。以圖24和圖25跟蹤結(jié)果為例，計算圖像分辨率(單位：m/像素)分別為0.145和0.134，同時手動標記每幀圖像中目標車輛的位置并計算速度，將其作為真實速度值，將本文方法計算的速度值與真實速度值作比較。圖24的速度計算結(jié)果如圖27所示，此時車輛儀表盤顯示車輛速度為35 km/h。圖25的速度計算結(jié)果如圖28所示，此時車輛儀表盤顯示車輛速度為25 km/h。

圖25 車輛在夜晚的跟蹤情況Fig.25 Vehicle tracking during night

圖26 多車輛目標的跟蹤情況(顯示部分車輛)Fig.26 Tracking of multiple vehicles (show partial vehicles)

圖27 車輛計算速度與實際速度比較(白天)Fig.27 Comparison of vehicle calculated speed and actual speed (daylight)

圖28 車輛計算速度與實際速度比較(夜晚)Fig.28 Comparison of vehicle calculated speed and actual speed (night)

依據(jù)車輛儀表盤顯示的速度及手動標記車輛位置計算的速度，圖27和圖28表明本文的車輛速度檢測方法誤差較小。然后進行精度評價，每一小段時間間隔的精度由式(3)計算得知

(3)

式中，vD表示本文方法計算的車輛速度;vp表示車輛速度的真實值。然后由式(4)計算一組試驗的精度

(4)

式中，P表示一組試驗的精度；n表示一組試驗中計算速度的時間段總數(shù)；i表示第i段時間；accur由式(3)計算得出。統(tǒng)計車輛速度檢測的精度，白天和夜晚分別采用5組數(shù)據(jù)試驗，計算每組的精度P并求均值，白天車輛速度檢測的統(tǒng)計情況如表1所示，夜晚車輛速度檢測的統(tǒng)計情況如表2 所示。

表1 車輛速度檢測精度(白天)

表2 車輛速度檢測精度(夜晚)

從表1和表2可以得知，白天和夜晚車輛速度檢測平均精度分別為93.75%和93.71%，可見本文方法能較為準確地檢測車輛速度，并且基本滿足靈活性、適應性等要求。

3 總結(jié)與展望

本文依據(jù)車輛交通監(jiān)控的需求，嘗試搭建了小型無人機多源數(shù)據(jù)采集平臺，無人機平臺為數(shù)據(jù)的獲取增加靈活性。多源數(shù)據(jù)包括可見光影像和熱紅外影像，熱紅外影像的增加使得監(jiān)測車輛不受光照條件限制。將采集的多源數(shù)據(jù)實時傳輸至地面監(jiān)控客戶端，使用深度學習框架YOLO進行車輛目標檢測，并將多源數(shù)據(jù)的檢測結(jié)果進行決策融合，這在一定程度上提升了檢測精度。最后根據(jù)檢測結(jié)果對車輛目標進行跟蹤并計算車輛速度。試驗結(jié)果表明，本文方法檢測車輛速度具備有效性，為道路監(jiān)控管理部門提高了一種易操作、高效率的車輛速度監(jiān)控方式。試驗結(jié)果也表現(xiàn)出，在描述車輛運動軌跡時有波動情況，這主要由于車輛檢測的定位不夠精準，下一步將優(yōu)化深度學習框架，提高車輛檢測位置的精度，進而更為準確地描述車輛運動。