基于無人機(jī)航拍的車輛檢測系統(tǒng)

韓杰，卿粼波，熊淑華，何小海

（四川大學(xué)電子信息學(xué)院，成都 610064）

基于無人機(jī)航拍的車輛檢測系統(tǒng)

韓杰，卿粼波，熊淑華，何小海

（四川大學(xué)電子信息學(xué)院，成都 610064）

在智能交通管理中，針對如何解決反映各路段全方位交通狀況的問題，設(shè)計(jì)基于無人機(jī)航拍的車輛檢測系統(tǒng)，該系統(tǒng)對車輛在視頻中位置進(jìn)行檢測，并對車輛數(shù)量進(jìn)行統(tǒng)計(jì)。以此作為現(xiàn)有交通管理系統(tǒng)的有力輔助手段。首先設(shè)計(jì)系統(tǒng)的整體框架。接著設(shè)計(jì)實(shí)現(xiàn)基于金字塔L-K光流法的視頻穩(wěn)像，并在NVIDIA Jetson TX1嵌入式平臺上實(shí)現(xiàn)基于深度學(xué)習(xí)的車輛檢測算法。探索在嵌入式平臺上，應(yīng)用ROS系統(tǒng)框架組織多進(jìn)程協(xié)同運(yùn)行與通信。該系統(tǒng)實(shí)現(xiàn)對于現(xiàn)有交通路段上動態(tài)可靠的車輛數(shù)量統(tǒng)計(jì)和車輛在視頻中位置檢測功能，對于視頻的處理幀率達(dá)到14fps。

無人機(jī)航拍；穩(wěn)像；深度學(xué)習(xí)；ROS

0 引言

隨著人們生活水平的提高，汽車數(shù)量的激增為我們的工作生活帶來了極大便利，同時(shí)也為現(xiàn)有交通管理帶來了許多問題。因此智能交通日漸成為加強(qiáng)交通管理、改善交通狀況的手段之一。道路上車輛位置及數(shù)量的檢測便是其中的內(nèi)容之一[1]。目前對于實(shí)現(xiàn)重點(diǎn)路段、停車場等場合車輛監(jiān)測的主要手段是在各路段安裝攝像頭進(jìn)行電子拍攝，但這種方法并不能精確地提供關(guān)于交通車輛的位置及數(shù)量的準(zhǔn)確數(shù)據(jù)。同時(shí)監(jiān)控?cái)z像頭在現(xiàn)有交通中雖然已完備架設(shè)，但不能自由選擇角度檢測，故存在大量的監(jiān)控盲區(qū)。基于無人機(jī)體積小、重量輕、攜帶方便、圖傳清晰等一系列優(yōu)點(diǎn)[2]，針對現(xiàn)有交通監(jiān)控中的不足，本文提出了應(yīng)用無人機(jī)航拍技術(shù)實(shí)現(xiàn)對特殊時(shí)段，重點(diǎn)路段的車輛數(shù)量統(tǒng)計(jì)及在視頻中位置的檢測，彌補(bǔ)現(xiàn)有交通監(jiān)控管理中的不足。實(shí)現(xiàn)對航拍視頻進(jìn)行車輛檢測的算法有基于SIFT算法的運(yùn)動目標(biāo)檢測算法[3]，基于塊分割創(chuàng)建背景，應(yīng)用背景差分進(jìn)行運(yùn)動目標(biāo)檢測算法[4]。以上兩種方法實(shí)現(xiàn)了移動目標(biāo)的檢測，由于航拍視頻具有場景復(fù)雜，目標(biāo)多樣的特點(diǎn)，對于車輛精準(zhǔn)檢測，以上兩種方法并不能達(dá)到理想效果，誤檢與漏檢也比較嚴(yán)重。另外還有基于SVM（支持向量機(jī)）和OCR人工神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法[5]，這種方法彌補(bǔ)了以上兩種算法的不足。由于SVM支持對于較少數(shù)據(jù)量的訓(xùn)練，無需另構(gòu)特征，對于多樣性車輛檢測存在一定不足。

近年來，隨著硬件系統(tǒng)的更新?lián)Q代，深度學(xué)習(xí)算法得到了飛速的發(fā)展。深度學(xué)習(xí)是在多層神經(jīng)網(wǎng)絡(luò)上運(yùn)用各種機(jī)器學(xué)習(xí)算法解決圖像，文本等各種問題的算法集合。在圖像處理中比傳統(tǒng)算法以及人工神經(jīng)網(wǎng)絡(luò)有更高效，精確的優(yōu)勢。所以本文中采用了深度學(xué)習(xí)算法實(shí)現(xiàn)車輛檢測功能。

1 基于無人機(jī)航拍的車輛檢測系統(tǒng)總體設(shè)計(jì)

1.1 系統(tǒng)整體框架設(shè)計(jì)

本文所設(shè)計(jì)的基于無人機(jī)航拍的車輛檢測系統(tǒng)主要由云臺（攝像頭）、無人機(jī)圖像傳輸系統(tǒng)、視頻數(shù)據(jù)處理系統(tǒng)及移動終端組成，如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

本系統(tǒng)使用大疆M100無人機(jī)為基礎(chǔ)框架。由于嵌入式平臺NVIDIA Jetson TX1具有強(qiáng)大的圖像處理性能、豐富的外接接口以及其在深度學(xué)習(xí)方面強(qiáng)大的處理能力，這里將NVIDIA Jetson TX1作為圖像處理平臺（圖1虛線框內(nèi)過程在此平臺下進(jìn)行），用于對航拍視屏做視頻穩(wěn)像和車輛檢測的處理平臺。在航拍的過程中由于自然環(huán)境的影響會出現(xiàn)不確定性的視頻抖動現(xiàn)象，進(jìn)而影響檢測效果，所以需要對無人機(jī)航拍的視頻做穩(wěn)像處理[6]。然后再對穩(wěn)像后的視頻做檢測。

系統(tǒng)應(yīng)用攝像頭進(jìn)行實(shí)時(shí)航拍，將拍攝到的視頻分別傳輸給NVIDIA Jetson TX1嵌入式平臺和圖像傳輸系統(tǒng)。嵌入式平臺分別對視頻數(shù)據(jù)進(jìn)行穩(wěn)像處理和車輛檢測（如圖1虛線框所示），將檢測結(jié)果傳輸?shù)綀D像傳輸系統(tǒng)。由于Lightbridge圖像無線傳輸系統(tǒng)不能傳輸處理后的視頻，所以將原視頻數(shù)據(jù)與車輛檢測信息同時(shí)傳輸?shù)绞謾C(jī)終端顯示。

1.2 軟件框架設(shè)計(jì)

在本系統(tǒng)的嵌入式平臺下需要無人機(jī)航拍，視頻穩(wěn)像與車輛信息檢測三個(gè)模塊同時(shí)運(yùn)行，故應(yīng)用基于ROS（機(jī)器人操作系統(tǒng)）系統(tǒng)框架的系統(tǒng)設(shè)計(jì)方法。ROS系統(tǒng)框架能夠提高代碼的復(fù)用率，它以節(jié)點(diǎn)為基本單元，采用分布式處理框架，這使得可執(zhí)行文件能被單獨(dú)設(shè)計(jì)，并且在運(yùn)行時(shí)松散耦合[7]。將不同的視頻處理階段分別作為ROS系統(tǒng)的節(jié)點(diǎn)，各節(jié)點(diǎn)的處理結(jié)果通過消息傳輸?shù)较鄬?yīng)的節(jié)點(diǎn)。

ROS首先運(yùn)行一個(gè)主節(jié)點(diǎn)（/ros_out），其他進(jìn)程作為ROS子節(jié)點(diǎn)并行運(yùn)行，并且最終通過消息（/ros_out）連接到主節(jié)點(diǎn)。視頻獲取節(jié)點(diǎn)（/image_publisher）獲取從云臺拍攝到的視頻，將視頻數(shù)據(jù)打包成消息發(fā)送到視頻穩(wěn)像節(jié)點(diǎn)（/videoStable）。視頻穩(wěn)像節(jié)點(diǎn)運(yùn)行視頻穩(wěn)像程序?qū)υ曨l進(jìn)行穩(wěn)像處理，并將處理后的視頻數(shù)據(jù)打包成消息（/dji_sdk/videoStab），通過該消息將數(shù)據(jù)傳送給車輛檢測節(jié)點(diǎn)（/ros_detectNet），車輛檢測節(jié)點(diǎn)檢測車輛坐標(biāo)位置、車輛數(shù)量信息，并將該消息發(fā)布給圖像傳輸系統(tǒng)。

圖2 車輛檢測運(yùn)行節(jié)點(diǎn)狀態(tài)圖

本設(shè)計(jì)應(yīng)用了大疆提供的無人機(jī)云臺及其開發(fā)SDK來獲取視頻，可直接獲取分辨率為1280×720的視頻。開發(fā)重點(diǎn)主要在視頻穩(wěn)像和車輛檢測兩個(gè)模塊，下面將對這兩個(gè)模塊做詳細(xì)介紹。

1.3 基于金字塔Lk 光流法的視頻穩(wěn)像

本文應(yīng)用Harris角點(diǎn)檢測、金字塔LK光流法、Kalman濾波算法實(shí)現(xiàn)視頻穩(wěn)像。如圖3所示為本文視頻穩(wěn)像的流程框圖。

圖3 視頻穩(wěn)像框圖

首先對讀入的視頻數(shù)據(jù)進(jìn)行顏色空間轉(zhuǎn)換。然后獲取圖像特征點(diǎn)，本文采用Harris角點(diǎn)檢測算法來實(shí)現(xiàn)對輸入視頻幀數(shù)據(jù)的特征點(diǎn)檢測。這里設(shè)定每1000個(gè)特征點(diǎn)里面取1個(gè)最優(yōu)特征點(diǎn)，以使視頻幀數(shù)據(jù)達(dá)到快速處理并優(yōu)化的效果。將檢測后得到的特征點(diǎn)矩陣輸入到下一步操作。

通過Harris角點(diǎn)檢測得到了視頻幀的特征點(diǎn)矩陣。應(yīng)用金字塔LK光流法來計(jì)算當(dāng)前幀的特征點(diǎn)位置[8]。首先要對接受到的視頻數(shù)據(jù)進(jìn)行金字塔表示。應(yīng)用LK光流法的目的是通過已知幀I內(nèi)特征點(diǎn)位置u，找到它在下一幀J的相關(guān)位置v，d相同特征點(diǎn)為如式（1）：

為了計(jì)算視頻幀J中v的值，需要找到殘差位置向量d=[dxdy]T，使得匹配到的幀圖像殘差函數(shù)?最小，如式（2）。其中I(x,y)表示特征點(diǎn)在I幀內(nèi)位置，J(x+dx,y+dy)表示相同特征點(diǎn)在 I后一幀J中的位置。

通過式（2）找到殘差位置向量d后，結(jié)合式（1）可計(jì)算出圖像J中的特征點(diǎn)矩陣v。

通過以上光流法得到視頻幀J的特征點(diǎn)矩陣v（即公式中dst[i]），同時(shí)通過Harris角點(diǎn)檢測算法計(jì)算得到J前一幀I的特征點(diǎn)矩陣u（即公式中src[i]），可以計(jì)算出兩個(gè)矩陣之間的映射矩陣T，計(jì)算公式如式（4）：

其中通過式（4）可以得到矩陣[A|b]，令T=[A|b]，其中T為2×3的float型矩陣。

最后根據(jù)得到的映射矩陣T計(jì)算出當(dāng)前的補(bǔ)償幀數(shù)據(jù)，即最終視頻數(shù)據(jù)。計(jì)算公式如下（其中矩陣M為前面得到的最優(yōu)映射矩陣）：

為了進(jìn)一步優(yōu)化幀間過度的平滑性，這里應(yīng)用Kalman濾波對映射矩陣做進(jìn)一步濾波處理[9]。本工程中應(yīng)用Kalman濾波算法，根據(jù)整個(gè)視頻幀間的映射矩陣Tt-1估計(jì)當(dāng)前幀的映射矩陣Tt，隨著視頻幀數(shù)據(jù)的依次處理不斷自適應(yīng)更改參數(shù)以調(diào)整獲得最優(yōu)映射矩陣Tt'。

根據(jù)式（5）應(yīng)用經(jīng)過Kalman濾波優(yōu)化后的映射矩陣Tt'計(jì)算出當(dāng)前視頻幀，并將補(bǔ)償?shù)玫降姆€(wěn)定的視頻幀數(shù)據(jù)存儲為下一幀數(shù)據(jù)處理循環(huán)的前一幀數(shù)據(jù)。通過消息（/dji_sdk/videoStab）將該視頻幀發(fā)布出去，為下一步的車輛檢測提供數(shù)據(jù)。

2 基于全卷積網(wǎng)絡(luò)（FCN）的車輛檢測

車輛檢測節(jié)點(diǎn)（/ros_detectNet）接收來自穩(wěn)像節(jié)點(diǎn)通過消息（/dji_sdk/videoStab）發(fā)送的視頻數(shù)據(jù)，應(yīng)用全卷積網(wǎng)絡(luò)對車輛的數(shù)量和位置進(jìn)行快速檢測，并將檢測到的信息發(fā)布給圖像傳輸系統(tǒng)。檢測信息包括檢測到的車輛數(shù)量和每個(gè)被檢測到的車輛在視頻中的位置坐標(biāo)。

本文中用到的DetectNet的FCN子網(wǎng)絡(luò)與GoogLeNet有著相同的結(jié)構(gòu)，沒有數(shù)據(jù)輸入層、最后的池化層和輸出層。相對應(yīng)的這里應(yīng)用了預(yù)訓(xùn)練模型，即減少了模型的訓(xùn)練時(shí)間，又提高訓(xùn)練的準(zhǔn)確率。FCN是沒有全連接層的CNN，這樣它就可以接受不同尺寸的圖像，同時(shí)在預(yù)測階段效率更高。

車輛的數(shù)量和位置的檢測部分主要分3個(gè)步驟完成：（1）擴(kuò)展數(shù)據(jù)集；（2）訓(xùn)練數(shù)據(jù)模型；（3）編寫檢測程序并打包成ROS框架的節(jié)點(diǎn)。

2.1 擴(kuò)充數(shù)據(jù)集

Kitty目標(biāo)檢測數(shù)據(jù)集提供了行人，汽車等8類目標(biāo)檢測的數(shù)據(jù)集[10]，這里應(yīng)用Kitty數(shù)據(jù)集與預(yù)訓(xùn)練模型 GoogLeNet模型對檢測網(wǎng)絡(luò)（detectnet_network.prototxt）進(jìn)行訓(xùn)練與測試。應(yīng)用到實(shí)際的無人機(jī)視角進(jìn)行測試時(shí)對于車輛的檢測與位置效果并不是特別理想。為了能夠綜合考慮無人機(jī)航拍過程中的所有角度，即無人機(jī)水平，俯視與側(cè)視等角度（結(jié)合應(yīng)用背景與無人機(jī)性能，這里采用的是低空俯視角度，高度為10到20米），能夠拍攝到的各種車型，需要對現(xiàn)有數(shù)據(jù)集進(jìn)行擴(kuò)展。

本設(shè)計(jì)中應(yīng)用無人機(jī)實(shí)際拍攝大量的航拍視頻作為樣本數(shù)據(jù)對原有數(shù)據(jù)進(jìn)行擴(kuò)充，并參考Kitty目標(biāo)檢測數(shù)據(jù)集格式，應(yīng)用無人機(jī)航拍得到的視頻制作相對應(yīng)的圖片數(shù)據(jù)與label文件。應(yīng)用擴(kuò)充后的數(shù)據(jù)集對原模型（bvlc_googlenet.caffemodle）進(jìn)行重訓(xùn)練。

2.2 訓(xùn)練數(shù)據(jù)模型

本文中的訓(xùn)練網(wǎng)絡(luò)參考了GoogLeNet FCN（全卷積網(wǎng)絡(luò)）。訓(xùn)練網(wǎng)絡(luò)共分為3部分：（1）接受圖像數(shù)據(jù)及標(biāo)簽參數(shù)層；（2）GoogLeNet FCN用于特征提取、預(yù)測目標(biāo)類及每網(wǎng)格內(nèi)目標(biāo)邊框；（3）損失函數(shù)同步檢測目標(biāo)覆蓋與每網(wǎng)格的目標(biāo)邊框檢測。

在4.1節(jié)的數(shù)據(jù)集里，不同圖像中目標(biāo)的數(shù)量不同。如果采用長度和維度不同的標(biāo)簽格式，對定義目標(biāo)損失函數(shù)十分困難。針對這個(gè)問題，DetectNet使用一種固定的3維度標(biāo)簽格式，使得網(wǎng)絡(luò)可以接受圖像中數(shù)量和尺寸不一的目標(biāo)樣本[11]。

圖4 檢測網(wǎng)絡(luò)處理數(shù)據(jù)

圖4說明了應(yīng)用DIGITS接受帶標(biāo)記的圖像數(shù)據(jù)集訓(xùn)練DetectNet中的數(shù)據(jù)處理過程。根據(jù)數(shù)據(jù)集提供的與每一張圖像對應(yīng)的label文件，DIGITS用一張網(wǎng)格來覆蓋整張圖片，其中每一網(wǎng)格大小略小于圖片中最小目標(biāo)，這樣可以使得每個(gè)目標(biāo)被精確標(biāo)記。其中每個(gè)網(wǎng)格標(biāo)記兩項(xiàng)內(nèi)容，目標(biāo)類別和目標(biāo)邊框到方格中心距離。沒有目標(biāo)的地方標(biāo)為dontcare，像素坐標(biāo)為（0,0,0,0），有目標(biāo)的地方標(biāo)明目標(biāo)類別和相應(yīng)像素坐標(biāo)。覆蓋值0和1也表明該網(wǎng)格內(nèi)是否有目標(biāo)存在。

訓(xùn)練過程如圖5所示，從圖中可以看出在訓(xùn)練開始后很快就成功的學(xué)習(xí)到了車輛特征，目標(biāo)邊框損失函數(shù)和目標(biāo)分類損失函數(shù)實(shí)現(xiàn)很好的收斂。在目標(biāo)得分閾值設(shè)置為0.6的情況下，訓(xùn)練30 epochs后獲得了75%左右的準(zhǔn)確率，召回率達(dá)到62%左右，平均精度mAP為47%左右。

圖5 DetectNet訓(xùn)練過程

應(yīng)用DIGITS對圖5訓(xùn)練的模型進(jìn)行測試，得到結(jié)果如圖6所示。

2.3 車輛檢測在工程中的預(yù)測過程實(shí)現(xiàn)

通過對數(shù)據(jù)集訓(xùn)練已經(jīng)得到權(quán)值模型，在工程中需要應(yīng)用該模型對實(shí)際航拍視頻進(jìn)行實(shí)時(shí)預(yù)測，這里就需要一個(gè)可靠的預(yù)測引擎。由于NVIDIA TensorRT相對于傳統(tǒng)預(yù)測引擎（例如caffe）具有高效的深度學(xué)習(xí)預(yù)測優(yōu)化的特點(diǎn)[12]。所以在實(shí)現(xiàn)統(tǒng)計(jì)車輛數(shù)量與檢測車輛位置坐標(biāo)的這一過程中，應(yīng)用該工具對接收到的視頻數(shù)據(jù)進(jìn)行預(yù)測（即車輛的檢測）。

為了能夠提高檢測車輛的速度，結(jié)合NVIDIA Jetson TX1平臺本身的優(yōu)越性能，在預(yù)測過程中采用了GPU編程方式，數(shù)據(jù)存儲采用CUDA編程中的零拷貝技術(shù)，使得預(yù)測過程花費(fèi)的時(shí)間大大縮減。經(jīng)過試驗(yàn)測試得到檢測平均幀率為10fps。

得到車輛的數(shù)量和位置坐標(biāo)值后通過ROS系統(tǒng)的消息將該信息發(fā)布給無線圖像傳輸系統(tǒng)，最終圖像傳輸系統(tǒng)將視頻與檢測信息發(fā)送給地面手機(jī)端進(jìn)行顯示。

3 實(shí)驗(yàn)結(jié)果與分析

在這一節(jié)中對實(shí)驗(yàn)的結(jié)果做了測試。在穩(wěn)像功能部分為了測試穩(wěn)像效果，采用了幀間差分、特征點(diǎn)位置跟蹤、特征點(diǎn)位置坐標(biāo)幀間差分三種方法。通過具體的曲線圖體現(xiàn)幀間過度的平滑程度（即穩(wěn)像的效果）。在最后的車輛檢測部分，展示了在嵌入式平臺本地檢測結(jié)果，并在手機(jī)終端顯示了本設(shè)計(jì)的運(yùn)行效果。

3.1 穩(wěn)像結(jié)果及分析

視頻穩(wěn)像實(shí)現(xiàn)的是視頻幀間的平滑過渡。為了能夠直觀的體現(xiàn)幀間的這種關(guān)系，首先，用幀間差分的方法直觀查看幀間過渡的平滑程度。對穩(wěn)像前后視頻數(shù)據(jù)分別做幀間差分，然后從幀間差分后的視頻中隨機(jī)抽取了一幀圖像。如圖7所示，可以看到，穩(wěn)像后幀間過渡趨于平滑。

圖7 左圖為穩(wěn)像前幀間差分結(jié)果右圖為穩(wěn)像后幀間差分結(jié)果

圖8所示，為了更直觀的查看穩(wěn)像效果，采用了跟蹤特征點(diǎn)運(yùn)動軌跡的方法。如果視頻抖動劇烈，則特征點(diǎn)運(yùn)動軌跡抖動劇烈。從工程中提取特征點(diǎn)x，y軸的運(yùn)動軌跡，幀間的特征點(diǎn)運(yùn)動軌跡曲線。

圖8 穩(wěn)像處理前后的特征點(diǎn)x，y方向運(yùn)動軌跡

另外，特征點(diǎn)位置的幀間偏導(dǎo)值變化情況也可以反映視頻抖動的程度。如式（8）（9）所示，(x1,y1)，(x2,y2)分別為視頻中某一幀中特征點(diǎn)坐標(biāo)位置和下一幀中同一特征點(diǎn)坐標(biāo)位置。對其相同軸做偏導(dǎo)可以看到視頻幀間的過渡平滑度，即穩(wěn)像效果。

如果視頻抖動越劇烈，則特征點(diǎn)位置的幀間偏導(dǎo)值變化越劇烈。

由圖9看出穩(wěn)像處理后的視頻特征點(diǎn)位置偏導(dǎo)值變化較處理前平滑許多。

3.2 車輛數(shù)量與位置坐標(biāo)檢測結(jié)果及分析

本設(shè)計(jì)的檢測信息主要包括當(dāng)前視野內(nèi)車輛數(shù)量，車輛在當(dāng)前視野內(nèi)的坐標(biāo)位置兩項(xiàng)信息。對航拍視頻做測試的結(jié)果如圖10。

如圖11所示為實(shí)際無人機(jī)工作過程中手機(jī)終端的顯示效果，右上角顯示到了檢測到的汽車數(shù)量，并用紅框具體定位到了檢測到的車輛?；救繖z測到了視野內(nèi)的汽車，在背景嚴(yán)重遮擋的情況下存在少量漏檢或誤檢。

4 結(jié)語

本文設(shè)計(jì)了基于無人機(jī)航拍的車輛檢測系統(tǒng)，結(jié)合當(dāng)前交通管理背景，實(shí)現(xiàn)了無人機(jī)航拍過程中對交通路段的車輛數(shù)量統(tǒng)計(jì)和檢測車輛位置的功能。為現(xiàn)代智能交通管理系統(tǒng)在無線遙感方向的應(yīng)用提供了一定的參考。本系統(tǒng)仍存在一定的缺陷，由于嵌入式平臺本身性能的局限性以及大疆無人機(jī)本身的圖傳系統(tǒng)不能發(fā)送處理后視頻的缺陷，手機(jī)終端顯示時(shí)存在著檢測信息顯示延遲的問題（由圖11可以看出），有待于 進(jìn)一步解決。

圖9 穩(wěn)像前后視頻數(shù)據(jù)的特征點(diǎn)位置x，y方向偏導(dǎo)（上圖為穩(wěn)像前，下圖為穩(wěn)像后）

圖10 對航拍視頻車輛檢測結(jié)果

圖11 手機(jī)終端顯示效果圖

[1]姚偉.基于視頻的車流量檢測系統(tǒng)研究與實(shí)現(xiàn)[D].南昌航空大學(xué),2015.

[2]簡明全.無人機(jī)在交通管理中的獨(dú)有優(yōu)勢[J].中國公共安全,2016（12）：40-44

[3]韓露.基于航拍圖像的目標(biāo)檢測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京理工大學(xué),2015,1

[4]Wang A T,Zhang R.Study of Moving Object Detecting and Tracking Algorithm for Video Surveillance System[J].Proc Spie,2010,7659：76590N-76590N-6.

[5]董建成,蔣樂天.小型無人機(jī)交通輔助系統(tǒng)[J].電子產(chǎn)品世界,2014(11)：49-50.

[6]趙菲.視頻穩(wěn)像技術(shù)研究[D].國防科學(xué)技術(shù)大學(xué),2007.

[7]曹正萬,平雪良,陳盛龍,等.基于ROS的機(jī)器人模型構(gòu)建方法研究[J].組合機(jī)床與自動化加工技術(shù),2015(8)：51-54.

[8]Bouguet J Y.Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm[J].Opencv Documents,1999,22(2)：363-381.

[9]Welch G,Bishop G.An Introduction to the Kalman Filter[M].University of North Carolina at Chapel Hill,1995.

[10]Urtasun R,Lenz P,Geiger A.Are We Ready for Autonomous Driving?The KITTI Vision Benchmark Suite[C].Computer Vision and Pattern Recognition.IEEE,2012：3354-3361.

[11]Andrew Tao,Jon Barker,Sriya Sarathy.DetectNet：Deep Neural Network for Object Detection in DIGITS[EB/OL].(2016-8-11)https：//devblogs.nvidia.com/parallelforall/detectnet-deep-neural-network-object-detection-digits/

[12]NVIDIA.Nvidia TensorRT High Performance Deep Learning Inference for Production Deployment[EB/OL].https：//developer.nvidia.com/tensorrt

Vehicle Detecting System Based on Airborne Video of Drone

HAN Jie，QING Lin-bo，XIONG Shu-hua，HE Xiao-hai
（College of Electronics and Information Engineering,Sichuan University,Chengdu 610064）

Aiming at the problem of how to get status of traffic in real time,designs a system which can be used for detecting positions and numbers of vehicles that are shown in airborne video.And it is used in traffic filed as a potent way.First,designs the system’s integrated framework.Next,explains in detail that the way of stabilizing video based on pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm and realizing algorithm of detecting vehicles based on deep learning on platform of NVIDIA Jetson TX1.At the same time,it is explored of the method that numbers of progresses and communication among progresses are organized by ROS system.Realizes the functions that counting numbers of vehicles and detecting vehicles'positions in the video dynamically and reliably by this system.The frame rate is 14 fps.

Aerial Photography;Video Stabilization;Deep Learning;ROS

成都市科技惠民項(xiàng)目（No.2015-HM01-00293-SF）

1007-1423（2017）32-0058-07

10.3969/j.issn.1007-1423.2017.32.014

韓杰（1990-），男，碩士研究生，研究方向?yàn)槎嗝襟w通信與信息系統(tǒng)

卿粼波（1982-），男，博士，副教授，研究方向?yàn)樾盘柵c信號系統(tǒng)、圖像處理、圖像通信

熊淑華（1969-），女，博士，副教授，研究方向?yàn)槎嗝襟w通信與信息系統(tǒng)

何小海（1964-），男，教授，研究方向?yàn)閳D像處理與信息系統(tǒng)、機(jī)器視覺與智能系統(tǒng)

2017-09-12

2017-10-20