李士堯 魯元博 裴玉龍
摘 要:為完善我國城市道路交通流參數(shù)調(diào)查的技術(shù)手段,提高數(shù)據(jù)統(tǒng)計分析的效率與精度,建立一種基于無人機(jī)航拍與圖像處理的調(diào)查與識別方法。以大疆Phantom 4 Pro無人機(jī)與數(shù)碼相機(jī)為基礎(chǔ),搭建無人機(jī)航拍平臺,實(shí)現(xiàn)交通流圖像的有效采集。在Visual Studio 2017集成編譯環(huán)境下,依托OpenCV開源庫,提出車輛識別跟蹤與測距算法,通過圖像裁剪排除干擾因子,應(yīng)用cvtColor函數(shù)完成灰度化處理,采用中值濾波法實(shí)現(xiàn)圖像的降噪;引入Canny算子檢測車輛邊緣,通過Otsu算法進(jìn)行二值化處理,使用腐蝕操作消除干擾碎片;根據(jù)車輛長寬比與面積建立車輛外接矩形,并儲存其中心點(diǎn),提出基于雙循環(huán)遍歷與冒泡排序的車道標(biāo)定算法,實(shí)現(xiàn)車距的提取與車流量、平均速度和車流密度等參數(shù)的測算。經(jīng)檢驗(yàn),該方法調(diào)查與識別準(zhǔn)確率能夠達(dá)到95%以上,相比于傳統(tǒng)調(diào)查方法,具有簡單和便捷等優(yōu)勢。
關(guān)鍵詞:航拍圖像;OpenCV;濾波;交通流參數(shù);測距
中圖分類號:U 491 文獻(xiàn)標(biāo)識碼:A 文章編號:1006-8023(2018)05-0072-06
Abstract: In order to improve the technical means of the investigation of traffic flow parameters of urban roads in China to improve the efficiency and accuracy of data statistics and analysis, an investigation and recognition method based on UAV aerial photography and image processing was built. Based on Dajiang Phantom 4 Pro UAV and digital camera, a UAV aerial platform was built, which realized the effective acquisition of traffic flow image. In the integrated compilation environment of Visual Studio 2017, relying on the open source library of OpenCV, a vehicle recognition, tracking and ranging algorithm was proposed. The algorithm eliminated interference factors through image cutting, invoked the function of cvtColor to finish grayscale processing, adopted median filter to realize image denoising, introduced the Canny operator to detect the edge of vehicle, realized binarization through the Otsu algorithm and eliminated interference fragments using corrosion operation. According to the vehicle aspect ratio and area, the vehicle external rectangles were established and the center points were stored. An algorithm of lane calibration was proposed based on double loop traversal and bubble sorting method, such that the vehicle distance could be extracted and the parameters of vehicle flow, average speed and vehicle density could be calculated. Through examination, the accuracy of this method can reach over 95%, which is more simple and convenient in comparing with the traditional method.
Keywords: Aerial image; OpenCV; filtering; traffic flow parameter; ranging
0 引言
城市道路交通流數(shù)據(jù)體現(xiàn)了交通工具在道路上的通行狀態(tài),對于制定未來城市交通規(guī)劃以及城市發(fā)展戰(zhàn)略等具有重要的意義[1]。隨著我國城市規(guī)模的不斷擴(kuò)大,交通網(wǎng)絡(luò)日趨復(fù)雜,加之機(jī)動車流量不斷增多,道路交通流參數(shù)的調(diào)查與分析工作變得愈加重要。
城市道路交通流參數(shù)的獲取方法分為直接檢測和間接測算兩種[2-3]。間接測算法在實(shí)際生活中已經(jīng)有了較為成熟的模型[4],但直接檢測法卻往往不夠簡單和便捷,其主要分為固定檢測和移動檢測兩類[5],固定檢測法存在采集數(shù)據(jù)有限及設(shè)備維護(hù)不便等問題,因此,移動檢測法已成為各國主要研究方向,德國的FCD系統(tǒng)[6]、英國的FVDS系統(tǒng)[7]、美國的ADVANCE系統(tǒng)[8]和日本的VICS系統(tǒng)[9]已經(jīng)有了一定的應(yīng)用,而我國在該領(lǐng)域尚處于起步階段,對移動檢測法的研究尚不成熟。
為豐富移動檢測的技術(shù)方法,提高其調(diào)查效率與精度,本文提出了一種基于無人機(jī)航拍的道路交通流參數(shù)調(diào)查與識別方法,利用無人機(jī)采集圖像,應(yīng)用OpenCV開源庫進(jìn)行圖像處理,實(shí)現(xiàn)了對城市道路交通流量、流向、速度和密度等參數(shù)的獲取。
1 試驗(yàn)設(shè)計
試驗(yàn)以無人機(jī)航拍技術(shù)為依托,在考慮相機(jī)畸變、曝光不勻、圖像抖動旋轉(zhuǎn)等一系列問題的基礎(chǔ)上,最終選擇使用大疆Phantom 4 Pro無人機(jī),搭載像素2 000萬、焦距8.8 mm、等效135焦距24 mm、FOV84°、f2.8的相機(jī),以保證航拍圖像質(zhì)量,滿足圖像后期處理的要求。數(shù)據(jù)處理模塊,以O(shè)penCV 3.2及Visual Studio 2017為編譯環(huán)境,進(jìn)行搭建,OpenCV是由Intel公司資助的開源計算機(jī)視覺庫,可實(shí)現(xiàn)圖像處理和計算機(jī)視覺方面的通用算法,如特征檢測與跟蹤和運(yùn)動分析等[10]。
試驗(yàn)流程主要分為三個階段,具體如圖1所示。首先,利用無人機(jī)航拍技術(shù),采集圖像;其次,進(jìn)行圖像處理,識別車輛輪廓,繪制最小外接矩形,定位車道,將車輛輪廓按車道進(jìn)行分離,以矩形中心點(diǎn)為基準(zhǔn)繪制連線,測算距離;最后,整理圖像數(shù)據(jù),計算交通流參數(shù)。
為確保選擇的道路具有代表性,且有足夠的交通流量,選擇了文昌街林大體育館沿線、延興路從文昌街至林興街兩個路段和延興路與林興街、征儀路與學(xué)府三道街兩個交叉口作為試驗(yàn)地點(diǎn)。根據(jù)現(xiàn)場條件、圖像處理和對比分析需求,經(jīng)反復(fù)嘗試,針對路段,最終選擇了100、200 m兩個高度進(jìn)行試驗(yàn);針對交叉口,則選擇了200、300 m兩個高度進(jìn)行試驗(yàn)。在無人機(jī)調(diào)查的同時,采用傳統(tǒng)的人工調(diào)查法進(jìn)行同步記錄,以備后期數(shù)據(jù)校驗(yàn)與分析。
2 車輛識別及測距算法
2.1 灰度化及去噪處理
采集的圖像應(yīng)首先進(jìn)行裁剪處理,以盡可能排除周邊無關(guān)干擾項(停車場和樹林等),方便后續(xù)邊緣檢測。爾后,調(diào)用OpenCV中的轉(zhuǎn)換函數(shù)cvtColor (Input Array src, Output Array dst, int code, int dstCn=0)進(jìn)行灰度化處理[11],將航拍采集的RGB彩色圖像轉(zhuǎn)化為灰度圖像。其中,src為輸入彩色圖像,dst為輸出圖像。
由于所有使用相機(jī)拍攝的圖像都不可避免地含有噪聲[12-14],因此在灰度化處理后,需要對其進(jìn)行濾波去噪。通過對均值濾波、中值濾波及自適應(yīng)濾波的比較與分析,本系統(tǒng)最終選擇方法相對簡單、易于實(shí)現(xiàn),且能較好保護(hù)邊界的中值濾波[15],內(nèi)核大小為Size(3,3)。以200 m高度路段航拍圖為例,處理效果如圖2所示。
2.2 Canny算子邊緣檢測
在對圖像進(jìn)行邊緣檢測時,本系統(tǒng)分別采用了Roberts算子、Sobel算子及Canny算子三種穩(wěn)定、快捷的方法進(jìn)行試驗(yàn)[16]。其中,Roberts算子根據(jù)對角線像素點(diǎn)差值近似度檢測邊緣,但具有對噪聲敏感、不利于進(jìn)一步處理等缺點(diǎn);Sobel算子計算相鄰灰度加權(quán)差,在邊緣達(dá)到極值處檢測邊緣,但對弱邊緣不能保留;Canny算子是以高檢測率、高定位性、單一性為原則的方法,也稱變分法,其既能有效去噪又能使弱邊緣得以保留,因此本系統(tǒng)使用Canny算子檢測。
在圖像邊緣檢測中,有2個關(guān)鍵點(diǎn)需注意[17]:①有效減少噪聲的影響。②客觀、正確地選取閾值。使用Canny算子檢測邊緣難度在于兩個滯后閾值(高閾值和低閾值)的設(shè)置。當(dāng)某一像素位置幅值高于高閾值,則變?yōu)檫吘壪袼兀划?dāng)某一像素位置幅值低于低閾值,則省略該像素;當(dāng)某一像素位置幅值位于兩者之間時,該像素有且僅有在鏈接高閾值像素時保留下來。如果閾值選擇不當(dāng),高閾值將導(dǎo)致邊緣損失,低閾值將使得無關(guān)邊緣增加;如果閾值選取得當(dāng),不僅可以減少噪聲,而且對偽邊緣的抑制有很好的效果[18]。經(jīng)多次試驗(yàn)后發(fā)現(xiàn),當(dāng)高低閾值比為2 : 1至3 : 1時效果最佳。本系統(tǒng)選取150作為高閾值,50作為低閾值。以100 m高度路段航拍圖像為例,處理效果如圖3所示。
2.3 二值化及形態(tài)學(xué)處理
在對圖像進(jìn)行Canny算子邊緣檢測后,為了不讓車輛處的密集邊緣影響圖像的進(jìn)一步處理,需要對圖像進(jìn)行二次中值濾波去噪,本系統(tǒng)采用Size(50,50)大核中值濾波。為進(jìn)一步進(jìn)行閾值操作去噪,提高圖像處理效率,需要對圖像進(jìn)行二值化處理。圖像二值化公式為:
。 (1)
式中:g(x, y)為圖像灰度值;T為二值化變換閾值。
由公式可知,二值化處理的關(guān)鍵在于閾值T的選取[19]。在進(jìn)行閾值選取的方法中,Otsu方法具有較高的穩(wěn)定性[20],其算法通過遍歷灰度圖像的每一個灰度空間,計算灰度的類間方差,不論圖像的直方圖中雙峰是否明顯,均能選取合適的閾值T[21],使兩類像素點(diǎn)灰度值方差呈現(xiàn)最大化。以100 m高度路段航拍圖像為例,處理效果如圖4所示。
由圖4可知,在經(jīng)過大核濾波和二值化處理后,圖像依舊有車道邊緣線以及車道污穢物等干擾因子存在,因此,需進(jìn)一步做形態(tài)學(xué)處理。由于道路上的車輛呈橫向排列,故采用x軸方向的腐蝕操作消除小碎片。腐蝕后效果如圖5所示。
2.4 車輛識別
經(jīng)過一系列圖像處理后,車輛輪廓較為清晰,但由于車輛還具有邊框不明顯以及外界環(huán)境干擾等問題,同時考慮到篩選輪廓后車輛輪廓不便觀察等因素,仍需做進(jìn)一步處理。利用函數(shù)庫中的findContours函數(shù),選擇整體平方誤差(ISE)最小、且迭代時間最短的特征點(diǎn)集提取方法—最小值法[22],存儲特征點(diǎn),并畫出車輛外接矩形。通過矩形面積及其長寬比篩選矩形,如圖6所示。
2.5 車道標(biāo)定及車距計算
在將圖像中所有車輛用矩形圈出后,需要識別車道計算車距。目前,常用的方法是根據(jù)車道線模型的不同采用Hough變換和最小二乘法建立車道線方程[23-24]。由于Hough變換后,會出現(xiàn)多個噪點(diǎn)干擾輪廓區(qū)域,因此本文采用了一種新的算法,可以更加方便、快捷地識別車道。
考慮到本方法的使用地點(diǎn)為城市道路,因此對所提取出來的矩形進(jìn)行中心點(diǎn)計算,并存在容器中,雙循環(huán)遍歷中心點(diǎn),若兩個矩形的中心點(diǎn)距大于矩形的寬度,則創(chuàng)建一個新的車道。
識別車道后,將同一車道的車輛按其x軸坐標(biāo)進(jìn)行冒泡排序[25],以存儲的矩形中心點(diǎn)為中心,標(biāo)記車頭與車尾,計算車頭與車尾中心點(diǎn),繪制連線并測距。最后,將像素點(diǎn)折算為車距,如圖7所示。
2.6 參數(shù)設(shè)置
經(jīng)過上述一系列處理過程,對于100 m高度航拍圖像中的車輛可以較好地識別并計算出車距。然而針對航拍高度較小或者更大的情況,則需要重新設(shè)置。首先是不同高度下二值化閾值的不同,需要遍歷圖像灰度空間的每個灰度,計算每一個灰度的分割閾值的類間方差,使類間方差達(dá)到最大。不同高度下,經(jīng)過對圖像灰度數(shù)據(jù)的遍歷,發(fā)現(xiàn)效果最優(yōu)閾值隨著高度的增加呈現(xiàn)遞增狀態(tài),需對環(huán)境變量對應(yīng)設(shè)置不同的閾值。此外,在對車輛輪廓的篩選階段,拍攝高度越大,車輛相對面積越小,長寬比小范圍增大,需要前期設(shè)定合適范圍。
3 交通流參數(shù)識別
為實(shí)現(xiàn)交通流參數(shù)的識別,參照其統(tǒng)計方法進(jìn)行計算[26],具體如下:
(1)車流量。根據(jù)100 s內(nèi)通過路段的機(jī)動車數(shù)量求得,為了防止數(shù)據(jù)重復(fù),設(shè)立相應(yīng)標(biāo)準(zhǔn)線,對比前后照片計數(shù)而得,記為F。
(2)車輛平均速度。在相應(yīng)標(biāo)準(zhǔn)線的基礎(chǔ)上,隨機(jī)選擇車輛,記錄照片拍攝時間間隔,通過相機(jī)參數(shù)FOV以及無人機(jī)地面高度求得距離。其計算公式為:
式中:L為車輛行駛距離,m;θ為相機(jī)參數(shù)FOV的值,即84°;H為無人機(jī)垂直高度,m;α為照片寬度與照片對角線夾角,(°);Δt為圖像拍攝時間間隔,s;V為車速,km/h。
(3)道路車流密度。計算公式為:
經(jīng)上述計算,即可求得各調(diào)查點(diǎn)的交通流參數(shù)。以文昌街林大體育館沿線、延興路與林興路交叉口為例,其調(diào)查和計算的結(jié)果見表1。由表1可知,與人工調(diào)查法相比,本方法對交通流參數(shù)的調(diào)查與識別準(zhǔn)確率總體可達(dá)95%以上,對車流量的識別精度較高,總體達(dá)97.1%,最大誤差不超過13%;對平均速度的識別精度總體達(dá)96.0%,最大誤差不超過15%;對車流密度的計算精度總體為95.1%。對比不同高度的調(diào)查結(jié)果可知,調(diào)查高度越低,其調(diào)查結(jié)果的準(zhǔn)確率相對越高,這主要是因?yàn)檎{(diào)查高度越低,航拍圖像清晰度越高,其計算結(jié)果更為精確,因此,在未來實(shí)際應(yīng)用過程中,應(yīng)盡量選取較低的調(diào)查高度,以充分保證調(diào)查結(jié)果的準(zhǔn)確性。
4 結(jié)論
本文針對城市道路提出了一種交通流參數(shù)調(diào)查與識別方法。該方法具有圖像處理快捷和準(zhǔn)確的特點(diǎn),在二值化處理與車輛的特征點(diǎn)識別中參考了最新的研究成果,使車輛輪廓更加精準(zhǔn),為后續(xù)操作提供了便捷。此外,本文在利用識別車道分離車輛的算法中進(jìn)行了創(chuàng)新性的思考,使該方法在處理速度和識別精度上有了更加明顯的優(yōu)勢。目前,本方法尚未在極端環(huán)境以及突發(fā)情況(例如有運(yùn)輸車輛的貨車經(jīng)過)下進(jìn)行調(diào)試,后續(xù)研究將在本文基礎(chǔ)上做進(jìn)一步探索和論證。
【參 考 文 獻(xiàn)】
[1]曹蒙蒙. 基于圖像內(nèi)容的交通車輛識別關(guān)鍵技術(shù)[D]. 北京:華北電力大學(xué),2015.
CAO M M. Key technologies of transportation vehicle recognition based on image content[D]. Beijing: North China Electric Power University, 2015.
[2]張汝華,楊曉光,儲浩. 信號采樣理論在交通流檢測點(diǎn)布設(shè)中的應(yīng)用[J]. 中國公路學(xué)報,2007,20(6):105-110.
ZHANG R H, YANG X G, CHU H. Application of signal sampling theory on traffic flow detector layout[J]. China Journal of Highway and Transport, 2007, 20(6):105-110.
[3]馬國旗. 城市道路交通流特征參數(shù)研究[D]. 北京:北京工業(yè)大學(xué),2004.
MA G Q. Research on the technology of urban traffic flow characteristic parameters[D]. Beijing: Beijing University of Technology, 2004.
[4]曹廷,姚東成. 快速路匝道與主線合流區(qū)交通參數(shù)關(guān)系模型[J]. 交通運(yùn)輸研究,2017,3(5):20-25.
CAO T, YAO D C. Relationship model of traffic parameters between expressway and mainline junction[J]. Transport Research, 2017, 3(5):20-25.
[5]崔水兵. 城市動態(tài)路徑誘導(dǎo)系統(tǒng)框架的研究[D]. 上海:上海交通大學(xué),2005.
CUI S B. Study on dynamic route guidance systems[D]. Shanghai: Shanghai Jiao Tong University, 2005.
[6]畢湘利,魏秀琨,朱宏, 等.城軌交通基礎(chǔ)設(shè)施全息化移動檢測及主動維保系統(tǒng)[J]. 中國鐵路,2014,(11):83-87.
BI X L, WEI X K, ZHU H, et al. Holographic movement detection and initiative maintenance system for urban rail transit infrastructure[J]. Chinese Railways, 2014(11):83-87.
[7]SALVO G, CARUSO L, SCORDO A. Urban traffic analysis through an UAV[J]. Procedia-Social and Behavioral Sciences, 2014, 111: 1083-1091.
[8]FERMAN M A, BLUMENFELD D E, DAI X. An analytical evaluation of a real-time traffic information system using probe vehicles[J]. Journal of Intelligent Transportation Systems, 2005, 9(1):23-24.
[9]ZHU Y, GAO N, WANG J, et al. Study on traffic flow patterns identification of single intersection intelligent signal control[J]. Procedia Engineering, 2016, 137:452-460.
[10]代雷,吳迪,張健. 基于OpenCV視覺庫的ESPI圖像增強(qiáng)技術(shù)研究[J]. 電子測量與儀器學(xué)報,2013,27(10):975-979.
DAI L, WU D, ZHANG J. Study on ESPI image enhancement technology based on OpenCV[J]. Journal of Electronic Measurement and Instrument, 2013, 27(10):975-979.
[11]馮云鵬,張娜,馬融. 使用OpenCV技術(shù)實(shí)現(xiàn)的交通檢測系統(tǒng)[J]. 計算機(jī)系統(tǒng)應(yīng)用,2011,20(5):105-108.
FENG Y P, ZHANG N, MA R. Traffic detection system based on OpenCV technology[J]. Computer Systems and Applications, 2011, 20(5):105-108.
[12]TSANAKAS J A, CHRYSOSTOMOU D, BOTSARIS P N, et al. Fault diagnosis of photovoltaic modules through image processing and canny edge detection on field thermographic measurements[J]. International Journal of Sustainable Energy, 2015, 34(6):351-372.
[13]趙浩杰,金德智,李彥杰. 基于OpenCV的彩色目標(biāo)識別[J]. 中國科技信息,2016(2):36-37.
ZHAO H J, JIN D Z, LI Y J. Color target recognition based on OpenCV[J]. China Science and Technology Information, 2016 (2):36-37.
[14]王應(yīng)彪,賈賀鵬,李明, 等.基于OpenCV算法的玉米種子品質(zhì)檢測分級方法研究[J].林業(yè)機(jī)械與木工設(shè)備,2017,45(5):35-39.
WANG Y B, JIA H P, LI M, et al. Research on classification method of corn seed quality based on OpenCV algorithm[J].Forestry Machinery & Woodworking Equipment,2017,45(5):35-39.
[15]姜會亮,郭振民,胡學(xué)龍. 數(shù)字圖像處理中幾種平滑技術(shù)的研究比較[J]. 現(xiàn)代電子技術(shù),2004,27(8):80-81.
JIANG H L, GUO Z M, HU X L. Research and comparison of some techniques of smoothing in digital image processing[J]. Modern Electronics Technique, 2004, 27(8): 80-81.
[16]段紅燕,邵豪,張淑珍, 等. 一種基于Canny算子的圖像邊緣檢測改進(jìn)算法[J]. 上海交通大學(xué)學(xué)報,2016,50(12): 1861-1865.
DUAN H Y, SHAO H, ZHANG S Z, et al. An improved algorithm for image edge detection based on canny operator[J]. Journal of Shanghai Jiaotong University, 2016, 50(12):1861-1865.
[17]FURUKAWA Y, PONCE J. Carved visual hulls for image-based modeling[J]. International Journal of Computer Vision, 2009, 81(1): 53-67.
[18]王小俊,劉旭敏,關(guān)永. 基于改進(jìn)Canny算子的圖像邊緣檢測算法[J]. 計算機(jī)工程,2012,38(14):196-198.
WANG X J, LIU X M, GUAN Y. Image edge detection algorithm based on improved canny operator[J]. Computer Engineering, 2012, 38(14):196-198.
[19]申俊琦,胡繩蓀,馮勝強(qiáng). 激光視覺焊縫跟蹤中圖像二值化處理[J]. 天津大學(xué)學(xué)報,2011,44(4):308-312.
SHEN J Q, HU S S, FENG S Q. Image binarization processing in laser vision seam tracking[J]. Journal of Tianjin University, 2011, 44(4):308-312.
[20]任曉娜. 基于Otsu算法的圖像閥值自動選取算法研究與應(yīng)用[J]. 電子設(shè)計工程,2015,23(11):75-77.
REN X N. Research and application for image automatic threshold selection algorithm based on otsu algorithm[J]. Electronic Design Engineering, 2015, 23(11):75-77.
[21]劉翔. 多閾值OTSU快速算法的研究[D]. 長春:吉林大學(xué),2017.
LIU X. Research on fast algorithm of multi-threshold OTSU[D]. Changchun: Jilin University, 2017.
[22]魏玉業(yè),黃健柏,朱建軍. 平面不規(guī)則曲線特征點(diǎn)的提取[J]. 測繪科學(xué),2009,34(3):97-98.
WEI Y Y, HUANG J B, ZHU J J. The occlusion compensation in the true orthophoto generation[J]. Science of Surveying and Mapping, 2009, 34(3):97-98.
[23]徐美華,張凱欣,蔣周龍. 一種實(shí)時車道線偏離預(yù)警系統(tǒng)算法設(shè)計和實(shí)現(xiàn)[J]. 交通運(yùn)輸工程學(xué)報,2016,16(3): 149-158.
XU M H, ZHANG K X, JIANG Z L. Algorithm design and implementation for a real-time lane departure pre-warning system[J]. Journal of Traffic and Transportation Engineering, 2016, 16(3):149-158.
[24]李碩,汪猛.基于換道起點(diǎn)和終點(diǎn)混合搜索算法的軌跡與行為特征研究[J].公路工程,2017,42(6):116-121.
LI S, WANG M. Research on trajectory and behavior characteristics of hybrid search algorithm based on start and end points of lane change[J].Highway Engineering,2017,42(6):116-121.
[25]王傳欽,曹江濤,姬曉飛. 基于視頻分析技術(shù)的車距測量及預(yù)警系統(tǒng)設(shè)計[J]. 計算機(jī)技術(shù)與發(fā)展,2016,26(9): 87-90.
WANG C Q, CAO J T, JI X F. Design of a vehicle distance measurement and early warning system based on video analysis techniques[J]. Computer Technology and Development, 2016, 26(9):87-90.
[26]巴興強(qiáng),王梅,陳長茂. 冰雪條件下城市道路交叉口交通流特性研究[J]. 森林工程,2012,28(6):83-87.
BA X Q, WANG M, CHEN C M. Traffic flow characteristics of urban road intersections under ice and snow conditions[J]. Forest Engineering, 2012, 28(6):83-87.