計算機視覺在交通中的應(yīng)用綜述

單曉峰 顏新云 江筱薇

摘要：隨著車輛的迅速增長，交通問題日益嚴(yán)重，與計算機視覺技術(shù)的結(jié)合可以更好地利用交通場景中的監(jiān)控視頻和照片來識別獲取相應(yīng)數(shù)據(jù)，為交通問題的解決提供相應(yīng)的支持方案。本文首先介紹了交通問題和計算機視覺原理，然后將計算機視覺在交通場景中的處理對象分為人、車、路三類，分別總結(jié)了相關(guān)應(yīng)用內(nèi)容和方法。最后對計算機視覺在交通中應(yīng)用中存在的問題就行了總結(jié)和展望。

關(guān)鍵詞：交通問題;計算機視覺;視頻處理;圖形圖像處理

中圖分類號：TP311? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）35-0188-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

隨著人口和經(jīng)濟的發(fā)展，交通運輸車輛數(shù)量增長越來越快，由此帶來了一系列交通問題，如交通擁堵問題、行人安全問題、城市規(guī)劃問題等。尤其是在大城市地區(qū)的交通高峰時段問題尤其突出，甚至已經(jīng)成為影響人們工作和生活的重大問題。這一現(xiàn)象給科研人員和政府管理人員帶來巨大壓力和挑戰(zhàn)，如何保障交通系統(tǒng)的有序運轉(zhuǎn)，改善出行環(huán)境，成為交通研究的首要問題。在探索解決和優(yōu)化交通問題的過程中，各種技術(shù)手段陸續(xù)被運用到其中，如GIS地理信息系統(tǒng)、RFID射頻識別、IoT物聯(lián)網(wǎng)等。隨著交通視頻監(jiān)控的加強，視頻處理分析技術(shù)的發(fā)展，計算機視覺技術(shù)因其強大的視頻圖像處理功能，在交通中的應(yīng)用探索越來越廣泛。

1 計算機視覺技術(shù)簡介

計算機視覺技術(shù)在60年代末到70年代初開始進(jìn)入重要發(fā)展存在。通過對相機原理圖、投影和攝影測量工作原理的研究，能開始初步處理模擬人類視覺系統(tǒng)等概念[1]。在幾十年里，計算機視覺結(jié)合計算機、幾何學(xué)、光學(xué)、心理學(xué)等方面內(nèi)容，逐漸涵蓋機器學(xué)習(xí)、圖像處理、模式識別、增強現(xiàn)實等技術(shù)，完成視頻和圖像的更強的處理分析能力。邊緣檢測、特征提取、特征匹配、定位和跟蹤、行為檢測、3D現(xiàn)實優(yōu)化和重構(gòu)等技術(shù)表現(xiàn)了強大的處理能力，為目標(biāo)跟蹤和行為分析等功能提供了堅實的技術(shù)基礎(chǔ)。

從計算機視覺角度分析交通問題，交通中的元素可以歸結(jié)為三大類，即人、車、路[2]。人包括道路上的行人和車輛中的乘客與駕駛員;車泛指交通運輸工具，含陸運和水運等，在本文中研究陸地交通運輸問題;路包括道路、道路上以及道路周側(cè)的交通設(shè)施，如信號燈、交通標(biāo)志等。計算機視覺處理圖像或者視頻的方法主要分為兩類，一類是傳統(tǒng)的機器學(xué)習(xí)方法，一類是近年來流行的基于深度學(xué)習(xí)的方法。傳統(tǒng)的機器學(xué)習(xí)方法處理計算機視覺問題主要為以下幾個步驟的綜合：視頻抽幀、預(yù)處理、分割、特征提取、分類等。其中視頻抽幀是指對視頻進(jìn)行抽取包含需要信息的關(guān)鍵幀圖片，然后對圖像進(jìn)行處理分析;圖像預(yù)處理是對不同圖像尺寸進(jìn)行壓縮處理，得到便于處理的圖像尺寸，然后將彩色圖像進(jìn)行灰度化處理，也可以包括去噪等操作;分割是將特征窗口在圖像上滑動來收集特定的特征來實現(xiàn)?；谏疃葘W(xué)習(xí)的視覺處理方法以各種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型為代表，合并了特征提取、選擇和分類過程，通過端對端訓(xùn)練來自動提取特征，達(dá)到分類效果，這類方法精度高，但是依賴高性能計算硬件。

2 行人等檢測研究

交通問題中人方面的元素主要包括道路上的行人、車輛中的駕駛員、車輛中的乘客等身份識別、行為分析、運動軌跡的研究。

（1）行人

關(guān)于行人的分析，主要可以分為人的檢測、過街意圖分析等。行人的檢測識別包括行人檢測[3]、行人屬性識別[4]、行人過街分析[5]、行人再識別[6]等方面。

行人檢測是判斷在圖像中是否有行人，如果圖像中包含了行人就標(biāo)記出來，并獲取所在位置;行人屬性識別是在行人檢測后，對行人的外觀屬性的研究，包括人的性別、頭部、軀干、腿部、服飾、姿態(tài)等;行人再識別是在行人檢測后，結(jié)合行人的屬性特征，能在不重疊的多攝像頭下追蹤到目標(biāo)行人。通過行人信息的識別，可以幫助公安系統(tǒng)或者其他情況下快速準(zhǔn)確追蹤尋找特定人員。

行人過街意圖主要是通過人體形態(tài)特征或者運動估計方法來預(yù)測行人是否過街。通過判斷行人是否可能會過街，來提醒車輛駕駛員提前減速，或者給無人駕駛車輛提供消息以做出相應(yīng)減速或者停車操作，已達(dá)到減少駕駛員疏忽導(dǎo)致交通事故的目的。

（2）駕駛員

對于駕駛員的分析，主要是通過攝像頭拍攝的駕駛員的面部表情[7]、眼皮瞳孔[8]、三維姿態(tài)[9]、安全帶[10]等信息獲取，通過建模分析得到相應(yīng)狀態(tài)或者行為信息。對駕駛員面部表情監(jiān)控主要包括嘴部是否上下唇長開不合，嘴部是否頻繁出現(xiàn)打哈欠等情況;另外還可以通過獲取眼部信息來判斷駕駛員是否疲勞，比如眼皮是否頻繁閉合，瞳孔直徑眼球轉(zhuǎn)速是否正常等;通過三維姿態(tài)是提取駕駛員的全身特征，獲取骨骼或者關(guān)節(jié)坐標(biāo)，預(yù)測3D姿態(tài)，分析駕駛員不安全行為;通過對圖片中駕駛員區(qū)域獲取后，對駕駛員是否正確系安全帶進(jìn)行檢測，對安全駕駛規(guī)范的落實提供依據(jù)。

（3）乘客

很多公共交通已經(jīng)開始通過上下客門監(jiān)控視頻識別乘客數(shù)量來識別乘客信息[11]和統(tǒng)計客流數(shù)量[12]，也可以進(jìn)行逃票管理和分時段流量分析提供輔助依據(jù)。另外，也有部分公交已經(jīng)開始通過人臉識別來達(dá)到刷臉代替刷卡的功能[13]。公交人臉識別方案因其用戶數(shù)量幾乎要覆蓋城市所有人員，用戶數(shù)量較大，識別功能也需要在移動中進(jìn)行等特點，應(yīng)用難度較大，目前屬于起步階段。

3 車輛檢測研究

從計算機視覺角度對交通中車的研究主要是車輛屬性的識別、車輛重識別與跟蹤[14]等。車輛屬性包括車牌[15]、車輛類型[16]、車標(biāo)[17]、車輛顏色[18]、車輛尾燈[19]等。

車牌識別可以包括車牌定位和字符識別兩類研究。車牌定位可以通過車牌顏色、邊緣、紋理等特征將車牌區(qū)域與其他區(qū)域分割并提取出來，字符識別可以通過模板匹配、灰度特征等方法完成;車輛類型識別是判斷一輛車屬于摩托車、小轎車、貨車等類別，可以通過對車輛尺寸、邊緣、尾燈等特征，結(jié)合分類器、模板匹配等方法實現(xiàn);車標(biāo)是指車輛品牌標(biāo)志，一般位于車的頭部和尾部，具有模型簡單、干擾性小、代表性強等特點，可以領(lǐng)用對稱性等特征定位;車輛顏色識別中會因為不同光照下顯現(xiàn)出不同顏色而增加識別難度，在視覺處理中，多是對光照影響的顏色準(zhǔn)確率提升進(jìn)行研究。車輛尾燈代表了成下一步的行駛狀態(tài)，識別可以分為日間和夜間兩種狀況。夜間尾燈主要包括行車燈和制動燈，可以用來判斷前方是否有機動車，但是由于光照問題，經(jīng)常產(chǎn)生光暈，識別具有一定難度。

車輛重識別是識別在不同拍攝背景中同一車輛的過程，采用車輛各屬性進(jìn)行多特征融合實現(xiàn)車輛的識別。由于隨著拍攝角度、攝像機屬性等變化，加上光照導(dǎo)致的亮度不同，使得同一車輛在圖像中顯示的輪廓、顏色等差異較大，此方面的研究主要包括特征匹配和深度學(xué)習(xí)等應(yīng)用。

4 道路檢驗研究

道路上的計算機元素主要包括道路本身和道路上的元素。道路的視覺研究包括路面類型[20]、車道線[21]等。道路上的元素包括交通信號燈[22]、交通標(biāo)志[23]和拋灑物[24]等。

（1）不同路面的類型

道路的情況也可以分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路。結(jié)構(gòu)化道路是指具有明顯的車道標(biāo)記，根據(jù)車道線的識別能達(dá)到相應(yīng)的效果。非結(jié)構(gòu)化道路是沒有車道線，或者道路邊界不清晰，多為偏僻地區(qū)路徑，這種情況相對復(fù)雜。通過從含有道路的圖片中提取相關(guān)顏色、紋理特征，對道路類型識別為瀝青、水泥、草地和碎石路等類型。不同的路面類型，車輛對應(yīng)的摩擦系數(shù)、側(cè)滑角和操縱性能等參數(shù)也不同。通過對這些參數(shù)的調(diào)整，可以幫助我們在使用無人駕駛系統(tǒng)時，實現(xiàn)對燃油率、牽引力控制系統(tǒng)、自動和半自動懸架系統(tǒng)、防抱死制動系統(tǒng)的有效調(diào)節(jié)。

（2）車道線識別

車道線包括直線類型和彎道類型。對車道線檢測首先可以對圖像中連通度高的部分進(jìn)行分析，判斷是直線還是曲線。直線檢測可以將提取到圖像進(jìn)行坐標(biāo)映射標(biāo)出車道線位置。彎道檢測可以用不同線型擬合來完成。

（3）交通信號燈識別

交通信號燈的識別包括顏色、數(shù)字燈、狀態(tài)的識別。顏色包括紅、綠、黃。數(shù)字燈指部分交通信號燈旁邊具有倒計時秒數(shù)的時間指示。狀態(tài)包括圓形、左轉(zhuǎn)、右轉(zhuǎn)、直行等。交通燈可以通過色彩、形狀、位置等特征檢測。交通燈檢測與識別相對應(yīng)用比較成熟，數(shù)字燈的研究相對較少。

（4）交通標(biāo)志識別

交通標(biāo)志識別，旨在通過警告駕駛員潛在危險來提高駕駛安全性，道路標(biāo)志一般分為七類，危險警告、優(yōu)先、禁止或限制等。傳統(tǒng)識別方法中檢測階段的輸出是圖像邊界框的列表，每個邊界框包含尚未識別的交通標(biāo)志，識別階段的輸出是每個邊界框的類別標(biāo)簽（“停止”“讓路”等）。與其他交通元素一樣，交通標(biāo)志的識別會受光照、遮擋等影響，另外還可能破舊等問題導(dǎo)致標(biāo)志損壞或者褪色，影響識別結(jié)果。通過對交通標(biāo)志的識別，可以幫助司機在行駛中的不合理行為做出提醒，比如警告超速、提醒急轉(zhuǎn)彎等，也可以為導(dǎo)航系統(tǒng)提供信息，糾正導(dǎo)航偏差。另外對于越來越多的道路標(biāo)志的維護(hù)也有一定的幫助，減輕人力負(fù)擔(dān)。

（5）拋灑物識別

高速公路拋灑物是指在車輛行駛過程中，物品從車輛中或者道路外拋到道路中，影響后續(xù)車輛行駛。視頻來源是靜止的高速公路攝像頭，可以根據(jù)距離和時間等參數(shù)判斷短時間內(nèi)是否有靜止拋灑物;如果視頻來源是移動的車輛前置攝像頭，可以通過相關(guān)運動目標(biāo)檢測算法來實現(xiàn)。

5 問題與展望

無論是哪一種類型圖像進(jìn)行檢測識別，一定程度依賴輸入圖像或視頻的質(zhì)量，在惡劣環(huán)境如陰雨天、曝光過度、模糊、遮擋等問題時候，準(zhǔn)確率會受到影響。同時由于視頻或者圖片來源不同，造成的圖片尺寸和景物遠(yuǎn)近比例差距各異，解決實際應(yīng)用中的某類問題不可能依賴一種通用的算法，而且交通中的計算機視覺問題，尤其是應(yīng)用在自動駕駛或者輔助駕駛中時，對實時性和準(zhǔn)確性要求都非常高，所以研究者們?nèi)匀辉诓粩嗵剿鹘煌ㄖ械挠嬎銠C視覺應(yīng)用。

參考文獻(xiàn)：

[1] Levine， Martin D. Vision in man and machine[M]. McGraw-Hill， 1985.

[2] 焦建彬.計算機視覺與智能交通[J].人工智能，2019（6）：50-56.

[3] Juan A. Antonio-Velázquez， Romero M . Pedestrians detection methods in video images： A literature review[C]//2018 International Conference on Computational Science and Computational Intelligence （CSCI），2018.

[4] Sun R， Huang Q， Fang W， et al. Attributes-based person re-identification via CNNs with coupled clusters loss[J]. Journal of Systems Engineering and Electronics， 2020， 31（1）： 45-55.

[5] Fang? Zhijie，? Vázquez? David，? López? Antonio? M.? On-Board? Detection? of? Pedestrian Intentions[J]. Sensors （Basel， Switzerland）. 2017， 17（10）： 2193.

[6] Bazzani? L，? Cristani? M，? Perina? A，? et? al.? Multiple-Shot? Person? Re-identification? by? HPE? Signature[C]. International Conference on Pattern Recognition，2010.

[7] Ali M ， Abdullah S ， Raizal C S ， et al. A Novel and Efficient Real Time Driver Fatigue and Yawn Detection-Alert System[C]// 2019 3rd International Conference on Trends in Electronics and Informatics （ICOEI），2019.

[8] J. Ma， J. Zhang， Z. Gong and Y. Du， "Study on Fatigue Driving Detection Model Based on Steering Operation Features and Eye Movement Features，" 2018 IEEE 4th International Conference on Control Science and Systems Engineering （ICCSSE）， Wuhan， China， 2018：472-475.

[9] FANG? H? S，? XIE? S，? TAI? Y? W，? et? al.? Rmpe：? Regional? multi-person? pose estimation[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017： 2334-2343.

[10] S. Chun et al.， "NADS-Net： A Nimble Architecture for Driver and Seat Belt Detection via Convolutional Neural Networks，" 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）， Seoul， Korea （South）， 2019：2413-2421.

[11] C. James and D. Nettikadan， "Student Monitoring System for School Bus Using Facial Recognition，" 2019 3rd International Conference on Trends in Electronics and Informatics （ICOEI）， Tirunelveli， India， 2019：659-663.

[12] 張莊. 智能公交車載終端的研制[D]. 哈爾濱：黑龍江大學(xué)，2019.

[13] 李松剛.人臉識別在城市公交領(lǐng)域中的應(yīng)用[J].城市公共交通，2020（5）：29-30.

[14] Zuoyu Miao， K. Larry Head， Byungho Beak. Vehicle Reidentification in a Connected Vehicle Environment using Machine Learning Algorithms. 2018，2672（45）：160-172.

[15] Han Jing， Yao Jian， Zhao Jiao， et al. Multi-Oriented and Scale-Invariant License Plate Detection Based on Convolutional Neural Networks. 2019， 19（5）.

[16] 張志永. 監(jiān)控場景下車型識別與檢測算法研究[D].鄭州：鄭州大學(xué)，2019.

[17] Vehicle Logo Recognition Based on Enhanced Matching for Small Objects， Constrained Region and SSFPD Network.[J]. Liu Ruikang，Han Qing，Min Weidong，Zhou Linghua，Xu Jianqiang.? Sensors （Basel， Switzerland），2019（20）.

[18] K. Kim et al.， "Vehicle Color Recognition via Representative Color Region Extraction and Convolutional Neural Network，" 2018 Tenth International Conference on Ubiquitous and Future Networks （ICUFN）， Prague， 2018：89-94.

[19] 付強. 智能汽車交通燈識別方法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2016.

[20] Haoying Wu， Hao Gao， Shifeng Wang and Daimin Jiang， "Recognition of road type for unmanned vehicle based on texture and color features，" 2017 2nd International Conference on Image， Vision and Computing （ICIVC）， Chengdu， 2017：189-193.

[21] Zhicheng Zhang，Xin Ma. Lane Recognition Algorithm Using the Hough Transform Based on Complicated Conditions[J]. Journal of Computer and Communications，2019，7（11）.

[22] Yabuuchi Kento，Hirano Masahiro，Senoo Taku，Kishi Norimasa，Ishikawa Masatoshi. Real-Time Traffic Light Detection with Frequency Patterns Using a High-speed Camera[J]. Sensors （Basel， Switzerland），2020，20（14）.

[23] 汪輝輝.基于嵌入式的交通標(biāo)志識別器的設(shè)計[D].成都：電子科技大學(xué)，2020.

[24] 談愷旻. 基于三維立體視覺的高速公路交通異常識別系統(tǒng)設(shè)計與實現(xiàn)[D].南京：東南大學(xué)，2019.

【通聯(lián)編輯：梁書】