智能車輛環(huán)境感知技術與平臺構建

黃武陵

(中國科學院 自動化研究所，北京 100190)

?

智能車輛環(huán)境感知技術與平臺構建

黃武陵

(中國科學院 自動化研究所，北京 100190)

本文從智能車輛環(huán)境感知功能入手，剖析了感知功能實現(xiàn)及其存在的技術挑戰(zhàn)，實現(xiàn)復雜交通環(huán)境感知所需傳感器，并介紹了車載傳感器融合平臺。分析現(xiàn)有智能車輛環(huán)境感知平臺實現(xiàn)，通過縮微智能車輛載體，介紹了低成本、低功耗的嵌入式環(huán)境感知系統(tǒng)，對于智能車輛功能研發(fā)具有參考意義。

智能車輛；環(huán)境感知技術；車載傳感器；嵌入式計算平臺

引　言

智能車輛技術是自動控制、車輛工程、人工智能、視覺計算與模式識別等學科的綜合載體。隨著機器人與人工智能的發(fā)展，各種技術融入到車輛平臺中，進而提高了車輛智能化水平，實現(xiàn)了從輔助駕駛、自動駕駛到自主駕駛的全過程，將從根本上改變傳統(tǒng)的交通出行方式。從技術實現(xiàn)角度來看，除了車輛平臺的ECU和線控單元之外，還包括多種傳感器模塊、信息融合模塊、智能化計算模塊以及V2X通信模塊等，是多種嵌入式系統(tǒng)的綜合載體。

本文從智能車輛環(huán)境感知功能入手，剖析了感知功能實現(xiàn)及其存在的技術挑戰(zhàn)，實現(xiàn)復雜交通環(huán)境感知所需要的傳感器，并介紹了車載傳感器融合平臺。通過縮微智能車輛載體，介紹了低成本、低功耗的嵌入式環(huán)境感知系統(tǒng)。

1　智能車輛環(huán)境感知技術綜述

1.1智能車輛的總體功能

如圖1所示，智能車輛的軟件功能總體結構可以分為感知層、任務規(guī)劃層、行為執(zhí)行層和運動規(guī)劃層等[8]。其中，環(huán)境感知層融合處理來自車載傳感器的數據，為系統(tǒng)的其他部分提供周圍環(huán)境的關鍵信息，例如車輛的位姿和速度等狀態(tài)信息，道路形狀、停車區(qū)域和交叉路口等道路信息，車輛周邊其他車輛和行人等動態(tài)障礙物信息。局部靜態(tài)障礙物地圖以二維柵格圖展示現(xiàn)實環(huán)境中的無障礙區(qū)域、危險區(qū)域和不可通行區(qū)域。通過道路堵塞信息對不能通過區(qū)域進行估計。

任務規(guī)劃層根據路網信息計算到達下一個任務檢測點的最優(yōu)可行路徑。行為執(zhí)行層將任務規(guī)劃層提供的決策信息與感知層提供的當地交通與障礙信息結合起來，為運動規(guī)劃層產生一系列以離散運動目標形式表達的局部任務。這些期望路線和速度發(fā)送給運動規(guī)劃層，完成如車距保持、超車等行為規(guī)劃。運動規(guī)劃層根據來自行為執(zhí)行層的運動目標生成相應的運動軌跡并執(zhí)行，從而使智能車輛到達該運動目標[4]。

1.2智能車輛環(huán)境感知功能及其挑戰(zhàn)

環(huán)境感知功能是實現(xiàn)自主駕駛的基礎，以視覺傳感器為主的智能車輛環(huán)境感知功能必須能夠檢測和識別行駛車道及周邊的目標，包括結構化道路和非結構化道路信息、行駛環(huán)境中行人和車輛、交通信號燈和交通標志等[3]。

環(huán)境感知功能主要由車載相機、微波雷達和激光雷達等主被動視覺傳感器完成。通過車載相機辨識車道線和交通信號，檢測運動目標等；通過激光雷達的激光點云來建立周邊環(huán)境的3D模型，檢測車輛、行人、樹木、路沿等；通過微波雷達檢測運動目標，檢測車身周圍的移動障礙物及其位置等。最后，將上述傳感器信息融合成如圖2所示的環(huán)境視圖，完成場景感知和理解。

圖2　智能車輛環(huán)境感知場景視圖

智能車輛環(huán)境感知存在的挑戰(zhàn)包括：如何在復雜、動態(tài)和多樣化的交通環(huán)境下，克服傳感器各自物理限制和車輛運動干擾，提高環(huán)境感知精確程度，對動態(tài)目標進行識別與估計，完成交通環(huán)境信息的多視圖數據融合等[1]。

其中，多種因素限制了視覺感知能力。例如，受不同車載傳感器的工作范圍限制，智能檢測到一定范圍和距離、一定大小、某個相對運動方向、一定速度和加速度的目標，感知能力受所在交通環(huán)境的光照、遮擋、雨雪沙塵等自然條件的限制。許多突發(fā)事件形式不可預知，更是難以檢測。只有通過加強傳感器和算法，保證在所有情況下能檢測到所有車輛、行人、道路上的其他移動或靜止的障礙物[12]。

由于計算機視覺技術還處于不斷發(fā)展中，要理解復雜的交通環(huán)境存在不少挑戰(zhàn)，例如由于靜態(tài)和動態(tài)環(huán)境因素，在道路環(huán)境感知與理解、交通信號檢測、動態(tài)障礙物檢測、車輛姿態(tài)估計和定位等方面存在挑戰(zhàn)。由于路面難以和路沿區(qū)分，其幾何特性多變，對非結構化的交通環(huán)境感知存在困難，還需要采用更高性能的傳感器和更好的信息處理算法，結合機器學習車間通信技術擴展功能，解決自身局限性，進一步理解非結構化環(huán)境[2,10,11]。

2　智能車輛環(huán)境感知常用方法

智能車輛環(huán)境感知內容主要包括結構化道路和非結構化道路檢測、行駛環(huán)境中行人和車輛的檢測、交通信號燈和交通標志的檢測等，其感知要素如圖3所示。

圖3　智能車輛環(huán)境感知要素

(1) 結構化道路檢測

道路檢測是智能車輛環(huán)境感知的重要內容，通過檢測車道信息準確獲得車輛相對于車道的位置和方向。城市交通環(huán)境中常見的是結構化道路，有清晰車道標志線和道路邊界的標準道路。在車載視覺系統(tǒng)中，利用距攝像機近處車道線方向變化不大(即道路曲率變化很小)的一般假設，可以用直線來擬合車道線。在道路曲率變化較大的彎道處，可以采用多種曲線形式進行車道擬合[9]。

車道檢測流程主要包括圖像預處理、邊緣提取和二值化等。預處理一般先選定圖像的感興趣區(qū)域，用中值濾波、均值濾波和高斯濾波等消除噪聲，再進行邊緣增強和邊緣提取。通過所采集的車道線信息進行道路區(qū)域與非道路區(qū)域的分割，從而完成道路檢測。

(2) 非結構化道路檢測

鄉(xiāng)村公路等非結構化道路在結構上符合道路的特征，但一般缺少車道線等標志，無法采用結構化道路所用的車道線檢測方法[14]。基于機器學習的檢測算法，識別車道及其邊界的不同顏色和紋理等特征，進行自監(jiān)督樣本選取、特征選取、在線學習、監(jiān)督學習等過程，完成道路檢測。

(3) 行駛環(huán)境中的行人

基于視覺的行人檢測方法主要有基于背景建模的方法和基于統(tǒng)計學習的方法等?；诒尘敖５姆椒ㄊ紫确指畛銮熬?，提取其中的運動目標，然后進一步提取特征、分類判別?；诮y(tǒng)計學習的方法根據大量訓練樣本構建行人檢測分類器，提取的特征一般有目標的灰度、邊緣、紋理、形狀、梯度直方圖等信息。

由于室外場景中的光照變化、遮擋、陰影等影響，導致視覺檢測行人的算法在交通環(huán)境中魯棒性較低。通過激光雷達可以獲得行人在二維平面內的位置、形狀等狀態(tài)估計，因此可以有效地實現(xiàn)行人的狀態(tài)跟蹤。通過融合激光雷達與視頻圖像數據，可以對行人進行較為準確的檢測[13]。

(4) 行駛環(huán)境中的車輛檢測

基于單目視覺的車輛檢測方法可分為基于外觀的方法和基于運動的方法。采用更通用并具魯棒性的特征(如HOG特征、類Haar特征)來對車輛進行檢測。這些特征可被用來直接對圖像中的目標進行分類和檢測[8,15,16]。

激光雷達能夠快速地獲取掃描平面中的距離信息，并獲得障礙物在掃描平面中的外輪廓；機器視覺能夠提供更加豐富的平面信息。通過建立坐標轉換模型，將激光雷達數據與圖像數據統(tǒng)一到同一坐標系中進行處理。結合激光雷達的數據特點選取合適的聚類方法，對聚類后的數據進行形狀匹配和模板匹配，確定感興趣區(qū)域；通過類Haar特征結合AdaBoost算法在感興趣區(qū)域進行車輛檢測，通過車輛在激光雷達中的數據特征可實現(xiàn)Kalman預估跟蹤。

(5) 交通信號燈檢測

在背景環(huán)境相對簡單的情況下，基于色彩特征的交通信號燈識別方法能夠有效地檢測和識別出交通信號燈；對于背景環(huán)境復雜的情況，則容易出現(xiàn)誤檢現(xiàn)象?；谛螤钐卣鞯淖R別方法可有效地減少這類虛警，但需要通過建立形狀特征規(guī)則來實現(xiàn)。基于模板匹配的識別方法同樣需要建立不同樣式的交通信號燈模板或者建立多級的交通信號燈模板。因此，需要綜合上述算法和特征識別方法才能適應環(huán)境的變化，對不同樣式交通信號燈進行識別[18]。

(6) 交通標志檢測

交通標志檢測與識別系統(tǒng)主要包含色彩分割、形狀檢測和驗證、圖形識別等。在良好光照條件時，HSV色彩空間的色度和飽和度信息能夠有效地進行無關顏色過濾，通過室外環(huán)境中實際標牌的圖像采樣可以得到選取閾值。通過Hough直線變換能夠有效地檢測到標志牌的邊緣直線，從色彩空間處理后得到的精確分割圖像，所檢測到的直線可能構成標志牌的三角形或矩形圖像的一部分，分割直線如果封閉，則可以定位候選區(qū)。對于每類交通標志，都需要分別設計分類器，進行圖像的象形識別[7]。

3　環(huán)境感知中的傳感器及嵌入式計算平臺

3.1環(huán)境感知中的傳感器

在智能車輛設計中，常用的環(huán)境感知傳感器包括紅外傳感器、激光雷達、毫米波和微波雷達、(立體)視覺攝像機等，根據各類傳感器的環(huán)境適用特點進行選擇。如圖4所示，典型的無人駕駛車輛所用的傳感器包括Velodyne的64線激光雷達、Point Grey攝像機、IBEO和SICK激光雷達、Applanix POS-LV高精度GPS定位及慣導單元、Continental 測距雷達和輪速傳感器等[5]。

圖4　典型無人駕駛車輛所用傳感器

各種車載視覺傳感器各具特色。相機等被動視覺系統(tǒng)視場寬，側向精度高，成本低，不受其他傳感器影響，可以提供亮度和深度信息，但容易受到環(huán)境中的光照等氣候因素影響。激光雷達等主動傳感器抗干擾能力較強，能提供高精度的測量結果，但對惡劣天氣(如雨、霧、雪等)敏感，受其掃描角及分辨率的影響，對于很細小的柱狀障礙物難以識別。毫米波雷達在惡劣天氣也能提供足夠的精度，但視場較小，側向精度相對較低。

3.2車載環(huán)境感知嵌入式計算平臺

早期無人駕駛車輛平臺，如圖5所示的Stanford的Junior計算系統(tǒng)通過刀片服務器和多個Core2Duo處理器等平臺提供實時處理與計算，計算單元通過高速以太網接口進行信息通信。

圖5　Stanford的Junior車載計算平臺和奧迪自動駕駛汽車ZFAS

由于嵌入式平臺計算能力的提升，現(xiàn)在智能車輛計算平臺一般采用帶有GPU單元的嵌入式處理器來構建。例如，奧迪自動駕駛汽車架構中的駕駛輔助控制器(ZFAS)中的傳感器融合單元核心部件是Nvidia Tegra K1平臺，極大簡化了車載計算平臺。Nvidia Tegra K1平臺如圖6所示。

Nvidia的TK1有4個ARM Cortex-A15內核，192 Kepler GPU集成CUDA，提供327 GFLOPS計算性能，處理CUDA數據時，功率小于6 W(包括SoC和DRAM)，集成了面向傳感器的處理并提供CUDA異步硬件加速，如H.264編解碼引擎和雙MIPI CSI-2相機接口和圖像處理器(ISP)。Tegra K1 VCM運行Linux、Android、QNX、Windows等操作系統(tǒng)，支持網絡更新軟件。Nvidia開發(fā)網提供算法庫支持，有助于加速開發(fā)。Nvidia PX2構建的Drivenet平臺，已在自動駕駛車輛上進行測試[17]。

圖6　Nvidia Tegra K1平臺

流行的深度學習框架如Caffe、Theano、Torch推出CUDA工具庫，大幅提高了圖像識別的準確率。Tegra K1模塊讓車載計算平臺擁有更強的數據處理能力，通過運行深度學習算法來加強車輛感知能力，對各類車載傳感器數據進行處理與分析，進行駕駛決策。嵌入式計算平臺如圖7所示。

圖7　深度學習的車載嵌入式計算平臺

4　智能車輛環(huán)境感知方案

我們在縮微智能車實驗平臺上驗證了環(huán)境感知方案，如圖8所示，使用TK1作為處理模塊和傳感器接口，使用CUDA處理相機的視覺圖像，處理LIDAR激光測距掃描數據，進行車道、交通信號、障礙物和可行駛區(qū)的檢測。通過串口整合GPS模塊、慣性測量單元(IMU)、轉向角和碼盤輪速檢測等傳感器。車載傳感器的感知效果驗證如圖9所示。

圖8　基于Tegra K1的縮微智能車輛感知方案驗證

圖9　車載傳感器的感知效果驗證

縮微智能車輛在傳感器支持下具備路徑規(guī)劃規(guī)避障礙物功能，具備直、彎道、橋梁、交叉路口行駛，超車換道。通過基于GPS路點任務文件進行解析和導航?；谲囕v動力學模型，采用PID實現(xiàn)橫縱向控制。遙操作也可以通過無線網絡加壓縮視頻流來實現(xiàn)。

結　語

由于交通環(huán)境復雜多變，車載傳感器能力各有偏重，如何在復雜交通環(huán)境下，克服傳感器各自物理限制和車輛運動干擾，提高環(huán)境感知精確程度，對動態(tài)目標進行識別與估計，完成交通環(huán)境信息的多視圖數據融合，是智能車輛環(huán)境感知面臨的挑戰(zhàn)。本文對上述問題進行了探討，有助于厘清難點，重點突破。

在面向無人駕駛汽車環(huán)境感知總體任務實現(xiàn)的集成系統(tǒng)中，如何優(yōu)化龐大與昂貴的傳感器系統(tǒng)以及提高多模態(tài)數據融合處理效率，仍需要深入研究。本文提出的基于嵌入式融合平臺開展深度學習的框架，有助于將人工智能技術用于車載多信息融合感知，將極大提升感知能力，對克服其難點具有參考意義。

[1] W Huang,D Wen,J Geng,et al.Task-Specific performance evaluation of UGVs:Case studies at the IVFC[J].IEEE Transactions on Intelligent Transportation Systems,2014,15(5):1969-1979.

[2] M Buehler,K Lagnemma,S Singh,et al.The DARPA Urban Challenge:Autonomous Vehicles in City Traffic[C]//Springer-Verlag Berlin Heidelberg,2009.

[3] 湯淑明,喬昕,黃武陵.無人駕駛車輛測試研究現(xiàn)狀與未來展望[C]//國家自然科學基金委員會視聽覺信息的認知計算重大研究計劃2010年學術交流會,2010:320-326.

[4] 陳清陽,張小波,孫振平,等.非結構化環(huán)境下自主車輛軌跡規(guī)劃方法[J].中南大學學報:自然科學版,2011,42(11):3377-3383.

[5] Michael Montemerlo,Jan Becker,Sebastian Thrun.Junior:The Stanford Entry in the Urban Challenge[J].Field Robot,2008,25(9):569-597.

[6] C Urmson,J Anhalt,D Bagnell,et al.Autonomous driving in urban environments:Boss and the urban challenge[J].2008,25(1):425-466.

[7] MengYin Fu,YuanShui Huang.A survey of traffic sign recognition[C]//Wavelet Analysis and Pattern Recognition (ICWAPR),2010 International Conference,2010.

[8] 王榮本,趙一兵,李琳輝,等.智能車輛的障礙物檢測研究方法綜述[J].公路交通科技,2007,24(11):109-113.

[9] 路順杰.綜合考慮視覺和雷達的車道線檢測研究[D].長春:吉林大學,2015.

[10] 沈峘.智能車輛視覺環(huán)境感知技術的研究[D].南京:南京航空航天大學,2010.

[11] 王科.城市交通中智能車輛環(huán)境感知方法研究[D].長沙:湖南大學,2013.

[12] 陳龍.城市環(huán)境下無人駕駛智能車感知系統(tǒng)若干關鍵技術研究[D].武漢:武漢大學,2013.

[13] 諶彤童.三維激光雷達在自主車環(huán)境感知中的應用研究[D].長沙:國防科技大學,2011.

[14] 周圣硯.基于學習算法的智能車輛非結構化道路檢測技術研究[D].北京:北京理工大學,2014.

[15] 靳璐,付夢印,王美玲,等.基于視覺和毫米波雷達的車輛檢測[J].紅外與毫米波學報,2014,33(5):465-471.

[16] 胡銦,楊靜宇.基于模型的車輛檢測與跟蹤[J].中國圖象圖形學報,2008,13(3):450-455.

[17] Jetson TK1[EB/OL].[2016-07].http://elinux.org/Jetson_TK1.

[18] 徐迪紅,唐爐亮.基于顏色和標志邊緣特征的交通標志檢測[J].武漢大學學報:信息科學版,2008,33(4):433-436.

Intelligent Vehicle Environment Sensing Technology and Platform Construction

Huang Wuling

(Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)

Environment perception provides the basic support for the other intelligent vehicle functions.This paper analyzes the implement of environment perception and its challenges in details,discusses the various sensors used in perception,and introduces the embedded computing platform used in data fusion.By the analysis of the current perception architecture used in our micro intelligent vehicle for verification purpose,this paper brings out a low cost,low-power consumption embedded perception system,which will be a good reference in the intelligent vehicle design.

intelligent vehicle;environment perception;vehicular sensor;embedded computing platform

TP277

A

黃武陵，中國科學院自動化研究所副研究員，中國科學院大學博士，主要從事智能車輛研究，參與和主持了多項國家863和973、交通部和自然基金課題，發(fā)表SCI/EI論文12篇，申請和獲得發(fā)明專利20項。獲北京市科技進步獎、北京市“金橋工程”項目獎、吳文俊人工智能科學技術進步獎、中科院教學成果獎等獎勵。

(責任編輯：薛士然2016-07-07)