無人車的場景理解與自主運動

薛建儒，李庚欣

（西安交通大學人工智能與機器人研究所，西安 710049）

1 引 言

自動駕駛是目前人工智能領域的研究前沿和熱點技術，將徹底顛覆我們的出行方式，因此受到了學術界、企業(yè)界和各國政府部門等多方面的關注。美國Nature雜志在2015年2月份發(fā)表文章[1]中描繪了無人車技術發(fā)展的三個愿景：更安全、便捷的出行，交通事故將急劇減少；更綠色環(huán)保、車輛共享、擁堵減緩、油耗下降10%；保守估計將節(jié)省出8億個停車位空間，讓位于其他社會生活空間。

自動駕駛技術主要沿自主智能與互聯(lián)智能兩條路線并行發(fā)展：自主智能車，即通過提高車輛自身的智能化水平，利用多傳感融合和魯棒的規(guī)劃控制，使其能夠適應交通環(huán)境。以谷歌公司2012年展出的無人車為典型代表；車聯(lián)網(wǎng)下的自動駕駛，即通過車與車、車與路的網(wǎng)絡通訊，實現(xiàn)整個交通系統(tǒng)的智能。這條技術路線大幅度降低了自動駕駛對車的自主智能水平的要求，例如，紅綠燈、交通標識會和車輛通訊，直接獲得交通規(guī)則，無需考慮高動態(tài)范圍下的紅綠燈和交通標識的識別。毫無疑問，這兩條技術路線最終會交叉融合。

本文主要討論自主智能車這條技術路線的核心問題和關鍵技術。當前市場上已有的、聲稱具備自動駕駛功能的汽車大多只能實現(xiàn)特定條件下的自動駕駛。參照美國汽車工程師學會（SAE）定義的五級自動駕駛水平[2]，現(xiàn)有的自動駕駛距離真正無人自主駕駛尚需經(jīng)過多個不同的自動化階段。SAE的自動駕駛分級按自動駕駛系統(tǒng)對車輛的控制程度分為L1-L5級（不包括零級，零級即無自動化）。L1包括自適應巡航系統(tǒng)、車道保持系統(tǒng)等類似系統(tǒng)。L2級將L1級的環(huán)境感知技術（如車道檢測、前方障礙物檢測與跟蹤等）與運動控制技術集成（如車道保持和自適應巡航控制系統(tǒng)中的車輛橫向縱向控制等），實現(xiàn)跟車、泊車入位、前方障礙物緊急制動等自動駕駛任務。目前市場上聲稱的自動駕駛大多屬L2級。L3級允許駕駛員在少許特定場景中切換到自動駕駛狀態(tài)，比如在高速公路上堵車時。L1-L3級的技術全部需要依靠人類駕駛員處理車輛行駛過程中的緊急情況。L4級（高度自動化）的自動駕駛系統(tǒng)可在大多數(shù)交通環(huán)境中實現(xiàn)自動駕駛。L5級是真正的無需人參與的完全自動駕駛，也是自動駕駛的最高階段。

企業(yè)的自動駕駛研發(fā)重點主要集中在L2、L3級，即人機共駕階段，自動駕駛水平接近L3級。例如，利用過去幾十年在傳統(tǒng)的巡航控制系統(tǒng)中積累的技術，可以讓汽車在公路上自動保持勻速行駛。目前廣泛應用的自適應巡航控制系統(tǒng)可保持適當車速和車距，并可以協(xié)調攝像頭、傳感器收集的信息，利用方向控件使車輛維持在車道中間行駛。

實現(xiàn)真正的無人駕駛遠比人們想象的復雜，現(xiàn)有的自動駕駛水平距離L4級仍然有較大差距，而要實現(xiàn)完全的自動駕駛，需要跨越巨大的技術鴻溝。與現(xiàn)有的自動駕駛系統(tǒng)相比，人類駕駛員還是非常善于避免嚴重車禍的發(fā)生，2011年美國交通安全統(tǒng)計數(shù)據(jù)顯示，綜合所有司機的駕駛情況，大概行車330萬小時會發(fā)生一起致命碰撞，行車64000小時會發(fā)生一起致傷碰撞。這些數(shù)字為自動駕駛系統(tǒng)設立了重要的安全目標，即自動駕駛的最低安全標準不得低于人類駕駛時的標準。因此，自動駕駛的安全性要達到這個標準。顯然，現(xiàn)有自動駕駛技術的安全性遠遠沒有達到這個標準。

為此，本文將綜述自動駕駛所面臨的難點問題，主要聚焦于開放、真實的交通環(huán)境自動駕駛（L4級及以上的自動駕駛）所面臨的挑戰(zhàn)性問題及其研究進展，涵蓋的難點問題包括：準確可靠的場景感知與理解；合理的駕駛決策、規(guī)劃和運動控制。本文的其余部分組織如下：第二節(jié)給出了場景理解和自主運動的定義，第三、四節(jié)分別綜述場景理解和自主駕駛的研究進展，最后總結并探討無人車面臨的挑戰(zhàn)性問題。

2 自動駕駛的核心問題

無人車是一類典型的軟硬件協(xié)同的自主智能運動系統(tǒng)。硬件部分由車輛本體、環(huán)境傳感器、計算平臺、控制和執(zhí)行四個部分構成，如圖1所示。常用的環(huán)境傳感器可分為三大類：相機（以可見光相機為主，也有采用紅外相機）、激光雷達和毫米波雷達，這三類傳感器的感知范圍、作用距離各不相同，選型和安裝配置的基本原則是確保車輛周圍一定距離內360度全覆蓋[3]。

圖1 無人車的硬件系統(tǒng)組成：車輛本體、環(huán)境感知傳感器、計算與執(zhí)行。此圖由文獻［3］修改而成

無人車的軟件部分主要完成傳感數(shù)據(jù)獲取、處理，并形成從感知到運動的閉環(huán)反饋環(huán)路。具體而言，就是通過多傳感器的有效融合得到交通場景的結構化描述，然后通過任務路徑規(guī)劃、駕駛行為決策、軌跡規(guī)劃給出符合交通規(guī)則、安全合理的路徑或軌跡，輸入給運動控制器，進而驅動方向盤和油門/剎車，使車輛跟蹤期望軌跡運動。這一閉環(huán)環(huán)路的形成依賴于對場景理解和自主運動兩個耦合的核心問題的解決。

場景理解就是將來自多個異構、異步傳感器的離散、片面、非完整的場景感知數(shù)據(jù)轉化為決策規(guī)劃的空間與拓撲約束，形成自主運動的決策依據(jù)。行車過程中，司機只需看一眼，可以立刻得到駕駛所需要的所有信息：交通標識、標線及與周邊車輛之間的關系。場景理解的目標就是希望通過傳感器融合，得到與駕駛任務密切關聯(lián)的度量、符號和概念，形成場景的結構化描述。這一問題也是各種移動機器人的共性問題[4，5]。

場景的結構化描述主要表征場景的幾何結構及交通要素的分布，并要能預測結構場景變化。場景理解的計算任務可劃分為底層、中層和高層等三個層次：底層處理，針對場景地圖和定位的深度求取、光流及場景流；中層分析，針對障礙物避讓的檢測與識別、交通規(guī)則；高層理解，針對運動規(guī)劃的場景變化預測。

自主運動就是主動獲取、組織感知數(shù)據(jù)并做出自適應于場景變化的敏捷運動。需要在場景理解給出的運動約束基礎上完成行為決策、局部運動規(guī)劃和反饋控制，最終實現(xiàn)適應交通環(huán)境變化的自主運動。具體而言，一般需要經(jīng)歷四個主要環(huán)節(jié)：路線規(guī)劃、行為決策、運動規(guī)劃和運動控制（如圖2）。第一個環(huán)節(jié)是規(guī)劃路線，可以在地圖上離線計算，其余三個環(huán)境需在線實現(xiàn)。駕駛行為決策就是在沿給定的路線行駛中確定左轉、右轉、車道保持、超車等駕駛行為。局部路徑規(guī)劃就是在確定行為后，讓車根據(jù)環(huán)境感知的結果規(guī)劃路徑或軌跡。運動控制就是通過控制方向盤、油門和剎車使車沿著預期規(guī)劃好的路徑行駛。

3 場景理解

無人車的場景理解的目標就是通過分析處理多傳感器的實時感知數(shù)據(jù)，實現(xiàn)車輛定位、導航和安全行駛。車輛定位和導航需要的幾何度量信息主要包括車輛位置、前方車道線、道路邊界以及和車之間的相對位置關系。安全行駛則需要場景理解給出周圍車輛和行人的運動意圖，以此推測將來一段時間無人車該如何適應場景變化，實現(xiàn)無碰撞的安全行駛。

圖2 實現(xiàn)自主運動的四個環(huán)節(jié)：路徑規(guī)劃、行為決策、運動規(guī)劃和運動控制

如前所述，場景理解的底層處理獲得交通場景的三維信息和運動信息，基礎構建場景的拓撲結構。具體而言，場景的拓撲結構包含的主要信息為周圍有哪幾輛車、它們占據(jù)了哪幾個車道、距道路邊界的距離等多個問題。中層分析與識別交通標志和交通標識，得到交通規(guī)則信息。高層理解主要完成推理和判斷，即當前無人車應該車道保持還是換道、前方路口要左轉還是右轉。最終實現(xiàn)從環(huán)境感知、幾何度量到推理預測的轉變（如圖3所示）。

按照自主運動對場景理解的需求，場景理解可進一步分解為靜態(tài)場景理解和動態(tài)場景理解兩個子問題。

3.1 靜態(tài)場景理解：定位與導航

全球衛(wèi)星定位系統(tǒng)（GPS）與地圖相結合的定位和導航已非常普遍。具體工作過程如圖4所示，GPS給出車輛的當前位置，然后映射到地圖中，從地圖中獲取相應的導航信息。由于GPS信號易受高層建筑物、樹木等的遮擋，無法保證每個時刻都能有效接收。此外，現(xiàn)有的地圖分辨率低、對交通環(huán)境的描述能力有限，不能直接應用于無人車的定位和導航。例如，無人車車道保持所需要的定位精度必須在分米級，自動泊車所需的定位精度必須在厘米級，而現(xiàn)有地圖的定位精度基本在幾十米甚至上百米，對于道路形狀通常用折線表示。

圖3 場景理解要在識別交通要素的基礎上，形成結構化描述，實現(xiàn)從幾何度量到推理預測的轉變

因此需要構建滿足自動駕駛需求的高精度地圖，即通過高分辨率的感知數(shù)據(jù)構建地圖。這種離線創(chuàng)建的地圖一般使用視覺數(shù)據(jù)或激光數(shù)據(jù)，需要解決SLAM（Simultaneous Localization and Mapping）問題[6]。實際地圖創(chuàng)建中，為提高地圖的準確性和精度，也可使用高精度的差分GPS以及高精度慣導系統(tǒng)來實現(xiàn)定位。這時，地圖創(chuàng)建問題就退化為局部拼接問題，可以用最近鄰點集合配準（ICP）算法求解[7]。

圖4 全球衛(wèi)星定位系統(tǒng)與地圖結合的定位與導航示意圖

無人車的定位與導航需要從環(huán)境感知數(shù)據(jù)中提取靜態(tài)場景要素，通過與高精度地圖的匹配，確定無人車在地圖中的位置。定位和導航主要依賴靜態(tài)的場景要素，不考慮運動的車輛和行人等動態(tài)要素。因此，靜態(tài)場景理解的主要任務是從激光點云和圖像等環(huán)境感知數(shù)據(jù)中提取道路邊界、道路寬度、車道數(shù)、車道線位置、車道線屬性（黃線、虛線、實直線）等靜態(tài)場景要素。為實現(xiàn)魯棒精確的靜態(tài)場景要素提取，常用的方法是引入地圖提供先驗信息[3]。

大范圍場景的高精度地圖創(chuàng)建必須解決好三個問題。首先是地圖表征問題。大范圍高精度地圖應該能同時表示拓撲和度量信息，拓撲僅考慮點與點之間的連接關系，無方向和引導信息，度量地圖有方向和引導信息，無人車需要考慮拓撲和度量混合的地圖表征，以期提供更加快速和精準的導航信息。其次，利用多傳感數(shù)據(jù)融合創(chuàng)建地圖需解決時空對齊問題。對于圖像數(shù)據(jù)而言，即幀間特征提取與關聯(lián)問題。目前的主流方法是從圖像中提取旋轉和尺度不變特征點，并進行鄰近幀特征點的關聯(lián)匹配[8]。這種方法的問題是由于圖像特征的局部特性以及場景中存在大量重復紋理，導致誤匹配經(jīng)常發(fā)生。為減少錯誤匹配，直接匹配法基于灰度不變假設，通過像素點幀間匹配創(chuàng)建稠密地圖。這種方法存在灰度不變假設過強、單個像素區(qū)分度不足等缺點，限制了適用范圍。最后，準確估計無人車狀態(tài)需要設計高效的序貫濾波器[9]，根據(jù)傳感器獲取的數(shù)據(jù)不斷進行無人車的狀態(tài)估計。地圖的精度取決于狀態(tài)估計的精度。

車輛行駛中所遇到的場景可劃分為結構化（如高速公路）和非結構化（如鄉(xiāng)村土路等）兩大類。描述這兩類場景的高精度地圖的表達形式不完全相同。例如，地下車庫就是一個典型的非結構化場景，一般用柵格地圖[10]。對結構化場景而言，高精度地圖需要包含車道線信息以及道路邊界信息。由于不能單靠視覺創(chuàng)建地圖，而且多傳感器的數(shù)據(jù)采集頻率和尺度不一致，因此通過激光和視覺的融合來創(chuàng)建場景地圖時需要解決多源傳感器數(shù)據(jù)的時空對齊和尺度統(tǒng)一。圖5是我們提出的一種高效的高維點集配準算法，并將其成功用于車道線級別地圖的創(chuàng)建與定位[11]。

基于高精度地圖與局部感知相結合的精確定位與導航技術已經(jīng)在智能車領域普遍應用。引入高精度地圖可以有效提升環(huán)境感知對于路口的車道引導、特定區(qū)域如收費站的檢測以及交通信號燈的識別。例如，單純依賴計算機視覺算法實現(xiàn)真實交通環(huán)境中交通信號燈的魯棒識別是一個遠未解決的問題。為此，可在地圖里面加入了交通燈位置信息，這樣就可以根據(jù)當前車輛位置預測交通燈出現(xiàn)在圖像的什么區(qū)域，以此減小搜索范圍，會顯著降低虛警率[10]。近期的地圖創(chuàng)建研究中開始引入了語義信息，主要思路是將度量地圖創(chuàng)建、物體識別及場景語義結合起來，實現(xiàn)度量、拓撲和語義的多層次導航地圖[11]。

圖5 車道線場景地圖創(chuàng)建的多源數(shù)據(jù)時空配準及車道線地圖構建[9]

3.2 動態(tài)場景理解：安全行駛

無人車能否遵守交通規(guī)則且安全行駛，取決于對動態(tài)障礙物運動意圖的準確判讀，即需要準確識別車輛、行人的行為模式。圖6與圖7分別給出了路上和路口車輛的行為模式示例。為此，需結合障礙物跟蹤和檢測技術，引入交通規(guī)則的視覺知識表示，同時對人、車混雜交通場景中的突發(fā)事件進行實時檢測與識別。具體而言，就是需要離線建立交通規(guī)則的視覺知識表示，在線識別車輛、行人的行為模式。

交通規(guī)則的視覺知識表示與學習需要準確感知交通場景中靜態(tài)要素與動態(tài)要素的分布可能的運動空間。靜態(tài)的交通場景要素如道路、車道線、紅綠燈等一起組成了場景的交通規(guī)則，同時也構成了動態(tài)要素運動的上下文約束。同時，無人車需實時檢測交通場景的動態(tài)變化及其造成的交通拓撲規(guī)則變化，以便為運動規(guī)劃提供可靠的時空約束。在線行為識別需要克服感知不確定性所引入的誤差及干擾問題。

具體而言，由于運動規(guī)劃是對將來運動的規(guī)劃，因此需要基于當前的場景理解推測出場景動態(tài)要素未來占據(jù)的空間，即需要基于行人、車輛的歷史運動軌跡預測未來一段時間內被這些動態(tài)要素占據(jù)的空間，以便實現(xiàn)安全避讓。

圖6 路上車輛的交通行為模式

圖7 路口車輛交通行為模式

預測行人、車輛的運動意圖需要交通規(guī)則的視覺知識表示。如圖6、圖7所示，通過標注交通場景的感知數(shù)據(jù)或基于目標檢測、跟蹤，得到行人、車輛的位置序列，然后構建運動意圖的預測模型。其中的難點問題是如何設計魯棒的目標檢測與跟蹤算法，尤其是對路口區(qū)域的車輛、行人通行的行為模式表征和識別算法。以往的方法將障礙物的檢測、跟蹤與識別研究視為孤立問題單獨處理，但實際應用中這三個問題緊密耦合，應視為一個整體問題來研究[13]。

圖8 激光與圖像的數(shù)據(jù)融合：3D激光點云投影到圖像中的視覺障礙物檢測，具體方法參見文獻［12］

圖9 融合3D激光點云的視覺障礙物檢測，具體方法參見文獻［14］

另外一個值得關注的問題是多傳感信息融合，大量研究及實驗結果表明，場景感知與理解不能僅靠單個傳感器?，F(xiàn)有的在公開數(shù)據(jù)庫上測試性能最好的行人、車輛的視覺檢測算法在真實交通場景中的檢測率約為80%，并不能滿足無人駕駛需求。我們提出了一種激光數(shù)據(jù)與圖像數(shù)據(jù)融合方法[9]（見圖8），并用于提高視覺目標檢測的準確率[14]（見圖9）。雖然相機與激光雷達可以離線標定，但行車過程中，由于安裝位置會隨車身顛簸，標定誤差會隨距離發(fā)生非線性變化。尤其是自動駕駛對于障礙物的檢測范圍應在100米左右，這時誤差將變得非常大，因此需要在線標定?？砂褕D像里的幾何結構與激光的幾何結構對應，即利用3D點云深度邊緣和圖像邊緣來對應，將三維激光點云數(shù)據(jù)映射到圖像上。然后利用Faster RCNN[15]實現(xiàn)行人和車輛的檢測和識別，對視覺檢測結果用三維點云校驗，有效降低了視覺檢測的虛警率（見圖9）。

圖10是我們提出的視覺主導的無人車場景理解框架。該框架實現(xiàn)了多傳感器信息對齊配準，以及基于高精度地圖的實時定位和行駛移動環(huán)境的理解。這個框架從2010年到現(xiàn)在一直在智能車上進行真實交通環(huán)境的實地驗證，并在不斷改進。

圖10 視覺主導的場景計算框架

目前，場景理解的深度學習方法得到廣泛應用，并在場景圖像的語義標注上取得了令人興奮的結果[16-20]。深度神經(jīng)網(wǎng)絡對每一個像素到底屬于天空、道路，行人還是車輛都可以標注出來。這種語義信息對無人車做出更加智能的運動決策和規(guī)劃將起到堅實的支撐作用。

4 自主運動

無人車運動決策的主要依據(jù)是場景的結構化描述，同時還需考慮場景理解和運動控制的不確定性。例如，提取的場景要素位置存在誤差、車輛運動控制也存在誤差。運動規(guī)劃時必須同時考慮這兩方面的不確定性[21]。為此，通常采用分而治之的策略，采用駕駛行為決策、運動規(guī)劃和運動控制的分層決策架構。

駕駛行為決策通常被定義為要選擇跟車還是超車等問題，相應地運動規(guī)劃就是在車輛的位形空間中搜索最優(yōu)路徑。一般用一個6維向量表示無人車位姿，即3維位置和3個姿態(tài)角。求解運動規(guī)劃時，需先把場景的結構化描述映射到無人車的位姿空間里，然后在位姿空間中尋找一個滿足時空約束的無碰撞位姿序列。運動規(guī)劃分路徑規(guī)劃和軌跡規(guī)劃兩種。運動規(guī)劃輸出的路徑是幾何描述，輸出的軌跡是在幾何信息基礎上增加了時間信息，也就是說每一個時刻對車不僅僅有位置約束，而且對速度也有約束。這個位姿序列是后續(xù)運動控制的期望輸入。車輛運動受非完整性約束，比如有轉彎半徑、速度極限等。如何在同時滿足非完整約束及場景理解給出的時空約束的情況下得到最優(yōu)路徑是運動規(guī)劃問題的核心。

交通環(huán)境往往同時含有結構化場景和非結構化場景。對于結構化場景來講，路徑規(guī)劃可用參數(shù)曲線減少搜索空間。例如，車道保持只要求行駛在車道中間，換道時僅需從當前車道中間換到相鄰車道中間。但對于路口、收費站等非結構化場景則往往需要使用隨機搜索算法。為尋求一種能同時用于結構化和非結構化環(huán)境的運動規(guī)劃算法，我們提出了一種高效的快速擴展隨機樹算法[22]，對非結構化場景的運動規(guī)劃算法RRT進行了擴展，同時能適應結構化場景與非結構化場景。

與分層決策架構不同，最近的研究思路是把決策、規(guī)劃與控制統(tǒng)一考慮，即建立輸入為當前感知信息及駕駛任務，輸出即時動作的一體化決策模型。此時，自主運動就是求解感知到動作間的映射，即駕駛策略。目前針對駕駛策略的研究工作可大致分為以下兩類：

（1）駕駛策略的強化學習方法，通過車輛跟環(huán)境的交互來學會自主駕駛策略[23-27]。無人車面臨交通場景復雜多樣、高度動態(tài)、多智能體并存等情況，因此無人車應具備一定的自主策略學習能力，能夠通過與環(huán)境的自主交互，學習當前環(huán)境和自身狀態(tài)下所應采取的最佳動作，并具備學習和推理能力。

（2）利用端對端的學習則直接建立起場景圖像序列與運動控制序列的映射。這類方法直接跨越了場景理解到運動控制之間的技術鏈路[28，29]，使無人車能夠在復雜交通場景實現(xiàn)類人的自主駕駛。

考慮到多智能體并存所帶來的交通場景的動態(tài)性和不確定性，為更好地與人類駕駛員交互并保證安全，無人車研究需進一步借鑒人類駕駛員的駕駛認知機制，深入研究靈巧、敏捷的自主運動方法。

5 討論與展望

眾所周知，無人車從場景理解到自主運動的技術鏈路已經(jīng)形成，并開始在特定應用場景中落地應用。然而，場景理解與自主駕駛的核心問題遠未解決，還至少存在以下三個挑戰(zhàn)性問題：

第一，與人類駕駛員相比，現(xiàn)有的自動駕駛系統(tǒng)尚處于初期發(fā)展階段。環(huán)境感知依然嚴重依賴激光、毫米波雷達等傳感器，視覺未能充分發(fā)揮作用，也不能應對高水平人類駕駛員輕而易舉的處理實際交通情境。為此，需要構建從底層視覺信息到高層交通模式的映射模型，以提高無人車對動態(tài)復雜場景的適應性。

第二，基于感知-規(guī)劃-決策-控制分層計算架構的無人車越來越明顯地表現(xiàn)出計算效率低、環(huán)境適應性差、自學習能力不足的問題，尤其在應對復雜交通環(huán)境時遠遠不及人類駕駛員。研究者們逐漸認識到一個被長期忽視的問題，即感知-規(guī)劃-決策-控制這一計算過程與人類駕駛員的認知行為過程及其信息處理機制有顯著區(qū)別。人類駕駛員開車是一個不斷對交通場景認知理解的過程。如何參照人類駕駛過程的認知心理層次來理解和處理來自傳感器的環(huán)境感知數(shù)據(jù)？如何讓自主駕駛系統(tǒng)具有記憶、推理和經(jīng)驗更新的機制，從而能夠應對高噪聲、高動態(tài)和強隨機性的交通場景？這些問題的解決將極大提高無人車對環(huán)境的自適應和自學習能力，有望使無人車達到甚至超過人類駕駛員的智能水平。然而解決這些問題已經(jīng)超出了當前無人車的感知-規(guī)劃-決策-控制框架的層次，需要從認知、心理科學層次，探討適合描述人對交通場景認知基本過程的新方法[30]。

最后，無人車的應用必須解決無人車的安全性測試。安全性測試的實質是解決一個小概率事件問題。我們能夠想到的交通場景是有限的，而真實交通場景變化是無窮的。實地測試+仿真+云端這種模式已廣泛使用。具體而言，就是把車輛行駛數(shù)據(jù)上傳到云端，云端基于數(shù)據(jù)改進與更新算法，再升級車的自動駕駛性能。這已經(jīng)驗證為目前無人車走向實際應用的一條可行途徑。