無人駕駛汽車環(huán)境感知技術綜述

王世峰，戴祥，徐寧，張鵬飛

無人駕駛汽車環(huán)境感知技術綜述

王世峰，戴祥，徐寧，張鵬飛

自主行駛機器人包含無人地面行駛車輛、無人航空飛行器和無人水面/水下艦船，它們都具備自主對所行駛/飛行/航行的環(huán)境進行感知和判斷的能力，從而指導機器人行進并到達指定位置。

無人地面行駛車輛也稱作無人駕駛汽車（簡稱無人車），由于近年來新型傳感器的研制和機器學習技術基礎研究的飛速發(fā)展，使得民用無人駕駛汽車的研制在技術上成為可能。國內外的科研機構和企業(yè)紛紛投入智能汽車或無人駕駛汽車的研發(fā)行列，其中一些機構稱將在未來五年內實現(xiàn)無人車的商業(yè)化推廣。

無人車的技術結構主要分為環(huán)境感知、導航定位、路徑規(guī)劃和運動控制四個方面。本文將詳細對環(huán)境感知中的常用技術手段和關鍵技術進行講解與分析，并闡述所涉及使用到的各種傳感器。

1 無人車獲取環(huán)境信息的傳感器

無人車在行駛過程中需要對環(huán)境信息進行實時獲取并處理。從目前的大多數(shù)技術方案來看，激光雷達對周圍環(huán)境的三維空間感知完成了60%～75%的環(huán)境信息獲取，其次是相機獲取的圖像信息，再次是毫米波雷達獲取的定向目標距離信息，以及GPS定位及慣性導航獲取的無人車位置及自身姿態(tài)信息，最后是其他超聲波傳感器、紅外線傳感器等其他光電傳感器獲取的各種信息。

1.1 激光雷達

激光雷達可獲取環(huán)境空間的三維尺寸信息。激光雷達使用遠距測距技術，通過向目標發(fā)射光線并且分析反射光來完成距離的測量。有單線（亦稱單層、二維）和多線（亦稱多層、三維）兩種激光雷達，多線雷達能夠增加一定角度的俯仰，實現(xiàn)一定程度的面掃描。一般在無人駕駛汽車上會結合兩種激光雷達來實現(xiàn)障礙物探測和指導汽車安全通過道路的功能。

1.1.1 單線激光雷達

以德國SICK公司的LMS511單線激光雷達為典型代表，它能夠發(fā)出一條激光束掃描某一區(qū)域，并根據區(qū)域內各點與掃描儀的相對位置返回由極坐標表達的測量值即測量物體與掃描儀掃描中心之間的距離和相對角度。它可以設置多種角度分辨率和掃描頻率組合。該雷達有多種數(shù)據傳遞方式，一般選擇網絡接口傳輸?shù)姆绞?，由上位機向雷達發(fā)送請求，雷達根據請求中的測量要求收集數(shù)據并返回給上位機。

式中，ρ為距離值，θ為相對角度值。為了提高數(shù)據返回速度，常用網絡接口傳輸方式連接上位機。SICK LMS511可以根據需要設置不同角度分辨率和掃描頻率組合。在無人駕駛技術中常使用多個單線激光雷達來協(xié)助實現(xiàn)地形重建。

1.1.2 多激光雷達傳感器

多線激光雷達是指發(fā)射2條或以上的激光束作為探測光的激光雷達，目前以美國Velodyne 公司的HDL-64E S2激光雷達為典型代表，它發(fā)出多達64個激光束，全部安裝在旋轉電機上，其水平探測范圍360°垂直方向探測范圍26.8°。上位機通過串口連接對其發(fā)送控制命令，通過基于UDP 協(xié)議網絡連接返回數(shù)據。因為雷達64對激光發(fā)射器與接收器分為上下兩層，傳輸數(shù)據也分為兩部分。處理收集到的數(shù)據建立幾何模型，首先，由于激光器安放位置不同，而坐標原點應在同一垂直平面因此每一個激光器都有一組校準數(shù)據來協(xié)助建模。

式中，Dcorr為距離校正因子、V0為垂直偏移量、H0為水平偏移量、θ為垂直校正角、α為旋轉校正角。通過每一條激光束返回的距離Dret值和當前激光雷達的旋轉角度γ轉化為激光雷達坐標系中的笛卡爾坐標（Px，Py，Pz）。

激光雷達因其測距精度高、實時性好、抗干擾能力強等優(yōu)點，在障礙檢測、道邊檢測、動態(tài)障礙分類、跟蹤、移動機器人定位和導航中被廣泛使用。

1.2 相機

圖像傳感器—相機能夠獲取環(huán)境彩色景象信息，是無人車獲取環(huán)境信息的第二大來源。相機可選擇的型號和種類非常多樣，可簡單分為單目相機、雙目立體相機和全景相機三種。

1.2.1 單目相機

無人車的環(huán)境成像是機器視覺在車輛上的應用，需要滿足車輛行駛環(huán)境及自身行駛狀況的要求。天氣變化、車輛運動速度、車輛運動軌跡、隨機擾動、相機安裝位置等都會影響車載視覺。無人車任務中對圖像質量要求高，不僅在圖像輸出速度上需要較高幀頻，且在圖像質量上也具有較高要求。

單目相機是只使用一套光學系統(tǒng)及固體成像器件的連續(xù)輸出圖像的相機。通常對無人車任務的單目相機要求能夠對其實現(xiàn)實時調節(jié)光積分時間、自動白平衡，甚至能夠完成開窗口輸出圖像功能。另外，對相機光學系統(tǒng)的視場大小、景深尺度、像差抑制都有一定要求。

值得一提的是以色列Mobileye公司的單目智能相機產品，它將圖像處理及運算部件也集成在同一相機產品之內，完成諸如前向碰撞、行人探測、車道線偏離等檢測功能，其性能在同類產品中具有一定優(yōu)勢。

1.2.2 雙目相機

雙目相機能夠對視場范圍內目標進行立體成像，其設計是建立在對人類視覺系統(tǒng)研究的基礎上，通過雙目立體圖像處理，而獲取場景的三維信息。其結果表現(xiàn)為深度圖，再經過一步處理就可以得到三維空間中的景物，實現(xiàn)二維圖像到三維圖像的重構。但是在無人車任務應用中，雙目相機的兩套成像系統(tǒng)未必能夠完美對目標進行成像和特征提取，也就是說，所需目標三維信息往往不能十分可靠地獲取。

1.2.3 全景相機

以加拿大Point Grey公司的Lady bug相機為代表的多相機拼接成像的全景相機被用于地圖街景成像的圖像傳感器，它是由完全相同6個相機對上方和360° 全周進行同時成像，然后再進行6幅圖像矯正和拼接，以獲得同時成像的全景圖像。使用該全景相機的無人車可以同時獲得車輛周圍環(huán)境的全景圖像，并進行處理和目標識別。

另外，使用魚眼鏡頭的單目相機也能呈現(xiàn)全景圖像，雖然原始圖像的畸變較大，但其計算任務量相對多相機拼接方式較小，且價格低廉，也開始受到無人車領域的重視。

1.3 毫米波雷達傳感器

毫米波雷達傳感器是工作頻率選在30～300 GHz頻域（波長為1～10 mm，即毫米波段）的雷達。其優(yōu)勢在于波束窄，角分辨率高，頻帶寬，隱蔽性好，抗干擾能力強，體積小，重量輕，可測距離遠。雖然沒有激光雷達的探測范圍大，但其較好的指向性和穿透力仍然使其無法被激光雷達替代。根據測量原理不同，毫米波雷達傳感器可分為脈沖方式和調頻連續(xù)波方式兩種。

1.3.1 脈沖方式的毫米波雷達傳感器

采用脈沖方式的毫米波雷達需要在短時間內發(fā)射大功率脈沖信號，通過脈沖信號控制雷達的壓控振蕩器從低頻瞬時跳變到高頻；同時對回波信號進行放大處理之前需將其與發(fā)射信號進行嚴格隔離。

1.3.2 調頻連續(xù)波方式的毫米波雷達

調頻連續(xù)波測距方式的雷達結構簡單、體積小，最大的優(yōu)勢是可以同時得到目標的相對距離和相對速度。當它發(fā)射的連續(xù)調頻信號遇到前方目標時，會產生與發(fā)射信號有一定延時的回波，再通過雷達的混頻器進行混頻處理，而混頻后的結果與目標的相對距離和相對速度有關。

1.3.3 ESR毫米波雷達

ESR（Electronically Scanning Rader）高頻電子掃描毫米波雷達，在其視域內可同時檢測64個目標。該雷達的發(fā)射波段為76～77 GHz，同時具有中距離和遠距離的掃描能力。因為其硬件體積小且不易受惡劣天氣影響等優(yōu)點，仍然被應用于無人車領域，且在商用上被廣泛應用在汽車的自適應巡航系統(tǒng)、汽車防撞系統(tǒng)等產品中。

1.4 超聲波傳感器

超聲波傳感器是利用超聲波的特性研制而成的傳感器。超聲波傳感器的數(shù)據處理簡單快速，檢測距離較短，主要用于近距離障礙物檢測。超聲波在空氣中傳播時能量會有較大的衰減，難以得到準確的距離信息，一般不單獨用于環(huán)境感知，或者僅僅用于對感知精度要求不高的場合，如倒車雷達的探測任務中。

2 無人駕駛汽車環(huán)境感知關鍵技術

無人車使用了多種傳感器進行環(huán)境感知，將這些傳感器安裝于車輛固定位置后，需要對這些傳感器進行標定。在無人車行駛過程中，對環(huán)境感知的要求是極其多樣和復雜的，作為一個地面自主行駛機器人，其應該具備提取路面信息、檢測障礙物、計算障礙物相對于車輛的位置和速度等能力。也就是無人車對道路環(huán)境的感知通常至少包含結構化道路、非結構化道路檢測，行駛環(huán)境中行人和車輛檢測，交通信號燈和交通標志的檢測等能力。

2.1 傳感器標定

通過傳感器標定來確定傳感器輸入與輸出之間的關系，從而完成基礎性的環(huán)境識別。

2.1.1 激光雷達標定

激光雷達與車體為剛性連接，兩者間的相對姿態(tài)和位移固定不變，為了處理數(shù)據的方便性，需要把各個激光雷達的坐標系轉化到統(tǒng)一的車體坐標系上。首先進行對激光雷達外部安裝參數(shù)的標定，然后通過雷達返回的極坐標數(shù)據實現(xiàn)單個激光雷達的數(shù)據轉換，最后實現(xiàn)多個激光雷達數(shù)據轉換。通過（3）實現(xiàn)基準坐標中的轉化。

式中，β0為基準坐標系旋轉的角度，di為掃描距離，i為激光雷達數(shù)據序列號，A是設計采樣步距。通過式（4）實現(xiàn)車輛坐標系建立。

式中，L為激光雷達安裝點到車輛質心的距離沿y軸的分量，HL為激光雷達安裝點離地的高度，HV為汽車質心離地的高度。

2.1.2 相機的標定

相機與車體也為剛性連接，兩者相對姿態(tài)和位置固定不變，相機的標定是為了找到相機所生成的圖像像素坐標系中的點坐標與相機環(huán)境坐標系中的物點坐標之間的轉換關系。從而實現(xiàn)把相機采集到的環(huán)境數(shù)據與車輛行駛環(huán)境中的真實物體對應。

單目相機的標定主要包括對相機模型的建立和對物點坐標的轉換。通過下式可以得到相機環(huán)境坐標系中的物點P(xyc，yvc，zvc) 到圖像像素坐標系中的像點Pi(u，v) 的轉化關系。

式中，f為透鏡的焦距，dx與dy分別為相機傳感器x與y方向的像素單元距離由廠家提供，R*c為3×3的坐標旋轉矩陣，T*c為1×3的坐標平移矩陣，u0與v0為圖像像素中心坐標，zc為相機坐標系下P點的zc軸上的值。（5）忽略實際情況中畸變的誤差。雙目立體相機標定主要包括雙目立體視覺模型建立、雙目圖像去畸變處理、雙目圖像校正、雙目圖像裁切等四個步驟。

2.1.3 相機和激光雷達聯(lián)合標定

相機的每一個像素點和激光雷達的每一個數(shù)據點都對應著三維空間中唯一的一個點，因此能實現(xiàn)激光雷達與相機的空間對準。其中有空間上和時間上兩部分數(shù)據的融合?？臻g上數(shù)據的融合通過下式實現(xiàn)：

式中，R*c為坐標旋轉矩陣，T*c為坐標平移矩陣，Xlv由激光雷達的外參標定，而K–1c為相機內參標定矩陣，U是可見光圖像中投影點的坐標。確定式（6）需要12個參數(shù)，所以要求多次改變標定箱的遠近和方位，使其位置盡可能均勻分布在圖像分辨率的各個位置。時間上的數(shù)據融合是為了解決傳感器在采集數(shù)據時間差異問題的方法。通過GPS獲得絕對時間，給不同的傳感器所記錄數(shù)據進行時間戳標定。

2.2 結構化道路檢測

結構化道路檢測是通過了解具有清晰車道標志線和道路邊界的標準化道路的信息來準確獲得本車相對于車道的位置和方向。

2.2.1 結構化道路的常用假設

由于各地的路況都有一定的區(qū)別，所以只能提供一個簡化的道路場景。因此建立了道路形狀假設、道路寬度和道路平坦假設、道路特征一致假設、感興趣區(qū)域假設等，有助于識別結構化的道路。

2.2.2 直道檢測

在官方制定的行業(yè)標準下，結構化道路的設計和建設都比較規(guī)則，有明顯的區(qū)分道路和非道路的車道線。在視覺導航系統(tǒng)中，利用距相機不遠處的車道線方向變化不大，即曲率變化很小的假設，近似用直線來擬合車道線。

通過車道線邊緣點搜索和車道線邊緣曲線擬合實現(xiàn)直道擬合。

2.2.3 彎道檢測

彎道是公路中必不可少的道路形式，因此需要從道路圖像中檢測出彎曲車道線的邊界，判斷道路彎曲的方向，確定彎道的曲率半徑才能為無人車提供有效的信息。一般公路平面的線形主要分為直線、圓曲線與回旋線，因此選擇俯視圖進行擬合。國內外的彎道檢測辦法主要是基于道路模型的檢測辦法。一般分為三個步驟：建立彎道模型，完成對道路形狀的假設；提取車道線像素點，把每一條車道線的像素點從前景像素點中提取出來作為依據；擬合車道模型，運用檢測到的像素點確定彎道數(shù)學模型的最優(yōu)參數(shù)。

2.2.4 復雜環(huán)境下檢測圖像預處理

實際情況下往往會出現(xiàn)復雜的情況，由于外界環(huán)境光線的變化不均勻導致相機提取的圖像出現(xiàn)多塊純白色和純黑色區(qū)域，讓圖像識別算法失去目標。常用圖像預處理來解決這個問題。其中有：Gamma調節(jié)、灰度映射調節(jié)、直方圖調節(jié)等方法。

由于無人車在車載視覺中的導航圖像對圖像灰度信息、圖像真實性、圖像實時性要求較高，所以圖像預處理方法必須要滿足快速、簡單、合成圖像平滑自然和產生合成痕跡少等要求?？刹捎迷O置長短快門進行多重曝光，用雙目相機中不同相機交替曝光等方法。

2.3 非結構化道路檢測

對于鄉(xiāng)村公路、野外土路等非結構化道路的情況，采用基于機器學習的道路探測，結合探測到的環(huán)境信息和先驗知識庫中的模型，對圖像和數(shù)據進行處理。同時根據環(huán)境的不同來修正預測模型，實現(xiàn)模型不斷更新的效果。

2.4 行駛環(huán)境中目標檢測

根據不同的檢測目標選擇不同的傳感器數(shù)據、不同的處理算法來實現(xiàn)行駛環(huán)境中的目標檢測。

2.4.1 行人檢測

基于HOG特征的行人檢測，HOG特征是一種對圖像局部重疊區(qū)域的密集型描述符，它通過計算局部區(qū)域的梯度方向直方圖來構成人體特征。該方法是提取圖像的HOG特征后通過SVM進行決策的檢測方式。

基于Stixel模型的行人檢測通過融合激光雷達和視頻數(shù)據，可以對目標進行較為準確的檢測。利用激光雷達數(shù)據抽取出感興趣的區(qū)域，再利用視頻圖像識別該目標的屬性，可以有效地實現(xiàn)不同模態(tài)傳感器間的互補，提高傳感器的性能。分為三步：首先處理激光雷達數(shù)據，得到感興趣區(qū)域；再準備圖像數(shù)據，進行基于圖像的行人檢測算法的訓練；最后利用訓練好的分類器，基于感興趣區(qū)域進行行人檢測。

2.4.2 車輛檢測

V-disparity方法是基于立體視覺的障礙物檢測方法。其算法流程為：首先獲取立體圖像對，然后計算得到稠密視差圖，建立V-disparity圖，通過分析V-disparity圖，可以提取出行駛環(huán)境中的路面，從而計算出路面上障礙物的位置。

視覺與激光雷達信息的結合，避免了機器視覺受光照影響和激光雷達數(shù)據不足的問題，實現(xiàn)了傳感器信息的互補，通過建立激光雷達、相機和車體之間的坐標轉換模型，將激光雷達數(shù)據與圖像像素數(shù)據統(tǒng)一到同一坐標中進行識別處理。結合激光雷達的數(shù)據特點選取合適的聚類方法，對聚類后的激光雷達數(shù)據新型形狀匹配和模板匹配，確定感興趣區(qū)域；通過類Haar 特征結合AdaBoss算法在感興趣區(qū)域進行車輛檢測，然后通過車輛在激光雷達中的數(shù)據特征實現(xiàn)Kalman預估跟蹤。

2.4.3 交通信號燈檢測

交通信號燈識別采用的系統(tǒng)結構可分為圖像采集模塊、圖像預處理模塊、識別模塊和跟蹤模塊。

運用基于彩色視覺的交通信號燈識別方法可以檢測到單幀圖像中的交通信號燈。為防止出現(xiàn)誤檢或跟蹤丟失的現(xiàn)象，可以采用基于彩色直方圖的目標跟蹤算法。CAMSHIFT（Continuously Adaptive Mean SHIFT）算法，它可以有效地解決目標變形和遮擋的問題，且運算效率較高。

2.4.4 交通標志檢測

交通標志檢測包括三方面內容：色彩分割、形狀檢測和象形識別。

當光照條件良好時，色彩分割需要通過室外環(huán)境的圖像采樣選取閾值，運用HSV彩色空間的色度和飽和度信息能夠將交通標志從背景中分離出來。

通常情況下交通標志和駕駛方向并不是垂直的。在對圓形標志進行判斷時往往采用基于隨機連續(xù)性采樣的橢圓檢測。而在色彩分割后的邊緣直線可以通過Hough直線變換獲得。選擇相關的模板對處理后的圖像大致分成紅色禁止標志、藍色允許標志和黃色警告標志。

對于每一類交通標志分別設計分類器。首先運用OTSU閾值分割算法對探測到的標志進行預處理，能有效避免光照陰影和遮擋造成的誤差。然后基于算法獲得的圖像運用矩運算提取輻射狀特征，最后選取多層感知器來完成識別內核的目標。輸出相似程度最高的結果。

3 結語

無人駕駛汽車為減少交通事故，優(yōu)化人類時間結構，節(jié)約能源消耗等實際的問題在市場的強烈需求下應運而生。無人車對空間環(huán)境的感知十分依賴于單線或多線的激光雷達，對交通信號燈及交通標志燈圖像信息的采集使用相機來完成，同時應用毫米波雷達等其它傳感器共同進行環(huán)境信息的采集。各種信息數(shù)據的分析與識別使用了多項數(shù)據分析與解算方法，并利用人工智能的機器學習手段進行各種目標的識別工作，從而最終完成無人車的環(huán)境感知任務。

【作者單位：長春理工大學光電工程學院】

（摘自《長春理工大學學報》（自然科學版）2017年1期）