劉 飛,陳白帆,胡云卿,潘文波,龍 騰,袁 典
(1.中南大學 自動化學院,湖南 長沙 410083;2. 中車株洲電力機車研究所有限公司,湖南 株洲 412001)
為了確保無人駕駛車輛行駛安全,首先需要讓車輛準確地獲取前方車道的車輛位置及速度、道路邊沿、交通信號燈等環(huán)境信息[1],實現(xiàn)這一功能的必要條件就是為無人駕駛車輛配備攝像頭、激光雷達[2]、超聲波雷達及毫米波雷達等[3]各種傳感器,而傳感器的選擇與布置將影響汽車所獲取信息的有效性和完整性。本文介紹了特斯拉、谷歌、百度等公司經典的傳感器布置方案,在此基礎上結合智軌電車的實際車況并考慮傳感器覆蓋范圍和冗余性,設計了一套合理的智軌電車傳感器布置方案。
無人駕駛車輛作為高度集成的系統(tǒng),所使用的傳感器種類繁多、技術跨度較大,常見的有視覺傳感器、毫米波雷達、激光雷達、超聲波雷達及組合導航(IMU)輪速計等。各大無人駕駛技術研究團隊大多以視覺傳感器、毫米波、激光雷達和超聲波雷達為核心傳感器來構建傳感器布置方案。
車載視覺傳感器主要分為環(huán)視攝像頭和前視攝像頭。環(huán)視攝像頭多用于短距離障礙物的檢測,其開源算法較多、成本較低,但很容易受到光照等環(huán)境因素的影響。對于中距離場景,常用的視覺傳感器主要是前視攝像頭。前視攝像頭分為單目、雙目及三目3 種,能有效檢測獲取車輛前方的障礙物、交通標識等信息。其對于環(huán)境變化的魯棒性表現(xiàn)一般,不僅需要復雜的算法支持[4],而且對處理器的要求也比較高。
毫米波雷達發(fā)射的電磁波信號波長一般為1~12.5 mm。若已知發(fā)射電磁波的速度,可根據發(fā)射信號與反射信號的時間差來計算距離。常用的車載毫米波雷達的頻段為24~77 GHz,不僅成本較低、用途廣、性價比高,而且探測距離遠、精度較高、穿透能力強,能夠全天候工作,在很多高檔轎車上都有應用[5]。由于現(xiàn)有車載毫米波雷達分辨率低、所存在的缺陷難以被發(fā)現(xiàn),且行人的反射波易被其他物體的反射波所埋沒,導致行人目標不易被檢測到,故而存在較大的誤檢可能性。例如,特斯拉公司采用基于毫米波雷達及攝像頭的感知系統(tǒng),其在道路行人較多時會鎖定自動駕駛模式。雖說毫米波雷達對于障礙物測距有著較高的性價比,但檢測行人的效果欠佳,因此目前只被應用于自適應巡航系統(tǒng)等輔助駕駛系統(tǒng)中。
激光雷達按線束可分為單線激光雷達和多線激光雷達。多線激光雷達由于可以獲得更多的采樣點,在構建高精度地圖時有著較大的優(yōu)勢,是無人駕駛感知領域內應用前景最廣的傳感器[6];但是目前線數較高的激光雷達成本較高,且與之配套的算法還不成熟。
超聲波雷達結構簡單、成本較低并且體積也比較小。同環(huán)視攝像頭類似,其主要應用也局限在短距離場景,例如輔助泊車。
考慮到智軌電車與無人駕駛汽車具有眾多相似性以及相同的運行場景,下面將介紹特斯拉、谷歌以及百度公司無人車傳感器布置方案并對比其優(yōu)缺點,其對智軌電車傳感器布置方案的設計具有良好的參考價值和借鑒意義。
特斯拉無人車標配有 8 個攝像頭(圖1),其中后面一個為后視攝像頭(倒車攝像頭),前面是一個三目攝像頭(包括前視寬視野攝像頭、前視主視野攝像頭和前視窄視野攝像頭)的總成件。側后視攝像頭被安裝在翼子板上,位置靠前;側前視攝像頭被安裝在B 柱上,在側后視攝像頭安裝位置之后1 m 的位置。側前視攝像頭和側后視攝像頭的可視范圍部分重疊,這樣就保證了無盲區(qū)。這4 個攝像頭就基本保證了特斯拉無人車的L3 級別的變道、合流、出高速功能[7]。
特斯拉無人車上僅安裝了一個頻率為77 GHz、探測距離為160 m 的博世中程毫米波雷達傳感器(MRR)。此前,特斯拉將毫米波定位為一個輔助的傳感器,結果在2016 年發(fā)生了大卡車撞擊事故[8]。
特斯拉無人車的傳感器布置方案主要依靠視覺,所以其環(huán)境感知中的三維重建是基于二維圖像進行的,二維轉換為三維過程中會存在某些信息缺失現(xiàn)象。從特斯拉公司發(fā)布的視頻來看,發(fā)現(xiàn)其對遠處的物體有誤識別的情況,特別是如下情形:在黑暗的環(huán)境下,毫米波雷達探測范圍內突然出現(xiàn)穿著黑色衣服行人,由于毫米波雷達存在識別行人的短板,而對超聲波雷達而言,目標又太近,視覺傳感器更是難以判別,并且存在視覺欺騙現(xiàn)象。
圖1 特斯拉無人車車載傳感器配置Fig. 1 Sensor-configuration of Tesla driverless vehicle
谷歌Waymo 無人車被設計了一套以激光雷達為主的傳感器配置方案[9](圖2),其激光雷達包括側雷達和頂雷達。側雷達在無人車的前后左右各有一臺,這4臺雷達的配置是一樣的,均為中短距離多線雷達;但不是市面上流行的品種,其與Velodyne 公司HDL-32E 型激光雷達的內芯很相似。側雷達的主要作用是補充感知頂雷達的盲區(qū)。頂雷達被集成在一個很大的整流罩內,這個多合一的頂雷達里除了激光雷達外,還有一臺 360°全景相機。
圖2 谷歌Waymo 無人車車載傳感器配置Fig. 2 Sensor-configuration of Google Waymo driverless vehicle
Waymo 給出了一套以激光雷達為主的強感知方案,擁有超強的感知能力;尤其是高高架起的激光雷達,能夠很好地發(fā)揮其測量距離遠的優(yōu)勢。相對于非常依賴視覺的方案(比如特斯拉的),Waymo 方案的開發(fā)過程要快得多,所以迭代的速度也很快;但是這個方案造價高,要實現(xiàn)量產還需要降低傳感器成本。
百度阿波龍是全球第一款量產型的L4 級無人駕駛巴士,由百度、金龍客車和英特爾3 家公司合作生產:百度公司提供無人駕駛算法支持,金龍客車公司提供客車整車,英特爾公司提供硬件服務。百度阿波龍無人車與谷歌Waymo 無人車類似,擁有一套以激光雷達為主的強感知方案。該無人車擁有先進的感知系統(tǒng),其由激光雷達、毫米波雷達以及攝像頭組成。其中,激光雷達主要用于車身定位以及周圍環(huán)境信息感知;毫米波雷達主要用于障礙物檢測;攝像頭由兩個高動態(tài)范圍的相機模組組成,主要用于識別交通標識。
阿波龍無人車在車前中心位置安裝了前視雙目攝像頭(圖3)。該雙目攝像頭會得到同一物體在左右相機成像平面的像素偏移量,利用像素偏移量、相機焦距和兩個攝像機的實際距離等信息,通過視覺幾何計算,即可得到物體離車輛的距離。后視攝像頭為單目,被安裝在車輛尾部的中心位置,測量距離相對較短[10]。
考慮到傳感器的冗余性,毫米波雷達被安裝在前視雙目攝像頭的上方,在車輛中軸線上,毫米波雷達與攝像頭測量范圍構成重合區(qū)域,從而增強前向障礙物檢測的可靠性。前向毫米波雷達為77 GHz 雷達,具有測量距離遠、受雨霧等惡劣天氣影響小的優(yōu)點。
和大多數無人駕駛解決方案一樣,阿波龍無人車的頂雷達被安裝在車頂視野良好的位置。為填補車頂部雷達的盲區(qū),阿波龍無人車同時安裝了兩個側雷達。
近年來,百度公司的無人駕駛系統(tǒng)研發(fā)取得了飛速發(fā)展,但當路況較為復雜時,百度公司的無人駕駛感知算法的性能還有待提高,離全自動駕駛目標的實現(xiàn)還有著較大的差距。
圖3 百度阿波龍傳感器配置Fig. 3 Configuration of sensors for Baidu Apolong driverless vehicle
基于上述經典無人車傳感器布置方案分析,通過合理排布傳感器的位姿并進行相關標定,結合中車株洲電力機車研究所有限公司研發(fā)的32 m長智軌電車的結構,設計了一套智軌電車傳感器布置方案。
前視部分是正常行車的核心,被要求感知精度高、感知距離遠。在智軌電車的感知系統(tǒng)中,前視部分由兩組立體相機、兩組16 線激光雷達和一組毫米波雷達組成(圖4)。在車身周圍布置一個全方位的超聲波傳感器組,以避免低速時出現(xiàn)近距離碰撞問題。
圖4 前視傳感器布置Fig. 4 Layout of forward-looking sensors
3.1.1 激光雷達與攝像頭的布置
激光雷達被安裝在智軌電車左右兩側車身側前方的位置,約離地面1.2 m(圖4)。
出于對攝像頭視野的考慮,為了避免被遮擋,在智軌電車前視系統(tǒng)安裝了兩套攝像頭(圖5),其中單目攝像頭Mobileye 被安裝在毫米波雷達正上方約20 cm處,雙目攝像頭被安裝在毫米波雷達正上方1.6 m 處。
圖5 智軌電車傳感器整體配置Fig. 5 Overall configuration of sensors for autonomous-rail rapid tram
如圖6 所示,在車輛左右兩側位置安裝了兩個側后方的Mobileye 單目相機,離地面2.8 m。該相機在實時檢測側后方障礙物信息的同時還檢測地面標線,以輔助車道線識別。
圖6 側視傳感器布置Fig. 6 Lateral view of sensor-configuration
3.1.2 毫米波雷達的布置
毫米波雷達一般被布置在車輛中軸線上,外露或隱藏在保險杠內部[11]。在智軌電車傳感器布置方案中,毫米波雷達被安裝在車身正中央、離地面約0.7 m 的位置上(圖4)。雷達波束的中心平面被要求與路面基本平行;考慮雷達系統(tǒng)誤差、結構安裝誤差、車輛載荷變化后,需保證雷達波束的中心平面與路面夾角的最大偏差不超過5°。
毫米波雷達在垂直方向探測角度一般只在±5°范圍內。雷達安裝高度太高,會使下盲區(qū)增大;太低,又會導致雷達波束射向地面,因地面反射帶來雜波干擾,影響雷達的判斷。因此,毫米波雷達的布置高度(即地面到雷達模塊中心點的距離)一般建議在500(滿載狀態(tài))~800 mm(空載狀態(tài))之間。本方案的毫米波雷達被安裝在離地面約0.7 m 的位置,所以存在視野盲區(qū)。
除了上述安裝要求外,毫米波雷達布置時還需要考慮美觀性、安裝可行性、調試便利性和可維護性等因素。
傳感器標定是自動駕駛的基本需求,良好的標定是多傳感器融合的基礎; 一個車上安裝了多個/多種傳感器,而它們之間的坐標關系是需要確定的。
3.2.1 激光雷達的標定
激光雷達與車體為剛性連接,兩者間的相對姿態(tài)和位移固定不變。為了處理數據的方便性,需要把各個激光雷達的坐標系轉化到統(tǒng)一的車體坐標系上[12]:對激光雷達外部安裝參數進行標定,通過雷達返回的極坐標數據實現(xiàn)單個激光雷達的數據轉換,最后實現(xiàn)多個激光雷達數據轉換。通過式(1)實現(xiàn)基準坐標中的轉化。
式中:β0——基準坐標系旋轉的角度;di——掃描距離; i——激光雷達數據序列號;A——設計采樣步距。
通過式(2)實現(xiàn)車輛坐標系建立:式中:L——激光雷達安裝點到車輛質心的距離沿y 軸的分量;γ ——當前激光雷達的旋轉角度;HL——激光雷達安裝點離地的高度;HV——汽車質心離地的高度。
3.2.2 毫米波雷達的標定
毫米波雷達在安裝時需要確保其水平角度、橫擺角度和俯仰角度滿足安裝要求[13]。毫米波雷達安裝角度示意如圖7 所示,其中水平角度和俯仰角度可以通過角度尺和重錘等工具進行測量,并通過調整雷達安裝機構來滿足雷達安裝的角度要求。
圖7 毫米波雷達安裝角度示意Fig. 7 Installation angles of millimeter-wave radar
為了使雷達平面的法向量能夠與車輛縱向對稱平面平行,在車輛正前方 20 m 和 30 m 處分別放置截面積較小的桿狀障礙物作為雷達探測目標。在標定橫擺角的過程中,通過調整機構每次以相同的步長調整雷達橫擺角度,分別測量放置車輛正前方的兩處障礙物的橫向距離,計為D1和D2,并根據式(3)計算橫擺角度標定系數k。當k 被調整到最小值時,即認為雷達探測表面的法向量與車輛縱向對稱平面平行。
3.2.3 相機的標定
進行攝像頭標定需要獲取攝像頭的內、外參數,保證攝像頭的安裝角度符合要求。為了簡化攝像頭測距模型,需要將攝像頭外參數中的橫擺角和水平角調零。首先標定攝像頭的內參數,標定過程采用張正友標定方法[14],使用攝像頭采集不同角度的標準棋盤網格圖像,通過Matlab 標定工具箱計算得到攝像頭的光軸偏移量、焦距、鏡頭畸變等內參數。然后,在攝像頭前設置標準的水平標志物和橫向位置標志物,水平標志物為一把調平的水平尺,橫向位置標志物仍為車輛正前方20 m 和30 m 處放置的障礙物。使用攝像頭進行圖像測量,并以圖像測量結果作為反饋信息將攝像頭的水平角和橫擺角調零。最后進行攝像頭剩余外參數標定,本文采用消失點標定法[15],選取空間中已知間距的兩條平行線標定攝像頭的安裝高度H 和俯仰角θ。
3.2.4 相機與毫米波雷達聯(lián)合標定
在多傳感器探測系統(tǒng)中,要有一個統(tǒng)一的坐標系,因此在使用毫米波雷達和攝像頭進行傳感器融合前必須對兩種傳感器進行聯(lián)合空間標定[16-17],以確保兩種傳感器獲得的數據有一個統(tǒng)一的參照標準,并能互相轉換。
毫米波雷達和攝像頭被分別單獨標定,使雷達探測面的法向量和攝像頭光軸均與車身縱向對稱平面平行,在此基礎上建立雷達投影坐標系Orw-xrwyrwzrw,原點為雷達探測中心點在地面上的投影點,xrw軸指向車身右側, yrw軸指向車輛前進方向,zrw軸為垂直地面方向;攝像頭投影坐標系Ocw-xcwycwzcw的原點為攝像頭光心在地面的投影點,xcw軸指向車身右側,ycw軸指向車輛前進方向, zcw軸為垂直地面方向。雷達投影坐標系與攝像頭投影坐標系是空間中相互平行的兩個坐標系,它們之間的空間相對關系如圖8 所示。
圖8 中,Op-xpyp為圖像坐標系,原點位于圖像的左上角;Oc-xcyczc為攝像頭坐標系,zc軸與攝像頭光軸重合,xc軸和yc軸分別與xp和yp軸平行。根據小孔成像原理,兩個坐標系之間關系如下:
圖8 雷達和攝像頭坐標系示意Fig. 8 Coordinate system of radar and camera
式中:a——毫米波雷達坐標系變換比例;b——攝像頭坐標系數換比例。
根據攝像頭坐標系及攝像頭投影坐標系之間的平移和旋轉關系,可以得到二者之間的坐標轉換公式:
假設地面為平面且目標在地面上,即目標在攝像機投影坐標系當中有zcw=0,則聯(lián)合式(4)和式(5)可以得到由圖像坐標系到攝像頭投影坐標系之間的轉換公式:
在之前毫米波雷達與攝像頭標定工作的基礎上,雷達投影坐標系和攝像頭投影坐標系的相互轉換只需要平移即可實現(xiàn):
根據式(4)、式(6)和式(7),可以得到雷達投影坐標系中任意一點轉換到圖像坐標系中的轉換關系:
式中:cx,cy——光軸偏移量;fx,fy——攝像頭內參數中的焦距,通過標定獲得;Lx,Ly——雷達投影坐標系和攝像頭投影坐標系x 軸之間的間距和y 軸之間的間距,可以通過測量獲得。
一套完整的傳感器布置方案不僅要根據實際車況考慮安裝位置,還要從感知覆蓋范圍、傳感器視野盲區(qū)以及冗余性分析等方面進行分析。
感知要求覆蓋范圍為
式中:V目標——總體感知覆蓋范圍;V前方——智軌電車前方感知覆蓋范圍;V后方——智軌電車后方感知覆蓋范圍;V左側——智軌電車左側感知覆蓋范圍;V右側——智軌電車右側感知覆蓋范圍;sf——前方感知需求橫截面積;h——智軌電車高度;l——車長;w——側方感知寬度。感知實際覆蓋范圍為
式中:V實際——智軌電車實際感知覆蓋范圍;V毫米波雷達——毫米波雷達感知覆蓋范圍;V激光雷達——激光雷達感知覆蓋范圍;V攝像頭——攝像頭感知覆蓋范圍;V超聲波雷達——超聲波雷達感知覆蓋范圍;V感知重疊區(qū)域——各傳感器感知覆蓋范圍重疊部分;sm——毫米波雷達感知橫截面積;s1——激光雷達感知橫截面積;sc——攝像頭感知橫截面積;su——超聲波雷達感知橫截面積; Im——毫米波雷達的感知范圍高度;I1——激光雷達的感知范圍高度;Ic——攝像頭的感知范圍高度;Iu——超聲波雷達的感知范圍高度。
結合式(9)和式(10),可以得到式(11)。代入傳感器樣本參數,計算結果顯示,傳感器覆蓋范圍理論上達到85%,符合基本覆蓋范圍要求(80%以上)。
受傳感器機械安裝位置的限制,智軌電車前向和后向3 維立體空間會存在小范圍的視野盲區(qū),解決辦法是在視野盲區(qū)內安裝超聲波雷達,如圖9 所示。由于在車輛行駛過程中前向視野盲區(qū)并不會對行車造成影響,故在設計中并未在前向增加超聲波雷達。
自動駕駛的安全性和可靠性一直是最為重要的考量[18],如果僅僅只為了實現(xiàn)功能進行設計和開發(fā),也難以滿足量產的需求。因此,對于自動駕駛中的重要功能,還需要考慮冗余設計和布置。
圖9 超聲波雷達覆蓋范圍示意Fig. 9 Ultrasonic radar coverage
如圖5 所示,智軌電車配有視覺、激光雷達和毫米波雷達這3 類傳感器以覆蓋檢測前方的障礙物,這樣在最大程度上能保證前方障礙物不會被漏檢或者虛警。
在重要的前向區(qū)域,除了布置常用的攝像頭,還布置了一個檢測距離相近的超聲波雷達,以保證在攝像頭失效或者出現(xiàn)攝像頭工作受限的狀況下有超聲波雷達依舊可以繼續(xù)進行一定程度的檢測工作。
根據本文設計的傳感器布置方案將激光雷達、毫米波雷達以及攝像頭安裝到智軌電車對應位置。為保證測試的安全性,對智軌電車在駕駛員的看管下在封閉道路進行實車測試。
根據毫米波雷達和攝像頭在智軌電車的實際位置對兩者進行聯(lián)合標定并轉換為同一坐標系;采用生命周期法對毫米波雷達和攝像頭所接收的原始數據進行篩選,剔除虛假目標;再將由毫米波雷達和攝像頭檢測到的目標距離和速度分別與設定閾值進行比較,從而判斷兩者是否為同一目標;最后,采用卡爾曼濾波將判定為同一目標、由毫米波雷達和攝像頭檢測到的障礙物融合為一個有效障礙物目標。圖10(a)示出,在可視化界面的坐標系中能得到毫米波雷達和攝像頭檢測到的有效目標以及兩者融合后的有效障礙物目標;圖10(b)所示為攝像頭檢測實時畫面。在實車測試中,毫米波雷達的測距精度可達0.2 m,測速精度可達0.25 m/s,符合障礙物測距誤差小于0.3 m,測速誤差小于0.5 km/h 的設計精度要求。
圖10 毫米波雷達與攝像頭檢測結果Fig. 10 Detection results of millimeter wave radar and camera
由于本文設計的傳感器布置方案前視傳感器以毫米波雷達和攝像頭為主傳感器,故尚未進行激光雷達的實車測試??紤]到激光雷達在測量精度上優(yōu)卓越性,后續(xù)將進一步研究激光雷達的感知算法。
本文首先介紹了谷歌、特斯拉以及百度公司的3 個經典自動駕駛汽車傳感器布置方案,依次根據實際車況以及應用要求提出了一套針對智軌電車的傳感器布置方案,并且進行了標定以及冗余性分析。本文所提出的傳感器布置方案以毫米波雷達和攝像頭為主要傳感器,實車測試結果表明,該傳感器布置方案能滿足智軌電車對實時運行中障礙物檢測的精度要求以及魯棒性要求。
目前無人車傳感器的布置方案與相關性能對于一些復雜場景暫時還無法滿足探測需求,離實現(xiàn)全自動駕駛還有著較大的差距[19]。后續(xù)將從硬件和軟件兩個方面予以改善:在硬件層面,開發(fā)魯棒性更好、功能更多的低成本環(huán)境傳感器;在軟件層面,結合V2X 車聯(lián)網技術,實現(xiàn)車與其他設施的信息共享,彌補當前算法的缺陷,提高自動駕駛的安全性。