王玉龍,張劍鋒,閔 歡,覃小藝,李 智
拓撲地圖的路口局部路徑生成策略
王玉龍1,2,張劍鋒1,閔 歡1,覃小藝1,李 智1
(1.廣州汽車集團股份有限公司汽車工程研究院,廣東 廣州 510641;2.湖南大學汽車車身先進設計制造國家重點實驗室,湖南 長沙 410082)
交叉路口是自動駕駛開發(fā)過程中面臨的復雜交通場景,采用高精度地圖方案成本高昂,而僅通過車載傳感器難以有效識別路口形狀,因此,提出了一種基于開源拓撲地圖與視覺可行駛區(qū)域檢測技術的路口局部路徑規(guī)劃算法。首先,基于開源拓撲地圖采用A*算法規(guī)劃全局導航路徑作為引導線,然后通過語義分割技術識別當前可行駛區(qū)域,并結合車輛實時定位信息,在路口確定局部路徑的起點、終點與一組備選控制點,最后采用貝塞爾曲線插值方法,得到備選路徑的曲線簇,根據(jù)多維度加權代價函數(shù)結果選取最優(yōu)局部路徑,進而實現(xiàn)車輛在路口轉彎過程的自動駕駛。實驗結果表明,該策略能夠在不依賴高精地圖的情況下,在路口處有效規(guī)劃出局部路徑,提高自動駕駛車輛在路口處的通過能力,路口通過率可達99%。該策略不依賴高精地圖和激光雷達,對于自動駕駛量產降本具有重大意義。
自動駕駛;局部路徑規(guī)劃;交叉路口;拓撲地圖;計算機視覺
自動駕駛汽車的研究是世界交通運輸領域的前沿,路徑規(guī)劃是其中的重點和難點。當前主流的路徑規(guī)劃方案是依賴高精地圖和激光雷達[1-3],利用完備的道路環(huán)境信息進行全局和局部路徑規(guī)劃。高精地圖具有完備的道路結構化信息,簡化了路徑規(guī)劃的復雜度,但存在高精地圖制作困難、使用維護成本高等問題。
針對路口場景,由于缺少車道線等結構化信息,且路口形狀復雜,使得路口的局部路徑規(guī)劃變得異常困難。MOREAU J等人[4]采用非線性運動學車輛模型和貝塞爾曲線進行路口局部路徑規(guī)劃,將其轉化為優(yōu)化問題進行規(guī)劃路徑的求解。李飛琦等人[5]則通過建立高精度先驗地圖數(shù)據(jù)庫,并利用多項式擬合的策略生成路口軌跡。這些方法都是基于已有的精確參考路徑的前提下,根據(jù)車輛的位置進行路徑跟隨,對地圖精度要求高。
但高精度地圖由于采集、標注工作量極大,使用成本較高,基于視覺和非高精度地圖的自動駕駛方案會有更大的量產可能性。路徑規(guī)劃需要獲取道路信息,通過對視覺傳感器獲取的道路圖像進行語義分割,能夠提取路面信息,檢測出當前可行駛區(qū)域。語義分割通常采用全卷積神經網絡(Fully Convolutional Networks, FCN)、擴張卷積等深度神經網絡模型,近年來又發(fā)展出采用最小監(jiān)督和對抗模型等策略的語義分割算法。同時,道路級精度的導航地圖也在自動駕駛研究中得到應用。AWANG等人[6]提出使用開源街景地圖(Open Street Map, OSM)與視覺里程計進行全局定位,BALLARDINI A L等人[7]則提出基于圖像語義分割與電子地圖的匹配進行路口定位的方法。
綜上所述,研究不依賴高精地圖且能夠靠低成本視覺感知進行實時路徑規(guī)劃的算法具有重要的現(xiàn)實意義。本文針對路口轉彎這一困難場景,采用開源的OSM地圖稀疏拓撲地圖獲取全局導航路徑,為局部路徑提供方向指引,能夠摒棄高精地圖依賴。同時利用視覺傳感器識別當前路段的可行駛區(qū)域,結合定位信息實時規(guī)劃出一條可安全、平滑地通過路口的局部路徑,具有成本低、方案靈活、魯棒性高等優(yōu)點。
本文使用開源的OSM地圖,利用A*算法規(guī)劃全局導航路徑,然后通過圖像語義分割技術識別車輛可行駛區(qū)域。A*算法是一種高效的啟發(fā)式搜索算法,是靜態(tài)路網中求解最短路徑最有效的直接搜索方法,原理是通過估算節(jié)點的代價評估函數(shù)值并作為節(jié)點的代價值,選取代價值最小的節(jié)點作為下一個需要遍歷的節(jié)點,逐步找到最優(yōu)路徑。結合組合導航獲取的實時定位信息,在路口尋找局部路徑的起點、終點和一組備選控制點。采用貝塞爾曲線插值方法,得到備選路徑的曲線簇。通過計算加權多目標代價函數(shù),選取最優(yōu)的局部路徑曲線。最后以固定間距插值得到局部路徑的路點集,輸出給自動駕駛汽車的決策和控制模塊,進而實現(xiàn)車輛在路口轉彎過程的自動駕駛。總體方案如圖1所示。
圖1 路口局部路徑生成總體方案
自動駕駛需要依賴地圖進行全局路徑規(guī)劃,本文采用一種弱拓撲先驗的OSM地圖。OSM地圖是由節(jié)點(node)、路徑(way)和關系(relation)構成的數(shù)據(jù)體,通過設置全局導航路徑的起點和終點,可以規(guī)劃出一條僅包含稀疏路點的最短全局導航路徑,圖2為OSM地圖元素及規(guī)劃的最短全局導航路徑,其中圓點為OSM地圖的稀疏節(jié)點,細線是路徑,粗實線則是根據(jù)起點和終點規(guī)劃的最短全局導航路徑{0,1,…},其中0,1,…為節(jié)點編號。
圖2 OSM地圖元素及最短全局導航路徑
可行駛區(qū)域感知意在識別出自車所在位置周邊的道路路面,確定車輛可通行的區(qū)域,為自動駕駛提供路徑規(guī)劃輔助??尚旭倕^(qū)域可通過對激光雷達獲取的點云數(shù)據(jù)或攝像頭獲取的圖像數(shù)據(jù)進行特征提取得到。激光點云方案具有良好的測距精度,然而對沒有路肩或護欄的道路邊界檢測效果較差,因此,本文采用視覺感知的方案識別可行駛區(qū)域。
通過車輛上安裝的前向3路攝像頭采集車輛周圍的環(huán)境圖像,利用深度學習的語義分割算法檢測可行駛區(qū)域。本文采用開源語義分割算法Fast-SCNN[8],同一時間戳的3個攝像頭采集的3幅圖像以批數(shù)據(jù)形式輸入模型,并且輸出類別僅保留“道路”,得到3幅圖像中道路掩碼,根據(jù)掩碼提取出道路邊緣點集。
將一副圖像上的邊緣點集投影到車輛坐標系下,并將投影后的點集相連形成封閉多邊形,則封閉多邊形內部區(qū)域即為可行駛區(qū)域。將多路攝像頭所獲取的可行駛區(qū)域進行疊加,能夠得到更大視野的可行駛區(qū)域,提取融合后的可行駛區(qū)域的邊界即可得到可行駛區(qū)域邊緣點。
根據(jù)自車定位信息,可將可行駛區(qū)域邊緣點轉換到世界坐標系下。在世界坐標系下,將當前幀的可行駛區(qū)域疊加到歷史可行駛區(qū)域上,即可得到連續(xù)幀的可行駛區(qū)域,創(chuàng)建出包含歷史信息的可行駛區(qū)域。連續(xù)幀融合的可行駛區(qū)域可對一些運動物體遮擋的區(qū)域進行覆蓋,得到更完整的可行駛區(qū)域。最后將可行駛區(qū)域轉換為二值圖,并調整分辨率,最終得到局部柵格地圖。提取可行駛區(qū)域的邊界點,組成可行駛區(qū)域邊界點集{0,1,…}。圖3是多攝像頭融合的可行駛區(qū)域感知結果,其中圖3(a)是前視3路攝像頭獲取的圖像語義分割結果,圖3(b)是同一時間戳下3幅圖像融合后的可行駛區(qū)域,圖3(c)是經過連續(xù)幀融合后的柵格地圖,圖3(d)是該路口的航拍圖。
圖3 可行駛區(qū)域感知結果
由于貝塞爾曲線具有路徑平滑、曲率連續(xù)的特點,適合作為局部路徑規(guī)劃的曲線,因此,采用貝塞爾曲線進行局部路徑規(guī)劃。
圖4 路口備選局部路徑曲線簇
為選擇最優(yōu)的局部路徑,采用加權多目標代價函數(shù)計算每條備選路徑的代價。代價函數(shù)考慮路徑可通行能力、跟隨全局路徑的能力、路徑長度以及路徑平滑性,設計了路徑可通行代價函數(shù)p、跟隨全局路徑代價函數(shù)f、路徑長度代價函數(shù)d以及路徑平滑代價函數(shù)s。
路徑可通行能力考慮路點與可行駛區(qū)域邊緣的最短距離,路點離可行駛區(qū)域邊緣越遠,通行性越高,行駛越安全。采用符號距離函數(shù)計算路點與可行駛區(qū)域邊緣的距離,其表達式如式(1)所示:
式中,為可行駛區(qū)域;c為的補集,指非可行駛區(qū)域;∈為路點在可行駛區(qū)域內;∈c為路點在可行駛區(qū)域外;(,)為路點到可行駛區(qū)域的最短距離。因此,路徑可通行代價函數(shù)p計算公式如式(2)所示:
跟隨全局路徑的能力考慮局部路徑對導航路徑的跟隨性,局部路徑所有路點至導航路徑的距離之和越小,跟隨性越高,因此,跟隨全局路徑代價函數(shù)f計算公式如式(3)所示:
一般認為局部路徑的長度越短越好,能有效減少行駛里程。因此,路徑長度代價函數(shù)d的計算公式如式(4)所示:
路徑平滑性通常由曲線的曲率決定,曲率越小,路徑越平滑。因此,路徑平滑代價函數(shù)s的計算公式如式(5)所示:
綜上所述,備選路徑的加權多目標代價函數(shù)計算公式如式(6)和式(7)所示:
通過上述優(yōu)化方法求得最優(yōu)局部路徑后,以0.5 m為間隔插值得到局部路徑的路點集。路徑規(guī)劃效果如圖5所示,其中實線條為全局路徑規(guī)劃獲取的當前導航路徑,虛線為路口最優(yōu)局部路徑。
圖5 局部路徑規(guī)劃結果
本文以廣州大學城部分路口為測試對象,采用廣汽傳祺GE3電動車作為試驗車平臺,實現(xiàn)橫縱向自動控制。平臺車搭載了組合導航設備及3路前視攝像頭,其中3路攝像頭視場角均為60°,兩側向攝像頭與中間攝像頭夾角均為45°,融合后的有效視場角約150°,有效擴大了系統(tǒng)的可視范圍。
測試過程為實車道路測試,在廣州大學城隨機選取路口,根據(jù)人工干預次數(shù)及乘員的主觀感受進行評測。分別測試了左轉、右轉和直行路口場景下,根據(jù)局部路徑規(guī)劃所得路點進行自動駕駛的通過情況。實驗共選擇了30個路口進行測試,其中9個右轉路口,11個左轉路口,10個直行路口,每個路口測試3次,總體路口轉彎成功率達到100%,測試實拍如圖6所示,具體測試結果見表1。乘員總體乘坐感受是行駛較為平順,但由于導航路徑有且僅有一條且不包含車道信息,在多車道路口行駛時會使規(guī)劃的局部路徑往導航路徑靠攏,有時會導致車輛存在較大幅度的橫向偏移,對其他車輛行駛造成一定影響。
圖6 路口實車測試實拍圖
表1 路口實車測試結果統(tǒng)計
測試場景路口數(shù)量測試次數(shù)總測試次數(shù)接管次數(shù)成功次數(shù)成功率 右轉10330030100% 左轉1133313297% 直行9327027100% 合計3039018999%
1)本文對低成本自動駕駛方案進行了探索,提出一種基于開源地圖與視覺感知進行路口局部路徑規(guī)劃的算法,創(chuàng)造性地利用視覺可行駛區(qū)域感知與道路級導航融合進行局部路徑規(guī)劃,擺脫了路徑規(guī)劃對高精度地圖的依賴。
2)在路口處,采用貝塞爾曲線進行局部路徑擬合,以全局道路路徑作為指引,在可行駛區(qū)域內生成曲線簇,通過加權多目標代價函數(shù)求取最優(yōu)的曲線作為局部路徑供自動駕駛車輛跟隨,對動態(tài)路況具有很好的魯棒性,保障車輛安全通過路口。
3)由于交叉路口往往有錯綜復雜的障礙物運行軌跡,因此,下一步還需將周圍的障礙物信息加入局部路徑規(guī)劃中一起考慮,提出更加魯棒的路口局部路徑規(guī)劃算法。
[1] 宋若旸,闕海霞,馬宗鈺,等.基于改進RRT*算法的自動駕駛車輛路徑規(guī)劃研究[J].汽車實用技術,2021,46 (1):20-22.
[2] 劉亮.基于激光雷達的結構化道路環(huán)境感知及避障路徑規(guī)劃方法研究[D].西安:長安大學,2021.
[3] 王美玲,潘允輝.基于GIS與約束條件下的最優(yōu)路徑規(guī)劃研究[J].北京理工大學學報,2016,36(8):851-856, 861.
[4] MOREAU J,MELCHIOR P,STéPHANE V,et al.Reac- tive Path Planning in Intersection for Autonomous Vehicle[J].IFAC-PapersOnLine,2019,52(5):109-114.
[5] 李飛琦,鮑泓,潘峰等.智能車導航中的路口軌跡生成策略[J].計算機工程,2018,44(7):25-31.
[6] AWANG SALLEH D N S D,SEIGNEZ E.Swift Path Planning:Vehicle Localization by Visual Odometry Trajectory Tracking and Mapping[J].Unmanned Sys- tems,2018,6(4):221-230.
[7] BALLARDINI A L,CATTANEO D,SORRENTI D G.Visual Localization at Intersections with Digital Maps[C]//2019 International Conference on Robotics and Automation (ICRA).Montreal:IEEE,2019:6651- 6657.
[8] POUDEL R P K,LIWICKI S,CIPOLLA R.Fast-SCNN: Fast Semantic Segmentation Network:202010619356. 9[P].2019-02-12.
Local Path Generation Strategy of Intersection Based on Topology Map
WANG Yulong1,2, ZHANG Jianfeng1, MIN Huan1, QIN Xiaoyi1, LI Zhi1
( 1.Auto Engineering Research Institute, Guangzhou Automobile Group Company Limited,Guangzhou 510641, China; 2.State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body, Hunan University, Changsha 410082, China )
Intersection is a complex traffic scene in the development of autonomous driving. The cost of using high-definition map scheme is high, and it is difficult to effectively identify intersection shape only by vehicle sensors. Therefore, an intersection local path planning algorithm based on open source topology map and vision is proposed. First, uses the open source topology map to plan the global navigation path which was used as a guide line. Then, semantic segmentation technology is used to identify the freespace in the visual image. At the same time, the local path’s starting point, end point and control points are determined by combining the real-time positioning information of the vehicle at the intersection. Finally, bazel curve interpolation method is used to obtain the curve cluster of alternative paths, and the optimal local path is selected according to the result of the multi-dimensional weighted cost function. Then realizes the autonomous driving of the vehicle in the process of turning at the intersection. Experimental results show that the proposed strategy can effectively plan local paths at intersections without relying on high precision maps and improve the ability of autonomous vehicle to pass at intersections. The passing rate at intersection can reach 99%.
Autonomous vehicles; Local path planning; Intersection; Topology map; Computer vision
U463.3
A
1671-7988(2023)12-39-05
王玉龍(1988-),博士,工程師,研究方向為人工智能與自動駕駛,E-mail:wangyulong@gacrnd.com。
湖南大學汽車車身先進設計制造國家重點實驗室開放基金資助項目(31825011)。
10.16638/j.cnki.1671-7988.2023.012.008