露天礦區(qū)自動駕駛場景分析與關(guān)鍵技術(shù)研究

李軍 肖天中 張昊 陳兵

摘要：分析了露天礦用卡車的作業(yè)環(huán)境以及礦區(qū)無人駕駛技術(shù)的發(fā)展現(xiàn)狀，詳細(xì)介紹了常規(guī)礦區(qū)無人駕駛方案和關(guān)鍵技術(shù)。針對礦區(qū)揚(yáng)塵密度大、路面顛簸、隨機(jī)落石以及路徑變化頻繁等特點(diǎn)，梳理了在此復(fù)雜環(huán)境下激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)以及視覺攝像頭等感知類傳感器的性能指標(biāo)以及環(huán)境適應(yīng)性，提出了由單車智能、路側(cè)協(xié)同支撐以及地面管理與監(jiān)控系統(tǒng)三部分組成的礦區(qū)復(fù)雜環(huán)境下自動駕駛總體技術(shù)架構(gòu)，并著重分析了各個(gè)子系統(tǒng)的功能和露天礦卡自動駕駛部分關(guān)鍵技術(shù)。

關(guān)鍵詞：露天礦山、自動駕駛、傳感器技術(shù)、環(huán)境感知、定位導(dǎo)航

Abstract：The operating environment of truck used in open-pit mining and the development status of unmanned driving technology in mining area are analyzed， and the scheme and key technologies of conventional unmanned driving in mining area are introduced in detail.In view of the characteristics of high dust density， road bumps， random rock fall and frequent path changes in the mining area， the performance indexes and environmental adaptability of sensing sensors such as lidar， millimeter wave radar， ultrasonic radar and visual camera are summarized in this complex environment.The overall technical framework of autonomous driving in complex environment of mining area is proposed， which consists of three parts： bicycle intelligence， road side cooperative support and ground management and monitoring system. The functions of each subsystem and some key technologies of autonomous driving of open-pit card are analyzed emphatically.

Keywords： open-pit mine， mining truck， automatic driving， sensor technology， environmental perception， positioning and navigation

0引言

作為礦產(chǎn)資源豐富大國，采礦業(yè)一直是我國國民經(jīng)濟(jì)的基礎(chǔ)和支柱產(chǎn)業(yè)之一，目前我國80%的工業(yè)原料來自于采掘業(yè)產(chǎn)品，主要包括各種金屬和非金屬礦（煤礦、銅礦、鐵礦、化學(xué)礦等）采選。由于大部分礦區(qū)都處于偏遠(yuǎn)地區(qū)，再加上露天礦山作業(yè)環(huán)境惡劣，揚(yáng)塵等環(huán)境對人身體損耗較大，礦區(qū)行駛危險(xiǎn)度高，導(dǎo)致社會人員從業(yè)意愿較低，再加上百噸以上的礦車培訓(xùn)周期較長，導(dǎo)致礦卡司機(jī)緊缺，且司機(jī)的成本逐年增加，據(jù)不完全統(tǒng)計(jì)一輛礦車的人工費(fèi)用（一輛車配備四名司機(jī)）達(dá)到85萬/年，國外的人工費(fèi)更是達(dá)到了100萬美元/年。采用可靠的自動駕駛技術(shù)不僅能避免或減少環(huán)境對駕駛?cè)藛T健康、安全的危害，而且將大幅提升效率、降低成本，更加經(jīng)濟(jì)、節(jié)能和環(huán)保。

1 露天礦卡復(fù)雜環(huán)境分析

礦卡自卸車的作業(yè)流程如圖1所示，主要分為“采”、“運(yùn)”、“卸”三個(gè)部分。礦卡首先空載從起始點(diǎn)前往采集點(diǎn)，從采集點(diǎn)將礦物滿載運(yùn)回卸載點(diǎn)，如此往復(fù)。隨著采集點(diǎn)的深入，礦卡的運(yùn)行路徑會隨之發(fā)生變化?；诖丝梢詫⑦\(yùn)行軌跡分成常規(guī)路面和施工路面，對于常規(guī)路面，有著路況相對簡單和路面平整等特點(diǎn);對于施工路面有著路況顛簸、路面落石、路徑不確定等特點(diǎn)。不僅如此整個(gè)作業(yè)區(qū)都存在揚(yáng)塵遮擋嚴(yán)重、運(yùn)輸過程伴隨著前車落石或者礦山滑坡以及彎道控制的風(fēng)險(xiǎn)，這給自動駕駛傳感器性能、障礙物檢測與成分分析以及決策控制都提出了更高的要求。

常規(guī)的礦區(qū)無人駕駛系統(tǒng)首先通過裝備感知傳感器實(shí)現(xiàn)礦用卡車對環(huán)境感知，再由基于GPS定位的卡車調(diào)度系統(tǒng)為每輛車指定裝載點(diǎn)及卸料點(diǎn)的位置和規(guī)劃運(yùn)輸路線，然后卡車通過接收無線指令到達(dá)裝有GPS的挖掘機(jī)裝載點(diǎn)進(jìn)行裝載，最后卡車按照規(guī)劃路線運(yùn)行至卸料點(diǎn)進(jìn)行卸料。此方案在路況比較簡單、突發(fā)情況較少的環(huán)境下基于簡單的環(huán)境感知和GPS調(diào)度可以滿足一定的需求，但是在礦區(qū)施工路面揚(yáng)塵遮擋嚴(yán)重、路面顛簸、落石幾率較大和行駛路徑發(fā)生變化的情況下無法滿足要求。

以湘潭重工MCC600D重型礦自卸車為例，自重180噸滿載情況下達(dá)到600噸，在滿載情況下以50Km/h的速度行駛的剎車距離為100m，要想保證自卸車的碰撞安全距離，普通傳感器可以檢測的距離至少達(dá)到100米以上，在揚(yáng)塵比較嚴(yán)重車輛的視覺距離不到五米的情況下，以攝像頭為主的視覺傳感器很難發(fā)揮作用，普通的車載激光雷達(dá)在觀測條件較好的情況下也僅僅達(dá)到了150米左右，在揚(yáng)塵密集的環(huán)境下也無法保證安全的建模距離，并且車輛在行駛過程中，不會經(jīng)常急剎車，因此自動駕駛礦卡保持200-300米是比較合理的安全距離。除了揚(yáng)塵的影響，路面顛簸和落石對自動駕駛的有效避障和路徑規(guī)劃帶來了很大的挑戰(zhàn)，在礦卡運(yùn)行中需要有效且快速的分辨前面的障礙物是泥塊還是石塊以此來做決策判斷是直行、繞道還是停車，也是礦卡能否高效完成自主運(yùn)輸?shù)年P(guān)鍵。

2 礦區(qū)自動駕駛架構(gòu)設(shè)計(jì)

為實(shí)現(xiàn)礦區(qū)自動駕駛高度智能化，針對礦區(qū)作業(yè)復(fù)雜環(huán)境特點(diǎn)結(jié)合常規(guī)基于GNSS定位以卡車調(diào)度系統(tǒng)為主導(dǎo)的自動駕駛方案，將礦區(qū)自動駕駛系統(tǒng)總體架構(gòu)分為單車智能、路側(cè)協(xié)同和地面管理與監(jiān)控系統(tǒng)三個(gè)層面（見圖2），為更好的兼顧實(shí)際作業(yè)中的突發(fā)狀況和行車安全性，該設(shè)計(jì)架構(gòu)以單車智能為主，路側(cè)協(xié)同為輔的模式，再通過后臺管理系統(tǒng)主要作為設(shè)備監(jiān)控、全局建圖與規(guī)劃、突發(fā)情況下的自動駕駛等級降級判斷和遙控接管，進(jìn)一步保障系統(tǒng)行車安全。

車端具備高精度定位導(dǎo)航、障礙物檢測與識別、局部建圖、局部路徑規(guī)劃、通信、決策和執(zhí)行等能力，車端和其他要素（礦卡和云臺）之間基于5G和LTE-V2X等通信網(wǎng)絡(luò)實(shí)現(xiàn)信息和局部地圖傳輸，云平臺具備實(shí)時(shí)礦卡與路測設(shè)備監(jiān)測、礦卡協(xié)同控制、實(shí)時(shí)更新全局地圖、路徑規(guī)劃和全局控制能力。

2.1 單車智能

自主式礦卡系統(tǒng)是實(shí)現(xiàn)礦卡作業(yè)的主體，是礦山運(yùn)輸無人駕駛系統(tǒng)的主要執(zhí)行機(jī)構(gòu)。接收地面管理與監(jiān)控系統(tǒng)的各種指令，包括作業(yè)任務(wù)與參考路徑信息，控制車輛的驅(qū)動系統(tǒng)、制動系統(tǒng)、轉(zhuǎn)向系統(tǒng)、車廂、車燈等機(jī)構(gòu)執(zhí)行相應(yīng)的動作。在指令執(zhí)行過程中，自主式礦卡系統(tǒng)通過車載傳感器感知周圍地形和障礙物信息，并實(shí)時(shí)向地面管理與監(jiān)控系統(tǒng)報(bào)告車輛的運(yùn)行狀態(tài)，保證安全、高效地完成作業(yè)任務(wù)。

2.2 路側(cè)協(xié)同支撐

在路側(cè)端安裝諸如攝像頭、激光雷達(dá)和毫米波雷達(dá)等感知模塊，如圖3所示。主要安裝在道路中間、轉(zhuǎn)彎拐角以及上下坡視角局限處，并結(jié)合路側(cè)端的邊緣計(jì)算能力，將礦區(qū)局部情況上傳至地面管理與監(jiān)控系統(tǒng)，幫助用戶全面了解礦區(qū)的情況，同時(shí)擴(kuò)展礦卡的感知范圍。

2.3地面管理與監(jiān)控系統(tǒng)

地面管理與監(jiān)控系統(tǒng)提供礦山運(yùn)輸作業(yè)所需的礦山數(shù)字地圖，對運(yùn)輸車輛的運(yùn)行路徑進(jìn)行規(guī)劃，在作業(yè)過程中獲取礦區(qū)車輛信息，采集礦區(qū)設(shè)備狀態(tài)，自動維護(hù)礦區(qū)作業(yè)進(jìn)度信息，為用戶提供清晰、直觀的礦區(qū)信息綜合顯示接口和人工干預(yù)控制接口。

1）由調(diào)度員在地面監(jiān)控與管理子系統(tǒng)中發(fā)布礦區(qū)運(yùn)輸任務(wù)，制定生產(chǎn)計(jì)劃;

2）根據(jù)地面監(jiān)控與管理子系統(tǒng)的數(shù)據(jù)庫中存儲的礦區(qū)全局地圖，按照不同的作業(yè)任務(wù)將礦區(qū)分為停車區(qū)、裝載區(qū)、卸載區(qū)、維修保障等功能區(qū)域;

3）地面監(jiān)控與管理子系統(tǒng)對通過通信子系統(tǒng)將運(yùn)行指令、礦區(qū)地圖和規(guī)劃路徑等信息下發(fā)至自主式礦卡子系統(tǒng);

4）自主式礦卡子系統(tǒng)在運(yùn)輸過程中，根據(jù)自身態(tài)勢感知能力，自主進(jìn)行車速配置，若遇到特殊情況，自主式礦卡子系統(tǒng)自行判斷降級（降效率）運(yùn)行或者是將控制權(quán)交還給地面監(jiān)控與管理系統(tǒng);

5）路側(cè)端通過架設(shè)協(xié)同子系統(tǒng)，將礦區(qū)全景地圖數(shù)據(jù)通過通信子系統(tǒng)傳輸至地面監(jiān)控與管理子系統(tǒng)，并將地圖進(jìn)行準(zhǔn)實(shí)時(shí)更新。

3 露天礦卡自動駕駛關(guān)鍵技術(shù)

3.1 LiDAR外參標(biāo)定算法

LiDAR/相機(jī)傳感器外標(biāo)定的基本原理是，利用傳感器測量值建立連接點(diǎn)的對應(yīng)關(guān)系或幾何約束，然后估計(jì)傳感器在參考坐標(biāo)系下的變換矩陣T。

如圖4所示，假設(shè)在整個(gè)傳感器系統(tǒng)中，將相機(jī)本體坐標(biāo)系設(shè)為參考坐標(biāo)系，標(biāo)定的目標(biāo)是求解LiDAR本體坐標(biāo)系在參考坐標(biāo)系中的變換參數(shù)T，包含旋轉(zhuǎn)R和平移t。

從紅外影像中可以刺點(diǎn)得到折線的折點(diǎn)P的2D像素坐標(biāo)，同時(shí)對 LiDAR 點(diǎn)云數(shù)據(jù)進(jìn)行處理得到對應(yīng)的3D坐標(biāo)，從而建立了一組2D-3D連接點(diǎn)。改變傳感器平臺相對于被觀測場景的位姿關(guān)系，得到多組 2D-3D連接點(diǎn)，從而構(gòu)建計(jì)算機(jī)視覺中的PnP（Perapective-n-Point） 問題，利用基于最小二乘平差的數(shù)值非線性優(yōu)化方法求解最終的變換參數(shù)T。

處理流程如下：

1）點(diǎn)云預(yù)處理;

根據(jù)被掃描目標(biāo)（墻角）的尺度以及傳感器平臺和掃描場景的相對位置，可以設(shè)置適當(dāng)?shù)淖鴺?biāo)區(qū)間作為濾波條件閾值，來裁剪感興趣區(qū)域，刪除點(diǎn)云感興趣區(qū)域之外的外點(diǎn);

2）連通分量標(biāo)記點(diǎn)云分割

使用連通域標(biāo)記法可以將來自不同掃描線的V形軌跡進(jìn)行分割;

3）V形折線的3D折點(diǎn)提取

LiDAR的點(diǎn)云觀測數(shù)據(jù)中包含V形軌跡，可以使用RANSAC算法檢測直線模型。RANSAC的輸入是經(jīng)過先前步驟處理的結(jié)果點(diǎn)云，通過對點(diǎn)云數(shù)據(jù)的擬合可以獲取直線模型及其參數(shù);

4）2D-3D連接點(diǎn)

從無畸變紅外影像中人工刺點(diǎn)，獲取與V形折線的3D折點(diǎn)對應(yīng)的 2D 像素坐標(biāo)， 從而在 LiDAR 和相機(jī)之間建立一對關(guān)聯(lián)坐標(biāo)系變換的連接點(diǎn)。

5）旋轉(zhuǎn)矩陣的構(gòu)建

通過以上處理，可以獲取一系列2D-3D連接點(diǎn)對，它們的2D像素坐標(biāo)和3D坐標(biāo)分別在相機(jī)坐標(biāo)系和LiDAR坐標(biāo)系中，都已被精確量測。接下來就是求解相機(jī)和LiDAR之間的旋轉(zhuǎn)和平移， 該問題在計(jì)算機(jī)視覺中叫做PnP（Perapective-n-Point）問題。

3.2 多源異構(gòu)數(shù)據(jù)融合算法

多傳感器數(shù)據(jù)融合也叫多源異構(gòu)信息融合，將不同傳感器獲得的信息進(jìn)行綜合利用，避免了單個(gè)傳感器的感知局限性和不確定性，形成對環(huán)境或目標(biāo)的更全面的感知和識別，提高了系統(tǒng)的外部感知能力。

考慮到露天礦山具有復(fù)雜的作業(yè)環(huán)境，例如道路顛簸崎嶇、坡度大、彎道多;雨雪、霧霾、沙塵等惡劣天氣條件;落石滑坡等各種突發(fā)路況，本方案采用多傳感器數(shù)據(jù)算法對外部環(huán)境進(jìn)行感知，其融合過程如下圖5所示。

針對多傳感器數(shù)據(jù)特征級融合不充分、不高效的難點(diǎn)，設(shè)計(jì)了跳躍融合法，首先單獨(dú)對攝像頭數(shù)據(jù)和激光點(diǎn)云數(shù)據(jù)進(jìn)行初步建模和特征提取，然后再對兩組圖片特征和點(diǎn)云特征進(jìn)行裁剪和縮放后的數(shù)據(jù)進(jìn)行特征級融合，同時(shí)進(jìn)行匹配、濾波和降噪處理;最后將降噪后的數(shù)據(jù)分別重新投影到RGB像素坐標(biāo)系和點(diǎn)云坐標(biāo)系，進(jìn)行精細(xì)回歸處理。其一方面支持RGB-I和鳥瞰圖（BEV）中間特征層之間的交互，另一方面采用跳躍連接（skip-connection）使融合結(jié)果既包含完整的輸入信息又具有反復(fù)抽象后的特征。

3.3 高精度三維地圖構(gòu)建與準(zhǔn)實(shí)時(shí)更新技術(shù)

三維高精度地圖的構(gòu)建對針對礦區(qū)非結(jié)構(gòu)掛道路的影響主要包括提升車端感知性能、拓展自動駕駛新功能、動態(tài)建圖等相關(guān)應(yīng)用。具體體現(xiàn)在如下幾個(gè)重要方面：

2.高精地圖元素更新

3.自建局部“記憶地圖”，支持記憶泊車、園區(qū)記憶式自動駕駛

4.事件型動態(tài)信息采集與上報(bào)（落石、坑洼、事故等）

基于視覺/激光SLAM技術(shù)的三維高精度地圖構(gòu)建與更新方案如圖6所示，其中整個(gè)智能駕駛攝像頭和激光雷達(dá)形成SLAM的輸入數(shù)據(jù)端。首先通過視覺/激光SLAM建立三維地圖模型，再通過中央處理器對初始三維模型進(jìn)行感知、濾波、分割、檢測、跟蹤等操作，輸出給導(dǎo)航網(wǎng)絡(luò)端進(jìn)行語義建圖及匹配定位，同時(shí)通過目標(biāo)識別形成相應(yīng)的ADAS系統(tǒng)目標(biāo)屬性。最后分兩方面進(jìn)行輸出：其一是通過太網(wǎng)發(fā)送給后臺云端進(jìn)行地圖底圖的更新。其二是通過輸出給MCU（微處理器單元）進(jìn)行融合定位及車輛控制實(shí)現(xiàn)車端的局部路徑規(guī)劃和避障。

同時(shí)，通過部署路側(cè)感知設(shè)備，進(jìn)行三維高精度地圖構(gòu)建的冗余設(shè)計(jì)，打造安全運(yùn)輸?shù)慕鉀Q方案。通過云端 V2X 通信模式將路側(cè)端感信息傳到后臺進(jìn)行局部三維地圖構(gòu)建，在后臺將礦卡感知地圖、路測感知地圖以及高精度地圖底圖進(jìn)行數(shù)據(jù)協(xié)同，準(zhǔn)實(shí)時(shí)構(gòu)建出作業(yè)區(qū)域三維高精度地圖。

4 展望

國內(nèi)礦區(qū)自動駕駛雖然在城市道路環(huán)境自動駕駛?cè)〉昧艘欢ǖ某晒?，但是由于受到傳感器性能的限制，?dǎo)致在礦區(qū)特殊環(huán)境下的無人駕駛領(lǐng)域一直無法實(shí)現(xiàn)完全的國產(chǎn)自主化。相較于城市環(huán)境，露天礦區(qū)復(fù)雜環(huán)境面臨著觀測條件差、道路顛簸、揚(yáng)塵遮擋嚴(yán)重以及障礙物材質(zhì)識別困難等問題。因此發(fā)展高性能傳感器技術(shù)和高準(zhǔn)確率障礙物檢測識別技術(shù)成為實(shí)現(xiàn)礦區(qū)復(fù)雜環(huán)境亟待解決的問題也是未來礦區(qū)自動駕駛的發(fā)展方向。