深度學(xué)習(xí)技術(shù)在自動(dòng)駕駛高精度地圖中的潛在應(yīng)用

大方

（北京輕舟智航科技有限公司，北京 100086）

0 引言

在近年來自動(dòng)駕駛技術(shù)的飛速發(fā)展中，高精度地圖發(fā)揮著至關(guān)重要的作用。相比于傳統(tǒng)的非高精度地圖，高精度地圖通常能達(dá)到厘米級(jí)精度，而且具有細(xì)粒度的車道信息，因此能夠支持多種傳統(tǒng)地圖無法提供的查詢操作。對(duì)于自動(dòng)駕駛系統(tǒng)而言，高精度地圖提供多個(gè)層面的信息支持。高精度地圖的數(shù)據(jù)包含視覺或激光雷達(dá)特征圖，車道線和靜態(tài)交通標(biāo)識(shí)信息，路上交通流的先驗(yàn)，以及車道連接關(guān)系等方面，分別為自動(dòng)駕駛系統(tǒng)中的定位、感知、預(yù)測(cè)、規(guī)劃控制等模塊提供支持。

由于精度高、信息量大，高精度地圖的制作成本相比于傳統(tǒng)地圖有較大漲幅，因此在提升高精度地圖的采集和制作效率、降低高精度地圖制作過程中的人工作業(yè)比例方面的科研十分活躍。深度學(xué)習(xí)技術(shù)作為人工智能領(lǐng)域在實(shí)踐中最為成功的技術(shù)之一，在降低高精度地圖成本、提升高精度地圖應(yīng)用能力方面有著巨大潛力。

1 高精度地圖的測(cè)繪及其在自動(dòng)駕駛系統(tǒng)中的應(yīng)用

高精度地圖通常包括基礎(chǔ)地圖，語(yǔ)義地圖，先驗(yàn)地圖三層?；A(chǔ)地圖通常保存為二維或三維矢量圖或向量圖，包含描述道路外觀的基礎(chǔ)數(shù)據(jù)。數(shù)據(jù)的內(nèi)容由面向自動(dòng)駕駛應(yīng)用的傳感器配置決定，可以是激光雷達(dá)的反射強(qiáng)度、反射率或者相機(jī)的三通道顏色數(shù)據(jù)。制作基礎(chǔ)地圖涉及的核心技術(shù)為同時(shí)定位和地圖構(gòu)建技術(shù)以及動(dòng)態(tài)物體識(shí)別和去除技術(shù)。語(yǔ)義地圖是建立在基礎(chǔ)地圖之上，保存道路語(yǔ)義結(jié)構(gòu)的圖層，通常保存為矢量圖。語(yǔ)義信息內(nèi)容亦由自動(dòng)駕駛應(yīng)用的特性決定，可能包括車道中心線、車道線、停止線、靜態(tài)交通標(biāo)識(shí)等，以及車道的拓?fù)溥B接網(wǎng)絡(luò)。語(yǔ)義地圖通?？捎扇斯?biāo)注完成，近年來也有人工智能自動(dòng)標(biāo)注技術(shù)出現(xiàn)。

先驗(yàn)地圖負(fù)責(zé)提供更高層次的語(yǔ)義信息，主要是在路面上可能出現(xiàn)的交通參與者的各方面屬性，包括種類、形態(tài)和運(yùn)動(dòng)狀態(tài)等在地圖空間內(nèi)的分布情況。制作先驗(yàn)地圖需要收集大量路面交通數(shù)據(jù)，從中進(jìn)行數(shù)據(jù)聚類和統(tǒng)計(jì)。

高精度地圖的各層次數(shù)據(jù)在自動(dòng)駕駛系統(tǒng)中都有不同的使用方式。基礎(chǔ)地圖由于包含路面外觀特征信息，可以應(yīng)用于自動(dòng)駕駛系統(tǒng)定位模塊中支持基于視覺或激光雷達(dá)的高精度絕對(duì)定位。語(yǔ)義地圖的車道網(wǎng)絡(luò)和交通標(biāo)識(shí)數(shù)據(jù)是對(duì)交通法規(guī)的量化表示，可以應(yīng)用于自動(dòng)駕駛系統(tǒng)預(yù)測(cè)及運(yùn)動(dòng)規(guī)劃模塊中支持行為決策和軌跡規(guī)劃。先驗(yàn)地圖中的交通參與者先驗(yàn)數(shù)據(jù)對(duì)于自動(dòng)駕駛系統(tǒng)中基于最大后驗(yàn)估計(jì)方法的感知、預(yù)測(cè)等算法都是不可或缺的。

2 深度學(xué)習(xí)技術(shù)介紹

深度學(xué)習(xí)技術(shù)是圍繞著深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、推理和應(yīng)用的機(jī)器學(xué)習(xí)技術(shù)，因其使用大于通用近似定理所要求的最小神經(jīng)網(wǎng)絡(luò)深度而得名。深度學(xué)習(xí)技術(shù)在過去的十幾年里在自然語(yǔ)言處理和計(jì)算機(jī)視覺等領(lǐng)域發(fā)展迅速，在神經(jīng)網(wǎng)絡(luò)架構(gòu)、訓(xùn)練方法、計(jì)算架構(gòu)等方面都有了長(zhǎng)足進(jìn)步，出現(xiàn)了大量開放數(shù)據(jù)集和預(yù)訓(xùn)練模型可為各種應(yīng)用場(chǎng)景所用。相比于傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)，深度學(xué)習(xí)模型擁有大深度帶來的巨大的模型容量，因此可以適應(yīng)各種困難和模糊的應(yīng)用場(chǎng)景。

3 深度學(xué)習(xí)技術(shù)在高精度地圖各環(huán)節(jié)的潛在應(yīng)用

深度學(xué)習(xí)作為具有靈活適配能力的通用機(jī)器學(xué)習(xí)技術(shù)，在高精度地圖的測(cè)繪和應(yīng)用的各個(gè)環(huán)節(jié)都有提升效率、改進(jìn)效果的潛力。本文提出四個(gè)有代表性的潛在應(yīng)用，并逐一分析論述。

3.1 深度學(xué)習(xí)技術(shù)應(yīng)用于基礎(chǔ)地圖測(cè)繪過程中的點(diǎn)云匹配或視覺特征匹配

基礎(chǔ)地圖的測(cè)繪通常使用同時(shí)定位和地圖構(gòu)建技術(shù)將傳感器原始數(shù)據(jù)（激光點(diǎn)云或相機(jī)圖像）集成為基礎(chǔ)地圖的數(shù)據(jù)結(jié)構(gòu)。集成的過程需要進(jìn)行傳感器相臨幀數(shù)據(jù)之間的比對(duì)，特征匹配和最優(yōu)變換的計(jì)算。對(duì)于三維的點(diǎn)云數(shù)據(jù)，特征匹配算法通常使用正態(tài)分布變換或者迭代最近點(diǎn)法；對(duì)于二維的圖像數(shù)據(jù)，特征匹配算法通常使用光束平差法。在二維圖像數(shù)據(jù)下，匹配通常使用經(jīng)過特征提取算法提取的稀疏特征，經(jīng)過隨機(jī)抽樣一致算法進(jìn)行配準(zhǔn)；傳統(tǒng)計(jì)算機(jī)視覺技術(shù)領(lǐng)域提出了大量特征提取算法，比如尺度不變特征變換。在三維點(diǎn)云數(shù)據(jù)下，匹配所用的特征可以是原始的稠密點(diǎn)云，或者下采樣的點(diǎn)云，也可以通過空間離散化提取特征。

深度學(xué)習(xí)技術(shù)在上述過程中有兩個(gè)潛在的應(yīng)用方向。第一個(gè)應(yīng)用是通過深度學(xué)習(xí)技術(shù)提取特征。對(duì)于二維圖像數(shù)據(jù)，計(jì)算機(jī)視覺領(lǐng)域的常見任務(wù)，如生活中常見物體的分類、目標(biāo)物檢測(cè)、實(shí)例分割和語(yǔ)義分割都可以提供對(duì)視覺特征的有效監(jiān)督，而很多視覺神經(jīng)網(wǎng)絡(luò)架構(gòu)，例如基于二維卷積的殘差網(wǎng)絡(luò)、稠密網(wǎng)絡(luò)，和基于自注意力機(jī)制的視覺變換器等，都有在大規(guī)模圖像數(shù)據(jù)庫(kù)上的預(yù)訓(xùn)練模型可用。對(duì)于三維點(diǎn)云數(shù)據(jù)，通過三維目標(biāo)物檢測(cè)預(yù)訓(xùn)練也可以獲得有效的三維特征。第二個(gè)應(yīng)用是通過深度學(xué)習(xí)技術(shù)直接進(jìn)行匹配。一個(gè)能夠完成匹配的深度學(xué)習(xí)模型通常也會(huì)在內(nèi)部某個(gè)中間層完成對(duì)數(shù)據(jù)的特征提取，因此這個(gè)應(yīng)用是前一個(gè)應(yīng)用的超集。直接進(jìn)行匹配的好處在于標(biāo)簽容易獲得，整個(gè)模型可以進(jìn)行端到端訓(xùn)練。

3.2 深度學(xué)習(xí)技術(shù)應(yīng)用于基礎(chǔ)地圖測(cè)繪過程中的運(yùn)動(dòng)物體識(shí)別和去除

基礎(chǔ)地圖測(cè)繪的另一個(gè)核心技術(shù)是識(shí)別和去除傳感器原始數(shù)據(jù)中對(duì)應(yīng)于非地圖元素的部分，主要是路面上的動(dòng)態(tài)物體。地圖的采集過程需要搭載傳感器的車輛在路上行駛一定里程，從而實(shí)現(xiàn)傳感器對(duì)路上的各種地圖元素從多個(gè)方位進(jìn)行數(shù)據(jù)采集。受限于市政管理要求，這一過程通常不能假定路上沒有其他車輛和行人等交通參與者，而這些交通參與者并不是所要建立的地圖的組成部分，因此它們的存在會(huì)污染數(shù)據(jù)采集。傳統(tǒng)的基礎(chǔ)地圖測(cè)繪方法中，為解決這類問題，通常要求地圖采集車輛在每一路段行駛多次，從而通過統(tǒng)計(jì)平均或者基于啟發(fā)式規(guī)則的統(tǒng)計(jì)算法完成對(duì)動(dòng)態(tài)物體的去除。這個(gè)要求成倍地增加地圖數(shù)據(jù)的采集時(shí)間，導(dǎo)致地圖制作成本大幅上升。

深度學(xué)習(xí)技術(shù)非常適合對(duì)路面上的動(dòng)態(tài)物體進(jìn)行檢測(cè)、定位和分割。面向三維點(diǎn)云的目標(biāo)物檢測(cè)和分割技術(shù)在過去的三年中進(jìn)展明顯，目前對(duì)常見的物體類型，比如機(jī)動(dòng)車、行人、自行車等，已經(jīng)能實(shí)現(xiàn)在較近距離上非?？煽康臋z出和分割。通過對(duì)傳感器原始數(shù)據(jù)使用深度學(xué)習(xí)三維目標(biāo)物檢測(cè)和分割技術(shù)進(jìn)行過濾，就可以有效地避免動(dòng)態(tài)物體對(duì)地圖數(shù)據(jù)造成的污染。

3.3 深度學(xué)習(xí)技術(shù)應(yīng)用于語(yǔ)義地圖制作

語(yǔ)義地圖是對(duì)基礎(chǔ)地圖中與交通法規(guī)相關(guān)的元素的語(yǔ)義解讀和標(biāo)準(zhǔn)化的存儲(chǔ)組織，因此傳統(tǒng)的高精度地圖測(cè)繪流程中，語(yǔ)義地圖通常由人工標(biāo)注完成。標(biāo)注人員需要觀察基礎(chǔ)地圖中的二維或者三維圖像，并利用對(duì)交通法規(guī)的常識(shí)來提取地圖中的車道線和交通標(biāo)識(shí)牌等信息。標(biāo)注人員通常還需要根據(jù)各個(gè)獨(dú)立的車道線，結(jié)合路沿、人行道等信息，抽象出車道輪廓和車道中心線，并推測(cè)相鄰車道之間的連接關(guān)系，從而構(gòu)建車道網(wǎng)絡(luò)。

深度學(xué)習(xí)技術(shù)在語(yǔ)義地圖制作過程中的潛在應(yīng)用有三個(gè)方面。第一個(gè)方面是車道線識(shí)別。車道線識(shí)別普遍被認(rèn)為是計(jì)算機(jī)視覺中相對(duì)容易的任務(wù)，因?yàn)檐嚨谰€通常具有形狀規(guī)則、色彩反差明顯、分布均勻等特點(diǎn)，在傳統(tǒng)計(jì)算機(jī)視覺方法中已獲得較好解決。相比于傳統(tǒng)方法，深度學(xué)習(xí)更適合處理理想工況之外的情況，比如車道線由于磨損而褪色，或者復(fù)雜的車道分叉、匯合處等場(chǎng)景，這些場(chǎng)景對(duì)于傳統(tǒng)視覺方法來說仍然是有挑戰(zhàn)的。第二個(gè)方面是交通標(biāo)識(shí)的識(shí)別，比如停止牌、讓行牌、固定的限速牌或者交通信號(hào)燈等。這些交通標(biāo)識(shí)雖然設(shè)計(jì)上色彩醒目而且形態(tài)高度確定，但有些對(duì)于傳統(tǒng)視覺方法來說并不友好，比如對(duì)限速牌的識(shí)別可能需要模板匹配技術(shù)搭配文字識(shí)別技術(shù)才能準(zhǔn)確判斷限速值，而如果采用深度學(xué)習(xí)技術(shù)，模型的結(jié)構(gòu)可以大大簡(jiǎn)化。第三個(gè)方面是車道網(wǎng)絡(luò)的構(gòu)建。雖然地圖標(biāo)注人員對(duì)車道概念的抽象和車道網(wǎng)絡(luò)的構(gòu)建規(guī)則相對(duì)簡(jiǎn)單，一定程度上可以通過基于啟發(fā)式規(guī)則的算法進(jìn)行自動(dòng)化，但實(shí)際應(yīng)用中有很多道路的結(jié)構(gòu)很難用簡(jiǎn)單的規(guī)則描述，啟發(fā)式算法通常有很高的失敗率，仍需要大量人工進(jìn)行檢查和修補(bǔ)。通過監(jiān)督學(xué)習(xí)訓(xùn)練，深度學(xué)習(xí)技術(shù)可以有效地彌補(bǔ)這一不足。

3.4 深度學(xué)習(xí)技術(shù)應(yīng)用于高精度地圖更新檢測(cè)

隨著城市規(guī)劃的發(fā)展，許多城市道路面臨不斷地改建、調(diào)整和維護(hù)，因此外觀甚至結(jié)構(gòu)都有可能發(fā)生變化。高精度地圖在測(cè)繪完成后，就會(huì)進(jìn)入維護(hù)和更新階段，在此階段需要根據(jù)道路的實(shí)際變化不斷更新地圖，因此對(duì)道路變化的識(shí)別至關(guān)重要。由于道路變化的形式多種多樣，傳統(tǒng)的高精度地圖測(cè)繪流程中，對(duì)測(cè)繪后地圖更新的處理方式通常是在固定的時(shí)間周期重新進(jìn)行數(shù)據(jù)收集和處理，對(duì)比原有地圖的特征數(shù)據(jù)從而判斷是否需要更新。這樣的流程仍需要大量數(shù)據(jù)采集成本，因?yàn)榇蠖鄶?shù)道路并不會(huì)經(jīng)常發(fā)生變化，而為了保證對(duì)真正發(fā)生變化的道路的及時(shí)更新，地圖數(shù)據(jù)重采集的周期必須足夠短，這導(dǎo)致大量數(shù)據(jù)采集工作的浪費(fèi)。另外，傳統(tǒng)流程中仍然需要人工進(jìn)行道路變化的判斷。

深度學(xué)習(xí)技術(shù)不但有潛力提升傳統(tǒng)地圖更新流程的效率，而且有可能通過自動(dòng)駕駛車隊(duì)的運(yùn)行來提供全新的更經(jīng)濟(jì)高效的地圖更新流程。在傳統(tǒng)流程中，深度學(xué)習(xí)可以為基礎(chǔ)地圖數(shù)據(jù)提供更好的特征提取，尤其是在經(jīng)過充分的監(jiān)督訓(xùn)練之后，能夠直接提供一幀傳感器數(shù)據(jù)與對(duì)應(yīng)地理位置的基礎(chǔ)地圖數(shù)據(jù)相比是否存在非剛性變形的判斷，這樣就可以節(jié)省人工進(jìn)行道路變化判斷的工作。另外，隨著自動(dòng)駕駛車隊(duì)的部署規(guī)模逐漸增長(zhǎng)，自動(dòng)駕駛系統(tǒng)中定位和感知模塊中的深度學(xué)習(xí)模型都逐漸會(huì)具備判斷道路變化的能力，從而達(dá)到在無需專門的地圖采集車輛的情況下，實(shí)現(xiàn)零延遲的道路變化監(jiān)測(cè)。定位模塊可以采用與上述模型相同的方式完成道路變化的判斷。而感知系統(tǒng)可以通過帶有不確定性的深度學(xué)習(xí)模型來實(shí)現(xiàn)感知系統(tǒng)運(yùn)行狀況的監(jiān)控；由于感知系統(tǒng)一般依賴高精度地圖中的基礎(chǔ)地圖和先驗(yàn)地圖的數(shù)據(jù)，通過對(duì)感知質(zhì)量的監(jiān)控就可以發(fā)現(xiàn)道路的變化。通過這樣的新型流程，高精度地圖測(cè)繪完成之后，維護(hù)和更新過程的成本會(huì)大大下降。

4 結(jié)語(yǔ)

深度學(xué)習(xí)技術(shù)廣泛應(yīng)用的歷史較短，在很多應(yīng)用領(lǐng)域的作用還處于探索階段。本文在闡述自動(dòng)駕駛高精度地圖的結(jié)構(gòu)、制作過程和應(yīng)用，以及深度學(xué)習(xí)技術(shù)的特點(diǎn)和應(yīng)用的基礎(chǔ)之上，提出并分析了多個(gè)深度學(xué)習(xí)技術(shù)在高精度地圖制作和應(yīng)用中的潛在應(yīng)用方向。通過這些探索，深度學(xué)習(xí)技術(shù)有潛力在大幅度降低高精度地圖制作成本、提升應(yīng)用效果方面發(fā)揮巨大作用。