“道路指紋”關(guān)鍵技術(shù)及其在智能車(chē)路系統(tǒng)中的應(yīng)用*

胡釗政 陶倩文 黃 剛 王相龍

（武漢理工大學(xué)智能交通系統(tǒng)研究中心 武漢 430063）

0 引 言

近年來(lái)，智能化與通信技術(shù)的飛速發(fā)展極大程度推進(jìn)了汽車(chē)、基礎(chǔ)設(shè)施與交通系統(tǒng)的發(fā)展水平，并由此而催生智能網(wǎng)聯(lián)汽車(chē)、智慧公路、車(chē)路協(xié)同、Vehicle-to-X(V2X)等全新的載運(yùn)工具與交通系統(tǒng)。然而，這些系統(tǒng)目前均面臨著一個(gè)共同的技術(shù)問(wèn)題，即高精度定位技術(shù)。高精度定位不僅在無(wú)人駕駛系統(tǒng)中（如感知、決策與控制等模塊中）起著至關(guān)重要的作用，也是實(shí)現(xiàn)車(chē)路協(xié)同、V2X的技術(shù)基礎(chǔ)。目前，高精度定位技術(shù)仍然是制約這些新系統(tǒng)的核心瓶頸技術(shù)。例如，2020年中國(guó)科協(xié)發(fā)布了10大工程難題，其中之一即為“無(wú)人車(chē)如何實(shí)現(xiàn)在衛(wèi)星不可用條件下的高精度智能導(dǎo)航”[1]。

傳統(tǒng)的高精度定位技術(shù)主要基于衛(wèi)星信號(hào)定位，典型的系統(tǒng)包括GPS與北斗。通常普通GPS或北斗系統(tǒng)的定位精度都在1～10 m，難以滿足智能網(wǎng)聯(lián)汽車(chē)與交通的技術(shù)要求。因此，GPS定位系統(tǒng)往往需要結(jié)合地面差分基站，并配合慣性導(dǎo)航等技術(shù)，從而可以大幅度提高定位精度（如厘米級(jí)精度）[2]。然而，實(shí)際的交通場(chǎng)景中存在大量無(wú)衛(wèi)星信號(hào)區(qū)域（即衛(wèi)星信號(hào)盲區(qū)）。在這些信號(hào)盲區(qū)，這種基于GPS的高精度定位方式失效。為了保證高穩(wěn)定性、高精度的定位性能，近年來(lái)許多研究人員開(kāi)展了大量的研究工作。從定位所用的傳感器的類(lèi)型來(lái)劃分，目前的定位算法主要有基于圖像的視覺(jué)定位方法[3-4]與基于LiDAR數(shù)據(jù)的激光定位方法[5-6]等?；诘缆窐?biāo)志標(biāo)線的視覺(jué)定位方法[7]被廣泛應(yīng)用于車(chē)路輔助駕駛與自動(dòng)駕駛中，是一種典型的基于路標(biāo)的視覺(jué)定位算法[8]。此外，還可以利用道路場(chǎng)景中廣泛存在的交通標(biāo)志、路面方向箭頭等作為定位路標(biāo)。而基于視覺(jué)SLAM的定位算法[9]可以針對(duì)更通用的道路場(chǎng)景，可以在構(gòu)建地圖的同時(shí)完成定位工作。一些代表性的工作包括 FAB-MAP[10]，ORB-SLAM[11]等。目前，基于視覺(jué)定位算法無(wú)論是在定位精度還是在穩(wěn)定性方面都存在較大問(wèn)題。一方面，視覺(jué)SLAM系統(tǒng)主要利用視覺(jué)三維重建的方法獲取參考位置信息，其定位精度僅能達(dá)到亞米級(jí)，不能滿足智能車(chē)高精度定位需求。此外，視覺(jué)特征受光照、動(dòng)態(tài)變化等外在因素影響大，定位穩(wěn)定性較差，不能滿足高穩(wěn)定性的定位需求。

近年來(lái)，激光雷達(dá)技術(shù)不斷取得突破，被廣泛的應(yīng)用于智能車(chē)路系統(tǒng)中?；诩す饫走_(dá)的定位方法也得到了極大的發(fā)展。基于激光雷達(dá)的定位方法核心是利用2幀之間的點(diǎn)云估計(jì)出運(yùn)動(dòng)信息，從而獲取目標(biāo)的軌跡，實(shí)現(xiàn)定位。一些經(jīng)典的點(diǎn)云配準(zhǔn)算法包括ICP、NDT算法[12-13]以及基于它們的擴(kuò)展算法等。近年來(lái)，許多研究人員提出了更精細(xì)的激光點(diǎn)云特征描述算法。例如，Zhang等[14]提出了平面點(diǎn)、角點(diǎn)等特征提取算法，并在此基礎(chǔ)上提出了LOAM雷達(dá)實(shí)時(shí)里程計(jì)建圖算法。該算法通過(guò)激光里程計(jì)來(lái)獲取高精度的位姿信息，并產(chǎn)生實(shí)時(shí)點(diǎn)云地圖。點(diǎn)云地圖同時(shí)還可以有效校正定位誤差，獲得更加精確穩(wěn)定的定位效果。百度Apollo團(tuán)隊(duì)的激光定位算法則是通過(guò)實(shí)現(xiàn)建立高精度的激光點(diǎn)云地圖的方式實(shí)現(xiàn)[15]。該定位系統(tǒng)實(shí)現(xiàn)復(fù)雜、地圖數(shù)據(jù)量巨大、成本昂貴，不利于進(jìn)行大規(guī)模推廣應(yīng)用。與視覺(jué)定位算法相比，基于激光雷達(dá)的定位方法在定位性能上表現(xiàn)更為優(yōu)異。但是，激光雷達(dá)定位的本質(zhì)仍然是里程計(jì)定位，其在定位過(guò)程中產(chǎn)生的累計(jì)誤差需要及時(shí)得到消除。特別是，針對(duì)大范圍GPS盲區(qū)環(huán)境，如何及時(shí)有效地消除累計(jì)誤差，提高激光定位系統(tǒng)的精度與穩(wěn)定性，仍然是亟待解決的核心技術(shù)問(wèn)題。

本文針對(duì)智能車(chē)路系統(tǒng)中對(duì)高精度定位的技術(shù)需要，提出“道路指紋”的新概念及基于道路指紋的定位方法。道路指紋是從車(chē)載傳感器采集的數(shù)據(jù)中提取的高穩(wěn)定性、高辨識(shí)度的道路場(chǎng)景特征。通過(guò)道路指紋可將道路場(chǎng)景的幾何結(jié)構(gòu)信息與位置信息進(jìn)行唯一性關(guān)聯(lián)，構(gòu)建道路指紋庫(kù)。從而，在定位過(guò)程中，通過(guò)道路指紋匹配，即可實(shí)現(xiàn)車(chē)輛的高精度定位。這種新的定位方法與手段可為智能車(chē)路系統(tǒng)高精度定位提供新的解決方案。

1 道路指紋表征方法

道路指紋是通過(guò)車(chē)載傳感器采集的數(shù)據(jù)提取的道路特征。車(chē)載傳感器數(shù)據(jù)本質(zhì)上是從不同的頻段對(duì)道路場(chǎng)景的映射，反映了道路場(chǎng)景不同的特性。因此，各種不同類(lèi)型的傳感器（如攝像機(jī)、激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)等）都為道路指紋的構(gòu)建提供數(shù)據(jù)。本文將針對(duì)2種最常用的傳感器，即攝像機(jī)與激光雷達(dá)，提出道路指紋構(gòu)建方法。需要指出的是，在實(shí)際應(yīng)用中，可以僅僅使用從攝像機(jī)數(shù)據(jù)構(gòu)建的視覺(jué)指紋或激光雷達(dá)數(shù)據(jù)構(gòu)建的LiDAR指紋。

圖1 從多視角多傳感器數(shù)據(jù)中構(gòu)建道路指紋Fig.1 Road fingerprint construction from multi-view and multi-sensor data

在道路指紋表征中，本文也借鑒人類(lèi)指紋的計(jì)算方法，提出了構(gòu)建道路指紋的4大基本原則：①唯一性，即要求構(gòu)建的指紋要能反應(yīng)道路場(chǎng)景獨(dú)有的特征，從而可以通過(guò)指紋信息區(qū)分不同的場(chǎng)景與位置。為了解決這個(gè)問(wèn)題，本文從多視角、多傳感器的角度（見(jiàn)圖1）來(lái)獲取充分的道路場(chǎng)景數(shù)據(jù)，并在此基礎(chǔ)上提取特征，從而提高表征的唯一性。②快捷性，即要求指紋計(jì)算（特別是在線計(jì)算）要足夠快速，滿足智能車(chē)路系統(tǒng)實(shí)時(shí)定位需求。本文是從全局特征與語(yǔ)義特征2個(gè)方面來(lái)對(duì)場(chǎng)景進(jìn)行高度抽象，提高計(jì)算效率。③魯棒性，本文將充分利用深度卷積網(wǎng)絡(luò)（deep convolutional neural network,D-CNN）[16]在模式識(shí)別中的優(yōu)異性能來(lái)抽取場(chǎng)景的不同層次的特征，提高表征的魯棒性。④精準(zhǔn)性，即要求道路指紋中應(yīng)包含局部點(diǎn)的特征信息。特征點(diǎn)反映了該點(diǎn)附近的幾何或紋理特性，不僅為場(chǎng)景的表征提供豐富的信息，同時(shí)也通過(guò)特征點(diǎn)自身的三維坐標(biāo)與道路指紋建立幾何關(guān)聯(lián)?；谝陨系?個(gè)考慮，本文提出了基于全局、語(yǔ)義、深度學(xué)習(xí)以及局部等特征的提取方法，并在表1中將人類(lèi)指紋與道路指紋進(jìn)行了對(duì)比。

1.1 全局特征提取

全局特征是獲取的圖像或LiDAR數(shù)據(jù)中提取的總體特征。本文中提出利用經(jīng)典的ORB特征描述算子來(lái)提取全局特征。ORB是Rublee等[17]提出的特征點(diǎn)提取與描述算法，具有速度快、表征能力強(qiáng)等特點(diǎn)。在前期的工作中，提出將ORB用于全局特征提取。其核心思想是將一整幀圖像作為特征點(diǎn)的鄰域，運(yùn)用ORB全局描述符進(jìn)行特征提取[18-19]。具體而言，首先將場(chǎng)景圖像灰度化處理，并將每幀圖像縮放至63×63（pixel），標(biāo)準(zhǔn)化場(chǎng)景圖像可有效彌補(bǔ)ORB特征算子不具備尺度不變性的缺陷。其次，運(yùn)用ORB中的BRIEF描述場(chǎng)景全局特征。對(duì)于每幀場(chǎng)景圖像用s表示，在s上由映射算法提取圖像全局特征，見(jiàn)式（1）。

式中：t1與t2分別為s中2不同像素坐標(biāo)，s()t1與s()t2為對(duì)應(yīng)坐標(biāo)處的灰度值。在s中選取n對(duì)像素點(diǎn)，并由式（2）對(duì)s的特征描述符進(jìn)行計(jì)算。

經(jīng)過(guò)大量數(shù)據(jù)的充分驗(yàn)證，將s的長(zhǎng)度設(shè)置為256，此時(shí)所得到的高斯分布性能最佳。至此，將1幀場(chǎng)景圖轉(zhuǎn)化為了1個(gè)256位二進(jìn)制字符串組成的全局特征描述符，圖2為任意一道路場(chǎng)景圖像計(jì)算所得到的全局特征提取結(jié)果。所得全局特征在定位時(shí)通過(guò)計(jì)算海明距離（即異或計(jì)算）的大小實(shí)現(xiàn)特征匹配。通過(guò)ORB提取的全局特征，可以實(shí)現(xiàn)目標(biāo)的快速匹配，因此可以用作指紋匹配過(guò)程中的粗匹配過(guò)程。表1為道路指紋與人類(lèi)指紋對(duì)比。

圖2 利用ORB進(jìn)行全局特征提取結(jié)果Fig.2 ORB holistic feature extraction results

1.2 語(yǔ)義特征提取

道路場(chǎng)景中通常會(huì)包含各種各樣的語(yǔ)義目標(biāo)，這些語(yǔ)義目標(biāo)包括標(biāo)志標(biāo)線、橋梁、樹(shù)木、房屋、路面的各種裂縫、輪胎擦痕、井蓋、路桿等。通過(guò)對(duì)這些語(yǔ)義目標(biāo)進(jìn)行識(shí)別，識(shí)別結(jié)果亦可形成對(duì)場(chǎng)景的表征。語(yǔ)義特征提取過(guò)程中，語(yǔ)義目標(biāo)的檢測(cè)與識(shí)別是至關(guān)重要的一步。近20年來(lái)，許多研究人員針對(duì)道路場(chǎng)景中的目標(biāo)檢測(cè)與識(shí)別開(kāi)展了大量的研究工作。例如，針對(duì)道路標(biāo)志的檢測(cè)與識(shí)別、車(chē)道線檢測(cè)與識(shí)別、路面裂縫檢測(cè)與識(shí)別、井蓋識(shí)別等算法。隨著深度學(xué)習(xí)的飛速發(fā)展，越來(lái)越多的卷積神經(jīng)網(wǎng)絡(luò)被用于道路場(chǎng)景中目標(biāo)檢測(cè)與識(shí)別，并且識(shí)別率可以高達(dá)95%以上。此外，近年來(lái)出現(xiàn)的目標(biāo)識(shí)別與分割一體化的卷積神經(jīng)網(wǎng)絡(luò)（如Mask R-CNN）等[20]可以快速準(zhǔn)確地從輸入的圖像數(shù)據(jù)中完成目標(biāo)檢測(cè)與分割，直接實(shí)現(xiàn)語(yǔ)義目標(biāo)的提?。ㄒ?jiàn)圖3）。

表1 道路指紋與人類(lèi)指紋對(duì)比Tab.1 Comparison of road fingerprint and human fingerprint

見(jiàn)圖3，從原始圖像數(shù)據(jù)中，通過(guò)語(yǔ)義分割等算法，可以實(shí)現(xiàn)場(chǎng)景中語(yǔ)義目標(biāo)的提取。從而可將場(chǎng)景分割成一塊塊的特定區(qū)域，而每個(gè)區(qū)域都有其明確的語(yǔ)義含義，如路面、道路標(biāo)線、交通標(biāo)志、樹(shù)木、車(chē)輛等。這些語(yǔ)義目標(biāo)在一定程度上完成了場(chǎng)景的內(nèi)容表征。語(yǔ)義目標(biāo)檢測(cè)與識(shí)別的結(jié)果，通過(guò)語(yǔ)義的邏輯關(guān)系（如語(yǔ)義樹(shù)），可以形成更高層次的場(chǎng)景表征模型。

圖3 從道路圖像中提取語(yǔ)義目標(biāo)Fig.3 Semantic objects extraction from road images

1.3 深度學(xué)習(xí)特征提取

基于這樣的考慮，傳統(tǒng)的特征主要利用人的經(jīng)驗(yàn)與知識(shí)，設(shè)計(jì)一定的規(guī)則進(jìn)行提取。因此這種提取的特征稱(chēng)為手工提取特征。手工提取的特征受環(huán)境影響較大，魯棒性不足。近年來(lái)，深度學(xué)習(xí)的快速發(fā)展為目標(biāo)檢測(cè)與識(shí)別提供了更加精準(zhǔn)和穩(wěn)定的解決方法。隨著研究的深入，人們發(fā)現(xiàn)，深度卷積神經(jīng)網(wǎng)絡(luò)不僅可以用以檢測(cè)與識(shí)別特定目標(biāo)，而且可以利用網(wǎng)絡(luò)的中間層提取不同層次的特征。見(jiàn)圖4，除了最后的輸出結(jié)果外，中間下抽樣層、卷積層、全連接層都可提供不同層次的特征圖。由于深度學(xué)習(xí)方法具有更好的魯棒性與準(zhǔn)確性，從而，利用卷積神經(jīng)網(wǎng)絡(luò)提取的特征（稱(chēng)之為深度學(xué)習(xí)特征：與手工特征相比，也具有更好的魯棒性與準(zhǔn)確性。本文在道路指紋構(gòu)建過(guò)程中，也引入深度學(xué)習(xí)特征，用以提高道路指紋表征的魯棒性與準(zhǔn)確性。見(jiàn)圖4，從圖像輸入到識(shí)別結(jié)果輸出，各層的特征維度也在逐漸降低。其中，淺層的特征維度大，表征能力強(qiáng)，但是需要的存儲(chǔ)空間多，在后續(xù)匹配過(guò)程中計(jì)算復(fù)雜度高。而深層次的特征維度小，表征抽象能力強(qiáng)，需要的存儲(chǔ)空間少，匹配過(guò)程中計(jì)算復(fù)雜度更低。因此，在實(shí)際應(yīng)用中，可根據(jù)應(yīng)用的需求（如存儲(chǔ)量、計(jì)算速度需求等）選擇合適的層抽取特征。

圖4 利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行不同層級(jí)的特征表征Fig.4 Representation of different feature layers by using D-CNN

需要指出的是，隨著激光雷達(dá)技術(shù)的飛速發(fā)展，針對(duì)3D激光LiDAR數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)也被廣泛研究。近年來(lái)，研究人員提出的Point Net[21]及Point Net++[22]等3D深度學(xué)習(xí)網(wǎng)絡(luò)可以有效從3D點(diǎn)云數(shù)據(jù)中完成道路場(chǎng)景中的目標(biāo)檢測(cè)，同時(shí)也可以實(shí)現(xiàn)道路場(chǎng)景特征提取與表征。

1.4 局部特征提取

局部特征是指道路場(chǎng)景中具有差異性的點(diǎn)特征。在激光LiDAR數(shù)據(jù)中，這種點(diǎn)特征可以為點(diǎn)云中的某一3D點(diǎn)提取的屬性（如幾何屬性等）；在圖像數(shù)據(jù)中，點(diǎn)特征則可以利用計(jì)算機(jī)視覺(jué)中常用的局部特征提取算法來(lái)計(jì)算。這些常用的局部特征提取算法包括SIFT(Scale-Invariant Feature Transform)[23]、SURF[24]、ORB與FAST[25]等。圖5給出了4種常用的特征提取算法及其實(shí)驗(yàn)結(jié)果。局部特征提取算法的選取需要考慮算法的計(jì)算效率以及提取特征點(diǎn)的匹配效果等。

圖5 利用不同的特征描述算法提取的道路局部特征Fig.5 Road local features extraction by using different feature descriptor algorithms

局部特征提取一般包含2個(gè)步驟，特征點(diǎn)定位與局部特征描述符計(jì)算。特征點(diǎn)定位是從數(shù)據(jù)中計(jì)算出具有差異性的點(diǎn)，即特征點(diǎn)。與普通點(diǎn)相比，特征點(diǎn)攜帶更加豐富的信息，因此能在指紋匹配過(guò)程中提供較強(qiáng)的約束。在定位出特征點(diǎn)后，可以從特征點(diǎn)鄰域計(jì)算出特征描述符。特征描述符反應(yīng)了該點(diǎn)的屬性信息。

1.5 基于特征層次化表征的道路指紋構(gòu)建

以上提取的各類(lèi)特征在表征中有著不同的用途。例如，全局特征計(jì)算快捷，但是表征能力不足，因此常用作快速匹配或粗匹配。局部特征計(jì)算繁瑣，但是表征能力強(qiáng)，常用于最后階段的精確匹配。因此，本文提出基于特征層次化表征的道路指紋構(gòu)建方法見(jiàn)圖6。其中，全局特征用作粗匹配，用于獲取候選集合；語(yǔ)義特征一方面可用于快速匹配，另一方面也可用作匹配校驗(yàn)；深度學(xué)習(xí)特征魯棒性強(qiáng)，表征能力較好，用作匹配校驗(yàn)。匹配校驗(yàn)的作用是從輸入的候選集合中挑選出最佳匹配。最后，利用場(chǎng)景局部特征，即可完成道路指紋的精確匹配工作。需要指出的是，在實(shí)際應(yīng)用中，可以僅僅使用上述特征中2～3種特征進(jìn)行道路指紋構(gòu)建并實(shí)現(xiàn)車(chē)輛位姿計(jì)算，比如：先采用全局特征進(jìn)行快速匹配，再采用局部特征進(jìn)行精確匹配；又比如：先采用語(yǔ)義特征進(jìn)行快速匹配，再采用深度學(xué)習(xí)特征進(jìn)行匹配校驗(yàn)，最后采用局部特征進(jìn)行精確匹配。

圖6 基于特征層次化表征的道路指紋構(gòu)建Fig.6 Road fingerprint construction based on feature hierarchical representation

因此，利用見(jiàn)圖6的層次化特征表征，可以實(shí)現(xiàn)從粗到細(xì)的層次化道路指紋構(gòu)建。這種層次化的構(gòu)建方法可以綜合考慮道路指紋在匹配過(guò)程中的計(jì)算復(fù)雜度與匹配準(zhǔn)確性。

2 道路指紋庫(kù)及定位方法

道路指紋可以形成對(duì)道路場(chǎng)景中某一特定位置的特征表征。通過(guò)計(jì)算道路場(chǎng)景中各個(gè)位置對(duì)應(yīng)的道路指紋，就可以形成道路指紋庫(kù)。如同人類(lèi)指紋庫(kù)一樣，指紋不僅能提供匹配信息，還能提供更多的與指紋對(duì)應(yīng)的屬性信息。在道路指紋庫(kù)中，筆者將各個(gè)道路指紋對(duì)應(yīng)的位置信息作為指紋對(duì)應(yīng)的屬性信息。

本文提供的位置屬性信息中包含2個(gè)方面的信息，即局部位置信息與全局位置信息。見(jiàn)圖7。其中，局部位置信息為局部坐標(biāo)系中特征點(diǎn)對(duì)應(yīng)的幾何位置信息。以路面為例，利用采集的路面俯視圖像，可以通過(guò)攝像機(jī)標(biāo)定的方法，完成路面的三維重建。此時(shí)，可以利用當(dāng)前的攝像機(jī)坐標(biāo)系定義局部坐標(biāo)系。在該局部坐標(biāo)系下，可以計(jì)算出路面上的特征點(diǎn)對(duì)應(yīng)的坐標(biāo)，此即為局部位置信息。在道路指紋采集過(guò)程中，需要高精度定位設(shè)備和技術(shù)手段來(lái)獲取車(chē)輛在各個(gè)時(shí)刻的在全局坐標(biāo)系（如GPS坐標(biāo)系）位置與姿態(tài)信息。在當(dāng)前攝像機(jī)采集數(shù)據(jù)的同時(shí)，路面上的局部特征點(diǎn)在全局坐標(biāo)系下的坐標(biāo)也可以通過(guò)攝像機(jī)（車(chē)輛）的全局位姿信息獲得。從而，可以獲取路面局部特征點(diǎn)對(duì)應(yīng)的全局坐標(biāo)。通過(guò)以上手段，可將位置信息與道路指紋進(jìn)行關(guān)聯(lián)，從而為后續(xù)的基于道路指紋定位的算法提供精確的參考位置信息。

圖7 道路指紋與位置信息進(jìn)行關(guān)聯(lián)Fig.7 Road fingerprint association with position information

通過(guò)構(gòu)建的道路指紋庫(kù)，即可完成智能車(chē)高精度定位。提出多尺度定位策略完成定位過(guò)程，包含：①粗定位；②指紋匹配定位；③度量級(jí)定位。其中，粗定位主要是利用GPS或者拓?fù)涠ㄎ坏葘?shí)現(xiàn)。粗定位的作用是將智能車(chē)定位在某個(gè)范圍之內(nèi)，從而可以減少后續(xù)的搜索區(qū)域，減少計(jì)算過(guò)程。通過(guò)粗定位，可以確定在限定范圍的道路指紋集合。通過(guò)上文所提出的全局特征匹配，可以進(jìn)一步縮小定位范圍，產(chǎn)生更加穩(wěn)定的指紋匹配集合。接著，利用語(yǔ)義特征或者深度學(xué)習(xí)特征對(duì)產(chǎn)生的指紋匹配集合進(jìn)行校驗(yàn)，將最能滿足校驗(yàn)的指紋作為匹配的道路指紋，實(shí)現(xiàn)了當(dāng)前指紋與道路指紋中一對(duì)一的匹配，本文將該步驟稱(chēng)為道路指紋匹配定位。

度量級(jí)定位則是利用道路指紋庫(kù)中指紋對(duì)應(yīng)的位置信息來(lái)推算車(chē)輛當(dāng)前的精確位置，其計(jì)算過(guò)程見(jiàn)圖8。

圖8 利用匹配的道路指紋進(jìn)行位置推算Fig.8 Position calculation by matching with road fingerprint

首先，利用道路指紋中的局部特征（即特征點(diǎn)）實(shí)現(xiàn)當(dāng)前指紋與其指紋庫(kù)中匹配指紋的特征點(diǎn)匹配（匹配過(guò)程見(jiàn)文獻(xiàn)[26-28]）。本文選取路面特征點(diǎn)作為指紋的局部特征，因此可以很容易利用攝像機(jī)的標(biāo)定參數(shù)，計(jì)算出路面特征點(diǎn)對(duì)應(yīng)的物理坐標(biāo)。從而，利用特征點(diǎn)的匹配關(guān)系，可以利用二維歐氏變換計(jì)算出2個(gè)攝像機(jī)之間的位置關(guān)系。

式中：[xcyc]為查詢指紋；[xdyd]為匹配指紋；P1為二維歐式變換矩陣，通過(guò)旋轉(zhuǎn)角度與平移量來(lái)描述。在道路指紋庫(kù)構(gòu)建過(guò)程中，也存儲(chǔ)了特征點(diǎn)對(duì)應(yīng)的全局坐標(biāo)。通過(guò)存儲(chǔ)的全局坐標(biāo)與局部坐標(biāo)，可以建立如下變換關(guān)系。

從而，利用式（3）～（4）可以計(jì)算出車(chē)輛當(dāng)前時(shí)刻在全局坐標(biāo)系下的位置。

3 應(yīng)用案例分析

利用上文構(gòu)建的道路指紋庫(kù)與定位方法，即可完成高精度定位工作。下面用3個(gè)案例展示道路指紋的應(yīng)用。

3.1 基于多視角視覺(jué)指紋的智能車(chē)定位

目前，傳統(tǒng)的車(chē)載視覺(jué)定位方法一般采用單一前視視角攝像機(jī)采集場(chǎng)景數(shù)據(jù)，或者使用單一特征提取方法對(duì)圖像數(shù)據(jù)進(jìn)行特征提取。此類(lèi)方法在場(chǎng)景相似度較大的情景進(jìn)行應(yīng)用時(shí)，由于連續(xù)幀圖像相似度大，且單一特征無(wú)法對(duì)相似度大的圖像進(jìn)行有效區(qū)分，使得圖像誤匹配率較高，進(jìn)而使得定位的魯棒性較差，定位誤差較大。因此，有必要引入多視角定位和多層次特征表征方法，提升車(chē)載視覺(jué)定位的精度和魯棒性。

圖9 基于二視圖道路指紋的智能車(chē)高精度定位Fig.9 High precision localization of intelligent vehicle based on road fingerprint of two-view

文中在領(lǐng)域內(nèi)提出基于多視角攝像機(jī)和多層次特征的道路指紋庫(kù)構(gòu)建方法[29-31]，以及基于道路指紋庫(kù)的多尺度定位方法。見(jiàn)圖9，為基于多視角攝像機(jī)和多層次特征的道路指紋庫(kù)構(gòu)建方法示意圖。智能車(chē)上搭載前視視角攝像機(jī)和俯視視角攝像機(jī)，采集場(chǎng)景前視圖像和俯視圖像。同時(shí)智能車(chē)上搭載高精度IMU，采集節(jié)點(diǎn)的軌跡。利用采集的車(chē)載傳感器數(shù)據(jù)，處理并生成道路指紋庫(kù)中每個(gè)節(jié)點(diǎn)數(shù)據(jù)。每個(gè)節(jié)點(diǎn)數(shù)據(jù)通過(guò)“三要素”模型進(jìn)行表征，即包含視覺(jué)特征、三維信息和軌跡3個(gè)要素。在視覺(jué)特征處理方面，提取前視視角圖像的全局特征和俯視視角圖像的局部特征；在三維信息計(jì)算方面，利用三角法對(duì)路面上的特征點(diǎn)進(jìn)行三維重建；在軌跡信息計(jì)算方面，利用IMU采集的數(shù)據(jù)進(jìn)行節(jié)點(diǎn)之間的位姿關(guān)系計(jì)算。基于所構(gòu)建的道路指紋庫(kù)，提出1種多尺度定位方法，首先利用全局特征匹配的快速性，將當(dāng)前圖像的全局特征與道路指紋庫(kù)進(jìn)行匹配，快速獲取粗定位候選集；然后，在此基礎(chǔ)上利用當(dāng)前圖像的局部特征與候選節(jié)點(diǎn)進(jìn)行匹配，確定距離最近的指紋庫(kù)節(jié)點(diǎn)；最后利用局部特征的匹配關(guān)系，以及節(jié)點(diǎn)中存儲(chǔ)的三維信息和軌跡信息，計(jì)算車(chē)輛的位姿。經(jīng)過(guò)實(shí)際場(chǎng)景實(shí)驗(yàn)驗(yàn)證，文中所提出的定位方法平均定位誤差為16 cm，相比單一視角單一特征視覺(jué)定位方法，能夠有效提升定位的精度和魯棒性。

與傳統(tǒng)方法相比，所提出的方法的特點(diǎn)主要體現(xiàn)在以下3個(gè)方面：①將俯視視角圖像引入至道路指紋庫(kù)每個(gè)節(jié)點(diǎn)數(shù)據(jù)的構(gòu)建，相比于基于單一前視視角圖像的場(chǎng)景模型構(gòu)建方法，俯視圖像能夠有效提升節(jié)點(diǎn)的唯一性；②引入全局特征表征方法，對(duì)前視視角圖像進(jìn)行表征，能夠有效提升圖像匹配效率；③利用全局特征快速匹配的特性和局部特征精確匹配的特性，達(dá)到又快又好的定位效果。

3.2 基于LiDAR道路指紋的智能車(chē)定位

基于激光雷達(dá)的智能車(chē)高精度定位是近年來(lái)智能車(chē)領(lǐng)域的研究熱點(diǎn)。目前絕大部分方法都是采用基于激光雷達(dá)的即時(shí)定位與制圖（SLAM）方法，該方法的定位誤差隨著時(shí)間增加而逐漸增加，無(wú)法長(zhǎng)時(shí)間提供可靠有效的定位結(jié)果。此外還有部分方法采用基于激光雷達(dá)高精度地圖的定位方法，然而由于激光數(shù)據(jù)量大導(dǎo)致地圖檢索困難，導(dǎo)致無(wú)法達(dá)到智能車(chē)定位的實(shí)時(shí)性要求。因此，有必要引入輕量的多層次特征表征方法以實(shí)現(xiàn)快速的地圖匹配與檢索方法，提升激光地圖定位的效率與魯棒性。

筆者團(tuán)隊(duì)首次在領(lǐng)域內(nèi)提出了基于激光雷達(dá)道路指紋的高精度定位方法[32-33]。見(jiàn)圖10，首先利用激光雷達(dá)采集道路激光點(diǎn)云數(shù)據(jù)，將點(diǎn)云投影在地平面上生成投影圖像并提取局部特征，然后再提取點(diǎn)云數(shù)據(jù)中的語(yǔ)義特征與三維特征，同時(shí)利用高精度定位系統(tǒng)來(lái)獲取攝像機(jī)在采集過(guò)程中的位姿信息，按照上節(jié)方法構(gòu)建激光雷達(dá)道路指紋庫(kù)。在定位過(guò)程中，通過(guò)GPS完成粗定位，通過(guò)局部特征與指紋庫(kù)匹配實(shí)現(xiàn)快速的地圖檢索，通過(guò)語(yǔ)義特征進(jìn)行驗(yàn)證，最后通過(guò)三維特征匹配實(shí)現(xiàn)度量級(jí)定位完成全局定位。該方法定位精度可達(dá)20 cm。與傳統(tǒng)方法相比，筆者團(tuán)隊(duì)將三維激光點(diǎn)云投影成二維的圖像，并通過(guò)快速的計(jì)算機(jī)視覺(jué)算子實(shí)現(xiàn)指紋庫(kù)匹配提高了地圖檢索的速度；通過(guò)語(yǔ)義特征驗(yàn)證提高了定位結(jié)果的魯棒性。

圖10 基于激光LiDAR指紋的智能車(chē)高精度定位Fig.10 High precision localization of intelligent vehicle based on LiDAR road fingerprint

3.3 基于路面指紋的道路資產(chǎn)管理系統(tǒng)

路面損壞情況分析是道路資產(chǎn)管理系統(tǒng)中的核心問(wèn)題。許多年來(lái)，研究人員提出了許多針對(duì)路面裂縫自動(dòng)化檢測(cè)與識(shí)別的方法。然而，目前絕大部分方法都是直接通過(guò)采集的圖像數(shù)據(jù)或3D激光數(shù)據(jù)對(duì)裂縫進(jìn)行檢測(cè)與識(shí)別，沒(méi)有利用歷史的裂縫檢測(cè)與識(shí)別結(jié)果。實(shí)際上，裂縫在短時(shí)間（如半年期或1年期）內(nèi)具有比較穩(wěn)定的狀態(tài)，這就意味著上1個(gè)周期內(nèi)裂縫分析的結(jié)果將對(duì)本次分析具有重要的參考價(jià)值。一方面，可以利用前次檢測(cè)的結(jié)果，來(lái)對(duì)當(dāng)前的裂縫位置進(jìn)行預(yù)估，這樣可以大大提高檢測(cè)效率與準(zhǔn)確性。另一方面，通過(guò)對(duì)2次檢測(cè)的裂縫進(jìn)行關(guān)聯(lián)后，可以直接計(jì)算裂縫的生長(zhǎng)規(guī)律，為路面診斷與保養(yǎng)提供寶貴的支撐數(shù)據(jù)。

圖11 構(gòu)建路面指紋庫(kù)Fig.11 Construction of pavement fingerprint

圖12 基于路面指紋高精度定位的路面裂縫檢測(cè)與分析系統(tǒng)Fig.12 Pavement crack detection and analysis system based onhigh precision localization of pavement fingerprint

團(tuán)隊(duì)首次在領(lǐng)域內(nèi)提出路面指紋的概念以及基于路面指紋的高精度（亞像素級(jí)）定位方法[34-37]。需要說(shuō)明的是，本案例中僅采用了俯視攝像機(jī)提取路面圖像中的特征信息進(jìn)行道路指紋構(gòu)建，因此，將本案例中所構(gòu)建的道路指紋又稱(chēng)為路面指紋。見(jiàn)圖11，首先利用俯視攝像機(jī)采集路面圖像數(shù)據(jù)，同時(shí)利用高精度定位系統(tǒng)來(lái)獲取攝像機(jī)在采集過(guò)程中的位姿信息，按照上節(jié)方法構(gòu)建路面指紋庫(kù)。在定位過(guò)程中，通過(guò)GPS完成粗定位，通過(guò)指紋庫(kù)匹配完成幀級(jí)定位，最后通過(guò)度量級(jí)定位完成全局定位。該方法定位精度可達(dá)5 cm。在路面裂縫檢測(cè)過(guò)程中，通過(guò)歷史裂縫的位置，對(duì)當(dāng)前圖像中的裂縫位置進(jìn)行預(yù)測(cè)，并通過(guò)預(yù)測(cè)的區(qū)域構(gòu)建裂縫像素的灰度分布模型。從而，可以利用該分布模型來(lái)進(jìn)一步檢測(cè)裂縫像素。見(jiàn)圖12，通過(guò)路面指紋高精度定位，可以利用歷史路面裂縫信息來(lái)預(yù)測(cè)當(dāng)前裂縫信息，提高裂縫檢測(cè)的效率與穩(wěn)定性。實(shí)驗(yàn)中，檢測(cè)算法的精度與召回率分別為95.4%與84.3%，檢測(cè)性能較之傳統(tǒng)的檢測(cè)算法具有極大的提升。此外，算法還成功地對(duì)裂縫的生長(zhǎng)情況進(jìn)行定量化分析，為道路資產(chǎn)管理系統(tǒng)提供重要的數(shù)據(jù)與決策支撐。

4 結(jié) 語(yǔ)

本文針對(duì)智能車(chē)路系統(tǒng)中的核心技術(shù)問(wèn)題——高精度定位問(wèn)題，提出了道路指紋的概念，并在道路指紋的基礎(chǔ)上，提出了高精度定位方法。道路指紋表征模型可以將不同視角、不同類(lèi)型的傳感器數(shù)據(jù)進(jìn)行特征提取，然后通過(guò)對(duì)這些特征進(jìn)行層次化表征，實(shí)現(xiàn)對(duì)道路場(chǎng)景的指紋表征。通過(guò)將道路指紋與高精度位置信息進(jìn)行關(guān)聯(lián)，可以事先構(gòu)建道路路網(wǎng)的指紋庫(kù)。在定位過(guò)程中，通過(guò)實(shí)時(shí)匹配道路指紋庫(kù)，即可完成高精度定位。利用3個(gè)典型的案例對(duì)道路指紋技術(shù)進(jìn)行應(yīng)用展示，顯示出道路指紋在智能網(wǎng)聯(lián)汽車(chē)、道路資產(chǎn)管理等典型智能車(chē)路系統(tǒng)具有較好的應(yīng)用前景。