激光和視覺(jué)融合SLAM方法研究綜述

，，，，

(1.山東省科學(xué)院自動(dòng)化研究所，濟(jì)南 250014；2.山東省機(jī)器人與制造自動(dòng)化技術(shù)重點(diǎn)實(shí)驗(yàn)室，濟(jì)南 250014；3.齊魯工業(yè)大學(xué)(山東省科學(xué)院)，濟(jì)南 250014)

0 引言

Simultaneous Localization and Mapping (SLAM)是移動(dòng)機(jī)器人自主完成作業(yè)任務(wù)需要解決的基本問(wèn)題，特別是在未知環(huán)境的情況下，移動(dòng)機(jī)器人既要確定自身在環(huán)境中的位姿，又要根據(jù)確定的位姿來(lái)創(chuàng)建所處環(huán)境的地圖，這是一個(gè)相輔相成、不斷迭代的過(guò)程，因此，SLAM問(wèn)題是一個(gè)復(fù)雜的耦合問(wèn)題。

SLAM問(wèn)題最初的概念是由Peter Cheeseman, Jim Crowley和Hugh Durrant-Whyte 等研究者將概率估計(jì)方法應(yīng)用到機(jī)器人定位與建圖時(shí)提出的[1-2]。1986-2004年，由于概率方法的廣泛應(yīng)用，SLAM問(wèn)題的研究得到了快速的發(fā)展，這一時(shí)期也被稱作SLAM問(wèn)題的“經(jīng)典時(shí)期”(classic age)，主要研究方法包括擴(kuò)展卡爾曼濾波(Extended Kalman Filters, EKF)、 Rao-Blackwellized 粒子濾波和最大似然估計(jì)等[3]。這些方法遇到的最大瓶頸是計(jì)算的復(fù)雜度，受限于當(dāng)時(shí)的計(jì)算水平，難以滿足構(gòu)建大規(guī)模地圖的要求。2004～2015年，SLAM問(wèn)題的研究進(jìn)入“算法分析時(shí)期”(algorithm-analysis age)，Dissanayake 等人從狀態(tài)的可觀測(cè)性、狀態(tài)估計(jì)的收斂性、一致性和算法計(jì)算效率等角度對(duì)這一時(shí)期的部分工作做了綜述[4]，很好的描述了SLAM基本特性研究的進(jìn)展。同時(shí)期，Cesar等人對(duì)SLAM的研究做了系統(tǒng)性的綜述，包括算法的魯棒性、應(yīng)用的可擴(kuò)展性、地圖表示形式(度量地圖和語(yǔ)義地圖)等問(wèn)題，并且分別針對(duì)這些方面的研究提出了一些有待解決的問(wèn)題[5]。這一時(shí)期，研究者們發(fā)布了許多有效的開(kāi)源SLAM方法，包括Catragrapher[6], Hector SLAM[7], Gmapping[8], KartoSLAM[9]等基于激光傳感器的SLAM方法和MonoSLAM[10], ORB-SLAM[11], LSD-SLAM[12], RGB-D-SLAM[13], DSO[14]等基于視覺(jué)傳感器的SLAM方法。

SLAM的應(yīng)用場(chǎng)景也比較廣泛，研究人員針對(duì)不同的應(yīng)用場(chǎng)景下提出了不同的SLAM算法，覆蓋室內(nèi)[15]、室外[16]、水下[17]及航空航天[18]等應(yīng)用環(huán)境，在這些應(yīng)用場(chǎng)景下，激光和視覺(jué)的傳感器都有一定的局限性。比如激光SLAM在環(huán)境特征不明顯、動(dòng)態(tài)環(huán)境等情況下性能欠佳，而且由于其重定位能力較差，在追蹤丟失后難以回到工作狀態(tài)[19]。雖然視覺(jué)SLAM能夠很好的完成環(huán)境中的點(diǎn)云匹配和回環(huán)檢測(cè)，有效降低累計(jì)誤差[20]，但在無(wú)紋理或者光照弱的環(huán)境下表現(xiàn)較差，而且在距離未知的情況下，單目相機(jī)具有需要初始化、尺度不確定、尺度漂移等缺點(diǎn)。并且在視覺(jué)SLAM應(yīng)用中存在一些共同的困難，包括相機(jī)運(yùn)動(dòng)過(guò)快，相機(jī)視野不夠，計(jì)算量大，遮擋，特征缺失，動(dòng)態(tài)物體或光源干擾等。

鑒于激光和視覺(jué)單獨(dú)使用都有其局限性，而傳感器融合能夠彌補(bǔ)不同傳感器在某些特殊環(huán)境下的劣勢(shì)。許多研究者開(kāi)始從事激光和視覺(jué)融合SLAM的研究，有效的利用不同傳感器的優(yōu)勢(shì)。因此，本文綜述了激光和視覺(jué)傳感器融合SLAM的關(guān)鍵性問(wèn)題，主要涉及激光和視覺(jué)傳感器數(shù)據(jù)的外部標(biāo)定、激光和視覺(jué)傳感器數(shù)據(jù)融合方法。其次，對(duì)激光和視覺(jué)融合SLAM方法的優(yōu)缺點(diǎn)和主要的應(yīng)用領(lǐng)域進(jìn)行了總結(jié)。最后，討論了激光和視覺(jué)傳感器數(shù)據(jù)融合SLAM的主要發(fā)展趨勢(shì)及研究熱點(diǎn)。

1 激光視覺(jué)融合SLAM的關(guān)鍵性問(wèn)題

激光和視覺(jué)傳感器數(shù)據(jù)融合的前提條件是不同傳感器對(duì)同一目標(biāo)在同一時(shí)刻的描述[21-22]。因此，不同傳感器數(shù)據(jù)之間的自動(dòng)標(biāo)定以及不同傳感器的數(shù)據(jù)融合是激光和視覺(jué)融合SLAM需要解決的關(guān)鍵問(wèn)題。

1.1 激光和視覺(jué)傳感器數(shù)據(jù)的外部標(biāo)定

傳感器的標(biāo)定方法可以分為兩種，第1種是按照給定的相對(duì)變換關(guān)系安裝傳感器；第2種則是根據(jù)不同傳感器數(shù)據(jù)之間的約束關(guān)系來(lái)計(jì)算兩個(gè)傳感器之間的相對(duì)變換關(guān)系。當(dāng)傳感器發(fā)生故障維護(hù)后第一種方法需要重新校正，而且移動(dòng)機(jī)器人運(yùn)動(dòng)過(guò)程中的振動(dòng)會(huì)使得相對(duì)誤差逐漸增大，因此更多的采用第2種標(biāo)定方法，這種標(biāo)定方法類似于單目相機(jī)的內(nèi)參標(biāo)定[23]，比如論文[24]中對(duì)于激光和數(shù)據(jù)融合的外部標(biāo)定方法，通過(guò)給定的標(biāo)定板，利用幾何約束關(guān)系構(gòu)建坐標(biāo)轉(zhuǎn)換系數(shù)矩陣方程，從而確定相機(jī)坐標(biāo)系和激光雷達(dá)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。而且，針對(duì)未標(biāo)定過(guò)或者標(biāo)定誤差較大的單目相機(jī)，這種標(biāo)定方法還可以采用全局優(yōu)化的方法同步優(yōu)化相機(jī)內(nèi)部標(biāo)定和外部標(biāo)定。在已有的文獻(xiàn)中，相機(jī)和激光雷達(dá)外部標(biāo)定的方法可以按照表1所示進(jìn)行分類。

其中無(wú)給定目標(biāo)的激光-視覺(jué)傳感器外部標(biāo)定主要是利用激光雷達(dá)得到的邊緣深度和相機(jī)圖像中的深度進(jìn)行自動(dòng)對(duì)齊，并利用代價(jià)函數(shù)來(lái)優(yōu)化標(biāo)定參數(shù)和融合結(jié)果[25]。針對(duì)給定目標(biāo)的激光-視覺(jué)傳感器外部標(biāo)定，則是通過(guò)使用平面棋盤(pán)標(biāo)定板[24,26]、直角三角形標(biāo)定板[27]、正交三面體[28]、任意的三面體[28]或者V形標(biāo)定板[29]等等實(shí)現(xiàn)傳感器標(biāo)定。而這樣所有的標(biāo)定方法又可以根據(jù)不同傳感器的感知范圍有無(wú)重疊分為感知范圍有重疊(充足或部分重疊)[24-31,33-42]和感知范圍無(wú)重疊[32,43-44]兩種情況。

表1 激光和視覺(jué)傳感器外部標(biāo)定方法

激光和視覺(jué)傳感器外部標(biāo)定方法比較豐富，其中一部分成果還給出了相應(yīng)的MATLAB標(biāo)定工具包[45]或ROS功能包[46]。

1.2 激光和視覺(jué)傳感器數(shù)據(jù)融合

圖1 特征層數(shù)據(jù)融合

傳感器數(shù)據(jù)融合層次一般分為3種：數(shù)據(jù)層融合、特征層融合和決策層融合。激光和視覺(jué)傳感器是異質(zhì)的，因此數(shù)據(jù)無(wú)法在數(shù)據(jù)層進(jìn)行融合，而決策層融合預(yù)處理代價(jià)高，而且融合的結(jié)果相對(duì)而言最不準(zhǔn)確，因此激光和視覺(jué)傳感器數(shù)據(jù)融合主要是特征層的數(shù)據(jù)融合，如圖1所示。相應(yīng)的傳感器數(shù)據(jù)融合方法有：

1.2.1 估計(jì)理論數(shù)據(jù)融合方法

主要包括卡爾曼濾波方法、協(xié)方差融合方法、最小二乘法等。這種方法是比較簡(jiǎn)單、直觀的數(shù)據(jù)融合方法，主要是以估計(jì)理論作為基礎(chǔ)，為不同的傳感器數(shù)據(jù)建立狀態(tài)空間模型，然后對(duì)其進(jìn)行狀態(tài)估計(jì)，從而實(shí)現(xiàn)數(shù)據(jù)融合[47-50]。

1.2.2 分類數(shù)據(jù)融合方法

主要包括參數(shù)分類方法和非參數(shù)分類方法，參數(shù)分類方法包括參數(shù)模板法和聚類分析法，非參數(shù)分類方法包括自學(xué)習(xí)決策樹(shù)、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。分類方法是將多維特征空間首先劃分為不同的數(shù)據(jù)類，后檢測(cè)到的特征向量通過(guò)與特征空間的劃分方法相對(duì)比，從而劃分到不同的數(shù)據(jù)類[51-52]。

1.2.3 推理數(shù)據(jù)融合方法

主要包括貝葉斯估計(jì)法和Dempster-Shafer (D-S)證據(jù)推理法等。貝葉斯估計(jì)法屬于靜態(tài)環(huán)境信息融合方法，信息描述為概率分布，適應(yīng)于具有可加高斯噪聲的不確定性信息處理。多貝葉斯估計(jì)把每個(gè)傳感器作為貝葉斯估計(jì)，將環(huán)境中各個(gè)物體的關(guān)聯(lián)概率分布結(jié)合成聯(lián)合的后驗(yàn)概率分布函數(shù)，通過(guò)使聯(lián)合分布函數(shù)的似然函數(shù)為最大，提供最終融合值，D-S證據(jù)推理法是貝葉斯估計(jì)法的擴(kuò)展方法[53-54]。

1.2.4 人工智能數(shù)據(jù)融合方法

主要包括模糊邏輯、神經(jīng)網(wǎng)絡(luò)方法等。模糊邏輯是一種多值邏輯，隸屬度可視為一個(gè)數(shù)據(jù)真值的不精確表示。在數(shù)據(jù)融合的過(guò)程中，存在的不確定性可以直接用模糊邏輯表示，使用多值邏輯推理，根據(jù)模糊集合理論的各種演算對(duì)各種命題進(jìn)行合并，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)融合。神經(jīng)網(wǎng)絡(luò)是根據(jù)系統(tǒng)所接受的樣本相似性確定分類標(biāo)準(zhǔn)，發(fā)這種確定方法則體現(xiàn)在網(wǎng)絡(luò)的權(quán)值分布上[55-56]。

除了這些數(shù)據(jù)融合方法之外，還可以根據(jù)所處環(huán)境合理的選擇單個(gè)傳感器或傳感器融合數(shù)據(jù)作為關(guān)鍵幀構(gòu)建地圖[57]。這種根據(jù)環(huán)境狀況合理選擇傳感器數(shù)據(jù)的方式能夠降低數(shù)據(jù)融合的計(jì)算復(fù)雜度并且更好的適應(yīng)于復(fù)雜的動(dòng)態(tài)環(huán)境。

2 激光視覺(jué)融合SLAM的優(yōu)缺點(diǎn)分析

激光雷達(dá)和視覺(jué)傳感器的融合能夠有效的避免單個(gè)傳感器的局限性，融合兩個(gè)傳感器的優(yōu)勢(shì)，提高機(jī)器人定位的精度、通過(guò)視覺(jué)回環(huán)檢測(cè)降低累計(jì)誤差等。視覺(jué)傳感器得到的環(huán)境深度信息能夠匹配到激光雷達(dá)構(gòu)建的2D地圖上，因此可以利用激光雷達(dá)和視覺(jué)融合信息發(fā)現(xiàn)單個(gè)傳感器(激光雷達(dá))所不能發(fā)現(xiàn)的障礙物[58]，提高移動(dòng)機(jī)器人的路徑規(guī)劃和避障性能。尤其對(duì)于動(dòng)態(tài)變化的室外環(huán)境，激光雷達(dá)創(chuàng)建地圖輔助視覺(jué)慣性定位方法能夠提高系統(tǒng)的魯棒性?；旌瞎馐ㄆ讲羁蚣軐⒁曈X(jué)構(gòu)建地圖和激光雷達(dá)構(gòu)建地圖融合對(duì)齊，同步提高地圖構(gòu)建的精度，并且對(duì)于環(huán)境的變化有較強(qiáng)的魯棒性[59]。在多線激光雷達(dá)上，可以獲取的信息包括方向、距離和目標(biāo)點(diǎn)的反射率信息，反射率信息構(gòu)成的數(shù)據(jù)可以看作一種紋理信息，從而激光雷達(dá)和視覺(jué)的融合可以使用視覺(jué)算法和紋理信息構(gòu)成的重定位方法，并且這些信息可以與高精度地圖融合，這樣的高精度地圖就可以在點(diǎn)云和紋理兩種形式間快速切換[60]。但激光雷達(dá)和視覺(jué)傳感器數(shù)據(jù)的融合也會(huì)造成計(jì)算復(fù)雜度提升，提高了環(huán)境特征提取、數(shù)據(jù)融合以及系統(tǒng)實(shí)時(shí)性方面的難度。

3 激光視覺(jué)融合SLAM的主要應(yīng)用領(lǐng)域

SLAM主要應(yīng)用的領(lǐng)域非常廣泛，包括移動(dòng)機(jī)器人的自主定位與導(dǎo)航、AR、無(wú)人機(jī)等等，但受激光雷達(dá)規(guī)格影響，在小型四旋翼以及AR領(lǐng)域激光視覺(jué)融合SLAM應(yīng)用較少[61-62]，主要以相機(jī)與慣性導(dǎo)航單元、相機(jī)與紅外[63]等多傳感器為主，激光視覺(jué)融合SLAM主要應(yīng)用領(lǐng)域包括：

3.1 移動(dòng)機(jī)器人自主運(yùn)動(dòng)、導(dǎo)航和定位

SLAM的主要應(yīng)用領(lǐng)域就是移動(dòng)機(jī)器人的自主運(yùn)動(dòng)、導(dǎo)航和定位，應(yīng)用的環(huán)境場(chǎng)景包括結(jié)構(gòu)化的室內(nèi)環(huán)境和非結(jié)構(gòu)化的室外場(chǎng)景等。比如掃地機(jī)器人、物流倉(cāng)儲(chǔ)機(jī)器人等室內(nèi)服務(wù)機(jī)器人的導(dǎo)航以及路徑規(guī)劃[57]，運(yùn)動(dòng)跟蹤[44]，變電站巡檢等領(lǐng)域。

3.2 無(wú)人駕駛

無(wú)人駕駛作為未來(lái)汽車工業(yè)的發(fā)展方向，其最基本、最重要的功能便是在未知環(huán)境下實(shí)現(xiàn)同步定位與建圖，利用激光雷達(dá)傳感器獲取點(diǎn)云數(shù)據(jù)，并構(gòu)建地圖，規(guī)避路程中遇到的障礙物，實(shí)現(xiàn)路徑規(guī)劃，檢測(cè)道路邊界等，利用視覺(jué)檢測(cè)車道線，并與可通行區(qū)域結(jié)果進(jìn)行融合，得到車輛的行駛路徑[64]。

3.3 測(cè)繪

基于SLAM技術(shù)可以利用激光雷達(dá)和視覺(jué)傳感器進(jìn)行三維模型重建和地圖構(gòu)建，這些三維模型及地圖在測(cè)繪領(lǐng)域有著廣泛的應(yīng)用，尤其是精準(zhǔn)的三維模型數(shù)據(jù)和高精度地圖。因此，激光和視覺(jué)融合SLAM還可以應(yīng)用到三維場(chǎng)景重建[65]、遺跡數(shù)字化保存[66]、測(cè)繪等相關(guān)領(lǐng)域。

4 激光視覺(jué)融合SLAM的主要發(fā)展趨勢(shì)及研究熱點(diǎn)

4.1 與深度學(xué)習(xí)的結(jié)合

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的快速發(fā)展，研究者對(duì)深度學(xué)習(xí)在機(jī)器人領(lǐng)域的應(yīng)用有很大的興趣。激光和視覺(jué)融合SLAM中的特征匹配、閉環(huán)檢測(cè)等模塊都可以通過(guò)深度學(xué)習(xí)來(lái)獲得更優(yōu)的結(jié)果[67]。

Hou[68]等采用caffe深度學(xué)習(xí)框架下的AlexNet模型進(jìn)行環(huán)境特征提取，在光照變化明顯的環(huán)境下，采用深度學(xué)習(xí)的特征描述魯棒性能明顯優(yōu)于傳統(tǒng)特征，并且特征提取的速度更快。Sunderhauf[69]等利用CNNs模型提取圖像區(qū)域特征描述子，并且證明局部區(qū)域描述比全局圖像描述更能有效地應(yīng)對(duì)圖像的視角改變問(wèn)題，因此提出了一種對(duì)于圖像視角和外觀變化有較強(qiáng)魯棒性的場(chǎng)景識(shí)別方法，能夠有效地完成閉環(huán)檢測(cè)。Bai[70]等利用CNNs特征實(shí)現(xiàn)回環(huán)檢測(cè)，并且通過(guò)設(shè)置匹配范圍有效避免了閉環(huán)場(chǎng)景誤匹配，通過(guò)特征壓縮方法保證了深度學(xué)習(xí)框架下SLAM的實(shí)時(shí)性。

4.2 與多機(jī)器人系統(tǒng)的結(jié)合

多機(jī)器人系統(tǒng)在執(zhí)行任務(wù)效率、靈活性、容錯(cuò)性、魯棒性、可重構(gòu)性、分散性和硬件成本等方面比單機(jī)器人系統(tǒng)更具優(yōu)勢(shì)。在大型、復(fù)雜、危險(xiǎn)和人類難以到達(dá)的未知環(huán)境中執(zhí)行災(zāi)難救援、資源勘探和空間探測(cè)等特殊任務(wù)時(shí)，多機(jī)器人SLAM能夠極大地提高效率，有效解決大尺度環(huán)境的SLAM問(wèn)題[71]。

Deutsch[72]等人提出了多機(jī)器人協(xié)作實(shí)時(shí)SLAM的框架，該框架將各個(gè)機(jī)器人的局部地圖合并為一個(gè)全局地圖，然后將全局地圖返回給各個(gè)機(jī)器人，提高機(jī)器人建圖和定位的效率和精度。針對(duì)于多機(jī)器人SLAM中各機(jī)器人初始位置未知的情況，Bresson[73]等提出了分布式的多機(jī)器人SLAM算法框架，而且該框架可以適應(yīng)于任意SLAM算法。Choudhary[74]等提出了基于目標(biāo)的多機(jī)器人SLAM方法，該方法能夠有效地降低數(shù)據(jù)存儲(chǔ)和通信負(fù)擔(dān)，適應(yīng)于通信帶寬受限的場(chǎng)景。

5 結(jié)束語(yǔ)

近年來(lái)，SLAM的研究有了較快的發(fā)展，但是在實(shí)際應(yīng)用中仍然有很多的問(wèn)題。利用激光和視覺(jué)傳感器融合的SLAM能夠有效地解決部分問(wèn)題，為了更好的促進(jìn)SLAM的實(shí)際應(yīng)用，還可以與慣性傳感器(IMU)、GPS、超聲、紅外等多種傳感器融合，使得系統(tǒng)性能更加穩(wěn)定。當(dāng)然，多傳感器融合必然帶來(lái)計(jì)算復(fù)雜度的增加，為了能夠滿足實(shí)際應(yīng)用中實(shí)時(shí)性的要求，仍然需要進(jìn)行算法的改進(jìn)，提高系統(tǒng)的運(yùn)算速度。