非結(jié)構(gòu)化環(huán)境下的單目視覺(jué)可通行區(qū)域檢測(cè)

郭植星，曾 碧，劉建圻，陳文軒，王俊豐

廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州 510006

自主機(jī)器人進(jìn)行作業(yè)首先要具備避障導(dǎo)航規(guī)劃的能力。目前基于不同的傳感器及其組合，如激光雷達(dá)、里程計(jì)、IMU、聲納、單目相機(jī)、雙目相機(jī)和RGBD相機(jī)等，已經(jīng)有多種避障導(dǎo)航方案。但基于激光的導(dǎo)航避障方案存在激光雷達(dá)信息少、維度單一等問(wèn)題，特別是救援場(chǎng)景等其他需要對(duì)語(yǔ)義分析的場(chǎng)景中，純激光SLAM很難完成任務(wù)。多傳感器組合的方案在機(jī)器人導(dǎo)航避障方面逐漸興起，雖然組合不同類(lèi)型的傳感器[1-3]可以獲得更加詳盡的信息和準(zhǔn)確的決策，但也增加了成本并提高了算法的復(fù)雜性。

相機(jī)的優(yōu)點(diǎn)是便宜、容易安裝、體積小、信息豐富。對(duì)于微型飛行器（MAVs）或者小型汽車(chē)，由于體積小，載重能力弱，電池容量有限，只能攜帶重量輕的傳感器，如單目攝像頭，這可避免對(duì)電池壽命和自身移動(dòng)造成過(guò)大影響，也能大大降低移動(dòng)任務(wù)難度。對(duì)于自主機(jī)器人運(yùn)動(dòng)，移動(dòng)機(jī)器人如何判斷其相對(duì)于潛在障礙的位置是至關(guān)重要的。基于單目視覺(jué)的方法不需要特殊的攝像頭配置，更適合各種低成本的機(jī)器人應(yīng)用。本文主要側(cè)重于解決單目視覺(jué)下的實(shí)時(shí)導(dǎo)航規(guī)劃問(wèn)題。

1 相關(guān)工作

只利用相機(jī)作為外部感知傳感器的SLAM稱(chēng)為視覺(jué)SLAM（VSLAM），常見(jiàn)的視覺(jué)SLAM算法有ORBSLAM[4]、DSO-SLAM[5]或LSD-SLAM[6]等。ORB-SLAM穩(wěn)定性強(qiáng)、魯棒性高，DSO-SLAM生成的特征點(diǎn)更加稠密，有助于計(jì)算，LSD-SLAM在紋理比較弱的地方工作性能更好?；谥苯臃ǖ腖SD-SLAM對(duì)光照和動(dòng)態(tài)干擾比較敏感，因此精度一般會(huì)劣于ORB-SLAM。LSDSLAM對(duì)純旋轉(zhuǎn)的魯棒性很大程度上取決于后端優(yōu)化中地圖的優(yōu)化效率，能否獲得準(zhǔn)確的地圖信息是后續(xù)幀能否穩(wěn)定跟蹤的關(guān)鍵。ORB-SLAM不需要恢復(fù)稠密深度，計(jì)算效率高，所以在近似純旋轉(zhuǎn)場(chǎng)景中的魯棒性要比LSD-SLAM更好[7]。由于直接法需要比較兩幀之間的圖像信息，其結(jié)果容易收到外界光照干擾。DSO提出了光度標(biāo)定，通過(guò)對(duì)相機(jī)曝光時(shí)間、暗角、伽馬響應(yīng)等參數(shù)進(jìn)行標(biāo)定而使直接法更加魯棒，只要相機(jī)運(yùn)動(dòng)不快，模糊不明顯，DSO能順利完成工作，但如果出現(xiàn)明顯的模糊或者失真，DSO也會(huì)丟失。DSO對(duì)場(chǎng)景光照要求高，要求盡可能保持曝光時(shí)間的穩(wěn)定。

純視覺(jué)避障方案最大的缺陷是缺乏深度信息，只有RGB圖像很難對(duì)障礙物位置進(jìn)行有效判斷。近年來(lái)，深度學(xué)習(xí)技術(shù)逐漸興起和完善，夏夢(mèng)琪等[8]提出一種全卷積編碼-解碼網(wǎng)絡(luò)模型，使圖像高層信息更有效地在網(wǎng)絡(luò)中傳遞，在保證精度的同時(shí)提升了精度。Eigen等[9-10]使用深度學(xué)習(xí)進(jìn)行單目深度估計(jì)，估計(jì)障礙物位置并進(jìn)行避障；Wang等[11]引入了人類(lèi)視覺(jué)系統(tǒng)估計(jì)深度的要素之一——運(yùn)動(dòng)，依此提出了一種基于深度學(xué)習(xí)的多視點(diǎn)稠密深度圖和里程計(jì)估計(jì)方法，采用遞歸神經(jīng)網(wǎng)絡(luò)（RNN），利用多視點(diǎn)圖像重投影和前后向流一致性損失進(jìn)行訓(xùn)練并得到預(yù)測(cè)深度圖。Riegler等[12]利用立體成像技術(shù)來(lái)改進(jìn)單目深度估計(jì)，提出了一種從單個(gè)輸入圖像推斷深度的新型深度框架——monoResMatch，其原理是將單目深度估計(jì)轉(zhuǎn)化成立體匹配問(wèn)題，再用立體匹配網(wǎng)絡(luò)進(jìn)行視差估計(jì)。另一種思路是直接求解空間中的空閑區(qū)域，以此作為機(jī)器人的可通行區(qū)域進(jìn)行導(dǎo)航規(guī)劃。Liang等[13]利用倒極（reciprocal-polar，RP）圖像校正和RP空間中的正弦模型擬合進(jìn)行地平面分割從而得到機(jī)器人可移動(dòng)的地平面區(qū)域。Zhou等[14]從圖像序列中提取連續(xù)兩幀進(jìn)行單應(yīng)性計(jì)算，并由此得到地平面區(qū)域。Jin等[15]通過(guò)固定相機(jī)高度和約束水平旋轉(zhuǎn)以加強(qiáng)單應(yīng)性約束，再使用該約束進(jìn)行地平面檢測(cè)。

鄭爭(zhēng)光等[16]通過(guò)對(duì)圖像進(jìn)行自適應(yīng)閾值分割，獲取障礙物和地面的邊界輪廓后進(jìn)行障礙物判斷。Lenser等[17]采用低分辨率顏色分割和目標(biāo)檢測(cè)（訓(xùn)練為8個(gè)目標(biāo)類(lèi)）進(jìn)行單目避障。針對(duì)室內(nèi)環(huán)境，Ohya等[18]中提出了一個(gè)導(dǎo)航框架，使用單幀圖像檢測(cè)靜止目標(biāo)和超聲波傳感檢測(cè)運(yùn)動(dòng)目標(biāo)，使用當(dāng)前和期望圖像之間的差異來(lái)區(qū)分動(dòng)靜態(tài)障礙物。Lin等[19]結(jié)合特征匹配和自適應(yīng)顏色分割算法進(jìn)行平面估計(jì)，經(jīng)過(guò)IPT和地面區(qū)域分割獲得可通行的柵格地圖。Souhila等[20]從圖像序列中提取光流，光流提供了機(jī)器人環(huán)境的相關(guān)信息，如障礙物布置、機(jī)器人航向、碰撞時(shí)間和深度等，該策略通過(guò)平衡左右側(cè)的光流量來(lái)避開(kāi)障礙物。Cherubini等[21]用一系列有序圖像幀表示待前進(jìn)路徑，將導(dǎo)航任務(wù)切割為多個(gè)前往下一個(gè)關(guān)鍵幀的子任務(wù)。此類(lèi)方法確實(shí)能實(shí)現(xiàn)視覺(jué)導(dǎo)航的任務(wù)[22]，但卻忽略了避障功能的實(shí)現(xiàn)，Lamiraux等[23]對(duì)此部分進(jìn)行了補(bǔ)充和完善。但這類(lèi)方法都需要預(yù)先構(gòu)建一部分環(huán)境模型，如門(mén)、窗或者墻等。以上方法通過(guò)劃分可通行區(qū)域和障礙物區(qū)域以使機(jī)器人在不同的空間區(qū)域完成實(shí)時(shí)導(dǎo)航規(guī)劃任務(wù)。

針對(duì)機(jī)器人導(dǎo)航任務(wù)，另一種解決方案是利用場(chǎng)景信息分析得到運(yùn)動(dòng)決策。文獻(xiàn)[24-25]引入深度強(qiáng)化學(xué)習(xí)方法，Zhu等[24]采用端到端的方式解決導(dǎo)航問(wèn)題，通過(guò)對(duì)同一場(chǎng)景下的兩幅輸入圖像的比較，得出當(dāng)前state想要到達(dá)target需要執(zhí)行什么動(dòng)作。Yang等[25]將先驗(yàn)場(chǎng)景信息進(jìn)行編碼，加入到端到端的視覺(jué)導(dǎo)航中，可以完成去找杯子、去廚房等的語(yǔ)義導(dǎo)航能力。基于先驗(yàn)信息的導(dǎo)航不僅可以在已知場(chǎng)景中找到目標(biāo)，還可以在未知場(chǎng)景中進(jìn)行導(dǎo)航規(guī)劃。李鵬等[26]利用分布式環(huán)境的不同特征，對(duì)區(qū)域?qū)Ш阶幽K進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)針對(duì)不同區(qū)域的獨(dú)立控制策略。

上述導(dǎo)航避障方案中，每種傳感器都有其優(yōu)點(diǎn)和不足：超聲波傳感器抗環(huán)境干擾能力強(qiáng)，但會(huì)受環(huán)境溫度影響，小物體難以反射足夠的聲波；激光雷達(dá)實(shí)時(shí)性強(qiáng)、信息準(zhǔn)確，但價(jià)格昂貴、信息維度單一；視覺(jué)相機(jī)價(jià)格低廉，信息豐富，但缺乏直接的距離信息?；谏疃葘W(xué)習(xí)的視覺(jué)深度估計(jì)算法或者基于強(qiáng)化學(xué)習(xí)的導(dǎo)航避障算法在指定場(chǎng)景能出色地完成任務(wù)，但在隨機(jī)場(chǎng)景中魯棒性較低。為了實(shí)現(xiàn)三維空間下低成本且魯棒性高的機(jī)器人導(dǎo)航系統(tǒng)，受文獻(xiàn)[14-15，19]的啟發(fā)，本文提出了一種基于單目相機(jī)的可通行區(qū)域檢測(cè)方法（accessible space detection method based on monocularcamera，ASDM-Mono），僅通過(guò)單目視覺(jué)特征點(diǎn)地圖信息即可計(jì)算空間中各點(diǎn)的可通行代價(jià)。首先利用單目SLAM特征點(diǎn)法計(jì)算得到3D特征點(diǎn)地圖；然后在特征點(diǎn)地圖的基礎(chǔ)上，提出了一種能精確計(jì)算前方空間與其鄰近特征點(diǎn)簇最小距離的障礙物距離求解器；為了得到機(jī)器人導(dǎo)航所需的視覺(jué)代價(jià)地圖和可通行區(qū)域，設(shè)計(jì)了一個(gè)代價(jià)求解器；固定相機(jī)高度結(jié)合可通行區(qū)域的方法可以求解得到單目視覺(jué)中的尺度因子以解決單目SLAM中尺度不確定的問(wèn)題。最后經(jīng)過(guò)反投影變換獲得可通行方向。該方法僅需低成本的單目相機(jī)傳感器便可實(shí)現(xiàn)可通行區(qū)域的檢測(cè)任務(wù)。此外，該方法計(jì)算得到了視覺(jué)代價(jià)地圖和可通行方向，有利于后續(xù)小車(chē)的路徑規(guī)劃模塊，更易落地，實(shí)用價(jià)值高。

2 基于單目視覺(jué)的可通行區(qū)域檢測(cè)

2.1 單目可通行區(qū)域檢測(cè)框架及原理

本文提出的ASDM-Mono方法旨在實(shí)現(xiàn)非結(jié)構(gòu)化環(huán)境下魯棒性高的單目視覺(jué)導(dǎo)航方案，提供一種基于單目視覺(jué)特征點(diǎn)地圖求解可通行區(qū)域的方法。為了追求旋轉(zhuǎn)場(chǎng)景的魯棒性及降低室內(nèi)場(chǎng)景的光照依賴(lài)性，特征點(diǎn)法選取ORB-SLAM。

假定相機(jī)高度固定并且約束相機(jī)只在水平面上旋轉(zhuǎn)，ASDM-Mono算法實(shí)現(xiàn)步驟如下：

步驟1通過(guò)特征提取和匹配、PnP算法計(jì)算特征點(diǎn)集

步驟2分割前方區(qū)域空間S為m個(gè)細(xì)小子區(qū)域利用KD-Tree查找每個(gè)子區(qū)域sj附近k個(gè)鄰居特征點(diǎn)N=( )P1,P2,…,Pk,N?D，使用障礙物距離求解器求解得到子區(qū)域sj的最近障礙物距離dsj。

步驟3將障礙物距離信息dsj,sj∈S代入代價(jià)求解器求得視覺(jué)代價(jià)地圖Mcost，并結(jié)合預(yù)先設(shè)定好的代價(jià)閾值σ對(duì)Mcost進(jìn)行劃分得到可通行區(qū)域。

步驟4利用可通行區(qū)域和隨機(jī)采樣一致算法（random sample consensus，RANSAC）過(guò)濾得到地面點(diǎn)集Dplane?D并進(jìn)行尺度因子ρ求解。

步驟5根據(jù)尺度因子ρ更正可通行區(qū)域尺度，通過(guò)投影變換獲得可通行方向并結(jié)合機(jī)器人運(yùn)動(dòng)規(guī)劃器進(jìn)行導(dǎo)航規(guī)劃。

圖1展示了ASDM-Mono算法的整體框架，主要包括特征提取、可通行區(qū)域檢測(cè)、尺度因子求解及障礙物檢測(cè)等四大部分。下面將對(duì)其中的具體細(xì)節(jié)進(jìn)行詳細(xì)的闡述。

圖1 ASDM-Mono算法整體流程框圖Fig.1 Overall flow diagram of ASDM-Mono

2.2 障礙物距離求解器

ASDM-Mono使用特征點(diǎn)標(biāo)識(shí)障礙物，利用KD-Tree收集已劃分區(qū)域sj的鄰近特征點(diǎn)集N，通過(guò)統(tǒng)計(jì)所有子區(qū)域sj到臨近點(diǎn)的距離來(lái)獲取其對(duì)應(yīng)最近障礙物距離dsj。直接使用平均距離進(jìn)行距離求解并不能很好表示不同位置之間的差異及準(zhǔn)確表達(dá)最近障礙物距離，而采用高斯核密度估計(jì)獲取特征點(diǎn)的分布情況能更好地辨識(shí)最近障礙物。高斯核密度估計(jì)的分布密度函數(shù)fh(x)計(jì)算如公式（1）所示：

其中，f(x)表示概率密度函數(shù)；K(x)表示核函數(shù)，這里選取高斯核函數(shù)；h表示帶寬，本文取0.5；k表示收集到的臨近點(diǎn)數(shù)量；待計(jì)算區(qū)域sj的最近障礙物距離dsj計(jì)算公式如式（5）所示：

其中，peaki(f)表示獲取f(x)密度分布中第i個(gè)波峰值；di表示待計(jì)算區(qū)域sj與第i個(gè)臨近點(diǎn)Pi的距離；dkde表示利用高斯核密度估計(jì)估算的距離；dave表示特征點(diǎn)集平均距離；α表示權(quán)重因子。

圖2中（a）展示了待計(jì)算區(qū)域sj附近特征點(diǎn)的距離信息，（b）表示使用高斯核密度估計(jì)得到的分布情況，橫坐標(biāo)表示臨近點(diǎn)的距離x，縱坐標(biāo)表示該臨近點(diǎn)根據(jù)高斯核密度估計(jì)計(jì)算得到的概率密度f(wàn)()x。由圖2（b）可以看出，該區(qū)域附近有兩個(gè)特征點(diǎn)簇x1、x2，分別表示兩個(gè)障礙物O1、O2，希望得到sj最近障礙物的距離信息，故取第一個(gè)波峰f(x1)的距離作為的最近障礙物距離dsj，此做法可以實(shí)現(xiàn)簡(jiǎn)單的聚類(lèi)功能，實(shí)現(xiàn)了對(duì)不同方位障礙物的區(qū)分處理。圖2中選取x1=0.3作為當(dāng)前場(chǎng)景下的最近障礙物距離值。

圖2 障礙物距離計(jì)算示意圖Fig.2 Obstacles distance calculation

以下通過(guò)一個(gè)簡(jiǎn)單的模擬實(shí)驗(yàn)進(jìn)行障礙物求解器測(cè)試。

圖3中顏色深淺表示特征點(diǎn)分布密度，顏色越深表示特征點(diǎn)數(shù)量越密集。實(shí)驗(yàn)場(chǎng)景是模擬最常見(jiàn)的直線(xiàn)道路區(qū)域，道路總寬度為2 m，實(shí)驗(yàn)?zāi)康氖乔蟮眉t色塊區(qū)域（小車(chē)）離最近障礙物的距離。

圖3道路模擬實(shí)驗(yàn)示意圖Fig.3 Road simulation experiment

圖4中（a）表示使用公式（3）計(jì)算得到的障礙物距離值，（b）表示使用公式（5）計(jì)算得到的障礙物距離值，（c）表示臨近特征點(diǎn)平均距離，（d）為臨近特征點(diǎn)距離標(biāo)準(zhǔn)差。

圖4 道路模擬實(shí)驗(yàn)數(shù)據(jù)分析Fig.4 Analysis of road simulation experiment

如圖4（a）和（d）所示，道路中間（即水平偏移量為0處）數(shù)據(jù)方差小，數(shù)值較接近，取首波峰數(shù)據(jù)作為距離量會(huì)有較大波動(dòng)和誤差，直接使用首波峰距離dkde或平均距離dave均不能很好地滿(mǎn)足道路中間小車(chē)距障礙物距離大，道路兩側(cè)距障礙物距離小的原則，該方法將dkde和dave相結(jié)合，當(dāng)方差較小時(shí)增大對(duì)應(yīng)權(quán)重，最終求得的結(jié)果如圖4（b）所示，能很好地解決了這個(gè)問(wèn)題。

2.3 代價(jià)求解器

以上步驟已經(jīng)得到了前方區(qū)域的最近障礙物距離信息，接下來(lái)需要對(duì)前方區(qū)域進(jìn)行視覺(jué)代價(jià)地圖求解，為了降低機(jī)器人撞擊障礙物的概率，方便后續(xù)機(jī)器人進(jìn)行路徑規(guī)劃，設(shè)計(jì)了一個(gè)代價(jià)求解器，根據(jù)最近障礙物距離信息進(jìn)行代價(jià)分配，且距障礙物較近區(qū)域代價(jià)值應(yīng)遠(yuǎn)高于較遠(yuǎn)區(qū)域代價(jià)值。

基于特征點(diǎn)進(jìn)行代價(jià)求解存在兩個(gè)問(wèn)題，一是由于障礙物背部的特征點(diǎn)信息缺失，如果直接進(jìn)行代價(jià)計(jì)算，該方法會(huì)將障礙物背部視為空閑區(qū)域，針對(duì)該問(wèn)題，代價(jià)求解器中引入了代價(jià)傳播機(jī)制；二是空閑區(qū)域中心位置附近特征點(diǎn)數(shù)量較少，此時(shí)計(jì)算得到的距離信息可能會(huì)有較大誤差，如果不加以修正，會(huì)出現(xiàn)中心空閑區(qū)域代價(jià)值更高的情況，這是不合邏輯的，盡管該問(wèn)題可以通過(guò)增大KD-Tree搜索范圍解決，但此舉會(huì)增加時(shí)間復(fù)雜度，降低實(shí)時(shí)性。為保證實(shí)時(shí)性和避免臨近特征點(diǎn)數(shù)量過(guò)少帶來(lái)過(guò)大誤差，代價(jià)求解中引入一個(gè)臨近特征點(diǎn)數(shù)量臨界值n*，若臨近點(diǎn)數(shù)量n過(guò)小，即n

經(jīng)過(guò)測(cè)試，代價(jià)求解器設(shè)計(jì)如公式（6）所示：

其中，C表示待計(jì)算區(qū)域代價(jià)值；d*表示影響半徑，本文設(shè)置為1.0；n*表示臨近點(diǎn)數(shù)量臨界值，本文設(shè)置為100；η*表示代價(jià)尺度因子，本文設(shè)置為0.1。

為了避免因障礙物背面檢測(cè)不到特征點(diǎn)而導(dǎo)致可通行區(qū)域計(jì)算出現(xiàn)錯(cuò)誤的情況，代價(jià)求解過(guò)程中引入代價(jià)傳播機(jī)制，原理如算法1所示：

算法1 Cost propagate mechanism

Input c：cost to be calculated，c*：cost threshold，

Ocam：camera position and s：subspace ahead

Output Optimized cost c'

1.for each ci(1≤i≤m)do

2. if ci>c*then

3. P←Bresenham(Ocam,si)；

4. for each p in P do

5. Propagate cito cp；

6. end for

7. end if

8.end for

從相機(jī)位置（原點(diǎn)）向障礙物潛在區(qū)域（代價(jià)值較大區(qū)域）發(fā)射射線(xiàn)，將障礙物代價(jià)值向后方區(qū)域傳播，效果如圖5所示。

圖5 代價(jià)傳播示意圖Fig.5 Cost propagation

2.4 尺度因子求解器

通過(guò)對(duì)極幾何求解相機(jī)運(yùn)動(dòng)時(shí)，由于本質(zhì)矩陣具有尺度等價(jià)性，導(dǎo)致分解得到的平移矩陣具有一個(gè)未知的尺度，常見(jiàn)做法是對(duì)該平移矩陣進(jìn)行歸一化處理，但歸一化后的尺度導(dǎo)致了單目視覺(jué)的尺度不確定性。

尺度因子求解的前提是相機(jī)高度固定并且只進(jìn)行水平面旋轉(zhuǎn)。首先使用前面得到的可通行區(qū)域和RANSAC對(duì)特征點(diǎn)進(jìn)行過(guò)濾，得到地面點(diǎn)并算出歸一化尺度下的地面高度，即圖6中的h'，然后利用預(yù)設(shè)好的相機(jī)高度h計(jì)算尺度因子ρ=h/h'，最后利用ρ進(jìn)行障礙物深度估計(jì)和特征點(diǎn)真實(shí)尺寸恢復(fù)。

圖6 尺度因子求解示意圖Fig.6 Calculation of scale factor

3 實(shí)驗(yàn)

為了驗(yàn)證ASDM-Mono的可行性與實(shí)用性，在KITTI數(shù)據(jù)集和現(xiàn)實(shí)場(chǎng)景中分別進(jìn)行了實(shí)驗(yàn)測(cè)試，KITTI數(shù)據(jù)集圖像分辨率為1 241×376，實(shí)驗(yàn)采用ORB-SLAM3進(jìn)行特征點(diǎn)數(shù)據(jù)采集。實(shí)驗(yàn)使用搭載Ubuntu 18.04和ROS系統(tǒng)的電腦，處理器（CPU）為Intel?CoreTMi7-6700 CPU@3.40 GHz 3.41 GHz，內(nèi)存為8 GB。顯卡（GPU）為AMD Radeon R7 350 Series，顯存為2 GB。

3.1 障礙物距離求解器實(shí)驗(yàn)

下面將對(duì)障礙物距離求解器進(jìn)行實(shí)驗(yàn)，主要目的是對(duì)比引入障礙物距離求解器前后的差異。圖7中（a）是實(shí)驗(yàn)場(chǎng)景原圖，（b）是使用平均距離即公式（4）計(jì)算得到的視野范圍內(nèi)視覺(jué)代價(jià)地圖，（c）是使用該方法距離求解器即公式（5）計(jì)算得到的視覺(jué)代價(jià)地圖。圖7（b）視覺(jué)代價(jià)地圖中部出現(xiàn)空閑區(qū)域中心代價(jià)值更小的情況，這是因?yàn)橹行膮^(qū)域臨近特征點(diǎn)數(shù)量少、距離方差小，該情況會(huì)對(duì)可通行方向的判斷和可通行區(qū)域的計(jì)算帶來(lái)較大干擾，為了解決該問(wèn)題，引入臨近點(diǎn)數(shù)量臨界值，同時(shí)結(jié)合平均距離和首波峰距離進(jìn)行優(yōu)化計(jì)算。優(yōu)化后的效果如圖7（c）所示，可以看到，空閑區(qū)域中心同附近障礙物之間的過(guò)渡符合預(yù)期，更能滿(mǎn)足機(jī)器人在實(shí)際場(chǎng)景中進(jìn)行導(dǎo)航規(guī)劃的需求。

圖7 障礙物距離實(shí)驗(yàn)效果圖Fig.7 Experiment of obstacles distance calculation

3.2 代價(jià)傳播機(jī)制實(shí)驗(yàn)

本節(jié)實(shí)驗(yàn)主要測(cè)試代價(jià)求解器中的代價(jià)傳播機(jī)制。圖8中（a）是實(shí)驗(yàn)場(chǎng)景原圖，（b）是使用該方法障礙物距離求解器但未引入代價(jià)傳播機(jī)制的視覺(jué)代價(jià)地圖，（c）是使用該方法障礙物距離求解器且引入代價(jià)傳播機(jī)制優(yōu)化后的視覺(jué)代價(jià)地圖。圖8（b）中可以看出，未引入代價(jià)傳播機(jī)制的視覺(jué)代價(jià)地圖中，由于無(wú)法獲取障礙物背部信息，基于特征點(diǎn)標(biāo)識(shí)障礙物的方法會(huì)將特征點(diǎn)背部視為空閑空間，這不利于機(jī)器人的路徑規(guī)劃。而代價(jià)傳播機(jī)制能適當(dāng)增加未知區(qū)域的代價(jià)值而不是單純地將其視為空閑區(qū)域，效果如圖8（c）所示。

圖8 代價(jià)傳播實(shí)驗(yàn)效果圖Fig.8 Experiment of cost propagation

3.3 尺度因子求解器實(shí)驗(yàn)

利用可通行區(qū)域過(guò)濾得到的地面點(diǎn)結(jié)合相機(jī)的固定高度可進(jìn)行單目SLAM的尺度因子求解。本節(jié)實(shí)驗(yàn)將對(duì)尺度因子求解器進(jìn)行障礙物距離測(cè)試。實(shí)驗(yàn)選用Kinect-v1.0相機(jī)進(jìn)行靜態(tài)障礙物距離估計(jì)實(shí)驗(yàn)，Kinect相機(jī)采集得到的深度圖像同實(shí)際測(cè)量距離作為實(shí)驗(yàn)GroundTruth，Kinect相機(jī)RGB圖像作為實(shí)驗(yàn)的單目圖像輸入。實(shí)驗(yàn)結(jié)果如表1所示，相機(jī)被控制在距離障礙物0.5 m至1.5 m之間，障礙物距離估計(jì)受地面點(diǎn)單應(yīng)性和數(shù)量影響，誤差范圍在2.5%至4.9%之間。

表1 障礙物深度實(shí)驗(yàn)數(shù)據(jù)Table 1 Analysis of ablation experiments

圖9、圖10中，（a）是實(shí)驗(yàn)環(huán)境圖像，（b）、（c）、（d）分別表示相機(jī)坐標(biāo)下特征點(diǎn)全局圖、俯視圖和側(cè)視圖。圖中綠色部分是Kinect相機(jī)得到的深度圖像。實(shí)驗(yàn)環(huán)境中相機(jī)距離障礙物距離為0.8 m，矯正前檢測(cè)深度為1.03 m，矯正后檢測(cè)深度為0.82 m。可以看出，如果不經(jīng)過(guò)任何處理，單目SLAM得到的特征點(diǎn)具有尺度不確定性的問(wèn)題，此時(shí)所測(cè)得的深度信息具有較大的誤差，而經(jīng)過(guò)該方法尺度因子求解優(yōu)化后誤差由28.75%降至2.5%，具有較大提升。

圖9 尺度因子求解器矯正前示意圖Fig.9 Experiment of scale-factor solver（before correction）

圖10 尺度因子求解器矯正后示意圖Fig.10 Experiment of scale-factor solver（after correction）

3.4 ASDM-Mono實(shí)時(shí)性實(shí)驗(yàn)

可通行區(qū)域檢測(cè)實(shí)時(shí)性實(shí)驗(yàn)中，主要測(cè)試首波峰距離和代價(jià)傳播機(jī)制對(duì)實(shí)時(shí)性的影響。該方法所需時(shí)間如表2所示，當(dāng)采用平均距離和代價(jià)傳播模塊時(shí)，每幀圖像所需時(shí)間為0.050 s，視覺(jué)代價(jià)地圖生成頻率為20 Hz。當(dāng)繼續(xù)引入首波峰距離進(jìn)行距離優(yōu)化時(shí)，時(shí)間有所增加，為每幀0.073 s，視覺(jué)代價(jià)地圖生成頻率為14 Hz。如果希望實(shí)現(xiàn)視覺(jué)實(shí)時(shí)避障功能時(shí)，采取前者的方案，而如果希望構(gòu)建一張精準(zhǔn)的代價(jià)地圖以供以后導(dǎo)航使用時(shí)，則選取后者，兩套方案在不同的需求下都滿(mǎn)足了SLAM中實(shí)時(shí)性要求。

表2 ASDM-Mono算法所需時(shí)間Table 2 Time required for ASDM-Mono algorithm

3.5 非結(jié)構(gòu)化場(chǎng)景可通行區(qū)域檢測(cè)實(shí)驗(yàn)

相比于結(jié)構(gòu)化環(huán)境，非結(jié)構(gòu)化環(huán)境增加了更多的復(fù)雜性和多樣性，并且道路特征不固定，較難直接從周?chē)h(huán)境中獲取信息。為了檢測(cè)文章方法在非結(jié)構(gòu)場(chǎng)景下的實(shí)驗(yàn)效果，本節(jié)進(jìn)行了可通行區(qū)域的覆蓋率和錯(cuò)檢率實(shí)驗(yàn)。實(shí)驗(yàn)中，激光雷達(dá)獲取到的邊界信息加上膨脹層作為可通行區(qū)域GroundTruth，比較該方法得到的可通行區(qū)域和激光柵格地圖空閑區(qū)域占比獲得覆蓋率數(shù)據(jù)，超出激光邊界的可通行區(qū)域視為錯(cuò)檢，實(shí)驗(yàn)對(duì)比示意圖如圖11所示，圖11（d）中紅色框表示錯(cuò)檢區(qū)域，藍(lán)色框?yàn)榧す饫走_(dá)誤檢區(qū)域，將進(jìn)行手動(dòng)糾正。

圖11 非結(jié)構(gòu)化場(chǎng)景實(shí)驗(yàn)對(duì)比圖Fig.11 Unstructured environment experimental comparison

實(shí)驗(yàn)過(guò)程中，小車(chē)間隔1 m提取一次可通行區(qū)域進(jìn)行比對(duì)，統(tǒng)計(jì)得到的可通行區(qū)域覆蓋率和錯(cuò)檢率分別如圖12、13所示。覆蓋率實(shí)驗(yàn)數(shù)據(jù)表明，覆蓋率在70%~80%、80%~90%、90%~100%內(nèi)的樣本占采樣總數(shù)的比例分別為12.4%、32.4%、40.9%，平均覆蓋率為88.39%。錯(cuò)檢率實(shí)驗(yàn)數(shù)據(jù)表明，錯(cuò)檢率在區(qū)間0%~10%、10%~20%、20%~30%內(nèi)的比例分別為70.1%、17.7%、7%，平均錯(cuò)檢率為5.03%。

圖12 可通行區(qū)域覆蓋率實(shí)驗(yàn)示意圖Fig.12 Experiment of accessible space coverage

3.6 可通行區(qū)域檢測(cè)綜合實(shí)驗(yàn)

綜合以上障礙物距離求解器、代價(jià)傳播機(jī)制和尺度因子求解器，該算法使用特征點(diǎn)標(biāo)識(shí)障礙物并將代價(jià)值較低區(qū)域標(biāo)記為可通行區(qū)域，最后將計(jì)算得到的代價(jià)地圖進(jìn)行投影變換便可得到二維圖像中的可通行方向，最終選取平均距離+首波峰距離+代價(jià)傳播的方案進(jìn)行綜合實(shí)驗(yàn)測(cè)試，KITTI數(shù)據(jù)集上測(cè)試的實(shí)驗(yàn)效果如圖14所示，現(xiàn)實(shí)場(chǎng)景中實(shí)驗(yàn)效果如圖15所示。

圖13 可通行區(qū)域錯(cuò)檢率實(shí)驗(yàn)示意圖Fig.13 Experiment of accessible space error detection

圖14 KITTI數(shù)據(jù)集可通行區(qū)域檢測(cè)效果圖Fig.14 Results of accessible space detection with KITTI dataset

圖15 現(xiàn)實(shí)場(chǎng)景可通行區(qū)域檢測(cè)效果圖Fig.15 Results of accessible space detection in real scene

4 總結(jié)

通過(guò)將單目視覺(jué)圖像中提取的特征點(diǎn)作為障礙物標(biāo)記，研發(fā)了一套基于單目特征點(diǎn)法的純視覺(jué)導(dǎo)航算法——ASDM-Mono，只需單目相機(jī)便可構(gòu)建視覺(jué)代價(jià)地圖并獲得可通行區(qū)域和可通行方向，可用于實(shí)現(xiàn)三維避障功能，彌補(bǔ)了激光雷達(dá)維度信息缺失、價(jià)格昂貴以及深度強(qiáng)化學(xué)習(xí)方案訓(xùn)練成本高的缺點(diǎn)。該方法可準(zhǔn)確計(jì)算得到機(jī)器人前方區(qū)域各個(gè)位置的通行代價(jià)，最終得到的可通行區(qū)域可用于障礙物判別，視覺(jué)代價(jià)地圖可用于路徑規(guī)劃。在未來(lái)的實(shí)驗(yàn)中，可考慮將該方法移植到移動(dòng)端和無(wú)人機(jī)上，擴(kuò)展為未知環(huán)境中的定點(diǎn)探索任務(wù)，并且添加動(dòng)態(tài)障礙物的避障功能。