室內(nèi)動(dòng)態(tài)環(huán)境下基于PointRend分割的視覺SLAM

葉紫陽 吳曉鋒

(閩南師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，福建 漳州 363000)

同時(shí)定位與地圖構(gòu)建(simultaneous localization and mapping，SLAM)即機(jī)器人在未知環(huán)境下只通過傳感器獲取環(huán)境信息來計(jì)算自身位姿估計(jì)并構(gòu)建環(huán)境模型，從而確立自身全局位置的過程。視覺SLAM 是近年來的熱點(diǎn)，并廣泛應(yīng)用于自動(dòng)駕駛、人機(jī)交互、增強(qiáng)現(xiàn)實(shí)(AR)、導(dǎo)航避障和視障人士的導(dǎo)航輔助等領(lǐng)域。

大部分視覺SLAM 系統(tǒng)只假設(shè)在靜態(tài)環(huán)境下，忽略實(shí)際環(huán)境中的運(yùn)動(dòng)物體，這導(dǎo)致傳統(tǒng)的視覺SLAM 系統(tǒng)在建圖過程中出現(xiàn)特征點(diǎn)跟蹤失敗等問題，降低系統(tǒng)的精度與魯棒性。因此，研究適合在動(dòng)態(tài)環(huán)境下的魯棒視覺SLAM 算法非常重要。

現(xiàn)在魯棒視覺SLAM 算法的研究主要用運(yùn)動(dòng)分割(也稱為運(yùn)動(dòng)對象檢測/分割)，即通過分割圖像中的靜態(tài)和動(dòng)態(tài)特征并剔除動(dòng)態(tài)特征，然后僅基于靜態(tài)特征估計(jì)位姿。可通過深度學(xué)習(xí)和光流、幾何等方法相結(jié)合來剔除動(dòng)態(tài)物體。Kaneke 等[1]提出Mask-SlAM，用DeepLabv2對動(dòng)態(tài)物體生成掩膜，只從被掩膜排除的區(qū)域提取特征點(diǎn)。Brasch 等[2]使用ICNet 對所有圖像幀進(jìn)行語義分割，在分割后的每幀圖像同時(shí)用特征點(diǎn)法與直接法。Yu 等[3]提出DS-SLAM，該系統(tǒng)采用語義分割網(wǎng)絡(luò)SegNet 與運(yùn)動(dòng)一致性檢查相結(jié)合，以減少動(dòng)態(tài)對象的影響。Bescos 等[4]提出DynaSLAM，該系統(tǒng)綜合使用語義分割網(wǎng)絡(luò)Mask R-CNN[5]與多視圖幾何關(guān)系來檢測并剔除動(dòng)態(tài)目標(biāo)。

為了視覺SLAM 算法能在室內(nèi)動(dòng)態(tài)環(huán)境下更精確定位與建圖，本文提出了一種基于語義分割和多視圖幾何相結(jié)合的動(dòng)態(tài)視覺SLAM 算法，在公開的TUM 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，與ORB-SLAM2 算法和DynaSLAM 算法的運(yùn)行結(jié)果進(jìn)行對比，提高了位姿估計(jì)精度和魯棒性。

1 系統(tǒng)框架

系統(tǒng)在ORB_SLAM2 算法的基礎(chǔ)上，通過在視覺里程計(jì)部分增加語義分割模塊和多視圖幾何模塊來檢測和剔除動(dòng)態(tài)特征。系統(tǒng)框架如圖1 所示：對每幀原始彩色圖像，先用Mask R-CNN 和PiontRend 的結(jié)合算法進(jìn)行語義分割，對先驗(yàn)動(dòng)態(tài)物體生成掩膜；由于掩膜的存在，提取特征點(diǎn)算法時(shí)只在其他物體上提取特征點(diǎn)；再增加低成本跟蹤和多視圖幾何算法，來檢測后驗(yàn)動(dòng)態(tài)特征點(diǎn)后進(jìn)行剔除；最后只剩下穩(wěn)定的靜態(tài)特征點(diǎn)進(jìn)行位姿估計(jì)與跟蹤建圖。

圖1 系統(tǒng)框架圖

1.1 語義分割

要在視覺SLAM 中達(dá)到去除動(dòng)態(tài)物體的效果，由深度學(xué)習(xí)算法獲得的圖像分割精度尤為重要。

1.1.1 圖像分割網(wǎng)絡(luò)Mask R-CNN

Mask R-CNN 算法通過增加不同分支可完成目標(biāo)分類、目標(biāo)檢測、語義分割和實(shí)例分割等多項(xiàng)圖像處理任務(wù)，其中網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。Mask R-CNN 采用殘差網(wǎng)絡(luò)ResNet 和特征金字塔網(wǎng)絡(luò)FPN 相結(jié)合；對于特征圖中的每個(gè)特征設(shè)定固定個(gè)數(shù)的感興趣區(qū)域ROI，從而獲得多個(gè)候選 ROI。將每個(gè)候選ROI 利用RPN(Region Proposal Network)網(wǎng)絡(luò)剔除一些不正確的ROI。將剩余ROI 利用RoI Align 實(shí)現(xiàn)特征圖與原始圖像的對應(yīng)。最后每個(gè)ROI 被送入全連接網(wǎng)絡(luò)FCN 實(shí)現(xiàn)目標(biāo)分類和邊框回歸，并在掩膜預(yù)測分支中生成掩膜。

圖2 Mask R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)

但得到的預(yù)測掩膜的尺寸小于原始圖像，還需進(jìn)行上采樣恢復(fù)到原始圖像大小。而在這過程中容易對邊界像素產(chǎn)生誤判，這就導(dǎo)致分割的精度下降。PointRend[6]神經(jīng)網(wǎng)絡(luò)模塊正是為了解決上述問題。

1.1.2 輕量級PiontRend

PiontRend 神經(jīng)網(wǎng)絡(luò)模塊是由Mask R-CNN 同一團(tuán)隊(duì)提出的一個(gè)新型上采樣方法，針對物體邊緣的圖像分割進(jìn)行優(yōu)化，其思想是把圖像分割看成一個(gè)渲染問題，是一種基于能自適應(yīng)選擇點(diǎn)的迭代細(xì)分算法分割預(yù)測，算法步驟如下：

a.先用輕量級的預(yù)測頭產(chǎn)生一個(gè)粗糙的預(yù)測掩膜；

b.點(diǎn)選擇策略：雙線性插值對粗糙預(yù)測掩膜進(jìn)行上采樣,獲得兩倍分辨率的預(yù)測掩膜，選擇個(gè)不確定的點(diǎn)，即分布在邊緣上的點(diǎn)；

c.逐點(diǎn)特征表示：通過結(jié)合細(xì)粒度特征和粗預(yù)測特征在選定的點(diǎn)上構(gòu)造逐點(diǎn)特征，其中細(xì)粒度特征是從骨干網(wǎng)絡(luò)產(chǎn)生的特征圖上進(jìn)行提取; 粗預(yù)測特征來自于輕量級的粗分割預(yù)測；

d.Point Head 模塊：使用簡單的多層感知機(jī)(Multilayer Perceptron，MLP)對這些點(diǎn)繼續(xù)預(yù)測，最終輸出的是每個(gè)點(diǎn)的分類標(biāo)簽。

重復(fù)上述的步驟a 到b，直到上采樣到所需分辨率的掩膜。

1.1.3 結(jié)合算法的實(shí)現(xiàn)

實(shí)驗(yàn)采用基于Detectron2 框架運(yùn)行的Mask R-CNN和PiontRend 的結(jié)合算法對圖像進(jìn)行語義分割。其中的Mask R-CNN 的骨干網(wǎng)絡(luò)采用Res-Net50 結(jié)構(gòu)，先使用MS COCO 數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，此數(shù)據(jù)集包含91 種不同物體。再輸入TUM (Technical University of Munich)的數(shù)據(jù)集進(jìn)行二次訓(xùn)練. 將分割對象設(shè)定為數(shù)據(jù)集中常見的先驗(yàn)動(dòng)態(tài)物體共3 種：人、狗和貓，并對物體生成黑色掩膜，如圖3 所示，邊緣分割精度明顯提升。

圖3 Mask R-CNN 和PiontRend 的結(jié)合算法掩膜

1.2 多視圖幾何

深度學(xué)習(xí)中的語義分割并不能識(shí)別出后驗(yàn)動(dòng)態(tài)物體，為了解決這個(gè)問題，本文利用多視圖幾何方法進(jìn)行檢測。

用當(dāng)前幀和關(guān)鍵幀中所匹配的關(guān)鍵點(diǎn)來做兩種比較，即關(guān)鍵點(diǎn)之間的投影深度大小或角度大小來判斷當(dāng)前幀中的關(guān)鍵點(diǎn)是否屬于動(dòng)態(tài)物體。多視圖幾何的總體步驟如下：

1.2.1 對每個(gè)輸入幀，選擇與當(dāng)前幀共視點(diǎn)最多的關(guān)鍵幀，通過對動(dòng)態(tài)物體的檢測精度和計(jì)算代價(jià)的考慮，將重疊關(guān)鍵幀的數(shù)量設(shè)置為5。

1.2.2 將在之前關(guān)鍵幀中的每個(gè)關(guān)鍵點(diǎn)x，根據(jù)低成本跟蹤計(jì)算出的相對位姿去投影到當(dāng)前幀中，獲得當(dāng)前幀中匹配的關(guān)鍵點(diǎn)x'，以及關(guān)鍵點(diǎn)x'在當(dāng)前幀的的投影深度Dproj，同時(shí)獲得對應(yīng)的三維空間點(diǎn)X。

1.2.3 根據(jù)對應(yīng)的深度圖直接獲得當(dāng)前幀關(guān)鍵點(diǎn)x' 的深度值D'。第一種判斷方法是：計(jì)算DD=Dproj-D' 來比較當(dāng)前幀關(guān)鍵點(diǎn)的深度值D'和投影深度Dproj的大小。若差值DD 相差過大，超過閾值τD=0.4m時(shí)，則關(guān)鍵點(diǎn)x'被視為動(dòng)態(tài)點(diǎn)。

1.2.4 第二種判斷方法是：對于每一個(gè)關(guān)鍵點(diǎn)對應(yīng)的三維空間點(diǎn)X，計(jì)算關(guān)鍵幀x 點(diǎn)與當(dāng)前幀x'點(diǎn)之間的視差角α=∠xXx′。若視差角α> 30°，則x'點(diǎn)也被視為動(dòng)態(tài)點(diǎn)。

將視為動(dòng)態(tài)點(diǎn)的特征點(diǎn)全部剔除，只剩下靜態(tài)特征點(diǎn)進(jìn)行相機(jī)位姿估計(jì)。

2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)數(shù)據(jù)使用了公開的TUM 數(shù)據(jù)集，其中動(dòng)態(tài)場景序列中的RGB-D 圖作為輸入，圖像為640x480 分辨率。該數(shù)據(jù)集擁有多個(gè)包含動(dòng)態(tài)對象的序列，動(dòng)態(tài)場景序列類型主要分為：sitting 和walking，分別用于測試視覺SLAM 算法對于慢速移動(dòng)物體和快速移動(dòng)物體的魯棒性。

本文系統(tǒng)與ORB-SLAM2 和DynaSLAM 在四個(gè)數(shù)據(jù)序列上的絕對軌跡誤差測試結(jié)果如表1 所示，其中rmse為均方根誤差，mean 為平均誤差，media 為中值誤差。

表1 絕對軌跡誤差對比(m)

并用evo 工具繪制誤差和軌跡圖，在evo 中ATE 被稱為APE，如圖4 所示。

圖4 序列fr3/s/rpy 的軌跡對比

從表1 可以看出：相比于ORB-SLAM2 和DynaSLAM的算法，本文方法在改進(jìn)對動(dòng)態(tài)目標(biāo)的處理之后，相機(jī)位姿的估計(jì)值與真實(shí)值之間的誤差被減少了一些。

3 結(jié)論

將深度學(xué)習(xí)和多視圖幾何法相結(jié)合應(yīng)用于室內(nèi)動(dòng)態(tài)環(huán)境下的視覺SLAM 中，其中深度學(xué)習(xí)運(yùn)用了語義分割網(wǎng)絡(luò)Mask R-CNN 和新上采樣方法PiontRend 的結(jié)合算法，并在多視圖幾何中判斷關(guān)鍵點(diǎn)是否在后動(dòng)態(tài)物體上。最后通過仿真結(jié)果如表1 得出，表明了本文視覺SLAM 算法在室內(nèi)動(dòng)態(tài)場景下能夠具有較大優(yōu)勢，定位的準(zhǔn)確度更高。

在未來的工作中，重點(diǎn)研究方向是能使用端到端的深度學(xué)習(xí)，將動(dòng)態(tài)物體運(yùn)動(dòng)位姿估計(jì)和靜態(tài)場景構(gòu)建集成到一個(gè)視覺SLAM 之中，進(jìn)一步提高視覺SLAM 在復(fù)雜動(dòng)態(tài)環(huán)境中的相機(jī)位姿估計(jì)的準(zhǔn)確性和魯棒性，以及生成相應(yīng)的語義地圖。