基于YOLO v3和傳感器融合的機(jī)器人定位建圖系統(tǒng)

陳文峰 張學(xué)習(xí) 蔡述庭 熊曉明

技術(shù)應(yīng)用

基于YOLO v3和傳感器融合的機(jī)器人定位建圖系統(tǒng)

陳文峰 張學(xué)習(xí) 蔡述庭 熊曉明

（廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，廣東 廣州 510006）

場景中的動(dòng)態(tài)物體影響移動(dòng)機(jī)器人定位算法的精度，使機(jī)器人無法建立蘊(yùn)含場景信息的高精度地圖，降低定位建圖系統(tǒng)在復(fù)雜場景中的魯棒性。針對(duì)目前主流動(dòng)態(tài)SLAM技術(shù)受限于系統(tǒng)需求和硬件性能，無法兼顧移動(dòng)機(jī)器人定位精度和系統(tǒng)實(shí)時(shí)性的問題，提出一種基于YOLO v3和傳感器融合的機(jī)器人定位建圖系統(tǒng)。首先，建立融合編碼器和視覺傳感器的機(jī)器人運(yùn)動(dòng)模型，求解移動(dòng)機(jī)器人位姿；然后，利用深度學(xué)習(xí)技術(shù)剔除復(fù)雜場景中的動(dòng)態(tài)物體，并針對(duì)YOLO v3目標(biāo)檢測網(wǎng)絡(luò)特點(diǎn)，采用多視圖幾何方法進(jìn)行性能優(yōu)化；最后，經(jīng)測試，本系統(tǒng)相比DS_SLAM具有更優(yōu)的軌跡精度，耗時(shí)更短。

傳感器融合；目標(biāo)檢測；動(dòng)態(tài)物體；定位；多視圖幾何

0 引言

同步定位和地圖構(gòu)建（Simultanous Localization and Mapping, SLAM）是一種利用傳感器獲取移動(dòng)機(jī)器人在環(huán)境中的運(yùn)動(dòng)信息和構(gòu)建未知場景地圖的技術(shù)[1]，廣泛應(yīng)用于機(jī)器人、未知領(lǐng)域（行星、空中、陸地、海洋等）探索、高風(fēng)險(xiǎn)地區(qū)搜索救援任務(wù)、虛擬現(xiàn)實(shí)和自動(dòng)駕駛等領(lǐng)域[2]。

近年來，視覺SLAM（vSLAM）系統(tǒng)由于傳感器成本低廉、性能不俗，受到研究人員的廣泛關(guān)注。經(jīng)典的vSLAM系統(tǒng)在理想室內(nèi)靜態(tài)場景內(nèi)，已經(jīng)相當(dāng)成熟。目前，動(dòng)態(tài)場景下vSLAM系統(tǒng)的定位和建圖問題已成為國內(nèi)外研究的熱點(diǎn)。采用多傳感器融合替換單一傳感器，常見的是融合IMU傳感器的SLAM系統(tǒng)，如港科大團(tuán)隊(duì)發(fā)布的VINS-Mono[3]和最新的ORB_SLAM3[4]都采用這種方案；融合深度學(xué)習(xí)方法的SLAM系統(tǒng)可解決動(dòng)態(tài)物體對(duì)機(jī)器人建圖的干擾，如ClusterSLAM[5]利用K-means算法對(duì)像素點(diǎn)分簇，計(jì)算不同簇的運(yùn)動(dòng)模型，恢復(fù)物體運(yùn)動(dòng)；DS_SLAM采用語義分割方法分離圖像的前景和背景，利用幀間幾何一致性判斷前景是否為動(dòng)態(tài)物體；KinectFusion[6]和Static Fusion[7]通過聚類對(duì)圖像像素點(diǎn)分簇，為每一簇構(gòu)造獨(dú)立的運(yùn)動(dòng)模型，然后進(jìn)行三維重建，并將三維重建的投影與采集圖像進(jìn)行比對(duì)和優(yōu)化。

本文在已有研究成果的基礎(chǔ)上，采用深度相機(jī)和編碼器采集數(shù)據(jù)，通過非線性優(yōu)化的方式融合傳感器數(shù)據(jù)；利用YOLO v3網(wǎng)絡(luò)分離關(guān)鍵幀中的動(dòng)態(tài)物體，通過幀間幾何一致性判別是否為動(dòng)態(tài)物體；利用多視圖幾何重投影方法，減少目標(biāo)檢測次數(shù)，提高目標(biāo)檢測線程的性能。

1 移動(dòng)機(jī)器人運(yùn)動(dòng)模型分析

1.1 編碼器模型分析

2）圓弧模型，當(dāng)機(jī)器人左右輪差速運(yùn)動(dòng)時(shí)，軌跡是是圓弧。假設(shè)機(jī)器人從點(diǎn)到點(diǎn)的軌跡是圓弧，圓心在圓弧的中垂線上，可得出和+1時(shí)刻位姿關(guān)系為

3）割線模型，圓弧模型計(jì)算較為復(fù)雜，實(shí)際中使用最多的是割線模型。假設(shè)機(jī)器人沿圓弧的割線方向移動(dòng)，得到和+1時(shí)刻位姿關(guān)系為

1.2 編碼器和視覺傳感器融合

其中編碼器誤差為

編碼器誤差協(xié)方差矩陣可由編碼器噪聲模型得到。

2 目標(biāo)檢測網(wǎng)絡(luò)與SLAM系統(tǒng)融合

2.1 深度學(xué)習(xí)與SLAM系統(tǒng)融合

本文采用目標(biāo)檢測方法，兼顧實(shí)時(shí)性和識(shí)別精度；采用YOLO v3目標(biāo)檢測網(wǎng)絡(luò)，在開源COCO數(shù)據(jù)集進(jìn)行訓(xùn)練。COCO數(shù)據(jù)集是一個(gè)大型的、具有豐富場景的目標(biāo)檢測和語義分割數(shù)據(jù)集，可提供80個(gè)類別的分類標(biāo)簽。在傳統(tǒng)SLAM系統(tǒng)框架中增加目標(biāo)檢測線程，YOLO v3網(wǎng)絡(luò)可處理圖片20張/s。Kinect深度相機(jī)幀率為20~30，如果對(duì)每一幀圖像都進(jìn)行目標(biāo)網(wǎng)絡(luò)檢測，目標(biāo)檢測線程會(huì)成為系統(tǒng)性能瓶頸，因此，本文采取多視圖幾何法優(yōu)化目標(biāo)網(wǎng)絡(luò)檢測。

2.2 多視圖幾何法優(yōu)化目標(biāo)網(wǎng)絡(luò)檢測

動(dòng)態(tài)像素主要通過2方面影響特征點(diǎn)法SLAM系統(tǒng)的軌跡精度：1）物體運(yùn)動(dòng)造成的特征點(diǎn)誤匹配影響求解位姿精度；2）大量動(dòng)態(tài)特征點(diǎn)成功特征匹配，影響隨機(jī)抽樣一致性估算的位姿值。

將其重投影到每一個(gè)普通幀上，用投影四邊形框替代普通幀進(jìn)行目標(biāo)檢測，減少系統(tǒng)進(jìn)行目標(biāo)檢測的開銷，使系統(tǒng)滿足實(shí)時(shí)性要求。

2.3 利用幾何一致性判別動(dòng)態(tài)物體

理想情況下，投影點(diǎn)和基礎(chǔ)矩陣滿足對(duì)極約束：

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)利用Turtlebot3機(jī)器人，配置為Intel E3 CPU，P2000 GPU和32 GB內(nèi)存。本文SLAM系統(tǒng)搭建在ROS平臺(tái)，分為Tracking，Local Mapping，Loop Closing，Detecting線程。在DRE_SLAM團(tuán)隊(duì)開源數(shù)據(jù)集上進(jìn)行測試。數(shù)據(jù)集分為ST，LD和HD 3類，分別代表環(huán)境中物體運(yùn)動(dòng)為靜止、少量物體運(yùn)動(dòng)和大量物體運(yùn)動(dòng)。數(shù)據(jù)集提供RGBD相機(jī)和編碼器數(shù)據(jù)，并提供groundtruth值可對(duì)比系統(tǒng)運(yùn)行結(jié)果和實(shí)際運(yùn)動(dòng)值的誤差。

本系統(tǒng)和DS_SLAM在HD，LD和ST 3個(gè)數(shù)據(jù)集下相機(jī)位姿誤差的均方根、均值和中值的對(duì)比表如表1所示。

表1 本系統(tǒng)與DS_SLAM軌跡誤差對(duì)比

由表1可看出：本系統(tǒng)在3個(gè)數(shù)據(jù)集下都具有更優(yōu)的軌跡精度。

本系統(tǒng)運(yùn)行3個(gè)數(shù)據(jù)集平均每個(gè)線程耗費(fèi)的時(shí)間如表2所示。

表2 本系統(tǒng)各線程耗時(shí)

由表2可知：目標(biāo)檢測線程在新關(guān)鍵幀產(chǎn)生時(shí)工作，僅耗時(shí)55 ms，確保了系統(tǒng)實(shí)時(shí)性。普通幀個(gè)數(shù)是關(guān)鍵幀的20倍左右，沒有經(jīng)過多視圖幾何優(yōu)化的目標(biāo)檢測性能將降低近20倍，同時(shí)目標(biāo)檢測網(wǎng)絡(luò)的效果可以覆蓋到每一個(gè)普通幀，在關(guān)鍵幀頻率較高情況下，有較好效果。普通幀目標(biāo)檢測效果圖如圖2所示。

圖2 普通幀目標(biāo)檢測效果圖

由圖2可看出：普通幀中的動(dòng)態(tài)物體基本可被識(shí)別，運(yùn)動(dòng)幅度較大的物體出現(xiàn)識(shí)別不全的情況。

4 結(jié)論

本文對(duì)動(dòng)態(tài)場景下移動(dòng)機(jī)器人定位問題進(jìn)行討論，利用多傳感器融合解決了移動(dòng)機(jī)器人在動(dòng)態(tài)場景魯棒性降低的問題，給出編碼器和相機(jī)運(yùn)動(dòng)模型，分析2種傳感器模型誤差的來源，并利用非線性優(yōu)化最小化誤差的方式實(shí)現(xiàn)了傳感器融合。本文的SLAM系統(tǒng)融合深度學(xué)習(xí)中目標(biāo)檢測網(wǎng)絡(luò)，進(jìn)一步排除動(dòng)態(tài)物體對(duì)幀間匹配和三維建圖的干擾；同時(shí)利用多視圖幾何法，將目標(biāo)檢測的效果從關(guān)鍵幀投影到普通幀中，縮減了目標(biāo)檢測線程的開銷。目前系統(tǒng)還存在缺陷，之后的研究工作將從2方面進(jìn)行優(yōu)化：1）解決編碼器傳感器在打滑情況下，數(shù)據(jù)出現(xiàn)失真的問題；2）將關(guān)鍵幀目標(biāo)檢測效果重投影到普通幀后，提高目標(biāo)檢測的精度。

[1] CADENA C, CARLONE L , CARRILLO H, et al. Past, present, and future of simultaneous localization and mapping: toward the robust-perception age[J]. IEEE Transactions on Robotics, 2016,32(6):1309-1332.

[2] FUENTES-PACHECO J, RUIZ-ASCENCIO J, RENDóN-MANCHA J M. Visual simultaneous localization and mapping: a survey[J]. Artifcial Intelligence Review, 2015,43(1):55-81.

[3] Tong Q, Li P, Shen S. VINS-mono: a robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2017(99):1-17.

[4] Campos C , Elvira R , JJG Rodríguez, et al. ORB-SLAM3: an accurate open-source library for visual, visual-inertial and multi-map SLAM[J]. Under review,2020.

[5] HUANG J, YANG S , ZHAO Z , et al. ClusterSLAM: a SLAM backend for simultaneous rigid body clustering and motion estimation[C]// ICCV 2019, 2019.

[6] Newcombe Richard A, Shahram Izadi, Otmar Hilliges, et al. KinectFusion: real-time dense surface mapping and tracking[C]. IEEE International Symposium on Mixed & Augmented Reality IEEE, Basel, Switzerland, 2011.

[7] SCONA R, JAIMEZ M, PETILLOT Y R, et al. StaticFusion: background reconstruction for dense RGB-D SLAM in dynamic environments[C]. 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, QLD, Australia, 2018: 3849-3856.

Location and Mapping System Based on YOLO v3 and Sensor Fusion

Chen Wenfeng Zhang Xuexi Cai Shuting Xiong Xiaoming

(School of Automation, Guangdong University Of Technology, Guangzhou 510006, China)

The existing thermal wave detection technology for structural adhesive damage of glass curtain wall has some problems, such as large amount of thermal image sequence data, less effective information, low resolution and large noise. The thermal image sequence of glass curtain wall is completed by using data reconstruction of single column position, image reconstruction based on wavelet transform, image enhancement based on Wiener filter and thermal wave location based on damage area recognition rule Column processing and damage area identification. The experimental results show that: the wavelet transform technology using adaptive threshold coefficient can effectively reduce the noise components in the high-frequency components of the thermal image and retain the characteristics of the thermal image; Wiener filter uses 3 × 3 template to further smooth the image to ensure most of the important information in the thermal image; the recognition rate of the damage area is 93.7%.

sensor fusion; object detection; dynamic object; location; multi view geometry

TP830.1

A

1674-2605(2021)02-0007-06

10.3969/j.issn.1674-2605.2021.02.007

陳文峰，男，1996年生，碩士研究生，主要研究方向：移動(dòng)機(jī)器人定位和建圖，機(jī)器視覺。

張學(xué)習(xí)（通信作者），男，副教授，碩士生導(dǎo)師，主要研究方向：控制理論與控制工程，智能機(jī)器人及信息處理技術(shù)。E-mail:zxxnet@gdut.edu.cn