基于點(diǎn)線特征融合的低紋理單目視覺同時(shí)定位與地圖構(gòu)建算法

潘高峰，樊淵，汝玉，郭予超

基于點(diǎn)線特征融合的低紋理單目視覺同時(shí)定位與地圖構(gòu)建算法

潘高峰，樊淵，汝玉，郭予超

（安徽大學(xué) 電氣工程與自動化學(xué)院，合肥 230601）（ ? 通信作者電子郵箱yuanf@ahu.edu.cn）

當(dāng)圖像因相機(jī)快速運(yùn)動造成模糊或者處在低紋理場景時(shí)，僅使用點(diǎn)特征的同步定位與地圖構(gòu)建（SLAM）算法難以跟蹤提取足夠多的特征點(diǎn)，導(dǎo)致定位精度和匹配魯棒性較差。而如果造成誤匹配，甚至系統(tǒng)都無法工作。針對上述問題，提出了一種基于點(diǎn)線特征融合的低紋理單目SLAM算法。首先，加入了線特征來加強(qiáng)系統(tǒng)穩(wěn)定性，并解決了點(diǎn)特征算法在低紋理場景中提取不足的問題；然后，對點(diǎn)、線特征提取數(shù)量的選擇引入了加權(quán)的思想，根據(jù)場景的豐富程度，對點(diǎn)線特征的權(quán)重進(jìn)行了合理分配。所提算法是在低紋理場景下運(yùn)行的，因而設(shè)置以線特征為主、點(diǎn)特征為輔。在TUM室內(nèi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的點(diǎn)線特征算法相比，所提算法有效地提高了線特征的匹配精度，使得軌跡誤差減小了大約9個(gè)百分點(diǎn)，也使得特征提取時(shí)間減少了30個(gè)百分點(diǎn)，使加入的線特征在低紋理場景中發(fā)揮出積極有效的作用，提高了數(shù)據(jù)整體的準(zhǔn)確度和可信度。

單目視覺；點(diǎn)線融合；線匹配；低紋理場景；特征加權(quán)

0 引言

同時(shí)定位與地圖構(gòu)建（Simultaneous Localization And Mapping， SLAM）是指機(jī)器人等主體上搭載特定傳感器，在沒有環(huán)境先驗(yàn)信息的情況下，在運(yùn)動整體過程中建立環(huán)境信息的模型，同時(shí)估計(jì)自己的各種姿態(tài)運(yùn)動［1］。SLAM主要分為幾個(gè)部分：前端-視覺里程計(jì)、后端-非線性優(yōu)化、回環(huán)檢測以及地圖構(gòu)建。視覺里程計(jì)用于計(jì)算連續(xù)兩幀圖像的位姿變換。由于位姿變換存在誤差，在運(yùn)動軌跡較長的情況下，具有顯著的累積誤差，因此需要閉環(huán)檢測，又稱回環(huán)檢測（指機(jī)器人識別曾到達(dá)場景的能力），如果檢測成功，可以顯著地減小累積誤差，那么地圖構(gòu)建就會更加準(zhǔn)確。

隨著SLAM技術(shù)的發(fā)展，基于視覺的SLAM算法逐漸成為當(dāng)今研究的熱點(diǎn)。牛津大學(xué)學(xué)者采用里程計(jì)［2］獲取機(jī)器人位姿的先驗(yàn)信息，從雙目視覺拍攝圖像中提取KLT（Kanade-Lucas-Tomasi）特征點(diǎn)用作地圖特征路標(biāo)，用卡爾曼濾波算法進(jìn)行地圖和機(jī)器人車輛位姿的同步更新，成功進(jìn)行了一次小范圍的視覺SLAM實(shí)驗(yàn)。2010年，微軟公司［2］推出了3D傳感器Kinect，憑借其良好的性能和低廉的價(jià)格，Kinect在機(jī)器人領(lǐng)域得到了廣泛的應(yīng)用，使用Kinect獲取的圖像、深度作為感知信息的SLAM算法成為主流。其中，德國Freiburg大學(xué)［2］提出的基于圖像、深度數(shù)據(jù)流的深度相機(jī)（RGB-D）SLAM算法，采用SURF（Speeded-Up Robust Features）特征點(diǎn)進(jìn)行匹配，發(fā)現(xiàn)存在閉環(huán)時(shí)采用Hog-Man算法進(jìn)行全局優(yōu)化，達(dá)到較好的效果。近年來，激光雷達(dá)SLAM逐漸發(fā)展起來成為了新興的主流方法。

單目SLAM以單目圖像作為輸入，具有價(jià)格低廉、結(jié)構(gòu)緊湊等優(yōu)點(diǎn)，廣泛應(yīng)用于增強(qiáng)現(xiàn)實(shí)、自主車輛導(dǎo)航等多個(gè)領(lǐng)域。現(xiàn)有的單目SLAM根據(jù)所使用的信息可分為兩大類：基于特征的方法［3-6］和直接的方法［7-9］。基于特征點(diǎn)的方法使用提取的特征點(diǎn)來估計(jì)相機(jī)位姿和3D地圖。在這些方法中，特征點(diǎn)是普遍應(yīng)用的特征類型。著名的PTAM（Parallel Tracking And Mapping）［3］和ORB-SLAM2（Simultaneous Localization And Mapping based on Oriented FAST and Rotated BRIEF）［4］系統(tǒng)都是基于點(diǎn)特征進(jìn)行的，并且有較好的表現(xiàn)。ORB-SLAM2是目前開源SLAM算法中最先進(jìn)的方法之一，相較直接法有更高的精度。然而，ORB-SLAM2在較好的紋理情境下是令人滿意的，如果在低紋理或由于運(yùn)動模糊等原因?qū)е绿卣鼽c(diǎn)暫時(shí)消失時(shí)，算法就容易失敗，而這種情況經(jīng)常在人為的場景中遇到。直接的方法使用所有圖像的光度值而不是特征點(diǎn)，這種方法能夠利用圖像中的所有信息來構(gòu)建密集或半密集的地圖。但是這種方法犧牲了特征提供的魯棒性和對光度不變性的優(yōu)點(diǎn)，并且直接法的相機(jī)定位精度通常低于基于特征點(diǎn)的方法。為了保證精度采用特征點(diǎn)方法，但是特征點(diǎn)在低紋理環(huán)境下難以實(shí)現(xiàn)。雖然在低紋理環(huán)境中缺乏可靠的特征點(diǎn)，這些環(huán)境仍然可以使用線特征來代替。

然而，利用線特征并不是一個(gè)簡單的任務(wù)。首先，現(xiàn)有的線檢測器和參數(shù)化在研究中沒有像點(diǎn)特征那樣有成熟的算法支持。其次，基于直線對應(yīng)的位姿計(jì)算算法比基于點(diǎn)的位姿計(jì)算算法可靠性低，且對直線可能出現(xiàn)的局部遮擋非常敏感。這些原因使目前只使用線特征進(jìn)行SLAM規(guī)劃很難獲得滿意的效果。

為了解決單獨(dú)使用點(diǎn)線特征遇到的問題，SLAM系統(tǒng)采用點(diǎn)與線結(jié)合的方法［10-12］。與點(diǎn)相比，線段可以提供更多的幾何結(jié)構(gòu)信息，它在低紋理場景中通常是豐富的［13-14］，因此，線特征可以很好地彌補(bǔ)點(diǎn)特征不足的情況，能夠提高基于特征點(diǎn)的SLAM系統(tǒng)的魯棒性和準(zhǔn)確性。Pumarola等［10］提出了PL-SLAM（Simultaneous Localization And Mapping based on Points and Lines）系統(tǒng)，這是一種基于點(diǎn)線的單目SLAM系統(tǒng)。PL-SLAM算法提高了基于特征點(diǎn)的SLAM系統(tǒng)的軌跡精度，可以只用直線估計(jì)初始地圖。Zuo等［11］使用雙目相機(jī)捕捉點(diǎn)和線特征，得到了不錯(cuò)的效果，并且基于線段檢測器（Line Segment Detector，LSD）［15］和線二進(jìn)制描述符（Line Binary Descriptor， LBD）［16］方法，提出了一種改進(jìn)的線段提取和匹配方法。

設(shè)計(jì)一種基于點(diǎn)線的單目SLAM系統(tǒng)并非易事。首先，加入線特征會給計(jì)算機(jī)增加較大的計(jì)算量；其次，相較于點(diǎn)特征，由于線段端點(diǎn)的不可靠，線特征的匹配存在著難題。因此，本文提出了一種點(diǎn)線特征融合的單目SLAM系統(tǒng)，主要工作如下：

1）本文研究是在低紋理的場景下進(jìn)行的，如圖1所示，圖1（a）為TUM數(shù)據(jù)集紋理場景，圖1（b）為TUM數(shù)據(jù)集中的低紋理場景。

2）設(shè)計(jì)了一種基于點(diǎn)線特征融合的SLAM系統(tǒng)。在點(diǎn)的基礎(chǔ)上加入線特征，在低紋理場景中，線段可以彌補(bǔ)點(diǎn)特征提取的不足，進(jìn)而增加系統(tǒng)的精度和魯棒性。

3）在特征提取過程中加入了加權(quán)的思想，即對提取的點(diǎn)線特征進(jìn)行加權(quán)，在固定的低紋理背景下，設(shè)計(jì)了一種以線特征為主、點(diǎn)特征為輔的點(diǎn)線融合方式。

4）如果在提取過程中連續(xù)幾幀只能檢測到線特征的情況下，就只使用線特征估計(jì)出一個(gè)近似的初始化地圖。

圖1　TUM數(shù)據(jù)集里的紋理場景和低紋理場景

1 算法中的數(shù)學(xué)描述

1.1　空間中點(diǎn)的幾何表示

1.2　空間中線的幾何表示

2 系統(tǒng)框架

本文提出的基于點(diǎn)線融合的單目SLAM系統(tǒng)是在ORB-SLAM2的基礎(chǔ)上加入線特征信息，使線特征在特征提取、跟蹤和局部構(gòu)圖上發(fā)揮著重要作用。

如圖3所示，系統(tǒng)由四個(gè)線程完成，分別為追蹤線程、局部地圖線程、閉環(huán)檢測線程和初始化構(gòu)圖線程。在追蹤線程中，分別提取點(diǎn)線特征作為先驗(yàn)信息，根據(jù)這些信息再進(jìn)行點(diǎn)線特征匹配，由于使用的傳感器是單目相機(jī)，則用三角化測量計(jì)算圖像的深度信息，篩選出系統(tǒng)需要的關(guān)鍵幀；然后，通過關(guān)鍵幀決策判斷出當(dāng)前幀是否為關(guān)鍵幀。

局部地圖是由關(guān)鍵幀決策模塊得出的新關(guān)鍵幀中的局部地圖點(diǎn)和局部地圖線構(gòu)成，根據(jù)篩選出的當(dāng)前局部地圖點(diǎn)和局部地圖線創(chuàng)建出新的地圖點(diǎn)和線，局部光束法平差（Bundle Adjustment， BA）后，再進(jìn)行局部關(guān)鍵幀的篩選，進(jìn)入回環(huán)檢測環(huán)節(jié)。初始化后，系統(tǒng)就會不斷進(jìn)入全局的閉環(huán)檢測。閉環(huán)檢測對特征的稠密程度、光照不變性、尺度不變性具有較高的要求。閉環(huán)檢測線程分為循環(huán)檢測和循環(huán)修正，循環(huán)檢測主要是在關(guān)鍵幀數(shù)據(jù)庫中查找與當(dāng)前檢測的關(guān)鍵幀是否為相似的關(guān)鍵幀，如果是就當(dāng)作閉環(huán)候選幀，完成此階段后，再進(jìn)行必要的循環(huán)修正，此階段可以有效地減小整個(gè)系統(tǒng)中的累積誤差和。最終根據(jù)閉環(huán)檢測后提取的點(diǎn)線特征完成周圍環(huán)境的稀疏圖。

圖3　基于點(diǎn)線特征融合的單目SLAM算法流程

3 點(diǎn)線特征的提取與應(yīng)用

圖像中具有代表性的顯著特征有點(diǎn)特征和線特征，點(diǎn)特征主要是圖像中的FAST（Features from Accelerated Segment Test）角點(diǎn)［19］，能夠有效地體現(xiàn)圖像特征明顯的區(qū)域，但是對于那些低紋理等環(huán)境，則無法描述環(huán)境的幾何信息。而線特征可以描述圖像的邊緣信息，更側(cè)重圖像的幾何關(guān)系。分別選取紋理和低紋理數(shù)據(jù)集中的一張圖像，如圖1所示，對此兩張圖像分別進(jìn)行點(diǎn)特征提?。ㄈ鐖D4）和線特征提?。ㄈ鐖D5）。從提取圖中可以看出，點(diǎn)特征對環(huán)境紋理信息比較依賴，提取的點(diǎn)特征比較密集，而在低紋理的圖像中，提取的角點(diǎn)比較少，少到只有兩個(gè)角點(diǎn)，在這種情況下基本無法實(shí)現(xiàn)基本的SLAM實(shí)現(xiàn)；線特征在這種梯度更明顯環(huán)境中提取就比點(diǎn)特征要多，明顯可以從提取的線特征中看到低紋理場景的幾何信息。由此可見，在本文系統(tǒng)中加入線特征可以在這種環(huán)境中對點(diǎn)特征起到互補(bǔ)作用，提高數(shù)據(jù)的關(guān)聯(lián)性，增加環(huán)境中的幾何信息，有利于提高系統(tǒng)的準(zhǔn)確性和魯棒性。

3.1　點(diǎn)線特征提取

特征點(diǎn)是圖像里一些特別的地方，圖像中的角點(diǎn)、邊緣和區(qū)塊都可以當(dāng)作是具有代表性的地方。如果某兩幀圖像上出現(xiàn)同一個(gè)角點(diǎn)時(shí)，就容易被人發(fā)現(xiàn)。目前，角點(diǎn)的提取算法有很多，例如Harris角點(diǎn)、FAST角點(diǎn)、GFTT（Good Feature To Track）角點(diǎn)等。Harris角點(diǎn)和GFTT角點(diǎn)大部分都是早期提出的，在提取的角點(diǎn)時(shí)間上，算法的實(shí)時(shí)性不強(qiáng)；FAST角點(diǎn)提取的算法運(yùn)行速度快，提取的角點(diǎn)質(zhì)量好，因此，本文采取FAST角點(diǎn)來提取點(diǎn)特征，但是由于提取角點(diǎn)是在低紋理場景下進(jìn)行的，所以提取的點(diǎn)特征非常少，如圖4所示，圖4（a）描述的是TUM數(shù)據(jù)集里提取的一幅紋理圖片，對此圖進(jìn)行了點(diǎn)提取，可以看到在紋理圖像中提取的點(diǎn)特征比較稠密；而圖4（b）描述的是TUM數(shù)據(jù)集里提取的低紋理圖片并進(jìn)行了點(diǎn)提取，可以看出在低紋理場景中只提取出了兩個(gè)點(diǎn)特征，點(diǎn)特征SLAM算法在這種低紋理環(huán)境中難以實(shí)現(xiàn)。

3.2　線特征提取

傳統(tǒng)的線段檢測算法是采用Canny等邊緣檢測算子計(jì)算圖像的邊緣信息，可以很好地提取圖像線特征，是一種多級檢測算法，但是此算法較為耗時(shí)，在長時(shí)間的運(yùn)算中，在邊緣密集處會產(chǎn)生誤檢。LSD是一種直線檢測分割算法，它能夠在線性的時(shí)間內(nèi)得出亞像素級的檢測結(jié)果。該算法被設(shè)計(jì)成可以在任何數(shù)字圖像上都無需參數(shù)調(diào)節(jié)。本文采用LSD算法來提取線特征如圖5所示，在低紋理場景下，線特征提取數(shù)量比點(diǎn)特征更豐富，并且還提供了明顯的幾何信息，在此低紋理環(huán)境中的線特征SLAM系統(tǒng)比點(diǎn)特征更具有可實(shí)施性。

圖4　FAST角點(diǎn)提取

圖5　低紋理場景下的LSD線特征提取

3.3　點(diǎn)線特征結(jié)合決策

在3.1節(jié)中進(jìn)行了點(diǎn)特征提取，低紋理下點(diǎn)特征提取效果不好，而在3.2節(jié)中低紋理下線特征提取效果良好，但是現(xiàn)有的線檢測器和參數(shù)化在研究中沒有像點(diǎn)特征那樣有成熟的算法支持；其次，基于直線對應(yīng)的位姿計(jì)算算法比基于點(diǎn)的位姿計(jì)算算法可靠性低，對直線可能出現(xiàn)的局部遮擋非常敏感并且會給計(jì)算機(jī)增加巨大的計(jì)算量。這些原因使目前只使用線特征進(jìn)行SLAM規(guī)劃不太現(xiàn)實(shí)，因此，本文提出了一種點(diǎn)線融合的單目SLAM系統(tǒng)。在此系統(tǒng)中，線段可以提供更多的幾何結(jié)構(gòu)信息，在低紋理場景中通常是豐富的，線特征可以很好地彌補(bǔ)點(diǎn)特征不足的情況，提高基于特征點(diǎn)的SLAM系統(tǒng)的魯棒性和準(zhǔn)確性。

3.4　點(diǎn)、線特征加權(quán)

3.5　點(diǎn)線特征校正

3.6　三角化矛盾

由于本文系統(tǒng)是用單目相機(jī)進(jìn)行的，因此點(diǎn)線特征的深度需要通過三角化計(jì)算獲得。三角測量是指通過不同位置對同一個(gè)路標(biāo)點(diǎn)進(jìn)行觀察，從觀察到的位置推斷路標(biāo)點(diǎn)的距離，這種方法最早由高斯提出并應(yīng)用于測量學(xué)中，并且它在天文學(xué)、地理學(xué)的測量中都有應(yīng)用。在進(jìn)行深度估計(jì)時(shí)，相機(jī)必須進(jìn)行平移才能得到對極幾何約束的三角形，如圖6所示，此圖可以在幾何的方面通過三角測量的方法獲得地圖點(diǎn)的深度。但是在三角化測量過程中對相機(jī)的平移要求很嚴(yán)格，當(dāng)平移量很小時(shí)，圖像上微小的不確定性將導(dǎo)致較大的深度不確定性；平移較大時(shí)，深度測量更準(zhǔn)確，但如果平移太大，拍攝視角的變化將會導(dǎo)致匹配失效［17］，這就是三角化矛盾。

圖6　三角化獲得地圖點(diǎn)深度

3.7　初始化

4 實(shí)驗(yàn)與結(jié)果分析

本章主要展示點(diǎn)線特征在低紋理環(huán)境的優(yōu)勢。實(shí)驗(yàn)在TUM數(shù)據(jù)集上進(jìn)行，取5次實(shí)驗(yàn)數(shù)據(jù)的平均值來確保實(shí)驗(yàn)的可靠性。所有的實(shí)驗(yàn)在64位ubuntu1604系統(tǒng)中運(yùn)行，運(yùn)行平臺的CPU為十代core i3處理器，8 GB內(nèi)存。

4.1　點(diǎn)特征匹配

點(diǎn)特征匹配算法在已有的研究中已有了成熟的算法，如圖7所示，圖7（a）和（b）分別是TUM數(shù)據(jù)集中的紋理點(diǎn)特征匹配圖和低紋理點(diǎn)特征匹配圖，由兩圖對比可知，在紋理環(huán)境中點(diǎn)特征的匹配具有良好的效果，而在低紋理場景中點(diǎn)特征的匹配就會失效。

圖7　點(diǎn)匹配的效果

4.2　ICL-NUIM數(shù)據(jù)集的低紋理場景

點(diǎn)、線特征的提取匹配算法在已有的研究中比較成熟，在低紋理場景中點(diǎn)匹配會由于角點(diǎn)提取不足導(dǎo)致算法誤差較大，甚至?xí)?dǎo)致失敗。如圖8（a）是低紋理特征點(diǎn)提取，可以看出特征點(diǎn)的獲取比較少，墻面和沙發(fā)面上沒有提取到角點(diǎn)；而圖8（b）是低紋理特征線提取，從中可以看出線特征提取得比較多，墻面和沙發(fā)面邊緣提取到了線段。從兩幅圖片對比可以看出，加入線特征可以豐富環(huán)境的幾何信息。

低紋理環(huán)境中的點(diǎn)特征匹配與線特征匹配如圖9（a）和（b）所示。從兩幅圖片對比可知，在低紋理環(huán)境中，點(diǎn)匹配對太少，影響系統(tǒng)的正常運(yùn)行；而線特征匹配對就比較多，利于系統(tǒng)的正常運(yùn)行?？傊?，在低紋理環(huán)境中，點(diǎn)線結(jié)合的算法利于系統(tǒng)的正常運(yùn)行，在此系統(tǒng)中點(diǎn)特征提高運(yùn)算速度，線特征豐富環(huán)境中的幾何信息，加權(quán)思想均衡了點(diǎn)線特征提取。

圖8　低紋理場景中的點(diǎn)和線提取

圖9　點(diǎn)匹配和線匹配的效果

TUM數(shù)據(jù)集下的點(diǎn)線稀疏地圖如圖10所示，此圖展示出在相機(jī)運(yùn)動軌跡過程中采集到的點(diǎn)線特征，繪制出一幅此過程中的簡易環(huán)境地圖。

圖10　TUM數(shù)據(jù)集下的點(diǎn)線稀疏地圖

4.3　在TUM低紋理數(shù)據(jù)集中的運(yùn)動軌跡以及軌跡誤差分析

本文選取公開TUM數(shù)據(jù)集，由于點(diǎn)特征在低紋理下具有較差的表現(xiàn)，所以引入線特征來增進(jìn)系統(tǒng)的穩(wěn)定性?；诖藛栴}，選取低紋理帶回環(huán)的數(shù)據(jù)集進(jìn)行誤差分析。

絕對軌跡誤差（Absolute Trajectory Error， ATE）［17］直接計(jì)算相機(jī)位姿的真實(shí)值與SLAM系統(tǒng)的估計(jì)值之間的差，代表軌跡的全局一致性，此標(biāo)準(zhǔn)非常適合評估SLAM系統(tǒng)的性能，如式（11）：

對于絕對軌跡誤差進(jìn)行分析，首先要得到相機(jī)傳感器在數(shù)據(jù)集中的運(yùn)動軌跡。圖11（a）是相機(jī)在fr3-nostructure-notexture-near-withloop序列上的運(yùn)動軌跡；圖11（b）是相機(jī)在fr3-structure-notexture-near序列上的運(yùn)動軌跡；圖11（c）是相機(jī)在fr3-structure-notexture-far序列上的運(yùn)動軌跡；圖11（d）是相機(jī)在fr3-structure-notexture-far-validation序列上的運(yùn)動軌跡。

圖11　相機(jī)在TUM低紋理序列中的運(yùn)動軌跡

如表1所示，把本文算法和 PL-SLAM［10］、LSD- SLAM、ORB-SLAM2［4］的絕對軌跡誤差進(jìn)行對比。在fr3-nostructure-notexture-near-withloop、fr3-structure-notexture-near-withloop、fr3-structure-notexture-far和fr3-structure-notexture-far-validation四組數(shù)據(jù)集中進(jìn)行了五組實(shí)驗(yàn)取平均值，并且本文算法的絕對軌跡誤差與PL-SLAM、LSD-SLAM、ORB-SLAM2的絕對軌跡誤差進(jìn)行了對比，表明在TUM低紋理場景中，本文算法的誤差保持在較小的水平。表2對本文算法和PL-SLAM［10］的運(yùn)行時(shí)間進(jìn)行了對比，本文算法的運(yùn)行時(shí)間少于PL-SALM，表明也相對地節(jié)約了計(jì)算機(jī)的計(jì)算成本。

由表1和表2表明，本文提出的算法在低紋理的場景中在誤差和計(jì)算上能夠保持一個(gè)較好的結(jié)果。該算法引入線特征來彌補(bǔ)點(diǎn)特征在低紋理場景中的不足，以及對點(diǎn)、線特征進(jìn)行加權(quán)處理，能夠保證系統(tǒng)的快速性、準(zhǔn)確性和魯棒性，增加了算法的可行性。

表1　本文算法與其他算法的絕對軌跡誤差對比 單位：cm

注：—表示在此數(shù)據(jù)集下點(diǎn)特征無法獲得。

表2　各個(gè)操作的運(yùn)行時(shí)間 單位：ms

5 結(jié)語

本文算法以O(shè)RB-SLAM2系統(tǒng)為基礎(chǔ)、以線特征為主加入點(diǎn)特征，由于在低紋理場景中線段可以提供更多的幾何結(jié)構(gòu)信息，并且提取的線段通常是豐富的，因此，線特征可以很好地彌補(bǔ)點(diǎn)特征在低紋理場景中提取數(shù)量不足的情況，提高僅使用點(diǎn)特征的SLAM系統(tǒng)的魯棒性和準(zhǔn)確性。在此場景下，本文算法加入了點(diǎn)線特征加權(quán)思想，以線特征為主、點(diǎn)特征為輔，有效地保證了系統(tǒng)的穩(wěn)定性和可靠性，相較在低紋理下單獨(dú)使用點(diǎn)特征的系統(tǒng)更具有魯棒性和準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，在TUM數(shù)據(jù)集中的低紋理場景進(jìn)行了點(diǎn)、線特征的提取與匹配，本文算法取得了較好的結(jié)果；并且在ICL-NUIM低紋理數(shù)據(jù)集中也進(jìn)行了點(diǎn)、線特征的提取與匹配，本文算法依舊取得了較好的結(jié)果。最后，進(jìn)行了誤差分析，本文系統(tǒng)的誤差都保持在較小的水平，驗(yàn)證了本文系統(tǒng)的可靠性與穩(wěn)定性。在未來的研究中，考慮使用IMU慣性測量單元與單目相機(jī)結(jié)合在一起并行處理，進(jìn)一步提升系統(tǒng)的軌跡精度。

[1] DAVISON A J， REID I D， MOLTON N D. MonoSLAM： real-time single camera SLAM［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（6）： 1052-1067.

[2] 張國良，姚二亮. 移動機(jī)器人的SLAM與VSLAM方法［M］. 西安：西安交通大學(xué)出版社， 2018： 10-15.（ZHANG G L， YAO E L. SLAM and VSLAM Methods for Mobile Robots ［M］. Xi’an： Xi’an Jiaotong University Press， 2018： 10-15.）

[3] KLEIN G， MURRAY D. Parallel tracking and mapping for small AR workspaces［C］// Proceedings of the 6th IEEE and ACM International Symposium on Mixed and Augmented Reality. Piscataway： IEEE， 2007： 225-234.

[4] MUR-ARTAL R， TARDóS J D. ORB-SLAM2： an open-source SLAM system for monocular， stereo， and RGB-D cameras［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.

[5] ZHANG L L， KOCH R. Hand-held monocular SLAM based on line segments［C］// Proceedings of the 2011 Irish Machine Vision and Image Processing Conference. Piscataway： IEEE， 2011： 7-14.

[6] ENGEL J， KOLTUN V， CREMERS D. Direct sparse odometry［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625.

[7] ENGEL J， SCH?PS T， CREMERS D. LSD-SLAM： large-scale direct monocular SLAM［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8690. Cham： Springer， 2014： 834-849.

[8] NEWCOMBE R A， LOVEGROVE S J， DAVISON A J. DTAM： dense tracking and mapping in real-time［C］// Proceedings of the 2011 International Conference on Computer Vision. Piscataway： IEEE， 2011： 2320-2327.

[9] PIZZOLI M， FORSTER C， SCARAMUZZA D. REMODE： probabilistic， monocular dense reconstruction in real time［C］// Proceedings of the 2014 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2014： 2609-2616.

[10] PUMAROLA A， VAKHITOV A， AGUDO A， et al. PL-SLAM： real-time monocular visual SLAM with points and lines［C］// Proceedings of the 2017 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2017： 4503-4508.

[11] ZUO X X， XIE X J， LIU Y， et al. Robust visual SLAM with point and line features［C］// Proceedings of the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2017： 1775-1782.

[12] GOMEZ-OJEDA R， GONZALEZ-JIMENEZ J. Robust stereo visual odometry through a probabilistic combination of points and line segments［C］// Proceedings of the 2016 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2016： 2521-2526.

[13] ZHANG G X， SUH I H. SoF-SLAM： segments-on-floor-based monocular SLAM［C］// Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2010： 2083-2088.

[14] ZHANG G X， SUH I H. Building a partial 3D line-based map using a monocular SLAM［C］// Proceedings of the 2011 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2011：1497-1502.

[15] GIOI R G von， JAKUBOWICZ J， MOREL J M， et al. LSD： a fast line segment detector with a false detection control［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（4）： 722-732.

[16] ZHANG L L， KOCH R. An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency［J］. Journal of Visual Communication and Image Representation， 2013， 24（7）：794-805.

[17] 高翔，張濤，劉毅，等. 視覺SLAM十四講：從理論到實(shí)踐［M］. 北京：電子工業(yè)出版社， 2017： 155-157.（GAO X， ZHANG T， LIU Y， et al. Vision SLAM 14 Lectures： From Theory to Practice［M］. Beijing： Publishing House of Electronics Industry， 2017： 155-157.）

[18] BARTOLI A， STURM P. The 3D line motion matrix and alignment of line reconstructions［J］. International Journal of Computer Vision， 2004， 57（3）：159-178.

[19] ROSTEN E， DRUMMOND T. Machine learning for high-speed corner detection［C］// Proceedings of the 2006 European Conference on Computer Vision， LNCS 3951. Berlin： Springer， 2006： 430-443.

[20] HARTLEY R， ZISSERMAN A. Multiple View Geometry in Computer Vision［M］. 2nd ed. Cambridge： Cambridge University Press， 2003：33-36.

[21] 席志紅，王洪旭，韓雙全. 基于ORB-SLAM2系統(tǒng)的快速誤匹配剔除算法與地圖構(gòu)建［J］. 計(jì)算機(jī)應(yīng)用， 2020， 40（11）： 3289-3294.（XI Z H， WANG H X， HAN S Q. Fast mismatch elimination algorithm and map-building based on ORB-SLAM2 system［J］. Journal of Computer Applications， 2020， 40（11）： 3289-3294.）

PAN Gaofeng， born in 1995， M. S. candidate. His research interests include visual simultaneous localization and mapping.

FAN Yuan， born in 1983， Ph. D.， professor. His research interests include robot control， distributed cooperative control and optimization， microgrid cooperative control.

RU Yu， born in 1999. Her research interests include robot navigation and control.

GUO Yuchao， born in 1997， Ph. D. candidate. His research interests include visual simultaneous localization and mapping， robot control.

Low-texture monocular visual simultaneous localization and mapping algorithm based on point-line feature fusion

PAN Gaofeng， FAN Yuan， RU Yu， GUO Yuchao

（，，230601，）

When the image is blurred due to rapid camera movement or in low-texture scenes， the Simultaneous Localization And Mapping （SLAM） algorithm using only point features is difficult to track and extract enough feature points， resulting in poor positioning accuracy and matching robustness. If it causes false matching， even the system cannot work. To solve the problem， a low-texture monocular SLAM algorithm based on point-line feature fusion was proposed. Firstly， the line features were added to enhance the system stability， and the problem of insufficient extraction of point feature algorithm in low texture scenes was solved. Then， the idea of weighting was introduced for the extraction number selection of point and line features， and the weight of point and line features were allocated reasonably according to the richness of the scene. The proposed algorithm ran in low-texture scenes， so the line features were set as the main features and the point features were set as the auxiliary features. Experimental results on the TUM indoor dataset show that compared with the existing point-line feature algorithms， the proposed algorithm can effectively improve the matching precision of the line features， has the trajectory error reduced by about 9 percentage points， and has the feature extraction time reduced by 30 percentage points. As the result， the added line features play a positive and effective role in low-texture scenes， and improve the overall accuracy and reliability of the data.

monocular vision; point-line fusion; line matching; low-texture scene; feature weighting

This work is partially supported by National Key Research and Development Program of China （2018YFB1305804）， National Natural Science Foundation of China （61973002）， Natural Science Foundation of Anhui Province （2008085J32）， University-Industry Collaborative Education Program of Ministry of Education （201802259001， 201802137016）.

TP242.6

A

1001-9081（2022）07-2170-07

10.11772/j.issn.1001-9081.2021050749

2021?05?11；

2022?01?10；

2022?02?18。

國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2018YFB1305804）；國家自然科學(xué)基金資助項(xiàng)目（61973002）；安徽省自然科學(xué)基金資助項(xiàng)目（2008085J32）；教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（201802259001， 201802137016）。

潘高峰（1995—），男，河南許昌人，碩士研究生，主要研究方向：視覺同時(shí)定位與地圖構(gòu)建； 樊淵（1983—），男，安徽合肥人，教授，博士，主要研究方向：機(jī)器人控制、分布式協(xié)同控制與優(yōu)化、微電網(wǎng)協(xié)同控制； 汝玉（1999—），女，安徽合肥人，主要研究方向：機(jī)器人導(dǎo)航與控制； 郭予超（1997—），男，河南新鄭人，博士研究生，主要研究方向：視覺同時(shí)定位與地圖構(gòu)建、機(jī)器人控制。