基于SLAM算法和深度神經(jīng)網(wǎng)絡(luò)的語義地圖構(gòu)建研究

白 云 漢

(復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 上海 200433)

0 引 言

在機(jī)器人學(xué)的領(lǐng)域，一個重要的問題是如何使得機(jī)器人獲得自身與環(huán)境的信息，因?yàn)橹挥袡C(jī)器人對自身和環(huán)境正確的建模后，機(jī)器人才可能完成其他任務(wù)，如導(dǎo)航等。為了解決這個問題，首先要使得機(jī)器人具備感知環(huán)境的能力。在實(shí)際研究中，機(jī)器人常常配備有相機(jī)、GPS設(shè)備、激光、聲納等傳感器。這些傳感器為機(jī)器人提供了原始的數(shù)據(jù)，但是還無法為機(jī)器人提供更加結(jié)構(gòu)化和有意義的信息。

機(jī)器人自動定位和制圖(SLAM)所要解決的是如何利用傳感器的原始信息來對機(jī)器人的位置與其所處環(huán)境的地圖信息進(jìn)行同時(shí)估計(jì)的問題。SLAM算法的輸入是連續(xù)的傳感器信息，如視覺SLAM中，輸入信息是配備相機(jī)的機(jī)器人在環(huán)境中連續(xù)采集到的圖像幀序列。輸出是機(jī)器人當(dāng)前的位置以及機(jī)器人所處環(huán)境的地圖點(diǎn)位置。但是在主流的SLAM算法中，機(jī)器人的位置以及地圖點(diǎn)信息只是空間中密集或稀疏的幾何點(diǎn)。通過對這些空間點(diǎn)的位置估計(jì)能夠?yàn)槲覀兲峁┫鄬_的位置信息，但是無法提供更高層次的語義信息。機(jī)器人可以利用SLAM算法精確估計(jì)自己的位置，但是無法對空間中存在的物體進(jìn)行識別和建模，這將導(dǎo)致在后續(xù)的任務(wù)中，機(jī)器人無法利用環(huán)境中豐富的語義信息。

目前深度學(xué)習(xí)方面的進(jìn)展為解決這個問題提供了一個方向。深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力使得圖像識別，目標(biāo)檢測領(lǐng)域取得了顯著的進(jìn)展，在圖像識別數(shù)據(jù)集ImageNet[1]的比賽中，基于CNN[2]的深度學(xué)習(xí)模型已經(jīng)取得了超過人類的成績[3]，在目標(biāo)檢測方面以RCNN[4]為代表的深度學(xué)習(xí)方法使得目標(biāo)檢測的準(zhǔn)確性大幅度提升。視覺SLAM算法處理的圖像序列常常包含了各類物體，結(jié)合深度神經(jīng)網(wǎng)絡(luò)的語義識別優(yōu)勢與SLAM算法提供的位置信息能夠獲得有關(guān)機(jī)器人自身和環(huán)境更加豐富的信息。

本文結(jié)合了基于單目視覺的SLAM系統(tǒng)和基于回歸預(yù)測的深度卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)并實(shí)現(xiàn)算法實(shí)現(xiàn)對語義地圖的構(gòu)建，將位置信息和語義信息融合。利用本文的算法，能夠幫助機(jī)器人實(shí)現(xiàn)更為智能的導(dǎo)航任務(wù)。同時(shí)利用本文的算法機(jī)器人能夠收集到有關(guān)物體的更加豐富的數(shù)據(jù)，這將進(jìn)一步促進(jìn)深度神經(jīng)網(wǎng)絡(luò)的性能提升。

1 相關(guān)工作

SLAM算法是語義地圖構(gòu)建的基礎(chǔ)。目前基于視覺的SLAM算法大致分為兩個取向。一種是稀疏SLAM。稀疏SLAM算法通過對視覺信息進(jìn)行點(diǎn)特征提取，對提取的點(diǎn)特征進(jìn)行匹配，從而實(shí)現(xiàn)對機(jī)器人位置的估計(jì)，同時(shí)構(gòu)建環(huán)境中的稀疏地圖點(diǎn)。稀疏SLAM的算法又可以大致分為基于濾波的方法，如MONOSLAM[6]等。基于圖優(yōu)化的SLAM算法，如PTAM[7]、OKVIS[8]等。另外一個SLAM算法的研究取向是稠密SLAM。稠密SLAM算法不對圖像進(jìn)行點(diǎn)特征提取，而是直接利用圖像的梯度信息對機(jī)器人相機(jī)位置進(jìn)行估計(jì)。稠密SLAM節(jié)約了特征提取過程的時(shí)間，并且利用了圖像的所有像素信息，方便建立空間的稠密地圖，實(shí)現(xiàn)對空間的3D重構(gòu)，但是由于要使用所有的像素信息，計(jì)算量常常過大，需要利用GPU并行加速。

以稀疏SLAM[9]為例子，SLAM算法可以分為前端和后端兩部分。前端部分主要負(fù)責(zé)數(shù)據(jù)關(guān)聯(lián)問題，后端部分負(fù)責(zé)對位置信息進(jìn)行優(yōu)化估計(jì)。本文采用了基于ORB特征的ORBSLAM算法，前端部分在圖像提取ORB特征，與地圖中的3D地圖點(diǎn)進(jìn)行匹配，后端部分利用匹配的結(jié)果構(gòu)建一個因子圖，在因子圖上進(jìn)行優(yōu)化計(jì)算。具體流程如圖1所示。

圖1 SLAM算法的總體流程

語義地圖的構(gòu)建在SLAM算法之上，但是不同于SLAM算法，語義地圖的構(gòu)建需要對人類的概念如場景、物體、形狀等進(jìn)行抽象。語義地圖構(gòu)建的需求來自于機(jī)器人導(dǎo)航的需要，Kuipers[10]最早提出建立語義地圖，他提出對空間知識進(jìn)行建模的概念。隨著近些年來SLAM算法越來越精確，將高精度的SLAM算法和語義地圖結(jié)合成為研究的熱點(diǎn)。Nielsen等[11]將基于SLAM的語義地圖構(gòu)建看作是機(jī)器人和人類交互的界面。他提出將機(jī)器人的單幀圖像信息與機(jī)器人的位置信息合并存儲，將其作為幾何地圖的補(bǔ)充。

Galindo等[12]將地圖分為空間地圖和概念地圖，并采用分層的方式組織地圖，并對空間地圖節(jié)點(diǎn)和概念地圖節(jié)點(diǎn)采用錨定，方便機(jī)器人根據(jù)語義信息進(jìn)行導(dǎo)航。Civera等[13]利用單目視覺SLAM算法建立起空間的柵格地圖，在另外一個線程中實(shí)現(xiàn)物體識別算法，將識別結(jié)果作為地圖數(shù)據(jù)庫存儲Liu等[14]則是使用2D的激光掃描建立起空間occupancy 柵格地圖，然后在此基礎(chǔ)上建立起語義地圖。斯坦福大學(xué)的Carl等[15]將SLAM地圖與地圖中的文字標(biāo)簽信息(如辦公室門牌)結(jié)合，實(shí)現(xiàn)了機(jī)器人根據(jù)語義指示導(dǎo)航的功能。Rituerto等[16]通過使用catadioptric視覺系統(tǒng)，實(shí)現(xiàn)了對拓?fù)涞貓D進(jìn)行語義標(biāo)注。Fasola等[17]的系統(tǒng)使用語義信息編碼空間位置的相對關(guān)系，可以使得人類用自然語言和機(jī)器進(jìn)行交互。

目前基于深度神經(jīng)網(wǎng)絡(luò)的視覺目標(biāo)檢測算法取得了巨大的突破，為我們構(gòu)建語義地圖提供了直接而準(zhǔn)確的語義信息。本文將利用單目SLAM算法和目標(biāo)檢測算法，設(shè)計(jì)并實(shí)現(xiàn)語義地圖構(gòu)建算法，對地圖點(diǎn)進(jìn)行語義關(guān)聯(lián)，實(shí)現(xiàn)構(gòu)建高精度語義地圖。

2 SLAM算法與目標(biāo)檢測算法

2.1 基于ORB-SLAM的SLAM算法

ORB-SLAM[18]是目前基于關(guān)鍵幀的稀疏SLAM算法中性能較為出色的一個算法框架，ORB-SLAM將SLAM算法分為跟蹤、本地制圖、回環(huán)修正三個線程。跟蹤模塊主要解決的是SLAM算法前端中的連續(xù)圖像幀的數(shù)據(jù)關(guān)聯(lián)問題，并且會對當(dāng)前幀的位置進(jìn)行優(yōu)化估計(jì)。本地制圖模塊要解決的是地圖點(diǎn)的創(chuàng)建與更新，回環(huán)檢測的目標(biāo)是消除SLAM算法中累計(jì)的誤差。相比于其他基于關(guān)鍵幀的稀疏SLAM算法，ORBSLAM主要有這幾個優(yōu)勢：

1) 采用ORB[19]特征作為視覺特征，具有提取速度快，視角光照不變性好的特點(diǎn)。

2) 采用DBow2[20]詞帶模型用于快速重定位和回環(huán)檢測，提高了系統(tǒng)的魯棒性。

3) 提出了共視圖和本征圖的概念，簡化了地圖構(gòu)建中地圖點(diǎn)和關(guān)鍵幀之間關(guān)聯(lián)。

4) 在關(guān)鍵幀的選擇機(jī)制，地圖點(diǎn)的創(chuàng)建機(jī)制以及本地窗口的大小設(shè)定上更加合理，帶來了性能上的提升。

在本文中，采用了ORBSLAM作為我們的SLAM算法，并且修改地圖點(diǎn)及關(guān)鍵幀的數(shù)據(jù)結(jié)構(gòu)方便結(jié)合語義地圖。

2.2 目標(biāo)檢測算法

傳統(tǒng)的目標(biāo)檢測算法常常分為三個部分。

1) 選擇檢測的窗口。這一步對圖像進(jìn)行多位置和多尺度的窗口提取， 采用Selective Search[21]等提取方法，并且基于顏色聚類、邊緣聚類把無關(guān)區(qū)域去除。

2) 提取視覺特征。特征提取指的是在區(qū)域內(nèi)提取視覺特征，常用的特征有SIFT[22]、HOG[23]等。

3) 分類器分類。分類器分類指的是利用提取中的特征，使用機(jī)器學(xué)習(xí)模型對所得特征所屬種類進(jìn)行分類。常用的分類器有SVM、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)等。

傳統(tǒng)的方法將檢測分為這三個部分，本身不是一個端到端的算法，這將導(dǎo)致各個部分之間無法很好的學(xué)習(xí)和優(yōu)化。并且在特征提取方面，傳統(tǒng)方法提取的特征在分類任務(wù)中無法和基于深度卷積神經(jīng)網(wǎng)絡(luò)提取出的特征的性能相比。

在語義地圖構(gòu)建中，需要目標(biāo)檢測算法為我們提供原始的語義信息，并且因?yàn)镾LAM算法的實(shí)時(shí)性，對算法的運(yùn)行速度有著較高的要求。我們參照了基于深度神經(jīng)網(wǎng)絡(luò)的YOLO[24]設(shè)計(jì)我們的網(wǎng)絡(luò)，將輸出層物體種類設(shè)為室內(nèi)常見的20類物體，具體內(nèi)容見實(shí)驗(yàn)部分。

YOLO將物體檢測作為一個回歸問題求解，基于單一的端到端網(wǎng)絡(luò)，完成對物體位置以及物體類別的同時(shí)預(yù)測。YOLO與RCNN[29]、Fast RCNN[28]、Faster RCNN[27]不同之處在于它不需要顯性地提取region proposal，這使得端到端學(xué)習(xí)成為了可能。

YOLO借鑒了GoogleNet[25]的分類網(wǎng)絡(luò)結(jié)構(gòu)，不同的是YOLO未使用inception module，而是用了1×1的卷積層加上3×3的卷積層簡單代替。YOLO將輸出圖像分為S×S個格子，每個格子負(fù)責(zé)檢測落入該格子的物體，若某個物體的中心位置坐標(biāo)落在某個格子中，那么這個格子就負(fù)責(zé)檢測該物體。每個格子負(fù)責(zé)輸出B個bounding box信息，以及C個物體屬于某種類別的概率信息。每個bounding box有5個數(shù)值，分別代表當(dāng)前格子預(yù)測得到的bounding box的中心坐標(biāo)，寬度和高度，以及當(dāng)前bounding box包含物體的置信度。因此最后全連接層輸出的維度為(S×S)×(B×5+C)。

在本文的網(wǎng)絡(luò)中，我們的分類種類C=5，并設(shè)置B=2,S=13。本文網(wǎng)絡(luò)的損失函數(shù)由三部分構(gòu)成，分別為預(yù)測數(shù)據(jù)與標(biāo)定數(shù)據(jù)之間的坐標(biāo)誤差、IOU誤差和分類誤差：

(1)

具體的損失函數(shù)如下：

(2)

在式(2)中，第1、2行代表是對坐標(biāo)預(yù)測的懲罰。在本文網(wǎng)絡(luò)中，對坐標(biāo)預(yù)測的懲罰加了一個參數(shù)λcoord進(jìn)行增強(qiáng)。這是因?yàn)槿绻患舆@個參數(shù)，那么在損失函數(shù)中，預(yù)測位置的重要性就和預(yù)測是否包含物體的重要性相等，這不符合最大化平均精度的想法。同時(shí)在3、4行計(jì)算IOU誤差的時(shí)候，包含物體的格子和不包含物體的格子兩者的IOU誤差對Loss的貢獻(xiàn)應(yīng)該是不同的。若采用相同的權(quán)值，那么不包含物體的格子的confidence近似為0，變相地放大了包含物體的格子的confidence誤差在計(jì)算梯度時(shí)的影響。因此將不包含物體的格子的IOU誤差加上參數(shù)λnoobj進(jìn)行削弱。最后一行為分類的懲罰。我們將λcoord設(shè)為5.0，而將λnoobj設(shè)為0.5。

3 語義地圖構(gòu)建

在SLAM算法中，圖像特征與地圖點(diǎn)直接對應(yīng)。而本文的目標(biāo)檢測算法檢測出的目標(biāo)框內(nèi)有圖像特征，因此可以將存儲的地圖點(diǎn)與目標(biāo)物體對應(yīng)。如圖2所示，每個地圖點(diǎn)與一個目標(biāo)物體對應(yīng)，而每個關(guān)鍵幀通過地圖點(diǎn)間接地和一個或多個目標(biāo)相連接。由此建立圖像數(shù)據(jù)和目標(biāo)物體之間的連接關(guān)系。

圖2 關(guān)鍵幀、空間地圖點(diǎn)和語義信息的關(guān)系圖

語義地圖構(gòu)建算法流程如圖3所示。

圖3 語義地圖構(gòu)建算法流程圖

首先，SLAM算法前端追蹤模塊決定是否將當(dāng)前圖像幀當(dāng)做關(guān)鍵幀，關(guān)鍵幀選擇規(guī)則如下：

1) 至少離上一次重定位距離20幀。

2) 本地制圖模塊空閑或離上一次關(guān)鍵幀插入相差已有20幀。

3) 當(dāng)前幀中至少有50個特征點(diǎn)。

其次，當(dāng)前幀被選擇為關(guān)鍵幀之后，關(guān)鍵幀將被兩部分算法同時(shí)處理：第一部分是目標(biāo)檢測算法， 第二部分是SLAM后端圖優(yōu)化算法。在進(jìn)行語義地圖模塊之前，需要等待SLAM后端圖優(yōu)化優(yōu)化模塊完成，因?yàn)楹蠖藞D優(yōu)化模塊將可能產(chǎn)生新地圖點(diǎn)。SLAM的后端圖優(yōu)化模塊主要包括兩部分：

1) 當(dāng)前關(guān)鍵幀位置與本地地圖點(diǎn)的優(yōu)化更新。

2) 通過三角法創(chuàng)建新的空間地圖點(diǎn)。

最后啟動語義地圖管理模塊。語義地圖管理模塊將進(jìn)行兩方面的工作：

一是對地圖中不可用點(diǎn)進(jìn)行區(qū)分和標(biāo)記。例如將檢測為people、cat、dog、bicycle、toy這幾個類別目標(biāo)框中的特征點(diǎn)標(biāo)記為不可用。這是由于這些類別的物體常常發(fā)生移動，因此不應(yīng)該將其上面的點(diǎn)作為地圖點(diǎn)。

二是建立地圖點(diǎn)和語義信息的聯(lián)系。 通過查找目標(biāo)物體框中的特征點(diǎn)對應(yīng)的地圖點(diǎn)所連接的語義信息。

1) 若所有地圖點(diǎn)均無語義信息說明這是第一次檢測出該目標(biāo)，將結(jié)果暫存在緩存中。當(dāng)連續(xù)5幀檢測出相同目標(biāo)則將所有緩存地圖點(diǎn)與當(dāng)前目標(biāo)檢測結(jié)果對應(yīng)。

2) 若已經(jīng)有語義信息，說明當(dāng)前目標(biāo)物體已經(jīng)存在于語義地圖中，此時(shí)更新目標(biāo)框內(nèi)所有地圖點(diǎn)語義信息為當(dāng)前目標(biāo)。

4 實(shí) 驗(yàn)

4.1 目標(biāo)檢測網(wǎng)絡(luò)訓(xùn)練

為了防止無關(guān)語義信息對地圖構(gòu)建的干擾，本文對YOLO v2網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整。以COCO[26]和PASCAL[5]數(shù)據(jù)集為基礎(chǔ)，篩選出室內(nèi)場景中常見的20類物體。再對這些圖片數(shù)據(jù)做隨機(jī)拉伸剪切等數(shù)據(jù)增廣處理，最后得到20 000張圖像，物體種類見表1。

表1 選取的20類物體的具體類別

在訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)之前首先設(shè)置該深度神經(jīng)網(wǎng)絡(luò)的超參數(shù)?？紤]到Y(jié)OLO v2的網(wǎng)絡(luò)特性，實(shí)驗(yàn)通過反復(fù)對比不同參數(shù)下的檢測精度，在原始超參數(shù)的基礎(chǔ)上進(jìn)行調(diào)整，最終得到的超參數(shù)如表2所示。

表2 深度神經(jīng)網(wǎng)絡(luò)的超參數(shù)設(shè)置

在Ubuntu 14.04的系統(tǒng)環(huán)境下訓(xùn)練和測試，處理器型號為Intel i7-5960X, 內(nèi)存為64 GB。為了得到更高的訓(xùn)練和測試速度，本文使用兩張GTX 1080顯卡加速訓(xùn)練。共訓(xùn)練45 000個batch。

4.1.1 目標(biāo)檢測精度分析

采用留出法，將訓(xùn)練數(shù)據(jù)的10%留出作為測試數(shù)據(jù)。為了衡量算法的精確程度，本文與Faster RCNN[27]、YOLOv2[24]做對比。Faster RCNN采用基于tensorflow實(shí)現(xiàn)的版本，YOLOv2采用作者提供的原始版本。實(shí)驗(yàn)結(jié)果如表3所示。

表3 目標(biāo)檢測精度對比實(shí)驗(yàn)結(jié)果

續(xù)表3

AP即平均精確度(Average precision)，是目標(biāo)檢測算法中衡量精度的指標(biāo)。每個類別根據(jù)精度(Precision)和召回率(Recall)得到ROC(Receiver Operating Characteristic)曲線，AP即是這條曲線之下的面積，mAP是所有類別的平均AP。

可以看到通過利用室內(nèi)場景的圖片對網(wǎng)絡(luò)進(jìn)行微調(diào)，本文的網(wǎng)絡(luò)目標(biāo)檢測精確程度相比于YOLOv2和Faster RCNN有了明顯的提高。

4.1.2 目標(biāo)檢測速度分析

為了達(dá)到實(shí)時(shí)構(gòu)建語意地圖的要求，要平衡目標(biāo)檢測的處理時(shí)間和處理精度。為了衡量本文算法的運(yùn)行時(shí)間效率，本文在數(shù)據(jù)集上測試目標(biāo)檢測算法的運(yùn)行效率，以處理幀率作為衡量標(biāo)準(zhǔn)，并與高精度的Fast RCNN[28]、Faster RCNN等檢測算法，以及實(shí)時(shí)的100 Hz DPM、30Hz DPM檢測算法進(jìn)行對比。實(shí)驗(yàn)的平臺為Ubuntu 14.04的系統(tǒng)環(huán)境，處理器型號為Intel i7-5960X, 內(nèi)存為64 GB，顯卡型號為GTX 1080。實(shí)驗(yàn)結(jié)果如表4所示。

表4 目標(biāo)檢測速度對比實(shí)驗(yàn)結(jié)果

可以看到Faster RCNN與Fast RCNN的幀率遠(yuǎn)遠(yuǎn)低于本文的目標(biāo)檢測算法，無法達(dá)到實(shí)時(shí)的要求。而DPM算法雖然運(yùn)行FPS指標(biāo)與本文接近，但算法精度較差。

通過實(shí)驗(yàn)可以看出本文的算法在精度和時(shí)間效率上取得了較好的平衡，在實(shí)時(shí)運(yùn)行的基礎(chǔ)之上能夠達(dá)到很好的mAP。

4.2 語義地圖構(gòu)建

由于目標(biāo)檢測算法在沒有GPU加速的情況下耗時(shí)較長，而移動機(jī)器人上目前還很難搭載高性能的GPU，因此本文將目標(biāo)檢測算法放到服務(wù)器端進(jìn)行。服務(wù)器端和移動機(jī)器人端之間采用C++編寫的基于gPRC的RPC框架進(jìn)行通信，服務(wù)端的目標(biāo)檢測算法使用C語言編寫的darknet作為框架，并搭載了GTX1080顯卡加速運(yùn)算，每幅圖像的處理時(shí)間平均約0.04 s。得到關(guān)鍵幀的目標(biāo)檢測結(jié)果之后，我們將結(jié)果通過gRPC傳到移動機(jī)器人的語義地圖管理模塊中。

在SLAM系統(tǒng)中地圖點(diǎn)與圖像關(guān)鍵幀有著關(guān)聯(lián)關(guān)系，每個地圖點(diǎn)可以從多個角度觀察到，因此將地圖點(diǎn)和多個關(guān)鍵幀進(jìn)行關(guān)聯(lián)，而一個地圖點(diǎn)理論上只能存在于一個物體之上。最終得到的地圖點(diǎn)提取結(jié)果如圖4所示。

圖4 地圖點(diǎn)提取示意圖

本文在室內(nèi)場景下測試語義地圖構(gòu)建系統(tǒng)，軟件的運(yùn)行效果如圖5所示。

圖5 軟件運(yùn)行效果圖

軟件的前端部分展示了SLAM算法的定位效果，并且同時(shí)目標(biāo)檢測的結(jié)果也在圖像中顯示。語義管理模塊對原始關(guān)鍵幀圖片進(jìn)行保存。在系統(tǒng)關(guān)閉時(shí)該模塊將所有關(guān)鍵幀圖片、對應(yīng)的地圖點(diǎn)、語義地圖信息，以及目標(biāo)物體在關(guān)鍵幀中的位置信息以Protocol Buffer的格式存儲。其中圖片數(shù)據(jù)以圖片路徑的形式保存在Protocol Buffer格式的數(shù)據(jù)里。通過將目標(biāo)檢測算法放到云端服務(wù)器中運(yùn)行，語義地圖構(gòu)建能夠?qū)崟r(shí)地在機(jī)器人上運(yùn)行。

5 語義地圖的應(yīng)用

本文的語義地圖構(gòu)建結(jié)果主要可以應(yīng)用于兩個方面。

第一，智能導(dǎo)航。機(jī)器人的導(dǎo)航需要機(jī)器人知道當(dāng)前位置和目標(biāo)位置，而在人類與機(jī)器人交互的過程中，人類常常無法提供給機(jī)器人目標(biāo)在空間坐標(biāo)系下的準(zhǔn)確位置。語義地圖提供了一種新的人機(jī)交互方式，人們可以以語義的形式給機(jī)器人提供指令，機(jī)器人將查詢其語義地圖，得到與語義地圖相關(guān)聯(lián)的地圖點(diǎn)信息。而地圖點(diǎn)包含了坐標(biāo)信息，機(jī)器人根據(jù)SLAM模塊得到的自身位置信息以及地圖點(diǎn)的坐標(biāo)信息，選擇合適的路徑規(guī)劃算法。

第二，數(shù)據(jù)采集。傳統(tǒng)的圖像識別圖像分割數(shù)據(jù)集，如ImageNet等，包含了數(shù)以百萬計(jì)的圖片。然而觀察這些圖片將會發(fā)現(xiàn)這些圖片大部分是從正面拍攝的物體的照片，這是由于這些數(shù)據(jù)集圖片的來源多是攝影作品。另外一個問題是這些圖片中沒有包括圖像采集者與目標(biāo)物體之間的相對位置信息。通過本文的算法構(gòu)建的語義地圖很好地彌補(bǔ)了這個問題。利用我們的語義地圖構(gòu)建算法，將得到關(guān)于一個目標(biāo)物體在各個角度各個距離上的圖像。同時(shí)，這些圖像中的目標(biāo)物體都是有標(biāo)注的，這是因?yàn)槲覀兊恼Z義信息與SLAM中的地圖點(diǎn)是對應(yīng)的，我們可以將地圖點(diǎn)投影到圖像幀中，獲得目標(biāo)物體在圖像幀中的位置信息。這將大大增加我們可以得到的有標(biāo)注數(shù)據(jù)的數(shù)量，并且所得數(shù)據(jù)分布在更多角度和尺度之上，這將對訓(xùn)練更深更復(fù)雜的深度學(xué)習(xí)模型提供數(shù)據(jù)上的支持。

6 結(jié) 語

本文的主要工作是通過利用高精度的單目SLAM算法，結(jié)合基于深度神經(jīng)網(wǎng)絡(luò)的快速目標(biāo)檢測算法，對機(jī)器人所處的空間構(gòu)建語義地圖。本文的算法將SLAM算法提供的精確的幾何信息和深度神經(jīng)網(wǎng)絡(luò)提供的豐富的語義信息有效地結(jié)合起來，建立語義信息和空間地圖點(diǎn)之間的映射關(guān)系，并且利用深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果糾正SLAM算法中可能存在的錯誤。本文實(shí)現(xiàn)的算法將需要GPU加速的部分放到服務(wù)器端，通過高效的RPC框架進(jìn)行實(shí)時(shí)通信。最終得到的語義地圖能夠應(yīng)用于機(jī)器人的智能導(dǎo)航系統(tǒng)，也可以應(yīng)用于數(shù)據(jù)采集。

本文的算法將SLAM的地圖點(diǎn)與語義信息之間建立起聯(lián)系，把精確的地圖點(diǎn)和語義信息之間建立映射。

未來的研究方向有：

1) 如何有效解決遮擋問題。當(dāng)物體被另一物體遮擋時(shí)，目標(biāo)檢測算法檢測出的目標(biāo)框?qū)l(fā)生重合，這時(shí)候需要有效消除重合的影響。

2) 根據(jù)探索情況更新原有地圖。當(dāng)機(jī)器人發(fā)現(xiàn)原來某地的物體消失，應(yīng)能及時(shí)更新地圖。

[1] Deng J,Dong W,Socher R,et al.ImageNet:A large-scale hierarchical image database[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009:248-255.

[2] Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems,2012.2012:1097-1105.

[3] He K,Zhang X,Ren S,et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2016.2016:770-778.

[4] Girshick R,Donahue J,Darrell T,et al.Region-based convolutional networks for accurate object detection and segmentation[J].IEEE transactions on pattern analysis and machine intelligence,2016,38(1):142-158.

[5] Everingham M,Van Gool L,Williams C K,et al.The pascal visual object classes (voc) challenge[J].International journal of computer vision,2010,88(2):303-338.

[6] Davison A J,Reid I D,Molton N D,et al.MonoSLAM:real-time single camera SLAM[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2007,29(6):1052-1067.

[7] Klein G,Murray D.Parallel Tracking and Mapping for Small AR Workspaces[C]//IEEE and ACM International Symposium on Mixed and Augmented Reality.IEEE Computer Society,2007:1-10.

[8] Leutenegger S,Furgale P,Rabaud V,et al.Keyframe-Based Visual-Inertial SLAM using Nonlinear Optimization[C]//Robotics:Science and Systems,2013.2013:789-795.

[9] Cadena C,Carlone L,Carrillo H,et al.Past,present,and future of simultaneous localization and mapping:Toward the robust-perception age[J].IEEE Transactions on Robotics,2016,32(6):1309-1332.

[10] Kuipers B.Modeling spatial knowledge[J].Cognitive science,1978,2(2):129-153.

[11] Nielsen C W,Ricks B,Goodrich M A,et al.Snapshots for semantic maps[C]//Systems,Man and Cybernetics,2004 IEEE International Conference on,2004.IEEE,2004:2853-2858.

[12] Galindo C,Saffiotti A,Coradeschi S,et al.Multi-hierarchical semantic maps for mobile robotics[C]//Intelligent Robots and Systems,2005.(IROS 2005).2005 IEEE/RSJ International Conference on,2005.IEEE,2005:2278-2283.

[13] Civera J,Gálvez-López D,Riazuelo L,et al.Towards semantic SLAM using a monocular camera[C]//Intelligent Robots and Systems (IROS),2011 IEEE/RSJ International Conference on,2011.IEEE,2011:1277-1284.

[14] Liu Z,von Wichert G.Extracting semantic indoor maps from occupancy grids[J].Robotics and Autonomous Systems,2014,62(5):663-674.

[15] Case C,Suresh B,Coates A,et al.Autonomous sign reading for semantic mapping[C]//Robotics and Automation (ICRA),2011 IEEE International Conference on,2011.IEEE,2011:3297-3303.

[16] Rituerto A,Murillo A C,Guerrero J J.Semantic labeling for indoor topological mapping using a wearable catadioptric system[J].Robotics and Autonomous Systems,2014,62(5):685-695.

[17] Fasola J,Mataric M J.Using semantic fields to model dynamic spatial relations in a robot architecture for natural language instruction of service robots[C]//Intelligent Robots and Systems (IROS),2013 IEEE/RSJ International Conference on,2013.IEEE,2013:143-150.

[18] Mur-Artal R,Montiel J M M,Tardos J D.ORB-SLAM:a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2015,31(5):1147-1163.

[19] Rublee E,Rabaud V,Konolige K,et al.ORB:An efficient alternative to SIFT or SURF[C]//Computer Vision (ICCV),2011 IEEE International Conference on,2011.IEEE,2011:2564-2571.

[20] Gálvez-López D,Tardos J D.Bags of binary words for fast place recognition in image sequences[J].IEEE Transactions on Robotics,2012,28(5):1188-1197.

[21] Uijlings J R,Van De Sande K E,Gevers T,et al.Selective search for object recognition[J].International journal of computer vision,2013,104(2):154-171.

[22] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.

[23] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on,2005.IEEE,2005:886-893.

[24] Redmon J,Divvala S,Girshick R,et al.You only look once:Unified,real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2016.2016:779-788.

[25] Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015.2015:1-9.

[26] Lin T,Maire M,Belongie S,et al.Microsoft coco:Common objects in context[C]//European Conference on Computer Vision,2014.Springer,2014:740-755.

[27] Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time object detection with region proposal networks[C]//Advances in neural information processing systems,2015.2015:91-99.

[28] Girshick R.Fast r-cnn[C]//Proceedings of the IEEE International Conference on Computer Vision,2015.2015:1440-1448.

[29] Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition,2014.2014:580-587.