基于深度學(xué)習(xí)的視覺(jué)SLAM系統(tǒng)

張國(guó)棟

（武侯中學(xué)，四川成都，610000）

1 語(yǔ)義地圖的構(gòu)建

首先機(jī)器人以一定的時(shí)間間隔、一定的角度姿態(tài)拍攝圖像。 得到圖像后，先利用FAST提取圖像中的關(guān)鍵點(diǎn)，取以關(guān)鍵點(diǎn)為圓心一定半徑的圖像塊，提取出來(lái)的圖像塊輸入已經(jīng)訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)，得到其描述符。輸出圖像塊描述符，用其描述符與上一幅圖像提取出的描述符進(jìn)行最近鄰匹配，由公式1得，利用匹配點(diǎn)計(jì)算出相鄰兩幀圖片之間的相對(duì)位姿?；谏疃葘W(xué)習(xí)的場(chǎng)景識(shí)別方法在表征一篇圖片時(shí)可以大大節(jié)約空間資源，在匹配過(guò)程中的速度也能有效提高，在構(gòu)建場(chǎng)景識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)過(guò)程中我們使用三個(gè)結(jié)構(gòu)完全相同，全職共享的CNN網(wǎng)絡(luò)，用AlexNet提取圖像的特征之后，計(jì)算參考幀和同類(lèi)幀以及異類(lèi)幀之間的距離，通過(guò)距離比較器和反向傳播訓(xùn)練出一個(gè)深度學(xué)習(xí)模型。在實(shí)際使用時(shí)，我們使用一個(gè)net生成的全局描述符即可。如果檢測(cè)到匹配幀則對(duì)誤差就行修正。

人工智能現(xiàn)階段的導(dǎo)航依靠坐標(biāo)位置并不能有效完成，但視覺(jué)SLAM中的三維地圖或網(wǎng)格地圖都只能進(jìn)行基本的路徑規(guī)劃功能，所以，我們要運(yùn)用深度學(xué)習(xí)構(gòu)建語(yǔ)義地圖，來(lái)為機(jī)器人提供語(yǔ)義信息以輔助其導(dǎo)航。

在視覺(jué)SLAM中構(gòu)建語(yǔ)義地圖主要運(yùn)用的是全卷積網(wǎng)絡(luò)。這與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不同，將全連接層改成卷積層，以將圖像中各個(gè)像素區(qū)分開(kāi)來(lái)，機(jī)器人要通過(guò)此來(lái)找準(zhǔn)圖中每個(gè)像素對(duì)應(yīng)的是實(shí)際場(chǎng)景中的哪個(gè)物體，從而規(guī)劃出準(zhǔn)確的導(dǎo)航路線。語(yǔ)義地圖是在三維坐標(biāo)系中構(gòu)建的，需要在坐標(biāo)系中算出其位置，經(jīng)變換，映射到初始坐標(biāo)系中構(gòu)成語(yǔ)義地圖。人工智能就依靠此更加精確地運(yùn)作。

2 國(guó)內(nèi)外研究現(xiàn)狀

二十世紀(jì)六十年代Slam技術(shù)第一次被提出到現(xiàn)在歷經(jīng)七十年的發(fā)展已經(jīng)取得了矚目的成就，特別是在二十一世紀(jì)初，其基本框架已開(kāi)始成型。2007年，MonoSLAM系統(tǒng)[1]將擴(kuò)展卡爾曼濾波應(yīng)用到了后端優(yōu)化中來(lái)減少累積誤差[2]實(shí)現(xiàn)了slam系統(tǒng)在環(huán)境中實(shí)時(shí)定位并構(gòu)建地圖?？紤]到視覺(jué)傳感器的結(jié)構(gòu)與人類(lèi)的眼睛類(lèi)似，所以基于視覺(jué)傳感器的slam在室內(nèi)外環(huán)境中應(yīng)用較多。

國(guó)內(nèi)對(duì)于語(yǔ)義地圖方向的研究起步較晚北京科技大學(xué)首先完成了語(yǔ)義地圖的建立，但采用了不正確的檢測(cè)物體的方式，直接導(dǎo)致計(jì)算量過(guò)大。隨后，中國(guó)科技大學(xué)完成了其中兩個(gè)部分，場(chǎng)景識(shí)別和場(chǎng)景中物體的識(shí)別。

傳統(tǒng)的室內(nèi)機(jī)器人在移動(dòng)過(guò)程中，需要依靠周?chē)膸缀涡畔⒍ㄎ?，它們可以在基于視覺(jué)傳感器的salm下運(yùn)行。但他們忽略了環(huán)境中極其豐富的語(yǔ)義信息，這是未來(lái)服務(wù)機(jī)器人構(gòu)建語(yǔ)義地圖中不可缺少的信息。

3 相機(jī)模型

3.1 小孔成像模型

首先可以把一個(gè)光源看成由許多小發(fā)光點(diǎn)組成，每個(gè)發(fā)光點(diǎn)都朝著周?chē)臻g發(fā)射著光?？倳?huì)有一束光筆直地穿過(guò)小孔，在白紙上形成一個(gè)小光斑。每一個(gè)發(fā)光點(diǎn)形成一個(gè)光斑，所以在白紙上就形成了由所有的光斑聚成的像，如圖1所示。

從圖中可以看到，A,B部分的光沿直線通過(guò)小孔，照在屏幕的C處，當(dāng)孔較大時(shí)，A,B部分發(fā)出的光線會(huì)在屏幕C處重疊,故像不會(huì)清晰；當(dāng)孔相當(dāng)大時(shí)，光線不會(huì)到達(dá)一處，光信息會(huì)發(fā)生混亂，所以無(wú)法成像；當(dāng)孔較小時(shí)，空的上下沿會(huì)遮住光的傳播路徑，物體不同部分的光會(huì)到達(dá)屏幕上的不同部分，而不會(huì)相互重疊，所以成的像會(huì)比較清晰。

圖1 小孔成像原理圖

所以如果孔的大小變大，那么成像的分辨率會(huì)下降，反之則會(huì)上升，即小孔成像的分辨率與像的清晰度成正比，與孔的大小呈反比（與物距相距均有關(guān)，但本文不做討論）。

3.2 相機(jī)模型原理

相機(jī)成像的模型的過(guò)程實(shí)際是將三維空間還原成二維平面的一個(gè)過(guò)程，可簡(jiǎn)單用小孔成效模型描述此過(guò)程，如圖2所示。

（1）首定義兩個(gè)坐標(biāo)系：相機(jī)坐標(biāo)系（三維坐標(biāo)系）—以相機(jī)焦點(diǎn)為原點(diǎn)和坐標(biāo)軸X，Y，Z圖像坐標(biāo)系（二維坐標(biāo)系）—以成像平面的中心O為坐標(biāo)原點(diǎn)和坐標(biāo)軸x，y。

圖2 小孔相機(jī)模型

（2）小孔成像實(shí)際就是將相機(jī)坐標(biāo)系中的三維坐標(biāo)，變換到成像平面中的二維坐標(biāo)。假設(shè)三維空間中存在某點(diǎn)P，在相機(jī)坐標(biāo)系中的坐標(biāo)為[X,Y,Z]其成像。

4 基于深度學(xué)習(xí)的局部描述符提取

由于手動(dòng)設(shè)計(jì)出來(lái)的描述符很難確定參數(shù)配置，手動(dòng)設(shè)計(jì)出的描述符很難同時(shí)具備較高的不變性、緊密型和獨(dú)特性。近些年來(lái)局部不變描述符研究領(lǐng)域的一大熱點(diǎn)是研究學(xué)者把機(jī)器學(xué)習(xí)的方法用于描述符的設(shè)計(jì)。因?yàn)闄C(jī)器學(xué)習(xí)的局部描述符具有獨(dú)特的優(yōu)勢(shì)：可以利用訓(xùn)練數(shù)據(jù)學(xué)習(xí)最佳的參數(shù)配置和復(fù)雜模式。在本系統(tǒng)中，我們先用FAST提取特征點(diǎn)，然后再用深度網(wǎng)絡(luò)計(jì)算這些特征點(diǎn)的描述子。

4.1 網(wǎng)絡(luò)結(jié)構(gòu)

我們構(gòu)建場(chǎng)景識(shí)別系統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)如圖3所示，圖中的三個(gè)net為CNN網(wǎng)絡(luò)，這三個(gè)網(wǎng)絡(luò)結(jié)構(gòu)完全相同，權(quán)值共享。圖中的x為參考幀，x+為同類(lèi)幀，x-為異類(lèi)幀，同類(lèi)幀即與參考幀相似的圖片，異類(lèi)幀是與參考幀不同的圖片。具體到我們的系統(tǒng)中，參考幀為一個(gè)具體的位置所拍攝的圖片，同類(lèi)幀這個(gè)位置臨近區(qū)域內(nèi)拍攝的圖片，而異類(lèi)幀則是離這個(gè)位置比較遠(yuǎn)的地點(diǎn)拍攝的圖片。

在本文中我們使用AlexNet作為整幅圖像的特征提取器，在獲得三張圖像各自的特征之后，我們分別計(jì)算了x和x+之間的距離d+即圖中的同理可得d-。通過(guò)一個(gè)距離比較器和反向傳播我們可以訓(xùn)練出一個(gè)場(chǎng)景識(shí)別的深度學(xué)習(xí)模型。在實(shí)際使用網(wǎng)絡(luò)的時(shí)候，我們只需要使用一個(gè)net生成圖像對(duì)應(yīng)的全局描述符即可。

圖3 場(chǎng)景識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

4.2 損失函數(shù)

其中L為損失函數(shù)，dij輸入的兩個(gè)特征點(diǎn)對(duì)應(yīng)的描述符之間的距離，sij為1是表明輸入的是兩個(gè)相似的特征點(diǎn)對(duì)應(yīng)的圖像塊，而sij為0是表明輸入的是兩個(gè)不相似的特征點(diǎn)對(duì)應(yīng)的圖像塊。α為不相似的描述符之間的最小距離。

損失函數(shù)的圖像如圖4所示，當(dāng)不相似的描述符之間的距離小于α的時(shí)候，損失函數(shù)大于0，網(wǎng)絡(luò)將進(jìn)行訓(xùn)練，反之表明網(wǎng)絡(luò)已經(jīng)滿足要求。

圖4 損失函數(shù)曲線

在訓(xùn)練完成之后，我們將不再需要兩個(gè)網(wǎng)絡(luò)，我們只需要使用一個(gè)網(wǎng)絡(luò)來(lái)提取描述符。大量的前期工作表明這種方式訓(xùn)練得到的描述符遠(yuǎn)遠(yuǎn)由于手工提取的描述符，為了達(dá)到實(shí)時(shí)性的要求，我們使用GPU進(jìn)行加速，因此完全可以滿足機(jī)器人對(duì)實(shí)時(shí)性的要求。

5 基于深度學(xué)習(xí)的回環(huán)檢測(cè)

回環(huán)檢測(cè)是SLAM系統(tǒng)中非常重要的部分，由于我們?cè)谥饚?jì)算位姿的時(shí)候會(huì)有一定誤差，隨著時(shí)間的積累這個(gè)誤差會(huì)變得越來(lái)越大，因此我們必須通過(guò)一定的手段來(lái)消除這種誤差[3]。目前比較通用的便是回環(huán)檢測(cè)，所謂回環(huán)檢測(cè)就是一個(gè)場(chǎng)景識(shí)別系統(tǒng)，場(chǎng)景識(shí)別系統(tǒng)可以識(shí)別出來(lái)相同或者相近的地點(diǎn)。具體到機(jī)器人中，當(dāng)機(jī)器人運(yùn)動(dòng)一段時(shí)間后又回到之前來(lái)過(guò)的地方，由于計(jì)算位姿的累積誤差，所以機(jī)器人計(jì)算到的位置和原來(lái)的位置并不相同，那么此時(shí)我們可以通過(guò)回環(huán)檢測(cè)重新計(jì)算兩個(gè)回環(huán)匹配幀之間的位姿從而消除這種誤差。

傳統(tǒng)的回環(huán)檢測(cè)主要是利用局部描述符構(gòu)建了一個(gè)視覺(jué)詞袋，由于局部描述符有著各種局限性所以這樣方式構(gòu)建的回環(huán)檢測(cè)系統(tǒng)具有很多問(wèn)題，比如對(duì)于光照變化，視角變化，環(huán)境變化不夠魯棒，此外視覺(jué)詞袋規(guī)模較大，在系統(tǒng)運(yùn)行的過(guò)程中需要加載到內(nèi)存中，消耗了大量的資源?；谏疃葘W(xué)習(xí)的場(chǎng)景識(shí)別可以有效地克服視角，光照和環(huán)境等變化，此外由于基于深度的場(chǎng)景識(shí)別可以生成全局的描述符，因此表征一幅圖片可以用更少的空間，大大節(jié)約了資源，在匹配階段也可以加快速度。因此在本文中我們將使用基于深度學(xué)習(xí)的場(chǎng)景識(shí)別系統(tǒng)來(lái)進(jìn)行回環(huán)檢測(cè)。

所謂場(chǎng)景識(shí)別系統(tǒng)，即將高維空間的圖像映射成一個(gè)維度較低的空間中的描述符，映射過(guò)程中我們需要低維度的描述符可以保持圖像之間的相似關(guān)系。因此我們采用triplet形式的損失函數(shù)來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。我們?yōu)樘崛〉降臉颖咎卣鬟x取鄰近的同類(lèi)樣本特征和鄰近的異類(lèi)樣本特征，以此來(lái)構(gòu)建一個(gè)三元組，對(duì)于N個(gè)訓(xùn)練樣本，可以隨機(jī)產(chǎn)生大量的三元組，本文涉及到的基于三元組約束的距離度量學(xué)習(xí)模型（point to point Relative Distance Constrained Metric Learning，RDCML）要求同類(lèi)樣本特征的距離和異類(lèi)樣本特征的距離被一個(gè)大的間隔分開(kāi)。基于上述的描述，我們的損失函數(shù)為如下公式，其中α為正負(fù)樣本之間的間隔，即正樣本之間的距離要比負(fù)樣本之間的距離小α以上。在訓(xùn)練過(guò)程中α由人為指定，α越小網(wǎng)絡(luò)越容易收斂，然而效果會(huì)比較差，α越大網(wǎng)絡(luò)越難收斂會(huì)導(dǎo)致訓(xùn)練時(shí)間變長(zhǎng)甚至不收斂，但是效果會(huì)比較好，因此我們需要在訓(xùn)練過(guò)程中對(duì)訓(xùn)練時(shí)間和精度進(jìn)行權(quán)衡。

6 基于深度學(xué)習(xí)的SLAM系統(tǒng)

基于深度學(xué)習(xí)的SLAM系統(tǒng)如圖5所示，首先機(jī)器人以一定的時(shí)間間隔、一定的角度姿態(tài)拍攝圖像。 得到圖像后，先利用FAST提取圖像中的關(guān)鍵點(diǎn)，取以關(guān)鍵點(diǎn)為圓心一定半徑的圖像塊，提取出來(lái)的圖像塊輸入已經(jīng)訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)，得到其描述符。輸出圖像塊描述符，用其描述符與上一幅圖像提取出的描述符進(jìn)行最近鄰匹配，利用匹配點(diǎn)計(jì)算出相鄰兩幀圖片之間的相對(duì)位姿。

基于深度學(xué)習(xí)的場(chǎng)景識(shí)別方法在表征一篇圖片時(shí)可以大大節(jié)約空間資源，在匹配過(guò)程中的速度也能有效提高，在構(gòu)建場(chǎng)景識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)過(guò)程中我們使用三個(gè)結(jié)構(gòu)完全相同，全職共享的CNN網(wǎng)絡(luò)，用AlexNet提取圖像的特征之后，計(jì)算參考幀和同類(lèi)幀以及異類(lèi)幀之間的距離，通過(guò)距離比較器和反向傳播訓(xùn)練出一個(gè)深度學(xué)習(xí)模型。在實(shí)際使用時(shí)，我們使用一個(gè)net生成的全局描述符即可。如果檢測(cè)到匹配幀則對(duì)誤差就行修正。

人工智能現(xiàn)階段的導(dǎo)航依靠坐標(biāo)位置并不能有效完成，但視覺(jué)SLAM中的三維地圖或網(wǎng)格地圖都只能進(jìn)行基本的路徑規(guī)劃功能，所以，我們要運(yùn)用深度學(xué)習(xí)構(gòu)建語(yǔ)義地圖，來(lái)為機(jī)器人提供語(yǔ)義信息以輔助其導(dǎo)航。

在視覺(jué)SLAM中構(gòu)建語(yǔ)義地圖主要運(yùn)用的是全卷積網(wǎng)絡(luò)。這與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不同，將全連接層改成卷積層，以將圖像中各個(gè)像素區(qū)分開(kāi)來(lái)，機(jī)器人要通過(guò)此來(lái)找準(zhǔn)圖中每個(gè)像素對(duì)應(yīng)的是實(shí)際場(chǎng)景中的哪個(gè)物體，從而規(guī)劃出準(zhǔn)確的導(dǎo)航路線。語(yǔ)義地圖是在三維坐標(biāo)系中構(gòu)建的，需要在坐標(biāo)系中算出其位置，經(jīng)變換，映射到初始坐標(biāo)系中構(gòu)成語(yǔ)義地圖。人工智能就依靠此更加精確地運(yùn)作。

圖5 改進(jìn)后的視覺(jué)SLAM系統(tǒng)

7 總結(jié)與展望

本文提出構(gòu)建了一種基于深度學(xué)習(xí)的視覺(jué)SLAM系統(tǒng)，利用深度學(xué)習(xí)強(qiáng)大的特征抽取能力，我們構(gòu)建的系統(tǒng)在理論上可以達(dá)到更高的精度。同時(shí)在內(nèi)存消耗，提高效率方面也有著不俗的表現(xiàn)。同時(shí)我們構(gòu)建的語(yǔ)義地圖，可以有效地利用圖像的信息，這些語(yǔ)義信息對(duì)于機(jī)器人導(dǎo)航非常有意義。但是目前計(jì)算量較大，無(wú)法用CPU進(jìn)行實(shí)時(shí)計(jì)算，所以必須用GPU計(jì)算，后續(xù)可以針對(duì)計(jì)算量做一些優(yōu)化。此外，我們只做了理論設(shè)計(jì)，沒(méi)有進(jìn)行實(shí)際的驗(yàn)證，所以我們后續(xù)還需要實(shí)現(xiàn)整套系統(tǒng)，從而驗(yàn)證我們?cè)O(shè)計(jì)的有效性。