基于卷積神經(jīng)網(wǎng)絡(luò)的描述符提取在SLAM中的應(yīng)用

王郅佶

（大連市第八中學(xué)，遼寧大連，116021）

0 引言

在現(xiàn)在的人們生活要求下，智能化也在走入實(shí)際生活的應(yīng)用之中，于是智能家居，智能管家，智能機(jī)器人也在逐漸進(jìn)入大眾的視野[1]，在智能家居之中，最重要的則是系統(tǒng)如何對(duì)家內(nèi)物品的掌握，于是室內(nèi)建模也就油然而生，建模不僅可以對(duì)屋內(nèi)基本數(shù)據(jù)進(jìn)行整合，也為室內(nèi)設(shè)計(jì)的最優(yōu)化提供了基本素材。但是對(duì)于實(shí)際的家中情況，不同人家有不同設(shè)計(jì)，相同的人家的家具擺設(shè)也會(huì)時(shí)常變動(dòng)，所以對(duì)于室內(nèi)建模，尤其是實(shí)時(shí)化的更新，也就顯得尤為重要。傳統(tǒng)的室內(nèi)建模是基于傳感器，傳感器的制作過于昂貴，無(wú)法使用與家居生活。GPS 定位準(zhǔn)確度不夠，無(wú)法用于室內(nèi)定位。而在日常的家中，對(duì)于室內(nèi)建模[2]，掃描方法或者數(shù)字建模技術(shù)都過于昂貴，而在建模之后，對(duì)于實(shí)時(shí)變化的更新，也顯示出其不足之處。

機(jī)器人在室內(nèi)自由移動(dòng)時(shí)，在對(duì)周圍環(huán)境不受到干擾的情況下，對(duì)室內(nèi)每個(gè)角落進(jìn)行拍照獲得信息，并且對(duì)其中的特征信息進(jìn)行提取，在了解自己位置以及行進(jìn)方向的同時(shí)，對(duì)室內(nèi)物品以及結(jié)構(gòu)進(jìn)行建模處理,并且在行進(jìn)時(shí)遇到的位置偏移，自主進(jìn)行解決調(diào)整[3]。

本設(shè)計(jì)的主要目的是讓智能家居真正走入平常人的家中，讓每個(gè)人都能享受到科技變革帶來(lái)的智能化體驗(yàn)，使智能不再是高居與研發(fā)室里的試驗(yàn)品，而是讓大家都能使用并且獲益的技術(shù)，并且通過在現(xiàn)有技術(shù)的改進(jìn)以及簡(jiǎn)化，大大降低產(chǎn)品的成本讓其能成為可以真正量產(chǎn)的商品。

目前傳統(tǒng)的SLAM 都使用人為設(shè)計(jì)的描述符進(jìn)行定位和建圖，目前深度學(xué)習(xí)被證明有著極強(qiáng)自學(xué)習(xí)性以及適應(yīng)能力。針對(duì)環(huán)境的變化以及光照的明暗變化都能較好的進(jìn)行自我學(xué)習(xí)?；诰矸e的圖像特征學(xué)習(xí)是現(xiàn)在最為流行的圖像處理手段，對(duì)于卷積網(wǎng)絡(luò)的特征學(xué)習(xí)可以到達(dá)實(shí)時(shí)以及準(zhǔn)確的性能。通過對(duì)圖像以及機(jī)器人的標(biāo)定完成室內(nèi)建圖，以及環(huán)境變化之后，譬如家居移動(dòng)以及環(huán)境遷移，深度學(xué)習(xí)都有著比較強(qiáng)的適應(yīng)能力，相對(duì)于描述符而言可以比較好地解決這些問題。

1 卷積神經(jīng)網(wǎng)絡(luò)

目前深度學(xué)習(xí)比較常用的算法為反向傳播算法，最原始的網(wǎng)絡(luò)都使用全連接網(wǎng)絡(luò)，這種網(wǎng)絡(luò)在處理維度很高的圖像數(shù)據(jù)時(shí)需要很多的計(jì)算資源和內(nèi)存空間，因此卷積神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生。

對(duì)于卷積，首先將信息，即為像素，以矩陣的方式輸入，圈定卷積的格式，以5×5 用3×3 卷積為例從任意邊緣（一般為左上角開始），以步長(zhǎng)為1 移動(dòng)，提取特征信息所以在5×5 的信息中可以提取到3×3 的卷積結(jié)果在卷積的過程中，3×3 的格中，必須對(duì)其信息進(jìn)行處理所以要將每個(gè)格的數(shù)據(jù)進(jìn)行加權(quán)處理比如，對(duì)于3×3 的卷積核，可以把（1,1）（1,3）（2，2）（3,1）（3,3）進(jìn)行加權(quán)為1 而剩下部分則權(quán)值為0 這樣就能有效的提取到信息并且加以簡(jiǎn)化突出[4]。

并且在卷積的過程中采用三個(gè)通道提取信息（RGB）紅，綠，藍(lán)三維提取，在三個(gè)維度同時(shí)對(duì)一張圖片進(jìn)行提取，提取在三個(gè)維度上的不同特征，增加了特征的含量也降低了因?yàn)樘卣鞑粔蛲怀龌蛘咧車h(huán)境影響而造成的誤差[5]。而在三維的提取過程中，為了之后數(shù)據(jù)處理的方便，將三維度的信息提取的權(quán)值共享

而對(duì)于邊緣信息，在每次的卷積中，提取的信息量過于少，為排除因?yàn)檫吘壭畔⑷笔Ф鴰?lái)的誤差，通過增邊所以在輸入矩陣的過程中，對(duì)這個(gè)矩陣進(jìn)行增邊處理，即為在邊緣外擴(kuò)一圈信息全部為0 的信息，外圈信息雖然沒有任何對(duì)于特征提取的貢獻(xiàn)，把原來(lái)邊緣上的信息多次提取，即為使他輸入格式等于輸出格式，增加了提取信息的豐富度，并且排除了邊緣信息缺失造成的誤差問題。假設(shè)輸入的數(shù)據(jù)大小為a×a×b，卷積的尺寸為c×c×b，其中a＞c，那么輸出的大小為(a-c+1)×（a-c+1）×1。

在卷積之后，對(duì)于提取后的信息[6]，加以池化，仍以3×3 的池化為例，此時(shí)要以步長(zhǎng)3 的方式運(yùn)動(dòng)，但是此時(shí)被池化的矩陣邊長(zhǎng)一定要是池化邊長(zhǎng)的整數(shù)倍，最后對(duì)于6×6 若要以3×3 池化，則可化為2×2 的矩陣，在池化的過程中，采用兩個(gè)處理取最大值或者取平均值，取最大值則是提取卷積后的信息中每次池化取最大值，而平均值池化則是在信息中提取平均值，兩個(gè)方法都有其優(yōu)性對(duì)于最大值池化可以最大的突出想要的特征，但是也有可能會(huì)將其他較為重要的信息忽略而對(duì)于平均值池化能更客觀提取信息，但是一對(duì)于顯著特征的提取就略顯不足[7]。

但是為什么不直接使用全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行整合呢，首先，對(duì)于圖片的參考數(shù)量太多，如果輸入1000×1000 像素的圖片，輸入層則會(huì)有1000000 個(gè)節(jié)點(diǎn)如果第一個(gè)隱藏層有100 個(gè)節(jié)點(diǎn)，那么這一層就會(huì)有一億個(gè)參數(shù)，如果圖像再大一點(diǎn)，數(shù)據(jù)更是無(wú)法想象，對(duì)于本身信息太多極其容易過擬合。而第二點(diǎn)，全連接網(wǎng)絡(luò)僅僅是對(duì)信息進(jìn)行對(duì)應(yīng)，沒有像素之間的關(guān)系，對(duì)所有的像素平等對(duì)待，這個(gè)和特征提取的目標(biāo)是相違背的，并且當(dāng)完成了學(xué)習(xí)之后發(fā)現(xiàn)大量的信息其實(shí)所帶有權(quán)重的很小的，大量學(xué)習(xí)本來(lái)不需要的信息，會(huì)大大降低學(xué)習(xí)的效率。所以通過卷積神經(jīng)網(wǎng)絡(luò)，不僅達(dá)到了學(xué)習(xí)的目的，還提高了學(xué)習(xí)效率[8]。

2 剛體變換

在機(jī)器人于家中運(yùn)動(dòng)時(shí)需要時(shí)時(shí)刻刻判斷自己的位置，才能對(duì)位置進(jìn)行自我定位。

而僅僅依靠速度和時(shí)間的計(jì)算，即便在理論上沒有誤差，但是在實(shí)際生活中，無(wú)論是輪轂半徑還是引擎的實(shí)時(shí)轉(zhuǎn)速都無(wú)法達(dá)到準(zhǔn)確，畢竟每一步都存在誤差，在不斷地積累中，就會(huì)造成較大的偏差，以來(lái)對(duì)機(jī)器人自我判斷以及建模的準(zhǔn)確性上帶來(lái)錯(cuò)誤。所以需要實(shí)時(shí)進(jìn)行修正。

為解決這個(gè)問題，采取了不會(huì)受到自身的誤差影響的坐標(biāo)系，即是世界坐標(biāo)系，而在機(jī)器人本身上建立機(jī)器人坐標(biāo)系，而在機(jī)器人運(yùn)動(dòng)的過程中通過圖片上提取的信息進(jìn)行匹配來(lái)自我調(diào)整移動(dòng)的路徑和速度，而在這個(gè)時(shí)候，為了使其自我判斷，需要用到深度學(xué)習(xí)技術(shù)，通過實(shí)時(shí)圖片的信息處理，判斷自己的位置。而在機(jī)器人的運(yùn)動(dòng)中，分為旋轉(zhuǎn)和平動(dòng)，對(duì)于平動(dòng)則比較簡(jiǎn)單，通過在世界坐標(biāo)系中的矢量加減就可以對(duì)自己位置判斷。而對(duì)于機(jī)器人的旋轉(zhuǎn)，在坐標(biāo)系中建立矢量判斷，在坐標(biāo)系中獲得三個(gè)標(biāo)量再將他們和單位矢量相乘，作為旋轉(zhuǎn)的原位置的參考值，也就是旋轉(zhuǎn)的原位置在發(fā)生轉(zhuǎn)動(dòng)的過程中，無(wú)法用矢量表示，所以設(shè)某坐標(biāo)系e1,e2,e3 發(fā)生了一次旋轉(zhuǎn)，變成了e'1,e'2,e'3。對(duì)于某個(gè)固定的向量a，它的坐標(biāo)怎么變化。

坐標(biāo)關(guān)系然后設(shè)定一個(gè)轉(zhuǎn)動(dòng)的矢量，就是轉(zhuǎn)動(dòng)角度的參數(shù)，然后進(jìn)行左乘得到。

所得出的轉(zhuǎn)動(dòng)矢量，就可以作為錄入系統(tǒng)的參數(shù)，從而達(dá)成判斷位置的目的，這之后再深度學(xué)習(xí)之后得到與圖像匹配的理論位置進(jìn)行比對(duì)，得出之后的路徑判斷。對(duì)于在不同的環(huán)境下，機(jī)器人可能會(huì)遇到不同的地貌，發(fā)生傾斜也會(huì)是常事，那么對(duì)于機(jī)器人自己能否自主的進(jìn)行傾斜程度的判斷，就顯得尤為重要，在之前的機(jī)器人轉(zhuǎn)動(dòng)中，采取了同樣建立機(jī)器人自我坐標(biāo)系的方法將機(jī)器人本身的運(yùn)動(dòng)方向作為一個(gè)單位矢量在機(jī)器人傾斜的時(shí)候本身的坐標(biāo)系也會(huì)發(fā)生整體的偏轉(zhuǎn)。所以，要判斷自身旋轉(zhuǎn)的多少，也需要一個(gè)外界不會(huì)隨著機(jī)器人本身變化的量作為本身旋轉(zhuǎn)的標(biāo)準(zhǔn)。所以，仍舊借助照相后得到的圖片信息，通過圖片的特征辨識(shí)，得到前后特征的位置變化，得到一個(gè)旋轉(zhuǎn)的三角函數(shù)判斷自身坐標(biāo)系，變化前與變化后的夾角。

所以機(jī)器人的移動(dòng)，就可以用；它的旋轉(zhuǎn)，平動(dòng)一起表示對(duì)于平移而言pa=αpb+pjorg而對(duì)于旋轉(zhuǎn)，pa=αpb所以對(duì)于平移后旋轉(zhuǎn)pa=αpb+pjorg而對(duì)于轉(zhuǎn)后的平移pa=α(pb+pjorg)注意，此處的Pjorg 是對(duì)于原坐標(biāo)系而定的所以，可以把一個(gè)平移變換矩陣，和一個(gè)旋轉(zhuǎn)變換矩陣加和成為一個(gè)齊次坐標(biāo)變化矩陣反過來(lái)說，任何一個(gè)齊次坐標(biāo)變化矩陣，均可分解為一個(gè)平移變換矩陣與一個(gè)旋轉(zhuǎn)變換矩陣。在最后通過全連接神經(jīng)網(wǎng)絡(luò)將圖片信息和運(yùn)動(dòng)信息進(jìn)行整合，使用梯度下降法訓(xùn)練。

3 流程

由于傳統(tǒng)的SLAM 中使用傳統(tǒng)的人工設(shè)計(jì)的特征點(diǎn)以及描述符進(jìn)行匹配之后進(jìn)行跟蹤和場(chǎng)景識(shí)別，這些人工設(shè)計(jì)的描述符在常規(guī)場(chǎng)景下都很穩(wěn)定，但是在遇到紋理比較弱，光照強(qiáng)度變化大，環(huán)境變化大的時(shí)候都會(huì)失效。而深度學(xué)習(xí)已經(jīng)在圖像分類，圖像分割，目標(biāo)檢測(cè)等領(lǐng)域獲得了很好的成績(jī)，因此本文將采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行描述符的學(xué)習(xí)。主要流程如圖1 所示。

如圖首先對(duì)圖片進(jìn)行特征點(diǎn)的提取，其次使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行描述符的計(jì)算，所使用的卷積網(wǎng)絡(luò)為提前訓(xùn)練好的網(wǎng)絡(luò)，之后在計(jì)算好的描述符基礎(chǔ)上進(jìn)行特征的匹配，之后根據(jù)匹配結(jié)果進(jìn)行位姿計(jì)算，局部?jī)?yōu)化等操作，最后進(jìn)行后端優(yōu)化。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的SLAM 流程

圖2 所示為使用孿生網(wǎng)絡(luò)進(jìn)行描述符提取的結(jié)構(gòu)。

圖2 CNN 網(wǎng)絡(luò)提取描述符

圖中的兩個(gè)網(wǎng)絡(luò)為結(jié)構(gòu)完全相同，參數(shù)共享的網(wǎng)絡(luò)。在進(jìn)行訓(xùn)練時(shí)首先以特征點(diǎn)為中心取其周圍的圖像塊，然后對(duì)這些圖像塊兩個(gè)為一組根據(jù)其是否對(duì)應(yīng)于真實(shí)空間的同一個(gè)點(diǎn)進(jìn)行歸類，在訓(xùn)練時(shí)將一組圖像塊輸入到兩個(gè)網(wǎng)絡(luò)，經(jīng)過網(wǎng)絡(luò)之后生成描述符，根據(jù)其相似關(guān)系對(duì)網(wǎng)絡(luò)進(jìn)行調(diào)整。在使用時(shí)只需要使用一個(gè)網(wǎng)絡(luò)，對(duì)一個(gè)圖像塊進(jìn)行特征提取即可。

4 結(jié)論

為了解決現(xiàn)有建模技術(shù)的技術(shù)和成本限制性，通過拍照與機(jī)器人運(yùn)動(dòng)相結(jié)合的方法，大大降低了室內(nèi)建模的成本，先通過拍照，提取外界的信息，在以矩陣的方式輸入系統(tǒng)中，為避免過擬合，通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，通過（rgb）三維的不同特征，權(quán)值共享的提取，之后將提取過的信息輸入池化層，然后進(jìn)行池化進(jìn)行信息的簡(jiǎn)化處理。在同時(shí)，建立世界坐標(biāo)系和機(jī)器人坐標(biāo)系，通過旋轉(zhuǎn)矢量，平動(dòng)矢量，判斷機(jī)器人位置，并且規(guī)劃路線，在遇到復(fù)雜地形時(shí)，也可以圖片前后變化判斷機(jī)器人的偏轉(zhuǎn)方向，進(jìn)行自我的姿態(tài)調(diào)整，最后將提取的信息和運(yùn)動(dòng)的數(shù)據(jù)，通過全連接網(wǎng)絡(luò)進(jìn)行整合，在經(jīng)過梯度下降法的訓(xùn)練之后，達(dá)成深度學(xué)習(xí)和室內(nèi)建模的目的。