基于深度學習的回環(huán)檢測算法研究?

羅順心 張孫杰

（上海理工大學光電信息與計算機學院 上海 200093）

1 引言

21世紀的今天，機器人漸漸的浮現(xiàn)在人們的視線中，它給人們帶來了更多的便利。例如掃地機器 人 ，它 通 過 SLAM［1］（Simultaneous Localization and Mapping）系統(tǒng)構(gòu)建出一個房間的地圖，同時定位出自己在房間中的位置，然后在根據(jù)SLAM系統(tǒng)構(gòu)建的地圖規(guī)劃出自己清掃的路徑，打掃整個房間。同時它也會計算自己剩余的電量，當電量低到一定的時候，根據(jù)建立的地圖，自動導航到充電的位置，不需要人參與操作。又如餐廳機器人，它也是通過SLAM系統(tǒng)構(gòu)建出地圖，然后根據(jù)路徑規(guī)劃將餐點送到需要的客人附近。當然，生活中還有很多機器人的例子，我們同樣可以看出在機器人的使用中，SLAM扮演著一個不可缺少的角色。近些年，傳感器的發(fā)展也越來越精密和多樣化，尤其是攝像頭的發(fā)展，給SLAM系統(tǒng)帶來了重要的改革。例如單目攝像頭、雙目攝像頭、Kinect、RGBD相機等，我們把基于攝像頭的SLAM系統(tǒng)稱為V-SLAM［2～4］（Visual Simultaneous Localiz-ation and Mapping）。

在V-SLAM系統(tǒng)中，回環(huán)檢測［5］（Loop Closure Detection，LCD）一直是一個重要的環(huán)節(jié)，它能夠使得機器人更加準確地去識別自己曾經(jīng)去過的位置，通過進行辨識過去的位置，檢測回環(huán)來解決位姿的漂移問題。當判斷當前位置是曾經(jīng)到過的地方，那么機器人記錄的軌跡就會形成了一個局部的回環(huán)，使用G2O［6］來對位姿進行重新修正，可以減少機器人的積累誤差，使得地圖的建立更加準確。傳統(tǒng)的視覺 SLAM 中回環(huán)檢測的方法視覺詞帶模型［5，7～8］（Bag of Words，BOW），它通過收集大量的圖片，提取圖片中的特征點，然后通過K-means［9］的方法聚類，把特征點分成K個類別，建立一個特征點集合的字典。將一張圖片輸入，提取圖片的特征點，然后查閱字典，該特征點屬于哪一類別，以向量的形式的輸出。它使用字典中的聚類特征，描述圖像，進而判斷兩張圖片的相似程度。人是根據(jù)比對圖片中出現(xiàn)的物體、顏色、背景等諸多因素判斷出是否是曾經(jīng)經(jīng)過的地方。那么機器人應該也能夠像人一樣，擺脫像素點，從更高的層次去實現(xiàn)回環(huán)檢測。深度學習［10］（Deep Learning）的發(fā)展越來越火熱，它的快速發(fā)展為我們的這一想法提供了實現(xiàn)的可能性。通過使用深層的卷積神經(jīng)網(wǎng)路［11］（Convolutional Neural Network）提取圖像更高層次的特征信息，判斷圖片的相似程度。在本篇文章中，基于深層卷積神經(jīng)網(wǎng)絡實現(xiàn)了回環(huán)檢測的，它擁有著更高的準確率，更好的實時性。

2 深度學習回環(huán)檢測算法原理

本模塊主要是實現(xiàn)回環(huán)檢測功能。回環(huán)檢測的實現(xiàn)主要由SSD［12］（Single Shot Detector）網(wǎng)絡、特征向量預處理、判斷回環(huán)三個部分組成。SSD網(wǎng)絡是深度學習中實現(xiàn)目標檢測［13～14］的方法，它有著非常好的準確率，同時在實時性方面也非常出眾。本文中使用SSD網(wǎng)絡作為特片特征的提取。特征向量預處理則是把通過SSD網(wǎng)絡提取出來的特征信息，進行篩選，大大提高了回環(huán)檢測判斷的實時性?；丨h(huán)檢測的判斷則是通過計算圖片之間相似度的得分，判斷是否有檢測到回環(huán)。算法流程圖如圖1所示。

2.1 SSD網(wǎng)絡原理

SSD是一種用于物體檢測（Object De-tection）的方法，它能夠預測輸入圖片中的物體，以及物體所在的位置。我們利用SSD網(wǎng)絡，來提取圖片的特征信息，利用物體的類別建立一個檢測回環(huán)的特征向量。

SSD的網(wǎng)絡（如圖2所示），它的輸入是300*300 的圖片，使用了 VGG-16［15］的網(wǎng)絡框架作為基礎(chǔ)，將兩個全連接層FC6和FC7轉(zhuǎn)化為卷積層conv6和conv7，當然，你也可以自己去更改使用Googlenet［16］、Alexnet［17］等作為基礎(chǔ)網(wǎng)絡框架。然后在VGG-16的基礎(chǔ)網(wǎng)絡之后添加了幾個輔助的網(wǎng)絡結(jié)構(gòu)，產(chǎn)生了多尺度特征圖檢測、檢測的卷積預測器，默認框與寬高比三個部分。

多尺度特征圖檢測：從SSD網(wǎng)絡中可以看到在VGG-16之后使用卷積網(wǎng)絡添加了幾個輔助網(wǎng)絡結(jié)構(gòu)，產(chǎn)生了一系列的特征圖，這些特征圖隨著網(wǎng)絡變深，特征圖逐漸的尺寸也逐漸減小。例如38*38、19*19、10*10、5*5等都是產(chǎn)生的不同尺寸的特征圖。

圖2 SSD網(wǎng)絡

檢測的卷積預測器：由于在基礎(chǔ)網(wǎng)絡之后，又生成了不同尺寸的特征圖，這些特征圖通過使用卷積預測器生成一組固定的預測集合。例如在5*5的特征圖，先對該特征圖進行歸一化，然后使用了6*（classes+4）個3*3卷積核對該特征圖進行卷積，得到一個5*5*（6*（classes+4））Tensor，為什么使用該數(shù)量的卷積核數(shù)呢？因為要使得輸出的結(jié)果是我們想要得到的一個矩陣形式，矩陣的寬和高等于特征圖的寬和高，可以理解為將輸入的圖片分成了5*5的柵格，矩陣的深度代表的是6*（classes+4），代表著每一個柵格中輸出6個邊界框，每一個邊界框中包含預類別概率大小，以及該邊界框相對于默認邊界框［16］（Default box）的位置偏移量（位置的偏移量由4個參數(shù)組成），同樣的在38*38、19*19、10*10、3*3、1*1的特征圖中都進行了卷積操作，得到上述所需要的矩陣。

默認邊界框與寬高比：每一個邊界框相對于其對應特征圖中的位置都是固定的，在每一個特征圖中，要預測得到的邊界框與默認邊界框之間的偏移值，以及每一個邊界框中包含物體的置信度得分，在同一個柵格中假設有k個默認的邊界框，那么在該特征圖中就需要k*（C+4）個卷積預測器，對于m*m大小的特征圖，就會產(chǎn)生（c+4）*k*m*m個輸出結(jié)果。對于每一個默認邊界框它具有如下規(guī)定，它的寬高比使用如下公式：

其中，smin取值為0.2，smax取值為0.95，m是特征圖的個數(shù)，k代表的是第幾個特征圖（最底層的特征圖為k=1，最高層的特征圖為k=m）在最底層的特征圖的尺度是0.2，最高層的特征圖尺度是0.95，使用不同的寬高比得到每一個默認邊界框的寬度和高度：

其中 ||fk表示第K個特征圖的尺寸大?。梢岳斫鉃槟J邊界框的中心點對應特征圖映射在圖像柵格的中心點）。

SSD的損失函數(shù)：SSD的損失函數(shù)主要由兩個部分組成，一個是物體類別的置信度分數(shù)，一個是物體的位置，其中對于置信度采用的是Softmax Loss函數(shù)，物體的位置回歸采用的是Smooth L1 Loss函數(shù)。Loss函數(shù)如下：（根據(jù) α參數(shù)調(diào)節(jié)confidence loss和location loss之間的權(quán)重，默認設置為1，指的是預測位置，g指的是真實人為標注的位置）

位置回歸Loss函數(shù)：

物體置信度Loss函數(shù)：

其中N指的是正樣本數(shù)（正樣本：首先選出默認邊界框與真實邊界框（ground true box）的 IOU［18～19］（Intersection over Union）最大的默認邊界框作為正樣本，然后將剩余的未匹配的IOU＞0.5作為正樣本，剩余的為負樣本，IOU指的就是交并比），xpij∈當=1時，指的就是第i個默認邊界框與類別為p的第j個真實邊界框相匹配，即第i個默認邊界框為正樣本。反之，不匹配則為0。d指的是默認框的位置，g代表的是人為標注的真實框的位置。

由于SSD網(wǎng)絡在預測的時候?qū)τ谕粋€物體擁有很多個邊界框，所以使用非極大值抑制［20～21］（Non Maximum Suppression，NMS）的方法，篩選出最優(yōu)的邊界框。首先對預測的物體進行歸類，對每一類都進行下面的操作，每從所有預測的中選出置信度最高的，剔除掉剩余的邊界框與其IOU＞0.5的邊界框，在剩余的邊界框中再次選擇最后置信度的邊界框，重復上面的操作，直到所有邊界框都被執(zhí)行。

2.2 特征向量化

在通過SSD網(wǎng)絡之后，將會得到物體的位置信息，數(shù)量信息以及類別信息，把它以｛“類別”，“位置”｝的向量形式保存，其中類別的特征向量表示形式如圖3，是n*1的向量。在圖3中，類別特征向量的每個方格即為對應的種類，方格中的數(shù)值指的是該種類物品的個數(shù)，如果輸入的圖像中沒有該物體，那么該方格中的數(shù)值為0。第二列為“位置”特征向量，如果輸入的圖像中含有A類物品有3個，那么該第一行的位置特征向量就保存了三個該種類物體的位置，物體的位置是由包裹的物體的邊界框組成，因此每一類物體的位置是以［xmin，ymin，xmax，ymax］的形式保存的，xmin、ymin指的是物體邊界框的左下角像素坐標，xmax、ymax指物體邊界框的右上角像素坐標。所以位置的表示形式：Location=[xmin，ymin，xmax，ymax]。

圖3 向量化示意圖

在圖3中，左邊的白色大框表示一張圖片，A、B、C、D、E、G分別為該圖中所包含的物體，右圖為圖片經(jīng)過向量化之的形式，A～G為物體的不同類別（這里根據(jù)情況建立字典中類別的種類），第二列為每個對應種類在該圖片中的數(shù)量，第二列稱為類特征向量，第三列稱為位置特征向量，在圖3中物體的位置分別用PA1、PA2、PB1、……表示，圖片中每個種類包含幾個物體，那么在對應的位置特征向量的行中就會有幾個位置保存。

在向量化的過程中，由于一張圖片中可能存在多個相同種類的物體，因此在位置特征向量中需要對物體的位置順序統(tǒng)一放置，使用像素距離（如圖4）進行統(tǒng)一約束。通過圖4，利用物體位置的左上角像素坐標 [xmin，ymax]，獲得物體到像素坐標系原點的距離，通過使用物體到原點的距離對物體的位置進行排序。

在圖4中，A，B，C指的是不同種類的物體，PA1，PA2，PA3分別為三個A類物體的位置。利用PA1，PA2，PA3的左上角像素坐標，分別算出對應的三個物體到原點的距離，因此，得PA1＜PA2＜PA3到原點得距離，所以在對應得位置向量中分別以PA1、PA2、PA3得順序保存。

2.3 判斷回環(huán)

在視覺SLAM中，機器人不斷通過移動，拍取了一幀幀的關(guān)鍵幀，每拍取得一幀關(guān)鍵幀，就使用SSD網(wǎng)絡，提取所需要的特征，然后對其向量化得到對應的向量化特征向量，回環(huán)得判斷主要是把當前幀圖片與歷史幀得圖片進行比較，而本文中，則是通過把圖片通過向化描述，因此，即是把當前特征向量和之前所保存的關(guān)鍵幀的特征向量進行比較，判斷是否回環(huán)?；丨h(huán)檢測流程圖如圖5。主要包含以下四個步驟：

步驟一：首先對歷史幀圖片進行預處理，在視覺SLAM中，由于擁有著大量的歷史關(guān)鍵幀對應得特征向量，找到回環(huán)變得相當繁瑣，本文采取了預處理得方式，對大量的歷史幀進行簡單判斷是否有回環(huán)的可能性，大大提高了回環(huán)檢測得實時性。計算圖片中所包含的物體的數(shù)量總和：classes_num=然后對當前幀和歷史幀的所包含的物體數(shù)量總和進行判斷，即判斷classes_num 1是否等于classes_num 2，如果相等，則執(zhí)行第二步，如果不相等，則與下一個歷史幀重新執(zhí)行本步驟。

步驟二：在第一步成立的條件下，第二步也是對歷史幀在進行回環(huán)判斷得時候進行預處理，通過兩次簡單的預處理，排除了大量的歷史關(guān)鍵幀，大大提高了判斷回環(huán)檢測的實時性。在第一步成立的條件下，判斷當前幀特征向量和歷史幀特征向量中每一種類別的數(shù)量是否相等，用 f表示，即：，n代表的是類別數(shù)，C1代表當前圖片的類別特征向量，C2代表輸入得歷史幀的類別特征向量。若 f等于0，則表示當前幀和歷史幀中中每一種類的數(shù)量相等，若不為0，則對下一個歷史幀重新執(zhí)行第一步。

步驟三：通過前面兩步的預處理之后，得到了有可能是回環(huán)的關(guān)鍵幀，將該幀與當前幀進行相比較，計算兩幀的相似度：

Areaij即為第i個種類第j個物體的區(qū)域面積，Area1表示當前幀的區(qū)域面積，Area1表示歷史幀的區(qū)域面積。為第i個種類第j個物體的像素坐標。 p為計算出的兩張圖片相似程度，取值范圍為 p∈[0，1]。

步驟四：通過步驟三，得到當前幀和歷史幀的相似程度P，判斷是否P≥相似度閾值，若為真，則檢測到回環(huán)。若為假，則沒有檢測到回環(huán)，對下一個歷史幀執(zhí)行步驟一。相似度閾值是一個經(jīng)驗值，由于本方法得到的結(jié)果相對準確，因此可以適當?shù)亟档烷撝担龃蟋F(xiàn)實生活中存在的有各種環(huán)境因素導致的誤差。

圖5 判斷回環(huán)流程圖

3 實驗結(jié)果

在本實驗中，使用的環(huán)境是基于Ubuntu16.04系統(tǒng)，GPU為英偉達GTX1080，使用caffe的深度學習框架，搭建SSD網(wǎng)絡環(huán)境。SSD的網(wǎng)絡使用的是COCO的訓練集和訓練的權(quán)重，沒有針對性的對本文中所建立的字典進行單獨訓練，所以權(quán)重參數(shù)并不是最優(yōu)的，但是已經(jīng)達到到了非常不錯的效果。如果想要獲得更好的效果，可以重新建立更合適的字典特征，重新訓練SSD網(wǎng)絡的權(quán)重，以達到更好的判斷回環(huán)的效果。

如圖6所示，圖（a）和圖（b）為同一時刻在相同的位置拍攝的兩張圖片，圖（c）為與圖（a）和圖（b）在不同的光線下拍攝的圖片。

圖6 實驗數(shù)據(jù)圖

通過SSD網(wǎng)絡獲取如下數(shù)據(jù)：

表1 SSD網(wǎng)絡獲取的圖（a）數(shù)據(jù)

表2 SSD網(wǎng)絡獲取的圖（b）數(shù)據(jù)

表3 SSD網(wǎng)絡獲取的圖（c）數(shù)據(jù)

通過SSD網(wǎng)絡，提取特征數(shù)據(jù)，計算相似度。

圖7 比較相似度

根據(jù)上述圖表，得到了圖7（a）、（b）、（c）的描述向量以及相似度情況：圖（a）和圖（b）相似度為0.97，圖（a）和圖（c）的相似度為0.97，圖（b）和圖（c）的相似度為0.97。通過實驗，我們可以看出，當移動機器人在移動過程中，到達曾經(jīng)經(jīng)過的位置時，能夠判斷出回環(huán)檢測，且判斷的相似度為高達98%。根據(jù)圖（a）與圖（c）、圖（b）與圖（c）的相似度圖表中，可以看出在不同的光線下都能準確地識別出回環(huán)，相似度高達97%，說明光線對該方法檢測回環(huán)的影響不大，能夠在光線變化的環(huán)境中仍能非常好地檢測出回環(huán)。

4 結(jié)語

本文使用了基于圖像的方式，解決了移動機器人在移動過程中產(chǎn)生的漂移問題。提出了基于深度學習的方法實現(xiàn)回環(huán)檢測。使用SSD的卷積神經(jīng)網(wǎng)絡來提取圖片的特征，然后基于提取的特征，對圖片使用向量化描述，通過兩次預處理，能夠篩選掉大量的圖片，大大提高了回環(huán)判斷的實時性，最后通過IOU的方法，對兩張圖片的相似度進行計算，判斷兩張圖片的相似度，實現(xiàn)回環(huán)檢測。