基于Mask R-CNN的回環(huán)檢測算法

林釗浩 徐穎

（深圳大學(xué)機(jī)電與控制工程學(xué)院 廣東省深圳市 518061）

1 引言

近年來，隨著家用機(jī)器人、自動駕駛、無人機(jī)、AR/VR 等產(chǎn)業(yè)的發(fā)展。SLAM（Simultaneous Localization and Mapping，同步定位與建圖）技術(shù)也呈現(xiàn)出了一個快速發(fā)展的態(tài)勢。SLAM 技術(shù)為可移動設(shè)備提供了實(shí)時可靠的定位功能。其中，使用攝像頭作為傳感器的視覺SLAM，憑借其遠(yuǎn)低于激光雷達(dá)的成本，獲得了市場和研究人員的青睞，得到了快速的發(fā)展。

回環(huán)檢測是視覺SLAM 中的一個重要組成部分，其目的是消除移動機(jī)器人在長時間的工作下產(chǎn)生的位姿估計的累計誤差。它通過計算圖像之間的相似度檢測回環(huán)。在得到了回環(huán)信息之后，SLAM 后端優(yōu)化算法便可以根據(jù)回環(huán)約束對位姿進(jìn)行優(yōu)化，得到更加精確的定位。

目前，在回環(huán)檢測問題中已經(jīng)比較成熟且廣泛應(yīng)用的算法是基于BOW（BagofWords，詞袋模型），并使用無監(jiān)督學(xué)習(xí)算法K-means 和TF-IDF 加 權(quán) 方 式（Term Frequency-Inverse Document Frequency）[1]的算法[2]。但是，BOW 存在一些缺點(diǎn)。它需要計算SIFT，SURF，ORB 等人工設(shè)計的圖像特征，這通常比較消耗計算資源且效率低下。而且，這些人工設(shè)計的特征對于光線強(qiáng)度的變化都比較敏感[3]。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，CNN（Convolutional Neural Network,卷積神經(jīng)網(wǎng)絡(luò)）在圖像處理上的應(yīng)用也越來越廣泛，并且取得了超過傳統(tǒng)算法的效果。而回環(huán)檢測問題，本質(zhì)上就是一個圖像間的特征匹配問題，屬于圖像處理的范疇，所以，可以借用CNN 的技術(shù)對回環(huán)檢測算法進(jìn)行提高。

圖2：City Centre 數(shù)據(jù)集0326.jpg

圖3：City Centre 數(shù)據(jù)集0508.jpg

2 算法結(jié)構(gòu)

本文提出的算法稱為LOM（ListofMasks，掩膜列表），通過Mask R-CNN[4]得到圖像中可識別物體的掩膜，利用掩膜表示圖像特征。它通過計算兩張圖像所有掩膜之間的相似程度來判斷兩張圖像是否構(gòu)成回環(huán)。為了提高該算法的通用性，本文還將該算法與經(jīng)典的詞袋模型進(jìn)行融合。

2.1 LOM

2.1.1 特征表示

LOM 使用Mask R-CNN 提取的掩膜來表示圖像特征。一幅圖像可以表示為若干個物體掩膜的列表：

其中，Mi表示第i 張圖像，miu表示Mi的第u 個掩膜，其表現(xiàn)形式是和圖像同等大小的矩陣，若圖像中某一個像素屬于miu，則miu的矩陣中該位置的值為1，否則為0。|Mi|是圖像Mi中檢測得到的物體掩膜的個數(shù)。

2.1.2 相似度計算

本文通過計算兩張圖像的同類別的物體掩膜之間的交并比IOU（Intersection over Union，交并比）來衡量兩張圖像的相似度。

表1：子數(shù)據(jù)集信息標(biāo)表

表2：實(shí)驗(yàn)結(jié)果

但是，由于一張圖像中存在的1 個類別的掩膜可能不止1 個，所以，需要確定Mi中的每一個掩膜是匹配Mj中的哪一個掩膜。匹配的原則是要盡量保證Mi與Mj對應(yīng)的掩膜來自于物理世界中的同一個物體。

如果Mi和Mj存在回環(huán)，那么Mi和Mj匹配的每兩個掩膜之間應(yīng)該存在比較大的IOU，因?yàn)榇藭r兩張圖像是極為相似的。而且，掩膜之間應(yīng)該一一匹配，不能出現(xiàn)1 個掩膜匹配2 個掩膜的情況。那么，掩膜匹配問題就可以抽象成一個指派問題，即如何找到一個最優(yōu)的匹配關(guān)系，使得使用該匹配關(guān)系計算得到的IOU 的和最大，且每一個Mi掩膜只能與一個Mj掩膜匹配。解決指派問題的經(jīng)典算法之一就是匈牙利算法[5]。匈牙利算法應(yīng)用在掩膜匹配問題中的算法流程圖如圖1 所示。

其中，第2 步要交換Mi,Mj是為了保證|Mi|≥|Mj|，這樣便于編程實(shí)現(xiàn)。

第4 步要使用1 減去矩陣T 的每一個元素是因?yàn)樾傺览惴ǖ淖顑?yōu)值是代價的最小值，而掩膜匹配問題的最優(yōu)值是IOU 的最大值，所以使用1 減去矩陣T 的每一個元素，再利用匈牙利算法進(jìn)行求解，才可以得到掩膜匹配問題的最優(yōu)解，求解得到的結(jié)果是一個形如P的由二元組組成的集合。

其中，一個匹配對是一個二元組，第一個元素表示Mi中的掩膜序號，第二個元素表示與之匹配的M_j 中的掩膜序號，0 表示“未找到匹配”，因?yàn)閨Mi|≥|Mj|，所以只有二元組的第二個元素可能為0。

得到匹配關(guān)系之后就可以計算兩張圖像之間的總IOU 作為LOM 的相似度：

其中，|miu∩mjw|表示miu和mjw的交集的像素個數(shù)。|miu∪mjw|表示miu和mjw的并集的像素個數(shù)。假如w 為0，即miu沒有匹配的Mi掩膜，則|miu∩mjw|=0，|miu∪mjw|=|miu|

得到相似度之后，通過設(shè)置閾值就可以判斷兩張圖片是否存在回環(huán)。

2.2 算法融合

LOM 依賴于Mask R-CNN 檢測到的物體掩膜，只能識別場景中的部分物體。當(dāng)場景中可識別的物體比較少時，LOM 的性能就會下降。所以，為了提高LOM 的通用性，本文將其與BOW 進(jìn)行融合，并提出了兩種算法融合的方式，分別是線性組合和使用雙閾值。

2.2.1 線性組合

本文首先考慮的是使用線性組合。由于LOM 在物體較多的時候更為可靠，所以，利用圖像中的物體個數(shù)對LOM 分配權(quán)重。物體數(shù)量多時給予LOM 更大的權(quán)重，反之給予BOW 更大的權(quán)重。公式如下。

其中，max|M|表示整個數(shù)據(jù)集中在一張圖像中能檢測出來的最大物體掩膜個數(shù)。λ 是LOM 的權(quán)重。表示使用線性組合融合LOM 和BOW 的相似度。表示判斷結(jié)果。

2.2.2 設(shè)置雙閾值

另外一種融合LOM 和BOW 的方式是使用兩個閾值。分別利用BOW 和LOM 對Mi和Mj是否存在回環(huán)進(jìn)行判斷，只有當(dāng)兩個算法同時判定Mi和Mj存在回環(huán)，才判斷Mi和Mj存在回環(huán)。公式如下：

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)使用兩個開放的數(shù)據(jù)集New College 和City Centre。以圖像中的最少物體數(shù)為篩選條件，本文篩選出6 個子數(shù)據(jù)集，全部子數(shù)據(jù)集的信息如表1 所示，其中，nc0 和cc0 等價于原數(shù)據(jù)集。nc2由于圖像張數(shù)過少，所以不使用它進(jìn)行實(shí)驗(yàn)。

3.2 模型訓(xùn)練

本文使用谷歌發(fā)布的預(yù)訓(xùn)練網(wǎng)絡(luò)。該網(wǎng)絡(luò)基于InceptionV2 并在MSCOCO 數(shù)據(jù)集上完成訓(xùn)練。BOW 的實(shí)現(xiàn)使用DBoW3 庫 。在New College 和City Centre 數(shù)據(jù)集上使用的詞袋模型字典分別是使用New College 和City Centre 數(shù)據(jù)集進(jìn)行訓(xùn)練的。

3.3 實(shí)驗(yàn)結(jié)果

本文使用100%精確度下的最高召回率作為系統(tǒng)性能的指標(biāo)。實(shí)驗(yàn)結(jié)果如表2 所示，fusion 表示使用線性組合融合的算法，fusion2 表示使用雙閾值融合的算法。在計算精確度和召回率的過程中，所有的閾值都是從0 以最大值的1/500 增加到最大值。加粗字體是在同一個子數(shù)據(jù)集下得到的最好性能。

表2 中LOM 沒有數(shù)據(jù)是因?yàn)闊o論取任何一個閾值，LOM 都無法達(dá)到100%精確度，所以不存在100%精確度下的最高召回率。LOM 之所以性能這么差，是因?yàn)樗豢紤]了圖像的高層特征，而不考慮圖像的低層特征。如圖2 和圖3，高層特征，也就是圖像中可識別物體的類別和占據(jù)的像素位置，都很相似，但是低層特征，如顏色，紋理等，很不相似。

表2 中，從橫向來看，無論是在哪一個數(shù)據(jù)集上，使用雙閾值融合LOM 和BOW 的性能在各個數(shù)據(jù)集上都是最好的。這得益于該融合方式存在2 個閾值，將BOW 相似度和LOM 相似度分開計算和判斷，同時考慮了圖像的高層特征和低層特征，只有在高層特征和低層特征都相似的時候，才會判定為存在回環(huán)。從縱向來看，不論是New College 還是City Centre，隨著圖像中的可識別物體數(shù)越來越多時，2 種融合算法相對于BOW 的提升越來越大。

4 結(jié)論

本文使用Mask R-CNN 提取圖像中的物體掩膜，并利用物體掩膜表示圖像特征，定義了一種基于物體掩膜計算圖像相似度的方法。本文還提出了兩種融合LOM 和BOW 的方法。通過實(shí)驗(yàn)，可以看到融合算法在New College 和City Centre 數(shù)據(jù)集上的表現(xiàn)優(yōu)于BOW，而且隨著圖像中物體掩膜個數(shù)的增加，與BOW 的性能差距也逐漸增大。