Darknet-NVPP視覺SLAM快速閉環(huán)檢測方法

楊馨竹,張建勛,郭紀(jì)志

1(重慶理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,重慶 400054)2(天津銀行股份有限公司 信息技術(shù)部,天津 300392) E-mail：zjx@cqut.edu.cn

1 引 言

視覺即時(shí)定位與地圖構(gòu)建(Visual Simultaneous Locali-zation and Mapping,VSLAM)主要是通過視覺傳感器獲取陌生環(huán)境數(shù)據(jù)來實(shí)現(xiàn)同步定位與地圖構(gòu)建.由于硬件問題和算法誤差等原因,得到的運(yùn)動(dòng)軌跡將出現(xiàn)位姿漂移問題[1].

減少視覺SLAM累積誤差的重要環(huán)節(jié)之一就是閉環(huán)檢測.在受到復(fù)雜場景影響時(shí),不同場景中的圖像存在很多相似圖像,這導(dǎo)致了誤匹配的增加,極大影響了閉環(huán)檢測的準(zhǔn)確性[2].

閉環(huán)檢測方法早期是利用人工提取特征去進(jìn)行檢測是否回環(huán).2003年,Sivic等人將提取到的圖片特征信息喻為獨(dú)立單詞,通過統(tǒng)計(jì)每個(gè)“單詞”的詞頻來進(jìn)行場景描述,此為詞袋模型BoW(bag of word)[3].詞袋模型的時(shí)代并未延續(xù)很久,卻給了后來的學(xué)者很多啟示.FAST算法提出后,被Rublee等人融合進(jìn)了旋轉(zhuǎn)BRIEF特征,且相對(duì)有較好的表現(xiàn)[4].基于此,Raúl Mur-Artal等人將ORB與SLAM結(jié)合,得到的結(jié)果有效提高了計(jì)算速度[5].然而,手工特征描述子仍無法有效地適應(yīng)場景的千變?nèi)f化.

隨著深度學(xué)習(xí)在特征提取中的良好表現(xiàn),研究SLAM的學(xué)者們開始將其融入閉環(huán)檢測的方法中.2015年,AlexKenda11等人利用GoogleNet做了6個(gè)自由度的相機(jī)位姿回歸,訓(xùn)練場景幀,得到了較好的匹配效果,自此,掀起在閉環(huán)檢測中注入深度學(xué)習(xí)技術(shù)的熱潮[6].2017年,Daniel DeTone等人提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的特征點(diǎn)提取和匹配的方法,其效果上,較傳統(tǒng)的Hariss和FAST,其抗各場景變換的魯棒性更強(qiáng)[7].在分析過Alex Network網(wǎng)絡(luò)后,Sunderhauf等人發(fā)現(xiàn)了不同層特征在特定的環(huán)境下表現(xiàn)是不同的,高層在視角變化的情況下明顯表現(xiàn)更好,而中層則在外觀變化的情況下表現(xiàn)較好[5].2020年,林輝等[13]提出基于卷積神經(jīng)網(wǎng)絡(luò)與序列匹配的閉環(huán)檢測方法,該方法采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,利用局部聚合描述符對(duì)圖像特征編碼進(jìn)行圖像描述,獲取了更好的精確性和魯棒性[8,9].

隨著深度學(xué)習(xí)技術(shù)的不斷成熟,現(xiàn)有網(wǎng)絡(luò)框架對(duì)圖像的特征描述更加充分,且在時(shí)間性能上,更為突出.yolov4的骨干網(wǎng)絡(luò)CSP-Darknet,是由Darknet53融合了CSPNet的思想發(fā)展而來.CSP-Darknet借鑒了殘差網(wǎng)絡(luò)(Resnet)的思想,在具有較深網(wǎng)絡(luò)層數(shù)的同時(shí),仍保持較高的準(zhǔn)確率,大大減少了特征提取誤差.CSP-DarkNet中取消了Bottleneck的結(jié)構(gòu),直接把基礎(chǔ)層的特征映射劃為兩部分,再跨階段層次結(jié)構(gòu)合并,在保證準(zhǔn)確率同時(shí),降低內(nèi)存成本和計(jì)算瓶頸,實(shí)現(xiàn)了更好的特征提取精度和速度.但仍然不能針對(duì)性的滿足視覺閉環(huán)檢測的特性需要[10].同時(shí)現(xiàn)有閉環(huán)檢測策略多為對(duì)每一新關(guān)鍵幀進(jìn)行檢測,大大拖慢了系統(tǒng)運(yùn)行速度.由此,本文提出Darknet-NVPP網(wǎng)絡(luò)結(jié)構(gòu),對(duì)其重訓(xùn)練,更加充分利用了圖像的局部空間特性,提取出區(qū)分度更佳、維度更低的特征描述子.針對(duì)耗時(shí)高的問題,提出了根據(jù)構(gòu)造的全局地圖,采用貪心策略計(jì)算關(guān)鍵幀發(fā)生閉環(huán)的概率來預(yù)測閉環(huán)可能會(huì)發(fā)生的位置,避免了實(shí)際運(yùn)動(dòng)過程中不發(fā)生閉環(huán)或者很少發(fā)生閉環(huán)的情況檢測時(shí)間的浪費(fèi),大幅提升大規(guī)模復(fù)雜場景下視覺閉環(huán)檢測的性能.

2 本文方法

雖然現(xiàn)今復(fù)雜場景下,基于深度學(xué)習(xí)的閉環(huán)檢測方法,通過卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征,能夠很好的應(yīng)對(duì)光照、氣候等復(fù)雜環(huán)境變化.但當(dāng)存在快速移動(dòng)物體時(shí),其實(shí)際效果依然有些不盡人意.CSP-Darknet在借鑒了Resnet[11]的思想的同時(shí),加入的CSP模塊,從網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的角度解決了網(wǎng)絡(luò)優(yōu)化中的梯度重復(fù)問題,實(shí)現(xiàn)了提高學(xué)習(xí)能力的同時(shí),降低計(jì)算瓶頸與內(nèi)存成本.并針對(duì)現(xiàn)行閉環(huán)檢測問題中存在的局部空間特性利用不足問題,在其最后一層引入NetVLAD池化層.本文改進(jìn)CSP-Darknet的損失函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu),使其更加適應(yīng)閉環(huán)檢測特性.又針對(duì)閉環(huán)檢測中檢測到閉環(huán)的關(guān)鍵幀有一定的規(guī)律性,設(shè)計(jì)了一種基于概率分布與貪心算法的閉環(huán)檢測算法.綜上,本文提出的Darknet-NVPP視覺閉環(huán)檢測方法,總體流程如圖1所示.

圖1 閉環(huán)檢測算法總體流程Fig.1 Overall flow of closed-loop detection algorithm

2.1 融合NetVLAD層的Darknet-NVLAD網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文所提出的閉環(huán)檢測方法以CSP-Darknet作為主干網(wǎng)絡(luò)提取圖像特征.該DNN模型是以yolov3的骨干網(wǎng)絡(luò)Darknet53為基礎(chǔ)融合了CSPNet的結(jié)構(gòu)思想.主要由六種類型組成.其中,包括53個(gè)卷積層、23個(gè)殘差層、一個(gè)平均池化層、1個(gè)全連接層、1個(gè)softmax分類層和5個(gè)CSP模塊[12].CSP-DarkNet和CSP-ResNet的整體思路是差不多的,沿用網(wǎng)絡(luò)的濾波器尺寸和整體結(jié)構(gòu),在每組Residual block加上一個(gè)Cross Stage Partial結(jié)構(gòu).并且,CSP-DarkNet中也取消了Bottleneck的結(jié)構(gòu),減少了參數(shù)使其更容易訓(xùn)練.

輸入層是一幅256×256×3的三通道圖像,全連接層和卷積層采用Mish激活函數(shù).Mish激活函數(shù)能夠大幅提高網(wǎng)絡(luò)的學(xué)習(xí)能力,提升梯度的傳遞效率.但是其計(jì)算復(fù)雜度要比ReLU高不少,考慮到計(jì)算資源不足問題,也可用應(yīng)用較多的Leaky ReLU激活函數(shù)替代.其函數(shù)表達(dá)式為：

Mish(x)=x*tanh(ζ(x))

(1)

局部聚合描述符向量(VLAD)是一種可以存儲(chǔ)每個(gè)單詞與其相應(yīng)聚類中心的殘差和的描述子池化方法.為了使其思想能夠融入CSP-Darknet網(wǎng)絡(luò),進(jìn)行反向傳播訓(xùn)練.本文采用了NetVLAD池化層[13].其思想就是將第i個(gè)特征向量對(duì)應(yīng)第k個(gè)聚類中心的權(quán)重軟分配到多個(gè)聚類中心.

(2)

將某一圖像的A個(gè)M維特征向量X輸入NVLAD池化層,得到一個(gè)K×M維的圖像特征向量：

(3)

其中,wk=2ack.

NetVLAD層與原VLAD只有一個(gè)參數(shù)相比,具有更好的靈活性,能夠通過端到端學(xué)習(xí)的方式進(jìn)行優(yōu)化.

為了使CSP-Darknet卷積神經(jīng)網(wǎng)絡(luò)能夠充分考慮圖像的局部空間特性.本文對(duì)CSP-Darknet網(wǎng)絡(luò)進(jìn)行更改,將NetVLAD池化層連接到conv53層之后,去掉了其后原有的平均池化層和全連接層及激活函數(shù).結(jié)構(gòu)如圖2所示[14].

圖2 網(wǎng)絡(luò)框架Darknet-NVLADFig.2 Darknet-NVLAD network framework

NetVLAD層由幾個(gè)基本的卷積層相連組成.其具體過程如下：

1)將輸出的特征x再次輸入到含有K個(gè)1*1卷積核的卷積層：

(4)

2.2 基于閉環(huán)空間特性的Darknet-NVLAD網(wǎng)絡(luò)訓(xùn)練

通過在Nordland數(shù)據(jù)集上對(duì)Darknet-NVLAD進(jìn)行訓(xùn)練,以獲取最優(yōu)的參數(shù),達(dá)到更好的閉環(huán)檢測效果.本文對(duì)CSP-Darknet的損失函數(shù)進(jìn)行改進(jìn),原文所用CIOU損失函數(shù)針對(duì)目標(biāo)檢測問題有著很優(yōu)的性能[15],周全的考慮到了真實(shí)值與預(yù)測值之間的中心點(diǎn)距離、重疊面積及長寬比,如公式(5)所示.

(5)

其中,ωgt和hgt為真實(shí)框的寬、高,ω和h為預(yù)測框的寬、高.

本文考慮到閉環(huán)檢測特性,充分利用經(jīng)VLAD編碼保存大量局部空間信息的特征圖.在原損失函數(shù)基礎(chǔ)上,增添了基于空間特征的損失函數(shù)計(jì)算.其基本思想就是：首先將待訓(xùn)練的測試訓(xùn)練集劃分為同一場景的圖像正訓(xùn)練集PA和不同場景的圖像負(fù)訓(xùn)練集PB.約束正、負(fù)訓(xùn)練集與中心點(diǎn)之間的距離關(guān)系.

取正訓(xùn)練集PA中的平均值作為中心點(diǎn)的值.計(jì)算方式如公式(6)所示.

(6)

對(duì)于一個(gè)空間約束訓(xùn)練集P=(PA,PB),PA到中心點(diǎn)距離關(guān)系V1和PB到中心點(diǎn)距離關(guān)系V2應(yīng)滿足約束條件,如公式(7)所示.

(7)

其中,α為預(yù)定義的參數(shù).

約束負(fù)訓(xùn)練集中訓(xùn)練樣本之間的距離關(guān)系,稱為距離關(guān)系V3.

為了解決復(fù)雜環(huán)境,可能出現(xiàn)更多誤匹配相似圖像.須約定負(fù)訓(xùn)練集中的圖像應(yīng)盡量遠(yuǎn)離,距離關(guān)系V1和V3應(yīng)滿足約束條件,如公式(8)所示.

(8)

因此,將CIOU-constraintLoss定義為公式(9).

(9)

下面依據(jù)閉環(huán)空間約束思想,將Nordland數(shù)據(jù)集構(gòu)建為空間約束測試訓(xùn)練集[17];然后,對(duì)Darknet-NVLAD網(wǎng)絡(luò)在Nordland數(shù)據(jù)集上進(jìn)行訓(xùn)練得到特征提取網(wǎng)絡(luò)的權(quán)重.

首先在訓(xùn)練集中取出PA場景的圖像,計(jì)算出中心點(diǎn)后,再從訓(xùn)練集中取出PB場景的圖像[18].若某一隨機(jī)場景包含n幅圖像,和與其不同場景的圖像pj滿足公式(10)的距離關(guān)系,則將pj加入到臨時(shí)負(fù)訓(xùn)練集PB中.

(10)

同理,再將pi加入到PA中.其中,Pk為第x個(gè)場景的中心點(diǎn),η為預(yù)定義參數(shù)[18].

(11)

構(gòu)造好訓(xùn)練集后,并可對(duì)本文提出的通過本文的Darknet-NVLAD進(jìn)行訓(xùn)練,其訓(xùn)練流程如圖3所示.

2.3 基于概率預(yù)測與貪心算法的閉環(huán)檢測方法

一個(gè)優(yōu)秀的視覺SLAM離不開閉環(huán)檢測,閉環(huán)檢測的好壞主要依賴于關(guān)鍵幀的提取與匹配.實(shí)際中大部分場景雖然有閉環(huán),但是仍然有些場景不存在閉環(huán),相對(duì)于整個(gè)地圖而言,閉環(huán)還只是一小部分.所以為了提升有效檢測效率.本文提出了一種基于概率預(yù)測與貪心算法的閉環(huán)檢測算法.其核心思想是通過現(xiàn)有地圖中已發(fā)生閉環(huán)的關(guān)鍵幀的位置來預(yù)測待檢測關(guān)鍵幀的位置.計(jì)算概率分布結(jié)果,設(shè)定待檢測區(qū)間閾值,進(jìn)行有針對(duì)性的閉環(huán)檢測.

檢測到閉環(huán)的關(guān)鍵幀在整個(gè)閉環(huán)中僅占據(jù)一小部分.如果能夠在檢測到這些關(guān)鍵幀的前端進(jìn)行閉環(huán)檢測無疑是事半功倍.除了一直繞圈運(yùn)動(dòng)等的極少特殊情況,會(huì)在閉環(huán)發(fā)生后又馬上發(fā)生閉環(huán),其他時(shí)間發(fā)生閉環(huán)的概率很小.且這樣的閉環(huán)很容易得到,根據(jù)相鄰幀圖像的相似性計(jì)算值,也不會(huì)作為關(guān)鍵幀添加到地圖中去.

圖3 Darknet-NVLAD網(wǎng)絡(luò)訓(xùn)練流程Fig.3 Darknet-NVLAD network training process

關(guān)鍵幀插入數(shù)據(jù)集的過程是有序的,兩次閉環(huán)之間關(guān)鍵幀被檢測為閉環(huán)發(fā)生幀的概率和關(guān)鍵幀的標(biāo)號(hào)成正比.也就是說,在剛發(fā)生閉環(huán)之后的一定區(qū)間內(nèi)閉環(huán)發(fā)生概率相對(duì)很低,而通過當(dāng)前閉環(huán)發(fā)生位置預(yù)測其下一閉環(huán)發(fā)生位置后,就可根據(jù)區(qū)間內(nèi)相似度評(píng)分計(jì)算發(fā)生概率的高低,并據(jù)此進(jìn)行有針對(duì)性的閉環(huán)檢測.在發(fā)生概率高的位置進(jìn)行逐幀檢測,而在概率低的部分進(jìn)行跳躍式檢測,以提高檢測算法的效率,節(jié)約計(jì)算資源.設(shè)初始關(guān)鍵幀序號(hào)為0,在第一個(gè)閉環(huán)發(fā)生前,逐幀進(jìn)行檢測,直到第1次閉環(huán)發(fā)生時(shí),設(shè)關(guān)鍵幀序號(hào)計(jì)為m1;閉環(huán)結(jié)束位置設(shè)為n1;以此類推,第j次發(fā)生閉環(huán)的關(guān)鍵幀序號(hào)為mj,結(jié)束閉環(huán)時(shí)為nj.

(12)

以此類推,得到第k個(gè)閉環(huán)發(fā)生后再次發(fā)生閉環(huán)的低概率區(qū)間為：

(13)

檢測閉環(huán)的過程中,首先判斷當(dāng)前關(guān)鍵幀所在區(qū)間的概率.若處于低概率區(qū)間,采用跳躍式檢測閉環(huán)策略,若不是則采用逐幀式檢測.此處可采用貪心算法來進(jìn)一步提升檢測效率.整體算法思想如下：假設(shè)當(dāng)前閉環(huán)結(jié)束關(guān)鍵幀位置為m1,則在m2位置先進(jìn)行檢查,若沒有,再往前逐一進(jìn)行檢查.若在低概率區(qū)間檢測到閉環(huán),則置當(dāng)前位置為高概率區(qū)間,然后用貪心算法進(jìn)行檢測,即每次均從高概率區(qū)間的關(guān)鍵幀出發(fā)進(jìn)行檢測.每當(dāng)一次閉環(huán)結(jié)束時(shí),設(shè)當(dāng)前幀為低概率區(qū)間起始點(diǎn),依據(jù)前面閉環(huán)數(shù)據(jù)重新計(jì)算低概率區(qū)間長度.

2.4 相似度計(jì)算與約束

設(shè)當(dāng)前圖像和其之前某一幀圖像分別為pn、pm,通過Darknet-NVLAD模型得到特征向量vn和vm.計(jì)算得到2個(gè)向量的余弦相似度：

(14)

3 仿真實(shí)驗(yàn)與實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境及步驟

本實(shí)驗(yàn)所用硬件配置為：處理器Intel(R)Core(TM)i5-10500CPU@3.10GHz,操作系統(tǒng)Windows10,顯卡NVDIAGTX1050Ti,運(yùn)行內(nèi)存12GB.

1)首先修改CSP-Darknet網(wǎng)絡(luò),融合Net-VLAD網(wǎng)絡(luò).

2)修改損失函數(shù)后,構(gòu)造空間約束測試訓(xùn)練集.

3)將獲取到的圖像信息輸入Darknet-NVLAD網(wǎng)絡(luò)得到分類好的特征向量表示.

4)根據(jù)概率預(yù)測與貪心算法的思想篩選需要閉環(huán)檢測的關(guān)鍵幀.

5)計(jì)算相似度,進(jìn)行合理約束,得到閉環(huán)檢測結(jié)果[18].

3.2 實(shí)驗(yàn)數(shù)據(jù)集與評(píng)估指標(biāo)

本實(shí)驗(yàn)采用New College和Nordland兩個(gè)公開的數(shù)據(jù)集進(jìn)行測試.其中,由英國牛津大學(xué)某團(tuán)隊(duì)制作的New College數(shù)據(jù)集是目前使用于測試SLAM及閉環(huán)檢測方法的數(shù)據(jù)集,包括了2146幅圖像[18].Nordland是目前場景最復(fù)雜、最具挑戰(zhàn)性的用于視覺位置識(shí)別測試的數(shù)據(jù)集,也可用于本文閉環(huán)檢測方法效果的測試[16],如圖4所示.

圖4 Nordland數(shù)據(jù)集中某位置雙攝像頭采集圖像示例Fig.4 Example of a dual camera capture image from a location in a Nordland dataset

實(shí)際應(yīng)用中,不可避免會(huì)出現(xiàn)誤差.閉環(huán)檢測的結(jié)果可能會(huì)出現(xiàn)表1中的幾種情況.

表1 閉環(huán)檢測的結(jié)果分類Table 1 Classification of closed loop detection results

在實(shí)驗(yàn)中,通過繪制不同算法在不同配置下的準(zhǔn)確率和召回率曲線,驗(yàn)證閉環(huán)檢測方法的效果.因此,準(zhǔn)確率和召回率的計(jì)算公式如下：

(15)

(16)

通過計(jì)算PR曲線與坐標(biāo)軸圍成的面積,得出AP值(平均精度),以此衡量本方法的平均準(zhǔn)確率,計(jì)算公式如下.

(17)

3.3 在New College和Nordland上的實(shí)驗(yàn)結(jié)果分析

圖5為本算法在New College和Nordland數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果,并同當(dāng)前傳統(tǒng)算法中表現(xiàn)優(yōu)異的ORB-SLAM2進(jìn)行對(duì)比[19].

圖5中將本文提出的Darknet-NVPP網(wǎng)絡(luò)與Darknet-NVLAD網(wǎng)絡(luò)提取的特征向量與當(dāng)前比較有代表性的基于深度學(xué)習(xí)提取的FLCNN特征向量和本文改進(jìn)前的CSP-Darknet網(wǎng)絡(luò)提取的特征向量用于閉環(huán)檢測的效果做對(duì)比.

在New College數(shù)據(jù)集上,本文提出的Darknet-NVLAD與Darknet-NVPP的實(shí)驗(yàn)結(jié)果相近,相比現(xiàn)有幾個(gè)典型方法均有著明顯的提升.改增加了基于概率預(yù)測與貪心方法后的準(zhǔn)確率會(huì)略有下降,但在可接受范圍內(nèi),其綜合效果待結(jié)合時(shí)間性能對(duì)比后評(píng)判.FLCNN方法的準(zhǔn)確率略低于本文選用的CSP-Darknet特征,但均高于ORB特征.

圖5 Darknet-NVLAD算法與其他閉環(huán)檢測方法之間的P-R曲線對(duì)比Fig.5 Comparison of precision recall curve between DNN-based algorithm and ORB-SLAM2

在場景更復(fù)雜的Nordland數(shù)據(jù)集上,當(dāng)召回率超過50%之后,基于傳統(tǒng)的ORB方法準(zhǔn)確率下降更加明顯.而基于深度學(xué)習(xí)的方法則能夠保持較好的準(zhǔn)確性.Darknet-NVLAD、Darknet-NVPP及CSP-Darknet當(dāng)召回率超過60%之后,展現(xiàn)了其優(yōu)越性,有著更加出色的準(zhǔn)確率.且Darknet-NVPP相比Darknet-NVLAD在高召回率下能夠保持更好的準(zhǔn)確率,充分說明本文提出的關(guān)鍵幀選擇策略的優(yōu)越性,能夠更加高效準(zhǔn)確的檢測到真實(shí)閉環(huán).相比傳統(tǒng)方法,FLCNN也有著不錯(cuò)的表現(xiàn).

表2 閉環(huán)檢測平均準(zhǔn)確率Table 2 Average accuracy of closed-loop detection

表2為5種方法分別在兩個(gè)數(shù)據(jù)集中計(jì)算得出的閉環(huán)檢測平均準(zhǔn)確率.可以看出,本文提出的Darknet-NVPP相比其他深度學(xué)習(xí)網(wǎng)絡(luò)模型有更加高的準(zhǔn)確率.其中,改進(jìn)前的CSP-Darknet和FLCNN之間在兩個(gè)數(shù)據(jù)集上的總體表現(xiàn)差距不是很大,經(jīng)過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)后的Darknet-NVLAD方法,在兩個(gè)數(shù)據(jù)集中的平均準(zhǔn)確率均有了明顯的提高.而經(jīng)過概率預(yù)測和貪心算法選擇的閉環(huán)檢測方法,在兩個(gè)數(shù)據(jù)集上,準(zhǔn)確率相差不多,均高于其他閉環(huán)檢測方法.

對(duì)閉環(huán)檢測平均準(zhǔn)確率進(jìn)行分析,在NewCollege數(shù)據(jù)集中,Darknet-NVPP相較于傳統(tǒng)ORB算法,準(zhǔn)確率提升了15%;在基于深度學(xué)習(xí)的方法中,Darknet-NVPP相較于Darknet-NVLAD的準(zhǔn)確率略低,但相較CSP-Darknet方法準(zhǔn)確率提升3.8%;比基于FLCNN的算法準(zhǔn)確率提升4.7%.在Nordland數(shù)據(jù)集中,本文提出的算法的準(zhǔn)確率同樣略低于Darknet-NVLAD;但相比于傳統(tǒng)ORB算法,準(zhǔn)確率提升了24.1%;在基于深度學(xué)習(xí)的方法中,本文方法比基于CSP-Darknet的算法準(zhǔn)確率提升2.6%;比基于FLCNN的算法準(zhǔn)確率提升6.1%.其中,經(jīng)過本文增加概率預(yù)測與貪心算法的Darknet-NVPP算法在準(zhǔn)確率上在兩個(gè)數(shù)據(jù)集上的平均準(zhǔn)確率略低于Darknet-NVLAD.是因?yàn)榛谪澬乃枷氲年P(guān)鍵幀篩選,勢必會(huì)降低一些準(zhǔn)確率,但是相差不大,處于可接受范圍內(nèi).在Nordland數(shù)據(jù)集中,基于深度學(xué)習(xí)的方法取得更佳效果.因?yàn)槠鋱鼍皬?fù)雜,特征數(shù)量、種類較多,能夠訓(xùn)練提取更多信息,更加考驗(yàn)算法的特征提取能力.

表3記錄了同一幅圖像在兩個(gè)數(shù)據(jù)集中用上述5種方法提取的特征檢測閉環(huán)所消耗的時(shí)間.

表3 時(shí)間性能比較(ms)Table 3 Time performance comparison(ms)

由表3中數(shù)據(jù)可知,本文所用網(wǎng)絡(luò)時(shí)間性能優(yōu)越.基于改進(jìn)CSP-Darknet的閉環(huán)檢測方法再結(jié)合基于概率預(yù)測與貪心算法后,計(jì)算相似度的時(shí)間得到極大的縮短.

綜上所述,本文方法可以在保持較高準(zhǔn)確率的同時(shí)大大提高其實(shí)時(shí)性,特別是在面對(duì)復(fù)雜場景時(shí),優(yōu)勢更甚.

4 結(jié) 論

本文提出了一種基于改進(jìn)CSP-Darknet來提取圖像特征和基于概率預(yù)測與貪心算法的關(guān)鍵幀選擇策略的閉環(huán)檢測方法.基于空間特征的思想改進(jìn)損失函數(shù),構(gòu)建測試訓(xùn)練集,重新訓(xùn)練Darknet-NVPP,增強(qiáng)了網(wǎng)絡(luò)對(duì)圖像的局部空間特征的利用率,使本網(wǎng)絡(luò)框架能夠更加適應(yīng)復(fù)雜場景下閉環(huán)檢測條件;通過概率計(jì)算和貪心算法預(yù)測下一個(gè)閉環(huán)發(fā)生的位置來進(jìn)行跳躍性的閉環(huán)檢測.經(jīng)過在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果得出,當(dāng)召回率為60%時(shí),能夠達(dá)到90%準(zhǔn)確率的平均水平;本文方法提高了復(fù)雜場景下閉環(huán)檢測的準(zhǔn)確性,同時(shí)具有優(yōu)秀的實(shí)時(shí)性.