基于自監(jiān)督循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的位姿估計(jì)方法

阮曉鋼， 李 昂， 黃 靜

(1. 北京工業(yè)大學(xué)信息學(xué)部， 北京 100124； 2.計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室， 北京 100124)

視覺同時(shí)定位與地圖構(gòu)建(simultaneous localization and mapping，SLAM)是實(shí)現(xiàn)自動(dòng)駕駛和虛擬現(xiàn)實(shí)等新興技術(shù)的基礎(chǔ)，而視覺里程計(jì)作為視覺SLAM的前端[1]，能夠描述機(jī)器人、車輛等移動(dòng)物體的自我運(yùn)動(dòng)過程，從而實(shí)現(xiàn)定位功能. 視覺里程計(jì)進(jìn)行定位的基本模式為：首先，利用攝像機(jī)捕獲連續(xù)運(yùn)動(dòng)時(shí)間內(nèi)的圖像序列；然后，通過算法計(jì)算相鄰圖像間的運(yùn)動(dòng)關(guān)系；最后，輸出相機(jī)的相對(duì)姿態(tài)參數(shù). 這一過程也稱為視覺位姿估計(jì)[2]. 準(zhǔn)確的位姿估計(jì)是實(shí)現(xiàn)導(dǎo)航任務(wù)的關(guān)鍵.

傳統(tǒng)的位姿估計(jì)方法主要為特征法[3-5]和直接法[6-8]. 特征法充分利用了圖像的幾何信息，主要包含特征提取、特征匹配、誤匹配剔除和運(yùn)動(dòng)估計(jì)等步驟，目前已經(jīng)成為一種標(biāo)準(zhǔn)的黃金法則，而直接法則使用了圖像的光度信息，通過直接計(jì)算像素值估計(jì)相機(jī)的運(yùn)動(dòng). 上述2類方法雖然在準(zhǔn)確性和魯棒性上展示了不錯(cuò)的性能，但仍然存在一些關(guān)鍵性問題. 特征法提取的是人為設(shè)計(jì)的低級(jí)特征，只適用于具有明顯特征的場(chǎng)景，當(dāng)面對(duì)紋理單一、存在動(dòng)態(tài)物體的場(chǎng)景時(shí)，難以提取到有效的特征. 直接法雖然不需要進(jìn)行特征提取，但在利用圖像的像素值時(shí)使用了光度一致性假設(shè)，這種假設(shè)在面對(duì)光照變化明顯的場(chǎng)景時(shí)難以成立，將直接導(dǎo)致算法失敗.

近年來，深度學(xué)習(xí)已經(jīng)在許多計(jì)算機(jī)視覺任務(wù)中取得了很好的效果，其中卷積神經(jīng)網(wǎng)絡(luò)通過自主學(xué)習(xí)方式能夠提取圖像的高級(jí)語義特征，而具有語義的圖像信息是很難憑借人類的知識(shí)和經(jīng)驗(yàn)建模獲取的. 這種優(yōu)勢(shì)使得卷積神經(jīng)網(wǎng)絡(luò)在圖像分類[9]、目標(biāo)檢測(cè)[10]、語義分割[11]方面表現(xiàn)出的性能遠(yuǎn)遠(yuǎn)超越了傳統(tǒng)人工特征提取的方法，為視覺位姿估計(jì)提供了新的解決方案[12]. Kendall等提出了PoseNet[13]模型，該方法基于GoogleNet[14]網(wǎng)絡(luò)輸出六自由度位姿，可用于相機(jī)的重定位. 但是GoogleNet等常用卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是為了解決圖像識(shí)別和分類問題，從而提取圖像內(nèi)容特征，而位姿估計(jì)需要利用與圖像運(yùn)動(dòng)相關(guān)的特征. Costante等[15]通過結(jié)合使用光流圖和卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)2幀圖像間的相對(duì)位姿，雖然利用光流描述了圖像的運(yùn)動(dòng)信息，但由于相機(jī)在短時(shí)間內(nèi)運(yùn)動(dòng)變化很小，所以相機(jī)位姿不僅與相鄰圖像有關(guān)，還應(yīng)該受到多幀的約束，而該方法中的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)結(jié)構(gòu)無法對(duì)圖像序列進(jìn)行學(xué)習(xí). 為此，Wang等[16]提出了DeepVO模型，通過利用長(zhǎng)短期記憶(long short term memory，LSTM)網(wǎng)絡(luò)[17]進(jìn)行時(shí)序建模，學(xué)習(xí)多幀圖像間的運(yùn)動(dòng)關(guān)聯(lián). 但是，以上深度學(xué)習(xí)方法主要采用了監(jiān)督學(xué)習(xí)，需要數(shù)據(jù)集提供真實(shí)的相機(jī)位姿數(shù)據(jù). 然而在實(shí)際應(yīng)用中，獲取具有真實(shí)位姿數(shù)據(jù)的數(shù)據(jù)集十分昂貴，并且現(xiàn)有的監(jiān)督訓(xùn)練數(shù)據(jù)集數(shù)量仍然有限.

針對(duì)上述問題，本文提出一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的視覺里程計(jì)(recurrent convolutional neural networks visual odometry，RCNNVO )模型. RCNNVO模型通過輸入圖像序列，直接輸出相機(jī)的相對(duì)位姿.

1 相機(jī)相對(duì)位姿

為了同時(shí)描述相機(jī)的旋轉(zhuǎn)和平移運(yùn)動(dòng)，定義了變換矩陣T，其中包含了旋轉(zhuǎn)矩陣R和平移向量t，公式為

(1)

假設(shè)在t和t+1時(shí)刻，相機(jī)拍攝了2幅相鄰圖像It和It+1，對(duì)應(yīng)世界坐標(biāo)系下的絕對(duì)位姿分別為Tt和Tt+1，則相機(jī)在t和t+1時(shí)刻之間通過運(yùn)動(dòng)產(chǎn)生的變換矩陣為

(2)

雖然變換矩陣將旋轉(zhuǎn)和平移運(yùn)動(dòng)整合到一起，但是變換矩陣有16個(gè)元素，而旋轉(zhuǎn)和平移總共只有6個(gè)自由度，因此，存在多余的信息.

考慮到信息冗余主要存在于旋轉(zhuǎn)矩陣R中，因此，可采用歐拉角來刻畫相機(jī)的旋轉(zhuǎn)運(yùn)動(dòng)，歐拉角只包含3個(gè)分量，每個(gè)分量代表物體繞不同坐標(biāo)軸的旋轉(zhuǎn)角度，正好對(duì)應(yīng)旋轉(zhuǎn)運(yùn)動(dòng)的3個(gè)自由度.根據(jù)物體繞坐標(biāo)軸旋轉(zhuǎn)的先后順序，可以有多種歐拉角表示方法，本文采用的歐拉角定義方式如圖1所示，圖中xyz坐標(biāo)軸為參考坐標(biāo)系，XYZ坐標(biāo)軸為相機(jī)旋轉(zhuǎn)之后的坐標(biāo)系，相機(jī)旋轉(zhuǎn)的先后順序?yàn)椋?) 繞參考坐標(biāo)系的z軸旋轉(zhuǎn)，得到偏航角α.2) 繞2個(gè)坐標(biāo)系相交線N旋轉(zhuǎn)，得到俯仰角β.3) 繞參考坐標(biāo)系的Z軸旋轉(zhuǎn)，得到橫滾角γ.最終歐拉角可以表示為向量p=[α,β,γ]T.通過結(jié)合歐拉角p和平移向量t可以描述相機(jī)的絕對(duì)位姿，即

圖1 歐拉角示意圖Fig.1 Schematic diagram of Euler angles

(3)

相機(jī)的相對(duì)位姿可以表示為

(4)

2 自監(jiān)督循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型

本文構(gòu)建的RCNNVO模型的詳細(xì)結(jié)構(gòu)如圖2所示， RCNNVO中結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和全連接層3個(gè)部分結(jié)構(gòu)，網(wǎng)絡(luò)的訓(xùn)練方式為自監(jiān)督學(xué)習(xí).

本文提出的位姿估計(jì)方法的完整計(jì)算步驟如下:

1) 將圖像序列輸入到RCNNVO中, 序列長(zhǎng)度為k+1.

2) 分別使用CNN網(wǎng)絡(luò)提取序列中相鄰圖像間的特征，如{(I1,I2),(I2,I3),…,(Ik,Ik+1)}.

3) 將CNN輸出的特征作為時(shí)序數(shù)據(jù), 利用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN)進(jìn)行時(shí)序建模，建立多個(gè)位姿之間的關(guān)聯(lián).

4) 最后使用全連接層進(jìn)行降維, 得到相鄰圖像間的相對(duì)位姿, 用六自由度向量表示.

2.1 基于CNN的運(yùn)動(dòng)特征提取

卷積神經(jīng)網(wǎng)絡(luò)主要解決圖像分類問題，因此，大多CNN預(yù)訓(xùn)練模型是為了提取與圖像內(nèi)容有關(guān)的特征，而相機(jī)位姿估計(jì)與圖像分類區(qū)別很大.首先是圖像分類任務(wù)每次只需要提取一幅圖像的特征，而位姿估計(jì)計(jì)算的是相鄰圖像的相對(duì)位姿，需要同時(shí)處理2幅圖像；其次位姿估計(jì)是一種回歸問題，圖像外觀特征并不適用于估計(jì)位姿.如圖3所示，圖中對(duì)比了2種不同的相機(jī)運(yùn)動(dòng)情況，每種情況包含4幅圖像，其中每一行的圖像對(duì)代表一個(gè)相機(jī)的相對(duì)運(yùn)動(dòng).從圖3(a)中可以看出，上下2組圖像對(duì)描述的場(chǎng)景十分相似，如果使用專門用于圖像分類的CNN模型對(duì)2組圖像進(jìn)行特征提取，將會(huì)得到相同的特征，最終輸出的2個(gè)位姿結(jié)果很接近.然而2組圖像對(duì)對(duì)應(yīng)的相機(jī)相對(duì)運(yùn)動(dòng)卻是不同的，第1組主要為旋轉(zhuǎn)運(yùn)動(dòng)，第2組主要為平移運(yùn)動(dòng).從圖3(b)中可以看出，上下2組圖像對(duì)描述的是不同場(chǎng)景，因此，提取到的圖像特征完全不同，那么對(duì)應(yīng)輸出的位姿結(jié)果則差別很大，而實(shí)際上2組圖像對(duì)描述的是相同的平移運(yùn)動(dòng).因此，為了能夠輸出準(zhǔn)確的相機(jī)位姿，應(yīng)該采用一種能夠提取出圖像運(yùn)動(dòng)特征的CNN模型.

圖3 2種不同的相機(jī)運(yùn)動(dòng)情況Fig.3 Two different camera motions

由于光流概念的引入使得相鄰圖像間的運(yùn)動(dòng)關(guān)系可以用光流信息表示，本文參照了卷積神經(jīng)網(wǎng)絡(luò)模型Flownet[18]，通過修改FlowNet的子網(wǎng)絡(luò)FlowNetSimple構(gòu)建了RCNNVO中的CNN部分，用于提取圖像運(yùn)動(dòng)特征.CNN的各層參數(shù)如表1所示.該CNN模型共包含10個(gè)卷積層，其中第1個(gè)卷積層的卷積核大小為7×7，第2層、第3層的卷積核大小減小為5×5，后面7層的卷積核大小再次縮小到3×3，卷積核的尺寸越小，網(wǎng)絡(luò)越能捕捉到更細(xì)微的特征.隨著網(wǎng)絡(luò)層數(shù)的加深，不斷增加卷積核數(shù)量，使得每層可以輸出更多的特征圖，提取更多的局部特征.

表1 卷積神經(jīng)網(wǎng)絡(luò)模型的各層參數(shù)Table 1 Parameters of each layer of CNN

CNN使用圖像序列作為輸入，序列長(zhǎng)度大于2，序列中每幅圖像的尺寸均為1 280×384像素.在逐層學(xué)習(xí)圖像運(yùn)動(dòng)特征的過程中，在每個(gè)卷積層之后添加批量歸一化[19]操作，使得卷積變換前后數(shù)據(jù)分布保持不變，并加快網(wǎng)絡(luò)訓(xùn)練速度，防止在反向傳播中發(fā)生梯度爆炸.為了避免產(chǎn)生過擬合現(xiàn)象，在每個(gè)批量歸一化操作后使用修正線性單元(rectified linear unit，ReLU)使輸出非線性化，增強(qiáng)CNN的泛化性能.在完成相鄰圖像間的運(yùn)動(dòng)特征學(xué)習(xí)后，將CNN最后一個(gè)卷積層輸出的特征圖輸入到后面的RNN結(jié)構(gòu).

2.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的時(shí)序建模

雖然CNN結(jié)構(gòu)通過提取運(yùn)動(dòng)特征建立了相鄰圖像間的運(yùn)動(dòng)關(guān)系，但事實(shí)上由于相機(jī)的拍攝頻率較快，短時(shí)間內(nèi)的相機(jī)運(yùn)動(dòng)應(yīng)該是相似的；因此，當(dāng)前時(shí)刻相機(jī)的位姿不僅與相鄰圖像有關(guān)，還應(yīng)該受到一定范圍內(nèi)多幅圖像的位姿影響.為了輸出更準(zhǔn)確的位姿結(jié)果，網(wǎng)絡(luò)模型需要考慮多幀之間的運(yùn)動(dòng)關(guān)聯(lián).然而CNN由于自身的結(jié)構(gòu)限制，不能同時(shí)輸入多個(gè)數(shù)據(jù)，并且無法利用上一時(shí)刻的結(jié)果對(duì)下一時(shí)刻的輸出進(jìn)行預(yù)測(cè).

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks，RNN)十分適合處理這種時(shí)序數(shù)據(jù)問題，可以在計(jì)算下一時(shí)刻相鄰圖像間的運(yùn)動(dòng)關(guān)系時(shí)提供之前時(shí)刻保留的位姿信息.從理論上講，簡(jiǎn)單的RNN可以學(xué)習(xí)任意長(zhǎng)度的序列，但反向傳播過程中存在梯度消失問題，導(dǎo)致其在實(shí)際應(yīng)用中受到限制.為了解決簡(jiǎn)單的RNN結(jié)構(gòu)難以處理的長(zhǎng)期依賴問題, 誕生了LSTM網(wǎng)絡(luò).雖然LSTM擅長(zhǎng)處理長(zhǎng)序列，但其本質(zhì)上是為了解決語音識(shí)別、數(shù)據(jù)預(yù)測(cè)等問題，主要接收一維輸入信號(hào)，并不適合處理圖像.原因是在其內(nèi)部結(jié)構(gòu)中，輸入與權(quán)重的計(jì)算方式類似于全連接，當(dāng)輸入數(shù)據(jù)為二維圖像時(shí)，由于圖像中像素點(diǎn)與周圍的像素點(diǎn)存在很強(qiáng)的相關(guān)性，在使用全連接方式進(jìn)行計(jì)算時(shí)會(huì)破壞圖像的局部空間結(jié)構(gòu)，從而無法準(zhǔn)確地描述圖像特征.因此，RCNNVO中使用了卷積長(zhǎng)短期記憶(convolutional LSTM，ConvLSTM)網(wǎng)絡(luò)[20]，其內(nèi)部結(jié)構(gòu)如圖4所示.ConvLSTM在LSTM的基礎(chǔ)上將輸入與門的連接方式改成了局部連接，對(duì)輸入與權(quán)值進(jìn)行卷積操作.ConvLSTM不僅能夠完成時(shí)序建模，還可以通過卷積操作進(jìn)一步學(xué)習(xí)圖像間的運(yùn)動(dòng)特征.

圖4 ConvLSTM的內(nèi)部結(jié)構(gòu)Fig.4 Internal structure of ConvLSTM

ConvLSTM的內(nèi)部結(jié)構(gòu)依然使用了3個(gè)門單元，假設(shè)當(dāng)前時(shí)刻為t，輸入為xt，上一時(shí)刻的隱藏狀態(tài)為ht-1，則ConvLSTM的輸出及狀態(tài)更新的計(jì)算方式為

(5)

式中：σ為sigmoid激活函數(shù)；*表示卷積運(yùn)算；⊙表示2個(gè)矩陣或向量對(duì)應(yīng)元素相乘；W為卷積核權(quán)重；b為偏置；it、ft、Ct、ot、ht均為三維張量，第1個(gè)維度為時(shí)間，后2個(gè)維度為圖像的長(zhǎng)和寬.

RCNNVO中RNN結(jié)構(gòu)由2個(gè)ConvLSTM疊加構(gòu)成，每個(gè)ConvLSTM層包含1 000個(gè)隱藏單元，卷積核大小設(shè)置為3×3.其中第1個(gè)ConvLSTM層連接在CNN的卷積層Conv_10之后，第2個(gè)ConvLSTM層連接在第1個(gè)ConvLSTM層之后.為了保持原始的數(shù)據(jù)分布，2個(gè)ConvLSTM層中均使用了激活函數(shù)ReLU.

為了計(jì)算相機(jī)位姿，RCNNVO在第2個(gè)ConvLSTM層之后連接了2個(gè)全連接層，神經(jīng)元個(gè)數(shù)分別為100和6，其中最后一個(gè)全連接層的輸出為RCNNVO網(wǎng)絡(luò)估計(jì)出的相機(jī)相對(duì)位姿，用歐拉角和平移向量共同表示.

2.3 基于自監(jiān)督的損失函數(shù)設(shè)計(jì)

對(duì)于目前現(xiàn)有的監(jiān)督學(xué)習(xí)方法，如DeepVO[16]，其設(shè)計(jì)的損失函數(shù)為所有圖像位姿估計(jì)值與真實(shí)值之間的平移誤差和旋轉(zhuǎn)誤差之和.這種訓(xùn)練方法需要獲取每個(gè)圖像的真實(shí)位姿，使得算法的使用場(chǎng)景受到限制.

為了在訓(xùn)練網(wǎng)絡(luò)的過程中不受數(shù)據(jù)集的影響，本文遵循了間接法SLAM的思想[21].間接法SLAM在位姿估計(jì)中表現(xiàn)出的良好性能，主要源于其可以從原始圖像中提取到穩(wěn)定的局部特征，如關(guān)鍵點(diǎn)、線段等，因?yàn)檫@些特征的描述符具有很強(qiáng)的尺度不變性，所以通過特征匹配能夠建立相鄰圖像間的幾何關(guān)系，而這種幾何關(guān)系仿照了人類對(duì)三維空間的感知.因此，本文考慮離線生成這種幾何成分并集成到RCNNVO框架中，使算法在不需要真實(shí)位姿數(shù)據(jù)的情況下自主生成位姿約束，從而優(yōu)化網(wǎng)絡(luò)參數(shù).

間接法實(shí)現(xiàn)位姿估計(jì)有2個(gè)基本步驟：一個(gè)是特征匹配，另一個(gè)是幾何驗(yàn)證[21].假設(shè)有一對(duì)相鄰圖像(I1,I2)，通過特征提取與匹配算法獲得了一組匹配點(diǎn)的坐標(biāo)集合{(Pi,Qi)}，則根據(jù)匹配點(diǎn)的空間位置關(guān)系可以建立幾何關(guān)系

(6)

由于RCNNVO在輸出相機(jī)位姿時(shí)使用歐拉角描述了旋轉(zhuǎn)運(yùn)動(dòng)，而式(6)在計(jì)算基本矩陣時(shí)使用的是旋轉(zhuǎn)矩陣，所以需要進(jìn)行歐拉角與旋轉(zhuǎn)矩陣的變換.假設(shè)輸出的歐拉角為r12=[α,β,γ]T，則對(duì)應(yīng)的旋轉(zhuǎn)矩陣為

(7)

通過特征匹配建立的對(duì)極幾何如圖5所示.圖中：I1和I2為像平面；O1和O2為2個(gè)相機(jī)的光圈中心；M代表空間點(diǎn).O1、O2、M三點(diǎn)相連形成的藍(lán)色三角形稱為極平面.E1、E2為連線O1O2與2個(gè)像平面的交點(diǎn)，P和Q分別為點(diǎn)M在像平面I1、I2上的真實(shí)投影，Q′為P根據(jù)本文算法的初始位姿估計(jì)值計(jì)算出的匹配點(diǎn).紅色虛線l為極平面與像平面I2形成的相交線，稱為極線.

(8)

圖5 基于特征匹配和對(duì)極幾何的對(duì)極約束Fig.5 Geometric constraint enforced by pairwise matching and epipolar geometry

(9)

3 實(shí)驗(yàn)結(jié)果

本文通過使用公開數(shù)據(jù)集驗(yàn)證了自監(jiān)督循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型RCNNVO的性能，評(píng)估位姿結(jié)果的指標(biāo)為旋轉(zhuǎn)誤差和平移誤差.實(shí)驗(yàn)所使用的深度學(xué)習(xí)框架為PyTorch-1.0.1，系統(tǒng)為Ubuntu16.04，計(jì)算機(jī)配置為：32 GB內(nèi)存、GTX1080顯卡、Intel Xeon E5-2603 V3處理器.

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)選擇KITTI Odometry數(shù)據(jù)集[22]對(duì)RCNNVO模型的性能進(jìn)行評(píng)估.KITTI Odometry數(shù)據(jù)集廣泛應(yīng)用于各種視覺SLAM和視覺里程計(jì)算法，其包含22個(gè)不同場(chǎng)景的圖像序列，圖像的獲取方式主要為：在汽車頂部安裝雙目相機(jī)，然后在城市、郊區(qū)、鄉(xiāng)村等地點(diǎn)行駛的過程中進(jìn)行拍攝，相機(jī)的拍攝頻率為10 Hz.22個(gè)序列中只有前11個(gè)序列提供了相機(jī)內(nèi)部參數(shù)和每個(gè)圖像對(duì)應(yīng)的真實(shí)姿態(tài)數(shù)據(jù)，這些真實(shí)數(shù)據(jù)是通過全球定位系統(tǒng)、慣性測(cè)量單元等多種高精度傳感器計(jì)算而來.其中序列00-03的圖像尺寸為1 241×376像素，序列04-10的圖像尺寸為1 226×370像素，為了符合網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)的要求，將所有圖像的尺寸調(diào)整為1 280×384像素.

考慮到訓(xùn)練集和驗(yàn)證集的圖像種類劃分，本文使用序列00、01、02、06、08對(duì)RCNNVO模型進(jìn)行訓(xùn)練，并選擇一定數(shù)量的數(shù)據(jù)進(jìn)行驗(yàn)證，然后使用序列03、04、05、07、09、10對(duì)RCNNVO模型進(jìn)行測(cè)試.訓(xùn)練集和驗(yàn)證集使用的圖像均由雙目相機(jī)中的左相機(jī)所采集.

3.2 訓(xùn)練過程

本文提出了自監(jiān)督的訓(xùn)練方式，其損失函數(shù)的計(jì)算需要相鄰圖像間的匹配點(diǎn)坐標(biāo).因此，首先使用基于圖形處理器的尺度不變特征變換(scale invariant feature transform,SIFT)算法[23]對(duì)每幅圖像提取大約1 000個(gè)SIFT特征[24]，并通過特征匹配獲得相鄰圖像間匹配點(diǎn)的坐標(biāo).然后利用RANSAC算法對(duì)匹配結(jié)果進(jìn)行篩選，去除不正確的結(jié)果.考慮到算法的實(shí)時(shí)性和計(jì)算機(jī)配置等問題，從每對(duì)相鄰圖像中隨機(jī)抽取100個(gè)匹配點(diǎn)用于損失函數(shù)的計(jì)算.

在訓(xùn)練過程中，使用Adam優(yōu)化器更新網(wǎng)絡(luò)參數(shù)，其中β1=0.900，β2=0.999，初始學(xué)習(xí)率設(shè)置為0.000 1，batch size設(shè)為8.隨著訓(xùn)練次數(shù)的增大，適當(dāng)降低學(xué)習(xí)率.在訓(xùn)練開始前使用xavier方法對(duì)網(wǎng)絡(luò)參數(shù)中的權(quán)重進(jìn)行初始化，對(duì)偏置進(jìn)行零初始化.為了加快模型的訓(xùn)練速度，防止產(chǎn)生過擬合現(xiàn)象，在所有ConvLSTM層和全連接層中添加dropout機(jī)制.

3.3 誤差分析

將訓(xùn)練好的RCNNVO模型在序列03、04、05、07、09、10上進(jìn)行測(cè)試，并與其他3種先進(jìn)的視覺里程計(jì)系統(tǒng)進(jìn)行比較，其中ORB-SLAM(不包含閉合檢測(cè)模塊)[5]、VISO2-Mono[25]為單目系統(tǒng)，而VISO2-Stereo[25]為雙目系統(tǒng)，其結(jié)果僅作為參考.實(shí)驗(yàn)使用的性能評(píng)價(jià)指標(biāo)為KITTI官方設(shè)定的4種均方根誤差RMSE，分別為不同路徑長(zhǎng)度下的平均平移誤差和平均旋轉(zhuǎn)誤差、不同相機(jī)運(yùn)動(dòng)速度下的平均平移誤差和平均旋轉(zhuǎn)誤差.其中路徑長(zhǎng)度均為100的倍數(shù)，范圍為100～800 m.不同路徑長(zhǎng)度下的誤差計(jì)算方法為：首先，將完整行駛路徑按照設(shè)置的路徑長(zhǎng)度平均分成多個(gè)子路徑；然后，計(jì)算每個(gè)子路徑下的平移誤差和旋轉(zhuǎn)誤差；最后，分別求取所有子路徑的旋轉(zhuǎn)誤差和平移誤差的平均值.相機(jī)運(yùn)動(dòng)速度等同于拍攝圖像時(shí)汽車的行駛速度，由于每個(gè)序列的平均速度都不相同，所以首先找出測(cè)試集所有序列中的最低速度和最高速度，然后再在二者之間平均選取6個(gè)速度值.

4種方法在不同評(píng)價(jià)指標(biāo)下的誤差如圖6所示.可以看出，在大多數(shù)情況下，RCNNVO的誤差比ORB-SLAM和VISO2-M的誤差小，說明CNN和ConvLSTM相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)可以學(xué)習(xí)到圖像中與運(yùn)動(dòng)相關(guān)的特征.但隨著相機(jī)運(yùn)動(dòng)速度的增加，RCNNVO的誤差有增大的趨勢(shì)，出現(xiàn)這種問題的原因主要是訓(xùn)練集中缺少運(yùn)動(dòng)速度較快的樣本，只有少數(shù)圖像序列的速度在50 km/h以上，因此，網(wǎng)絡(luò)在預(yù)測(cè)高速運(yùn)動(dòng)下的平移和旋轉(zhuǎn)信息時(shí)較為困難.

圖6 不同算法在4種指標(biāo)下的誤差Fig.6 Errors of different algorithms based on four indexes

3.4 運(yùn)動(dòng)軌跡可視化及精度評(píng)估

為了直觀地展示算法的性能，分別將RCNNVO、ORB-SLAM、VISO2-M、VISO2-S在序列03、04、05、07、09、10上估計(jì)的運(yùn)動(dòng)軌跡進(jìn)行了可視化處理，如圖7所示.圖中以真實(shí)位姿數(shù)據(jù)生成的運(yùn)動(dòng)軌跡作為標(biāo)準(zhǔn)，用黑色虛線表示.可以看出，4種算法大致上都恢復(fù)出了真實(shí)運(yùn)動(dòng)軌跡的形狀，而RCNNVO模型估計(jì)的運(yùn)動(dòng)軌跡要優(yōu)于ORB-SLAM和VISO2-M，更接近于真實(shí)軌跡，但略遜于VISO2-S.一方面是因?yàn)閂ISO2-S是雙目算法，在估計(jì)相機(jī)位姿時(shí)可以通過左目相機(jī)和右目相機(jī)拍攝的2幅圖像獲取尺度信息，因此，計(jì)算結(jié)果更加準(zhǔn)確；另一方面是因?yàn)镽CNNVO的訓(xùn)練樣本不夠多，如果能夠用更充足的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，可能會(huì)進(jìn)一步提升網(wǎng)絡(luò)輸出的位姿精度.不同算法在測(cè)試集上的具體表現(xiàn)如表2所示，表中各序列的位姿精度評(píng)價(jià)指標(biāo)為所有路徑長(zhǎng)度(100 m, 200 m, …, 800 m)的平均平移誤差和平均旋轉(zhuǎn)誤差.其中平移誤差以“%”來度量，旋轉(zhuǎn)誤差以“(°)”來度量.在4種對(duì)比方法中，DeepVO為基于監(jiān)督學(xué)習(xí)的位姿估計(jì)算法，其網(wǎng)絡(luò)結(jié)構(gòu)由CNN和LSTM構(gòu)成，因?yàn)镈eepVO的作者沒有開放源代碼，所以表中直接使用了文獻(xiàn)[16]中的實(shí)驗(yàn)數(shù)據(jù).實(shí)驗(yàn)結(jié)果表明，本文算法優(yōu)于DeepVO、ORB-SLAM、VISO2-M三種單目算法，證明了自監(jiān)督訓(xùn)練方法的可行性.

圖7 不同算法在序列03、04、05、07、09、10上生成的運(yùn)動(dòng)軌跡Fig.7 Motion trajectories generated by different algorithms on sequence 03，04，05，07，09 and 10

表2 不同方法在測(cè)試集上的平均平移誤差和旋轉(zhuǎn)誤差Table 2 Average translation and rotation errors of different methods on testing datasets

另外，本文還在序列11、12上對(duì)RCNNVO模型行了測(cè)試，序列11、12沒有提供真實(shí)位姿數(shù)據(jù)，并且車輛的行駛速度也快于前面11個(gè)序列，因此，在相機(jī)拍攝頻率保持不變的情況，相鄰圖像間的相機(jī)運(yùn)動(dòng)則更加劇烈，這將十分考驗(yàn)算法的泛化能力.圖8展示了不同算法估計(jì)的運(yùn)動(dòng)軌跡的可視化結(jié)果，由于數(shù)據(jù)集缺少真實(shí)數(shù)據(jù)，所以使用了VISO2-M、VISO2-S的實(shí)驗(yàn)結(jié)果與本文算法進(jìn)行對(duì)比，并以VISO2-S的結(jié)果作為參考.可以看出，相較于VISO2-M方法，RCNNVO的運(yùn)動(dòng)軌跡更接近于VISO2-S，這意味著本方法在沒有真實(shí)位姿數(shù)據(jù)的情況下仍然可以工作，并展現(xiàn)出了不錯(cuò)的泛化能力.

圖8 不同算法在序列11、12上生成的運(yùn)動(dòng)軌跡Fig.8 Motion trajectories generated by different algorithms on sequence 11 and 12

4 結(jié)論

1) 本文提出了一種基于自監(jiān)督循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的位姿估計(jì)模型RCNNVO.該模型以圖像序列為輸入，首先，使用CNN結(jié)構(gòu)提取相鄰圖像之間的運(yùn)動(dòng)特征；然后，利用ConvLSTM的卷積操作進(jìn)一步學(xué)習(xí)圖像的空間特征，通過時(shí)序建模融合多幅圖像信息，并建立連續(xù)多幀之間的運(yùn)動(dòng)約束；最后，輸出相鄰圖像間的六自由度相對(duì)位姿.

2) 監(jiān)督學(xué)習(xí)需要數(shù)據(jù)集提供真實(shí)的位姿信息，而實(shí)際數(shù)據(jù)普遍缺乏位姿信息標(biāo)注,導(dǎo)致可供訓(xùn)練的樣本集有限.因此，本文提出了一種自監(jiān)督的網(wǎng)絡(luò)訓(xùn)練方法，通過特征匹配和對(duì)極幾何建立基于對(duì)極約束的損失函數(shù)，以自主生成標(biāo)簽的方式優(yōu)化網(wǎng)絡(luò)參數(shù).

3) 本文在KITTI Odometry數(shù)據(jù)集上對(duì)算法的性能進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果證明，RCNNVO模型的位姿精度優(yōu)于先進(jìn)的單目系統(tǒng)ORB-SLAM和VISO2-M，并且其預(yù)訓(xùn)練模型可以泛化到其他未知場(chǎng)景.