LSTM神經(jīng)網(wǎng)絡(luò)輔助的GNSS/VO組合定位方法

林秋良，趙有兵，馮 威，黃丁發(fā)

LSTM神經(jīng)網(wǎng)絡(luò)輔助的GNSS/VO組合定位方法

林秋良1，趙有兵2，馮 威1，黃丁發(fā)1

（1.西南交通大學(xué) 地球科學(xué)與環(huán)境工程學(xué)院，成都 610000；2.中鐵二院工程集團(tuán)有限責(zé)任公司，成都 610000）

針對(duì)當(dāng)全球衛(wèi)星導(dǎo)航系統(tǒng)（GNSS）信號(hào)失鎖時(shí)，GNSS與視覺里程計(jì)（VO）組合定位方法定位精度下降的問(wèn)題，提出一種基于長(zhǎng)短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)輔助的GNSS/VO組合定位方法：在GNSS工作正常情況下，利用視覺里程計(jì)的位移增量和姿態(tài)構(gòu)建LSTM的特征向量，將GNSS解算的位置增量作為輸出對(duì)LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；GNSS信號(hào)失鎖環(huán)境中，使用LSTM神經(jīng)網(wǎng)絡(luò)輸出結(jié)果推算得到偽GNSS觀測(cè)值，并將其與VO的結(jié)果進(jìn)行松組合，實(shí)現(xiàn)GNSS/VO組合定位。實(shí)驗(yàn)結(jié)果表明，在GNSS信號(hào)丟失30、60、120 s的過(guò)程中，所提方法的定位精度可分別提高約62%、64%、69%，證明該方法能夠有效地提高GNSS/VO組合定位方法在GNSS拒止環(huán)境下的定位精度。

全球衛(wèi)星導(dǎo)航系統(tǒng)（GNSS）；組合導(dǎo)航；長(zhǎng)短期記憶；神經(jīng)網(wǎng)絡(luò)；GNSS拒止；視覺里程計(jì)（VO）

0 引言

全球衛(wèi)星導(dǎo)航系統(tǒng)（global navigation satellite system，GNSS）能夠提供高精度、全天候的位置信息，因此被廣泛地應(yīng)用于自動(dòng)駕駛和無(wú)人機(jī)的導(dǎo)航定位中；然而其信號(hào)易受干擾和丟失，無(wú)法滿足復(fù)雜環(huán)境下導(dǎo)航定位的需求[1-3]。在GNSS拒止情況下，例如城市峽谷、林蔭等環(huán)境，GNSS信號(hào)受到嚴(yán)重遮擋致使定位精度下降，單一視覺系統(tǒng)定位則存在誤差累積的問(wèn)題。因此，即便是GNSS與視覺里程計(jì)（visual odometry，VO）組合定位系統(tǒng)也不可避免地受到影響，導(dǎo)致定位精度下降甚至是無(wú)法定位。

為解決GNSS失效環(huán)境中組合導(dǎo)航系統(tǒng)的定位精度下降問(wèn)題，主要方法有基于傳統(tǒng)濾波改進(jìn)和基于神經(jīng)網(wǎng)絡(luò)輔助的方案[4]?；趥鹘y(tǒng)濾波改進(jìn)的方案大多采用平滑算法或改進(jìn)的卡爾曼濾波，例如文獻(xiàn)[5]提出使用固定區(qū)間（Rauch-Tung-Striebel，RTS）平滑算法來(lái)解決GNSS接收機(jī)因失鎖導(dǎo)致的精度下降問(wèn)題。文獻(xiàn)[6]使用GNSS/VO松組合進(jìn)行定位，并且提出一種基于RTS的在線平滑方法進(jìn)行改進(jìn)，并且利用平滑后的數(shù)據(jù)對(duì)航向角進(jìn)行建模，獲得更加精確的航向角數(shù)據(jù)以提高定位的精度。國(guó)內(nèi)外很多研究學(xué)者提出了多種輔助組合導(dǎo)航的神經(jīng)網(wǎng)絡(luò)融合方案。例如，反向傳播神經(jīng)網(wǎng)絡(luò)[7]（back propagation neural network，BPNN）、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)[8]（radial basis function neural network，RBFNN）、多層感知器[9]（multi-layer perceptron，MLP）等。文獻(xiàn)[7]將BP神經(jīng)網(wǎng)絡(luò)與GNSS/INS的導(dǎo)航定位系統(tǒng)進(jìn)行結(jié)合，在GNSS拒止環(huán)境下使用訓(xùn)練好的BPNN對(duì)位置和姿態(tài)進(jìn)行預(yù)測(cè)，用以代替GNSS在組合導(dǎo)航系統(tǒng)的作用。由于BPNN的收斂速度較慢，并且學(xué)習(xí)過(guò)程當(dāng)中容易陷入局部最小值，有的學(xué)者選擇使用RBFNN對(duì)組合導(dǎo)航系統(tǒng)進(jìn)行輔助，并且取得了較好的效果[10-11]。文獻(xiàn)[12]提出一種結(jié)合離散灰度預(yù)測(cè)和MLP的融合算法輔助GNSS/INS系統(tǒng)，有效解決了GNSS拒止環(huán)境下的定位問(wèn)題。

平滑算法能夠在一定程度上提高復(fù)雜環(huán)境下的定位精度，但是實(shí)質(zhì)上還是一種后處理的算法，無(wú)法滿足實(shí)時(shí)的定位導(dǎo)航需求?；谏窠?jīng)網(wǎng)絡(luò)輔助的組合導(dǎo)航方案能夠有效地應(yīng)對(duì)短時(shí)間內(nèi)衛(wèi)星信號(hào)丟失的問(wèn)題，但是常用的神經(jīng)網(wǎng)絡(luò)模型大多基于靜態(tài)的神經(jīng)網(wǎng)絡(luò)，無(wú)法很好地處理時(shí)間序列數(shù)據(jù)。長(zhǎng)短期記憶（long short-term memory，LSTM）作為循環(huán)神經(jīng)網(wǎng)絡(luò)能夠有效解決這個(gè)問(wèn)題，并且很好地克服了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的缺陷[13]。因此本文選擇LSTM輔助GNSS/VO組合定位系統(tǒng)，在GNSS拒止環(huán)境下使用訓(xùn)練好的LSTM網(wǎng)絡(luò)替代GNSS輸出GNSS的偽觀測(cè)值，以解決GNSS拒止環(huán)境中的組合導(dǎo)航定位問(wèn)題。

1 GNSS/VO組合定位

圖1 GNSS視覺組合導(dǎo)航框架

1.1 視覺定位模塊

圖1中相機(jī)的自估計(jì)是指利用多視幾何的原理估計(jì)出2幀圖像之間相對(duì)運(yùn)動(dòng)的過(guò)程，常用的方法包括對(duì)極約束、點(diǎn)透視法（perspective--point，PP）、迭代最近點(diǎn)法（iterative closet point，ICP）等[15]。VO的過(guò)程則是對(duì)相機(jī)運(yùn)動(dòng)自估計(jì)提供的位移增量和角速度進(jìn)行積分，從而得到每一時(shí)刻相機(jī)的位置和姿態(tài)，其過(guò)程為

1.2 組合定位模型

擴(kuò)展卡爾曼濾波（extended Kalman filter，EKF）通過(guò)一階泰勒展開，對(duì)非線性系統(tǒng)進(jìn)行線性化，很好地克服了卡爾曼濾波（Kalman filter，KF）無(wú)法處理非線性系統(tǒng)的缺點(diǎn)，因此被廣泛應(yīng)用于組合導(dǎo)航系統(tǒng)當(dāng)中[16]。GNSS/視覺組合定位系統(tǒng)中的誤差狀態(tài)方程分別為：

擴(kuò)展卡爾曼濾波的量測(cè)方程為

綜合式（5）～式（7），可以表示為：

2 LSTM神經(jīng)網(wǎng)絡(luò)輔助定位

2.1 LSTM神經(jīng)網(wǎng)絡(luò)模型

2.2 LSTM輔助的組合定位方法

圖2 訓(xùn)練模式結(jié)構(gòu)

圖3 預(yù)測(cè)模式結(jié)構(gòu)

本文使用的神經(jīng)網(wǎng)絡(luò)參數(shù)如表1所示。具體的網(wǎng)絡(luò)結(jié)構(gòu)主要由輸入層、中間層以及輸出層組成，特征向量經(jīng)由輸入層進(jìn)入網(wǎng)絡(luò)，在LSTM輸出之后緊接一個(gè)以LeakyRelu函數(shù)激活的全連接層，將其輸出值作為整個(gè)網(wǎng)絡(luò)的輸出結(jié)果。

表1 神經(jīng)網(wǎng)絡(luò)部分參數(shù)

3 實(shí)驗(yàn)與結(jié)果分析

本文使用卡爾斯魯厄工學(xué)院和豐田技術(shù)學(xué)院聯(lián)合的提供的KITTI數(shù)據(jù)集[17]，其采集環(huán)境主要包括社區(qū)街道、高速公路等。采集過(guò)程當(dāng)中使用的實(shí)驗(yàn)設(shè)備包括一套由OXTS（Oxford Technical Solutions，意譯為牛津技術(shù)解決方案）公司生產(chǎn)的 RT 3003組合導(dǎo)航系統(tǒng)，該系統(tǒng)能夠輸出GNSS和慣性測(cè)量單元（inertial measurement unit，IMU）組合導(dǎo)航結(jié)果，以及4個(gè)灰點(diǎn)公司的flea2系列相機(jī)。本次實(shí)驗(yàn)當(dāng)中將GNSS/IMU提供的組合導(dǎo)航數(shù)據(jù)作為參考值，使用GNSS數(shù)據(jù)和灰度影像作為觀測(cè)數(shù)據(jù)，并且模擬GNSS信號(hào)中斷場(chǎng)景下，使用LSTM神經(jīng)網(wǎng)絡(luò)輔助組合導(dǎo)航系統(tǒng)定位。

3.1 算法定位性能分析

為驗(yàn)證LSTM輔助GNSS/VO組合定位算法在GNSS不同失效時(shí)長(zhǎng)的定位性能，設(shè)計(jì)了3個(gè)不同失效時(shí)長(zhǎng)的實(shí)驗(yàn)。由于實(shí)際車輛行駛場(chǎng)景中通常遇到的失鎖時(shí)間較短，因此結(jié)合實(shí)驗(yàn)數(shù)據(jù)集情況和實(shí)際場(chǎng)景設(shè)計(jì)了GNSS失效30、60、120 s 3種情況，并且為了驗(yàn)證該方法的可靠性，在每一實(shí)驗(yàn)中隨機(jī)抽取了3段不同的失鎖路段進(jìn)行模擬實(shí)驗(yàn)。為了更全面地分析該方法的性能，本文將經(jīng)LSTM輔助的組合定位方法與RTS固定區(qū)間平滑算法和改進(jìn)前組合定位方法進(jìn)行對(duì)比分析。

3.1.1 實(shí)驗(yàn)1

GNSS失鎖30 s所選擇的實(shí)驗(yàn)區(qū)域平面圖如圖4所示，圖中深色實(shí)線表示的路段即為GNSS失鎖路段。

在GNSS失效30 s的過(guò)程中，實(shí)驗(yàn)區(qū)域的定位誤差如圖5所示，可以看出：GNSS/VO松組合定位系統(tǒng)在GNSS失效之后逐漸發(fā)散，在短時(shí)間內(nèi)就發(fā)散到米級(jí)的程度；其次經(jīng)LSTM輔助的GNSS/VO組合定位方法在30 s的時(shí)間內(nèi)定位誤差始終低于GNSS/VO松組合方法。相較于RTS平滑算法而言，LSTM輔助的組合定位方法雖然對(duì)定位效果有一定改善作用，但是改善效果弱于RTS平滑算法。

圖4 GNSS失鎖30s實(shí)驗(yàn)區(qū)域

圖5 GNSS失鎖30 s的定位誤差

表2當(dāng)中統(tǒng)計(jì)了實(shí)驗(yàn)區(qū)域1的實(shí)驗(yàn)結(jié)果。在GNSS失效30 s的過(guò)程中，可以明顯看出經(jīng)LSTM輔助的GNSS/VO組合定位精度優(yōu)于GNSS/VO的松組合系統(tǒng)。綜合3個(gè)實(shí)驗(yàn)區(qū)域的結(jié)果看來(lái)，在GNSS失鎖30 s的實(shí)驗(yàn)中RTS平滑算法的改善效果優(yōu)于LSTM輔助的組合定位方法。

3.1.2 實(shí)驗(yàn)2

圖6為GNSS失鎖60 s的3個(gè)實(shí)驗(yàn)區(qū)域，圖中的深色實(shí)線路段即為失鎖路段。

圖7所示為GNSS失鎖60 s的定位誤差。從圖中可以看出，經(jīng)LSTM輔助的組合定位方法受到VO的影響較為嚴(yán)重，具體表現(xiàn)在當(dāng)VO的定位誤差出現(xiàn)明顯增大的時(shí)刻，LSTM輔助的組合定位方法同樣出現(xiàn)劇烈變化。這是由于當(dāng)VO受到外部環(huán)境影響出現(xiàn)誤差時(shí)，LSTM輔助方法無(wú)法檢測(cè)到出現(xiàn)的誤差，仍然使用較大誤差的VO數(shù)據(jù)估計(jì)GNSS的偽觀測(cè)值，導(dǎo)致最終的定位結(jié)果也出現(xiàn)明顯的誤差。

圖6 GNSS失鎖60 s實(shí)驗(yàn)區(qū)域

圖7 GNSS失鎖60 s的定位誤差

表3所示為GNSS失鎖60 s實(shí)驗(yàn)結(jié)果。從表中可以看出：在GNSS失效60 s的環(huán)境下，LSTM輔助的組合定位方法相較于GNSS/VO的組合定位方法在定位精度上仍然具有較大的提升；但是相較于GNSS失效30 s的情況來(lái)看，LSTM輔助方法在最大位置誤差上有所增大，這是由于隨著時(shí)間的增加，LSTM輔助的組合定位方法也存在一定程度上的發(fā)散。

表3 GNSS失鎖60 s實(shí)驗(yàn)結(jié)果 m

3.1.3 實(shí)驗(yàn)3

圖8為GNSS失鎖120 s的3個(gè)實(shí)驗(yàn)區(qū)域，圖中的深色實(shí)線路段即為失鎖路段。

圖9所示為GNSS失鎖120 s的定位誤差。由圖可知：LSTM輔助在GNSS失效120 s的情況下也能夠取得較好的效果；但是該方法仍然受到VO觀測(cè)數(shù)據(jù)的影響，當(dāng)VO定位誤差出現(xiàn)波動(dòng)時(shí)，LSTM輔助的組合定位方法仍然會(huì)出現(xiàn)一定的影響。

圖8 GNSS失鎖120s實(shí)驗(yàn)區(qū)域

圖9 GNSS失鎖120 s的定位誤差

如表4所示，在GNSS失鎖120 s的情況下，3種情況的定位精度都有一定程度的下降，其中RTS平滑算法的表現(xiàn)最好，LSTM輔助定位方法相較于GNSS/VO組合定位方法有一定改善作用，但整體上的定位精度仍然低于RTS平滑算法。

上述3個(gè)實(shí)驗(yàn)表明，LSTM輔助能夠有效地改善GNSS/VO組合定位方法在GNSS失效情況下的定位精度，雖然其改善后的定位精度低于RTS平滑算法處理后的結(jié)果，但RTS平滑算法需要結(jié)合大量中斷后的觀測(cè)數(shù)據(jù)進(jìn)行反向平滑，而LSTM輔助組合定位能夠?qū)崿F(xiàn)實(shí)時(shí)地改善定位精度，能夠使用在實(shí)時(shí)的導(dǎo)航定位場(chǎng)景中。其次通過(guò)觀察3個(gè)不同失鎖時(shí)間下LSTM輔助方法對(duì)定位精度的改善可以看出，在失鎖120 s時(shí)LSTM輔助組合定位方法對(duì)定位精度改善的程度反而高于失鎖30 s的情況，這是由于隨著失鎖時(shí)間的增加，整個(gè)GNSS/VO系統(tǒng)的發(fā)散變得更劇烈，而短時(shí)間內(nèi)LSTM的輔助能夠有效地抑制發(fā)散，因此LSTM輔助方法在GNSS失鎖120 s時(shí)改善效果更為明顯。

表4 GNSS失鎖120 s實(shí)驗(yàn)結(jié)果 m

3.2 樣本數(shù)量影響分析

訓(xùn)練樣本的數(shù)量和質(zhì)量會(huì)對(duì)LSTM輔助組合定位結(jié)果產(chǎn)生較大影響。為了分析訓(xùn)練樣本數(shù)量對(duì)本文所提方法的影響，根據(jù)訓(xùn)練樣本的不同數(shù)量設(shè)計(jì)8組實(shí)驗(yàn)，8組實(shí)驗(yàn)均為采用同一數(shù)據(jù)集，最小訓(xùn)練樣本數(shù)量為500個(gè)歷元，最大訓(xùn)練樣本數(shù)量為4000個(gè)歷元，測(cè)試數(shù)據(jù)集的大小為540個(gè)歷元，每個(gè)歷元的采樣間隔約為0.1 s。表5中統(tǒng)計(jì)了各組實(shí)驗(yàn)的數(shù)據(jù)結(jié)果。

表5 不同數(shù)量訓(xùn)練樣本與定位效果的定量分析

從表5可以看出，隨著訓(xùn)練樣本數(shù)量的增加，定位精度也在逐漸提升。訓(xùn)練樣本較少時(shí)，隨著訓(xùn)練樣本的提升，定位效果改善明顯；當(dāng)訓(xùn)練樣本達(dá)到1500個(gè)歷元時(shí)，訓(xùn)練樣本的增加對(duì)定位精度的改善效果逐漸下降。因此使用LSTM輔助組合定位算法需要一定數(shù)量的訓(xùn)練樣本才能實(shí)現(xiàn)改善定位精度的目的，并且訓(xùn)練樣本越大，對(duì)組合定位精度改善越明顯；但是當(dāng)訓(xùn)練樣本達(dá)到一定數(shù)量之后，樣本數(shù)量的增加對(duì)定位精度的提升變小。

4 結(jié)束語(yǔ)

本文提出了一種基于LSTM神經(jīng)網(wǎng)絡(luò)輔助的GNSS/VO組合定位方法，在GNSS正常提供定位信息的情況下對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程中使用VO輸出的位置和姿態(tài)信息構(gòu)建特征向量，將GNSS位置增量作為神經(jīng)網(wǎng)絡(luò)的輸出。在GNSS拒止環(huán)境中，將VO輸出的位置和姿態(tài)信息輸入經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中，并利用LSTM估計(jì)的GNSS位置增量推算載體位置的偽觀測(cè)值進(jìn)行松組合，以實(shí)現(xiàn)在GNSS失效環(huán)境中抑制組合導(dǎo)航定位系統(tǒng)誤差發(fā)散的目的。經(jīng)實(shí)驗(yàn)驗(yàn)證，相較于GNSS/VO松組合的定位模式，本文所提方法能夠有效提高在GNSS失效環(huán)境下的定位精度。

使用傳統(tǒng)的RTS平滑算法能夠有效改善由GNSS失效帶來(lái)的定位精度下降的問(wèn)題，但該方法是一種事后或準(zhǔn)實(shí)時(shí)處理方法，無(wú)法應(yīng)用于實(shí)時(shí)的導(dǎo)航定位當(dāng)中。本文所提方法能夠?qū)崿F(xiàn)在短時(shí)間內(nèi)GNSS失效環(huán)境中的實(shí)時(shí)定位功能，并且精度相較于傳統(tǒng)的組合導(dǎo)航方法有較大提升。LSTM輔助組合定位方法對(duì)GNSS/VO組合定位精度的改善依賴于訓(xùn)練數(shù)據(jù)集的數(shù)量和質(zhì)量，所以該方法僅適用于在車輛運(yùn)動(dòng)起始階段能夠接收到足夠數(shù)量訓(xùn)練樣本的場(chǎng)景；并且在VO定位結(jié)果存在較大誤差時(shí)，LSTM輔助組合定位結(jié)果同樣將出現(xiàn)定位精度下降的情況。因此如何改進(jìn)VO系統(tǒng)，使其能夠提供更高質(zhì)量的訓(xùn)練樣本，并且在GNSS失效的環(huán)境下提供更高精度的定位結(jié)果，還有待進(jìn)一步研究。

[1] RENFRO B A, STEIN M, BOEKER N, et al. An analysis of global positioning system (GPS) standard positioning service (SPS) performance for 2018[EB/OL]. (2019-4-26)[2022-10-20]. https://www.gps.gov/systems/gps/ performance/2017-GPS-SPS-performance-analysis. pdf.

[2] 傅率智, 陳偉, 吳迪, 等. 一種基于LSTM-EKF的車載GNSS/INS組合導(dǎo)航系統(tǒng)[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2021(1): 1-11.

[3] 王富, 韓保民, 胡亮亮, 等. 城市復(fù)雜環(huán)境下GNSS/INS組合導(dǎo)航算法研究[J]. 大地測(cè)量與地球動(dòng)力學(xué), 2022, 42(1): 15-20.

[4] 魏一諾. 衛(wèi)星信號(hào)失鎖環(huán)境下的組合定位技術(shù)研究[D]. 哈爾濱: 哈爾濱工程大學(xué), 2020.

[5] 苗岳旺. SINS/GPS 組合導(dǎo)航數(shù)據(jù)處理方法研究[D]. 濟(jì)南: 信息工程大學(xué), 2013.

[6] DUONG T T, CHIANG K W, LE D T. On-line smoothing and error modelling for integration of GNSS and visual odometry[J]. Sensors, 2019, 19(23): 5259.

[7] ZHOU Yimin, WAN Jiao, LI Zhifei, et al. GPS/INS integrated navigation with BP neural network and kalman filter[C]// The Institute of Electrical and Electronic Engineers (IEEE). 2017 IEEE International Conference on Robotics and Biomimetics.[S.l.]: IEEE, 2017: 2515-2520[2022-10-20].

[8] LI Jing, WU Yue. Realization of GNSS/INS tightly coupled navigation and reliability verification in intelligent driving system[C]// The Institute of Electrical and Electronic Engineers (IEEE). 2018 IEEE 8th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER). [S.l.]: IEEE, 2018: 838-842[2022-10-20].

[9] YAO Yiqing, XU Xiaosu, ZHU Chenchen, et al. A hybrid fusion algorithm for GPS/INS integration during GPS outages[J]. Measurement, 2017, 103: 42-51.

[10] LIU Cijia, WANG Bo, LI Guanghua, et al. SINS/DVL integrated navigation method with current compensation using RBF neural network[J]. IEEE Sensors Journal, 2022, 22(14): 14366-14377.

[11] YAO Wenkai, XING Liwen. Application of RBF neural network in navigation filtering algorithm[C]// Journal of Physics: Conference Series, 2020, 1616(1): 012021.

[12] ZHANG Yuexin, WANG Lihui. A hybrid intelligent algorithm DGP-MLP for GNSS/INS integration during GNSS outages[J]. The Journal of Navigation, 2019, 72(2): 375-388.

[13] FANG Wei, JIANG Jinguang, LU Shangqiu, et al. A LSTM algorithm estimating pseudo measurements for aiding INS during GNSS signal outages[J]. Remote Sensing, 2020, 12(2): 256.

[14] DUSHA D, MEJIAS L. Error analysis and attitude observability of a monocular GPS/visual odometry integrated navigation filter[J]. The international Journal of Robotics Research, 2012, 31(6): 714-737.

[15] RICHARD H, ANDREW Z. Multiple view geometry in computer vision[M]. Oxford: Oxford University Press, 2004: 151-233.

[16] GODHA S, CANNON M E. GPS/MEMS INS integrated system for navigation in urban areas[J]. GPS Solutions, 2007, 11(3): 193-203.

[17] GEIGER A, LENZ P, STILLER C, et al. Vision meets robotics: The KITTI dataset[J]. The International Journal of Robotics Research, 2013, 32(11): 1231-1237.

GNSS and visual odometry integrated localization method based on LSTM neural network

LIN Qiuliang1, ZHAO Youbing2, FENG Wei1, HUANG Dingfa1

（1. Faculty of Geosciences and Environmental Engineering, Southwest Jiaotong University, Chengdu 610000, China;2. China Railway Eryuan Engineering Group Co. Ltd., Chengdu 610000, China）

Aiming at the problem of positioning accuracy degradation for combination of global navigation satellite system (GNSS) and visual odometry (VO) when GNSS has an outage, the paper proposed a combined GNSS/VO positioning method based on the assistance of long short-term memory (LSTM) neural network: with GNSS’ normal work, the feature vectors of LSTM were constructed by using the displacement increment and attitude of VO, and the position increment solved by GNSS was used as the output to train the LSTM neural network; with GNSS’ outage, the pseudo GNSS observation was calculated by using the outputs of LSTM neural network, and then was loosely integrated with the results of VO for realizing the combined positioning of GNSS/VO. Experimental result showed that in the absence of the GNSS signal for 30, 60, 120 s, the proposed method would improve the positioning accuracy by 62%, 64% and 69%, respectively, indicating that the method could effectively improve the positioning ability of the integrated navigation system in GNSS rejection environment.

global navigation satellite system (GNSS); integrated navigation; long short-term memory (LSTM); neural network; GNSS rejection; visual odometry (VO)

林秋良, 趙有兵, 馮威, 等. LSTM神經(jīng)網(wǎng)絡(luò)輔助的GNSS/VO組合定位方法[J]. 導(dǎo)航定位學(xué)報(bào), 2023, 11(3): 156-164.（LIN Qiuliang, ZHAO Youbing, FENG Wei, et al. GNSS and visual odometry integrated localization method based on LSTM neural network[J]. Journal of Navigation and Positioning, 2023, 11(3): 156-164.）

10.16547/j.cnki.10-1096.20230321.

P228

A

2095-4999(2023)03-0156-09

2022-11-08

國(guó)家自然科學(xué)基金項(xiàng)目（42171429）；中國(guó)國(guó)家鐵路集團(tuán)有限公司科技研究開發(fā)計(jì)劃重大課題（K2020X017）。

林秋良（1997—），男，重慶人，碩士研究生，研究方向?yàn)榻M合導(dǎo)航。

馮威（1984—），男，湖北黃岡人，博士，副教授，研究方向?yàn)镚NSS高精度導(dǎo)航定位理論與應(yīng)用。