室外眩光場景ORB-SLAM2穩(wěn)健定位模型研究

吳思齊,劉 飛,白 羽,馬運(yùn)濤,王 斐,郭梓鈺

(1.北京建筑大學(xué)理學(xué)院,北京 102616; 2.北京建筑大學(xué)測繪與城市空間信息學(xué)院,北京 102616;3.東方通用航空攝影有限公司,山西 太原 030031)

近年來,視覺同時(shí)定位和地圖構(gòu)建(simultaneous localization and mapping, SLAM)伴隨計(jì)算機(jī)視覺的快速發(fā)展受到了廣泛關(guān)注,同時(shí)單目視覺傳感器相比于昂貴的激光傳感器,更易受到自動(dòng)駕駛、移動(dòng)機(jī)器人、無人機(jī)等領(lǐng)域的青睞[1-2],因此Mono-SLAM技術(shù)被廣泛研究,各種算法層出不窮。文獻(xiàn)[3]提出基于比較像素亮度等信息的直接視覺里程計(jì)方法,但在復(fù)雜光照變化場景下穩(wěn)定性較差。文獻(xiàn)[4]提出改進(jìn)收斂半徑優(yōu)化匹配算法對(duì)抗室外光照,文獻(xiàn)[5]采用對(duì)光照變化較為穩(wěn)健的ORB特征點(diǎn)法對(duì)相機(jī)定位。但在實(shí)際戶外復(fù)雜多變的光照?qǐng)鼍爸?相機(jī)捕獲的圖片常常會(huì)被噪聲污染,使得上述方法失效。特別是亮度較高的條狀眩光被誤匹配為特征點(diǎn),而圖片其他紋理明顯區(qū)域由于相機(jī)感光度設(shè)定使得對(duì)比度下降,導(dǎo)致特征點(diǎn)提取失敗,進(jìn)一步造成視覺SLAM系統(tǒng)穩(wěn)定性降低、軌跡跟蹤丟失率過高等問題,甚至導(dǎo)致整個(gè)視覺SLAM系統(tǒng)宕機(jī)。

因此,為解決現(xiàn)有視覺SLAM算法在戶外眩光場景下穩(wěn)定性較差的問題,本文提出一種改進(jìn)的視覺ORB-SLAM2算法,以提升室外復(fù)雜光照?qǐng)鼍跋碌腟LAM跟蹤穩(wěn)健性,并通過戶外試驗(yàn)驗(yàn)證該算法的有效性。

1 改進(jìn)ORB-SLAM2算法模型

本文提出的改進(jìn)ORB-SLAM2算法框架如圖1所示。在原有視覺ORB-SLAM2框架基礎(chǔ)上,增加圖片眩光處理模塊,并利用滑窗思想判斷已去除眩光圖片的亮度;對(duì)低亮度圖像通過限制對(duì)比圖自適應(yīng)直方圖均衡化(CLAHE)處理,提高紋理變化明顯區(qū)域特征點(diǎn)的提取數(shù)量,降低軌跡跟蹤丟失率,以增強(qiáng)室外眩光場景SLAM系統(tǒng)的穩(wěn)健性。

圖1 改進(jìn)ORB-SLAM2算法流程

1.1 U-Net網(wǎng)絡(luò)去除眩光模型

1.1.1 眩光成因

如圖2所示,在一張無眩光污染的圖片中,每個(gè)像素點(diǎn)在傳感器上的信息是由光源發(fā)射的所有光線經(jīng)相機(jī)鏡頭折射并全部匯聚到該點(diǎn)形成的。但在實(shí)際戶外場景中,相機(jī)鏡頭常常因受到污染或內(nèi)部元件損壞等因素的影響,少量入射光線在鏡頭內(nèi)部發(fā)生折射和反射,導(dǎo)致圖片受到眩光的污染。

圖2 眩光成像模型

1.1.2 眩光去除模型

現(xiàn)有防治或減少眩光影響的方法大體分為3類: ①通過物理方法在相機(jī)鏡頭涂抹防反射材料[6]或在鏡頭表明增加玻璃透鏡防止鏡頭污染。前者只能減少特定波長光線造成的眩光影響,且價(jià)格高昂不宜普及;后者會(huì)使入射光線在玻璃透鏡表明發(fā)生反射與折射的可能性增加,更加不利于眩光的防治。 ②通過傳統(tǒng)圖像處理的方法識(shí)別圖像明亮區(qū)域[7-9]再應(yīng)用二進(jìn)制掩碼加以去除。此方法檢測眩光類型有限,同時(shí)會(huì)將圖像本身明亮區(qū)域誤當(dāng)作眩光區(qū)域去除,造成圖片信息缺失。 ③通過神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方式去除圖片眩光。計(jì)算機(jī)視覺技術(shù)的發(fā)展推動(dòng)了圖像處理技術(shù)的進(jìn)步,如采取半監(jiān)督等方式去除圖片反射[10-12]、利用Gan網(wǎng)絡(luò)對(duì)圖像去雨[13-14],但圖像去除眩光算法進(jìn)展緩慢,主要原因是成對(duì)的眩光圖片數(shù)據(jù)集較難收集。2021年文獻(xiàn)[15]在實(shí)驗(yàn)室人工合成5000張眩光圖片,利用U-Net網(wǎng)絡(luò)訓(xùn)練實(shí)現(xiàn)單張圖片的眩光去除。本文利用此方法處理定位相機(jī)捕獲的圖片,以減少眩光對(duì)圖片信息的干擾。

U-Net網(wǎng)絡(luò)框架如圖3所示。其中,網(wǎng)絡(luò)輸入端、輸出端分別是3通道受到眩光污染及已去除眩光的RGB圖像;該網(wǎng)絡(luò)左側(cè)(虛線)為特征提取網(wǎng)絡(luò),由4個(gè)block組成,每個(gè)block包含2次卷積和1次最大池化降采樣操作,可充分提取圖片特征;網(wǎng)絡(luò)右側(cè)為特征融合網(wǎng)絡(luò),同樣由4個(gè)block組成,每個(gè)block包含2次卷積和1次插值上采樣操作,用于恢復(fù)圖片尺寸。由于受眩光污染的圖像往往同時(shí)包含眩光和光源,為避免網(wǎng)絡(luò)將光源本身作為眩光去除,對(duì)網(wǎng)絡(luò)輸出結(jié)果添加mask,將光源區(qū)域像素值調(diào)整為真實(shí)值,則該部分損失值為0。該網(wǎng)絡(luò)損失定義為

圖3 U-Net網(wǎng)絡(luò)框架

(1)

(2)

1.2 圖像亮度判斷及增強(qiáng)算法

為避免因產(chǎn)生眩光使圖片紋理變化明顯區(qū)域較暗,造成特征點(diǎn)提取不足的問題,本文對(duì)已去除眩光圖像采用CLAHE方法進(jìn)行處理。CLAHE對(duì)圖像低亮度區(qū)域有較好提升對(duì)比度的效果,但對(duì)亮度正常或高亮度圖像使用CLAHE方法往往會(huì)放大圖像噪聲,對(duì)ORB特征點(diǎn)提取造成干擾。因此,本文設(shè)計(jì)一種圖像亮度判斷算法,僅對(duì)低亮度圖像采用CLAHE處理,算法流程如圖4所示。

圖4 圖像亮度判斷及增強(qiáng)算法流程

將輸入的第i幀圖像分成9塊,計(jì)算每個(gè)子塊的平均灰度并排序?yàn)閕mg[k],k=1,2,…,9,圖中

(3)

(4)

t1、t2表示灰度判定閾值,本文根據(jù)經(jīng)驗(yàn)值分別設(shè)定為30、90。為避免光照復(fù)雜變化造成亮度判定結(jié)果不穩(wěn)定,本文設(shè)計(jì)一種滑窗增加此算法的穩(wěn)健性,窗口大小等同于定位相機(jī)每秒傳輸圖像幀數(shù)(FPS),對(duì)于當(dāng)前第i幀圖像,其亮度imgMidi判斷值用Min(imgMid_windos_FPSi)的數(shù)值代替。其中,imgMid_windos_FPSi表示第i幀圖像至第i+FPS幀圖像相應(yīng)灰度值室的窗口列表。

2 數(shù)據(jù)獲取與試驗(yàn)分析

2.1 U-Net網(wǎng)絡(luò)訓(xùn)練集及設(shè)備說明

分別使用文獻(xiàn)[5]發(fā)布的25 000余張無眩光污染圖像和VGG-19預(yù)訓(xùn)練模型合成訓(xùn)練數(shù)據(jù)和提取圖像特征,眩光圖在使用在光學(xué)實(shí)驗(yàn)室發(fā)布[15]基礎(chǔ)上,增加眩光圖像[16],共計(jì)10 001張,可有效去除多種類型眩光,U-Net網(wǎng)絡(luò)使用NVIDIA GeForce RTX 3070顯卡訓(xùn)練。

2.2 室外眩光數(shù)據(jù)集及設(shè)備說明

本文使用Intel RealSense D435i相機(jī)采集室外圖像,RGB圖像分辨率設(shè)定為640×480像素,相機(jī)FPS設(shè)定為30。為體現(xiàn)本文算法對(duì)室外眩光場景的穩(wěn)健性,采集包含強(qiáng)眩光干擾且眩光分布在試驗(yàn)路線起始段、結(jié)束段等多種數(shù)據(jù)集。截取視頻序列如圖5所示。其中,11021數(shù)據(jù)集在試驗(yàn)路線起始段受眩光干擾,11010數(shù)據(jù)集在試驗(yàn)路線結(jié)束段受眩光干擾,10250數(shù)據(jù)集因光線較強(qiáng)造成圖像紋理變化明顯區(qū)域?qū)Ρ榷冗^低。

圖5 連續(xù)5幀眩光序列

2.3 眩光去除與圖像增強(qiáng)效果

在圖像眩光去除方面,試驗(yàn)結(jié)果如圖6所示,場景1、場景2受眩光干擾,經(jīng)U-Net網(wǎng)絡(luò)可有效去除圖片眩光,場景3未受眩光污染經(jīng)該網(wǎng)絡(luò)處理仍可保持原始信息,對(duì)該網(wǎng)絡(luò)輸出結(jié)果經(jīng)本文亮度判斷算法及CLAHE增強(qiáng)處理,低亮度圖像圖片質(zhì)量得到較大提升。

2.4 ORB特征點(diǎn)提取與跟蹤效果

對(duì)改進(jìn)的SLAM系統(tǒng)進(jìn)行戶外試驗(yàn),模擬數(shù)據(jù)選取10250序列數(shù)據(jù)集,基于Ubuntu18.04操作系統(tǒng),部分試驗(yàn)結(jié)果如圖7所示。在試驗(yàn)中,該序列數(shù)據(jù)集第1008幀在原始SLAM系統(tǒng)中提取大量錯(cuò)誤眩光特征點(diǎn),并隨著相機(jī)繼續(xù)運(yùn)動(dòng)特征點(diǎn)提取數(shù)量不足造成圖像軌跡跟蹤失敗,SLAM系統(tǒng)無法繼續(xù)運(yùn)行。經(jīng)本文算法改進(jìn)后,該幀圖像眩光部分得到有效去除,紋理變化明顯區(qū)域的特征點(diǎn)提取數(shù)量顯著增加,該數(shù)據(jù)集可在SLAM系統(tǒng)中持續(xù)建圖直至視頻結(jié)束,驗(yàn)證本文改進(jìn)的ORB-SLAM2系統(tǒng)對(duì)室外眩光場景有更好的穩(wěn)健性。

圖7 試驗(yàn)結(jié)果對(duì)比

2.5 軌跡驗(yàn)證結(jié)果

在關(guān)閉回環(huán)檢測模塊的條件下分別測試在試驗(yàn)路線起始段受炫光干擾的11010數(shù)據(jù)集(逆時(shí)針行進(jìn))及在試驗(yàn)路線結(jié)束段受炫光干擾的11021數(shù)據(jù)集(順時(shí)針行進(jìn)),試驗(yàn)結(jié)果如圖8所示,結(jié)果顯示,采用本文改進(jìn)的ORB-SLAM2算法,相機(jī)在繞行試驗(yàn)路線1周后均可回到起點(diǎn),而原始ORB-SLAM2系統(tǒng)在兩條軌跡上都出現(xiàn)較嚴(yán)重的軌跡漂移,且軌跡首尾端存在較大間隙,誤差較大,進(jìn)一步驗(yàn)證本文改進(jìn)的SLAM算法在室外眩光場景下的穩(wěn)健性較高。

圖8 運(yùn)行軌跡對(duì)比

3 結(jié) 語

針對(duì)傳統(tǒng)視覺SLAM系統(tǒng)在室外眩光環(huán)境下穩(wěn)定性較差的問題,本文提出了一種可用于戶外含有眩光干擾的改進(jìn)視覺SLAM算法。首先對(duì)視覺相機(jī)捕獲的圖像經(jīng)U-Net網(wǎng)絡(luò)檢測并去除眩光,減少眩光對(duì)特征點(diǎn)提取的干擾,對(duì)無眩光干擾的圖像仍可保持原始圖片信息輸出;然后經(jīng)圖像亮度判斷算法判斷去除眩光干擾的圖像,對(duì)低亮度圖像進(jìn)行限制對(duì)比度直方圖均衡化處理,提高圖像紋理變化明顯區(qū)域?qū)Ρ榷?增加相應(yīng)區(qū)域特征點(diǎn)提取數(shù)量。在實(shí)際戶外場景下的試驗(yàn)表明,本文算法可有效增加在復(fù)雜眩光場景下SLAM系統(tǒng)的定位精度和穩(wěn)健性。