視覺SLAM環(huán)境感知技術現(xiàn)狀與智能化測繪應用展望

張繼賢,劉 飛

1. 國家測繪產(chǎn)品質(zhì)量檢驗測試中心,北京 100830; 2. 北京建筑大學測繪與城市空間信息學院,北京 102616

SLAM技術作為一種即時匯集未知環(huán)境幾何、拓撲、語義等信息的前沿科技,逐漸成為一種集導航定位、地圖構建、目標檢測和場景識別為一體的測繪技術,在自動駕駛、智能機器人、增強現(xiàn)實等領域發(fā)揮了重要作用[1-5],逐漸形成了以激光和相機為主的激光SLAM、視覺SLAM兩種技術模式,其中前者起步早、發(fā)展相對成熟,后者正處于快速發(fā)展與完善階段[6]。通常情況下,人類從外界獲得的信息約90%來自眼睛,而視覺SLAM具有類似特點,可以從周邊環(huán)境中獲取海量、冗余紋理等測繪要素,并擁有優(yōu)異的場景辨別能力,配合其優(yōu)異的性價比,受到諸多學者的青睞。為此,本文重點圍繞視覺SLAM環(huán)境感知技術及其在測繪方面的應用進行論述。

視覺SLAM環(huán)境感知技術是指搭載視覺傳感器的載體在沒有環(huán)境先驗信息的情況下,在運動過程中建立環(huán)境模型,同時估計載體運動[7-9],先后經(jīng)歷了傳統(tǒng)時代(1986—2004)、算法分析時代(2004—2015)、穩(wěn)健性-預測性時代(2015至今) 3個發(fā)展階段[10],形成了VO(visual odometry)、VIO(visual-inertial odometry)、SLAM等典型算法模型,涌現(xiàn)出了適用于單目、雙目、RGB-D等多種傳感器的視覺SLAM環(huán)境感知技術路線,促進了視覺SLAM環(huán)境感知技術在導航、定位和制圖等方面的快速發(fā)展,并在自動駕駛、航空攝影測量、地面移動測量、信息提取與場景重建等測繪業(yè)務中的得到應用[11-13]。

當今,人類社會正逐漸向智能化時代邁進。我國在《2019年政府工作報告》中將人工智能升級為“智能+”,美國、歐盟等全球38個國家、地區(qū)制定了國家層面的人工智能戰(zhàn)略和政策,推動了人工智能技術研究不斷走向深入。隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新一代信息技術更新發(fā)展,推動智能化測繪技術進步和事業(yè)轉型升級,已成為測繪業(yè)界關心的熱門話題[14]。視覺SLAM技術可以實時獲取位置、地圖、紋理、語義和文字等環(huán)境信息,成為環(huán)境感知的主要途徑之一,但如何通過新一代信息技術的加持,深入探索基于視覺SLAM的環(huán)境感知“眼睛”、深度學習算法的“大腦”和眾包地理信息的“課堂教學”之間的耦合發(fā)展方式,攻克基于視覺SLAM環(huán)境感知技術的地理信息環(huán)境感知、知識匯聚和智能化應用技術,進一步提高測繪生產(chǎn)力和生產(chǎn)要素的智能化水平,成為當前亟待解決的技術難題。

為了深入探討基于視覺SLAM環(huán)境感知技術支持的智能化測繪發(fā)展,需要厘清視覺SLAM環(huán)境感知技術概念、理論、技術發(fā)展動態(tài),以及當前的測繪應用特點。為此,筆者分析了視覺SLAM環(huán)境感知技術的發(fā)展現(xiàn)狀,探討了智能化時代的視覺SLAM環(huán)境感知技術發(fā)展方向,進而提出了智能化時代基于視覺SLAM環(huán)境感知技術的智能化測繪應用模式。

1 視覺SLAM環(huán)境感知技術研究進展

經(jīng)過30多年的發(fā)展,視覺SLAM環(huán)境感知技術的理論框架已經(jīng)逐漸清晰,包括前端、后端、回環(huán)檢測和制圖4個主要的技術環(huán)節(jié)。前端的任務是估算相鄰圖像采集時相機的運動和計算局部地圖;后端主要是基于回環(huán)檢測信息對圖像位姿和地圖信息進行優(yōu)化;回環(huán)檢測則是根據(jù)圖像信息識別已經(jīng)出現(xiàn)的場景或位置,如果檢測到回環(huán),然后把信息提供給后端進行處理;制圖環(huán)節(jié)主要根據(jù)估計的軌跡,建立對應的地圖[7]。近年來,隨著4個主要環(huán)節(jié)技術的不斷發(fā)展變化,逐漸形成了以特征點法SLAM、直接法SLAM、視覺指紋庫SLAM、語義SLAM和類腦SLAM等為主體的視覺SLAM技術框架和算法模型,并在智慧交通、場景測繪、防災減災、虛擬(增強)現(xiàn)實和智慧醫(yī)療等領域開展了產(chǎn)業(yè)化應用探索。表1列舉了30多年來典型的實時視覺SLAM環(huán)境感知算法模型。

表1 典型視覺SLAM環(huán)境感知算法模型

1.1 特征點法視覺SLAM

特征點法視覺SLAM技術是建立在圖像特征信息處理基礎上,基于同名像點之間的最小歐氏距離或者像平面重投影誤差(reprojection error)最小化原理進行估算相鄰圖像間相機的運動、定位信息和構建局部地圖的技術[7,15],是視覺SLAM發(fā)展較早的一種方法。文獻[16]首次實現(xiàn)了基于濾波算法的實時SLAM技術,文獻[17]發(fā)展了基于非線性優(yōu)化的多線程并行處理PTAM(parallel tracking and mapping)算法。文獻[18]提出S-PTAM(stereo PTAM)算法,將姿態(tài)估計與地圖構建等并行處理。文獻[19]提出ORB-SLAM算法,并經(jīng)過ORB-SLAM2[3]和ORB-SLAM3[20]算法的完善和提升,發(fā)展成了一套適用單目、雙目和RGB-D相機,且可實時處理的特征點法視覺SLAM技術框架,在精度方面,ORB-SLAM2算法可以實現(xiàn)百米距離內(nèi)優(yōu)于1%的相對定位精度和0.21°的姿態(tài)測量精度[3]。濾波和非線性優(yōu)化是早期兩種不同后端處理方式的技術框架,前者計算效率高,后者計算精度高,目前二者逐漸朝著相向的方向發(fā)展[21-22]。隨著S-PTAM、ORB-SLAM、ORB-SLAM2和ORB-SLAM3等特征點法典型模型的提出,特征點法視覺SLAM的技術框架基本確定,其中ORB-SLAM系列憑借支持多種傳感器、優(yōu)異的計算性能和精度、 有效的回環(huán)檢測算法和并行計算等特點,成為特征點法視覺SLAM的基礎參考,圖1展示了特征點法視覺SLAM的技術框架[3,19-20,23]。

圖1 特征點法視覺SLAM技術框架Fig.1 The technical framework of feature-based visual SLAM

特征點法視覺SLAM技術是多種方法中研究時間較久,較為成熟的方案之一,美國“機遇號”“勇氣號”和“好奇號”火星探測車,以及中國的“月兔號”月球車采用光束法平差(bundle adjustment,BA)方法進行著陸過程中的位置和姿態(tài)解算,支撐了探測車安全避障與路徑規(guī)劃所需的基礎地圖制作[33],而BA方法也是視覺SLAM位姿估計和圖優(yōu)化的重要方法之一。文獻[34—35]實現(xiàn)了基于無人機視覺SLAM技術的DOM(數(shù)字正射影像)、DSM(數(shù)字表面模型)和DEM(數(shù)字高程模型)等測繪產(chǎn)品的實時制作。文獻[36]采用單目SLAM技術實時構造不同高度的網(wǎng)格地圖,為無人機平臺動態(tài)選擇合適的著陸區(qū)域,為交互式路徑規(guī)劃技術提供了支撐。由于受稀疏的紋理環(huán)境、復雜的光照和高動態(tài)場景影響比較嚴重,且在特征提取、描述和匹配等方面需要較大的計算資源,特征點法視覺SLAM技術的產(chǎn)業(yè)應用受到了一定限制,尤其是構建稠密地圖受到影響更甚。

1.2 直接法視覺SLAM

為了降低圖像特征處理時間和計算資源的消耗,直接法視覺SLAM技術應運而生。直接法視覺定位技術假設兩幀圖像中的匹配像素的灰度值不變,構建光度誤差函數(shù),基于圖像間光度誤差(photometric error)最小化原理進行位姿變化計算。過程中僅需特征提取,無須特征描述與匹配[37]。相比于特征點法只能構建稀疏點云地圖(構建半稠密或稠密需要采取其他技巧),直接法可以利用圖像上全部像素信息,具備構建半稠密和稠密地圖的能力,在紋理稀疏場景具有一定優(yōu)勢。

直接法視覺SLAM是建立在圖像亮度一致性假設和光流法基礎上發(fā)展起來的。文獻[15,24]提出了完整的直接法SLAM框架DTAM(dense tracking and mapping),通過稠密、亞像素和精確多視立體重建等進行軌跡跟蹤和三維模型重建。LSD-SLAM(large scale direct SLAM)的問世,成為第一個大尺度直接法單目視覺SLAM方法[25,38],利用圖像中像素梯度顯著的區(qū)域進行位姿跟蹤和深度重構,可以恢復半稠密的三維場景地圖,文獻[38]將其拓展到雙目與大視角相機,實現(xiàn)了手機端的AR應用等其他功能,成為了直接法中最具代表性的技術框架[39]。文獻[26]在2013年基于圖像中全部像素光度誤差和深度誤差最小化原理提出了DVO-SLAM(dense visual odometry SLAM)算法框架,定位精度可達0.19 m,成為了基于RGB-D相機進行視覺SLAM技術的基礎。作為視覺SLAM的前端技術,DSO(direct sparse odometry)視覺里程計出現(xiàn)和發(fā)展,憑借良好的運算速度與跟蹤精度,將直接法視覺SLAM技術推向了一個新的高度[40-41]。文獻[40]提出了半直接法(semi-direct monocular visual odometry,SVO),利用直接法估計相機運動及特征點位置,又對關鍵幀影像的路標點進行了優(yōu)化,該方法可以獲得更精確、穩(wěn)健和高效的結果,也被廣泛研究。圖2展示了直接法視覺SLAM算法的技術框架,不同于特征點法視覺SLAM技術的是前端和制圖兩部分內(nèi)容,其中前端主要基于圖像灰度信息進行位姿估計和跟蹤,建圖部分半稠密和稠密地圖是直接法的特色和亮點。

圖2 直接法視覺SLAM簡要技術框架Fig.2 The brief technical framework of direct-based visual SLAM

直接法視覺SLAM無須計算特征描述子,結合像素梯度計算結果即可完成跟蹤和半稠密或稠密地圖的構建,對計算資源要求低,消耗時間短,成為近年來應用研究的重點。意大利Leonardo軍工公司在無人機軍用編隊項目中將LSD-SLAM(large-scale direct monocular SLAM)算法與無人機集成,開展障礙物識別工作[42]。地平線公司采用StereoDSO算法進行稠密地圖重建、3D環(huán)境感知與語義重建,研制了系列適用圖像處理的自動駕駛應用芯片,推動了視覺SLAM技術的智能化發(fā)展[43]。直接法SLAM由于存在圖像灰度一致性假設、較小運動場景適用和圖像塊相關性計算等問題,在一定程度上限制了直接法SLAM的發(fā)展,為此未來需要進一步地攻克上述問題。

1.3 視覺指紋庫SLAM

人類可以通過回憶判斷曾經(jīng)到達過的位置,而視覺指紋庫SLAM技術賦予了機器人構建地圖和場景識別的能力。該技術根據(jù)預先構建的物理世界視覺指紋庫[44]與當前位置的視覺詞袋模型進行匹配,利用場景外觀概率識別算法,確定機器人位置,并基于環(huán)境信息更新指紋庫。

早期基于整體或者局部特征相似度的視覺指紋庫SLAM方法雖然得到了大量的研究和嘗試,但是在應用方面仍然存在較大的局限性。文獻[45]提出了視覺詞袋模型(bag of words,BoW),推動了基于BoW和回環(huán)檢測結合的視覺指紋庫SLAM技術得到快速發(fā)展。文獻[27,46]提出了FAB-MAP算法,其2.0版本的模型在1000 km的路線測試中被證明是一種成功的場景識別算法,在100%的精度下,召回率為6.5%,足以支持一個好的尺度SLAM系統(tǒng),成為了基于視覺指紋庫SLAM方法的城市或者更大尺度場景定位和建模的重要基礎。圖3展示了簡要的技術框架:首先對物理世界進行建模,構建物理世界的視覺指紋庫,也即先驗地圖;其次將感知的圖像信息轉換成視覺單詞;然后計算視覺單詞與視覺指紋庫的相似度,進而實現(xiàn)位置確定,并將物理世界的信息更新至視覺指紋庫中[27]。具有類似原理的視覺場景識別(visual place recognition,VPR)技術也是視覺指紋庫SLAM感知技術的一種重要形式,得到了廣泛的研究和應用[47-48]。

圖3 視覺指紋庫SLAM技術框架Fig.3 The technical framework of fingerprint-based visual SLAM

視覺指紋庫SLAM技術屬于一種長時間序列、大空間尺度的視覺SLAM感知方法。文獻[49]提出了SeqSLAM(sequence SLAM)算法,即使存在因季節(jié)、天氣、晝夜變化等因素引起的極端環(huán)境變化導致基于特征的算法失敗時,該方法仍然能夠以100%的準確率和60%的召回率實現(xiàn)軌跡匹配,被認為是最成功的環(huán)路閉合檢測算法。為了降低計算資源消耗和大型地圖的處理,文獻[50]提出了Fast-SeqSLAM算法,進一步降低了計算復雜度,提高了計算效率。文獻[51]采用混合緊湊型神經(jīng)網(wǎng)絡模型進行視覺位置識別,取得了比SeqSLAM更加優(yōu)異的結果。文獻[52]基于改進的VPR提出更具潛力的適用于自動駕駛需求的大范圍場景識別技術。當前視覺指紋庫SLAM技術已經(jīng)解決了物理視覺的數(shù)據(jù)表達、關聯(lián)和搜索等問題,被廣泛應用于大范圍場景的定位和識別,通過與無人機、無人車、無人潛航器等智能化裝備結合應用[48],成為推動人工智能技術發(fā)展的重要因素。

1.4 語義視覺SLAM

語義視覺SLAM是一種匯聚語義和SLAM技術的具有尺度、拓撲和語義地圖構建功能為一體的視覺環(huán)境感知技術,可以基于典型的SLAM技術結合物體類別、目標檢測、語義分割等語義信息,實現(xiàn)物理環(huán)境幾何、拓撲和語義信息的獲取和地圖構建,并用于導航定位等功能,是當前視覺SLAM領域的一個熱點研究方向[10,53]。

20世紀中葉美國心理學家E·C·托爾曼提出了認知地圖(cognitive map)的概念,拉開了語義地圖相關技術研究的序幕,到了70年代語義地圖和機器人技術緊密結合起來[54]。然而,語義視覺SLAM則是近年來隨著典型SLAM技術發(fā)展而來的新技術[55]。按照算法集成模式劃分,可以分為兩類處理方式,一類是獨立的SLAM與目標識別算法結合方式。文獻[54]提出空間和語義結合,到文獻[29]提出的SLAM++算法,是比較早期整合語義信息進行定位和制圖的算法,其中YOLO(you only look once)系列目標識別算法被廣泛用于語義視覺SLAM技術研究[56-57]。另一類是將語義與SLAM耦合處理的方式。文獻[58]首次將幾何、語義和IMU(inertial measurement unit)信息統(tǒng)一到單個優(yōu)化框架中,用語義信息輔助提高定位精度,取得比單目ORB-SLAM更加優(yōu)異的結果。按照模型中語義作用劃分,可以分為服務于特征選擇算法,獲得對光照和視角變化穩(wěn)健性更好的特征點[59];服務于減弱圖像中動態(tài)物體影響,提高系統(tǒng)的穩(wěn)健性[60];服務于單目視覺SLAM尺度恢復[61];服務于長時間序列定位[62]和定位精度提高[57]等方面。近年來隨著深度學習算法的發(fā)展,如文獻[30]提出的CNN-SLAM(convolutional neural network SLAM)算法,深度估計誤差低于真實值10%,位姿估計精度優(yōu)于LSD-SLAM方法,推動了深度學習支持的語義視覺SLAM技術成為了研究熱點[63]。圖4展示了語義視覺SLAM算法的技術框架,包括跟蹤與位姿計算、地圖構建、回環(huán)檢測和語義重建等部分[64]。其中前3部分是傳統(tǒng)SLAM的技術框架,語義重建部分通常結合本文歸納的兩種處理方式實現(xiàn)。

圖4 語義視覺SLAM技術框架Fig.4 The technical framework of semantic visual SLAM

語義視覺SLAM環(huán)境感知技術目前處于快速發(fā)展的階段,逐漸成為了推動智能裝備從被動規(guī)劃式環(huán)境感知技術向主動交互式環(huán)境感知技術發(fā)展的重要力量。文獻[60]利用語義視覺SLAM技術在高動態(tài)環(huán)境中克服了傳統(tǒng)視覺SLAM技術靜態(tài)環(huán)境假設的應用前提,提高了車輛導航時與動態(tài)環(huán)境的交互性。文獻[65]開展了道路環(huán)境下的快速3D語義地圖構建技術研究,能夠識別道路、人行道、墻體、地形、植被、交通標識和汽車等物體。文獻[66]利用語義和粒子濾波技術自動構建了城市場景車道級高精度地圖,伴隨該方向的深入研究,相關成果可以為自動駕駛車輛提供地圖支撐。文獻[67]詳細地描述了語義視覺SLAM環(huán)境感知技術在動態(tài)環(huán)境理解與制圖、靜態(tài)場景理解、與人類和環(huán)境的交互,以及機器人改善工作能力等方面的作用,進一步為語義視覺SLAM環(huán)境感知技術的應用拓展指明了方向。未來,隨著語義視覺SLAM技術在目標檢測、數(shù)據(jù)關聯(lián)準確性方面的提高,以及復雜算法與計算資源之間矛盾的優(yōu)化,將會進一步促進該技術在語義地圖、場景解譯、高精度導航定位等領域的應用。

1.5 類腦視覺SLAM

人類和動物在陌生環(huán)境的導航能力,吸引了對類腦導航與空間認知結合的仿生導航技術的不斷探索。隨著視覺SLAM技術的發(fā)展,采用腦科學、人工智能有機結合的類腦視覺SLAM技術開始嶄露頭角,成為近年來的研究熱點。類腦視覺SLAM指智能設備依靠視覺傳感器,依賴大腦導航機制,具有自主學習進化、環(huán)境感知、認知地圖構建于一體的一種新型視覺SLAM技術方法[68]。

自1971年O'Keefe和Dostrovsky發(fā)現(xiàn)嚙齒動物具有方向細胞和導航細胞,到2014年O'Keefe等人發(fā)現(xiàn)“構成大腦定位系統(tǒng)的細胞”獲得諾貝爾醫(yī)學獎。研究發(fā)現(xiàn)哺乳動物海馬體中的“位置”細胞(place cell)、“網(wǎng)格”細胞(grid cell)、“方向”細胞(head direction cell)、“邊界”細胞(boundary vector cell)和“條紋”細胞(band cell)等是哺乳動物感知環(huán)境、構建環(huán)境認知地圖和導航的主要支撐[69]。相關研究人員基于哺乳動物海馬體對環(huán)境的認知和導航機理,提出了仿生導航概念,類腦視覺SLAM技術逐漸開展起來[70]。文獻[31,71—72]利用相關支撐條件,提出RatSLAM算法模型,并不斷發(fā)展完善,實現(xiàn)了2D郊區(qū)地圖繪制和超過2周時間的辦公環(huán)境導航功能,開創(chuàng)了類腦SLAM算法的先河,為眾多改進型算法模型的研究奠定了基礎。文獻[70]基于3D網(wǎng)格細胞和方向細胞提出了適用3D環(huán)境下的NeuroSLAM算法,在大型、非結構化、不可預測的環(huán)境中推動了腦感知SLAM的進一步發(fā)展。另外,基于仿生眼技術的視覺SLAM解決方案,能夠在紋理稀疏環(huán)境主動搜索豐富的紋理環(huán)境,提升視覺SLAM的穩(wěn)健性,也為類腦視覺SLAM提供一種新的解決方案[73]。圖5展示了腦感知SLAM的簡要技術框架,主要由4部分內(nèi)容組成。首先,圖像預處理部分基于圖像信息進行圖像特征或視覺單詞提取、位姿估計和路徑整合等;其次,物體感知部分進行物體感知和閉環(huán)檢測,服務于過往場景識別或新場景補充;然后,位置感知部分利用相關定位細胞進行位姿計算;最后,利用物體感知和位置感知的結果構建具備環(huán)境拓撲和局部度量的環(huán)境地圖,也即情景認知地圖[32,74]。

圖5 類腦視覺SLAM技術框架[74]Fig.5 The technical framework of brain-like visual SLAM[74]

作為新興的仿生導航技術,類腦視覺SLAM環(huán)境感知技術仍然處于發(fā)展的初級階段,眾多學者圍繞定位、制圖等方面進行研究,但是在賦予機器人自主交互能力和算法應用等方面仍然面臨著較大的挑戰(zhàn)。隨著類腦視覺SLAM技術與傳感、認知、學習和控制等技術的深度融合,將會賦予下一代機器人智能感知、自我學習與認知、與人類和環(huán)境交互的能力[75],推動機器人環(huán)境感知技術更加擬人化[76]。

制圖是視覺SLAM的重要功能之一,圖6展示了視覺SLAM方法可以形成的6種地圖形式。其中圖6(a)、(b)、(c)是尺度地圖的3種表示形式,也即根據(jù)地圖的稀疏程度精確地表示了地圖中物體的位置關系;拓撲地圖不具備真實的物理尺寸,只表示不同地點的連通關系和距離,常用于路徑規(guī)劃和定位約束;語義地圖是加標簽的尺度地圖,常用于人機交互,可提供目標物體類型、空間形態(tài)及位置等信息;情景認知地圖(cognitive maps of city)是人腦中再現(xiàn)的環(huán)境意象,由路徑、標志、節(jié)點、區(qū)域、邊界5個基本要素組成。上述地圖類型覆蓋了尺度、拓撲、語義等環(huán)境信息,是測繪全息要素的重要組成部分。

圖6 視覺SLAM地圖表達形式Fig.6 The map representation of visual SLAM

綜上,特征點法視覺SLAM發(fā)展較早,相對成熟和完善,但是受光照、紋理等環(huán)境特征影響較大;直接法視覺SLAM回避了特征點法中的特征處理環(huán)節(jié),在稠密地圖重建方面更具優(yōu)勢,但是受到圖像灰度一致性假設的限制;視覺指紋庫SLAM借助詞袋模型優(yōu)勢,更加適應大場景的應用需求,但需對物理世界預先建模,且易受到季節(jié)、晝夜、天氣等因素影響;語義視覺SLAM技術,立足上述算法,引入了基于深度學習算法的環(huán)境語義提取,提升了對環(huán)境的理解和交互能力;類腦視覺SLAM采用仿生機理建立的一種新型SLAM方法,在擬人化方面具有較大的發(fā)展?jié)摿ΑＨ欢?面向智能化時代特點,單一的視覺SLAM方法難以滿足復雜的應用需求,而建立在新一代信息技術基礎之上的多種視覺SLAM方法融合更具發(fā)展優(yōu)勢。

2 智能化時代視覺SLAM環(huán)境感知發(fā)展趨勢

視覺SLAM技術對比激光SLAM技術具有成本低、語義信息豐富、可實時傳輸,以及符合人類的感知習慣等特點[77],成為近年來的研究熱點,通過與物聯(lián)網(wǎng)、5G、云計算、深度學習等技術的結合,將會進一步促進當前的技術進步,在智能化環(huán)境交互感知、眾包化數(shù)據(jù)匯聚、網(wǎng)絡化實時處理、大數(shù)據(jù)知識服務和多樣化應用等方面快速發(fā)展,呈現(xiàn)出智能化時代視覺SLAM環(huán)境感知技術的新特點和新面貌。

2.1 智能化環(huán)境感知交互

隨著視覺SLAM技術與智能芯片、深度學習算法的融合不斷加深,利用智能芯片和算法賦能視覺SLAM技術,提升在環(huán)境感知、交互響應等方面的智能化水平成為視覺SLAM技術的重要發(fā)展方向。在環(huán)境感知方面,基于視覺SLAM幾何環(huán)境信息獲取手段,深入研究基于深度學習算法支持的環(huán)境語義信息同步感知技術,實現(xiàn)時空屬性與物體屬性同步認知的功能;在交互響應方面,利用腦感知視覺SLAM、語義視覺SLAM等主動性地判別場景物體,自主跟蹤有效目標,對環(huán)境觀測信息進行有效的綜合和取舍,并做出相應的執(zhí)行動作,推動現(xiàn)在的“眼觀六路”感知技術,向未來的“所見即所得”感知與交互融合方向發(fā)展,即在觀測信息的支持下,對環(huán)境情況做出即時的理解和響應。

2.2 即時眾包化信息處理

視頻作為一種流媒體數(shù)據(jù)[78],為視覺SLAM技術在即時、眾包信息感知處理方面發(fā)展奠定了基礎。在即時信息處理方面,研究視覺SLAM與互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動通信網(wǎng)等手段深度耦合方式,攻克基于即時通訊手段支撐的云-邊-端協(xié)同的位置、制圖、幾何、拓撲、語義等實時處理技術,打造“感知-信息”聯(lián)動的在線應用模式,提升視覺SLAM技術的即時服務能力;在眾包感知處理方面,利用視覺SLAM的即時處理能力,攻克基于網(wǎng)聯(lián)汽車、無人車、無人機、機器人、手機等設備云-機交互反饋的眾包信息處理技術,滿足大眾化智能裝備在線導航、定位、避障、路徑規(guī)劃等需求,同步構建基于云端的測繪產(chǎn)品[79],打破傳統(tǒng)依賴專業(yè)團隊獲取與處理數(shù)據(jù)的局面,推動眾包化環(huán)境物聯(lián)感知技術發(fā)展,進一步地解放生產(chǎn)力,提高工作效率。

2.3 多樣化感知數(shù)據(jù)服務

視頻蘊含著紋理、顏色、幾何、位置、拓撲、語義、POI(point of interest)等眾多信息,是測繪地理信息產(chǎn)品的重要構成。通過培育視覺SLAM新型數(shù)據(jù)服務技術,能夠為測繪行業(yè)發(fā)展提供新動能。通過研究視覺SLAM、GNSS、IMU、超聲波雷達等多模態(tài)集成算法,有助于推動攻克自動駕駛領域及未知環(huán)境區(qū)域的導航定位、路徑規(guī)劃、障礙物規(guī)避等難點;探索基于視覺SLAM的DOM、DSM、DEM和實景模型在線處理技術,構建新型遙感制圖和實景三維的服務模式,為應急測繪等對時效性要求強的應用場景提供支撐;攻克語義視覺SLAM技術支撐的眾包POI獲取、在線地表變化研判等技術,支撐導航地圖更新和自然資源監(jiān)測等需求。未來可以進一步利用大數(shù)據(jù)技術,深入挖掘視覺SLAM環(huán)境感知成果中蘊藏的豐富地理信息,有效發(fā)揮視頻數(shù)據(jù)的潛在價值。

3 視覺SLAM智能化測繪應用模式展望

在新一代信息技術快速發(fā)展的形式下,視覺SLAM環(huán)境感知技術將會不斷取得突破和進展,推動其與傳統(tǒng)測繪技術的深度融合,有助于打造基于視覺SLAM環(huán)境感知技術的導航定位、地圖制圖、實景三維、遙感解譯等智能化測繪應用模式,促進傳統(tǒng)測繪服務方式向智慧化、精準化方向發(fā)展。圖7基于視覺SLAM技術在位置、制圖和語義等方面的優(yōu)勢和發(fā)展延伸,提出了6種測繪應用方式。

圖7 智能化測繪應用展望Fig.7 Prospect of intelligent surveying and mapping application scenarios

3.1 交互式導航定位

智能裝備通過集成視覺、激光、超聲波等多種傳感器,以及深度學習芯片等,具備了較強的環(huán)境感知能力和一定的認知能力,如大疆無人機采用視覺和超聲波組合進行避障等。當前視覺SLAM技術多以環(huán)境感知的方式使用,隨著語義SLAM、腦感知SLAM等技術的不斷發(fā)展,基于深度學習算法的視覺感知與SLAM技術不斷融合,推動智能裝備朝著感知與自主決策方向發(fā)展,類似火星車自主判斷與選擇降落點、自動駕駛車輛自動感知周圍靜態(tài)和動態(tài)的物體和屬性做出行動決策、智能機器人根據(jù)環(huán)境信息自主決策下一步的行動計劃等,基于視覺SLAM和深度學習算法的交互式導航定位技術將會得到進一步的發(fā)展。

3.2 數(shù)字孿生城市建設

數(shù)字孿生城市建設是未來城市發(fā)展方向之一,三維地理空間數(shù)據(jù)是數(shù)字孿生的基礎。基于視覺SLAM的制圖和語義提取技術,可以采用KinectFusion[80]、Openrealm[12]等算法對室內(nèi)外、地上下空間及附屬設施構建BIM/CIM(building/city information modeling)模型,并基于CNN-SLAM賦之真實的語義屬性,實現(xiàn)現(xiàn)實世界與虛擬世界的精準映射。融合互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、5G、人工智能、區(qū)塊鏈等數(shù)字技術,構建城市智能運行的數(shù)字底座,催生城市治理思維和方式的轉變與范式重塑。

3.3 實時化地表監(jiān)測與解譯

視頻流從無人機、視頻衛(wèi)星等平臺傳輸至地面或者云服務平臺,利用TerrainFusion[35]等視覺SLAM技術獲取實時的DOM、DEM、DSM等測繪產(chǎn)品。利用云-邊-端等跨終端協(xié)同處理技術,結合深度學習、遷移學習、強化學習等多種智能計算模型和專家經(jīng)驗,開展地表空間遙感數(shù)據(jù)要素智能提取、“數(shù)據(jù)-模型-知識”驅動的地表要素智能解譯、自然資源要素畫像和圖譜構建技術,實現(xiàn)自然資源要素、場景、知識的快速智能提取和表達[81],推動傳統(tǒng)數(shù)據(jù)服務向知識服務的轉變,服務于國土普查與動態(tài)監(jiān)測等業(yè)務[82]。

3.4 眾包地圖POI生產(chǎn)

視覺感知技術是地圖POI數(shù)據(jù)獲取的主要手段之一,基于深度學習算法支持的語義視覺SLAM、詞袋模型等技術,可與高德等廠商的STR(自然場景文字識別)技術結合,實現(xiàn)實時獲取地圖POI數(shù)據(jù)。通過智能手機、智能網(wǎng)聯(lián)汽車等在使用過程中的視覺傳感器采集到的圖像、位置等數(shù)據(jù),通過5G等通訊網(wǎng)絡傳輸?shù)胶蠖嗽破脚_,可以實時的轉換為POI數(shù)據(jù),推動地圖POI數(shù)據(jù)感知的眾包化,革新地圖POI數(shù)據(jù)獲取的技術方法,打破專業(yè)人員人機交互獲取的模式,提升地圖POI數(shù)據(jù)獲取的智能化、實時化程度。

3.5 無人值守地質(zhì)災害監(jiān)測

艱險山區(qū)崩滑地質(zhì)災害突發(fā)性強、危害性大,基于GNSS變形監(jiān)測技術對地質(zhì)災害監(jiān)測的實景展示稍顯不足?；贠penrealm等視覺SLAM與設備自動換/充電、無人值守[83]等技術的發(fā)展與融合,無人機遙感監(jiān)測系統(tǒng)可以根據(jù)GNSS等預警預報信息聯(lián)動自主觀測災害體,并實時回傳數(shù)據(jù)構建災害體實景三維模型,且可以利用視覺感知技術規(guī)避三維空間的障礙物,保障飛行安全,實現(xiàn)地質(zhì)災害的無人機值守監(jiān)測與孿生展示。

3.6 深度空間自主交互探測

面向深空、深海、深地等深度空間的探索已成為人類科技競爭的焦點之一,針對陌生甚至未知的深度空間,類似祝融號火星車、玉兔號月球車[33]等智能裝備對其環(huán)境感知、深度交互和主動決策能力的需求愈發(fā)凸顯。利用視覺SLAM的導航、定位、制圖和語義等技術可以實現(xiàn)對深度空間地形、地貌獲取,以及場景和空間要素的識別與解譯,并可解決探索過程中的障礙物檢測與規(guī)避等問題,提高智能裝備在深度空間探測過程中的自主性。

4 結 語

隨著智能化、云計算、大數(shù)據(jù)時代的來臨,測繪行業(yè)面臨著重要的轉型升級的發(fā)展機遇,對測繪裝備、數(shù)據(jù)感知和數(shù)據(jù)應用模式的發(fā)展提出了更高的要求。視覺SLAM環(huán)境感知技術經(jīng)過30多年的快速發(fā)展,在定位技術方面形成了多種穩(wěn)健、可靠的技術框架、算法模型和測繪應用工藝,在大場景制圖、語義和類腦技術支持的交互式主動服務等方面取得了較大突破和進展。隨著視覺SLAM環(huán)境感知技術與人工智能、深度學習、大數(shù)據(jù)、云-邊-端計算等技術的深度交叉發(fā)展,將會推動視覺SLAM環(huán)境感知技術朝著智能化、眾包化、即時化等方向快速發(fā)展,進一步推動測繪生產(chǎn)方式和生產(chǎn)力的變革與提升。

位置、幾何、拓撲、語義等信息是賦能未來測繪業(yè)務智能化發(fā)展的重要基礎,在當前的新發(fā)展格局下,單一的視覺SLAM方法存在巨大應用挑戰(zhàn),需要與新一代信息技術融合發(fā)展,研究與完善復雜場景多方法融合的視覺SLAM環(huán)境感知技術理論、算法框架,突破實時主動環(huán)境感知、場景深度交互自主導航與路徑規(guī)劃、全息要素地圖構建與要素識別等關鍵技術,打造基于行業(yè)與大眾結合的開放、創(chuàng)新測繪技術服務模式,滿足新形勢下的測繪應用需求。