*項(xiàng)目來源:北京航空航天大學(xué)2021年度教改項(xiàng)目“視覺SLAM基礎(chǔ)教學(xué)改革”。
作者簡(jiǎn)介:崔林艷,博士,副教授。
DOI:10.3969/j.issn.1671-489X.2024.10.033
摘? 要? 基于“高階性、創(chuàng)新性、挑戰(zhàn)度”一流本科課程建設(shè)的基本原則,堅(jiān)持“以學(xué)生為中心、以成果為導(dǎo)向(OBE)”的教學(xué)指導(dǎo)思想,面向課程視覺SLAM基礎(chǔ)進(jìn)行教學(xué)改革研究。圍繞學(xué)院航天綜合實(shí)驗(yàn)室已建設(shè)備和環(huán)境,結(jié)合課程講授的基礎(chǔ)理論,實(shí)現(xiàn)課程思政與航天應(yīng)用相結(jié)合、以火星地形智能感知和火星車定位的應(yīng)用案例為牽引的航天特色案例式課程教學(xué)改革。利用學(xué)校火星探測(cè)實(shí)驗(yàn)環(huán)境搭建火星車智能環(huán)境感知實(shí)驗(yàn)平臺(tái),引入火星地面環(huán)境三維建模和基于視覺的火星車定位案例,將視覺SLAM基礎(chǔ)講授的理論知識(shí)和航天應(yīng)用緊密結(jié)合起來。在教學(xué)改革過程中,進(jìn)一步鍛煉學(xué)生的動(dòng)手實(shí)踐能力、解決實(shí)際工程能力,同時(shí)培養(yǎng)學(xué)生愛祖國(guó)、愛航天的情懷。
關(guān)鍵詞? 視覺SLAM基礎(chǔ);案例式教學(xué);課程思政
中圖分類號(hào):G642.41? ? 文獻(xiàn)標(biāo)識(shí)碼:B
文章編號(hào):1671-489X(2024)10-0033-04
0? 引言
視覺SLAM(Simultaneous Localization and Mapping,同步定位與地圖構(gòu)建)技術(shù)可以同步解決“定位”與“地圖構(gòu)建”這兩項(xiàng)關(guān)鍵技術(shù)難題,一直以來都是機(jī)器人和計(jì)算視覺的研究熱點(diǎn)。21世紀(jì)以來,隨著視覺傳感器的不斷發(fā)展,以視覺傳感器為中心的視覺SLAM技術(shù)獲得突飛猛進(jìn)的發(fā)展,在理論和實(shí)踐上都經(jīng)歷了明顯的轉(zhuǎn)變與突破,正逐步從實(shí)驗(yàn)室研究走向市場(chǎng)應(yīng)用。視覺SLAM技術(shù)目前在民用領(lǐng)域獲得較好應(yīng)用,如機(jī)器人、實(shí)時(shí)三維重建、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)等領(lǐng)域。
雖然SLAM理論框架基本趨于穩(wěn)定,但其編程實(shí)現(xiàn)仍然較為復(fù)雜,有很高的技術(shù)門檻,同時(shí)需要學(xué)習(xí)大量的基礎(chǔ)理論知識(shí),且理論知識(shí)覆蓋多學(xué)科,進(jìn)一步增大了該課程的學(xué)習(xí)難度。目前視覺SLAM理論課程側(cè)重純基礎(chǔ)理論教學(xué),未與典型應(yīng)用案例相結(jié)合,造成學(xué)生在學(xué)習(xí)過程中覺得知識(shí)過于枯燥、知識(shí)點(diǎn)理解困難、課堂上互動(dòng)和參與程度低。在應(yīng)用領(lǐng)域方面,目前視覺SLAM主要側(cè)重民用,如無(wú)人機(jī)、無(wú)人車、機(jī)器人、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)等領(lǐng)域。隨著我國(guó)航天技術(shù)的不斷發(fā)展,將視覺SLAM與航天應(yīng)用相結(jié)合逐漸引起學(xué)者的關(guān)注,例如,可將視覺SLAM與空間目標(biāo)態(tài)勢(shì)感知、火星地形環(huán)境智能感知相結(jié)合。中國(guó)火星探測(cè)任務(wù)“天問一號(hào)”火星車祝融號(hào)在火星表面順利著陸,為后續(xù)開展火星地形環(huán)境智能感知、火星采礦等的研究奠定了基礎(chǔ)。
1? 視覺SLAM基礎(chǔ)課程改革設(shè)計(jì)
通過對(duì)目前該類理論課程的分析,視覺SLAM基礎(chǔ)采用航天特色案例式教學(xué),在教學(xué)過程中體現(xiàn)學(xué)科交叉,應(yīng)用領(lǐng)域從典型民用拓展至航天特色應(yīng)用領(lǐng)域。
1.1? 課程教學(xué)側(cè)重案例式教學(xué)
案例式教學(xué)最核心的教學(xué)特點(diǎn)在于具有專業(yè)指導(dǎo)性、實(shí)踐操作性,這種教學(xué)模式突破以往教學(xué)模式的局限,更加看重學(xué)生的想象力、動(dòng)手操作能力與抽象探究意識(shí)。案例教學(xué)法的主要優(yōu)點(diǎn)是實(shí)現(xiàn)理論與實(shí)踐的結(jié)合,激發(fā)學(xué)生學(xué)習(xí)主動(dòng)性,培養(yǎng)學(xué)生的綜合素質(zhì)。國(guó)內(nèi)教育界從20世紀(jì)90年代開始探索案例教學(xué)法,通過典型案例教學(xué)培養(yǎng)學(xué)生理論聯(lián)系工程實(shí)踐的能力。目前視覺SLAM相關(guān)理論課程側(cè)重純理論知識(shí)點(diǎn)全面介紹、經(jīng)典視覺SLAM框架、軟件編程演示,沒有結(jié)合經(jīng)典應(yīng)用案例,尤其是航天領(lǐng)域應(yīng)用案例,例如,結(jié)合火星車智能感知和空間目標(biāo)態(tài)勢(shì)感知對(duì)視覺SLAM進(jìn)行全面闡述。因此,本教改項(xiàng)目擬開展的視覺SLAM基礎(chǔ)教學(xué)改革將從火星車智能感知案例出發(fā),引導(dǎo)和啟發(fā)學(xué)生自主思考,提高學(xué)生動(dòng)手操作能力與深入探究意識(shí)。
1.2? 課程教學(xué)體現(xiàn)學(xué)科交叉
新工科背景下國(guó)家對(duì)復(fù)合型人才的要求進(jìn)一步提高,要求學(xué)生不僅在某一學(xué)科專業(yè)上學(xué)業(yè)精深,而且還應(yīng)具有學(xué)科交叉融合的特征。視覺SLAM基礎(chǔ)涵蓋線性代數(shù)、概率論、控制理論與工程、計(jì)算機(jī)視覺、圖像處理等學(xué)科,學(xué)生在掌握學(xué)習(xí)相關(guān)基礎(chǔ)理論的基礎(chǔ)上,結(jié)合典型航天應(yīng)用案例(火星車智能感知案例)和視覺SLAM基礎(chǔ)理論講解,能夠貫穿不同學(xué)科專業(yè)理論知識(shí),并在航天工程實(shí)際中得到良好運(yùn)用,全面提高學(xué)生解決實(shí)際工程具體問題的能力。在利用視覺SLAM實(shí)現(xiàn)定位與智能感知的基礎(chǔ)上,可將其作為火星車等載體控制系統(tǒng)的有效輸入,實(shí)現(xiàn)火星車更加精確的路徑規(guī)劃、避障、決策制定等,提高控制系統(tǒng)精度。通過該課程的教學(xué)改革,可培養(yǎng)學(xué)生綜合運(yùn)用多學(xué)科知識(shí)的能力。
1.3? 應(yīng)用領(lǐng)域從典型民用拓展至航天特色應(yīng)用
領(lǐng)域
隨著我國(guó)航天事業(yè)的不斷發(fā)展,智能航天是未來航天發(fā)展的熱點(diǎn)和大趨勢(shì),結(jié)合視覺傳感器,實(shí)現(xiàn)基于視覺的航天智能感知是其中重要的一個(gè)環(huán)節(jié)。視覺SLAM可以同步實(shí)現(xiàn)載體定位和周圍地圖構(gòu)建,可為航天器態(tài)勢(shì)感知和周圍地形環(huán)境智能感知提供重要技術(shù)支持。因此,將視覺SLAM應(yīng)用領(lǐng)域從典型民用拓展至典型航天特色應(yīng)用領(lǐng)域,為我國(guó)智能航天助力是未來發(fā)展的趨勢(shì)之一。
2? 視覺SLAM基礎(chǔ)課程改革實(shí)踐
2.1? 航天特色案例式教學(xué)
視覺SLAM基礎(chǔ)課程理論具有廣、深、難的特點(diǎn),且特別強(qiáng)調(diào)應(yīng)用實(shí)踐,一個(gè)實(shí)際的工程項(xiàng)目,所需要的技術(shù)往往涵蓋視覺SLAM理論的各個(gè)部分。本課程從火星環(huán)境探測(cè)這一具有典型航天特色的應(yīng)用案例出發(fā),結(jié)合學(xué)院搭建的火星環(huán)境探測(cè)實(shí)驗(yàn)環(huán)境,利用學(xué)院自行構(gòu)建的火星車,構(gòu)建火星地形三維環(huán)境感知和火星車定位案例。圖1給出了目前北京航空航天大學(xué)宇航學(xué)院火星探測(cè)實(shí)驗(yàn)環(huán)境及已有的火星探測(cè)車。在講述整個(gè)案例過程中,將該實(shí)際任務(wù)分解成不同階段,包括特征提取階段、特征匹配階段、關(guān)鍵幀選取階段、坐標(biāo)系轉(zhuǎn)換求解階段、優(yōu)化方程求解階段、回環(huán)檢測(cè)階段、建圖階段等。在每個(gè)階段,通過案例分析和問題引出,分別引入相應(yīng)的視覺SLAM基礎(chǔ)理論,引導(dǎo)學(xué)生發(fā)現(xiàn)問題并學(xué)習(xí)如何利用相關(guān)理論知識(shí)解決該階段所面臨的實(shí)際工程問題,并對(duì)該階段性案例結(jié)果進(jìn)行展示。將案例貫穿整個(gè)課程,使學(xué)生在學(xué)習(xí)純理論知識(shí)的同時(shí),學(xué)會(huì)如何在工程中運(yùn)用該知識(shí),鞏固理論知識(shí),提升學(xué)生對(duì)理論知識(shí)的理解和應(yīng)用能力。
本課程在開展航天特色案例式教學(xué)過程中,也以“航天愛國(guó)”為主線開展課程思政建設(shè)。以
習(xí)近平總書記在全國(guó)高校思想政治工作會(huì)議上強(qiáng)調(diào)的“要用好課堂教學(xué)這個(gè)主渠道,各類課程都要與思想政治理論課同向同行,形成協(xié)同效應(yīng)”為指引,本課程以具有航天特色的應(yīng)用案例(主要以火星環(huán)境探測(cè)為例)講述視覺SLAM理論知識(shí)并進(jìn)行實(shí)例程序演示。在授課過程中,會(huì)介紹該應(yīng)用案例的背后故事以及在國(guó)際上的影響力等,培養(yǎng)學(xué)生認(rèn)真負(fù)責(zé)、踏實(shí)敬業(yè)的工作態(tài)度和嚴(yán)謹(jǐn)求實(shí)、一絲不茍的工作作風(fēng),讓學(xué)生堅(jiān)定“四個(gè)自信”,培養(yǎng)熱愛航空航天、熱愛祖國(guó)的情懷。
2.2? 搭建火星地形三維環(huán)境感知和火星車定位
演示系統(tǒng)
基于經(jīng)典的視覺ORB-SLAM2框架和學(xué)院火星探測(cè)實(shí)驗(yàn)平臺(tái),設(shè)計(jì)火星地形三維環(huán)境感知和火星車定位軟件演示系統(tǒng)1套。該框架以O(shè)RB為圖像特征,通過跟蹤線程、局部建圖線程、回環(huán)檢測(cè)線程,同步實(shí)現(xiàn)火星車定位與火星地表環(huán)境三維重建工作。圖2為ORB-SLAM2框架基本組成,以攝像頭拍攝的圖像序列為輸入,采用跟蹤線程、局部建圖線程、回環(huán)檢測(cè)線程這三個(gè)線程并行處理SLAM問題。跟蹤線程負(fù)責(zé)初步估計(jì)相機(jī)在每一幀時(shí)的位姿,并決定是否要插入關(guān)鍵幀;局部建圖線程負(fù)責(zé)維護(hù)地圖點(diǎn)和關(guān)鍵幀以及它們相互之間的關(guān)系,優(yōu)化局部區(qū)域的關(guān)鍵幀位姿和地圖點(diǎn)位置,并負(fù)責(zé)剔除質(zhì)量不夠好的地圖點(diǎn)和關(guān)鍵幀;回環(huán)檢測(cè)線程負(fù)責(zé)檢測(cè)是否有回環(huán)的發(fā)生,如果檢測(cè)到回環(huán),就用回環(huán)約束對(duì)相機(jī)位姿和地圖進(jìn)行優(yōu)化,以消除累積誤差。
在所有模塊中統(tǒng)一使用ORB特征。ORB特征是一種提取速度相對(duì)比較快的特征點(diǎn),其描述子具有旋轉(zhuǎn)不變性,通過圖像金字塔也可以獲得尺度不變性。統(tǒng)一使用ORB特征點(diǎn)能夠使特征提取與匹配、關(guān)鍵幀選擇、回環(huán)檢測(cè)、重定位等任務(wù)具有一致性,提高地圖的復(fù)用性,相對(duì)減少特征點(diǎn)法提取特征所需的計(jì)算代價(jià)。圖3給出火星地表圖像ORB特征提取與配準(zhǔn)示例。在原始的ORB-SLAM2中,關(guān)鍵幀序列的存在是為了等待局部建圖線程處理。局部建圖線程使用關(guān)鍵幀數(shù)據(jù)對(duì)局部地圖進(jìn)行更新,這里的局部地圖是稀疏點(diǎn)云地圖,是為了輔助相機(jī)定位而構(gòu)建的。為了構(gòu)建火星地表稠密點(diǎn)云地圖,在稠密點(diǎn)云地圖重建線程中輸入一幀關(guān)鍵幀,根據(jù)深度數(shù)據(jù)得到一幀參考坐標(biāo)系為該關(guān)鍵幀相機(jī)坐標(biāo)系的點(diǎn)云。在跟蹤線程中,利用獲取的每一幀圖像對(duì)應(yīng)的相機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)和平移量,通過將關(guān)鍵幀相機(jī)坐標(biāo)系下的點(diǎn)云數(shù)據(jù)的坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系下。每處理一幀關(guān)鍵幀,就可以獲取世界坐標(biāo)系下的點(diǎn)云數(shù)據(jù),把這些點(diǎn)云數(shù)據(jù)加總到一起,就構(gòu)建出火星地表環(huán)境的稠密點(diǎn)云模型。圖4給出火星地表稠密三維重建示例。
圖4? 火星地表三維重建過程示例
2.3? 層次化的教學(xué)內(nèi)容規(guī)劃
本課程以教育部發(fā)布的《關(guān)于一流本科課程建設(shè)的實(shí)施意見》中所提出的“兩性一度”(即高階性、創(chuàng)新性、挑戰(zhàn)度)為指導(dǎo),以培養(yǎng)一流人才為目標(biāo),本著“立足基礎(chǔ),緊跟前沿,突出航天應(yīng)用”的原則,在成果導(dǎo)向理念指導(dǎo)下[5-6],基于層次化設(shè)計(jì)思路合理規(guī)劃教學(xué)內(nèi)容,如圖5所示。
在基礎(chǔ)理論層面,講授視覺SLAM相關(guān)基礎(chǔ)理論,包括視覺SLAM基本框架組成(前端視覺里程計(jì)VO、后端非線性優(yōu)化、回環(huán)檢測(cè)、建圖環(huán)節(jié))、視覺SLAM常用數(shù)學(xué)模型(李代數(shù)表征、優(yōu)化方程建立、坐標(biāo)系轉(zhuǎn)換等)以及視覺SLAM主流框架(VIO、ORB-SLAM等)。在前沿發(fā)展方面介紹語(yǔ)義視覺SLAM、多傳感器融合SLAM、弱紋理場(chǎng)景視覺SLAM等相關(guān)方面的最新技術(shù)。這樣既保證了對(duì)基礎(chǔ)理論的學(xué)習(xí),又能使學(xué)生及時(shí)掌握專業(yè)前沿理論發(fā)展。
結(jié)合學(xué)院搭建的火星探測(cè)實(shí)驗(yàn)室,利用學(xué)院打造的火星車演示相關(guān)實(shí)驗(yàn)程序,具體包括火星地形實(shí)時(shí)三維重建程序和火星車實(shí)時(shí)定位程序,突出航天特色。通過具有航天特色應(yīng)用背景的實(shí)例項(xiàng)目導(dǎo)入問題,應(yīng)用視覺SLAM基礎(chǔ)理論和方法來解決問題,加深學(xué)生對(duì)視覺SLAM基礎(chǔ)理論的理解。同時(shí)引導(dǎo)和啟發(fā)學(xué)生自主地“發(fā)現(xiàn)問題—分析問題—查閱資料—解決問題”,激發(fā)學(xué)生學(xué)習(xí)興趣,培養(yǎng)學(xué)生自主學(xué)習(xí)、技術(shù)創(chuàng)新的能力。
最后設(shè)置一個(gè)自主創(chuàng)新選做題目,結(jié)合學(xué)院搭建的火星探測(cè)實(shí)驗(yàn)環(huán)境,結(jié)合課堂上講授的視覺SLAM技術(shù)和基本程序框架,鼓勵(lì)有能力的學(xué)生在提供的實(shí)驗(yàn)平臺(tái)上進(jìn)行編程調(diào)試并對(duì)現(xiàn)有框架進(jìn)行調(diào)整,獲得精度更高、更“魯棒”的火星地形三維重建和火星車定位結(jié)果。在此基礎(chǔ)上,鼓勵(lì)更有能力的學(xué)生發(fā)表論文或申請(qǐng)專利。
3? 結(jié)束語(yǔ)
視覺SLAM基礎(chǔ)課程面向本科飛行器控制與信息工程專業(yè),以飛行器的智能控制和信息處理為主,著眼于航天系統(tǒng)的信息融合、處理與智能控制一體化,為我國(guó)航天和國(guó)防事業(yè)培養(yǎng)面向未來航天智能化發(fā)展、具備航天專業(yè)素養(yǎng)、掌握前沿信息技術(shù)、具有交叉知識(shí)結(jié)構(gòu)的高層次復(fù)合型航天人才。通過視覺SLAM基礎(chǔ)課程的學(xué)習(xí),學(xué)生可以掌握基于視覺的定位與建圖技術(shù),學(xué)習(xí)掌握視覺SLAM相關(guān)理論基礎(chǔ)與前沿發(fā)展動(dòng)向,并運(yùn)用所學(xué)知識(shí)解決航天領(lǐng)域?qū)嶋H工程問題,為后續(xù)本科畢業(yè)設(shè)計(jì)以及開展相關(guān)項(xiàng)目研究奠定扎實(shí)的專業(yè)基礎(chǔ)。
通過本課程的學(xué)習(xí),期望達(dá)到如下教學(xué)目標(biāo)。
1)掌握視覺SLAM的基礎(chǔ)理論。了解視覺SLAM發(fā)展歷程,結(jié)合前沿發(fā)展和具體航天特色工程應(yīng)用案例,掌握視覺SLAM的基礎(chǔ)理論和經(jīng)典框架。
2)通過航天特色案例分析,掌握視覺SLAM基礎(chǔ)理論方法的同時(shí),了解航天領(lǐng)域的發(fā)展及實(shí)際工程應(yīng)用,具備處理工程實(shí)際問題的思維方法與基本能力。
3)強(qiáng)調(diào)學(xué)生理論聯(lián)系實(shí)際,強(qiáng)調(diào)動(dòng)手能力的培養(yǎng)。鼓勵(lì)有能力的學(xué)生在學(xué)院搭建的火星探測(cè)實(shí)驗(yàn)環(huán)境基礎(chǔ)上開展相關(guān)實(shí)驗(yàn),結(jié)合實(shí)際工程需求,對(duì)現(xiàn)有框架進(jìn)行改進(jìn),培養(yǎng)學(xué)生運(yùn)用所學(xué)知識(shí)解決工程實(shí)際應(yīng)用問題的能力。
4? 參考文獻(xiàn)
[1] 黃敬如,呂衛(wèi)民,趙汝巖,等.“案例式思政”在課程思政建設(shè)中的路徑探析:以“系統(tǒng)工程”課程為例[J].教育教學(xué)論壇,2022(34):29-32.
[2] 季晨,張兵,程廣貴,等.新工科背景下案例式教學(xué)改
革探討:以控制工程基礎(chǔ)課程為例[J].科技視界,
2021(33):51-52.
[3] 嚴(yán)???,盧少武,寧博文.案例探究式教學(xué)在傳感器與儀表課程中的應(yīng)用[J].大學(xué)教育,2022(5):130-132.
[4] 張貞艷,林卿,劉美俠.“自動(dòng)控制原理”案例式教學(xué)改革實(shí)踐[J].科技與創(chuàng)新,2021(22):137-138,141.
[5] 禹柳飛,劉美,盧均治.基于OBE理念的自動(dòng)化專業(yè)課程體系研究[J].大學(xué),2023(11):129-132.
[6] 唐丹,尹宏鵬,方覓,等.新工科背景下基于OBE理念的信息類課程群建設(shè)[J].計(jì)算機(jī)教育,2023(6):141-144.