遙感衛(wèi)星成像的HoloLen2混合現(xiàn)實教學(xué)設(shè)計與實踐

張 毅

(武漢大學(xué) 測繪學(xué)院,武漢 430079)

“遙感原理與應(yīng)用”是一門面向測繪類專業(yè)的必修課程。主要內(nèi)容包括遙感物理基礎(chǔ)、遙感衛(wèi)星平臺和成像模型、遙感圖像的幾何和輻射處理、遙感圖像解譯和分類等。其中遙感衛(wèi)星平臺和成像模型是遙感課程教學(xué)的重要內(nèi)容之一,涉及到多種衛(wèi)星軌道、衛(wèi)星傳感器和衛(wèi)星成像方式。2011—2020年間,全球共發(fā)射商業(yè)遙感衛(wèi)星1 080顆[1],中國經(jīng)過20年的發(fā)展,已經(jīng)發(fā)射100多顆陸地觀測衛(wèi)星[2]。這些衛(wèi)星在不同的軌道上以不同的成像方式進(jìn)行對地觀測,要深入理解和掌握其特點和差異,就需要在課程教學(xué)中更直觀地表現(xiàn)遙感衛(wèi)星的運行和成像過程?，F(xiàn)有的教學(xué)手段局限于課件視頻和動畫,需要提前進(jìn)行設(shè)計制作,無法在課堂教學(xué)現(xiàn)場根據(jù)需要進(jìn)行修改和調(diào)整,呈現(xiàn)形式也只是二維平面。雖然實物教具可以一定程度彌補課件教學(xué)的不足,但遙感衛(wèi)星的運行和成像涉及的要素較多,過程較為復(fù)雜,實物教具難以制作得逼真全面。

增強現(xiàn)實(AR,augmented reality)技術(shù)在一定程度上可以將實驗教學(xué)內(nèi)容和學(xué)生的親身參與切實結(jié)合在一起,通過三維空間的立體交互方式,可使學(xué)生跨越地形實體和DEM空間數(shù)據(jù)之間的認(rèn)知差異,提升學(xué)生對空間分析和可視化方法的理解深度。然而AR實驗環(huán)境一方面要依賴于識別卡片或規(guī)定目標(biāo),在遮擋環(huán)境下影響了實時效果;另一方面攝像頭和顯示屏幕相互獨立,沉浸感不足,使得AR的效果得不到最充分體現(xiàn)。

混合現(xiàn)實(MR,mixed reality)技術(shù)是AR技術(shù)的進(jìn)一步發(fā)展,是一種將圖像、視頻、聲音等通過計算機計算得到的信息疊加在物理世界之上的技術(shù)。繼微軟公司2015年1月推出HoloLens1代混合現(xiàn)實產(chǎn)品后,2019年2月發(fā)布了HoloLens2(如圖1)。這是自從MR概念提出后首次將其真正在產(chǎn)品中實現(xiàn)。

圖1 HoloLens2混合現(xiàn)實眼鏡

國內(nèi)外各類學(xué)校和研究機構(gòu)都將混合現(xiàn)實技術(shù)引入教學(xué)過程,其中應(yīng)用最多的領(lǐng)域當(dāng)屬醫(yī)學(xué)教學(xué)。倫敦帝國理工學(xué)院用HoloLens2進(jìn)行臨床教學(xué)研究,評估了在新冠肺炎大流行期間使用混合現(xiàn)實頭盔向?qū)嵙?xí)醫(yī)生提供遠(yuǎn)程床邊教學(xué)的可行性[3]。從2022年4月開始,新加坡國立大學(xué)楊潞齡醫(yī)學(xué)院的醫(yī)學(xué)和護(hù)理學(xué)生采用微軟的三維全息技術(shù)來學(xué)習(xí)醫(yī)療知識和研究解剖結(jié)構(gòu)[4]。中國科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院通過混合現(xiàn)實技術(shù)讓神經(jīng)外科規(guī)培及專培醫(yī)師充分理解神經(jīng)結(jié)構(gòu)之間復(fù)雜的空間關(guān)系,并完成三維空間的重構(gòu)[5]。陸軍軍醫(yī)大學(xué)第一附屬醫(yī)院采用混合現(xiàn)實技術(shù)構(gòu)建三維可視化模型實施手術(shù)教學(xué)[6]。在工程教育領(lǐng)域,南京航空航天大學(xué)機電學(xué)院嘗試采用混合現(xiàn)實技術(shù)突破空間、時間和現(xiàn)實約束,在現(xiàn)實世界中投射出全面、逼真、可編輯的機械結(jié)構(gòu)和物理關(guān)系模型[7]。東北大學(xué)機器人科學(xué)與工程學(xué)院在機器人工程專業(yè)實踐教學(xué)中開發(fā)了基于MR技術(shù)的虛擬實驗系統(tǒng),實現(xiàn)在虛擬環(huán)境下倒立擺與機械臂系統(tǒng)的控制[8]。江南大學(xué)構(gòu)建了一種基于混合現(xiàn)實技術(shù)的中國建筑史教學(xué)系統(tǒng)的實現(xiàn)方法,構(gòu)建以建筑結(jié)構(gòu)識別和文化認(rèn)知為核心功能的HoloLens教學(xué)系統(tǒng)[9]。在地學(xué)領(lǐng)域,武漢大學(xué)利用混合現(xiàn)實技術(shù)將DEM空間分析的實驗教學(xué)內(nèi)容融入混合現(xiàn)實交互環(huán)境,實現(xiàn)了地形模型的手勢交互、剖面分析、通視分析、光照分析等空間分析[10]。

在遙感課程教學(xué)中,虛擬現(xiàn)實、增強現(xiàn)實手段也逐漸得到廣泛關(guān)注。安徽理工大學(xué)以遙感專業(yè)為例,建立了Google Earth Engine的高校信息化教學(xué)模式[11]。山東理工大學(xué)探討了Google Earth軟件在遙感地質(zhì)學(xué)教學(xué)中的應(yīng)用[12]。沈陽師范大學(xué)整合遙感方向的相關(guān)應(yīng)用進(jìn)行了基于遙感的增強現(xiàn)實軟件技術(shù)的研究[13]。上海交通大學(xué)上海北斗導(dǎo)航創(chuàng)新研究院裴凌教授提出的聯(lián)合低軌衛(wèi)星仿真的多源多星座高逼真仿真教學(xué)平臺,該平臺結(jié)合高逼真仿真平臺和武漢大學(xué)低軌衛(wèi)星仿真,為科創(chuàng)學(xué)習(xí)帶來便利,為學(xué)生研究提供基礎(chǔ)的數(shù)據(jù)采集平臺,加深各種導(dǎo)航方式的理解和應(yīng)用。

但目前還沒有將混合現(xiàn)實技術(shù)融入到遙感課程教學(xué)中的案例。文中基于微軟HoloLens2頭戴式MR設(shè)備,將遙感衛(wèi)星軌道和成像原理等課程知識點融入到混合現(xiàn)實環(huán)境中,在真實課堂環(huán)境下實時交互展現(xiàn),突破傳統(tǒng)課堂PPT和板書教學(xué)的平面化模式,為學(xué)生提供全新的虛實結(jié)合課程教學(xué)環(huán)境。

1 遙感衛(wèi)星成像教學(xué)內(nèi)容設(shè)計

遙感衛(wèi)星成像是遙感原理與應(yīng)用課程的重要教學(xué)內(nèi)容,具體包括遙感衛(wèi)星軌道特點和遙感成像方式等兩方面內(nèi)容。

遙感衛(wèi)星軌道不僅包括一般衛(wèi)星軌道的基本特點,還有遙感衛(wèi)星自己的特點。一般衛(wèi)星軌道的教學(xué)內(nèi)容涉及衛(wèi)星軌道參數(shù)(長半軸、偏心率、升交點赤經(jīng)、近地點角距、軌道傾角、過近地點時刻)以及不同衛(wèi)星軌道的類型(低/中/高軌道、順行/逆行軌道、赤道/極地軌道、地球/太陽同步軌道)。在此基礎(chǔ)上,引出遙感衛(wèi)星的近圓形、近極地、太陽同步、可重復(fù)軌道特點。其中可重復(fù)軌道特點是遙感衛(wèi)星軌道教學(xué)的重點,需要學(xué)生掌握重復(fù)周期的概念的計算方法,以及在遙感變化監(jiān)測中的作用。

遙感成像方式針對不同類型的衛(wèi)星,涉及光機掃描成像、線陣推掃式成像、側(cè)視雷達(dá)成像、凝視成像等。隨著現(xiàn)代遙感衛(wèi)星的發(fā)展,靈巧成像、凝視成像逐步成為主流,例如國產(chǎn)高分系列衛(wèi)星、吉林一號系列衛(wèi)星、WorldView系列衛(wèi)星等。

基于混合現(xiàn)實技術(shù)的遙感衛(wèi)星成像教學(xué),需要針對以上教學(xué)內(nèi)容設(shè)計三維模型、功能展現(xiàn)和手勢交互,如表1所示。

表1 遙感衛(wèi)星成像MR教學(xué)內(nèi)容組成

2 HoloLens2混合現(xiàn)實技術(shù)

微軟公司研發(fā)的HoloLens設(shè)備便是一款融合了MR技術(shù)的智能眼鏡。HoloLens混合現(xiàn)實技術(shù)通過將現(xiàn)實環(huán)境與虛擬世界融合從而產(chǎn)生全新的可視化環(huán)境,實現(xiàn)物理環(huán)境和數(shù)字對象共存,支持人與環(huán)境實時互動。

HoloLens2是2019年推出的混合現(xiàn)實頭戴式顯示器,與第一代設(shè)備相比較,重量變得更輕,視野角度增加,佩戴方式更加符合人體工學(xué)(允許使用者佩戴眼鏡)。HoloLens2擁有獨立的計算單元,定制的全息處理單元(HPU,holographic processing unit)以及各種類型的傳感器、光學(xué)透鏡等,其自身帶有的深度攝像頭可以快速掃描并構(gòu)建三維場景[14]。HoloLens2擁有四臺攝像頭,左右兩邊各兩臺,其可覆蓋的水平和垂直視角都達(dá)到了120°。通過對這四臺攝像機畫面的實時分析,深度攝像頭對周圍場景快速實現(xiàn)建模,并通過感知攝像頭實現(xiàn)對環(huán)境以及自身位置的感知,因此, HoloLens2作為目前最具代表性的混合現(xiàn)實設(shè)備,通過使用全息處理單元,對使用者的手勢、語音、凝視等進(jìn)行識別,以此實現(xiàn)更加自然的感官交互方式。

3 遙感衛(wèi)星成像的MR設(shè)計

在Hololens環(huán)境配置完成后,就可以逐步實現(xiàn)遙感衛(wèi)星成像過程的模擬。首先對需要實現(xiàn)的運動過程進(jìn)行分析;然后制作需要的三維模型:包括地球、衛(wèi)星以及軌道等,并組合在一起;下一步需要編寫天體、衛(wèi)星運動的腳本,實現(xiàn)地球的自轉(zhuǎn)、衛(wèi)星繞地球公轉(zhuǎn)以及衛(wèi)星運行軌道繪制等;最后還應(yīng)該給三維物體添加混合現(xiàn)實組件與腳本,實現(xiàn)在Hololens環(huán)境中的交互功能:如放大、縮小、旋轉(zhuǎn)、查看信息、場景切換等。

3.1 衛(wèi)星運動建模

要確定的衛(wèi)星運行軌道需要6個基本軌道參數(shù):長半軸、偏心率、軌道面傾角、近地點幅角、升交點赤經(jīng)以及近地點時刻。以Landsat陸地衛(wèi)星為例,衛(wèi)星運行在軌道高度約915 km的近極地太陽同步軌道上,軌道傾角約99.1°,軌道周期為103 min,重復(fù)周期為18 d。在以演示為目的的精度要求下,Landsat衛(wèi)星繞軌運動應(yīng)被抽象表示為相對于靜止的地球做圓周運動:衛(wèi)星在距地球較近的位置上繞地球做圓周運動,圓周平面與赤道面夾角約99.1°;地球每自轉(zhuǎn)一周,衛(wèi)星繞地球13.944圈。

遙感衛(wèi)星常用的坐標(biāo)系有地心赤道慣性坐標(biāo)系、地心旋轉(zhuǎn)坐標(biāo)系、軌道坐標(biāo)系、本體坐標(biāo)系、當(dāng)?shù)刈鴺?biāo)系等,在這些坐標(biāo)系之間可以進(jìn)行坐標(biāo)轉(zhuǎn)換。在Unity 3D中的坐標(biāo)系均是笛卡爾三維坐標(biāo)系,其中世界坐標(biāo)系是基本的絕對坐標(biāo)系,用戶可以輕易獲取任何物體在任意時間的全局坐標(biāo);局部坐標(biāo)系是描述具有父子關(guān)系的物體間相對關(guān)系的坐標(biāo)系,其原點位置、基本方向以及比例都與父物體直接相關(guān),同樣的也可以得到任一物體在其它物體的局部坐標(biāo)系中的坐標(biāo)。

3.2 三維模型制作

1)地球模型。由于地球并不是標(biāo)準(zhǔn)球體,且精度高的橢球體模型對于文中研究目的并無實質(zhì)性幫助,因此地球模型的制作方法為使用Unity中的預(yù)制件Sphere并添加紋理,再進(jìn)一步根據(jù)實際情況修改細(xì)節(jié)得到。

2)衛(wèi)星模型。受限于模型素材和制作難度,無法做出仿真度較高的實際遙感衛(wèi)星模型,因此選擇采用網(wǎng)絡(luò)公開的遙感衛(wèi)星模型,如圖2所示。該模型精度較高,且視覺效果較為逼真。

圖2 遙感衛(wèi)星模型

3)軌道模型?？紤]到在地心坐標(biāo)系下,衛(wèi)星軌道應(yīng)是一個動態(tài)表示,且Unity 3D中沒有軌道相關(guān)的預(yù)制模型,因此擬采用衛(wèi)星運動軌跡的形式,在衛(wèi)星運動的同時通過腳本繪制其軌跡,從而表示衛(wèi)星軌道。

表2中給出了實際地球、衛(wèi)星、軌道與模型的比例與參照。

表2 實物與模型參照

3.3 三維交互

隨著深度傳感器的升級,相較HoloLens1,HoloLens2已經(jīng)具備了實時捕捉佩戴者的手部形狀的能力,同時幾乎無延遲地生成與手部匹配的3D Mesh數(shù)據(jù)。利用這個實時生成的手部模型網(wǎng)格與每只手部模型附帶的21個關(guān)節(jié)點,HoloLens2生成了一個虛擬手部模型與虛擬物體進(jìn)行交互,產(chǎn)生了全關(guān)節(jié)手部追蹤交互的技術(shù)效果。

在HoloLens環(huán)境中,通過添加相關(guān)組件和腳本的方式來實現(xiàn)和虛擬物體交互的功能。包括Collider(碰撞體)組件、Object Manipulator(對象操控器)組件、Near Interaction Grabbable(抓取)組件、Bounds Control(邊界控件)組件。以上組件來源于HoloLens2提供的混合現(xiàn)實工具包(MRTK)。

3.4 MR功能程序?qū)崿F(xiàn)(圖3)

圖3 MR功能程序?qū)崿F(xiàn)效果

1)點擊衛(wèi)星軌道參數(shù),程序?qū)⒄宫F(xiàn)一個地球模型。圍繞地球模型,將地球軌道關(guān)鍵點(春分點和秋分點),衛(wèi)星軌道關(guān)鍵點(近地點、遠(yuǎn)地點、升交點、降交點),衛(wèi)星軌道參數(shù)(軌道傾角、升交點赤經(jīng)、近地點角距、真近點角)全部展現(xiàn)出來。用戶可以通過手勢來拾取整個模型,進(jìn)行放大縮小、平移、旋轉(zhuǎn)等操作。用戶抬起左手到視野中,程序會顯示全部關(guān)鍵點和關(guān)鍵參數(shù)的顯示/隱藏開關(guān)。

2)點擊近圓形近極地軌道,程序顯示一個衛(wèi)星繞著地球,進(jìn)行近圓形近極地運行的動態(tài)模型。地球自轉(zhuǎn)的同時衛(wèi)星繞南北極運行,形象展現(xiàn)近圓形近極地軌道的軌道特點。用戶抬起左手到視野中,程序會顯示地球和衛(wèi)星軌道兩個顯示/隱藏按鈕,可以對地球和衛(wèi)星軌道單獨進(jìn)行顯示。

3)點擊太陽同步軌道,程序顯示地球和衛(wèi)星繞著太陽整體公轉(zhuǎn)的動態(tài)模型。此時衛(wèi)星軌道面始終朝向太陽,以表現(xiàn)太陽同步的概念。用戶抬起左手到視野中,程序會顯示太陽、地球和衛(wèi)星軌道三個顯示/隱藏按鈕,可以對太陽、地球和衛(wèi)星軌道單獨進(jìn)行顯示。

4)點擊可重復(fù)軌道,程序顯示衛(wèi)星繞地球運行的動態(tài)模型,此時地球表面會動態(tài)顯示衛(wèi)星星下點的成像范圍條帶。通過衛(wèi)星周期運行,成像范圍條帶最終覆蓋全球,并完成軌道重復(fù)。

5)點擊掃描式成像,程序顯示地表上空衛(wèi)星對地面左右來回掃描成像的模式。

6)點擊推掃式成像,程序顯示地表上空衛(wèi)星對地面進(jìn)行推掃成像的模式。包括對任意區(qū)域的推掃和對同一區(qū)域的重復(fù)推掃。

7)點擊高光譜成像,程序顯示地表上空衛(wèi)星對地面進(jìn)行高光譜成像的模式。其中不同顏色的光束代表高光譜衛(wèi)星的不同波段。

8)點擊側(cè)視雷達(dá)成像,程序顯示地表上空衛(wèi)星對地面進(jìn)行側(cè)視雷達(dá)成像的模式。包括哨兵衛(wèi)星的雷達(dá)成像和TerraSAR的SpotLight、StripMap、ScanSAR三種雷達(dá)成像方式。

4 MR課堂教學(xué)實踐

課堂實際教學(xué)活動中,為了能讓學(xué)生參與到混合現(xiàn)實教學(xué)環(huán)境,利用HoloLens2的無線網(wǎng)絡(luò)傳輸將第一視角畫面共享到課堂大屏幕上。教師可以全身心地利用虛擬模型進(jìn)行遙感衛(wèi)星成像的三維交互教學(xué),同時也能透過HoloLens2眼鏡看到課堂教室現(xiàn)場真實環(huán)境。學(xué)生能通過教室大屏幕實時看到教師的虛擬交互內(nèi)容,也可以用自己的手機連接共享畫面,還可以佩戴HoloLens2親身體驗(見圖4)。

圖4 遙感衛(wèi)星成像混合現(xiàn)實教學(xué)課堂實踐

從課堂教學(xué)實踐的實際效果來看,學(xué)生對這一新的教學(xué)方式普遍感興趣,能跟隨教師的引導(dǎo)和同步畫面沉浸在混合現(xiàn)實環(huán)境的教學(xué)內(nèi)容中,更為專注地理解和掌握遙感衛(wèi)星成像的原理和特點。教師在教學(xué)過程中也不受實物教學(xué)器材和模型的限制,更加自如地圍繞虛擬環(huán)境展開教學(xué),同時也可以及時與學(xué)生進(jìn)行互動交流,尤其是釋放了雙手,可以自由地針對遙感衛(wèi)星成像的具體細(xì)節(jié)進(jìn)行“拿捏式”的講解,使得學(xué)生對相關(guān)概念和知識點的了解更加直觀,理解更為全面。

4 結(jié)束語

在混合現(xiàn)實技術(shù)的支持下,遙感課程教學(xué)強化了遙感衛(wèi)星成像的重難點知識,通過混合現(xiàn)實的多感官沉浸式環(huán)境進(jìn)行注意力聚焦,加強了學(xué)生對重難點知識學(xué)習(xí)力度,同時又能兼顧課堂現(xiàn)場教學(xué)環(huán)境,增強了課堂現(xiàn)場教學(xué)中的即時反饋和互動。作為前沿技術(shù),混合現(xiàn)實的新穎性和科技感非常容易引起學(xué)生的興趣,在沉浸式、交互式環(huán)境中,更能直觀而立體地呈現(xiàn)課程內(nèi)容。HoloLens2混合現(xiàn)實技術(shù)在實際的教學(xué)過程中得到學(xué)生的認(rèn)可,有效地提高了遙感衛(wèi)星成像的教學(xué)效果。