航天員混合現(xiàn)實(shí)訓(xùn)練與支持技術(shù)研究

晁建剛, 許振瑛, 何 寧, 孫慶偉, 魏源宏, 胡帥星

(1.中國(guó)航天員科研訓(xùn)練中心人因工程重點(diǎn)實(shí)驗(yàn)室, 北京 100094;2.航天工程大學(xué)宇航科學(xué)與技術(shù)系, 北京 101416)

1 引言

空間站任務(wù)中,航天員面臨更加復(fù)雜的在軌維護(hù)維修、科學(xué)實(shí)驗(yàn)以及應(yīng)急模式預(yù)案外的緊急排故等技能操作,不但對(duì)航天員的操作技能、協(xié)作技能提出了新的要求,更對(duì)復(fù)雜任務(wù)模式下的航天員支持保障手段提出了新的挑戰(zhàn)。傳統(tǒng)模式下航天員通過(guò)地面實(shí)物、半實(shí)物和數(shù)字仿真綜合構(gòu)建的模擬器進(jìn)行技能訓(xùn)練,存在以下不足: ①空間失重模式下交互操作以及復(fù)雜典型故障等模擬程度有限或者難以在地面模擬; ②復(fù)雜任務(wù)的操作通常通過(guò)手動(dòng)查看文字圖片手冊(cè)來(lái)進(jìn)行,理解容易有歧義且無(wú)法高效工作; ③遠(yuǎn)程天地支持通常通過(guò)語(yǔ)音和有限實(shí)時(shí)視頻圖像進(jìn)行,支持中的語(yǔ)義理解受到限制。

混合現(xiàn)實(shí)(Mixed Reality,MR)技術(shù)是通過(guò)在現(xiàn)實(shí)環(huán)境中引入虛擬對(duì)象/場(chǎng)景信息,在現(xiàn)實(shí)世界、虛擬世界和用戶之間建起一個(gè)交互反饋的信息回路,以擴(kuò)展增強(qiáng)用戶體驗(yàn)信息范圍,具有真實(shí)性、實(shí)時(shí)互動(dòng)性以及構(gòu)想性等特點(diǎn)[1]。其物理實(shí)體和虛擬數(shù)字對(duì)象滿足真實(shí)的三維幾何投影關(guān)系,用戶視覺(jué)感知的混合場(chǎng)景空間結(jié)構(gòu)、色彩紋理、亮度等虛實(shí)保持一致。根據(jù)真實(shí)場(chǎng)景視覺(jué)圖像特征,借助IMU(Inertial Measurement Unit)等多傳感器融合手段,能夠?qū)崟r(shí)高速地進(jìn)行位姿估計(jì)與建 圖(Simultaneous Localization and Mapping,SLAM);能夠智能感知記憶物理場(chǎng)景,并輸出運(yùn)動(dòng)估計(jì)位姿,用于真實(shí)場(chǎng)景中虛擬對(duì)象的實(shí)時(shí)融合渲染;能夠根據(jù)掃描物理世界場(chǎng)景的Mesh 地圖進(jìn)行空間檢測(cè)、多人協(xié)同共享定位或遠(yuǎn)程支持的虛擬場(chǎng)景匹配[2-3]?；贛R 技術(shù)的上述特點(diǎn),在航天員訓(xùn)練和支持中,借助目前已有的實(shí)物、半實(shí)物模擬器環(huán)境,可以實(shí)現(xiàn)工程半實(shí)物難以模擬的典型設(shè)備操作和故障排除,實(shí)現(xiàn)地面難以模擬的失重運(yùn)動(dòng)操作,實(shí)現(xiàn)復(fù)雜設(shè)備智能虛擬輔助指導(dǎo)或智能定點(diǎn)定位引導(dǎo)操作,實(shí)現(xiàn)天地遠(yuǎn)程支持模式下三維沉浸式指導(dǎo)標(biāo)注。

近年來(lái),NASA 一直致力于MR 技術(shù)在太空探索中的應(yīng)用。2015 年,NASA 實(shí)施了OnSight 項(xiàng)目,利用微軟HoloLens MR 頭盔將火星的地表在操作臺(tái)附近地面虛擬渲染三維投射出來(lái),佩戴MR 眼鏡的多名工程師協(xié)同進(jìn)行火星車任務(wù)的驗(yàn)證和規(guī)劃討論,多人協(xié)同定位基于頭盔視覺(jué)生成Mesh 空間匹配[4]。針對(duì)國(guó)際空間站航天員復(fù)雜操作輔助誘導(dǎo)支持以及與地面支持人員遠(yuǎn)程協(xié)同,NASA 陸續(xù)在國(guó)際空間站測(cè)試Sidekick 項(xiàng)目,用于航天員執(zhí)行復(fù)雜任務(wù)的輔助信息自主導(dǎo)引,同時(shí)通過(guò)Skyper 軟件于地面指導(dǎo)航天員在軌工作。針對(duì)空間失重特因環(huán)境下的空間定位,NASA對(duì)HoloLens 頭盔采用的VIO(Visual SLAM+IMU Odometry)6 自由度位姿估計(jì)模式進(jìn)行了在軌適應(yīng)性改造,并在失重飛機(jī)上進(jìn)行了試驗(yàn)[5]。

中國(guó)空間技術(shù)研究院采用成熟的商業(yè)MR 設(shè)備在地面實(shí)現(xiàn)了嫦娥任務(wù)的月表場(chǎng)景投影,用于模擬沙盤的重建。中科院采用MR 實(shí)現(xiàn)了空間載荷設(shè)備操作的虛擬導(dǎo)引,其在軌位姿估計(jì)采用了三維對(duì)象目標(biāo)匹配方法等。李暢等[6]、孫慶偉等[7]在MR 訓(xùn)練支持、場(chǎng)景理解、空間重建、位姿估計(jì)以及場(chǎng)景匹配上做了工程試驗(yàn)積累,但未形成應(yīng)用實(shí)例。

為適應(yīng)空間站航天員典型訓(xùn)練和支持任務(wù)動(dòng)態(tài)變化需求,本文設(shè)計(jì)并實(shí)現(xiàn)了便于快速配置和擴(kuò)展研發(fā)的航天員混合現(xiàn)實(shí)訓(xùn)練與支持系統(tǒng)的技術(shù)框架,針對(duì)訓(xùn)練和支持的特因環(huán)境,研究實(shí)現(xiàn)空間弱紋理以及失重模式下的純視覺(jué)位姿估計(jì)算法;針對(duì)訓(xùn)練中的多人協(xié)同以及天地遠(yuǎn)程支持,解決對(duì)象操作同步、Mesh Anchor 虛實(shí)空間匹配、天地虛擬場(chǎng)景虛虛匹配等關(guān)鍵技術(shù),為當(dāng)前工程任務(wù)完成提供支持途徑。

2 方法

2.1 設(shè)計(jì)目標(biāo)

航天員混合現(xiàn)實(shí)訓(xùn)練聚焦地面訓(xùn)練和在軌支持2 種模式。地面訓(xùn)練模式主要在目前已有實(shí)物、半實(shí)物模擬器基礎(chǔ)上,通過(guò)MR 頭盔實(shí)時(shí)渲染生成的三維標(biāo)注信息對(duì)復(fù)雜設(shè)備操作進(jìn)行虛擬導(dǎo)引,提高航天員操作效率與準(zhǔn)確性;模擬損傷性火災(zāi)場(chǎng)景等典型性故障,用于航天員應(yīng)急處置;模擬失重模式下設(shè)備操作狀態(tài),用于航天員熟悉在軌作業(yè)狀態(tài);用虛擬模式補(bǔ)充模擬艙內(nèi)工程實(shí)物、半實(shí)物實(shí)現(xiàn)難度大的設(shè)備,構(gòu)建真實(shí)的在軌空間環(huán)境。在軌支持模式除復(fù)雜設(shè)備操作自主導(dǎo)引外,重點(diǎn)實(shí)現(xiàn)天地協(xié)同定點(diǎn)定位的三維協(xié)同支持。航天員佩戴MR 頭盔,實(shí)時(shí)下傳操作場(chǎng)景,地面根據(jù)下傳圖像建立Mesh 空間與預(yù)先虛擬場(chǎng)景進(jìn)行虛虛匹配,在與空間一致的相對(duì)坐標(biāo)位置進(jìn)行虛擬信息的實(shí)時(shí)設(shè)置,上傳虛實(shí)疊加導(dǎo)引,指導(dǎo)航天員定點(diǎn)定位操作。

2.2 設(shè)計(jì)約束

面向建立長(zhǎng)期支持航天員地面訓(xùn)練與在軌支持的混合現(xiàn)實(shí)系統(tǒng),要考慮混合現(xiàn)實(shí)使用物理場(chǎng)景的特殊性。設(shè)計(jì)約束有4 方面: ①建立的工程實(shí)施體系架構(gòu)要同時(shí)滿足地面和在軌支持需要,且根據(jù)任務(wù)快速開(kāi)發(fā)與更動(dòng); ②無(wú)論地面訓(xùn)練用航天器模擬座艙還是真實(shí)的在軌航天器,視覺(jué)定位的場(chǎng)景紋理特征相對(duì)比較單一,屬于弱紋理,選取健壯的特征點(diǎn)以及建立描述子滿足精準(zhǔn)位姿估計(jì)需要; ③在軌失重模式下,基于比力傳感模式的MEMS(Micro-Electro-Mechanical System) IMU的加速度計(jì)無(wú)法正常工作,VIO 緊耦合模式定位紊亂,需要采用純視覺(jué)模式進(jìn)行位姿高速估計(jì),同時(shí)兼顧頭盔有限算力支持; ④多人協(xié)同及遠(yuǎn)程支持模式下,基準(zhǔn)錨點(diǎn)(Ancho)如何精準(zhǔn)匹配保證虛擬對(duì)象定位多人視覺(jué)感知位姿一致,遠(yuǎn)程支持模式下上傳虛擬信息三維投射需要與在軌空間擬定疊加對(duì)象幾何匹配一致[8]。其中,第一個(gè)約束屬于體系架構(gòu)設(shè)計(jì)問(wèn)題,后3 個(gè)約束屬于算法解決的關(guān)鍵技術(shù)。

2.3 體系框架

目前通用的混合現(xiàn)實(shí)開(kāi)發(fā)體系架構(gòu)通常面向單項(xiàng)任務(wù),依據(jù)航天員地面和在軌訓(xùn)練需求,本文設(shè)計(jì)了面向多人協(xié)同以及遠(yuǎn)程支持的混合現(xiàn)實(shí)訓(xùn)練與支持技術(shù)框架,如圖1 所示。

圖1 體系框架設(shè)計(jì)Fig.1 Framework of the system

在基于MRTK(Mixed Reality Toolkit)開(kāi)發(fā)體系架構(gòu)基礎(chǔ)上,采用MVC(Model-View-Controller)模式實(shí)現(xiàn)了航天員混合現(xiàn)實(shí)虛實(shí)融合交互操作中的數(shù)據(jù)、邏輯與顯示界面分離,通過(guò)配置實(shí)現(xiàn)交互驅(qū)動(dòng)、仿真及邏輯計(jì)算、對(duì)象空間顯示等解析處理,在減少代碼開(kāi)發(fā)的同時(shí),提高訓(xùn)練和支持科目的快速定制;系統(tǒng)基于OpenXR 接口機(jī)制,適應(yīng)Windows、Android 等操作系統(tǒng)交互開(kāi)發(fā)包的定制;基于NetCode for GameObject 對(duì)象狀態(tài)網(wǎng)絡(luò)分發(fā)機(jī)制實(shí)現(xiàn)多個(gè)訓(xùn)練終端之間的協(xié)同操作,剔除需要中間服務(wù)器中轉(zhuǎn)信息的傳統(tǒng)冗余模式;系統(tǒng)在統(tǒng)一Anchor 共享機(jī)制基礎(chǔ)上,實(shí)現(xiàn)了航天員單人/多人協(xié)同操作、專家與航天員遠(yuǎn)程MR 三維標(biāo)注支持。架構(gòu)模式編譯的應(yīng)用軟件可以按需進(jìn)行筆記本的Windows 操作系統(tǒng)、平板電腦和手機(jī)的Android 操作系統(tǒng)、以及其他VR(Virtual Reality)頭顯等設(shè)備的部署生成,適應(yīng)未來(lái)多終端模式便攜使用以及與MR 終端協(xié)同使用。

MR 終端開(kāi)發(fā)應(yīng)用場(chǎng)景一般是在模擬器座艙內(nèi),首先,通過(guò)頭盔魚(yú)眼相機(jī)捕獲周圍視覺(jué)環(huán)境計(jì)算位姿,同步進(jìn)行座艙環(huán)境的三維立體地圖稀疏重建,用于虛實(shí)融合定位、虛擬碰撞檢測(cè)、虛擬運(yùn)動(dòng)渲染和協(xié)同定位;其次,根據(jù)訓(xùn)練操作程序、預(yù)定腳本以及實(shí)體對(duì)象仿真,實(shí)時(shí)渲染生成三維虛擬對(duì)象或者引導(dǎo)標(biāo)注信息,通過(guò)光波導(dǎo)系統(tǒng)三維立體投射疊加到實(shí)體場(chǎng)景中的操作實(shí)物對(duì)象上;最后,通過(guò)TOF 相機(jī)識(shí)別用戶交互手勢(shì)、通過(guò)頭盔內(nèi)嵌語(yǔ)音系統(tǒng)識(shí)別用戶語(yǔ)音指令等,從而實(shí)現(xiàn)場(chǎng)景中的自然人機(jī)虛擬交互操作,形成人在MR回路中的按照虛擬引導(dǎo)的信息在實(shí)體環(huán)境中進(jìn)行虛實(shí)融合操作,完成預(yù)定的模擬訓(xùn)練任務(wù)或者操作支持任務(wù)。協(xié)同或者遠(yuǎn)程支持在此基礎(chǔ)上構(gòu)建同一虛擬匹配空間場(chǎng)景,在MR 空間協(xié)同虛擬信息交互。

2.4 關(guān)鍵技術(shù)

2.4.1 位姿估計(jì)優(yōu)化

位姿估計(jì)是航天員端單人/多人協(xié)同操作的基礎(chǔ),常規(guī)便攜模式下,地面MR 采用Inside-out由里向外內(nèi)置的視覺(jué)傳感和IMU 融合模式進(jìn)行位姿估計(jì)。其核心為視覺(jué)前端VO(Visual Odometry)視覺(jué)里程計(jì),即提取每幀圖像間接特征點(diǎn),利用相鄰幀圖像進(jìn)行特征點(diǎn)匹配(Frame to Frame),或者利用當(dāng)前幀與當(dāng)前地圖保存地圖進(jìn)行位姿匹配(Frame to Map),計(jì)算得到位姿信息。由于視覺(jué)特征點(diǎn)位姿計(jì)算受頭盔算力限制,輸出位姿速率為30 Hz 難以滿足實(shí)時(shí)渲染驅(qū)動(dòng)90 Hz 的需要,因此采用高頻IMU 預(yù)積分互補(bǔ)濾波激勵(lì)低頻視覺(jué)位姿估計(jì),從而輸出高頻精準(zhǔn)的位姿估計(jì)值,本文研制的頭盔IMU 插值可以達(dá)到500 Hz,遠(yuǎn)遠(yuǎn)大于最低頻率限制。

位姿估計(jì)多傳感器融合根據(jù)使用環(huán)境、功耗和實(shí)時(shí)性要求,一般分為緊耦合和松耦合。緊耦合將視覺(jué)傳感器和IMU 的狀態(tài)通過(guò)一個(gè)優(yōu)化濾波器合并在一起,需要把圖像特征點(diǎn)信息加入到狀態(tài)向量中,共同構(gòu)建運(yùn)動(dòng)方程和觀測(cè)方程,然后進(jìn)行狀態(tài)估計(jì),最終得到需要位姿信息和優(yōu)化的特征點(diǎn)信息,其融合過(guò)程本身會(huì)優(yōu)化更新視覺(jué)和IMU 中的參數(shù)。松耦合將視覺(jué)傳感器和IMU 分別計(jì)算得到的位姿直接進(jìn)行融合,融合過(guò)程對(duì)二者本身不產(chǎn)生影響,一般通過(guò)EKF(Extended Kalman Filter)濾波進(jìn)行融合作為后處理方式[9]。通過(guò)理論分析和試驗(yàn)證明,在緊耦合中,無(wú)論任何一個(gè)傳感器失效,最終位姿均失效;松耦合模式,二者可失效互補(bǔ)[10]。本文地面模式下采用VIO 融合松耦合模式,在軌失重采用VSLAM 建立VO 里程計(jì)?？紤]姿態(tài)陀螺儀姿態(tài)角速度只與初始坐標(biāo)相關(guān),在軌必要時(shí)可采用VSLAM 與MEMS 陀螺儀姿態(tài)角速度驅(qū)動(dòng)的松耦合模式。

松耦合以IMU 測(cè)量的加速度和角速度為激勵(lì),進(jìn)行本體預(yù)積分狀態(tài)估計(jì),以視覺(jué)里程計(jì)預(yù)估的位置和姿態(tài)為測(cè)量值,與IMU 狀態(tài)的估計(jì)值建立殘差狀態(tài)矩陣如式(1)所示:

在軌空間環(huán)境下,IMU 感知的重力形成了圍繞地球運(yùn)動(dòng)的向心加速度,基于比力模型的IMU加速度計(jì)無(wú)法正常工作,加速度計(jì)借助重力分解的俯仰角和滾動(dòng)角無(wú)法對(duì)漂移較大的陀螺儀實(shí)施姿態(tài)互補(bǔ)濾波,同時(shí)IMU 和相機(jī)也無(wú)法借助重力矢量進(jìn)行初始坐標(biāo)系統(tǒng)一,因此常規(guī)的頭盔位姿估計(jì)算法在軌無(wú)法正常使用。

基于上述分析,本文在軌采用純視覺(jué)VSLAM模式。缺少了IMU 瞬時(shí)加速度、角速度激勵(lì)和互補(bǔ)濾波,單純的VSLAM 法相比常規(guī)對(duì)視覺(jué)感知的特征點(diǎn)選取要求更高。依據(jù)航天器艙內(nèi)實(shí)際,針對(duì)設(shè)備結(jié)構(gòu)復(fù)雜、角點(diǎn)以及輪廓幾何等信息比較豐富,在算法的選擇上可以采用Harris 角點(diǎn)、FAST(Features from Accelerated Segment Test)、BRIEF(Binary Robust Independent Elementary Features)、ORB(Oriented FAST and Rotated BRIEF)、BRISK ( Binary Robust Invariant Scalable Keypoints)等對(duì)幾何信息比較敏感的特征點(diǎn)描述子,以有效避免艙內(nèi)弱紋理信息特征提取的不足[11]。也有研究利用直線、面信息進(jìn)行特征捕獲,但計(jì)算比較復(fù)雜。通常情況下視覺(jué)位姿估計(jì)的頻率大于60 Hz 才可滿足人的虛實(shí)感知一致性需求。為解決高速姿態(tài)預(yù)估,VSLAM 前端采用計(jì)算負(fù)荷小、速度快的直接特征光流法(艙內(nèi)幾何角點(diǎn)信息豐富)進(jìn)行特征點(diǎn)識(shí)別圖像對(duì)齊,采用描述子進(jìn)行關(guān)鍵特征點(diǎn)建立、位姿優(yōu)化和適合MR 虛實(shí)融合三維Mesh 地圖重建(原始為點(diǎn)云三維重建)。考慮到位姿預(yù)估的健壯性,本文研制的頭盔純SLAM 算法中采用特殊特征點(diǎn)描述子,經(jīng)測(cè)量匹配速度為前最快的ORB 描述子1/3～1/4 倍。

純VSLAM 模式位姿優(yōu)化同樣建立狀態(tài)方程,通過(guò)式(3)建立滑動(dòng)窗口進(jìn)行姿態(tài)估計(jì)優(yōu)化。

為保證姿態(tài)預(yù)估值更好地驅(qū)動(dòng)渲染圖像,提高純視覺(jué)位姿估計(jì)不低于60 Hz 的速率,提高視覺(jué)圖像處理VPU(Visual Process Unit)算力的同時(shí),采用頭盔CPU 芯片與VPU 混合模式雙算力進(jìn)行位姿估計(jì)解算。實(shí)際受艙內(nèi)弱紋理圖像位姿估計(jì)特征點(diǎn)需要,可對(duì)低頻姿態(tài)預(yù)估值進(jìn)行平滑高速插值計(jì)算,與VIO 優(yōu)化恒速預(yù)估方法一致,采用前幀或者前幾幀運(yùn)動(dòng)速度進(jìn)行預(yù)估插值,從而提供更高速的位姿輸出。考慮到頭盔相機(jī)運(yùn)動(dòng)中光心一致性,建立如式(4)所示插值方程,基于李群李代數(shù)[12]擾動(dòng)法進(jìn)行解算。

2.4.2 多人協(xié)同操作

在航天員單人操作的基礎(chǔ)上增加數(shù)據(jù)協(xié)同功能則可實(shí)現(xiàn)多人協(xié)同操作。為保證協(xié)同信息在物理空間中位置的一致性,在多名航天員可以各自進(jìn)行位姿估計(jì)的基礎(chǔ)上,采用空間錨點(diǎn)(Space Anchor)作為物理空間的共同參考?？臻g錨點(diǎn)提供了一種能夠?qū)f(xié)同信息保留在物理空間特定位置和旋轉(zhuǎn)狀態(tài)上的方法,并且保存了該點(diǎn)周圍的空間信息,作為虛實(shí)融合信息交互的參考基準(zhǔn)空間。錨點(diǎn)的建立是視覺(jué)掃描的物理空間,通過(guò)三維掃描建立場(chǎng)景點(diǎn)云空間,然后轉(zhuǎn)換成可以表達(dá)空間場(chǎng)景的幾何結(jié)構(gòu)特征稀疏連接Mesh 地圖。多人協(xié)同時(shí),多個(gè)MR 終端通過(guò)實(shí)時(shí)掃描建立空間Mesh 地圖,與已知共享的Mesh 地圖匹配,當(dāng)匹配置信度大于90%以上,可以認(rèn)為此時(shí)空間為基準(zhǔn)建立共享坐標(biāo)系。多人在基于同一物理空間建立的虛擬空間場(chǎng)景進(jìn)行虛擬協(xié)同交互,三維虛擬視覺(jué)感知場(chǎng)景位姿一致。

圖2 為多人協(xié)同操作的流程控制圖。MR 頭盔之間建立連接,其中一臺(tái)作為主機(jī)(服務(wù)端+客戶端),采用應(yīng)用程序中的NetCode 機(jī)制進(jìn)行虛擬對(duì)象(GameObject)信息共享與分發(fā),包含了沖突競(jìng)爭(zhēng)處理,不再單獨(dú)設(shè)置信息中轉(zhuǎn)服務(wù)器;所有MR 頭盔各自進(jìn)行位姿估計(jì)與建圖,并在穩(wěn)定感知的物理空間位置創(chuàng)建空間錨點(diǎn);主機(jī)將空間錨點(diǎn)通過(guò)網(wǎng)絡(luò)發(fā)送到其他客戶端,當(dāng)各客戶端接收到錨點(diǎn)信息時(shí)與自身創(chuàng)建的錨點(diǎn)信息進(jìn)行比對(duì),比對(duì)成功則將虛擬世界坐標(biāo)進(jìn)行校準(zhǔn),比對(duì)失敗則繼續(xù)空間感知捕獲完善錨點(diǎn)信息,直到與主錨點(diǎn)相匹配;錨點(diǎn)與坐標(biāo)校準(zhǔn)后MR 頭盔之間可以進(jìn)行同步操作;不需要協(xié)同工作時(shí)客戶端與主機(jī)斷開(kāi)連接,協(xié)同結(jié)束。由于協(xié)同操作時(shí)的物理基準(zhǔn)空間匹配物是一致的,因此只要位姿估計(jì)準(zhǔn)確和地圖構(gòu)建完備,即可實(shí)現(xiàn)空間錨點(diǎn)成功匹配和虛實(shí)融合信息的同一場(chǎng)景感知。

圖2 協(xié)同流程控制Fig.2 Collaborative process control

如圖3 所示,多人協(xié)同操作數(shù)據(jù)通過(guò)數(shù)據(jù)同步模塊實(shí)現(xiàn)同步,數(shù)據(jù)是以GameObject 對(duì)象通過(guò)網(wǎng)絡(luò)同步機(jī)制進(jìn)行分發(fā)與訂閱,同步內(nèi)容包含所有航天員端各自的位姿、操作數(shù)據(jù)等。終端航天員對(duì)虛擬對(duì)象的操作如移動(dòng)、旋轉(zhuǎn)、縮放、顯隱、生成與銷毀等實(shí)時(shí)同步到其他航天員端和專家端,保持MR 混合場(chǎng)景虛擬對(duì)象動(dòng)態(tài)變化一致性。

圖3 數(shù)據(jù)同步操作Fig.3 Data synchronization

數(shù)據(jù)同步模塊可以同步的數(shù)據(jù)類型包括Int、Bool、Vector3、String 以及Byte。同步命令列表如表1 所示,其中操作類別(Type)為觸發(fā)的操作的類別名稱;命令頭(Head)具體區(qū)分每一條命令,不同的命令對(duì)應(yīng)不同的協(xié)同操作。命令體(Body)根據(jù)Head 做對(duì)應(yīng)操作:Vector3 為含有3個(gè)浮點(diǎn)數(shù)的結(jié)構(gòu)體;Guid 為唯一識(shí)別碼,每一個(gè)被操作的物體都有一個(gè)Guid,用來(lái)區(qū)分所要操作的物體;String 為特定的命令字符串;Int 為協(xié)同信息索引值;Bool 為協(xié)同信息的顯隱值;Byte 則用來(lái)傳輸圖像、音頻、視頻等。

表1 操作類別表示Table 1 Operation list representation

在數(shù)據(jù)同步時(shí),根據(jù)操作內(nèi)容構(gòu)建不同的指令。例如,航天員端01 對(duì)協(xié)同信息進(jìn)行移動(dòng)操作,則根據(jù)類別表創(chuàng)建一條命令頭為Move,命令體為協(xié)同信息當(dāng)前的空間坐標(biāo),以及協(xié)同信息的Guid。然后發(fā)送命令到數(shù)據(jù)同步模塊,數(shù)據(jù)同步模塊接收到命令后將命令發(fā)送給其他客戶端(航天員端或?qū)＜叶?,其他客戶端對(duì)命令進(jìn)行解析,解析依據(jù)接收到的命令頭做相對(duì)應(yīng)的響應(yīng)。

2.4.3 遠(yuǎn)程支持

專家端對(duì)航天員端進(jìn)行遠(yuǎn)程支持時(shí),由于專家端運(yùn)行于PC 端而沒(méi)有空間位姿估計(jì),因此專家端僅需與航天員端在空間匹配的基礎(chǔ)上保持虛擬內(nèi)容的同步即可。專家端與航天員端的協(xié)同控制流程如圖4 所示,首先專家端與航天員端進(jìn)行連接,進(jìn)行天地2 個(gè)虛擬空間的虛虛匹配,然后進(jìn)行支持操作的同步。與多人協(xié)同不同,首先需要將航天員操作的Mesh 空間與地面預(yù)知的支持場(chǎng)景的數(shù)字孿生三維模型粗匹配,通常采用全局或者局部輪廓匹配法;其次精準(zhǔn)匹配到數(shù)字孿生虛擬空間場(chǎng)景中的對(duì)應(yīng)局部空間位置,保證地面三維的標(biāo)注對(duì)象及位姿能夠準(zhǔn)確映射到遠(yuǎn)程航天員MR 頭盔視覺(jué)感知的真實(shí)場(chǎng)景中,且與擬標(biāo)注實(shí)物對(duì)象精準(zhǔn)虛實(shí)融合疊加。由于遠(yuǎn)程支持系統(tǒng)是多人系統(tǒng)操作的特例,因此其同步操作過(guò)程與多人協(xié)同操作相同。

圖4 專家端與航天員端協(xié)同控制流程Fig.4 Collaborative process between expert and astronaut

專家端用于對(duì)航天員端進(jìn)行遠(yuǎn)程支持,因此專家端通常設(shè)置為航天員端第一視角,保持與航天員視覺(jué)感知內(nèi)容一致,便于實(shí)時(shí)支持;航天員端與專家端建立聯(lián)系后,航天員端會(huì)將操作場(chǎng)景、設(shè)備狀態(tài)、姿態(tài)等通過(guò)數(shù)據(jù)同步模塊傳輸?shù)綄＜叶酥?專家根據(jù)航天員所需可以在虛擬空間中編輯虛擬支持模型,包括模型選擇、移動(dòng)、旋轉(zhuǎn)、縮放、添加指示箭頭和特征符號(hào)等,專家操作通過(guò)數(shù)據(jù)同步模塊同步到航天員端,形成航天員MR 視野中的三維虛擬標(biāo)注支持信息。

3 試驗(yàn)結(jié)果

3.1 航天員體驗(yàn)訓(xùn)練主訴

基于設(shè)計(jì)的體系框架,針對(duì)典型任務(wù)訓(xùn)練,實(shí)現(xiàn)了出艙活動(dòng)程序、應(yīng)急火災(zāi)、環(huán)控生保ORU(Orbital Replacement Unit)、科學(xué)機(jī)柜ORU 以及CMG(Control Moment Gyro)維修等任務(wù)的混合現(xiàn)實(shí)訓(xùn)練支持單機(jī)誘導(dǎo)程序。13 名航天員地面體驗(yàn)和訓(xùn)練調(diào)查問(wèn)卷統(tǒng)計(jì)表明:使用過(guò)程中均無(wú)不適感覺(jué),相比全沉浸式VR,透射式MR 體驗(yàn)感好;移動(dòng)定位精準(zhǔn)、虛實(shí)融合一致、協(xié)同一致,渲染虛擬對(duì)象操作過(guò)程無(wú)漂移抖動(dòng),均認(rèn)為可以有效用于實(shí)物半實(shí)物難以模擬的設(shè)備操作訓(xùn)練、典型復(fù)雜流程設(shè)備訓(xùn)練,可以彌補(bǔ)目前實(shí)物訓(xùn)練器難以工程實(shí)施的訓(xùn)練項(xiàng)目;77%航天員認(rèn)為目前的電子手冊(cè)可以混合現(xiàn)實(shí)模式在軌使用,直觀視野顯示,解放雙手,提高操作效率;92%認(rèn)為可用于自主預(yù)先訓(xùn)練以及過(guò)程訓(xùn)練。執(zhí)行過(guò)在軌任務(wù)的航天員均表示作為一種新穎訓(xùn)練手段,MR 操作使用便捷方便,對(duì)手冊(cè)操作解放雙手和復(fù)雜程序引導(dǎo)有直觀的輔助支持作用,提高了訓(xùn)練質(zhì)量和效率,可以作為在軌自主訓(xùn)練和應(yīng)急支持手段。

3.2 位姿試驗(yàn)

地面模式下采用渲染虛擬對(duì)象與實(shí)體融合方法,通過(guò)受試者位姿實(shí)時(shí)變化測(cè)量虛擬對(duì)象空間定位精準(zhǔn)度和穩(wěn)定性。在模擬器現(xiàn)場(chǎng),錨點(diǎn)原點(diǎn)設(shè)置為桌角圖標(biāo)中心處,通過(guò)在空間錨點(diǎn)疊加渲染的15 cm×15 cm×15 cm 的半透明立方體(圖5),經(jīng)多次測(cè)試統(tǒng)計(jì)表明:地面VIO 模式下,受試者任意位置和姿態(tài)變換運(yùn)動(dòng),渲染對(duì)象在實(shí)體空間中無(wú)大于1 cm 的位置偏差、姿態(tài)保持穩(wěn)定、無(wú)抖動(dòng)閃爍現(xiàn)象;多名受試終端同時(shí)協(xié)同任意位姿運(yùn)動(dòng),渲染對(duì)象位姿保持穩(wěn)定、視覺(jué)姿態(tài)變化與預(yù)想實(shí)際一致,虛擬對(duì)象抖動(dòng)不明顯。在純視覺(jué)的VO 模式下,精度偏差保持在1 cm 內(nèi),虛擬渲染對(duì)象有輕微抖動(dòng)現(xiàn)象,位姿輸出平滑性有改善空間。

圖5 位姿優(yōu)化估計(jì)測(cè)試Fig.5 Pose optim ization test

通過(guò)專用位姿測(cè)試數(shù)據(jù)集(行程長(zhǎng)度18.67 m)對(duì)自研MR 頭盔2 種位姿預(yù)估算法進(jìn)行了試驗(yàn),位置和姿態(tài)估計(jì)誤差結(jié)果如表2、表3 所示?？梢钥闯?無(wú)論位置還是姿態(tài)估計(jì),VIO 模式優(yōu)于VSLAM 的VO 模式。經(jīng)分析,VO 模式是視覺(jué)特征點(diǎn)基于前幀間的勻速運(yùn)動(dòng)預(yù)估后重投影位姿優(yōu)化解算,而VIO 是視覺(jué)特征點(diǎn)基于IMU 本體瞬時(shí)中值積分的速度、角速度激勵(lì)預(yù)估重投影位姿優(yōu)化解算,因此VIO 重投影預(yù)估更精確和平滑一些。在軌VSLAM 的VO 定位方法還應(yīng)該從算法和插值上再做優(yōu)化。通過(guò)標(biāo)準(zhǔn)數(shù)據(jù)集V201 的VO 插值試驗(yàn)驗(yàn)證,如表4 所示,結(jié)果表明:運(yùn)動(dòng)預(yù)估采用前3 幀速度、角速度平滑預(yù)估后的均方根誤差(RMSE)和平均誤差(MEAN)更為精準(zhǔn)一些,接近原始的GroundTruth 預(yù)估。

表2 位置估計(jì)誤差Tab le 2 Position estim ation error

表3 姿態(tài)估計(jì)誤差Table 3 Attitude estimation error (°)

表4 插值位姿誤差Table 4 Interpolation pose error m

3.3 多人協(xié)同操作測(cè)試

采用5 臺(tái)MR 設(shè)備多人協(xié)同操作測(cè)試,其中4臺(tái)作為被測(cè)對(duì)象,1 臺(tái)用于拍攝測(cè)試過(guò)程,如圖6所示,模擬航天員在模擬器現(xiàn)場(chǎng)頭戴MR 設(shè)備,頭頂出現(xiàn)代表航天員頭部位姿的替身模型,且跟隨模擬航天員頭部位姿;混合現(xiàn)實(shí)場(chǎng)景中正確疊加了提示協(xié)同信息。結(jié)果表明:多人協(xié)同操作模塊支持多人同時(shí)進(jìn)入相同場(chǎng)景,支持其他用戶隨時(shí)加入;支持實(shí)時(shí)同步更新場(chǎng)景中的位置信息及操作控制信息。虛擬對(duì)象場(chǎng)景虛實(shí)融合位姿穩(wěn)定,多用戶操作體驗(yàn)感較好,滿足航天員訓(xùn)練需求。

圖6 多人協(xié)同信息測(cè)試Fig.6 M ulti-person collaborative information test

3.4 遠(yuǎn)程支持系統(tǒng)

在模擬器現(xiàn)場(chǎng)對(duì)遠(yuǎn)程支持系統(tǒng)進(jìn)行測(cè)試,采用1 臺(tái)PC 機(jī)作為專家端,1 臺(tái)MR 設(shè)備作為航天員端。如圖7 所示,專家端收到航天員端數(shù)據(jù)后,2 個(gè)場(chǎng)景Mesh 經(jīng)過(guò)粗匹配和精匹配后基本吻合,還原了第一視角視頻流的同時(shí),恢復(fù)了航天員在混合現(xiàn)實(shí)場(chǎng)景中的位姿,并用替身模型加以標(biāo)識(shí),專家端可以在虛擬空間進(jìn)行遠(yuǎn)程三維引導(dǎo)標(biāo)注,航天員端可以實(shí)時(shí)根據(jù)虛擬對(duì)象空間標(biāo)注指引進(jìn)行操作。由于無(wú)需理解手冊(cè)等輔助工具,直接按照虛實(shí)融合的標(biāo)注引導(dǎo)進(jìn)行操作,試驗(yàn)表明混合現(xiàn)實(shí)遠(yuǎn)程支持減少了腦力負(fù)荷,提高了操作的準(zhǔn)確性和效率,適合應(yīng)急模式下的操作支持。

圖7 專家端還原航天員端第一視角Fig.7 Expert-end reconstruction of first view of astronaut

4 結(jié)論

本文從航天員在軌和地面訓(xùn)練實(shí)際需求出發(fā),設(shè)計(jì)并實(shí)現(xiàn)了航天員混合現(xiàn)實(shí)訓(xùn)練系統(tǒng),解決相關(guān)關(guān)鍵技術(shù),并試驗(yàn)驗(yàn)證了其有效性,主訴訓(xùn)練體驗(yàn)和試驗(yàn)結(jié)果表明:

1) MR 作為一種虛實(shí)融合的便攜訓(xùn)練手段,可以有效結(jié)合實(shí)物半實(shí)物訓(xùn)練器進(jìn)行典型復(fù)雜設(shè)備操作引導(dǎo)、應(yīng)急等實(shí)物難以模擬的訓(xùn)練。

2)在軌MR 可以通過(guò)預(yù)估速度的插值法實(shí)現(xiàn)VSLAM 位姿高速估計(jì),解決了在軌失重模式下高速M(fèi)EMS 加速度計(jì)無(wú)法支持難題。

3)航天員可以通過(guò)MR 協(xié)同模式進(jìn)行多人訓(xùn)練與操作,地面專家可以通過(guò)MR 遠(yuǎn)程支持模式對(duì)在軌航天員進(jìn)行三維標(biāo)注沉浸支持,提高支持效率和精準(zhǔn)性。

4)文中提出的VSLAM 姿態(tài)估計(jì)算法較好解決了在軌失重應(yīng)用難題,但在算法速度、位姿誤差度仍需優(yōu)化,以提高位姿預(yù)估的平滑度。