基于增強(qiáng)現(xiàn)實(shí)技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)開發(fā)

周 杰，王新華，尹岳昆

（海軍潛艇學(xué)院 戰(zhàn)略導(dǎo)彈與水中兵器系，山東 青島 266071）

0 引 言

潛艇雷彈發(fā)控裝備的技術(shù)含量和復(fù)雜程度較高，在武器裝載裝填和發(fā)射過程中均涉及高壓氣、液壓、注排水、供電、艇內(nèi)武器等多種裝備和不同系統(tǒng)。在實(shí)裝操作時(shí)面臨操作步驟多、協(xié)同動(dòng)作復(fù)雜等問題，容易造成裝備和武器損害等，因此迫切需要在訓(xùn)練和操作過程中提供基于實(shí)裝的實(shí)時(shí)操作流程和動(dòng)作原理指導(dǎo)。目前虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)日趨成熟，大量虛擬訓(xùn)練平臺研發(fā)成功并裝配部隊(duì)。利用VR技術(shù)研發(fā)的虛擬訓(xùn)練系統(tǒng)能夠在一定程度上解決實(shí)裝操作風(fēng)險(xiǎn)高，容易造成設(shè)備損壞等問題，但VR設(shè)備操作虛擬環(huán)境越貼近實(shí)際裝備，需要考慮的細(xì)節(jié)就越多，如虛擬環(huán)境空間尺寸、碰撞檢測、應(yīng)力反饋、視角變化、部件動(dòng)作物理規(guī)律等，投入大，開發(fā)周期較長。部隊(duì)的優(yōu)勢是有大量實(shí)際裝備，而完全脫離裝備使用虛擬現(xiàn)實(shí)進(jìn)行操作訓(xùn)練，則無法發(fā)揮部隊(duì)優(yōu)勢，不利于提高訓(xùn)練水平。增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)將真實(shí)世界與虛擬世界的信息無縫集成，利用定位跟蹤、虛擬成像等技術(shù)，將實(shí)際裝備與裝備三維虛擬信息集合到同一空間[1]，通過AR可穿戴設(shè)備，使人眼看到虛擬信息與真實(shí)信息疊加后的效果。基于AR技術(shù)的發(fā)控裝備訓(xùn)練系統(tǒng)利用AR頭戴設(shè)備實(shí)時(shí)跟蹤定位操作者目光鎖定的目標(biāo)，在發(fā)控裝備標(biāo)示部件上顯示部件三維全息模型，透視其內(nèi)部結(jié)構(gòu)，給出操作方法和操作指示，利用語音輸入、手勢輸入讓用戶與AR頭戴設(shè)備顯示的實(shí)裝與虛擬信息相結(jié)合的畫面進(jìn)行交互，在AR設(shè)備的輔助下完成從理論知識到實(shí)裝操作的過渡，提高系統(tǒng)訓(xùn)練效果，降低研制成本。

1 系統(tǒng)設(shè)計(jì)

基于增強(qiáng)現(xiàn)實(shí)技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)利用AR光學(xué)透視式頭戴顯示器開發(fā)，如圖1所示。針對艇內(nèi)真實(shí)環(huán)境，依托實(shí)際裝備，使用人員利用AR頭戴設(shè)備實(shí)現(xiàn)目光追蹤，對于使用者目光鎖定的主要實(shí)裝部件，在AR頭戴設(shè)備顯示目鏡上顯示部件的全息模型、透視結(jié)構(gòu)、動(dòng)作原理動(dòng)畫視頻、操作使用指南等信息，全息模型和動(dòng)作原理與實(shí)裝部件貼合，操作指南基于實(shí)裝部件給出，具有極強(qiáng)的針對性和真實(shí)的操作感覺反饋。系統(tǒng)通過語音和手勢操作完成交互。

圖1 AR光學(xué)透視式頭盔顯示器

基于AR技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)原理如圖2所示。虛擬場景生成單元完成虛擬場景的模型建立、實(shí)時(shí)管理并集中管理其他外設(shè)；頭戴顯示器負(fù)責(zé)顯示裝備三維信息和實(shí)際裝備融合后的信號；傳感器跟蹤用戶視線變化；交互設(shè)備用于語音信號及手勢操作信號的輸入、輸出。首先傳感器和攝像頭采集艇內(nèi)實(shí)際裝備的視頻或者圖像，傳入系統(tǒng)后臺信息處理單元對其進(jìn)行數(shù)據(jù)分析和環(huán)境重構(gòu)，并結(jié)合頭部跟蹤設(shè)備采集的數(shù)據(jù)來分析裝備虛擬結(jié)構(gòu)和真實(shí)裝備環(huán)境的相對位置，完成兩者坐標(biāo)系的對齊及融合計(jì)算；交互設(shè)備采集用戶語音和手勢控制信號，完成在虛實(shí)結(jié)合場景中的交互操作。經(jīng)過系統(tǒng)融合處理的信息實(shí)時(shí)顯示在頭戴顯示器中。

系統(tǒng)的主要功能如下：

（1）發(fā)控裝備實(shí)裝部件視線定位結(jié)構(gòu)原理三維全息輔助學(xué)習(xí)。利用AR頭戴設(shè)備檢測使用者的視線，實(shí)現(xiàn)視線指示，三維模型跟蹤定位，在使用者視線聚焦的部件上顯示部件的三維模型，利用三維模型、實(shí)際裝備融合顯示和手勢控制等技術(shù)進(jìn)行部件結(jié)構(gòu)分解，動(dòng)作過程顯示，實(shí)現(xiàn)基于實(shí)裝的三維全息輔助學(xué)習(xí)。

圖2 潛艇雷彈發(fā)控裝備訓(xùn)練原理圖

（2）發(fā)控裝備實(shí)裝操作步驟全息實(shí)時(shí)指導(dǎo)?；趯?shí)裝部件在具體操作位置上給出全息操作指導(dǎo)，并能夠通過三維模型顯示操作引起的部件內(nèi)部動(dòng)作過程和工作介質(zhì)的主要流向。

（3）利用三維全息武器實(shí)現(xiàn)系統(tǒng)綜合訓(xùn)練。對于需要武器配合的綜合訓(xùn)練項(xiàng)目，如水下重裝訓(xùn)練、武器裝載訓(xùn)練，可在訓(xùn)練過程中通過顯示設(shè)備顯示三維虛擬武器，利用增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)虛擬武器的發(fā)控裝備實(shí)裝綜合操作訓(xùn)練。

系統(tǒng)通過攝像機(jī)識別并讀取已知標(biāo)識的相對位置，借以實(shí)現(xiàn)真實(shí)潛艇環(huán)境中發(fā)控裝備實(shí)際部件相對于攝像機(jī)位置、方向信息的跟蹤，通過矩陣計(jì)算得到坐標(biāo)的映射關(guān)系，然后在實(shí)際裝備上描繪出其三維結(jié)構(gòu)，最終實(shí)現(xiàn)虛擬裝備與實(shí)際裝備的疊加[2]。系統(tǒng)工作流程如圖3所示，系統(tǒng)結(jié)構(gòu)框圖如圖4所示。

圖3 系統(tǒng)工作流程圖

圖4 系統(tǒng)框架圖

在系統(tǒng)的開發(fā)設(shè)計(jì)過程中，使用了圖5所示的邏輯結(jié)構(gòu)，每一層的意義如下：

（1）數(shù)據(jù)層：包含了訓(xùn)練應(yīng)用模塊中的所有相關(guān)數(shù)據(jù)，如設(shè)備的基本參數(shù)、設(shè)備操作運(yùn)行數(shù)據(jù)以及三維模型數(shù)據(jù)等。數(shù)據(jù)層規(guī)定了數(shù)據(jù)結(jié)構(gòu)和存儲方式，規(guī)范數(shù)據(jù)調(diào)用機(jī)制是系統(tǒng)功能得以實(shí)現(xiàn)的基礎(chǔ)。

（2）模型層：將裝備部件的結(jié)構(gòu)模型數(shù)據(jù)進(jìn)行有機(jī)組織，在盡量保持模型細(xì)節(jié)的基礎(chǔ)上縮減模型存貯規(guī)模，并整合對應(yīng)部件模型的文本信息、三維動(dòng)畫或視頻指導(dǎo)等。

（3）平臺層：對系統(tǒng)數(shù)據(jù)層和模型層進(jìn)行集成與管理，使得各功能模塊可以順利實(shí)現(xiàn)。該層作為數(shù)據(jù)層與應(yīng)用層之間的紐帶，包括設(shè)備查詢平臺和操作過程指導(dǎo)平臺。

（4）應(yīng)用層：應(yīng)用層是部件結(jié)構(gòu)原理和操作指導(dǎo)功能的體現(xiàn)。包括裝備結(jié)構(gòu)信息查詢、部件動(dòng)作過程三維視頻、裝備操作過程指導(dǎo)、工作過程介質(zhì)流向展示等。

（5）界面層：界面層規(guī)定了人機(jī)交互界面風(fēng)格和界面顯示內(nèi)容，涉及語音輸入和手勢操作等交互方式。

圖5 系統(tǒng)邏輯圖

2 關(guān)鍵技術(shù)

2.1 發(fā)控裝備部件模型建立

模型的建立要考慮兼容目標(biāo)、傳感器和環(huán)境三個(gè)方面[3]。首先對于追蹤的裝備目標(biāo)，需要裝備目標(biāo)的先驗(yàn)信息，如裝備的外觀、形狀、相對位置、姿態(tài)等特性[4]；其次需要考慮傳感器的特性，選定的設(shè)備使用立體相機(jī)按照米制構(gòu)建；最后從環(huán)境角度出發(fā)，考慮到環(huán)境對跟蹤的準(zhǔn)確性起決定性作用，在跟蹤過程中，當(dāng)光照充足、環(huán)境相對穩(wěn)定時(shí)，視野中所見的重構(gòu)三維模型顯示更加穩(wěn)定，提高了模型追蹤定位位置的準(zhǔn)確性。在模型建立階段，以離線方式完成模型構(gòu)建，將建模和跟蹤分開。

模型的制作可以通過Autodesk Revit，Autodesk Solidworks等軟件對發(fā)控裝備部件模型進(jìn)行調(diào)整和修改，設(shè)備操作人員根據(jù)實(shí)際操作需要，對模型進(jìn)行拆分并進(jìn)一步處理成不同操作指導(dǎo)需求的AR虛擬場景模型，分類存儲在部件模型數(shù)據(jù)庫中[5]。模型的具體處理過程是通過數(shù)據(jù)共享與交換的標(biāo)準(zhǔn)格式實(shí)現(xiàn)不同軟件之間的信息交換，將模型導(dǎo)出為FBX格式，然后將此格式文件導(dǎo)入3DSMax軟件中再進(jìn)行處理或加以渲染，導(dǎo)出WRL格式的模型，該模型將作為后期AR程序調(diào)用的模型。

在發(fā)控裝備部件的建模過程中考慮AR系統(tǒng)的實(shí)際技術(shù)需求和資料儲備情況，若已知裝備目標(biāo)部件的CAD圖形則可將其作為先驗(yàn)知識，在構(gòu)建實(shí)際裝備訓(xùn)練環(huán)境時(shí)以本情況為主。在缺少CAD圖形的情況下，部分部件可通過傳感器逆向獲取目標(biāo)物體的模型信息作為先驗(yàn)知識。

2.2 基于模型的追蹤定位技術(shù)

識別追蹤技術(shù)、顯示技術(shù)和輸入交互技術(shù)是增強(qiáng)現(xiàn)實(shí)技術(shù)的核心組成部分，如圖6所示[6]。實(shí)現(xiàn)AR的基本功能主要依靠交互技術(shù)及空間感知的定位追蹤技術(shù)。傳感器獲取的數(shù)據(jù)經(jīng)過預(yù)處理作為輸入，實(shí)現(xiàn)對實(shí)際裝備的定位跟蹤，該過程可分為檢測和跟蹤兩個(gè)階段。在檢測階段，以被跟蹤裝備部件的先驗(yàn)信息作為初始值，利用視覺信息處理技術(shù)獲取的部件模型信息與輸入數(shù)據(jù)進(jìn)行匹配，確定其在空間的姿態(tài)和位置，實(shí)現(xiàn)對目標(biāo)部件的跟蹤。目前針對頭戴式AR眼鏡的跟蹤技術(shù)，大多將視覺和慣性測量原件進(jìn)行融合。本系統(tǒng)的跟蹤技術(shù)主要依靠視覺光學(xué)追蹤，其開發(fā)成本低，定位較精確。AR中的光學(xué)追蹤分類如圖7所示。

圖6 增強(qiáng)現(xiàn)實(shí)的核心技術(shù)

圖7 光學(xué)追蹤分類

采用OutsideIn方式需使用反光或特殊材質(zhì)制作的標(biāo)示點(diǎn)進(jìn)行輔助定位，如在識字卡片、繪本中的應(yīng)用。該技術(shù)定位準(zhǔn)確，但需要預(yù)先在實(shí)際場景中粘貼標(biāo)識，在使用適應(yīng)性和用戶體驗(yàn)方面存在局限性。在InsideOut無標(biāo)示追蹤技術(shù)中主要采用模型追蹤定位技術(shù)。視覺信息技術(shù)和跟蹤技術(shù)是該技術(shù)的主要難點(diǎn)。視覺信息處理需要提取和關(guān)聯(lián)傳感器所獲取的目標(biāo)物體信息，實(shí)時(shí)更新跟蹤系統(tǒng)狀態(tài)。針對潛艇內(nèi)部發(fā)控裝備的實(shí)際空間特性，選擇部件模型的CAD形狀和拓?fù)湫畔⒆鳛榉€(wěn)定的跟蹤線索，結(jié)合其各自對應(yīng)的紋理特征和形狀特征，整個(gè)視覺信息的處理過程以提取、優(yōu)化獲取構(gòu)建模型的穩(wěn)定特征為目標(biāo)。

由于潛艇內(nèi)部燈光較暗，環(huán)境狹窄，AR追蹤定位存在一定的困難，且由于艇上設(shè)備密集，觀察空間狹窄，無標(biāo)示追蹤在小于最小觀測距離時(shí)，模型定位無法完成。此時(shí)可考慮使用標(biāo)記跟蹤技術(shù)，但大量使用標(biāo)示會影響實(shí)際裝備的使用，所以基于AR技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)以模型定位為主，綜合使用模型定位和標(biāo)示定位，在觀察空間不足和觀察條件較差的位置使用標(biāo)示定位方法，根據(jù)具體環(huán)境綜合使用兩種技術(shù)可取得更好的效果。

3 結(jié) 語

利用AR技術(shù)研發(fā)雷彈發(fā)控裝備訓(xùn)練系統(tǒng)可以顯著提升日常訓(xùn)練水平，并在實(shí)際使用過程中提供實(shí)時(shí)操作和維護(hù)指導(dǎo)。使用基于AR技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)將顯著縮短新型潛艇雷彈發(fā)控裝備的學(xué)習(xí)掌握周期，提升掌握熟練程度。AR技術(shù)在2017年完成了新一輪大發(fā)展，被大量應(yīng)用于手機(jī)游戲中，頭戴式AR設(shè)備被投入市場，AR技術(shù)在軍事訓(xùn)練領(lǐng)域中的應(yīng)用條件已經(jīng)初步具備。推進(jìn)AR技術(shù)在軍事裝備領(lǐng)域的應(yīng)用對于科技興軍，加深新技術(shù)領(lǐng)域的軍民融合具有積極意義。