基于虛實融合的裝備智能化教學(xué)模式研究

楊國振，武 萌

（陸軍裝甲兵學(xué)院 北京 100072）

裝備教學(xué)是院校人才培養(yǎng)的重要組成部分，裝備的駕馭能力直接決定裝備戰(zhàn)斗力的發(fā)揮，決定重大任務(wù)的完成情況。由于裝備教學(xué)人員、經(jīng)費消耗巨大，危險性大，很多教學(xué)單位采用了虛擬教學(xué)方式，但存在虛擬仿真效果不理想、交互不深、沉浸式體驗感不強等情況，而且考核評估模式陳舊簡單，難以準(zhǔn)確評估學(xué)生的裝備運用能力，不能精確給出建議，評估結(jié)果對訓(xùn)練的指導(dǎo)作用不明顯。針對以上問題，亟須研究一種基于虛實結(jié)合的智能化裝備教學(xué)模式，破解仿真教學(xué)中存在的交互不深、沉浸式體驗感不強、效率低、評估作用不明顯等難題。

1 國內(nèi)外研究現(xiàn)狀

美國空軍培養(yǎng)一名承擔(dān)作戰(zhàn)值班任務(wù)的飛行員，一般要經(jīng)歷3―4年的時間，經(jīng)過初級、中級、高級、戰(zhàn)斗入門、同型教練機和作戰(zhàn)飛機超過500飛行小時的實機飛行訓(xùn)練，培養(yǎng)一名F―16戰(zhàn)斗機飛行員共需670萬美元。隨著虛擬現(xiàn)實技術(shù)逐步成熟，美國空軍教育和訓(xùn)練司令部（AETC）嘗試引入新技術(shù)改進(jìn)訓(xùn)練方法來優(yōu)化飛行員訓(xùn)練體制，摸索虛擬現(xiàn)實技術(shù)是否能幫助飛行員學(xué)得更快和更深入。通過開展飛行員未來訓(xùn)練項目（PTN），驗證虛擬現(xiàn)實技術(shù)的實際訓(xùn)練效果，同時通過集成先進(jìn)生理傳感器、人工智能和數(shù)據(jù)分析等技術(shù)對訓(xùn)練系統(tǒng)進(jìn)行逐步改良，構(gòu)建美國空軍虛擬現(xiàn)實訓(xùn)練系統(tǒng)，為后續(xù)融入美軍新一代飛行員訓(xùn)練體系做準(zhǔn)備。從PTN項目訓(xùn)練試驗結(jié)果來看，飛行員訓(xùn)練周期縮短近一半，成效顯著，又可根據(jù)學(xué)生的特點強調(diào)個性化學(xué)習(xí)，的確有助于提高訓(xùn)練效率。

北京理工大學(xué)陳智慧等學(xué)者探討了虛擬仿真理念和技術(shù)在軍隊裝備教學(xué)中的應(yīng)用，針對裝備維修中存在的問題，引入仿真模型教學(xué)理念，將可視化細(xì)化到裝備的內(nèi)部架構(gòu)。廣東海洋大學(xué)候明鑫等學(xué)者論述了人工智能工具在裝備教學(xué)中的應(yīng)用，探討了人工智能分類功能在追蹤海洋裝備實踐中的應(yīng)用?？罩蓄A(yù)警學(xué)院張新勛等設(shè)計了一套雷達(dá)專業(yè)智慧教室架構(gòu)，包括一個交互式的白板、人機交互設(shè)備、課堂教學(xué)活動記錄裝備、遠(yuǎn)程監(jiān)控設(shè)備、戰(zhàn)場環(huán)境模擬設(shè)備、資源空間、服務(wù)空間等，實現(xiàn)了實戰(zhàn)化的信號測量、故障排查、設(shè)備演示等功能。

從上述的研究進(jìn)展和成果可以看到，研究者主要關(guān)注虛擬現(xiàn)實相關(guān)技術(shù)對教學(xué)環(huán)境、場景的構(gòu)建能力、沉浸式體驗感的實現(xiàn)，強調(diào)教師與學(xué)生的互動，從而提高教與學(xué)的效果，促進(jìn)學(xué)生能力的成長，為裝備教學(xué)提供了方向。

2 虛實融合的教學(xué)體系架構(gòu)設(shè)計

2.1 現(xiàn)實裝備教學(xué)系統(tǒng)

現(xiàn)實裝備教學(xué)系統(tǒng)由現(xiàn)實的教學(xué)裝備、教學(xué)環(huán)境和教學(xué)實踐活動，以及在運行過程中所需的感知設(shè)備、數(shù)據(jù)轉(zhuǎn)換、傳輸設(shè)備、數(shù)據(jù)存儲設(shè)備等組成。在實際教學(xué)任務(wù)完成過程中，現(xiàn)實裝備教學(xué)系統(tǒng)通過各類傳感器和現(xiàn)實監(jiān)控設(shè)備對其全過程進(jìn)行全方位實時映射，建立包括裝備構(gòu)件、戰(zhàn)場環(huán)境、教學(xué)活動等現(xiàn)實裝備教學(xué)的實時數(shù)據(jù)庫。以裝備實踐操作為例，具體應(yīng)用過程如圖1所示。

圖1 裝備操作實踐應(yīng)用過程圖

在操作過程中，5G網(wǎng)絡(luò)負(fù)責(zé)傳輸信號，生物信息采集平臺負(fù)責(zé)對接入VR設(shè)備的學(xué)生生理、心理信息進(jìn)行收集。每一臺VR設(shè)備都通過電腦與服務(wù)器連接，將所有數(shù)據(jù)輸入相應(yīng)的模塊進(jìn)行處理分析。

2.2 虛擬裝備教學(xué)系統(tǒng)

虛擬裝備教學(xué)系統(tǒng)根據(jù)現(xiàn)實裝備教學(xué)系統(tǒng)實時映射數(shù)據(jù)進(jìn)行仿真模擬，通過高逼真的三維可視化效果構(gòu)建接近于現(xiàn)實裝備教學(xué)系統(tǒng)的教學(xué)活動場景，真實地模擬整個教學(xué)過程。裝備虛擬教學(xué)系統(tǒng)主要由開發(fā)、仿真軟件組成，本質(zhì)上是各類型裝備、環(huán)境以及教學(xué)活動信息模型的集合，是數(shù)據(jù)到仿真虛擬的實現(xiàn)過程，確保教學(xué)過程實現(xiàn)沉浸式的體驗感。虛擬教學(xué)系統(tǒng)中主要將現(xiàn)實裝備教學(xué)系統(tǒng)產(chǎn)生的數(shù)據(jù)和數(shù)據(jù)管理模塊產(chǎn)生的數(shù)據(jù)，包含人、機、裝備、環(huán)境等裝備教學(xué)活動的所有要素轉(zhuǎn)換為數(shù)字化的幾何模型，以及用于表征物理屬性的信息模型。虛擬教學(xué)模塊不斷接收現(xiàn)實裝備教學(xué)系統(tǒng)的實時數(shù)據(jù)和數(shù)據(jù)管理模塊的分析、迭代數(shù)據(jù)，可實現(xiàn)虛擬裝備、環(huán)境的仿真優(yōu)化完善，豐富自身模型庫的建立，在特定裝備教學(xué)需求下，構(gòu)建超越現(xiàn)實的虛擬裝備教學(xué)場景。

2.3 數(shù)據(jù)管理系統(tǒng)

數(shù)據(jù)管理系統(tǒng)主要由各類算法和數(shù)據(jù)分析、管理軟件組成，是連接物理教學(xué)系統(tǒng)和虛擬教學(xué)系統(tǒng)的重要樞紐，采集、整合各類數(shù)據(jù)，進(jìn)行處理、分析、管理。在實際中，數(shù)據(jù)管理模塊可以通過相應(yīng)算法，實時對現(xiàn)實裝備教學(xué)系統(tǒng)產(chǎn)生的數(shù)據(jù)和虛擬裝備教學(xué)系統(tǒng)的數(shù)據(jù)進(jìn)行規(guī)劃、清理、封裝，實現(xiàn)數(shù)據(jù)的可操作、可追溯。同時，可對各類教學(xué)活動影響下的人員、裝備環(huán)境的各類變化情況，以及并發(fā)性和聯(lián)動性的行為進(jìn)行數(shù)據(jù)分析和迭代。并完成基于教學(xué)行為和演化規(guī)律的評估、優(yōu)化、預(yù)測，形成新的數(shù)據(jù)，反饋給現(xiàn)實裝備教學(xué)系統(tǒng)和虛擬裝備教學(xué)系統(tǒng)，對其相關(guān)教學(xué)行為進(jìn)行指導(dǎo)。同時，根據(jù)不同人員操作過程中獲取的相應(yīng)數(shù)據(jù)，分析學(xué)生的學(xué)習(xí)能力和特點，有針對性地形成改進(jìn)方案，以適應(yīng)變化的實際教學(xué)需求，從而提高裝備教學(xué)的整體效率。

3 創(chuàng)新虛實融合裝備教學(xué)模式

在虛實融合的教學(xué)體系架構(gòu)基礎(chǔ)上，課題組設(shè)計了數(shù)字孿生、虛擬原生兩種教學(xué)模式。

3.1 數(shù)字孿生教學(xué)模式設(shè)計

數(shù)字孿生教學(xué)主要是依靠現(xiàn)實裝備教學(xué)系統(tǒng)和虛擬裝備教學(xué)系統(tǒng)，通過數(shù)字孿生技術(shù)將現(xiàn)實的裝備、環(huán)境和教學(xué)活動完全映像到虛擬世界中，在虛擬空間內(nèi)建立包括人、裝備、環(huán)境和教學(xué)活動等要素在內(nèi)的擬真動態(tài)孿生體。具體過程如圖2所示：

圖2 數(shù)字孿生階段示意圖

在數(shù)據(jù)孿生模式下，通過數(shù)字孿生技術(shù)和交互設(shè)備等，在現(xiàn)實裝備教學(xué)系統(tǒng)、虛擬裝備教學(xué)系統(tǒng)和數(shù)據(jù)管理系統(tǒng)中，通過數(shù)據(jù)建立起三個系統(tǒng)的全過程映射。通過對現(xiàn)實中裝備的大小、質(zhì)量、體積等，環(huán)境地形、地物和地貌等，學(xué)生的體型、外貌、動作、表情等進(jìn)行全要素映射，使現(xiàn)實中每一個教學(xué)場景都能對應(yīng)唯一的數(shù)據(jù)鏈，并虛擬仿真成唯一的虛擬場景。通過全過程映射，在虛擬空間內(nèi)建立與現(xiàn)實教學(xué)過程一一對應(yīng)的擬真動態(tài)場景。

3.2 虛擬原生教學(xué)模式設(shè)計

虛擬原生教學(xué)系統(tǒng)主要是在現(xiàn)實的裝備、環(huán)境和教學(xué)活動完全映像到虛擬世界的基礎(chǔ)上，進(jìn)行數(shù)據(jù)的迭代分析，算法優(yōu)化，建立與現(xiàn)實相對應(yīng)的虛擬運行規(guī)則，使虛擬世界的里面的人、裝備或環(huán)境能夠自動生成并運轉(zhuǎn)，不需要借助真實場景來參與孿生體。如圖3所示。

圖3 虛擬原生教學(xué)示意圖

如圖所示，在虛擬原生模式下，通過大數(shù)據(jù)分析、迭代和算法的優(yōu)化，可以建立起人員行為規(guī)則庫、裝備運行規(guī)則庫、環(huán)境變化規(guī)則庫，人、裝備、環(huán)境交互規(guī)則庫等，通過建立各種規(guī)則庫，一方面可以優(yōu)化、生成更多的數(shù)據(jù)，建立相應(yīng)的虛擬場景，完善人員行為模型、裝備模型和教學(xué)環(huán)境模型，在數(shù)據(jù)足夠多、算法完善的情況下，可以分析預(yù)測裝備、人員、環(huán)境等從“生”到“死”全過程中產(chǎn)生的所有形態(tài)模型，并存儲在相應(yīng)的模型庫中，以供日后隨時調(diào)用。規(guī)則庫還可以對虛擬教學(xué)場景的下一步發(fā)展?fàn)顩r進(jìn)行分析、預(yù)測，驅(qū)動虛擬裝備教學(xué)系統(tǒng)自行產(chǎn)生新的虛擬教學(xué)場景，使虛擬世界里面的人、裝備或環(huán)境能夠自動生成并穩(wěn)定運轉(zhuǎn)，不需要借助真實場景。

4 虛實融合的裝備教學(xué)應(yīng)用研究

4.1 裝備認(rèn)知教學(xué)

傳統(tǒng)虛擬仿真外形特征居多，裝備與環(huán)境、人員的交互過程很多無法實現(xiàn)，仿真的結(jié)果只能展示固定條件下的裝備情況，而且沒有對人的行為數(shù)據(jù)進(jìn)行具體分析。本課題通過全息投影技術(shù)，更加立體直觀地呈現(xiàn)所學(xué)裝備，通過數(shù)字孿生技術(shù)，導(dǎo)入相應(yīng)裝備的實時虛擬數(shù)據(jù)，獲取相關(guān)裝備完備近乎真實的制造工藝、流程數(shù)據(jù)等，并通過高逼真的仿真模擬技術(shù)展示給學(xué)生，以加強學(xué)生對裝備的認(rèn)知了解。同時，學(xué)生相應(yīng)的行為、表情等特征數(shù)據(jù)也會通過感知設(shè)備，轉(zhuǎn)換成數(shù)據(jù)存入數(shù)據(jù)處理系統(tǒng)中，通過對學(xué)生行為的分析，顯示教學(xué)效果，并反饋于教學(xué)過程做出相應(yīng)改進(jìn)和提高。同時，在教學(xué)過程中還可根據(jù)需要變更虛擬教學(xué)場地、教學(xué)裝備、教學(xué)科目，記錄和復(fù)現(xiàn)學(xué)生的學(xué)習(xí)過程等。

4.2 裝備理論教學(xué)

通過數(shù)字孿生技術(shù)、虛擬技術(shù)和游戲技術(shù)構(gòu)建基于現(xiàn)實又超越現(xiàn)實的虛擬環(huán)境，建立在交互設(shè)備感知、大數(shù)據(jù)分析、規(guī)則庫預(yù)測上的深度交互功能，能讓學(xué)生身臨其境地進(jìn)行裝備操作，以更好地加深學(xué)生對理論的認(rèn)知。例如，在裝備火控系統(tǒng)校準(zhǔn)、修正和射擊理論的講授過程中，可以導(dǎo)入相應(yīng)的教學(xué)訓(xùn)練模塊，通過交互，實時進(jìn)行相關(guān)虛擬操作，并通過數(shù)據(jù)分析、處理，虛擬仿真后使學(xué)生根據(jù)教學(xué)需要，看到高度逼真或超越現(xiàn)實的情況顯示。例如，在裝備武器教學(xué)中，由于數(shù)據(jù)庫中存有各裝備每一個零部件的實時映射情況和組裝結(jié)構(gòu)情況，學(xué)生能夠更直觀深刻地體驗到各裝備構(gòu)件的設(shè)計原理和作用。而在射擊過程中，能根據(jù)教學(xué)需要，使射手真正看到火炮在發(fā)射過程中所受的各種阻力，以及外界的氣溫對彈道的影響，將枯燥的理論知識具象化，同時，學(xué)生還可以自行修改參數(shù)，使相應(yīng)的教學(xué)環(huán)境發(fā)生改變，自主學(xué)習(xí)相關(guān)參數(shù)對射擊的影響情況。系統(tǒng)通過數(shù)據(jù)分析和迭代優(yōu)化，反饋其在教學(xué)訓(xùn)練過程中存在的不足，大大提高教學(xué)效率。

4.3 裝備運用教學(xué)

通過仿真、VR和數(shù)字孿生技術(shù)，全時記錄戰(zhàn)場數(shù)據(jù)，在足夠多的數(shù)據(jù)支撐下，形成對戰(zhàn)場環(huán)境的全時、全方位深度模擬，基于數(shù)據(jù)處理模塊的環(huán)境變化規(guī)則庫的建立，能夠建立智能化的自行運轉(zhuǎn)戰(zhàn)場環(huán)境，也可通過參數(shù)設(shè)置強制改變戰(zhàn)場環(huán)境，提供近乎實戰(zhàn)環(huán)境下的單車射擊對抗訓(xùn)練和連排協(xié)同演練的訓(xùn)練內(nèi)容，滿足裝備運用的訓(xùn)練需求。

在虛擬對抗過程中，可根據(jù)射擊情況和受彈部位，結(jié)合相關(guān)裝備情況與作戰(zhàn)對抗毀傷數(shù)據(jù)庫——對應(yīng)，自行生成毀傷效果顯示，同時，基于數(shù)據(jù)處理模塊的裝備運行規(guī)則的建立，能夠?qū)崟r模擬裝備在作戰(zhàn)過程中的磨損、消耗情況。例如，在作戰(zhàn)過程中可以實時顯示裝備因長期使用磨損而導(dǎo)致性能降低，因為油料不夠而熄火等現(xiàn)象，而這些僅僅依靠虛擬仿真技術(shù)是無法實現(xiàn)的。

通過分布式虛擬現(xiàn)實技術(shù)，教師可以授予學(xué)生不同的身份，多名學(xué)生可以同時進(jìn)入一個虛擬空間，基于數(shù)據(jù)管理模塊建立的人、裝備與環(huán)境的交互規(guī)則庫，對作戰(zhàn)過程和行為進(jìn)行實時預(yù)測，實現(xiàn)人員、裝備和戰(zhàn)場環(huán)境的實時交互。在教學(xué)過程中，學(xué)生可以共同體驗近乎真實環(huán)境下的實裝協(xié)同作戰(zhàn)過程，并通過戰(zhàn)場情況和態(tài)勢把握，模擬實戰(zhàn)條件下的信息獲取、作戰(zhàn)決策過程，增強學(xué)生實戰(zhàn)時的協(xié)同配合能力。以作戰(zhàn)過程為例，對虛實融合和傳統(tǒng)虛擬仿真進(jìn)行對比分析，如表1所示：

表1 虛實融合和傳統(tǒng)虛擬仿真對比分析

通過以上對比可知，虛實融合裝備教學(xué)在作戰(zhàn)運用上比虛擬裝備教學(xué)具有更大的優(yōu)勢。

5 結(jié)語

基于虛實融合的裝備智能化教學(xué)模式在虛實融合的教學(xué)體系架構(gòu)基礎(chǔ)上，創(chuàng)新設(shè)計了數(shù)字孿生、虛擬原生兩種新型教學(xué)模式，并運用全息投影、數(shù)字孿生、VR技術(shù)、硬件仿真技術(shù)實現(xiàn)裝備認(rèn)知教學(xué)、裝備理論教學(xué)和裝備運用教學(xué)，有效破解了傳統(tǒng)仿真教學(xué)中存在的問題，提升了教學(xué)的有效性和學(xué)生學(xué)習(xí)的自主性。