基于混合現(xiàn)實(shí)技術(shù)構(gòu)建排爆訓(xùn)練平臺的研究

孫博祥 武警部隊(duì)特種警察學(xué)院

引言

排爆是指專業(yè)排爆人員對所有爆炸物或疑似爆炸物的識別、轉(zhuǎn)移、拆解、摧毀或銷毀，使其失去爆炸性能的行為，簡述為排除爆炸物。排爆是軍警部隊(duì)擔(dān)負(fù)的一項(xiàng)特殊任務(wù)，使命光榮、責(zé)任重大、危險(xiǎn)性高，并且危險(xiǎn)性是即時(shí)的、致命的。在排爆過程中，判斷錯(cuò)誤或操作失誤導(dǎo)致的后果是不可逆的，更是不可重復(fù)和彌補(bǔ)的，因此有必要對排爆人員進(jìn)行接近于實(shí)戰(zhàn)的訓(xùn)練，采取相應(yīng)的訓(xùn)練，避免或減少排爆人員因訓(xùn)練不到位而造成的錯(cuò)誤與失誤，達(dá)到成功排爆的預(yù)期目的。計(jì)算機(jī)科學(xué)技術(shù)和虛擬技術(shù)為安全排爆和訓(xùn)練提供了更多新的技術(shù)和方法。這不僅確保了訓(xùn)練排爆技能，還保證了參訓(xùn)人員的安全，同時(shí)解決了排爆訓(xùn)練中的實(shí)踐操作訓(xùn)練難實(shí)施等諸多難題。

一、混合現(xiàn)實(shí)技術(shù)解決排爆訓(xùn)練難題

目前，排爆訓(xùn)練的裝備器材運(yùn)用，以實(shí)裝操作為主要方法，包括手工拆除爆炸物，主要爆炸物實(shí)物組件和雷管、炸藥替代物進(jìn)行模擬爆炸物制作和拆除訓(xùn)練。該方式存在裝備器材磨損快、經(jīng)費(fèi)保障困難等問題，尤其手工拆除爆炸物訓(xùn)練，進(jìn)入模擬實(shí)戰(zhàn)階段，運(yùn)用點(diǎn)火頭代替電雷管，適量火藥代替炸藥，具有一定的危險(xiǎn)性。

混合現(xiàn)實(shí)技術(shù)（MR）可以將圖形化顯示與虛擬能效數(shù)據(jù)完美結(jié)合。目前，混合現(xiàn)實(shí)技術(shù)在虛擬仿真訓(xùn)練上有著較為成熟的技術(shù)應(yīng)用?；旌犀F(xiàn)實(shí)技術(shù)，通過為用戶提供圖像、聲音、特效等方式模擬真實(shí)環(huán)境，同時(shí)結(jié)合空中鼠標(biāo)、手勢識別及力反饋設(shè)備，能夠有效地克服時(shí)間因素以及空間因素的限制與約束，使得虛擬空間和現(xiàn)實(shí)空間得到有效的融合，用自然的方式與虛擬環(huán)境進(jìn)行交互操作，擁有很強(qiáng)的身臨其境感，改變了過去排爆人員除了親身經(jīng)歷，就只能間接了解環(huán)境的模式，從而有效的擴(kuò)展了其認(rèn)知手段和領(lǐng)域。

?

將混合現(xiàn)實(shí)技術(shù)應(yīng)用到排爆訓(xùn)練中，可有效消除安全隱患，沉浸式的體驗(yàn)培訓(xùn)也可大大提升訓(xùn)練效率，能夠更好的解決排爆學(xué)習(xí)及實(shí)際操作訓(xùn)練，并降低訓(xùn)練成本。此外，該技術(shù)的應(yīng)用還可以避免排爆裝備器材操作以及手工拆除爆炸物訓(xùn)練，豐富排爆不同環(huán)境場景適應(yīng)性訓(xùn)練，進(jìn)行排爆行動(dòng)組織指揮訓(xùn)練，開展排爆模擬演練，在訓(xùn)練中建立排爆人員的綜合技能數(shù)據(jù)，并針對弱項(xiàng)強(qiáng)化練習(xí)，在實(shí)戰(zhàn)場景下引導(dǎo)經(jīng)驗(yàn)不足者進(jìn)行排爆訓(xùn)練，并開展綜合能力評估。

二、整體設(shè)計(jì)

基于混合現(xiàn)實(shí)技術(shù)的爆炸物拆除訓(xùn)練平臺，通過為用戶提供圖像、聲音、特效等方式模擬真實(shí)環(huán)境，使得虛擬空間和現(xiàn)實(shí)空間得到有效的融合，用戶由此擁有很強(qiáng)的身臨其境感。使用者可通過MR眼鏡來觀察設(shè)置好的虛擬場景，該場景可以根據(jù)訓(xùn)練需要設(shè)置，并且單人設(shè)備設(shè)定了通訊功能。單人眼鏡中看到的畫面除了真實(shí)的物體以外，還有由電腦計(jì)算渲染出來的高清晰度、大視場角的虛擬場景內(nèi)容，并為用戶提供了帶跟蹤的手持式手柄，可用于與虛擬環(huán)境物體進(jìn)行交互。該系統(tǒng)集成了顯示、跟蹤、交互、計(jì)算等多種設(shè)備，可以極大提升訓(xùn)練的逼真度和訓(xùn)練效果。

（一）具備功能

1.排爆數(shù)據(jù)庫

根據(jù)可提供的爆炸物資料，使用3DMAX對每個(gè)爆炸物建立三維模型，導(dǎo)出FBX（第一次使用應(yīng)該寫出全名）文件。對每個(gè)爆炸物建立電子數(shù)據(jù)檔案，應(yīng)當(dāng)包括可提供資料里的所有數(shù)據(jù)項(xiàng)（如型號、尺寸、引爆方式、拆解步驟等）。根據(jù)上述資料的數(shù)據(jù)量，建立對應(yīng)規(guī)模的數(shù)據(jù)庫以及排爆設(shè)備和排爆人員相應(yīng)的數(shù)據(jù)庫。

2.虛擬仿真教學(xué)導(dǎo)航系統(tǒng)

將3DMAX導(dǎo)出的FBX文件導(dǎo)入U(xiǎn)nity，建立素材文檔。設(shè)計(jì)教學(xué)關(guān)卡或教學(xué)視頻，具體形式待定。為了讓使用者查看和了解每種爆炸物，教學(xué)內(nèi)容應(yīng)當(dāng)涉及爆炸物的所有數(shù)據(jù)項(xiàng)。

3.爆炸物在線識別與實(shí)訓(xùn)系統(tǒng)

獲取若干爆炸物模型的圖片。利用基于神經(jīng)網(wǎng)絡(luò)的物體識別算法（Resnet50/ Fusion Net等）訓(xùn)練物體識別模型。構(gòu)建接近真實(shí)場景的1:1實(shí)訓(xùn)場景，用來練習(xí)和測試排爆技能。

4.MR交互

使用者佩戴設(shè)備即可以MR方式體驗(yàn)虛擬仿真系統(tǒng)，具體API參考Unity支持的MR硬件。

（二）系統(tǒng)構(gòu)建

系統(tǒng)構(gòu)建包括：（1）建立爆炸物的三維模型和資料的數(shù)據(jù)庫；（2）利用MR眼鏡自帶相機(jī)獲取爆炸物圖像；（3）通過模型識別出對應(yīng)的爆炸物模型，并以此從數(shù)據(jù)庫中獲取對應(yīng)爆炸物的信息；（4）利用硬件的投影技術(shù)，配以交互UI界面，使用者能夠完成對排爆的教學(xué)體驗(yàn)和實(shí)訓(xùn)體驗(yàn)。

（三）所需軟件

需要VS2019、Unity、3DMAX及支持SQL語句的數(shù)據(jù)庫。軟件開發(fā)環(huán)境具體包括：

（1）三維建模工具使用Autodesk公司開發(fā)的3DMAX，可導(dǎo)出模型用于后續(xù)工作；（2）混合現(xiàn)實(shí)中的虛擬環(huán)境搭建使用業(yè)界領(lǐng)先的Unity引擎，可提供實(shí)時(shí)逼真的顯示效果；（3）建立聯(lián)網(wǎng)數(shù)據(jù)庫，支持SQL語句查詢；（4）軟件開發(fā)IDE，如VS2019，支持分模塊協(xié)同開發(fā)等。

（四）所需硬件

硬件包括MR顯示設(shè)備和電腦兩部分。其中，MR顯示系統(tǒng)是用來實(shí)時(shí)刷新、繪制和顯示混合現(xiàn)實(shí)中的虛擬對抗場景，并且與處理器進(jìn)行實(shí)時(shí)數(shù)據(jù)交換，根據(jù)自帶攝像頭獲取爆炸物圖像來判斷爆炸物的位置和種類。電腦是用來計(jì)算爆炸物數(shù)據(jù)和使用者操作，根據(jù)爆炸物位置和具體的操作，實(shí)時(shí)計(jì)算爆炸物的變化，判斷使用者對爆炸物的操作，及時(shí)傳遞給系統(tǒng)進(jìn)行渲染。

三、平臺構(gòu)建步驟

（一）基礎(chǔ)數(shù)據(jù)層構(gòu)建

主要工作是資料錄入和基礎(chǔ)功能模塊的搭建，即構(gòu)建一個(gè)排爆訓(xùn)練平臺的原型系統(tǒng)。

1.資料準(zhǔn)備

根據(jù)初期的設(shè)計(jì)文檔準(zhǔn)備各種資料，包括爆炸物資料、排爆工具和防護(hù)裝備資料、排爆相關(guān)人員資料、排爆工作教學(xué)資料等。

2.錄入爆炸物信息

根據(jù)可提供的爆炸物資料，掃描爆炸物內(nèi)部結(jié)構(gòu)，使用3DMAX對每個(gè)爆炸物建立三維模型，導(dǎo)出FBX文件。對每個(gè)爆炸物建立電子數(shù)據(jù)檔案，應(yīng)當(dāng)包括可提供資料里的所有數(shù)據(jù)項(xiàng)，包括型號、尺寸、引爆方式，拆解流程圖和演示視頻等。

按上述步驟，對常用排爆設(shè)備進(jìn)行建模，包括設(shè)備名稱、所屬單位、生產(chǎn)商、使用方法等，并能按排爆類型、設(shè)備名稱等對設(shè)備進(jìn)行條件及組合查詢。

4.錄入人員信息

采集排爆人員信息或與已有人員管理數(shù)據(jù)庫建立關(guān)聯(lián)。人員管理模塊能添加、更新、刪除相關(guān)信息，包括姓名、性別、年齡、住址、所屬單位（相應(yīng)部門）、聯(lián)系電話等，并能按所屬單位進(jìn)行查詢。

根據(jù)以上資料的數(shù)據(jù)量，建立對應(yīng)規(guī)模的數(shù)據(jù)庫。數(shù)據(jù)庫應(yīng)當(dāng)能添加、更新、刪除各種數(shù)據(jù)項(xiàng)?？筛鶕?jù)數(shù)據(jù)庫的數(shù)據(jù)量決定是否需要服務(wù)器。

（二）構(gòu)建教學(xué)虛擬仿真場景

主要工作是構(gòu)建虛擬仿真教學(xué)導(dǎo)航系統(tǒng)。

1.資源管理

將3DMAX導(dǎo)出的FBX文件導(dǎo)入U(xiǎn)nity，建立素材文檔，應(yīng)當(dāng)包括排爆相關(guān)的視頻資源、音頻資源、文本資源等。

閱讀的概念沒有疑議，而涉及“淺閱讀”，關(guān)鍵在于一個(gè)“淺”字，這個(gè)淺字應(yīng)該定義于閱讀的主體、客體，速度還是目的？我們可以做個(gè)具體的對比分析。

2.設(shè)計(jì)教學(xué)關(guān)卡，完善教學(xué)視頻

為了讓使用者查看和了解每種爆炸物,教學(xué)內(nèi)容應(yīng)當(dāng)涉及爆炸物的所有數(shù)據(jù)項(xiàng)，并對常見排爆設(shè)備設(shè)置相應(yīng)教學(xué)內(nèi)容和考核內(nèi)容，確保使用者能夠搭配設(shè)備完成排爆工作。

3.設(shè)計(jì)教學(xué)模式下的交互UI界面

包括查看教學(xué)內(nèi)容，拖拽移動(dòng)虛擬排爆工具對教學(xué)關(guān)卡中的爆炸物進(jìn)行實(shí)驗(yàn)等。

4.教學(xué)模式下的MR交互

綁定MR眼鏡，使用者佩戴設(shè)備即可以MR方式體驗(yàn)虛擬仿真系統(tǒng)，具體API參考Unity支持的MR硬件。

（三）構(gòu)建實(shí)訓(xùn)虛擬仿真場景

主要工作是構(gòu)建爆炸物在線識別與實(shí)訓(xùn)系統(tǒng)。

1.數(shù)據(jù)采集及預(yù)處理

獲取海量的真實(shí)爆炸物圖片，采用自動(dòng)標(biāo)注結(jié)合人工篩選的方式，對數(shù)據(jù)進(jìn)行清洗，并標(biāo)注出訓(xùn)練模型所使用的數(shù)據(jù)集，同時(shí)將真實(shí)爆炸物進(jìn)行三維建模，形成三維特征數(shù)據(jù)庫。

2.模型訓(xùn)練與識別

圖片式識別基于神經(jīng)網(wǎng)絡(luò)的物體識別算法（Resnet50/Fusion Net）構(gòu)建訓(xùn)練物體識別模型。實(shí)際物體的整體識別利用OPENCV圖形圖像特征點(diǎn)識別法進(jìn)行AI智能識別。

3.設(shè)計(jì)實(shí)訓(xùn)模式下的交互UI界面

包括爆炸物的三維模型和資料中的所有數(shù)據(jù)項(xiàng)，根據(jù)提示完成爆炸物拆除。

四、混合現(xiàn)實(shí)排爆訓(xùn)練平臺的特點(diǎn)

基于混合現(xiàn)實(shí)技術(shù)的排爆訓(xùn)練平臺有如下幾方面特點(diǎn)：

1.系統(tǒng)構(gòu)建的訓(xùn)練場景逼真且沉浸感強(qiáng)

系統(tǒng)使用3D建模，用粒子特效和動(dòng)畫等還原爆炸物引爆等場景，給使用者一個(gè)逼真的工作場景和視聽體驗(yàn)。

2.系統(tǒng)提高了訓(xùn)練的效率和安全性

真實(shí)場景往往受限于天氣、場地等外部因素。而該平臺可以通過仿真模擬出可反復(fù)訓(xùn)練的環(huán)境場景，針對不同要求建設(shè)不同場景，并配有評分測驗(yàn)系統(tǒng)，大大提高了訓(xùn)練效率。另外，由于是仿真場景，會在暴露安全問題的同時(shí)降低危險(xiǎn)的發(fā)生，減少因失誤造成的經(jīng)濟(jì)損失或人員傷亡。

3.系統(tǒng)支持多人聯(lián)機(jī)協(xié)同訓(xùn)練

可以通過硬件設(shè)備進(jìn)行單人訓(xùn)練、多人交互訓(xùn)練和在線教學(xué)，最大程度地還原真實(shí)訓(xùn)練場景。

4.系統(tǒng)可擴(kuò)展性強(qiáng)

可根據(jù)實(shí)際需求分批擴(kuò)展相關(guān)功能，對系統(tǒng)進(jìn)行升級和二次開發(fā)。

5.完整的數(shù)據(jù)庫

該系統(tǒng)具有針對爆炸物的數(shù)據(jù)庫包括爆炸物的 3D 模型、尺寸、引爆方法等資料和拆解流程圖。同時(shí)與人員管理數(shù)據(jù)庫聯(lián)動(dòng)，實(shí)現(xiàn)管理與訓(xùn)練一體化。

6.模塊化教學(xué)

針對不同類型的爆炸物，建立排爆工具集和專門的排爆訓(xùn)練場，還原排爆成功和失敗的場景。

7.交互設(shè)計(jì)

將拆解流程圖與教學(xué)模塊結(jié)合，可以跟隨拆解引導(dǎo)動(dòng)畫一步步完成排爆工作。

8.設(shè)計(jì)隨機(jī)場景

通過一系列挑戰(zhàn)強(qiáng)化使用者的排爆技能，完成對排爆技能的測試。

五、平臺效果

訓(xùn)練平臺分為桌面操作平臺和MR操作平臺。桌面操作平臺需根據(jù)賬號密碼登錄，教員和學(xué)員的權(quán)限不同，可操作界面也不同。教員端的主要功能有選擇場景、評分系統(tǒng)、統(tǒng)計(jì)結(jié)果和數(shù)據(jù)資源管理，學(xué)員端的主要功能有爆炸物展示、設(shè)備使用、操作實(shí)踐和訓(xùn)練測試。

MR操作平臺與MR設(shè)備搭配使用，將實(shí)際場景與虛擬界面疊加顯示。主要功能有爆炸物資料、拆解引導(dǎo)、組裝引導(dǎo)、錄制視頻、模型庫及系統(tǒng)設(shè)置。

經(jīng)測試，整套訓(xùn)練平臺可支持至少50人同時(shí)在線進(jìn)行單人訓(xùn)練和在線教學(xué)，多人交互訓(xùn)練支持每組4人的訓(xùn)練。平臺可供排爆任務(wù)常見的場景，包括大中小型廣場、機(jī)場、火車站、地鐵站、公交車站、加油站、加氣站、重要單位（如領(lǐng)事館）附近、大中小型商場、居民區(qū)附近等。平臺提供可供操作的爆炸物種類有定時(shí)、遙控、感應(yīng)、松發(fā)、壓發(fā)、拉發(fā)、反平衡等。

使用該平臺進(jìn)行訓(xùn)練，學(xué)員在學(xué)習(xí)和訓(xùn)練中將接受更多新事物、新技術(shù)，更愿意主動(dòng)學(xué)習(xí)并探索新的訓(xùn)練學(xué)習(xí)方式。使用虛擬訓(xùn)練課程，幾乎沒有任何訓(xùn)練危險(xiǎn)，學(xué)員有充分的時(shí)間和精力做好專業(yè)技能的學(xué)習(xí)和訓(xùn)練，結(jié)合MR的操作引導(dǎo)，能夠大大提高完成任務(wù)的成功率和安全性。同時(shí)，虛擬訓(xùn)練課程中的場景、裝備、爆炸物等還能夠反復(fù)使用，學(xué)員能夠通過反復(fù)動(dòng)手實(shí)踐提高自己對理論知識的理解和對知識的掌握程度，訓(xùn)練能夠達(dá)到隨時(shí)隨地進(jìn)行，既便利又能帶來更好的訓(xùn)練效果。通過跟蹤每個(gè)學(xué)員的訓(xùn)練考核評估結(jié)果，能及時(shí)了解學(xué)員們對訓(xùn)練內(nèi)容的掌握情況，也便于教員和各級領(lǐng)導(dǎo)把握學(xué)員訓(xùn)練的節(jié)奏。

六、結(jié)語

隨著虛擬技術(shù)和傳感器技術(shù)的發(fā)展，混合現(xiàn)實(shí)技術(shù)能夠模擬各種環(huán)境，生成各種爆炸物，進(jìn)行各類排爆裝備操作訓(xùn)練和手工拆除爆炸物訓(xùn)練。該技術(shù)在排爆訓(xùn)練平臺中的應(yīng)用，能夠較好解決實(shí)裝訓(xùn)練帶來的安全、損耗和經(jīng)費(fèi)問題，實(shí)現(xiàn)科技支撐任務(wù)、技術(shù)服務(wù)作戰(zhàn)的目的。