姚 凡,謝澤浩, 薛 娜,陳 超
(華北科技學院計算機學院,廊坊 065201)
道路交通傷害是導致死亡的主要原因之一,在全球死因排名中位居第11 位,并且是全球疾病負擔的第9 位主要因素。全球每年有120 萬人死于交通事故,更有數(shù)以萬計的人因此受傷,其中一些人甚至終生殘疾。因此,對于交通事故應急演練的研究具有迫切性。在國內的研究中,葉劍友等[1]通過模擬演練對交通事故中可能出現(xiàn)的突發(fā)狀況進行了研究,并取得了顯著成果。然而,該研究存在成本過高和適用對象局限于消防大隊等專業(yè)人員的問題,無法廣泛應用于大眾群體。其他研究,如胡小南等[2]對高速公路交通事故傷立體救治演練進行了分析和研究,針對交通事故傷的救治難點進行了探討。
虛擬現(xiàn)實技術綜合了多種科學技術,包括計算機圖形技術、仿真技術、人機交互技術、人工智能技術、傳感器技術和網(wǎng)絡技術等[3]。在應急演練領域,虛擬現(xiàn)實技術被廣泛應用。例如,陳建剛等[4]將3D 游戲引擎用于虛擬應急演練;張雪晗[5]將VR 技術應用于交通事故情景的圖像復原教學;朱新平等[6]設計了一種基于虛擬現(xiàn)實技術的機場消防應急救援虛擬演練平臺;張婷等[7]通過結合消防安全教育和虛擬現(xiàn)實技術開發(fā)了面向消防安全教育的在線平臺。虛擬現(xiàn)實技術可以創(chuàng)建逼真的虛擬環(huán)境,使用戶感覺自己置身于真實的交通場景中。用戶通過頭戴式顯示器和手柄等設備與虛擬環(huán)境進行互動,增強了他們的參與感和沉浸感。
本文主要設計了基于混合現(xiàn)實技術的交通事故應急仿真模擬系統(tǒng),結合虛擬現(xiàn)實技術和動態(tài)捕捉技術,利用Unreal Engine 實現(xiàn)了交通事故發(fā)生的虛擬場景。系統(tǒng)使用OpenXR插件連接硬件設備,用戶佩戴混合現(xiàn)實頭盔,身臨其境地感受交通事故的發(fā)生過程,并通過手柄進行應急救援操作。通過本文的設計,使用者可以模擬演練交通事故的發(fā)生過程和標準操作,提高其應急救援意識。
該系統(tǒng)使用Unreal 引擎進行開發(fā),分為培訓模塊和考核模塊。在培訓模塊中,系統(tǒng)通過XMLReader 讀取題目,并通過直觀的UI 界面展示給用戶。用戶可以使用OpenXR支持的手柄進行答題選擇,系統(tǒng)會根據(jù)用戶的選擇計算出成績,并將成績發(fā)送給考核模塊中的評分模塊進行存儲。考核模塊要求學生佩戴Perception Neuron動態(tài)捕捉設備,系統(tǒng)會以語音提示的形式給出考核任務,學生完成任務后將得到考核評分。最終的培訓評分和考核評分將以直觀的方式顯示在頭戴式顯示設備上。系統(tǒng)整體架構如圖1所示。
圖1 系統(tǒng)整體架構
培訓子系統(tǒng)由場景設計和UI 設計兩個關鍵部分組成。場景設計的目標是分析和設計交通事故發(fā)生過程中的靜態(tài)和動態(tài)元素,并借助Unreal 引擎來模擬真實的交通事故場景。通過場景的還原和模擬,學員能夠身臨其境地感受交通事故的發(fā)生,并在虛擬環(huán)境中進行培訓。同時,與UI 設計的配合能夠提供更加直觀和交互式的學習體驗。UI 設計利用OpenXR 開發(fā)包,專門針對HTC Vive 手柄進行交互設計。學員可以通過手柄與UI 界面進行互動,參與交通事故的模擬仿真培訓。在UI 界面中,學員將面臨一系列與交通事故相關的問題或情境,并需要使用手柄進行選擇或操作。學員的選擇將被記錄并得出相應的培訓結果,幫助他們加深對交通事故的認知和應對能力。通過將場景設計和UI設計相結合,培訓子系統(tǒng)為學員提供了一個綜合的培訓平臺。學員可以在虛擬環(huán)境中參與交通事故的模擬,通過與UI 界面的交互與挑戰(zhàn),增強對交通事故相關知識和技能的學習與實踐。這種綜合的培訓方式不僅提供了更加真實和身臨其境的學習體驗,還能夠有效促進學員的參與度和培訓效果。
在交通事故培訓模塊中,場景設計起著關鍵作用,旨在通過模擬真實的駕駛環(huán)境和交通事故場景,為學員提供身臨其境的培訓體驗。為了實現(xiàn)這一目標,我們使用了Unreal Engine引擎的場景編輯器,以創(chuàng)建一個逼真的虛擬場景。該場景包括道路、交通標志、建筑物等靜態(tài)元素,以還原真實世界中的交通環(huán)境。通過Unreal Engine 的場景編輯器,精確地布置道路和交通標志,以模擬真實道路的形狀和布局。此外,使用BluePrint 和Niagara 系統(tǒng)實現(xiàn)動態(tài)元素,如煙霧、火焰等,以增加場景的真實感和細節(jié)。這些元素的精心設計和放置,使學員能夠感受到真實駕駛環(huán)境的復雜性和變化性。場景設計需要綜合考慮培訓目標和學員需求,確保場景的逼真性和教育性。通過精心設計和細致調整,創(chuàng)建一個具有高度真實性和教育效果的交通事故培訓場景。場景設計如圖2所示。
圖2 場景設計
圖3 藍圖設計交互
在UI 設計方面,首先在UI 編輯器中創(chuàng)建一個新的UI Widget,并添加所需的UI 元素,如文本框、按鈕和進度條,以滿足培訓模塊的界面需求。通過藍圖配置UI 元素的交互行為,為按鈕添加點擊事件,使學員在完成選擇后能夠跳轉到下一個模擬場景。為了響應用戶的輸入操作,需要在UI Widget 中設置輸入事件處理,以使用戶能夠通過手柄與UI 進行交互。在Unreal Engine 中,可以利用其內置的輸入系統(tǒng)來處理各種交互操作,并完成點擊UI后的跳轉功能。
對于答題模塊,系統(tǒng)準備包含題目和答案的XML 文件。XML 文件是一種標記語言,用于存儲結構化的數(shù)據(jù)。在XML 文件中,可以使用標簽來定義題目和答案的結構,并使用元素來表示具體的題目和答案內容。確保XML 文件的格式正確且易于解析。
在Unreal 引擎中,首先創(chuàng)建一個UI 界面,用于顯示題目并接受用戶的答題選擇。使用UMG(unreal motion graphics)系統(tǒng)創(chuàng)建自定義的UI 界面,包括文本框、按鈕和其他交互元素。確保UI 界面與答題需求相符,并能夠正確呈現(xiàn)題目和選項。
在答題模塊的代碼或藍圖中,使用XMLReader插件加載XML文件,并解析其中的內容。根據(jù)XML 文件的結構,逐個讀取題目和答案,并將其存儲到適當?shù)淖兞炕驍?shù)據(jù)結構中,以便后續(xù)的顯示和答題過程。將從XML 文件中讀取的題目和選項內容顯示在答題界面上。通過將題目文本賦值給相應的文本框,并將選項內容綁定到對應的按鈕或復選框上,使學員能夠看到題目和可選的答案選項。確保界面的布局和設計清晰易懂,用戶能夠方便地進行答題選擇。監(jiān)聽用戶的答題選擇事件,當用戶點擊選項按鈕或進行答題操作時,獲取用戶選擇的答案,并與正確答案進行比較。根據(jù)答案的準確性,計算用戶的得分或評估,并進行相應的反饋或記錄。根據(jù)實際需求和規(guī)則,確定答案的匹配方式和得分計算方法。通過以上UI 設計和答題模塊的實現(xiàn),系統(tǒng)能夠提供交互式界面,讓學員參與答題過程,并根據(jù)其答題結果進行評估和反饋,從而增強學員的參與感和學習效果。
在本研究中,我們采用Perception Neuron 動態(tài)捕捉設備進行學員動作的實時捕捉。Perception Neuron是一種先進的身體運動捕捉系統(tǒng),由多個傳感器節(jié)點組成,可以精確地記錄學員身體各部位的運動。該設備通過無線連接與計算機進行數(shù)據(jù)傳輸,能夠提供高精度和低延遲的動作捕捉效果。將Perception Neuron 動態(tài)捕捉設備通過Axis軟件與計算機連接,可以實時獲取學員身體各部位的動作數(shù)據(jù),Axis插件如圖4所示。
圖4 Axis插件導入動態(tài)捕捉數(shù)據(jù)
學員在考核過程中穿戴動態(tài)捕捉設備,通過與虛擬場景中的角色進行匹配,我們可以準確記錄學員在培訓過程中的動作表現(xiàn),如圖5所示。該過程涉及數(shù)據(jù)的傳輸、解析和處理,確保捕捉到的動作數(shù)據(jù)與虛擬場景的角色一致。通過動作捕捉技術,我們能夠記錄學員的動作數(shù)據(jù),包括位置、旋轉、姿勢等信息。這些數(shù)據(jù)存儲在數(shù)據(jù)庫或文件中,供后續(xù)的評估和分析使用。同時,我們可以采用數(shù)據(jù)分析方法,探索學員的動作模式、錯誤行為以及改進點,從而為培訓提供個性化的建議和指導。
圖5 記錄學員在虛擬場景中的動作
根據(jù)動態(tài)捕捉數(shù)據(jù)信息,系統(tǒng)能夠準確記錄學員在考核過程中的動作信息。通過對學員動作姿態(tài)的回放,可以對其動作行為規(guī)范進行評分。這種基于動態(tài)捕捉的評分方法能夠更加客觀地評估學員的表現(xiàn),并提供有針對性的反饋。
在學員培訓子模塊中,系統(tǒng)會收集和記錄學員的答題正確率。這些數(shù)據(jù)被用于分析學員的表現(xiàn),并生成相應的評分。在考核子模塊中,系統(tǒng)會綜合考慮學員在培訓過程中的各項表現(xiàn),并結合動態(tài)捕捉數(shù)據(jù)信息的評分結果,得出最終的考核結果。這種綜合評分的方法能夠全面評估學員的培訓成果和能力水平。
通過動態(tài)捕捉數(shù)據(jù)信息的記錄和評分,系統(tǒng)能夠提供準確、客觀的評估,并對學員的動作行為規(guī)范進行指導和改進。同時,通過培訓子模塊的評分和考核子模塊的評分結合,系統(tǒng)能夠綜合考量學員的綜合能力,提供全面的培訓和考核結果,幫助學員提升技能水平和應急反應能力。
層次分析法是一種決策分析方法(analytic hierarchy process,AHP),可以對系統(tǒng)的可行性進行分析。本文使用層次分析法分別對各級指標的權重進行計算,得出培訓系統(tǒng)的沉浸性、合理性、流暢性、穩(wěn)定性、可操作性五個因素的具體權重值。三十名實驗人員對培訓系統(tǒng)進行體驗和培訓,然后根據(jù)五個影響因素進行評分。
將以上五個指標通過專家進行兩兩對比,從而排除不同因素之間的相互影響,根據(jù)兩者之間的重要性評分,將數(shù)據(jù)進行層次分析,得到結果見表1。
表1 影響因素賦值
表2 一致性檢驗結果
CR 值的大小體現(xiàn)判斷矩陣一致性的好壞,如果CR 值小于0.1,則滿足判斷矩陣一致性檢驗,以上測試判斷矩陣得到的CI值為0.024308,則計算得到CR 值為0.0217,其值<0.1,故本次測試滿足一致性檢驗,即所得權重具有一致性。
通過層次分析法的結果可知,系統(tǒng)的滿意度和各方面特性得到了認可。系統(tǒng)通過虛擬現(xiàn)實技術使人們在虛擬現(xiàn)實場景下進行系統(tǒng)的培訓和姿態(tài)存儲分析,在沉浸性、流暢性和實用性等各方面均有不錯的表現(xiàn),提供了一種可行的高效率的培訓方案。
本文設計了一種基于混合現(xiàn)實的交通事故應急仿真培訓系統(tǒng),系統(tǒng)通過混合現(xiàn)實場景下交通事故現(xiàn)場的模擬,對學員進行培訓,使用動態(tài)捕捉系統(tǒng)捕捉學員的動作姿態(tài),進行回放評分。系統(tǒng)為用戶提供了高度沉浸式、實時性和穩(wěn)定性的交通事故仿真培訓體驗。