頭盔式沉浸式虛擬現(xiàn)實(shí)技術(shù)的變電站仿真培訓(xùn)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

江龍，張德剛，李澤河，王國平，王達(dá)達(dá)，曹俊豪，譚武光

（1. 云南電網(wǎng)有限責(zé)任公司教育評(píng)價(jià)中心，昆明 650011；2. 北京科東電力控制系統(tǒng)有限責(zé)任公司，北京 100192）

0 前言

變電站仿真培訓(xùn)系統(tǒng)在提高受訓(xùn)人員的日常監(jiān)視、正常操作、異常與事故處理技能等方面發(fā)揮著不可取代的作用[1-6]。隨著沉浸式虛擬現(xiàn)實(shí)仿真技術(shù)的迅速發(fā)展，大量消費(fèi)級(jí)虛擬現(xiàn)實(shí)硬件設(shè)備不斷推出[7-10]，如Oculus Rift虛擬現(xiàn)實(shí)頭盔[11]、VΙVEKinect體感設(shè)備[12]。沉浸式虛擬現(xiàn)實(shí)仿真技術(shù)主要是通過各種硬件，如立體投影、頭盔顯示器等設(shè)備，把視覺、聽覺和其他感覺封閉起來，提供一個(gè)新的、虛擬的感覺空間，本文設(shè)計(jì)的變電站仿真培訓(xùn)系統(tǒng)，以沉浸式虛擬現(xiàn)實(shí)技術(shù)為基礎(chǔ)，配合虛擬現(xiàn)實(shí)頭盔、位置跟蹤器、動(dòng)作捕捉器等交互設(shè)備，從視覺、聽覺和交互方式等方面為變電站運(yùn)行人員構(gòu)建更加逼真的沉浸式變電站虛擬環(huán)境。

1 系統(tǒng)總體設(shè)計(jì)

1.1 硬件系統(tǒng)

本系統(tǒng)在網(wǎng)絡(luò)結(jié)構(gòu)上采用以太網(wǎng)組網(wǎng)，通信采用TCP/ΙP協(xié)議，硬件采用高性能圖形工作站，安裝Windows7 專業(yè)版操作系統(tǒng)，開發(fā)軟件采用Unity3D和VC，系統(tǒng)應(yīng)用分布采用教員遠(yuǎn)程配置的方式，使得系統(tǒng)擴(kuò)充升級(jí)方便，便于學(xué)習(xí)使用。硬件系統(tǒng)結(jié)構(gòu)見圖1。

圖1 仿真培訓(xùn)系統(tǒng)硬件結(jié)構(gòu)

每個(gè)培訓(xùn)硬件單元包括1個(gè)虛擬現(xiàn)實(shí)頭盔、1套位置追蹤器、1臺(tái)動(dòng)作捕捉器、2臺(tái)計(jì)算機(jī)。虛擬現(xiàn)實(shí)頭盔是沉浸式虛擬現(xiàn)實(shí)的必備設(shè)備，虛擬現(xiàn)實(shí)頭盔通過立體顯示系統(tǒng)，將三維場景由 2D 顯示模式呈現(xiàn)為具有景深的 3D 顯示模式，將體驗(yàn)者整體視覺環(huán)境包圍在起來，融入在整體虛擬世界之中，增強(qiáng)真實(shí)感；位置追蹤器通過采集培訓(xùn)人員頭部位置感應(yīng)點(diǎn)的空間數(shù)據(jù)并通過開發(fā)接口傳遞給系統(tǒng)，系統(tǒng)計(jì)算出相應(yīng)的頭部空間姿態(tài)，從而更新虛擬顯示頭盔的左右眼屏幕的三維圖像實(shí)現(xiàn)視景隨頭部運(yùn)動(dòng)而變化；系統(tǒng)通過動(dòng)作捕捉器的人機(jī)接口獲取培訓(xùn)人員的人體運(yùn)動(dòng)數(shù)據(jù)，然后將記錄到的運(yùn)動(dòng)數(shù)據(jù)映射到虛擬場景中的虛擬人，以驅(qū)動(dòng)虛擬人在虛擬場景中做出和培訓(xùn)人員相符合的肢體動(dòng)作，從而實(shí)現(xiàn)與虛擬場景的交互；運(yùn)行三維變電站監(jiān)控培訓(xùn)仿真系統(tǒng)的計(jì)算器通過連接虛擬現(xiàn)實(shí)頭盔、位置跟蹤器和動(dòng)作捕捉器，實(shí)現(xiàn)基于沉浸式視覺效果和自然人機(jī)交互技術(shù)的變電站監(jiān)控仿真培訓(xùn)；運(yùn)行電網(wǎng)仿真系統(tǒng)和變電站機(jī)理仿真的計(jì)算機(jī)通過網(wǎng)絡(luò)和運(yùn)行三維變電站監(jiān)控培訓(xùn)仿真系統(tǒng)進(jìn)行通訊，實(shí)現(xiàn)反映現(xiàn)場模擬操作的培訓(xùn)仿真功能。

1.2 軟件系統(tǒng)

本仿真培訓(xùn)系統(tǒng)是一套高交互性分布式仿真培訓(xùn)系統(tǒng)[13]按照功能劃分為五層，包括系統(tǒng)層、工具層、模型層、應(yīng)用層、接口層和設(shè)備層。軟件系統(tǒng)的整體結(jié)構(gòu)如圖2所示。

圖2 仿真培訓(xùn)系統(tǒng)軟件結(jié)構(gòu)

1）系統(tǒng)層為系統(tǒng)開發(fā)所需的底層開發(fā)工具和引擎，三維虛擬現(xiàn)實(shí)相關(guān)的子系統(tǒng)基于三維圖形引擎開發(fā)，其他應(yīng)用基于常用軟件開發(fā)工具，如微軟Visual Studio和跨平臺(tái)開發(fā)工具Qt等。

2）工具層為系統(tǒng)仿真建模的工具軟件，包括三維建模平臺(tái)、電網(wǎng)建模工具和變電站機(jī)理建模工具。在三維仿真建模中，研究開發(fā)可視化組件化建模工具，為變電站中的各種一二次設(shè)備開發(fā)成一個(gè)個(gè)獨(dú)立的、可復(fù)用的仿真組件，將仿真組件像“搭積木”似的裝配成完整的變電站仿真三維場景；在電網(wǎng)建模上，研究開發(fā)全圖形畫面編輯器[14]，并吸收CAD的某些特點(diǎn)、提供可以公用的基本圖形原語，使用圖形原語可以編輯和生成可復(fù)用的圖形元素。利用這些基本圖形原語和用戶自定義的圖形元素，用戶可以方便快速編輯和生成自己所需的各種畫面，如單線圖和系統(tǒng)圖等；變電站機(jī)理建模工具以可視化編輯的方式實(shí)現(xiàn)為變電站一二次設(shè)備可視化綁定機(jī)理仿真參數(shù)和標(biāo)識(shí)信息。

3）模型層為系統(tǒng)運(yùn)行所需要的模型數(shù)據(jù)，包括變電三維場景模型、虛擬人模型、電網(wǎng)模型和變電站機(jī)理模型。

4）應(yīng)用層包括沉浸式三維變電站仿真系統(tǒng)、電網(wǎng)仿真系統(tǒng)和變電站機(jī)理仿真系統(tǒng)；沉浸式三維變電站仿真系統(tǒng)實(shí)現(xiàn)基于沉浸式虛擬現(xiàn)實(shí)和人機(jī)自然交互方式的變電站一二次設(shè)備巡視、監(jiān)視、操作處理，支持變電站巡視、監(jiān)視、正常操作及異常、事故分析處理技能的學(xué)習(xí)、操練及考評(píng)等功能；電網(wǎng)仿真系統(tǒng)通過潮流計(jì)算，實(shí)現(xiàn)變電站仿真所需要的一次設(shè)備有功、無功、電流、電壓等遙測量以及斷路器與刀閘狀態(tài)的遙信量發(fā)送給變電站機(jī)理仿真模塊，并接收邏輯仿真模塊發(fā)送的斷路器、刀閘等設(shè)備操作仿真事件并進(jìn)行仿真處理。變電站機(jī)理仿真系統(tǒng)通過接收電網(wǎng)、監(jiān)控及變電站設(shè)備的操作等信息，依照實(shí)際的控制、保護(hù)策略實(shí)現(xiàn)保護(hù)設(shè)備的動(dòng)作、調(diào)整模擬，并將相關(guān)信息反饋至電網(wǎng)仿真和三維變電站場景。

5）接口層為沉浸式三維變電仿真系統(tǒng)提供沉浸式虛擬現(xiàn)實(shí)交互設(shè)備的訪問與控制，實(shí)現(xiàn)為虛擬現(xiàn)實(shí)頭盔輸出左右眼三維圖像、采集頭部運(yùn)動(dòng)數(shù)據(jù)和人體全身運(yùn)動(dòng)數(shù)據(jù)并驅(qū)動(dòng)虛擬人與虛擬場景交互。

2 關(guān)鍵技術(shù)實(shí)現(xiàn)

2.1 變電設(shè)備場景的雙眼立體顯示

虛擬現(xiàn)實(shí)頭盔的雙眼立體顯示是通過左右眼屏幕分別顯示左右眼的圖像，人眼獲取這種帶有差異的信息后在腦海中產(chǎn)生立體感。本系統(tǒng)通過在三維場景中建立兩個(gè)虛擬相機(jī)分別對應(yīng)左右眼視點(diǎn)，通過將左右眼對應(yīng)虛擬相機(jī)的三維場景圖像同步輸出到虛擬現(xiàn)實(shí)頭盔的左右眼屏幕實(shí)現(xiàn)雙眼立體成像；同時(shí)本系統(tǒng)通過研究三維立體顯示原理，計(jì)算出左右眼虛擬相機(jī)的位置和姿態(tài)，實(shí)現(xiàn)優(yōu)化的三維立體顯示效果。

2.2 設(shè)備場景的快速渲染技術(shù)

系統(tǒng)采用下列方法來降低場景的復(fù)雜度以優(yōu)化三維場景的實(shí)時(shí)動(dòng)態(tài)運(yùn)行效率。

1）在保證物理模型的視覺效果不失真的前提下，盡量用面片數(shù)量少的模型和采用紋理貼圖的方式對物體進(jìn)行建模，并使用貼圖烘焙技術(shù)減少為表現(xiàn)光照效果所需要的 CPU 計(jì)算時(shí)間，以降低系統(tǒng)實(shí)時(shí)渲染的內(nèi)存開銷和CPU計(jì)算時(shí)間。

2）采用場景分塊方法，把復(fù)雜變電場景劃分為多個(gè)相互之間不可見的子場景，系統(tǒng)大量減少在任意時(shí)刻需要顯示的多邊形數(shù)目，從而降低場景的復(fù)雜度。

3）層次細(xì)節(jié)模型技術(shù)，對場景中的同一個(gè)物體，在近距離觀察使用面片數(shù)比較多的精細(xì)模型，而在遠(yuǎn)距離觀察時(shí)使用面片數(shù)比較少的粗糙模型。這樣就實(shí)現(xiàn)了在保證比較真實(shí)的視覺效果的前提下，同時(shí)提高了復(fù)雜場景的生成和顯示速度。三維引擎中將 LOD功能封裝在LOD類型的節(jié)點(diǎn)中，可以方便的實(shí)現(xiàn)基于視點(diǎn)距離和投影面積的LOD模型調(diào)度算法。

2.3 基于動(dòng)作捕捉的虛擬交互技術(shù)

1）虛擬人建模：系統(tǒng)采用3DSMAX對虛擬人模型進(jìn)行建模，根據(jù)人體骨骼結(jié)構(gòu)，在3DSMAX中構(gòu)建虛擬人模型。為了逼真模擬虛擬人的外觀形象和運(yùn)動(dòng)過程，研究采用多層次模型的方式實(shí)現(xiàn)虛擬人，虛擬人的模型包括骨骼層、皮膚層和外表層，其中骨骼層用于控制虛擬人肢體運(yùn)動(dòng)的姿態(tài)和動(dòng)作過程，皮膚層采用動(dòng)態(tài)表面貼圖的方式表示包裹在骨骼層外部的人體表面皮膚，外表層表示虛擬人身體上的服裝，三個(gè)層次具有運(yùn)動(dòng)層次的關(guān)聯(lián)關(guān)系，當(dāng)人體骨骼層發(fā)生運(yùn)動(dòng)時(shí)，附著在之上的皮膚層和外表層會(huì)發(fā)生表面形變。結(jié)構(gòu)如圖3。

圖3 虛擬人結(jié)構(gòu)

2）虛擬人的運(yùn)動(dòng)控制

系統(tǒng)的基于動(dòng)作捕捉的虛擬人交互過程包括仿真系統(tǒng)運(yùn)動(dòng)通過體感動(dòng)作捕捉系統(tǒng)獲取培訓(xùn)人員的人體運(yùn)動(dòng)數(shù)據(jù)，然后將記錄到的運(yùn)動(dòng)數(shù)據(jù)映射到虛擬場景中的虛擬人，以驅(qū)動(dòng)虛擬人在虛擬場景中做出和培訓(xùn)人員相符合的肢體動(dòng)作。

動(dòng)作捕捉系統(tǒng)獲取的原始運(yùn)動(dòng)數(shù)據(jù)為具有大量的冗余信息的運(yùn)動(dòng)數(shù)據(jù)，為了能夠正確驅(qū)動(dòng)虛擬人的運(yùn)動(dòng)，仿真系統(tǒng)首先對運(yùn)動(dòng)數(shù)據(jù)進(jìn)行數(shù)據(jù)除噪和消除冗余，并從大量的運(yùn)動(dòng)數(shù)據(jù)中提取出可以正確反映虛擬人完整運(yùn)動(dòng)過程的運(yùn)動(dòng)數(shù)據(jù)，然后將處理好的數(shù)據(jù)根據(jù)虛擬人模型進(jìn)行映射處理，并最終實(shí)現(xiàn)運(yùn)動(dòng)數(shù)據(jù)對虛擬人的驅(qū)動(dòng)。

系統(tǒng)在沉浸式虛擬變電站交互方式實(shí)現(xiàn)提供“學(xué)習(xí)、練習(xí)和考核”三種模式，學(xué)習(xí)模式為設(shè)備原理和結(jié)構(gòu)展示講解，練習(xí)模式為指引性培訓(xùn)和關(guān)鍵點(diǎn)講解，考核模式要求對學(xué)員的操作行為進(jìn)行分析評(píng)價(jià)。

4 結(jié)束語

頭盔式沉浸式仿真培訓(xùn)系統(tǒng)在虛擬現(xiàn)實(shí)的基礎(chǔ)上增加了虛擬現(xiàn)實(shí)頭盔的雙眼立體影像輸出和基于動(dòng)作捕捉的體感交互技術(shù)，解決了原系統(tǒng)用戶現(xiàn)場感缺乏和用戶體驗(yàn)的不足的缺點(diǎn)。與傳統(tǒng)的仿真系統(tǒng)相比，具有高度的實(shí)時(shí)性和沉浸感、良好的系統(tǒng)集成和開發(fā)性以及交互的多樣性等優(yōu)點(diǎn)，不但使用戶有身臨其境的沉浸感，而且可以通過肢體而動(dòng)作直接與虛擬環(huán)境進(jìn)行交互，用戶通過這種交互方式可以感知和響應(yīng)虛擬環(huán)境，改變了參與者僅僅作為單純接受者的被動(dòng)狀態(tài)，可有效提高電網(wǎng)運(yùn)行生產(chǎn)人員專業(yè)技能培訓(xùn)效率，縮短培訓(xùn)周期，提高培訓(xùn)質(zhì)量。