基于五面LED-CAVE虛擬現(xiàn)實(shí)仿真技術(shù)的水電站檢修仿真系統(tǒng)研究與應(yīng)用

呂毅松，孔吉宏，施 濤，丘恩華，吳 超，王宇軒，羅 茜

(1.南方電網(wǎng)調(diào)峰調(diào)頻發(fā)電有限公司，廣州 510630；2.中冶智誠(chéng)(武漢)工程技術(shù)有限公司，武漢 430073)

虛擬現(xiàn)實(shí)技術(shù)(virtual reality，VR)匯集了計(jì)算機(jī)圖形學(xué)、多媒體技術(shù)、人工智能、人機(jī)交互技術(shù)、傳感器技術(shù)、高度并行的實(shí)時(shí)計(jì)算技術(shù)和人的行為學(xué)研究等多項(xiàng)關(guān)鍵技術(shù)[1]。

近年來(lái)，借助虛擬現(xiàn)實(shí)技術(shù)，員工在水電站檢修仿真中有了更好的實(shí)踐體驗(yàn)[2]。仿真培訓(xùn)相較于傳統(tǒng)的技能培訓(xùn)更能及時(shí)反饋出問(wèn)題，虛擬真實(shí)的場(chǎng)景更能直觀地表達(dá)和傳遞更多的信息內(nèi)容。水電站培訓(xùn)的過(guò)程更強(qiáng)調(diào)實(shí)操培訓(xùn)和注重實(shí)踐能力[3]。為了提高學(xué)員在工作中遇到各種情況的應(yīng)變能力以及承受能力，同時(shí)在保證人員安全的情況下，借助虛擬現(xiàn)實(shí)技術(shù)設(shè)計(jì)開發(fā)相關(guān)的檢修仿真系統(tǒng)，讓員工在虛擬的環(huán)境下進(jìn)行培訓(xùn)，體驗(yàn)創(chuàng)新的培訓(xùn)形式。

1 虛擬現(xiàn)實(shí)仿真方式

目前基于三維可視化引擎研發(fā)的虛擬仿真系統(tǒng)基本上屬于以下幾種形式：①使用三維引擎，在圖形工作站PC端研發(fā)相關(guān)系統(tǒng)，交互設(shè)備采用鼠標(biāo)鍵盤等方式進(jìn)行[4]；②使用三維引擎，借助虛擬現(xiàn)實(shí)頭盔當(dāng)作交互外設(shè)，用戶可通過(guò)虛擬現(xiàn)實(shí)的頭顯置身虛擬場(chǎng)景當(dāng)中，左右手分別持虛擬現(xiàn)實(shí)手柄來(lái)對(duì)場(chǎng)景進(jìn)行交互[5]。

但這兩種方式在檢修培訓(xùn)中都會(huì)有不同的優(yōu)缺點(diǎn)。第一種方式的培訓(xùn)系統(tǒng)可以實(shí)現(xiàn)檢修培訓(xùn)課件的交互設(shè)計(jì)及拆裝流程，但用戶的操作局限在鼠標(biāo)、鍵盤上，對(duì)虛擬場(chǎng)景中的模型零件拆裝認(rèn)知比較單一，鼠標(biāo)鍵盤的操作方式不能給受訓(xùn)者帶來(lái)深刻的培訓(xùn)體驗(yàn)，沒(méi)有代入感；第二種方式的培訓(xùn)系統(tǒng)相對(duì)于第一種則大大增強(qiáng)了用戶的操作體驗(yàn)，在全沉浸式的視野中利用虛擬手柄對(duì)設(shè)備機(jī)組模型進(jìn)行交互，但是這種方式只適用于單人培訓(xùn)，并且視野非常有限。

本系統(tǒng)利用三維精確建模構(gòu)建水電廠的虛擬三維場(chǎng)景，能夠有效增強(qiáng)培訓(xùn)對(duì)象的視聽感受，強(qiáng)化其對(duì)學(xué)習(xí)內(nèi)容的理解；利用三維引擎和數(shù)據(jù)庫(kù)構(gòu)建設(shè)備拆裝、檢修流程及應(yīng)急演練等實(shí)操場(chǎng)景；利用虛擬現(xiàn)實(shí)沉浸式頭盔和體感交互設(shè)備進(jìn)一步增強(qiáng)場(chǎng)景直觀感受。該方法通過(guò)虛擬現(xiàn)實(shí)仿真，能夠逼真直觀地構(gòu)建整個(gè)電廠的三維場(chǎng)景，在三維場(chǎng)景基礎(chǔ)上通過(guò)業(yè)務(wù)培訓(xùn)內(nèi)容模擬電廠巡視、倒閘、檢修等日常操作，培訓(xùn)過(guò)程中操作安全、沉浸度高、直觀性強(qiáng)、培訓(xùn)周期短，具有良好的應(yīng)用前景。

2 系統(tǒng)架構(gòu)與系統(tǒng)實(shí)現(xiàn)

2.1 系統(tǒng)架構(gòu)

如圖1所示，本實(shí)例提供了一種基于虛擬現(xiàn)實(shí)技術(shù)的水電站檢修仿真培訓(xùn)系統(tǒng)，通過(guò)虛擬現(xiàn)實(shí)平臺(tái)將水電站三維模型與五面LED-CAVE顯示系統(tǒng)進(jìn)行整合，通過(guò)虛擬現(xiàn)實(shí)平臺(tái)編寫交互邏輯功能程序，賦予靜態(tài)的水電站三維模型交互能力。

圖1 系統(tǒng)整體架構(gòu)

平臺(tái)層包括沉浸式虛擬檢修仿真平臺(tái)、3D運(yùn)行仿真培訓(xùn)平臺(tái)及3D打印應(yīng)用開發(fā)平臺(tái)。其中沉浸式檢修平臺(tái)為五面LED-CAVE沉浸式虛擬仿真系統(tǒng)，五面LED顯示屏、光學(xué)跟蹤定位系統(tǒng)以及信號(hào)同步顯示系統(tǒng)，平臺(tái)層位于應(yīng)用層和數(shù)據(jù)層之間，用于提供沉浸式虛擬仿真環(huán)境。

應(yīng)用層利用虛擬現(xiàn)實(shí)平臺(tái)將數(shù)據(jù)層的模型數(shù)據(jù)、培訓(xùn)業(yè)務(wù)數(shù)據(jù)與平臺(tái)層的仿真系統(tǒng)進(jìn)行整合，實(shí)現(xiàn)場(chǎng)景漫游功能、設(shè)備認(rèn)知功能、透視展示功能、剖切展示功能、設(shè)備拆解功能、設(shè)備安裝功能、信息呈現(xiàn)功能以及虛實(shí)交互功能。

2.2 系統(tǒng)實(shí)現(xiàn)

系統(tǒng)組成如圖2所示。

圖2 系統(tǒng)組成

2.2.1 五面LED-CAVE系統(tǒng)

五面LED-CAVE沉浸式虛擬仿真系統(tǒng)由五面LED顯示屏幕和鋼結(jié)構(gòu)框架構(gòu)成一個(gè)半封閉式盒體結(jié)構(gòu)[6]，鋼結(jié)構(gòu)框架包括五面屏幕的安裝框架以及用于撐起五面LED顯示屏幕的支腳，實(shí)現(xiàn)五面LED-CAVE顯示屏的無(wú)縫拼接同步顯示[7]，提高了用戶的沉浸式虛擬現(xiàn)實(shí)體驗(yàn)感。

2.2.2 光學(xué)跟蹤定位系統(tǒng)

光學(xué)跟蹤定位系統(tǒng)[8]包括光學(xué)跟蹤計(jì)算機(jī)和光學(xué)跟蹤相機(jī)；光學(xué)跟蹤相機(jī)包括4個(gè)主攝像頭、2個(gè)輔助攝像頭；主攝像頭/輔助攝像頭內(nèi)部配置有低噪聲CCD芯片以及對(duì)拍攝數(shù)據(jù)進(jìn)行優(yōu)化的FPGA芯片。4個(gè)主攝像頭分別設(shè)置在五面LED顯示屏幕左幕的前上方、前下方以及右幕的前上方、前下方4個(gè)位置；2個(gè)輔助攝像頭分別設(shè)置在頂幕的后方兩側(cè)；主攝像頭、輔助攝像頭均為紅外發(fā)射攝像頭。光學(xué)發(fā)射攝像頭的有效捕捉距離為4.5 m以內(nèi)，最佳捕捉距離為3.5～4.5 m，經(jīng)過(guò)光學(xué)跟蹤光路圖模擬試驗(yàn)證明，這種安裝結(jié)構(gòu)既能保證畫面的完整性，又能保證操作者最大限度的有效活動(dòng)范圍。

2.2.3 信號(hào)同步顯示系統(tǒng)

信號(hào)同步顯示系統(tǒng)包括多臺(tái)圖形工作站、無(wú)線信號(hào)發(fā)射器和無(wú)線信號(hào)接收器；多臺(tái)圖形工作站均配置有顯卡和同步卡；無(wú)線信號(hào)接收器安裝在3D眼鏡內(nèi)部，用于接收無(wú)線信號(hào)發(fā)射器發(fā)出的控制指令；多臺(tái)圖形工作站通過(guò)同步卡實(shí)現(xiàn)同步控制。3D眼鏡內(nèi)部設(shè)有無(wú)線信號(hào)接收器和控制器；3D眼鏡的2個(gè)鏡片內(nèi)部均設(shè)有液晶層；無(wú)線信號(hào)接收器用于接收無(wú)線信號(hào)發(fā)射器發(fā)送的控制信號(hào)，控制器用于根據(jù)控制信號(hào)控制3D眼鏡的兩個(gè)鏡片切換顯示。3D信號(hào)同步顯示系統(tǒng)根據(jù)3D眼鏡的空間位姿信息生成左右眼兩組畫面圖像，并將該兩組畫面在五面LED顯示屏幕上交替顯示；3D信號(hào)同步顯示系統(tǒng)通過(guò)無(wú)線的通信方式向3D眼鏡發(fā)送控制指令，控制3D眼鏡的左右兩個(gè)鏡片切換顯示，該兩個(gè)鏡片的切換頻率與兩組畫面的交替頻率保持同步。

3 平臺(tái)功能實(shí)現(xiàn)

3.1 沉浸式仿真平臺(tái)構(gòu)建方法

本系統(tǒng)提供了一種基于虛擬現(xiàn)實(shí)技術(shù)的水電站仿真培訓(xùn)系統(tǒng)的構(gòu)建方法。具體包括以下步驟：構(gòu)建水電站環(huán)境和設(shè)備的三維模型；對(duì)三維模型的操作流程進(jìn)行設(shè)計(jì)；對(duì)三維模型的碰撞體進(jìn)行設(shè)計(jì)；對(duì)三維模型的拆裝過(guò)程進(jìn)行設(shè)計(jì)；對(duì)三維模型的交互進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)培訓(xùn)對(duì)象與虛擬環(huán)境之間的互動(dòng)。

1)構(gòu)建水電站環(huán)境和設(shè)備的三維模型。采用三維激光掃描儀和圖紙獲取廠區(qū)廠房、建構(gòu)筑物、設(shè)備的三維數(shù)據(jù)[9]，采用無(wú)人機(jī)航拍測(cè)量技術(shù)獲取水電站地形地貌的特征數(shù)據(jù)[10]；根據(jù)獲取的三維數(shù)據(jù)和水電站地形地貌的特征數(shù)據(jù)，采用3ds Max建模工具建立廠區(qū)廠房結(jié)構(gòu)、建構(gòu)筑物、設(shè)備的三維模型以及水電站的外觀模型；將建立好的模型合并為三維場(chǎng)景，并對(duì)合并后的三維場(chǎng)景進(jìn)行編輯和設(shè)置；對(duì)三維場(chǎng)景和模型進(jìn)行優(yōu)化。

2)對(duì)三維模型(以導(dǎo)葉接力器為例)的操作流程進(jìn)行設(shè)計(jì)。導(dǎo)葉接力器拆卸流程分為接力器拆解與接力器解體兩大環(huán)節(jié)，其中接力器拆解分為20步，接力器解體分為15步，每一步都對(duì)應(yīng)了相應(yīng)的零件模型，對(duì)照模型操作規(guī)程逐一分析模型的拆卸邏輯，設(shè)計(jì)合理的模型場(chǎng)景，可優(yōu)化對(duì)設(shè)備模型拆卸的邏輯編程代碼，提高用戶操作交互設(shè)備的流暢性。

3)在虛擬場(chǎng)景中，用戶與目標(biāo)模型的互動(dòng)主要靠虛擬引擎中的“碰撞體”，利用用戶手中的操作手柄射線與碰撞體發(fā)生碰撞，系統(tǒng)即可獲取相應(yīng)的碰撞事件響應(yīng)。三維模型的碰撞體包括盒子碰撞體和網(wǎng)格碰撞體[11]；盒子碰撞體是以性能為主的AABB盒子碰撞設(shè)計(jì)方式，即軸對(duì)齊包圍盒，利用長(zhǎng)方體對(duì)三維模型進(jìn)行包圍，立方體的每一條邊都平行于一個(gè)坐標(biāo)平面且與坐標(biāo)系的軸垂直；網(wǎng)格碰撞體是以模型本身生成復(fù)雜網(wǎng)格碰撞體設(shè)計(jì)方式，在模型的本體輪廓上形成基于網(wǎng)格的碰撞體，這種方式會(huì)消耗更多的顯卡資源，但是在用戶操作時(shí)會(huì)精準(zhǔn)地捕捉到不規(guī)則物體或者細(xì)小零件。

4)虛擬現(xiàn)實(shí)拆裝技術(shù)實(shí)質(zhì)上是一個(gè)人機(jī)系統(tǒng)運(yùn)動(dòng)的過(guò)程，主要是對(duì)仿真場(chǎng)景中的操作動(dòng)作以及人與虛擬模型之間的交互作用的仿真；本實(shí)例基于運(yùn)動(dòng)捕獲數(shù)據(jù)的仿真技術(shù)和關(guān)鍵幀的仿真動(dòng)畫技術(shù)相結(jié)合，以此模擬虛擬模型的拆裝運(yùn)動(dòng)；三維模型的拆裝過(guò)程設(shè)計(jì)方法為：定義每項(xiàng)拆裝任務(wù)的運(yùn)動(dòng)對(duì)象，然后對(duì)該運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)信息進(jìn)行描述，建立該運(yùn)動(dòng)對(duì)象的拆裝運(yùn)動(dòng)模型。

3.2 平臺(tái)實(shí)現(xiàn)功能

1)參數(shù)化精確建模技術(shù)在水電廠的應(yīng)用。參數(shù)化建模設(shè)計(jì)是通過(guò)修改已定義好的零件參數(shù)，或調(diào)整圖形的某一部分或某幾部分的尺寸，自動(dòng)完成對(duì)圖形中相關(guān)部分改動(dòng)，從而實(shí)現(xiàn)對(duì)圖形的驅(qū)動(dòng)。參數(shù)化設(shè)計(jì)廣泛應(yīng)用于機(jī)械產(chǎn)品的建模中，即建立圖形約束和幾何關(guān)系與尺寸關(guān)系的對(duì)應(yīng)關(guān)系，由尺寸參數(shù)值的變化直接控制實(shí)體模型的變化。參數(shù)化設(shè)計(jì)極大地改善了圖形的修改手段，提高了設(shè)計(jì)的柔性，在概念設(shè)計(jì)、動(dòng)態(tài)設(shè)計(jì)、實(shí)體造型、裝配、公差分析與綜合、優(yōu)化設(shè)計(jì)等領(lǐng)域發(fā)揮著越來(lái)越大的作用。

2)沉浸式虛擬仿真平臺(tái)精確物理仿真功能。沉浸式虛擬檢修仿真平臺(tái)不僅要求能夠提供逼真的沉浸式視覺(jué)環(huán)境和準(zhǔn)確的交互操作體驗(yàn)，還應(yīng)能實(shí)現(xiàn)模型的精確物理仿真，即平臺(tái)支持模型物理屬性的定義、編輯和取消，以及模型剛體運(yùn)動(dòng)、場(chǎng)景重力、粒子運(yùn)動(dòng)、環(huán)境阻尼以及復(fù)雜機(jī)構(gòu)力學(xué)聯(lián)動(dòng)的物理仿真，使模型具有更真實(shí)的物理屬性。

3)沉浸式虛擬交互裝配技術(shù)。沉浸式虛擬交互裝配技術(shù)，包括實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù)，立體顯示技術(shù)，對(duì)觀察者頭、眼和手的跟蹤技術(shù)，以及立體聲、網(wǎng)絡(luò)傳輸、語(yǔ)音輸入輸出技術(shù)等，可為培訓(xùn)者提供一個(gè)高度仿真的虛擬環(huán)境。在具有沉浸感與交互性的虛擬環(huán)境中，通過(guò)人機(jī)交互設(shè)備和場(chǎng)景里所有物件進(jìn)行交互，體驗(yàn)實(shí)時(shí)的物理反饋，進(jìn)行模型自由剖切透視[12]、設(shè)備模擬拆裝等交互操作。

4 工程實(shí)例

南方電網(wǎng)調(diào)峰調(diào)頻發(fā)電有限公司水電廠沉浸式虛擬檢修仿真平臺(tái)搭建了沉浸式虛擬檢修仿真平臺(tái)，將水電廠廠房場(chǎng)景模型、設(shè)備精細(xì)模型載入并實(shí)現(xiàn)水電廠場(chǎng)景漫游、設(shè)備透視漫游、屬性量測(cè)、標(biāo)記、模型剖切、材質(zhì)更換、應(yīng)急處置演練、設(shè)備虛擬拆裝檢修、多人異地協(xié)同等功能，為現(xiàn)場(chǎng)檢修提供輔助決策，為電力提供全新的深度體驗(yàn)、高度仿真的學(xué)習(xí)體驗(yàn)[13]。工程實(shí)例運(yùn)行如圖3所示。

圖3 工程實(shí)例運(yùn)行

5 結(jié)論

為了提高學(xué)員在工作中遇到各種情況的應(yīng)變能力以及承受能力，同時(shí)在保證人員安全的情況下，本研究提出借助虛擬現(xiàn)實(shí)技術(shù)設(shè)計(jì)開發(fā)相關(guān)的檢修仿真系統(tǒng)，讓員工在虛擬的環(huán)境下進(jìn)行培訓(xùn)，體驗(yàn)創(chuàng)新的培訓(xùn)形式。

基于五面LED-CAVE虛擬現(xiàn)實(shí)仿真技術(shù)的水電站檢修仿真系統(tǒng)實(shí)現(xiàn)了參數(shù)化精確建模技術(shù)在水電廠的應(yīng)用、沉浸式虛擬仿真平臺(tái)精確物理仿真功能、沉浸式虛擬交互裝配技術(shù)、虛擬場(chǎng)景多人異地協(xié)同交互技術(shù)、沉浸式檢修平臺(tái)與運(yùn)行仿真平臺(tái)跨平臺(tái)交互功能，使得水電站在培訓(xùn)過(guò)程實(shí)踐操作能力得到大幅度提升。