增強(qiáng)現(xiàn)實(shí)在電網(wǎng)仿真培訓(xùn)和工作輔助的應(yīng)用

薛 江，李軍鋒，何雙伯，馮偉夏

（廣東電網(wǎng)有限責(zé)任公司教育培訓(xùn)評(píng)價(jià)中心，廣東 廣州 510520）

增強(qiáng)現(xiàn)實(shí)在電網(wǎng)仿真培訓(xùn)和工作輔助的應(yīng)用

薛 江，李軍鋒，何雙伯，馮偉夏

（廣東電網(wǎng)有限責(zé)任公司教育培訓(xùn)評(píng)價(jià)中心，廣東 廣州 510520）

隨著微軟Hololens的發(fā)布，增強(qiáng)現(xiàn)實(shí)技術(shù)的研究和應(yīng)用迎來新的高潮。重點(diǎn)研究了增強(qiáng)現(xiàn)實(shí)技術(shù)中的三維注冊(cè)技術(shù)、虛實(shí)融合顯示技術(shù)和人機(jī)實(shí)時(shí)交互技術(shù)。在此基礎(chǔ)上，將增強(qiáng)現(xiàn)實(shí)技術(shù)結(jié)合微軟Hololens頭盔應(yīng)用到電網(wǎng)的仿真培訓(xùn)和工作輔助中。在仿真培訓(xùn)中實(shí)現(xiàn)了設(shè)備認(rèn)知培訓(xùn)、遠(yuǎn)程專家支持和電纜溝認(rèn)知等案例，在工作輔助中實(shí)現(xiàn)了變電站現(xiàn)場(chǎng)作業(yè)AR智能輔助系統(tǒng)。實(shí)際應(yīng)用表時(shí)，增強(qiáng)現(xiàn)實(shí)技術(shù)可以有效提升電網(wǎng)中仿真培訓(xùn)的效果，并對(duì)現(xiàn)場(chǎng)工作輔助有一定的幫助。

Hololens；增強(qiáng)現(xiàn)實(shí)；仿真培訓(xùn)；工作輔助

增強(qiáng)現(xiàn)實(shí)（Augmented reality，AR）[1]是在用戶觀察到的真實(shí)自然環(huán)境中添加計(jì)算機(jī)生成的文字、3D模型等信息的技術(shù)。增強(qiáng)現(xiàn)實(shí)具有虛實(shí)混合的特性，實(shí)現(xiàn)了虛擬世界和真實(shí)世界的融合，可以很好地解決虛擬現(xiàn)實(shí)中場(chǎng)景真實(shí)感不足的問題。一個(gè)AR系統(tǒng)的基本工作流程包括虛擬信息的建立和渲染、真實(shí)世界中的跟蹤和定位、虛擬信息在真實(shí)場(chǎng)景中的注冊(cè)、顯示輸出和實(shí)時(shí)的人機(jī)交互。

虛擬信息的建立和渲染在電網(wǎng)中主要是通過一定的方法進(jìn)行電網(wǎng)本體和電網(wǎng)設(shè)備的3D模型的建立[2]。而真實(shí)世界中的跟蹤和定位主要包括使用單一姿態(tài)跟蹤器的方法和混合跟蹤技術(shù)[3]。虛擬信息在真實(shí)場(chǎng)景中的注冊(cè)主要解決虛實(shí)匹配的問題，其中，虛實(shí)遮擋是研究的一個(gè)難點(diǎn)[4]。顯示輸出和實(shí)時(shí)人機(jī)交互的研究中，不同的輸出設(shè)備、不同的人機(jī)交互方式給用戶帶來不同的體驗(yàn)[5]。本文重點(diǎn)研究了增強(qiáng)現(xiàn)實(shí)在電網(wǎng)仿真培訓(xùn)和工作輔助中的應(yīng)用。

1 增強(qiáng)現(xiàn)實(shí)技術(shù)

增強(qiáng)現(xiàn)實(shí)具有3個(gè)重要特性，也是其3大關(guān)鍵技術(shù)所在：①三維注冊(cè)技術(shù)，即利用自動(dòng)跟蹤技術(shù)將虛擬模型和真實(shí)物體精確地對(duì)準(zhǔn)；②虛實(shí)融合顯示技術(shù)使虛擬模型和真實(shí)世界中的物體共存于用戶的視野中；③人機(jī)實(shí)時(shí)交互技術(shù)，用戶可以與視野中的真實(shí)物體和虛擬物體進(jìn)行實(shí)時(shí)的交互。

1.1 三維注冊(cè)技術(shù)

三維注冊(cè)技術(shù)是實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用的基礎(chǔ)技術(shù)，也是決定移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)性能優(yōu)劣的關(guān)鍵。其主要完成的任務(wù)是實(shí)時(shí)檢測(cè)出攝像頭相對(duì)于真實(shí)場(chǎng)景的位置狀態(tài)并確定虛擬模型在真實(shí)世界中的位置坐標(biāo)。在電網(wǎng)應(yīng)用中，可結(jié)合手機(jī)、平板電腦、可穿戴設(shè)備的視頻攝像頭、羅盤、加速器等傳感器，通過AR＋LBS模式，獲取當(dāng)前工作區(qū)的屬性信息、環(huán)境或者歷史記錄等信息；結(jié)合快速響應(yīng)碼（二維碼）及特定圖形識(shí)別等技術(shù)，快速獲取電力設(shè)備、工器具、建筑物等設(shè)備的相關(guān)屬性信息。

1.2 虛實(shí)融合顯示技術(shù)

虛實(shí)融合顯示技術(shù)是通過特定的顯示設(shè)備結(jié)合一定的顯示算法使虛擬模型和真實(shí)世界中的物體在用戶視野中共存。目前的顯示設(shè)備分為頭盔顯示式、手持顯示式以及投影顯示式等。隨著微軟Hololens頭盔的發(fā)布，增強(qiáng)現(xiàn)實(shí)在虛實(shí)融合顯示方面有了極大的進(jìn)展，也加速了增強(qiáng)現(xiàn)實(shí)在電網(wǎng)仿真培訓(xùn)和工作輔助中的應(yīng)用。虛實(shí)整合算法的一個(gè)關(guān)鍵點(diǎn)是通過基于視覺的光照一致性算法，實(shí)現(xiàn)虛擬物體與真實(shí)物體之間的遮擋、陰影和光照一致性。

1.3 人機(jī)實(shí)時(shí)交互技術(shù)

人機(jī)實(shí)時(shí)交互技術(shù)指通過基于觸控式、菜單式或者手勢(shì)識(shí)別算法，將用戶的交互操作輸入到計(jì)算機(jī)后，經(jīng)過處理將交互的結(jié)果通過顯示設(shè)備顯示輸出，使用戶可以通過改變當(dāng)前畫面標(biāo)定內(nèi)容，將自己感興趣的內(nèi)容顯示出來，或者交互操作顯示的虛擬物體。人機(jī)交互可以使用鼠標(biāo)鍵盤、數(shù)據(jù)手套等傳統(tǒng)外接設(shè)備，也可以利用預(yù)先設(shè)定好的特定標(biāo)志，通過觸發(fā)事件的方式來實(shí)現(xiàn)，而最新的微軟Hololens是通過特定的手勢(shì)來實(shí)現(xiàn)人機(jī)實(shí)時(shí)交互。

2 增強(qiáng)現(xiàn)實(shí)在電網(wǎng)仿真培訓(xùn)中的應(yīng)用

增強(qiáng)現(xiàn)實(shí)技術(shù)在仿真培訓(xùn)中早有應(yīng)用。早期的增強(qiáng)現(xiàn)實(shí)主要是通過手機(jī)將物體的三維模型、動(dòng)畫等進(jìn)行顯示，讓學(xué)員進(jìn)行學(xué)習(xí)。而微軟Hololens推出之后，通過佩戴Hololens頭盔，可以更好地實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的仿真培訓(xùn)。目前，基于增強(qiáng)現(xiàn)實(shí)的仿真培訓(xùn)主要應(yīng)用于以下幾個(gè)方面。

2.1 設(shè)備認(rèn)知培訓(xùn)

將設(shè)備認(rèn)知與增強(qiáng)現(xiàn)實(shí)技術(shù)結(jié)合起來用于培訓(xùn)，滿足電網(wǎng)公司信息化安全要求，能夠幫助員工提升教育培訓(xùn)及績效支持效率，提高電網(wǎng)公司教育培訓(xùn)工作的針對(duì)性，開展基于場(chǎng)景的真實(shí)性學(xué)習(xí)培訓(xùn)工作，提高培訓(xùn)資源的利用效益。

2.2 遠(yuǎn)程專家支持

基于AR移動(dòng)設(shè)備與系統(tǒng)后臺(tái)進(jìn)行遠(yuǎn)程互動(dòng)，通過遠(yuǎn)程語音幫助、圖片參考、視頻指導(dǎo)、相關(guān)推薦信息的發(fā)送，用以解決操作人員遇到難以做出決策的工作項(xiàng)目，操作人員可以通過AR智能終端將現(xiàn)場(chǎng)復(fù)雜的場(chǎng)景直接傳輸?shù)胶笈_(tái)，后臺(tái)專家根據(jù)現(xiàn)場(chǎng)情況通過語音或是相關(guān)的圖片、動(dòng)畫推送給現(xiàn)場(chǎng)操作者，讓現(xiàn)場(chǎng)操作人員直接獲得指導(dǎo)，極大地減少了溝通和交流成本。

2.3 電纜檢測(cè)培訓(xùn)

對(duì)地下電力電纜的精確位置建立詳細(xì)的位置數(shù)據(jù)庫。利用AR設(shè)備掃描檢修地點(diǎn)的街景，通過街景識(shí)別技術(shù)來對(duì)工作人員進(jìn)行定位。系統(tǒng)調(diào)用位置數(shù)據(jù)庫的信息，根據(jù)工作人員與電纜的相對(duì)位置畫面顯示電纜的位置。

3 增強(qiáng)現(xiàn)實(shí)在電網(wǎng)工作輔助中的應(yīng)用

“基于增強(qiáng)現(xiàn)實(shí)的工作輔助及其系統(tǒng)”通過研究工作輔助課件注冊(cè)、追蹤、交互算法等，探索增強(qiáng)現(xiàn)實(shí)技術(shù)在電網(wǎng)工作輔助與教育培訓(xùn)領(lǐng)域的融合應(yīng)用，構(gòu)建增強(qiáng)現(xiàn)實(shí)技術(shù)的電網(wǎng)仿真培訓(xùn)、工作輔助、現(xiàn)場(chǎng)支持等方面的應(yīng)用模式，對(duì)現(xiàn)場(chǎng)工作人員開展試驗(yàn)、巡視、檢查、維護(hù)等工作提供支持，增強(qiáng)了培訓(xùn)的趣味性和實(shí)效性，具備廣闊的應(yīng)用前景。

變電站現(xiàn)場(chǎng)作業(yè)因設(shè)備繁多、專業(yè)性強(qiáng)、安全風(fēng)險(xiǎn)大，對(duì)人員素質(zhì)和技能要求很高。開發(fā)變電站現(xiàn)場(chǎng)作業(yè)AR智能輔助系統(tǒng)，為現(xiàn)場(chǎng)人員實(shí)時(shí)提供高度融合現(xiàn)場(chǎng)環(huán)境的引導(dǎo)與輔助信息，支持后臺(tái)專家團(tuán)隊(duì)及時(shí)糾正現(xiàn)場(chǎng)人員錯(cuò)誤操作并提供遠(yuǎn)程協(xié)助，保障現(xiàn)場(chǎng)作業(yè)的安全、規(guī)范、高效，對(duì)提升變電站現(xiàn)場(chǎng)作業(yè)水平有著重大意義。以線路停復(fù)電操作為例，介紹變電站現(xiàn)場(chǎng)作業(yè)AR智能輔助系統(tǒng)的實(shí)例應(yīng)用。在操作界面選擇對(duì)應(yīng)的信息按鈕，可以獲取相關(guān)的信息。選擇“工作任務(wù)”，可以獲取工作任務(wù)的詳細(xì)信息，包括任務(wù)名稱、任務(wù)編號(hào)、任務(wù)詳細(xì)步驟等信息。選擇“線路導(dǎo)航”，可以獲取變電站三維沙盤，并在沙盤上顯示作業(yè)人員所處位置、工作任務(wù)位置及線路導(dǎo)航指示。作業(yè)人員根據(jù)導(dǎo)航指示到達(dá)工作任務(wù)地點(diǎn)，選擇“安全風(fēng)險(xiǎn)”可獲取本工作任務(wù)的危險(xiǎn)點(diǎn)及控制措施，并顯示本次作業(yè)工作區(qū)域，若超出工作區(qū)域范圍，系統(tǒng)將會(huì)給予危險(xiǎn)警示。當(dāng)作業(yè)過程中遇到疑問時(shí)，可隨時(shí)通過系統(tǒng)聯(lián)系遠(yuǎn)程支持專家，將現(xiàn)場(chǎng)第一視角影像通過AR設(shè)備傳輸給專家，專家可根據(jù)現(xiàn)場(chǎng)實(shí)際情況給予技術(shù)支持。選擇“變電站信息”可查詢變電站臺(tái)賬信息、接線圖、人員信息等信息。作業(yè)過程中，系統(tǒng)會(huì)按照標(biāo)準(zhǔn)的作業(yè)操作流程顯示作業(yè)引導(dǎo)信息。比如作業(yè)第11步為檢查機(jī)構(gòu)箱門應(yīng)上鎖，系統(tǒng)會(huì)顯示相應(yīng)的引導(dǎo)信息。當(dāng)檢查機(jī)構(gòu)箱門已上鎖，并在作業(yè)任務(wù)頁面打鉤確認(rèn)該步驟后，系統(tǒng)會(huì)自動(dòng)顯示下一操作步驟引導(dǎo)信息為“驗(yàn)明閘刀開關(guān)側(cè)三相無電”，作業(yè)人員按照標(biāo)準(zhǔn)作業(yè)引導(dǎo)信息提示逐步完成整個(gè)工作任務(wù)。

4 結(jié)束語

隨著微軟Hololens的發(fā)布，增強(qiáng)現(xiàn)實(shí)技術(shù)在2016年迎來迅猛發(fā)展。傳統(tǒng)的電網(wǎng)培訓(xùn)和現(xiàn)場(chǎng)工作在引入增強(qiáng)現(xiàn)實(shí)技術(shù)之后得到了創(chuàng)新。增強(qiáng)現(xiàn)實(shí)技術(shù)在電網(wǎng)中進(jìn)一步發(fā)展，可以同時(shí)推動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)本身的發(fā)展和電網(wǎng)培訓(xùn)、現(xiàn)場(chǎng)工作輔助的創(chuàng)新，這也是本文下一步的研究重點(diǎn)。

［1］林倞，楊珂，王涌天，等.移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)研究［J］.中國圖象圖形學(xué)報(bào)，2009（03）：560-564.

［2］彭向陽，陳馳，徐曉剛，等.基于無人機(jī)激光掃描的輸電通道安全距離診斷技術(shù)［J］.電網(wǎng)技術(shù)，2014（11）：3254-3259.

［3］羅斌，王涌天，沈浩，等.增強(qiáng)現(xiàn)實(shí)混合跟蹤技術(shù)綜述［J］.自動(dòng)化學(xué)報(bào)，2013（08）：1185-1201.

［4］徐維鵬，王涌天，劉越，等.增強(qiáng)現(xiàn)實(shí)中的虛實(shí)遮擋處理綜述［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013（11）：1635-1642.

［5］林一，陳靖，劉越，等.基于心智模型的虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)混合式移動(dòng)導(dǎo)覽系統(tǒng)的用戶體驗(yàn)設(shè)計(jì)［J］.計(jì)算機(jī)學(xué)報(bào)，2015（02）：408-422.

TP391

A

10.15913/j.cnki.kjycx.2017.21.149

2095－6835（2017）21－0149－02

薛江（1986—），男，博士，研究方向?yàn)閳D像識(shí)別及仿真系統(tǒng)。

〔編輯：劉曉芳〕