基于HoloLens的變電站巡檢系統(tǒng)

吳 迪，潘建喬，余方召，潘白浪，龔雁峰

(1.國網(wǎng)浙江平湖市供電有限公司，浙江 平湖 314200； 2.平湖市通用電氣安裝有限公司，浙江 平湖 314200；3.華北電力大學(xué)電氣與電子工程學(xué)院，北京 102206)

0 引 言

隨著虛擬現(xiàn)實仿真技術(shù)和人工智能技術(shù)的發(fā)展，在人工智能環(huán)境下進行變電站巡檢，可提高變電站巡檢和監(jiān)測的自動化水平。變電站巡檢系統(tǒng)的設(shè)計是建立在混合現(xiàn)實技術(shù)和虛擬現(xiàn)實仿真技術(shù)的基礎(chǔ)上，在變電站智能巡檢過程中，采用傳感器設(shè)備進行信息采樣，采用智能眼鏡(如HoloLens)進行輸出轉(zhuǎn)換控制，可提高變電站的輸出控制能力和智能巡檢能力[1]。在變電站巡檢過程中，需要采用圖像三維重建技術(shù)進行虛擬現(xiàn)實仿真，建立變電站巡檢的三維特征分布式圖像重構(gòu)模型，結(jié)合頭戴式裝置(Head-Mounted Display)進行虛擬成像處理。本文設(shè)計的變電站智能巡檢系統(tǒng)功能主要是通過虛擬穿戴設(shè)備進行變電站的遠(yuǎn)程監(jiān)測，提高變電站的輸出穩(wěn)定性和遠(yuǎn)程監(jiān)管能力。相關(guān)的變電站巡檢系統(tǒng)設(shè)計方法在變電站的建設(shè)和運維管理中具有重要作用[2-3]。

文獻(xiàn)[4]采用了最新的檢索和結(jié)構(gòu)運動(sfm)方法獲得三維模型，對cnn進行微調(diào)，以完全自動化的方式從大量無序數(shù)據(jù)中進行虛擬場景圖像檢索，用于指導(dǎo)cnn微調(diào)訓(xùn)練遠(yuǎn)程信息數(shù)據(jù)的選擇，驗證了硬正反例和硬負(fù)反例都能提高壓縮碼在特定對象檢索中的最終性能。文獻(xiàn)[5]深入研究了w.r.t.這類表示的可轉(zhuǎn)移性，它包括訓(xùn)練遠(yuǎn)程信息的參數(shù)，如網(wǎng)絡(luò)結(jié)構(gòu)和特征提取參數(shù)，不同的視覺識別任務(wù)根據(jù)它們與變電站的特征進行分類排序，結(jié)果表明變電站的性能與輸出工具之間的距離存在明顯的相關(guān)性。

但以上研究重點放在是否能輸出有效圖像上，忽視了與變電站的關(guān)聯(lián)性，因此本文提出基于HoloLens的變電站巡檢系統(tǒng)設(shè)計方法，首先對系統(tǒng)的總體設(shè)計架構(gòu)進行分析，然后對變電站智能巡檢系統(tǒng)的開發(fā)環(huán)境進行分析和功能模塊設(shè)計，最后進行仿真測試，得出有效性結(jié)論。

1 系統(tǒng)總體架構(gòu)和開發(fā)環(huán)境分析

1.1 系統(tǒng)總體設(shè)計架構(gòu)

為了實現(xiàn)變電站巡檢系統(tǒng)的優(yōu)化設(shè)計，首先對變電站巡檢系統(tǒng)的總體設(shè)計構(gòu)架進行分析，構(gòu)建變電站巡檢數(shù)據(jù)庫，結(jié)合三維圖像重構(gòu)和視景信息采樣方法進行系統(tǒng)的子模塊開發(fā)和信息轉(zhuǎn)換控制，變電站巡檢系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)體系采用物聯(lián)網(wǎng)下的ZigBee組網(wǎng)體系設(shè)計，在嵌入式的BS總線調(diào)度下進行變電站巡檢的數(shù)據(jù)庫體系設(shè)計，采用虛擬現(xiàn)實系統(tǒng)與AR系統(tǒng)相結(jié)合的方式進行巡檢系統(tǒng)的輸出總線設(shè)計和接口轉(zhuǎn)換，建立變電站巡檢系統(tǒng)的多媒體信息采集模型，得到系統(tǒng)的總體設(shè)計如圖1所示。

圖1 系統(tǒng)的總體設(shè)計構(gòu)架

根據(jù)圖1的變電站巡檢系統(tǒng)的總體設(shè)計構(gòu)架分析得知，變電站巡檢系統(tǒng)的主要功能是實現(xiàn)對變電站的遠(yuǎn)程巡檢虛擬現(xiàn)實仿真，該系統(tǒng)采用視景重構(gòu)技術(shù)進行變電站巡檢過程中的周邊環(huán)境信息采樣和三維信息重構(gòu)，采用HoloLens穿戴設(shè)備進行VR成像，將變電站巡檢的3D圖像融合于變電站的真實工況環(huán)境和周邊環(huán)境中，結(jié)合數(shù)據(jù)信息加工和虛擬視景仿真技術(shù)，進行變電站巡檢的全息圖像處理，在現(xiàn)實場景中采用可穿戴AR/MR設(shè)備進行變電站巡檢過程中的人機交互和遠(yuǎn)程信息采集，采用視覺傳感和生物電信號測量傳感技術(shù)進行變電站巡檢過程中的圖像信息分析，通過顯示全息圖像的設(shè)備進行視覺成像，基于混合現(xiàn)實(MR)的可穿戴設(shè)備進行變電站巡檢系統(tǒng)的開發(fā)設(shè)計。

1.2 系統(tǒng)的功能模塊分析

在上述變電站巡檢系統(tǒng)總體設(shè)計分析的基礎(chǔ)上，進行系統(tǒng)的功能模塊設(shè)計和開發(fā)環(huán)境描述。變電站巡檢系統(tǒng)建立在嵌入式的Visual C+開發(fā)軟件技術(shù)上，結(jié)合Vega Prime進行變電站巡檢系統(tǒng)的實體模型構(gòu)造。構(gòu)建的變電站巡檢系統(tǒng)主要包括信息采集模塊、全息影像模塊、顯示模塊、智能輔助巡視模塊和人機交互接口模塊。在虛擬的變電站巡檢環(huán)境中，使用空間視覺采樣的方法，進行變電站巡檢系統(tǒng)可視化構(gòu)建。采用虛擬視景的Unity3D開發(fā)軟件，進行系統(tǒng)的軟件開發(fā)設(shè)計[6-9]。在變電站巡檢系統(tǒng)的視景仿真軟件開發(fā)過程中，分為應(yīng)用(APP)、剔除(CULL)和繪制(DRAW)3個主要過程，如圖2所示。

圖2 巡檢系統(tǒng)的視景仿真軟件開發(fā)過程

在圖2所示的仿真環(huán)境中，根據(jù)顯示列表中存儲的變電站巡檢場景狀態(tài)信息進行空間信息重構(gòu)。將場景數(shù)據(jù)庫進行變電站巡檢的三維視覺成像，在HoloLens中，通過全息影像和手勢控制的方法進行變電站巡檢過程中的視覺信息采集。變電站巡檢場景分為230萬光點分辨率，以2D應(yīng)用或者3D模型的形式展現(xiàn)巡檢的效果。巡檢系統(tǒng)的工程文件分為高程數(shù)據(jù)文件、特征數(shù)據(jù)文件、設(shè)置文件以及調(diào)板文件[10-12]。根據(jù)上述分析，得到變電站巡檢系統(tǒng)的工程文件配置如圖3所示。

圖3 電站巡檢系統(tǒng)的工程文件配置

2 變電站巡檢系統(tǒng)的優(yōu)化實現(xiàn)

2.1 視覺信息采集模塊設(shè)計

采用視覺傳感和生物電信號測量傳感技術(shù)進行變電站巡檢過程中的圖像信息采樣分析，通過Gaze、Gesture、Voice(GGV)與虛擬的數(shù)字內(nèi)容進行交互，將變電站巡檢過程中的信息采集和3D信息相融合，通過Gesture和Voice來實現(xiàn)人機交互和語音信息交互。變電站巡檢的視覺信息采集實現(xiàn)示意圖如圖4所示。

圖4 變電站巡檢的視覺信息采集實現(xiàn)示意圖

根據(jù)圖4的信息采集模塊進行變電站巡檢的空間視覺信息采樣。系統(tǒng)的視覺圖像處理軟件主要有環(huán)境增強式軟件、環(huán)境融合式軟件和虛擬空間式軟件這3類，由此將Holographic apps分為3類。采用VIX總線控制技術(shù)實現(xiàn)變電站巡檢系統(tǒng)的總線集成控制和信息調(diào)度，構(gòu)建變電站巡檢系統(tǒng)的集成信息處理器。采用程序加載過程控制方法進行監(jiān)測系統(tǒng)的指令設(shè)計。采用近場無線通信進行變電站巡檢過程中的組網(wǎng)設(shè)計[13-15]，結(jié)合RFID、WIFI、藍(lán)牙(BT)、組網(wǎng)技術(shù)系統(tǒng)的無線通信和上位機信息交互，通過Gaze、Gesture、Voice(GGV)與虛擬的數(shù)字內(nèi)容進行信息交互，實現(xiàn)視覺信息采集模塊設(shè)計，基于可穿戴設(shè)備進行智能輔助巡檢。

2.2 系統(tǒng)的網(wǎng)絡(luò)組網(wǎng)設(shè)計

采用近場無線通信進行變電站巡檢過程中的組網(wǎng)設(shè)計，結(jié)合RFID、WIFI、藍(lán)牙(BT)、組網(wǎng)技術(shù)系統(tǒng)的無線通信和上位機信息交互[16-18]，進行系統(tǒng)的網(wǎng)絡(luò)組網(wǎng)設(shè)計。采用視景仿真技術(shù)進行變電站巡檢系統(tǒng)的視景模擬，系統(tǒng)主要包括變電站巡檢的信息采集模塊、數(shù)據(jù)庫模型、變電站巡檢3D重構(gòu)模塊、視景仿真模塊等。采用VR程序加載方法進行變電站巡檢系統(tǒng)的VR設(shè)計和網(wǎng)絡(luò)組網(wǎng)設(shè)計，通過預(yù)定義的手勢進行操作[19-20]，開始識別設(shè)備，創(chuàng)建模型數(shù)據(jù)庫。基于IEEE488.2標(biāo)準(zhǔn)下Bus總線，進行變電站巡檢集成智能控制，使用Vega Prime編輯器進行變電站巡檢過程的交叉編譯和程序加載。為了更好地增強現(xiàn)實環(huán)境，提升巡檢人員的工作效率，需要對巡檢系統(tǒng)進行可視化操作，在識別出電力設(shè)備后，相關(guān)的操作按鈕會被投影到設(shè)備的正確位置上，如圖5所示。

2.3 系統(tǒng)的人機交互和數(shù)據(jù)存儲設(shè)計

通過預(yù)定義的手勢進行操作，開始識別設(shè)備，識別成功后，設(shè)計虛擬場景生成器、頭盔顯示器、虛擬場景與真實場景對準(zhǔn)儀等，實現(xiàn)對變電站巡檢過程中的用戶觀察視線跟蹤觀測。設(shè)定缺陷按鈕[21-22]，讓巡檢人員在整個作業(yè)過程中全程佩戴HoloLens，當(dāng)設(shè)備存在檢修記錄時，可以點擊“缺陷”按鈕，此時會出現(xiàn)缺陷記錄(包括描述信息、時間、記錄人員)，如圖6所示。

在此基礎(chǔ)上，采用ADSP21160作為核心處理器，用ISA/EISA/Micro Channel擴充總線進行變電站巡檢系統(tǒng)的總線收發(fā)控制；采用ARM作為核心控制單元，結(jié)合物聯(lián)網(wǎng)技術(shù)和嵌入式技術(shù)對變電站巡檢系統(tǒng)的照片、視頻等信息進行存儲和記錄[23-24]，得到設(shè)備的缺陷記錄過程如圖7所示。

圖7 設(shè)備的缺陷記錄過程

根據(jù)系統(tǒng)的人機交互及數(shù)據(jù)存儲結(jié)構(gòu)設(shè)計[25-26]，選擇調(diào)用歷史照片進行現(xiàn)場巡檢，基于HoloLens提高變電站智能輔助巡視能力。

3 實驗測試分析

為了測試本文設(shè)計的系統(tǒng)在實現(xiàn)變電站巡檢中的應(yīng)用性能，巡檢人員在系統(tǒng)測試的整個作業(yè)過程中全程佩戴HoloLens設(shè)備，設(shè)定變電站巡檢的圖像采集的頻率為1200 kHz，分辨率為200×400，三維虛擬重建的迭代次數(shù)為400次。根據(jù)上述參數(shù)設(shè)定，得到變電站巡檢系統(tǒng)的初始信息采集如圖8所示。

圖8 變電站巡檢系統(tǒng)的初始信息采集

根據(jù)圖8的信息采集結(jié)果，進行變電站巡檢，得到油位巡檢和溫度等信息，巡檢結(jié)果示例如圖9所示。

(a) 油位巡檢結(jié)果

(b) 溫度巡檢結(jié)果

表1 檢查項目總計

將圖9的輸出示例與表1的檢查項目結(jié)合，驗證本文方法的巡檢的準(zhǔn)確性，將其與文獻(xiàn)[3]及文獻(xiàn)[4]進行對比測試，測試結(jié)果如表2所示。

表2 變電站巡檢的準(zhǔn)確性測試

分析表1與表2可知，在對表1檢查項目進行400次檢查時，使用本文方法檢查的準(zhǔn)確率分別在100次、200次、300次、400次這4個記錄階段皆高于文獻(xiàn)[3]與文獻(xiàn)[4]的準(zhǔn)確率，表明采用本文設(shè)計的系統(tǒng)進行變電站巡檢，能可視化地檢測出變電站的各種物理信息，輸出結(jié)果可靠準(zhǔn)確，在產(chǎn)生故障時可以及時發(fā)現(xiàn)并反應(yīng)故障、處理故障，說明本文方法進行變電站巡檢的保障安全性能較高。

為了體現(xiàn)較好的人機交互性能，以路短器為例進行實時巡檢路線設(shè)置與調(diào)整測試。首先導(dǎo)入全部的巡檢路線路短器設(shè)備編碼、設(shè)備位置與設(shè)備名稱，建立數(shù)據(jù)庫，進行變電站巡檢。巡檢結(jié)果如表3所示。

表3 路短器數(shù)據(jù)一次巡檢結(jié)果

一次巡檢后對智能輔助系統(tǒng)實行人工調(diào)整路線，調(diào)整后進行二次巡檢，巡檢結(jié)果如表4所示。

表4 路短器數(shù)據(jù)二次巡檢結(jié)果

由表4可知，對智能輔助系統(tǒng)實行人工調(diào)整路線后，可以正確顯示出巡檢狀態(tài)并智能顯示，說明智能輔助系統(tǒng)的信息交互能力較強，具有很好的人機交互性。

4 結(jié)束語

變電站現(xiàn)場作業(yè)因設(shè)備繁多、專業(yè)性強、安全風(fēng)險大，為了實現(xiàn)變電站的智能巡檢，本文提出了基于HoloLens的變電站巡檢系統(tǒng)設(shè)計方法，采用可穿戴AR/MR設(shè)備進行變電站巡檢過程中的人機交互和遠(yuǎn)程信息采集，通過HoloLens設(shè)備為現(xiàn)場人員實時提供高度融合現(xiàn)場環(huán)境的引導(dǎo)與輔助信息分析，采用視覺傳感和生物電信號測量傳感技術(shù)進行變電站巡檢過程中的圖像信息采樣分析。采用多媒體虛擬現(xiàn)實增強技術(shù)進行變電站巡檢輸出的3D展示，實現(xiàn)對變電站巡檢過程中的用戶觀察視線跟蹤觀測，在可穿戴的HoloLens智能產(chǎn)品基礎(chǔ)上實現(xiàn)變電站巡檢系統(tǒng)的優(yōu)化設(shè)計。分析得知，設(shè)計的變電站巡檢系統(tǒng)檢測結(jié)果準(zhǔn)確，可正確及時地反應(yīng)故障，保證安全，具有很好的人機交互性，在變電站巡檢中具有很好的應(yīng)用前景。