基于增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)的高壓電力設(shè)備檢修應(yīng)用研究

武宇平，呂志瑞，黃曉樂，孫 旭，李振動(dòng)，張曉飛

(1.國網(wǎng)冀北電力有限公司，北京 100054；2.常州博瑞電力自動(dòng)化設(shè)備有限公司，江蘇 常州 213025；3.國網(wǎng)冀北電力有限公司 檢修分公司，北京 100054)

增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)在信息化高速普及的背景下應(yīng)運(yùn)而生，作為一項(xiàng)新興技術(shù)，被廣泛應(yīng)用在各種行業(yè)中。得益于高度的可編輯性和互動(dòng)性，該技術(shù)能夠在正向反饋的激勵(lì)下持續(xù)發(fā)展并應(yīng)用在更多類型的場景中[1]。該技術(shù)通過合理應(yīng)用人的視覺多元化特征，將虛擬畫面現(xiàn)實(shí)化增強(qiáng)投放到視覺觀察范圍內(nèi)，使得虛擬操作平臺與真實(shí)觀感協(xié)同出現(xiàn)在操作者眼前，從而實(shí)現(xiàn)雙維度操作以及深化對比的功能。在傳統(tǒng)高壓電氣設(shè)備的檢修過程中，檢修作業(yè)的開展通常需要紙質(zhì)文件的參照以實(shí)現(xiàn)對照式操作，考驗(yàn)工作人員的瞬時(shí)記憶能力及操作協(xié)同性，具有較大的難度。在應(yīng)用基于增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)的對照式操作后，工作人員在多視角的切換過程中，僅需通過語言與動(dòng)作的簡單操作即可實(shí)現(xiàn)雙目對照檢修過程[2]。

通過將電力設(shè)備檢修與AR技術(shù)進(jìn)行整合，將圖片識別、視角疊加與轉(zhuǎn)換以及智能交互等技術(shù)應(yīng)用到實(shí)際操作過程中，借助輸入端的攝像頭、語音系統(tǒng)以及通話系統(tǒng)等終端設(shè)備，結(jié)合多種形式的檢修指導(dǎo)性文件素材及模型的輸入，依據(jù)核心的檢修邏輯步驟實(shí)現(xiàn)多元合作實(shí)施的電力設(shè)備檢修方式。通過后臺配置現(xiàn)場作業(yè)工序及輔助信息，利用智能眼鏡近眼推送使現(xiàn)場作業(yè)人員在第一時(shí)間獲得作業(yè)要求、作業(yè)輔助，保證作業(yè)過程的規(guī)范性、準(zhǔn)確性、可靠性。同時(shí)，操作人員在作業(yè)過程中解放雙手，可以進(jìn)行第一視角的視頻、圖片以及語音文字記錄，多維度地強(qiáng)化現(xiàn)場作業(yè)過程的可追溯性[3]。當(dāng)現(xiàn)場需要專家協(xié)助時(shí)，通過智能眼鏡的實(shí)時(shí)交互能力，將作業(yè)現(xiàn)場的第一視角畫面實(shí)時(shí)回傳，連接后端專家資源，實(shí)現(xiàn)遠(yuǎn)程指導(dǎo)工作，并且能夠融合智能識別與分析技術(shù)沉淀數(shù)據(jù)，優(yōu)化工作流程，形成專家知識庫，提升現(xiàn)場水平。

1 增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)功能簡述

綜合AR眼鏡設(shè)備及遠(yuǎn)端服務(wù)平臺的功能進(jìn)行開發(fā)與應(yīng)用，高壓電力設(shè)備的檢修也激勵(lì)出了一系列的改進(jìn)。

在設(shè)備的檢修過程中，按步驟推送近眼指導(dǎo)信息或作業(yè)要求，近眼通過第一視角視頻和圖片跟蹤記錄作業(yè)過程，杜絕不規(guī)范、不標(biāo)準(zhǔn)作業(yè)，扼殺安全隱患，從而保證了現(xiàn)場作業(yè)質(zhì)量[4]。為了提高現(xiàn)場作業(yè)效率，取代手持終端或紙質(zhì)工單，通過語音識別技術(shù)錄入數(shù)據(jù)，同步展示操作視頻教程或AR疊加內(nèi)容，解放操作人員雙手，有效地提高工單任務(wù)完成質(zhì)量，提高作業(yè)過程效率。

現(xiàn)場檢修的作業(yè)人員遇到無法解決的問題，遠(yuǎn)程專家可通過現(xiàn)場人員第一視角實(shí)時(shí)查看現(xiàn)場狀況，通過語音、文字、圖片、勾畫、推送資料等方式進(jìn)行指導(dǎo)，加速了現(xiàn)場問題處理速度[5]。通過后臺配置檢查步驟、檢查內(nèi)容、過程留存方式，可實(shí)現(xiàn)對所有風(fēng)險(xiǎn)控制點(diǎn)的管理，做到可視化追溯，為管理改善提供可靠依據(jù)，實(shí)現(xiàn)作業(yè)過程可視化追溯。以人臉識別為基礎(chǔ)，加強(qiáng)作業(yè)人員、來訪人員管理，嚴(yán)格執(zhí)行安全作業(yè)票證管理標(biāo)準(zhǔn)，以加強(qiáng)現(xiàn)場人員管理。為管理人員提供任務(wù)管理、計(jì)劃、審核、跟蹤和生成可視化報(bào)表及KPI的平臺，使其作為企業(yè)運(yùn)營中心的一環(huán)，提供集成開發(fā)環(huán)境，客戶可以自主創(chuàng)建及修改所有的作業(yè)規(guī)范、配置數(shù)據(jù)，并完成系統(tǒng)授權(quán)、部署等管理工作。移動(dòng)工作站應(yīng)用于移動(dòng)設(shè)備的客戶端，與智能眼鏡連接，使用者為巡檢員，使用智能眼鏡快速獲取工單信息及作業(yè)指導(dǎo)，通過文字、語音、圖片、視頻等方式快速記錄現(xiàn)場信息，快速提高現(xiàn)場作業(yè)效率。結(jié)合現(xiàn)場作業(yè)管理系統(tǒng)，以工單為作業(yè)基礎(chǔ)，將作業(yè)指導(dǎo)書分時(shí)、分步驟推送到智能眼鏡端進(jìn)行顯示或播報(bào)，作業(yè)人員將根據(jù)相應(yīng)指示或指導(dǎo)進(jìn)行現(xiàn)場作業(yè)。作業(yè)人員可對各步驟作業(yè)過程進(jìn)行實(shí)時(shí)視頻記錄，并通過語音、手勢、掃描二維碼等交互手段，獲取輔助信息[6]。

通過第一視角的智能眼鏡，專家可以遠(yuǎn)程連接服務(wù)站或設(shè)備維修現(xiàn)場，指導(dǎo)前方工作人員解決問題，通過實(shí)時(shí)視頻、文字、圖片、AR標(biāo)記等多種方式，提升溝通效率。通過智能眼鏡融合物體識別、二維碼/條碼識別、車牌識別、人臉識別技術(shù)，訓(xùn)練基于深度學(xué)習(xí)的模型算法，對維修現(xiàn)場的車輛、設(shè)備、配件、人員進(jìn)行智能化識別與分析，幫助工人提升工作能效。

2 高壓電力設(shè)備檢修技術(shù)

結(jié)合高壓電力設(shè)備產(chǎn)品檢修的需求，將上述增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)進(jìn)行功能化定制，實(shí)現(xiàn)此項(xiàng)技術(shù)在高強(qiáng)度檢修作業(yè)中的應(yīng)用。不同于傳統(tǒng)應(yīng)用形式，高壓電力設(shè)備的檢修更加重視過程的記錄對比以及步驟化操作，所以作業(yè)前的數(shù)據(jù)準(zhǔn)備及形式就需要著重考慮。

目前，該技術(shù)采用以CREO為三維建模工具、SolidWorks Composer為制作載體，建立了高精度水平的高壓電力設(shè)備零組件三維模型。為了應(yīng)對不同工器具的檢修功能需求，應(yīng)對設(shè)備中推送的文件進(jìn)行邏輯特性優(yōu)化，并輔助以各類圖片、視頻媒介，從而使虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)更符合電力設(shè)備檢修的功能應(yīng)用[7]。

針對避雷器組件的成組檢修，需要將吊裝工藝與增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)相結(jié)合，突出可視化設(shè)備的便攜特點(diǎn)，融合第一視角現(xiàn)實(shí)狀態(tài)與虛擬操作界面，規(guī)避人力操作和交互的重疊，提升操作的安全性和可操作性。同樣地，在柔性直流換流閥的檢修過程中，模組的檢修也需要將成組化吊裝和工裝滑輪組件相結(jié)合，在機(jī)構(gòu)運(yùn)動(dòng)指導(dǎo)操作的方式上，結(jié)合三維模型和動(dòng)畫演示，將復(fù)雜的機(jī)構(gòu)操作步驟逐條展現(xiàn)給操作人員，解決了理論步驟同步操作的問題。

增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)在檢修技術(shù)上的應(yīng)用如圖1所示，在人員組織架構(gòu)安排和信息共享上，采用智能交互平臺，可以更好地將人員分工安排、工作任務(wù)下發(fā)和操作結(jié)果反饋集成在云平臺中，形成系統(tǒng)化的檢修維護(hù)事務(wù)與人員記錄。

3 終端平臺的開發(fā)

Arise(MSP)平臺是一款集大容量、高并發(fā)、統(tǒng)一管理、多業(yè)務(wù)融合、高擴(kuò)展性、高安全性、高兼容性、高可靠性、高開放性等為一體的軟件技術(shù)平臺。其中，LiveService是基于AR智能眼鏡開發(fā)的富媒體通信微服務(wù)，依托高質(zhì)量、超低延時(shí)的音視頻和IM消息通信技術(shù)，搭配完善的業(yè)務(wù)和存儲服務(wù)，封裝成標(biāo)準(zhǔn)SDK幫助開發(fā)者快速搭建多端富媒體通信應(yīng)用，適用于遠(yuǎn)程協(xié)作、指揮調(diào)度、驗(yàn)收和監(jiān)管等場景。

AIService是基于AR智能眼鏡開發(fā)的AI識別微服務(wù)，依托成熟的自研人臉識別、物體識別技術(shù)，提供完整的人臉追蹤、識別、比對、報(bào)警和物體識別、比對、檢測等功能，封裝成標(biāo)準(zhǔn)SDK幫助開發(fā)者快速集成到三方系統(tǒng)，適用于指揮調(diào)度、園區(qū)安保、維修檢驗(yàn)等場景。WorkflowService是基于AR智能眼鏡開發(fā)的作業(yè)流程微服務(wù)，提供從作業(yè)流程創(chuàng)建、執(zhí)行、記錄、上報(bào)的完整功能，封裝成標(biāo)準(zhǔn)SDK幫助開發(fā)者快速集成到ERP、OA等系統(tǒng)，適用于工廠作業(yè)、巡查取證、警情上報(bào)等場景。

集成用戶頁面是必須先初始化成功或已連接到服務(wù)端，創(chuàng)建顯示用戶界面的Activity，在該Activity的界面中添加用戶fragment：

android:id="@+id/im_main"

android:layout_width="match_parent"

android:layout_height="match_parent"

android:name="com.llvision.glxsslivesdk.ui.moduls.main.fragment.LiveServiceMainFragment"

>

通過采用AIService的智能化識別技術(shù)，項(xiàng)目編程人員可以以電力檢修設(shè)備庫為基礎(chǔ)，搭建模塊化識別平臺，集成在檢修過程的每個(gè)子項(xiàng)目中，從而實(shí)現(xiàn)各階段的智能對照式檢修。

基于前期對于軟件及終端的研究，可以實(shí)現(xiàn)高壓電力設(shè)備檢修工器具、零組件以及系列化工裝模型的導(dǎo)入，實(shí)現(xiàn)工作人員對零組件的交互式理解。虛擬增強(qiáng)現(xiàn)實(shí)技術(shù)目前已經(jīng)應(yīng)用于多項(xiàng)電力設(shè)備檢修過程當(dāng)中。通過將該項(xiàng)技術(shù)引入到高壓電力設(shè)備的檢修過程中，為現(xiàn)在的檢修帶來了新的智能化便捷化可閱讀性的解決方案。

在圖片識別方面需要建立大量的庫，以實(shí)現(xiàn)對照式檢查。分別對每個(gè)步驟所在的場景設(shè)備、模型、器具進(jìn)行圖形建模，并通過基于AIService的計(jì)算機(jī)識別，形成多種數(shù)據(jù)結(jié)合的圖形庫。在檢修過程中，操作人員根據(jù)設(shè)備平臺提供的對應(yīng)拍照功能識別對應(yīng)元器件已實(shí)現(xiàn)高度重合的圖像識別與檢修應(yīng)用[8]。

除了圖片識別的庫以外，還需要對巡檢記錄數(shù)據(jù)的維護(hù)和視頻輔助參考等進(jìn)行信息維護(hù)，集成形成一套便于檢修的指導(dǎo)文庫。工作人員在檢修過程中即可通過步驟以及頭部的操作識別實(shí)現(xiàn)不同步驟的切換和信息的獲取。圖像識別技術(shù)及檢修應(yīng)用如圖2所示，后臺的信息處理除了以構(gòu)建的模型與圖片信息庫為基礎(chǔ)，將多元化的輸入信息通過自研算法的集成歸化，實(shí)現(xiàn)高度智能便捷化的操作。信息間的轉(zhuǎn)換除了需要關(guān)注算法的可靠性外，還需要將信息加密化、媒介化，有效避免信息泄露等風(fēng)險(xiǎn)。

4 發(fā)展方向

傳統(tǒng)的檢修模式得益于其嚴(yán)謹(jǐn)?shù)墓ぷ髂Ｊ?，持續(xù)多年支撐著電力設(shè)備檢修模式的運(yùn)轉(zhuǎn)?；谠鰪?qiáng)虛擬現(xiàn)實(shí)技術(shù)的高壓電力設(shè)備檢修方式是在傳統(tǒng)模式的基礎(chǔ)上，將信息智能化時(shí)代的工具融合到傳統(tǒng)的檢修過程中[9]。電力設(shè)備檢修是一個(gè)體系繁雜的工作項(xiàng)目，設(shè)備類型、應(yīng)用技術(shù)多樣性以及可操作性按照難易程度分類廣泛。采用AR技術(shù)進(jìn)行操作人員工作體系的研究開發(fā)，可以實(shí)現(xiàn)新人高效率地對工作內(nèi)容和場景地認(rèn)識。電力設(shè)備檢修涵蓋知識面龐大且復(fù)雜，基于增強(qiáng)虛擬顯示技術(shù)，可以使人快速熟悉操作步驟和核心檢修器件。同時(shí)，運(yùn)用該技術(shù)可以快速形成互動(dòng)檢修系統(tǒng)知識庫，建立正向反饋體系，豐富電力設(shè)備檢修的層級。

增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)作為人工智能領(lǐng)域的前沿科技，在電力設(shè)備檢修的應(yīng)用上除了上述介紹的應(yīng)用外，還有許多新型研究點(diǎn)可待開發(fā)。圍繞三維注冊功能，可以開發(fā)出智能檢修對象定位追蹤功能，將主動(dòng)的視覺識別轉(zhuǎn)化為AI識別，降低人為檢修疏漏的風(fēng)險(xiǎn)。強(qiáng)化虛擬融合現(xiàn)實(shí)，可以將檢修過程中的各類數(shù)據(jù)結(jié)合現(xiàn)實(shí)呈現(xiàn)在操作者視野中，減少不必要的交互。

5 結(jié)語

現(xiàn)有的針對電力設(shè)備現(xiàn)場檢修的輔助工具操作復(fù)雜，響應(yīng)速度不能滿足需求，且信息的展現(xiàn)形式較為單一。目前，增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)已在消費(fèi)工商業(yè)、電力電子和醫(yī)療等領(lǐng)域中取得不少的創(chuàng)新性應(yīng)用，通過引入增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)，給電網(wǎng)設(shè)備的安裝、運(yùn)行和檢修作業(yè)帶來了新的信息化、智能化解決方案[10]。

本文基于對增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)在高壓電力設(shè)備檢修的研究，使作業(yè)人員能夠更全面更豐富地了解檢修內(nèi)容，借助AR設(shè)備對被檢修對象有更深刻的理解。通過AR技術(shù)，利用3D建模，模擬設(shè)備內(nèi)部構(gòu)造，突破現(xiàn)場檢修人員的感官范圍，為現(xiàn)場作業(yè)提供更為全面和深層次的技術(shù)支撐。