基于增強現(xiàn)實技術的電力設備工程技術服務應用探究

劉 貴 劉 亮 帥 偉 曹 杰 孫 旭

（常州博瑞電力自動化設備有限公司，江蘇 常州 213025）

0 引言

大型電力設備如特高壓換流閥、柔性直流換流閥、高壓直流斷路器等在工程實施階段需要設備廠家提供及時、高效的工程技術服務?，F(xiàn)有工程技術服務在遠程協(xié)作的可指導性和實時記錄的便捷性方面存在不足，無法實現(xiàn)技術問題的在線作業(yè)指導和知識經(jīng)驗積累，并存在現(xiàn)場專業(yè)技術人員短缺、服務成本高和技術故障處理不及時的問題。

隨著電網(wǎng)工程建設數(shù)字化和智能化水平需求的不斷提升，增強現(xiàn)實（augmented reality, AR）在工程管理中的應用為解決現(xiàn)場技術溝通和信息共享問題提供了新的路徑[1-4]。AR 遠程協(xié)作工業(yè)制造與維修，主要用于復雜設備部位安裝維護信息精準投送、顯示和遠程協(xié)助。早在1990 年波音公司的兩位工程師Thomas Caudell 和David Mizell 提出使用一種抬頭透視裝置用于飛機航空線束的裝配指導過程，并創(chuàng)造“Augmented Reality”這一概念用于描述這種將虛擬內(nèi)容自動疊加在用戶真實場景的技術。2012年谷歌眼鏡推出后，基于谷歌眼鏡，波音公司聯(lián)合應用軟件開發(fā)商Skylight 開發(fā)了線束裝配應用軟件和遠程專家協(xié)助功能。該研究幫助安裝工人節(jié)省了至少25%的裝配時間，并顯著降低了錯誤率[5]。AR作為新一代的人機信息交互平臺，目前已廣泛應用于電力巡檢和運維管理領域[6-12]。

根據(jù)以上情況，本文將AR 技術應用于工程技術服務項目管理過程中，對現(xiàn)有業(yè)務流程溝通記錄方式進行優(yōu)化，實現(xiàn)工程技術問題的即時、高效溝通指導和知識經(jīng)驗的實時便捷記錄，并達到降低服務成本、提高服務質(zhì)量和項目管理水平的效果。

1 AR 遠程協(xié)作解決方案調(diào)研

AR 遠程協(xié)作是基于AR 眼鏡和網(wǎng)絡傳輸技術，利用網(wǎng)絡傳輸從現(xiàn)場端傳回眼鏡佩戴人員的第一視角畫面，幫助座席端進行現(xiàn)場問題診斷，同時，座席端也可以通過眼鏡端近眼顯示屏實時對現(xiàn)場人員進行作業(yè)指導的一種新型遠程協(xié)作形式。整個協(xié)作過程不影響現(xiàn)場端人員的正常操作。AR 遠程協(xié)作系統(tǒng)組成如圖1 所示。

圖1 AR 遠程協(xié)作系統(tǒng)組成

1.1 設備功能需求

現(xiàn)場技術支持過程，保證人員間即時音視頻溝通和在線指導功能。具體包括硬件操作、軟件功能和信息安全三方面需求。

硬件操作需求：①不影響使用者環(huán)境觀察、人身安全防護及現(xiàn)場操作；②佩戴可靠、舒適、不易疲勞，操作簡單易行，便于差旅攜帶。

通信軟件功能需求：①支持計算機端、移動端和穿戴端多方在線視頻語音通信；②支持在線輔助標記、座席端文件或屏幕共享；③支持視頻內(nèi)容記錄和存儲管理功能。

信息安全需求：技術服務過程涉及產(chǎn)品信息安全，需提供相關信息安全解決措施。

1.2 AR 遠程協(xié)作行業(yè)現(xiàn)狀

目前行業(yè)內(nèi)AR 遠程解決方案的區(qū)別主要在于AR 眼鏡硬件的技術路徑和軟件的功能開發(fā)。國外主流的AR 眼鏡廠商很多開始采用波導技術，如微軟HOLOLENS2、Magic Leap One。部分國內(nèi)外廠商仍以自由曲面棱鏡為主，如愛普生、亮亮視野、耐德佳，主要原因在于其工藝比較完善、良品率高，成本逐漸降低，性價比高。而波導技術由于其顯示鏡片纖薄、工藝難度較大、成本偏高，其應用也會相對受限。國內(nèi)AR 遠程協(xié)助解決方案的主要問題在于技術與產(chǎn)業(yè)缺少深度融合的應用開發(fā)。

1.3 AR 眼鏡參數(shù)與功能對比

根據(jù)AR 遠程協(xié)作需求，初步調(diào)研了蒂姆維澳、微軟、亮風臺和亮亮視野共四家廠商。其中，微軟公司的HOLOLENS2 由于還未量產(chǎn)不滿足工程應用要求被排除。最終調(diào)研方案有蒂姆維澳愛普生BT-35E、亮風臺HiAR G200 和亮亮視野GLXSS SE三組方案。方案技術參數(shù)對比見表1。

表1 AR 設備技術參數(shù)及功能對比

（續(xù)表1）

從表1 可以看出，各家AR 眼鏡產(chǎn)品形態(tài)均采用分體式結構，亮亮視野采用單目鏡片，虛擬屏幕大小、分辨率和視野等成像效果要弱于雙目形式；但由于其成像位置位于眼鏡一側，在進行現(xiàn)實與虛擬圖像的注視切換過程中不會遮擋視野，使現(xiàn)場作業(yè)人員的注意力更多關注眼前的操作。攝像頭輸入方面，亮亮視野的攝像頭參數(shù)與功能都要優(yōu)于其他方案，并在產(chǎn)品質(zhì)量、網(wǎng)絡環(huán)境需求、防護等級和安防用品兼容性方面也有明顯優(yōu)勢。亮亮視野AR眼鏡搭載視覺處理芯片和人工智能算法引擎，實現(xiàn)了計算能效比的大幅飛躍。

遠程協(xié)作功能對比：蒂姆維澳與亮風臺AR 眼鏡支持本地視角與座席端桌面切換；亮亮視野則支持AR 動態(tài)追蹤標記，虛擬標記不隨視角的偏移丟失標記目標，AR 動態(tài)追蹤標記功能如圖2 所示。

圖2 AR 動態(tài)追蹤標記功能

蒂姆維澳與亮風臺支持普通錄像功能。亮亮企服平臺的錄像與標準作業(yè)流程功能可方便實現(xiàn)語音命令控制節(jié)點記錄和生產(chǎn)作業(yè)指導。AR 眼鏡佩戴效果如圖3 所示。

圖3 AR 眼鏡佩戴效果

AR 遠程協(xié)作軟件支持公有云和私有云兩種部署方式。公有云通過互聯(lián)網(wǎng)加密傳輸和存儲，而私有云則通過私有化網(wǎng)絡或互聯(lián)網(wǎng)加密傳輸和存儲。軟件私有云部署僅能部署節(jié)點覆蓋范圍，還需要考慮定期維護和硬件服務器成本。

AR 遠程協(xié)作解決方案建議采用亮亮視野GLXSS SE 方案并采取公有云方式部署。

2 工程技術服務項目管理業(yè)務應用

工程技術服務項目管理工作主要包括安全生產(chǎn)、質(zhì)量和進度管理、生產(chǎn)技術問題處理和知識經(jīng)驗積累，這些都需要通過溝通協(xié)作、作業(yè)指導和過程記錄實現(xiàn)。下面基于工程現(xiàn)場作業(yè)指導經(jīng)驗，以亮亮視野AR 遠程協(xié)作系統(tǒng)功能為例，進行相關工程技術服務項目管理業(yè)務應用設計。

2.1 系統(tǒng)功能

1）作業(yè)記錄

現(xiàn)場作業(yè)人員通過AR 眼鏡將作業(yè)過程的第一視角錄像和語音打點標記上傳至系統(tǒng)，并輸出包含耗時和地理位置信息的直觀作業(yè)報告，供企業(yè)分析決策。對比以往的手機錄像記錄方式，AR 眼鏡的視頻記錄和存儲方式更為便捷、自然、智能和高效。組件檢修過程作業(yè)記錄如圖4 所示。

圖4 組件檢修過程作業(yè)記錄

2）遠程協(xié)作

遠程協(xié)作可將AR 眼鏡第一視角音視頻分享給座席端，同時提供語音、圖文通信、AR 標記和文檔收發(fā)工具選項，遠程協(xié)作過程的錄像和圖文消息記錄均可以進行回看。對比傳統(tǒng)的音視頻通話軟件，AR 眼鏡的可穿戴近眼顯示特性可減輕現(xiàn)場作業(yè)負擔、解放雙手并輔以遠程變焦和追蹤標記功能豐富交互途徑，提高在線作業(yè)指導效率。第一視角音視頻回傳如圖5 所示。

圖5 第一視角音視頻回傳

3）標準作業(yè)流程

AR 遠程協(xié)作系統(tǒng)提供編輯工具，可將線性作業(yè)流程添加至系統(tǒng)中，附加圖片或視頻進行指導。現(xiàn)場作業(yè)人員從手機端下載標準作業(yè)流程，執(zhí)行并標記每一步作業(yè)內(nèi)容，系統(tǒng)輸出作業(yè)報告和效率分析。對比傳統(tǒng)的圖片文字內(nèi)容和紙質(zhì)瀏覽方式，通過AR眼鏡進行作業(yè)指導更為直觀、便捷和高效。

采用AR 眼鏡標準作業(yè)流程逐步參考和記錄作業(yè)過程，可以減少裝配的錯誤率。同時記錄的現(xiàn)場標準作業(yè)過程，也可以回傳至廠內(nèi)技術人員進行效率和質(zhì)量分析，幫助其優(yōu)化現(xiàn)場作業(yè)方式。標準作業(yè)流程編輯界面如圖6 所示。作業(yè)效率分析界面如圖7 所示。

圖6 標準作業(yè)流程編輯界面

圖7 作業(yè)效率分析界面

2.2 工程應用案例

2020 年6 月受全球新冠肺炎疫情影響，公司海外儲能項目現(xiàn)場技術服務工作受阻。用戶要求有經(jīng)驗的工程師現(xiàn)場或遠程指導現(xiàn)場安裝調(diào)試工作，同時不影響產(chǎn)品的使用。項目實施對遠程溝通交互的效率和可操作性提出更高要求。海外儲能設備工程技術服務現(xiàn)場如圖8 所示。

圖8 海外儲能設備工程技術服務現(xiàn)場

項目執(zhí)行過程中，現(xiàn)場安裝和技術服務人員通過使用亮亮視野AR 遠程協(xié)作解決方案實現(xiàn)多方的在線視頻溝通，廠內(nèi)售后人員可獲得用戶現(xiàn)場設備狀態(tài)的清晰畫面，并標記指引和確認現(xiàn)場進行安裝調(diào)試作業(yè)。用戶現(xiàn)場根據(jù)指引完成相應的安裝調(diào)試作業(yè)過程，項目得以順利實施投運。

3 結論

AR 遠程協(xié)作解決方案的電力設備工程技術服務管理應用對比傳統(tǒng)遠程溝通方式，現(xiàn)場安裝調(diào)試人員或用戶通過AR 眼鏡的第一視角畫面多方共享和在線作業(yè)指導功能，如同技術人員親臨現(xiàn)場，保證協(xié)作過程的精準和高效；專業(yè)技術人員則可以實現(xiàn)多任務在線指導，實現(xiàn)資源的最大化利用；項目實施過程和問題處理的經(jīng)驗知識可以得到便捷記錄和充分積累，為項目多層面、多維度評估和優(yōu)化提供數(shù)據(jù)基礎；對于危險偏遠地區(qū)的緊急技術問題可快速建立響應，縮短故障修復時間，同時降低現(xiàn)場服務成本，提高用戶體驗。

隨著大數(shù)據(jù)和人工智能技術的不斷演化，機器學習逐漸掌握并分擔人類思考工作，AR 遠程應用將人與人的溝通轉(zhuǎn)為人與機器的溝通，構建完備的知識庫并提升人機交互體驗成為下一階段研究的關鍵。因此，要注重產(chǎn)品數(shù)據(jù)的高效收集和深入挖掘，并關注信息虛擬交互技術的發(fā)展動態(tài)。AR 遠程協(xié)作不只是某一行業(yè)或領域的技術革新，而是人類認知交互技術發(fā)展的又一里程碑。