基于增強(qiáng)現(xiàn)實技術(shù)的電網(wǎng)設(shè)備檢修系統(tǒng)的研制

陳 聞 毛亞飛 朱 毅

（1.湖北華中電力科技開發(fā)有限責(zé)任公司，武漢 430060；2.武漢昱然智能科技有限公司，武漢 430000）

作為人工智能領(lǐng)域的前沿應(yīng)用，增強(qiáng)現(xiàn)實（Augmented Reality，AR）是在用戶觀察到的真實自然環(huán)境中添加計算機(jī)生成的文字、3D模型等信息的技術(shù)[1]。它可以將真實的環(huán)境和虛擬的信息實時地疊加到同一個畫面或空間中，同時存在，被人類感官所感知，擴(kuò)展了人類感官的范圍，從而達(dá)到超越現(xiàn)實的感官體驗。目前，圍繞該技術(shù)的各種應(yīng)用研究正在蓬勃開展，德國寶馬汽車公司利用增強(qiáng)現(xiàn)實技術(shù)開發(fā)了汽車維修輔助系統(tǒng)。英國牛津大學(xué)基于增強(qiáng)現(xiàn)實技術(shù)開發(fā)了示波器使用引導(dǎo)系統(tǒng)[2]。我國的陳靖、王涌天團(tuán)隊也開發(fā)了基于增強(qiáng)現(xiàn)實技術(shù)的圓明園景觀數(shù)字重現(xiàn)系統(tǒng)[3]。增強(qiáng)現(xiàn)實技術(shù)在醫(yī)學(xué)研究、教育培訓(xùn)和文化娛樂等諸多領(lǐng)域已有成功應(yīng)用的實例。

本文以電網(wǎng)配電線路設(shè)備智能化檢修為業(yè)務(wù)切入點，對基于增強(qiáng)現(xiàn)實技術(shù)的配電線路設(shè)備檢修系統(tǒng)進(jìn)行了設(shè)計與研究。該系統(tǒng)依托增強(qiáng)現(xiàn)實技術(shù)，借助智能手機(jī)、AR眼鏡等智能設(shè)備，通過快速響應(yīng)碼（二維碼）及特定圖形識別等技術(shù)，快速識別并顯示變壓器、門禁、桿塔、線路等電力設(shè)備的基礎(chǔ)臺賬、檢修次數(shù)、運(yùn)行狀態(tài)和常用檢修方法等設(shè)備信息，突破了現(xiàn)場檢修人員的感官限度，有效提升電網(wǎng)企業(yè)“輸變配”設(shè)備檢修的智能化程度。

1 研究現(xiàn)狀

目前，國內(nèi)外VR技術(shù)與AR技術(shù)蓬勃發(fā)展，各行各業(yè)對先進(jìn)的VR技術(shù)與AR技術(shù)多有應(yīng)用。AR技術(shù)在視覺上把虛擬世界嵌入現(xiàn)實世界并進(jìn)行互動，可幫助觀察者更全面地了解背景、獲取信息和擴(kuò)充知識，以達(dá)到更深入理解的效果[4]。

在國內(nèi)，有的企業(yè)結(jié)合VR技術(shù)的特點與變電站的仿真培訓(xùn)的需求，開發(fā)了變電站仿真培訓(xùn)軟件。有的企業(yè)基于Querst平臺開發(fā)出了帶作業(yè)VR仿真平臺，這些系統(tǒng)均發(fā)揮了VR虛擬現(xiàn)實的特點，很好地解決了電網(wǎng)培訓(xùn)作業(yè)員工培訓(xùn)成本及安全問題。但這些系統(tǒng)基本都是一種通用化的VR視頻制作平臺，無法對生產(chǎn)或檢修一線的人員提供實時有效的信息支撐，而AR技術(shù)的開發(fā)和利用將有效補(bǔ)充這一方面的不足。

從最早提出增強(qiáng)現(xiàn)實的概念到當(dāng)下的廣泛應(yīng)用已過去了幾十年的時間，如表1所示，目前世界上最大的AR sDK供應(yīng)商及AR設(shè)備供應(yīng)商均在國外，在圖像追蹤與分析、算法效率、算法準(zhǔn)確率和設(shè)備體驗等多方面均領(lǐng)先于國內(nèi)同類型產(chǎn)品。

表1 VR SDK及VR設(shè)備供應(yīng)商

2 關(guān)鍵技術(shù)

本系統(tǒng)的核心功能是能夠通過移動APP和可穿戴設(shè)備實時識別并展現(xiàn)出配電線路設(shè)備的維修記錄、維修方法、出廠信息、設(shè)備拆解、操作手冊以及檢修資料等信息，應(yīng)用的關(guān)鍵技術(shù)有增強(qiáng)現(xiàn)實、三維建模和二維碼識別等技術(shù)。

2.1 增強(qiáng)現(xiàn)實

增強(qiáng)現(xiàn)實就是把虛擬帶進(jìn)現(xiàn)實，利用虛擬來輔助人們更好地認(rèn)識現(xiàn)實、理解現(xiàn)實和利用現(xiàn)實[5]。增強(qiáng)現(xiàn)實具有三大關(guān)鍵技術(shù)：三維注冊，即利用自動跟蹤技術(shù)將虛擬模型和真實物體精確地對準(zhǔn)，解決虛實匹配的問題，其中，虛實遮擋是研究的一個難點；虛實融合顯示，即使虛擬模型和真實世界中的物體共存于用戶的視野中；人機(jī)實時交互，用戶可以與視野中的真實物體和虛擬物體進(jìn)行實時的交互[6-7]。

AR系統(tǒng)的應(yīng)用流程主要由四個環(huán)節(jié)組成：虛擬信息的建立、渲染；真實世界中的跟蹤、定位；虛擬信息的注冊、顯示；實時的人機(jī)交互。虛擬信息的建立和渲染在電網(wǎng)中主要是通過一定的方法來建立電網(wǎng)本體和電網(wǎng)設(shè)備的3D模型[8]。而真實世界中的跟蹤和定位主要包括使用單一姿態(tài)跟蹤器的方法和混合跟蹤技術(shù)[9]。

當(dāng)下較為成熟的AR技術(shù)由微軟掌握，通過Vuforia、ARToolKit等AR-sDK工具開發(fā)后，微軟AR眼鏡Hololens就能夠提供通過攝像頭識別物體、展示相關(guān)數(shù)字信息的功能。合理使用這一特性，就能實現(xiàn)現(xiàn)場檢修人員通過AR眼鏡識別變壓器、門禁、桿塔和線路等電力設(shè)備，在AR眼鏡上通過全息投影的方式實時展現(xiàn)相關(guān)設(shè)備的維修記錄、維修方法、出廠信息、設(shè)備拆解以及操作手冊等信息。

2.2 三維建模

Unity 3D是一個跨平臺的3D應(yīng)用開發(fā)引擎，支持Windows、Mac、iOs和Android等平臺，通過該引擎可以直接發(fā)布網(wǎng)頁3D應(yīng)用、手機(jī)3D應(yīng)用等[10]。Unity 3D是由Unity Technologies開發(fā)的一個讓玩家輕松創(chuàng)建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內(nèi)容的綜合型開發(fā)工具，可用于擴(kuò)增內(nèi)容的實現(xiàn)。擴(kuò)增內(nèi)容是指在真實場景中附加的虛擬內(nèi)容，包括三維模型及動畫、語音、視頻等素材，其中工作量最大的當(dāng)屬三維模型[11]。

本系統(tǒng)使用的建模工具為Pro/E和3Ds Max，可生成高精度的設(shè)備零件三維模型，經(jīng)3Ds Max美化及補(bǔ)充后，最后導(dǎo)入Unity 3D平臺。建好的變壓器模型如圖1所示。

圖1 變壓器模型

如圖2所示，本系統(tǒng)通過Unity3D、Pro/E、3Ds Max等三維建模技術(shù)及AR技術(shù)的綜合運(yùn)用，能使變壓器、門禁、桿塔、線路等電力設(shè)備的拆解、維修過程以二維視圖或三維全息視圖的形式實時再現(xiàn)，對現(xiàn)場檢修人員進(jìn)行有效的同步指導(dǎo)。

圖2 AR現(xiàn)場檢修示例

2.3 二維碼識別

人工標(biāo)識是用攝像頭捕捉到的方便電腦三維跟蹤的標(biāo)志物，可以放在電子產(chǎn)品畫面上顯示，也可以打印成紙質(zhì)版[12]。本系統(tǒng)以二維碼作為人工標(biāo)識，利用軟件系統(tǒng)生成配電線路設(shè)備二維碼，作為電力設(shè)備的唯一標(biāo)識。該標(biāo)識通過數(shù)據(jù)庫技術(shù)關(guān)聯(lián)對應(yīng)設(shè)備的維修記錄、維修方法、出廠信息、設(shè)備拆解、操作手冊以及檢修資料等信息，在工作現(xiàn)場，通過手機(jī)或AR眼鏡的攝像頭掃描設(shè)備二維碼就能夠?qū)崟r展現(xiàn)相關(guān)設(shè)備信息。

3 架構(gòu)設(shè)計

3.1 業(yè)務(wù)架構(gòu)

如圖4所示，設(shè)備信息庫由臺賬信息維護(hù)、巡檢記錄維護(hù)和視頻輔助信息維護(hù)組成。臺賬信息維護(hù)以業(yè)務(wù)系統(tǒng)中相關(guān)數(shù)據(jù)為基礎(chǔ)，支持信息補(bǔ)錄和擴(kuò)展；巡檢記錄維護(hù)用于維護(hù)設(shè)備的巡檢記錄信息；視頻輔助信息維護(hù)用于維護(hù)檢修作業(yè)指南等相關(guān)視頻信息。

圖3 系統(tǒng)功能視圖

圖4 業(yè)務(wù)架構(gòu)圖

信息處理服務(wù)由消息推送、視頻轉(zhuǎn)換、信息查詢、信息加密和3D建模等構(gòu)成。消息推送用于同手機(jī)或可穿戴設(shè)備的通信，實現(xiàn)消息接收和推送；視頻轉(zhuǎn)換，針對部分業(yè)務(wù)場景，制作VR視頻，同時支持部分傳統(tǒng)視頻的VR轉(zhuǎn)換；信息查詢用于支持多維度的信息查詢服務(wù)。信息加密用于實現(xiàn)信息傳輸過程中的加密和脫敏處理；3D建模用于對核心設(shè)備進(jìn)行3D建模仿真；消息日志用于實現(xiàn)操作級系統(tǒng)日志記錄。

信息展現(xiàn)服務(wù)由消息解密、APP客戶端和AR展現(xiàn)組成。消息解密用于對部分信息進(jìn)行解密后展示；APP客戶端用于實現(xiàn)基于Android的客戶端程序，實現(xiàn)設(shè)備掃描和增強(qiáng)現(xiàn)實信息展示；AR展現(xiàn)通過可穿戴設(shè)備，提供增強(qiáng)現(xiàn)實信息服務(wù)。顯示輸出和實時人機(jī)交互的研究中，不同的輸出設(shè)備、不同的人機(jī)交互方式給用戶帶來不同的體驗[13]。

3.2 技術(shù)架構(gòu)

如圖5所示，系統(tǒng)主要分為三個層次，最底層為數(shù)據(jù)層，由關(guān)系型數(shù)據(jù)庫提供支撐，MYsQL為服務(wù)器端數(shù)據(jù)庫，作為主數(shù)據(jù)庫使用；sQLLite為手機(jī)或手持設(shè)備端數(shù)據(jù)緩存，用來提升響應(yīng)速度或支撐離線使用；由于本系統(tǒng)中部分?jǐn)?shù)據(jù)來源于業(yè)務(wù)系統(tǒng)，故需要開發(fā)專門的接口程序進(jìn)行數(shù)據(jù)抽取和同步。中間的服務(wù)層依托底層數(shù)據(jù)庫，通過socket和webservice等通信手段，對終端設(shè)備提供數(shù)據(jù)服務(wù)。系統(tǒng)最上層為終端設(shè)備，由手機(jī)APP或可穿戴設(shè)備（微軟Hololens眼鏡）作為展現(xiàn)端，為用戶提供AR信息輸出。

圖5 技術(shù)架構(gòu)圖

4 技術(shù)難點

目前，基于增強(qiáng)現(xiàn)實的智能穿戴技術(shù)已在消費電子、工業(yè)和醫(yī)療等領(lǐng)域中取得多項創(chuàng)新應(yīng)用，通過引入增強(qiáng)現(xiàn)實技術(shù)，給電網(wǎng)設(shè)備的安裝、運(yùn)行和檢修作業(yè)帶來了新的信息化、智能化解決方案[14]。

微軟Hololens是世界第一款完全無線的全息計算機(jī)，融合了最先進(jìn)的光學(xué)元件和傳感器，能夠?qū)?D全息圖形固定到用戶周圍的真實世界中，使用者能夠通過凝視、手勢和聲音與HoloLens交互。HoloLens可以通過簡單的手勢或語音設(shè)置來完成包括選擇、移動和調(diào)整的操作[15]?；谖④汬oloLens眼鏡的AR開發(fā)是實現(xiàn)本系統(tǒng)功能的技術(shù)難點。

4.1 HoloLens開發(fā)工具

開發(fā)HoloLens全息應(yīng)用將使用UWP平臺（Universal Windows Platform），所有的HoloLens應(yīng)用都是Win10通用應(yīng)用，所有UWP通用應(yīng)用都可以在HoloLens上運(yùn)行。2D應(yīng)用可以使用任何可以開發(fā)UWP應(yīng)用的工具開發(fā)，如用來開發(fā)PC、平板和Windows Phoned通用應(yīng)用的工具。這種應(yīng)用將被表現(xiàn)為2D投影，并且能夠跨設(shè)備運(yùn)行。全息應(yīng)用需要使用基于Windows全息API（Windows Holographic APIs）設(shè)計的工具來開發(fā)。本系統(tǒng)使用Visual studio and the Windows sDK、Windows Device Portal、HoloLens emulator、Unity等工具開發(fā)HoloLens應(yīng)用。

4.2 Vuforia與Hololens的集成

Vuforia是一個能讓應(yīng)用擁有視覺的軟件平臺，Vuforia的關(guān)鍵特性包括對圖片、物體、文本和標(biāo)記的識別和追蹤。Vuforia提供的Unity插件使得開發(fā)者可以使用Unity引擎很容易地創(chuàng)建AR應(yīng)用和游戲，Vuforia插件和Unity標(biāo)準(zhǔn)版以及專業(yè)版都是兼容的。

Vuforia與HoloLens的集成應(yīng)用能將AR體驗應(yīng)用到環(huán)境中的特定圖像和物體，是為HoloLens可以看到的任何物體添加AR體驗的理想解決方案。Vuforia在6.1版本的Unity sDK里實現(xiàn)了對HoloLens的支持，使用Vuforia為HoloLens開發(fā)應(yīng)用，人們需要在Vuforia的ARCamera和場景攝像機(jī)之間建立綁定關(guān)系，同時啟用對Image target的追蹤，確保Vuforia能夠和HoloLens空間映射以及定位追蹤系統(tǒng)一起來正常工作。

本系統(tǒng)通過Vuforia與HoloLens的集成開發(fā)，使HoloLens能夠通過快速響應(yīng)碼（二維碼）或特定圖形識別配電線路設(shè)備檢修現(xiàn)場的變壓器、門禁、桿塔和線路等電力設(shè)備，并通過二維視圖或三維全息視圖的方式實時展現(xiàn)相關(guān)設(shè)備的維修記錄、維修方法、出廠信息、設(shè)備拆解以及操作手冊等信息。

5 結(jié)論

現(xiàn)有的針對現(xiàn)場檢修的移動作業(yè)輔助工具操作復(fù)雜，響應(yīng)速度不夠理想，且信息的展現(xiàn)形式較為單一，大多數(shù)需要在聯(lián)網(wǎng)環(huán)境下使用。本文對基于增強(qiáng)現(xiàn)實技術(shù)的電網(wǎng)設(shè)備檢修系統(tǒng)進(jìn)行了設(shè)計與研究，本系統(tǒng)能夠?qū)⒏婧拓S富的信息以更直觀、更快捷的方式呈現(xiàn)給用戶，借助可穿戴設(shè)備或移動終端，通過“即視”的方式獲取相關(guān)信息，提升設(shè)備識別的速度和巡檢工作的效率；通過AR技術(shù)，利用3D建模，模擬設(shè)備內(nèi)部構(gòu)造，突破現(xiàn)場巡檢人員的感官范圍，為現(xiàn)場作業(yè)提供更為全面和深層次的技術(shù)支撐；能夠利用AR設(shè)備的本地存儲與計算能力，支持?jǐn)嗑W(wǎng)作業(yè)，充分適應(yīng)我國部分偏遠(yuǎn)地區(qū)移動網(wǎng)絡(luò)信號差的現(xiàn)實狀況。