基于AR與ASR的變電運(yùn)檢系統(tǒng)設(shè)計與實(shí)現(xiàn)

梁日才，劉文平，羅海鑫，王曉強(qiáng)

（1.中山市電力工程有限公司，廣東 中山 528455；2.南方電網(wǎng)廣東中山供電局，廣東 中山 528401）

0 引 言

如今社會經(jīng)濟(jì)的發(fā)展更加迅速，工業(yè)生產(chǎn)與日常生活對電力的需求急劇增加，保障電力系統(tǒng)的安全穩(wěn)定運(yùn)行尤為重要。電力系統(tǒng)運(yùn)行中變電系統(tǒng)占據(jù)非常重要的位置，變電設(shè)備在高負(fù)荷運(yùn)轉(zhuǎn)下很容易出現(xiàn)故障，電力企業(yè)需要開展變電設(shè)備定期巡視、維護(hù)、檢修和緊急搶修工作[1,2]。變電消缺工作質(zhì)量對故障處理效率具有直接影響，但目前的變電消缺工作受限于現(xiàn)場運(yùn)行與檢修人員技術(shù)水平，存在工作效率不高以及消缺效果較差等問題，亟需對變電運(yùn)檢工作模式及技術(shù)進(jìn)行優(yōu)化[3-5]。因此，設(shè)計一款變電運(yùn)檢系統(tǒng)，為現(xiàn)場運(yùn)行與檢修人員提供及時高效的專家會診服務(wù)，從而提高變電消缺工作的可視化及智能化水平是十分必要的。

傳統(tǒng)變電運(yùn)檢模式存在以下缺點(diǎn)。

（1）設(shè)備缺陷分析和處理能力不足。變電站設(shè)備多樣，設(shè)備缺陷多且性質(zhì)不同，正常情況下運(yùn)行人員通過簡單的經(jīng)驗(yàn)方法（例如看、聽、嗅等）判斷，同時可以結(jié)合專業(yè)的檢測設(shè)備（紅外測溫儀、局部放電測試儀、SF6氣體檢漏儀等）對變電設(shè)備進(jìn)行運(yùn)維，但是運(yùn)行人員對設(shè)備缺陷表象、等級不清楚，導(dǎo)致誤判情況的發(fā)生，在巡視設(shè)備時不能及時發(fā)現(xiàn)缺陷。

（2）交互效率低。人機(jī)交互方式效率較低，需要現(xiàn)成人員在手持機(jī)上查詢數(shù)據(jù)，無法解放人員雙手?，F(xiàn)有裝備儀器具有體積大、攜裝不便、布線復(fù)雜、操作復(fù)雜、功能單一以及設(shè)備身份與數(shù)據(jù)關(guān)聯(lián)依賴人工等特點(diǎn)。

（3）設(shè)備關(guān)聯(lián)差。常規(guī)運(yùn)檢作業(yè)中，運(yùn)檢設(shè)備量大，設(shè)備身份與后臺運(yùn)檢數(shù)據(jù)關(guān)聯(lián)過程影響了運(yùn)檢工作效率。數(shù)據(jù)交互通過紙質(zhì)記錄，易出錯，相關(guān)信息無法及時便捷獲取。

（4）診斷效率低。變電設(shè)備關(guān)聯(lián)信息無法及時獲取，影響設(shè)備的綜合診斷效率。診斷分析靠人工診斷，專業(yè)要求高，報告編寫會造成大量重復(fù)勞動。

為了解決上述變電運(yùn)檢工作智能化水平低，無法為現(xiàn)場運(yùn)檢人員提高決策性支撐能力的問題，本文基于增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）和自動語音識別（Automatic Speech Recognition，ASR）等技術(shù)設(shè)計了智能云E安全帽，是一款帶智能眼鏡攝像頭及帶網(wǎng)絡(luò)的智能安全帽，具有錄像、本地存儲及夜間照明等功能，搭配云E系列管理軟件（名稱“云E直播”安卓版本）可實(shí)現(xiàn)實(shí)時語音對講（遠(yuǎn)程指導(dǎo)作業(yè)）、直播（協(xié)同作業(yè)）、人員全球定位系統(tǒng)（Global Position System，GPS）定位、環(huán)境溫濕度感應(yīng)、人身安全報警、人臉識別及可視化管理功能。通過使用智能云E安全帽可以實(shí)現(xiàn)高效率、高精度的檢修工作，維持電力系統(tǒng)的最佳運(yùn)行狀態(tài)，從而保證電能的安全與可靠，對工業(yè)生產(chǎn)、居民生活以及各行各業(yè)的穩(wěn)定運(yùn)行具有重要意義。

1 基于AR與ASR的變電運(yùn)檢系統(tǒng)的結(jié)構(gòu)與功能設(shè)計

1.1 組織架構(gòu)

如圖1所示，智能云E安全帽系統(tǒng)結(jié)構(gòu)包括自然交互、功能模塊、系統(tǒng)對接和后臺管理。自然交互采用可視化用戶界面 （User Interface，UI）設(shè)計，將安全帽、手機(jī)、平板以及電腦等終端設(shè)備聯(lián)系起來。功能模塊分為語音交互、按鍵交互和手勢交互3種方式，實(shí)現(xiàn)了實(shí)時直播、通話以及錄制、人員GPS/北斗定位、溫濕度感應(yīng)、安全報警以及人臉識別等功能。系統(tǒng)對接部分采用云/本地服務(wù)器技術(shù)，實(shí)現(xiàn)了遠(yuǎn)程協(xié)同、現(xiàn)場作業(yè)錄像、巡檢信息庫、定位、數(shù)據(jù)庫存盤跟蹤和云數(shù)據(jù)庫等功能。后臺管理包括數(shù)據(jù)管理、任務(wù)管理、系統(tǒng)管理、信息管理、設(shè)備管理以及智能識別6大部分，后臺管理可以使所有的工作任務(wù)都能統(tǒng)一且高效的管理。

1.2 硬件及配置

如圖2所示，智能云E安全帽硬件由近電預(yù)警模塊、主機(jī)按鈕、前照明燈、電源、攝像頭、接口、AR光學(xué)屏以及溫濕度傳感器等組成。其中近電預(yù)警有5個檔位（220 kV報警距離4.5～6 m、110 kV報警距離2.5～4 m、35 kV報警距離1.5～2.5 m、10 kV報警距離1.2～1.8 m、220 V報警距離0.6～1 m），分別對應(yīng)不同的電壓等級，并且通過蜂鳴器進(jìn)行提醒警示；主機(jī)按鈕包括開關(guān)機(jī)按鈕、電源指示燈和自定義功能按鈕，作業(yè)人員通過操作主機(jī)按鈕實(shí)現(xiàn)設(shè)備開關(guān)機(jī)；前照明燈作用是為作業(yè)人員提供照明和攝像頭補(bǔ)光；電源采用可更換鋰電池設(shè)計，為裝置提供工作電源；攝像頭采用1 300萬像素攝像頭，供作業(yè)人員拍照、錄像、視頻時使用；裝置提供USB、藍(lán)牙、Wi-Fi、3.5 mm音頻接口，方便作業(yè)人員使用；AR光學(xué)屏可以波導(dǎo)近眼顯示作業(yè)人員需要的資料，例如作業(yè)指導(dǎo)書、圖紙、廠家資料、歷史缺陷信息等；溫濕度傳感器可以實(shí)時監(jiān)測作業(yè)環(huán)境的溫濕度值，異常時及時提醒。

圖2 智能云E安全帽組成配件

1.3 功能設(shè)計

智能云E安全帽可實(shí)現(xiàn)智能芯片、高清攝像、發(fā)光二極管（Light-Emitting Diode，LED）照明、數(shù)據(jù)儲存、人臉識別、直播語音通話、定位、溫濕度感應(yīng)以及安全守護(hù)等功能。

1.3.1 直播語音通話

在巡視維護(hù)工作中，運(yùn)行人員發(fā)現(xiàn)設(shè)備缺陷時，通過智能云E安全帽與遠(yuǎn)方專家進(jìn)行直播、語音通話，指導(dǎo)現(xiàn)場人員查找缺陷原因。在檢修工作中，檢修人員通過直播與遠(yuǎn)方專家建立聯(lián)系，將檢修第一視角展示給專家，從而實(shí)現(xiàn)專家遠(yuǎn)程會診，協(xié)助現(xiàn)場作業(yè)人員進(jìn)行消缺工作。當(dāng)現(xiàn)場工作遇到難以解決的問題時，專家能以最快的速度參與現(xiàn)場工作，通過本功能將專家的能力和作用發(fā)揮到極致。專家不用親臨現(xiàn)場，即可通過設(shè)備獲取到所有現(xiàn)場信息，省去流程審批和花費(fèi)在路途上的時間，智能云E安全帽直播現(xiàn)場展示如圖3所示。

圖3 智能云E安全帽直播現(xiàn)場展示

1.3.2 智能芯片

設(shè)備通過采用高端智能芯片實(shí)現(xiàn)了高效智能連接，包括AR集成高速處理器、AR光學(xué)屏、4G/5G無線通信模塊等。智能芯片集成了AR和ASR的功能，當(dāng)運(yùn)行人員和檢修人員在現(xiàn)場需要查詢資料時，只需要用語音喚醒設(shè)備，將所需用語音的形式傳達(dá)給設(shè)備，設(shè)備就會將相應(yīng)的資料和圖紙通過AR顯示屏呈現(xiàn)到檢修人員的眼前，從而在檢修工作中釋放了雙手，而且調(diào)取資料的速度也有一定程度的提升。

1.3.3 高清攝像

設(shè)備采用大視角21°攝像頭，能捕捉更多畫面，采用百萬級像素攝像頭成像更清晰，可以實(shí)現(xiàn)視頻實(shí)時連接、高保真語音在線通話、后方遠(yuǎn)程觀看實(shí)時指導(dǎo)作業(yè)等功能，變電消缺工作更加高效便捷。

1.3.4 人臉識別

作業(yè)人員佩戴安全帽前，通過攝像頭拍照上傳至后臺，將人臉信息與數(shù)據(jù)庫中的人臉信息進(jìn)行對比，分析面部特征，判斷是否為同一人，更便捷地進(jìn)行人員管理。現(xiàn)場人臉識別還能快速查看人員信息，如圖4所示。

圖4 智能云E安全帽人臉識別功能展示

1.3.5 數(shù)據(jù)儲存

作業(yè)人員佩戴智能云E安全帽，可以通過主機(jī)按鈕或者AR全息成像界面虛擬按鍵實(shí)現(xiàn)靈活存儲，本地存儲圖片、視頻和語音數(shù)據(jù)或上傳到App中，也可選擇直接上傳到云服務(wù)器。

1.3.6 溫濕度感應(yīng)及安全守護(hù)

溫濕度傳感器通過作業(yè)環(huán)境溫濕度感應(yīng)，及時發(fā)現(xiàn)作業(yè)現(xiàn)場的高溫或其他危險，并通過安全帽及時報警，安全守護(hù)每一位作業(yè)人員，做到防范于未然。通過GPS/北斗芯片可實(shí)時定位標(biāo)記作業(yè)人員位置。當(dāng)作業(yè)人員靠近帶電設(shè)備超過安全距離時近電告警模塊及時報警。

2 系統(tǒng)關(guān)鍵技術(shù)

2.1 人工智能技術(shù)

本文所設(shè)計的智能云E安全帽采用先進(jìn)的人工智能技術(shù)（深度學(xué)習(xí)、語音識別、圖像識別等），將多種應(yīng)用都變得更智能?！吧疃葘W(xué)習(xí)”技術(shù)可以進(jìn)行計算和學(xué)習(xí)，讓計算機(jī)模擬人類的認(rèn)知過程，從經(jīng)驗(yàn)中學(xué)習(xí)（也就是所謂的直覺）[6]。深度學(xué)習(xí)通過計算機(jī)層次化的概念體系來理解世界，每個概念通過與某些相對簡單的概念之間的關(guān)系來定義（構(gòu)建較簡單的概念來學(xué)習(xí)復(fù)雜概念），“深”（層次很多）的圖是描述這些概念如何構(gòu)建和彼此上面的關(guān)系圖。

主流深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、遞歸神經(jīng)網(wǎng)絡(luò)、自編碼器（Autoencoder）和生成式對抗網(wǎng)絡(luò)（Generative Adversarial Nerwork，GAN）[7,8]。

循環(huán)神經(jīng)網(wǎng)絡(luò)在時間上展開，處理序列結(jié)構(gòu)的信息，模型結(jié)構(gòu)如圖5所示。

圖5 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

遞歸神經(jīng)網(wǎng)絡(luò)在空間上的展開，處理樹狀結(jié)構(gòu)的信息，模型結(jié)構(gòu)如圖6所示。

圖6 遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文主要采用循環(huán)神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)智能語音識別，而采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)智能圖像識別。循環(huán)神經(jīng)網(wǎng)絡(luò)通過處理序列數(shù)據(jù)，能高效學(xué)習(xí)序列的非線性特征。它能夠擴(kuò)展到更長的序列中（比不基于序列的特化網(wǎng)絡(luò)長得多），而大多數(shù)循環(huán)神經(jīng)網(wǎng)絡(luò)也能夠處理不同長度的序列。遞歸神經(jīng)網(wǎng)絡(luò)通常采用比結(jié)構(gòu)更深的樹狀結(jié)構(gòu)，而不是循環(huán)神經(jīng)網(wǎng)絡(luò)的鏈條性構(gòu)造，是不同種類的計算圖。遞歸神經(jīng)網(wǎng)絡(luò)的每個父節(jié)點(diǎn)都只和某個母節(jié)點(diǎn)相連時，此架構(gòu)就等價于全連接的循環(huán)神經(jīng)網(wǎng)絡(luò)。從遞歸神經(jīng)網(wǎng)絡(luò)中可以學(xué)習(xí)推論，已相當(dāng)成熟地運(yùn)用在所有輸入都是數(shù)據(jù)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，例如自然語言處理和計算機(jī)視覺。

2.2 云計算、云存儲、云安全技術(shù)

云計算技術(shù)通過把大規(guī)模的信息運(yùn)算程序劃分成許多小程序，然后通過使用由多臺服務(wù)器構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)進(jìn)行數(shù)據(jù)處理，最后通過這些小程序得出結(jié)論并反饋給客戶，從而能夠在最短的時間內(nèi)（幾秒鐘）實(shí)現(xiàn)對成千上萬信息資源的有效管理。

云存儲技術(shù)通過利用集群技術(shù)、網(wǎng)格技術(shù)或分布式文件系統(tǒng)，把電網(wǎng)體系中各種不同形式的數(shù)據(jù)資源和應(yīng)用技術(shù)集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存取和服務(wù)使用，既可保證數(shù)據(jù)的安全，又可節(jié)省空間。作業(yè)人員可以通過連網(wǎng)的裝置連接到云端方便地存取數(shù)據(jù)。

云安全技術(shù)通過融合并行處理技術(shù)、網(wǎng)格計算技術(shù)、未知病毒行為判斷技術(shù)等，將網(wǎng)狀的大量設(shè)備對網(wǎng)絡(luò)中軟件行為進(jìn)行異常監(jiān)測，通過網(wǎng)絡(luò)獲取最新的木馬、惡意程序，并傳輸?shù)椒?wù)器進(jìn)行自動分析和處理，再把病毒和木馬的解決方案分發(fā)到每一個設(shè)備。

2.3 AR顯示技術(shù)

AR技術(shù)不僅展示了作業(yè)現(xiàn)場的信息，同時根據(jù)作業(yè)人員的需求展示相關(guān)信息，使得兩種信息相互補(bǔ)充，增強(qiáng)了作業(yè)人員對真實(shí)環(huán)境的感知。AR技術(shù)具有實(shí)時交互性、信息化集成度高、三維空間中定位虛擬物體的特點(diǎn)。智能云E安全帽用AR圖形顯示與觀察設(shè)備，通過實(shí)時計算攝影機(jī)影像位置及角度并加上相應(yīng)圖像的技術(shù)，在棱鏡上把虛擬場景結(jié)合在現(xiàn)實(shí)場景中進(jìn)行互動[9,10]。人機(jī)互動方式分為判斷三維空間點(diǎn)位置、人為命令、硬件設(shè)備和手勢交互，通過智能語音可以實(shí)現(xiàn)自動識別作業(yè)人員指令的功能，完成語音搜索、AR展示畫面翻頁、拍照、錄像等工作。通過安全帽上的按鍵可以實(shí)現(xiàn)裝置開關(guān)機(jī)、翻頁、聲音調(diào)節(jié)、拍照以及錄像等功能。通過AR顯示屏上的虛擬按鍵可以實(shí)現(xiàn)裝置翻頁、聲音調(diào)節(jié)、拍照、錄像等功能。

3 應(yīng)用實(shí)例

本文研制的智能云E安全帽已應(yīng)用于變電站運(yùn)檢工作，共設(shè)計有3套設(shè)備，分別配置給運(yùn)行、繼保、檢修班組。通過高清攝像視頻實(shí)時與后臺專家連接，后方遠(yuǎn)程觀看實(shí)時語音指導(dǎo)作業(yè)。作業(yè)人員通過該系統(tǒng)可以與后臺專家同步視頻會診，提高了作業(yè)效率。通過后臺監(jiān)控系統(tǒng)與作業(yè)現(xiàn)場進(jìn)行實(shí)時交互、數(shù)據(jù)儲存、功能設(shè)置、人員定位、場景展示和數(shù)據(jù)收集，通過大數(shù)據(jù)分析為每位現(xiàn)場作業(yè)人員保駕護(hù)航，消除安全隱患。

運(yùn)行人員佩戴智能云E安全帽進(jìn)行日常巡視工作時，攝像頭實(shí)時拍攝設(shè)備，通過圖像識別掃描設(shè)備缺陷等級，例如滲漏油、套管裂紋、油位低、SF6壓力低等。通過錄設(shè)備異常音與缺陷數(shù)據(jù)庫比對，及時發(fā)現(xiàn)設(shè)備缺陷，例如主變、電容、開關(guān)柜異響。運(yùn)行人員發(fā)現(xiàn)缺陷時，根據(jù)需要在AR顯示屏上顯示設(shè)備廠家資料、歷史缺陷信息、設(shè)備圖紙，通過與后臺專家視頻互動，指導(dǎo)作業(yè)人員查找缺陷原因。通過識別信息搜索備品備件庫，按作業(yè)人員需求拍攝設(shè)備銘牌和錄像。在操作過程中佩戴智能云E安全帽提示運(yùn)行人員操作步驟，通過監(jiān)護(hù)人員的操作指令、操作票內(nèi)容與現(xiàn)場設(shè)備雙編信息對比，及時制止操作人員的漏項(xiàng)、跳項(xiàng)、越項(xiàng)操作行為。

繼保人員佩戴智能云E安全帽通過AR顯示屏掃描保護(hù)測控裝置標(biāo)簽或圖像，根據(jù)作業(yè)人員按鍵、手勢或語音指令展示設(shè)備的廠家資料、運(yùn)維檢修臺賬、現(xiàn)場設(shè)備信息以及設(shè)備圖紙信息。在AR顯示屏顯示巡視作業(yè)表單指導(dǎo)繼保人員二次巡視工作。在缺陷處理過程中根據(jù)需要啟動遠(yuǎn)程專家功能，獲取遠(yuǎn)程專家的實(shí)時技術(shù)支持，也可根據(jù)AR 二次設(shè)備檢修工作流程提示依次進(jìn)行設(shè)備檢修直至該次工作任務(wù)結(jié)束。

以變電站10 kV開關(guān)輔助接點(diǎn)損壞缺陷為例，描述變檢消缺過程。檢修人員佩戴智能云E安全帽，通過智能語音查詢該項(xiàng)工作的作業(yè)指導(dǎo)書，通過AR顯示屏呈現(xiàn)到檢修人員的眼前，按照內(nèi)容進(jìn)行消缺工作，通過攝像頭將消缺過程實(shí)時與遠(yuǎn)程專家共享，后臺專家遠(yuǎn)程指導(dǎo)。查找故障時，通過智能語音查詢該項(xiàng)工作所需的圖紙資料，然后根據(jù)圖紙查找回路故障，發(fā)現(xiàn)故障點(diǎn)時通過智能語音喚醒拍照或錄像功能，記錄故障位置，消缺完畢時拍照上傳系統(tǒng)，自動記錄消缺過程。

4 結(jié) 論

基于AR和ASR的交互式變電運(yùn)檢系統(tǒng)通過使用人工智能技術(shù)、云計算、云存儲、云安全技術(shù)和AR顯示技術(shù)等，實(shí)現(xiàn)了智能芯片、高清攝像、LED照明、本地儲存、人臉識別、直播語音通話、GPS定位、溫濕度感應(yīng)以及安全守護(hù)等功能，解決了變電運(yùn)檢工作存在的交互效率低、設(shè)備關(guān)聯(lián)差以及診斷效率低等痛點(diǎn)。總的來說，本系統(tǒng)既提高了變電運(yùn)檢人員的工作效率，也保障了運(yùn)檢工作的安全，對電網(wǎng)穩(wěn)定運(yùn)行有重要意義。