基于增強(qiáng)現(xiàn)實(shí)技術(shù)的計(jì)量運(yùn)檢智能輔助系統(tǒng)

丁超，張秋雁，王懿，李航峰，歐家祥，張昌翔

（1.貴州電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，貴陽 550002； 2.貴州電網(wǎng)有限責(zé)任興義興仁供電局，興仁 562300；3.貴州電網(wǎng)有限責(zé)任都勻供電局，都勻 558000）

引言

目前貴州已投運(yùn)的上百座智能（數(shù)字化）變電站，數(shù)字化變電站的計(jì)量系統(tǒng)相對于傳統(tǒng)變電站，設(shè)備及運(yùn)檢維護(hù)工作已經(jīng)發(fā)生較大變化。計(jì)量專業(yè)人員也面臨諸多的運(yùn)檢新挑戰(zhàn)，包括計(jì)量設(shè)備的種類多、更新快等；并且運(yùn)檢專家數(shù)量有限，無法較好提供現(xiàn)場協(xié)助，不能及時(shí)消除設(shè)備隱患[1-3]。

針對數(shù)字化變電站存在的計(jì)量設(shè)備運(yùn)檢問題，需要采用智能運(yùn)檢技術(shù)輔助計(jì)量人員完成以往難以完成的工作，提高數(shù)字化變電站計(jì)量巡檢效率。

增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality，簡稱AR）將虛擬化的數(shù)字信息更直觀的展現(xiàn)在使用者的眼前，相較于書籍或是電子平板等顯示方式，無需工作人員時(shí)刻用手拿好顯示載體，更易于使用者雙手操作，并且可以隨時(shí)隨地查看各種運(yùn)檢設(shè)備的輔助信息[4,5]。通過對計(jì)量設(shè)備的圖像識(shí)別，可以自動(dòng)識(shí)別計(jì)量設(shè)備的故障。加之以智能分析系統(tǒng)的指導(dǎo)，可使專業(yè)水平較低的工作人員可以完成數(shù)字化變電站計(jì)量設(shè)備的運(yùn)檢。將工作任務(wù)處理流程、處理結(jié)果、現(xiàn)場與后臺(tái)實(shí)時(shí)互動(dòng)等全流程管控機(jī)制緊密結(jié)合，建設(shè)完善的運(yùn)維閉環(huán)管理，形成知識(shí)收集、知識(shí)形成、知識(shí)共享、知識(shí)應(yīng)用為一體的智能分析系統(tǒng)管理體系，為數(shù)字化變電站運(yùn)檢閉環(huán)管理的故障消缺提供技術(shù)支撐，提高故障診斷及修復(fù)能力，規(guī)范現(xiàn)場作業(yè)，集成地點(diǎn)定位導(dǎo)航、電子工單遠(yuǎn)程處理提交、現(xiàn)場故障診斷修復(fù)作業(yè)指導(dǎo)，實(shí)現(xiàn)現(xiàn)場作業(yè)流程的標(biāo)準(zhǔn)化，降低現(xiàn)場工作人員的技術(shù)依賴和工作量，提升人員工作效率和作業(yè)自動(dòng)化和安全水平[6]。

1 智能運(yùn)檢系統(tǒng)整體結(jié)構(gòu)

1.1 智能運(yùn)檢系統(tǒng)

基于AR技術(shù)，本文研發(fā)了新型變電站計(jì)量運(yùn)檢智能輔助系統(tǒng)，如圖1所示，構(gòu)建適配運(yùn)檢場景中增強(qiáng)現(xiàn)實(shí)技術(shù)和應(yīng)用，主要技術(shù)包括：

1）實(shí)現(xiàn)AR終端與遠(yuǎn)方web平臺(tái)的數(shù)據(jù)傳輸。

2）圖像識(shí)別引擎的訓(xùn)練和開發(fā)。

3）智能分析系統(tǒng)的開發(fā)?，F(xiàn)場與運(yùn)檢技術(shù)專家的在線會(huì)商，實(shí)現(xiàn)運(yùn)檢的可視化、智能化和流程標(biāo)準(zhǔn)化；開展快速檢索技術(shù)研究，研究支持多種格式文件的索引與檢索技術(shù)，對檢索結(jié)果進(jìn)行整合和優(yōu)化。

4）AR應(yīng)用與后臺(tái)接口的開發(fā)。

1.2 平臺(tái)架構(gòu)

該項(xiàng)目智能運(yùn)維系統(tǒng)具體包括:智能分析系統(tǒng)平臺(tái)、圖像深度學(xué)習(xí)庫、云平臺(tái)運(yùn)維、Web后臺(tái)系統(tǒng)、AR運(yùn)維終端、運(yùn)維APP等一整套產(chǎn)品，其架構(gòu)圖如圖2所示。

運(yùn)維終端與AR眼鏡相配合將設(shè)備拍攝的圖片和視頻上傳，或者將接受的語音指令上傳到后臺(tái)。后臺(tái)圖像處理或語音識(shí)別到關(guān)鍵字后，從OSS上將存儲(chǔ)的解決方案視頻，圖像等資料下載再回傳到運(yùn)維終端，經(jīng)由AR眼鏡顯示來指導(dǎo)操作員完成設(shè)備維護(hù)任務(wù)。

云平臺(tái)部署涉及ECS（帶GPU的云服務(wù)器）、RDS（云數(shù)據(jù)庫）、OSS（云存儲(chǔ)空間）、CDN（內(nèi)容分發(fā)加速）或者SCDN（帶有防火墻機(jī)制的CDN）等部件，同時(shí)需要配套云安全中心給ECS加上防護(hù)，具體組件擔(dān)任的任務(wù)如下：

圖1 智能運(yùn)檢系統(tǒng)結(jié)構(gòu)

圖2 智能運(yùn)檢平臺(tái)架構(gòu)圖

1）云服務(wù)器ECS上完成圖像深度訓(xùn)練和學(xué)習(xí)，深度學(xué)習(xí)庫存放ECS數(shù)據(jù)盤；

2）云存儲(chǔ)OSS存儲(chǔ)計(jì)量設(shè)備的各種故障解決方案視頻等電子資料；

3）OSS可以設(shè)置推流地址及有效期，主動(dòng)推流給CDN；

4）CDN內(nèi)容分發(fā)加速服務(wù)，用于滿足大量運(yùn)維終端APP/AR等客戶端視頻、音頻、圖像等高并發(fā)數(shù)據(jù)的訪問。

2 智能分析系統(tǒng)的構(gòu)成

智能分析系統(tǒng)是一個(gè)具有大量的專門知識(shí)與經(jīng)驗(yàn)的程序系統(tǒng)，它應(yīng)用人工智能技術(shù)和計(jì)算機(jī)技術(shù)，根據(jù)某領(lǐng)域一個(gè)或多個(gè)專家提供的知識(shí)和經(jīng)驗(yàn)，進(jìn)行推理和判斷，模擬人類專家的決策過程，以便解決復(fù)雜問題[8]。

智能分析系統(tǒng)通常由人機(jī)交互界面、知識(shí)庫、推理機(jī)、解釋器、綜合數(shù)據(jù)庫、知識(shí)獲取等部分構(gòu)成[7]，如圖3所示。

為了使計(jì)算機(jī)能運(yùn)用專家的領(lǐng)域知識(shí)來解決問題，必須要采用一定的方式表示這些知識(shí)，讓計(jì)算機(jī)能夠恰當(dāng)?shù)靥幚韥淼玫轿覀兿胍慕Y(jié)果。目前常用的知識(shí)表示方式有產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)、框架、狀態(tài)空間、邏輯模式、腳本、過程、面向?qū)ο蟮?，而基于?guī)則的產(chǎn)生式系統(tǒng)是目前實(shí)現(xiàn)知識(shí)運(yùn)用最基本的方法[8,9]。

基于規(guī)則的智能分析系統(tǒng)一般由綜合數(shù)據(jù)庫、智能分析系統(tǒng)和推理機(jī)3個(gè)主要部分組成[10]：

1）綜合數(shù)據(jù)庫

綜合數(shù)據(jù)庫專門用于存儲(chǔ)推理過程中所需的原始數(shù)據(jù)、中間結(jié)果和最終結(jié)論，往往是作為暫時(shí)的存儲(chǔ)區(qū)。它包含了求解問題的世界范圍內(nèi)的事實(shí)和斷言，其中每一組事實(shí)都與智能分析系統(tǒng)中的IF（條件）一一匹配。

2）知識(shí)庫

知識(shí)庫主要包含了專家用于解決相關(guān)問題的領(lǐng)域知識(shí)。其問題求解過程是通過知識(shí)庫中的知識(shí)來模擬專家的思維方式的，因此，知識(shí)庫是智能分析系統(tǒng)質(zhì)量是否優(yōu)秀的重要判斷依據(jù)，即知識(shí)庫中知識(shí)的質(zhì)量和數(shù)量決定著該系統(tǒng)的智能水平。智能分析系統(tǒng)中的知識(shí)庫與程序是彼此分開的，用戶可以通過改變、完善知識(shí)庫中的具體規(guī)則來提高智能分析系統(tǒng)的性能。在基于規(guī)則的智能分析系統(tǒng)中，知識(shí)普遍采用IF（條件）...THEN（行為）...的規(guī)則來表達(dá)，當(dāng)規(guī)則的條件被滿足時(shí)，就會(huì)觸發(fā)規(guī)則，繼而執(zhí)行后面的行為。同時(shí)條件與結(jié)論均可以通過邏輯運(yùn)算AND、OR、NOT進(jìn)行復(fù)合。

3）推理機(jī)

推理引擎鏈接著智能分析系統(tǒng)中的規(guī)則和數(shù)據(jù)庫中的事例。推理機(jī)針對當(dāng)前問題的條件或已知信息，反復(fù)匹配知識(shí)庫中的規(guī)則，獲得新的結(jié)論，以得到問題求解結(jié)果。以下闡述兩種推理方式，分為正向和反向推理兩種[11]。

正向鏈的策略是尋找出一些規(guī)則，他的前提條件能夠與數(shù)據(jù)庫中的事例或斷言相匹配，并運(yùn)用矛盾的處理策略，從待選的規(guī)則中提取出最優(yōu)的一個(gè)執(zhí)行，從而更新數(shù)據(jù)庫的內(nèi)容。這樣反復(fù)地進(jìn)行尋找，直到數(shù)據(jù)庫的事例與目標(biāo)相同即找到解決方案，或者直到?jīng)]有規(guī)則可以與之比對成功時(shí)才停止。

逆向鏈的策略是從確定的目標(biāo)出發(fā)，尋找執(zhí)行結(jié)果可以達(dá)到目標(biāo)的規(guī)則；如果這條規(guī)則的前提與數(shù)據(jù)庫中的事例相比對，問題就得到解決；否則把這條規(guī)則的前提作為新的小目標(biāo)，并對新的小目標(biāo)尋找可以運(yùn)用的規(guī)則，并執(zhí)行反向隊(duì)列的前提，直到最后運(yùn)用的規(guī)則的前提可以與數(shù)據(jù)庫中的事相比對，或者直到?jīng)]有規(guī)則再可以應(yīng)用時(shí)，系統(tǒng)便以交互對答的方式請求用戶回答并輸入必要的事例。

圖3 智能分析系統(tǒng)結(jié)構(gòu)圖

由此可見，推理機(jī)就如同專家解決問題的思維方式，知識(shí)庫就是通過推理機(jī)來實(shí)現(xiàn)其價(jià)值的。

3 智能分析系統(tǒng)的建立

智能分析系統(tǒng)的建立有知識(shí)圖譜、故障樹等多種方式方法[12]。根據(jù)電力設(shè)備運(yùn)維作業(yè)的標(biāo)準(zhǔn)化及安全性要求，本文建立數(shù)字化變電站計(jì)量終端SOP標(biāo)準(zhǔn)化的智能分析系統(tǒng)。

該智能分析系統(tǒng)首先通過對智能分析系統(tǒng)進(jìn)行分類管理，建立運(yùn)維知識(shí)收集體系。之后再通過知識(shí)收集整理和優(yōu)化，形成知識(shí)收集、知識(shí)入庫、知識(shí)共享、知識(shí)應(yīng)用、知識(shí)更新為一體的智能分析系統(tǒng)管理體系。最后通過人工智能、仿真視覺和語音識(shí)別技術(shù)分析故障現(xiàn)象與智能分析系統(tǒng)的相關(guān)性，實(shí)現(xiàn)專家知識(shí)管理的閉環(huán)操作流程。

為了更好地管理文件資源，將數(shù)字化變電站計(jì)量設(shè)備的運(yùn)檢標(biāo)準(zhǔn)化作業(yè)手冊或者長期運(yùn)維積累的經(jīng)驗(yàn)，做成電子資料，建立索引，形成SOP的標(biāo)準(zhǔn)化庫，以便于對每個(gè)設(shè)備的各種故障代碼的智能分析系統(tǒng)資料做好建立、更新、維護(hù)工作。

同時(shí)用戶可以通過運(yùn)維終端與AR運(yùn)維設(shè)備，語音或文字輸入的方式提供關(guān)鍵字等信息，根據(jù)規(guī)則庫，推理出故障代碼及相應(yīng)解決方案。設(shè)備的每一個(gè)故障代碼對應(yīng)的運(yùn)維知識(shí)進(jìn)行增、刪、改，并對改動(dòng)進(jìn)行相應(yīng)的審核，同時(shí)云存儲(chǔ)OSS上也會(huì)存儲(chǔ)相應(yīng)知識(shí)數(shù)據(jù)素材（圖像、視頻、音頻）等。

設(shè)計(jì)推理機(jī)時(shí)，應(yīng)使其推理過程和專家的推理過程相類似，最好是完全一致。故障排查是以計(jì)量設(shè)備的故障結(jié)果為輸入，推測設(shè)備的故障原因，因此需采用反向推理的機(jī)制。即先提出結(jié)論假設(shè)，然后尋找支持這個(gè)結(jié)論的證據(jù)。若證據(jù)不足，重新提出新假設(shè)，再重復(fù)上述過程，直到得出答案為止。這種由結(jié)論到數(shù)據(jù)的策略，稱之為目標(biāo)驅(qū)動(dòng)或由頂向下策略，具體過程如圖4所示。

同時(shí)為了增強(qiáng)智能分析系統(tǒng)的靈活性，當(dāng)存儲(chǔ)的故障運(yùn)維智能分析系統(tǒng)數(shù)據(jù)需要更新時(shí), 系統(tǒng)會(huì)在AR應(yīng)用WIFI在線時(shí)，及時(shí)地提醒用戶進(jìn)行下載更新到AR應(yīng)用客戶端本地。

4 系統(tǒng)組件間的通信與數(shù)據(jù)傳輸

4.1 運(yùn)維終端與后臺(tái)間的圖片傳輸

運(yùn)維終端配合AR眼鏡將設(shè)備圖片和視頻上傳，或語音輸入上傳后臺(tái)，后臺(tái)圖像處理或語音識(shí)別到關(guān)鍵字后，從OSS上將存儲(chǔ)的解決方案視頻，圖像等資料，通過CDN分發(fā)給APP/AR，如圖5所示。

當(dāng)運(yùn)維終端向后臺(tái)請求一個(gè)圖片時(shí)，后臺(tái)僅提供一個(gè)URL地址，然后運(yùn)維終端會(huì)按照該地址找到所需圖片資源的位置下載下來；當(dāng)運(yùn)維終端請求后臺(tái)一個(gè)視頻時(shí)，如果請求的是固定的視頻文件，一般不需要分包，后臺(tái)也是僅提供一個(gè)URL地址，交給運(yùn)維終端自己下載；如果是實(shí)時(shí)直播，就需要后臺(tái)搭建轉(zhuǎn)碼服務(wù), 做流視頻處理，以確保圖像清晰無延遲。

圖4 改進(jìn)算法的故障識(shí)別訓(xùn)練過程

終端發(fā)送網(wǎng)絡(luò)請求，主要涉及后臺(tái)菜單界面、操作系統(tǒng)中網(wǎng)絡(luò)模塊的相關(guān)處理。URL的合法性和對應(yīng)匹配協(xié)議的檢查、分析都交由后臺(tái)進(jìn)行HTTP協(xié)議或最新的HTTPS協(xié)議處理；如果URL合法，就會(huì)分辨URL中主機(jī)是一個(gè)域名還是一個(gè)IP；如果是一個(gè)域名，會(huì)查看系統(tǒng)本地的HOSTS文件是否具有相應(yīng)的配置，對于沒有的主機(jī)會(huì)啟用DNS查找域名對應(yīng)的IP。相反，如果是IP則會(huì)直接發(fā)送請求；發(fā)送出請求，后臺(tái)的工作將會(huì)進(jìn)入中斷，網(wǎng)絡(luò)請求交由操作系統(tǒng)處理。值得注意的是，如果是新接入的AR運(yùn)維終端或者局域網(wǎng)的故障剛好修復(fù)，后臺(tái)能夠啟用ARP協(xié)議獲取到邊界路由的MAC地址，這樣便于將數(shù)據(jù)包交給路由器，再轉(zhuǎn)發(fā)到外網(wǎng)。處理網(wǎng)絡(luò)響應(yīng)與渲染時(shí)，這是傳統(tǒng)前端工程師必須掌握的知識(shí)，資源型的網(wǎng)絡(luò)響應(yīng)后臺(tái)會(huì)智能地處理下載事宜。

當(dāng)運(yùn)維終端的客戶端向后臺(tái)請求的資源是一個(gè)圖片、視頻等固定文件時(shí)，需要先開啟http端口，才能讓客戶端自動(dòng)下載，因?yàn)檫\(yùn)維終端客戶端是基于http協(xié)議的文件下載庫包完成文件下載的。

4.2 AR眼鏡與圖像識(shí)別引擎的通信

AR眼鏡先對設(shè)備拍照N張后上傳至OSS存儲(chǔ),待全部上傳完后通知后臺(tái)接口。返回后臺(tái)的信息包括本次圖片數(shù)量N、順序圖片的OSS路徑信息、本次檢測類別dist_type等信息。

在后臺(tái)接口收到運(yùn)維終端的通知后,調(diào)用檢測任務(wù)檢測分析對應(yīng)任務(wù)，具體流程如圖6所示。運(yùn)維終端根據(jù)返回值，在運(yùn)維終端本地素材庫里解析相應(yīng)設(shè)備種類的相應(yīng)故障代碼。并且根據(jù)相應(yīng)廠家的文件夾下的引導(dǎo)執(zhí)行文件，進(jìn)行向?qū)降闹笇?dǎo)和流程跳轉(zhuǎn)。若本地沒有素材儲(chǔ)存，則需要去云端下載更新到本地。

5 智能分析系統(tǒng)的更新與維護(hù)

智能分析系統(tǒng)庫建立后應(yīng)設(shè)置定時(shí)更新，保證能夠通過不斷積累經(jīng)驗(yàn)，充實(shí)知識(shí)庫，提高整個(gè)分析系統(tǒng)的智能程度。為提升知識(shí)入庫的有效性，知識(shí)的更新需要人工審核流程，具體過程如下所示。

1）知識(shí)收集階段：智能分析系統(tǒng)運(yùn)維人員進(jìn)入智能分析系統(tǒng)管理進(jìn)行知識(shí)提交。具體的知識(shí)提交規(guī)則可預(yù)先設(shè)置，也可為某一特殊情況提供入庫的綠色通道，提高該類知識(shí)的庫量。

2）知識(shí)評審階段：知識(shí)提交后，經(jīng)由分析系統(tǒng)自身的規(guī)則校驗(yàn)運(yùn)算，判斷是否與現(xiàn)有的知識(shí)沖突。在確認(rèn)邏輯上無誤后，再由技術(shù)專家委員進(jìn)行審核。若評審結(jié)果不通過，則該知識(shí)銷毀或存入備用庫等待修改入庫。

3）知識(shí)審批階段：審核通過后，由智能分析系統(tǒng)管理人員對知識(shí)進(jìn)行審批，并留下相應(yīng)的日志，為以后的知識(shí)審批和事故查詢提供參考和依據(jù)。若不通過，同樣不允許發(fā)布，重新回到第一階段繼續(xù)完善知識(shí)。

圖5 圖片等數(shù)據(jù)傳輸過程

圖6 檢測任務(wù)函數(shù)調(diào)用流程

4）知識(shí)發(fā)布階段：在檢驗(yàn)完知識(shí)的正確性和實(shí)用性后，同樣由部門經(jīng)理將該知識(shí)發(fā)布到知識(shí)庫管理方，由其將知識(shí)導(dǎo)入到系統(tǒng)中，進(jìn)行知識(shí)庫的更新與維護(hù)。

6 結(jié)論

針對當(dāng)前我國在電網(wǎng)運(yùn)檢領(lǐng)域的不足，本文設(shè)計(jì)了一套基于AR技術(shù)的計(jì)量運(yùn)檢智能輔助系統(tǒng)，含AR頭盔及智能分析系統(tǒng)。圖像識(shí)別技術(shù)及語音交互技術(shù)的深入運(yùn)用，將改變當(dāng)前計(jì)量巡檢工作方式，能有效的輔助計(jì)量人員完成以往無法完成的工作，不僅提升安全主動(dòng)警示的能力，而且提高計(jì)量巡檢效率。