基于VR虛擬現(xiàn)實(shí)技術(shù)的變電站智能巡檢多場景識別模型研究

董景， 楊仲超， 楊雪純， 許麗， 張可抒

(常州常供電力設(shè)計院有限公司, 江蘇, 常州 213000)

0 引言

近年來，電網(wǎng)規(guī)模不斷發(fā)展，電網(wǎng)結(jié)構(gòu)也越來越復(fù)雜，而變電站通常情況下是無人值守的狀況，供電網(wǎng)安全性與數(shù)據(jù)安全性都不能得到有效保障。這種情況下電網(wǎng)對信息技術(shù)的依賴程度不斷提高，電子信息技術(shù)逐漸成為電網(wǎng)系統(tǒng)中不可或缺的一部分。場景識別輔助變電站工作人員完成巡檢工作，傳統(tǒng)的變電站巡檢系統(tǒng)只能顯示簡單信息，對于網(wǎng)絡(luò)安全和數(shù)據(jù)安全沒有發(fā)揮有效作用，巡檢過程中，常常耗費(fèi)大量人力和時間檢測巡檢數(shù)據(jù)才能監(jiān)測到有效信息內(nèi)容，嚴(yán)重降低了工作效率。

目前應(yīng)用于場景識別的方法有很多：有學(xué)者將LDA主題模型作為基礎(chǔ)對場景實(shí)行識別，利用狄利克雷分布主題模型，有效提高識別效率和準(zhǔn)確性，但是識別后的場景圖形亮度較差，存在色差；還有學(xué)者提出面向遙感影像場景的深度卷積神經(jīng)網(wǎng)絡(luò)遞歸識別模型，利用神經(jīng)網(wǎng)絡(luò)識別場景，該種方法能夠識別不同尺寸目標(biāo)場景，但是識別結(jié)果清晰度較差，容易遺失部分細(xì)節(jié)信息。

虛擬現(xiàn)實(shí)技術(shù)(VR)是信息技術(shù)高速發(fā)展的必然產(chǎn)物，利用計算機(jī)技術(shù)中的高科技手段搭建虛擬界面，使用者使用該技術(shù)時仿佛置身真實(shí)世界，具有沉浸式虛擬視覺體驗(yàn)[1]。VR虛擬現(xiàn)實(shí)技術(shù)結(jié)合多媒體技術(shù)、數(shù)字圖像處理等多種技術(shù)，通過先進(jìn)的技術(shù)手段，構(gòu)建出效果逼真的虛擬場景[2]。本文構(gòu)建的變電站智能巡檢多場景識別模型，利用VR虛擬現(xiàn)實(shí)技術(shù)對變電站精細(xì)化三維建模，方便工作人員使用虛擬設(shè)備，依據(jù)巡檢相關(guān)安全規(guī)定，勘察變電站，逐一排查變電站模型內(nèi)的相關(guān)設(shè)備，利用虛擬現(xiàn)實(shí)技術(shù)顯示設(shè)備中的相關(guān)參數(shù)，使得工作人員能夠及時有效的掌握變電站的相關(guān)數(shù)據(jù)安全和網(wǎng)絡(luò)安全信息，實(shí)時監(jiān)管變電站，針對存在問題制定解決方案。

1 變電站智能巡檢多場景識別模型

1.1 智能巡檢場景識別模型

變電站智能巡檢多場景識別模型主要包含兩部分，分別為信息融合的智能展示、虛擬與現(xiàn)實(shí)融合的智能操控[3]。經(jīng)可視化載體綜合智能展示與智能操控，完成變電站巡檢場景識別的人機(jī)互動與虛實(shí)結(jié)合。變電站智能巡檢場景識別模型結(jié)構(gòu)見圖1。

圖1 變電站智能巡檢場景識別模型結(jié)構(gòu)

真虛交互的智能操控，有利于研究仿真技術(shù)[4]，有效結(jié)合變電站智能巡檢，將巡視機(jī)器人應(yīng)用到真實(shí)的變電站中，同時把模擬機(jī)器人引入高精度的三維仿真場景中，在現(xiàn)實(shí)環(huán)境和仿真環(huán)境中，機(jī)器人協(xié)同工作。機(jī)器人巡檢模塊采用單目視覺測距方法測量距離完成導(dǎo)航，利用人工智能和機(jī)器視覺實(shí)現(xiàn)變電站智能巡檢多場景識別[5-7]。將相同的通信指令通過三維控制器發(fā)出，巡檢機(jī)器人與模擬機(jī)器人同時接受指令并執(zhí)行，定位信息通過信息通信模塊實(shí)行傳輸，保證模擬機(jī)器人與巡檢機(jī)器人的位置時刻一致，輔助識別變電站現(xiàn)場的環(huán)境信息和有效集成虛擬場景信息[8]。

雙屏顯示模式下智能展示集成信息，巡檢智能機(jī)器人實(shí)時識別真實(shí)視頻，對設(shè)備異物情況報警、設(shè)備異聲報警、設(shè)備缺陷報警，信息實(shí)行采集并呈現(xiàn)在屏幕上；仿真環(huán)境內(nèi)模擬機(jī)器人負(fù)責(zé)展示識別的環(huán)境信息、監(jiān)測狀態(tài)、臺賬信息、事件信息以及設(shè)備運(yùn)行時的實(shí)時數(shù)據(jù)。經(jīng)過疊加處理分析2種信息，方便監(jiān)測人員實(shí)時準(zhǔn)確地獲悉變電站的全部安全信息，有效提升巡檢效率。

數(shù)據(jù)源層主要負(fù)責(zé)提供為實(shí)現(xiàn)可視化所需的全部數(shù)據(jù)，主要包含EMS、GIS、生產(chǎn)系統(tǒng)、氣象系統(tǒng)和視頻監(jiān)測系統(tǒng)。數(shù)據(jù)層的架構(gòu)見圖2。

圖2 智能巡檢數(shù)據(jù)結(jié)構(gòu)

數(shù)據(jù)層主要負(fù)責(zé)數(shù)據(jù)凈化、傳遞、集成、在不同數(shù)據(jù)源與展示平臺之間的轉(zhuǎn)換[9]?？梢暬瘓鼍爸饕褂煤凸芾硗獠繑?shù)據(jù)和內(nèi)部數(shù)據(jù)，內(nèi)部數(shù)據(jù)主要來源于變電站本身業(yè)務(wù)相關(guān)系統(tǒng)數(shù)據(jù)，主要指視頻數(shù)據(jù)、實(shí)時數(shù)據(jù)、臺賬數(shù)據(jù)和監(jiān)測數(shù)據(jù)；外部系統(tǒng)主要是微氣象這類外部數(shù)據(jù)源。

應(yīng)用服務(wù)層主要用于幫助變電站的工作人員完成巡視監(jiān)測工作，變電站健康狀況指標(biāo)體系見圖3。

圖3 變電站健康狀況指標(biāo)體系

應(yīng)用服務(wù)層需要從6個方面開展工作，分別為缺陷信息展示、巡檢檢查管理、三維全景查看、巡檢報告管理、綜合信息展示、報警信息展示。設(shè)計變電站健康狀況指標(biāo)體系時，依據(jù)層次關(guān)系把指標(biāo)體系劃分為三級，方便用戶能夠在龐大數(shù)量的監(jiān)測數(shù)據(jù)中得到有效信息。當(dāng)變電站智能巡檢場景展示變電站內(nèi)各設(shè)備和環(huán)境的健康信息時，自下而上層層抽取各級內(nèi)的健康狀況，一旦對故障位置做出正確定位后，能夠通過自上而下的順序逐層挖掘故障。

可視化展示層主要負(fù)責(zé)實(shí)現(xiàn)管理和控制展示的形式、內(nèi)容及方式。該層使用多種展示方法與媒介利用恰當(dāng)?shù)恼宫F(xiàn)手法向用戶呈現(xiàn)可視化效果。如果終端不同，所需要使用的展示方案也各不相同。

1.2 場景識別三維虛擬建模流程

在場景識別三維虛擬建模式，考慮到變電站中包含若干運(yùn)行設(shè)備，各設(shè)備中又包含各種精細(xì)化零部件，各零部件之間的連接與匹配通過接口實(shí)現(xiàn)。各設(shè)備中的零部件存在較為細(xì)小的可能，需要使用高精細(xì)建模方式完成變電站場景識別三維虛擬建模。建模時需要使用大量各種類型的技術(shù)資料和多媒體資料，如真實(shí)設(shè)備的剖面圖、三視圖、裝配圖、實(shí)物照片、視頻、示意圖等，建模過程中還要分析零件實(shí)物結(jié)構(gòu)和連接時接口匹配細(xì)節(jié)問題，具體建模過程見圖4。

圖4 三維建模過程

為變電站場景識別三維建模時需要不斷細(xì)化和反饋，主要步驟為收集多媒體和技術(shù)資料；分析資料內(nèi)零件接口與結(jié)構(gòu)信息；根據(jù)分析結(jié)果繪制三維圖形；判斷所繪制的圖像是否與實(shí)物相符，假如繪制的結(jié)果與實(shí)物相符則實(shí)行下一步判定，如果不相符則需要返回收集資料步驟，重新收集資料，這個過程中可以向?qū)＜易稍?；判定所繪零件之間是否匹配，如果匹配可以結(jié)束繪制，假如不匹配則重新返回分析資料，該過程中依舊可以咨詢專家。

1.3 信息通信模塊的有效性檢測

變電站智能巡檢與場景識別的關(guān)鍵是保證信息的準(zhǔn)確性與有效性，因此需要判斷分析信息的有效性。信息發(fā)生失效的原因多種多樣[10]。以變電站中溫度信息作為例子，假設(shè)溫度傳感器發(fā)生故障，對其輸出現(xiàn)象實(shí)行失效模式分類。對溫度傳感器可能出現(xiàn)的故障模式實(shí)行分類，主要可以分為四類，式(1)表示溫度信息恒定、式(2)表示溫度信息超出正常范圍、式(3)表示溫度信息突變、式(4)表示溫度信息振蕩：

bjout(t)=xj或|bjout(t)-xj|=ζ

(1)

bjout(t)>maxj或bjout(t)

(2)

|bjout(th)-bjout(th-1)|>Δ

(3)

mj>M

(4)

式中，t、xj與ζ分別表示時間、常數(shù)與非常小的常數(shù)，bjout與Δ分別表示第j個溫度信息實(shí)際輸出值和比較時間間隔中溫度兩跳變閥值，maxj表示第j個溫度允許的最大值，minj表示第j個溫度允許的最小值，th與th-1分別表示相鄰時間點(diǎn)h和時間點(diǎn)h-1間隔點(diǎn)，h表示一個正整數(shù)，M與mj分別表示允許的振蕩次數(shù)閥值和時間T內(nèi)第j個傳感器溫度值的振蕩次數(shù)，在時間序列上，溫度極大值與溫度相鄰極小值之間的差大于某個閥值，此事計為一次振蕩。如果出現(xiàn)式(1)～式(4)這種情況，證明溫度信息無效，巡檢人員需要到變電站現(xiàn)場檢測維修通信鏈路[11]。

1.4 智能機(jī)器人單目視覺測距方法

本文利用單目視覺測距法完成智能機(jī)器人的導(dǎo)航定位。單目視覺測距法是一種對應(yīng)點(diǎn)標(biāo)定法，采用攝像機(jī)對內(nèi)外參數(shù)實(shí)行標(biāo)定，得到三維世界空間信息與二維圖像信息映射關(guān)系，使得世界坐標(biāo)系與圖像坐標(biāo)系之間實(shí)現(xiàn)有效轉(zhuǎn)換。為提高單目視覺測距的實(shí)時性，通常使用攝像機(jī)投影幾何模型作為測量方法，基于立體針孔幾何模型，使得圖像坐標(biāo)系與世界坐標(biāo)系之間能夠?qū)崿F(xiàn)有效轉(zhuǎn)換。單目視覺的縱向切面圖見圖5。

圖5 單目視覺的縱向切面圖

由圖5可知，攝像機(jī)的光心為U點(diǎn)，D點(diǎn)是世界坐標(biāo)系的原點(diǎn)，UD表示光軸，攝像機(jī)光心的投影用M表示，目標(biāo)點(diǎn)以及目標(biāo)點(diǎn)在圖像內(nèi)的位置坐標(biāo)使用Q(Xq,Yq)和q(Xq,Yq)表示；圖像平面的原點(diǎn)也是圖像和光軸之間的交點(diǎn)。

假設(shè)2θ、2ω與τ分別表示攝像機(jī)鏡頭的水平視場角、垂直視場角和攝像機(jī)的俯仰角，根據(jù)直角三角形幾何關(guān)系分析，能夠得到直角三角形UMD與UMQ中線段MD與線段MQ的長度，兩條線段相減能夠獲得線段DQ的長度：

(5)

(6)

MD=d*sh(τ)

(7)

MQ=d*sh(τ+λ)

(8)

DQ=MQ-MD

(9)

其中，d表示視野梯形中點(diǎn)J到點(diǎn)S的線段長度。考慮到世界坐標(biāo)系水平面內(nèi)，點(diǎn)Q(Xq,Yq)和q(Xq,Yq)到Y(jié)軸的坐標(biāo)軸是線段DQ的長度，則有：

YQ=d*[sh(τ+λ)-sh(τ)]

(10)

(11)

經(jīng)三角形幾何關(guān)系得到式(12)：

d+shλ=2*shω*Yq

(12)

將式(12)帶入式(11)獲取世界水平Y(jié)坐標(biāo)與圖像點(diǎn)q(Xq,Yq)坐標(biāo)之間的轉(zhuǎn)換關(guān)系：

(13)

在角UMD內(nèi)存在MS=d*shτ-ω，將其帶入式(13)則有：

DS=MS-MD=D*[shτ-sh(τ-ω)]

(14)

根據(jù)式(14)得到式(15)和式(16)：

(15)

(16)

(17)

根據(jù)二維圖像q點(diǎn)坐標(biāo)關(guān)系和頂角關(guān)系可以推算得出：

(18)

其中，w表示視野中點(diǎn)S到點(diǎn)C線段長度。直角三角形UMD內(nèi)存在：

(19)

依據(jù)直角三角形相似原理可得：

(20)

將式(17)與式(19)帶入Xq則有：

(21)

(22)

經(jīng)式(22)完成了通過幾何關(guān)系得出世界坐標(biāo)系水平面坐標(biāo)點(diǎn)與二維攝像機(jī)圖像之間的轉(zhuǎn)換，經(jīng)計算得到D為點(diǎn)Q(Xq,Yq)坐標(biāo)系的原點(diǎn)，攝像機(jī)投影點(diǎn)與水平面目標(biāo)點(diǎn)q之間的距離是單目視覺測量的距離，單目視覺測距距離便是MQ長度：

(23)

綜上，通過信息融合技術(shù)，將各種巡檢數(shù)據(jù)信息融合展示在可視化載體上，利用人工智能和機(jī)器視覺智能操控真虛交互，實(shí)現(xiàn)變電站智能巡檢多場景識別。

2 實(shí)例分析

將某地大型發(fā)電站中的變電站作為研究對象，該發(fā)電站占地3萬多平方米，建設(shè)于2007年，屬于10 MW燃煤發(fā)電廠，總投資120億元，建設(shè)4*660 MW超超臨界燃煤發(fā)電機(jī)組，供熱量達(dá)到兩千四百噸每小時，年發(fā)電量達(dá)到一百三十三億千瓦。

為對比場景識別效果，將使用本文模型與基于LDA主題識別模型(文獻(xiàn)[5])和面向遙感影像場景的深度卷積神經(jīng)網(wǎng)絡(luò)遞歸識別模型(文獻(xiàn)[6])分別在該變電站投入使用，實(shí)驗(yàn)觀察期為三個月。在觀察期內(nèi)，對于變壓器等設(shè)備的識別效果對比，結(jié)果見圖6。

從圖6中能夠看出，文獻(xiàn)[5]模型與文獻(xiàn)[6]模型識別出來的變壓器模型結(jié)果比較模糊且有較多噪聲干擾，無法識別出設(shè)備細(xì)節(jié)及電線連接情況，不利于巡檢工作的開展。本文模型識別的設(shè)備場景比較清晰，如果對畫面實(shí)行拖動和旋轉(zhuǎn)處理，能夠看到設(shè)備細(xì)節(jié)，能夠有效輔助工作人員開展巡檢工作。

圖6 變壓器設(shè)備的場景識別效果

變電站內(nèi)整體環(huán)境場景識別效果見圖7。

由圖7能夠看出文獻(xiàn)[5]模型識別出的結(jié)果畫面較暗，導(dǎo)致許多場景內(nèi)容不能被辨識出來，且圖像中出現(xiàn)很多毛邊；文獻(xiàn)[6]模型識別出的變電站環(huán)境場景效果比較模糊，不能清晰的識別出場景且部分圖像細(xì)節(jié)遺失；本文模型識別出的場景不但清晰度與明亮度均較高，而且細(xì)節(jié)保存完整，場景識別質(zhì)量較高。

圖7 變電站整體環(huán)境場景識別效果

在3個月的實(shí)驗(yàn)觀察期內(nèi)共完成巡檢4千多次，累計識別場景2萬多次，對本文模型巡檢結(jié)果實(shí)行統(tǒng)計，統(tǒng)計結(jié)果見表1。

通過表1能夠看出，利用本文模型各項(xiàng)巡檢結(jié)果均能達(dá)到預(yù)期效果，具有良好的巡檢效果，說明本文模型適合推廣使用。

表1 巡檢效果

3 結(jié)論

本文通過VR虛擬現(xiàn)實(shí)技術(shù)研究變電站智能巡檢多場景識別模型。本文將通信技術(shù)與智能技術(shù)相結(jié)合，服務(wù)于電力事業(yè)，彌補(bǔ)單向巡檢的缺陷。智能巡檢多場景識別模型的使用保證了變電站的正常運(yùn)行情況方便快捷無視差的監(jiān)測，實(shí)現(xiàn)智能化、網(wǎng)絡(luò)化、自動化、數(shù)字化的監(jiān)控管理變電站，良好的場景識別效果，為變電站的智能管理打下了基礎(chǔ)。