基于深度強(qiáng)化學(xué)習(xí)的通信網(wǎng)故障智能感知與預(yù)警模型研究

繆巍巍，吳海洋，陳 鵬，李 偉，蔣春霞，朱鵬宇

(1.國(guó)網(wǎng)江蘇省電力有限公司信息通信分公司，江蘇 南京 210008)

(2.南京南瑞信息通信科技有限公司，江蘇 南京 210008)

電力系統(tǒng)安全穩(wěn)定地運(yùn)行依賴于電力設(shè)備通信網(wǎng)的感知和預(yù)警。電力設(shè)備包括變壓器、斷路器、母線、隔離開關(guān)等[1]，隨著發(fā)電容量的增加，電力設(shè)備結(jié)構(gòu)日趨復(fù)雜，元件數(shù)量不斷增多。電力通信網(wǎng)的研究始于20世紀(jì)70年代，以斷路器3狀態(tài)模型為主[2]。20世紀(jì)90年代，羅伊·比林頓引入了廣域(n+2)狀態(tài)的馬爾科夫模型，將其應(yīng)用在發(fā)電廠可靠性算法中。電力通信網(wǎng)的功能主要體現(xiàn)在保證電網(wǎng)運(yùn)行的高效率和高供電質(zhì)量。目前，電力通信網(wǎng)的智能算法處于起步階段，建立一套完善的電力通信網(wǎng)故障感知預(yù)警模型已成為當(dāng)下迫切需要解決的問題。

1 深度學(xué)習(xí)算法

1.1 深度學(xué)習(xí)算法分類及網(wǎng)絡(luò)結(jié)構(gòu)

深度學(xué)習(xí)算法種類繁多，多層感知機(jī)模型、深度神經(jīng)網(wǎng)絡(luò)模型和遞歸神經(jīng)網(wǎng)絡(luò)模型是最為常見的三類算法模型，依據(jù)這三類模型可以衍生出更多的算法[3]。三類模型所對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)分別為深度信念網(wǎng)絡(luò)(deep belief network，DBN)、卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks，CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)。一般地，DBN模型由若干層受限玻爾茲曼機(jī)器(restricted Boltzman machine，RBM)堆疊而成[4]，受限玻爾茲曼機(jī)器的網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，通常由兩層網(wǎng)絡(luò)組成。卷積神經(jīng)網(wǎng)絡(luò)的功能以語(yǔ)音分析和圖像識(shí)別為主，其結(jié)構(gòu)相對(duì)簡(jiǎn)單，以權(quán)值共享的方式實(shí)現(xiàn)。卷積網(wǎng)絡(luò)表達(dá)輸入輸出的關(guān)系，在本質(zhì)上是一種輸入到輸出的映射[5]，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。遞歸神經(jīng)網(wǎng)絡(luò)是一種具有反饋結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)[6]，其主要功能是用于處理時(shí)序數(shù)據(jù)，結(jié)構(gòu)如圖2所示，包含輸入層、輸出層以及隱藏層。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 深度強(qiáng)化學(xué)習(xí)

對(duì)于深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning，DRL)，強(qiáng)化學(xué)習(xí)屬于深度學(xué)習(xí)的子領(lǐng)域之一，是利用試錯(cuò)法與獎(jiǎng)勵(lì)激勵(lì)去訓(xùn)練智能體的動(dòng)作策略。神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)算法的重要組成部分，在深度強(qiáng)化學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分析中，將可見單元i，j和隱含單元vi，hj都假設(shè)為二值變量(只能取0或1)，即i,j,vi,hj∈{0,1}?；谀芰慷x的受限玻爾茲曼機(jī)網(wǎng)絡(luò)的能量定義如式(1)所示。

(1)

式中：E(v,h|θ)為受限玻爾茲曼機(jī)網(wǎng)絡(luò)的能量，用于表征系統(tǒng)的穩(wěn)定性，即準(zhǔn)確率；Wij為鏈接權(quán)重，主要用來表征隱含層與可見層的關(guān)系；ovi和ohj分別表示第i個(gè)可見單元vi和第j個(gè)隱含單元hj的偏置。此時(shí)(v,h)的聯(lián)合概率分布P(v,h|θ)如式(2)所示。

(2)

(3)

1.3 基于深度學(xué)習(xí)算法的電力通信網(wǎng)絡(luò)

網(wǎng)絡(luò)結(jié)構(gòu)的特征矩陣是評(píng)估電力通信網(wǎng)故障的基本矩陣[8]，通過分析電力設(shè)施的關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)對(duì)電力設(shè)施的情況分析。在線路上安裝智能數(shù)據(jù)采集終端，當(dāng)電力網(wǎng)絡(luò)出現(xiàn)故障或電力元件發(fā)生大幅度變化時(shí)，智能數(shù)據(jù)采集終端采集各類電力故障數(shù)據(jù)，然后將數(shù)據(jù)上報(bào)。故障點(diǎn)的定位采用網(wǎng)絡(luò)端點(diǎn)的異常電流數(shù)值進(jìn)行分析判斷，某端點(diǎn)出現(xiàn)異常電流就說明該端點(diǎn)發(fā)生了故障。利用故障感知模型對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中的預(yù)警信息進(jìn)行分類處理[9]，過濾掉不必要的信息，保留有價(jià)值的預(yù)警信息。為了構(gòu)建故障特征參數(shù)與故障的關(guān)系映射[10]，一般采用人工查詢的方式獲知電力故障和對(duì)電力故障進(jìn)行分析。如圖3所示，詮釋了如何基于深度學(xué)習(xí)模型利用電力通信網(wǎng)來獲取故障數(shù)據(jù)和感知故障點(diǎn)。

圖3 基于深度學(xué)習(xí)算法的電力通信網(wǎng)絡(luò)

1.4 電力通信網(wǎng)故障風(fēng)險(xiǎn)的分析方法

信息系統(tǒng)風(fēng)險(xiǎn)預(yù)警是信息通信技術(shù)的重要組成部分，對(duì)系統(tǒng)風(fēng)險(xiǎn)預(yù)警一般采用關(guān)聯(lián)分析方法[11]。關(guān)聯(lián)分析方法是對(duì)若干看似毫不相關(guān)的事件進(jìn)行關(guān)聯(lián)分析，尋找事件之間隱藏的關(guān)聯(lián)關(guān)系，依靠腳本編程對(duì)網(wǎng)絡(luò)故障風(fēng)險(xiǎn)進(jìn)行挖掘，并對(duì)可能的風(fēng)險(xiǎn)給出合理的應(yīng)急方案。關(guān)聯(lián)分析流程如圖4所示，對(duì)電力通信網(wǎng)的全局狀況進(jìn)行分析，并做出正確的判斷，對(duì)故障風(fēng)險(xiǎn)采取相應(yīng)的安全措施，從響應(yīng)處理程序庫(kù)中選擇正確的處理程序來執(zhí)行。

圖4 關(guān)聯(lián)分析流程

2 仿真與結(jié)果分析

2.1 仿真條件

選取某市電力公司的通信網(wǎng)對(duì)深度強(qiáng)化學(xué)習(xí)模型進(jìn)行仿真驗(yàn)證。經(jīng)過調(diào)查發(fā)現(xiàn)，共有4 000多臺(tái)通信網(wǎng)絡(luò)傳輸設(shè)備運(yùn)行在該電力公司中承擔(dān)數(shù)據(jù)傳輸任務(wù)，包括誤碼率、光功率、故障記錄、工作年限等數(shù)據(jù)。對(duì)實(shí)際采集的電力通信網(wǎng)絡(luò)子拓?fù)渲械母婢瘮?shù)據(jù)進(jìn)行預(yù)處理后，將數(shù)據(jù)按照一定的比例(訓(xùn)練集∶驗(yàn)證集=8∶2)分為訓(xùn)練集和驗(yàn)證集，并確保將關(guān)鍵性的樣本數(shù)據(jù)分配給訓(xùn)練集。仿真試驗(yàn)基于Python編程語(yǔ)言和TensorFlow人工智能算法庫(kù)。

2.2 仿真結(jié)果分析

模型的訓(xùn)練基于單核CPU計(jì)算機(jī)完成，模型訓(xùn)練過程中的迭代次數(shù)均為5 000次，不同故障定位算法對(duì)故障的感知準(zhǔn)確率對(duì)比如圖5所示。已有的算法為主動(dòng)故障定位算法(AA)、貪婪故障定位算法(GA)和模糊故障定位集合算法(FA)，各算法對(duì)故障智能感知性能對(duì)比見表1。

圖5 不同故障感知算法的準(zhǔn)確度

從表1可以看出，深度強(qiáng)化學(xué)習(xí)算法的故障感知準(zhǔn)確率在95%以上，與已有的故障感知算法相比具有更高的準(zhǔn)確率、更小的定位時(shí)延，具有較為突出的應(yīng)用表現(xiàn)。

表1 故障智能感知性能對(duì)比表

3 結(jié)束語(yǔ)

電力系統(tǒng)的穩(wěn)定對(duì)于經(jīng)濟(jì)的發(fā)展至關(guān)重要。本文首先介紹了電力通信網(wǎng)系統(tǒng)的組成，然后利用深度強(qiáng)化學(xué)習(xí)算法對(duì)采集的電力通信網(wǎng)絡(luò)子拓?fù)渲械母婢瘮?shù)據(jù)進(jìn)行仿真，結(jié)果顯示深度強(qiáng)化學(xué)習(xí)算法相比于其他算法具有更高的準(zhǔn)確率，其對(duì)故障的智能感知效果優(yōu)于其他算法。以后在分析主接線故障時(shí)，將對(duì)電力系統(tǒng)中廠站接線與電力通信網(wǎng)的關(guān)系進(jìn)行深入的研究。