基于并行回火受限玻爾茲曼機(jī)算法的電力IEC61850數(shù)據(jù)預(yù)測(cè)

尹根 徐曦

【摘 要】為提高現(xiàn)有電力系統(tǒng)中IEC61850數(shù)據(jù)模型構(gòu)建的智能化，對(duì)電力系統(tǒng)IEC61850數(shù)據(jù)預(yù)測(cè)可以有效地提高效率，減少出錯(cuò)率。提出一種基于受限玻爾茲曼機(jī)算法的IEC61850數(shù)據(jù)預(yù)測(cè)模型，并結(jié)合并行回火的算法，通過采樣和交換的方式，提高預(yù)測(cè)精度。仿真結(jié)果表明，該方法可以很好地反映不同廠家數(shù)據(jù)的概率分布。

【關(guān)鍵詞】深度學(xué)習(xí);受限玻爾茲曼機(jī);并行回火;電力IEC61850;模型預(yù)測(cè)

中圖分類號(hào)： TN915.853文獻(xiàn)標(biāo)識(shí)碼： A文章編號(hào)： 2095-2457（2019）04-0095-002

DOI：10.19694/j.cnki.issn2095-2457.2019.04.036

Data Prediction of Power IEC61850 Based on Parallel Tempering Restricted Boltzmann Machine Algorithm

YIN Gen XU Xi

（1.School of Computer，Hunan University of Technology， Zhuzhou Hunan 412007 China;

2.Key Laboratory of Intelligent Information on Perception and Processing Techonology（Hunan Province）， Zhuzhou Hunan 412007， China）

【Abstract】To improve the intelligence of the IEC61850 data model in the existing power system， the prediction of the power system IEC61850 data can effectively improve efficiency and reduce the error rate. An IEC61850 data prediction model based on the restricted Boltzmann machine algorithm is proposed. Combined with the parallel tempering algorithm， the prediction accuracy is improved by sampling and exchange. The simulation results show that the method can reflect the probability distribution of data from different manufacturers.

【Key words】Deep learning; Restricted Boltzmann machine; Parallel tempering; Power IEC61850; Model prediction

0 引言

傳統(tǒng)的IEC61850在變電站的數(shù)據(jù)輸入方式采用人工手動(dòng)配置的方式，該方式效率低，速度慢，出錯(cuò)率高，同時(shí)給技術(shù)人員帶來(lái)較高的技術(shù)門檻。隨著人工智能在電力領(lǐng)域的廣泛應(yīng)用，自動(dòng)化數(shù)據(jù)輸入技術(shù)以神經(jīng)網(wǎng)絡(luò)為發(fā)展趨勢(shì)，將神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到電力行業(yè)中，大大提高了電力領(lǐng)域的智能化，提高了效率，節(jié)省了成本，給電網(wǎng)帶來(lái)了巨大的效益。

深度置信網(wǎng)絡(luò)是Hinton等自2006年提出來(lái)的，深度學(xué)習(xí)經(jīng)過十多年的發(fā)展，現(xiàn)在已經(jīng)成為機(jī)器學(xué)習(xí)的一個(gè)熱點(diǎn)。

本文在深度學(xué)習(xí)的基礎(chǔ)上，通過分析不同廠家的IEC61850數(shù)據(jù)模型，采用受限玻爾茲曼機(jī)（RBM）學(xué)習(xí)算法，以不同廠家的IEC61850數(shù)據(jù)為輸入，通過受限玻爾茲曼模型對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)，分析其誤差，實(shí)現(xiàn)預(yù)測(cè)模型，最終可以根據(jù)預(yù)測(cè)結(jié)果達(dá)到自動(dòng)構(gòu)建廠家數(shù)據(jù)的目的，通過仿真驗(yàn)證該模型有效性，達(dá)到預(yù)測(cè)效果。

1 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)是一個(gè)馬爾科夫隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，無(wú)自反饋且對(duì)稱連接。它具有兩層結(jié)構(gòu)，由可視層和隱藏層組成，層內(nèi)無(wú)連接，層間全連接，即隱藏層與隱藏層節(jié)點(diǎn)之間，可視層與可視層節(jié)點(diǎn)之間，沒有連接，隱藏層與可視層節(jié)點(diǎn)之間滿足條件獨(dú)立?？梢晫?，包含m個(gè)輸入單元vi，用來(lái)表示數(shù)據(jù)的輸入，每個(gè)輸入單元包含一個(gè)偏置量ai，隱藏層，包含n個(gè)隱藏層單元hj，受限玻爾茲曼機(jī)在隱藏層進(jìn)行輸入數(shù)據(jù)的特征提取。

受限玻爾茲曼機(jī)的數(shù)據(jù)模型[1]構(gòu)建過程即在當(dāng)可視層的輸入為v時(shí)，通過條件概率計(jì)算隱藏層的輸出向量h，再通過隱藏層的輸出向量h以及條件概率計(jì)算得出可視層的向量v，再與原始可視層輸入的向量v進(jìn)行對(duì)比，不斷進(jìn)行修正，最終達(dá)到計(jì)算得出可視層的輸出向量v與原始可視層輸入的向量v不斷接近，最后達(dá)到誤差要求。

受限玻爾茲曼機(jī)是一種基于能量的模型，根據(jù)給定的可視變量v和隱藏變量h可定義能量函數(shù)的數(shù)學(xué)表達(dá)式為：

其中，θ={wij，ai，bj}，wij為可視層節(jié)點(diǎn)i與隱藏層的節(jié)點(diǎn)j之間的連接權(quán)重。ai為可視層單元i的偏置，bj為隱藏層單元j的偏置。根據(jù)能量函數(shù)可以得出v和h的聯(lián)合概率分布函數(shù)，其數(shù)學(xué)表達(dá)式為：

其中，Zθ為配分函數(shù)，其數(shù)學(xué)表達(dá)式為：

根據(jù)能量函數(shù)計(jì)算隱藏層第j個(gè)節(jié)點(diǎn)取值為1時(shí)的輸入概率，其數(shù)學(xué)表達(dá)式為：

根據(jù)能量函數(shù)計(jì)算可視層第i個(gè)節(jié)點(diǎn)取值為1時(shí)的輸入概率，其數(shù)學(xué)表達(dá)式為：

2 并行回火蒙特卡羅算法

并行回火采樣對(duì)受限玻爾茲曼機(jī)模型訓(xùn)練是一種極其有效率的方法。在訓(xùn)練過程中，每個(gè)溫度都對(duì)應(yīng)一條gibbs鏈，不同的溫度采用不同的gibbs鏈?zhǔn)褂貌⑿谢鼗鸱椒ㄟM(jìn)行采樣。N個(gè)不同的溫度ti滿足1=t1

受限玻爾茲曼機(jī)模型的并行回火蒙特卡羅算法包括兩個(gè)階段[2]：

（1）Metropolis-Hastings采樣階段：根據(jù)已有的采樣值計(jì)算當(dāng)前溫度的下一個(gè)采樣點(diǎn)，基本采樣計(jì)算公式數(shù)學(xué)表達(dá)式為：

其中，Metropolis-Hastings表示采樣函數(shù)，N0，表示均值為0，方差為的正態(tài)分布函數(shù)。tk表示溫度，xi+1表示第i+1個(gè)采樣點(diǎn)，xi表示第i個(gè)采樣點(diǎn)。

（2）交換階段：采樣完成以后計(jì)算溫度集內(nèi)兩個(gè)相鄰溫度下的可視層節(jié)點(diǎn)以及隱藏層節(jié)點(diǎn)是否滿足交換的條件，并行回火受限玻爾茲曼機(jī)模型的交換條件，數(shù)學(xué)表達(dá)式為：

其中，tr和tr-1表示兩個(gè)相鄰的溫度，E（vr，hr）表示可視層變量vr和隱藏層變量hr配置的能量函數(shù)，E（vr-1，hr-1）表示可視層變量vr-1和隱藏層變量hr-1配置的能量函數(shù)。如果滿足該條件，則把相鄰溫度鏈下采樣點(diǎn)進(jìn)行交換，否則不進(jìn)行交換。經(jīng)過很多次的循環(huán)采樣和交換，最后將t1=1溫度下的采樣值用于受限玻爾茲曼機(jī)訓(xùn)練模型參數(shù)θ。通過并行回火蒙特卡羅算法[3]獲取的采樣值，可使得受限玻爾茲曼機(jī)訓(xùn)練獲得較好的效果。并行回火蒙特卡羅算法與受限玻爾茲曼機(jī)結(jié)合的模型主要是將θ={w，a，b}的權(quán)值（w）乘以溫度，而偏置權(quán)值a和b不發(fā)生變化。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)平臺(tái)采用的是MATLAB R2016b， 經(jīng)過對(duì)受限玻爾茲曼機(jī)進(jìn)行訓(xùn)練，分析其均方誤差是否能達(dá)到目標(biāo)誤差值，選取的樣本包含訓(xùn)練樣本和測(cè)試樣本兩類，分別為不同廠家的訓(xùn)練樣本500個(gè)，測(cè)試樣本100個(gè)，將選取的訓(xùn)練樣本輸入到并行回火受限玻爾茲曼機(jī)模型，訓(xùn)練次數(shù)最大為6000次，目標(biāo)誤差值為10-6。為了驗(yàn)證本模型的準(zhǔn)確性，經(jīng)過631次訓(xùn)練之后，并行回火受限玻爾茲曼機(jī)模型的均方誤差達(dá)到目標(biāo)誤差值。

為了檢驗(yàn)本模型的效率，將選取的訓(xùn)練樣本輸入到受限玻爾茲曼機(jī)模型，訓(xùn)練次數(shù)最大為6000次，目標(biāo)誤差值為10-6，經(jīng)過750次訓(xùn)練之后，受限玻爾茲曼機(jī)模型的均方誤差接近目標(biāo)誤差值。

4 結(jié)論

本文充分利用了受限玻爾茲曼機(jī)結(jié)合并行回火算法的優(yōu)勢(shì)，通過受限玻爾茲曼機(jī)模型結(jié)合并行回火算法訓(xùn)練之后，大大提高了深度學(xué)習(xí)對(duì)數(shù)據(jù)預(yù)測(cè)的準(zhǔn)確性和效率，打破了傳統(tǒng)IEC61850人工配置的方式，實(shí)現(xiàn)智能化，同時(shí)彌補(bǔ)了傳統(tǒng)受限玻爾茲曼機(jī)在數(shù)據(jù)預(yù)測(cè)方面的不足，是其訓(xùn)練速度更快，針對(duì)性更強(qiáng)，誤差越小，模型識(shí)別率就越高，效率就越高。該方法為深度學(xué)習(xí)在電力IEC61850的應(yīng)用奠定了基礎(chǔ)。

【參考文獻(xiàn)】

[1]Ugo Fiore，F(xiàn)rancesco Palmieri，Aniello Castiglione， et al.Network anomaly detection with the restricted Boltzmann machine[J].Neurocomputing，2013，122（Dec.25）：13-23.

[2]E. Guerrero，D. Fernández-Reyes，A. Ya？ez， et al.Evaluation of high-quality image reconstruction techniques applied to high-resolution Z-contrast imaging[J].Ultramicroscopy，2017，182：283-291.

[3]Armstrong， Matthew J.，Beris， Antony N.，Wagner， Norman J..An adaptive parallel tempering method for the dynamic data-driven parameter estimation of nonlinear models[J].AIChE Journal，2017，63（6）：1937-1958.