帶高斯噪聲的受限玻爾茲曼機在變壓器故障診斷中的應(yīng)用?

王魯昆， 趙曉穎， 張 健， 田春鵬， 宿 浩， 唐功友

(1.中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 2661001； 2. 山東科技大學(xué)信息工程系，山東 泰安 271021；3. 泰山醫(yī)學(xué)院外國語學(xué)院，山東 泰安 271000)

變壓器是電力網(wǎng)絡(luò)運行過程中最重要的設(shè)備之一，變壓器如果產(chǎn)生故障，會給電力網(wǎng)絡(luò)帶來巨大的經(jīng)濟(jì)損失。變壓器的定期維修和故障及時發(fā)現(xiàn)具有重要的意義。目前用于檢測變壓器是否正常運行的方法很多，其中應(yīng)用最為廣泛的是油中溶解氣體分析法(Dissolved Gas Analysis, DGA)。該方法是利用對變壓器絕緣油中的五種溶解氣體(H2、CH4、C2H6、C2H4和C2H2)濃度進(jìn)行分析，從而確定變壓器的故障類型[1]。

近些年研究者提出了基于機器學(xué)習(xí)變壓器故障診斷方法，主要有基于模糊集理論[2]，基于支持向量機[3]，基于聚類分析法[4]，基于神經(jīng)網(wǎng)絡(luò)法[5-7]等。還有研究者提出基于進(jìn)化理論的變壓器故障診斷方法，主要有基于遺傳方法[8]，基于粒子群方法[9]和基于免疫方法[10]等。這些算法在故障診斷中均取得較好的效果。

2006年由 Hinton 等人[11]，在Science雜志上提出深度信念網(wǎng)絡(luò)(Deep Belief Network, DBN)模型，被稱為神經(jīng)網(wǎng)絡(luò)的新生[12]。深度信念網(wǎng)絡(luò)從結(jié)構(gòu)上來說是由多個受限玻爾茲曼機(Restricted Boltzmann Machine, RBM)組成。Roux和Bengio[13]從理論上證明了，如果隱層的單元數(shù)量足夠大，RBM能夠擬合任意類型的離散分布。近些年基于RBM的深度算法在圖像識別[14]，語音識別[15]，文本識別[16]等領(lǐng)域均取得了成功。然而應(yīng)用RBM算法在變壓器故障診斷領(lǐng)域的研究較為少見。本文基于深度結(jié)構(gòu)的RBM算法與變壓器油中DGA技術(shù)相結(jié)合進(jìn)行變壓器故障診斷。構(gòu)造由兩層RBM和一層BP所組成的深度信念網(wǎng)絡(luò)DBN。利用RBM進(jìn)行預(yù)訓(xùn)練并提取特征信息，利用BP計算誤差并重構(gòu)DBN。仿真結(jié)果表明該方法對變壓器故障分類有較高的準(zhǔn)確性。

1 變壓器故障分類

電力變壓器大多數(shù)都是用絕緣油實現(xiàn)絕緣和散熱功能。電力變壓器雖然經(jīng)過密封和干燥處理，但是在運行過程中難免會混入少量空氣。這些空氣在熱力和電力的作用下與絕緣油發(fā)生化學(xué)反應(yīng)，產(chǎn)生少量CO、CO2以及一些低分子烴類。

變壓器在正常運行的情況下，絕緣油內(nèi)部的分子結(jié)構(gòu)比較穩(wěn)定，不會出現(xiàn)化學(xué)鍵的斷裂從而產(chǎn)生烴類氣體。如果內(nèi)部發(fā)生故障，那么故障點會釋放出大量的熱量。這些熱量就會迫使故障點周圍的絕緣油裂變，從而產(chǎn)生CH4(甲烷)、C2H6(乙烷)、C2H4(乙烯)、C2H2(乙炔)、H2(氫氣)，以及CO(一氧化碳)、CO2(二氧化碳)。某些情況下CO和CO2并不是由設(shè)備故障造成的。 因此CH4、C2H6、C2H4、C2H2、H2這五種氣體就成為檢測變壓器故障的特征氣體[17]。絕緣油的烴分子在300～400 ℃的時候開始發(fā)生裂變反應(yīng)。隨著溫度的不斷增加，H2和烴類氣體的含量也會增加，裂變氣體的熱解順序為：烷烴-烯炔-炔烴。變壓器內(nèi)部故障主要有機械、熱、電三種模式。典型的變壓器故障可以概括為局部放電、低能放電、高能放電、低溫過熱、高溫過熱這五類。當(dāng)產(chǎn)生故障時，五種特征氣體的含量呈現(xiàn)一些規(guī)律性，比如當(dāng)局部放電時，如果放電密度較低時總烴類含量比較低，H2含量通常會占到總量的90%以上。

表1 判斷故障性質(zhì)方法Table 1 Method of diagnose fault characteristic

當(dāng)溶解氣體超過正常值范圍時候，可用表1判斷故障性質(zhì)。在故障診斷的時候，特征氣體的含量與故障類型有著十分密切的聯(lián)系。因此用特征氣體含量來判斷變壓器故障性質(zhì)比較方便直觀。

由于不同的故障所含有的特征氣體的含量差別較大，一般來說通過對氣體的相對含量的統(tǒng)計更加準(zhǔn)確，更容易診斷故障類型。因此三比值法，即W(CH4)/W(H2)、W(C2H2)/W(C2H4)、W(C2H4)/W(C2H6)數(shù)據(jù)往往被用來進(jìn)行故障分析。

2 模型設(shè)計

根據(jù)DBN的設(shè)計原理，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計采用兩層RBM和一層BP的模式?？梢妼影?個單元，用來存放輸入的變壓器故障三比值的數(shù)據(jù)。輸出層T包含5個單元，用來存放三比值數(shù)據(jù)對應(yīng)的變壓器故障類型。在維數(shù)較低的情況下，神經(jīng)網(wǎng)絡(luò)每層的單元格數(shù)k可以利用kolmogorov定理計算

(1)

其中：n是可視層單元個數(shù)；m為輸出層單元個數(shù)；a為1～10的隨機整數(shù)；[·]表示取整。利用式(1)和實際仿真確定第一個隱層H0含有5個單元，第二個隱層H1含有7個單元。另外每層增加一個偏置項，用來存放閾值。可見層V和隱層H0從邏輯結(jié)構(gòu)上組成第一層RBM，隱層H0和隱層H1共同組成第二層的RBM，隱層H0看做是第二層RBM的輸入。隱層H1和輸出層T在邏輯上組成第三層BP，隱層H1看做是第三層BP的輸入。網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

兩層RBM網(wǎng)絡(luò)狀態(tài){v,h0,h1}的能量模型可以定義為

(2)

(3)

根據(jù)聯(lián)合概率分布，計算求得條件概率分布為

(4)

由于在可見層單元之間沒有直接的鏈接，并且只與隱層h0關(guān)聯(lián)。因此可見單元之間符合獨立條件分布，且條件項為h0。條件概率分布為

(5)

同理隱層h1的條件概率分布為

(6)

通過最大化訓(xùn)練樣本的極大似然對數(shù)函數(shù)來求解θ

(7)

對(θ)求偏導(dǎo)得到

(8)

由于進(jìn)一步求導(dǎo)時P(h0,h1,v|θ)分布難以獲得，所以通過CD算法近似計算其分布。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The structure of neuro network

CD算法就是利用Kullback-Leibler 距離來計算概率分布的區(qū)別性。

(9)

利用式(9)計算采樣概率分布的區(qū)別性

KL(p0‖p∞)-KL(pn‖p∞)，

(10)

其中：p0是初始狀態(tài)的聯(lián)合概率分布；pn是經(jīng)過n步MCMC采樣以后的聯(lián)合概率分布；p∞是馬氏鏈最末端的聯(lián)合概率分布。CD算法就是不斷的將pn賦值給p0，通過對參數(shù)的修正，讓KL距離趨近與0。CD算法的精準(zhǔn)度近似于MCMC方法[18]，更新參數(shù)由下式計算

Δai=ε([vi]data-[vi]recon)，

(11)

其中：ε表示網(wǎng)絡(luò)學(xué)習(xí)率；[·]recon表示重構(gòu)以后的概率分布。基于CD算法的RBM訓(xùn)練的主要步驟如下：

Step 1 初始化令ΔWij、ΔWjk、Δai、Δbj、Δck的值為0，Wij、Wjk、ai、bj和ck隨機較小的數(shù)。然后設(shè)置迭代次數(shù)E。

Step 2 將訓(xùn)練樣本v賦值給的v0利用式(5)、式(6)計算h0、v1、h1。

Step 3 利用式(11)，計算ΔWij、ΔWjk、Δai、Δbj、Δck的值，并更新參數(shù)θ←θ+Δθ。

Step 4 如果迭代次數(shù)小于E，則重復(fù)Step 2, 否則結(jié)束。

3 訓(xùn)練與仿真

變壓器油中特征氣體的濃度數(shù)據(jù)，對分析變壓器故障有著直接的指導(dǎo)意義。根據(jù)收集到的數(shù)據(jù)進(jìn)行整理，訓(xùn)練數(shù)據(jù)分為兩個部分，一部分為輸入數(shù)據(jù)，即五種特征氣體H2、CH4、C2H2、C2H6、C2H4的樣本數(shù)據(jù)，利用三比值法[19]計算出三個比值的數(shù)據(jù)，作為測試樣本的輸入數(shù)據(jù)。也就是說訓(xùn)練輸入樣本為三維矩陣。為了減小數(shù)據(jù)的奇異性，提高訓(xùn)練速。使用數(shù)據(jù)歸一化公式，把訓(xùn)練輸入樣本的數(shù)據(jù)歸一到[-1,1]之間。

(12)

其中：y表示歸一化處理后的樣本數(shù)據(jù)，令ymax=1，ymin=-1；xmax為樣本中最大值，xmin為樣本中的最小值。

訓(xùn)練數(shù)據(jù)的另外一部分為輸出數(shù)據(jù)，即特征氣體的樣本數(shù)據(jù)對應(yīng)的故障情況，將變壓器的故障分為5類，低溫過熱(00001)、高溫過熱(00010)、局部放電(00100)、低能放電(01000) 和高能放電(10000)。

訓(xùn)練網(wǎng)絡(luò)的過程中，一些參數(shù)的設(shè)置是十分重要的。近來的一些研究表明[20]，如果參數(shù)設(shè)置不當(dāng)，會影響最終的實驗結(jié)果。根據(jù)經(jīng)驗和在仿真過程中的一些調(diào)試，筆者對一些重要的參數(shù)做了如下設(shè)置。

學(xué)習(xí)率設(shè)置：學(xué)習(xí)速率的選取很重要，過大會導(dǎo)致系統(tǒng)不穩(wěn)定，過小會導(dǎo)致訓(xùn)練周期過長、收斂慢，達(dá)不到要求的誤差。一般傾向于選取較小的學(xué)習(xí)速率以保持系統(tǒng)穩(wěn)定，通過觀察誤差下降曲線來判斷。下降較快說明學(xué)習(xí)率比較合適，若有較大振蕩則說明學(xué)習(xí)率偏大。由于網(wǎng)絡(luò)規(guī)模大小的不同，學(xué)習(xí)率選擇應(yīng)當(dāng)針對其進(jìn)行調(diào)整。在本實驗中，設(shè)置網(wǎng)絡(luò)的學(xué)習(xí)率為0.05，此設(shè)置收斂速度快，誤差曲線波動小。

動量項設(shè)置：為了避免受學(xué)習(xí)率設(shè)置影響，在參數(shù)更新的時候，增加動量項的設(shè)置，使得參數(shù)的變化并不完全由似然函數(shù)的梯度方向決定。避免了出現(xiàn)過度擬合的問題。在本試驗中設(shè)置動量項為0.9。

本文以IEC TC 10 Database[21]所提供的134組歷史故障案例樣本資料作為變壓器故障的輸入樣本。使用K層交叉驗證(K-fold)的方式對實驗數(shù)據(jù)進(jìn)行分類。實驗數(shù)據(jù)分為K組，交叉驗證過程重復(fù)K次，每次選取其中一個不同的部分作為測試數(shù)據(jù)，其余K-1組作為訓(xùn)練數(shù)據(jù)。實驗設(shè)置K=9，即將數(shù)據(jù)分為9組。每次選取其中一組作為測試數(shù)據(jù)，其余8組作為訓(xùn)練數(shù)據(jù)，重復(fù)9次，確保每組數(shù)據(jù)都被當(dāng)做測試數(shù)據(jù)。最終把測試結(jié)果取平均值即可得到整體正確率。圖3為經(jīng)過BP訓(xùn)練的誤差曲線圖與經(jīng)過RBM訓(xùn)練的誤差曲線圖，圖中可以發(fā)現(xiàn)RBM的誤差明顯小于BP訓(xùn)練的誤差，并且收斂速度更快。經(jīng)過1 000輪回的訓(xùn)練后，誤差能夠達(dá)到10-2左右。圖4為帶高斯噪聲和不帶高斯噪聲的RBM的誤差曲線圖。如圖可以看出，增加部分高斯噪聲以后，曲線的收斂速度更快。在同樣學(xué)習(xí)率的情況下，訓(xùn)練效果更優(yōu)。

圖2 BP與RBM誤差曲線圖Fig.2 The error curve of BP and RBM

為了驗證算法有效性，本文設(shè)計BP、K鄰近(K-NearestNeighbor, K-NN)、支持向量機(Support Value Machine, SVM)和RBM幾種算法的對比試驗。表2所示為K-NN算法的識別率，K=15時，正確率最高為90%。表3所示為SVM在選擇不同核函數(shù)(Kernel Function, KF)的情況下的正確率，當(dāng)選擇徑向基函數(shù)(Radial Basis Function, RBF)作為核函數(shù)時，正確率最高為79.9%。

圖3 帶高斯噪聲與不帶高斯噪聲誤差曲線圖Fig.3 The error curve of with Gaussian Noise and without Gaussian Noise

Table 2 Classification accuracy of K-NN /%

表3 SVM分類正確率Table 3 Classification accuracy of SVM /%

表4 BP和RBM算法結(jié)果比較Table 4 Classification accuracy of BP and RBM /%

通過對134組訓(xùn)練數(shù)據(jù)進(jìn)行了1 000輪回的訓(xùn)練后，表4列舉了BP和RBM的明細(xì)正確率。BP算法平均正確率為84.1%。RBM算法在低溫過熱分類中獲得100%的正確率，在局部放電分類中獲得最低83.3%的正確率，平均正確率為93.6%。

在已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)基礎(chǔ)上，本文對10組測試樣本進(jìn)行了檢驗。使用RBM網(wǎng)絡(luò)訓(xùn)練結(jié)果與實際的故障結(jié)果進(jìn)行比較如表5所示。可以看出，使用RBM網(wǎng)絡(luò)診斷的結(jié)果與變壓器的實際故障具有較高的吻合度。

表5 訓(xùn)練結(jié)果Table 5 The training results

4 結(jié)語

本文研究了一種基于受限玻爾茲曼機模型的變壓器故障診斷方法。方法首先根據(jù)變壓器絕緣油中五種特征氣體含量計算三比值數(shù)據(jù)。然后構(gòu)造一個由兩層RBM和一層BP所組成的DBN網(wǎng)絡(luò)。利用RBM預(yù)訓(xùn)練樣本數(shù)據(jù)，利用BP進(jìn)行誤差計算并判斷故障類型。仿真結(jié)果驗證該方法的有效性。

參考文獻(xiàn)：

[1] 劉勇輝. 基于DGA的變壓器故障診斷[J]. 高電壓技術(shù), 2005, 31(6): 87-88.

Liu Yonghui. Power Transformer fault diagnosis based-on dissolved gas analysis[J]. High Voltage Engineering, 2005, 31(6): 87-88.

[2] 杜文霞, 句希源, 呂鋒. 基于模糊聚類算法的變壓器故障診斷研究[J]. 變壓器, 2009, 46(8): 65-69.

Du Wenxia, Ju Xiyuan, Lu Feng. Research on transformer fault diagnosis based on fuzzy clustering algorithm[J]. Transformer, 2009, 46(8): 65-69.

[3] 郭創(chuàng)新, 朱承治, 張琳, 等. 應(yīng)用多分類多核學(xué)習(xí)支持向量機的變壓器故障診斷方法[J]. 中國電機工程學(xué)報, 2010, 30(13): 130-136.

Guo Chuangxin, Zhu Chengzhi, Zhang Lin, et al. A fault diagnosis method for power transformer based on multiclass multiple-kernel learning support vector machine[J]. Proceedings of the CSEE, 2010, 30(13): 130-136.

[4] 符楊, 田振寧, 江玉蓉, 等. 加權(quán)模糊核聚類法在電力變壓器故障診斷中的應(yīng)用[J]. 高電壓技術(shù), 2010, 36(2): 371-374.

Fu Yang, Tian Zhenning, Jiang Yurong, et al. Power transformer fault diagnosis using weighted Fuzzy kernel clustering[J]. High Voltage Engineering, 2010, 36(2): 371-374.

[5] 付強, 陳特放, 朱佼佼. 采用自組織RBF網(wǎng)絡(luò)算法的變壓器故障診斷[J]. 高電壓技術(shù), 2012, 38(6): 1368-1375.

Fu Qiang, Chen Tefang, Zhu Jiaojiao. Transformer fault diagnosis using self-adaptive RBF neural network algorithm[J]. High Voltage Engineering, 2012, 38(6): 1368-1375.

[6] 李霜, 王朗珠, 張為, 等. 基于DGA的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法[J]. 變壓器, 2010, 47(12): 61-65.

Li Shuang, Wang Langzhu, Zhang Wei, et al. Fault diagnosis method of transformer based on improved BP neural network of DGA[J]. Transformer, 2010, 47(12): 61-65.

[7] 王曉霞, 王濤. 基于BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷[J]. 華東電力, 2008, 36(2): 112-116.

Wang Xiaoxia, Wang Tao. Transformer fault diagnosis based on BP networks[J]. East China Electric Power, 2008, 36(2): 112-116.

[8] 潘翀, 陳偉根, 云玉新, 等. 基于遺傳算法進(jìn)化小波神經(jīng)網(wǎng)絡(luò)的電力變壓器故障診斷[J]. 電力系統(tǒng)自動化, 2007, 31(13): 88-92.

Pan Zhong, Chen Weigen, Yun yuxin, et al. Fault diagnosis of power transformers based on genetic algorithm evolving wavelet neural network[J]. Automation of Electric Power Systems, 2007, 31(13): 88-92.

[9] Tang W H, Goulermas J Y, Wu Q H. A probabilistic classifier for tr-ansformer dissolved gas analysis with a particle swarm optimizer[J]. IEEE Transactions on Power Delivery, 2008, 23(2): 751-759.

[10] 宋紹民, 王耀南, 孫煒, 等. 基于免疫聚類算法的變壓器DGA數(shù)據(jù)故障診斷方法[J]. 變壓器, 2008, 45(8): 70-72.

Song Shaomin, Wang Yaonan, Sun Wei, et al. Fault diagnosis method with transformer DGA data based on immune recognition algorithm[J]. Transformer, 2008, 45(8): 70-72.

[11] Hinton G E, Salakhutdinov R R, Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786), 504-507.

[12] Garrison W. Cottrell. New life for neural networks[J]. Science, 2006. 313: 454-455.

[13] Roux N L, Bengio Y. Representational power of restricted boltzmann machines and deep belief networks[J]. Neural Computation, 2008, 20(6): 1631-1649.

[14] Salakhutdinov R, Larochelle H. Efficient learning of deep Boltzmann machines[J]. Journal of Machine Learning Research: Proceedings Track, 2010, 9(1): 693-700.

[15] Jaitly N, Hinton G E. Learning a better representation of speech sound waves using restricted Boltzmann machines[C]. Proc of the 2011 IEEE Int Conf on Acoustics. Speech and Signal Processing, 2011: 5884-5887.

[16] Dahl G, Yu Dong, Deng Li, et al. Context-dependent pretrained deep neural networks for large vocabulary speech recongnition[J]. IEEE Trans on Audio, Speech and Language Processing. 2012, 20(1): 30-42.

[17] 耿基明, 郭曉峰. 應(yīng)用變壓器油色譜分析判斷變壓器故障[J]. 變壓器, 2006, 43(11): 44-47.

Geng Jiming, Guo Xiaofeng. Diagnosis of Transformer Faults by Chromatogr aphic Analysis of Transformer oil[J]. Transformer, 2006, 43(11): 44-47.

[18] Hinton G E. Training products of experts by minimizing contrastive divergence [J]. Neural Computation, 2002, 14(8): 1771?1800.

[19] 尚勇, 閆春江, 嚴(yán)璋. 基于信息融合的大型油浸電力變壓器故障診斷 [J]. 中國電機工程學(xué)報, 2002, 22(7): 50 -55.

Shang Yong, Yan Chunjiang, Yan Zhang. Synthetic Insulation Fault Diagnostic Model of Oil-immersed Power Transformers Utilizing Information Fusion[J]. Proceedings of the CSEE, 2002, 22(7): 50 -55.

[20] Schulz H, Müller A, Behnke S. Investigating Convergence of Restricted Boltzmann Machine Learning[C]. //NIPS 2010 Workshop on Deep Learning and Unsupervised Feature Learning, 2010: 1-9.

[21] Duval M, dePabla A. Interpretation of gas-in-oil analysis using new IEC publication 60599 and IEC TC 10 databases[J]. IEEE on Electrical Insulation Magazine, 2001, 17: 31 -41.