極端氣象條件下基于深度學(xué)習(xí)網(wǎng)絡(luò)特征的變壓器故障預(yù)測

龍玉江，姜超穎，鐘 掖，田月煒

（1.貴州電網(wǎng)有限責(zé)任公司信息中心，貴州 貴陽 550003；2.西安電子科技大學(xué)，陜西 西安 710126；3.貴陽供電局，貴州 貴陽 550001）

0 引言

輸變電變壓器作為重要的電器設(shè)備，是實(shí)現(xiàn)電能輸送、穩(wěn)定和安全的關(guān)鍵設(shè)備，其正常運(yùn)作對于保證人們生活質(zhì)量具有重要意義。隨著人們生活水平的提高，對電的需求也在不斷提高，使得輸變電變壓器常處于負(fù)荷狀態(tài)，成為整個(gè)供電系統(tǒng)中最不穩(wěn)定的一個(gè)部分。因此，對輸變電變壓器進(jìn)行故障分析與預(yù)測有著極為重要的作用。

在發(fā)生故障時(shí)，電力變壓器內(nèi)部會產(chǎn)生一定量的溶解氣體，現(xiàn)有的對于正常天氣狀態(tài)下的變壓器故障預(yù)測模型多是對油溶解氣體進(jìn)行分析，進(jìn)而實(shí)現(xiàn)對變壓器故障的診斷[1]。近年來，以深度學(xué)習(xí)為基礎(chǔ)，基于油氣分析的變壓器故障診斷已有較多研究成果，如采用BP 神經(jīng)網(wǎng)絡(luò)[2?3]、CNN[4?5]、PNN[6?7]、DBN[8?9]等實(shí)現(xiàn)了高精度故障預(yù)測。其中，趙文清等人在傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，提出一種基于殘差BP 神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法，將傳統(tǒng)網(wǎng)絡(luò)中的恒等映射學(xué)習(xí)轉(zhuǎn)化為殘差學(xué)習(xí)，使得在小樣本數(shù)據(jù)下仍然能夠獲得較好的診斷性能[10]。夏洪剛等人提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的電力變壓器故障診斷方法，對變壓器油中溶解氣體進(jìn)行了二進(jìn)制編碼，并對其進(jìn)行降維與重構(gòu)，相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法在效率與精度方面都有著顯著優(yōu)勢[11]。董理科等人以知識圖譜技術(shù)為基礎(chǔ)，結(jié)合梯度提升決策樹，提出一種結(jié)合變壓器故障各影響因素以及歷史運(yùn)行數(shù)據(jù)的知識圖譜少樣本訓(xùn)練及故障預(yù)測方法[12]。

為了提高變壓器故障診斷模型的預(yù)測精確度，對于分類器的設(shè)計(jì)和選擇也至關(guān)重要，其中樸素貝葉斯（NB）[13]、支持向量機(jī)（SVM）[14?15]是較為常見的兩種分類器。樸素貝葉斯通過計(jì)算條件概率來預(yù)測給定特征向量屬于每個(gè)類別的概率，并選擇具有最高概率的類別作為預(yù)測結(jié)果；支持向量機(jī)是一種基于最大邊際的分類算法。

對于上述討論，以下文獻(xiàn)在DGA 的基礎(chǔ)上對分類器進(jìn)行了不同的研究：張朝龍等人提出了一種可用于海量數(shù)據(jù)監(jiān)測的智能故障診斷方法，設(shè)計(jì)無源射頻識別傳感器標(biāo)簽并采用加權(quán)貝葉斯分類模型進(jìn)行故障診斷，具有較高的故障診斷準(zhǔn)確率[16]；李朕玥在SVM 的電力變壓器故障診斷方法與分析中，提出一種立足于支持向量機(jī)的變壓器工作方式判斷方法，將非線性問題轉(zhuǎn)化為高維空間問題，從而對非線性問題予以較為準(zhǔn)確的分類識別[17]。

在深度學(xué)習(xí)領(lǐng)域，對數(shù)據(jù)的多維度特征提取已經(jīng)成為一個(gè)提高識別準(zhǔn)確率的重要方法，通過神經(jīng)網(wǎng)絡(luò)將從各個(gè)維度提取的特征合并成一個(gè)比輸入特征更具有判別能力的特征。余登武等人提出一種基于深度學(xué)習(xí)分位數(shù)回歸的電力負(fù)荷區(qū)間預(yù)測方法，該方法將輸入數(shù)據(jù)劃分成負(fù)荷特征部分和時(shí)間天氣特征部分，分別傳入卷積神經(jīng)網(wǎng)絡(luò)和反向傳播神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再拼接輸出后傳入全連接層構(gòu)成深度學(xué)習(xí)模型[18]。該方法可以獲得高精度。

對于正常天氣狀態(tài)下的變壓器故障預(yù)測已有多種預(yù)測與分析模型；而在極端氣象條件下，已有的故障預(yù)測模型會出現(xiàn)一定的偏差，其故障預(yù)測準(zhǔn)確性會受到極端氣象的影響，在這種情況下已有故障預(yù)測模型不再適用。針對上述問題，本文提出了一種極端氣象條件下基于深度學(xué)習(xí)網(wǎng)絡(luò)特征的變壓器故障預(yù)測模型。該模型引入了極端氣象條件下的氣象參數(shù)，并分別對油中溶解氣體含量與氣象條件進(jìn)行時(shí)因分析，從而提取特征；其次，將融合后的聯(lián)合特征導(dǎo)入提出的新型神經(jīng)網(wǎng)絡(luò)，得到故障預(yù)測結(jié)果，提高了故障預(yù)測的準(zhǔn)確率。

1 卷積神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)組成

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）是人工智能研究領(lǐng)域的重要部分，近年來，其在許多領(lǐng)域都發(fā)揮了巨大作用，如語音識別、圖像識別等。CNN 由不同數(shù)量的神經(jīng)元按照不同的方式搭建，從而構(gòu)成不同結(jié)構(gòu)的網(wǎng)絡(luò)模型。圖1 所示為一個(gè)簡單的前饋卷積神經(jīng)網(wǎng)絡(luò)模型。

圖1 前饋卷積神經(jīng)網(wǎng)絡(luò)模型

圖1 中，最左側(cè)為前饋卷積神經(jīng)網(wǎng)絡(luò)的輸入層，最右側(cè)為輸出層，其余為中間層。在中間層，每層神經(jīng)元將上層神經(jīng)元的輸出作為當(dāng)前層的輸入。前饋卷積神經(jīng)網(wǎng)絡(luò)單向逐層向后傳遞信息，具體表達(dá)式如下：

式中：j∈{2,3,…,J}，J代表神經(jīng)網(wǎng)絡(luò)的總層數(shù)；W(j)代表第j-1 層到第j層的權(quán)重矩陣；y(j-1)是第j-1 層輸出；b(j)代表第j-1 層到第j層偏置；網(wǎng)絡(luò)最后輸出yJ；fj(·)代表第j層神經(jīng)元的激活函數(shù)。

為了從輸入樣本中學(xué)習(xí)復(fù)雜的特征，激活函數(shù)均采用非線性函數(shù)。選擇合適的激活函數(shù)可以幫助神經(jīng)網(wǎng)絡(luò)更好地學(xué)習(xí)數(shù)據(jù)的特征，從而提高模型的準(zhǔn)確性和泛化能力。激活函數(shù)需要連續(xù)并且可導(dǎo)，這樣可以采用數(shù)值優(yōu)化的方法學(xué)習(xí)網(wǎng)絡(luò)參數(shù)；同時(shí)激活函數(shù)及其導(dǎo)數(shù)需要盡可能簡單，這樣能夠降低復(fù)雜度，提升計(jì)算效率。

卷積神經(jīng)網(wǎng)絡(luò)一般由三個(gè)部分組成，分別為卷積層、池化層、全連接層。其中，卷積層是CNN 的核心部分，它由若干卷積單元組成，每個(gè)卷積單元的參數(shù)都可經(jīng)過反向傳播算法進(jìn)行優(yōu)化。卷積層可以包含多個(gè)卷積核，每個(gè)卷積核提取一種特定的特征。卷積層的輸出作為下一層的輸入，同時(shí)卷積層的參數(shù)也需要進(jìn)行訓(xùn)練，以使得它能夠提取出對于任務(wù)有用的特征。卷積運(yùn)算用于提取輸入的不同特征，隨著卷積層數(shù)量的增加，提取的信息也更加復(fù)雜。

1980-1995年，由于巴西政府在農(nóng)業(yè)方面的信貸總額逐漸降低，民間私人銀行農(nóng)業(yè)信貸的比率上升，使得農(nóng)業(yè)貸款利率提高，給許多農(nóng)民造成較大的償債負(fù)擔(dān)。1995年后巴西政府針對這一不良現(xiàn)象，采取了相應(yīng)的處理措施，主要有兩點(diǎn)：第一，在法律上允許不具有償債能力的農(nóng)戶適當(dāng)延長償債期限；第二，以其他方式進(jìn)行債務(wù)償還，如農(nóng)業(yè)生產(chǎn)者可以用農(nóng)產(chǎn)品償還購買農(nóng)業(yè)機(jī)具的債務(wù)，這種方式不僅可以讓農(nóng)戶的生產(chǎn)壓力降低，還能夠刺激國內(nèi)農(nóng)業(yè)機(jī)具的銷售量，對促進(jìn)農(nóng)業(yè)的整體發(fā)展有著較大的幫助。

由于卷積計(jì)算后的數(shù)據(jù)仍然龐大，因此采用池化層對數(shù)據(jù)進(jìn)行降采樣，從而降低訓(xùn)練復(fù)雜度。常見的池化方式有最大池化（Max Pooling）和平均池化（Average Pooling），它們分別選擇一個(gè)區(qū)域內(nèi)的最大值或平均值作為輸出，平均池化能夠減小鄰域大小受限而造成的誤差，最大池化能夠減小卷積層參數(shù)造成的誤差。全連接層起到“分類器”的作用，將網(wǎng)絡(luò)學(xué)習(xí)到的特征映射到樣本標(biāo)記空間。在全連接層中，常采用Dropout 的方法來隨機(jī)使部分神經(jīng)元失活，既避免過擬合，又提高模型的泛化能力，其隨機(jī)性也可以使每次訓(xùn)練的網(wǎng)絡(luò)不同，使得將每次訓(xùn)練的子網(wǎng)絡(luò)組合起來能夠獲得更好的預(yù)測效果。

1.2 一維卷積與二維卷積

卷積層用于提取輸入特征，其中一維卷積和二維卷積是常用的兩種卷積方式，它們的卷積核都是二維的，但滑動(dòng)方向有所不同。一維卷積操作通常應(yīng)用于時(shí)間序列數(shù)據(jù)的處理，如音頻信號、文本等，它的作用是將輸入數(shù)據(jù)與卷積核進(jìn)行卷積運(yùn)算，得到一系列的特征圖。這些特征圖能夠捕捉到輸入數(shù)據(jù)中的不同模式，從而可以用來進(jìn)行分類、回歸等任務(wù)。其卷積核在輸入數(shù)據(jù)上單方向窗口滑動(dòng)，常用于提取信號序列的時(shí)序特征以及其他高維特征。二維卷積常用于圖像處理領(lǐng)域，其卷積核在輸入數(shù)據(jù)的水平與豎直兩個(gè)方向上滑動(dòng)，能夠獲取特征的位置信息，也可用于多目標(biāo)分類。在卷積核滑動(dòng)過程中，數(shù)據(jù)的邊緣會被裁剪掉，采用邊緣填零的方式可以使得輸入數(shù)據(jù)的邊緣特性得以保存。

卷積可看作對某個(gè)局部的加權(quán)求和，卷積核作為權(quán)重矩陣，連接輸入數(shù)據(jù)與權(quán)重參數(shù)。卷積核對于當(dāng)前層的所有神經(jīng)元都是相同的，通過在不同數(shù)據(jù)層上滑動(dòng)來提取不同特征，同時(shí)卷積核的滑動(dòng)也可避免全連接前饋神經(jīng)網(wǎng)絡(luò)中，由于權(quán)重矩陣參數(shù)過多而導(dǎo)致訓(xùn)練效率低的問題。

2 輸變電變壓器故障診斷模型

2.1 變壓器故障診斷過程

本文主要采用油溶解氣體分析（Dissolved Gas Analysis,DGA）方法，同時(shí)結(jié)合極端氣象條件下的氣象參數(shù)，對變壓器故障進(jìn)行分析。變壓器的絕緣材料會因?yàn)殡姎夂蜔崂匣a(chǎn)生氣體，這些氣體會被油吸收并溶解在油中。監(jiān)測變壓器油中的氣體含量可以幫助診斷變壓器的絕緣狀況。在輸變電變壓器發(fā)生故障時(shí)，這些特征氣體主要包括氫氣、甲烷、乙烷、乙烯、乙炔五種，不同故障類型會導(dǎo)致變壓器內(nèi)氣體含量也不同。

除了變壓器內(nèi)部氣體環(huán)境，在極端氣象環(huán)境中，一些天氣參數(shù)如外界溫度、濕度、氣壓等也會對變壓器運(yùn)行狀態(tài)有一定影響。因此，本文在傳統(tǒng)DGA 分析的基礎(chǔ)上，結(jié)合了氣象參數(shù)對變壓器進(jìn)行故障分析，以提高模型故障預(yù)測的泛化能力。

故障診斷基本流程如圖2 所示，具體診斷步驟為：

圖2 故障診斷基本流程

1）采集各種極端氣象條件下輸變電變壓器故障數(shù)據(jù)，預(yù)置故障類型；

2）數(shù)據(jù)參數(shù)預(yù)處理；

3）創(chuàng)建深度學(xué)習(xí)網(wǎng)絡(luò)；

4）更新網(wǎng)絡(luò)權(quán)重；

5）輸入驗(yàn)證集數(shù)據(jù)，輸出故障類型。

2.2 故障類型預(yù)置與數(shù)據(jù)預(yù)處理

輸變電變壓器故障的類型較多，本文以DGA 方法為基礎(chǔ)，主要研究較為常見的7 種變壓器狀態(tài)，分別為：低溫過熱（低于150 ℃）、中低溫過熱（低于300 ℃且高于150 ℃）、中溫過熱（低于700 ℃且高于300 ℃）、高溫過熱（高于700 ℃）、低能放電、高能放電以及正常狀態(tài)。為了便于特征提取，對以上變壓器狀態(tài)類型進(jìn)行獨(dú)熱編碼（One?Hot），此種編碼類型將一個(gè)分類變量轉(zhuǎn)換為多個(gè)二元變量，能夠處理非連續(xù)的數(shù)值特征，也可配合特征選擇來節(jié)省空間，防止模型對分類變量的值進(jìn)行不必要的排序。變壓器狀態(tài)編碼如表1 所示。

表1 變壓器狀態(tài)編碼

在數(shù)據(jù)集方面，共選取512 組故障數(shù)據(jù)。由于變壓器類型和等級不同，其氣體含量也會存在較大的差異。采集多組正常運(yùn)作的變壓器數(shù)據(jù)，根據(jù)正常情況下的各種參數(shù)劃定正常標(biāo)準(zhǔn)，將氣體以及各種氣象參數(shù)根據(jù)正常值的范圍進(jìn)行轉(zhuǎn)化，并將絕對值轉(zhuǎn)化為相對值，消除不同參數(shù)之間的差異，同時(shí)減小誤差。對油氣含量與氣象參數(shù)進(jìn)行數(shù)據(jù)預(yù)處理，處理公式如下：

式中：xi表示預(yù)處理后的油氣含量與氣象參數(shù)；表示正常狀態(tài)時(shí)參數(shù)值；分別表示數(shù)據(jù)樣本中的參數(shù)最大值與最小值。對采集的數(shù)據(jù)（每組數(shù)據(jù)包含變壓器內(nèi)5 種氣體含量與3 種外界氣象參數(shù)共8 個(gè)參數(shù)）添加故障類型標(biāo)簽，從而形成帶故障標(biāo)簽的原始信號數(shù)據(jù)集。將5 種氣體含量作為數(shù)據(jù)集Ⅰ，其大小為5×512；將外界氣象參數(shù)數(shù)據(jù)作為數(shù)據(jù)集Ⅱ，其大小為3×512。從原始數(shù)據(jù)集中隨機(jī)抽出75%的數(shù)據(jù)作為訓(xùn)練集，其余25%的數(shù)據(jù)作為驗(yàn)證集。

2.3 輸變電變壓器故障診斷模型

將訓(xùn)練數(shù)據(jù)集Ⅰ通過序列輸入層導(dǎo)入深度學(xué)習(xí)網(wǎng)絡(luò)Ⅰ，提取變壓器內(nèi)5 種氣體含量隨著時(shí)間變化的高維特征；將數(shù)據(jù)集Ⅱ通過序列輸入層導(dǎo)入深度學(xué)習(xí)網(wǎng)絡(luò)Ⅱ，提取外界氣象參數(shù)隨著時(shí)間變化的高維特征。將數(shù)據(jù)集Ⅰ與數(shù)據(jù)集Ⅱ提取的特征融合并導(dǎo)入深度學(xué)習(xí)網(wǎng)絡(luò)Ⅲ。數(shù)據(jù)導(dǎo)入與訓(xùn)練過程如圖3 所示。

圖3 數(shù)據(jù)導(dǎo)入與訓(xùn)練過程

深度學(xué)習(xí)網(wǎng)絡(luò)Ⅰ（Ⅱ）和深度學(xué)習(xí)網(wǎng)絡(luò)Ⅲ結(jié)構(gòu)分別如圖4 與圖5 所示。

圖4 深度學(xué)習(xí)網(wǎng)絡(luò)Ⅰ（Ⅱ）結(jié)構(gòu)

圖5 深度學(xué)習(xí)網(wǎng)絡(luò)Ⅲ結(jié)構(gòu)

深度學(xué)習(xí)網(wǎng)絡(luò)Ⅰ（Ⅱ）由8 層網(wǎng)絡(luò)組成：第1 層為卷積層Ⅰ，防止原輸入信息掉到卷積核邊界之外；第2 層為一個(gè)池化層對數(shù)據(jù)進(jìn)行降采樣，簡化網(wǎng)絡(luò)復(fù)雜度，降低計(jì)算量；第3 層為一個(gè)卷積層Ⅱ；第4 層為一個(gè)池化層；第5層為一個(gè)卷積層Ⅲ，第6層為一個(gè)池化層；第7 層為一個(gè)卷積層Ⅳ；第8 層為一個(gè)池化層。其中，深度學(xué)習(xí)網(wǎng)絡(luò)Ⅰ（Ⅱ）卷積核大小不同，其余參數(shù)相同。深度學(xué)習(xí)網(wǎng)絡(luò)Ⅰ（Ⅱ）參數(shù)如表2 所示。

表2 深度學(xué)習(xí)網(wǎng)絡(luò)Ⅰ（Ⅱ）參數(shù)

深度學(xué)習(xí)網(wǎng)絡(luò)Ⅲ由4 層網(wǎng)絡(luò)組成，因?yàn)樵谌诤现爸飞暇呀?jīng)包含了多層卷積。對于融合后的特征，不設(shè)計(jì)過深的卷積神經(jīng)網(wǎng)絡(luò)對其進(jìn)行訓(xùn)練，其結(jié)構(gòu)參數(shù)如表3 所示。第1 層為卷積層Ⅰ；第2 層為一個(gè)池化層；第3 層為一個(gè)全連接層，并使用ReLU 激活函數(shù)，解決了梯度消失問題，同時(shí)防止梯度彌散。ReLU 激活函數(shù)會使一部分的神經(jīng)元輸出變?yōu)?，減少了參數(shù)的數(shù)量，同時(shí)也解決了過擬合的問題。相比于Sigmoid 等激活函數(shù)，ReLU 激活函數(shù)計(jì)算量小。第4 層為一個(gè)Softmax層，通過Softmax 多分類器計(jì)算每個(gè)故障類型的概率值，傳輸?shù)椒诸悓舆_(dá)到分類目的。

表3 深度學(xué)習(xí)網(wǎng)絡(luò)Ⅲ參數(shù)

在訓(xùn)練過程中使用誤差反向傳播算法更新網(wǎng)絡(luò)權(quán)重，優(yōu)化神經(jīng)網(wǎng)絡(luò)。該算法利用鏈?zhǔn)椒▌t對網(wǎng)絡(luò)中的誤差進(jìn)行反向傳播，并根據(jù)誤差調(diào)整每個(gè)神經(jīng)元的權(quán)重。具體步驟為：初始化神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)，設(shè)置最大訓(xùn)練迭代數(shù)為1 000，設(shè)置初始學(xué)習(xí)率為0.01，將預(yù)處理后的數(shù)據(jù)導(dǎo)入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并使用誤差反向傳播算法更新網(wǎng)絡(luò)權(quán)重，以此得到最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)不斷更新迭代次數(shù)與學(xué)習(xí)率等。

3 實(shí)驗(yàn)結(jié)果與分析

本文采用的變壓器數(shù)據(jù)集共512 條，在DGA 方法的基礎(chǔ)上加入極端氣象參數(shù)，每條數(shù)據(jù)包含5 種油氣含量與3 種極端氣象參數(shù)共8 個(gè)特征，選取其中75%作為訓(xùn)練集，25%作為測試集。

為了對本文提出的極端氣象條件下基于深度學(xué)習(xí)網(wǎng)絡(luò)特征的變壓器故障預(yù)測方法進(jìn)行性能評估，將其與概率神經(jīng)網(wǎng)絡(luò)（PNN）方法以及基于傳統(tǒng)算法的BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行對比。圖6 為本文提出的基于特征融合的神經(jīng)網(wǎng)絡(luò)的測試集預(yù)測效果圖，圖7 為三種方法對測試集的預(yù)測效果。

圖6 基于特征融合的神經(jīng)網(wǎng)絡(luò)預(yù)測效果圖

圖7 三種方法預(yù)測準(zhǔn)確率

由圖6、圖7 可知，本文提出的基于特征融合的深度學(xué)習(xí)網(wǎng)絡(luò)對于極端氣象條件下的故障預(yù)測準(zhǔn)確率遠(yuǎn)高于傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)方法與概率神經(jīng)網(wǎng)絡(luò)（PNN）方法。本文方法準(zhǔn)確率達(dá)到了90.625%，表明該方法對于極端氣象條件下的故障預(yù)測具有一定的優(yōu)勢。表4 為變壓器7 種故障類型以及相應(yīng)的測試集樣本數(shù)與正確率。

表4 基于特征融合的神經(jīng)網(wǎng)絡(luò)故障診斷結(jié)果

由表4 可知，本文提出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對于低溫過熱、中低溫過熱、中溫過熱、高溫過熱故障類型的預(yù)測準(zhǔn)確率均達(dá)到了90%以上，尤其對于中低溫過熱與高溫過熱這兩種故障類型的預(yù)測表現(xiàn)出了良好的預(yù)測性能；但對于故障類型7（高能放電）與故障類型6（低能放電），三種方法預(yù)測準(zhǔn)確率均有所下降。通過對數(shù)據(jù)集分析，高能放電故障樣本數(shù)量相對于其他6 種故障類型較少，在訓(xùn)練過程中可能會存在過擬合現(xiàn)象。為了得到較高的預(yù)測準(zhǔn)確率，在之后的實(shí)驗(yàn)中可選取更多的訓(xùn)練樣本。

4 結(jié)論

本文提出一種極端氣象條件下基于深度學(xué)習(xí)網(wǎng)絡(luò)的變壓器故障預(yù)測方法。實(shí)驗(yàn)結(jié)果表明，相比于其他傳統(tǒng)故障預(yù)測方法，本文方法的準(zhǔn)確率有了明顯提高，同時(shí)也彌補(bǔ)了傳統(tǒng)變壓器故障預(yù)測方法中泛化能力弱、時(shí)效性低、精度低的缺點(diǎn)。