基于卷積神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法*

賈京龍，余濤，吳子杰，程小華

（華南理工大學(xué) 電力學(xué)院，廣州510640）

0 引 言

隨著經(jīng)濟(jì)發(fā)展，國(guó)民生活水平不斷提高，相應(yīng)地對(duì)供電可靠性要求也越來越高。變壓器是電能傳輸和轉(zhuǎn)換的重要樞紐，是電網(wǎng)的重要組成部分，電廠發(fā)出的電需要通過升壓變壓器將電送到電網(wǎng)，電網(wǎng)的電需要通過降壓變壓器將電送至用戶，變壓器的正常運(yùn)行關(guān)系到電網(wǎng)安全穩(wěn)定，關(guān)系到國(guó)民經(jīng)濟(jì)的發(fā)展，因此對(duì)變壓器故障做出及時(shí)準(zhǔn)確地診斷具有重要意義。

變壓器故障時(shí)會(huì)在絕緣油中產(chǎn)生大量氣體，基于油中特征氣體的比例可以判斷變壓器相應(yīng)故障類型，目前分析變壓器油中溶解氣體組分與含量是監(jiān)視充油變壓器安全運(yùn)行的最有效措施之一，我國(guó)已有40多年的使用歷史，并且取得了不錯(cuò)的效果?；谔卣鳉怏w比例的分析方法有三比值法、改良三比值法等等，但是存在編碼不全，編碼界限過于絕對(duì)的問題，因此一直以來相關(guān)人員對(duì)基于DGA的變壓器故障分類做了大量研究工作，提出了很多種方法，主要有模糊推理［1］、專家系統(tǒng)［2-3］、人工神經(jīng)網(wǎng)絡(luò)［4-6］以及支持向量機(jī)［7］（Support Vector Machine，SVM）等，這些方法克服了三比值法的不足，但是這些方法又都存在諸多的問題。

深度學(xué)習(xí)（Deep Learning）是人工神經(jīng)網(wǎng)絡(luò)的一種，網(wǎng)絡(luò)通常由很多層組成，由Geoffrey Hinton教授在2006年提出［8］，相比于傳統(tǒng)的淺層神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)解決了BP神經(jīng)網(wǎng)絡(luò)等淺層網(wǎng)絡(luò)表達(dá)能力不足，容易過擬合的缺陷，并表現(xiàn)出強(qiáng)大的特征提取與分類能力。深度學(xué)習(xí)模型目前主要有深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）。DBN是多層深度學(xué)習(xí)網(wǎng)絡(luò)，使用大量無標(biāo)簽數(shù)據(jù)通過逐層貪婪訓(xùn)練算法進(jìn)行訓(xùn)練，然后再使用少量有標(biāo)簽數(shù)據(jù)對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)（fine-tune）。DBN已經(jīng)在變壓器故障診斷中進(jìn)行應(yīng)用［9-10］，相比淺層神經(jīng)網(wǎng)絡(luò)取得了更好的效果，但是需要大量的無標(biāo)簽數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)由Yan LeCun提出［11］，是第一個(gè)能夠真正成功訓(xùn)練多層網(wǎng)絡(luò)的學(xué)習(xí)算法，是當(dāng)前語音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)，是現(xiàn)在應(yīng)用最多的深度學(xué)習(xí)模型之一。鑒于CNN具有強(qiáng)大的特征提取能力，文章將CNN應(yīng)用到到變壓器故障診斷中去，將網(wǎng)絡(luò)用于油氣樣本數(shù)據(jù)的處理，并取得了不錯(cuò)的效果。

1 卷積神經(jīng)網(wǎng)絡(luò)介紹

卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)一樣都為有監(jiān)督學(xué)習(xí)算法，因此需要用有標(biāo)簽的數(shù)據(jù)作為網(wǎng)絡(luò)訓(xùn)練的樣本，然后用學(xué)習(xí)得到的模型對(duì)待識(shí)別樣本進(jìn)行預(yù)測(cè)。卷積神經(jīng)網(wǎng)絡(luò)是在傳統(tǒng)全連接網(wǎng)絡(luò)的前面加上用于特征提取的卷積層和采樣層，典型的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的結(jié)構(gòu)如圖1所示，分為輸入層Input、若干卷積層C和采樣層S、全連接層F6以及輸出層Output，相比單隱含層或雙隱含層BP神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)要深得多。其中卷積層C為特征提取層，卷積層上的每個(gè)神經(jīng)元與前一層的局部感受野相連，卷積層的輸出為提取到的特征。采樣層S為特征映射層，通過采樣操作，可以有效降低網(wǎng)絡(luò)連接的數(shù)量。

1.1 卷積層

卷積層通過不同卷積核對(duì)前一層做卷積運(yùn)算，每種卷積核對(duì)應(yīng)一種提取到的特征，卷積核與前一層的局部感受野相連，同種卷積核共享網(wǎng)絡(luò)連接權(quán)值，每種卷積核提取信息有限，因此一般使用多種卷積核來獲得更多的特征。同時(shí)卷積核具有局部特征提取以及共享權(quán)值的特點(diǎn)，使得網(wǎng)絡(luò)權(quán)值的數(shù)量小于連接數(shù)量，這在一定程度上降低了網(wǎng)絡(luò)復(fù)雜性。

圖1 卷積神經(jīng)網(wǎng)絡(luò)LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of convolution neural network LeNet-5

局部特征提取是指卷積核每次只提取前一層的部分區(qū)域的特征，通過卷積核在前一層上滑動(dòng)進(jìn)而對(duì)前一層所有數(shù)據(jù)提取特征，局部連接可以有效增強(qiáng)局部區(qū)域的顯著特征，并且有效減少權(quán)值參數(shù)的數(shù)目，在輸入數(shù)據(jù)維度很高時(shí)，效果會(huì)更加明顯。

權(quán)值共享是指同一種卷積核對(duì)前一層提取特征時(shí)的權(quán)重是相同的，即同一種卷積核共享相同的權(quán)重參數(shù)，因此權(quán)重參數(shù)的數(shù)目就只與卷積核個(gè)數(shù)有關(guān)，往往只需要較少的參數(shù)即可求得對(duì)應(yīng)的輸出特征。

1.2 采樣層

采樣層對(duì)卷積層提取到的特征進(jìn)行下采樣操作，采樣方法有最大值采樣和均值采樣。最大值采樣是計(jì)算每一個(gè)采樣區(qū)域的最大值，將其作為采樣層的一個(gè)輸出；均值采樣是將每一個(gè)采樣區(qū)域的平均值作為采樣層的一個(gè)輸出。采樣層沒有可學(xué)習(xí)的參數(shù)，因此訓(xùn)練過程中不需要進(jìn)行迭代運(yùn)算。通過下采樣操作，提取到的特征的節(jié)點(diǎn)數(shù)大大減小，有效地降低了網(wǎng)絡(luò)的連接數(shù)目，降低了網(wǎng)絡(luò)計(jì)算的復(fù)雜度。

2 變壓器故障診斷方法

2.1 數(shù)據(jù)處理

根據(jù)DL／T 722-2014《變壓器油中溶解氣體分析和判斷導(dǎo)則》［12］，變壓器油中溶解氣體主要包括氫氣（H2）、甲烷（CH4）、乙烷（C2H6）、乙烯（C2H4）、乙炔（C2H2）、一氧化碳（CO）以及二氧化碳（CO2）。變壓器故障類型主要有低溫過熱（小于300℃）、中溫過熱（介于300℃到700℃之間）、高溫過熱（大于700℃）、低能放電、高能放電、局部放電以及正常狀態(tài)。我們選取七種氣體中的前五種氣體的含量作為模型的輸入特征數(shù)據(jù)，選取七種不同的故障類型作為模型的輸出。

由于油中各種氣體含量差別較大，為防止輸入到模型的數(shù)據(jù)出現(xiàn)大數(shù)吞小數(shù)的情況以及為了模型更好地收斂，需要對(duì)輸入數(shù)據(jù)進(jìn)行歸一化，本文對(duì)輸入數(shù)據(jù)作出如下處理，將氣體占比作為輸入量，格式如下［13］：

式中 φ（H2）、φ（CH4）、φ（C2H6）、φ（C2H2）和φ（C2H2）分別代表氫氣、甲烷、乙烷、乙烯以及乙炔的含量；φ代表氣體總含量；φC代表烷烴類氣體總含量。

本文用輸出層七個(gè)神經(jīng)元對(duì)應(yīng)7種故障類型，輸出層神經(jīng)元激活值為1表示輸入數(shù)據(jù)對(duì)應(yīng)的是該故障類型，為0表示輸入數(shù)據(jù)對(duì)應(yīng)的不是該故障類型，因此可對(duì)故障類型做出編碼如表1所示。

表1 故障類型編碼Tab.1 Fault type code

2.2 卷積神經(jīng)網(wǎng)絡(luò)模型的搭建

本文提出的卷積神經(jīng)網(wǎng)絡(luò)采用一個(gè)卷積層和采樣層的組合，這是由于輸入數(shù)據(jù)只有五種氣體對(duì)應(yīng)的含量，數(shù)據(jù)結(jié)構(gòu)較為簡(jiǎn)單，增加卷積層與采樣層數(shù)目會(huì)增大網(wǎng)絡(luò)復(fù)雜度，增加網(wǎng)絡(luò)學(xué)習(xí)時(shí)間。其中為適應(yīng)一維的輸入數(shù)據(jù)，將卷積核設(shè)置為一維卷積核，不同的卷積核提取輸入數(shù)據(jù)的不同特征，然后經(jīng)過采樣層的降維操作，使得采樣層輸出節(jié)點(diǎn)大大減少，網(wǎng)絡(luò)計(jì)算量也隨之減少，但是采樣層的輸出還不能作為分類結(jié)果使用，需要在采樣層后面連上全連接層以及Softmax回歸層得到各種狀態(tài)對(duì)應(yīng)的概率［14］。本文提出的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，圖中只畫出了一種卷積核對(duì)應(yīng)的特征提取過程，在實(shí)際操作中，往往需要用到多種不同的卷積核以獲得更多的不同特征。

假設(shè)單個(gè)輸入樣本為x，其包含5個(gè)元素，卷積核個(gè)數(shù)為n，每個(gè)卷積核大小為m×1，因此每種卷積核對(duì)應(yīng)的輸出特征的大小為（6-m）×1，其中卷積層與輸入層之間連接數(shù)為（6-m）×（m+1）×n，可訓(xùn)練的參數(shù)數(shù)目為（m+1）×n。卷積層第k種卷積核的輸出結(jié)果為：

圖2 基于油中溶解氣體含量的卷積神經(jīng)網(wǎng)絡(luò)模型Fig.2 Convolutional neural network model based on dissolved gases content in oil

式中aC1，i，k表示第k種卷積核輸出的第i個(gè)元素；Wk（j）表示第k種卷積核的第j個(gè)元素；bk表示第k種卷積核的偏置；f表示卷積層所采用的激活函數(shù)。

采樣層進(jìn)行均值采樣操作，對(duì)卷積層輸出按一定規(guī)則進(jìn)行求均值作為采樣層輸出。假設(shè)采樣寬度為p×1，并保證p可以被（6-m）整除，則每個(gè)特征對(duì)應(yīng)的采樣輸出大小為（（6-m）／p）×1，因此第k個(gè)卷積核對(duì)應(yīng)的采樣層S2的輸出結(jié)果為：

式中aS2，j，k表示第k種卷積核對(duì)應(yīng)采樣層的第j個(gè)輸出；aC1，i，k表示第k種卷積核輸出的第i個(gè)元素。

采樣層輸出與一個(gè)隱含層F3全連接，然后再與Softmax層全連接進(jìn)行分類，輸出層神經(jīng)元輸出的是概率值，7個(gè)神經(jīng)元輸出值之和為1。

模型采用反向傳播算法（Back Propagation Algorithm）進(jìn)行訓(xùn)練，即通過不斷地迭代使模型目標(biāo)函數(shù)收斂到最小，得到最優(yōu)的權(quán)重和偏置參數(shù)。模型的目標(biāo)函數(shù)為：

式中m為訓(xùn)練數(shù)據(jù)的樣本數(shù)；yi為輸入樣本xi對(duì)應(yīng)的期望輸出；F（xi）為輸入樣本xi對(duì)應(yīng)的實(shí)際模型的輸出。

對(duì)單個(gè)樣本，反向傳播算法的一般步驟如下：

（1）計(jì)算網(wǎng)絡(luò)各層的誤差靈敏度：

誤差靈敏度表示節(jié)點(diǎn)輸入對(duì)目標(biāo)函數(shù)的影響，輸出層的誤差靈敏度為：

式中y表示輸入樣本x對(duì)應(yīng)的期望輸出；F（x）表示輸入樣本x對(duì)應(yīng)的實(shí)際模型輸出。

如果l層與l+1層全連接的，那么第l層的誤差靈敏度為：

當(dāng)接在卷積層的下一層為采樣層時(shí)，則卷積層的誤差靈敏度計(jì)算方法為：

式中upsample表示上采樣操作，對(duì)于均值采樣，通過上采樣操作，采樣層的誤差會(huì)平均分布在卷積層上的采樣區(qū)域。k表示第k個(gè)卷積核，f′（·）表示激活函數(shù)的導(dǎo)數(shù)，zlk表示第l層第k個(gè)卷積核神經(jīng)元的輸入。

（2）計(jì)算目標(biāo)函數(shù)對(duì)權(quán)重W以及偏置b的偏導(dǎo)數(shù)，計(jì)算方法為：

式中al表示第l層的輸出。

（3）迭代更新權(quán)重和偏置參數(shù)：

式中 α表示學(xué)習(xí)率，范圍為［0，1］。

3 算例研究

卷積神經(jīng)網(wǎng)絡(luò)模型卷積核大小、個(gè)數(shù)以及采樣寬度如何選取對(duì)變壓器故障分類結(jié)果具有很重要的影響，因此需要對(duì)這些參量如何影響模型性能進(jìn)行研究。本文采用從論文中收集到569組變壓器油中氣體含量數(shù)據(jù)及對(duì)應(yīng)的故障類型［15］，隨機(jī)選取其中的450組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余的119組數(shù)據(jù)作為測(cè)試數(shù)據(jù)。

首先研究卷積核大小對(duì)模型分類性能的影響，假設(shè)卷積核個(gè)數(shù)為8個(gè)，采樣寬度為2×1，觀察卷積核大小分別為4×1以及2×1時(shí)的模型準(zhǔn)確率，并將分類準(zhǔn)確率填入到表2中，可以看出隨著卷積核大小的增加，測(cè)試集準(zhǔn)確率有所下降，這是由于卷積核大小越小，從輸入數(shù)據(jù)提取的特征越精細(xì)，獲得的特征越能描述輸入數(shù)據(jù)，因此模型的分類能力會(huì)更好。

表2 卷積核大小對(duì)模型準(zhǔn)確率的影響Tab.2 Influence of convolution kernel size on the accuracy of model

然后分析卷積核個(gè)數(shù)對(duì)模型分類性能的影響，假設(shè)卷積核大小為2×1，采樣寬度為2×1，觀察不同卷積核個(gè)數(shù)時(shí)模型對(duì)應(yīng)的準(zhǔn)確率以及訓(xùn)練時(shí)間，并將其填入表3，同時(shí)繪制不同卷積核個(gè)數(shù)對(duì)應(yīng)的收斂曲線，如圖3所示。可以看到，隨著卷積核個(gè)數(shù)的增加，測(cè)試集準(zhǔn)確率會(huì)有所提高，這是由于提取到的特征種類增多，因此提高了模型的分類能力。但是繼續(xù)增大卷積核個(gè)數(shù)測(cè)試集準(zhǔn)確率將不會(huì)再增加，而且隨著卷積核數(shù)增加，網(wǎng)絡(luò)計(jì)算量增大，訓(xùn)練時(shí)間也會(huì)大大增加，因此卷積核個(gè)數(shù)也不宜過多。

表3 卷積核個(gè)數(shù)對(duì)模型準(zhǔn)確率的影響Tab.3 Influence of convolution kernel number on the accuracy ofmodel

圖3 不同卷積核數(shù)對(duì)應(yīng)的誤差收斂曲線Fig.3 Error convergence curves of different convolution kernel numbers

表4 采樣寬度對(duì)模型準(zhǔn)確率的影響Tab.4 Influence of sampling width on the accuracy of model

最后研究采樣寬度對(duì)模型分類效果的影響，采樣層可以有效降低模型參數(shù)的數(shù)目，同時(shí)增強(qiáng)模型的魯棒性，而采樣寬度對(duì)模型分類能力也有影響，因此本文做如下仿真，假設(shè)卷積核大小為2×1，卷積核個(gè)數(shù)為8，觀察不同的采樣寬度對(duì)應(yīng)的模型準(zhǔn)確率，并將其填入表4，可以看到增大采樣寬度，訓(xùn)練集和測(cè)試集的準(zhǔn)確率都有明顯的降低，這是因?yàn)椴蓸訉挾仍龃髸?huì)減小模型的復(fù)雜度，丟失更多卷積層提取到的信息，從而減小模型對(duì)輸入樣本數(shù)據(jù)的擬合能力。

綜上所述，卷積神經(jīng)網(wǎng)絡(luò)分類準(zhǔn)確率隨著卷積核大小的減小而升高，隨著卷積核個(gè)數(shù)的增加先增而后不再增加，隨著采樣寬度的減小而升高，因此在實(shí)際應(yīng)用時(shí)可以根據(jù)實(shí)際情況來確定這些結(jié)構(gòu)參數(shù)的取值，以達(dá)到更快的訓(xùn)練速度和更高的分類準(zhǔn)確率。

然后比較卷積神經(jīng)網(wǎng)絡(luò)跟BP神經(jīng)網(wǎng)絡(luò)在變壓器故障分類問題上的效果，根據(jù)上述卷積核大小、個(gè)數(shù)以及采樣寬度對(duì)模型分類準(zhǔn)確率的影響，本文選取卷積核大小為2×1，卷積核個(gè)數(shù)為8，采樣寬度為2×1，卷積層和采樣層組合的輸出與全連接隱含層以及輸出層組成常見的三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)經(jīng)驗(yàn)以及不斷地嘗試選取全連接隱含層神經(jīng)元個(gè)數(shù)為8，因此建立網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示的卷積神經(jīng)網(wǎng)絡(luò)。為保證對(duì)比的合理性，需要將卷積神經(jīng)網(wǎng)絡(luò)的卷積層和采樣層等價(jià)為BP神經(jīng)網(wǎng)絡(luò)的一個(gè)隱含層，因此BP神經(jīng)網(wǎng)絡(luò)有兩個(gè)隱含層，第一個(gè)隱含層神經(jīng)元個(gè)數(shù)取16，第二個(gè)隱含層神經(jīng)元個(gè)數(shù)取8。BP神經(jīng)網(wǎng)絡(luò)有295個(gè)參數(shù)，卷積神經(jīng)網(wǎng)絡(luò)有223個(gè)參數(shù)。

模型的輸入數(shù)據(jù)需要進(jìn)行預(yù)處理操作，具體方法見2.1節(jié)。同時(shí)將兩個(gè)模型網(wǎng)絡(luò)的權(quán)重W和偏置b初始化為0到1之間的隨機(jī)數(shù)，分別對(duì)兩個(gè)模型進(jìn)行訓(xùn)練，觀察并記錄模型的準(zhǔn)確率、訓(xùn)練時(shí)間以及測(cè)試時(shí)間，如表5所示。

圖4 卷積神經(jīng)網(wǎng)絡(luò)仿真模型Fig.4 Simulation model based on convolutional neural network

表5 BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率Tab.5 Accuracy of BP neural network and convolutional neural network

通過對(duì)比BP神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率、訓(xùn)練時(shí)間以及運(yùn)行時(shí)間可知，卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集準(zhǔn)確率以及測(cè)試集準(zhǔn)確率上都更為優(yōu)秀，這是由于卷積神經(jīng)網(wǎng)絡(luò)可以從輸入數(shù)據(jù)中提取到更好的特征。雖然在訓(xùn)練時(shí)間上卷積神經(jīng)網(wǎng)絡(luò)比BP神經(jīng)網(wǎng)絡(luò)要慢很多，但是卷積神經(jīng)網(wǎng)絡(luò)在119組測(cè)試數(shù)據(jù)上的識(shí)別速度比BP神經(jīng)網(wǎng)絡(luò)快了13.9%。因此，提出的卷積神經(jīng)網(wǎng)絡(luò)相較比于BP神經(jīng)網(wǎng)絡(luò)在變壓器故障識(shí)別上具有更高的準(zhǔn)確率，同時(shí)具有更快的識(shí)別速度。

4 結(jié)束語

提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法：

（1）選取油中溶解氣體中的五種氣體作為模型的輸入特征量，包括氫氣、甲烷、乙烷、乙烯以及乙炔，并對(duì)數(shù)據(jù)進(jìn)行歸一化處理；

（2）分析了卷積神經(jīng)網(wǎng)絡(luò)卷積核大小、個(gè)數(shù)以及采樣寬度對(duì)分類準(zhǔn)確度的影響，對(duì)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的選取具有指導(dǎo)意義；

（3）比較了卷積神經(jīng)網(wǎng)絡(luò)以及BP神經(jīng)網(wǎng)絡(luò)對(duì)變壓器故障分類的準(zhǔn)確率、訓(xùn)練時(shí)間以及預(yù)測(cè)結(jié)果所需要的運(yùn)行時(shí)間，卷積神經(jīng)網(wǎng)絡(luò)表現(xiàn)出更高的準(zhǔn)確率以及更快的運(yùn)行時(shí)間。