基于Focal損失SSDAE的變壓器故障診斷方法

武天府，劉征，王志強(qiáng)，李勁松，李國鋒

(大連理工大學(xué)電氣工程學(xué)院,遼寧 大連 116024)

0 引言

電力變壓器是電力系統(tǒng)運(yùn)行的核心設(shè)備，準(zhǔn)確診斷變壓器內(nèi)部潛伏性故障對于電網(wǎng)安全運(yùn)行具有重要意義[1]。油中溶解氣體分析(dissolved gas analysis，DGA)是診斷和檢測變壓器內(nèi)部潛伏性故障的有效方法[2—3]，并在此基礎(chǔ)上形成了三比值法、改良三比值法等變壓器故障診斷方法[4—5]。此方法的基本原理是在變壓器發(fā)生故障時，根據(jù)從變壓器油中提取的特征氣體含量算出相應(yīng)的三對比值并賦予相應(yīng)的編碼，再由編碼規(guī)則得到一組編碼表，然后根據(jù)表中提供的診斷標(biāo)準(zhǔn)找到相應(yīng)的故障類型。但上述方法在實踐過程中逐漸顯露出編碼不全、判斷標(biāo)準(zhǔn)過于絕對等缺點(diǎn)[6]。為了克服上述弊端，國內(nèi)外學(xué)者展開了深入研究，部分學(xué)者提出了基于人工智能算法的變壓器故障診斷方法，如專家系統(tǒng)[7]、支持向量機(jī)(support vector machine,SVM)法[8]、模糊理論法[9—10]、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)法[11]等。專家系統(tǒng)需要大量正確的專家經(jīng)驗，實際應(yīng)用較困難[12]；SVM法本質(zhì)上是二分類算法，變壓器故障診斷為多分類問題，面對多分類問題，參數(shù)設(shè)置及構(gòu)造分類器過程均較為繁瑣[13]；模糊理論法需要人為設(shè)置初始聚類中心，診斷效果受初始聚類中心限制較大[10]；ANN法存在收斂速度慢，易陷入局部最優(yōu)解的缺陷[11]。

上述變壓器故障診斷方法均屬于淺層機(jī)器學(xué)習(xí)方法，面對變壓器故障診斷，存在學(xué)習(xí)能力不足、深層特征挖掘困難等缺點(diǎn)，進(jìn)而影響變壓器故障診斷效果[14]。相比于淺層學(xué)習(xí)方法，深度學(xué)習(xí)的本質(zhì)是通過構(gòu)造多隱藏層的神經(jīng)網(wǎng)絡(luò)，將數(shù)據(jù)進(jìn)行非線性映射，可以實現(xiàn)對原始特征的深層挖掘及分析[15]。自編碼器(auto-encoder，AE)是深度學(xué)習(xí)的重要組成部分，在無監(jiān)督學(xué)習(xí)及非線性特征提取過程中扮演著重要角色[16]。通過堆疊多個AE形成棧式AE，能夠提取原始數(shù)據(jù)中更深層次的信息[17]。

然而在針對分類問題的常見深度學(xué)習(xí)方法中，損失函數(shù)一般使用交叉熵?fù)p失，并未考慮樣本不平衡對診斷結(jié)果的影響，而變壓器運(yùn)行及監(jiān)測過程中較難獲得完備樣本。為此，文中提出一種基于Focal損失棧式稀疏降噪自編碼器(stack sparse denoising auto-encoder，SSDAE)的變壓器故障診斷方法。通過Focal損失來削弱因樣本不平衡帶來的不利影響?；诰唧w的算例進(jìn)行了驗證，結(jié)果表明文中方法具有良好的診斷性能。

1 SSDAE模型

1.1 AE

AE是一種經(jīng)典的無監(jiān)督網(wǎng)絡(luò)，是實現(xiàn)無監(jiān)督數(shù)據(jù)特征提取的一種方法。AE輸出層與輸入層神經(jīng)元個數(shù)相等，輸入層到隱藏層的部分為編碼器，而隱藏層到輸出層的部分為解碼器[18],結(jié)構(gòu)如圖1所示。

圖1 AE結(jié)構(gòu)Fig.1 AE structure

編碼和解碼的過程可分別由式(1)、式(2)表示，即：

h=f(W1x+b1)

(1)

(2)

式中：W1∈Rn×m為編碼權(quán)重矩陣；b1∈Rm為編碼偏置向量；W2∈Rm×n為解碼權(quán)重矩陣；b2∈Rn為解碼偏置向量；f(·)，g(·)分別為編碼、解碼過程非線性激活函數(shù)，一般采用Relu函數(shù)。

1.2 棧式稀疏自編碼器(SSAE)

當(dāng)AE中隱藏層節(jié)點(diǎn)數(shù)大于輸入層節(jié)點(diǎn)數(shù)時，應(yīng)對隱藏層施加一定約束。文中選擇在損失函數(shù)中增加懲罰因子項，對AE進(jìn)行稀疏性限制，進(jìn)而構(gòu)成稀疏自編碼器(sparse auto-encoder，SAE)，SAE的代價函數(shù)為[18]：

(3)

(4)

(5)

SAE仍為淺層學(xué)習(xí)模型，為了實現(xiàn)特征深度提取，可按照棧式結(jié)構(gòu)對SAE進(jìn)行堆疊，且前一層網(wǎng)絡(luò)的輸出作為后一層網(wǎng)絡(luò)的輸入，進(jìn)而構(gòu)建棧式稀疏自編碼器(stack sparse auto-encoder，SSAE)。

1.3 SSDAE

SSDAE是在SSAE的基礎(chǔ)上，對原始的輸入數(shù)據(jù)加入噪聲，將變化后的數(shù)據(jù)輸入SSAE模型中，令其盡可能重構(gòu)一個與原始數(shù)據(jù)相同的輸出。對原始輸入數(shù)據(jù)增加噪聲通常有2種方式。一種是增加一個較小的隨機(jī)擾動，通常為高斯白噪聲，如式(6)所示。

(6)

另一種是隨機(jī)把輸入向量中的一部分分量按概率賦值為0。文中選用第一種增加噪聲方式，通過增加噪聲，SSDAE迫使編碼器學(xué)習(xí)提取重要的特征并學(xué)習(xí)輸入數(shù)據(jù)中更加魯棒的表征，同時增加模型的泛化能力。

SSDAE神經(jīng)網(wǎng)絡(luò)分為無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)2個階段。

(1)無監(jiān)督預(yù)訓(xùn)練階段。該階段基于無標(biāo)簽樣本數(shù)據(jù)，利用式(3)所示的損失函數(shù)，采用逐層貪婪訓(xùn)練策略，利用反向傳播算法，依次實現(xiàn)SSDAE各層網(wǎng)絡(luò)參數(shù)的訓(xùn)練。

(2)有監(jiān)督微調(diào)階段。該階段去掉SSDAE的解碼層，并加入Softmax分類層，基于交叉熵?fù)p失函數(shù)，利用反向傳播算法對各層網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。其中交叉熵?fù)p失函數(shù)可由式(7)表示。

(7)

1.4 Focal損失函數(shù)

對于分類任務(wù)，通常采用交叉熵?fù)p失函數(shù)[19]。文中使用的變壓器故障數(shù)據(jù)樣本中，正常樣本所占比例大且故障類樣本之間存在著不平衡，使用交叉熵?fù)p失函數(shù)會使訓(xùn)練后的模型向樣本多的類別偏移。Focal損失函數(shù)可以有效地解決上述問題，其公式為：

(8)

通過增加訓(xùn)練樣本少的類別學(xué)習(xí)強(qiáng)度，減少訓(xùn)練樣本多的類別學(xué)習(xí)強(qiáng)度，來消除類別樣本不平衡對結(jié)果的影響。文中采用文獻(xiàn)[20]的方法，具體而言，任意2個類別權(quán)重之比等于這2個類別樣本數(shù)量的反比。設(shè)數(shù)據(jù)類別總數(shù)為N，則第i類的參數(shù)αi等于類別權(quán)重值，如式(9)所示。聚焦參數(shù)γ設(shè)置為2[21]。

(9)

式中：ni為第i類樣本總數(shù)；αi為第i類樣本的平衡參數(shù)；M為類別總數(shù)。

文中使用Focal損失函數(shù)來代替式(7)，減小樣本數(shù)多的類別所對應(yīng)的損失權(quán)重，增大樣本數(shù)少的類別所對應(yīng)的損失權(quán)重，使得模型更多地關(guān)注樣本數(shù)少的類別，從而提高模型對變壓器故障診斷的準(zhǔn)確率。

2 基于Focal損失SSDAE的變壓器故障診斷

2.1 輸入量的確定

油浸式變壓器內(nèi)的油/紙絕緣材料在熱和電場的作用下會逐漸老化和分解，產(chǎn)生少量的各種低分子烴類及二氧化碳、一氧化碳等氣體。若有放電和過熱故障時，油中溶解氣體組分和含量會隨之改變，因此，一般選取氫氣(H2)、甲烷(CH4)、乙炔(C2H2)、乙烯(C2H4)、乙烷(C2H6)這5種氣體作為特種氣體來判斷變壓器的故障類型。由于這5種氣體含量值差異較大，為了使SSDAE網(wǎng)絡(luò)有良好的收斂性，將輸入數(shù)據(jù)進(jìn)行歸一化處理，將各種溶解氣體含量換算為[0,1]范圍內(nèi)的相對含量，如式(10)所示。

(10)

式中：x′i為歸一化后的數(shù)據(jù)；xi為第i種氣體的原始濃度數(shù)據(jù)；ximin，ximax分別為第i種氣體濃度的最小值和最大值。

2.2 輸出量的確定

參照IEC 60599規(guī)定，變壓器故障類型包括局部放電、低能放電、高能放電、低溫過熱、中溫過熱及高溫過熱?？蓪ψ儔浩鞴收蠣顟B(tài)進(jìn)行ont_hot編碼，如表1所示。

表1 變壓器運(yùn)行狀態(tài)編碼Table 1 Transformer operation status code

2.3 變壓器故障診斷模型

變壓器診斷模型輸入為H2、CH4、C2H2、C2H4、C2H6這5種氣體含量經(jīng)過歸一化后的值，首先加入解碼層，以輸出等于輸入預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)；然后去除解碼層，加入Softmax分類層，模型的輸出為7個概率值，對應(yīng)變壓器的7個運(yùn)行狀態(tài)，取概率最大的標(biāo)簽所對應(yīng)的故障類型為模型診斷結(jié)果?；窘Y(jié)構(gòu)如圖2所示。

圖2 變壓器故障診斷模型基本結(jié)構(gòu)Fig.2 The basic structure of transformer fault diagnosis model

建立SSDAE的變壓器故障診斷模型需要經(jīng)過1.2節(jié)所述2個訓(xùn)練階段以得到最終的訓(xùn)練模型。為了加快訓(xùn)練速度，采用自適應(yīng)學(xué)習(xí)率，學(xué)習(xí)率調(diào)整系數(shù)設(shè)置為0.5，最大迭代次數(shù)為1 000次。

2.4 變壓器故障診斷流程

基于Focal損失SSDAE的變壓器故障診斷包括數(shù)據(jù)預(yù)處理、模型參數(shù)設(shè)置、無監(jiān)督預(yù)訓(xùn)練、有監(jiān)督微調(diào)和輸出分類結(jié)果5個過程，其診斷流程如圖3所示。

圖3 變壓器故障診斷流程Fig.3 Transformer fault diagnosis process

3 案例分析

為了驗證基于Focal損失SSDAE的變壓器故障診斷效果，選取某供電公司提供的變壓器DGA故障數(shù)據(jù)，共1 518組。變壓器的故障數(shù)據(jù)中存在人為或傳感器等因素造成的重復(fù)或異常數(shù)據(jù)。重復(fù)數(shù)據(jù)會使模型更偏向于重復(fù)樣本的類別，因此需進(jìn)行數(shù)據(jù)去重。異常數(shù)據(jù)會使模型的準(zhǔn)確率降低，因此使用Tukey′s test法對異常值進(jìn)行檢測，執(zhí)行過程如式(11)和式(12)所示[22]。

UL=Q3+1.5IQR

(11)

DL=Q1-1.5IQR

(12)

式中：UL為上邊界；DL為下邊界；Q1為下四分位數(shù)，即25%分位數(shù)；Q3為上四分位數(shù)，即75%分位數(shù)；IQR為上、下四分位數(shù)差，即分位距。

異常數(shù)據(jù)的判斷標(biāo)準(zhǔn)為大于上邊界或小于下邊界。檢測到的異常數(shù)據(jù)被刪除并視為缺失值。根據(jù)原始樣本的7個狀態(tài)，采用隨機(jī)森林法對缺失值進(jìn)行數(shù)據(jù)填充。

經(jīng)過上述數(shù)據(jù)清洗，剩余892組非重復(fù)數(shù)據(jù)將用于后續(xù)模型的訓(xùn)練及結(jié)果預(yù)測。取各類樣本的80%組成訓(xùn)練樣本集，各類樣本的20%組成測試樣本集。各運(yùn)行狀態(tài)下訓(xùn)練樣本及測試樣本組成如表2所示。

表2 故障樣本統(tǒng)計Table 2 Fault sample statistics

為了使SSDAE模型有較好的效果，需先明確隱藏層及神經(jīng)元理想數(shù)值。文獻(xiàn)[22]指出，當(dāng)隱藏層數(shù)超過3層時，很難優(yōu)化權(quán)重，因此文中設(shè)置隱藏層的層數(shù)為3。隱藏層神經(jīng)元的數(shù)目根據(jù)經(jīng)驗可由式(13)得出，對于所有的隱藏層使用相同數(shù)量的神經(jīng)元個數(shù)。

(13)

式中：Nh為隱藏層神經(jīng)元的數(shù)目；Ns為訓(xùn)練集樣本數(shù)；Ni為輸入神經(jīng)元的數(shù)目；No為輸出神經(jīng)元的數(shù)目；α為任意取值變量，通常取1～5。由此可得到隱藏層的神經(jīng)元個數(shù)分別為58，29，19，14，11，進(jìn)而得出網(wǎng)絡(luò)的最佳性能，如圖4所示。

圖4 隱藏層神經(jīng)元數(shù)目對網(wǎng)絡(luò)性能的影響Fig.4 Influence of the number of hidden layer neurons on network performance

由圖4可知，當(dāng)隱藏層設(shè)置為3層，且隱藏層神經(jīng)元的個數(shù)為58時，模型的準(zhǔn)確率最高。據(jù)此，文中所提的SSDAE網(wǎng)絡(luò)的結(jié)構(gòu)為：5(輸入層)—58(第一隱藏層)—58(第二隱藏層)—58(第三隱藏層)—7(輸出層)。

為了確定式(6)中系數(shù)μ的值，分別選取了0.001～0.01之間的10個值進(jìn)行計算，并與未加入高斯白噪聲的模型進(jìn)行對比，得到結(jié)果如圖5所示。在加入0.001倍的高斯白噪聲后，模型的準(zhǔn)確率得到提升。但是，隨著加入高斯白噪聲的增加，模型的準(zhǔn)確率呈現(xiàn)下降趨勢。為了使模型達(dá)到最好的效果，文中μ取0.001。

圖5 高斯白噪聲對模型準(zhǔn)確率的影響Fig.5 Influence of Gaussian white noise on model accuracy

為明確SSDAE網(wǎng)絡(luò)模型的性能，分別采用三比值法、SVM、決策樹、隨機(jī)森林、反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation neural network,BPNN)、SSAE+交叉熵?fù)p失函數(shù)和SSDAE+交叉熵?fù)p失函數(shù)對相同的數(shù)據(jù)集進(jìn)行訓(xùn)練和故障診斷。SVM采用徑向基函數(shù)(radial basis function,RBF)作為核函數(shù)，核函數(shù)參數(shù)設(shè)置為0.5，規(guī)則化稀疏設(shè)置為500；隨機(jī)森林和決策樹設(shè)置為默認(rèn)值；BPNN輸入層為5個神經(jīng)元，隱藏層為58個神經(jīng)元，輸出層為7個神經(jīng)元，輸出層加Softmax分類器；SSAE+交叉熵?fù)p失和SSDAE+加交叉熵?fù)p失模型參數(shù)設(shè)置與文中方法一致。測試樣本為179個，各故障診斷結(jié)果如表3所示，混淆矩陣的結(jié)果如圖6所示,其中各個子圖分別為各模型在變壓器數(shù)據(jù)集上的混淆矩陣結(jié)果，圖中色塊顏色深淺僅代表數(shù)值大小。

表3 不同方法診斷結(jié)果Table 3 Diagnostic results of different methods

由表3和圖6結(jié)果可知：

圖6 各模型在變壓器數(shù)據(jù)集上的混淆矩陣Fig.6 Confusion matrix of each model on transformer data set

(1)三比值法故障編碼少，部分故障用三比值法難于診斷，且三比值法的判斷標(biāo)準(zhǔn)過于絕對,導(dǎo)致三比值法的準(zhǔn)確率偏低。

(2)對于深層特征的提取能力，文中方法優(yōu)于傳統(tǒng)的SVM、決策樹、隨機(jī)森林和BPNN等淺層模型，其準(zhǔn)確率也高于傳統(tǒng)方法。

(3)在SSAE的輸入向量中加入高斯白噪聲，可以避免模型的過擬合，增加了模型的泛化能力。因此SSDAE模型的準(zhǔn)確率高于SSAE的準(zhǔn)確率。

(4)訓(xùn)練樣本不平衡易造成模型產(chǎn)生偏向性，進(jìn)而影響模型對故障的診斷效果。而在變壓器的故障診斷中，樣本不平衡無法避免，文中采用Focal損失函數(shù)可進(jìn)一步降低樣本不平衡的影響。

4 結(jié)論

文中分析了SSDAE的結(jié)構(gòu)和原理，提出一種基于Focal損失SSDAE，利用變壓器中的5種特征氣體含量作為模型的輸入量，7類運(yùn)作狀態(tài)作為輸出量，經(jīng)過訓(xùn)練得到了變壓器故障診斷方法。有如下結(jié)論：

(1)SSDAE能有效地提取數(shù)據(jù)的深層特征，且加入高斯白噪聲能提升模型的泛化能力，從而提高模型的分類準(zhǔn)確率。

(2)在實際運(yùn)行中，較難獲得變壓器的完備樣本，主要表現(xiàn)為正常樣本遠(yuǎn)多于故障樣本且各故障類樣本也存在不平衡，導(dǎo)致模型準(zhǔn)確率偏低?；贔ocal損失SSDAE能有效解決樣本不平衡帶來的準(zhǔn)確率偏低的問題。

(3)與傳統(tǒng)的機(jī)器學(xué)習(xí)方法，如SVM、決策樹、隨機(jī)森林和BPNN相比，基于Focal損失SSDAE的故障診斷方法具有更高的診斷準(zhǔn)確率。

診斷模型的評價指標(biāo)除準(zhǔn)確性外，還有模型的穩(wěn)定性。對于所提變壓器故障診斷模型的穩(wěn)定性文中并未涉及，有待后續(xù)研究。

本文得到中央高校基本科研業(yè)務(wù)費(fèi)(DUT20RC(3)018)資助，謹(jǐn)此致謝！