基于通道注意力與殘差卷積神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷

王陳恩，蔡涌烽，謝振華，殷 豪

(廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院，廣州 510006)

0 引 言

電力變壓器在電力系統(tǒng)中扮演著十分重要的角色，變壓器的正常運(yùn)行與電力系統(tǒng)的穩(wěn)定、安全運(yùn)行直接關(guān)聯(lián)。因此，有效的故障診斷方法具有非常重要的現(xiàn)實(shí)意義[1]。

油浸式變壓器在故障狀態(tài)運(yùn)行時(shí)，油中會(huì)產(chǎn)生大量的氣體，處于正常運(yùn)行狀態(tài)的變壓器，隨著運(yùn)行時(shí)間的增長，也會(huì)產(chǎn)生少量的氣體[2]。發(fā)生不同的故障時(shí)，不同氣體的含量也會(huì)有差異，根據(jù)這一特點(diǎn)，油中溶解氣體分析技術(shù)(dissolved gas analysis，DGA)[3]成為目前故障診斷、檢測方法的基礎(chǔ)。隨著計(jì)算機(jī)技術(shù)的發(fā)展，越來越多的機(jī)器學(xué)習(xí)方法應(yīng)用到故障診斷中來。傳統(tǒng)的羅杰斯比值法、三比值法、四比值法[4]等，存在分類簡單、比值過于絕對(duì)、對(duì)部分故障識(shí)別準(zhǔn)確率低等問題。目前，應(yīng)用于變壓器故障診斷的機(jī)器學(xué)習(xí)方法主要包括支持向量機(jī)(support vector machine, SVM)[5]、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)[6]、深度信念網(wǎng)絡(luò)(deep belief network, DBN)[7]、BP神經(jīng)網(wǎng)絡(luò)(back propagation，BP)[8]、概率神經(jīng)網(wǎng)絡(luò)[9]和極限學(xué)習(xí)機(jī)[10]等。

文獻(xiàn)[11]在概率神經(jīng)網(wǎng)絡(luò)診斷模型中引入智能算法，優(yōu)化訓(xùn)練過程中的超參數(shù)，但該網(wǎng)絡(luò)參數(shù)變化對(duì)結(jié)果影響較大，若陷入局部最優(yōu)，需要迭代多次才能跳出局部最優(yōu)。文獻(xiàn)[12]改變傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的輸入方式，將輸入氣體含量由十進(jìn)制改為二進(jìn)制輸入，診斷精度和實(shí)時(shí)性均優(yōu)于傳統(tǒng)的DBN和SVM等診斷方式。文獻(xiàn)[13]在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)診斷模型的基礎(chǔ)上采用了深度神經(jīng)網(wǎng)絡(luò)，使得網(wǎng)絡(luò)在學(xué)習(xí)過程中，可以獲取更多的有益信息，但網(wǎng)絡(luò)深度的加深導(dǎo)致層間損失增大，影響模型的診斷性能。文獻(xiàn)[14]提出了卷積孿生網(wǎng)絡(luò)的變壓器診斷方法，克服了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)診斷準(zhǔn)確率不高的問題，但卷積網(wǎng)絡(luò)并行的存在會(huì)延長診斷時(shí)間。文獻(xiàn)[15]在傳統(tǒng)DBN診斷模型中，引入正則化，有效提升了模型的泛化能力。文獻(xiàn)[16]構(gòu)建了基于BP神經(jīng)網(wǎng)絡(luò)的SVM故障診斷方法，有效克服了SVM診斷準(zhǔn)確率不高的問題。文獻(xiàn)[17]在傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)中引入了多層殘差(Residual，Res)，建立了7個(gè)殘差網(wǎng)絡(luò)堆疊的殘差BP診斷模型，通過對(duì)模型結(jié)構(gòu)的改變，有效提升了診斷的準(zhǔn)確性。

但上述的診斷方法還存在著診斷精度不足，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)診斷模型未考慮通道差異性的問題。目前，通道注意力(squeeze-and-excitation，SE)[18]在圖像、文本處理等方面展現(xiàn)了強(qiáng)大的性能。文獻(xiàn)[19]將通道注意力首次應(yīng)用于機(jī)器人的云端故障診斷系統(tǒng)，提出了SE-CNN診斷模型，采用SE模塊挖掘機(jī)器人診斷系統(tǒng)中通道間的關(guān)系，并取得了較好的診斷性能。文獻(xiàn)[20]將SE模塊引入稠密度神經(jīng)網(wǎng)絡(luò)中，結(jié)合對(duì)抗網(wǎng)絡(luò)，將模型應(yīng)用在不平衡樣本的變壓器故障診斷中。在卷積運(yùn)算過程中，一些無效的信息也會(huì)參與計(jì)算，而通道注意力能夠有效地削弱無效信息。

針對(duì)以上問題，該文提出了基于通道注意力機(jī)制與殘差卷積神經(jīng)網(wǎng)絡(luò)(SE-Res-CNN)的變壓器故障診斷模型。在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的變壓器診斷模型中引入通道注意力機(jī)制和殘差網(wǎng)絡(luò)。通道注意力自適應(yīng)調(diào)整卷積通道的權(quán)重，增強(qiáng)有益信息，提高診斷的精度。殘差網(wǎng)絡(luò)的引入使得變壓器診斷模型能夠?qū)W習(xí)網(wǎng)絡(luò)層間的差異信息。同時(shí)，跨網(wǎng)路層的連接方式，使得信息可以被重復(fù)利用，提高信息的利用率。通過試驗(yàn)表明，該文提出的SE-Res-CNN能夠有效地提高變壓器故障診斷的準(zhǔn)確性并具有良好的穩(wěn)定性。

1 SE-Res-CNN變壓器故障診斷模型

圖1為變壓器油色譜數(shù)據(jù)采用t-SNE聚類后的狀態(tài)分布圖。從圖中可以看出，放電故障與過熱故障存在明顯的區(qū)分界限，但相同類型的故障程度不存在明顯的界限，極易混淆。以上分布情況的存在抑制著變壓器故障診斷精度的提升。

圖1 變壓器狀態(tài)分布Fig.1 Transformer state distribution

針對(duì)變壓器故障診斷精度不足和傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)診斷模型未考慮通道差異性的問題，該文提出了基于通道注意力機(jī)制與殘差卷積神經(jīng)網(wǎng)絡(luò)(SE-Res-CNN)的變壓器故障診斷模型。

在電力變壓器運(yùn)行時(shí)，由于變壓器發(fā)生故障或者絕緣層的老化，會(huì)產(chǎn)生多種氣體。該文選用變壓器油色譜數(shù)據(jù)中的乙炔(C2H2)、乙烯(C2H4)、乙烷(C2H6)、甲烷(CH4)和氫氣(H2)作為特征氣體，變壓器的常見故障有高溫過熱、中溫過熱、低溫過熱、高能放電、局部放電和低能放電。將變壓器油色譜數(shù)據(jù)中的特征氣體歸一化后構(gòu)成三維張量作為模型的輸入，對(duì)應(yīng)的7種狀態(tài)作為模型的輸出。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

該文的變壓器故障診斷模型是以卷積神經(jīng)網(wǎng)絡(luò)診斷模型為基礎(chǔ)。卷積神經(jīng)網(wǎng)絡(luò)是一種具有前饋功能的深度神經(jīng)網(wǎng)絡(luò)，對(duì)變壓器特征信息的提取具有非常優(yōu)異的能力。傳統(tǒng)卷積網(wǎng)絡(luò)的變壓器診斷結(jié)構(gòu)如圖2所示[21]。

圖2 卷積網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Structure of CNN

診斷模型的輸入為同一時(shí)間變壓器油中溶解氣體構(gòu)成的三維張量x。在經(jīng)過多個(gè)卷積核提取特征后，形成多個(gè)不同的特征通道，體現(xiàn)為溶解氣體與變壓器運(yùn)行狀態(tài)的耦合關(guān)系。

卷積層的核心即是卷積核，卷積核在卷積層中不斷滑動(dòng)提取溶解氣體的特征信息。同時(shí)，通過加深卷積網(wǎng)絡(luò)的深度，獲取更深層次的特征。卷積層輸入與輸出的關(guān)系如式(1)所示：

Y=f(T*x+b)

(1)

式中：x為輸入；Y為輸出；b為偏置；T為卷積運(yùn)算的卷積核；f()為非線性的激活函數(shù)。

在卷積層后加入激活函數(shù)，可以使得網(wǎng)絡(luò)具備非線性學(xué)習(xí)的能力。選用線性整流函數(shù)(rectified linear unit, ReLU)作為激活層的激活函數(shù)，式(2)即為ReLU激活函數(shù)。

ReLU(Y)=max(0,Y)

(2)

在卷積網(wǎng)絡(luò)中通過卷積核挖掘溶解氣體與變壓器運(yùn)行狀態(tài)的關(guān)系，經(jīng)過前端多次卷積激活操作后，再輸出為一個(gè)20×5×1的溶解氣體特征張量xc進(jìn)入通道注意力模塊和殘差網(wǎng)絡(luò)。

1.2 通道注意力

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)變壓器故障診斷模型未考慮氣體特征在不同卷積通道對(duì)診斷結(jié)果帶來的影響。為此，該文在診斷模型中引入了通道注意力機(jī)制。通道注意力機(jī)制能自適應(yīng)調(diào)整不同卷積通道的權(quán)重，增大有益信息的權(quán)重，削弱無效的信息，達(dá)到提高變壓器診斷精度的目的。

為了充分挖掘診斷模型中不同的通道特征信息，將卷積層輸出的溶解氣體張量xc作為通道注意力的輸入，通過注意力提取溶解氣體在不同通道間的耦合關(guān)系。通道注意力的結(jié)構(gòu)如圖3所示。

圖3 通道注意力結(jié)構(gòu)圖Fig.3 Structure of Squeeze-and-Excitation

通道注意力機(jī)制主要包含擠壓、激勵(lì)和注意3部分[22]，式(3)、式(4)和式(5)分別為擠壓、激勵(lì)和注意對(duì)應(yīng)的計(jì)算式：

(3)

s=δ(VUf(VDz))

(4)

(5)

1.3 殘差網(wǎng)絡(luò)

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)變壓器故障診斷模型中，隨著網(wǎng)絡(luò)深度的加深，網(wǎng)絡(luò)存在著過擬合和泛化能力降低的問題，殘差網(wǎng)絡(luò)的使用能夠在一定程度上削弱這一問題[23]。

圖4為該文所用殘差網(wǎng)絡(luò)的基本結(jié)構(gòu)。操作步驟如下：

圖4 殘差網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Structure of residual network

1)卷積層1經(jīng)卷積運(yùn)算F1(x)=f(T1*x+b)得到F1(x)。

2)卷積層2經(jīng)卷積運(yùn)算F2(x)=f(T2*F1(x)+b)得到F2(x)。

3)再計(jì)算2個(gè)卷積網(wǎng)絡(luò)層間的差異信息H(x)，H(x)的計(jì)算式如式(6)所示：

H(x)=F1(x)-F2(x)

(6)

溶解氣體特征張量F1(x)、F2(x)經(jīng)過殘差運(yùn)算后，診斷模型的學(xué)習(xí)對(duì)象由原本的恒等映射，轉(zhuǎn)化為殘差H(x)的學(xué)習(xí)。最后將殘差H(x)輸出到卷積層充分挖掘溶解氣體與變壓器運(yùn)行狀態(tài)間的關(guān)系。

1.4 SE-Res-CNN模型

該文提出的SE-Res-CNN變壓器診斷模型結(jié)構(gòu)如圖5所示。

圖5 SE-Res-CNN結(jié)構(gòu)圖Fig.5 Structure of SE-Res-CNN

在SE-Res-CNN模型中，變壓器的油中溶解氣體信息，經(jīng)過卷積層、通道注意力、殘差網(wǎng)絡(luò)提取信息后，再一次進(jìn)入卷積層充分挖掘溶解氣體與變壓器運(yùn)行狀態(tài)間的耦合關(guān)系，最后進(jìn)入Softmax分類器，得到各個(gè)運(yùn)行狀態(tài)的概率。根據(jù)Softmax分類器確定的概率得出變壓器的運(yùn)行狀態(tài)，完成變壓器的故障診斷。

在該文采用的SE-Res-CNN模型中，通過多次測試，設(shè)置參數(shù)如下：設(shè)置6層卷積層，每一層的卷積核數(shù)目均為20，卷積核大小為1×1，步長為1。模型的損失函數(shù)采用交叉熵?fù)p失函數(shù)(categorical_crossentropy)，使用Adam梯度下降優(yōu)化算法，學(xué)習(xí)率0.02，迭代次數(shù)設(shè)置為500次。

該文所提變壓器故障診斷模型的完整流程圖如圖6所示。首先，對(duì)變壓器數(shù)據(jù)做出必要的預(yù)處理，剔除記錄不完整的數(shù)據(jù)，再將油中溶解氣體數(shù)據(jù)做歸一化處理，并對(duì)變壓器的運(yùn)行狀態(tài)做編碼處理。然后，將處理好的數(shù)據(jù)分割為訓(xùn)練集和測試集，訓(xùn)練集用來建立最終的模型，測試集用來測試模型的診斷性能。最后，根據(jù)診斷模型輸出的故障狀態(tài)概率，確定變壓器的故障狀態(tài)。

圖6 故障診斷流程圖Fig.6 Flow chart of fault diagnosis

2 變壓器故障診斷試驗(yàn)分析

2.1 數(shù)據(jù)預(yù)處理

該文數(shù)據(jù)來源于變壓器監(jiān)測數(shù)據(jù)、權(quán)威數(shù)據(jù)庫IECT10數(shù)據(jù)集[24]和文獻(xiàn)[25]，去除重復(fù)數(shù)據(jù)后的790組離散型數(shù)據(jù)。

由于不同變壓器油中溶解氣體含量數(shù)值差異較大，為減小這種差異對(duì)診斷模型的影響，對(duì)各狀態(tài)的氣體含量做出歸一化處理，歸一化如式(7),歸一化后的氣體含量數(shù)值均在[0,1]上。

(7)

將歸一化后的數(shù)值構(gòu)成一個(gè)形狀為1×5×1的三維張量s作為模型的輸入，如式(8)所示：

x={c(C2H2),c(C2H4),c(C2H6),c(CH4),c(H2)}

(8)

式中：c(X)為氣體X對(duì)應(yīng)濃度歸一化后的值。

變壓器的常見故障狀態(tài)有高能放電、局部放電、低能放電、高溫過熱、中溫過熱和低溫過熱。由于故障狀態(tài)不能直接作為模型的訓(xùn)練標(biāo)簽，對(duì)字符標(biāo)簽的處理方式有多種，該文選用了較為常用的One-Hot編碼，編碼如表1所示。

表1 變壓器故障類型Table 1 Types of transformer fault

為減小數(shù)據(jù)分布對(duì)結(jié)果的影響，在建立模型前對(duì)數(shù)據(jù)做均勻化處理，即在每個(gè)狀態(tài)內(nèi)，將數(shù)據(jù)順序進(jìn)行隨機(jī)排序。同時(shí)，再在每個(gè)狀態(tài)內(nèi)抽取約20%的數(shù)據(jù)作為測試集，共隨機(jī)抽取150組測試集，640組訓(xùn)練集，如表2所示。訓(xùn)練集在用于建立模型前隨機(jī)打亂順序。

表2 訓(xùn)練集與測試集分類Table 2 The number of training and test set classifications

2.2 試驗(yàn)對(duì)比分析

對(duì)同一組變壓器油色譜數(shù)據(jù)采用BP、DBN、CNN、SE-CNN、Res-CNN和SE-Res-CNN等6種不同的診斷模型進(jìn)行診斷，并對(duì)故障診斷結(jié)果做出對(duì)比分析。采用的準(zhǔn)確率評(píng)價(jià)指標(biāo)如式(9)所示。

(9)

式中：acc為準(zhǔn)確率；N為測試集的數(shù)量；Nerror為誤診數(shù)量。

圖7為不同卷積層數(shù)下訓(xùn)練集的誤差率，圖7顯示卷積層在5層與6層時(shí)，誤差率均較低。通過多次對(duì)比試驗(yàn)表明，卷積層數(shù)為6層時(shí)模型診斷的穩(wěn)定性優(yōu)于5層，最終確定卷積層數(shù)為6。對(duì)比模型參數(shù)設(shè)置可參考文獻(xiàn)[7-8]，并適當(dāng)調(diào)整后確定。

圖7 卷積層數(shù)與誤差率關(guān)系Fig.7 Relationship between the number of convolutional layers and the error rate

圖8為SE-Res-CNN、SE-CNN、Res-CNN、CNN和BP診斷方法的訓(xùn)練損失圖。從圖中可以看出，模型 SE-Res-CNN的訓(xùn)練損失低于BP、CNN、Res-CNN和SE-CNN的訓(xùn)練損失，在訓(xùn)練500輪左右，損失曲線趨于平穩(wěn)，表現(xiàn)出較好的穩(wěn)定性。SE-Res-CNN的訓(xùn)練損失相比于其他4種，整體的訓(xùn)練損失也最低。

圖8 訓(xùn)練損失對(duì)比Fig.8 Comparison of training loss

表3為 SE-Res-CNN、SE-CNN、CNN、DBN、Res-CNN和BP診斷模型在表2所述測試集上重復(fù)次試驗(yàn)的診斷情況。從表中看出，含有通道注意力的SE-CNN診斷模型精度高于不含通道注意力的Res-CNN和CNN模型，可見通道注意力在卷積網(wǎng)絡(luò)中，能夠有效提高模型的診斷精度。

從表3中得出，該文所提出的診斷方法的平均準(zhǔn)確率最高，達(dá)到了95.07%，相比于SE-CNN、Res-CNN、CNN、DBN和BP的診斷精度分別提高了2.94%、2.61%、3.4%、12.54%和10.14%。在多次重復(fù)性的試驗(yàn)中，SE-Res-CNN診斷模型的單次準(zhǔn)確率均在93%以上，準(zhǔn)確率均高于其他4種診斷模型?？梢?，通道注意力、殘差網(wǎng)絡(luò)和跨網(wǎng)絡(luò)層連接方式的同時(shí)使用，能夠有效地提高故障診斷精度。

表3 不同模型的診斷準(zhǔn)確率Table 3 Diagnostic accuracy rates of different models 單位：%

圖9為SE-Res-CNN診斷結(jié)果的混淆矩陣，縱坐標(biāo)表示變壓器的實(shí)際狀態(tài)，橫坐標(biāo)為模型診斷的狀態(tài)，主對(duì)角線為診斷結(jié)果與真實(shí)狀態(tài)一致的數(shù)量，非主對(duì)角線為誤診數(shù)量，圖中顏色越深表明該狀態(tài)診斷準(zhǔn)確率越高?？梢钥闯觯琒E-Res-CNN診斷模型具有很高的診斷準(zhǔn)確度，在同類型的過熱或放電故障中，也具有較高的準(zhǔn)確率，表明模型能夠有效識(shí)別同類型易混淆的故障。

圖9 SE-Res-CNN的混淆矩陣Fig.9 Diagnosis confusion matrix of SE-Res-CNN

圖10為不同診斷模型下，變壓器不同故障狀態(tài)的診斷結(jié)果。從圖中可以看出，變壓器處于不同的典型故障狀態(tài)時(shí)，該文所提模型均能夠有效提升診斷的準(zhǔn)確性。

圖10 不同狀態(tài)診斷結(jié)果Fig.10 Diagnosis results of different states

圖11為不同診斷模型重復(fù)20次試驗(yàn)診斷結(jié)果的分布情況，圖中綠點(diǎn)為均值所在位置，黃色虛線為中位數(shù)。從圖中可以看出，該文所提模型的診斷精度在95%左右浮動(dòng)，浮動(dòng)范圍小于其他診斷模型，即診斷穩(wěn)定性優(yōu)于其他診斷模型。

圖11 診斷結(jié)果精度分布圖Fig.11 Diagnosis result accuracy distribution

3 結(jié) 語

針對(duì)傳統(tǒng)的變壓器故障診斷方法準(zhǔn)確率不高和傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)變壓器故障診斷模型未考慮卷積通道差異性的問題，該文提出了SE-Res-CNN故障診斷模型，并通過試驗(yàn)驗(yàn)證做出對(duì)比分析，所得結(jié)論如下：

1)通道注意力機(jī)制在卷積神經(jīng)網(wǎng)絡(luò)的不同通道賦予不同的權(quán)重，能夠使卷積網(wǎng)絡(luò)更為細(xì)致地獲取油中溶解氣體與變壓器運(yùn)行狀態(tài)的內(nèi)在關(guān)系。同時(shí)，殘差的使用能獲取網(wǎng)絡(luò)層之間的差異信息，使得網(wǎng)絡(luò)的訓(xùn)練損失更低，進(jìn)一步提升了診斷模型的性能。

2)在模型中引入通道注意力機(jī)制和殘差網(wǎng)絡(luò)后，與BP、CNN、 SE-CNN和Res-CNN的深度學(xué)習(xí)方法相比，診斷的準(zhǔn)確率得到了有效提升。

3)通過試驗(yàn)對(duì)比分析表明，該文所提出的 SE-Res-CNN診斷模型診斷性能好，且具有較好的穩(wěn)定性。