基于2D-1D深度殘差網(wǎng)絡(luò)的變壓器局部放電模式識(shí)別

賈顏滔，朱永利，莊崟萃

（華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003）

0 引言

電力變壓器運(yùn)行性能直接關(guān)系到系統(tǒng)供電的可靠性。高壓電氣設(shè)備內(nèi)部絕緣性能的降低會(huì)導(dǎo)致其內(nèi)部發(fā)生局部放電，進(jìn)而有可能導(dǎo)致缺陷周圍的絕緣介質(zhì)被進(jìn)一步侵蝕并最終引起沿面閃絡(luò)和絕緣擊穿[1]。不同類型的設(shè)備缺陷所造成的危害程度不同。準(zhǔn)確識(shí)別放電類型，可以為故障危害性評(píng)估和位置定位提供可靠信息[2]。

當(dāng)前，這方面的相關(guān)研究大多數(shù)是圍繞局放信號(hào)的特征提取和分類器展開(kāi)的。

基于人工提取特征的方法，有統(tǒng)計(jì)特征量[3]、信號(hào)熵值特征[4]以及時(shí)頻譜特征[5]方法。雖然上述研究均取得了相當(dāng)程度的成功，但是經(jīng)過(guò)人工精心挑選的特征大多存在一定限制：特征挑選過(guò)程通常需要大量的專家領(lǐng)域知識(shí)，容易出現(xiàn)人為錯(cuò)誤；同時(shí)，獨(dú)立于分類方法的特征提取并不總能表現(xiàn)出最優(yōu)效果[6]。

深度學(xué)習(xí)是一種集特征提取和分類器為一體的方法，其特點(diǎn)是：完全由數(shù)據(jù)驅(qū)動(dòng)、可從高維數(shù)據(jù)中自動(dòng)提取高級(jí)特征。

二維時(shí)頻譜能夠表達(dá)更豐富的時(shí)頻信息，并與卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks,CNN）的圖像處理能力相契合。

文獻(xiàn)[7]將局放信號(hào)變換為邊際譜圖像，利用深度殘差網(wǎng)絡(luò)進(jìn)行特征提取，使識(shí)別準(zhǔn)確率達(dá)到98%。

文獻(xiàn)[8]將盲源分離方法應(yīng)用到聲波時(shí)頻譜，實(shí)現(xiàn)了圖譜域的降噪；使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，提高了噪聲環(huán)境下識(shí)別準(zhǔn)確率。

文獻(xiàn)[9]采用跨層特征的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，雖然實(shí)現(xiàn)了99.5%的識(shí)別準(zhǔn)確率，但在使用大卷積核以獲得更優(yōu)結(jié)果的同時(shí)也帶來(lái)了較大的計(jì)算負(fù)擔(dān)。

文獻(xiàn)[10]采用同步擠壓短時(shí)傅里葉變換方法獲得時(shí)頻譜，并引入Inception模塊來(lái)增強(qiáng)模型特征提取能力。

目前，相關(guān)研究大多都是從時(shí)頻變換方法著手，缺少對(duì)模型時(shí)頻特征表征能力的關(guān)注?；诖?，本文提出一種基于Gabor變換和注意力機(jī)制2D-1D深度殘差網(wǎng)絡(luò)的局放信號(hào)模式識(shí)別方法：首先，對(duì)采集到的一維局放信號(hào)進(jìn)行Gabor變換并提取二維時(shí)頻特征；然后，采用二維頻率密集型卷積核提取頻率特征，對(duì)所得到的時(shí)間序列利用一維時(shí)間卷積網(wǎng)絡(luò)提取時(shí)間分布特征，從而實(shí)現(xiàn)頻率時(shí)間特征的分步提??；通過(guò)融合通道注意力機(jī)制來(lái)增強(qiáng)特征信息，同時(shí)對(duì)特征提取模塊之間進(jìn)行跳躍連接，形成殘差結(jié)構(gòu)。針對(duì)當(dāng)前時(shí)頻譜學(xué)習(xí)任務(wù)在訓(xùn)練過(guò)程中缺乏有效的數(shù)據(jù)增強(qiáng)方法的問(wèn)題，引入了一種特征隨機(jī)遮擋方法來(lái)豐富數(shù)據(jù)多樣性。

1 Gabor變換與CNN基本原理

1.1 Gabor變換

利用傅里葉變換能夠?qū)崿F(xiàn)復(fù)雜信號(hào)頻率信息的自適應(yīng)提取，可以達(dá)到凸顯故障特征的目的。

由于傅里葉變換作用于整個(gè)時(shí)間域，缺乏時(shí)間信息，所以考慮利用短時(shí)傅里葉變換，通過(guò)將源信號(hào)與窗函數(shù)相乘，利用時(shí)域局部窗口來(lái)抑制領(lǐng)域外信息。此時(shí)的傅里葉變換只觀察局部頻率分布，計(jì)算過(guò)程表達(dá)為：

式中：s(u)是時(shí)域信號(hào)；h為窗口函數(shù)；t和v分別為時(shí)間和頻率。

設(shè)定窗口函數(shù)h為高斯函數(shù)，即：

式中：a為窗口系數(shù)。

此時(shí)的短時(shí)傅里葉變換是海森堡不確定準(zhǔn)則下的最優(yōu)變換，即Gabor變換。Gabor變換能夠?qū)⑿畔⑷哂嚯y以理解的一維信號(hào)通過(guò)先驗(yàn)知識(shí)轉(zhuǎn)變?yōu)榫哂忻鞔_物理意義的二維時(shí)頻譜，使特征更符合人類直覺(jué)感知。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN及其變體被認(rèn)為是計(jì)算機(jī)視覺(jué)領(lǐng)域最有效的算法之一。CNN中包含了感受野、參數(shù)共享和降采樣思想，其核心運(yùn)算過(guò)程為：將特征圖與卷積核進(jìn)行卷積操作，通過(guò)在特征圖上平移卷積實(shí)現(xiàn)參數(shù)共享，將結(jié)果經(jīng)過(guò)非線性激活、池化等操作后饋入下一層網(wǎng)絡(luò)[11]。過(guò)程可以概括如下：

式中：xl為第l層網(wǎng)絡(luò)特征圖；“*”表示卷積操作；Wl為第l層核矩陣參數(shù)；bl為偏置向量；δ為非線性激活操作。

目前最常用的激活函數(shù)為線性整流函數(shù)（rectified linear unit，ReLU），其表達(dá)式如下：

2 2D-1D深度殘差網(wǎng)絡(luò)

2.1 2D-1D網(wǎng)絡(luò)

CNN通常采用小尺寸（通常為3×3或5×5）的正方形卷積核[12]，其工作模式類似于紋理濾波器——通過(guò)將卷積核在特征圖上滑動(dòng)遍歷來(lái)匹配局部紋理，并利用最大值池化操作減小特征圖尺寸、擴(kuò)大卷積核視野。該操作賦予了CNN旋轉(zhuǎn)平移不變特性，使其在視覺(jué)任務(wù)中有著不俗的表現(xiàn)。

在時(shí)頻譜中，紋理信息是一種不穩(wěn)健的特征。同時(shí)，旋轉(zhuǎn)平移的不變會(huì)造成時(shí)間頻率的絕對(duì)分布信息被扭曲。有研究者發(fā)現(xiàn)，利用非方形卷積核能夠更好地實(shí)現(xiàn)對(duì)時(shí)頻特征建模[13]。

基于此，本文采用完全覆蓋頻率軸的H×5二維卷積核來(lái)引導(dǎo)網(wǎng)絡(luò)對(duì)脈沖頻率特征進(jìn)行建模，其中H為時(shí)頻譜頻率軸高度。如圖1所示，通過(guò)一次沿時(shí)間軸滑動(dòng)的頻率密集型卷積來(lái)建立頻率特征沿時(shí)間軸的分布信息。對(duì)得到的包含頻率信息的時(shí)間序列，利用一維時(shí)間卷積來(lái)建立時(shí)間依賴關(guān)系，實(shí)現(xiàn)對(duì)頻率和時(shí)間信息的分步建模。

2D-1D卷積網(wǎng)絡(luò)模型如圖1所示。與利用傳統(tǒng)CNN學(xué)習(xí)紋理信息相比，2D-1D結(jié)構(gòu)卷積網(wǎng)絡(luò)強(qiáng)迫模型對(duì)頻率時(shí)間分布敏感，更有利于對(duì)時(shí)頻譜特征建模。

圖1 2D-1D卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 2D-1D convolution network structure

2.2 殘差模塊

隨著模型深度的增加，梯度信息在經(jīng)過(guò)多層反向傳播后可能會(huì)消失，從而導(dǎo)致模型難以收斂；因此，如圖2所示，在卷積模塊間引入跳躍連接結(jié)構(gòu)來(lái)保障梯度的傳遞[14]。

圖2 殘差模塊結(jié)構(gòu)Fig. 2 Residual model structure

假設(shè)原本模塊對(duì)于輸入x的預(yù)測(cè)值為F(x)。殘差連接的存在使得模塊變?yōu)閷W(xué)習(xí)擬合加和值x+F(x)。在反向傳播過(guò)程中，根據(jù)鏈?zhǔn)角髮?dǎo)法則，第l+1層的求導(dǎo)結(jié)果可以表示為：

式中：L為分類損失值；xl+1為第l+1個(gè)殘差塊的輸入特征圖。

加和的梯度信息有效緩解了反向傳播時(shí)梯度消失的風(fēng)險(xiǎn)，加快了模型收斂速度。同時(shí)，分支的設(shè)計(jì)也豐富了特征信息，能夠提高模型精確度。

2.3 通道注意力

注意力機(jī)制是一種自主學(xué)習(xí)權(quán)重分配的方法。

通過(guò)學(xué)習(xí)來(lái)分配通道權(quán)重，能夠使特征信息得到增強(qiáng)?；趬嚎s激勵(lì)（squeeze and excitation，SE）的通道注意力模塊是一種輕量級(jí)注意力模塊[15]，能夠被很好地嵌入到各種模型之中。SE的計(jì)算過(guò)程可以表述為通道擠壓和特征激勵(lì)2個(gè)過(guò)程，如圖3所示。

圖3 通道注意力計(jì)算流程Fig. 3 Calculation process of channel attention

對(duì)于所輸入的T×C大小特征圖，使用全局均值池化進(jìn)行壓縮，可得到1×C大小的均值特征張量。將張量的特征維度壓縮到輸入的1/r，然后利用 ReLU函數(shù)進(jìn)行非線性激勵(lì)，最后通過(guò)全連接層恢復(fù)通道維數(shù)并整合特征信息、計(jì)算通道貢獻(xiàn)率。具體計(jì)算方法表示為：

式中：w1，w0為全連接層權(quán)重矩陣；Fave為全局平均池化結(jié)果；δ為ReLU函數(shù)，用于對(duì)張量進(jìn)行非線性變換；θ為sigmoid函數(shù)，用于將張量輸出映射到0～1區(qū)間以實(shí)現(xiàn)對(duì)通道貢獻(xiàn)率打分。注意力張量與原特征圖矩陣逐通道相乘得到通道注意力特征圖。

2.4 基于注意力機(jī)制的2D-1D深度殘差網(wǎng)絡(luò)

本文提出一種2D-1D深度殘差網(wǎng)絡(luò)來(lái)分步提取時(shí)頻特征，其架構(gòu)和參數(shù)如圖4所示。

圖4 基于注意力機(jī)制的2D-1D深度殘差網(wǎng)絡(luò)模型架構(gòu)Fig. 4 Model framework of 2D-1D depth residual network based on attention mechanism

模型運(yùn)算可以劃分為3個(gè)模塊：第一階段為頻率特征提取模塊，第二、三階段為encoder時(shí)間卷積網(wǎng)絡(luò)。

模型運(yùn)算過(guò)程如下：對(duì)于輸入尺寸為（1,129,390）的時(shí)頻譜，在第一階段利用 64個(gè)129×5的二維卷積核進(jìn)行頻率濾波。卷積核的高度完全覆蓋頻率軸。卷積核沿時(shí)間軸方向以步長(zhǎng)為2的形式進(jìn)行滑動(dòng)，經(jīng)過(guò)BN層后以ReLU函數(shù)激活。然后，利用大小為 1×3、步長(zhǎng)為 2的最大池化層降維。在第二、三階段，由卷積核大小為 1×5的殘差單元堆疊組成的殘差時(shí)間卷積網(wǎng)絡(luò)、（以步長(zhǎng)為2）代替池化層實(shí)現(xiàn)下采樣。在殘差模塊中嵌入SE通道注意力，對(duì)時(shí)序進(jìn)行特征提取。最后，通過(guò)全局平均池化壓縮得到（256,1,1）的張量，利用全連接層進(jìn)行故障分類。

研究發(fā)現(xiàn)[16]，在深層網(wǎng)絡(luò)中采用更復(fù)雜的激活函數(shù)，如 swish函數(shù)，能夠提高模型精度；而swish計(jì)算復(fù)雜度高且存在飽和性，容易導(dǎo)致梯度消失。硬編碼的h-swish函數(shù)圖像與swish近似，其計(jì)算復(fù)雜度低，且能達(dá)到相近的非線性激勵(lì)效果。

h-swish計(jì)算表達(dá)式如下：

式中：x為輸入變量；δ為ReLU6函數(shù)。

為了充分發(fā)揮h-swish的深層激勵(lì)作用，在本文模型中，對(duì)第二階段的淺層網(wǎng)絡(luò)依然采用ReLU激活，而將第三階段的深層網(wǎng)絡(luò)激活函數(shù)替換為h-swish函數(shù)。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)來(lái)源

在實(shí)驗(yàn)室環(huán)境下，針對(duì)懸浮放電、板間放電、尖對(duì)板放電和電暈放電，搭建了4種變壓器缺陷驗(yàn)證模型。除了電暈放電模型外，其他模型均處于絕緣油放電環(huán)境中。

實(shí)驗(yàn)中所用的高壓實(shí)驗(yàn)平臺(tái)型號(hào)為 TW15133-10/100am。參考國(guó)標(biāo)IEC 60270-2000標(biāo)準(zhǔn)，以脈沖電流法采集放電信號(hào)。采樣頻率為40 MHz，頻帶寬度為 40 Hz～300 kHz。

懸浮放電驗(yàn)證模型：分別在高壓電極與接地電極處放置絕緣板，并將金屬顆粒放置于絕緣板中間。

板間放電驗(yàn)證模型：絕緣板置于圓形板狀電極間。

尖對(duì)板放電驗(yàn)證模型：高壓電極為針狀電極，接地電極為圓形板狀電極，置絕緣板于電極之間。

電暈放電驗(yàn)證模型：通過(guò)在高壓電極端放置銅絲實(shí)現(xiàn)在空氣中產(chǎn)生電暈放電。

3.1.1 數(shù)據(jù)采集與劃分

在實(shí)驗(yàn)過(guò)程中，對(duì)放電模型施加不同大小的電壓，并將一個(gè)工頻周期內(nèi)采集到的放電數(shù)據(jù)作為一次放電樣本。

采集到的放電數(shù)據(jù)按照每種故障類型隨機(jī)篩選150個(gè)樣本來(lái)構(gòu)建數(shù)據(jù)集，以保證放電樣本稀疏性和隨機(jī)性。對(duì)于構(gòu)建好的數(shù)據(jù)集，按照 2:1的比例進(jìn)行劃分，得到訓(xùn)練集和測(cè)試集中每種故障樣本個(gè)數(shù)分別為100和50。

3.1.2 數(shù)據(jù)預(yù)處理

時(shí)頻變換。對(duì)原始電信號(hào)數(shù)據(jù)進(jìn)行Gabor變換，得到二維時(shí)頻譜。

歸一化。將時(shí)頻矩陣的值歸一化到 0～1，歸一化公式為：

式中：xmax、xmin分別為時(shí)頻矩陣最大值和最小值。

考慮時(shí)頻矩陣較大，為方便計(jì)算，采用線性插值法將其縮放到129×390的大小并以灰度圖形式存儲(chǔ)。此時(shí)，橫軸和縱軸分別反映時(shí)間、頻率信息，像素點(diǎn)亮度表示信號(hào)能量分布。

時(shí)域信號(hào)及其對(duì)應(yīng)時(shí)頻譜如圖5所示。

圖5 放電信號(hào)及其時(shí)頻譜Fig. 5 Discharge signal and time-frequency spectrum

電暈放電主要發(fā)生在后半周，且脈沖幅值基本相等，通過(guò)時(shí)域特征就能較好識(shí)別；其他3種缺陷在時(shí)域分布上較為相似，在時(shí)域識(shí)別困難。經(jīng)過(guò)Gabor時(shí)頻變換后，可以看出，4種缺陷的時(shí)間分布和主要頻率成分都具有很大差異，因此可以將其作為區(qū)分不同放電類型的特征。

3.2 模型訓(xùn)練

3.2.1 隨機(jī)遮擋數(shù)據(jù)增強(qiáng)

在計(jì)算機(jī)視覺(jué)任務(wù)中，常利用平移、旋轉(zhuǎn)、隨機(jī)裁剪等方法來(lái)對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)和擴(kuò)充，以豐富數(shù)據(jù)的多樣性、提高模型的泛化性。然而，對(duì)于2個(gè)維度都有獨(dú)立物理意義的時(shí)頻譜，上述數(shù)據(jù)增強(qiáng)方法明顯不適合。

當(dāng)前，在時(shí)頻譜學(xué)習(xí)任務(wù)相關(guān)研究中，尚缺乏有效數(shù)據(jù)增強(qiáng)方法方面的相關(guān)研究成果。

鑒于此，本文引入一種隨機(jī)遮擋方法[17]。在訓(xùn)練過(guò)程中，將圖譜的部分區(qū)域內(nèi)像素值置換為隨機(jī)噪聲，對(duì)特征進(jìn)行遮擋和干擾。遮擋的位置和面積均隨機(jī)生成。這種數(shù)據(jù)增強(qiáng)方法不會(huì)破壞圖譜的時(shí)頻分布，同時(shí)強(qiáng)迫模型學(xué)習(xí)全局特征而非局部特征，所以能夠提高模型的抗干擾能力和泛化性。

3.2.2 訓(xùn)練模型

本文算法在 Pytorch框架上實(shí)現(xiàn)：batch size大小為32。初始學(xué)習(xí)率為0.05。采用余弦退火算法動(dòng)態(tài)改變學(xué)習(xí)率。隨機(jī)遮擋概率為0.5。迭代訓(xùn)練150輪次。

模型訓(xùn)練的損失曲線和測(cè)試準(zhǔn)確率曲線如圖6所示。圖6中，前期正確率出現(xiàn)波動(dòng)，這是由于較大學(xué)習(xí)率和隨機(jī)遮擋增強(qiáng)方法引起訓(xùn)練初期不穩(wěn)定所導(dǎo)致；經(jīng)過(guò)100輪次訓(xùn)練后，模型損失值和正確率都逐漸平穩(wěn)，說(shuō)明模型已經(jīng)學(xué)習(xí)到穩(wěn)健特征。

圖6 模型訓(xùn)練過(guò)程中的損失曲線及正確率曲線Fig. 6 Loss curve and accuracy curve during model training

訓(xùn)練好的模型在測(cè)試集上的混淆矩陣如表 1所示。

注意力機(jī)制可以通過(guò)通道之間交互來(lái)分配注意力權(quán)重，進(jìn)而增強(qiáng)特征信息。

為了探究注意力機(jī)制對(duì)模型的影響，在上述模型的基礎(chǔ)上，將SE模塊刪除并進(jìn)行訓(xùn)練。將訓(xùn)練好的模型在測(cè)試集上進(jìn)行測(cè)試，結(jié)果表明，引入注意力機(jī)制后，模型對(duì)“尖對(duì)板”放電類型的識(shí)別率提高了 2%，總體識(shí)別率提高了 0.5%。綜上可以得出，引入注意力機(jī)制能夠在一定程度上提高模型識(shí)別準(zhǔn)確率。

3.3 實(shí)驗(yàn)對(duì)比分析

3.3.1 與深度學(xué)習(xí)方法對(duì)比

搭建視覺(jué)領(lǐng)域經(jīng)典模型AlexNet、VGGNet16和ResNet18，并在相同數(shù)據(jù)集上進(jìn)行訓(xùn)練；將訓(xùn)練好的模型在測(cè)試集上與本文方法進(jìn)行測(cè)試對(duì)比。對(duì)比結(jié)果如表2所示。

表2 深度學(xué)習(xí)方法識(shí)別結(jié)果對(duì)比Tab. 2 Comparison with the recognition results of deep learning methods %

由表 2可以看出，ResNet的識(shí)別準(zhǔn)確率為98.5%；VGGNet由于參數(shù)較多，需要采用低學(xué)習(xí)率經(jīng)過(guò)更多輪次訓(xùn)練才能收斂，準(zhǔn)確率為 98%；AlexNet準(zhǔn)確率為97%，相對(duì)較低。本文方法準(zhǔn)確率達(dá)到了99.5%，識(shí)別精度最高。

3.3.2 與人工特征方法對(duì)比

為了驗(yàn)證本文所述方法提取特征的有效性，選擇矩特征[18]、方向梯度直方圖（histogram of oriented gradient，HOG）[19]與奇異值分解（singular value decomposition，SVD）[20]這3種常見(jiàn)時(shí)頻譜特征提取方法作為本文方法對(duì)比對(duì)象。將提取到的特征向量采用基于徑向基函數(shù)的支持向量機(jī)進(jìn)行分類，并通過(guò)網(wǎng)格搜索法和交叉驗(yàn)證來(lái)確定參數(shù)。對(duì)比結(jié)果如表3所示。

從表3可以看出，基于矩特征和奇異值分解的時(shí)頻譜識(shí)別方法都能取得較好的識(shí)別準(zhǔn)確率，而基于HOG特征的方法表現(xiàn)不佳。相比于傳統(tǒng)人工選擇特征，基于深度學(xué)習(xí)故障分類方法簡(jiǎn)化了特征提取過(guò)程，避免了主觀性帶來(lái)的影響，同時(shí)也表現(xiàn)出更佳的性能。

表3 與人工選擇特征法對(duì)比結(jié)果Tab. 3 Comparison with the results of artificial selection feature methods %

3.3.3 不同樣本量識(shí)別結(jié)果對(duì)比

為比較不同方法在不同樣本量下的泛化性，分別在1/4、2/4、3/4和4/4訓(xùn)練集下進(jìn)行訓(xùn)練；保持測(cè)試集不變。測(cè)試模型準(zhǔn)確率，結(jié)果如表 4所示。

表4 不同訓(xùn)練集規(guī)模下識(shí)別結(jié)果比較Tab. 4 Comparison of results under different number of samples %

由表4中結(jié)果可以看出：

本文方法在訓(xùn)練樣本數(shù)量為原訓(xùn)練集1/4時(shí)，仍然能夠取得不錯(cuò)的識(shí)別率。

AlexNet在小樣本下識(shí)別精度較低；在訓(xùn)練樣本數(shù)量為原訓(xùn)練集1/4時(shí)，則表現(xiàn)出過(guò)擬合趨勢(shì)。

VGGNet由于模型復(fù)雜參數(shù)量大，在訓(xùn)練樣本較少時(shí)難以收斂，隨著訓(xùn)練樣本增加準(zhǔn)確率也能快速提高。

ResNet利用殘差結(jié)構(gòu)有效緩解了梯度消失，使其收斂更快，在小樣本下依然有較高準(zhǔn)確率。

隨著數(shù)據(jù)量逐步增加，所有網(wǎng)絡(luò)的精度都穩(wěn)定上升并最終趨于飽和。

與紋理特征相比，本文方法通過(guò)學(xué)習(xí)頻率和時(shí)間特征，使其更具泛化性；因此，在訓(xùn)練樣本較少時(shí)，本文方法也能取得更佳的效果。

4 可視化分析

t-SNE是一種無(wú)監(jiān)督數(shù)據(jù)降維聚類方法，能夠?qū)⒏呔S原始數(shù)據(jù)降維到具有良好相似度的二維、三維特征，因此常常被用于數(shù)據(jù)可視化[21]。

本文利用t-SNE工具，對(duì)測(cè)試集的200個(gè)樣本進(jìn)行降維可視化，結(jié)果如圖7所示。

圖7 輸入圖像的可視化結(jié)果Fig. 7 Visualization results of input images

從圖7中可以看出，故障樣本的數(shù)據(jù)點(diǎn)相互混雜交錯(cuò)在一起，且故障樣本遍布了整個(gè)區(qū)域；同時(shí)，懸浮放電和尖對(duì)板放電特征較為相似，樣本點(diǎn)相互疊加在一起。

將樣本輸入到本文模型，對(duì)全連接分類層所學(xué)習(xí)到的特征進(jìn)行降維，結(jié)果如圖8所示。從圖8中可以看出，同種故障樣本聚集在一起，不同樣本聚簇之間相互距離較遠(yuǎn)，具有良好可分性。該結(jié)果表明，模型經(jīng)過(guò)訓(xùn)練后學(xué)習(xí)到了穩(wěn)健的特征。

圖8 輸入全連接分類層的特征向量可視化結(jié)果Fig. 8 Visualization results of feature vectors input to the fully connected classification layer

5 結(jié)論

文中提出了一種基于Gabor變換和注意力機(jī)制 2D-1D深度殘差網(wǎng)絡(luò)的局部放電模式識(shí)別方法。通過(guò)對(duì)比實(shí)驗(yàn)，得出以下結(jié)論：

（1）通過(guò)Gabor時(shí)頻變換將冗長(zhǎng)難以理解的一維放電信號(hào)轉(zhuǎn)換為符合人類感知直覺(jué)的二維時(shí)頻譜，有利于局放信號(hào)特征信息的表達(dá)。采用2D-1D結(jié)構(gòu)的卷積網(wǎng)絡(luò)，分步提取頻率和時(shí)間特征，并融合通道注意力機(jī)制，使模型的識(shí)別準(zhǔn)確率達(dá)到了 99.5%，優(yōu)于經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)和人工提取特征方法。同時(shí)，模型在小樣本下進(jìn)行訓(xùn)練也能取得較好結(jié)果。

（2）針對(duì)當(dāng)前常用數(shù)據(jù)增強(qiáng)方法不適用于時(shí)頻譜的問(wèn)題，文中引入了一種隨機(jī)擦除的數(shù)據(jù)增強(qiáng)方法。通過(guò)隨機(jī)像素遮擋的方法，實(shí)現(xiàn)了在不破壞時(shí)頻絕對(duì)分布的前提下強(qiáng)迫模型學(xué)習(xí)全局特征。

今后研究重點(diǎn)為多源放電的多信息融合診斷方法。