適用于局放模式識(shí)別的WGAN-GP數(shù)據(jù)增強(qiáng)方法

路士杰，董馳，顧朝敏，鄭寶良，劉兆宸，謝慶，謝軍

(1.國(guó)網(wǎng)河北能源技術(shù)服務(wù)有限公司，石家莊050400；2. 國(guó)網(wǎng)河北省電力有限公司電力科學(xué)研究院，石家莊 050021；3. 科暢電氣有限公司，河北 保定072558；4. 新能源電力系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室(華北電力大學(xué))，河北 保定071003)

0 引言

變電主設(shè)備正常運(yùn)行是保證電力系統(tǒng)安全可靠運(yùn)行的重要基礎(chǔ)[1 - 2]。局部放電現(xiàn)象作為引起絕緣性能降低甚至劣化的關(guān)鍵因素[3 - 4]，對(duì)局放類型的精準(zhǔn)辨識(shí)可以為電力設(shè)備健康狀態(tài)評(píng)估提供可靠的參考信息，及時(shí)消除故障，預(yù)防事故發(fā)生[5]。

人工智能技術(shù)隨著其高速發(fā)展在變電設(shè)備故障診斷領(lǐng)域也得到了廣泛的應(yīng)用，傳統(tǒng)的機(jī)器學(xué)習(xí)算法[6 - 8]本質(zhì)上屬于淺層學(xué)習(xí)，難以挖掘局放信號(hào)的高維特征，造成局放信號(hào)模式識(shí)別準(zhǔn)確率偏低。深度學(xué)習(xí)因其優(yōu)越的數(shù)據(jù)特征挖掘能力在局部放電故障診斷領(lǐng)域快速發(fā)展[9 - 11]。基于深度學(xué)習(xí)的局放信號(hào)模式識(shí)別模型對(duì)局放信號(hào)樣本的類間均衡度有較強(qiáng)的需求[12]，樣本數(shù)量過少會(huì)帶來模型訓(xùn)練過擬合甚至訓(xùn)練過程不收斂等問題，樣本不均衡會(huì)導(dǎo)致模式識(shí)別結(jié)果偏向于多數(shù)類樣本，對(duì)少數(shù)類樣本識(shí)別效果不佳[13]。由于局部放電是偶發(fā)故障，樣本數(shù)量匱乏且類型分布極不均衡，造成局放故障漏判、模式識(shí)別準(zhǔn)確率偏低等情況[14]，限制了基于深度學(xué)習(xí)的局放信號(hào)模式識(shí)別模型的識(shí)別效果及泛化能力。

針對(duì)局放信號(hào)模式識(shí)別中樣本數(shù)量少、類型分布不均衡的現(xiàn)狀，通常采用數(shù)據(jù)增強(qiáng)的方法來提高分類器訓(xùn)練效果和泛化能力。傳統(tǒng)數(shù)據(jù)增強(qiáng)方法包括欠采樣、過采樣以及圖形變換[15 - 17]，這類方法忽略了數(shù)據(jù)集整體分布特征，在模型分類效果上提升有限[18]。近年來，基于深度學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法被廣泛應(yīng)用于局放信號(hào)數(shù)據(jù)增強(qiáng)中。變分自編碼器(variational autoencoder, VAE)是一種深度隱空間生成模型，可以有效提取局放信號(hào)內(nèi)在表達(dá)，但生成的局放信號(hào)圖像較為模糊，多樣性較差[19]。生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network, GAN)能在沒有任何先驗(yàn)假設(shè)的情況下，通過無監(jiān)督學(xué)習(xí)獲得數(shù)據(jù)間的潛在分布規(guī)律并生成新的局放樣本[20]，包括條件生成對(duì)抗網(wǎng)絡(luò)(conditional GAN, CGAN)以及Wasserstein生成對(duì)抗網(wǎng)絡(luò)(Wasserstein GAN, WGAN)[21]。傳統(tǒng)GAN模型雖然能夠生成局放樣本，但其對(duì)噪聲非常敏感，由于其選用了JS散度衡量生成數(shù)據(jù)與原始數(shù)據(jù)的距離，如果初始輸入噪聲的分布選擇不當(dāng)，導(dǎo)致生出數(shù)據(jù)的概率分布與真實(shí)數(shù)據(jù)集的概率分布不相重合，則生成器的損失函數(shù)恒為常數(shù)，即遇到了梯度消失的情況，整個(gè)訓(xùn)練無法進(jìn)行。深度卷積生成對(duì)抗網(wǎng)絡(luò)(deep convolutional GAN, DCGAN)使用卷積層代替了全連接層，利用卷積核提取局放信號(hào)特征進(jìn)行數(shù)據(jù)增強(qiáng)，但沒有從根本上解決訓(xùn)練不穩(wěn)定的問題，在訓(xùn)練過程中需要小心平衡生成器與判別器的訓(xùn)練進(jìn)程[22]。邊界平衡生成對(duì)抗網(wǎng)絡(luò)(boundary equilibrium GAN, BEGAN)[23]將自編碼器作為生成模型的判別器，并引入了平衡策略，可以加速網(wǎng)絡(luò)的收斂過程，但生成局放信號(hào)多樣性較差。

針對(duì)上述難題，本文提出適用于局放模式識(shí)別的WGAN-GP數(shù)據(jù)增強(qiáng)方法，將Wasserstein距離作為目標(biāo)函數(shù)、并引入梯度懲罰項(xiàng)來滿足1-Lipschitz條件限制，解決了GAN中因?yàn)榉植疾恢丿B帶來的梯度消失問題，生成的數(shù)據(jù)樣本相似性更高、多樣性更豐富，實(shí)驗(yàn)結(jié)果表明，基于WGAN-GP數(shù)據(jù)增強(qiáng)的局部放電故障模式識(shí)別具有更高的準(zhǔn)確率。

1 局放信號(hào)預(yù)處理

設(shè)計(jì)4種放電模型如圖1所示，用以模擬變壓器常見絕緣缺陷。尖端放電、沿面放電、懸浮放電中紙板厚度均為2 mm，氣泡放電模型中氣泡結(jié)構(gòu)由厚度分別為0.5、2、0.5 mm的3層紙板組成。

圖1 4種局放絕緣缺陷模型Fig.1 Four models of partial discharge(PD) insulation defects

采用高頻電流法測(cè)量局放脈沖，試驗(yàn)電路如圖2所示。實(shí)驗(yàn)時(shí)采樣頻率為100 MHz，連續(xù)采集100個(gè)工頻周期放電信號(hào)作為一個(gè)長(zhǎng)時(shí)信號(hào)樣本。

圖2 局部放電實(shí)驗(yàn)平臺(tái)接線圖Fig.2 Wiring diagram of PD test platform

為了進(jìn)一步提高局放信號(hào)質(zhì)量，本文提出自適應(yīng)加權(quán)分幀快速稀疏表示去噪方法[24]，該方法幅值誤差及波形畸變均較小，采用該方法對(duì)局放樣本降噪，并進(jìn)行脈沖分提取操作，得到的4種局放脈沖放電信號(hào)波形圖如圖3所示。

圖3 局部放電信號(hào)波形圖Fig.3 Waveforms of partial discharge

2 基于WGAN-GP的局放信號(hào)數(shù)據(jù)增強(qiáng)

2.1 基于WGAN-GP的局放信號(hào)增強(qiáng)模型

WGAN-GP的結(jié)構(gòu)示意圖如圖4所示。

圖4 WGAN-GP結(jié)構(gòu)示意圖Fig.4 Structure diagram of WGAN-GP

基于WGAN-GP的局部放電數(shù)據(jù)增強(qiáng)方法在GAN局放信號(hào)增強(qiáng)模型的基礎(chǔ)上引入了Wasserstein距離，其距離公式如式(1)所示。

(1)

式(1)中期望的下確界不易求得，于是可以將Wasserstein距離轉(zhuǎn)化為Kantorovich-Rubinstein對(duì)偶形式，Wasserstein距離的對(duì)偶形式如式(2)所示。

(2)

式中：D(x)為判別器D的距離代價(jià)函數(shù)；‖D‖L≤1表示判別器距離代價(jià)函數(shù)滿足1-Lipschitz限制。WGAN-GP在WGAN的基礎(chǔ)上加入了梯度懲罰函數(shù)以滿足1-Lipschitz限制，其損失函數(shù)如式(3)所示。

(3)

基于WGAN-GP的數(shù)據(jù)增強(qiáng)方法具體訓(xùn)練流程如下：

1)固定生成器G的各項(xiàng)參數(shù)，根據(jù)式(3)調(diào)節(jié)判別器參數(shù)θD以最小化判別器損失函數(shù)LD；

2)固定判別器D的各項(xiàng)參數(shù)，調(diào)節(jié)生成器參數(shù)θG使式(3)中損失函數(shù)LG最?。?/p>

3)循環(huán)迭代上述兩個(gè)步驟，直到達(dá)到訓(xùn)練網(wǎng)絡(luò)實(shí)現(xiàn)納什均衡即停止訓(xùn)練。

2.2 算法流程

可利用WGAN-GP網(wǎng)絡(luò)生成相似于原始數(shù)據(jù)概率分布的局放時(shí)域樣本，擴(kuò)充后的數(shù)據(jù)庫作為樣本集訓(xùn)練分類器提高其識(shí)別準(zhǔn)確率，實(shí)現(xiàn)局放信號(hào)數(shù)據(jù)增強(qiáng)。基于WGAN-GP數(shù)據(jù)增強(qiáng)的局部放電模式識(shí)別方法框架如圖5所示，其主要步驟如下：

1)局放信號(hào)預(yù)處理：對(duì)實(shí)驗(yàn)采集的局放信號(hào)進(jìn)行去噪及脈沖提??；

2)數(shù)據(jù)增強(qiáng)：以局放脈沖信號(hào)作為樣本，輸入WGAN-GP網(wǎng)絡(luò)，按照訓(xùn)練流程訓(xùn)練生成網(wǎng)絡(luò)；

3)模式識(shí)別：擴(kuò)充原始樣本庫并訓(xùn)練分類器，實(shí)際應(yīng)用時(shí)，將信號(hào)進(jìn)行去噪及脈沖提取，將局放脈沖經(jīng)分類器判斷局部放電類型，實(shí)現(xiàn)模式識(shí)別。

圖5 基于WGAN-GP數(shù)據(jù)增強(qiáng)的局部放電模式識(shí)別框架Fig.5 Framework of PD pattern recognition based on WGAN-GP data enhancement

3 算例分析

3.1 局放信號(hào)數(shù)據(jù)增強(qiáng)模型及樣本庫

經(jīng)反復(fù)調(diào)試，確定判別器選用4層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，生成器采用5層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，WGAN-GP網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如圖6所示。優(yōu)化求解器選用Adam，生成器與判別器學(xué)習(xí)率設(shè)置為0.001，訓(xùn)練輪次為4 000次。

為模擬現(xiàn)場(chǎng)環(huán)境中局放信號(hào)的非平衡小樣本特性，將實(shí)驗(yàn)得到的局放信號(hào)數(shù)據(jù)切分成如表1所示。采用基于WGAN-GP的局放數(shù)據(jù)增強(qiáng)方法擴(kuò)充局放信號(hào)樣本庫，增強(qiáng)后的局放信號(hào)樣本庫如表2所示。

圖6 WGAN-GP網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Fig.6 Network structure and parameters on WGAN-GP

表1 數(shù)據(jù)增強(qiáng)前局放信號(hào)樣本庫Tab.1 PD sample library before data enhancement

表2 數(shù)據(jù)增強(qiáng)后局放信號(hào)樣本庫Tab.2 PD sample library before data enhancement

3.2 WGAN-GP模型生成能力評(píng)估

生成樣本的真實(shí)性、概率擬合精度以及樣本的多樣性都是評(píng)價(jià)模型生成能力的重要指標(biāo)。本文納入BEGAN、VAE兩種生成模型作為參照對(duì)象，對(duì)3種生成模型生成能力進(jìn)行評(píng)估。

相較于以時(shí)頻譜圖等非結(jié)構(gòu)化數(shù)據(jù)作為樣本輸入來說，以局放時(shí)域信號(hào)作為樣本輸入生成網(wǎng)絡(luò)的好處是輸出同樣是時(shí)域樣本，省去了人工提取特征的不確定性，結(jié)果更簡(jiǎn)潔直觀。以氣泡放電為例，分別用WGAN-GP、BEGAN與VAE 3種生成模型生成局放信號(hào)，其波形對(duì)比如圖7所示。

圖7 生成局放信號(hào)波形對(duì)比圖Fig.7 Comparison diagram of generated waveforms

觀察圖7可知，相對(duì)于真實(shí)樣本，BEGAN會(huì)在原始圖像上疊加許多微小波動(dòng)，尤其是在極值點(diǎn)處容易失真；VAE相對(duì)比較平滑，但是丟失了許多原始信號(hào)存在的波動(dòng)，極值點(diǎn)處的幅值與原始信號(hào)相差較大。本文選用的WGAN-GP在細(xì)節(jié)上與原始信號(hào)波形更為相似。

將上述真實(shí)樣本及各類模型生成的局放樣本進(jìn)行FFT變換，得到各局放信號(hào)二維時(shí)頻圖，采用感知哈希算法對(duì)時(shí)頻圖相似度進(jìn)行分析，并以指紋匹配比例作為相似度指標(biāo)，匹配比例越高表明兩樣本相似度越高，結(jié)果對(duì)比如表3所示。

表3 不同生成模型生成樣本相似度指標(biāo)Tab.3 Similarity index of PD samples generated by different models

由表3可知，VAE的生成樣本由于丟失了部分波動(dòng)，其時(shí)頻圖相似度指標(biāo)普遍較低；BEGAN的懸浮放電由于發(fā)生了模式崩塌，生成波形時(shí)頻圖相似度指標(biāo)最低；WGAN-GP生成的各類局放信號(hào)相似度指標(biāo)及其均值均最大，其波形與原樣本相似度最高。

以沿面放電為例，利用t-分布隨機(jī)鄰域嵌入算法(t-distributed stochastic neighborembedding，t-SNE)對(duì)真實(shí)樣本及各模型的部分生成樣本進(jìn)行降維分析，可視化結(jié)果如圖8所示。由圖8可明顯看出，BEGAN與VAE兩模型生成的樣本集中于臨近真實(shí)樣本的某一小范圍內(nèi)，而CWGAN-GP由于考慮了1-Lipschitz條件限制，生成樣本散落分布在真實(shí)樣本分布范圍內(nèi)，多樣性較好。

圖8 局放信號(hào)降維可視化Fig.8 Dimension reduction visualization of PD signals

3.3 基于WGAN-GP的模式識(shí)別效果分析

本文選用分類準(zhǔn)確率λaccuracy%、F1度量λF1%兩種指標(biāo)評(píng)價(jià)增強(qiáng)前后局放信號(hào)模式識(shí)別的效果，計(jì)算公式見文獻(xiàn)[25]。

為驗(yàn)證數(shù)據(jù)增強(qiáng)技術(shù)對(duì)于局部放電模式識(shí)別性能的影響，分別選用了支持向量機(jī)(support vector machine，SVM)以及稀疏自編碼器(sparse autoencoder，SAE)作為分類器。其中支持向量機(jī)選用13-1000-400-1的全連接結(jié)構(gòu)，激活函數(shù)選用ReLU函數(shù)；稀疏自編碼器采用13-5000-400-1的網(wǎng)絡(luò)結(jié)構(gòu)。WGAN-GP增強(qiáng)后分類器模式識(shí)別效果如表4所示，其中增強(qiáng)前局放信號(hào)樣本庫如表1所示，增強(qiáng)后局放信號(hào)樣本庫如表2所示。

表4 數(shù)據(jù)增強(qiáng)前后模式識(shí)別效果Tab.4 Pattern recognition effects before or after data enhancement

通過對(duì)比表4各分類器數(shù)據(jù)增強(qiáng)前后的評(píng)價(jià)指標(biāo)可明顯看出，經(jīng)WGAN-GP數(shù)據(jù)增強(qiáng)后，支持向量機(jī)的分類效果得到提升，λaccuracy%、λF1%分別提升了12.9%與13.3%。稀疏自編碼器的分類效果更加顯著，λaccuracy%、λF1%分別提升了3.54%與7.04%。實(shí)驗(yàn)表明，本文所提數(shù)據(jù)增強(qiáng)方法適用于SVM、SAE分類器，各分類器的分類準(zhǔn)確率均有所提升。

4 結(jié)論

針對(duì)局放樣本集合非平衡小樣本特點(diǎn)導(dǎo)致局放模式識(shí)別準(zhǔn)確率低的問題，本文提出了適用于局放模式識(shí)別的WGAN-GP數(shù)據(jù)增強(qiáng)方法，結(jié)論如下。

1)基于Wasserstein距離的生成對(duì)抗網(wǎng)絡(luò)具有良好的局放信號(hào)生成能力，生成的局放信號(hào)相比于傳統(tǒng)生成網(wǎng)絡(luò)具有更高的相似度和更豐富的多樣性。

2)經(jīng)WGAN-GP數(shù)據(jù)增強(qiáng)對(duì)分類器具有適用性，數(shù)據(jù)增強(qiáng)后的支持向量機(jī)針對(duì)局放信號(hào)的分類準(zhǔn)確率上升了12.9%，稀疏自編碼器在數(shù)據(jù)增強(qiáng)后針對(duì)局放信號(hào)的分類準(zhǔn)確率提升了3.54%。