基于CDAE和TCN/BLSTM模型的電能質(zhì)量擾動(dòng)分類方法

代義東，陸之洋，熊 煒，袁旭峰，徐玉韜，談竹奎

（1.貴州大學(xué)電氣工程學(xué)院，貴州貴陽 550025；2.貴州電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，貴州貴陽 550002）

0 引言

隨著“碳達(dá)峰、碳中和”目標(biāo)的提出，新能源的發(fā)展已走上快車道，以光伏、風(fēng)電為代表的新能源在電網(wǎng)中不斷滲透，導(dǎo)致新型電力系統(tǒng)的源荷發(fā)生很大變化[1]。新能源出力的隨機(jī)性和波動(dòng)性會(huì)帶來嚴(yán)重的電能質(zhì)量擾動(dòng)（Power Quality Disturbances，PQDs）問題，進(jìn)而威脅到電網(wǎng)的穩(wěn)定運(yùn)行[2]。因此，快速、高效且準(zhǔn)確地對PQDs 進(jìn)行分類是保障電網(wǎng)穩(wěn)定運(yùn)行的前提[3]。

以往的研究中PQDs 分類有信號分析、特征選取和擾動(dòng)分類3 個(gè)步驟。信號分析主要采用傅里葉變換[4]、小波變換[5]、S 變換[6]和模態(tài)分解[7]等方法，以此得到時(shí)頻域特征。經(jīng)過人工選取特征集后，再利用決策數(shù)[8]、支持向量機(jī)[9]等分類器完成分類。傳統(tǒng)方法雖然取得不錯(cuò)的分類效果，但嚴(yán)重依賴專家經(jīng)驗(yàn)，限制了擾動(dòng)的最佳特征提取，且分類的類別有限。隨著擾動(dòng)的復(fù)雜化，傳統(tǒng)方法已難以滿足電網(wǎng)對PQDs 的分類需求。

為解決傳統(tǒng)方法的不足，在PQDs 分類中引入了深度學(xué)習(xí)[10]。深度學(xué)習(xí)具有優(yōu)秀的自訓(xùn)練和特征提取能力，其描述的深度特征能夠充分識別擾動(dòng)類別。目前，深度學(xué)習(xí)在分類領(lǐng)域主要從以下兩方面切入：（1）是將擾動(dòng)信號通過二維映射[11]、可視化軌跡圓[12]、格拉姆角場[13]等轉(zhuǎn)化為圖像，再利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）提取特征并完成分類，但圖像化過程繁瑣且會(huì)導(dǎo)致擾動(dòng)特征丟失；（2）是直接將PQDs 作為分類對象，利用一維卷積[14]、稀疏自動(dòng)編碼器[15]、注意力機(jī)制[16]及門控循環(huán)單元[17]提取PQDs 的抽象、時(shí)序特征，或通過串行設(shè)計(jì)的卷積-長短期記憶[18]或全卷積-長短期記憶[19]等學(xué)習(xí)特征間的關(guān)聯(lián)性，完成PQDs 的分類。相比之下，根據(jù)PQDs 的時(shí)序特性進(jìn)行分類不僅無需任何轉(zhuǎn)換且能夠加快處理流程，更有利于后續(xù)的實(shí)時(shí)監(jiān)測和定位。目前，在此類研究中主要使用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)或2 者的串行模型來實(shí)現(xiàn)對PQDs 的分類。其中，卷積神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)是缺乏時(shí)序相關(guān)性，循環(huán)神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)是缺乏長期依賴性，串行模型的缺點(diǎn)是容易陷入局部最優(yōu)而無法達(dá)到全局最優(yōu)。這3 種方法不僅會(huì)導(dǎo)致擾動(dòng)的時(shí)序特性被擾亂，而且會(huì)造成網(wǎng)絡(luò)過深引起的梯度爆炸和過擬合等問題。同時(shí)，在實(shí)際環(huán)境中，噪聲也會(huì)掩蓋PQDs 的固有特征，導(dǎo)致分類模型難以提取有效信息，進(jìn)而降低其分類性能。因此，有必要針對隨機(jī)噪聲下的擾動(dòng)，設(shè)計(jì)一種抗噪性能強(qiáng)、兼顧抽象和時(shí)序特征的分類方法。

綜上所述，本文將卷積降噪自編碼器（Convolutional Denoising Auto-encoder，CDAE）、時(shí)域卷積網(wǎng)絡(luò)（Temporal Convolutional Network，TCN）和雙向長短期記憶（BidirectionalLongShort-termMemory，BLSTM）相結(jié)合，提出基于CDAE 和TCN/BLSTM 模型的PQDs 分類方法。研究的創(chuàng)新之處在于：（1）考慮了實(shí)際環(huán)境中噪聲對PQDs 的影響，通過CDAE 對含噪信號進(jìn)行重構(gòu)，進(jìn)而獲取不含噪聲的信號；（2）以并行模式搭建TCN/BLSTM，挖掘抽象特征和時(shí)序特征的深度信息，并運(yùn)用批量歸一化（Batch Normalization，BN）加速模型收斂，使模型具有更好的分類性能。

1 CDAE和TCN/BLSTM分類模型

為實(shí)現(xiàn)對噪聲環(huán)境下的PQDs 分類，本文設(shè)計(jì)的CDAE 和TCN/BLSTM 分類模型如圖1 所示。其中，第一部分為CDAE 模型，主要實(shí)現(xiàn)降噪處理；第二部分為TCN/BLSTM 模型，主要實(shí)現(xiàn)特征提??；第三部分為特征合并（Features Merging，F(xiàn)M）模型，主要實(shí)現(xiàn)特征融合和分類。

圖1 CDAE和TCN/BLSTM分類模型Fig.1 CDAE and TCN/BLSTM classification model

1.1 CDAE模型

CDAE 通過卷積、池化、反卷積和上采樣替代降噪自編碼器（Denoising Auto-encoder，DAE）的全連接。連接方式的改變不僅降低了網(wǎng)絡(luò)復(fù)雜性，而且避免了參數(shù)糅雜[20]。在CDAE 中，由卷積和池化構(gòu)成編碼器用于特征學(xué)習(xí)并對特征進(jìn)行降維，反卷積和上采樣構(gòu)成解碼器用于重構(gòu)信號并對特征進(jìn)行還原，CDAE 模型的降噪過程如圖2 所示。

圖2 CDAE模型的降噪過程Fig.2 Noise reduction process of CDAE model

CDAE 模型對第i個(gè)含噪信號的降噪過程表達(dá)式為：

式中：W1，B1分別為編碼器權(quán)重和偏置；W2，B2分別為解碼器權(quán)重和偏置；f為Relu 激活函數(shù)；θ為CDAE 的相關(guān)參數(shù)；n為含噪信號的總量。

1.2 TCN模型

TCN 以全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）為基礎(chǔ)，利用因果、擴(kuò)張卷積層替代傳統(tǒng)卷積，其中因果卷積使其能充分進(jìn)行序列學(xué)習(xí)，擴(kuò)張卷積使其具有充足的感受野，從而擬合更多的信息，TCN 較全卷積神經(jīng)網(wǎng)絡(luò)更加適合處理時(shí)序問題[21]。TCN 的因果擴(kuò)張卷積結(jié)構(gòu)如圖3 所示。其中，分別為0 時(shí)刻到t時(shí)刻輸入的重構(gòu)信號，d為擴(kuò)張系數(shù)（每層的擴(kuò)張系數(shù)隨著模型深度加深呈現(xiàn)指數(shù)性增大），yt為t時(shí)刻的因果擴(kuò)張卷積特征。

圖3 TCN的因果擴(kuò)張卷積結(jié)構(gòu)Fig.3 Causal expansion convolution structure of TCN

TCN 模型由殘差塊和BN 層組成，其模型結(jié)構(gòu)如圖4 所示。其中，為t時(shí)刻的yt經(jīng)過BN 層優(yōu)化后得到的抽象特征。

圖4 TCN模型結(jié)構(gòu)Fig.4 Structure of TCN model

由圖4 可知，殘差塊中包含2 個(gè)卷積單元和非線性映射，卷積單元可以充分提取抽象特征的深度信息，非線性映射則可以保證輸入和輸出具有相同的維度。BN 層可以提高訓(xùn)練速度，而且能對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，從而保持相同分布。

TCN 模型對t時(shí)刻的因果擴(kuò)張卷積特征進(jìn)行BN 優(yōu)化后，得到的抽象特征表達(dá)式為：

式中：μ，φ2分別為yt的期望和方差；γ，β為可學(xué)習(xí)參數(shù)；ε為隨機(jī)正值。

1.3 BLSTM模型

BLSTM 模型可對長短不一的序列進(jìn)行學(xué)習(xí)，且能學(xué)習(xí)正反向序列的關(guān)聯(lián)關(guān)系，使模型在更細(xì)粒度的分類問題上更具優(yōu)勢[22]。本文中的BLSTM 模型由長短期記憶（Long Short-term Memory，LSTM）和BN 組成，其模型結(jié)構(gòu)如圖5 所示。其中，分別為t-1 時(shí)刻到t+1 時(shí)刻輸入的重構(gòu)信號，ht，分別為t時(shí)刻的正向隱層狀態(tài)、反向隱層狀態(tài)，ht-1，ht+1和分別為t-1，t+1 時(shí)刻的正向隱層狀態(tài)、反向隱層狀態(tài)，w1，w3分別為正向隱層、反向隱層與輸入層間的權(quán)重，w2，w4為為正向隱層間、反向隱層間的權(quán)重，w5，w6分別為正向隱層、反向隱層和輸出層間的權(quán)重，為t時(shí)刻的時(shí)序特征。

圖5 BLSTM模型結(jié)構(gòu)Fig.5 Structure of BLSTM model

BLSTM 模型對t時(shí)刻的ht和進(jìn)行BN 層優(yōu)化后，得到的時(shí)序特征表達(dá)式為：

1.4 FM模型

FM 模型的特征合并層將抽象特征Xabs和時(shí)序特征Xtim進(jìn)行融合，其表達(dá)式為：

式中：concat 為融合過程函數(shù)；Xfus為融合特征。

采用Softmax 激活函數(shù)對分類層進(jìn)行激活，其值表示輸入樣本被正確分類的概率，其表達(dá)式為：

2 模型搭建和訓(xùn)練方法

為測試模型的有效性，計(jì)算機(jī)的CPU 和RAM分別為Intel（R）i7-9750H 和16.0 GB，PQDs 數(shù)據(jù)集由Matlab2018b 仿真生成。分類模型在基于Python語言的Keras 框架上進(jìn)行搭建，開發(fā)軟件為Pycharm，分類模型的架構(gòu)參數(shù)如表1 所示。表1中，Input1/2 為輸入層，Conv1/2 為卷積層，Mp1/2 為池化層，Dconv1/2 為反卷積層，Us1/2 為上采樣層，TCN 為時(shí)域卷積層，BLSTM 為長短期記憶層，BN1/2為歸一化層，Concatenate 為特征合并層，全連接（Fully Connected，F(xiàn)C）為全連接層，Output 為輸出層，q為過濾器個(gè)數(shù)，k為內(nèi)核個(gè)數(shù)，p為池大小，units 為神經(jīng)元個(gè)數(shù)。

表1 分類模型的架構(gòu)參數(shù)Table 1 Architectural parameters of classification model

將CDAE 和TCN/BLSTM 的批大小分別設(shè)為128 個(gè)和64 個(gè)，迭代次數(shù)分別設(shè)為500 次和60 次，初始學(xué)習(xí)率分別設(shè)為0.3%和0.25%，優(yōu)化器均選用Nadam。采用均方誤差（Mean Squared Error，MSE）訓(xùn)練CDAE 模型，采用分類交叉熵（Classification Cross Entropy，CCE）訓(xùn)練TCN/BLSTM 模型，均方誤差損失LMSE和分類交叉熵?fù)p失LCCE的表達(dá)式為：

3 仿真分析

3.1 PQDs數(shù)據(jù)集

根據(jù)IEEE Std 1159—2019 和文獻(xiàn)[23]的PQDs數(shù)學(xué)模型，由Matlab 仿真20 類PQDs 信號進(jìn)行測試：正常（C1）、暫降（C2）、暫升（C3）、中斷（C4）、脈沖（C5）、振蕩（C6）、諧波（C7）、閃變（C8）、暫降/升+諧波（C9，C10）、暫降/升+閃變（C11，C12）、暫降/升+振蕩（C13，C14）、暫降/升+諧波+閃變（C15，C16），暫降/升+諧波+振蕩（C17，C18），暫降/升+諧波+振蕩+閃變（C19，C20）。其中包含8 類單一擾動(dòng)，12類復(fù)合擾動(dòng)?；l設(shè)為50 Hz，采樣頻率設(shè)為3 200 Hz，采樣長度設(shè)為10 個(gè)周期，共計(jì)640 個(gè)采樣點(diǎn)。每類擾動(dòng)采集2 000 個(gè)樣本，共計(jì)40 000 個(gè)樣本。實(shí)時(shí)PQDs 采集時(shí)會(huì)存在噪聲，主要以高斯白噪聲為主[24-25]。因此，添加信噪比為20～40 dB 的高斯白噪聲，并按照8∶1∶1 比例劃分訓(xùn)練集、驗(yàn)證集和測試集。其中，驗(yàn)證集設(shè)定是為了監(jiān)測驗(yàn)證損失和精度，進(jìn)而保存最優(yōu)模型[26]。為對模型進(jìn)行比較，額外采集信噪比為20 dB，30 dB，40 dB 和（20+30+40）dB的測試集。為適應(yīng)不同電壓幅值，對PQDs 信號均進(jìn)行歸一化處理。由于復(fù)合擾動(dòng)為單一擾動(dòng)的不同疊加組合，因此僅展示單一擾動(dòng)的波形如圖6 所示。

圖6 單一擾動(dòng)的波形圖Fig.6 Waveforms of single disturbance

3.2 模型訓(xùn)練

在CDAE 和TCN/BLSTM 的訓(xùn)練過程中，學(xué)習(xí)率過大會(huì)導(dǎo)致無法收斂到最小值，學(xué)習(xí)率過小會(huì)導(dǎo)致收斂緩慢[27]。因此，引入衰減策略對學(xué)習(xí)率進(jìn)行動(dòng)態(tài)調(diào)整，以提升模型的精度和性能[28]。CDAE 的訓(xùn)練過程如圖7 所示。

圖7 CDAE的訓(xùn)練過程Fig.7 Training process of CDAE

由圖7 可知，隨著迭代次數(shù)的增加，訓(xùn)練損失和驗(yàn)證損失不斷趨于重合，說明重構(gòu)信號和原始信號也趨向于極其接近的程度。最終，在第500 次迭代后結(jié)束訓(xùn)練并保存最優(yōu)降噪模型。

為說明CDAE 的降噪效果及重構(gòu)中是否會(huì)對擾動(dòng)造成固有特征丟失。選取C8 和C7 為例進(jìn)行時(shí)頻域分析，運(yùn)用快速傅里葉變換[29]將C7 從時(shí)域轉(zhuǎn)換到頻域。CDAE 的降噪效果如圖8 所示。

圖8 CDAE降噪效果Fig.8 Noise reduction effect of CDAE

由圖8 可知，由C1 的時(shí)域?qū)Ρ瓤梢钥吹竭\(yùn)用CDAE 降噪后的信號與原始信號非常接近。由C7的頻域?qū)Ρ瓤梢钥吹叫盘柋贿M(jìn)行重構(gòu)后，基本上能夠很好地保留信號的固有特征。

將重構(gòu)信號輸入TCN/BLSTM 進(jìn)行訓(xùn)練。當(dāng)驗(yàn)證準(zhǔn)確率連續(xù)3 次迭代不再增加，則第4 次迭代可通過衰減策略將學(xué)習(xí)率衰減為0.7 倍，最終在第60次迭代結(jié)束保存最優(yōu)分類模型。TCN/BLSTM 的訓(xùn)練過程如圖9 所示。

圖9 TCN/BLSTM的訓(xùn)練過程Fig.9 Training process of TCN/BLSTM

由圖9 可知，隨著迭代次數(shù)的增加，準(zhǔn)確率不斷上升且趨于重合，并最終穩(wěn)定在較高水平；損失值不斷下降且趨于重合，并最終穩(wěn)定在較低水平。訓(xùn)練結(jié)束后，驗(yàn)證準(zhǔn)確率為99.26%。

對驗(yàn)證集中最高準(zhǔn)確率的模型參數(shù)進(jìn)行保存，將信噪比為（20+30+40）dB 的測試集導(dǎo)入最優(yōu)分類模型中進(jìn)行測試。評估4 000 個(gè)樣本共耗時(shí)4.24 s，平均耗時(shí)為1.06 ms，符合對PQDs 分類的實(shí)時(shí)性要求[30]。測試集的準(zhǔn)確率如表2 所示。

表2 測試集的準(zhǔn)確率Table 2 Accuracy of testing set %

由表2 可知，測試集的平均準(zhǔn)確率為99.23%，與驗(yàn)證集準(zhǔn)確率幾乎接近，由此驗(yàn)證了模型的準(zhǔn)確性。

3.3 模型對比

為驗(yàn)證所提方法在PQDs 分類問題上的優(yōu)越性，對分類模型的不同組合和信號進(jìn)行降噪后再分類進(jìn)行對比。對比模型的訓(xùn)練參數(shù)與本文模型參數(shù)保持一致。

3.3.1 不同模型組合

將并行的TCN/BLSTM 模型與單一的BLSTM、單一的TCN 及串行的TCN-BLSTM 模型進(jìn)行對比，驗(yàn)證集曲線對比如圖10 所示。

由圖10 可知，隨著迭代次數(shù)的增加，4 種模型的驗(yàn)證集準(zhǔn)確率均不斷上升并最終趨于穩(wěn)定。其中，BLSTM 和TCN 振蕩明顯，TCN-BLSTM 前期收斂過度、后期緩慢。相比之下，TCN/BLSTM 有著更好的收斂趨勢，且驗(yàn)證集準(zhǔn)確率更高。

3.3.2 降噪前后

為驗(yàn)證所提方法的噪聲魯棒性，將重構(gòu)信號輸入BLSTM，TCN 和TCN-BLSTM 模型進(jìn)行訓(xùn)練。訓(xùn)練時(shí)同樣以驗(yàn)證集精度保存最優(yōu)為依據(jù)對模型進(jìn)行分類。同時(shí)，利用最優(yōu)降噪模型對信噪比為20 dB，30 dB，40 dB 的測試集進(jìn)行降噪，并導(dǎo)入BLSTM，TCN，TCN-BLSTM 和TCN/BLSTM 的最優(yōu)分類模型進(jìn)行測試。本文所提模型與其他7 種模型的平均準(zhǔn)確率對比結(jié)果如表3 所示。

表3 平均準(zhǔn)確率對比結(jié)果Table 3 Comparison of average accuracy among eight models %

由表3 可知，經(jīng)CDAE 對信號進(jìn)行降噪后的分類對比，平均準(zhǔn)確率明顯有所提高。結(jié)合3.3.1 小節(jié)的分析，說明本文所提模型的分類精度更高、噪聲魯棒性更強(qiáng)，收斂趨勢更快、泛化能力更好，從而驗(yàn)證了所提方法為PQDs 分類的最佳選擇。

3.4 與現(xiàn)有研究的比較

3.4.1 性能參數(shù)

為體現(xiàn)本文并行部分TCN/BLSTM 模型的先進(jìn)性，將其與串行的卷積-長短期記憶（Convolutional Long Short-term Memory，C-LSTM）模型、全卷積-長短期記憶（Fully Convolutional Long Short-term Memory，F(xiàn)C-LSTM）模型和TCN-BLSTM 模型進(jìn)行性能參數(shù)的對比。C-LSTM 和FC-LSTM 的基本架構(gòu)來源于文獻(xiàn)[18-19]，性能參數(shù)對比如表4 所示。

表4 性能參數(shù)對比Table 4 Comparison of performance parameter

由表4 可知，TCN/BLSTM 的訓(xùn)練參數(shù)更少，說明其復(fù)雜度更低[31]。對應(yīng)的2 種時(shí)間參數(shù)反應(yīng)出TCN/BLSTM 的計(jì)算速度更快[32]。

3.4.2 分類效果

將所提模型與現(xiàn)有的7 種主流模型進(jìn)行比較。主流模型為基于離散小波變換（Discrete Wavelet Transform，DWT）和概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Network，PNN）的DWT-PNN模型[5]、基于變分模態(tài)分解（Variational Mode Decomposition，VMD）和決策樹（Decision Tree，DT）的VMD-DT 模型[8]、基于二維卷積神經(jīng)網(wǎng)絡(luò)（Two-Dimensional Convolutional Neural Network，2D-CNN）模型[11]、基于稀疏自動(dòng)編碼器（Sparse Automatic Encoder，SAE）模型[15]、多層特征融合注意力（Multilayer Feature Fusion Attention Network，MLFFAN）模型[16]、C-LSTM 模 型[18]或FC-LSTM 模 型[19]。本 文CDAE-TCN/BLSTM 模型與7 種主流模型的平均準(zhǔn)確率對比結(jié)果如表5 所示。

表5 8種模型的平均準(zhǔn)確率對比Table 5 Comparison of average accuracy among eight models %

由表5 可知，深度學(xué)習(xí)模型在不同信噪比下的平均準(zhǔn)確率均高于傳統(tǒng)方法，這主要得益于深度學(xué)習(xí)可以準(zhǔn)確和自動(dòng)地提取不同擾動(dòng)的最關(guān)鍵特征。不同信噪比下，本文模型準(zhǔn)確率的波動(dòng)較小，噪聲魯棒性更好。

4 結(jié)論

為有效提升PQDs 信號的分類準(zhǔn)確率，本文提出基于CDAE 和TCN/BLSTM 模型的電能質(zhì)量擾動(dòng)分類方法，經(jīng)過對比分析和研究，得出以下結(jié)論：

1）所提的CDAE 模型，能夠充分學(xué)習(xí)原始和含噪信號間的特征聯(lián)系，并保留被噪聲掩蓋的固有特征。重構(gòu)信號能準(zhǔn)確地表達(dá)不同關(guān)鍵信息。

2）所提的并行TCN/BLSTM 模型，能夠顯著減少深層網(wǎng)絡(luò)造成的參數(shù)量。經(jīng)BN 優(yōu)化可有效提升模型的訓(xùn)練速度和解決過擬合等問題。

3）在信噪比為20～40 dB 環(huán)境中，基于CDAE 和TCN/BLSTM 相結(jié)合的分類方法，對20 類PQDs 的平均分類準(zhǔn)確率可達(dá)99.23%。在信噪比為20 dB，30 dB，40 dB 環(huán)境中，平均準(zhǔn)確率分別為99.24%，99.36%，99.45%，較小的準(zhǔn)確率波動(dòng)進(jìn)一步體現(xiàn)了模型的抗噪能力。

4）與一般分類法相比，本文方法具備模型結(jié)構(gòu)緊湊、噪聲魯棒性強(qiáng)和分類精度高等優(yōu)點(diǎn)。未來的研究將集中在增加更多復(fù)雜擾動(dòng)和對模型進(jìn)行優(yōu)化上。