基于深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動分類方法

田光陽，王勝昔，田世東，康 星，姚 蕾，鐘建偉，梁會軍*

（1.國網(wǎng)湖北省電力有限公司恩施供電公司，湖北 恩施 445000；2.湖北民族大學(xué)，湖北 恩施 445000）

0 引言

提供可靠和優(yōu)質(zhì)的電能已經(jīng)成為現(xiàn)代電力部門發(fā)展的目標，新一代負載的敏感性不斷增加，使得從商業(yè)建筑到工業(yè)工廠都要求更高的供電質(zhì)量［1-2］。電能質(zhì)量由兩個主要部分組成：電壓連續(xù)性以及電壓穩(wěn)定性。電壓不連續(xù)的問題如今已基本消除［3-4］，當前電能質(zhì)量擾動現(xiàn)象主要是諧波、電壓波動、電壓暫降、短時中斷以及三相不平衡以及其復(fù)合擾動［5-6］，而以上現(xiàn)象主要由半導(dǎo)體開關(guān)器件、非線性負載、整流器、逆變器以及繼電保護設(shè)備構(gòu)成［7-9］。另外，可再生能源以及分布式發(fā)電機并入傳統(tǒng)電力系統(tǒng)是如今電能質(zhì)量擾動產(chǎn)生的主要原因之一［10-11］。因此，準確地識別分類電能質(zhì)量擾動是治理電能質(zhì)量、提高供電可靠性的關(guān)鍵［12］。

傳統(tǒng)的電能質(zhì)量擾動分類模型大致分為2 個步驟：擾動特征提取和擾動分類識別兩個環(huán)節(jié)。由于電力系統(tǒng)的信號發(fā)生電能質(zhì)量擾動時，會伴隨大量的非穩(wěn)態(tài)信號，因此電能質(zhì)量擾動信號的特征提取要同時兼顧頻域和時域信息。擾動特征提取方法有小波變換［13-14］、廣義S變換［15-17］、短時傅里葉變換［18-19］等特征提取方法。這些特征提取方法目前被廣泛應(yīng)用到電能質(zhì)量擾動信號特征提取中，但是其中也存在一定的問題。如文獻［20］分析了小波變換需要人為選取小波基函數(shù)，不同的小波基函數(shù)會導(dǎo)致不同的特征提取結(jié)果，因此好的特征提取結(jié)果往往和人的經(jīng)驗有關(guān)。

常用的電能質(zhì)量擾動分類模型有決策樹［21-22］、支持向量機［23-24］、人工神經(jīng)網(wǎng)絡(luò)［25-26］。決策樹模型容易產(chǎn)生一個過于復(fù)雜的模型，該模型往往在訓(xùn)練集上效果很好，而在測試集上效果很差，出現(xiàn)過擬合的狀況。支持向量機是將數(shù)據(jù)映射到高維空間，數(shù)據(jù)在高維空間距離相對較大，系數(shù)缺乏理論指導(dǎo)，選擇難度較大。人工神經(jīng)網(wǎng)絡(luò)往往需要大量的數(shù)據(jù)集進行訓(xùn)練，在訓(xùn)練的同時，通常容易陷入局部最優(yōu)而導(dǎo)致神經(jīng)網(wǎng)絡(luò)的參數(shù)無法有效更新，同時人工神經(jīng)網(wǎng)絡(luò)的參數(shù)不僅龐大而且在對圖片的識別和分類上往往效果較差。

總而言之，常用的典型分類模型容易受到電能質(zhì)量擾動信號數(shù)據(jù)集數(shù)量和擾動信號復(fù)雜性的影響，因此亟需設(shè)計一套高效、準確、快速的電能質(zhì)量擾動分類模型，以適應(yīng)新形勢發(fā)展需求。

1 基本思路

為了避免人工提取電能質(zhì)量擾動信號特征而出現(xiàn)的主觀性偏差，本文提出一種基于深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動分類方法，該方法使用深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)對電能質(zhì)量擾動信號進行自動特征提取，同時也可以保證對電能質(zhì)量擾動進行精準地分類和識別。

深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，包括深度卷積模塊［27］、循環(huán)序列模塊［28］、殘差網(wǎng)絡(luò)模塊［29］、分類模塊［30］4 部分。其中，深度卷積模塊用于對電能質(zhì)量擾動信號進行初步特征提取；循環(huán)序列模塊用于將深度卷積模塊提取的特征進行時間序列學(xué)習(xí)，學(xué)習(xí)擾動出現(xiàn)和結(jié)束的時間序列信息；殘差網(wǎng)絡(luò)模塊用于對經(jīng)過循環(huán)序列模塊學(xué)習(xí)后輸出的特征進行再次的采樣學(xué)習(xí)，避免過擬合同時加速網(wǎng)絡(luò)的訓(xùn)練速度；分類模塊用于對殘差網(wǎng)絡(luò)模塊采樣后的特征進行分類，區(qū)分不同類別電能質(zhì)量擾動信號，獲得對應(yīng)電能質(zhì)量信號的分類結(jié)果。

圖1 深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Diagram of deep convolution sequence residual combined neural network

2 具體實現(xiàn)

2.1 系統(tǒng)結(jié)構(gòu)

如圖1 第一個虛線框所示，卷積層用于對輸入的電能質(zhì)量擾動信號數(shù)據(jù)x進行卷積運算，利用卷積操作將數(shù)據(jù)中有效的特征進行提取操作。為實現(xiàn)初步對電能質(zhì)量擾動信號進行特征提取、提高后續(xù)神經(jīng)網(wǎng)絡(luò)模塊的學(xué)習(xí)效率，采用如下卷積運算：

式（1）中，pl(i，t)為l層第i個特征圖的第t個神經(jīng)元經(jīng)過池化層后的輸出值；?l(i，t)為l層第i個特征圖的第t個神經(jīng)元經(jīng)過激活函數(shù)后的輸出值。

深度卷積模塊采用多個卷積層和池化層相互疊加不斷地對電能質(zhì)量擾動信號進行一層一層的特征提取和特征選擇，從而使得最終深度卷積模塊輸出的特征圖可以去除其中不必要的影響判斷分類的噪聲，而僅包含電能質(zhì)量擾動信號中重要的信息。

經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)輸出的特征圖將作為循環(huán)序列模塊的輸入信息，經(jīng)由多個LSTM 單元串接而成的LSTM 神經(jīng)網(wǎng)絡(luò)的時間序列學(xué)習(xí)，將電能質(zhì)量擾動信號中的時間序列信息進行學(xué)習(xí)，從而輸出電能質(zhì)量擾動信號中的時間序列信息。

殘差網(wǎng)絡(luò)模塊由多個殘差神經(jīng)網(wǎng)絡(luò)單元所組成，殘差神經(jīng)網(wǎng)絡(luò)單元的輸出來自兩個部分，首先是輸入的數(shù)據(jù)經(jīng)過殘差映射，經(jīng)過神經(jīng)網(wǎng)絡(luò)層的計算從而進行輸出，其次是將輸入數(shù)據(jù)不經(jīng)過任何計算輸出，最終將這兩個部分進行求和通過relu 激活函數(shù)進行輸出。其中殘差神經(jīng)網(wǎng)絡(luò)單元可以表示為

式（2）、式（3）中，xl和xl+1分別表示第l個殘差單元的輸入和輸出，F(xiàn)表示學(xué)習(xí)到的殘差，f是relu激活函數(shù)。

殘差網(wǎng)絡(luò)模塊的輸入為循環(huán)序列模塊學(xué)習(xí)到的序列信息，經(jīng)過前面的卷積神經(jīng)網(wǎng)絡(luò)和LSTM神經(jīng)網(wǎng)絡(luò)的串接，神經(jīng)網(wǎng)絡(luò)層數(shù)已經(jīng)較深，隨著后續(xù)加入更深的神經(jīng)網(wǎng)絡(luò)層，梯度彌散和梯度爆炸出現(xiàn)的可能性就會越來越大，因此在反向傳播的時候就無法對神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)進行更新。殘差神經(jīng)網(wǎng)絡(luò)特殊的網(wǎng)絡(luò)結(jié)構(gòu)正好可以解決由于神經(jīng)網(wǎng)絡(luò)比較深而出現(xiàn)參數(shù)無法更新的問題。

分類模塊是由全連接神經(jīng)網(wǎng)絡(luò)層和softmax 激活函數(shù)所組成，其中全連接層對殘差模塊輸出值進行全連接操作；softmax 激活函數(shù)對全連接層的輸出結(jié)果進行分類操作，獲得對應(yīng)電能質(zhì)量擾動信號類別的概率，并輸出最大概率對應(yīng)的電能質(zhì)量擾動信號類別。其中softmax激活函數(shù)的函數(shù)表達式為：

式（4）中，N表示擾動類別數(shù)量；pm為電能質(zhì)量擾動類別為m的概率（m=1，2，…，N）；bm為輸出層待激活的神經(jīng)元。

按上述模塊構(gòu)建深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)模型，并利用該模型對收集好的電能質(zhì)量模型進行學(xué)習(xí)訓(xùn)練，最終進行模型的測試。

2.2 系統(tǒng)工作流程

系統(tǒng)整體流程圖如圖2所示，首先，收集電力質(zhì)量擾動信號數(shù)據(jù)集，其中電能質(zhì)量擾動信號包含單一信號7種，分別為電壓暫升、電壓中斷、電壓暫降、諧波信號、暫態(tài)振蕩、瞬態(tài)沖擊和電壓閃變。其次，對收集來的電能質(zhì)量擾動信號進行數(shù)據(jù)清洗，去除其中有問題的數(shù)據(jù)。第三，對處理好的數(shù)據(jù)集進行訓(xùn)練集和測試集的劃分，數(shù)據(jù)集的劃分按一定比例從中隨機抽取數(shù)據(jù)，防止樣本不均衡導(dǎo)致訓(xùn)練的模型出現(xiàn)過擬合的情況。同時劃分好訓(xùn)練集用來進行模型的訓(xùn)練；測試集用來評估測試訓(xùn)練好的模型魯棒性是否強。第四，建立深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)模型，該模型包含3 個神經(jīng)網(wǎng)絡(luò)模型部分，分別為卷積神經(jīng)網(wǎng)絡(luò)模型部分、循環(huán)神經(jīng)網(wǎng)絡(luò)模型部分、殘差神經(jīng)網(wǎng)絡(luò)模型部分。最后，利用劃分好的電能質(zhì)量擾動信號訓(xùn)練集數(shù)據(jù)進行深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。

圖2 系統(tǒng)整體流程圖Fig.2 Overall system flow chart

上述過程中，訓(xùn)練模型流程圖如圖3所示。首先，初始化深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)模型參數(shù)；其次，獲取電能質(zhì)量擾動數(shù)據(jù)集中的訓(xùn)練集中的數(shù)據(jù)和對應(yīng)擾動類別的標簽。將數(shù)據(jù)輸入到搭建好的深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)進行前向傳播運算。然后，計算前向傳播得出的結(jié)果和對應(yīng)標簽的誤差值，利用誤差進行反向傳播更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，其中計算誤差利用的交叉熵損失函數(shù)公式如式（5）所示：

圖3 訓(xùn)練模型流程圖Fig.3 Training model flowchart

式（5）中，C表示交叉熵損失值，ti表示對應(yīng)電能質(zhì)量擾動信號對應(yīng)的真實標簽，pi表示為神經(jīng)網(wǎng)絡(luò)輸入的電能質(zhì)量擾動類別標簽。最后，判斷模型是否達到設(shè)置的訓(xùn)練輪次，如果沒有達到就繼續(xù)不斷重復(fù)地訓(xùn)練，如果達到了就導(dǎo)出訓(xùn)練好的模型。

利用劃分好的電能質(zhì)量擾動信號測試集對導(dǎo)出的訓(xùn)練好的模型進行模型測試，同時進行模型評估。如果該模型不能很好地進行電能質(zhì)量擾動信號的分類識別，則調(diào)整建立好的深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)重新進行模型的訓(xùn)練。

3 數(shù)值仿真

按如上結(jié)構(gòu)搭建深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)模型，搭建神經(jīng)網(wǎng)絡(luò)的框架選擇為Pytorch，實驗的硬件環(huán)境處理器為12th Gen Intel（R）Core（TM）i9-12900K 3.19 GHz、機帶RAM為64 GB、顯卡為NVIDIA GeForce RTX 3090。在實際生活中電能質(zhì)量擾動的波形不可避免地會受到干擾，因此在基礎(chǔ)采樣的基礎(chǔ)上給每種電能質(zhì)量擾動信號數(shù)據(jù)添加10 dB～40 dB的噪聲。

實驗結(jié)果如表1 所示，由表1 可以看出，在沒有噪聲干擾的情況下，深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)模型對電能質(zhì)量擾動模型測試集的平均測試準確率在98.75%，可以對電能質(zhì)量擾動信號模型進行精準的識別，同時無噪聲的正常波形模型的識別準確率在100%。相比較噪聲為10 dB、20 dB、30 dB，在噪聲為40 dB 的情況下平均準確率是最低的96.25%，但是96.25%的識別準確率也是較高的。同時在噪聲為10 dB、20 dB、30 dB平均準確率都是在97%以上，其效果很好，可以高效準確地將電能質(zhì)量擾動信號識別出來。

表1 仿真結(jié)果及對比情況Table 1 Comparison of simulation results

對比文獻［31］，本文所提方法也具有顯著的優(yōu)勢。在噪聲信號分別為20 dB、30 dB、40 dB時，本文所提方法的平均準確率都明顯高于文獻［31］中的方法。特別是從算法穩(wěn)定性上看，以噪聲信號為30 dB時為例，本文所提方法在上述8 類信號的識別準確率均穩(wěn)定在95%以上，而在文獻［31］中，針對正常波形、電壓暫降和暫態(tài)振蕩的識別準確率分別是87%、88%和83.5%，而在其他5 種情況中，識別準確率都在96%以上，可見，本文所提算法性能更為穩(wěn)健。

4 結(jié)語

本文提出了一種基于深度卷積序列殘差組合神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動分類方法。首先通過卷積神經(jīng)網(wǎng)絡(luò)提取電能質(zhì)量擾動信號特征，不用人為地主觀選擇電能質(zhì)量擾動信號中的特征，減少了由于特征選取不正確導(dǎo)致神經(jīng)網(wǎng)絡(luò)分類不準確的情況。同時由于電能質(zhì)量擾動信號中存在一定時間序列信息，在卷積模塊后加入循環(huán)神經(jīng)網(wǎng)絡(luò)對提取的特征圖進行時間序列信息的學(xué)習(xí)，有效地提高了神經(jīng)網(wǎng)絡(luò)對時間序列特征的擬合效果，從而提高神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動識別的準確率。在循環(huán)神經(jīng)網(wǎng)絡(luò)后加入殘差神經(jīng)網(wǎng)絡(luò)可以對電能質(zhì)量擾動信號進行更深層次的特征學(xué)習(xí)，同時用于殘差神經(jīng)網(wǎng)絡(luò)的特殊網(wǎng)絡(luò)結(jié)構(gòu)，避免了神經(jīng)網(wǎng)絡(luò)出現(xiàn)梯度爆炸和梯度消失的情況，加速神經(jīng)網(wǎng)絡(luò)參數(shù)更新的速度。