基于多層特征融合注意力網(wǎng)絡的電能質量擾動識別方法

奚鑫澤，邢超，覃日升，劉輝，周鑫，和鵬，孟賢

（1.云南電網(wǎng)有限責任公司電力科學研究院，云南昆明 650217；2.廣西大學，電氣工程學院，廣西南寧 530004）

0 引言

隨著泛在電力物聯(lián)網(wǎng)的快速發(fā)展，分布式能源與非線性負載集成到電網(wǎng)中，如大量的固態(tài)開關設備、電力電子開關、非線性負載等接入容易導致電網(wǎng)的電壓、電流畸變嚴重，電能質量問題嚴峻，甚至已經(jīng)對電網(wǎng)設備的穩(wěn)定運行造成影響[1-3]。因此，對電能質量擾動類型進行精準辨識是電能質量優(yōu)化控制的關鍵[4]。

當前電網(wǎng)環(huán)境復雜，各類新能源的并網(wǎng)造成電壓信號嚴重畸變，電能質量擾動（Power Quality Disturbance，PQD）識別技術亟需開展深入研究。準確識別PQD，需提前獲取PQD 的擾動特征，近年來，很多時頻分析的方法被用在PQD 領域[5-8]。文獻[9-10]將小波分解應用在電能質量擾動特征提取上，但小波基難以準確選取，影響擾動識別的準確性。文獻[11-12]將稀疏分解應用在電能質量擾動參數(shù)檢測上，但稀疏字典的構造缺乏自適應性。文獻[13-14]通過S 變換構造PQD 信號的時頻矩陣，進而構造PQD 的時域與頻域特征進行擾動辨識，但S 變換中窗參數(shù)的選取缺乏理論依據(jù)，難以獲取最佳時頻分辨率，影響擾動識別精度。

現(xiàn)有的時頻分析方法難以自適應獲取PQD 特征。近年來，大數(shù)據(jù)、深度學習等理論的發(fā)展使得大規(guī)模并行處理電能質量數(shù)據(jù)并自適應提取擾動特征成為可能。文獻[15]通過循環(huán)神經(jīng)網(wǎng)絡獲取電能質量擾動信號的時序特征，進而進行PQD 識別，但對于暫態(tài)擾動特征提取精度不高。文獻[16]提出一種格拉姆角場變換與卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）相結合的電能質量擾動分類方法，但文中將電能質量擾動轉為二維圖像進行識別，失去擾動信號的物理意義。文獻[17]將長短時記憶網(wǎng)絡（Long Short-Term Memory，LSTM）融合CNN 進行PQD 識別，但網(wǎng)絡結構復雜，訓練時間長，容易過擬合。

為彌補現(xiàn)有方法在復雜電網(wǎng)環(huán)境下對電能質量擾動分類的不足，本文通過多層卷積神經(jīng)網(wǎng)絡逐層提取電能質量擾動信號的高維特征，引入注意力機制增強模型對擾動信號局部特征與全局特征的有效融合，提升各PQD 關鍵特征信息關注度，提高擾動特征識別度，利用softmax 函數(shù)對PQD 進行分類，據(jù)此提出基于多層特征融合注意力網(wǎng)絡的電能質量擾動識別方法，并經(jīng)仿真實驗驗證了該方法的準確性與適用性。

1 多層特征融合注意力網(wǎng)絡

1.1 卷積神經(jīng)網(wǎng)絡

CNN 是一種典型的前饋神經(jīng)網(wǎng)絡，通過一系列交替設置的卷積層和池化層自適應提取特征，進而通過分類器進行分類[18]。用于分類任務的CNN 典型網(wǎng)絡結構如圖1 所示。

圖1 卷積神經(jīng)網(wǎng)絡模型一般結構Fig.1 Architecture of CNN model

本文對PQD 信號進行分類，本質上處理的是時間序列，故采用一維卷積神經(jīng)網(wǎng)絡。對于輸入維度為n的離散時間序列Xn=[x1，x2，…，xn]，一維卷積層的映射過程可表示為：

式中：xi+j-1為輸入的第i+j-1 的特征值；s為卷積核的大??；kj為第j個卷積核中神經(jīng)元的權重；b為偏置；f（*）為非線性激活函數(shù)；yi為第i個卷積的輸出值（i取值范圍是[0，n-s+1]，即卷積的輸出是長度為n-s+1 的序列）。

式（1）中的非線性激活函數(shù)f（*）取Relu 函數(shù)，相比Sigmoid 函數(shù)有防止梯度彌散和計算速度快等優(yōu)點，其表達式為：

式中：x為輸入的特征值。

卷積神經(jīng)網(wǎng)絡通過池化操作將池化區(qū)域內(nèi)的一系列數(shù)據(jù)按一定規(guī)則轉化為一個輸出值，有效減少了模型的參數(shù)，提升了模型的運算速度。通常有式（3）的均值池化hmean與式（4）的最大池化hmax。

式中：? 為池化域內(nèi)的所有序列數(shù)據(jù)組成的集合；N為待池化區(qū)域的特征值數(shù)量；max（*）表達式為輸出集合中的最大值。

通過卷積池化操作后構造的特征向量經(jīng)過全連接層映射進行分類，其映射可表示為：

式中：W為權重矩陣。

1.2 注意力機制

由于不同擾動信號的特征不同，因此在識別不同類別擾動時，各層特征的重要性也不同。為了表征各個特征層的重要程度，進而根據(jù)特征本身的特點加強重要特征并抑制不重要的特征[19]，本文采用壓縮-拓展模塊的注意力機制實現(xiàn)多層特征的融合，其基本結構如圖2 所示。

圖2 壓縮-拓展注意力模塊Fig.2 Squeeze-and-excitation attention block

圖2中L為特征圖的通道數(shù)，F(xiàn)為每個特征向量的維度，r為壓縮系數(shù)。對于輸入尺寸為L*F的特征圖，首先采用全局池化得到1*L的壓縮向量，以獲得卷積特征圖的每個通道的全局信息嵌入（特征向量）。由于每個通道只有一個特征值，得到的特征向量具有全局性。然后采用兩層全連接層進行壓縮拓展變換，此時得到了1*L的注意力系數(shù)向量，以表征不同層特征的重要性。該結構靈活簡單，添加后網(wǎng)絡的訓練速度不會大幅降低。各通道之間的關系是相互獨立的，因此學習到的注意力系數(shù)能夠激勵重要的特征，抑制不重要的特征，在深度網(wǎng)絡中起到特征選擇的作用，有效提高擾動識別精度。

1.3 多層特征融合注意力網(wǎng)絡構建

為提升各PQD 關鍵特征信息關注度，提升電能質量擾動的辨識精度，構建了注意力機制融合多層CNN 輸出特征，提出一種多層特征融合注意力網(wǎng)絡（Multi-layer Feature Fusion Attention Network，MLFFAN），整個網(wǎng)絡模型框架如圖3 所示。

圖3 MLFFAN算法框圖Fig.3 Flow chart of MLFFAN algorithm

如圖3 所示，該網(wǎng)絡主要由CNN、特征注意力以及分類器等3 個模塊構成。其中，CNN 模塊由4個堆疊的卷積塊構成，卷積塊結構如圖4 所示。

圖4 卷積塊結構Fig.4 Structure of convolution block

從圖4 可以看到，每個卷積塊包括1 個卷積層、1 個激活層和1 個池化層。每個卷積層的卷積步長設置為1，網(wǎng)絡逐層獲取PQD 局部特征，并最終提取PQD 全局特征；每層卷積后面采用Relu 激活函數(shù)進行非線性變換；最后，采用最大值池化降低特征維度，篩選重要特征。對于給定長度為n的擾動信號xn，每個卷積塊的映射過程可以表示為：

式中：fRelu（*）為Relu 激活函數(shù)；m為最大值池化的核大?。籉i為卷積塊的第i個輸出。最終，4 個卷積層分別得到4 個特征向量F1，F(xiàn)2，F(xiàn)3和F4。

得到4 個特征向量之后，采用1.2 節(jié)所述的壓縮-拓展模塊計算各個特征向量的注意力系數(shù)，進行特征融合。

由于網(wǎng)絡的逐層遞增，PQD 局部特征容易丟失，并造成特征冗余。因此，通過注意力機制融合網(wǎng)絡輸出的PQD 特征，提升網(wǎng)絡對關鍵擾動特征的關注度，各特征層與相應的注意力系數(shù)相乘構建PQD 特征向量，消除特征冗余，提高PQD 識別準確性。

在進行特征融合之前，首先通過全局均值池化操作對各個卷積塊輸出的特征（F1，F(xiàn)2，F(xiàn)3，F(xiàn)4）進行降維，得到特征向量，降維過程為：

式中：fGAP（*）為全局均值池化。

然后，采用式（9）計算注意力系數(shù)αi。

式中：σ為Sigmoid 激活函數(shù)；W1為2*4 維度的壓縮矩陣；W2為維度為4*2 的拓展矩陣；δ為Relu 激活函數(shù)；fMax（*）為全局最大值池化。

然后，將各個特征向量與相應的注意力系數(shù)相乘并拼接，得到最終融合的特征向量Fz，具體融合過程如下：

最后，采用單隱藏層的全連接神經(jīng)網(wǎng)絡直接對融合特征進行變換，通過Softmax 函數(shù)得到最終擾動類別標簽。

模型訓練過程中以交叉熵損失為損失函數(shù)Loss進行迭代優(yōu)化，表達式為：

式中：N為樣本數(shù)量；K為類別數(shù)量；yi,k和pi,k分別為第i個樣本的第k個標簽的真實值和預測值。

構建的多層特征融合注意力網(wǎng)絡MLFFAN 的電能質量擾動識別方法的參數(shù)（無量綱）設置如表1所示。

表1 MLFFAN模型參數(shù)設置Table 1 Setting of MLFFAN model parameters

2 實驗結果與分析

2.1 擾動信號仿真數(shù)據(jù)集

根據(jù)PQD 的IEEE Std.1159 標準，基于暫升、暫降、中斷、閃變、諧波、脈沖暫態(tài)和振蕩暫態(tài)7 種典型的單一擾動信號建立18 種單一和復合擾動的數(shù)學模型，具體類別與標簽見表2。

表2 擾動類別及其標簽Table 2 PQD types and labels

在MATLAB 生成PQD 數(shù)據(jù)集，擾動模型中涉及到的變化參數(shù)，如擾動幅值、擾動開始時刻、擾動結束時間、諧波頻率、振蕩幅值、振蕩頻率相對系數(shù)等，通過取其參數(shù)范圍內(nèi)的隨機數(shù)的方式確定（隨機數(shù)選取呈現(xiàn)均勻分布）。本文設置基頻為50 Hz，采樣頻率為一般錄波設備的采樣頻率3.2 kHz，采樣10 個周期，共640 個采樣點。單一擾動的仿真波形如圖5 所示，其橫坐標為采樣點序號。

圖5 單一擾動的仿真波形Fig.5 Simulated waveforms of single PQD

每種擾動類型生成500 個樣本，隨機選取其中300 個作為訓練集，100 個作為驗證集，100 個作為測試集。最終，得到5 400 個訓練樣本、1 800 個驗證樣本和1 800 個測試樣本?？紤]實際環(huán)境中的噪聲問題，在擾動數(shù)據(jù)集上添加高斯白噪聲，信噪比為20～50 db 之間的隨機值。此外，為了全面評估模型抗噪性，本文額外構造信噪比分別為20 db，30 db，40 db，50 db 的測試集。

2.2 仿真結果與分析

為了更加直觀地說明所提特征融合網(wǎng)絡對特征區(qū)分度的影響，通過t分布隨機領域嵌入（t-Distributed Stochastic Neighbor Embedding，t-SNE）降維可視化方法，將8 種單一擾動（C0-C7）的原始數(shù)據(jù)和網(wǎng)絡提取的特征降成二維并可視化，如圖6 所示，橫縱坐標表示二維特征空間的2 個維度（無量綱）。

圖6（a）是對原始擾動數(shù)據(jù)的可視化結果，在特征提取之前，8 種單一擾動的可分性較差，只有部分擾動類型如C01 諧波和C05 暫升相對可分，聚為一簇。圖6（b）是經(jīng)過所提特征融合網(wǎng)絡提取特征后的可視化結果，每種單一擾動基本聚為一簇，且不同擾動類別直接相隔一定距離，說明特征的可區(qū)分度很高，易于分類。

圖6 t-SNE特征可視化Fig.6 Feature visualization with t-SNE

在Pytorch 實現(xiàn)本文所提多層特征融合注意力網(wǎng)絡的電能質量擾動識別方法，網(wǎng)絡的最小批尺寸設為128，共迭代訓練50 次，訓練過程如圖7 所示。

圖7 訓練過程的正確率和交叉熵損失Fig.7 Accuracy and cross entropy loss in training process

從圖7 可知，隨著模型訓練次數(shù)的遞增，訓練集和驗證集的正確率逐漸提升，損失也隨之下降。當訓練迭代次數(shù)達到30 次之后，訓練集與驗證集的正確率、損失基本不再變化，驗證集擾動識別正確率與訓練集擾動識別正確率基本相同，表明此時模型收斂，并具有很強泛化能力。

為驗證本文所提算法的適用性，采用各類復合擾動及混合擾動的測試集對模型進行測試，仿真結果如表3 所示，其中“綜合”表示采用包含所有擾動類別的測試集的測試結果。

表3 MLFFAN方法的擾動分類效果Table 3 Disturbance classification result of MLFFAN method %

從表3 可以看到，本文所提的MLFFAN 分類方法可有效對各種噪聲條件下多重復合擾動精準分類，在信噪比為20 dB 的極端噪聲環(huán)境下模型的分類正確率扔可達95%，可見模型具有較高抗噪性能。在隨機噪聲下，模型對單一擾動和二重擾動的分類正確率接近100%，對三重復合擾動也有約98%的正確率。綜合來看，MLFFAN 方法在20～50 db的隨機噪聲下識別本文所述18 種擾動的整體正確率可達99.22%，可見模型具有較高的分類正確率。

為了進一步說明所提MLFFAN 模型的有效性，構建了3 種其他的深度模型作為對比，對比模型的結構說明如下：

1）CNN：在所提MLFFAN 模型的基礎上，去掉網(wǎng)絡的中間層輸出和注意力融合模塊，僅保留經(jīng)典的卷積分類網(wǎng)絡的結構；

2）CNN-LSTM[20]：先采用CNN 提取出擾動信號的深層特征序列，再用LSTM 捕捉特征序列的時序相關性，最后對輸出特征進行映射分類。網(wǎng)絡的結構與參數(shù)均選擇文獻[20]提出的最優(yōu)參數(shù)；

3）Deep-CNN[17]：一種由一維卷積層、批歸一化層和池化層堆疊而成的6 層深度卷積網(wǎng)絡。各層卷積的卷積核數(shù)量分別設為32，32，64，64，128 和128。網(wǎng)絡的結構與其他參數(shù)均選擇文獻[21]提出的最優(yōu)參數(shù)。

采用Pytorch 框架實現(xiàn)上述3 種對比模型，設置迭代輪次為50 次，在相同配置環(huán)境下對4 種算法進行擾動分類實驗，結果對比如表4 所示。

表4 4種算法的結果對比Table 4 Results comparison of 4 calculation methods%

從表4 可知，所提MLFFAN 在各種噪聲水平下均取得了最高的分類正確率。相比于傳統(tǒng)的CNN網(wǎng)絡，MLFFAN 的正確率提高了約1%，表明本文通過注意力機制融合多層特征層，有效改進了CNN 算法性能，提升了PQD 分類正確率。

為了進一步驗證所提MLFFAN 模型對復合擾動細節(jié)特征的提取能力，測試了不同深度模型在20～50 dB 隨機噪聲條件下對各類擾動的識別情況。由表4 可知，Deep-CNN 模型在不同對比模型中識別精度表現(xiàn)最好，因此選擇Deep-CNN 與MLFFAN進行對比分析，具體結果如圖8 所示。

圖8 不同擾動類型的識別情況Fig.8 Identification of different PQDs

如圖8 所示，2 個模型對C8，C9，C10，C15，C16和C17 這6 種擾動類別的識別精度有明顯降低。相比于Deep-CNN 模型，本文所提MLFFAN 模型對這6 種擾動類型的識別精度有較大提升。C8，C9，C10 分別表示振蕩暫態(tài)和暫升、暫降以及中斷的組合，C15，C16 和C17 是在C8，C9，C10 基礎上疊加了諧波。為了便于分析，將C8 諧波+暫升和C15 諧波+振蕩暫態(tài)+暫升的擾動波形（信噪比為30 dB）繪制在圖9，其橫坐標為采樣點序號。

如圖9 所示，由于暫升和諧波這2 種擾動的幅值特征和頻率特征變化明顯，而振蕩暫態(tài)的擾動發(fā)生時間短、振蕩幅度小，導致此類型擾動更加難以識別，進而導致C8 和C15 2 種擾動類型的混淆。同理，C9 和C16 之間、C10 和C17 之間也會產(chǎn)生同樣的混淆問題。但實驗結果表明，本文所提MLFFAN 模型在這6 種難識別擾動的分類精度上有較大提升，這是由于所提方法融合卷積網(wǎng)絡各層的特征數(shù)據(jù)，能夠同時有效提取擾動信號中的細節(jié)特征和全局特征，相比于其他深度學習算法有效減少了細節(jié)特征的丟失，保留原擾動信號中的細節(jié)信息。

圖9 C8和C15的擾動波形Fig.9 Waveforms of PQD C8 and C15

最后，將本文所提MLFFAN 算法與現(xiàn)有的擾動識別算法進行對比，進一步分析MLFFAN 方法的優(yōu)越性。3 種傳統(tǒng)方法分別是采用離散小波變換（DWT）和概率神經(jīng)網(wǎng)絡的方法（DWT+PNN）[21]、采用變分模態(tài)分解和決策樹的方法（VMD+DT）[22]以及采用可調品質因子小波變換和隨機森林的方法（TQWT+RF）[23]。另外，將文獻[24]采用的相空間重構和卷積神經(jīng)網(wǎng)絡方法（PSR+CNN）、文獻[25]采用的稀疏自編碼器方法（SSAE）2 種深度學習方法與本文方法在同一環(huán)境下進行擾動分類實驗對比。比較結果如表5 所示。

表5 本文所提方法與現(xiàn)有方法的對比Table 5 Comparison between proposed method and existing methodss %

由表5 可知，整體上自動提取特征的擾動分類方法在各個噪聲水平下識別精度高于人工提取特征的傳統(tǒng)方法。相較于傳統(tǒng)PQD 分類方法，所述MLFFAN 方法通過多層卷積池化后，并引入注意力機制，融合各層擾動特征，自適應構造擾動特征向量作為最后全連接層的輸入，避免傳統(tǒng)方法中的人工特征選取的問題，也解決了人工選取特征往往僅針對特定擾動識別效果好，限制模型的擾動識別數(shù)量的問題。相比于現(xiàn)有的深度學習方法，所述MLFFAN 方法優(yōu)于文獻[24]采用的相空間重構和卷積神經(jīng)網(wǎng)絡方法。文獻[25]提出的稀疏自編碼器方法雖然略高于MLFFAN 方法，但其僅能識別9 種擾動，難以處理實際中的復雜擾動情形，因此本文所提的MLFFAN 更適用于PQD 分類。

3 結論

為實現(xiàn)復雜電網(wǎng)環(huán)境下電能質量擾動特征自適應提取，提高擾動識別正確率，提出了基于多特征融合注意力網(wǎng)絡的電能質量擾動識別方法。特征可視化的結果表明，所提特征融合注意力網(wǎng)絡能夠提取有效特征，增加擾動類別之間的區(qū)分度；仿真結果表明：通過低維到高維的多層特征融合改進了傳統(tǒng)卷積神經(jīng)網(wǎng)絡的特征提取過程，提升了電能質量擾動特征辨識度；特征注意力機制提升了網(wǎng)絡對電能質量擾動信號全局特征與局部特征的關注度，提高模型泛化能力。本文所提方法在單一擾動、復合擾動與噪聲環(huán)境下均能有效對電能質量擾動進行識別，與主流檢測方法相比，本文所提方法能夠有效構建復雜電網(wǎng)環(huán)境下電能質量擾動信號的全局特征與局部特征，減輕了傳統(tǒng)卷積神經(jīng)網(wǎng)絡的過擬合問題，促進了卷積神經(jīng)網(wǎng)絡在復雜電網(wǎng)環(huán)境下電能質量擾動識別的應用。