基于一維卷積神經(jīng)網(wǎng)絡(luò)多任務(wù)學(xué)習(xí)的電能質(zhì)量擾動識別方法

王偉， 李開成， 許立武， 王夢昊， 陳西亞

(華中科技大學(xué) 電氣與電子工程學(xué)院 強(qiáng)電磁工程與新技術(shù)國家重點實驗室，武漢 430074)

0 引 言

隨著現(xiàn)代電力系統(tǒng)的發(fā)展，為了減少碳排放和促進(jìn)電力系統(tǒng)的高效運(yùn)行，多種可再生能源得到了越來越多的應(yīng)用，由此伴隨著電力電子設(shè)備更多地投入電網(wǎng)運(yùn)行。在此背景下電能質(zhì)量擾動(Power Quality Disturbances,PQDs)存在的風(fēng)險日益增大，電能質(zhì)量的監(jiān)測和分析已經(jīng)成為現(xiàn)在電力系統(tǒng)中的重要課題[1]。

電能質(zhì)量問題通常以電流、電壓或者頻率的突然變化的形式出現(xiàn)。在實際中，很多原因可能會導(dǎo)致PQDs的產(chǎn)生，如電力電子設(shè)備的應(yīng)用、雷電、非線性負(fù)載等。

為了精準(zhǔn)識別電能質(zhì)量擾動事件的類別，傳統(tǒng)電能質(zhì)量監(jiān)測方法一般先運(yùn)用信號處理技術(shù)來提取信號的特征量，再使用分類方法來確定擾動事件類別。提取特征階段常用的信號處理技術(shù)有希爾伯特-黃變換[2-3]、小波變換[4]、短時傅里葉變換[5]、Kalman變換[6]、S變換[7-10]等。分類識別階段，常用的方法有決策樹[11]、支持向量機(jī)[12-13]、淺層人工神經(jīng)網(wǎng)絡(luò)[14]、隨機(jī)森林[15-16]、梯度提升樹[17]等。

近些年來，隨著深度學(xué)習(xí)理論及實踐的飛速發(fā)展，人工智能領(lǐng)域的計算機(jī)視覺、自然語言處理、語音識別的技術(shù)革新方興未艾[18]。相比傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)在圖像分類、語音識別等方面準(zhǔn)確率更高，同時具有更好的泛化性能。在以深度學(xué)習(xí)核心的人工智能新浪潮下，越來越多電力從業(yè)者開始探索深度學(xué)習(xí)應(yīng)用于電能質(zhì)量擾動識別的潛力[19-20]。深度學(xué)習(xí)中運(yùn)用的的神經(jīng)網(wǎng)絡(luò)主要有深度前饋網(wǎng)絡(luò)(Deep Neural Networks ，簡稱DNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks，簡稱CNN)、門控循環(huán)單元GRU、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN等。其中很多網(wǎng)絡(luò)已經(jīng)初步在電能質(zhì)量擾動識別問題上得到了應(yīng)用。文獻(xiàn)[21]設(shè)計了一個三層深度前饋網(wǎng)絡(luò)，為了防止訓(xùn)練過擬合還使用了Dropout正則化方法。文獻(xiàn)[22]提出了一個6層一維CNN的網(wǎng)絡(luò)結(jié)構(gòu)，其中使用了批歸一化層來防止過擬合和加速訓(xùn)練過程。

本文基于深度學(xué)習(xí)的基本原理，在One-hot編碼多分類和多標(biāo)簽分類的基礎(chǔ)上，提出了多任務(wù)分類，改變了復(fù)合擾動分類問題已有的建模方式。隨后在多任務(wù)分類這一建模方式上設(shè)計了一個能夠完成端到端電能質(zhì)量復(fù)合擾動識別的一維卷積神經(jīng)網(wǎng)絡(luò)。對比實驗結(jié)果表明，利用此方法構(gòu)建的網(wǎng)絡(luò)模型在各種信噪比水平下均有很高的識別準(zhǔn)確率，并且無需傳統(tǒng)方法的信號特征提取步驟，具有很好的應(yīng)用潛力。

1 一維CNN的基本原理和結(jié)構(gòu)

1.1 一維CNN的基本原理

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種以卷積計算為基礎(chǔ)，可以端到端學(xué)習(xí)輸入數(shù)據(jù)的特征并預(yù)測類別標(biāo)簽的深度學(xué)習(xí)方法。CNN的主要結(jié)構(gòu)包括卷積層(Convolution Layer)、匯合層(Pooling Layer)、激活函數(shù)層(Activation Layer)、批量歸一化層(Batch Normalization Layer，簡稱BN層)、全連接層(Fully-Connected Layer, 簡稱FC層)等。

與人工設(shè)計和提取特征不同，CNN可以自動提取出深層次特征。在CNN中，輸入數(shù)據(jù)首先通過一系列具有非線性激活函數(shù)的鏈?zhǔn)骄矸e核進(jìn)行轉(zhuǎn)換，這等效于應(yīng)用一系列鏈?zhǔn)蕉嗤ǖ婪蔷€性濾波器。 通過堆疊多個卷積層和使用非線性激活函數(shù)，使得網(wǎng)絡(luò)可以學(xué)習(xí)數(shù)據(jù)的復(fù)雜特征。其后，是一系列完全連接的FC層。在最后一個FC層中的激活函數(shù)之后，會輸出由各類別概率構(gòu)成的多維向量。

圖像作為二維空間序列，分類時采用的是二維CNN。而PQDs對應(yīng)一維時間序列，故可采用一維CNN進(jìn)行識別。圖像分類在CNN應(yīng)用之前也是先提取特征參數(shù)，再用分類器進(jìn)行分類。隨著CNN的應(yīng)用，這種可以直接在原始數(shù)據(jù)上作用的方法跳過了之前特征提取的階段，完成了原始輸入直接到輸出的任務(wù)，稱之為“端到端”學(xué)習(xí)，具有更簡潔的結(jié)構(gòu)和更突出的識別效果[23]。

1.2 卷積層

卷積層的主要功能是提取局部區(qū)域信息，具體是通過特定大小的卷積核依次滑過輸入數(shù)據(jù)的局部區(qū)域計算得到對應(yīng)的局部信息。其中，一維卷積只有一個空間維度，其卷積過程如下：

(1)

1.3 激活函數(shù)層

激活函數(shù)給神經(jīng)網(wǎng)絡(luò)加入了非線性，加入激活函數(shù)的非線性模型比線性模型具有更強(qiáng)的表達(dá)能力。激活層對輸入進(jìn)行非線性變換，使其具有更好的表達(dá)能力。常用的激活函數(shù)有tanh、sigmoid、relu等。其中，relu函數(shù)由于收斂速度快，且解決了sigmoid中的梯度飽和問題，因而得到了廣泛的應(yīng)用，其數(shù)學(xué)表示如下：

(2)

當(dāng)激活函數(shù)為relu時，激活后輸出為：

a[l]=max(0,WTa[l-1]+b),l=1,2,…,L-1

(3)

式中a[l]為第l層的輸出矩陣；L為神經(jīng)網(wǎng)絡(luò)總層數(shù)(輸入層除外)。

1.4 匯合層

卷積層之后一般會伴隨著匯合層，匯合層通過降采樣操作來減少計算量和網(wǎng)絡(luò)中參數(shù)數(shù)量，同時還具有一定的防止過擬合作用。常用的pooling結(jié)構(gòu)有最大值匯合(max-pooling)和平均值匯合(average-pooling)，在PQDs識別中，一般采用最大值匯合，表達(dá)式如下：

(4)

1.5 全局匯合層

在CNN中一般需要將最后一個卷積層的輸出展平(Flatten)后再經(jīng)過全連接層生成標(biāo)簽。采用全局最大值匯合(Global Max Pooling, GMP)或全局平均值匯合(Global Average Pooling, GAP)來取代展平操作，可以有效減少參數(shù)，同時具有防止過擬合的效果。過程如下：

(5)

(6)

其中，Xl,c為輸入第c個通道的第l個元素，Yc為輸出匯合結(jié)果的第c個值。全局最大匯合取每個通道特征元素的最大值，平均匯合則是平均值。

1.6 批歸一化層

在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，為了克服“退化”問題，總是希望樣本的中間特征在區(qū)間[0,1]上呈高斯分布，這時可以將樣本進(jìn)行批歸一化(BN)處理[24]。BN可以提高訓(xùn)練速度，并減小輸入初始值的影響。它可以減少過擬合，而且比Dropout效率更高。BN可被視為訓(xùn)練過程中每一層輸入數(shù)據(jù)的標(biāo)準(zhǔn)化處理，從而確保輸入數(shù)據(jù)保持相同的分布。其數(shù)學(xué)表達(dá)如下：

(7)

(8)

式中yi為批歸一化的輸出；γ為尺度變換參數(shù)；β為平移參數(shù)。

1.7 全連接層

全連接層(Fully Connected Layers，F(xiàn)C)可以把所有的特征都“連接”在一起，是在整個CNN中是起到分類作用的模塊。

在多分類問題中輸出層采用softmax作為激活函數(shù)，數(shù)學(xué)表達(dá)為：

(9)

在二分類問題中輸出層采用sigmoid作為激活函數(shù)，數(shù)學(xué)表達(dá)為：

(10)

2 電能質(zhì)量多任務(wù)學(xué)習(xí)分類建模

2.1 傳統(tǒng)建模方式

國際標(biāo)準(zhǔn)IEEE 1159-2009標(biāo)準(zhǔn)[25]定義的PQDs類型可分為以下四大類：第一類包括電壓中斷、電壓暫降、電壓暫升，為短時電壓幅值類擾動；第二類包括暫態(tài)沖擊、暫態(tài)振蕩、電壓切口，為短時非幅值暫態(tài)擾動；第三類為閃變擾動；第四類為諧波擾動。在實際的電能質(zhì)量復(fù)合擾動中，每一大類中最多只能有一種單擾動，若最多只考慮三重擾動，則復(fù)合擾動一共有55種(包括正常信號)。

傳統(tǒng)復(fù)合擾動分類建模形式為多標(biāo)簽分類[10]或One-Hot編碼多分類[26]。多標(biāo)簽分類將每個單擾動的存在與否用0-1編碼，雖然可以表示復(fù)合擾動，但是此編碼方式把很多實際中不存在的擾動納入了考慮范圍，例如“電壓暫升+電壓暫降”。多標(biāo)簽分類沒考慮到同一大類中的擾動不能同時發(fā)生多種，導(dǎo)致網(wǎng)絡(luò)輸出的自由度大于實際情形。One-Hot編碼多分類把復(fù)合擾動看成一種新的擾動，與其對應(yīng)的單擾動分割開來，沒有考慮到組成復(fù)合擾動的單擾動和復(fù)合擾動之間的關(guān)系，這樣可能導(dǎo)致單擾動和復(fù)合擾動的區(qū)分度下降。綜上，這兩種建模方式均沒有有效體現(xiàn)出電能質(zhì)量問題中復(fù)合擾動和各種單擾動之間的相關(guān)性。

2.2 多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)(Multi-Task Learning, MTL)是一種基于共享表示(Shared Representation)，把多個相關(guān)的任務(wù)放在一起學(xué)習(xí)的機(jī)器學(xué)習(xí)模式?，F(xiàn)實問題若可以分解成子問題，各種子問題是通過一些共享因素或共享表示聯(lián)系在一起，如果把子問題都當(dāng)成獨立的單任務(wù)處理，則忽略了它們之間的關(guān)聯(lián)信息。多任務(wù)學(xué)習(xí)在這個背景下應(yīng)運(yùn)而生，事實上，互相關(guān)聯(lián)的多任務(wù)學(xué)習(xí)比單任務(wù)學(xué)習(xí)具有更好的泛化效果。其與單任務(wù)學(xué)習(xí)的對比如圖1，圖2所示。

圖1 單任務(wù)學(xué)習(xí)

圖2 多任務(wù)學(xué)習(xí)

2.3 基于多任務(wù)學(xué)習(xí)的擾動識別編碼方案

結(jié)合多任務(wù)學(xué)習(xí)的基本原理和電能質(zhì)量復(fù)合擾動識別問題的實際情況，可以構(gòu)建一個10維向量，具體由對應(yīng)四個子任務(wù)的子向量構(gòu)成。為了表示第一大類擾動，對應(yīng)電壓電壓中斷、電壓暫降、電壓暫升、正常，構(gòu)建一個四維的One-hot編碼向量；同理也構(gòu)建一個四維的One-hot編碼向量對應(yīng)暫態(tài)沖擊、暫態(tài)振蕩、電壓切口、正常；第三類擾動為一個二分類問題，對應(yīng)閃變、正常；第四類擾動也是二分類問題，對應(yīng)諧波、正常。表1以“暫升+閃變”的二重擾動為例，顯示了一種基于多任務(wù)學(xué)習(xí)的編碼方案。

表1 二重擾動“暫升+閃變”的標(biāo)簽編碼方案

樣本通過神經(jīng)網(wǎng)絡(luò)映射后輸出一個10維預(yù)測向量，第一個、第二個子任務(wù)均對應(yīng)4維向量，其中數(shù)值最大的標(biāo)簽即為預(yù)測標(biāo)簽；第三個、第四個子任務(wù)均對應(yīng)1維向量，僅在預(yù)測數(shù)值大于0.5時標(biāo)簽存在。

2.4 基于多任務(wù)學(xué)習(xí)的擾動識別損失函數(shù)

為了評估基于多任務(wù)學(xué)習(xí)建模的深度學(xué)習(xí)模型的分類效果，需要構(gòu)建多任務(wù)損失函數(shù)。文中采用的策略為對子任務(wù)采用對應(yīng)的交叉熵?fù)p失，再加權(quán)求和得到總的損失函數(shù)。

對于前兩個子任務(wù)，激活函數(shù)采用Softmax函數(shù)，使用多分類交叉熵，公式為：

(11)

對應(yīng)損失函數(shù)如下：

L1(θ)=L2(θ)=Lcross_entropy(yi|xi,θ)

(12)

式中xi為第i個樣本，yi為第i個樣本的標(biāo)簽。

對于后兩個子任務(wù)，激活函數(shù)采用Sigmoid函數(shù)，使用二分類交叉熵，公式為：

(13)

對應(yīng)損失函數(shù)如下：

L3(θ)=L4(θ)=Lbinary_cross_entropy(yi|xi,θ)

(14)

則多任務(wù)損失函數(shù)可以表示為：

(15)

式中wi為第i個任務(wù)的權(quán)重；Li為第i個任務(wù)的損失。

設(shè)樣本數(shù)為N，則樣本集上的總損失為：

(16)

3 基于一維卷積神經(jīng)網(wǎng)絡(luò)和多任務(wù)學(xué)習(xí)的復(fù)合擾動識別(PQCNN)

根據(jù)以上CNN的基本原理以及多任務(wù)學(xué)習(xí)的建模思路，本文設(shè)計了一個基于多任務(wù)學(xué)習(xí)的一維卷積神經(jīng)網(wǎng)絡(luò)(PQCNN)。如圖3所示，此結(jié)構(gòu)由輸入層、6個Conv1D+BN+ReLU的模塊，4個一維Maxpooling層(Maxpooling1D)、一個全局最大值匯合層(GlobalMaxPooling1D)和5個全連接層(Dense)構(gòu)成。

圖3 PQCNN網(wǎng)絡(luò)結(jié)構(gòu)示意圖

需要指出的是，與一般匯合層降維的作用不同，本文所采用的Maxpooling1D步長設(shè)置為1，不會使特征降維，而且可以起到匯合特征的作用。

輸入信號經(jīng)過Conv1D+BN+ReLU(卷積層的步長為1)的模塊和步長為1的Maxpooling1D層來提取特征。之后卷積層的步長變?yōu)?，通過類似模塊進(jìn)一步提取特征和降維。GMP層用來匯合卷積層學(xué)習(xí)到的特征，其后接著一個全連接層對特征進(jìn)行合適的變換。最后根據(jù)多任務(wù)學(xué)習(xí)的思想，將此全連接層的特征分別映射到對應(yīng)4個子任務(wù)模塊上，在結(jié)構(gòu)上反映為4個全連接層。具體結(jié)構(gòu)及參數(shù)如表2所示。

表2 PQCNN網(wǎng)絡(luò)參數(shù)

4 仿真實驗驗證

為驗證文中方法在PQDs識別上的有效性，將此結(jié)構(gòu)在深度學(xué)習(xí)框架Keras上實現(xiàn)和訓(xùn)練。其中，輸入信號由Matlab根據(jù)仿真數(shù)學(xué)模型產(chǎn)生，包括信噪比20 dB、30 dB、40 dB、50 dB，以及20 dB～50 dB隨機(jī)信噪比的信號，55種擾動類型中每種擾動信號數(shù)量為1 000個，其中訓(xùn)練集數(shù)量為800個，驗證集數(shù)量為200個。

文中采用Adam優(yōu)化算法訓(xùn)練此網(wǎng)絡(luò)。Adam算法計算高效、所需內(nèi)存少、解決稀疏梯度的問題、適用于非穩(wěn)態(tài)的優(yōu)化目標(biāo)。Mini-batch方法的應(yīng)用可以進(jìn)一步提高算法的執(zhí)行速度，這里batch-size取512，epochs(訓(xùn)練次數(shù))取800次?？紤]到PQDs的實際情況以及四個子任務(wù)識別的難易程度，將前文提出的多任務(wù)損失函數(shù)中的權(quán)重參數(shù)分別設(shè)置為1.0、5.0、1.5、0.2。

PQCNN在各個信噪比下的實驗結(jié)果如表3所示。

其中，L表示樣本數(shù).由于計算機(jī)仿真數(shù)據(jù)樣本有限，當(dāng)L≥100|Ω|時，仿真的BER值具有參考意義.另外，根據(jù)式(14)可以看出，機(jī)密信號的BER和Ebw/N0、μs、η有關(guān).在仿真實驗中將具體分析這些參數(shù)對機(jī)密信號解調(diào)損失的影響.

表3 PQCNN在不同信噪比上的準(zhǔn)確率

由表3可知，提出的基于多任務(wù)學(xué)習(xí)的一維CNN模型在各個信噪比上均有非常良好的效果。除了20 dB以外，PQCNN在各個信噪比下的準(zhǔn)確率均達(dá)到了99%以上，隨機(jī)信噪比下準(zhǔn)確率也達(dá)到了98.85%，表明PQCNN具有很高的識別準(zhǔn)確率。

除此之外，PQCNN在不同信噪比下的準(zhǔn)確率相差很小，這得益于本文提出的多任務(wù)建模方式以及具有聚合特征作用的Maxpooling提高了網(wǎng)絡(luò)的魯棒性。下文將通過更多實驗來證實這一點。

(1)Maxpooling對比實驗。

對比實驗設(shè)置如下：(a)原結(jié)構(gòu)、(b)不使用Maxpooling、(c)將Maxpooling的步長設(shè)置為2。信噪比設(shè)置為20 dB～50 dB隨機(jī)信噪比，實驗結(jié)果如表4所示。

表4 Maxpooling對比實驗

由表4可知，當(dāng)使用步長為2的Maxpooling時，雖然匯合層起到了降維的效果，但是輸出特征圖的尺寸過小，使信號的很大部分特征丟失，導(dǎo)致識別準(zhǔn)確率明顯不如PQCNN。當(dāng)步長設(shè)置為1時，相比不使用Maxpooling，雖然信號長度沒有發(fā)生變化，但是最大值匯合這個操作有效突顯了主要特征，提高了識別的準(zhǔn)確率。

(2)多任務(wù)、多分類、多標(biāo)簽分類對比實驗。

將輸出層的多任務(wù)分類建模方式分別換為多分類和多標(biāo)簽分類實現(xiàn)，網(wǎng)絡(luò)其余結(jié)構(gòu)均保持不變，信噪比同樣設(shè)置為20 dB～50 dB隨機(jī)信噪比，實驗結(jié)果如表5所示。

表5 多任務(wù)、多分類、多標(biāo)簽分類對比實驗

實驗結(jié)果表明，多任務(wù)分類在單擾動和多重擾動的分類效果上均比One-hot多分類和多標(biāo)簽分類要好，這說明多任務(wù)分類能更好的體現(xiàn)多重擾動和單擾動間的標(biāo)簽關(guān)聯(lián)性。另外，多任務(wù)分類在識別單擾動和多重擾動時準(zhǔn)確率之差僅有0.55%，小于多分類的0.72%和多標(biāo)簽分類的1.39%，也體現(xiàn)了多任務(wù)建模方式能有效提高系統(tǒng)的魯棒性。

(3)PQCNN與其他方法對比。

為了更直觀的說明文章提出方法的有效性，將文中網(wǎng)絡(luò)結(jié)構(gòu)與傳統(tǒng)方法和已提出的深度學(xué)習(xí)方法進(jìn)行對比。其中有文獻(xiàn)[21]提出的深度前饋網(wǎng)絡(luò)(DFN)，還有MFCNN、CART算法、隨機(jī)森林算法(RF)，實驗結(jié)果如表6所示。

表6 PQCNN與其他方法的對比

由實驗結(jié)果可知，深度學(xué)習(xí)方法在各個信噪比環(huán)境下準(zhǔn)確率均比傳統(tǒng)方法高，顯示出較大的優(yōu)勢。其中，文中提出的PQCNN的準(zhǔn)確率較DFN、MFCNN等深度學(xué)習(xí)方法也有可觀的提升。相比后兩種方法，PQCNN在各個信噪比條件下均提高了1%以上，且有很好的魯棒性，具有良好的應(yīng)用前景。

5 PQDs擾動識別算例

為了更好地說明PQCNN的有效性，使用PQCNN對實際PQDs波形進(jìn)行識別。數(shù)據(jù)和波形由基于FPGA的電能質(zhì)量標(biāo)準(zhǔn)源產(chǎn)生，此信號源以FPGA為平臺，主要由數(shù)模轉(zhuǎn)換器AD5541A、集成運(yùn)放芯片PA15FL、電流放大元件OPA549、信號采集芯片AD7606等部件組成。將其中4組擾動信號用于本文實驗，波形如圖4所示。經(jīng)PQCNN識別，最終分類得到其對應(yīng)標(biāo)簽分別為(a)電壓暫降、(b)電壓中斷 、(c)閃變、 (d)電壓暫降+諧波。經(jīng)驗證，標(biāo)簽結(jié)果與輸入信號的擾動類型相同，說明了PQCNN的有效性。

圖4 擾動波形

6 結(jié)束語

針對傳統(tǒng)方法在電能質(zhì)量擾動識別上面提取特征困難、準(zhǔn)確率不高、泛化性能有限，以及多分類和多標(biāo)簽分類建模無法有效體現(xiàn)單擾動和多重擾動標(biāo)簽關(guān)聯(lián)性等問題，文章提出了基于多任務(wù)學(xué)習(xí)和一維卷積神經(jīng)網(wǎng)絡(luò)的PQCNN結(jié)構(gòu)：

(1)使用一維卷積神經(jīng)網(wǎng)絡(luò)完成了“端到端”識別，無需人工提取特征量，簡化了PQDs識別的步驟，增加了系統(tǒng)的泛化能力；

(2)提出了多任務(wù)學(xué)習(xí)這一新的建模方式應(yīng)用于PQDs識別。將多重擾動和單擾動的標(biāo)簽關(guān)聯(lián)性在網(wǎng)絡(luò)的輸出模塊中得到了有效體現(xiàn)，提高了識別的準(zhǔn)確率；

(3)設(shè)計了基于一維CNN和多任務(wù)學(xué)習(xí)的PQCNN結(jié)構(gòu)，使用了步長為1的Maxpooling操作并合理設(shè)計了網(wǎng)絡(luò)其他各個模塊，使得模型在各個信噪比上均具有良好的識別效果。

綜上，根據(jù)理論分析、仿真實驗以及擾動識別算例的結(jié)果，證明了文中提出的PQCNN具有良好的識別效果以及廣闊的應(yīng)用前景。