基于深度卷積去噪網(wǎng)絡(luò)的電能質(zhì)量擾動識別方法

奚鑫澤，邢超，覃日升，郭成，周鑫

（云南電網(wǎng)有限責任公司電力科學(xué)研究院，昆明 650217）

0 引言

隨著分布式發(fā)電系統(tǒng)以及高速開關(guān)設(shè)備的大量接入，復(fù)合電能質(zhì)量擾動事件的發(fā)生比以往更加頻繁，種類更加繁多［1-2］。復(fù)合擾動由多種單一擾動按一定規(guī)則組合而成，多種單一擾動特征的相互影響給復(fù)合擾動分類造成了極大困難［3-4］。傳統(tǒng)的擾動特征提取方法包括小波變換［5-6］、S變換［7-8］、集成經(jīng)驗?zāi)B(tài)分解［9］和變分模態(tài)分解［10-11］等，這些方法采用人工方式提取擾動特征，容易造成特征丟失，對復(fù)合擾動分類的正確率還有待提高。

近年來，隨著智能電網(wǎng)建設(shè)的推進，其規(guī)劃、運行和維護產(chǎn)生的數(shù)據(jù)量呈指數(shù)增長，基于電力大數(shù)據(jù)的深度學(xué)習方法成為研究熱點［12-15］。在復(fù)合擾動分類領(lǐng)域，也出現(xiàn)了許多先進的研究成果［16-21］。Mohan［17］等人探討了深度學(xué)習算法在復(fù)合電能質(zhì)量擾動識別方面的潛力，對常見的深度網(wǎng)絡(luò)進行了詳細對比分析。文獻［18］進一步總結(jié)了深度學(xué)習算法在復(fù)合擾動分類領(lǐng)域應(yīng)用的一般架構(gòu)，并提出了網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計原則和訓(xùn)練策略。這類深度學(xué)習方法無需信號處理過程，可以自動提取擾動特征，大大提高了擾動的識別精度。然而，這類深度學(xué)習模型強大的擬合能力在面對復(fù)雜噪聲干擾時容易出現(xiàn)過擬合，抗噪性能不強。因此，有必要開發(fā)適用于復(fù)雜噪聲環(huán)境下的電能質(zhì)量擾動識別新方法。

最近，一種端到端的深度去噪算法——深度殘差收縮網(wǎng)絡(luò)被提出［22］。該方法將軟閾值函數(shù)與深度學(xué)習結(jié)構(gòu)相結(jié)合，能夠應(yīng)用于復(fù)雜噪聲環(huán)境下的機械故障診斷任務(wù)。本文對深度殘差收縮網(wǎng)絡(luò)進行了改進，并提出了一種適用于高噪聲環(huán)境下的電能質(zhì)量擾動識別算法。相比于深度殘差收縮網(wǎng)絡(luò)，本文重新構(gòu)建了軟閾值函數(shù)層，并將其作為一個獨立去噪模塊，插入到卷積層之間，進而增強卷積網(wǎng)絡(luò)的去噪能力。擾動信號屬于一維時間序列，因此本文在一維卷積塊的基礎(chǔ)上添加軟閾值去噪模塊，并通過卷積塊與軟閾值去噪模塊的堆疊得到深度卷積去噪網(wǎng)絡(luò)（deep convolutional denoising network，DCDN）。仿真對比實驗結(jié)果表明，相比于現(xiàn)有深度學(xué)習方法，所提深度去噪網(wǎng)絡(luò)具有特征提取能力強、抗噪性好等優(yōu)點，能夠有效處理高噪聲環(huán)境下的復(fù)合電能質(zhì)量擾動識別問題。

1 軟閾值去噪網(wǎng)絡(luò)

基于神經(jīng)網(wǎng)絡(luò)構(gòu)造軟閾值函數(shù)，并將其插入到深度網(wǎng)絡(luò)中構(gòu)成軟閾值去噪模塊。所構(gòu)造的軟閾值去噪模塊對卷積網(wǎng)絡(luò)輸出的特征圖進行自適應(yīng)變換，去除特征圖中的噪聲及冗余特征。根據(jù)對卷積通道的不同處理方式，本文構(gòu)造了通道共享和通道獨立兩種軟閾值去噪模塊。

1.1 軟閾值函數(shù)

軟閾值處理在很多信號去噪方法中經(jīng)常被用作關(guān)鍵步驟。一般來說，原始信號被轉(zhuǎn)換到一個域，其中接近零的數(shù)字是不重要的，因此采用軟閾值法將接近零的特征值轉(zhuǎn)換為0，而將其他絕對值較大的特征朝著0的方向進行收縮，它可以通過以下公式來實現(xiàn)。

式中：x和y分別為輸入和輸出特征；τ為閾值。軟閾值函數(shù)的導(dǎo)數(shù)表達式如下：

上述軟閾值函數(shù)及其導(dǎo)數(shù)的處理過程如圖1所示。

圖1 軟閾值及其導(dǎo)數(shù)的處理過程Fig.1 Illustration of (a) soft thresholding and (b) its derivative

從圖1（b）可以看到，輸出對輸入的導(dǎo)數(shù)為1或0，這對于深度學(xué)習方法在反向傳播過程中防止梯度消失和爆炸問題是有效的。因此，采用深度學(xué)習網(wǎng)絡(luò)構(gòu)造軟閾值去噪模塊是一種可行方法。相比于軟閾值函數(shù)，采用深度網(wǎng)絡(luò)構(gòu)造的軟閾值去噪模塊能夠針對不同輸入特征的含噪情況自適應(yīng)地計算其閾值，進而有效地減少輸入特征中的噪聲及冗余特征。

1.2 通道共享軟閾值去噪模塊

為了能夠根據(jù)特征樣本自身的噪聲含量自適應(yīng)地獨立設(shè)置閾值，所構(gòu)建去噪模塊中的軟閾值應(yīng)從特征本身變換而來。本文采用一維卷積對擾動信號進行特征提取，因此軟閾值去噪模塊的輸入是卷積網(wǎng)絡(luò)輸出的特征圖F，F(xiàn)的尺寸為C×N，其中C為特征圖的通道數(shù)，N為特征圖的序列長度。構(gòu)造的通道共享（channel shared， CS）軟閾值去噪模塊如圖2所示。

如圖2所示，給定輸入特征圖F，首先取F的絕對值，然后采用全局均值池化（global average pooling， GAP）將二維特征圖轉(zhuǎn)化為長度為C的一維向量ff，具體表達式如下。

圖2 通道共享軟閾值模塊Fig.2 Channel shared soft threshold module

式中：fc為一維向量ff的第c個元素；Fc為二維特征圖F中通道c的特征向量。然后，采用全連接層對一維向量進行線性變換，得到一個縮放系數(shù)α。為了使得縮放系數(shù)的數(shù)值范圍在0到1之間，采用Sigmoid函數(shù)作為輸出神經(jīng)元的激活函數(shù)。線性變換過程如下。

式中：WC*1為輸入維度為C、輸出維度為1的線性變換；δ為sigmoid激活函數(shù)。接著，將縮放系數(shù)與特征圖絕對值的平均值相乘得到閾值τ。這樣的設(shè)計保證了學(xué)習得到的軟閾值函數(shù)的閾值不僅總大于0，且始終小于特征圖的最大絕對值，否則，軟閾值去噪模塊的輸出將始終為0。閾值的計算過程如式（6）所示。

式中：i和j分別為特征圖通道維度和特征維度的序號。最后，采用式（1）定義的軟閾值函數(shù)對原始特征圖進行軟閾值去噪，得到去噪后的特征圖F′。

1.3 通道獨立軟閾值去噪模塊

通道共享軟閾值去噪模塊對整個特征圖采用一個統(tǒng)一的閾值進行去噪，具有可學(xué)習參數(shù)少，結(jié)構(gòu)簡單等優(yōu)點，但考慮到卷積輸出的特征圖不同通道的特征來源于不同卷積濾波器，具有一定的獨立性，使用統(tǒng)一的閾值可能難以適應(yīng)各個通道的噪聲情況。為此，進一步設(shè)計通道獨立（channel wised，CW）的軟閾值模塊，其結(jié)構(gòu)如圖3所示。

圖3 通道獨立軟閾值模塊Fig.3 Channel wised soft threshold module

相比于通道共享軟閾值模塊，通道獨立軟閾值模塊采用兩層全連接神經(jīng)網(wǎng)絡(luò)做線性變換，將全局池化后的一維特征向量轉(zhuǎn)化為相同維度的縮放系數(shù)向量α，線性變換過程可以表示如式（7）—（8）所示。

式中：W1和W2分別為兩層線性變換層，W1輸入維度為通道數(shù)C，輸出維度為C/4，W2的輸入輸出維度分別為C/4和C；δ為sigmoid激活函數(shù)，用于歸一化縮放系數(shù)；σ為線性修正單元（rectified liner unit，Relu），防止訓(xùn)練過程中的梯度彌散問題。將縮放系數(shù)向量α與全局池化后的特征向量相乘得到閾值，其表達式如式（9）所示。

式中i和j分別為特征圖通道維度和特征維度的序號。最后，采用式（1）定義的軟閾值函數(shù)對原始特征圖的每個通道分別進行軟閾值去噪，得到去噪后的特征圖F″。

2 基于深度卷積去噪網(wǎng)絡(luò)（DCDN）的擾動識別方法

2.1 DCDN網(wǎng)絡(luò)的整體架構(gòu)

所提DCDN模型主要包括基于一維卷積的特征提取網(wǎng)絡(luò)和基于全連接層的擾動分類網(wǎng)絡(luò)兩個部分，其整體架構(gòu)如圖4所示。

圖4 DCDN網(wǎng)絡(luò)的整體架構(gòu)Fig.4 The framework of DCDN

DCDN網(wǎng)絡(luò)首先采用特征提取網(wǎng)絡(luò)對擾動信號進行特征提取。特征提取網(wǎng)絡(luò)由4組一維卷積塊和軟閾值去噪模塊交替堆疊而成。采用多個全連接層（fully connected layers，F(xiàn)C）構(gòu)造擾動分類網(wǎng)絡(luò)，最終輸出擾動的類別標簽。在特征提取網(wǎng)絡(luò)與分類網(wǎng)絡(luò)之間，采用最大值全局池化層進行連接。所提DCDN網(wǎng)絡(luò)的擾動識別過程可以表示如式（10）所示。

式中：x為擾動信號（一維時間序列）；f1DCNN（·）和fFC（·）分別為特征提取網(wǎng)絡(luò)和擾動分類網(wǎng)絡(luò)；y為擾動的類別標簽。

2.2 一維卷積塊

所提DCDN模型的特征提取網(wǎng)絡(luò)采用一維卷積神經(jīng)網(wǎng)絡(luò)（one-dimensional convolutional neural network，1DCNN）進行構(gòu)建。一維卷積只對輸入數(shù)據(jù)的一個維度進行卷積運算，運算過程在數(shù)據(jù)的空間維度上滑動進行，適用于提取一維序列數(shù)據(jù)（如擾動信號）的特征，其映射過程如式（11）所示。

式中：m為卷積核的大?。籯j為卷積核第j個權(quán)重系數(shù)；b為卷積的偏置；fi為卷積的第i個輸出值；對應(yīng)于輸入序列的第i個值xi；δ（·）為卷積輸出的非線性激活函數(shù)。

特征提取網(wǎng)絡(luò)的每個卷積塊由2個一維卷積層和1個最大值池化層構(gòu)成。輸入的序列采用兩個卷積核較小的卷積層進行連續(xù)卷積，以增加卷積層的感受野。最大值池化層能夠?qū)矸e輸出的特征圖進行降維，具有特征篩選的作用，進一步減少了參數(shù)量。構(gòu)建的一維卷積塊的參數(shù)設(shè)置如表1所示。

表1 一維卷積塊參數(shù)設(shè)置Tab.1 The parameters setting of 1DCNN

2.3 擾動分類網(wǎng)絡(luò)

采用兩層全連接層搭建擾動分類網(wǎng)絡(luò)，2個全連接層之間添加Dropout層，每次訓(xùn)練隨機丟棄部分權(quán)重連接，提高網(wǎng)絡(luò)的泛化性能，防止模型過擬合。網(wǎng)絡(luò)的輸出層采用softmax函數(shù)作為激活函數(shù)，其數(shù)學(xué)表達式如下。

式中：xi為輸出層第i個神經(jīng)元的輸出；pi為第i個標簽輸出值，表示樣本屬于第i類擾動的概率值；n為擾動的總類別數(shù)。擾動分類網(wǎng)絡(luò)的詳細參數(shù)設(shè)置如表2所示。

表2 分類網(wǎng)絡(luò)參數(shù)設(shè)置Tab.2 The parameters setting of classifier network

2.4 DCDN網(wǎng)絡(luò)的訓(xùn)練

DCDN網(wǎng)絡(luò)通過反向傳播算法來訓(xùn)練，采用Adam優(yōu)化算法更新完了權(quán)重，可以有效緩解梯度稀疏問題，具有計算高效、所需內(nèi)存少等優(yōu)勢。為了進一步加速算法的執(zhí)行速度，采用Mini-batch 方法，即每次迭代輸入多個樣本。

電能質(zhì)量擾動識別本質(zhì)上是一個多分類任務(wù)，為了便于網(wǎng)絡(luò)的訓(xùn)練，采用one-hot向量來表示擾動的類別，如果樣本信號中包含第i種擾動類別，則其樣本標簽向量的對應(yīng)第i個元素為1，其他原元素為0。one-hot標簽結(jié)合網(wǎng)絡(luò)末端的softmax分類器是進行多分類任務(wù)的有效組合，通常采用多分類交叉熵計算分類損失，其表達式如式（13）所示。

式中：c為類別總數(shù)；pi和yi分別為第i個擾動類別的預(yù)測值和真實值。

3 仿真實驗驗證

3.1 擾動信號仿真數(shù)據(jù)集

為了驗證所提DCDN方法的有效性，采用MATLAB 2019a軟件根據(jù)擾動的數(shù)學(xué)模型進行仿真，得到訓(xùn)練和測試樣本。根據(jù)電能質(zhì)量的IEEE Std.1159標準，建立暫升、暫降、中斷、諧波、閃變、振蕩暫態(tài)和脈沖暫態(tài)7種典型的單一擾動信號的數(shù)學(xué)模型，電能質(zhì)量擾動信號的基波頻率為50 Hz，采樣頻率設(shè)為3.2 kHz。每個PQD信號樣本采樣10個周期，共包含640個采樣點。單一擾動的仿真波形如圖5所示。

圖5 單一電能質(zhì)量擾動的仿真波形Fig.5 Simulated waveforms of single PQD

將以上7種單一擾動進行復(fù)合，得到10種復(fù)合擾動共計17個類別，具體類別與編號列于表3。

表3 電能質(zhì)量擾動類別及其標簽Tab.3 The types and labels of PQD

采用MATLAB軟件制作擾動數(shù)據(jù)集，每個擾動類別生成1 000個樣本，其中600個作為訓(xùn)練集，200個作為驗證集，200個作為測試集。最終，得到樣本數(shù)分別為10 800、3 600和3 600的訓(xùn)練集、驗證集和測試集?？紤]實際環(huán)境中的噪聲問題，在上述擾動數(shù)據(jù)集上添加高斯白噪聲，信噪比為20～50 dB之間的隨機值。此外，為了充分評估模型的抗噪性能，額外生成信噪比分別為20、30、40、50 dB以及不含噪聲的測試集。

3.2 模型的實現(xiàn)與訓(xùn)練

根據(jù)本文所提軟閾值去噪模塊的兩種架構(gòu)：通道共享（CS）和通道獨立（CW）設(shè)計兩個DCDN網(wǎng)絡(luò)，分別為DCDN-CS和DCDN-CW。采用Tensorflow深度學(xué)習框架實現(xiàn)所提兩種深度學(xué)習網(wǎng)絡(luò)，訓(xùn)練的迭代次數(shù)設(shè)為100次，樣本的批尺寸大小為128，訓(xùn)練過程損失變化如圖6所示。

圖6 DCDN-CS和DCDN-CW的訓(xùn)練過程Fig.6 The training histories of DCDN-CS and DCDN-CW

圖6（a）和（b）分別為DCDN-CS和DCDN-CW網(wǎng)絡(luò)的訓(xùn)練過程?？梢钥吹剑瑑蓚€模型都在迭代60次后基本收斂。不同的是，相比于DCDN-CS模型，DCDN-CW模型的訓(xùn)練過程更加平穩(wěn)，這是因為通道獨立的軟閾值去噪模塊針對不同卷積通道采用不同閾值，使得網(wǎng)絡(luò)更易于訓(xùn)練。

3.3 仿真結(jié)果對比分析

為了驗證所提模型的性能，設(shè)計并實現(xiàn)以下4種現(xiàn)有的深度學(xué)習模型進行對比。

1） CNN：在所提DRSN模型的基礎(chǔ)上，去掉網(wǎng)絡(luò)的軟閾值模塊，僅保留經(jīng)典的卷積分類網(wǎng)絡(luò)的結(jié)構(gòu)。在多層卷積之后，直接添加全連接層和softmax分類器進行分類；

2） Resnet：在上述CNN網(wǎng)絡(luò)基礎(chǔ)上，在每個卷積塊的輸入輸出端添加快捷連接構(gòu)成殘差網(wǎng)絡(luò)?？旖葸B接采用卷積核大小為1的卷積層實現(xiàn)。

3） SE-net：在上述CNN網(wǎng)絡(luò)基礎(chǔ)上，在每個卷積塊的后面加上Squeeze-and-Excitation注意力模塊，構(gòu)成SE-net。

4） CBAM-net：在上述CNN網(wǎng)絡(luò)基礎(chǔ)上，在每個卷積塊的后面加上Convolutional Block Attention Module模塊，構(gòu)成CBAM-net。

對比模型的訓(xùn)練參數(shù)與損失函數(shù)與本文模型保持一致。采用信噪比分別為20、30、40、50 dB以及不含噪聲的5種測試集分別對本文所提DCDN模型和上述4種對比模型進行對比，測試的結(jié)果如圖7所示（ideal表示不含噪聲的理想信號）。

圖7 不同噪聲條件下各深度模型的分類結(jié)果Fig.7 Classification results of different DL models under different noises

從圖7可以看到，整體上所提DCDN模型表現(xiàn)最好，CNN和Resnet表現(xiàn)最差。在不同噪聲條件下，所提模型的正確率波動最小，其他對比模型在極端噪聲環(huán)境下（信噪比為20 dB）模型的正確率衰減較大，其中CNN和Resnet模型甚至下降了約10%。這表明相比于4種常見的深度學(xué)習模型，本文所提DCDN模型在抗噪性能方面有明顯優(yōu)勢。

為了進一步分析不同深度模型之間的表現(xiàn)，模型在5種噪聲環(huán)境下的平均正確率列于表4。此外，為體現(xiàn)本文所提算法的先進性，分別驗證不同深度學(xué)習模型的復(fù)雜度與實時性，將各個模型的參數(shù)量、測試所用時間列于表5。

表4 不同模型的平均正確率Tab.4 Average accuracy of different models

表5 不同模型的復(fù)雜度Tab.5 Complexity of different models

表4采用均值和標準誤統(tǒng)計了各深度模型在不同噪聲條件下的平均正確率?？梢钥吹剑疚乃嵘疃热ピ刖W(wǎng)絡(luò)平均正確率均高于99%，且標準誤差均小于1%，這意味著所提DCDN網(wǎng)絡(luò)對擾動信號所含有的噪聲具有較強的適應(yīng)性。相比于經(jīng)典的CNN網(wǎng)絡(luò)，正確率提高了約5%。此外，添加了注意力機制的網(wǎng)絡(luò)SE-net和CBAM-net相比于CNN也有不同程度的提升，這主要是因為引入的注意力機制能夠通過分配不同的注意力系數(shù)使得模型在訓(xùn)練過程中自動關(guān)注有用特征，這與本文所提軟閾值去噪網(wǎng)絡(luò)通過軟閾值去除噪聲保留有效特征類似。相比于通道共享的DCDN-CS模型，對每個卷積通道獨立生成閾值的DCDN-CW模型總體表現(xiàn)也有所提升。

如表5所示，從模型復(fù)雜度上來看，相比于經(jīng)典CNN模型，所添加的軟閾值去噪模塊并未顯著增加模型復(fù)雜度，各個模型的參數(shù)量基本處于同一水平?？傮w上，相比于通道共享的DCDN-CS模型，通道獨立的DCDN-CW模型參數(shù)量更多，模型復(fù)雜度也相對更高。

3.4 與現(xiàn)有方法對比分析

將本文所提DCDN方法與現(xiàn)有的電能質(zhì)量擾動識別算法進行對比，進一步驗證所提方法的有效性。分別選擇3種傳統(tǒng)方法和2種深度學(xué)習方法進行對比，3種傳統(tǒng)方法包括采用離散小波變換和概率神經(jīng)網(wǎng)絡(luò)的方法（DWT+PNN）［5］、采用變分模態(tài)分解和決策樹的方法（VMD+DT）［11］以及采用可調(diào)品質(zhì)因子小波變換和隨機森林的方法（TQWT+RF）［23］，深度學(xué)習方法包括采用相空間重構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法（PSR+CNN）［24］和稀疏自編碼器方法（SSAE）［25］。與現(xiàn)有擾動識別方法的對比結(jié)果如表6所示。

表6 與現(xiàn)有方法的對比結(jié)果Tab.6 Comparison results between DCDN and the existing methods

如表6所示，除了SSAE模型以外，本文所提的兩個DCDN模型在各種噪聲條件下均取得了最高的正確率。相比于SSAE方法，本文方法能夠識別18種單一和復(fù)合擾動，但識別精度略低，總體上與SSAE的差距小于0.5%。相比于DWT+PNN、VMD+DT以及TQWT+RF等機器學(xué)習方法，本文所提方法無需人工提取擾動特征量，簡化了擾動識別模型的構(gòu)建過程，是一種端到端的擾動識別算法。從對復(fù)雜噪聲的處理情況來看，本文方法在不同噪聲水平下的識別正確率波動更小，體現(xiàn)了DCDN方法強大的抗噪聲能力。

4 結(jié)論

提高電能質(zhì)量擾動識別算法在復(fù)雜噪聲條件下的識別精度是進行電能質(zhì)量擾動識別研究的重要課題。本文基于軟閾值去噪的原理設(shè)計了兩種深度卷積去噪模型：DCDN-CS和DCDN-CW。該方法將軟閾值函數(shù)作為非線性層插入到深度網(wǎng)絡(luò)中，使得網(wǎng)絡(luò)在訓(xùn)練過程中自動去除掉特征圖中的噪聲或其他冗余特征，提高了深度網(wǎng)絡(luò)的特征提取能力和對噪聲的魯棒性。仿真實驗表明，相比于DCDN-CS模型，DCDN-CW模型對特征圖的不同通道設(shè)置獨立的閾值，具有更高的特征學(xué)習能力和擾動識別性能。在各種噪聲條件下，所提出的兩種DCDN模型不僅優(yōu)于經(jīng)典的CNN和Resnet模型，而且優(yōu)于其他常見的新型深度學(xué)習算法，如SE-net和CBAM-net，為復(fù)雜噪聲環(huán)境下的電能質(zhì)量擾動識別提供了一種有效的解決方案。