基于注意力機制和雙向長短期記憶網(wǎng)絡的電能質量擾動識別

王以忠，欒振國，郭肖勇，許素霞，侯 勇

(1.天津科技大學電子信息與自動化學院，天津300222；2.河北德瑞特電器有限公司，石家莊050000)

隨著科學技術的發(fā)展和經(jīng)濟的快速增長，人們對電能質量的關注也逐漸提高[1-2].在科學研究工作中，大量高精度和高靈敏度的用電設備對供電系統(tǒng)的電能質量不斷提出更高要求.并且，隨著智能家用電器和電子設備走進千家萬戶，人們在日常生活中對高質量電能的需要也日益迫切[3].由于電力來源和用電負荷越來越多樣化[4-5]，導致電力系統(tǒng)中電能質量擾動信號變得日益復雜和多樣[6].因此，亟需一種高效而準確的擾動信號識別與檢測方法.

現(xiàn)有的電能擾動信號識別與檢測算法通常分為兩部分：首先是設計出合理的擾動特征提取方法，例如常見的特征提取算法有小波變換[7-8]、S變換[9-10]、原子分解法[11]以及快速傅里葉變換(FFT)等[12]；然后再設計出可以對特征進行分類的分類器，并利用之前提取的特征進行分類，常見的分類器有人工神經(jīng)網(wǎng)絡(ANN)[11-12]、支持向量機[13]以及隨機森林等[14].在上述檢測算法中，通常需要應用大量的專業(yè)知識才能設計出高效而準確的特征提取算法.識別的準確性一方面依賴于分類器的設計，另一方面則依賴于特征的提取是否高效而準確.

近年來，機器學習領域中的深度學習算法引起了學者的廣泛關注[15].通常的ANN中只包含線性變換和非線性激活兩種操作，表達能力十分有限.而深度學習算法一方面利用包含更多隱層的深度神經(jīng)網(wǎng)絡，另一方面則引入卷積、池化等非線性數(shù)學運算，并且以大量標注數(shù)據(jù)作為樣本來訓練模型.充分訓練的模型不僅可以做到自主的提取數(shù)據(jù)特征，而且可以在該基礎之上直接進行分類，而不再需要引入額外的分類器.目前，人們已經(jīng)將深度學習算法應用到電能質量擾動信號的分類和識別.瞿合祚等[16]首先將一維電能質量擾動數(shù)據(jù)映射為二維灰度圖，然后在一個輕量級的卷積神經(jīng)網(wǎng)絡(CNN)LeNet-5基礎之上設計了一個適用于電能質量擾動分類的新網(wǎng)絡結構.王知芳等[17]使用了層數(shù)更多、結構更復雜的卷積神經(jīng)網(wǎng)絡AlexNet完成了對電能質量擾動的識別.陳偉等[18]則將信號在三維相空間中重構后投影到二維平面上獲得二維圖像，再將圖像送入AlexNet進行分類.

目前的研究[15-18]工作主要是利用 CNN對擾動信號的幾何特征從視覺上進行識別.CNN對二維圖像具有較強的特征提取能力，因此在計算機視覺領域有著廣泛的應用[19-20].但是，基于 CNN 的分類器網(wǎng)絡結構比較復雜，即便在高性能 GPU(graphic processing units，GPU)上也要訓練幾天到幾周才能獲得較好的表現(xiàn).然而，電能擾動信號只是一維時間序列.通過某種重構算法將其增維到二維再送入 CNN中分類，既不能充分反映擾動信號在時間上的邏輯性和對稱性，又增加了模型的運算量和復雜性.此外，擾動信號只存在于整個時間序列的若干個時間窗口內.如果模型可以自主的找到這些時間窗口，并只對窗口內的數(shù)據(jù)序列進行分析，則可以大幅提升算法的性能.基于以上考慮，本文提出利用有注意力機制[21]的雙向長短期記憶網(wǎng)絡(bi-directional long short-term memory，Bi-LSTM)對擾動信號進行分類.在電能信號擾動的研究中引入 Bi-LSTM 和注意力機制的優(yōu)勢：(1)直接將電能信號間隔采樣之后作為一個一維時間序列送入網(wǎng)絡，減少了算法的復雜性和運算量，無需具備電能質量方面的專業(yè)知識也能理解和應用本算法；(2)Bi-LSTM 網(wǎng)絡能反復學習信號序列在時間上的邏輯性和對稱性，使網(wǎng)絡對信號特征的提取和識別能力更強；(3)通過注意力機制可以讓模型僅關注擾動存在的時間窗口，從而進一步提升模型的性能；(4)由于只是對一維數(shù)據(jù)進行分類，網(wǎng)絡模型的計算速度較快，對硬件要求較低，可以方便地部署到移動終端或者嵌入系統(tǒng)中.利用 Matlab仿真產(chǎn)生訓練和驗證樣本，并且利用這些樣本訓練和測試網(wǎng)絡，并對網(wǎng)絡的準確率和表現(xiàn)進行分析.

1 模 型

1.1 電能質量擾動模型

電能質量擾動信號可以分為單一擾動和復合擾動兩種[22].單一擾動信號的仿真模型見表1[22].

表1 單一擾動信號的仿真模型Tab.1 Simulation model of single disturbance signals

在表1中給出了7種類型的單一擾動，分別為電壓暫升、暫降、中斷、諧波、脈沖、振蕩以及電壓波動.模型中，a和 ai(i＝1，2，3)表示擾動的振幅，基波頻率 f0＝50Hz，采樣頻率 fs＝6400Hz，T 為工頻周期，ω0＝2π/T 為工頻頻率，ωn為振蕩頻率，t為時間，u(t)為階梯函數(shù)，t1和 t2為擾動發(fā)生的時刻(單位為ms)，φi(i＝1，2，3)為各級諧波的初相位，b 為波動振幅變化頻率與工頻頻率的比值.每個樣本的采樣點數(shù)為 512，即 4個基波周期.為適應不同幅值的信號，電壓幅值歸一化為 1.由于實際電能質量數(shù)據(jù)會受到噪聲影響，所以在部分仿真數(shù)據(jù)上疊加信噪比為20dB的高斯白噪聲.

在實際電力系統(tǒng)中，電能質量的單一擾動并不常見，原因在于擾動起因的復雜性會導致同時產(chǎn)生多種類型的擾動，而實際的擾動信號則是多種單一擾動的疊加.因此，為了建立更符合真實情況的數(shù)學模型，根據(jù)擾動組合的規(guī)律[22]，選取了 7種復合擾動，分別為諧波＋脈沖、諧波＋振蕩、諧波＋波動、諧波＋暫升、諧波＋中斷、諧波＋波動＋暫降、諧波＋波動＋脈沖.在圖1和圖2中展示了在Matlab環(huán)境下生成的擾動信號曲線.

在圖1中X1(t)為諧波＋脈沖、X2(t)為諧波＋振蕩、X3(t)為諧波＋波動、X4(t)為諧波＋暫升、X5(t)為諧波＋中斷；在圖2中X6(t)為諧波＋波動＋暫降、X7(t)為諧波＋波動＋脈沖.從圖1和圖2中可以看出，本文模擬出的信號曲線可以基本反映出電能擾動的真實情況.

圖1 Matlab環(huán)境下生成的 2種單一擾動混合的復合擾動信號曲線Fig.1 Signals of twofold compound disturbances generated by Matlab simulation

圖2 Matlab環(huán)境下生成的 3種單一擾動混合的復合擾動信號曲線Fig.2 Signals of threefold compound disturbances generated by Matlab simulation

1.2 雙向長短期記憶網(wǎng)絡

長短期記憶網(wǎng)絡(long short-term memory，LSTM)是一種循環(huán)神經(jīng)網(wǎng)絡，一個 LSTM 結構單元如圖3所示[23].

圖3 長短期記憶網(wǎng)絡結構圖Fig.3 Sketch of long short-term memory network

x = { x0, x1, x2,… , xt, … , xT}表示神經(jīng)網(wǎng)絡的輸入，T為序列的長度.例如：在自然語言處理問題中xt可以看作是一個單詞、在音頻處理問題中xt可以看作是某一幀音頻信號.在一個結構單元O中有兩個隱狀態(tài)ht和Ct，由這兩個隱狀態(tài)構造了記憶門、遺忘門和輸出門.Ct負責狀態(tài)的遺忘和記憶，其表達式為

點乘運算表示兩個矩陣的對應位置的元素相乘.在式(1)中，遺忘門為

其中，σ表示 Sigmoid激活函數(shù)，Wf和bf是遺忘門的線性變換矩陣和偏置.記憶門中的函數(shù)it和為

其中，Wi/c和bi/c是相應的線性變換矩陣和偏置.最終，隱狀態(tài)ht由Ct得到

其中，Wo和bo是相應的線性變換矩陣和偏置.

Bi-LSTM是由前向LSTM與后向LSTM組合而成.即每一個輸入序列都會以正序和倒序輸入到兩個不同的 LSTM 層中，并且這兩個 LSTM 層中都各自連接著一個輸出層.這種雙向結構的目的提供給輸出層輸入序列中每一個點過去和未來完整的上下文信息，從而更好地學習數(shù)據(jù)中的邏輯關系.一個沿著時間展開的Bi-LSTM結構單元的雙向長短期記憶網(wǎng)絡結構如圖4所示.由圖4可知：輸入層的數(shù)據(jù)會沿著向前和向后兩個方向進行特征提取，最后兩個方向的隱狀態(tài)再進行融合作為下一層的輸入.由于模型在兩個方向上進行學習，解決模型在學習長時間跨度或極短時間跨度的序列問題時，其表現(xiàn)要優(yōu)于單向LSTM.

圖4 雙向長短期記憶網(wǎng)絡結構圖Fig.4 Sketch of Bi-directional long short-term memory

1.3 注意力機制

利用 Bi-LSTM 進行數(shù)據(jù)序列的特征提取，對數(shù)據(jù)序列的不同位置提取到的特征不同，每一部分對最后輸出的影響因子不同.由于電力質量擾動信號只存在于一定的窗口時間內，模型應該重點學習該窗口時間內的數(shù)據(jù)，而相對于窗口之外的數(shù)據(jù)模型則不必重點關注.基于上述考慮，對 Bi-LSTM 的特征提取結果使用添加注意力機制對數(shù)據(jù)序列提取的特征進行干預.注意力機制的本質是通過保留 Bi-LSTM 對輸入序列的中間輸出結果，訓練一個模型對這些輸入進行選擇性的學習，并且在模型輸出時將輸出序列與之進行關聯(lián).

注意力模型近幾年在深度學習各個領域被廣泛使用，無論是圖像處理、語音識別還是自然語言處理的各種不同類型任務中，都很容易遇到注意力模型.

在網(wǎng)絡結構中添加注意力機制可以讓網(wǎng)絡重點關注輸入序列中的某些特殊信息，從而提高網(wǎng)絡的特征提取能力和推理速度.本文網(wǎng)絡中添加的注意力機制的計算公式為[21]

其中：v是可訓練的參數(shù)，ht是 Bi-LSTM 輸出的隱狀態(tài)，是注意力機制加權之后的隱狀態(tài).在式(7)和式(8)中，首先對隱狀態(tài)進行 tanh函數(shù)激活后再與自身進行加權求和，然后再次用tanh函數(shù)激活.在添加了注意力機制之后，網(wǎng)絡預測的概率分布可以表示為

其中，Ws和bs是連接在隱狀態(tài)全連接層的線性變換矩陣和偏置.在獲得概率分布式(9)之后，本文取概率最大的類別作為模型的分類結果，即

1.4 本文網(wǎng)絡結構

本文的網(wǎng)絡結構如圖5所示，該網(wǎng)絡由 Bi-LSTM 層、注意力層和全連接層構成.網(wǎng)絡的輸入xt為t時刻的電壓振幅.在輸入后xt被送入單元數(shù)為128的 Bi-LSTM 層，其隱狀態(tài)連接到注意力層的輸入.模型的輸出連接在注意力層加權之后的隱狀態(tài)h?上，并通過線性變換轉化為七維向量.每一個維度代表一類復合擾動，對應的數(shù)值為擾動分類正確的概率.

圖5 本文的網(wǎng)絡結構Fig.5 Network structure of present study

2 仿真及分析

本文使用深度學習框架 TensorFlow建立并訓練圖5所示的網(wǎng)絡.由于僅處理時間序列，該模型運算數(shù)壓力較小，所以只采用 CPU進行訓練和測試.每種類型的復合擾動共產(chǎn)生 1500個樣本，其中 1200個用于訓練網(wǎng)絡，300個用于測試準確率.因此，對于7種復合擾動共計產(chǎn)生8400個訓練樣本和2100個驗證樣本.本文實驗的硬件和軟件環(huán)境為：Ubuntu 16.04操作系統(tǒng)，Intel Core i5-7400 CPU，16GB 內存，TensorFlow版本1.3.0.訓練模型時采用基于時間的隨機梯度下降算法，損失函數(shù)為交叉熵函數(shù)，固定學習率為 0.01，每次迭代隨機送入 128個樣本，共進行200輪訓練.

基于數(shù)據(jù)序列的網(wǎng)絡模型訓練速度很快，只用4h便訓練完成.圖6中為本文模型訓練過程中的學習曲線，虛線為訓練過程中損失函數(shù)的變化曲線，實線為訓練過程中模型在驗證集上的平均準確率.由圖6可知，本文網(wǎng)絡在訓練了200輪時損失函數(shù)已不再變化并且趨近于 0，說明模型此時已經(jīng)收斂.由于數(shù)據(jù)集中包含了7種不同的擾動類型，因此首先計算模型對每類擾動的準確率，然后再對7個準確率取平均值.每訓練1代在驗證集上計算1次準確率.從圖6可知，在訓練到 150代時準確率即為 99.7%，接近于 100%，并且不再變化.這說明模型沒有發(fā)生過擬合收斂到全局最優(yōu)，且具有極好的泛化能力，可以無差錯地識別出各種擾動信號.因此，充分訓練的模型具備了識別復雜擾動信號的能力.

圖6 訓練過程中的學習曲線Fig.6 Learning curves during training

為了突出本文方法的有效性，本研究分別訓練了2個傳統(tǒng)的機器學習模型，即支持向量機(SVM)和多層感知機(MLP).為了避免過擬合，通過網(wǎng)格搜索對SVM的超參數(shù)進行了選擇.MLP是有3個隱層的反向傳播人工神經(jīng)網(wǎng)絡，每層包含 500個神經(jīng)元并用ReLU激活函數(shù)激活，最后再連接1個含7個神經(jīng)元的softmax分類層.本文模型與其他分類模型的對比結果見表2.由表2可知，用本文數(shù)據(jù)集訓練 SVM、MLP以及本文提出的模型在訓練集上的平均準確率都達到了99%；但是MLP在驗證集上的平均準確率為 98.0%，略高于 SVM 的平均準確率 96.4%，這兩種算法在驗證集的平均準確率均低于訓練集的.SVM 和 MLP在實際擾動信號的識別中都存在一定的錯誤率.因此，本文模型的識別能力和泛化能力高于傳統(tǒng)的機器學習算法和人工神經(jīng)網(wǎng)絡.

表2 本文模型與其他分類模型的對比Tab.2 Comparison between present model and previous algorithms

3 結 論

本文提出了一種由注意力機制和雙向長短期記憶網(wǎng)絡構建的深度學習模型，以解決電能質量擾動的識別分類問題.利用Matlab仿真生成了7種復合電能質量擾動信號，在驗證集上模型的準確率可以達到99.7%，說明模型并未出現(xiàn)過擬合和欠擬合現(xiàn)象.通過與傳統(tǒng)機器學習算法的對比，本文模型的分類能力要優(yōu)于支持向量機和多層感知機.由于本文的模型使用深度學習框架 TensorFlow進行訓練，因此可以直接把模型的格式轉化為開放神經(jīng)網(wǎng)絡交換格式(open neural network exchange，ONNX).在實際應用中，利用 ONNX格式的本文模型可以方便地部署在嵌入式系統(tǒng)或服務器上，對輸入的電能信號進行檢測，發(fā)現(xiàn)異常并報警.在未來的研究中，一方面將改進擾動樣本的生成使之更加接近真實的擾動信號(例如考慮更復雜的復合擾動以及更強的噪聲)，另一方面將進一步提出更好、更深的網(wǎng)絡結構(例如在LSTM前加入全連接層，使得模型可以適用于更長的時間序列).此外，還可以將訓練好的模型和運行環(huán)境進行封裝，用以部署到嵌入系統(tǒng)或者邊緣計算系統(tǒng)中.