一種基于自注意力機(jī)制的CNN-BiLSTM非侵入式負(fù)荷分解方法研究

朱瑞琪 陸佳敏 陸佳艷 李梓滔

摘 要：作為智能電網(wǎng)發(fā)展的分支，非侵入式負(fù)荷監(jiān)測(cè)技術(shù)在促進(jìn)用戶用電行為信息細(xì)?；?、提高電能資源利用效率、推動(dòng)智能電力可持續(xù)發(fā)展等方面起著重要作用。為提高用電設(shè)備特征提取的有效性以及負(fù)荷分解的精確度，提出了一種基于自注意力機(jī)制的CNN-BiLSTM非侵入式負(fù)荷分解方法。首先，采集用電設(shè)備端智能電表的總負(fù)荷功率，對(duì)原始數(shù)據(jù)進(jìn)行歸一化處理，缺失值填充后劃分為訓(xùn)練集與測(cè)試集。其次，對(duì)卷積神經(jīng)網(wǎng)絡(luò)（CNN）與雙向長短期記憶網(wǎng)絡(luò)（BiLSTM）的混合模型進(jìn)行訓(xùn)練與優(yōu)化，同時(shí)引入自注意力機(jī)制，決定輸出權(quán)重值，從而提高網(wǎng)絡(luò)預(yù)測(cè)精度和表征能力。最后，將測(cè)試集中的總功率送入網(wǎng)絡(luò)進(jìn)行負(fù)荷分解，結(jié)果表明，在研究神經(jīng)網(wǎng)絡(luò)后提出的模型能充分挖掘數(shù)據(jù)的空間與時(shí)序特征，同時(shí)對(duì)重要特征進(jìn)行有效提取，提高了負(fù)荷分解的能力。

關(guān)鍵詞：非侵入式負(fù)荷分解；自注意力機(jī)制；卷積神經(jīng)網(wǎng)絡(luò)；雙向長短期記憶網(wǎng)絡(luò)

中圖分類號(hào)：TM714? ? 文獻(xiàn)標(biāo)志碼：A? ? 文章編號(hào)：1671-0797（2023）16-0077-05

DOI：10.19514/j.cnki.cn32-1628/tm.2023.16.020

0? ? 引言

非侵入式負(fù)荷監(jiān)測(cè)，又稱“負(fù)荷分解”，是一種電力系統(tǒng)監(jiān)測(cè)技術(shù)，通過數(shù)學(xué)模型從總負(fù)荷的電氣量中分解出特定用電設(shè)備的電氣量，用以預(yù)測(cè)各電氣設(shè)備的具體耗能情況及用電規(guī)律。根據(jù)技術(shù)的不同實(shí)現(xiàn)方式，負(fù)荷監(jiān)測(cè)分為兩大類：侵入式負(fù)荷監(jiān)測(cè)（NILM）和非侵入式負(fù)荷監(jiān)測(cè)與分解（ILM）。在ILM中，傳感器需要安裝到每一個(gè)待測(cè)設(shè)備上，這種方式雖然可以獲得各設(shè)備的精確耗能信息，但其高昂的投資和維護(hù)成本限制了其應(yīng)用范圍。相比之下，NILM將智能電表裝設(shè)在主電路處，通過監(jiān)測(cè)主電路的功率變化，識(shí)別出各設(shè)備的負(fù)荷信息，具有成本投入低、實(shí)用性強(qiáng)的特點(diǎn)。除了實(shí)現(xiàn)供給側(cè)能源的優(yōu)化配置與管理，NILM還提高了用戶節(jié)能環(huán)保的意識(shí)，并為用戶與電網(wǎng)之間的良性互動(dòng)提供了基礎(chǔ)支撐。

非侵入式負(fù)荷監(jiān)測(cè)技術(shù)由20世紀(jì)90年代發(fā)展至今，已有多位專業(yè)學(xué)者開展了大量研究。文獻(xiàn)[1]提出了一種利用功率簽名與狀態(tài)機(jī)技術(shù)的負(fù)載分解方法，可以準(zhǔn)確記錄設(shè)備的開關(guān)信息，并輔以機(jī)器學(xué)習(xí)對(duì)設(shè)備進(jìn)行識(shí)別，但在使用前須做好負(fù)荷信息收集工作。文獻(xiàn)[2]利用隱馬爾可夫模型將復(fù)雜的功率信息劃分為幾種有限的運(yùn)行狀態(tài)，實(shí)現(xiàn)電器狀態(tài)自動(dòng)辨識(shí)與分類，但該模型在捕捉長期依賴關(guān)系方面有所欠缺。文獻(xiàn)[3]根據(jù)奇次諧波電流幅值為負(fù)載特性的敏感指標(biāo)，使用其作為負(fù)荷的辨識(shí)特征，利用綜合k-NN的簡捷性與核Fisher判別的非線性分類能力，針對(duì)相近設(shè)備進(jìn)行有效識(shí)別，但同時(shí)需要考慮電網(wǎng)中可能產(chǎn)生的干擾和噪聲對(duì)分解精度的影響。文獻(xiàn)[4]采用遺傳算法與基于近鄰傳播聚類的方法來構(gòu)建負(fù)荷特征數(shù)據(jù)集，用穩(wěn)態(tài)功率來區(qū)分不同負(fù)荷，但需要占用大量的計(jì)算資源。

如今，越來越多的學(xué)者開始投入這一領(lǐng)域的研究，這得益于深度學(xué)習(xí)的廣泛應(yīng)用和不斷取得的研究進(jìn)展。神經(jīng)網(wǎng)絡(luò)因其優(yōu)異的特征學(xué)習(xí)能力與良好的泛化特性，逐漸被應(yīng)用于負(fù)荷監(jiān)測(cè)與分解中，成效斐然。文獻(xiàn)[5]提出基于注意力時(shí)序網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)于信息重要級(jí)別的劃分。文獻(xiàn)[6]通過搭建編碼器和解碼器的seq2seq框架并引入殘差網(wǎng)絡(luò)，降低了模型訓(xùn)練難度。文獻(xiàn)[7]利用一維卷積神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合，相對(duì)提高了負(fù)荷分解的精確度。文獻(xiàn)[8]采用基于批量規(guī)范化和爬山算法的卷積神經(jīng)網(wǎng)絡(luò)，減少了過擬合現(xiàn)象的發(fā)生，同時(shí)提高了網(wǎng)絡(luò)的泛化能力。

為了完善CNN模型，本文提出了一種混合深度學(xué)習(xí)模型，將CNN與BiLSTM相結(jié)合，以充分挖掘用戶數(shù)據(jù)的時(shí)空特征，并通過自注意力機(jī)制優(yōu)化網(wǎng)絡(luò)，提高重要特征的注意力權(quán)重并抑制非重要特征，確保有用數(shù)據(jù)的優(yōu)先級(jí)。該模型不僅能有效減少訓(xùn)練時(shí)間，同時(shí)在非侵入式負(fù)荷分解精度方面也有顯著提高。另外，該模型在降低參數(shù)數(shù)量、提高穩(wěn)定性的同時(shí)，還能充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢(shì)。

1? ? 網(wǎng)絡(luò)介紹

1.1? ? CNN

如圖1所示，CNN（卷積神經(jīng)網(wǎng)絡(luò)）[9]屬于典型的前饋神經(jīng)網(wǎng)絡(luò)，具有從空間維度逐層提取數(shù)據(jù)特征的能力，是深度學(xué)習(xí)的代表之一。CNN一般由輸入層、卷積層、池化層、全連接層、輸出層組成。其中卷積層根據(jù)卷積核滑動(dòng)對(duì)一個(gè)范圍內(nèi)的數(shù)據(jù)提取特征值；池化層通過對(duì)卷積層輸出的特征映射進(jìn)行降維操作，來保留重要特征，剔除冗余特征，其中最大值池化（Max Pooling）是常用的池化方法。多層卷積層與池化層交疊處理后，將輸出數(shù)據(jù)通過全連接層進(jìn)行整合和歸一化處理，輸出層采用softmax函數(shù)進(jìn)行多負(fù)荷識(shí)別。

1.2? ? LSTM

LSTM（長短期記憶網(wǎng)絡(luò)）[10]是RNN的一種特殊類型，擁有三種類型的門結(jié)構(gòu)，分別為遺忘門、輸入門和輸出門。

遺忘門通過讀取上一個(gè)時(shí)刻的短期記憶ht-1和當(dāng)前時(shí)刻輸入xt，做Sigmoid激活函數(shù)的非線性映射，然后輸出過去記憶衡量因子ft，如式（1）所示：

ft=σ（Wf·[ht-1，xt]+bf）? ? （1）

輸入門用于更新信息記憶。it控制對(duì)當(dāng)前時(shí)刻信息的記憶程度，通過tach激活函數(shù)縮放當(dāng)前時(shí)刻單元記憶值ct，再加上遺忘門與記憶門調(diào)節(jié)上一個(gè)時(shí)刻的舊信息ct，便可獲得更新后的信息，如式（2）（3）（4）所示：

it=σ（Wi·[ht-1，xt]+bi） （2）

（3）

（4）

輸出門用于確定下一個(gè)隱藏層的值。ot控制當(dāng)前時(shí)刻單元狀態(tài)輸出給隱藏層的狀態(tài)ht并作為LSTM的輸出，如式（5）（6）所示：

ot=σ（Wo·[ht-1，xt]+bo） （5）

ht=ot×tanh（ct）? ?（6）

式中：Wf、Wi、Wc、Wo分別為遺忘門、輸入門、tach層、輸出門的權(quán)重向量；bf、bi、bc、bo分別為其對(duì)應(yīng)的偏移量；σ為Sigmoid激活函數(shù)；ht為輸出的負(fù)荷狀態(tài)特征。

LSTM能在時(shí)序資料中捕捉到長期的依賴關(guān)系，有效地解決了RNN在反向傳播中出現(xiàn)的梯度彌散問題。LSTM的基本結(jié)構(gòu)如圖2所示。

1.3? ? BiLSTM

BiLSTM由兩個(gè)并行的正向和反向標(biāo)準(zhǔn)LSTM通道構(gòu)成，能兼顧前后時(shí)刻的信息對(duì)當(dāng)前狀態(tài)的影響，相比于LSTM提高了特征提取效率與性能，如式（7）（8）（9）所示：

（7）

（8）

（9）

的權(quán)重向量；bt為該時(shí)刻隱藏狀態(tài)的偏移量。

BiLSTM的基本結(jié)構(gòu)如圖3所示。

1.4? ? 自注意力機(jī)制

注意力機(jī)制通過對(duì)上級(jí)網(wǎng)絡(luò)所輸出的狀態(tài)信息序列進(jìn)行權(quán)重分配，自動(dòng)篩選重要信息，舍棄干擾信息，以全面掌握輸入內(nèi)容的核心。而自注意力機(jī)制（self-attention mechanism）是注意力機(jī)制的一種變體，能夠捕捉同一序列中兩個(gè)不同位置信息的相互作用，更加注重?cái)?shù)據(jù)本身的特征和數(shù)據(jù)之間的內(nèi)部交互，減少了對(duì)外部信息的依賴程度，提高了信息的利用率。自注意力機(jī)制的基本結(jié)構(gòu)如圖4所示。

自注意力機(jī)制包括縮放點(diǎn)積注意力（SDA）機(jī)制和多頭注意力（MHA）機(jī)制兩部分，本文重點(diǎn)關(guān)注SDA部分。SDA是對(duì)輸入序列X做線性映射，過程如式（10）（11）（12）所示，得到矩陣Q、K和V：

Q=WqX? （10）

K=WkX? （11）

V=WvX （12）

通過Q和K矩陣的點(diǎn)積除以 進(jìn)行相似度計(jì)算，以防止計(jì)算所得值過大，再通過softmax函數(shù)進(jìn)行歸一化處理，最后通過加權(quán)求和法得到最終數(shù)據(jù)，如式（13）所示：

（13）

式中：Q，K，V為同一輸入矩陣做線性映射所得到的矩陣；Dk為穩(wěn)定訓(xùn)練梯度的矩陣；softmax（·）為具有歸一化功能的激活函數(shù)。

1.5? ? 基于自注意力機(jī)制的CNN-BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的基于自注意力機(jī)制的CNN-BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)整體由兩層CNN網(wǎng)絡(luò)、一層BiLSTM、兩層全連接層構(gòu)成，如圖5所示。

首先，將包含L個(gè)時(shí)刻信息的總有功功率時(shí)間序列輸入兩層卷積層，用于提取更深層次的負(fù)荷特征，得到特征矩陣B×CH1×W1與B×CH2×W2。其中W1=W2=L為兩卷積層輸出矩陣的特征長度，B表示模型的批處理個(gè)數(shù)，CH1、CH2表示各層網(wǎng)絡(luò)中卷積核個(gè)數(shù)（特征通道）。第一層卷積層的卷積核個(gè)數(shù)為16，尺寸為3；第二層卷積層的卷積核個(gè)數(shù)為32，尺寸為3；兩層激活函數(shù)均選擇ReLU。池化層和Flatten層分別用于數(shù)據(jù)降維和扁平化處理。

其次，CNN網(wǎng)絡(luò)把提取到的特征輸入神經(jīng)元個(gè)數(shù)為32的BiLSTM網(wǎng)絡(luò)。由于BiLSTM網(wǎng)絡(luò)所產(chǎn)生的隱藏層狀態(tài)ht= t是由相反的兩個(gè)隱藏層狀態(tài)拼接而成，所以其維度相對(duì)于普通LSTM網(wǎng)絡(luò)增加一倍，輸出神經(jīng)元個(gè)數(shù)翻倍為2HD，最終BiLSTM輸出特征矩陣維度為B×W2×2HD。

為使模型的最終輸出為設(shè)備概率分布向量，利用兩層全連接層分別將W2轉(zhuǎn)變?yōu)樾璺纸獾脑O(shè)備個(gè)數(shù)n，2HD轉(zhuǎn)變?yōu)樗蟹纸庠O(shè)備的最大狀態(tài)個(gè)數(shù)kmax，并通過兩個(gè)全連接層計(jì)算注意力機(jī)制得分對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，使用softmax函數(shù)計(jì)算各隱層狀態(tài)權(quán)重，與對(duì)應(yīng)隱層狀態(tài)按權(quán)相加得到動(dòng)態(tài)時(shí)序向量ct，如式（14）所示：

（14）

式中：αi表示各隱層權(quán)重；hi表示BiLSTM層所得的第i個(gè)ht。

2? ? 基于自注意力機(jī)制的CNN-BiLSTM的非侵入式負(fù)荷分解

2.1? ? 分解原理

有功功率是電器耗電特性中最常用的指標(biāo)之一，可直接從智能電表中準(zhǔn)確讀出，本文以有功功率作為研究對(duì)象，以用電設(shè)備的開啟和關(guān)閉狀態(tài)作為標(biāo)簽，其中開啟狀態(tài)為1，關(guān)閉狀態(tài)為0。在只有N個(gè)簡單投切二狀態(tài)且投入時(shí)沒有功率畸變的負(fù)載與智能電表相連的情況下，t時(shí)刻總表功率可表示為公式（15）：

P（t）= t）Pm+e（t）? ?（15）

式中：am（t）為負(fù)荷m在t時(shí)刻的狀態(tài)，數(shù)值為1或0分別代表負(fù)荷的開啟或關(guān)閉；Pm為負(fù)荷m所消耗的有功功率；e（t）為噪聲干擾或誤差。

2.2? ? 負(fù)荷分解流程

如圖6所示，具體負(fù)荷分解流程如下：

1）數(shù)據(jù)輸入提?。簲?shù)據(jù)在輸入神經(jīng)網(wǎng)絡(luò)之前需要進(jìn)行重疊滑動(dòng)窗口處理，即將原始數(shù)據(jù)劃分為恒等長度的向量序列，再進(jìn)行缺失值填充。

2）數(shù)據(jù)歸一化處理：將數(shù)據(jù)以8：2比例劃分為訓(xùn)練集與測(cè)試集，分別用于網(wǎng)絡(luò)模型的訓(xùn)練與預(yù)測(cè)結(jié)果輸出。在數(shù)據(jù)輸入模型訓(xùn)練前，將輸入與輸出數(shù)據(jù)進(jìn)行歸一化處理，即通過線性變化將取值固定于[-1，1]的區(qū)間內(nèi)，如公式（16）所示：

（16）

式中：xi為功率的真實(shí)值；xmin、xmax分別為有功功率的最小值和最大值；xi′為歸一化的結(jié)果。

3）模型訓(xùn)練：將訓(xùn)練集的數(shù)據(jù)輸入模型進(jìn)行訓(xùn)練，由CNN層在空間維度上進(jìn)行負(fù)荷特征提取，BiLSTM層聯(lián)系上下層向量，在時(shí)間維度上提取特征。

4）結(jié)果輸出：Attention層分配權(quán)重值，突出重要特征，得到負(fù)荷預(yù)測(cè)輸出。

3? ? 分解結(jié)果

圖7為真實(shí)的總有功功率運(yùn)行曲線。圖8為采用本文模型得到的各用電設(shè)備功率分解結(jié)果，其中實(shí)線為設(shè)備真實(shí)功率，虛線為本文模型的分解結(jié)果。由圖可得，所得分解結(jié)果與設(shè)備真實(shí)運(yùn)行曲線基本擬合，本文模型具有良好的分解性能。

4? ? 結(jié)束語

本文所述模型通過構(gòu)建CNN逐層在空間維度上抽象數(shù)據(jù)特征，進(jìn)一步引入BiLSTM提取其時(shí)間特性，并對(duì)重要特征進(jìn)行更大的權(quán)重分配，從而提高了負(fù)荷分解的準(zhǔn)確率。由實(shí)驗(yàn)分解結(jié)果可得，該模型具有良好的負(fù)荷分解性能。

[參考文獻(xiàn)]

[1] ZHU Y，LEE S G，CHUNG K S，et al.Investigation of Auxiliary Poles Design Criteria on Reduction of End Effect of Detent Force for PMLSM[J].IEEE Transactions on Magnetics，2009，45（6）：2863-2866.

[2] JI T Y，LIU L，WANG T S，et al.Non-Intrusive Load Monitoring Using Additive Factorial Approximate Maximum a Posteriori Based on Iterative Fuzzy c-Means[J].IEEE Transactions on Smart Grid，2019， 10（6）：6667-6677.

[3] 宋旭帆，周明，涂京，等.基于k-NN結(jié)合核Fisher判別的非侵入式負(fù)荷監(jiān)測(cè)方法[J].電力系統(tǒng)自動(dòng)化，2018，42（6）：73-80.

[4] 徐青山，婁藕蝶，鄭愛霞，等.基于近鄰傳播聚類和遺傳優(yōu)化的非侵入式負(fù)荷分解方法[J].電工技術(shù)學(xué)報(bào)，2018，33（16）：3868-3878.

[5] 沙建峰，席樂，馮亞杰，等.基于注意力時(shí)序網(wǎng)絡(luò)的非侵入式負(fù)荷分解[J].南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，15（4）：448-459.

[6] 何健明，李夢(mèng)詩，張祿亮，等.基于Attention和殘差網(wǎng)絡(luò)的非侵入式負(fù)荷監(jiān)測(cè)[J/OL].電測(cè)與儀表：1-9.（2021-08-06）[2023-04-20].https：//kns.cnki.net/kcms2/article/abstract？v=3uoqIhG8C45S0n9fL2suRadTyEVl2-pW9UrhTDCdPD64iLFH7p67cuPgOSGeusRoUT9AI2ej7O8j8 -LOJCqArNsGNSYiTLE1dL&uniplatform=NZKPT.

[7] 蒙亮，于超，張希翔，等.基于一維卷積神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的非侵入式負(fù)荷分解[J].電力大數(shù)據(jù)，2020，23（10）：1-8.

[8] CHEN H，WANG Y H，F(xiàn)AN C H.A Convolutional Autoencoder-based Approach with Batch Normalization for Energy Disaggregation[J].Journal of Supercompu-ting，2021，77（3）：2961-2978.

[9] LECUN Y，BOTTOU L，BENGIO Y，et al.Gradient-based Learning Applied to Document Recognition[J]. Proceedings of the IEEE，1998，86（11）：2278-2324.

[10] HOCHREITER S，SCHMIDHUBER J.Long Short-term Memory[J].Neural Computation，1997，9（8）：1735-1780.

收稿日期：2023-04-26

作者簡介：朱瑞琪（2002—），女，安徽界首人，研究方向：非侵入式負(fù)荷監(jiān)測(cè)。