基于最小二乘向量機(jī)結(jié)合雙向時(shí)序長(zhǎng)短期記憶的臺(tái)區(qū)用電特征提取*

程昱舒，謝振剛，陳安琪

(1.國(guó)網(wǎng)山西省電力公司營(yíng)銷(xiāo)服務(wù)中心，山西 太原 030002；2.國(guó)網(wǎng)山西省電力公司，山西 太原 030021)

隨著智能電網(wǎng)、能源互聯(lián)網(wǎng)和泛在電力物聯(lián)網(wǎng)建設(shè)的發(fā)展，風(fēng)、光、水、核等可再生能源大量、不斷地并入電網(wǎng)的各個(gè)角落，使電網(wǎng)的調(diào)度、控制難度越來(lái)越大，因此精細(xì)化地掌握用戶用電的特征和趨勢(shì)就顯得越來(lái)越重要，已經(jīng)成為電力系統(tǒng)研究的熱點(diǎn)問(wèn)題之一，引起國(guó)內(nèi)外專(zhuān)家學(xué)者的廣泛重視[1-3]。

泛在電力物聯(lián)網(wǎng)建設(shè)的重要一環(huán)就是高級(jí)量測(cè)系統(tǒng)的形成，并能夠采集電力系統(tǒng)發(fā)、輸、配、用各個(gè)環(huán)節(jié)數(shù)據(jù)，尤其是智能電表的安裝，可以獲得配電網(wǎng)用戶側(cè)各個(gè)時(shí)段的用電信息，從而為用電特征的提取提供了重要基礎(chǔ)[4-5]。

基于電力系統(tǒng)高級(jí)量測(cè)體系，目前對(duì)于電力系統(tǒng)臺(tái)區(qū)用電特征的研究有如下的代表性成果，如文獻(xiàn)[6]基于高級(jí)量測(cè)體系形成的多元大數(shù)據(jù)平臺(tái)，建立了配電網(wǎng)用電行為特征的分析構(gòu)架；文獻(xiàn)[7-9]針對(duì)赤峰市、廈門(mén)市、湖南省等多用戶農(nóng)村住宅實(shí)際年、月生活用電量，分別從年、月、日、小時(shí)等尺度分析了農(nóng)村住宅用電量規(guī)律；文獻(xiàn)[10-13]基于聚類(lèi)思路，分別采用K-Mean 方法、云平臺(tái)計(jì)算方式獲得用戶用電行為特征；文獻(xiàn)[14-16]從構(gòu)架方面，給出了用戶畫(huà)像的不同技術(shù)框架下的關(guān)鍵實(shí)現(xiàn)技術(shù)和應(yīng)用。

對(duì)于電力系統(tǒng)大數(shù)據(jù)的分析和應(yīng)用是用戶用電特征分析和提取的有力保證，然而目前的研究成果在提取用電特征時(shí)，仍以傳統(tǒng)方法為主，沒(méi)有使用人工智能領(lǐng)域的相關(guān)新成果。本文以此為切入點(diǎn)，以深度學(xué)習(xí)理論中的雙向時(shí)序長(zhǎng)短期記憶網(wǎng)絡(luò)(Bidirectional Long Short-Term Memory，BLSTM)為手段，以最小二乘支持向量機(jī)回歸模型為前提，綜合考慮天氣環(huán)境信息、人文活動(dòng)信息、經(jīng)濟(jì)社會(huì)信息，提出了臺(tái)區(qū)用戶用電特征提取方法。

1 臺(tái)區(qū)用電特征提取

用電行為特征提取的核心是獲得用戶用電的特征，即通過(guò)真實(shí)的量測(cè)數(shù)據(jù)進(jìn)行聚類(lèi)分析:

式中:SSE 表示傳統(tǒng)的誤差平方和計(jì)算方法；k表示該劃分中的個(gè)體數(shù)量；ci表示第i個(gè)劃分；x表示ci中的個(gè)體；mi表示樣本均值。

式(1)描述了樣本分類(lèi)過(guò)程中的計(jì)算準(zhǔn)則，然后使用K-Means 聚類(lèi)算法能夠獲得具有多個(gè)特征的聚類(lèi)。

在傳統(tǒng)K-Means 聚類(lèi)算法的基礎(chǔ)上，進(jìn)一步采用最大熵原理來(lái)進(jìn)行特征精細(xì)化過(guò)濾，隨機(jī)變量x的計(jì)算熵為:

式中:Ω為隨機(jī)變量x取值集合；p(x)為隨機(jī)變量x的概率。

在傳統(tǒng)K-Means 聚類(lèi)分類(lèi)d中，所有用戶特性的熵為:

式中:Nd表示分類(lèi)總數(shù)；Mi表示第i個(gè)分類(lèi)的總樣本。

獲得用戶特性熵后，可以計(jì)算特征ti與用戶類(lèi)別之間的最大相關(guān)信息熵D(s，d):

式中:Muv表示特征ti在分類(lèi)v中的總樣本；I(ti，d)表示S中的特征ti與分類(lèi)d之間的信息相關(guān)度；S表示經(jīng)過(guò)篩選后的最優(yōu)特征集；NS表示該集合中的特征數(shù)量。

獲得式(4)后可以辨別特征與分類(lèi)之間的信息相關(guān)度，進(jìn)而定義相關(guān)系數(shù)ρ(ti，tj):

式中:cov(ti，tj)表示特征ti和tj的協(xié)方差；和分別為特征ti和tj的標(biāo)準(zhǔn)差。

相關(guān)系數(shù)表示的是特征之間的關(guān)系，還要從最優(yōu)的角度進(jìn)行去除分類(lèi)內(nèi)的冗余，因此需要設(shè)置冗余指標(biāo):

結(jié)合式(4)～式(6)，可以獲得最優(yōu)特征分類(lèi):

利用機(jī)器學(xué)習(xí)方法求解式(7)后即可得到用戶用電特征的最優(yōu)分類(lèi)，從而形成用戶用電特征提取。

要想求解式(7)，可以采用機(jī)器學(xué)習(xí)中的相關(guān)方法，在電力系統(tǒng)量測(cè)大數(shù)據(jù)環(huán)境下，基于人工智能的方式可以獲得精度較高的特征解。

為了獲得精度高的特征解，下面首先給出最小二乘支持向量機(jī)的回歸模型，然后以此為基本解，采用深度學(xué)習(xí)中的雙向時(shí)序長(zhǎng)短期記憶網(wǎng)絡(luò)方法對(duì)基本集進(jìn)行學(xué)習(xí)，從而獲得精度更高的解。

2 最小二乘支持向量機(jī)回歸模型

根據(jù)第1 部分的內(nèi)容可知，用戶用電特征提取的本質(zhì)就是對(duì)用戶用電進(jìn)行分類(lèi)，即依據(jù)電力系統(tǒng)量測(cè)的歷史大數(shù)據(jù)，對(duì)其中具有相似特征的進(jìn)行分類(lèi)，形成若干類(lèi)。每一類(lèi)具有相似的用電特征。而分類(lèi)的方法可以使用模式識(shí)別中的支持相量機(jī)(Support Vector Machine，SVM)方法。傳統(tǒng)SVM 具有收斂速度慢、容易陷入局部極值的問(wèn)題，為了克服這些問(wèn)題，本文采用最小二乘支持向量機(jī)回歸模型。

最小二乘支持向量機(jī)(Least Square Support Vector Machine，LSSVM) 是對(duì)傳統(tǒng)支持向量機(jī)(Support Vector Machine，SVM)的改進(jìn)，是一種遵循結(jié)構(gòu)風(fēng)險(xiǎn)最小化(Structural Risk Minimization，SRM)原則的核函數(shù)學(xué)習(xí)機(jī)器，其算法是最小二乘法，其原理是結(jié)構(gòu)風(fēng)險(xiǎn)最小化，克服了傳統(tǒng)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小準(zhǔn)則泛化能力差、求解速度低的缺陷。已經(jīng)在電力系統(tǒng)負(fù)荷預(yù)測(cè)、風(fēng)電預(yù)測(cè)等方面得到廣泛應(yīng)用[17-18]。

設(shè)存在電力系統(tǒng)潮流量測(cè)大數(shù)據(jù)，選擇時(shí)間窗為n的時(shí)間斷面量測(cè)，使用這n個(gè)時(shí)間斷面量測(cè)歷史數(shù)據(jù)作為訓(xùn)練樣本，設(shè)為訓(xùn)練樣本對(duì)(xi，yi)(i＝1，2，…，n)，其中xi表示輸入樣本，yi表示輸出樣本。

根據(jù)SVM 原理，可以將該樣本對(duì)在非線性映射函數(shù)φ(x)的作用下，映射到高維特征空間中:

在式(8)所示的特征空間中，建立如式(9)的線性回歸函數(shù):

式中:w表示權(quán)相量，wT為其轉(zhuǎn)置；b為偏移量。

根據(jù)SRM 原理求解式(9)，等效為如下的計(jì)算:

式中:γ為一系數(shù)，當(dāng)其為無(wú)窮大時(shí)，所得到的解為最小二乘優(yōu)化解；Remp為SRM 函數(shù)，可以表示為Remp表示第i個(gè)時(shí)間斷面中訓(xùn)練過(guò)程中的誤差。

為了求出式(9)中的參數(shù)w和b，在式(10)的基礎(chǔ)上，可以建立如下的優(yōu)化模型:

一般來(lái)說(shuō)，式(11)可以通過(guò)建立拉格朗日函數(shù)來(lái)求解:

式中:λ＝[λ1λ2…λn]T表示拉格朗日乘子。

依據(jù)拉格朗日乘子法中的最佳解條件，即KKT(Karush Kuhn Tucker)條件，可以求解式(13)得到:

展開(kāi)式(13)可得:

求解式(14)中的w和εi，可以轉(zhuǎn)換為如下的線性方程組的形式:

在計(jì)算式(15)的方程過(guò)程中，需要給定核函數(shù)才能進(jìn)行計(jì)算。設(shè)滿足Mercer 定理的核函數(shù)為K(xi，xj)＝[φ(xi)，φ(xj)]，那么求解式(14)就可以等效為求解如下的回歸函數(shù):

由于徑向基函數(shù)具有較強(qiáng)的泛化能力，因此在計(jì)算式(16)時(shí)，通常選擇徑向基函數(shù)作為核函數(shù)，即:

式中:σ表示徑向基函數(shù)的尺度參數(shù)。

將式(17)代入方程組(15)中，利用最小二乘法原理就可以得到參數(shù)的估計(jì)值:

將式(18)估計(jì)結(jié)果代入式(14)中，可得:

根據(jù)式(8)～式(19)的計(jì)算，可以獲得臺(tái)區(qū)用戶用電特征分類(lèi)，該分類(lèi)是通過(guò)對(duì)臺(tái)區(qū)歷史量測(cè)的大數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析獲得的，但是還存在一定的誤差。

為了獲得精確度更高的特征分類(lèi)，將誤差以及式(8)～式(19)獲得的解進(jìn)一步采用雙向時(shí)序長(zhǎng)短期記憶網(wǎng)絡(luò)的方式進(jìn)行學(xué)習(xí)，從而獲得精度更高的特征分類(lèi)。

3 雙向時(shí)序長(zhǎng)短期記憶網(wǎng)絡(luò)用戶用電特征提取

3.1 基本原理

雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bidirectional Long Short-Term Memory，BLSTM)是由前向、后向兩個(gè)LSTM 構(gòu)成，其基本單元如圖1 所示，包含輸入層、前向LSTM、后 向 LSTM、輸出層，具體計(jì)算步驟如下[19-20]。

圖1 BLSTM 結(jié)構(gòu)圖

第一步，中間處理單元的計(jì)算:

其中，式(20)是對(duì)輸入層的計(jì)算；式(21)對(duì)遺忘層的計(jì)算；式(21)是對(duì)中間層的計(jì)算；式(22)是對(duì)輸出門(mén)的計(jì)算；式(23)是對(duì)記憶融合階段的計(jì)算；式(24)是最后的輸出計(jì)算。Wxi，Whi，Wci，Wxf，Whf，Wcf，Wxg，Whg，Wxo和Who，Wco為學(xué)習(xí)訓(xùn)練的權(quán)系數(shù)；bi，bf，bg，bo為偏置項(xiàng)。

3.2 用戶用電特征提取

為了實(shí)現(xiàn)準(zhǔn)確的用戶用電特征分類(lèi)和提取，在通過(guò)電力系統(tǒng)量測(cè)的大數(shù)據(jù)基礎(chǔ)上，通過(guò)第2 部分的計(jì)算，可以選擇N個(gè)滾動(dòng)的時(shí)間窗口，每個(gè)時(shí)間窗口包含n個(gè)第2 部分的量測(cè)斷面，從而可以獲得N個(gè)第2 部分計(jì)算的數(shù)據(jù)樣本，標(biāo)記為:

式中:Δwt表示第2 部分估計(jì)的的誤差；同理，Δbt表示第2 部分估計(jì)的的誤差；Δft(x)表示由Δwt和Δbt獲得的分類(lèi)函數(shù)的誤差值；Pi表示臺(tái)區(qū)歷史負(fù)荷值，包含了N個(gè)時(shí)間窗口內(nèi)、每個(gè)窗口內(nèi)的n個(gè)值；Wi表示臺(tái)區(qū)天氣環(huán)境信息；Ai表示人文活動(dòng)信息；Oi表示經(jīng)濟(jì)社會(huì)狀態(tài)。

將式(26)中的數(shù)據(jù)樣本作為BLSTM 的輸入數(shù)據(jù)，同時(shí)選擇式(20)、式(21)、式(23)中的過(guò)濾函數(shù)為sigmoid 函數(shù)，設(shè)置BLSTM 相應(yīng)的層數(shù)和LSTM個(gè)數(shù)，從而可以進(jìn)行學(xué)習(xí)BLSTM 的權(quán)系數(shù)。

4 算例分析

采用如圖2 所示的山西電網(wǎng)某地區(qū)實(shí)際電網(wǎng)為例，對(duì)本文方法予以驗(yàn)證。該地區(qū)電網(wǎng)中共包含5臺(tái)發(fā)電機(jī)、11 個(gè)用電負(fù)荷，電網(wǎng)參數(shù)如表1 所示，采集負(fù)荷13 某天的有功功率，如表2 所示。

表1 圖2 所示電網(wǎng)結(jié)構(gòu)參數(shù)(標(biāo)幺值)

表2 某天24 h 負(fù)荷13 的有功功率 單位:MW

圖2 某地區(qū)實(shí)際電網(wǎng)

采用某年1 月至6 月共6 個(gè)月，每個(gè)月按照30 d 計(jì)算，每天24 h、每小時(shí)以15 min 采集系統(tǒng)潮流，共獲得17 280 個(gè)時(shí)間斷面的潮流結(jié)果，某天潮流結(jié)果如表3 所示。

表3 某天24 h 發(fā)電機(jī)有功潮流結(jié)果 單位:MW

在Windows 環(huán)境下，采用MATLAB 結(jié)合Python對(duì)本文算法進(jìn)行程序設(shè)計(jì)，文中涉及的數(shù)據(jù)保存在SQL 數(shù)據(jù)庫(kù)中，與Python 和MATLAB 進(jìn)行配合，編寫(xiě)程序進(jìn)行計(jì)算和分析。

基于上述基本信息和潮流數(shù)據(jù)，根據(jù)本文第1、2、3 部分的方法，進(jìn)行用電特征分類(lèi)，可得到如圖3所示的分類(lèi)結(jié)果。

由圖3 中的4 類(lèi)分類(lèi)結(jié)果可見(jiàn)，每一類(lèi)的差別很明顯，即可以明確地獲得分類(lèi)結(jié)果。從曲線的走勢(shì)上就可以直觀地看到，而每一類(lèi)中的負(fù)荷數(shù)據(jù)大小和趨勢(shì)也基本一致。

圖3 聚類(lèi)后4 類(lèi)用戶用電特征曲線

5 結(jié)論

針對(duì)電力系統(tǒng)精細(xì)化管理的要求，準(zhǔn)確地獲得需求側(cè)用電特征十分必要，因此首先對(duì)傳統(tǒng)K-Mean典型聚類(lèi)方法進(jìn)行改進(jìn)，獲得用戶用電特征，并形成學(xué)習(xí)的歷史數(shù)據(jù)；在此基礎(chǔ)上，通過(guò)使用最小二乘支持向量機(jī)回歸模型獲得具有較高準(zhǔn)確度的用電特征，并獲得誤差，將其作為后續(xù)人工智能學(xué)習(xí)方法的輸入；最后，通過(guò)雙向時(shí)序長(zhǎng)短期記憶網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)而進(jìn)行分類(lèi)。通過(guò)實(shí)際電網(wǎng)的仿真驗(yàn)證表明了本文所提出的方法能夠準(zhǔn)確地獲得臺(tái)區(qū)用戶用電特征。