基于深度神經(jīng)網(wǎng)絡(luò)和SoftMax分類器的臺區(qū)負荷分類識別方法

徐嘉杰， 盧兆軍， 袁飛， 陳光宇

(1.南京工程學(xué)院 電力工程學(xué)院，江蘇 南京 211167；2.國網(wǎng)山東省電力公司，山東 濟南 250001；3.國網(wǎng)山東省電力公司泰安供電公司，山東 泰安 271000)

0 引 言

隨著電力市場的逐步完善和用戶需求側(cè)管理(demand side management, DSM)機制的發(fā)展[1]，電力系統(tǒng)負荷分類識別已經(jīng)成為一項十分重要的基礎(chǔ)性工作。負荷預(yù)測、負荷定價和負荷建模等工作都需要對負荷類型有一個科學(xué)準確的分類[2]。因此，深入研究電力系統(tǒng)負荷分類的方法及應(yīng)用，有利于及時掌握用電負荷的變化規(guī)律和發(fā)展趨勢，有利于用電負荷的科學(xué)管理，還有利于計劃用電工作的開展，具有重要的理論意義和現(xiàn)實意義。

現(xiàn)有的負荷分類識別方法，在分類結(jié)果和用戶負荷特性的考慮等方面存在一些缺陷。一是供電部門對于電力系統(tǒng)用戶負荷分類主要依據(jù)是用戶負荷所屬的行業(yè)以及用戶的經(jīng)濟活動特點，沒有考慮到隨著電網(wǎng)的發(fā)展，用戶負荷可能出現(xiàn)新類型，與傳統(tǒng)負荷分類方法存在明顯的差異；二是傳統(tǒng)的負荷預(yù)測方法，沒有充分考慮用戶負荷的實際特性和變化規(guī)律，存在著較大的人為因素，降低了分類結(jié)果的準確性和合理性。

綜上，本文針對現(xiàn)有研究的不足，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNN)和SoftMax分類器的臺區(qū)負荷分類識別方法，結(jié)合已有的典型負荷曲線特征庫，實現(xiàn)對臺區(qū)未知用戶的負荷預(yù)測，為電網(wǎng)部門需求側(cè)管理提供可靠的支撐。通過對某臺區(qū)1 200個用戶負荷數(shù)據(jù)進行實證分析，結(jié)果表明本文提出的分類方法在算法收斂性、計算時間以及預(yù)測精度等方面具有更好的性能。

1 臺區(qū)負荷分類識別研究

1.1 深度神經(jīng)網(wǎng)絡(luò)

DNN是一個有多層結(jié)構(gòu)的數(shù)學(xué)模型，按層的位置不同可以分為：輸入層、隱藏層和輸出層。第一層是輸入層，最后一層是輸出層，而中間的層數(shù)都是隱藏層。層與層之間是全連接的，即第i層的任意一個神經(jīng)元一定與第i+1層的任意一個神經(jīng)元相連。這樣的結(jié)構(gòu)使得DNN能夠?qū)W習(xí)輸入與輸出之間的隱藏特征，可以具有較強的表達能力[3]。而且，輸出層神經(jīng)元可以不止一個，可以有多個輸出，這樣模型可以靈活地應(yīng)用于分類、回歸、降維和聚類等。DNN結(jié)構(gòu)示意圖如圖1所示。

圖1 DNN結(jié)構(gòu)示意圖

設(shè)DNN輸入數(shù)據(jù)的特征向量為X=(x1,x2,…,xn)T，每個隱藏層有多個神經(jīng)元構(gòu)成，神經(jīng)元結(jié)構(gòu)如圖2所示。

圖2 神經(jīng)元結(jié)構(gòu)示意圖

Relu(xi)=max(xi,0)

(1)

式中：xi為每一隱藏層的輸入?yún)?shù)。

由式(1)可知，Relu函數(shù)的導(dǎo)數(shù)在正數(shù)部分是恒等于1的，因此在深層網(wǎng)絡(luò)中使用Relu激活函數(shù)就不會導(dǎo)致梯度消失和爆炸的問題[4]。

DNN的訓(xùn)練目的是調(diào)整ω和b，使得損失函數(shù)最小。本文使用均方誤差函數(shù)MSE作為模型的損失函數(shù)，其公式如式(2)所示。

(2)

1.2 SoftMax分類器

SoftMax回歸模型是邏輯回歸模型在多分類問題上的擴展，將邏輯回歸一般化[5]。對于多分類問題的求解，常用的方法有對數(shù)幾率回歸(logistic regression, LR)、支持向量機(support vector machine, SVM)和SoftMax多分類器。

圖3 SoftMax分類器示意圖

(3)

式中：yi為SoftMax層的輸出概率值；xi為SoftMax層的輸入值；n為SoftMax層的輸入值個數(shù)。

1.3 臺區(qū)負荷分類識別

臺區(qū)配電網(wǎng)絡(luò)比較復(fù)雜，涉及的電氣參數(shù)因素較多，鑒于從用戶信息采集系統(tǒng)中提取的用電數(shù)據(jù)十分龐大，僅采用人工判斷的方法難以進行負荷特性的計算與分析[6]。本文提出的基于DNN和SoftMax分類器的臺區(qū)負荷識別流程如圖4所示。首先，對臺區(qū)負荷數(shù)據(jù)進行預(yù)處理并作為模型輸入；其次，構(gòu)建基于DNN和Softmax多分類器的多層網(wǎng)格結(jié)構(gòu)模型；最后，結(jié)合臺區(qū)已有的典型負荷曲線特征庫，預(yù)測未知用戶所屬類別，從而實現(xiàn)臺區(qū)負荷的智能識別。

圖4 基于DNN和Softmax分類器的臺區(qū)負荷識別流程圖

2 算例仿真分析

2.1 案例背景介紹

在Google公司深度學(xué)習(xí)開源框架Tensor-flow上進行測試試驗，并調(diào)用開源的基于Python的機器學(xué)習(xí)工具包scikit-learn，試驗所用機器包括CPU：Intel(R) Core(TM) i7-8565U 1.8 GHz，內(nèi)存8 G，軟件為Python3.7。試驗數(shù)據(jù)采取2019年1月1日—7月7日某臺區(qū)1 200個用戶的日負荷數(shù)據(jù)，驗證所提方法，其中臺區(qū)容量為400 MVA，電流互感器變比(CT ratio)為1，電壓互感器變比(PT ratio)為1。由于用戶負荷所屬臺區(qū)的性質(zhì)相同，故只需分析用戶自身的負荷特性。為了克服模型建立過程中帶來的不必要誤差，實現(xiàn)數(shù)據(jù)格式的統(tǒng)一化和規(guī)范化，需對臺區(qū)用戶負荷數(shù)據(jù)進行缺失值的填補和歸一化。

2.2 算例結(jié)果分析

DNN通過加入不同的層可以解決不同領(lǐng)域的問題。本文所提出的問題為負荷預(yù)測識別，因而采用全連接層的配置。經(jīng)過多次試驗，選擇如下的網(wǎng)絡(luò)結(jié)構(gòu)：輸入層+三隱藏層+SoftMax層+輸出層。全連接層的網(wǎng)絡(luò)節(jié)點配置表見表1。

表1 網(wǎng)絡(luò)節(jié)點配置

由表1可知，在激活函數(shù)上，為了防止梯度消失和梯度爆炸，通常采用Relu函數(shù)。網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)置對于模型預(yù)測的準確度具有重要影響，結(jié)構(gòu)過少會發(fā)生欠擬合，結(jié)構(gòu)過多則會發(fā)生過擬合。

損失函數(shù)取最小值時所對應(yīng)的參數(shù)值即所需求解的模型參數(shù)的最優(yōu)值，然而參數(shù)尋優(yōu)的過程通常存在局部最優(yōu)解和全局最優(yōu)解兩種最優(yōu)情況。本文的模型實現(xiàn)過程，選擇使用隨機梯度下降方法，并使用反向傳播算法實現(xiàn)多層前饋神經(jīng)網(wǎng)絡(luò)的誤差反向傳播[7]。模型訓(xùn)練過程中測試集與訓(xùn)練集損失值下降圖如圖5所示。橫坐標為訓(xùn)練迭代次數(shù)，縱坐標為均方誤差MSE。

圖5 模型訓(xùn)練過程中測試集與訓(xùn)練集損失值下降圖

模型對75個未知用戶負荷的預(yù)測如圖6所示，圖中橫坐標為用戶樣本編號，縱坐標為用戶負荷數(shù)據(jù)。經(jīng)計算分析可知預(yù)測均方誤差為0.509 6，滿足一定的預(yù)測精度要求。

圖6 模型對75個未知用戶的預(yù)測圖

相比于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)模型，DNN具有更多的層次結(jié)果，擬合實際問題的能力更強。本文進行了RNN與傳統(tǒng)機器算法SVM模型、BP神經(jīng)網(wǎng)絡(luò)的比較，并將針對少量用戶負荷預(yù)測結(jié)果進行可視化展示，如圖7所示。

圖7 SVM、BP神經(jīng)網(wǎng)絡(luò)與DNN預(yù)測對比圖

圖7為SVM、BP神經(jīng)網(wǎng)絡(luò)與DNN預(yù)測對比圖，圖中橫坐標為用戶樣本編號，縱坐標為用戶負荷數(shù)據(jù)，不同模型均方誤差如表2所示。

表2 不同模型的均方誤差

綜合圖7和表2可知：在三種模型中，DNN模型預(yù)測精度最好，驗證了使用DNN模型作為臺區(qū)用戶負荷預(yù)測模型是最合理的。本文所提算法在面對多維數(shù)據(jù)時具有明顯的效率優(yōu)勢。BP作為機器學(xué)習(xí)中運用最廣泛的回歸算法，計算效率和速率優(yōu)于SVM和Softmax分類器，在面對大數(shù)據(jù)時尤其明顯；但是隨著輸出維度的增加，僅僅使用單個分類器或者SVM是不夠的，需要利用多個二分類器來組成多分類器。雖然滿足損失函數(shù)收斂很小的值，但是運行時間大大增加，并占用了較多的內(nèi)存空間。而本文所提算法在面對分類識別問題時，在保證模型穩(wěn)定性的同時滿足了較高的預(yù)測精度。

3 結(jié)束語

本文提出了一種基于DNN和SoftMax分類器的臺區(qū)負荷分類識別方法。首先，構(gòu)建包含SoftMax分類器的DNN多層網(wǎng)絡(luò)結(jié)構(gòu)；其次，將具體時間維度上負荷數(shù)據(jù)作為輸入進行訓(xùn)練，獲得了相應(yīng)的臺區(qū)用戶的負荷預(yù)測模型；最后結(jié)合已有的典型負荷曲線特征庫，驗證模型的預(yù)測精度。通過實際臺區(qū)用戶數(shù)據(jù)仿真結(jié)果表明，本文提出基于DNN和SoftMax分類器的方法在臺區(qū)負荷分類模型的預(yù)測精度等方面具有更好的性能。