呂 超,朱雪陽,丁忠林,丁 儀,朱秋陽
1(南京南瑞信息通信科技有限公司,南京 211106)
2(南京郵電大學(xué) 通信與信息工程學(xué)院,南京 210003)
第5 代移動(dòng)通信技術(shù)(fifth-Generation,5G)是繼4G 之后,為了滿足智能終端的快速普及和移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展而正在研發(fā)的下一代無線移動(dòng)通信技術(shù)[1].目前,國內(nèi)外正在對(duì)5G 移動(dòng)通信技術(shù)進(jìn)行研究[2–5].5G 不僅為我們帶來了更好的寬帶體驗(yàn),也將對(duì)電力行業(yè)產(chǎn)生深遠(yuǎn)的影響[6–10].其中,智能電網(wǎng)作為5G 與電力行業(yè)交叉融合下的一項(xiàng)典型應(yīng)用,正在快速發(fā)展[11–13].
作為電力系統(tǒng)的一項(xiàng)重大創(chuàng)新,智能電網(wǎng)方便了電力系統(tǒng)的管理,在很大程度上能夠提升電力系統(tǒng)的服務(wù)質(zhì)量.但是,電力網(wǎng)絡(luò)中的傳感器及其他接入設(shè)備的增多,將給電力系統(tǒng)帶來了較大的負(fù)擔(dān).為了向用戶提供源源不斷、質(zhì)量合格的電能,要求電力系統(tǒng)具有很高的穩(wěn)定性和可靠性[14,15].
目前,很少有對(duì)智能電網(wǎng)穩(wěn)定性預(yù)測的相關(guān)研究,但有許多針對(duì)電力系統(tǒng)穩(wěn)定性分析的研究可供參考.隱形梯形積分法是電力系統(tǒng)暫態(tài)穩(wěn)定性分析中的最基本的數(shù)值計(jì)算方法之一,文獻(xiàn)[16]通過采用隱形梯形積分法得出系統(tǒng)最大相對(duì)搖擺角曲線圖,進(jìn)而去判定系統(tǒng)的暫態(tài)穩(wěn)定性.文獻(xiàn)[17]運(yùn)用電力系統(tǒng)動(dòng)態(tài)等值分析原理,以耦合特性分析為切入點(diǎn)研究電力系統(tǒng)穩(wěn)定性分析方法,但該方法不能較好的適應(yīng)于非線性系統(tǒng).文獻(xiàn)[18]針對(duì)該問題,提出了一種適合非線性復(fù)變系統(tǒng)的綜合動(dòng)態(tài)等值法來評(píng)估電力網(wǎng)絡(luò)的靜態(tài)電壓穩(wěn)定性.元件參數(shù)也是影響系統(tǒng)穩(wěn)定性的重要因素之一,文獻(xiàn)[19]綜合運(yùn)用攝動(dòng)原理、軌跡靈敏度方法、參數(shù)靈敏度分析方法研究了同步發(fā)電機(jī)、調(diào)速器、勵(lì)磁系統(tǒng)、主要輸電線路和變壓器等參數(shù)對(duì)電網(wǎng)暫態(tài)穩(wěn)定性的影響.除了以上的數(shù)值分析方法,文獻(xiàn)[20]從動(dòng)力學(xué)角度出發(fā),將電力網(wǎng)絡(luò)的非線性動(dòng)力學(xué)方程和復(fù)雜網(wǎng)絡(luò)相結(jié)合來研究電力網(wǎng)絡(luò)的穩(wěn)定性.
在5G 時(shí)代,機(jī)器學(xué)習(xí)和深度學(xué)習(xí)賦予了這個(gè)社會(huì)“智能”,這些概念自提出以來就得到了廣泛的關(guān)注,并且出現(xiàn)了多方面的應(yīng)用.文獻(xiàn)[21]使用機(jī)器學(xué)習(xí)前沿算法XGBoost 算法對(duì)電力系統(tǒng)暫態(tài)穩(wěn)定性問題進(jìn)行建模,并將模型輸出進(jìn)行概率化,以評(píng)估模型預(yù)測的可靠程度.分布式智能電網(wǎng)(Decentralized Smart Grid,DSG)是針對(duì)存在彈性節(jié)點(diǎn)的電力網(wǎng)絡(luò)所提出的新技術(shù),陳旭等人為了分析DSG的系統(tǒng)穩(wěn)定性,應(yīng)用具有代表性的6 種機(jī)器學(xué)習(xí)分類模型,結(jié)合電力系統(tǒng)安全性、穩(wěn)定性、經(jīng)濟(jì)性3個(gè)方面的需求測試了各分類模型對(duì)DSG 系統(tǒng)穩(wěn)定性預(yù)測的效果[22],然而由于電力數(shù)據(jù)龐大且參數(shù)眾多,簡單的機(jī)器學(xué)習(xí)模型并不能滿足對(duì)電力網(wǎng)絡(luò)準(zhǔn)確預(yù)測的要求.因此,本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的智能電網(wǎng)穩(wěn)定性預(yù)測算法,首先對(duì)從智能電網(wǎng)中采集到的數(shù)據(jù)進(jìn)行處理,之后將其輸入到CNN 模型中,經(jīng)過不斷的迭代運(yùn)算,最終得到一個(gè)電力網(wǎng)絡(luò)穩(wěn)定性預(yù)測模型.經(jīng)過仿真驗(yàn)證,該模型對(duì)于智能電網(wǎng)穩(wěn)定性預(yù)測有較高的準(zhǔn)確率.
有關(guān)機(jī)器學(xué)習(xí)的各種算法例如決策樹,隨機(jī)森林,SVM (支持向量機(jī)),KNN (最近鄰算法)在電力系統(tǒng)中都有廣泛的應(yīng)用.在這些傳統(tǒng)的機(jī)器學(xué)習(xí)算法上,雖然能夠得到對(duì)電力網(wǎng)絡(luò)穩(wěn)定性的預(yù)測,但是需要耗費(fèi)不小的精力去對(duì)特征進(jìn)行處理,并且預(yù)測的準(zhǔn)確度不夠高.本章將介紹一種基于CNN的智能電網(wǎng)穩(wěn)定性預(yù)測的算法,該算法由兩個(gè)卷積層,兩個(gè)池化層以及兩個(gè)全連接層構(gòu)成,仿真驗(yàn)證了該算法有良好的準(zhǔn)確率.并且本文還比較了Adam[23],RMSprop[24]、SGD 以及帶有動(dòng)量的SGD (MSGD)4 種不同優(yōu)化算法對(duì)于模型訓(xùn)練的影響[25].
本文采用的卷積神經(jīng)網(wǎng)絡(luò)的基本單位為神經(jīng)元,神經(jīng)元的結(jié)構(gòu)模仿了人類腦部的神經(jīng)系統(tǒng),多個(gè)神經(jīng)元相互連接而成一個(gè)神經(jīng)網(wǎng)絡(luò).一個(gè)基本的神經(jīng)元由線性函數(shù)和激活函數(shù)兩部分構(gòu)成,神經(jīng)元的一側(cè)接收輸入信號(hào),經(jīng)過線性函數(shù)的加權(quán)和加偏置處理,將結(jié)果輸入至激活函數(shù),之后由另一側(cè)輸出最終結(jié)果.具有3個(gè)樹突的單個(gè)神經(jīng)元建模如圖1所示.
圖1 單個(gè)神經(jīng)元建模圖
神經(jīng)元模型的公式為:
其中,wi為線性函數(shù)的權(quán)重,b為偏置單元.
接著,需要通過損失函數(shù)來優(yōu)化模型,損失函數(shù)的定義如下:
其中,n為訓(xùn)練集的數(shù)量,h(i)為預(yù)測的輸出,y(i)真實(shí)值.
單層的神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)雖然簡單,但學(xué)習(xí)能力有限,只能處理一些簡單的線性分類任務(wù),具有很大的局限性.而通過電力系統(tǒng)采集到的數(shù)據(jù)具有非線性和復(fù)雜的特點(diǎn),因此,為了處理這些較為復(fù)雜的問題,本章采用了引入非線性函數(shù)的CNN來進(jìn)行智能電網(wǎng)穩(wěn)定性的預(yù)測.基于CNN的電力網(wǎng)絡(luò)穩(wěn)定性預(yù)測建模如圖2所示.
圖2 基于CNN的智能電網(wǎng)穩(wěn)定性預(yù)測建模圖
卷積神經(jīng)網(wǎng)絡(luò)的工作原理就是通過不斷地迭代去更新線性函數(shù)的權(quán)重和偏置單元,使得損失函數(shù)的值最小,同時(shí)得到一個(gè)較高的分類準(zhǔn)確度.CNN 具有參數(shù)共享和稀疏連接的功能,這些功能模仿了生物視覺細(xì)胞只對(duì)局部視野或者特征敏感的特點(diǎn).
基于CNN的智能電網(wǎng)穩(wěn)定性預(yù)測模型通過卷積層自動(dòng)提取與電網(wǎng)穩(wěn)定性相關(guān)的12個(gè)特征,再經(jīng)過池化層對(duì)數(shù)據(jù)進(jìn)行降維,最后通過全連接層以及Softmax分類函數(shù)得到預(yù)測結(jié)果.衡量CNN 模型優(yōu)劣的Accuracy值的范圍在0 到1 之間,Loss 值一般也在1 以下.Accuracy值越低,Loss 值越高,則代表該模型的預(yù)測結(jié)果較差,反之則表明模型越優(yōu).
除了分析電網(wǎng)系統(tǒng)維護(hù)人員的不良行為或者誤觸行為,依據(jù)電網(wǎng)產(chǎn)生的數(shù)據(jù)對(duì)其穩(wěn)定性預(yù)測也是有效減少電力事故,提高電力系統(tǒng)安全性的有效方法.因此,本文提出了基于CNN的智能電網(wǎng)穩(wěn)定性預(yù)測模型,該模型采用了kaggle 上來自國外某電網(wǎng)系統(tǒng)采集到的68000個(gè)數(shù)據(jù).
對(duì)于數(shù)據(jù)集,由于各個(gè)特征值的范圍不同,因此需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理.預(yù)處理的目的是將數(shù)據(jù)的大小歸一到一個(gè)統(tǒng)一的尺度內(nèi),加快模型的訓(xùn)練速度,提高分類精度.數(shù)據(jù)預(yù)處理的方式通常有兩種:一種是標(biāo)準(zhǔn)化,另一種是歸一化.歸一化方法容易受到數(shù)據(jù)集結(jié)構(gòu)不均衡的影響,因此在這里采用標(biāo)準(zhǔn)化對(duì)數(shù)據(jù)進(jìn)行預(yù)處理.處理的步驟如下:首先求取各個(gè)特征的數(shù)學(xué)期望E(Xi)和標(biāo)準(zhǔn)差Si,然后根據(jù)以下公式得到標(biāo)準(zhǔn)化值:
其中,Xij是數(shù)據(jù)第i個(gè)特征的第j個(gè)值,E(Xi)為第i個(gè)特征的均值,S i為第i個(gè)特征的標(biāo)準(zhǔn)差.
CNN 模型自動(dòng)會(huì)提取電力網(wǎng)絡(luò)中參與者的反應(yīng)時(shí)間,標(biāo)準(zhǔn)功率,價(jià)格系數(shù)等12個(gè)特征,并對(duì)其進(jìn)行標(biāo)準(zhǔn)化,為了能夠?qū)?shù)據(jù)輸入CNN 模型中,需要調(diào)整數(shù)據(jù)結(jié)構(gòu)將其轉(zhuǎn)化為與CNN 輸入矩陣大小一致的特征矩陣.
本節(jié)首先將經(jīng)過標(biāo)準(zhǔn)化處理電力網(wǎng)絡(luò)數(shù)據(jù)集后得到的12個(gè)特征轉(zhuǎn)化為矩陣,并輸入CNN 模型進(jìn)行特征的提取.其中,CNN 模型中卷積層的權(quán)重更新如下:
(1)首先,需要定義誤差函數(shù),公式如下:
其中,N是樣本的個(gè)數(shù),K是樣本的類別(即樣本被分K類),ynk表示第n個(gè)樣本yk的第k維,pnk是第n個(gè)樣本pk網(wǎng)絡(luò)輸出的第k維.
最小化式(4)中的C可更新網(wǎng)絡(luò)的權(quán)值,使得CNN 模型的輸出預(yù)測值更加接近真實(shí)值.
(2)其次,定義卷積層第l層的輸出xlj為:
其中,xlj表示第i層的第j個(gè)特征,f是CNN的激活函數(shù),M j表示輸入數(shù)據(jù)的特征矩陣,為l層中連接輸入的第i類特征和輸出的第j類特征的卷積核,blj則為l層中j特征對(duì)應(yīng)的偏置參數(shù).
(3)誤差靈敏度δlj可表示為:
(4)接下來求誤差函數(shù)對(duì)偏置和卷積核的偏導(dǎo):
式(7)、式(8)是對(duì)l層中所有的誤差靈敏度進(jìn)行求和,(u,v)是靈敏度矩陣中各元素的位置.
CNN 模型中池化層的權(quán)值更新如下:
(1)池化層的第l層的輸出xlj可被定義為:
其中,f是激活函數(shù),down是下采樣操作,bkj為偏置.
池化層中誤差函數(shù)C對(duì)偏置bj的偏導(dǎo)等于卷積層中誤差函數(shù)E對(duì)偏置bj的偏導(dǎo).
在神經(jīng)網(wǎng)絡(luò)中,常用的非線性激活函數(shù)有Sigmoid函數(shù)、ReLU 函數(shù)、tanh 函數(shù)等,其中Sigmoid 函數(shù)和tanh 函數(shù)隨著自變量x的增加,其梯度會(huì)越來越小,趨近于0,這將導(dǎo)致迭代過程中權(quán)重的值更新緩慢,因此,為了解決梯度消失這個(gè)現(xiàn)象,在CNN 模型中采用ReLU函數(shù)作為激活單元.ReLU 函數(shù)在x>0時(shí)梯度恒為1,在x<0時(shí)恒為0,結(jié)構(gòu)簡單并且計(jì)算成本較低,速度較快,為CNN 模型的快速收斂提供了保障.
激活單元ReLU 函數(shù)的定義為:
在CNN 模型中,不同的優(yōu)化算法對(duì)電力網(wǎng)絡(luò)穩(wěn)定性預(yù)測的準(zhǔn)確度不同,并且不同的優(yōu)化算法的收斂速度也不一致.因此,為了找到一個(gè)適合此模型的最優(yōu)化算法以及比較不同優(yōu)化算法之間的差異,本文分別采用了Adam[23],RMSprop[24]、SGD 以及帶有動(dòng)量的SGD(MSGD)4 種不同優(yōu)化算法對(duì)CNN 模型進(jìn)行優(yōu)化[25].
SGD 算法即隨機(jī)梯度下降算法,它可以加快收斂的速度,使Loss 函數(shù)收斂到更小的最小值,然而,由于更新的頻率比較快,SGD 會(huì)產(chǎn)生梯度震蕩,導(dǎo)致收斂不穩(wěn)定.因此,本文采用了加有動(dòng)量的SGD 算法對(duì)權(quán)重w和偏置b進(jìn)行更新,帶有動(dòng)量的SGD 會(huì)在前一步的累計(jì)梯度上有一個(gè)跳躍,之后加入了一個(gè)修正單元對(duì)其進(jìn)行修正,更新公式如下:
其中,β為超參數(shù),取值0.9 左右,α是學(xué)習(xí)速率,取值0.01 左右.
RMSprop 優(yōu)化算法采用指數(shù)加權(quán)平均,旨在消除梯度下降中的擺動(dòng),如果在某一處梯度值比較大,則指數(shù)加權(quán)平均的結(jié)果就大,反之則小,以此來保證不同維度的梯度值都處在同一范圍,進(jìn)而提高的穩(wěn)定性.它的更新公式如下:
其中,β為超參數(shù),取值0.9 左右,α是學(xué)習(xí)速率,取值0.01 左右,ε是一個(gè)偏差修正單元,取值一般為10?8.
Adam 結(jié)合了Momentum 梯度下降法和RMSprop算法,它能加快模型的學(xué)習(xí)速度.Adam 算法的參數(shù)更新公式如下:
其中,β1和β2為梯度累計(jì)的指數(shù),是兩個(gè)超參數(shù),在一般情況下 β1取 值0.9,β2取值0.999,dw和bd是在一次batch 上,損失函數(shù)L關(guān)于權(quán)重w和偏置b的梯度值;vdw和vdb是算法在前t?1次迭代過程中的累計(jì)的梯度動(dòng)量,同樣的,sdw和sdb也是算法前t?1次迭代過程中的累計(jì)的梯度動(dòng)量.
算法在前期的迭代中會(huì)出現(xiàn)不小的偏差,為了解決這個(gè)問題,在公式中加入了偏差修正:
加入偏差修正之后,即可對(duì)權(quán)重和偏置進(jìn)行更新,公式如下:
其中,α為學(xué)習(xí)速率,在訓(xùn)練過程中可以通過微調(diào)學(xué)習(xí)速率來優(yōu)化權(quán)重的更新速度,ε為超參數(shù),取值通常為10?8.
在智能電網(wǎng)穩(wěn)定性預(yù)測算法中,CNN 模型中的權(quán)重w和偏置b在一次次的迭代過程中不斷被更新,CNN算法通過不斷地迭代,去更新權(quán)重w和偏置b,使得Loss函數(shù)無線逼近一個(gè)趨近于0的極小值,同時(shí)Accuracy函數(shù)會(huì)不斷增大,表明模型的預(yù)測效果在不斷地迭代中變得越來越好.
本文提出了一種基于CNN的智能電網(wǎng)穩(wěn)定性預(yù)測算法,采用了kaggle 上來自國外某電力系統(tǒng)的數(shù)據(jù),該數(shù)據(jù)包含60000個(gè)樣本,它含有每個(gè)網(wǎng)絡(luò)參與者的反應(yīng)時(shí)間、每個(gè)網(wǎng)絡(luò)參與者產(chǎn)生(正)或消耗(負(fù))的標(biāo)準(zhǔn)功率、每個(gè)網(wǎng)絡(luò)參與者的價(jià)格彈性系數(shù)等12個(gè)特征.
為評(píng)價(jià)基于CNN的智能電網(wǎng)穩(wěn)定性預(yù)測模型的訓(xùn)練效果,本節(jié)利用相同的數(shù)據(jù)集進(jìn)行了Loss 函數(shù)和Accuracy 函數(shù)的仿真,并對(duì)比了SVM、AdaBoost,隨機(jī)森林3 種不同的算法,如圖3和圖4所示.
從圖3、圖4可以看出,本文提出的算法與SVM、AdaBoost,隨機(jī)森林相比,有著較高的準(zhǔn)確率.圖3表明,隨著數(shù)據(jù)量的增大,算法的準(zhǔn)確度不斷提高,并且CNN 算法的準(zhǔn)確度要遠(yuǎn)遠(yuǎn)高于其余3 種算法;圖4表明,損失函數(shù)隨著數(shù)據(jù)量的增大而不斷減小且逐漸趨于穩(wěn)定,CNN 算法的損失函數(shù)始終處于最低水平.因此,可以認(rèn)為CNN 算法可以更好地為智能電網(wǎng)的穩(wěn)定性作出預(yù)測.
圖3 不同模型準(zhǔn)確度比較
圖4 不同模型損失函數(shù)比較
本文還比較了Adam[23],RMSprop[24]、SGD 以及帶有動(dòng)量的SGD(MSGD)4 種不同優(yōu)化算法對(duì)于CNN 模型訓(xùn)練的影響[25],如圖5和圖6所示.
從圖5、圖6可以看出,CNN 模型的Accuracy 值與訓(xùn)練集的數(shù)量成正相關(guān),Loss的值與訓(xùn)練集的數(shù)量之間成負(fù)相關(guān),并且隨著智能電網(wǎng)數(shù)據(jù)集的增加,該模型的Loss 值和Accuarcy 值逐漸趨于平穩(wěn).圖5表明,在相同的數(shù)據(jù)集下,MSGD 算法的準(zhǔn)確度>Adam>RMSprop>SGD,且隨著數(shù)據(jù)集的增大,SGD 算法的準(zhǔn)確度逐漸趨于穩(wěn)定且始終大于其余3 種算法.圖6表明,4 種優(yōu)化算法的損失函數(shù)都隨著數(shù)據(jù)量的增大而減小并趨于穩(wěn)定,且MSGD 算法的損失函數(shù)始終小于其他3 種算法.這表明了,帶有動(dòng)量的SGD 算法比RMSprop、Adam、SGD 算法有更好的訓(xùn)練效果.
圖5 準(zhǔn)確度和訓(xùn)練集數(shù)量的關(guān)系
圖6 損失函數(shù)和訓(xùn)練集數(shù)量的關(guān)系
圖7、圖8表明,CNN 模型的Loss 值與迭代次數(shù)成負(fù)相關(guān),Accuracy 值與迭代次數(shù)成正相關(guān).從圖7可以看出,算法的準(zhǔn)確度:MSGD>Adam>RMSprop>SGD,并且隨著迭代次數(shù)的增加,準(zhǔn)確度不斷提高.從圖8可以看出,隨著迭代次數(shù)的增加,四種優(yōu)化算法的損失函數(shù)都逐漸下降,且MSGD 算法的損失函數(shù)始終低于其他3 種算法.這表明MSGD 算法比SGD、RMSprop以及Adam有更低的誤差損失,用MSGD 算法去優(yōu)化CNN 模型具有更好的效果.
圖7 準(zhǔn)確度和迭代次數(shù)的關(guān)系
圖8 損失函數(shù)和迭代次數(shù)的關(guān)系
綜上可以看出,與SVM、AdaBoost,隨機(jī)森林相比,CNN 模型特可以更好地幫助我們?nèi)ヮA(yù)測智能電網(wǎng)的穩(wěn)定性,這是因?yàn)镃NN 特有的參數(shù)共享和稀疏連接功能可以自動(dòng)化處理高維特征;對(duì)于CNN 模型的優(yōu)化方面來講,Adam和RMSprop是僅次于MSGD的最優(yōu)的兩個(gè)算法,這兩種算法都能夠自適應(yīng)學(xué)習(xí)速率,其中,RMSprop 采用了遞推的形式記錄歷史梯度平均作為動(dòng)量,緩和了參數(shù)變化的劇烈程度;Adam 綜合了Momentum和RMSprop,既記錄了歷史梯度均值作為動(dòng)量,又考慮了歷史梯度平方和實(shí)現(xiàn)各個(gè)參數(shù)學(xué)習(xí)率的自適應(yīng)調(diào)整,因此,兩種算法都具有較好的訓(xùn)練效果.SGD 方法的訓(xùn)練效果最差,這是由于SGD 方法的更新方向完全依賴于當(dāng)前的batch,更新不穩(wěn)定造成的,而在引入動(dòng)量后,它的更新在一定程度上保留了之前的方向,同時(shí)利用batch的梯度對(duì)當(dāng)前方向進(jìn)行微調(diào),這樣一來,可以學(xué)習(xí)得更快同時(shí)還有一定擺脫局部最優(yōu)的能力,因此,MSGD的訓(xùn)練效果很好并且超過了Adam和RMSprop 算法.
本文提出了一個(gè)基于5G和CNN的智能電網(wǎng)穩(wěn)定性預(yù)測算法,首先對(duì)電力網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)進(jìn)行采集,接著針對(duì)采集到的數(shù)據(jù)進(jìn)行預(yù)處理并輸入進(jìn)CNN 模型,經(jīng)過CNN的卷積、池化、以及Softmax 函數(shù)等的處理以及不斷地迭代,最終得到智能電網(wǎng)穩(wěn)定性預(yù)測模型.同時(shí),為了探究不同優(yōu)化算法對(duì)于CNN 預(yù)測模型的影響,分別利用SGD、MSGD,RMSprop 以及Adam 對(duì)模型進(jìn)行優(yōu)化和訓(xùn)練,對(duì)比了3 種算法在不同情況下的Accuracy和Loss 值變化情況.最終的結(jié)果表明,帶有動(dòng)量的SGD 算法(MSGD)去優(yōu)化CNN 模型可以達(dá)到98.13%預(yù)測效果,利用該模型可以有效地幫助電力系統(tǒng)對(duì)未知的問題提前預(yù)警,降低了安全隱患,避免了電力事故的發(fā)生.