人工智能在電力系統(tǒng)中應(yīng)用的近期研究熱點(diǎn)介紹

朱永利，石鑫，王劉旺

（1．新能源電力系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室(華北電力大學(xué))，河北省 保定市 071003；2．上海交通大學(xué)大數(shù)據(jù)工程技術(shù)研究中心，上海市 閔行區(qū) 200240；3．國(guó)網(wǎng)浙江省電力有限公司電力科學(xué)研究院，浙江省 杭州市 310014）

0 引言

隨著海量數(shù)據(jù)的積累和計(jì)算機(jī)硬件計(jì)算能力的提升，新一代人工智能發(fā)展迅速，呈現(xiàn)出深度、自主學(xué)習(xí)的新特征。2011年以來(lái)，微軟和谷歌的研究人員采用一種稱為“深度學(xué)習(xí)”的機(jī)器學(xué)習(xí)模型，使得語(yǔ)音識(shí)別錯(cuò)誤率降低了20%~30%，取得了語(yǔ)音識(shí)別領(lǐng)域近十多年來(lái)最大的進(jìn)展。2012年，多倫多大學(xué) Hinton教授帶領(lǐng)他的學(xué)生在ImageNet競(jìng)賽中將錯(cuò)誤率從26%降低到15%，取得了圖像識(shí)別領(lǐng)域驚人的結(jié)果，采用的也是這種“深度學(xué)習(xí)”技術(shù)。2016年 3月，谷歌旗下DeepMind公司基于“深度學(xué)習(xí)”和蒙特卡洛樹(shù)搜索技術(shù)研發(fā)的AlphaGo以4：1完勝圍棋職業(yè)九段棋手李世石；2017年5月，它又以3：0戰(zhàn)勝中國(guó)圍棋名將柯潔。深度學(xué)習(xí)在工業(yè)界取得的巨大成功使得它迅速成為人工智能近期研究熱點(diǎn)[1-5]。

信息化和智能化程度的提升使得電力系統(tǒng)數(shù)據(jù)累積量越來(lái)越大，大量數(shù)據(jù)中含著豐富的信息維度，而傳統(tǒng)的淺層線性或非線性模型由于表征能力有限，無(wú)法充分挖掘數(shù)據(jù)中蘊(yùn)含的信息；深度學(xué)習(xí)則不同，深層的機(jī)器學(xué)習(xí)模型使得它能夠擬合任意復(fù)雜的函數(shù)，利用大數(shù)據(jù)來(lái)自動(dòng)學(xué)習(xí)特征，所學(xué)習(xí)到的特征往往更能夠刻劃數(shù)據(jù)內(nèi)在信息。因此，大數(shù)據(jù)需要深度學(xué)習(xí)，新一代人工智能也必是基于大數(shù)據(jù)的深度學(xué)習(xí)智能。同時(shí)，大數(shù)據(jù)具有體量大、增長(zhǎng)速度快、實(shí)時(shí)性要求高等特點(diǎn)，大數(shù)據(jù)環(huán)境下的新一代人工智能方法，需要充分考慮計(jì)算資源限制、數(shù)據(jù)計(jì)算速率、模型實(shí)時(shí)更新等問(wèn)題。

結(jié)合本人所在課題組最近幾年的研發(fā)和應(yīng)用情況，本文總結(jié)了人工智能近期研究熱點(diǎn)深度學(xué)習(xí)常用模型和方法，包括深度信念網(wǎng)絡(luò)、堆棧自動(dòng)編碼器、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度強(qiáng)化學(xué)習(xí)和深度混合網(wǎng)絡(luò)，重點(diǎn)介紹了各網(wǎng)絡(luò)模型的特點(diǎn)、原理及其在電力系統(tǒng)中的應(yīng)用研究現(xiàn)狀。在此基礎(chǔ)上，進(jìn)一步分析了大數(shù)據(jù)背景下新一代智能方法發(fā)展趨勢(shì)及在應(yīng)用時(shí)需要考慮的問(wèn)題，并給出了基于分布式機(jī)器學(xué)習(xí)和增量學(xué)習(xí)的解決方法，希望能為該領(lǐng)域相關(guān)研究工作者提供參考。

1 深度學(xué)習(xí)在電力系統(tǒng)中的應(yīng)用研究

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)新分支，近年來(lái)在語(yǔ)音識(shí)別、目標(biāo)檢測(cè)、文本處理等領(lǐng)域取得了突破性進(jìn)展[1]，迅速成為工業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)。DL思想最早建立在模擬人腦對(duì)聲音、圖像、文本等信號(hào)處理的機(jī)理之上，以圖像為例，首先檢測(cè)邊緣、初始形狀，然后逐步形成更復(fù)雜的視覺(jué)形狀[2]。DL簡(jiǎn)單可以理解為多隱含層的神經(jīng)網(wǎng)絡(luò)，通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)來(lái)實(shí)現(xiàn)對(duì)任意復(fù)雜函數(shù)的逼近，表征數(shù)據(jù)的分布式表示。與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，DL重點(diǎn)突出網(wǎng)絡(luò)的深層結(jié)構(gòu)和特征的自動(dòng)學(xué)習(xí)，通常具有5層、10層、甚至上百層，更深的層次使其具有更強(qiáng)地從大量樣本中自動(dòng)提取數(shù)據(jù)特征的能力。

多倫多大學(xué) Hinton等人[3]于 2006年提出深度學(xué)習(xí)的思想，基于深度信念網(wǎng)絡(luò)(deep belief network，DBN)設(shè)計(jì)了逐層無(wú)監(jiān)督貪婪訓(xùn)練算法，解決了傳統(tǒng)BP算法在訓(xùn)練深層網(wǎng)絡(luò)時(shí)梯度消失、易陷入局部最優(yōu)、必須有監(jiān)督學(xué)習(xí)等問(wèn)題，隨后他們又提出了堆棧自動(dòng)編碼器(stacked auto-encoder，SAE)[4]深層網(wǎng)絡(luò)結(jié)構(gòu)模型。紐約大學(xué) Lecun等人[5]于 1989年提出的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)最早成功應(yīng)用于手寫(xiě)字體的識(shí)別，但由于在自然圖片上效果不好而沒(méi)有得到重視，直到2012年Hinton等在ImageNet上用更多層的CNN取得圖像識(shí)別冠軍。瑞士人工智能實(shí)驗(yàn)室Schmidhuber等人提出的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)經(jīng)過(guò)不斷改進(jìn)，近年來(lái)由于在語(yǔ)音識(shí)別[6]、機(jī)器翻譯[7]、自動(dòng)生成[8]等應(yīng)用中的巨大成功而被廣泛研究。隨著研究的深入和各種實(shí)際應(yīng)用需求的驅(qū)動(dòng)，更加復(fù)雜的混合網(wǎng)絡(luò)結(jié)構(gòu)模型不斷被提出，如將DL與傳統(tǒng)強(qiáng)化學(xué)習(xí)結(jié)合形成的深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning，DRL)、將兩種或以上網(wǎng)絡(luò)模型相結(jié)合的深度混合網(wǎng)絡(luò)(deep hybrid network，DHN)。

1.1 深度信念網(wǎng)絡(luò)

DBN是最早被提出的深度學(xué)習(xí)網(wǎng)絡(luò)模型，由多個(gè)受限玻爾茲曼機(jī)(restricted Boltzmann machine，RBM)組成，一個(gè)基本的 RBM 包括可視層v和隱含層h，兩層節(jié)點(diǎn)均服從玻爾茲曼分布，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。當(dāng)輸入是v=[v1,v2,…,vm]時(shí)，可以通過(guò) P(h|v)求得 h=[h1,h2,… ,hn]，然后利用求得的h通過(guò)P(?v|h)求得?v，通過(guò)調(diào)整網(wǎng)絡(luò)參數(shù)使得?v與v盡可能地相近，當(dāng)二者誤差足夠小時(shí)，便可以認(rèn)為該 RBM對(duì)訓(xùn)練樣本的似然度足夠高，其本質(zhì)是Gibbs Sampling的過(guò)程。DBN在訓(xùn)練時(shí)采用逐層無(wú)監(jiān)督貪婪訓(xùn)練，這種訓(xùn)練方法支持它們擁有更深的網(wǎng)絡(luò)結(jié)構(gòu)，使其適用于高維復(fù)雜數(shù)據(jù)的自動(dòng)特征提取，可以有效避免人工特征提取的繁復(fù)和不確定性。實(shí)際應(yīng)用中，DBN通常與其他方法相結(jié)合，用于解決分類或預(yù)測(cè)問(wèn)題。

圖1 受限玻爾茲曼機(jī)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 RBM network structure

朱永利等[9]在國(guó)內(nèi)較早將 DBN應(yīng)用于電力系統(tǒng)，率先提出將DBN與Softmax分類器相結(jié)合應(yīng)用于電力變壓器故障診斷，考慮H2、CH4、C2H6、C2H4、C2H2、CO、CO2七種變壓器油中溶解氣體，所構(gòu)建的故障分類模型可以充分利用工程現(xiàn)場(chǎng)大量無(wú)標(biāo)簽樣本作為模型預(yù)訓(xùn)練數(shù)據(jù)，有效提高了故障診斷準(zhǔn)確率。

此外，上海交通大學(xué)代杰杰等[10]綜合考慮變壓器油中溶解氣體濃度、環(huán)境溫度和油溫，構(gòu)建了 DBN預(yù)測(cè)模型，對(duì)變壓器油中溶解氣體濃度進(jìn)行預(yù)測(cè)，取得了較高的預(yù)測(cè)準(zhǔn)確率。文獻(xiàn)[11]將 DBN和分位數(shù)回歸相結(jié)合，利用小波變換后的風(fēng)速數(shù)據(jù)，構(gòu)建了一種新的風(fēng)速預(yù)測(cè)模型。

1.2 堆棧自動(dòng)編碼器

SAE結(jié)構(gòu)與DBN相似，由多個(gè)自動(dòng)編碼器(auto-encoder，AE)堆疊而成，一個(gè)基本的AE可視為一個(gè)輸出層與輸入層具有相同的神經(jīng)元個(gè)數(shù)的 3層神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 2所示。AE是一種盡可能復(fù)現(xiàn)輸入信息的神經(jīng)網(wǎng)絡(luò)，從輸入層到隱含層的變化過(guò)程稱為編碼，從隱含層到輸出層的變化過(guò)程稱為解碼，將原始信息x輸入網(wǎng)絡(luò)，通過(guò)調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使得變換后的信息?x與x盡可能相似，當(dāng)二者誤差足夠小時(shí)，便認(rèn)為h為輸入信息的另一種特征表示。SAE通過(guò)將多層AE堆疊，采用逐層無(wú)監(jiān)督貪婪訓(xùn)練，這樣便得到了原始輸入信息的分層特征表示。實(shí)際應(yīng)用中，為了滿足不同領(lǐng)域的任務(wù)需求，研究人員通常對(duì)SAE進(jìn)行改進(jìn)或與其他方法結(jié)合，如增加了稀疏性限制的SAE、具有較好魯棒性的降噪SAE、卷積SAE等[12]。

圖2 自動(dòng)編碼器網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 AE network structure

朱永利等[13]在國(guó)內(nèi)率先將 SAE應(yīng)用于電力系統(tǒng)，首次提出利用SAE對(duì)大量電力變壓器油色譜樣本數(shù)據(jù)進(jìn)行自動(dòng)特征提取，并結(jié)合 softmax分類器對(duì)所提取特征進(jìn)行分類，設(shè)置了中低溫過(guò)熱、高溫過(guò)熱、局部放電、低能放電、高能放電、正常6種變壓器狀態(tài)類型，綜合分類正確率達(dá)到90%以上，高于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)方法。

在此之后，將SAE或其變體應(yīng)用于電力系統(tǒng)的研究不斷開(kāi)展，例如，文獻(xiàn)[14]中針對(duì)輸變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)清洗過(guò)程繁瑣、信息易丟失等問(wèn)題，提出采用堆棧降噪自動(dòng)編碼器對(duì)數(shù)據(jù)進(jìn)行清洗，工程實(shí)例測(cè)試結(jié)果驗(yàn)證了方法的有效性；文獻(xiàn)[15]提出將 SAE用于風(fēng)機(jī)齒輪箱的故障檢測(cè)，通過(guò)預(yù)訓(xùn)練和調(diào)優(yōu)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，計(jì)算測(cè)試數(shù)據(jù)集的重構(gòu)誤差作為齒輪箱的狀態(tài)檢測(cè)量，仿真實(shí)驗(yàn)結(jié)果證明了方法的有效性。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

CNN不同于SAE和DBN，它是一種有監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)模型，由輸入層、卷積層、子采樣層、全連接層和輸出層組成，其中卷積層和池化層通常取若干個(gè)，且二者交替設(shè)置，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中，卷積層由若干卷積單元構(gòu)成，通過(guò)卷積運(yùn)算進(jìn)行特征提取，更多的層通常能夠提取更復(fù)雜的特征；子采樣層則是對(duì)卷積獲取到的高維特征降維，通過(guò)取均值或最大值得到新的、維度小的特征；全連接層則是把所有局部特征結(jié)合變?yōu)槿痔卣?，便于后續(xù)計(jì)算判別。相比其他神經(jīng)網(wǎng)絡(luò)，CNN的特點(diǎn)在于其每一層特征都由上一層的局部區(qū)域通過(guò)共享權(quán)值的卷積核激勵(lì)得到，大大減少了網(wǎng)絡(luò)的參數(shù)，這使得它特別適合于圖像特征的學(xué)習(xí)和提取。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 CNN network structure

隨著研究的深入，CNN的結(jié)構(gòu)不斷被優(yōu)化和改進(jìn)，先后產(chǎn)生了各種大型卷積網(wǎng)絡(luò)(AlexNet[16]、VGG[17]、GoogLeNet[18]等)、基于邊緣檢測(cè)的R-CNN[19]、Faster R-CNN[20]等。近兩年，CNN應(yīng)用于電力系統(tǒng)的研究工作不斷涌現(xiàn)。文獻(xiàn)[21]將 CNN與隨機(jī)森林方法結(jié)合，用于電力設(shè)備圖像特征提取和分類，識(shí)別準(zhǔn)確率高達(dá) 90%；文獻(xiàn)[22]將Faster R-CNN用于輸電線路無(wú)人機(jī)巡檢圖像識(shí)別，克服了 R-CNN計(jì)算復(fù)雜、識(shí)別速度慢的缺陷，識(shí)別準(zhǔn)確率高達(dá) 92.7%；文獻(xiàn)[23]將CNN與softmax結(jié)合，用于解決輸電線路區(qū)內(nèi)外故障判斷和故障選相問(wèn)題，數(shù)據(jù)測(cè)試結(jié)果證明了方法的準(zhǔn)確可靠。

1.4 循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，具體表現(xiàn)為網(wǎng)絡(luò)會(huì)對(duì)前面的信息記憶并用于當(dāng)前輸出的計(jì)算中，網(wǎng)絡(luò)在設(shè)計(jì)時(shí)隱藏層之間的神經(jīng)元節(jié)點(diǎn)有連接，并且隱藏層的輸入包括輸入層的輸入和其自身上一時(shí)刻的輸出，網(wǎng)絡(luò)結(jié)構(gòu)示例圖如圖4所示。圖中，xt是t時(shí)刻的輸入，st是t時(shí)刻隱藏層的狀態(tài)，ot是t時(shí)刻的輸出，U、V、W為所有層共享權(quán)重系數(shù)。由于 RNN在訓(xùn)練時(shí)易出現(xiàn)梯度爆炸或消失，導(dǎo)致其在處理處理長(zhǎng)序列數(shù)據(jù)時(shí)效果表現(xiàn)較差，Hochreiter等人對(duì)RNN進(jìn)行改進(jìn)，提出長(zhǎng)短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)[24]，近幾年又被 Alex Graves等[25]進(jìn)行改進(jìn)，引入Attention機(jī)制等。相比于傳統(tǒng)RNN，LSTM主要是增加了門(mén)限控制，使得自循環(huán)的權(quán)重是變化的，因此累積的時(shí)間尺度可以動(dòng)態(tài)改變，有效避免了梯度消失或爆炸問(wèn)題。

圖4 RNN網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 4 RNN network structure

近年來(lái)，隨著LSTM在語(yǔ)音識(shí)別等領(lǐng)域取得巨大成功，再度成為各行各業(yè)研究熱點(diǎn)，在電力系統(tǒng)中主要被用于解決預(yù)測(cè)類問(wèn)題。例如，文獻(xiàn)[26]中提出將AE與LSTM結(jié)合用于光伏發(fā)電預(yù)測(cè)，實(shí)驗(yàn)結(jié)果證明了所提方法優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和其他物理預(yù)測(cè)模型；文獻(xiàn)[27]中基于 LSTM模型，綜合考慮風(fēng)電功率相關(guān)程度高的多個(gè)變量，構(gòu)建了風(fēng)電功率實(shí)時(shí)預(yù)測(cè)模型，較傳統(tǒng)方法擁有更高的預(yù)測(cè)精度。

1.5 深度強(qiáng)化學(xué)習(xí)

DRL是 DL與增強(qiáng)學(xué)習(xí)(reinforcement learning，RL)的結(jié)合，實(shí)現(xiàn)感知到動(dòng)作的一種端到端學(xué)習(xí)算法，最早是由DeepMind提出[28]。RL是一種試錯(cuò)學(xué)習(xí)算法，更加符合人類學(xué)習(xí)習(xí)慣，其原理如圖5所示。Agent通過(guò)與環(huán)境反復(fù)交互，最終學(xué)習(xí)到一種較優(yōu)的策略，以獲得最大回報(bào)。相比于傳統(tǒng)RL算法，DRL優(yōu)勢(shì)在于可以處理場(chǎng)景復(fù)雜的任務(wù)，DL用于自動(dòng)提取大規(guī)模輸入數(shù)據(jù)的抽象特征，RL則以此特征為依據(jù)進(jìn)行自我激勵(lì)，進(jìn)而優(yōu)化解決問(wèn)題的策略。

圖5 增強(qiáng)學(xué)習(xí)原理圖Fig. 5 RL principle

自 AlphaGo[29]問(wèn)世，DRL迅速成為研究熱點(diǎn)，目前，中國(guó)電科院王繼業(yè)等已經(jīng)開(kāi)展了基于DRL的電網(wǎng)仿真、調(diào)控云平臺(tái)研究[30]。廈門(mén)大學(xué)肖亮等[31]將 DRL應(yīng)用于微電網(wǎng)電能交易，以便自動(dòng)實(shí)現(xiàn)最優(yōu)電能交易方案，并申請(qǐng)了相關(guān)專利。

1.6 深度混合網(wǎng)絡(luò)

DHN是由降噪自動(dòng)編碼器[32]和高斯伯努利受限玻爾茲曼機(jī)[33]堆疊混合而成的神經(jīng)網(wǎng)絡(luò)，如圖6所示。底層使用降噪自動(dòng)編碼器，可以最小化出表現(xiàn)形式變化之外的其他損失，有效應(yīng)對(duì)噪聲的影響，擁有更優(yōu)的魯棒性；中間層使用GRBM，使用概率實(shí)數(shù)值作為輸入，可以更加有效的重構(gòu)和復(fù)現(xiàn)輸入信號(hào)中的有用信息，提高模型的分類準(zhǔn)確率。相比于SAE和DBN，DHN擁有更優(yōu)的特征提取能力和抗噪能力。

何子襄等[34]使用圖6所示的深度混合網(wǎng)絡(luò)進(jìn)行了變壓器故障診斷研究，將課題組積累的變壓器油色譜樣本作為輸入向量，變壓器的狀態(tài)編碼作為輸出。訓(xùn)練過(guò)程總共分為兩個(gè)步驟，首先使用無(wú)標(biāo)簽樣本進(jìn)行訓(xùn)練并得到相對(duì)較優(yōu)的初始化參數(shù)W和b，有效防止傳統(tǒng)神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)問(wèn)題；然后通過(guò)少量有標(biāo)簽樣本進(jìn)行微調(diào)，進(jìn)一步參數(shù)優(yōu)化，進(jìn)而提高診斷的準(zhǔn)確率。實(shí)例表明，與常見(jiàn)的基于BP和SVM等的變壓器故障診斷方法相比，該方法不僅可以充分使用大量的無(wú)標(biāo)簽樣本進(jìn)行訓(xùn)練，而且其識(shí)別準(zhǔn)確率亦有所提升，可以達(dá)到91%左右。

圖6 深度混合網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 6 DHN Structure

隨著深度學(xué)習(xí)的發(fā)展，各種深度學(xué)習(xí)混合模型相繼提出。文獻(xiàn)[35]中提出一種基于受限玻爾茲曼機(jī)與卷積神經(jīng)網(wǎng)絡(luò)混合模型遷移學(xué)習(xí)的圖像分類方法，并在Caltech101數(shù)據(jù)集上進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果證明該方法提高了分類準(zhǔn)確率。文獻(xiàn)[36]中提出一種將卷積神經(jīng)網(wǎng)絡(luò)和支持向量分類器相結(jié)合的模型結(jié)構(gòu)，并在短時(shí)交通流中進(jìn)行了預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明相比于傳統(tǒng)的預(yù)測(cè)模型方法，該模型有效提高了預(yù)測(cè)準(zhǔn)確率。

2 大數(shù)據(jù)智能分析及其在電力系統(tǒng)中的應(yīng)用研究

隨著電力系統(tǒng)朝著高度信息化和智能化方向的發(fā)展，在發(fā)電、輸電、變電、配電、用電和調(diào)度等各個(gè)環(huán)節(jié)產(chǎn)生了海量的生產(chǎn)、運(yùn)行、控制、交易、消費(fèi)等數(shù)據(jù)。電力系統(tǒng)中的數(shù)據(jù)已經(jīng)呈現(xiàn)出了體量大、類型多、變化快和價(jià)值密度低的大數(shù)據(jù)主要特征。隨著電力系統(tǒng)與天然氣、供冷、供暖、交通等能源系統(tǒng)的不斷融合，大能源系統(tǒng)內(nèi)產(chǎn)生的數(shù)據(jù)量將呈幾何級(jí)數(shù)上升[37]。

新一代人工智能主要是大數(shù)據(jù)基礎(chǔ)上的人工智能，是從傳統(tǒng)的人工知識(shí)表達(dá)轉(zhuǎn)向大數(shù)據(jù)驅(qū)動(dòng)的知識(shí)學(xué)習(xí)技術(shù)。然而，大數(shù)據(jù)具有體量大、增長(zhǎng)速度快、類型多等特點(diǎn)，諸多傳統(tǒng)人工智能方法都不能直接使用。大數(shù)據(jù)環(huán)境下的人工智能方法，需要從分布式機(jī)器學(xué)習(xí)和增量學(xué)習(xí)兩個(gè)方面著手解決。

2.1 分布式機(jī)器學(xué)習(xí)

大數(shù)據(jù)具有體量大的特征，而很多用于分析小數(shù)據(jù)的傳統(tǒng)人工智能方法是基于內(nèi)存。由于計(jì)算機(jī)內(nèi)存有限，無(wú)法同時(shí)裝載大量數(shù)據(jù)，對(duì)于機(jī)器學(xué)習(xí)模型的訓(xùn)練和應(yīng)用都存在挑戰(zhàn)。而分布式機(jī)器學(xué)習(xí)技術(shù)正是迎合了當(dāng)前的大數(shù)據(jù)分析的強(qiáng)烈應(yīng)用需求，通過(guò)分布式和并行化計(jì)算技術(shù)與機(jī)器學(xué)習(xí)技術(shù)相融合，來(lái)解決當(dāng)前的大數(shù)據(jù)機(jī)器學(xué)習(xí)的問(wèn)題。一方面，仍然需要持續(xù)關(guān)注機(jī)器學(xué)習(xí)中的方法和算法本身，即尋求新的更優(yōu)的學(xué)習(xí)模型和學(xué)習(xí)方法，以不斷提升分析結(jié)果的準(zhǔn)確性和魯棒性。與此同時(shí)，還要充分考慮數(shù)據(jù)體量帶來(lái)的計(jì)算時(shí)效性問(wèn)題。

圖7 模型并行與數(shù)據(jù)并行Fig. 7 Model parallelism and data parallelism

分布式機(jī)器學(xué)習(xí)在模型訓(xùn)練階段的并行化可分為模型并行和數(shù)據(jù)并行兩種方式，如圖1所示。在模型并行方式下，機(jī)器學(xué)習(xí)模型的不同部分由分布式系統(tǒng)中的不同計(jì)算單元(CPU或 GPU)負(fù)責(zé)。在數(shù)據(jù)并行方式下，不同的計(jì)算單元中都有一個(gè)完整的模型副本，但它們都僅有不同的一部分?jǐn)?shù)據(jù)，最終將所有計(jì)算單元的結(jié)果通過(guò)一定方法進(jìn)行合并。模型并行需要并行的部分滿足獨(dú)立不依賴的條件，而數(shù)據(jù)并行需要數(shù)據(jù)具有可分性，較為容易滿足，通常是大多數(shù)分布式系統(tǒng)的首選。另一方面，數(shù)據(jù)并行在實(shí)現(xiàn)難度、容錯(cuò)率和集群利用率方面都優(yōu)于模型并行。數(shù)據(jù)并行學(xué)習(xí)方式的關(guān)鍵點(diǎn)在于需要整合不同計(jì)算單元的結(jié)果，并且在計(jì)算單元之間如何同步模型參數(shù)。

近年來(lái)出現(xiàn)了很多針對(duì)包括深度學(xué)習(xí)在內(nèi)的人工智能算法進(jìn)行分布式或并行化改進(jìn)的成果[38-40]，雖取得了一定的成效，但對(duì)于像電力系統(tǒng)等各專業(yè)領(lǐng)域的業(yè)務(wù)人員來(lái)說(shuō)，構(gòu)建并實(shí)現(xiàn)一個(gè)高效的分布式學(xué)習(xí)算法絕非易事。因而，面向大數(shù)據(jù)機(jī)器學(xué)習(xí)，目前已出現(xiàn)了眾多易于應(yīng)用的分布式系統(tǒng)及其并行算法庫(kù)，例如基于MapReduce并行模型的Mahout[41]、Spark環(huán)境下的MLlib[42]、以及支持深度學(xué)習(xí)的TensorFlow[43]等。這些分布式機(jī)器學(xué)習(xí)系統(tǒng)或平臺(tái)都為目前電力系統(tǒng)中的人工智能應(yīng)用需求提供了基礎(chǔ)的方法或算法，也為將來(lái)構(gòu)建電力系統(tǒng)私有的分布式機(jī)器學(xué)習(xí)平臺(tái)提供了技術(shù)支撐和參考范式。目前已有借助于上述大數(shù)據(jù)平臺(tái)研究電力系統(tǒng)中的分布式機(jī)器學(xué)習(xí)應(yīng)用的成果，主要包括電力負(fù)荷預(yù)測(cè)[44-46]、電力設(shè)備的故障診斷[47-48]等方面。

針對(duì)高壓電力設(shè)備的大量局部放電分析問(wèn)題，王劉旺等[49]利用Hadoop MapReduce編程模型對(duì)局部放電信號(hào)的基本參數(shù)提取、譜圖構(gòu)造和特征計(jì)算以及基于 KNN的放電類型識(shí)別三階段進(jìn)行了高粒度并行化，顯著提高了批量放電信號(hào)的處理效率。由于Hadoop MapReduce在迭代過(guò)程中需要反復(fù)的磁盤(pán)操作，在特征構(gòu)造階段應(yīng)用復(fù)雜性較高的信號(hào)處理算法時(shí)將耗費(fèi)過(guò)多的運(yùn)行時(shí)間，故改用Spark平臺(tái)，顯著提高了運(yùn)算效率[50]。

2.2 增量學(xué)習(xí)

大數(shù)據(jù)機(jī)器學(xué)習(xí)的另一個(gè)挑戰(zhàn)來(lái)源于大數(shù)據(jù)產(chǎn)生速度快的特性，在逐漸完善的量測(cè)系統(tǒng)下，眾多用于在線監(jiān)測(cè)的傳感器在整體上以極快的速度采集數(shù)據(jù)，并且在重要場(chǎng)景中往往要求被實(shí)時(shí)處理。針對(duì)如此高速變化的大數(shù)據(jù)，傳統(tǒng)的批量學(xué)習(xí)方式已經(jīng)難以適應(yīng)。隨著數(shù)據(jù)的不斷更新，批量學(xué)習(xí)方式下重新訓(xùn)練模型對(duì)時(shí)間和空間的需求也會(huì)迅速增長(zhǎng)，最終會(huì)出現(xiàn)模型更新趕不上數(shù)據(jù)更新的窘境，增量學(xué)習(xí)方式為此提供了解決方案。增量學(xué)習(xí)是指在已建立模型的基礎(chǔ)上，根據(jù)新獲得的樣本更新當(dāng)前模型的參數(shù)與結(jié)構(gòu)，使之能夠利用新數(shù)據(jù)的信息，同時(shí)又盡力保持模型的原有信息，使得新模型仍能有效解決歷史問(wèn)題，而不需要對(duì)大量歷史數(shù)據(jù)進(jìn)行重新的完整訓(xùn)練。

隨著智能電網(wǎng)信息化程度的不斷提高，當(dāng)前電力系統(tǒng)的多個(gè)環(huán)節(jié)都面臨著大規(guī)模數(shù)據(jù)流快速分析的挑戰(zhàn)，如針對(duì)大范圍輸變電設(shè)備或發(fā)電設(shè)備的在線監(jiān)測(cè)、大規(guī)模智能電表的快速實(shí)時(shí)信息采集等。這些數(shù)據(jù)源源不斷產(chǎn)生，其速率和規(guī)模均難以預(yù)知，往往需要及時(shí)處理并反饋結(jié)果，呈現(xiàn)出實(shí)時(shí)性、易失性、突發(fā)性、無(wú)序性與無(wú)限性的流式大數(shù)據(jù)特性，對(duì)面向數(shù)據(jù)流的人工智能技術(shù)提出了需求。目前針對(duì)電力系統(tǒng)流式大數(shù)據(jù)的成果相對(duì)較少，大部分集中在簡(jiǎn)單的數(shù)據(jù)處理上[51-52]，針對(duì)智能電網(wǎng)流式大數(shù)據(jù)的機(jī)器學(xué)習(xí)方面的研究還很少見(jiàn)。針對(duì)大規(guī)模用電信息采集中用電數(shù)據(jù)流的快速聚類和異常檢測(cè)技術(shù)展開(kāi)研究。文獻(xiàn)[53]結(jié)合Spark Streaming流式計(jì)算平臺(tái)，基于用戶用電模式的相似性設(shè)計(jì)并實(shí)現(xiàn)了流式DBSCAN聚類算法，以應(yīng)對(duì)大規(guī)模用電數(shù)據(jù)流的快速異常檢測(cè)。

圖8 電力設(shè)備在線并行故障診斷拓?fù)銯ig. 8 Online parallel fault diagnosis topology of power equipment

針對(duì)大范圍輸變電設(shè)備的故障診斷問(wèn)題，王劉旺[54]提出了一種基于Storm實(shí)時(shí)處理技術(shù)和變量預(yù)測(cè)模型分類(VPMCD)的在線并行故障診斷方法。為了滿足在線診斷需求，將增量學(xué)習(xí)機(jī)制引入VPMCD中，采用遞推最小二乘法實(shí)現(xiàn)了變量預(yù)測(cè)模型(VPM)的增量更新?？紤]到大規(guī)模電力設(shè)備的在線故障診斷問(wèn)題，設(shè)計(jì)了基于 Storm的流式數(shù)據(jù)實(shí)時(shí)處理框架，如圖2所示，通過(guò)構(gòu)建 Storm拓?fù)浣M件的監(jiān)聽(tīng)機(jī)制實(shí)現(xiàn)了 VPM 在Storm上的初始化、增量學(xué)習(xí)與應(yīng)用分類。在這個(gè)實(shí)時(shí)處理框架中，增量式VPMCD方法可以根據(jù)應(yīng)用場(chǎng)景需求替換成其他更為有效的增量學(xué)習(xí)方法。

3 結(jié)論

隨著信息化和智能化水平的提升，電力系統(tǒng)累積了大量數(shù)據(jù)，驅(qū)動(dòng)了深度學(xué)習(xí)為代表的新一代人工智能方法在電力系統(tǒng)中的應(yīng)用研究。

1）介紹了深度學(xué)習(xí)基本網(wǎng)絡(luò)模型及常見(jiàn)混合模型結(jié)構(gòu)、原理，分析了各網(wǎng)絡(luò)模型特點(diǎn)及適用場(chǎng)景，重點(diǎn)總結(jié)了其在電力系統(tǒng)中應(yīng)用研究情況。

2）針對(duì)大數(shù)據(jù)驅(qū)動(dòng)下新一代人工智能方法在電力系統(tǒng)應(yīng)用中面臨的數(shù)據(jù)體量大、增長(zhǎng)速度快、實(shí)時(shí)性要求高等問(wèn)題，結(jié)合本人課題組相關(guān)工作，充分考慮計(jì)算資源限制、數(shù)據(jù)計(jì)算速率、模型實(shí)時(shí)更新等問(wèn)題，給出了基于分布式機(jī)器學(xué)習(xí)和增量學(xué)習(xí)的解決方法。

隨著人工智能理論研究的深入和大數(shù)據(jù)分析研究的推進(jìn)，人工智能在電力系統(tǒng)中的應(yīng)用研究將掀起新的高潮，在研究單位和電力企業(yè)的緊密合作的前提下很多研究成果將接近實(shí)用化水平，為電力系統(tǒng)的安全、經(jīng)濟(jì)、高自動(dòng)化和高智能化做出重要貢獻(xiàn)。

[1] LeCun Y，Bengio Y，Hinton G．Deep learning[J]．Nature，2015，521(7553)：436．

[2] Serre T，Kreiman G，Kouh M，et al．A quantitative theory of immediate visual recognition[J]．Progress in Brain Research，2007，165：33-56．

[3] Hinton G E，Osindero S，Teh Y W．A fast learning algorithm for deep belief nets[J]．Neural Computation，2006，18(7)：1527-1554．

[4] Hinton G E，Salakhutdinov R R．Reducing the dimensionality of data with neural networks[J]．Science，2006，313(5786)：504-507．

[5] LeCun Y，Boser B，Denker J S，et al．Backpropagation applied to handwritten zip code recognition[J]．Neural computation，1989，1(4)：541-551．

[6] Graves A，Mohamed A R，Hinton G．Speech recognition with deep recurrent neural networks[C]//IEEE International Conference on Acoustics，Speech and Signal Processing．Vancouver，Canada，2013：6645-6649．

[7] Sutskever I，Vinyals O，Le Q V．Sequence to sequence learning with neural networks[J]．2014(4)：3104-3112．

[8] Graves A. Generating sequences with recurrent neural networks[J]. arXiv preprint arXiv：1308.0850, 2013.

[9] 石鑫，朱永利，薩初日拉，等．基于深度信念網(wǎng)絡(luò)的電力變壓器故障分類建模[J]．電力系統(tǒng)保護(hù)與控制，2016，44(1)：71-76．

[10] 代杰杰，宋輝，楊祎，等．基于深度信念網(wǎng)絡(luò)的變壓器油中溶解氣體濃度預(yù)測(cè)方法[J]．電網(wǎng)技術(shù)，2017，41(8)：2737-2742．

[11] Wang H Z，Wang G B，Li G Q，et al．Deep belief network based deterministic and probabilistic wind speed forecasting approach[J]．Applied Energy，2016，182：80-93．

[12] Goodfellow I，Bengio Y，Courville A，et al．Deep learning[M]．Cambridge：MIT Press，2016：300-320．

[13] 石鑫，朱永利，寧曉光，等．基于深度自編碼網(wǎng)絡(luò)的電力變壓器故障診斷[J]．電力自動(dòng)化設(shè)備，2016，36(5)：122-126．

[14] 代杰杰，宋輝，楊祎，等．基于棧式降噪自編碼器的輸變電設(shè)備狀態(tài)數(shù)據(jù)清洗方法[J]．電力系統(tǒng)自動(dòng)化，2017，41(12)：224-230．

[15] 劉輝海，趙星宇，趙洪山，等．基于深度自編碼網(wǎng)絡(luò)模型的風(fēng)電機(jī)組齒輪箱故障檢測(cè)[J]．電工技術(shù)學(xué)報(bào)，2017，32(17)：156-163．

[16] Krizhevsky A，Sutskever I，Hinton G E．Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. Nevada，USA，2012：1097-1105．

[17] Simonyan K，Zisserman A．Very deep convolutional networks for large-scale image recognition[C]//International conference on learning representations.San Diego，USA，2014．

[18] Szegedy C，Liu W，Jia Y，et al．Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recogintion，Boston，USA，2015．

[19] Girshick R，Donahue J，Darrell T，et al．Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Columbus，USA，2014：580-587．

[20] Ren S，He K，Girshick R，et al．Faster r-cnn：Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems，Montreal，Canada，2015：91-99．

[21] 李軍鋒，王欽若，李敏．結(jié)合深度學(xué)習(xí)和隨機(jī)森林的電力設(shè)備圖像識(shí)別[J]．高電壓技術(shù)，2017(11)：3705-3711．

[22] 王萬(wàn)國(guó)，田兵，劉越，等．基于 RCNN的無(wú)人機(jī)巡檢圖像電力小部件識(shí)別研究[J]．地球信息科學(xué)學(xué)報(bào)，2017，19(2)：256-263．

[23] 魏東，龔慶武，來(lái)文青，等．基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路區(qū)內(nèi)外故障判斷及故障選相方法研究[J]．中國(guó)電機(jī)工程學(xué)報(bào)，2016，36(S1)：21-28．

[24] Hochreiter S，Schmidhuber J．Long short-term memory[J]．Neural Computation，1997，9(8)：1735-1780．

[25] Graves A，Jaitly N，Mohamed A R．Hybrid speech recognition with deep bidirectional LSTM[C]//Automatic Speech Recognition and Understanding．IEEE，Olomouc，Czech Republic，2014：273-278．

[26] Gensler A，Henze J，Sick B，et al．Deep learning for solar power forecasting—an approach using AutoEncoder and LSTM neural networks[C]//Systems，Man，and Cybernetics (SMC)，2016 IEEE International Conference．on IEEE，Budapest，Magyarország，2016：002858-002865．

[27] 朱喬木，李弘毅，王子琪，等．基于長(zhǎng)短期記憶網(wǎng)絡(luò)的風(fēng)電場(chǎng)發(fā)電功率超短期預(yù)測(cè)[J]．電網(wǎng)技術(shù)，2017(12)：3797-3802．

[28] Mnih V，Kavukcuoglu K，Silver D，et al．Playing atari with deep reinforcement learning[J]．a(chǎn)rXiv preprint arXiv：1312(5602)，2013．

[29] Silver D，Huang A，Maddison C J，et al．Mastering the game of Go with deep neural networks and tree search[J]．Nature，2016，529(7587)：484-489．

[30] 王繼業(yè)．人工智能在能源電力領(lǐng)域的探索[R]．北京：中國(guó)電科院，2017．

[31] 肖亮，戴燦煌，肖星宇，等．基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)電能交易方法：CN107067190A[P]．2017-08-18．

[32] Vincent P，Larochelle H，Bengio Y，et al．Extracting and composing robust features with denoising autoencoders[C]//International Conference on Machine Learning．ACM，Maryland，USA，2008：1096-1103．

[33] Cho K H，Raiko T，Ilin A．Gaussian-Bernoulli deep Boltzmann machine[C]//International Joint Conference on Neural Networks．IEEE，Beijing，China，2014：1-7．

[34] 何子襄. 深度混合網(wǎng)絡(luò)研究及其在變壓器故障診斷中的應(yīng)用[D]．保定：華北電力大學(xué)，2018．

[35] 石祥濱，房雪鍵，張德園，郭忠強(qiáng)．基于深度學(xué)習(xí)混合模型遷移學(xué)習(xí)的圖像分類[J]．系統(tǒng)仿真學(xué)報(bào)，2016，28(1)：167-173，182．

[36] 羅文慧，董寶田，王澤勝．基于CNN-SVR混合深度學(xué)習(xí)模型的短時(shí)交通流預(yù)測(cè)[J]．交通運(yùn)輸系統(tǒng)工程與信息，2017，17(5)：68-74．

[37] 趙俊華，董朝陽(yáng)，文福拴，等．面向能源系統(tǒng)的數(shù)據(jù)科學(xué)：理論、技術(shù)與展望[J]．電力系統(tǒng)自動(dòng)化，2017，41(4)：1-11．

[38] Hutchinson B，Deng L，Yu D．Tensor Deep Stacking Networks[J]．IEEE Transactions on Pattern Analysis &Machine Intelligence，2013，35(8)：1944-1957．

[39] Raina R，Madhavan A，Ng A Y．Large-scale deep unsupervised learning using graphics processors[C]//International Conference on Machine Learning．ACM，California，USA，2009：873-880．

[40] Dean J，Corrado G S，Monga R，et al．Large scale distributed deep networks[C]//International Conference on Neural Information Processing Systems．Curran Associates Inc．2012：1223-1231．

[41] Li M，Andersen D G，Park J W，et al．Scaling distributed machine learning with the parameter server[C]//In Proceedings of the 11th USENIX conference on Operating Systems Design and Implementation(OSDI'14)．USENIX Association，Berkeley，CA，USA，583-598．

[42] Meng X，Bradley J，Yavuz B，et al．MLlib：machine learning in apache spark[J]．Journal of Machine Learning Research，2015，17(1)：1235-1241．

[43] Abadi M，Barham P，Chen J，et al．TensorFlow：a system for large-scale machine learning[C]//In Proceedings of the 12th USENIX conference on Operating Systems Design and Implementation(OSDI'16)．USENIX Association，Berkeley，CA，USA，265-283．

[44] 王保義，趙碩，張少敏．基于云計(jì)算和極限學(xué)習(xí)機(jī)的分布式電力負(fù)荷預(yù)測(cè)算法[J]．電網(wǎng)技術(shù)，2014，38(2)：526-531．

[45] 王德文，孫志偉．電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測(cè)[J]．中國(guó)電機(jī)工程學(xué)報(bào)，2015，35(3)：527-537．

[46] 王保義，王冬陽(yáng)，張少敏．基于 Spark和 IPPSO_LSSVM的短期分布式電力負(fù)荷預(yù)測(cè)算法[J]．電力自動(dòng)化設(shè)備，2016，36(1)：117-122．

[47] 張少敏，毛冬，王保義．大數(shù)據(jù)處理技術(shù)在風(fēng)電機(jī)組齒輪箱故障診斷與預(yù)警中的應(yīng)用[J]．電力系統(tǒng)自動(dòng)化，2016，40(14)：129-134．

[48] 王德文，劉曉建．基于MapReduce的電力設(shè)備并行故障診斷方法[J]．電力自動(dòng)化設(shè)備，2014，34(10)：116-120．

[49] 王劉旺，朱永利，賈亞飛，等．局部放電大數(shù)據(jù)的并行PRPD分析與模式識(shí)別[J]．中國(guó)電機(jī)工程學(xué)報(bào)，2016，36(5)：1236-1244．

[50] 朱永利，王劉旺．并行EEMD算法及其在局部放電信號(hào)特征提取中的應(yīng)用[J/OL]．電工技術(shù)學(xué)報(bào)，http：//kns.cnki.net/kcms/detail/11.2188.TM.20171220.1103.003.html．

[51] 王德文，楊力平．智能電網(wǎng)大數(shù)據(jù)流式處理方法與狀態(tài)監(jiān)測(cè)異常檢測(cè)[J]．電力系統(tǒng)自動(dòng)化，2016，40(14)：122-128．

[52] 屈志堅(jiān)，王冬．面向智能調(diào)度監(jiān)測(cè)的流計(jì)算并行滑動(dòng)窗口技術(shù)[J]．電網(wǎng)技術(shù)，2016，40(7)：2219-2226．

[53] 王桂蘭，周國(guó)亮，趙洪山，等．大規(guī)模用電數(shù)據(jù)流的快速聚類和異常檢測(cè)技術(shù)[J]．電力系統(tǒng)自動(dòng)化，2016，40(24)：27-33．

[54] 王劉旺．基于云計(jì)算的電力設(shè)備監(jiān)測(cè)數(shù)據(jù)的集中并行處理與診斷[D]．北京：華北電力大學(xué)，2017．