深度學習在電力領域的研究現(xiàn)狀與展望

曹渝昆, 何健偉, 鮑自安

(1.上海電力學院 計算機科學與技術學院, 上海 200090;2.華能湖南清潔能源分公司 蘇寶頂風電場, 湖南 洪江 418199)

深度學習在電力領域的研究現(xiàn)狀與展望

曹渝昆1, 何健偉1, 鮑自安2

(1.上海電力學院 計算機科學與技術學院, 上海 200090;2.華能湖南清潔能源分公司 蘇寶頂風電場, 湖南 洪江 418199)

深度學習技術,近年來已經(jīng)廣受學術界和工業(yè)界的關注,已在圖像處理及分類,自然語言處理和生物醫(yī)療領域中取得卓越成果.對于存在大量高維度數(shù)據(jù)的電力領域,引入深度學習的理論具有一定的意義.介紹了深度學習的幾個經(jīng)典模型結(jié)構、工作原理,以及相關領域的部分研究成果,并圍繞深度學習在電力領域中的研究現(xiàn)狀展開了論述,指出了存在的不足和未來研究的方向.

深度學習; 人工智能; 電力

神經(jīng)網(wǎng)絡從出現(xiàn)到現(xiàn)在,共出現(xiàn)過3次興起的浪潮.最近的一次就在2006年,以HINTON G等人[1]命名的一種深度信念網(wǎng)絡的深度神經(jīng)網(wǎng)絡,可以使用逐層貪婪訓練(Greedy Layer-wise Training)的策略去訓練,解決了深度神經(jīng)網(wǎng)絡在傳統(tǒng)的隨機初始化權值方法上出現(xiàn)的梯度彌散問題.

時隔10年,2016年谷歌的“AlphaGo”以3∶1戰(zhàn)勝人類圍棋高手李世石,其核心算法正是深度學習.從此之后,“深度學習”這一計算機領域的專業(yè)名詞,已變得家喻戶曉.其實在此之前,深度學習就已經(jīng)廣受學術界和工業(yè)界的青睞,在許多傳統(tǒng)的識別任務上取得很高的正確率.

在圖像處理及分類方面,最為著名的是2012年KRIZHEVSKY A等人[2]利用GPU(圖形處理器)實現(xiàn)了一個深度神經(jīng)網(wǎng)絡,在 ImageNet比賽中取得了創(chuàng)紀錄的結(jié)果,在大規(guī)模圖像分類任務上Top 5(一次同時預測5個結(jié)果,其中一個符合就算預測正確)分類精度達到了84.7%,比第二名使用的Fisher向量編碼算法要高大約10個百分點.此外,深度學習也逐漸在醫(yī)學和生物認知領域得到重視,并在醫(yī)學圖像的病變分類、分割、識別等方面取得了一定的研究成果.2015 年,新加坡GAO X等人[3]結(jié)合使用卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)和循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Networks,RNN),基于眼部檢查圖像對核性白內(nèi)障嚴重程度進行分級,深度學習方法打破了該領域之前的記錄.在自然語言處理方面,第一個在自然語言處理(Natural Language Processing,NLP)任務中取得較好性能的是COLLOBERT R等人[4]開發(fā)的SENNA,其在POS Tagging(詞性標注),Chunking(斷句),Named entity recognition(命名實體識別),Semantic role labeling(詞義角色標注)等4個典型自然語言處理問題上取得的性能都與當時最好的系統(tǒng)相當.

在電力行業(yè),關于深度學習的研究與應用已經(jīng)初現(xiàn)端倪.本文在概述深度學習的主要思想方法和經(jīng)典模型的基礎上,介紹深度學習在電力行業(yè)的一些研究現(xiàn)狀以及應用例子,并綜合以上的內(nèi)容提出深度學習在電力行業(yè)中的一些研究展望.

1 深度學習的主要思想及網(wǎng)絡模型

深度學習本質(zhì)上就是具有多層隱藏層的神經(jīng)網(wǎng)絡,是一種特定類型的機器學習,通過將世界表示為由較簡單概念定義復雜概念,從一般抽象到高級抽象的嵌套概念體系以獲得極大的能力和靈活性,優(yōu)點就是免除了人工選取特征的繁瑣過程以及高維數(shù)據(jù)所具有的“維度災難”.深度神經(jīng)網(wǎng)絡一般分為3類,如圖1所示.

圖1 深度學習的一般分類

下面將逐一簡單介紹幾個比較經(jīng)典的深度學習網(wǎng)絡模型.

1.1 深度信念網(wǎng)絡

常見的深度信念網(wǎng)絡(Deep Belief Networks,DBN),是由多個受限玻爾茲曼機(Restricted Boltzmann Machines,RBM)堆疊而成的.與傳統(tǒng)的人工神經(jīng)網(wǎng)絡不同,DBN的訓練主要分為預訓練和全局微調(diào)兩部分.預訓練階段,通過以最小化RBM網(wǎng)絡能量為目標去預訓練網(wǎng)絡,且只使用了輸入數(shù)據(jù),并沒有使用數(shù)據(jù)對應的標簽,屬于無監(jiān)督學習;而全局微調(diào)階段,結(jié)合帶標簽數(shù)據(jù),利用反向傳播(Back Propagation,BP)算法對網(wǎng)絡進行全局微調(diào).無監(jiān)督的預訓練會使得網(wǎng)絡得到比隨機初始化更好的結(jié)果[5].DBN常用于數(shù)據(jù)分類任務.

1.2 堆棧自動編碼器

堆棧自動編碼器(Stack Auto-Encoder,SAE),與DBN結(jié)構相仿,不同的是組成的子單元是多個自動編碼器.自動編碼器的結(jié)構如圖2所示.

圖2 單層自動編碼器模型

自編碼器的結(jié)構可視為3層的神經(jīng)網(wǎng)絡結(jié)構,即輸入層、隱藏層、輸出層,其中輸入層和輸出層的神經(jīng)元的個數(shù)相同.通常會在自動編碼器的基礎上加上一些約束,比如,隱層神經(jīng)元數(shù)量應小于輸入層的神經(jīng)元數(shù)量;或者在隱層神經(jīng)元數(shù)量大于輸入層神經(jīng)元數(shù)量的時候加入稀疏性限制,保證隱層神經(jīng)元在大多數(shù)情況下處于被抑制的狀態(tài).

1.3 卷積神經(jīng)網(wǎng)絡

作為深度學習中最常用的網(wǎng)絡模型,CNN被廣泛用于圖像處理以及分類識別方面的各大國際比賽中,這歸功于其特殊的網(wǎng)絡設計.CNN由卷積層和次采樣層交叉堆疊而成.前向計算時,利用多個卷積核對輸入的數(shù)據(jù)進行卷積運算,生成多個特征圖,特征圖的維度對比輸入維度已有所下降,再通過次采樣層進一步降維.經(jīng)過多次的卷積和次采樣層后,再經(jīng)過全連接層到達網(wǎng)絡輸出.

圖3是香港中文大學的SUN Y[6]開發(fā)的學習人臉特征的CNN圖,該CNN的網(wǎng)絡名為DeepID,用于圖像分類.由圖3可以看到,在全連接層的后面緊接多元分類層,在人臉驗證試驗中該方法的正確率為97.45%,原作者進一步改進了CNN,最終得到了99.15%的正確率.

圖3 DeepID網(wǎng)絡結(jié)構

1.4 循環(huán)神經(jīng)網(wǎng)絡

循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Networks,RNN)已經(jīng)在眾多NLP中取得了巨大成功并得到廣泛應用.與SAE,DBN,CNN不同,RNN專門用于序列數(shù)據(jù),其結(jié)構如圖4所示.與傳統(tǒng)的神經(jīng)網(wǎng)絡模型不同,RNN的每層隱藏層神經(jīng)元之間都存在連接關系.該結(jié)構的具體作用表現(xiàn)為網(wǎng)絡會對前面的信息進行記憶并應用于當前的輸出,因此特別適合于序列類型數(shù)據(jù).此外,RNN和CNN結(jié)合使用,可以處理樣本之間的相關性問題.

圖4 RNN網(wǎng)絡結(jié)構

2 深度學習在電力行業(yè)的研究現(xiàn)狀

雖然深度學習已經(jīng)在圖像識別以及自然語言處理等方面取得重大突破,但其在電力行業(yè)的研究與應用還處于萌芽階段.近年來,相關的研究雖然不多,但也存在一些成功的例子.研究的重點主要在電力設備的故障診斷、新能源發(fā)電機的出力預測與缺陷檢測、電網(wǎng)的維修以及改造領域.

2.1 電力設備的故障診斷

電力設備種類繁瑣,其中不乏一些結(jié)構復雜且至關重要的設備,如發(fā)電機、變壓器等.一般的電力設備故障診斷手段采用合適的智能算法,通過采集設備的相關特征量作為訓練集合,然后輸入到合適的算法模型中,經(jīng)過訓練后,得出最終的判斷模型,用于檢測.智能算法包括支持向量機、BP神經(jīng)網(wǎng)路、決策樹以及一些經(jīng)過輔助算法優(yōu)化后的神經(jīng)網(wǎng)絡算法.而深度學習可以利用電力工業(yè)中大量無標簽的數(shù)據(jù),對深度神經(jīng)網(wǎng)絡進行更好的權值初始化.

石鑫等人[7]結(jié)合電力變壓器在線監(jiān)測油中溶解氣體分析數(shù)據(jù),提出了基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法,實驗表明,該方法與基于BP神經(jīng)網(wǎng)絡和支持向量機(Support Vector Machine,SVM)的故障診斷方法相比,正確率更高;石鑫等人[8]基于DBN構建了深度信念網(wǎng)絡的分類模型,并利用Iris(鳶尾花卉數(shù)據(jù)集)等經(jīng)典數(shù)據(jù)集對分類性能進行測試,以此為基礎,結(jié)合變壓器的溶解氣體分析(Pissolved Gas Analysis,DGA)數(shù)據(jù),提出了基于DBN的變壓器故障分類新方法.測試結(jié)果顯示,該方法適用于變壓故障分類,具有較強的從樣本中提取特征的能力和容錯特性,且性能優(yōu)于BP神經(jīng)網(wǎng)絡和支持向量機.

TAMILSELVAN P等人[9]基于DBN建立了一個設備健康狀態(tài)估計的模型,并通過飛機發(fā)動機和電力變壓器的故障診斷兩個工程實例,對比支持向量機、二值神經(jīng)網(wǎng)絡、自組織映射網(wǎng)絡等算法,DBN的分類正確率最高.林錦波[10]結(jié)合聚類融合和深度學習算法的稀疏自編碼器對6 500家工業(yè)用戶用電負荷進行電負荷的模式識別,對比BP神經(jīng)網(wǎng)絡、隨機森林算法和支持向量機,該方法的測試集準確率和預測集準確率均為最高.

圖5為一個電力變壓器的故障診斷系統(tǒng),利用無標簽數(shù)據(jù)對網(wǎng)絡進行逐層貪婪無監(jiān)督預訓練,再利用少量的帶標簽數(shù)據(jù),結(jié)合BP算法進行網(wǎng)絡權值的微調(diào),最后輸入測試集以測試模型的精確率.SAE和DBN模型均可以進行無監(jiān)督的預訓練,而兩者進行無監(jiān)督預訓練的訓練策略有所不同,DBN是以最小化RBM的網(wǎng)絡能量作為訓練目標,而SAE則是以最小化重構誤差為目標.

圖5 電力變壓器故障診斷系統(tǒng)

2.2 電力行業(yè)的圖像處理

深度學習最初廣泛應用于圖像的識別處理以及分類,電力行業(yè)也有不少任務需要其強大的圖像處理的能力.

王憲保等人[11]提出一種基于深度學習的太陽能電池片表面缺陷檢測方法,該方法首先根據(jù)樣本特征建立DBN,并訓練獲取網(wǎng)絡的初始權值;然后通過BP算法微調(diào)網(wǎng)絡參數(shù),取得訓練樣本到無缺陷模板之間的映射關系;最后利用重構圖像與缺陷圖像之間的對比關系,實現(xiàn)測試樣本的缺陷檢測.該文提出的方法及模型在較低像素級別的圖像處理下,平均每幅圖像的檢測時間為0.151 s,速度較快,但仍存在不足,該方法面對百萬像素級別圖片時,對網(wǎng)絡的訓練將造成挑戰(zhàn).

ZHAO Z等人[12]提出一個基于深度分類神經(jīng)網(wǎng)絡(Deep Classify Neural Network,DCNN)的絕緣子狀態(tài)判別方法,利用了文獻[13]中基于中層特征構建紅外圖像中絕緣子定位的方法,并采用了AlexNet的模型.實驗結(jié)果顯示,平均故障分類準確率由91.83%提升至98.71%,測試結(jié)果遠超BoF(Bag of Feature)等人工提取特征.

劉志浩等人[14]基于文獻[15]提出了一種基于回歸的深度學習目標檢測算法,針對河南省10 kV的電力線路電線桿的圖像數(shù)據(jù)集進行電線桿的定位以及分類,構建對應的卷積神經(jīng)網(wǎng)絡進行訓練并測試,最終獲得98.77%最高定位準確率及59%的電線桿分類檢測準確率.其分類檢測率雖不如定位準確率高,但也基本能滿足電線桿勘察的實際需求,提高了農(nóng)網(wǎng)改造的工作效率.

2.3 風電的負荷預測

風電,作為國家大力扶持的新能源之一,其出力的不穩(wěn)定,一直給穩(wěn)定性要求極高的電網(wǎng)并網(wǎng)帶來一定的影響.我國對風電功率的預測研究仍處于初步研究階段.國內(nèi)的研究對未來48 h的行風速和功率預測的研究誤差為風電場總裝機容量的18%～25%左右,可見風電的短期功率預測在預測精度以及方法上還有提升的空間.

潘志剛[16]通過DBN深度學習模型對數(shù)值天氣預測(Numerical Weather Prediction,NWP)數(shù)據(jù)進行校正,把校正后的數(shù)據(jù)結(jié)合風場記錄的歷史風速風向及出力數(shù)據(jù),建立基于DBN的風力功率預測模型,圖6為該模型的預測流程.實驗結(jié)果表明,單一模型下,DBN模型比SVM模型和自回歸移動平均(Auto Regressive Integrated Moving Average,ARIMA)模型效果要好;而在混合模型中,DBN和ARIMA模型的預測模型效果最好.

SOGABE T[17]等人建立了一個基于深度學習的RNN-LSTM模型,通過對20萬條(每條記錄采集間隔5 min)一維的基于時間序列的單人家戶用電量的數(shù)據(jù)處理與訓練,得到了較好的用電量預測結(jié)果.文獻[18]基于標準的LSTM(Long Short Term Memory)模型和LSTM-S2S模型進行電力負荷預測;文獻[19]采用兩種不同的深度神經(jīng)網(wǎng)絡,對需求側(cè)的短期負荷預測進行建模,其中一種是包含RBM的預訓練,另一種是以受限線性單元(Rectified Linear Unit,ReLU)函數(shù)為激活函數(shù)的不含預訓練的神經(jīng)網(wǎng)絡,并對比淺層神經(jīng)網(wǎng)絡,ARIMA,雙季三次指數(shù)平滑法(Double Seasonal Holt-Winter,DSHW)等3種傳統(tǒng)的負荷預測方法,其中含無監(jiān)督預訓練的DBN模型獲取到最好成績.文獻[20]通過結(jié)合啟發(fā)式的模糊算法和深度學習算法,利用GPU對大規(guī)模的時間序列預測進行研究,并利用普通家庭用電量作為數(shù)據(jù)集對模型進行訓練并評估,取得較好的預測結(jié)果和更快的訓練速度.

圖6 基于DBN的風電功率預測流程

3 結(jié) 語

在我國大力發(fā)展新能源的背景下,深度學習可以結(jié)合自身特征提取以及模型擬合方面的優(yōu)勢,針對時下抑制新能源發(fā)展的問題,如風力發(fā)電中棄風率高、調(diào)峰能力不足、新能源汽車充電樁地點設置分布等問題,做出一個科學的決策方案.

另外,還可以利用深度學習在機器學習及人工智能方面的優(yōu)點,結(jié)合電網(wǎng)中龐大的用戶數(shù)據(jù),分析用戶的用電行為,從而針對特殊用戶制定出對應的用電鼓勵政策,提高電網(wǎng)的收益,減少調(diào)峰的壓力;通過分析用戶的數(shù)據(jù),鑒別出部分竊電的用戶并作出相應處理,提高電網(wǎng)的收益.

[1] HINTON G,SALAKHUTDINOV R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(7):504-507.

[2] KRIZHENVSKY A,SUTSKEVER I,HINTON G.ImageNet classification with deep convolutional neural networks[C]//Advances in neural information processing systems.2012:1 097-1 105.

[3] GAO X,LIN S,WONG T.Automatic feature learning to grade nuclear cataracts based on deep learning[J].IEEE Transactions on Biomedical Engineering,2015,62(11):2 693-2 701.

[4] COLLOBERT R,WESTON J,BOTTOU L,etal.Natural language processing (almost) from scratch[J].Journal of Machine Learning Research,2011,12(1):2 493-2 537.

[5] ERHAN D,BENGIO Y,COURVILLE A,etal.Why does unsupervised pre-training help deep learning?[J].Journal of Machine Learning Research,2010,11(3):625-660.

[6] SUN Y,WANG X,TANG X.Deep learning face representation from predicting 10,000 classes[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2014:1 891-1 898.

[7] 石鑫,朱永利,寧曉光,等.基于深度自編碼網(wǎng)絡的電力變壓器故障診斷[J].電力自動化設備,2016,36(5):122-126.

[8] 石鑫,朱永利,王劉旺,等.基于深度信念網(wǎng)絡的電力變壓器故障分類建模[J].電力系統(tǒng)保護與控制,2016(1):71-76.

[9] TAMILSELVAN P,WANG P.Failure diagnosis using deep belief learning based health state classification[J].Reliability Engineering & System Safety,2013,115(7):124-135.

[10] 林錦波.聚類融合與深度學習在用電負荷模式識別的應用研究[D].廣州:華南理工大學,2014.

[11] 王憲保,李潔,姚明海,等.基于深度學習的太陽能電池片表面缺陷檢測方法[J].模式識別與人工智能,2014,27(6):517-523.

[12] ZHAO Z,XU G,QI Y,etal.Multi-patch deep features for power line insulator status classification from aerial images[C]//International Joint Conference on Neural Networks.IEEE,2016:3 187-3 194.

[13] ZHAO Z,LIU N,WANG L.Localization of multiple insulators by orientation angle detection and binary shape prior knowledge[J].IEEE Transactions on Dielectrics and Electrical Insulation,2015,22(6):3 421-3 428.

[14] 劉志浩,馮柳平,曹曉鶴.基于深度學習的電線桿檢測方法[J].北京印刷學院學報,2016,(6):44-47.

[15] REDMON J,DIVVALA S,GIRSHICK R,etal.You only look once:unified,real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016:779-788.

[16] 潘志剛.基于深度學習網(wǎng)絡的風電場功率預測研究及應用[D].上海:上海電機學院,2016.

[17] SOGABE T,ICHIKAWA H,SAKAMOTO K,etal.Optimization of decentralized renewable energy system by weather forecasting and deep machine learning techniques[C]//Innovative Smart Grid Technologies-Asia (ISGT-Asia).IEEE,2016:1 014-1 018.

[18] MARINO D L,AMARASINGHE K,MANIC M.Building energy load forecasting using deep neural networks[C]//Industrial Electronics Society.IECON 2016-42nd Annual Conference of the IEEE.IEEE,2016:7 046-7 051.

[19] RYU S,NOH J,KIM H.Deep neural network based demand side short term load forecasting[J].Energies,2016,10(1):3.

[20] COELHO V N,COELHO I M,RIOS E,etal.A hybrid deep learning forecasting model using gpu disaggregated function evaluations applied for household electricity demand forecasting[J].Energy Procedia,2016,103:280-285.

(編輯 桂金星)

StatusQuoandProspectofDeepLearninginElectricPowerField

CAOYukun1,HEJianwei1,BAOZi’an2

(1.SchoolofComputerScienceandTechnology,ShanghaiUniversityofElectricPower,Shanghai200090,China;2.SubaodingWindFarm,HuaNengHunanClearEnergyCo.,Ltd.,Hongjiang418199,China)

Deep Learning has received considerable attention from academia and industry and has got great result in Imagine Processing,Natural Language Processing and Medical Biology.It is significant to use DL in electric power field,which involves high dimension data.The several typical models in DL are described and some background knowledge about DL is introduced.Also,the main research and application in electric field are summarized.Finally,the some existing problems of DL in electric power filed are expounded,and some prospects of future work are presented.

deep learning; artificial intelligence; electric power

10.3969/j.issn.1006-4729.2017.04.007

2017-03-09

何健偉(1992-),男,在讀碩士,廣東江門人.主要研究方向為機器學習,智能算法,電網(wǎng)大數(shù)據(jù)處理技術.E-mail:homaymay123@126.com.

TP273.22;TP18;TM711.2

A

1006-4729(2017)04-0341-05