基于大數(shù)據(jù)的電力系統(tǒng)信息質量評估方法研究

國網(wǎng)湖南省電力有限公司檢修公司 王麗蓉 章建軍 伍藝佳 易汝軒

隨著電力系統(tǒng)規(guī)模擴大，量測技術提升，電力數(shù)據(jù)迅速增長，我國電力工業(yè)領域記錄數(shù)據(jù)達到PB級。電力大數(shù)據(jù)成為大數(shù)據(jù)典型代表，需提取有價值數(shù)據(jù)快速分析。電力公司積累大量電力系統(tǒng)數(shù)據(jù)，涵蓋生產(chǎn)管理等方面，由于數(shù)據(jù)分散性，從中挖掘價值難度大。電力大數(shù)據(jù)質量直接影響電力系統(tǒng)信息化水平，不斷增長的數(shù)據(jù)規(guī)模要求電力企業(yè)進行技術變革，電力大數(shù)據(jù)質量問題已有一些研究，但高層次電力數(shù)據(jù)質量管理方面目前缺乏完整評估體系。

1 電力系統(tǒng)數(shù)據(jù)質量

近年來基于元數(shù)據(jù)質量評價層出不窮，各類研究為了解數(shù)據(jù)質量帶來啟示。目前數(shù)據(jù)質量定義不統(tǒng)一，大數(shù)據(jù)時代確保向電力系統(tǒng)提供高質量數(shù)據(jù)是減少投入的有效途徑[1]。通過數(shù)據(jù)質量評價有助于了解數(shù)據(jù)質量方面的能力，為后續(xù)采取相應處理方法提供科學依據(jù)。開展電力大數(shù)據(jù)質評研究，構建電力數(shù)據(jù)質評體系，為智能電網(wǎng)處理奠定基礎。

圖1 電力數(shù)據(jù)流走向

ISO/IEC 25012將數(shù)據(jù)質量特性從固有系統(tǒng)描述，依賴系統(tǒng)是系統(tǒng)在特定場景下賦予數(shù)據(jù)質量特性。數(shù)據(jù)質量評價指標包括準確性與完整性等，數(shù)據(jù)質量從內涵分為一般與統(tǒng)計數(shù)據(jù)質量。電力系統(tǒng)硬件設施由電源等環(huán)節(jié)構成[2]，目前形成涵蓋發(fā)輸變配用調等環(huán)節(jié)負荷控制系統(tǒng)、檢測控制系統(tǒng)、風光功率預測系統(tǒng)等在內的智能自動化系統(tǒng)。以電力調度中心為例闡述系統(tǒng)存在數(shù)據(jù)質量問題，電力調度數(shù)據(jù)中心包括電力運行數(shù)據(jù)、生產(chǎn)管理數(shù)據(jù)等，電網(wǎng)運行數(shù)據(jù)約占90%，電力運行產(chǎn)生總負荷電力輸配電運行設備狀態(tài)檢測等數(shù)據(jù)。市場運營數(shù)據(jù)來自供電公司形成的電力市場網(wǎng)絡，用戶分為企業(yè)、工農業(yè)與家庭。供電公司是電力市場主體，遵循市場經(jīng)濟價值規(guī)律宏觀調控。市場運營數(shù)據(jù)來自電力負荷客戶端形成電力市場網(wǎng)絡，根據(jù)數(shù)據(jù)質量要求歸納電力系統(tǒng)數(shù)據(jù)質量影響因素包括電力市場運行與生產(chǎn)管理等。

2 大數(shù)據(jù)輔助處理平臺

信息科技為大數(shù)據(jù)時代提供技術支撐，大數(shù)據(jù)提出分為三個階段：自20世紀末到本世紀初為萌芽階段，開始關注日益增大的數(shù)據(jù)量；本世紀前十年為大數(shù)據(jù)發(fā)展第二階段，大數(shù)據(jù)形成計算與分布式系統(tǒng)核心技術；2010年后大數(shù)據(jù)大規(guī)模使用期，各種開源云架構平臺向各行業(yè)開放，企業(yè)可使用特定商業(yè)化平臺獲得更多服務，平臺商業(yè)化滿足不同用戶要求。

大數(shù)據(jù)具有典型數(shù)據(jù)量大、處理速度快等特征，大數(shù)據(jù)計算模式包括批處理計算、圖計算等，針對性解決特定問題，基于開源代碼衍生更易用的大數(shù)據(jù)產(chǎn)品。大數(shù)據(jù)平臺有Hadoop、Storm、Spark等，Hadoop平臺是由Apache軟件基金會提出的開源大數(shù)據(jù)分布式平臺，可部署在低廉價格計算機群中；分布式文件系統(tǒng)HDFS是Hadoop平臺主要內容，Hadoop平臺海量數(shù)據(jù)處理性能得到廣泛認可，得到主流企業(yè)技術支持[3]。目前Hadoop平臺已有兩代產(chǎn)品，Hadoop項目結構不斷發(fā)展，形成豐富的生態(tài)系統(tǒng)；Spark最初由加利福尼亞伯克利大學AMP實驗室開發(fā)，基于聶村計算機大數(shù)據(jù)進行計算框架，2013年火花加入Apache孵化器項目迅速發(fā)展，Spark2014年打破Hadoop保持基準排序記錄，用1/10的計算資源獲得快3倍的速度，其具有運行速度快、通用性、運行模式多樣等特點。

3 基于大數(shù)據(jù)平臺的電力數(shù)據(jù)處理

數(shù)據(jù)挖掘對象是大數(shù)據(jù)庫中數(shù)據(jù)集，GB數(shù)量級數(shù)據(jù)庫比較普遍，使得數(shù)據(jù)呈現(xiàn)大規(guī)模特性，模型搜索空間龐大，無異議模式搜索機率增大，數(shù)據(jù)挖掘人物是將有效用戶感興趣規(guī)則篩選，傳統(tǒng)技術集中于統(tǒng)計學領域，未關注對大規(guī)模數(shù)據(jù)的效率，需對數(shù)據(jù)挖掘算法進行研究改進，保證算法執(zhí)行效率。數(shù)據(jù)庫技術不斷發(fā)展，由于大量數(shù)據(jù)產(chǎn)生，待聚類數(shù)據(jù)巨大，在大容量硬盤中列出存儲，聚類效率很低。具有高性能大數(shù)據(jù)聚類算法研究非常必要。

研究人員研發(fā)許多算法，具體措施包括利用統(tǒng)計學采樣技術將硬盤大數(shù)據(jù)集以特定數(shù)據(jù)結構映射到內存中?；趧澐志垲惙椒ㄐ璐_定聚類數(shù)，逐漸使目標函數(shù)誤差值降低，劃分聚類代表算法有K-medoids等。層次聚類算法通過計算不同類數(shù)據(jù)點相似度創(chuàng)建層次嵌套聚類樹，代表算法有CRUE等。大規(guī)模原始數(shù)據(jù)集不能一次讀入內存完成聚類，可以有效減少數(shù)據(jù)內存空間占用。BIRCH聚類算法中數(shù)據(jù)集存儲在聚類特征樹中，聚類方式不考慮原始數(shù)據(jù)集，BIRCH算法對數(shù)據(jù)集掃描可得到較好的聚類結果。基于密度聚類法不同于基于距離算法，基于密度聚類法對密度單元計算復雜度大、對數(shù)據(jù)維度伸縮性較差。

大數(shù)據(jù)較傳統(tǒng)數(shù)據(jù)質評具有挑戰(zhàn)性，在數(shù)據(jù)種類等方面發(fā)生變化。數(shù)據(jù)對質量評估處理要求具有實時性，大數(shù)據(jù)質評影響數(shù)據(jù)清洗，需通過內存分析清洗數(shù)據(jù)。數(shù)據(jù)質評包括數(shù)據(jù)質量需求，評估豐富，數(shù)據(jù)質評需求是對系統(tǒng)數(shù)據(jù)約束，如交互型系統(tǒng)對實時性要求高，系統(tǒng)對數(shù)據(jù)長度有要求，評估規(guī)則規(guī)定精確位數(shù)，明確數(shù)據(jù)質量需求后續(xù)確定數(shù)據(jù)質評方法，完善數(shù)據(jù)質量量化后對產(chǎn)生結果分析及采取必要措施提高數(shù)據(jù)質量等。大數(shù)據(jù)質評可采用Hadoop分布式文件系統(tǒng)，基于MapReduce分布式計算技術解決大數(shù)據(jù)處理擴展性問題。大數(shù)據(jù)質量評估框架思想是利用Hadoop文件系統(tǒng)作為存儲架構實現(xiàn)PB級數(shù)據(jù)評估。

4 數(shù)據(jù)質量灰色熵權評估綜合模型

本文采用熵權法建立數(shù)據(jù)質量評價模型。以南網(wǎng)公司統(tǒng)計營銷數(shù)據(jù)為例說明電力系統(tǒng)存在數(shù)據(jù)問題，如很多數(shù)據(jù)存在漏項等問題，數(shù)據(jù)問題集中于電價代碼、計量資產(chǎn)等方面，包括系統(tǒng)運行時間長、信息變更不及時。本文結合電力系統(tǒng)存在數(shù)據(jù)質量問題建立電力數(shù)據(jù)系統(tǒng)數(shù)據(jù)質評指標體系，包括數(shù)據(jù)完整度、及時性等，將其分為目標層A、準則層B、指標層C。

為對數(shù)據(jù)集質量指標定量描述需采用指標評價算法，分類可使數(shù)據(jù)集形成參照，評價算法中出現(xiàn)參數(shù)以包含完整數(shù)據(jù)集為準，熵最早由Shannon引入信息論，某指標信息熵Ej小，指標信息熵Ej大在綜合評價中起到作用小。信息熵用于描述信源不確定度，指標j信息熵Ej小，提供信息量多。設n個類別構成n×m階評價矩陣G=(gij)nxm(i=1,2,3…,n;j=1,2,3…m)，指標數(shù)據(jù)標準化處理后得到H=(hij）nxm，定義第j個指標熵權為wj=1-Ej/m-∑Ej，∑wj=1,wj∈[0,1]。按模糊數(shù)學理論，采用5級制對被評價事物準確描述，數(shù)據(jù)質量評語集V={優(yōu)良，合格，偏差}，得到評價對象灰色判斷矩陣X=[x11 x12…xlp;x21 x22…x2p;xml xm2…xmp]。

灰色系統(tǒng)理論中發(fā)展灰色評價方法，核心環(huán)節(jié)是確定灰類等級數(shù)，給定灰類k白化權函數(shù)fk(k∈{1,2,3,4,5}，定義評價指標關于灰類k灰色評價系數(shù)σi=∑fk(xij)、權向量矩陣Y=[y11,y12 …y1k;y21,y22…y2k;yi1,yi2…yik]。改進MadReduce計算模型可用于對大數(shù)據(jù)快速處理，白化權函數(shù)可得到待評價數(shù)據(jù)質量等級劃分。以國網(wǎng)電力公司某城區(qū)采集數(shù)據(jù)為例仿真分析，采集區(qū)域2年內用電負荷對數(shù)據(jù)依據(jù)電力系統(tǒng)指標體系進行質評。利用MapReduce并行化K-means聚類算法實現(xiàn)大數(shù)據(jù)樣本采集處理，提出灰色系統(tǒng)理論判斷數(shù)據(jù)質量等級評估方法，兼顧指標體系完備性等要求，對大數(shù)據(jù)質評有助于構建電力數(shù)據(jù)質量管理體系，制定數(shù)據(jù)質量管理監(jiān)控機制。

當前針對電力系統(tǒng)數(shù)據(jù)質量研究不充分，本文對基于混合petri網(wǎng)電力CPS協(xié)同建模深入研究，基于電力大數(shù)據(jù)特征分析對數(shù)據(jù)質量影響的指標，借鑒統(tǒng)計學質評模型建立電力數(shù)據(jù)質評模型，對評估模型進行算理分析。把電力系統(tǒng)數(shù)據(jù)作為研究對象，從電力大數(shù)據(jù)特點總結出電力系統(tǒng)數(shù)據(jù)質評指標，保證指標科學性，提出K-means分類評估方法對數(shù)據(jù)質評問題求解，以國網(wǎng)電力公司采集數(shù)據(jù)為例驗證分類評估方法有效性，對數(shù)據(jù)質評研究具有參考意義。