數(shù)據挖掘技術在電網企業(yè)中的應用需求分析

顧敏奕，杜海舟

(1.同濟大學，上海 200092;2.上海電力學院，上海 200090)

隨著我國經濟的迅速發(fā)展，對電力能源的需求也在以超乎想象的速度增加，從而刺激了電網企業(yè)的迅速發(fā)展，使得電力系統(tǒng)向高容量、超高壓和跨區(qū)域方向發(fā)展.隨著電網企業(yè)規(guī)模的不斷擴大，海量數(shù)據得到存貯，如電網設備的狀態(tài)數(shù)據、使用壽命，以及各部分參數(shù)指標等數(shù)據;新增用戶、現(xiàn)有用戶、用戶位置、用戶用電量，以及國家的建設計劃等用戶數(shù)據.這種現(xiàn)象也導致了“數(shù)據豐富，信息缺乏”的現(xiàn)狀，獲得的數(shù)據在經過少量應用后就被堆積起來，沒有用于信息抽取，許多有價值的信息還沒被發(fā)掘，這給電網企業(yè)帶來一定損失.

如何利用數(shù)據挖掘技術將蘊藏在電網企業(yè)海量數(shù)據中有價值的信息挖掘出來，這是決定電網企業(yè)未來發(fā)展的關鍵.本文就數(shù)據挖掘技術在電網企業(yè)數(shù)據管理、信息采集等方面的應用進行分析.

1 數(shù)據挖掘

1.1 數(shù)據挖掘技術介紹

數(shù)據挖掘(Data Mining)又稱為數(shù)據庫中的知識發(fā)現(xiàn)(Knowledge Discovery in Database，KDD)［1］，它是指從大量的、不完全的、有噪音的、模糊的、隨機的數(shù)據中提取隱含在其中、事先不知道的，但又是可信的、潛在的、有價值的信息和知識的過程.數(shù)據挖掘是一門交叉學科，涵蓋了數(shù)據庫系統(tǒng)、數(shù)據倉庫、統(tǒng)計學、機器學習、數(shù)據可視化、信息檢索及高性能計算等［2］，它讓數(shù)據應用上升到了新的高度，是一種新興的數(shù)據處理技術，也是目前熱門的研究領域.

數(shù)據挖掘技術的出現(xiàn)意味著數(shù)據庫不再局限于實現(xiàn)數(shù)據錄入、查詢和統(tǒng)計等低層次的功能，而是可以通過對數(shù)據深層次分析，探尋數(shù)據模式及特征，揭示事物間的聯(lián)系，預測未來趨勢，為決策提供依據.

1.2 數(shù)據挖掘過程

數(shù)據挖掘主要由數(shù)據準備、數(shù)據挖掘，以及對挖掘結果的評估與表示3個階段組成.

(1)數(shù)據準備 從相關的數(shù)據源中選取所需的數(shù)據并整合成有利于進行數(shù)據挖掘的數(shù)據集.這一階段可細分為數(shù)據選擇、數(shù)據預處理和數(shù)據變化.許多專家認為，在整個數(shù)據挖掘的過程中，有80%的時間和精力是花費在數(shù)據預處理階段.由此可見，在進行數(shù)據分析前，有許多準備工作要完成.

(2)數(shù)據挖掘 用某種方法將數(shù)據集所暗含的規(guī)律找出來.這一階段包括確定數(shù)據挖掘目標、選擇算法、數(shù)據挖掘等.

(3)結果評估與表示 盡可能以用戶可理解的方式將找出的規(guī)律表示出來.數(shù)據挖掘得到的模式并不是真正的知識，而是需要對其進行解釋和評估后才能形成最終被用戶理解且能用于實際的知識.

其具體流程如圖1所示.

圖1 數(shù)據挖掘流程

1.3 數(shù)據挖掘方法分類

經過20年對數(shù)據挖掘技術的研究，國內外專家提出了不少算法，主要方法可以歸納如下.

(1)分類法 分類就是找出一個類別的內涵描述，用這種描述來構造模型的過程，可以用來預測未知信息，其常用的算法包括決策樹歸納、貝葉斯分類算法、神經網絡分類等.

(2)時序分析法 時序分析是指通過時間序列搜索出的重復發(fā)生概率較高的模式.它用已知的數(shù)據預測未來的趨勢、發(fā)生的周期或前后數(shù)據之間的遞進關系，其常用算法包括灰色模型GM(1，N)和Arima模型等.

(3)聚類分析法 聚類是把數(shù)據按照相似性歸納成若干類別，同一類中的數(shù)據彼此相似，不同類中的數(shù)據相異.聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據的分布模式，以及可能的數(shù)據屬性之間的相互關系等，其常用算法包括 K-均值算法、DBscan密度算法、EM最大期望算法等.

(4)關聯(lián)分析法 關聯(lián)是指兩個或多個變量的取值之間存在某種規(guī)律性.關聯(lián)分析的目的就是要找出數(shù)據間隱藏的關聯(lián)，其常用算法包括Apriori算法、基于劃分的算法、FP-樹頻集算法等.

(5)孤異點分析法 數(shù)據庫中經常存在一些不同于其他的數(shù)據對象，稱之為“孤異點”，在實際問題中孤異點可反映一些特殊異常情況，具有一定的現(xiàn)實意義，其常用算法包括索引的算法、嵌套-循環(huán)算法、基于單元(cell-based)的算法等.

2 數(shù)據挖掘在電網企業(yè)中的應用

2.1 數(shù)據挖掘在電網企業(yè)應用的必要性

電網企業(yè)數(shù)據自身存在的特點:一是由于電力生產傳輸變化迅速，所以電網設備在進行數(shù)據監(jiān)控時的數(shù)據采樣頻率很高，大部分電網設備平均每秒采樣一次［3］;二是電網企業(yè)是一個規(guī)模相當龐大的企業(yè)，電網企業(yè)產生的數(shù)據不僅多，而且維度高，數(shù)據列多，很難整理;三是在電力系統(tǒng)中，采集到的數(shù)據中包含著諸如噪音、數(shù)據缺失等不確定因素，導致數(shù)據質量差［4］;四是電力供應涉及千家萬戶，社會影響巨大，當設備處于緊急狀態(tài)時，必須制定實時在線快速決策，使設備重新回到正常狀態(tài).

電網企業(yè)產生的數(shù)據量大、質量不高，但又對數(shù)據要求較高，這就意味著電網企業(yè)迫切需要數(shù)據挖掘技術來處理海量數(shù)據，并發(fā)現(xiàn)數(shù)據間的潛在聯(lián)系.

但目前絕大多數(shù)電網企業(yè)的數(shù)據管理模式比較單一，不同部門的數(shù)據信息由各個部門自行處理，只進行簡單的參考或統(tǒng)計工作，沒有匯總到一起進行系統(tǒng)的、全面的分析挖掘，導致大量有價值的信息被埋沒.因此，電網企業(yè)迫切需要能夠充分合理地進行數(shù)據處理的數(shù)據挖掘平臺.

此外，在我國電網企業(yè)改革的大背景下，電網企業(yè)必須引入競爭機制來打破電力系統(tǒng)的壟斷格局［5］.為了能在未來的競爭中勝出，電網企業(yè)需要降低生產成本，為客戶提供個性化服務，及時預測未來可能發(fā)生的變化趨勢.而數(shù)據挖掘技術的應用將極大提高企業(yè)的核心競爭力.

2.2 數(shù)據挖掘在電網企業(yè)的應用方向

2.2.1 在電力調度決策支持中的應用

隨著電力系統(tǒng)的發(fā)展和電力體制改革的深化，為保證電網安全、優(yōu)質和經濟的運行，并為電力市場化運作提供技術支持，電力調度中心可能同時運行多個應用系統(tǒng)，每個系統(tǒng)中又可能同時包括多個應用.隨著系統(tǒng)運行時間的推移和電力市場等新系統(tǒng)的投入，這些系統(tǒng)所產生的數(shù)據量在不斷增長.同時，隨著全球經濟一體化的進程以及信息技術的發(fā)展，電力企業(yè)比以往任何時候都面臨著更為復雜的生存環(huán)境.基于傳統(tǒng)數(shù)據庫的數(shù)據管理系統(tǒng)，由于未進行存儲空間和檢索效率的優(yōu)化，未按主題進行集成和關聯(lián)，且未對大量原始數(shù)據進行足夠的歸納和綜合，已無法滿足企業(yè)對輔助決策的需要.因此，有必要采用數(shù)據挖掘技術建立電力調度數(shù)據倉庫，為管理層的電力調度策略制定提供決策支持［5］.

2.2.2 在電力生產決策支持中的應用

現(xiàn)代電力企業(yè)的發(fā)展對信息系統(tǒng)的要求越來越高，在過去的十幾年中，我國電力企業(yè)都建立了自己的管理信息系統(tǒng)(如計劃管理、負荷管理系統(tǒng)、生產MIS和GIS等)，但基本局限于業(yè)務處理層，管理者和決策者只能根據固定的、定時的報表系統(tǒng)獲得有限的業(yè)務信息，信息的準確性、實時性無法保證，無法適應管理尤其是決策的需要.

隨著數(shù)據挖掘和決策支持系統(tǒng)技術的不斷完善，可以通過建立電力生產智能分析及輔助決策系統(tǒng)，為管理決策者提供各種參考價值的生產安全運行方案.如將生產MIS和地理信息GIS系統(tǒng)中分散的大量數(shù)據，以及外部環(huán)境數(shù)據(氣象信息)等資源進行組合、聚類、排序、抽取等加工，提煉升華為有價值的、支持決策的電力生產智能大廈.可以通過變電站、線路、設備、高壓用戶、氣象等不同角度來分析關鍵業(yè)務和生產技術指標，掌握設備的運行狀態(tài)和特性，了解設備的缺陷［6］;對發(fā)生的事故、故障及停電進行分析跟蹤，挖掘深層原因，從而控制電力生產的風險;指導基層保證設備完好率，支持和輔助基層做好設備更新技術，提高運行水平，降低事故發(fā)生率，提高供電可靠率和無故障運行時間;輔助支持負荷轉移決策、設備檢修或更新決策，讓業(yè)務專責、生產主管、企業(yè)決策者作出準確的判斷，使得電力企業(yè)取得最佳的社會效益和經濟效益.

2.2.3 在同業(yè)對標決策支持中的應用

同業(yè)對標管理，即標桿管理，是以優(yōu)秀企業(yè)或機構作為學習榜樣或者標桿，對照其經營業(yè)績或管理程序，找出本單位管理的差距所在，并參考標桿企業(yè)或機構的成功經驗，制定并實施改進措施，從而提高本單位經營管理水平的一種管理活動.標桿管理有助于我國企業(yè)縮短與西方發(fā)達國家企業(yè)的差距，提升綜合競爭力.

在電力改革發(fā)展的形勢下，國家電網公司開展同業(yè)對標工作有利于企業(yè)學習和借鑒國內外先進管理理念和方法，為持續(xù)提高管理水平提供實現(xiàn)方法，更好地服務地方經濟.國家電網已從安全生產、資產經營、電網運行、市場營銷、供電質量、設備管理、人力資源、信息系統(tǒng)和基建管理9類共79項指標在區(qū)域公司、省公司和地市供電企業(yè)之間進行了對標［7］，初步建立了對標指標體系.指標體系數(shù)據量龐大，信息復雜，利用數(shù)據挖掘技術對數(shù)據進行處理和分析，可以充分發(fā)揮對標工作在電網企業(yè)中的作用.

2.2.4 在安全穩(wěn)定性評估中的應用

利用數(shù)據挖掘技術中的貝葉斯網絡算法，根據相應的規(guī)則對系統(tǒng)數(shù)據進行自動分析，判斷狀態(tài)的穩(wěn)定性概率.然后利用提取出來的安全評估知識，在系統(tǒng)正常運行時發(fā)現(xiàn)系統(tǒng)可能存在的隱患，以引起特別注意;還可利用可視化技術圖形化地進行穩(wěn)定性分析，給出提高系統(tǒng)安全穩(wěn)定性的相應決策.

2.2.5 在規(guī)劃設計中的應用

若要取得有效的系統(tǒng)規(guī)劃結果，在進行規(guī)劃設計時就必須考慮由于負荷模型不同而引起的系統(tǒng)多種結構及在每種結構下可能出現(xiàn)的故障，由此制定出保證系統(tǒng)安全穩(wěn)定運行的規(guī)劃策略，如確定相應的臨界運行參數(shù)和穩(wěn)定域、確定保護和控制裝置的參數(shù)等.在此過程中，數(shù)據的處理量巨大，數(shù)據挖掘正是一個利用各種分析工具在海量數(shù)據中發(fā)現(xiàn)模型和數(shù)據間關系的過程，這種模型和數(shù)據間的關系可被用來制定系統(tǒng)正常情況下的運行法則和發(fā)生故障時的應對策略.

2.2.6 在營銷部門中的應用

在電力營銷環(huán)節(jié)，針對“大營銷”體系建設，抓住用戶就意味著抓住市場.可以利用聚類分析法，根據不同客戶的不同特點分成不同的組別，決策人員通過分析各組間的差異來決定采取不同的營銷策略，以提高企業(yè)的經濟效益［8］.

電力市場化后，預測電價對于企業(yè)實現(xiàn)利益最大化有現(xiàn)實意義.可以通過時序分析法分析用電負荷需求、燃料價格、消費水平、物價指數(shù)等相關因素，在歷史數(shù)據中對相似特性的特征元素追蹤相應的電價，從而得到電價預測值［9］.

此外，數(shù)據挖掘技術還可以應用于指導項目管理、安全管理、資源管理、投資組合管理，以及活動分析、銷售預測、收入預測、需求預測、理賠分析等方面.

3 結語

目前，數(shù)據挖掘技術理論已趨成熟，已在許多行業(yè)取得了巨大成效，但在電網企業(yè)中的應用還屬初級階段.有些應用已實現(xiàn)，但挖掘方法還不完善，在分析決策時還需要考慮多方面的影響，有些應用仍處于構想中.因此，我們應結合電網企業(yè)的特點，開發(fā)適用的數(shù)據挖掘平臺，將理論付諸于實際應用，挖掘電力系統(tǒng)中有價值的數(shù)據，為電網企業(yè)創(chuàng)造更大的收益.

［1］BRAEHRNAN R，ALLAN T.The process of knowledge discovery in databases:a human centered approach［M］.AAAI Press.Calif.，1996:37-58.

［2］王光宏，蔣平.數(shù)據挖掘綜述［J］.同濟大學學報，2004，32(2):246-252.

［3］盧強.數(shù)字電力系統(tǒng)［J］.電力系統(tǒng)自動化，2000，24(9):1-4.

［4］于之虹，郭志忠.數(shù)據挖掘與電力系統(tǒng)［J］.電網技術，2001，25(8):58-62.

［5］張海勤，鄒翔，洪流，等.電力調度數(shù)據挖掘系統(tǒng)的設計與實現(xiàn)［J］.小型微型計算機系統(tǒng)，2003，24(1):64-67.

［6］陳超金.基于數(shù)據挖掘的電力設備狀態(tài)檢修技術研究綜述［J］.廣東電力，2009，22(9):21-24.

［7］毛新蕾.對于同業(yè)對標工作的思考［J］.華東電力，2008，36(3):111-113.

［8］馮璐，王成文.基于數(shù)據挖掘的供電企業(yè)客戶關系管理系統(tǒng)研究與設計［J］.電力信息化，2007，30(7):85-88.

［9］林其友，陳星鶯，王之偉.數(shù)據挖掘技術在電價預測中的應用［J］.電網技術，2006，23(12):83-87.