王藝格 劉昂 孫志纓 戢光 張闊
摘 要傳統(tǒng)的電網(wǎng)在用電及配電的過程中,往往會產(chǎn)生大量的傳輸數(shù)據(jù)?,F(xiàn)今電網(wǎng)的智能化仍然集中于常規(guī)輸電的基礎(chǔ)之上,尚無法將這些數(shù)據(jù)行之有效的處理并指導公司業(yè)務、甚至為政府決策、社會公司提供幫助。大數(shù)據(jù)時代,國家電網(wǎng)的運營情況同國家能源戰(zhàn)略、企業(yè)的穩(wěn)定運行及百姓的日常生活息息相關(guān)?;诖怂悸?,由國家電網(wǎng)東北分公司運營的業(yè)務特點及實際應用需要,提出對電網(wǎng)數(shù)據(jù)進行整合及深度分析的方法,進一步為其他行業(yè)相結(jié)合的方案開展研究。
【關(guān)鍵詞】電網(wǎng) 數(shù)據(jù)整合 大數(shù)據(jù) 數(shù)據(jù)倉庫
1 引言
大數(shù)據(jù)技術(shù)的出現(xiàn)及發(fā)展,為現(xiàn)今社會的各行各業(yè)提出了機遇與挑戰(zhàn)。由于電力行業(yè)同社會的生產(chǎn)生活密切相關(guān),其同大數(shù)據(jù)的結(jié)合尤為重要。傳統(tǒng)的電網(wǎng)業(yè)務數(shù)據(jù)主要由生產(chǎn)、運營、管理三部分數(shù)據(jù)構(gòu)成,然而,在實際運行的過程中,上述數(shù)據(jù)雖然契合度較高,但是其結(jié)構(gòu)性較差,大量的冗余及非結(jié)構(gòu)化信息的存在大大降低了該系統(tǒng)的效率。進一步而言,上述數(shù)據(jù)僅為電企提供了使用功能,但是深層次的數(shù)據(jù)分析功能則嚴重不足,傳統(tǒng)的信息化技術(shù)無法解決上述問題。本文基于對電企內(nèi)部的大數(shù)據(jù)的運行特點,結(jié)合東北電網(wǎng)的數(shù)據(jù)倉庫實際情況,提出了其大數(shù)據(jù)化的升級方案,并對該系統(tǒng)進行架構(gòu),現(xiàn)介紹如下。
2 電企內(nèi)部數(shù)據(jù)的整合趨勢
大數(shù)據(jù)是融合信息數(shù)據(jù)同人類社會(human society)之間的重要紐帶,在信息空間 (cyberspace)內(nèi),人類社會可以借助收集到的信息數(shù)據(jù)反映物理世界(physical world)的實際情況,電力大數(shù)據(jù)則是信息大數(shù)據(jù)的一種表現(xiàn)形式,由于其處理的實時性及容量大,往往瞬間就能產(chǎn)生規(guī)模龐大的海量數(shù)據(jù)。而傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)無法在有效時間內(nèi)完成對上述數(shù)據(jù)的整合、管理及處理從而指導企業(yè)的運營決策。而在新架構(gòu)下對于電力大數(shù)據(jù)分析,可以對其進行深度挖掘,迅速發(fā)現(xiàn)問題,提出方案。由于電力系統(tǒng)運行的特殊性,其采集的數(shù)據(jù)信息量大,內(nèi)容詳實,可信度極高,可以預見,對上述數(shù)據(jù)的有效整合可以大幅增加企業(yè)的運營效率,并在此基礎(chǔ)進一步為其他社會部門提供指導。
3 大數(shù)據(jù)系統(tǒng)的建設方案
3.1 系統(tǒng)總功能介紹
本項目的核心設計將基于傳統(tǒng)的電力運行數(shù)據(jù)倉庫為基礎(chǔ),實現(xiàn)功能主要為基礎(chǔ)分析、地域分析、數(shù)據(jù)挖掘及數(shù)據(jù)共享幾大模塊。其擴展的應用為運營管理、產(chǎn)品APP開發(fā)、客戶服務、數(shù)據(jù)預測及擴展分析幾項功能。本項目擬在Hadoop框架平臺上運行。通過建立對傳統(tǒng)的應用/Web層同Hadoop之間的聯(lián)系,來實現(xiàn)上述功能的實現(xiàn)。
3.2 實現(xiàn)功能模塊介紹
3.2.1 基礎(chǔ)分析
傳統(tǒng)電力數(shù)據(jù)由于多來源于電力系統(tǒng)內(nèi)部,數(shù)據(jù)種類較少但是信息數(shù)量龐大,缺乏智能化分析手段,導致其更新周期過長,圖形化形象化不足,往往導致為決策層提供的數(shù)據(jù)不夠豐富。而針對電網(wǎng)的相應的評估多以經(jīng)驗為主。通過對下層數(shù)據(jù)的收集,并對實時、周期數(shù)據(jù)的抓取,可以迅速獲得電網(wǎng)及企業(yè)運行的實際狀況,特別是以大量圖像化的資料配合數(shù)據(jù),可以使企業(yè)針對運營的真實情況進行響應。
3.2.2 地域分析
電力部門的特性決定了其地域性的特點,不同地區(qū)的電力數(shù)據(jù)多以數(shù)據(jù)化的形式存在。單一的數(shù)據(jù)導致對各地用電、配電的實際狀況掌控不足,特別是進一步對下一級地市區(qū)電力數(shù)據(jù)的細化,并配合階段性的實時變化,往往針對性不足,通過對電網(wǎng)大數(shù)據(jù)的使用,可以直接對不同地域的實際情況進行快速分析,并得出結(jié)論。
3.2.3 數(shù)據(jù)挖掘
針對電力大數(shù)據(jù),配合工業(yè)、農(nóng)業(yè)、商業(yè)、物流等行業(yè)的用電情況。可以快速有效的反映城市公共建設及經(jīng)濟運行的真實狀況。通過對電力大數(shù)據(jù)的充分挖掘,可以為政府的基礎(chǔ)設施建設及公共服務提供實際支持,對本地企業(yè),通過對大數(shù)據(jù)的挖掘,可以針對不同行業(yè)及領(lǐng)域企業(yè)的實際需求給與幫助,大大提高了企業(yè)的效率。
3.2.4 數(shù)據(jù)共享
通過對于電力公共大數(shù)據(jù)的整理及評估,得出相應的指導意見,并將其向社會公布,為公眾提供參考。而對于戰(zhàn)略性細化的數(shù)據(jù),則可在大數(shù)據(jù)平臺下,向政府的各級部門有限的共享,分級評估,分級管理,分級共享,可以將電力大數(shù)據(jù)的實際功能最大化。
3.3 擴展的應用
3.3.1 運營管理
為該大數(shù)據(jù)應用數(shù)據(jù)庫的核心功能。通過對于底層數(shù)據(jù)的抓取,對數(shù)據(jù)倉庫內(nèi)的相關(guān)數(shù)據(jù)進行整合過濾。而這些經(jīng)過整合后的大數(shù)據(jù),則可直接為本集團內(nèi)部的運營提供幫助。與傳統(tǒng)的數(shù)據(jù)直接整合不同,大數(shù)據(jù)庫可對重復信息、無用信息實時過濾。而且由于大數(shù)據(jù)倉庫可以在任何時間節(jié)點截止,并快速響應,為電力企業(yè)的實際運營提供了極大的便利。
3.3.2 產(chǎn)品APP開發(fā)
從企業(yè)的角度出發(fā),可以通過對電力大數(shù)據(jù)的深度挖掘,以實際需要為藍本,為企業(yè)的相關(guān)人員提供APP軟件服務。從社會角度出發(fā),可以為公眾提供APP接入端口,將付費,通知等項目整合,進一步增加大數(shù)據(jù)的信息量。
3.3.3 客戶服務
由枯燥的數(shù)據(jù)分析轉(zhuǎn)變?yōu)榇髷?shù)據(jù)過濾。通過大數(shù)據(jù)倉庫的篩選,面向企業(yè)的實際需要進行服務,與相關(guān)行業(yè)部門的對接。通過這項服務,可以將部門內(nèi)部的數(shù)據(jù),整合為圖形化的資料,以方便企業(yè)的使用。
3.3.4 數(shù)據(jù)預測及擴展分析
根據(jù)以往整合的大數(shù)據(jù)平臺,可以為部門內(nèi)的電力供應及配電情況進行實際分析,并可根據(jù)已知的數(shù)據(jù)建立不同區(qū)域的模型,對配電過程中的事故隱患進行排查,根據(jù)電力數(shù)據(jù)的波動帶入模型,提升企業(yè)運行的效率。綜合企業(yè)運行的各項參數(shù),設置不同的應急預案,充分利用大數(shù)據(jù)平臺的優(yōu)勢。
隨著信息化技術(shù)的提升、大數(shù)據(jù)時代的來臨,未來電網(wǎng)將在大數(shù)據(jù)的支持下,向著智能化邁進,而如何基于大數(shù)據(jù)平臺,提高電網(wǎng)的運行效率,增強企業(yè)的競爭力,向公眾、政府提供更好更安全的服務,充分研究大數(shù)據(jù)平臺在電網(wǎng)中的應用,勢在必行,通過本研究,可以為未來大數(shù)據(jù)同電網(wǎng)的結(jié)合提供切入點,促進電力行業(yè)的數(shù)字化進步。
參考文獻
[1]程學旗.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 軟件學報,2014(09):1889-1908.
[2]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展,201350(1):146-169.
作者單位
國網(wǎng)遼寧省電力有限公司沈陽供電公司 遼寧省沈陽市 110000