基于大數(shù)據(jù)的電力信息通信預(yù)警技術(shù)探索

吳均勻 張艷菲 馮波波

（國網(wǎng)晉城供電公司，山西 晉城 048000）

一、國內(nèi)外信息通信數(shù)據(jù)智能分析技術(shù)研究現(xiàn)狀

在學(xué)術(shù)界，近年來信息通信數(shù)據(jù)智能分析方面已有很多相關(guān)研究成果。本文主要對電力信息通信網(wǎng)絡(luò)風(fēng)險、預(yù)警技術(shù)進行研究，結(jié)合先進的大數(shù)據(jù)相關(guān)技術(shù)，設(shè)計了一套大數(shù)據(jù)信息通信預(yù)警平臺、風(fēng)險預(yù)警和數(shù)據(jù)處理架構(gòu)，并利用電力行業(yè)各單位之間的通信流量數(shù)據(jù)進行危險預(yù)警架構(gòu)合理性及算法有效性驗證。在應(yīng)用界，國外對信息通信數(shù)據(jù)智能分析的研究起步較早，包括很多行業(yè)規(guī)范和技術(shù)都是起源于各廠商。國內(nèi)雖然對信息通信技術(shù)的研究起步較晚，但是由于國內(nèi)軟件技術(shù)水平的飛速發(fā)展和技術(shù)資源的開放性越來越高，為國內(nèi)的信息通信數(shù)據(jù)管理技術(shù)發(fā)展帶來了生機和活力?；诂F(xiàn)代大數(shù)據(jù)分析技術(shù)、自動測量技術(shù)、自動控制技術(shù)、計算機應(yīng)用技術(shù)及相關(guān)的專用分析軟件形成的信息管理技術(shù)已經(jīng)廣泛應(yīng)用于各行各業(yè)。目前國內(nèi)比較成熟的產(chǎn)品包括北塔、東華、神州泰岳、摩卡、泰豪等公司的IT運維監(jiān)控管理系統(tǒng)，其對數(shù)據(jù)中心涉及的應(yīng)用服務(wù)器等設(shè)備進行數(shù)據(jù)采集和監(jiān)控，結(jié)合一些安全閾值實現(xiàn)故障的告警。不足之處是均為被動的告警運維，缺乏主動預(yù)警效果，不滿足智能電網(wǎng)的發(fā)展需求。

二、基于大數(shù)據(jù)的電力信息通信風(fēng)險預(yù)警架構(gòu)研究

（一）基于大數(shù)據(jù)電力信息通信風(fēng)險分析及預(yù)警架構(gòu)

預(yù)警系統(tǒng)的工作過程中主要涉及對電網(wǎng)數(shù)據(jù)的采集和分析以及結(jié)論驗證等具體的環(huán)節(jié)和步驟，這樣能夠有效的保障電力系統(tǒng)的管理人員對各種設(shè)備的運行情況和線路情況進行及時的了解和掌握，并使預(yù)警信息的準(zhǔn)確性得到了有效的保證，預(yù)警信息發(fā)布具有了可靠的數(shù)據(jù)。Hadoop和Spark是大數(shù)據(jù)處理的重要開源平臺，并隨著電力系統(tǒng)的發(fā)展也得到了較快的發(fā)展，并呈現(xiàn)出了多樣的相關(guān)應(yīng)用和解決的具體方案，Hadoop主要支持的是電力系統(tǒng)中重要的集群操作，并可以在集群上增加千個節(jié)點并進行詳細(xì)和準(zhǔn)確的計算，并且計算的速度會隨著集群數(shù)量的變化也隨之變化，這樣能夠有效的解決在電力系統(tǒng)中海量日志信息無法進行處理的問題。但是Hadoop并不能對電力系統(tǒng)中的實時應(yīng)用進行處理。

Spark與Hadoop具有相似的計算框架，并且作為其重要的補充，能夠?qū)崿F(xiàn)系統(tǒng)中實時應(yīng)用系統(tǒng)的處理。

（二）基于大數(shù)據(jù)的電力信息通信數(shù)據(jù)處理

在數(shù)據(jù)處理框架中完成對各類日志的匯聚、處理和集中管理，其中日志收集模塊采集各自不同系統(tǒng)的日志、網(wǎng)絡(luò)日志、防火墻日志等，采用Hive建立業(yè)務(wù)分析模型，實現(xiàn)日志的智能多維度查詢，完成對數(shù)據(jù)的初步清洗。在數(shù)據(jù)存儲層完成對數(shù)據(jù)的進一步清洗和轉(zhuǎn)換，將數(shù)據(jù)分類存儲于HDFS中，利用Sqoop工具將數(shù)據(jù)從HDFS中導(dǎo)出到Oracle中。最后按照業(yè)務(wù)技術(shù)完成相關(guān)數(shù)據(jù)的關(guān)聯(lián)分析和模式挖掘，采用數(shù)據(jù)清洗和壓縮歸并等手段對系統(tǒng)指標(biāo)、安全狀況以及運行狀態(tài)的實時動態(tài)預(yù)警信息進行判定，最終在對預(yù)警信息進行深入分析的基礎(chǔ)上實現(xiàn)電網(wǎng)信息通信系統(tǒng)的主動預(yù)警。

另外，為了實現(xiàn)對客服工單數(shù)據(jù)的統(tǒng)計分析、文本挖掘、聚類分析，進一步輔助用戶決策，采用了大數(shù)據(jù)可視化工具Tableau進行數(shù)據(jù)分析，并對信息通信系統(tǒng)設(shè)計相應(yīng)的數(shù)據(jù)分析頁面，實現(xiàn)數(shù)據(jù)分析結(jié)果的可視化展示，對項目數(shù)據(jù)進行全方位的科學(xué)分析來評估信息通信運維效果，為領(lǐng)導(dǎo)決策提供科學(xué)、嚴(yán)謹(jǐn)?shù)囊罁?jù)，降低決策失敗的風(fēng)險。

三、電力系統(tǒng)信息安全防護工作中大數(shù)據(jù)技術(shù)的運用方向

當(dāng)前，大數(shù)據(jù)技術(shù)背景下，使得人們對于大量的數(shù)據(jù)可實行深入分析，能及早明確安全防護中的隱患問題，并通過相關(guān)的防范措施進行處理。大數(shù)據(jù)技術(shù)，主要經(jīng)對所有數(shù)據(jù)的整理、挖掘和分析，找到數(shù)據(jù)間的聯(lián)系，進而構(gòu)建相類似的數(shù)據(jù)模型，對日后可能會出現(xiàn)的數(shù)據(jù)進行預(yù)測，可在較短的時間內(nèi)明確電力系統(tǒng)信息安全防護工作中可能會遇到的惡意攻擊情況。受到APT類攻擊時，經(jīng)以往的安全防護方法防護，難以在第一時間進行反應(yīng)。在大數(shù)據(jù)技術(shù)下，可在發(fā)生安全隱患前/中，明確APT類攻擊情況。如：經(jīng)大數(shù)據(jù)進行分析，能及時了解到職工登錄企業(yè)業(yè)務(wù)系統(tǒng)的狀況，其中職工瀏覽與業(yè)務(wù)無關(guān)的文件時，受到APT類攻擊的幾率較大。為此，企業(yè)應(yīng)結(jié)合實際情況，找到受攻擊的設(shè)備、受攻擊的原因、受攻擊渠道，以此降低對企業(yè)的不良影響。惡意攻擊的出現(xiàn)，主要經(jīng)不同系統(tǒng)、應(yīng)用漏洞發(fā)起。大量的移動應(yīng)用，使得漏洞量較大，通過大數(shù)據(jù)預(yù)警系統(tǒng)，客觀的對用戶上網(wǎng)情況、移動惡意攻擊趨勢數(shù)據(jù)加以有效分析，幫助用戶及時明確是否受到惡意攻擊。如：用戶在下載資料時，易于產(chǎn)生不知名的網(wǎng)站下載應(yīng)用，這時用戶就處于惡意攻擊的風(fēng)險中。若用戶涉及到相關(guān)金錢方面的操作，就會立即出現(xiàn)提出窗口，給予用戶相關(guān)的提示，降低用戶的損失。所有的應(yīng)用，均存在不同程度的安全漏洞問題，其相互間的差異在于哪個應(yīng)用能更早的發(fā)現(xiàn)漏洞。大數(shù)據(jù)技術(shù)下，可有效規(guī)避上述不可控制問題，并降低用戶的損失。

結(jié)束語：

在電網(wǎng)未來的發(fā)展的過程中應(yīng)該運用大數(shù)據(jù)分析技術(shù)對電網(wǎng)運行中的數(shù)據(jù)進行科學(xué)合理的分析，這樣才能夠有效的提高電網(wǎng)運行的安全性以及應(yīng)急問題處理的能力。在電網(wǎng)預(yù)警系統(tǒng)中充分的利用大數(shù)據(jù)的技術(shù)，能夠有效的分析電網(wǎng)運行中對安全性的影響因素，提高電網(wǎng)運行的預(yù)警能力，提高電力系統(tǒng)管理人員的工作效率。