基于大數(shù)據(jù)的電力通信系統(tǒng)自動(dòng)預(yù)警診斷方法研究

陳軒

【摘? 要】經(jīng)濟(jì)的發(fā)展，城市化進(jìn)程的加快，人們對(duì)電能的需求也逐漸增加。前階段內(nèi)電力信息通信技術(shù)快速發(fā)展，尤其是隨著相應(yīng)運(yùn)維監(jiān)測(cè)與管理系統(tǒng)的完善，電力系統(tǒng)運(yùn)維工作取得了良好進(jìn)展。但綜合實(shí)際情況來(lái)看，電力信息通信中并未形成完善的信息收集機(jī)制，在數(shù)據(jù)全面性、精準(zhǔn)性等方面仍存在著一定的不足。

【關(guān)鍵詞】電力通信;大數(shù)據(jù);自動(dòng)診斷;線性預(yù)測(cè)

引言

在大數(shù)據(jù)時(shí)代，隨著電網(wǎng)信息系統(tǒng)架構(gòu)的不斷擴(kuò)展，IT設(shè)備的數(shù)量越來(lái)越多，網(wǎng)絡(luò)也變得更加復(fù)雜，信息通信系統(tǒng)中的狀態(tài)數(shù)據(jù)、運(yùn)行數(shù)據(jù)以及故障數(shù)據(jù)等體量越來(lái)越大，且具有典型的大數(shù)據(jù)特征，如果數(shù)據(jù)未經(jīng)過(guò)處理，則對(duì)運(yùn)維沒(méi)有任何意義和價(jià)值。綜合運(yùn)用大數(shù)據(jù)采集技術(shù)、實(shí)時(shí)數(shù)據(jù)流處理技術(shù)、關(guān)聯(lián)分析挖掘技術(shù)、狀態(tài)評(píng)估技術(shù)、趨勢(shì)預(yù)測(cè)及風(fēng)險(xiǎn)評(píng)估技術(shù)，建立科學(xué)的分析模型，實(shí)現(xiàn)信息通信風(fēng)險(xiǎn)態(tài)勢(shì)全面感知、運(yùn)維數(shù)據(jù)全面分析、運(yùn)維風(fēng)險(xiǎn)實(shí)時(shí)預(yù)警，達(dá)到在故障發(fā)生前解決問(wèn)題的主動(dòng)運(yùn)維效果，有助于提升信息通信故障監(jiān)測(cè)和風(fēng)險(xiǎn)預(yù)警能力，對(duì)提高信息通信系統(tǒng)的安全性、穩(wěn)定性及其服務(wù)能力具有重要的理論價(jià)值和實(shí)際意義。

1目前國(guó)內(nèi)外的研究發(fā)展?fàn)顩r

相關(guān)的學(xué)術(shù)界討論中，從互聯(lián)網(wǎng)技術(shù)，生物醫(yī)學(xué)和超級(jí)計(jì)算對(duì)大數(shù)據(jù)進(jìn)行了專門的探討和研究。在大數(shù)據(jù)應(yīng)用相關(guān)應(yīng)用領(lǐng)域，谷歌公司在2009年通過(guò)對(duì)人們網(wǎng)上搜索的內(nèi)容和疾病中心的數(shù)據(jù)整體上進(jìn)行整合分析，及時(shí)的找出了流感的傳播來(lái)源，給公共衛(wèi)生機(jī)構(gòu)的工作提供了有利用價(jià)值的數(shù)據(jù)和信息;美國(guó)的俄州運(yùn)輸部運(yùn)用INRIX的云計(jì)算對(duì)大數(shù)據(jù)進(jìn)行分析處理來(lái)了解和處理惡劣天氣的道路狀況，降低了冬季發(fā)生連環(huán)撞車的概率，為人們的出行帶來(lái)便利。大數(shù)據(jù)技s術(shù)進(jìn)行了新技術(shù)和構(gòu)架的相關(guān)描述，適用于經(jīng)濟(jì)的方式模式，對(duì)于技術(shù)進(jìn)行高速的捕獲和分析處理，從大規(guī)模的數(shù)據(jù)中進(jìn)行價(jià)值的提取和運(yùn)用。國(guó)外對(duì)大數(shù)據(jù)的研究工作主要集中對(duì)于大數(shù)據(jù)存儲(chǔ)、處理分析和管理的相應(yīng)技術(shù)和軟件的運(yùn)用方面。多年的研究發(fā)展后產(chǎn)生了優(yōu)秀便捷的挖掘方法，其中常見(jiàn)有路徑、關(guān)聯(lián)、分類、聚類和統(tǒng)計(jì)的分析等。當(dāng)前發(fā)展階段的大數(shù)據(jù)平臺(tái)以HADOOP為主，對(duì)于傳統(tǒng)日志無(wú)法處理海量的分析數(shù)據(jù)進(jìn)行解決，但HADOOP并不擅長(zhǎng)實(shí)時(shí)的應(yīng)用信息的處理，采取離線處理的模式。在HADOOP基礎(chǔ)上的實(shí)時(shí)處理運(yùn)用還比較少，采用流處理數(shù)據(jù)對(duì)日志數(shù)據(jù)進(jìn)行處理是這個(gè)行業(yè)的未來(lái)發(fā)展方向。

2電力大數(shù)據(jù)的特點(diǎn)及面臨的問(wèn)題

當(dāng)前，隨著電力通信系統(tǒng)網(wǎng)絡(luò)化建設(shè)和發(fā)展，電力大數(shù)據(jù)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，并且具有數(shù)據(jù)量大、數(shù)據(jù)類型多、處理速度快、精確性高和價(jià)值大五大特征。同時(shí)，數(shù)據(jù)的采集、處理、應(yīng)用等都要求完成數(shù)據(jù)的移動(dòng)和存儲(chǔ)，其實(shí)現(xiàn)的基本條件是電力系統(tǒng)網(wǎng)絡(luò)化。但在當(dāng)前網(wǎng)絡(luò)架構(gòu)下，大數(shù)據(jù)移動(dòng)存儲(chǔ)還面臨如下挑戰(zhàn)：（1）大容量問(wèn)題。隨著智能終端的普及，實(shí)時(shí)采集終端狀態(tài)信息導(dǎo)致產(chǎn)生了大量的數(shù)據(jù)，每天的數(shù)據(jù)量達(dá)到TB量級(jí)，數(shù)據(jù)的存儲(chǔ)面臨重大挑戰(zhàn)。（2）延遲問(wèn)題。應(yīng)用于實(shí)時(shí)問(wèn)題分析時(shí)，大數(shù)據(jù)的分析診斷存在一定的滯后性，這種特性可能給實(shí)時(shí)數(shù)據(jù)分析應(yīng)用帶來(lái)不可估量的損失。（3）差異化問(wèn)題。不同等級(jí)的業(yè)務(wù)需求所采集的數(shù)據(jù)信息不同，要求數(shù)據(jù)網(wǎng)絡(luò)具備不同等級(jí)的服務(wù)功能，以保證重點(diǎn)用戶或者關(guān)鍵節(jié)點(diǎn)的正常運(yùn)行。

3電力信息通信風(fēng)險(xiǎn)預(yù)警技術(shù)

以Hadoop及Spark為例，該類大數(shù)據(jù)處理平臺(tái)在近年來(lái)逐漸受到更廣泛的應(yīng)用，發(fā)展速度較快。其中Hadoop可以進(jìn)行大規(guī)模集群操作，具有較強(qiáng)的便捷性，同時(shí)可增設(shè)不同數(shù)量的節(jié)點(diǎn)共同計(jì)算。且其計(jì)算速度并不會(huì)受到集群數(shù)量的減弱影響，相反，計(jì)算速度與集群數(shù)量呈正相關(guān)關(guān)系，以此有效彌補(bǔ)了傳統(tǒng)系統(tǒng)處理數(shù)據(jù)中存在的不足。但相對(duì)而言，Hadoop在處理實(shí)時(shí)應(yīng)用方面存在明顯的劣勢(shì)。而Spark作為一種通用并行計(jì)算框架，其產(chǎn)生與改進(jìn)是以Hadoop為基礎(chǔ)的，主要應(yīng)用內(nèi)存并行計(jì)算方式及流式處理技術(shù)，具備較好的實(shí)時(shí)處理性能。電力信息通信預(yù)警技術(shù)的應(yīng)用過(guò)程中，相關(guān)技術(shù)人員通過(guò)構(gòu)建電力信息通信大數(shù)據(jù)處理框架，對(duì)各類信息數(shù)據(jù)進(jìn)行有效收集、整合、分析、管理。對(duì)應(yīng)的日志收集板塊主要負(fù)責(zé)收集來(lái)自各個(gè)系統(tǒng)的數(shù)據(jù)，包括網(wǎng)絡(luò)日志、防火墻日志等。利用Hive技術(shù)創(chuàng)建業(yè)務(wù)分析模型，以此保證日志的多維度查詢。經(jīng)由數(shù)據(jù)存儲(chǔ)層，對(duì)采集所得的數(shù)據(jù)進(jìn)行一定的清洗及轉(zhuǎn)換，并將其系統(tǒng)的存儲(chǔ)與HDFS中，結(jié)合Sqoop將其導(dǎo)入Oracle內(nèi)。而后根據(jù)具體分類情況，對(duì)現(xiàn)有日志進(jìn)行合理分析。圍繞日志關(guān)鍵詞，以大數(shù)據(jù)技術(shù)為主要手段，對(duì)相應(yīng)數(shù)據(jù)進(jìn)行深度模式挖掘。并結(jié)合數(shù)據(jù)清洗、壓縮歸并等方式，實(shí)現(xiàn)系統(tǒng)指標(biāo)、安全情況、運(yùn)行狀態(tài)的有效判定。

4自動(dòng)預(yù)警診斷方法

4.1基于小區(qū)節(jié)點(diǎn)數(shù)據(jù)統(tǒng)計(jì)差異的故障診斷研究

小區(qū)節(jié)點(diǎn)直接與網(wǎng)絡(luò)節(jié)點(diǎn)連接，網(wǎng)絡(luò)節(jié)點(diǎn)實(shí)時(shí)將網(wǎng)絡(luò)節(jié)點(diǎn)監(jiān)測(cè)數(shù)據(jù)發(fā)送到小區(qū)節(jié)點(diǎn)中，檢測(cè)數(shù)據(jù)主要包括節(jié)點(diǎn)電力負(fù)載、節(jié)點(diǎn)配電信息、節(jié)點(diǎn)狀態(tài)信息。小區(qū)節(jié)點(diǎn)主要完成2個(gè)功能：一是數(shù)據(jù)的預(yù)處理與分類，為區(qū)域節(jié)點(diǎn)的數(shù)據(jù)分析提供基礎(chǔ);二是小區(qū)內(nèi)網(wǎng)絡(luò)節(jié)點(diǎn)的統(tǒng)計(jì)分析，實(shí)現(xiàn)網(wǎng)絡(luò)節(jié)點(diǎn)的故障診斷。本文主要從以下3個(gè)角度開(kāi)展診斷研究。（1）基于心跳分組的故障診斷：在網(wǎng)絡(luò)系統(tǒng)中，心跳機(jī)制是網(wǎng)絡(luò)終端定時(shí)發(fā)送一個(gè)自定義的心跳分組，讓對(duì)方知道自己仍在工作，以確保連接的有效性的機(jī)制。基于上述原理，小區(qū)節(jié)點(diǎn)實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)節(jié)點(diǎn)的心跳分組，統(tǒng)計(jì)一段時(shí)間內(nèi)心跳分組數(shù)量，當(dāng)心跳分組數(shù)量遠(yuǎn)低于正常數(shù)值時(shí)，表示網(wǎng)絡(luò)節(jié)點(diǎn)中的設(shè)備斷開(kāi)連接或者出現(xiàn)故障，則推送告警信息，提示工作人員處理。（2）基于節(jié)點(diǎn)狀態(tài)信息的故障診斷：節(jié)點(diǎn)狀態(tài)數(shù)據(jù)包含了節(jié)點(diǎn)當(dāng)前所處的狀態(tài)，解析狀態(tài)數(shù)據(jù)，實(shí)時(shí)分析統(tǒng)計(jì)設(shè)備狀態(tài)信息數(shù)據(jù)。當(dāng)狀態(tài)出現(xiàn)異常時(shí)，統(tǒng)計(jì)數(shù)據(jù)背離正常值，診斷節(jié)點(diǎn)異常背離原因，告警工作人員。（3）基于電力數(shù)據(jù)差異的故障診斷：實(shí)際電力系統(tǒng)中，存在如下情況：網(wǎng)絡(luò)節(jié)點(diǎn)心跳分組正常，系統(tǒng)狀態(tài)信息正常，但系統(tǒng)配電信息與節(jié)點(diǎn)負(fù)載信息差異較大，則表示出現(xiàn)某種特殊耗電情況。基于上述原理，小區(qū)節(jié)點(diǎn)實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)節(jié)點(diǎn)中配電數(shù)據(jù)與負(fù)載數(shù)據(jù)間的差異，當(dāng)電力負(fù)載數(shù)據(jù)遠(yuǎn)低于配電數(shù)據(jù)（設(shè)計(jì)時(shí)考慮電力系統(tǒng)線路正常損耗）時(shí)，則推送告警信息，提示工作人員處理。

4.2大數(shù)據(jù)基礎(chǔ)上的信息通信數(shù)據(jù)的相關(guān)處理

在數(shù)據(jù)處理框架中對(duì)各類日志進(jìn)行集中的分析處理和管理工作，其中日志收集來(lái)自不同系統(tǒng)的日志、網(wǎng)絡(luò)和防火墻日志等，采用Hive建立業(yè)務(wù)相關(guān)的分析模型，對(duì)日志的進(jìn)行多維度的智能查詢，進(jìn)行數(shù)據(jù)的初步清洗工作。在數(shù)據(jù)存儲(chǔ)層完成對(duì)數(shù)據(jù)的進(jìn)一步清洗和轉(zhuǎn)換，進(jìn)行數(shù)據(jù)的分類處理，存儲(chǔ)于HDFS中，利用SQOOP工具將數(shù)據(jù)從HDFS中導(dǎo)出到Oracle中。

4.3基于中心節(jié)點(diǎn)的動(dòng)態(tài)電力資源分配與調(diào)度

中心節(jié)點(diǎn)具有較高的管理權(quán)限，屬于控制中心節(jié)點(diǎn);各區(qū)域節(jié)點(diǎn)根據(jù)電力負(fù)載預(yù)測(cè)情況，將電力負(fù)載請(qǐng)求信息發(fā)送給中心節(jié)點(diǎn)，中心節(jié)點(diǎn)根據(jù)各區(qū)域節(jié)點(diǎn)的需求動(dòng)態(tài)配送電量。另外，設(shè)計(jì)時(shí)考慮各區(qū)域節(jié)點(diǎn)的優(yōu)先級(jí)，并根據(jù)優(yōu)先級(jí)配置供電權(quán)重，目的是在電量需求緊張時(shí)，優(yōu)先保證優(yōu)先級(jí)較高的區(qū)域節(jié)點(diǎn)的供電，最終實(shí)現(xiàn)動(dòng)態(tài)電力資源調(diào)度與分配。

結(jié)語(yǔ)

綜上所述，隨著我國(guó)電網(wǎng)建設(shè)的不斷完善，相應(yīng)的信息化建設(shè)發(fā)揮出更大的作用。在此背景下，運(yùn)維人員應(yīng)對(duì)電力信息通信預(yù)警技術(shù)進(jìn)行深入研究。及時(shí)發(fā)現(xiàn)并有效預(yù)警其中存在的隱患，進(jìn)而形成良好的工作效果。

參考文獻(xiàn)：

[1]周平.基于大數(shù)據(jù)平臺(tái)的日志分析預(yù)警技術(shù)研究[J].電腦知識(shí)與技術(shù)，2016.

[2]付萍萍.以風(fēng)險(xiǎn)防控為中心的大型電網(wǎng)企業(yè)信息安全管理體系研究[J].電力信息與通信技術(shù)，2015.

（作者單位：深圳供電規(guī)劃設(shè)計(jì)院有限公司）