基于大數(shù)據(jù)平臺(tái)的日志分析預(yù)警技術(shù)研究

周平++馬斌++韓冰++蘇宇晨

摘要：該文主要研究大數(shù)據(jù)和日志分析預(yù)警技術(shù)在電力行業(yè)的應(yīng)用，首先論述了信息通信系統(tǒng)對(duì)電網(wǎng)安全穩(wěn)定運(yùn)行的重要性，日志分析對(duì)系統(tǒng)運(yùn)維的重要輔助作用；然后分析了國(guó)內(nèi)外在基于大數(shù)據(jù)的日志分析領(lǐng)域的應(yīng)用技術(shù)；最后根據(jù)電力系統(tǒng)特點(diǎn)，設(shè)計(jì)了大數(shù)據(jù)平臺(tái)架構(gòu)、計(jì)算架構(gòu)和多源數(shù)據(jù)整合框架。

關(guān)鍵詞：大數(shù)據(jù)平臺(tái)；日志分析預(yù)警；電力行業(yè)；數(shù)據(jù)源

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）32-0266-03

Study of Log Analysis and Early Warning Technology Based on Big Data Platform

ZHOU Ping1， MA Bin2， HAN Bin1， SU Yu-chen 1

（1. Xinjiang Information Industry Co ， Ltd ， Urumqi 830068， China； 2.State Grid Xinjiang Electric Power Information Telecommunication Company， Urumqi 830002， China）

Abstract： The main research big data， log analysis and early warning technology applied in electric power industry. This paper discusses the importance of information communication system on the safe and stable operation of power grid， log analysis important auxiliary effect on system maintenance， then analyze the application technology in the field of log analysis based on the big data. Finally， according to the characteristics of electric power industry， design the architecture of big data platform， computing architecture and multi-source data integration framework.

Key words： big data platform； log analysis and early warning； electric power industry； data source

1 背景

電力信息通信網(wǎng)作為電力系統(tǒng)的專用網(wǎng)絡(luò)，為電力系統(tǒng)的生產(chǎn)安全、穩(wěn)定運(yùn)行提供了重要保障，因此，一直以來(lái)它被稱為支撐電力系統(tǒng)的“三大支柱”之一。電力系統(tǒng)中物理空間對(duì)信息空間的高度依賴性，也使信息系統(tǒng)的可靠性決定著電力系統(tǒng)的安全性。在電力系統(tǒng)中，風(fēng)險(xiǎn)的傳播方式具有明顯的耦合性，即信息系統(tǒng)受到的故障破壞、網(wǎng)絡(luò)攻擊會(huì)通過(guò)各子系統(tǒng)影響到大量的量測(cè)、控制終端設(shè)備的監(jiān)測(cè)能力，從而會(huì)進(jìn)一步影響到電力系統(tǒng)物理空間設(shè)備的正常運(yùn)行。關(guān)于這一問(wèn)題，可從最近發(fā)生的烏克蘭大規(guī)模停電事件中得到印證。

隨著系統(tǒng)規(guī)模的不斷擴(kuò)大，電力信息通信系統(tǒng)中已經(jīng)累積了海量的日志信息，這些信息類型多樣、產(chǎn)生速度快、且蘊(yùn)藏著電力系統(tǒng)運(yùn)行的關(guān)鍵信息，因此，信息通信系統(tǒng)中的日志數(shù)據(jù)具有典型的大數(shù)據(jù)特征。采用基于大數(shù)據(jù)平臺(tái)的日志的實(shí)時(shí)采集與處理技術(shù)，可及時(shí)發(fā)現(xiàn)系統(tǒng)中的異常信息或行為，避免其異常發(fā)展惡化；對(duì)日志按業(yè)務(wù)應(yīng)用條線統(tǒng)一分析及問(wèn)題關(guān)聯(lián)影響分析，實(shí)現(xiàn)對(duì)日志對(duì)象按業(yè)務(wù)應(yīng)用進(jìn)行管理，可以減少故障排查時(shí)間和業(yè)務(wù)中斷時(shí)間，提高系統(tǒng)的服務(wù)響應(yīng)能力和服務(wù)水平；采用多任務(wù)分布式技術(shù)對(duì)海量日志進(jìn)行分析挖掘，應(yīng)用規(guī)則關(guān)聯(lián)、統(tǒng)計(jì)關(guān)聯(lián)等分析方法，可以建立科學(xué)的分析模型，使得對(duì)日志的分析深度與事件的識(shí)別準(zhǔn)確度得到進(jìn)一步的提升。日志分析預(yù)警的意義便在于，能提前對(duì)潛在的風(fēng)險(xiǎn)進(jìn)行發(fā)掘，分析、判斷并形成定性或定量的描述，從而采取應(yīng)對(duì)措施來(lái)降低風(fēng)險(xiǎn)。這對(duì)提高信息通信系統(tǒng)的安全性、穩(wěn)定性及其服務(wù)能力具有重要的理論價(jià)值和實(shí)際意義。

2 國(guó)內(nèi)外研究比較

在數(shù)據(jù)挖掘領(lǐng)域，經(jīng)過(guò)多年的研究和發(fā)展，已經(jīng)存在很多優(yōu)秀的挖掘方法，其中常見(jiàn)有路徑分析、關(guān)聯(lián)分析、序列模式、分類分析、聚類分析，以及統(tǒng)計(jì)分析等[1，2]。在海量數(shù)據(jù)處理方面，海量數(shù)據(jù)處理的嘗試應(yīng)用越來(lái)越多[3，4]，在日志分析方面也受到了廣泛的關(guān)注[5-6]。目前的大數(shù)據(jù)平臺(tái)以Hadoop為主，其可以有效解決傳統(tǒng)日志系統(tǒng)無(wú)法處理海量日志數(shù)據(jù)的問(wèn)題。但由于Hadoop并不擅長(zhǎng)處理實(shí)時(shí)應(yīng)用，主要采用離線處理方式?；贖adoop的實(shí)時(shí)處理應(yīng)用目前還比較少，采用流處理數(shù)據(jù)對(duì)日志數(shù)據(jù)進(jìn)行處理是未來(lái)的發(fā)展趨勢(shì)。

而近年來(lái)，在傳統(tǒng)網(wǎng)絡(luò)或電力信息通信網(wǎng)絡(luò)的風(fēng)險(xiǎn)評(píng)估、可靠性分析等方面，已有相關(guān)研究成果。但針對(duì)基于大數(shù)據(jù)平臺(tái)的日志分析預(yù)警研究還比較少，因?yàn)殡娏π畔⑴c物理系統(tǒng)的耦合、關(guān)聯(lián)而帶來(lái)的網(wǎng)絡(luò)風(fēng)險(xiǎn)評(píng)估、預(yù)警是一類新問(wèn)題，需進(jìn)一步研究。例如文獻(xiàn)[7]提出了建立電力CPS的思路和框架，概括了電力信息通信網(wǎng)絡(luò)在風(fēng)險(xiǎn)評(píng)估中出現(xiàn)的信息物理高度耦合的新特征；文獻(xiàn)[8]指出在信息物理融合背景下，由于大量傳感、監(jiān)測(cè)設(shè)備的接入，使采樣的數(shù)據(jù)規(guī)模和采樣頻率成倍增加，大大加重了通信網(wǎng)絡(luò)的負(fù)擔(dān)；文獻(xiàn)[9]指出，如果電力信息網(wǎng)絡(luò)采用專用網(wǎng)絡(luò)和通用網(wǎng)絡(luò)相結(jié)合的方式，則開(kāi)放的通信協(xié)議將帶來(lái)等多的潛在風(fēng)險(xiǎn)。在通信網(wǎng)絡(luò)的風(fēng)險(xiǎn)態(tài)勢(shì)估計(jì)方面，文獻(xiàn)[10]利用細(xì)胞自動(dòng)機(jī)理論對(duì)風(fēng)險(xiǎn)的跨空間傳播機(jī)制進(jìn)行了建模與動(dòng)態(tài)分析；文獻(xiàn)[11]提出了一種反映電力–通信復(fù)合系統(tǒng)的拓?fù)浣Y(jié)構(gòu)之間錯(cuò)綜復(fù)雜關(guān)聯(lián)性的矩陣模型，在脆弱性實(shí)時(shí)評(píng)估方面有一定的優(yōu)越性；文獻(xiàn)[12]基于復(fù)雜網(wǎng)絡(luò)理論，從連通性、網(wǎng)絡(luò)效率的角度分析了電力通信網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)在隨機(jī)、蓄意攻擊下的脆弱性，并提出了高度數(shù)節(jié)點(diǎn)保護(hù)策略與低度數(shù)節(jié)點(diǎn)加邊策略，該方法較適用于多業(yè)務(wù)、大規(guī)模的通信網(wǎng)絡(luò)；文獻(xiàn)[13]基于二分法的學(xué)習(xí)速率自適應(yīng)BP神經(jīng)網(wǎng)絡(luò)算法對(duì)電力通信網(wǎng)絡(luò)進(jìn)行風(fēng)險(xiǎn)評(píng)估，將通信網(wǎng)抽象為3層的前饋BP網(wǎng)絡(luò)進(jìn)行分析，在一定程度上縮短了收斂的時(shí)間，但可能會(huì)出現(xiàn)局部最優(yōu)的偏差，且隱含層節(jié)點(diǎn)數(shù)目不易確定；文獻(xiàn)[14]針對(duì)中的控制和監(jiān)視兩大類功能，構(gòu)建了一種功能失效模型，考慮每類功能失效進(jìn)行可靠性分析；文獻(xiàn)[15]在確定了業(yè)務(wù)重要度度量值的基礎(chǔ)上，給出了業(yè)務(wù)及通道段業(yè)務(wù)的風(fēng)險(xiǎn)度定義，并給出了風(fēng)險(xiǎn)均衡度的概念，建立了基于電力通信網(wǎng)業(yè)務(wù)風(fēng)險(xiǎn)均衡度的評(píng)估指標(biāo)和評(píng)估模型，該方法是從業(yè)務(wù)層面展開(kāi)的可靠性評(píng)估，可為優(yōu)化業(yè)務(wù)網(wǎng)絡(luò)、合理安排業(yè)務(wù)通道等提供參考。

3 平臺(tái)體系架構(gòu)研究

3.1 大數(shù)據(jù)分析平臺(tái)

Hadoop和Spark作為開(kāi)源的大數(shù)據(jù)處理平臺(tái)，近年來(lái)得到了快速的發(fā)展，出現(xiàn)了許多相關(guān)應(yīng)用與解決方案。Hadoop可以解決傳統(tǒng)日志分析系統(tǒng)無(wú)法處理海量日志數(shù)據(jù)的問(wèn)題。但由于Hadoop并不擅長(zhǎng)處理實(shí)時(shí)應(yīng)用，Spark是一種與Hadoop相似的通用并行計(jì)算框架，是對(duì)Hadoop的補(bǔ)充，但是Spark采用內(nèi)存并行計(jì)算技術(shù)與流式處理技術(shù)，在實(shí)時(shí)處理方面表現(xiàn)得更加優(yōu)越。大數(shù)據(jù)分析平臺(tái)結(jié)構(gòu)如下圖1所示：

3.2 大數(shù)據(jù)計(jì)算結(jié)構(gòu)

采用基于大數(shù)據(jù)平臺(tái)的日志的實(shí)時(shí)采集與處理技術(shù)，對(duì)日志按業(yè)務(wù)應(yīng)用條線統(tǒng)一分析及問(wèn)題關(guān)聯(lián)影響分析，采用多任務(wù)分布式技術(shù)對(duì)海量日志進(jìn)行分析挖掘，應(yīng)用規(guī)則關(guān)聯(lián)、統(tǒng)計(jì)關(guān)聯(lián)等分析方法，可以建立科學(xué)的分析模型?？梢詫㈦x線日志分析與在線日志分析相結(jié)合，從而實(shí)現(xiàn)既可以對(duì)日志實(shí)時(shí)數(shù)據(jù)的分析與預(yù)警，又可以實(shí)現(xiàn)對(duì)海量歷史日志數(shù)據(jù)的分析與查詢。據(jù)此設(shè)計(jì)如圖2所示的計(jì)算架構(gòu)。該架構(gòu)有三種計(jì)算模式，分別是基于MapReduce的分布式批處理、基于內(nèi)存并行計(jì)算的交互式分析、實(shí)時(shí)流式處理?？蓾M足不同日志存儲(chǔ)形式或傳輸形式的處理要求。

3.3 多源日志數(shù)據(jù)

日志數(shù)據(jù)主要來(lái)源于信息通信系統(tǒng)的網(wǎng)絡(luò)設(shè)備、安全設(shè)備、主機(jī)操作系統(tǒng)、應(yīng)用系統(tǒng)、業(yè)務(wù)系統(tǒng)以及數(shù)據(jù)庫(kù)事務(wù)處理或操作。如圖3所示。這些設(shè)備或系統(tǒng)產(chǎn)生的日志數(shù)據(jù)或日志文件廣泛分布在各自的存儲(chǔ)設(shè)備、數(shù)據(jù)庫(kù)或通過(guò)Syslog日志協(xié)議發(fā)送到日志服務(wù)器上，從而造成日志采集效率低，不能完全捕獲，數(shù)據(jù)格式不統(tǒng)一等問(wèn)題，并且缺少標(biāo)準(zhǔn)化的技術(shù)手段對(duì)這些海量的日志數(shù)據(jù)進(jìn)行管理，形成各自為政的尷尬局面。因此，需要對(duì)這些日志數(shù)據(jù)或文件進(jìn)行有效采集，并采用統(tǒng)一格式進(jìn)行存儲(chǔ)分析，如圖5所示。其數(shù)據(jù)流向如圖6所示，可提供面向流數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)和批數(shù)據(jù)的處理流程：流數(shù)據(jù)通過(guò)Kafka、Flume等消息日志處理接入流計(jì)算處理平臺(tái)，并針對(duì)計(jì)算結(jié)果集做進(jìn)一步統(tǒng)計(jì)分析；實(shí)時(shí)數(shù)據(jù)通過(guò)直接接入實(shí)時(shí)數(shù)據(jù)在線處理平臺(tái)中，通過(guò)在線數(shù)據(jù)處理平臺(tái)響應(yīng)高并發(fā)讀寫請(qǐng)求；批數(shù)據(jù)通過(guò)數(shù)據(jù)抽取、同步、上傳等導(dǎo)入到核心平臺(tái)進(jìn)行數(shù)據(jù)存儲(chǔ)分析。

4 結(jié)束語(yǔ)

基于大數(shù)據(jù)平臺(tái)的日志預(yù)警分析技術(shù)，其設(shè)計(jì)目標(biāo)是：自動(dòng)采集實(shí)時(shí)日志信息，采用數(shù)據(jù)挖掘技術(shù)對(duì)其進(jìn)行處理，發(fā)現(xiàn)系統(tǒng)中存在的異常信息或行為，對(duì)日志對(duì)象按業(yè)務(wù)應(yīng)用進(jìn)行管理與分析，通過(guò)多任務(wù)分布式技術(shù)對(duì)海量日志進(jìn)行分析挖掘，應(yīng)用規(guī)則關(guān)聯(lián)、統(tǒng)計(jì)關(guān)聯(lián)等分析方法，建立科學(xué)的分析模型，將告警信息以郵件或者短信的形式發(fā)放自動(dòng)計(jì)算分析，以縮短故障排查時(shí)間和業(yè)務(wù)中斷時(shí)間。研究的關(guān)鍵和難點(diǎn)在于：

1）日志數(shù)據(jù)來(lái)源不同的部門，其異構(gòu)特征明顯，為達(dá)到統(tǒng)一處理的目標(biāo)，為此需要研究異構(gòu)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和訪問(wèn)方法。

2）信息通信系統(tǒng)對(duì)狀態(tài)預(yù)警的時(shí)效性要求較高，必須在一定的時(shí)間間隔內(nèi)檢測(cè)出故障，以避免其狀態(tài)惡化，為此必須研究實(shí)現(xiàn)實(shí)時(shí)的狀態(tài)評(píng)估方法。

電網(wǎng)信息通信系統(tǒng)經(jīng)過(guò)多年的運(yùn)行，已經(jīng)積累了海量的數(shù)據(jù)，隨著大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用，這些隱藏寶貴信息的豐富數(shù)據(jù)資源將得到充分開(kāi)發(fā)，為信息通信系統(tǒng)的穩(wěn)定運(yùn)維和電網(wǎng)安全生產(chǎn)帶來(lái)極大的輔助。

參考文獻(xiàn)：

[1] 石敏. 基于聚類劃分的關(guān)聯(lián)規(guī)則在Web日志挖掘中的應(yīng)用研究[D]. 武漢：武漢理工大學(xué)， 2014.

[2] 梁曉雪， 王鋒. 基于聚類的日志分析技術(shù)綜述與展望[J]. 云南大學(xué)學(xué)報(bào)：自然科學(xué)版， 2009（S1）：52-55.

[3] 張沛， 楊華飛， 許元斌. 電力大數(shù)據(jù)及其在電網(wǎng)公司的應(yīng)用（英文）[J]. 中國(guó)電機(jī)工程學(xué)報(bào)， 2014， 34（S1）：85-92.

[4] 彭小圣， 鄧迪元， 程時(shí)杰，等. 面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J]. 中國(guó)電機(jī)工程學(xué)報(bào)， 2015（3）：503-511.

[5] 程苗. 云計(jì)算技術(shù)在web日志挖掘中的應(yīng)用研究[D]. 合肥： 中國(guó)科學(xué)技術(shù)大學(xué)， 2011.

[6] 王正也， 李書芳. 一種基于Hive日志分析的大數(shù)據(jù)存儲(chǔ)優(yōu)化方法[J]. 軟件， 2014（11）：94-100.

[7] 趙俊華， 文福拴， 薛禹勝， 等. 電力CPS的架構(gòu)及其實(shí)現(xiàn)技術(shù)與挑戰(zhàn)[J]. 電力系統(tǒng)自動(dòng)化， 2010， 34（16）： 1-7.

[8] Green R C， Wang L， Alam M. Applications and trends of high performance computing for electric power systems：focusing on smart grid[J]. IEEE Transactions on Smart Grid， 2013， 4（2）： 922-931.

[9] 葉夏明， 趙俊華， 文福拴. 基于鄰接矩陣的電力信息系統(tǒng)脆弱性定量評(píng)估[J]. 電力系統(tǒng)自動(dòng)化， 2013， 37（22）： 41-46.

[10] 葉夏明， 文福拴， 尚金成， 等. 電力系統(tǒng)中信息物理安全風(fēng)險(xiǎn)傳播機(jī)制[J]. 電網(wǎng)計(jì)術(shù)， 2015， 39（11）： 3072-3079.

[11] 湯奕， 韓嘯， 吳英俊， 等. 考慮通信系統(tǒng)影響的電力系統(tǒng)綜合脆弱性評(píng)估[J]. 中國(guó)電機(jī)工程學(xué)報(bào)， 2015， 35（23）： 6066-6074.

[12] Xu S Z， Zhou H， Li C X， et al. Vulnerability assessment of power grid based on complex network theory[C]//Asia-Pacific Power and Energy Engineering Conference（APPEEC 2009）. Wuhan， China： IEEE， 2009： 1-4.

[13] 亓峰， 李琪， 韓騫， 等. 基于神經(jīng)網(wǎng)絡(luò)的電力通信網(wǎng)風(fēng)險(xiǎn)評(píng)估方法[J]. 北京郵電大學(xué)學(xué)報(bào)， 2014， 37（1）： 90-93.

[14] 郭嘉， 韓宇奇， 郭創(chuàng)新， 等. 考慮監(jiān)視與控制功能的電網(wǎng)信息物理系統(tǒng)可靠性評(píng)估[J]. 中國(guó)電機(jī)工程學(xué)報(bào)， 2016， 36（8）： 2123-2130.

[15] 趙子巖， 劉建明. 基于業(yè)務(wù)風(fēng)險(xiǎn)均衡度的電力通信可靠性評(píng)估算法[J]. 電網(wǎng)技術(shù)， 2011， 35（10）： 209-213.

[16] 付偉. 基于Hadoop的Web日志的分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 北京： 北京郵電大學(xué)， 2015.

[17] 楊鋒英， 劉會(huì)超. 基于Hadoop的在線網(wǎng)絡(luò)日志分析系統(tǒng)研究[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2014， 31（8）：311-316..