電網(wǎng)信息運維監(jiān)控數(shù)據(jù)異常檢測技術(shù)

向華偉 王林 呂垚 何映軍

摘 要：隨著電力企業(yè)業(yè)務(wù)及相關(guān)應(yīng)用數(shù)量的逐年攀升，運維數(shù)據(jù)量的爆炸式增長給以運維數(shù)據(jù)異常檢測為首的電網(wǎng)信息運維監(jiān)控分析帶來了嚴峻的挑戰(zhàn)。在大數(shù)據(jù)分析與挖掘飛速發(fā)展的驅(qū)動下，結(jié)合長短時記憶神經(jīng)網(wǎng)絡(luò)的變量異常檢測技術(shù)可以滿足電網(wǎng)信息運維監(jiān)控數(shù)據(jù)普遍存在的異常檢測需求，達到減少電網(wǎng)信息運維成本的目的，而這一異常檢測流程的可行性、可靠性與準確性也在電網(wǎng)實際運行過程中的服務(wù)器流量數(shù)據(jù)集上得到驗證。

關(guān)鍵詞：大數(shù)據(jù)分析;深度學習;長短時記憶神經(jīng)網(wǎng)絡(luò);電網(wǎng)信息運維監(jiān)控;異常檢測

中圖分類號：TM76 文獻標識碼：A 文章編號：1671-2064（2019）18-0157-02

0 引言

電力信息網(wǎng)絡(luò)作為電網(wǎng)公司信息系統(tǒng)的主要核心組成部分，則是確保電網(wǎng)能夠在合理有序的監(jiān)控下穩(wěn)定運行的重中之重[1]。由于目前電網(wǎng)領(lǐng)域下的IT運維監(jiān)控系統(tǒng)在設(shè)計過程中往往由于考慮不足而出現(xiàn)故障報警信息雜亂、報警不及時、報警不穩(wěn)定以及故障定位信息不明等問題，甚至報警策略的設(shè)置存在邏輯性問題。針對這些現(xiàn)象及問題，本文基于電網(wǎng)場景下的海量信息運維監(jiān)控數(shù)據(jù)，融合深度學習先進算法中的長短時記憶網(wǎng)絡(luò)（Long-Short Term Memory，LSTM），通過構(gòu)建正常行為模型（Normal Behavior Model，NBM）對電網(wǎng)信息運維監(jiān)控數(shù)據(jù)中待檢測序列的預(yù)測值與真實值之間的關(guān)系及變化情況進行分析的方式來檢測異常，使電網(wǎng)信息運維監(jiān)控系統(tǒng)最終具備故障檢測能力，從而達到降低運維開銷的最終目的。

1 傳統(tǒng)電網(wǎng)IT運維數(shù)據(jù)管理系統(tǒng)現(xiàn)狀概述

電網(wǎng)場景中，隨著電力企業(yè)業(yè)務(wù)及相關(guān)應(yīng)用數(shù)量的逐年攀升以及云計算、虛擬化、公司企業(yè)管理信息系統(tǒng)CSGII的推廣和建設(shè)，應(yīng)用系統(tǒng)的復(fù)雜度和規(guī)模都在不斷的增長和變化，運維的數(shù)據(jù)量也呈現(xiàn)快速增長趨勢[2]。許多大型電力企業(yè)針對性開發(fā)的信息集中控制系統(tǒng)很大程度上解決了各類運維及監(jiān)控系統(tǒng)采集數(shù)據(jù)間的接口規(guī)范和數(shù)據(jù)標準問題，從一定程度上實現(xiàn)了IT基礎(chǔ)監(jiān)控數(shù)據(jù)的集中抽取和存儲，如電網(wǎng)針對數(shù)據(jù)共享、存儲、處理及分析等問題基于大數(shù)據(jù)技術(shù)開發(fā)IT運維數(shù)據(jù)管理系統(tǒng)[3]。但不可否認的是運維管理系統(tǒng)仍然殘存一些由于不同系統(tǒng)、不同類型數(shù)據(jù)融合問題而導(dǎo)致的數(shù)據(jù)整合與深度分析方面的不足，監(jiān)控系統(tǒng)間的數(shù)據(jù)難以打通并進行有效的關(guān)聯(lián)分析，極大的阻礙了運維能力的提升和業(yè)務(wù)質(zhì)量的有效保障。

2 運維監(jiān)控數(shù)據(jù)驅(qū)動下的電網(wǎng)運維故障檢測技術(shù)

運維數(shù)據(jù)或監(jiān)控數(shù)據(jù)從本質(zhì)上來說都是具有時間信息的一系列數(shù)據(jù)，又稱時間序列，而有關(guān)異常（或故障）的出現(xiàn)往往是時間序列的變化情況偏離了原有的正常變化情況。

2.1 異常檢測技術(shù)

針對電網(wǎng)信息運維監(jiān)控領(lǐng)域中存在的時間序列相關(guān)異常問題：如網(wǎng)絡(luò)流量異常、溫度過高或過低等電網(wǎng)信息運維過程中常見的各類異?，F(xiàn)象或故障問題，本文設(shè)計了基于深度學習先進預(yù)測技術(shù)與統(tǒng)計過程控制分析相結(jié)合的異常檢測技術(shù)，該技術(shù)架構(gòu)面向的異常檢測問題與時間因素密不可分，即異常在初期形成時可以在數(shù)據(jù)集中得以體現(xiàn)，且異常的發(fā)展是隨著時間的累積而愈發(fā)明顯，并不適用于突發(fā)類型異常的檢測：如突然的環(huán)境因素或人為因素導(dǎo)致的設(shè)備功能異?；驌p壞等形成與發(fā)展特別迅速的故障等。

2.2 數(shù)據(jù)預(yù)處理

在數(shù)據(jù)分析的基礎(chǔ)流程中，常見的數(shù)據(jù)預(yù)處理技術(shù)包括幾個主要步驟[4]：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約以及數(shù)據(jù)變換。而在當今電力企業(yè)所開發(fā)的信息集中控制系統(tǒng)中已經(jīng)包括了數(shù)據(jù)集成的功能，因此需要針對電力行業(yè)的信息運維數(shù)據(jù)進行數(shù)據(jù)清洗，數(shù)據(jù)規(guī)約以及數(shù)據(jù)變換等幾方面的數(shù)據(jù)預(yù)處理工作。

2.2.1 數(shù)據(jù)清洗

時間序列數(shù)據(jù)中的數(shù)據(jù)清洗主要針對數(shù)據(jù)集中缺失的數(shù)據(jù)值進行處理：對于缺失的數(shù)據(jù)類型為整數(shù)或表示狀態(tài)的設(shè)備運行數(shù)據(jù)時，缺失值所對應(yīng)的時間測的的整條數(shù)據(jù)均采取忽略刪去的方式進行處理;而對于實數(shù)型運維數(shù)據(jù)，則首先分析該數(shù)據(jù)是否呈對稱的分布形式，若是則采取前一段時間該數(shù)據(jù)的均值進行插補，反之則采用前一段時間該數(shù)據(jù)的中位數(shù)進行插補;而對于一些實際現(xiàn)場中記錄的一些線下文件數(shù)據(jù)的缺失，則視其在運維流程中的重要程度來決定是否需要進行人工問詢填補的方式進行處理。

2.2.2 數(shù)據(jù)規(guī)約

在時間序列數(shù)據(jù)進行分析前，可以通過適當?shù)姆治黾疤幚矸绞綄?shù)據(jù)進行整合或刪減，從而達到在最大限度保持數(shù)據(jù)集原有相關(guān)特征的基礎(chǔ)上來盡可能的減小數(shù)據(jù)集的規(guī)模;另一方面，可以利用如典型相關(guān)分析（Canonical Correlation Analysis，CCA）或文獻[5]中所提出的針對多重分形交叉相關(guān)分析指數(shù)等變量相關(guān)性分析算法來判別兩個時間序列之間的相似性程度，以達到有效地從數(shù)據(jù)屬性維度進行數(shù)據(jù)規(guī)約。

2.2.3 數(shù)據(jù)變換

數(shù)據(jù)變換的目的是為了將數(shù)據(jù)預(yù)處理成適合進行數(shù)據(jù)分析的格式或狀態(tài)，其中最為重要的一點是數(shù)據(jù)規(guī)范化。無論是電網(wǎng)運維數(shù)據(jù)還是實際的運行數(shù)據(jù)，對于某一個時間序列而言，其最大值和最小值之間相差可能很大，這將會給諸如神經(jīng)網(wǎng)絡(luò)等一系列算法的效果帶來較大的影響，因此大部分先進的數(shù)據(jù)分析算法都離不開數(shù)據(jù)的規(guī)范化。常見的規(guī)范化方法包括最大值最小值歸一化與Z-Score標準化等方法，其算法本質(zhì)是通過線性或非線性的比例縮放，將數(shù)據(jù)從原來數(shù)值相差較大的區(qū)間映射到一個相差較小的區(qū)間中。在本文中選用的算法為Z-Score標準化方法，其具體變換映射公式定義如下：

xt= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中，xt和xt分別為變換映射前后時間序列中的第t個數(shù)據(jù);μ和σ分別為變換前時間序列xt的均值及方差。即整個變換將原時間序列xt映射為均值為0，標準差為1的無量綱時間序列xt。

2.3 長短時記憶神經(jīng)網(wǎng)絡(luò)LSTM

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）作為深度學習算法的領(lǐng)頭羊之一，自被提出以來一直以十分優(yōu)異的效果在深度學習領(lǐng)域的占據(jù)一席之地，但由于RNN本身沒有存儲單元來存儲和輸出信息[6]，促使了長短時記憶神經(jīng)網(wǎng)絡(luò)LSTM的應(yīng)運而生，其在變量預(yù)測與語義識別等基礎(chǔ)領(lǐng)域的成就更是不言而喻[7]，而其自身在不斷發(fā)展過程中也逐漸演變出許多變種以彌補不同情況下的不足，如文獻[8]中的門限循環(huán)單元（Gated Recurrent Unit，GRU）以及文獻[9]中的窺探卷積LSTM（Peephole Convolutional LSTM，PC-LSTM）等。

3 異常檢測示例——數(shù)據(jù)流量異常檢測分析

本文針對電力運維系統(tǒng)場景下的數(shù)據(jù)流量異常問題對電網(wǎng)信息運維監(jiān)控中的數(shù)據(jù)異常檢測技術(shù)的有效性進行驗證。數(shù)據(jù)集具體包括諸如CPU利用率、內(nèi)存使用情況等服務(wù)器正常運行數(shù)據(jù)及狀態(tài)信息共81個屬性，以及待進行異常分析檢測的服務(wù)器流量數(shù)據(jù)，數(shù)據(jù)采集間隔為10分鐘，經(jīng)過數(shù)據(jù)清洗等數(shù)據(jù)預(yù)處理步驟之后的數(shù)據(jù)信息共計40560條。

對服務(wù)器流量數(shù)據(jù)異常檢測分析流程如下：在完成數(shù)據(jù)預(yù)處理后，首先將所有數(shù)據(jù)集按照時間先后順序以及6：1：3的比例劃分為訓練集，交叉驗證集以及測試集，其中訓練集和交叉驗證集僅包含服務(wù)器正常運作的數(shù)據(jù)，而測試集則既包括服務(wù)器正常數(shù)據(jù)，又包括異常的數(shù)據(jù);之后基于訓練數(shù)據(jù)集中全部的81個屬性值通過訓練LSTM預(yù)測服務(wù)器流量這一變量的方式來構(gòu)建服務(wù)器流量的正常行為模型，之后通過計算EWMA的上下控制界限來對數(shù)據(jù)的異常情況進行檢測，并通過交叉驗證數(shù)據(jù)集加以模型可靠性與準確性的驗證;最后將訓練好參數(shù)的模型直接應(yīng)用到測試集上，從而通過算法能否在服務(wù)器流量異常這一問題出現(xiàn)時及時實現(xiàn)檢測功能來驗證算法的有效性與準確性。

4 結(jié)語

本文針對電網(wǎng)信息運維監(jiān)控領(lǐng)域中目前存在的不足之處，針對性地提出了一種結(jié)合長短時記憶神經(jīng)網(wǎng)絡(luò)LSTM電網(wǎng)信息運維監(jiān)控數(shù)據(jù)異常檢測流程及算法，用于對電網(wǎng)信息運維監(jiān)控領(lǐng)域中存在的時間序列異常問題進行檢測。通過利用實際電網(wǎng)運行過程中的服務(wù)器流量相關(guān)數(shù)據(jù)集的訓練及測試，成功的驗證了所提出方法的可行性、可靠性以及有效性，對電網(wǎng)信息運維成本的降低有著積極的指導(dǎo)意義。

參考文獻

[1] 郭創(chuàng)新，陸海波，俞斌，等.電力二次系統(tǒng)安全風險評估研究綜述[J].電網(wǎng)技術(shù)，2013（1）：112-118.

[2] 付林.自動化技術(shù)在電力企業(yè)IT運維中的應(yīng)用[J].電子技術(shù)與軟件工程，2018（8）：141+149.

[3] 張雪堅，張榆，釧濤，等.基于大數(shù)據(jù)技術(shù)的IT運維數(shù)據(jù)管理系統(tǒng)構(gòu)建方法[J].電子科技，2018（4）：84-86.

[4] 黃天立.面向動車組運維的多源數(shù)據(jù)預(yù)處理關(guān)鍵技術(shù)研究與實現(xiàn)[D].北京交通大學，2018.

[5] 田嬙.時間序列的相關(guān)性與相似性分析[D].北京交通大學，2016.

[6] 厙向陽，蘇學威.基于CNN和LSTM混合模型的人體跌倒行為研究[J/OL].計算機應(yīng)用研究：1-5[2018-10-26].

[7] Wu Y，Schuster M，Chen Z，et al.Googles Neural Machine Translation System： Bridging the Gap between Human and Machine Translation[J].eprint arXiv，1609.08144， 09/2016.

[8] Cho K， Van Merrinboer B， Gulcehre C，et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[J].CoRR，2014：abs/1406. 1078.

[9] Xingjian S H I， Chen Z，Wang H，et al.Convolutional LSTM network： A machine learning approach for precipitation nowcasting[C].Advances in neural information processing systems，2015：802-810.