基于大數(shù)據(jù)日志的預(yù)警技術(shù)分析

胡 聰 劉翠玲 吳 尚

?

基于大數(shù)據(jù)日志的預(yù)警技術(shù)分析

胡 聰 劉翠玲 吳 尚

（國網(wǎng)安徽省電力公司信息通信分公司，合肥 230022）

隨著電力網(wǎng)絡(luò)信息化的發(fā)展，信息技術(shù)已經(jīng)深入到電力生產(chǎn)的各個環(huán)節(jié)。電力系統(tǒng)在運(yùn)行過程中產(chǎn)生大量的日志信息，其中的某些數(shù)據(jù)可能包含著與系統(tǒng)的運(yùn)行狀態(tài)相關(guān)的信息。如何對海量日志信息進(jìn)行分析處理，深層挖掘信息的潛在價值，從而全面掌握系統(tǒng)狀態(tài)，及時發(fā)現(xiàn)故障隱患是十分重要的。本文對大數(shù)據(jù)質(zhì)量提升和分析方法進(jìn)行了介紹，并對預(yù)警模型進(jìn)行了研究，對大數(shù)據(jù)背景下電力系統(tǒng)預(yù)警技術(shù)的研究有一定的參考意義。

大數(shù)據(jù)；監(jiān)控；預(yù)警

電力系統(tǒng)的物理硬件設(shè)備高度依賴系統(tǒng)的信息空間，從而決定了電力系統(tǒng)的安全性受信息系統(tǒng)的直接影響。電力系統(tǒng)風(fēng)險的傳播具有很強(qiáng)的耦合性，比如當(dāng)信息系統(tǒng)發(fā)生故障時，測量設(shè)備和控制終端的正常運(yùn)行也會受到影響，從而進(jìn)一步影響到整個系統(tǒng)的正常運(yùn)行[1]。并且隨著整個系統(tǒng)規(guī)模的不斷膨脹，信息系統(tǒng)中累積的日志信息數(shù)量已經(jīng)非常龐大，這些信息的類型多種多樣，并且可能隱含大量關(guān)系系統(tǒng)運(yùn)行狀態(tài)的信息，可見這些日志具有典型的大數(shù)據(jù)特征。如果采用大數(shù)據(jù)的日志采集和處理手段，對日志信息進(jìn)行深層次地挖掘，就可以及時發(fā)現(xiàn)系統(tǒng)運(yùn)行中可能存在的問題，實(shí)現(xiàn)系統(tǒng)的故障預(yù)警，從而避免不必要的損失[2]。本文針對大數(shù)據(jù)日志預(yù)警技術(shù)設(shè)計的技術(shù)問題入手，對大數(shù)據(jù)日志信息處理技術(shù)進(jìn)行了介紹，對數(shù)據(jù)質(zhì)量提升和分析技術(shù)進(jìn)行了分析，并以變壓器為例對預(yù)警模型進(jìn)行了研究和建立。

1 基于大數(shù)據(jù)的日志信息處理技術(shù)分析

1.1 提高大數(shù)據(jù)日志信息的質(zhì)量

提高大數(shù)據(jù)日志信息質(zhì)量的方法主要有數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換。

1）數(shù)據(jù)清洗

該過程主要工作是更新優(yōu)質(zhì)數(shù)據(jù)資源，并對數(shù)據(jù)進(jìn)行分解和重新組合[3]。清洗的流程如圖1所示。

圖1 數(shù)據(jù)清洗流程

（1）錯誤類型的確認(rèn)和定義。其中包括分析數(shù)據(jù)和清洗規(guī)則的定義，分析數(shù)據(jù)就是根據(jù)數(shù)據(jù)的不一致性和錯誤實(shí)際情況，利用分析程序提取數(shù)據(jù)屬性，從而發(fā)掘數(shù)據(jù)的質(zhì)量問題[4]。清洗規(guī)則的定義是對數(shù)據(jù)清洗和轉(zhuǎn)換的規(guī)則進(jìn)行定義，制定數(shù)據(jù)清洗和轉(zhuǎn)換的語言并完成轉(zhuǎn)換代碼的生成。

（2）錯誤實(shí)例的搜尋和識別。主要包括屬性錯誤的自動檢測以及算法的重復(fù)記錄檢測。屬性錯誤的自動檢測主要利用統(tǒng)計法和聚類法對數(shù)據(jù)的屬性錯誤進(jìn)行檢測[5]。算法的重復(fù)記錄檢測主要是通過相關(guān)的算法對重復(fù)記錄的情況進(jìn)行檢測。

（3）錯誤的糾正。主要是對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

（4）干凈數(shù)據(jù)回流，將已經(jīng)進(jìn)行處理后的數(shù)據(jù)傳送回系統(tǒng)，并將原有數(shù)據(jù)刪除。

2）數(shù)據(jù)轉(zhuǎn)換

該過程主要是采用數(shù)據(jù)的泛化、規(guī)范化以及屬性構(gòu)造等流程實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的進(jìn)一步提升，使數(shù)據(jù)的精度和性能得到提高。數(shù)據(jù)轉(zhuǎn)換的流程圖如圖2所示。

圖2 數(shù)據(jù)轉(zhuǎn)換流程

（1）結(jié)構(gòu)數(shù)據(jù)的轉(zhuǎn)換。系統(tǒng)首先對數(shù)據(jù)字典的信息進(jìn)行讀取，掌握數(shù)據(jù)類型定義和數(shù)據(jù)庫結(jié)構(gòu)等信息，根據(jù)設(shè)定好的數(shù)據(jù)庫結(jié)構(gòu)生成中間數(shù)據(jù)庫。

（2）用戶數(shù)據(jù)的轉(zhuǎn)換。根據(jù)用戶需要對數(shù)據(jù)源的用戶數(shù)據(jù)進(jìn)行讀取，并根據(jù)設(shè)定好的數(shù)據(jù)庫表數(shù)據(jù)生成數(shù)據(jù)庫數(shù)據(jù)。

（3）目標(biāo)數(shù)據(jù)的導(dǎo)入。根據(jù)用戶讀取用戶數(shù)據(jù)，并根據(jù)設(shè)定號的數(shù)據(jù)庫表數(shù)據(jù)生成數(shù)據(jù)庫數(shù)據(jù)。

1.2 日志信息的質(zhì)量分析流程

日志信息質(zhì)量分析的對象主要是電網(wǎng)的實(shí)時運(yùn)行數(shù)據(jù)。將數(shù)據(jù)跳變、設(shè)備精度原因引起的不良數(shù)據(jù)進(jìn)行準(zhǔn)確過濾出，避免誤報警的發(fā)生，同時對設(shè)備的工作狀態(tài)進(jìn)行分析，對裝置的變化趨勢進(jìn)行分析[6]。日志信息的質(zhì)量分析流程如下。

1）不良數(shù)據(jù)的檢測。參考實(shí)時運(yùn)行數(shù)據(jù)和子按下監(jiān)測數(shù)據(jù)的關(guān)系，制定計算模型，對檢測值進(jìn)行分析評估，避免因設(shè)備故障和自身誤差造成誤報警。

2）分析數(shù)據(jù)的準(zhǔn)確性。根據(jù)在線監(jiān)測數(shù)據(jù)自身特性，對傳感器采集數(shù)據(jù)的準(zhǔn)確性進(jìn)行評估，并對檢測數(shù)據(jù)的趨勢進(jìn)行監(jiān)控，根據(jù)傳感器類型設(shè)定標(biāo)準(zhǔn)。

3）對設(shè)備的異常趨勢進(jìn)行跟蹤。當(dāng)發(fā)現(xiàn)設(shè)備數(shù)據(jù)出現(xiàn)異常時，結(jié)合電網(wǎng)運(yùn)行情況對誤差原因進(jìn)行分析，構(gòu)建趨勢變化預(yù)警模型，對設(shè)備運(yùn)行狀態(tài)進(jìn)行實(shí)時跟蹤，設(shè)備出現(xiàn)異常趨勢時快速發(fā)出預(yù)警信息，并提供預(yù)警分析報表[7]。

利用大數(shù)據(jù)處理技術(shù)對系統(tǒng)中的異常日志信息進(jìn)行分析，可以及時發(fā)現(xiàn)系統(tǒng)中的異常設(shè)備，從而及時采取措施，避免事態(tài)的惡化。對潛在風(fēng)險的分析判斷是日志分析的意義所在，這對提高系統(tǒng)的安全性和可靠性具有很強(qiáng)的實(shí)用價值。

2 預(yù)警模型的研究與建立

預(yù)警模型執(zhí)行對監(jiān)控模型采集的數(shù)據(jù)進(jìn)行分析處理，利用一定的預(yù)警判定方法封裝數(shù)據(jù)，當(dāng)發(fā)生預(yù)警事件時，將事件的詳細(xì)信息封裝并形成系統(tǒng)事件并上傳給預(yù)警處理模塊進(jìn)行后續(xù)處理。本文的預(yù)警模型針對變壓器采用回歸算法和聚類法建立。

2.1 回歸算法模型

假設(shè)為變壓器的預(yù)警指標(biāo)數(shù)值，1，2，…，X（甲烷、氫氣、乙烯、乙炔等）是前個時間的值，假設(shè)與之間為如下的線性關(guān)系：

式中，～(0,2),0,1,…,，和2的值未知。

假使

（2）

那么變壓器的線性回歸矩陣的表達(dá)式為

上式中的利用最小二乘函數(shù)()= (-)T(-)求得的最小值＇，則回歸方程可表示為

（4）

在變壓器的預(yù)警過程中，利用求得的值可以對系統(tǒng)中對應(yīng)指標(biāo)的值進(jìn)行確認(rèn)，用該值和設(shè)定的預(yù)警參考值進(jìn)行比較，從而可以完成系統(tǒng)的預(yù)警功能[8]?；貧w算法可以利用指標(biāo)若干時刻的數(shù)值對下一時刻的數(shù)值進(jìn)行預(yù)測，可以更加準(zhǔn)確、有效地實(shí)現(xiàn)預(yù)警功能[9]。

2.2 聚類算法模型

本文的聚類方法采用模糊聚類的算法，該算法過程比較簡單，其過程可分為以下3步：①進(jìn)行訓(xùn)練樣本的標(biāo)準(zhǔn)化處理；②進(jìn)行聚類，即利用適當(dāng)?shù)木嚯x模式求得數(shù)據(jù)的模糊矩陣，并利用聚類算法實(shí)現(xiàn)樣本的聚類；③求得最優(yōu)聚類結(jié)果。模糊聚類模型的建立可以通過下面4個步驟實(shí)現(xiàn)：

假設(shè)樣本數(shù)量為，每個樣本有個量化指標(biāo)，x則為樣本的指標(biāo)。

1）對樣本進(jìn)行標(biāo)準(zhǔn)化處理，因?yàn)橹挥性跀?shù)據(jù)標(biāo)準(zhǔn)化處理之后才能建立特征值矩陣。數(shù)據(jù)標(biāo)準(zhǔn)化的方法多種多樣，現(xiàn)在我們以極值法為例，首先將數(shù)據(jù)歸一化，計算方法為

式中，為樣本標(biāo)準(zhǔn)化后的數(shù)值；是原始數(shù)值；max是未處理的數(shù)據(jù)最大值；max是未處理的數(shù)據(jù)最小值，則樣本指標(biāo)的特征值集合為

（6）

式中，是樣本指標(biāo)的特征值，其中=1, 2, …,；=1, 2, …,。

2）模糊矩陣關(guān)系矩陣的建立。

其中

（8）

式中，R是樣本和的關(guān)系，=1, 2, …,，= 1, 2, …,。

3）樣本的聚類分析。通常采用編網(wǎng)法進(jìn)行。

4）分析聚類結(jié)果。

模糊聚類模型建立的流程圖如圖3所示。

圖3 模糊聚類模型建立流程

2.3 建立預(yù)警模型

以變壓器為對象的預(yù)警模型如圖4所示。

圖4 變壓器預(yù)警模型

圖4所示的預(yù)警流程如下。

1）檢測并收集原始數(shù)據(jù)，參考?xì)v史數(shù)據(jù)分析運(yùn)行狀態(tài)和參數(shù)的關(guān)系，建立設(shè)備動態(tài)模型。

2）與在線設(shè)備同時運(yùn)行動態(tài)模型，并根據(jù)運(yùn)行狀態(tài)生成預(yù)測值。

3）比較檢測點(diǎn)的預(yù)測值和時間值，并用回歸算法和聚類法進(jìn)行分析，實(shí)現(xiàn)設(shè)備的初步預(yù)警。

4）利用輔助分析工具對設(shè)備的故障原因進(jìn)行分析[10]。

2.4 預(yù)警機(jī)制在電力系統(tǒng)運(yùn)行的應(yīng)用

利用以上的日志預(yù)警原理，建立了電力設(shè)備在線監(jiān)控平臺，并通過在線監(jiān)測數(shù)據(jù)接入對電力設(shè)備的運(yùn)行狀態(tài)進(jìn)行監(jiān)控和報警。通過對設(shè)備歷史和實(shí)時數(shù)據(jù)的檢測分析，分辨出需要進(jìn)行預(yù)警處理的設(shè)備，并通過人工確認(rèn)，對報警信息進(jìn)行分析，從而及時發(fā)現(xiàn)設(shè)備問題，進(jìn)一步維護(hù)電力系統(tǒng)的穩(wěn)定運(yùn)行。圖5為變壓器問題在線監(jiān)測查詢系統(tǒng)的查詢界面。從圖中可以清楚地看出，變壓器的故障原因和故障類型，使變壓器的維護(hù)工作更加輕松高效。

圖5 設(shè)備問題在線監(jiān)測查詢界面

3 結(jié)論

在電力系統(tǒng)信息化發(fā)展的今天，如何對電力系統(tǒng)運(yùn)行過程中產(chǎn)生的龐大日志信息進(jìn)行分析和處理，獲取深層次的系統(tǒng)運(yùn)行狀態(tài)信息，從而對故障隱患做出預(yù)警處理是電力系統(tǒng)研究的重要課題。其中，對海量日志的篩選和質(zhì)量提升，以及預(yù)警模型的建立是關(guān)鍵。本文對常用的數(shù)據(jù)分析和質(zhì)量提升方法進(jìn)行了介紹，對基于回歸算法和模糊聚類模型的預(yù)警方法進(jìn)行了分析，對大數(shù)據(jù)環(huán)境下的預(yù)警技術(shù)研究具有一定的參考意義。

[1] 胡士. 數(shù)據(jù)挖掘技術(shù)在電力設(shè)備狀態(tài)檢修中的應(yīng)用研究[D]. 北京: 華北電力大學(xué), 2007.

[2] 郭乃網(wǎng), 蘇運(yùn), 瞿海妮, 等. 電力大數(shù)據(jù)安全體系架構(gòu)研究與應(yīng)用[J]. 電氣技術(shù), 2016, 17(11): 143-145.

[3] 林森, 歐陽柳. 基于大數(shù)據(jù)理論的電力客戶標(biāo)簽體系構(gòu)建[J]. 電氣技術(shù), 2016, 17(12): 98-101, 112.

[4] 周國亮, 朱永利, 王桂蘭, 等. 實(shí)時大數(shù)據(jù)處理技術(shù)在狀態(tài)監(jiān)測領(lǐng)域中的應(yīng)用[J]. 電工技術(shù)學(xué)報, 2014(S1): 432-437.

[5] 葛磊蛟, 王守相, 王堯, 等. 多源異構(gòu)的智能配用電數(shù)據(jù)存儲處理技術(shù)[J]. 電工技術(shù)學(xué)報, 2015, 30(S2): 159-168.

[6] 宋亞奇, 周國亮, 朱永利. 智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J]. 電網(wǎng)技術(shù), 2013, 4(4): 927-935.

[7] 譚勇, 王偉. 智能故障診斷技術(shù)及發(fā)展[J]. 飛航導(dǎo)彈, 2009(7): 35-38.

[8] 林升梁. 多元線性回歸模型在骨齡評估中的應(yīng)用[J]. 吉林醫(yī)學(xué), 2011, 32(24): 5107-5108.

[9] 劉連福. 一元線性回歸方程中回歸系數(shù)的化種確定方法[J]. 沈陽師范大學(xué)學(xué)報:自然科學(xué)版, 2008, 12(4): 38-42.

[10] 楊廷方. 變壓器在線監(jiān)測與故障診斷新技術(shù)的研巧[D]. 武漢: 華中科技大學(xué), 2008.

Analysis of Early Warning Technology based on Large Data Log

Hu Cong Liu Cuiling Wu Shang

(Information and Communication Branch, State Grid Anhui Electric Company, Hefei 230022)

With the development of information technology in the power network, information technology has gradually penetrated into all aspects of power production. The power system to produce a lot of log information in the operation process, some of which may contain data associated with the running state of the system information, how to log information on mass analysis, the potential value of deep mining information, so as to fully grasp the state of the system, found the problems in a timely manner is very important. In this paper, the method of improving the quality of large data and analysis methods are introduced, and the early warning model is studied, which has a certain reference value for the research of power system early warning technology under the background of big data.

big data; monitoring; early warning

胡 聰（1981-），男，安徽合肥人，碩士研究生，高級工程師，研究方向?yàn)槠髽I(yè)信息化。