基于多數(shù)據(jù)源校驗(yàn)的配電網(wǎng)數(shù)據(jù)質(zhì)量在線監(jiān)控方法與實(shí)現(xiàn)

管荑 郭偉琪 沈濤 王先富

摘 要： 隨著配電系統(tǒng)地不斷擴(kuò)大，配電網(wǎng)中地電氣設(shè)備數(shù)量也急劇增加，并且對(duì)電網(wǎng)運(yùn)行數(shù)據(jù)質(zhì)量要求更加精確。由于大規(guī)模隨機(jī)操作監(jiān)視和控制信號(hào)數(shù)據(jù)導(dǎo)致活動(dòng)分發(fā)網(wǎng)絡(luò)中的各種應(yīng)用程序無法快速有效地提取有用信息，對(duì)此提出基于復(fù)雜事件處理（Complex Event Processng，CEP）的智能數(shù)據(jù)處理技術(shù)，通過ETL（Extract-Transform-Load）工具制定算法庫(kù)、規(guī)則庫(kù)，規(guī)則庫(kù)可以通過嵌套查詢、組合操作和模式匹配來確定，算法庫(kù)可以打包內(nèi)存分區(qū)和多線程處理，融合字頻統(tǒng)計(jì)、關(guān)鍵字識(shí)別和消除等算法，從而實(shí)現(xiàn)對(duì)多數(shù)據(jù)源校驗(yàn)的配電網(wǎng)數(shù)據(jù)質(zhì)量進(jìn)行在線處理。

關(guān)鍵詞： 配電系統(tǒng); 電氣設(shè)備; 復(fù)雜事件處理; 在線監(jiān)控

中圖分類號(hào)： TP393 ? ? ?文獻(xiàn)標(biāo)志碼： A

Method of Onlne Montorng of Dstrbuton Network Data Qualty

Based on Mult-sgnal Congeston and ts Realzaton

GUAN T1， GUO Weq2， SHEN Tao2， WANG Xanfu3

（1.State Grd Shandong Power Supply Co. Ltd.， Jnan 250001; 2.State Grd Ln Y Power Supply Co. Ltd.，

Lny 276000;3.Shandong Anxnyuan nformaton Technology Co. Ltd.， Jnan 250100）

Abstract： As the dstrbuton system contnues to expand， the number of electrcal equpment n the dstrbuton network has also ncreased dramatcally， and the qualty requrements for grd operaton data have become more precse. Due to the large-scale random operaton montorng and control sgnal data， varous applcatons n the actve dstrbuton network cannot extract useful nformaton quckly and effcently. Ths paper proposes ntellgent data processng technology based on complex event processng （CEP） through ETL （ the extract-transform-load tool）， and develops an algorthm lbrary and a rule base. The rule lbrary can be determned by nested queres， combned operatons， and pattern matchng. The algorthm lbrary can package memory parttons and mult-thread processng， combne word frequency statstcs， keyword recognton， and elmnate other algorthms to acheve onlne processng of the data qualty of the dstrbuton network for mult-data source verfcaton.

Key words： Power dstrbuton system; Electrcal equpment; Complex event processng; Onlne montorng

0 引言

由于全國(guó)各地的電網(wǎng)使用了不同廠家、不同類型的電氣設(shè)備，各種設(shè)備產(chǎn)生的運(yùn)行監(jiān)控信號(hào)的格式和命名也不統(tǒng)一，而且數(shù)量巨大。這使得基于信號(hào)和信息系統(tǒng)集成的各個(gè)電力系統(tǒng)應(yīng)用在構(gòu)建智能電網(wǎng)過程中遇到了巨大的挑戰(zhàn)，包括電網(wǎng)狀態(tài)估計(jì)、情景分析、信號(hào)驅(qū)動(dòng)模擬和其他實(shí)際需求。另外，沒有統(tǒng)一標(biāo)準(zhǔn)的變電站二次設(shè)備和系統(tǒng)運(yùn)行監(jiān)控信號(hào)格式和變電站二次設(shè)備命名以及系統(tǒng)運(yùn)行監(jiān)控信號(hào)格式和命名，使雜波信號(hào)無法統(tǒng)一命名為數(shù)據(jù)存儲(chǔ)的基礎(chǔ)[1]。通過國(guó)內(nèi)外的相關(guān)研究，對(duì)電氣設(shè)備運(yùn)行監(jiān)測(cè)信號(hào)標(biāo)準(zhǔn)化沒有一種有效的處理方法。ETL（Extract-Transform-Load）是在提取、清理和轉(zhuǎn)換后將業(yè)務(wù)系統(tǒng)數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中的過程，其目的是將擴(kuò)展、凌亂、非統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)集成在一起，以便為業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)以備后續(xù)申請(qǐng)。

復(fù)雜事件處理（Complex Event Processng，CEP）[2]是一種在大數(shù)據(jù)時(shí)代興起的智能數(shù)據(jù)處理技術(shù)，它將數(shù)據(jù)視為數(shù)據(jù)流，復(fù)雜地處理基于規(guī)則引擎在業(yè)務(wù)流程中不斷生成的各種事件，從而實(shí)現(xiàn) 快速分析和處理連續(xù)數(shù)據(jù)。CEP引擎可以解決事務(wù)數(shù)據(jù)處理效率問題，因此特別適合采用規(guī)則庫(kù)和智能學(xué)習(xí)算法處理大數(shù)據(jù)的要求，對(duì)于二次設(shè)備運(yùn)行監(jiān)控信號(hào)數(shù)據(jù)標(biāo)準(zhǔn)化工作，可以根據(jù)編寫的規(guī)則庫(kù)，采用可插拔式智能算法庫(kù)，集成到CEP引擎進(jìn)行處理，從而達(dá)到顯著效果。

1 配電設(shè)備信號(hào)數(shù)據(jù)提取

1.1 配電網(wǎng)運(yùn)行監(jiān)控信號(hào)存儲(chǔ)

在當(dāng)前配電自動(dòng)化系統(tǒng)中，設(shè)備運(yùn)行監(jiān)控信號(hào)主要以4種形式存儲(chǔ)：實(shí)時(shí)數(shù)據(jù)庫(kù)、歷史數(shù)據(jù)庫(kù)、通用交換文件和NoSQL數(shù)據(jù)庫(kù)。存儲(chǔ)在實(shí)時(shí)數(shù)據(jù)庫(kù)和歷史數(shù)據(jù)庫(kù)中的信號(hào)數(shù)據(jù)采用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)管理模式，區(qū)別分別是物理存儲(chǔ)方式為內(nèi)存和硬盤，從而導(dǎo)致不同的訪問效率和持久性，適用于不同的實(shí)時(shí)和數(shù)據(jù)量場(chǎng)景。以這種方式存儲(chǔ)的操作監(jiān)視信號(hào)表的主要內(nèi)容[3-5]，如表1所示。

為了便于遷移、轉(zhuǎn)換和數(shù)據(jù)訪問操作監(jiān)控信號(hào)的普遍性，一些應(yīng)用程序使用通用交換文件格式來訪問配電網(wǎng)絡(luò)運(yùn)行監(jiān)控信號(hào)數(shù)據(jù)。如基于XML標(biāo)準(zhǔn)，根據(jù)其強(qiáng)大的可擴(kuò)展性以及電力系統(tǒng)特性，國(guó)家相應(yīng)提出了CM/E標(biāo)準(zhǔn)，致力于在各個(gè)應(yīng)用系統(tǒng)之間進(jìn)行電網(wǎng)模型數(shù)據(jù)的在線交換。調(diào)度控制中心的操作監(jiān)控信號(hào)數(shù)據(jù)CME文件存儲(chǔ)格式如下：

@d name vl_d pnt_type pr_flags

#122160141620511071 overcurrent 3nd plate 0001 1 3

隨著配電網(wǎng)規(guī)模的擴(kuò)大和復(fù)雜性的日益提升，運(yùn)行監(jiān)測(cè)信號(hào)數(shù)據(jù)量呈指數(shù)上升，呈現(xiàn)出大數(shù)據(jù)的趨勢(shì)。傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)和文件存儲(chǔ)方式已無法滿足讀取效率等要求，因此，操作監(jiān)控信號(hào)存儲(chǔ)將向大數(shù)據(jù)存儲(chǔ)的方向發(fā)展。因此根據(jù)智能電網(wǎng)發(fā)展需求，多源電網(wǎng)設(shè)備數(shù)據(jù)的匯集成為該業(yè)務(wù)建設(shè)亟需解決的問題之一。

1.2 監(jiān)控信號(hào)按需提取操作

為了實(shí)現(xiàn)多源信號(hào)的定向、定制分析服務(wù)，需要根據(jù)每個(gè)場(chǎng)、區(qū)域、變電站、電壓等級(jí)條件過濾和提取運(yùn)行監(jiān)測(cè)信號(hào)數(shù)據(jù)。通過對(duì)配電網(wǎng)運(yùn)行監(jiān)測(cè)信號(hào)數(shù)據(jù)存儲(chǔ)狀態(tài)的分析，將面臨兩種問題，即實(shí)現(xiàn)信號(hào)數(shù)據(jù)的按需提取[6-7]：

（1）多格式數(shù)據(jù)問題。當(dāng)前的信號(hào)數(shù)據(jù)存儲(chǔ)方法是多次的，數(shù)據(jù)不能通過統(tǒng)一的數(shù)據(jù)接口直接提取。

（2）數(shù)據(jù)分布式存儲(chǔ)問題。周圍的信號(hào)數(shù)據(jù)是獨(dú)立分布式存儲(chǔ)，這使得ETL工具難以進(jìn)行靈活的按需數(shù)據(jù)提取操作和集中數(shù)據(jù)處理。

對(duì)于多格式數(shù)據(jù)源和分布式存儲(chǔ)問題，采用開發(fā)多數(shù)據(jù)源接口，實(shí)現(xiàn)架構(gòu)如圖1所示。

如圖1所示，對(duì)于實(shí)時(shí)數(shù)據(jù)庫(kù)，歷史數(shù)據(jù)庫(kù)，通用文件和其他數(shù)據(jù)源，通過開發(fā)數(shù)據(jù)訪問接口構(gòu)成數(shù)據(jù)總線。用戶將通過數(shù)據(jù)選擇及提取程序選擇數(shù)據(jù)源，該程序調(diào)用數(shù)據(jù)總線訪問數(shù)據(jù)源接口并將數(shù)據(jù)提取到本地存儲(chǔ)器中的數(shù)據(jù)緩沖池。數(shù)據(jù)處理引擎從緩沖池中獲取流數(shù)據(jù)以進(jìn)行標(biāo)準(zhǔn)化，并將結(jié)果存儲(chǔ)到本地結(jié)果數(shù)據(jù)庫(kù)中。

守護(hù)進(jìn)程解決方案，實(shí)現(xiàn)架構(gòu)如圖2所示。

如圖2所示，對(duì)于獨(dú)立存儲(chǔ)的數(shù)據(jù)，開發(fā)了守護(hù)進(jìn)程以植入到數(shù)據(jù)服務(wù)器周圍。守護(hù)進(jìn)程從操作系統(tǒng)開始，內(nèi)存駐留，其需執(zhí)行的唯一任務(wù)是接收遠(yuǎn)程命令并調(diào)用本地?cái)?shù)據(jù)訪問接口。數(shù)據(jù)提取條件分為兩級(jí)過濾器。遠(yuǎn)程數(shù)據(jù)提取程序根據(jù)第一級(jí)條件，即區(qū)域和工廠站條件，向每個(gè)服務(wù)器守護(hù)程序發(fā)送獲取指令，守護(hù)程序調(diào)用數(shù)據(jù)服務(wù)器中的本地?cái)?shù)據(jù)訪問接口，并將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)緩沖區(qū)隊(duì)列;數(shù)據(jù)處理引擎從緩存隊(duì)列中獲取數(shù)據(jù)，以便根據(jù)第二級(jí)條件，即間隔和信號(hào)類型條件進(jìn)行處理。該方法不僅可以提高數(shù)據(jù)提取的效率，還可以防止數(shù)據(jù)緩沖區(qū)隊(duì)列過大，同時(shí)保證系統(tǒng)時(shí)間復(fù)雜度和空間復(fù)雜度在系統(tǒng)可接受范圍內(nèi)。

2 基于CEP引擎的運(yùn)行和監(jiān)控信號(hào)大數(shù)據(jù)處理架構(gòu) ?由于CEP引擎對(duì)復(fù)雜的事務(wù)數(shù)據(jù)處理有很好的效果，因此一直使用的操作和監(jiān)視信號(hào)數(shù)據(jù)處理引擎架構(gòu)主要包括輸入輸出模塊、CEP引擎核心，規(guī)則庫(kù)和算法庫(kù)。根據(jù)信號(hào)數(shù)據(jù)存儲(chǔ)的特點(diǎn)，輸入適配器將不同服務(wù)器中的每個(gè)格式源數(shù)據(jù)提取到引擎，引擎的核心是一個(gè)容器，它可以提供輸入輸出接口，信號(hào)處理框架，規(guī)則庫(kù)，算法庫(kù)等功能。信號(hào)清理規(guī)則庫(kù)的格式為XML文件或N配置文件，主要用于定義信號(hào)標(biāo)準(zhǔn)化過程中關(guān)鍵字提取，文本替換和文本刪除等清理規(guī)則。算法庫(kù)集成在RelaySghWash類中，主要用于定義和實(shí)現(xiàn)智能算法接口，如設(shè)備算法和信號(hào)清除，字頻分析，模式匹配等。規(guī)則庫(kù)和算法庫(kù)是處理引擎的核心，它們?cè)O(shè)計(jì)為可插拔的，以便于維護(hù)和擴(kuò)展，其架構(gòu)如圖3所示。

（1）數(shù)據(jù)清理規(guī)則庫(kù)

信號(hào)數(shù)據(jù)清理規(guī)則庫(kù)用于根據(jù)數(shù)據(jù)流流入CEP引擎后的處理邏輯標(biāo)準(zhǔn)化定義各種規(guī)則，具有通用性，直觀性，易讀性，易維護(hù)性等特點(diǎn)。

（2）設(shè)備清理規(guī)則庫(kù)

所有設(shè)備清理規(guī)則都定義為XML文件，包括基本設(shè)備名稱的提取規(guī)則和典型設(shè)備類型的匹配規(guī)則。文件格式定義如下：

CSC;CSR;SA;CS;PCS;WCB;WCH;UDL;FCK;DF;CA;S;PACS;CSL

a-zA-Z0-9/

＼＼s-_

設(shè)備名稱清除規(guī)則包含根標(biāo)記“root”和兩種規(guī)則標(biāo)記：“devclean”和“devname”。所有基本設(shè)備的名稱都被定義為“devclean”標(biāo)簽中的一些關(guān)鍵字，因此將清除關(guān)鍵字前面的所有不相關(guān)內(nèi)容。例如，“非電力RCS9664”將通過使用“devclean”規(guī)則清除為“RCS9664”，該規(guī)則提取“RCS”并刪除無關(guān)信息“非電力”?！癈haracter”標(biāo)簽用于定義所有匹配的設(shè)備模型，其中正則表達(dá)式定義方法用于表示數(shù)字、正斜杠、大寫和小寫字母。 “Excess”標(biāo)簽用于定義其他冗余字符，例如行和各種空格。同樣，在此標(biāo)記中應(yīng)用正則表達(dá)式定義方法，其中“＼＼s”表示空格，例如制表符和多個(gè)空格，雙反斜杠表示轉(zhuǎn)義字符。根據(jù)此規(guī)則，原始設(shè)備名稱“23/ARCS-9705-c measurement”可以智能地處理為“ARCS9705C”的規(guī)格名稱。

（3）數(shù)據(jù)清理算法庫(kù)

信號(hào)數(shù)據(jù)清理算法庫(kù)包括許多信號(hào)清理方法，不僅可以通過CEP引擎調(diào)用，還可以獨(dú)立調(diào)用。算法流程如圖4所示。

該算法主要包括保護(hù)裝置信息清洗和保護(hù)信號(hào)信息清洗。保護(hù)裝置信息清除部分包括關(guān)鍵字提取和保護(hù)器名稱兩步中的無關(guān)信息消除;保護(hù)信號(hào)信息清除包括關(guān)鍵字提取和消除，信號(hào)中的保護(hù)名稱消除，關(guān)鍵字替換和模糊匹配以及智能生成輸入四個(gè)步驟。

3 總結(jié)

本文主要介紹了一種基于CEP的大數(shù)據(jù)處理方法，用于主動(dòng)配電網(wǎng)多設(shè)備源運(yùn)行信號(hào)監(jiān)控。通過分析當(dāng)前信號(hào)數(shù)據(jù)存儲(chǔ)，提出了多源和分布式信號(hào)按需提取解決方案。CEP引擎中的可插拔清潔規(guī)則庫(kù)和信號(hào)庫(kù)是根據(jù)信號(hào)特征制定的?；贑EP引擎的監(jiān)視和控制信號(hào)數(shù)據(jù)處理方法可以實(shí)現(xiàn)快速準(zhǔn)確的信號(hào)清除，從而為每個(gè)信號(hào)驅(qū)動(dòng)的電力系統(tǒng)應(yīng)用提供有效的數(shù)據(jù)服務(wù)。

參考文獻(xiàn)

[1] Wang J， Sheng W， Yang H， et al. Desgn and mplementaton of a centralzed data acquston and supervsory system for medum-low voltage dstrbuton network[J]. Automaton of Electrc Power Systems， 2012， 36（18）：72-76.

[2] MENG You， LUAN Zhong Zh， XE Mng， et al. Operator-Based Extendable Complex Event Processng Model[J]. Journal of Software， 2014，25（11）：2715-1730.

[3] 馮玉潔. 基于風(fēng)險(xiǎn)型決策的繼電保護(hù)定值整定與管理研究[D].湘潭：湘潭大學(xué)，2017.

[4] 劉沅昆. 配用電系統(tǒng)高級(jí)量測(cè)體系與數(shù)據(jù)應(yīng)用方法研究[D].石家莊：華北電力大學(xué)，2017.

[5] 郟琨琪，王治華，范帥，等.電網(wǎng)信息物理系統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)架構(gòu)設(shè)計(jì)及應(yīng)用[J].電網(wǎng)技術(shù)，2018，42（10）：3116-3127.

[6] 沈金青，徐光福，黃宏盛，等.區(qū)域分布式光伏運(yùn)行監(jiān)控系統(tǒng)設(shè)計(jì)及應(yīng)用[J].電力安全技術(shù)，2018，20（8）：43-47.

[7] 王雷，李樂為，史金偉，等. EMS與DMS間數(shù)據(jù)交互的數(shù)據(jù)傳輸與安全控制操作方法研究[J].電力系統(tǒng)保護(hù)與控制，2018，46（10）：75-80.

（收稿日期： 2018.11.21）

基金項(xiàng)目：國(guó)網(wǎng)山東省電力公司科技項(xiàng)目（SGSDLY00FCJS1800728）

作者簡(jiǎn)介：管荑（1979-），女，濟(jì)南市，研究生，高級(jí)工程師，研究方向：電氣工程及其自動(dòng)化。

郭偉琪（1988-），女，臨沂市，本科，工程師，研究方向：電氣工程及其自動(dòng)化。

沈濤（1980-），男，黃驊縣，研究生，高級(jí)工程師，高級(jí)技師，研究方向：電氣工程及其自動(dòng)化。

王先富（1978-），男，商河縣，本科，高級(jí)工程師，研究方向：計(jì)算機(jī)應(yīng)用。文章編號(hào)：1007-757X（2020）01-0030-03