基于海量數(shù)據(jù)的智能配電網(wǎng)監(jiān)測系統(tǒng)設(shè)計

鮑永勝， 孫潔， 金鑫

(國網(wǎng)銀川供電公司， 寧夏， 銀川 750000)

0 引言

隨著智能配電網(wǎng)的發(fā)展，智能配電網(wǎng)在數(shù)據(jù)采集、分析和整理方面需求量加大。目前對電力系統(tǒng)的配電網(wǎng)監(jiān)測成為配電網(wǎng)發(fā)展主要障礙，電力系統(tǒng)的持續(xù)擴大對電力系統(tǒng)的安全運行、系統(tǒng)控制帶來難度[1]。電力系統(tǒng)智能化的發(fā)展使配電網(wǎng)具有較好的自愈性，一定程度下可抵抗外界的攻擊，對分布式電力和再生性能源有很好的支持作用。

大城市的智能配電網(wǎng)發(fā)展迅速，在同一個城區(qū)內(nèi)會同時產(chǎn)生海量數(shù)據(jù)，對這些海量數(shù)據(jù)實現(xiàn)實時監(jiān)測的難度極大，我國一些學者也對此展開了研究。羅慧等[2]對基于大數(shù)據(jù)平臺的智能配電網(wǎng)狀態(tài)自動監(jiān)測系統(tǒng)進行了研究，在大數(shù)據(jù)平臺下，設(shè)計總體框架結(jié)構(gòu),通過信息交互總線集成相關(guān)配電業(yè)務(wù)，分析硬件結(jié)構(gòu)和軟件功能。根據(jù)系統(tǒng)硬件結(jié)構(gòu)監(jiān)測網(wǎng)絡(luò)狀態(tài)，對接口文件進行可視化處理，查看設(shè)備線路異常信號，通過該信號確定配電網(wǎng)出現(xiàn)異常的位置。但該系統(tǒng)沒有考慮數(shù)據(jù)量極大的情況，當出現(xiàn)海量數(shù)據(jù)時自動監(jiān)測效率是否能達到理想狀態(tài)。張穩(wěn)等[1]對基于海量數(shù)據(jù)的配電網(wǎng)運行分析系統(tǒng)架構(gòu)與技術(shù)實現(xiàn)展開了分析，該系統(tǒng)集成電網(wǎng)地理信息、營銷業(yè)務(wù)應(yīng)用和配電自動化等系統(tǒng)數(shù)據(jù)，采用改進的機器學習算法和薄弱點辨識方法，擴展了目標配電網(wǎng)數(shù)據(jù)相關(guān)性分析、故障風險等級預測和薄弱點辨識的功能，從而指導配電網(wǎng)的運維檢修。該系統(tǒng)雖考慮了海量數(shù)據(jù)下的配電網(wǎng)運行，但沒有考慮到監(jiān)測對海量數(shù)據(jù)下的智能配電網(wǎng)監(jiān)測的效率不高。為了解決以上出現(xiàn)的問題，本文設(shè)計了一種考慮海量數(shù)據(jù)的智能配電網(wǎng)監(jiān)測系統(tǒng)，提高海量數(shù)據(jù)下的監(jiān)測效率，有利于相關(guān)部門有針對性地提出相應(yīng)技術(shù)和管理手段進行配電網(wǎng)運維檢修工作，提高現(xiàn)有配電網(wǎng)分析系統(tǒng)的科學性和實用性，為最終實現(xiàn)配電網(wǎng)運行分析的信息化、智能化、精益化奠定基礎(chǔ)。

1 基于海量數(shù)據(jù)的智能配電網(wǎng)監(jiān)測系統(tǒng)設(shè)計

1.1 系統(tǒng)架構(gòu)設(shè)計

由于配電網(wǎng)運行過程中產(chǎn)生了海量數(shù)據(jù)，智能配電網(wǎng)監(jiān)測系統(tǒng)采用云存儲技術(shù)實時監(jiān)測設(shè)備狀態(tài)，其需要基于智能配電網(wǎng)的視頻數(shù)據(jù)、圖片數(shù)據(jù)等狀態(tài)數(shù)據(jù)。文章采用云存儲技術(shù)基于Hadoop框架實現(xiàn)智能配電網(wǎng)監(jiān)測系統(tǒng)設(shè)計，系統(tǒng)的架構(gòu)如圖1所示。該系統(tǒng)采用Master/Slave架構(gòu)實現(xiàn)智能配電網(wǎng)數(shù)據(jù)的管理，將海量數(shù)據(jù)劃分成幾個數(shù)據(jù)塊，將數(shù)據(jù)塊保存到不同的數(shù)據(jù)節(jié)點中[3]。云存儲管理技術(shù)的集群系統(tǒng)存在一個以Namenode命名空間以及多個Datanode數(shù)據(jù)節(jié)點，前者的作用是對配電網(wǎng)海量數(shù)據(jù)進行管理和分割，后者實現(xiàn)配電網(wǎng)數(shù)據(jù)的處理。

本研究所設(shè)計的考慮海量數(shù)據(jù)的智能配電網(wǎng)監(jiān)測系統(tǒng)邏輯架構(gòu)如圖2所示。

圖2 基于Hadoop的智能配電網(wǎng)監(jiān)測系統(tǒng)邏輯架構(gòu)

本研究所設(shè)計的智能配電網(wǎng)監(jiān)測系統(tǒng)通過HDFS軟件架構(gòu)保存配電網(wǎng)上出現(xiàn)的海量數(shù)據(jù)，提高了數(shù)據(jù)的安全性。系統(tǒng)架構(gòu)使用的Master/Slave 架構(gòu)，將系統(tǒng)中的隨機一個節(jié)點設(shè)置成Namenode，它作為云存儲服務(wù)主節(jié)點控制系統(tǒng)的元數(shù)據(jù)，完成執(zhí)行文件的訪問以及控制，對Datanode數(shù)據(jù)節(jié)點數(shù)據(jù)實施打開以及關(guān)閉等處理[3]。數(shù)據(jù)節(jié)點Datanode能夠響應(yīng)Namenode申請，完成數(shù)據(jù)塊以及文件的過濾、啟動和停用。文章設(shè)置數(shù)據(jù)存儲文件的大小是64 MB，向Datanode數(shù)據(jù)節(jié)點中保存冗余數(shù)據(jù)，將數(shù)據(jù)塊存儲到3個數(shù)據(jù)節(jié)點Datanode中，實現(xiàn)云存儲技術(shù)的數(shù)據(jù)冗余以及自主修復功能，提升智能配電網(wǎng)數(shù)據(jù)的安全性。

系統(tǒng)將MapReduce當成海量配電網(wǎng)數(shù)據(jù)并行編程模型的運算框架。通過任務(wù)分解以及結(jié)果匯總，利用MapReduce技術(shù)框架操作海量數(shù)據(jù)集，完成智能配電網(wǎng)海量數(shù)據(jù)的并行運算，同任務(wù)數(shù)據(jù)結(jié)果實施映射分解以及匯總處理。MapReduce編程模型通過Pig語言簡化開發(fā)程序。文章通過配電網(wǎng)私有云平臺實現(xiàn)智能配電網(wǎng)監(jiān)測，增強網(wǎng)絡(luò)傳輸效率及配電網(wǎng)的監(jiān)測質(zhì)量。

1.2 MapReduce 監(jiān)測模塊設(shè)計

MapReduce 技術(shù)框架包括Map(映射)以及Reduce(化簡)兩個過程，Map 函數(shù)完成關(guān)鍵字到新鍵值間的映射，基于新鍵值組為子任務(wù)實現(xiàn)查詢提供服務(wù)，完成任務(wù)映射，執(zhí)行子任務(wù)；Reduce能夠?qū)︽I值間的映射關(guān)系實施翻轉(zhuǎn)，融合子任務(wù)，對任務(wù)進行并行運算。任務(wù)并行運算能夠產(chǎn)生大量的臨時操作文件，本研究所設(shè)計系統(tǒng)通過云計算能力，增強海量配電網(wǎng)數(shù)據(jù)的操作以及檢測性能，對智能配電網(wǎng)中的海量數(shù)據(jù)進行高效控制[3]。

本研究所設(shè)計系統(tǒng)包括上層及下層，上層完成數(shù)據(jù)的分析以及采集，通過絕緣子信息、斷路器以及電流、電壓傳感器采集配電網(wǎng)信息。MapReduce 模型將應(yīng)用分割成不同并行運行的子任務(wù)，該模型可存儲異常的配電網(wǎng)信息設(shè)備數(shù)據(jù)，同時對配電網(wǎng)信號進行變換處理。數(shù)據(jù)預處理、特征采集以及信號變換等過程構(gòu)成不同的子任務(wù)，各子任務(wù)基于時間段劃分成不同的子過程，完成子過程后實施反向處理[4]，對結(jié)果進行融合操作，得到最終配電網(wǎng)分析結(jié)果，完成智能配電網(wǎng)狀態(tài)的準確監(jiān)測。

MapReduce實施查詢功能分為三步驟，其中數(shù)據(jù)讀取功能實現(xiàn)由用戶進行設(shè)定。

(1) 將用戶輸入的時間信息轉(zhuǎn)化為指令，同時開始MapReduce查詢流程。

(2) 數(shù)據(jù)經(jīng)過Map和Reduce處理后，從本研究所設(shè)計系統(tǒng)中進行數(shù)據(jù)提取和讀取。

(3) 從HBase中得到所需數(shù)據(jù)后，將得到的數(shù)據(jù)導入文件管理系統(tǒng)HDFS中，再采用MapReduce對HDFS中的數(shù)據(jù)進行讀取。

1.3 海量數(shù)據(jù)的標準化預處理

在數(shù)據(jù)經(jīng)過MapReduce模塊并行運算后，對其進行標準化預處理，其預處理硬件結(jié)構(gòu)如下。

1.3.1 預處理系統(tǒng)電路結(jié)構(gòu)圖

智能配電網(wǎng)監(jiān)測系統(tǒng)數(shù)據(jù)預處理的總體電路設(shè)計結(jié)構(gòu)用圖3描述。系統(tǒng)采用電流、電壓傳感器獲取配電網(wǎng)的電流以及電壓信號，將這些信號輸入信號調(diào)理電路，并對信號實施匯總操作，將操作結(jié)果反饋到模數(shù)變換器變換成數(shù)字信號后傳輸?shù)絾纹瑱C中，單片機基于數(shù)字信號實現(xiàn)配電網(wǎng)信號監(jiān)測的人機處理以及配電網(wǎng)信號的數(shù)據(jù)呈現(xiàn)[5]，并進行上位機與下位機的信號交互。

圖3 系統(tǒng)電路結(jié)構(gòu)圖

1.3.2 傳感器節(jié)點電路的設(shè)計

傳感器可測量配電網(wǎng)電流。傳感器將測量的電流信號轉(zhuǎn)化為數(shù)字信號，數(shù)字信號再通過傳感網(wǎng)絡(luò)導入到匯聚節(jié)點。圖4為傳感器節(jié)點結(jié)構(gòu)圖，包括電源、電流傳感器、信號處理電路和匯聚節(jié)點。電流傳感器將智能配電網(wǎng)系統(tǒng)中的交流強電流轉(zhuǎn)化成弱電流，電流傳感器是智能配電網(wǎng)監(jiān)測系統(tǒng)中的基礎(chǔ)監(jiān)測設(shè)備。電流傳感器除了可以對強電流起到弱化作用外，還能防止由于強電流影響對低壓信號進行監(jiān)測帶來猛烈變化的問題。選擇高效電流傳感器可加快智能配電網(wǎng)電流的檢測和轉(zhuǎn)化速率，降低配電網(wǎng)監(jiān)測中的失誤，保證電力系統(tǒng)的正常運行[6]。因此，本研究所設(shè)計系統(tǒng)采用LEM公司的RT500型號的電流傳感器，該型號傳感器具有安裝速度快、傳感性能好和測量精度高的特點。利用CC1110處理器實現(xiàn)節(jié)點與電路的通信處理。

圖4 傳感器節(jié)點結(jié)構(gòu)框圖

1.3.3 信號處理電路的設(shè)計

由采用的RT500電流傳感器的技術(shù)參數(shù)可知，其輸出的電壓與被監(jiān)測的電流呈現(xiàn)一種微分關(guān)系，存在高諧波分量和90°的相位差。為使本研究所設(shè)計智能配電網(wǎng)監(jiān)測系統(tǒng)對電流監(jiān)測結(jié)果更加準確，需要對電流傳感器信號輸出進行標準化處理使其成為標準信號。信號處理過程的好壞關(guān)系到本研究所設(shè)計系統(tǒng)監(jiān)測能力的強弱，圖5為傳感器信號處理電路，該信號處理電路包括補償電路和相移電路等。

圖5 傳感器信號處理電路

1.4 GUI實現(xiàn)流程

圖6為本研究所設(shè)計的智能配電網(wǎng)監(jiān)測系統(tǒng)數(shù)據(jù)處理流程圖。

圖6 MapReduce Jobl和MapReduce Job2

2 并行處理流程

為了使數(shù)據(jù)格式與云存儲下的數(shù)據(jù)格式相同，需要對海量數(shù)據(jù)進行預處理，即對數(shù)據(jù)格式做合理的轉(zhuǎn)換[7-8]。使用本研究所設(shè)計系統(tǒng)進行配電網(wǎng)監(jiān)測時，首先要實現(xiàn)用戶的數(shù)據(jù)查詢。圖7為用戶查詢模塊GUI流程圖，其用戶界面處理流程：① 向用戶提供系統(tǒng)查詢時間，方便數(shù)據(jù)查詢；② 判別用戶數(shù)據(jù)輸入正確性；③ 網(wǎng)關(guān)驗證，對輸入指令的處理即數(shù)據(jù)拆分；④ 實施MapRedce數(shù)據(jù)查詢；⑤ 數(shù)據(jù)查詢結(jié)果利用同步方式和異步方式實現(xiàn)數(shù)據(jù)查詢；⑥ 數(shù)據(jù)界面顯示數(shù)據(jù)查詢結(jié)果。

圖7 用戶查詢模塊GUI流程圖

3 實驗分析

實驗為了檢測本研究所設(shè)計的基于海量數(shù)據(jù)的智能配電網(wǎng)監(jiān)測系統(tǒng)的性能，采用本研究所設(shè)計系統(tǒng)對某城市用電高負荷區(qū)的海量數(shù)據(jù)下的智能配電網(wǎng)進行實驗監(jiān)測。

3.1 系統(tǒng)運行結(jié)果展示

配電網(wǎng)歷史數(shù)據(jù)查詢結(jié)果如圖8所示。

圖8 監(jiān)控歷史曲線

綜合分析圖8中的各項結(jié)果，能夠看出本研究所設(shè)計系統(tǒng)是一種有效的智能配電網(wǎng)監(jiān)測系統(tǒng)，能夠呈現(xiàn)配電網(wǎng)歷史數(shù)據(jù)以及遠程數(shù)據(jù)檢索結(jié)果。配電網(wǎng)遠程數(shù)據(jù)檢索結(jié)果可通過圖9所述的檢索界面進行查詢。

圖9 檢索界面

3.2 實驗結(jié)果分析

實驗對本研究所設(shè)計系統(tǒng)運行結(jié)果進行客觀評估，檢測本研究所設(shè)計系統(tǒng)功能是否可以正常運行，滿足用戶的正常需求。查找系統(tǒng)漏洞，監(jiān)測系統(tǒng)的可靠性。采用系統(tǒng)的績效關(guān)系集合和績效模型，改正在實驗過程中出現(xiàn)的系統(tǒng)漏洞，使系統(tǒng)功能更加完整。系統(tǒng)軟件測試主要采用黑盒測試法，結(jié)果如表1所示。

表1 本研究所設(shè)計系統(tǒng)軟件測試結(jié)果

3.2.1 軟件測試結(jié)果

分析表1中的結(jié)果可知，本研究所設(shè)計系統(tǒng)軟件各項功能運行正常，能夠?qū)崿F(xiàn)智能配電網(wǎng)的準確監(jiān)測。

3.2.2 客觀檢測結(jié)果

實驗為檢測海量數(shù)據(jù)對本研究監(jiān)測系統(tǒng)的影響，對不同數(shù)據(jù)量進行多次實驗以降低偶然性，以傳統(tǒng)Oracle系統(tǒng)[9]作為實驗對比系統(tǒng)，表2為不同數(shù)據(jù)量下傳統(tǒng)Oracle系統(tǒng)和本研究系統(tǒng)的數(shù)據(jù)擴展性用時結(jié)果的平均值。圖10為傳統(tǒng)Oracle系統(tǒng)和本研究所設(shè)計系統(tǒng)的數(shù)據(jù)處理時間折線圖。

表2 不同系統(tǒng)的數(shù)據(jù)量擴展實驗耗時比較

圖10 數(shù)據(jù)處理時間

從表2可知，在處理10萬條數(shù)據(jù)的時候，2個系統(tǒng)所用時間相差極小，在處理50萬條數(shù)據(jù)的時候，2個系統(tǒng)所用時間相差不大，但隨著海量數(shù)據(jù)的產(chǎn)生，在處理500萬條以上數(shù)據(jù)時，本研究所設(shè)計系統(tǒng)處理數(shù)據(jù)的效率優(yōu)勢顯著優(yōu)于Oracle系統(tǒng)，說明相對Oracle系統(tǒng)，本研究所設(shè)計系統(tǒng)在處理智能配電網(wǎng)海量數(shù)據(jù)監(jiān)測時，數(shù)據(jù)處理能力較強，處理數(shù)據(jù)的速度更快、耗時更短。

分析圖10可知，采用本研究所設(shè)計的配電網(wǎng)監(jiān)測系統(tǒng)處理海量數(shù)據(jù)的時候，效率明顯高于傳統(tǒng)Oracle系統(tǒng)。表明本研究所設(shè)計的監(jiān)測系統(tǒng)對于海量數(shù)據(jù)的處理具有較高的效率。

4 總結(jié)

本研究所設(shè)計的基于海量數(shù)據(jù)的智能配電網(wǎng)監(jiān)測系統(tǒng)，采用Master/Slave架構(gòu)完成配電網(wǎng)數(shù)據(jù)的管理，將MapReduce當成配電網(wǎng)數(shù)據(jù)并行編程模型的運算框架，完成智能配電網(wǎng)海量數(shù)據(jù)的并行運算，提高了智能配電網(wǎng)的監(jiān)測效率。實驗結(jié)果表明，本研究所設(shè)計系統(tǒng)相對于傳統(tǒng)Oracle系統(tǒng)在面對海量數(shù)據(jù)處理時，優(yōu)勢表現(xiàn)明顯，監(jiān)測處理的數(shù)據(jù)更多，效率更高。但在以后的研究中，也應(yīng)對一些其他學者研究的新系統(tǒng)做更加全面的對比，優(yōu)化本研究所設(shè)計系統(tǒng)構(gòu)架，確保處于行業(yè)領(lǐng)先水平。