云計(jì)算的智能電網(wǎng)大數(shù)據(jù)處理平臺(tái)

李子乾 朱青 穆松鶴 張?jiān)?/p>

摘要：為有效滿足智能電網(wǎng)對(duì)大數(shù)據(jù)處理的需求，文章完成了SP-DPP大數(shù)據(jù)處理平臺(tái)的構(gòu)建，該平臺(tái)基于云計(jì)算，主要由客戶端、存儲(chǔ)管理、任務(wù)分配調(diào)度、執(zhí)行四大模塊構(gòu)成，并根據(jù)電網(wǎng)人數(shù)據(jù)處理需求完成了數(shù)學(xué)模型的構(gòu)建及數(shù)據(jù)任務(wù)的劃分，對(duì)平臺(tái)處理人數(shù)據(jù)的編碼方式進(jìn)行了詳細(xì)描述，并以IEEE118節(jié)點(diǎn)電網(wǎng)為例介紹了大數(shù)據(jù)處理程序，該平臺(tái)在吞吐量及加速比方面表現(xiàn)出了較大的優(yōu)勢(shì)，為提升智能電網(wǎng)對(duì)電網(wǎng)大數(shù)據(jù)的處理性能提供參考。

關(guān)鍵詞：智能電網(wǎng);大數(shù)據(jù)處理平臺(tái);云計(jì)算;潮流計(jì)算

中圖分類號(hào)：TP311.13;TM76文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1001-5922（2019）11-0169-05

快速發(fā)展及應(yīng)用范圍不斷擴(kuò)大的現(xiàn)代電網(wǎng)促使電網(wǎng)數(shù)據(jù)迅速增長(zhǎng)，電力系統(tǒng)已進(jìn)人大數(shù)據(jù)時(shí)代，為電力系統(tǒng)的數(shù)據(jù)存儲(chǔ)及管理工作提出了巨大的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)處理模式已經(jīng)難以滿足滿足電網(wǎng)現(xiàn)代化的運(yùn)營(yíng)管理需求。近年來(lái)隨著現(xiàn)代先進(jìn)技術(shù)在智能電網(wǎng)中的廣泛使用（包括網(wǎng)絡(luò)計(jì)算機(jī)通信、傳感器測(cè)量等技術(shù)），面對(duì)不斷擴(kuò)大的電網(wǎng)規(guī)模包括數(shù)據(jù)采集與監(jiān)控、相量測(cè)量等在內(nèi)的電力系統(tǒng)中所產(chǎn)生的數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)（數(shù)據(jù)量巨大且種類繁多），構(gòu)建面向智能電網(wǎng)的大數(shù)據(jù)處理平臺(tái)提升電網(wǎng)管理效率及質(zhì)量已成為行業(yè)內(nèi)的重點(diǎn)研究領(lǐng)域之一。

1需求分析

電壓、電量、用戶負(fù)荷等是智能電網(wǎng)正常運(yùn)行的基礎(chǔ)，傳統(tǒng)包括MPI集群、Globus網(wǎng)格等計(jì)算處理技術(shù)隨著電網(wǎng)數(shù)據(jù)及軟件容量的不斷增大已經(jīng)難以滿足智能電網(wǎng)數(shù)據(jù)處理需求，迅速發(fā)展的云計(jì)算及大數(shù)據(jù)等技術(shù)憑借自身的強(qiáng)大優(yōu)勢(shì)逐漸在智能電網(wǎng)監(jiān)管及檢測(cè)等領(lǐng)域普及應(yīng)用。云計(jì)算將一種有償?shù)纳虡I(yè)服務(wù)提供給客戶端，各大IT公司擁有云平臺(tái)源代碼版權(quán)，作為技術(shù)躍進(jìn)或商業(yè)實(shí)現(xiàn)結(jié)果，云計(jì)算實(shí)現(xiàn)了部分源代碼的開放，已成為處理大數(shù)據(jù)的主要手段，具備科學(xué)高效處理優(yōu)勢(shì)的云平臺(tái)可有效滿足智能電網(wǎng)大數(shù)據(jù)的處理需求。采用云計(jì)算并行處理大規(guī)模數(shù)據(jù)集的方法易于搭建，可有效降低開發(fā)及使用成本。本文針對(duì)智能電網(wǎng)采用云計(jì)算的MapReduce規(guī)范開源代碼完成了SP-DPP（smart power system big dataprocessingplatform in cloud environment）大數(shù)據(jù)處理平臺(tái)的構(gòu)建，并對(duì)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)過程進(jìn)行了闡述。

2SP-DPP平臺(tái)的設(shè)計(jì)

為滿足高效處理電網(wǎng)海量數(shù)據(jù)的需求，本文所設(shè)計(jì)的SP-DPP云平臺(tái)架構(gòu)示意圖如圖1所示，不同于傳統(tǒng)計(jì)算平臺(tái)，SP-DPP云平臺(tái)以服務(wù)的方式向用戶提供IT相關(guān)功能，用戶通過注冊(cè)及訪問服務(wù)即可使用該平臺(tái)，平臺(tái)通過具備穩(wěn)定可靠?jī)?yōu)勢(shì)的中心節(jié)點(diǎn)（主要由集群服務(wù)器構(gòu)成）完成智能電網(wǎng)大數(shù)據(jù)的存儲(chǔ)，平臺(tái)需將大數(shù)據(jù)處理任務(wù)調(diào)度到中心節(jié)點(diǎn)上，在此基礎(chǔ)上完成任務(wù)的提交和分配處理過程，SP-DPP云平臺(tái)按照邏輯分為客戶端、存儲(chǔ)管理、任務(wù)分配調(diào)度、執(zhí)行4大模塊。以潮流計(jì)算的結(jié)果為依據(jù)完成分析及監(jiān)控電網(wǎng)狀態(tài)的功能。

2.1大數(shù)據(jù)存儲(chǔ)與管理模塊

該模塊的主要功能在于存儲(chǔ)所需處理的大數(shù)據(jù)以及各類文件系統(tǒng)的名空間，具體通過使用DFS（分布式文件系統(tǒng)）完成存儲(chǔ)過程，在設(shè)計(jì)選取DFS時(shí)為使其優(yōu)于集群并行文件系統(tǒng)，本文充分利用了虛擬化技術(shù)，系統(tǒng)平臺(tái)對(duì)電網(wǎng)海量數(shù)據(jù)（由TB到PB級(jí)）通過DFS進(jìn)行自動(dòng)管理，程序設(shè)計(jì)過程中僅包含一個(gè)對(duì)用戶透明的文件系統(tǒng)顯著提高了平臺(tái)獲取數(shù)據(jù)的便利性（如/DFS/tmp/filel），實(shí)際由眾多不同物理節(jié)點(diǎn)存放大數(shù)據(jù)。此外，通過管理文件系統(tǒng)的命名空間使平臺(tái)中的其他模塊能夠?qū)ο嚓P(guān)數(shù)據(jù)進(jìn)行高效便捷的訪問。

2.2任務(wù)分配與調(diào)度模塊

大數(shù)據(jù)的處理（包括任務(wù)分配、調(diào)度及處理執(zhí)行）需以大數(shù)據(jù)的存儲(chǔ)作為基礎(chǔ)，任務(wù)分配與調(diào)度作為平臺(tái)的核心模塊主要負(fù)責(zé)劃分平臺(tái)的大數(shù)據(jù)處理任務(wù)，然后在空閑工作機(jī)上分配并執(zhí)行各個(gè)子任務(wù)，該模塊重點(diǎn)考慮的問題在于：任務(wù)劃分，需根據(jù)大數(shù)據(jù)處理類應(yīng)用的特點(diǎn)進(jìn)行劃分以確保其能夠在SP-DPP平臺(tái)上運(yùn)行，劃分任務(wù)時(shí)針對(duì)潮流計(jì)算的大數(shù)據(jù)處理可通過于任務(wù)的設(shè)計(jì)（對(duì)應(yīng)預(yù)想異常的初始參數(shù)）完成最基本工作單元的確認(rèn)和處理過程，需通過調(diào)度模塊對(duì)涉及到的工作單元進(jìn)行高效的調(diào)度使其合理分布于不同工作機(jī)上執(zhí)行;調(diào)度策略，需對(duì)實(shí)際使用的工作機(jī)進(jìn)行綜合考慮，包括硬件配置情況（如CPU、內(nèi)存、空余磁盤空間等）及軟件信息（如CPU利用率、網(wǎng)絡(luò)帶寬、負(fù)載等），以確保工作單元的遷移更加靈活高效（在各物理節(jié)點(diǎn)間）;容錯(cuò)問題，采用冗余方式的SP-DPP平臺(tái)需能夠?qū)κЧ?jié)點(diǎn)進(jìn)行自動(dòng)檢測(cè)和及時(shí)排除，確保平臺(tái)主控任務(wù)的正常運(yùn)行;負(fù)載均衡，在同一物理節(jié)點(diǎn)上對(duì)多個(gè)虛擬機(jī)計(jì)算節(jié)點(diǎn)（負(fù)載較?。┻M(jìn)行合并，使實(shí)際各物理節(jié)點(diǎn)的資源利用率得以顯著提高。在創(chuàng)建其它工作機(jī)時(shí)需以當(dāng)前文件位置及大小為依據(jù)完成，同時(shí)監(jiān)控工作機(jī)的執(zhí)行狀態(tài)。

2.3大數(shù)據(jù)處理執(zhí)行及客戶端模塊

本文所設(shè)計(jì)的SP-DPP云平臺(tái)運(yùn)用了包括桌面、系統(tǒng)虛擬化等在內(nèi)的虛擬化技術(shù)，云資源的使用基于桌面虛擬化，該平臺(tái)在虛擬機(jī)上完成電網(wǎng)大數(shù)據(jù)處理過程，通過執(zhí)行模塊采用虛擬機(jī)的方式完成具體工作單元（由調(diào)度模塊分發(fā)）的接收和執(zhí)行，并向調(diào)度模塊返回執(zhí)行狀態(tài)和臨時(shí)結(jié)果。該模塊子任務(wù)從存儲(chǔ)管理模塊中獲取大數(shù)據(jù)處理信息并執(zhí)行完后，仍在大數(shù)據(jù)服務(wù)器中存儲(chǔ)結(jié)果。用戶通過客戶端在聯(lián)網(wǎng)狀態(tài)下即可對(duì)SP-DPP云平臺(tái)進(jìn)行訪問，客戶端可以服務(wù)等級(jí)協(xié)議（SLA）為依據(jù)進(jìn)行按時(shí)付費(fèi)管理。

3電網(wǎng)大數(shù)據(jù)處理的數(shù)學(xué)模型

3.1數(shù)學(xué)模型的構(gòu)建

電網(wǎng)運(yùn)行情況的判斷已成為各電網(wǎng)公司調(diào)度中心的重要工作內(nèi)容，目前潮流計(jì)算是對(duì)智能電網(wǎng)狀態(tài)進(jìn)行判斷時(shí)較為常用的數(shù)據(jù)模型，假設(shè)，P_i，O_i，U_i，U_j，G_ij，B_ij，θ_ij均表示電網(wǎng)相關(guān)參數(shù)，潮流方程的極坐標(biāo)表達(dá)式如下。

判斷電網(wǎng)的狀態(tài)通常需對(duì)P、Q、U、θ中的任意兩個(gè)參數(shù)進(jìn)行設(shè)置，在此基礎(chǔ)上以方程組的約束條件為依據(jù)完成另外兩個(gè)參數(shù)的求解過程。智能電網(wǎng)的規(guī)模同方程組中n的取值成正比。

3.2智能電網(wǎng)大數(shù)據(jù)的劃分

本文在對(duì)電網(wǎng)大數(shù)據(jù)任務(wù)進(jìn)行劃分時(shí)編程模型的思路采用了主-從模式，針對(duì)電網(wǎng)異常狀態(tài)將對(duì)應(yīng)不同的預(yù)想事故進(jìn)行設(shè)置，將各預(yù)想事故對(duì)應(yīng)一個(gè)同Mapper（位于MapReduce中）類似的子任務(wù)形式，通過Mapper子程序代碼能夠獲取電網(wǎng)不同運(yùn)行狀態(tài)（采用串行潮流計(jì)算方法）。考慮到預(yù)想事故不一定會(huì)導(dǎo)致電網(wǎng)出現(xiàn)異常需進(jìn)行匯總判斷，具備匯總歸約功能的Reduce可有效滿足判斷匯總電網(wǎng)狀態(tài)的需求。電網(wǎng)大數(shù)據(jù)處理的劃分模型如圖2所示，方程組約束中的潮流通過各Map獲取對(duì)應(yīng)特定電網(wǎng)運(yùn)行狀態(tài)的子結(jié)果，各Reduce對(duì)應(yīng)各參數(shù)指標(biāo)判斷結(jié)果（越界或異常），整個(gè)運(yùn)行流程由一個(gè)主程序進(jìn)行控制，最終實(shí)現(xiàn)電網(wǎng)運(yùn)行狀態(tài)異常的檢測(cè)過程。

4平臺(tái)的實(shí)現(xiàn)

并行大數(shù)據(jù)處理的編程模型主要包括映射歸約（MapReduce）、主一從、分治等模式，均具有獨(dú)立子任務(wù)執(zhí)行功能（類似工作單元），不斷發(fā)展的數(shù)據(jù)存儲(chǔ)及管理技術(shù)使云平臺(tái)大數(shù)據(jù)處理時(shí)存在依賴關(guān)系，允許子任務(wù)節(jié)點(diǎn)間交互的軟件拓展了云平臺(tái)的應(yīng)用處理類型，在SP-DPP云平臺(tái)中使用了較為先進(jìn)成熟的開源的MapReduce規(guī)范（位于Apache的Hadoop中，一種軟件代碼不對(duì)外界公布的云計(jì)算的編程模型），適用于分布式大數(shù)據(jù)處理（包括存儲(chǔ)、調(diào)度、執(zhí)行、容錯(cuò)、負(fù)載均衡）。針對(duì)電網(wǎng)大數(shù)據(jù)狀態(tài)MapReduce編程規(guī)范只需通過編寫Mapper和Reducer程序即可完成安全分析。

4.1核心模塊功能的實(shí)現(xiàn)

本文選用Hadoop的HDFS實(shí)現(xiàn)大數(shù)據(jù)存儲(chǔ)與管理功能，通過使用HDFS完成對(duì)主控服務(wù)器、數(shù)據(jù)服務(wù)器、作業(yè)服務(wù)器和任務(wù)服務(wù)器等角色的部署，大數(shù)據(jù)存儲(chǔ)及管理文件系統(tǒng)命名空間功能主要通過主控服務(wù)器、數(shù)據(jù)服務(wù)器完成。任務(wù)分配調(diào)度功能則通過使用Hadoop的任務(wù)服務(wù)器實(shí)現(xiàn)，分配電網(wǎng)大數(shù)據(jù)任務(wù)時(shí)需先完成預(yù)先放置于HDFS中的分片的設(shè)置，采用Hadoop中的原始調(diào)度、容錯(cuò)及負(fù)載均衡策略（通過分析更改開源代碼可實(shí)現(xiàn)對(duì)這些策略的改進(jìn)）。任務(wù)和數(shù)據(jù)服務(wù)器需同時(shí)部署于存儲(chǔ)的物理節(jié)點(diǎn)上，在MapReduce中，運(yùn)行于數(shù)據(jù)服務(wù)器上的下屬任務(wù)服務(wù)器（負(fù)責(zé)執(zhí)行工作單元）通過作業(yè)服務(wù)器進(jìn)行調(diào)度和管理。工作機(jī)模塊功能通過使用任務(wù)服務(wù)器角色實(shí)現(xiàn)。作業(yè)服務(wù)器負(fù)責(zé)主控任務(wù)，運(yùn)行在從屬節(jié)點(diǎn)上的任務(wù)服務(wù)器主要負(fù)責(zé)接收并執(zhí)行子任務(wù)，并向作業(yè)服務(wù)器返回執(zhí)行狀態(tài)和結(jié)果。圖3為本文所設(shè)計(jì)平臺(tái)的各功能模塊邏輯關(guān)系，虛線框表示虛擬節(jié)點(diǎn)，實(shí)際的物理節(jié)點(diǎn)負(fù)責(zé)實(shí)現(xiàn)大數(shù)據(jù)任務(wù)分配調(diào)度功能，由實(shí)線框Master表示;實(shí)現(xiàn)工作機(jī)和存儲(chǔ)管理功能的實(shí)際物理節(jié)點(diǎn)由實(shí)線框Slave表示。

4.2電網(wǎng)大數(shù)據(jù)處理的編碼

在完成平臺(tái)基本軟件環(huán)境搭建的基礎(chǔ)上（通過配置MapReduce實(shí)現(xiàn)），利用MapReduce編寫潮流計(jì)算程序，其中Map函數(shù)代碼（針對(duì)潮流計(jì)算的串行計(jì)算）表示如下。

考慮到MapReduce通常采用Java語(yǔ)言，而潮流計(jì)算大多采用C++作為串行源代碼，本文在Java環(huán)境下通過使用JNI技術(shù)完成C++代碼的調(diào)用，使Hadoop能夠透明的執(zhí)行相應(yīng)角色。

5平臺(tái)測(cè)試

為檢測(cè)本文所設(shè)計(jì)的SP-DPP智能電網(wǎng)大數(shù)據(jù)處理平臺(tái)的性能，采用IEEE118節(jié)點(diǎn)電網(wǎng)基本數(shù)據(jù)進(jìn)行試驗(yàn)，據(jù)此完成電網(wǎng)運(yùn)行狀態(tài)的計(jì)算，將電網(wǎng)預(yù)想事故預(yù)設(shè)為5*104個(gè)（數(shù)據(jù)容量為15GB），SP-DPP平臺(tái)包含9個(gè)實(shí)際PC機(jī)物理節(jié)點(diǎn)（處于同一個(gè)局域網(wǎng)內(nèi)，均安裝了RedHatLinux操作系統(tǒng)），采用內(nèi)存為8C DDR4的Intelxeon云服務(wù)器主機(jī)，通過交換機(jī)連接各節(jié)點(diǎn)，用戶通過繼承MapReduce-Base即可完成Map、Reduce程序的編寫。遵循Apache的Hadoop規(guī)范，將主控服務(wù)器和作業(yè)服務(wù)器部署在1個(gè)Master機(jī)器上，將數(shù)據(jù)服務(wù)器和任務(wù)服務(wù)器部署在8個(gè)Slave機(jī)器上。在運(yùn)行時(shí)間為2000s的情況下吞吐量（在相同時(shí)間內(nèi)，通過調(diào)整實(shí)際物理節(jié)點(diǎn)個(gè)數(shù)比較預(yù)想事故完成情況）實(shí)驗(yàn)結(jié)果如表1所示，證明平臺(tái)預(yù)先設(shè)置故障完成個(gè)數(shù)同物理節(jié)點(diǎn)的數(shù)量成正比。執(zhí)行時(shí)間測(cè)試結(jié)果如表2所示，加速比測(cè)試結(jié)果如圖4所示，在電網(wǎng)狀態(tài)安全分析方面該平臺(tái)的執(zhí)行時(shí)間同Slave物理節(jié)點(diǎn)的數(shù)量成反比，Speedup則保持穩(wěn)定的增加，將更多的物理節(jié)點(diǎn)部署于云平臺(tái)上能夠快速完成全部工作單元的計(jì)算過程，電網(wǎng)公司的調(diào)度中心據(jù)此可對(duì)電網(wǎng)整體運(yùn)行的安全性進(jìn)行準(zhǔn)確判斷，證明了本文所設(shè)計(jì)平臺(tái)具有較高的實(shí)際應(yīng)用價(jià)值。

5結(jié)語(yǔ)

文章主要基于云計(jì)算技術(shù)完成了一種智能電網(wǎng)大數(shù)據(jù)處理平臺(tái)的構(gòu)建，電力系統(tǒng)潮流計(jì)算測(cè)試結(jié)果驗(yàn)證了本文SP-DPP云平臺(tái)在吞吐量和加速比上的優(yōu)勢(shì)。具有Master-slave特點(diǎn)的并行應(yīng)用均可在SP-DPP平臺(tái)上運(yùn)行，在完成任務(wù)及數(shù)據(jù)劃分的基礎(chǔ)上通過MapReduce的應(yīng)用完成計(jì)算過程。