基于云計(jì)算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性簡(jiǎn)約方法

皮霄林

摘 要：隨著當(dāng)今時(shí)代信息技術(shù)的快速發(fā)展，大數(shù)據(jù)概念一經(jīng)提出便被廣泛應(yīng)用到了多個(gè)行業(yè)領(lǐng)域當(dāng)中，將之應(yīng)用于電網(wǎng)系統(tǒng)當(dāng)中表現(xiàn)出了十分明顯的多類型、大體量、高效率特性，基于這一現(xiàn)狀之下顯然已經(jīng)無法再用傳統(tǒng)的屬性約簡(jiǎn)方式來對(duì)電力大數(shù)據(jù)進(jìn)行計(jì)算與處理。因此，基于云計(jì)算的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方法也便應(yīng)運(yùn)而生。該文主要就基于MapReduce技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方法展開了深入探究，并最終就其正確性與對(duì)節(jié)點(diǎn)數(shù)目的影響進(jìn)行了驗(yàn)證分析。

關(guān)鍵詞：云計(jì)算技術(shù) 電力大數(shù)據(jù) MapReduce技術(shù) 屬性約簡(jiǎn)

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）04（c）-0158-02

身處于當(dāng)今的大數(shù)據(jù)時(shí)代，電力企業(yè)信息化程度和智能電力系統(tǒng)的建設(shè)，將促使電力數(shù)據(jù)的體量實(shí)現(xiàn)指數(shù)級(jí)增長(zhǎng)；在電力大數(shù)據(jù)應(yīng)用方面，對(duì)于行業(yè)內(nèi)外各方面的數(shù)據(jù)分析均會(huì)導(dǎo)致電力數(shù)據(jù)計(jì)算與處理類型成本增多。充分挖掘軟硬件資源的潛在價(jià)值，減小投入支出，更多的從海量的數(shù)據(jù)信息當(dāng)中發(fā)掘出其中有價(jià)值的數(shù)據(jù)，促使相關(guān)的管理人員能夠獲得更加多元化的知識(shí)內(nèi)容，將是在大數(shù)據(jù)時(shí)代開展電網(wǎng)管理與控制工作最為重要的一項(xiàng)難題。

1 概述

在具體的電網(wǎng)數(shù)據(jù)分析工作中，對(duì)于最終決策起到主導(dǎo)作用的因素很可能僅是其中的某一部分，而要將這些最為關(guān)鍵的因素及時(shí)尋找出來將會(huì)對(duì)于縮減數(shù)據(jù)處理規(guī)模、提升數(shù)據(jù)處理效率意義重大。有研究人員就通過應(yīng)用經(jīng)典粗糙集理論將對(duì)于風(fēng)力速度有可能產(chǎn)生影響的屬性進(jìn)行了約簡(jiǎn)處理，同時(shí)在對(duì)風(fēng)力速度的預(yù)測(cè)過程之中也達(dá)到了較為滿意的效果。一般的數(shù)據(jù)約簡(jiǎn)處理方法盡管在減小時(shí)間復(fù)雜程度、提升效率上價(jià)值明顯，然而，此類屬性所采取的約簡(jiǎn)算法都是假定將所有的數(shù)據(jù)內(nèi)容一次性錄入系統(tǒng)內(nèi)，很明顯這無法適用于電力大數(shù)據(jù)系統(tǒng)。還有研究采用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)技術(shù)屬性約簡(jiǎn)方式，來處理小規(guī)模屬性約簡(jiǎn)問題，盡管在時(shí)間性能方面取得了較為滿意的效果，然而采取此類方法所能夠應(yīng)對(duì)處理的數(shù)據(jù)規(guī)模及時(shí)效性均會(huì)受制于硬件限制。

而將云計(jì)算技術(shù)應(yīng)用于電力大數(shù)據(jù)預(yù)處理當(dāng)中，則能夠給予其軟件及硬件資源和相關(guān)的數(shù)據(jù)處理提供以新的途徑方式。在本次研究中重點(diǎn)就針對(duì)美國(guó)谷歌公司所提出的MapReduce編程模型展開了深入的分析與探討，具體就粗糙集相對(duì)正域理論和現(xiàn)行的知識(shí)約簡(jiǎn)計(jì)算方式展開了深入剖析，結(jié)合其模型設(shè)計(jì)與計(jì)算最終對(duì)基于云計(jì)算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方法的正確性，及其對(duì)節(jié)點(diǎn)數(shù)目的影響展開了實(shí)證分析，最終的實(shí)驗(yàn)結(jié)果顯示，此項(xiàng)計(jì)算方法不當(dāng)可大幅度提升電力大數(shù)據(jù)集的屬性約簡(jiǎn)計(jì)算效率，同時(shí)還可達(dá)到較為優(yōu)異的可拓展性效果。

2 基于MapReduce技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)

將一個(gè)電力大數(shù)據(jù)集視作為是一項(xiàng)電力知識(shí)表達(dá)系統(tǒng)，相應(yīng)的便需求出對(duì)指定決策屬性集的條件屬性，也就是將這一電力大數(shù)據(jù)集的屬性約簡(jiǎn)問題轉(zhuǎn)歸成計(jì)算正域勢(shì)的問題。應(yīng)用MapReduce計(jì)算以上問題，其具體方法為：map函數(shù)同時(shí)對(duì)于多個(gè)數(shù)據(jù)分片進(jìn)行訪問，依據(jù)實(shí)際需求，將屬性及屬性值取出，并以此產(chǎn)生出鍵值對(duì)（其所代表的意義即<“CO1 1故障區(qū)域Sec1”，1>）。Reduce函數(shù)接收來自于各個(gè)節(jié)點(diǎn)map所發(fā)送出的key值所對(duì)應(yīng)的鍵值對(duì)序列，并以此來求出相同等價(jià)類的具體數(shù)量。

Hadoop在進(jìn)行復(fù)雜任務(wù)處理之時(shí)是對(duì)任務(wù)數(shù)量的增多，而并非是提高map與reduce的復(fù)雜性，因此基于云環(huán)境下進(jìn)行電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)，則可設(shè)計(jì)出多個(gè)函數(shù)及主程序。在此方面的約簡(jiǎn)處理過程當(dāng)中，可將某項(xiàng)具體的電力大數(shù)據(jù)集視作為是一項(xiàng)電力知識(shí)表達(dá)系統(tǒng)，并基于這一基礎(chǔ)之上，再開展屬性約簡(jiǎn)處理，并可將其視作為是對(duì)正域勢(shì)的計(jì)算，具體的計(jì)算方式如下所示：

（1）map函數(shù)位于同一時(shí)段內(nèi)針對(duì)多項(xiàng)數(shù)據(jù)分片各自獨(dú)立展開訪問，同時(shí)依據(jù)實(shí)際要求規(guī)范來獲取屬性和屬性值，進(jìn)而產(chǎn)生出鍵值對(duì)；

（2）Reduce函數(shù)對(duì)即為各節(jié)點(diǎn)處的map與所發(fā)送的key值所相對(duì)應(yīng)的鍵值對(duì)序列，同時(shí)還需針對(duì)相應(yīng)的等價(jià)類個(gè)數(shù)予以計(jì)算處理。

應(yīng)用Hadoop針對(duì)復(fù)雜任務(wù)予以處理之時(shí)，其主要側(cè)重于對(duì)任務(wù)數(shù)量的增多，而并非是針對(duì)map以及Reduce函數(shù)復(fù)雜性的加強(qiáng)。因而，在基于云計(jì)算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方面，針對(duì)性設(shè)計(jì)出兩項(xiàng)map，三項(xiàng)Reduce以及call job函數(shù)，同時(shí)還可攜帶一項(xiàng)主控程序，最終再結(jié)合以實(shí)際需求，各自給定算法，即可針對(duì)大數(shù)據(jù)預(yù)處理屬性展開約簡(jiǎn)計(jì)算。

和傳統(tǒng)約簡(jiǎn)方法相對(duì)比來看，基于云計(jì)算的約簡(jiǎn)方法不但可促使無法針對(duì)大數(shù)據(jù)集進(jìn)行處理的情況迎刃而解，同時(shí)還能夠顯著提升整體簡(jiǎn)約處理的效率，大大減小簡(jiǎn)約復(fù)雜性，可同時(shí)實(shí)現(xiàn)對(duì)空間與時(shí)間的雙重精簡(jiǎn)。鑒于此，在目前的電力企業(yè)發(fā)展過程之中，這一技術(shù)已成為電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)的核心手段之一。

3 驗(yàn)證分析

現(xiàn)就針對(duì)基于云計(jì)算的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方法，由算法正確性和節(jié)點(diǎn)數(shù)據(jù)的影響兩方面來探討其在電力大數(shù)據(jù)預(yù)處理之中的效用價(jià)值。

3.1 正確性

采用某一電網(wǎng)故障診斷決策表來闡明基于云計(jì)算的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方法的正確性。下表1為由6個(gè)樣本所構(gòu)成的電網(wǎng)故障診斷決策表。

采用偽分布模式進(jìn)行Hadoop程序的運(yùn)行，便可獲得決策表核{(lán)CO2，CO3}和一項(xiàng)約簡(jiǎn){CO2，CO3，CB1，CO1}。經(jīng)驗(yàn)證表明，結(jié)果正確。

3.2 節(jié)點(diǎn)數(shù)目的影響

在本次研究中選用Hadoop平臺(tái)搭建了一個(gè)集群實(shí)驗(yàn)環(huán)境，其中的Hadoop版塊為Hadoop-0.20.0，應(yīng)用臨近平均值針對(duì)缺失數(shù)值予以填補(bǔ)，促使數(shù)據(jù)離散成一系列的0，1列表，以促進(jìn)數(shù)據(jù)處理效率的提升，并由此獲得13項(xiàng)條件屬性及1項(xiàng)據(jù)測(cè)屬性電力知識(shí)表達(dá)系統(tǒng)S。

（1）可拓展性

這一特性是依據(jù)節(jié)點(diǎn)數(shù)量并按照特定比例來提高并行算法精確性。為驗(yàn)證算法的可拓展性，選取四個(gè)節(jié)點(diǎn)值來充當(dāng)測(cè)試數(shù)據(jù)集，即2，4，8，16四個(gè)節(jié)點(diǎn)。如下圖1所示，觀察圖1可發(fā)現(xiàn)，盡管因?yàn)橛布c平臺(tái)運(yùn)行資源耗損因素導(dǎo)致節(jié)點(diǎn)數(shù)上升到16之后算法能力有所降低，然而各作業(yè)的運(yùn)行時(shí)間基本相當(dāng)，此即表明了并行算法的良好拓展性。

（2）加速比

加速比即為在數(shù)據(jù)規(guī)模保持恒定不變的前提下，持續(xù)增多節(jié)點(diǎn)數(shù)量并行算法能力。較為合理的加速比往往是線性結(jié)構(gòu)的，然而因?yàn)楦黜?xiàng)計(jì)算機(jī)設(shè)備間的通信、任務(wù)調(diào)度等因素影響，具體的加速比常常是要小于理想狀態(tài)的。如下圖2所示，測(cè)試數(shù)據(jù)集為20GB，同樣為2，4，8，16四個(gè)節(jié)點(diǎn)，經(jīng)觀察約簡(jiǎn)時(shí)間與節(jié)點(diǎn)數(shù)量關(guān)系可表明，本次研究所提出的算法可達(dá)到較為優(yōu)異的加速比性能。

4 結(jié)語(yǔ)

總而言之，在電力行業(yè)高速發(fā)展的當(dāng)今時(shí)代，應(yīng)大力加強(qiáng)對(duì)于相關(guān)云計(jì)算技術(shù)的深入研究及應(yīng)用，同時(shí)在云計(jì)算技術(shù)的基礎(chǔ)之上來開展關(guān)于電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)，促進(jìn)電力大數(shù)據(jù)處理效率能夠得以大幅度的提升，并為企業(yè)的管理人員提供詳盡、可靠的參考依據(jù)。

參考文獻(xiàn)

[1] 彭小圣，鄧迪元，程時(shí)杰，等.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國(guó)電機(jī)工程學(xué)報(bào)，2015（3）：503-511.

[2] 王德文，孫志偉.電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測(cè)[J].中國(guó)電機(jī)工程學(xué)報(bào)，2015（3）：527-537.