基于云計算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡方法

崔曉優(yōu)++楊健

摘 要 基于云計算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡是當(dāng)前電力企業(yè)數(shù)據(jù)處理的主要發(fā)展方向。文中對其發(fā)展進(jìn)行了簡單介紹，并對MapReduce在電力大數(shù)據(jù)預(yù)處理屬性約簡中的應(yīng)用以及基于MapReduce技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡進(jìn)行詳細(xì)分析。

【關(guān)鍵詞】云計算技術(shù) 電力大數(shù)據(jù) 屬性約簡

自進(jìn)入二十一世紀(jì)以來，人類社會便正式進(jìn)入了網(wǎng)絡(luò)信息化時代，在信息化大背景的影響下，企業(yè)信息化和管理系統(tǒng)化已經(jīng)成為主流趨勢，而在電力企業(yè)中，由于其自身數(shù)據(jù)處理的復(fù)雜性和龐大性，其不僅實現(xiàn)了信息化管理，更在此技術(shù)上，對云計算技術(shù)進(jìn)行了全面應(yīng)用，以實現(xiàn)大數(shù)據(jù)處理。但是，由于受發(fā)展時間短以及相關(guān)技術(shù)人員和管理人員技術(shù)水平和職業(yè)素質(zhì)不高的影響，其在云計算以及大數(shù)據(jù)處理等應(yīng)用方面依舊存在一定缺陷，需要加強(qiáng)人員和技術(shù)投入，不斷加強(qiáng)對技術(shù)的研究和創(chuàng)新，使其能夠更好的滿足電力企業(yè)的經(jīng)營和管理需求；因此，接下來，本文就以更好的提高電力企業(yè)云計算應(yīng)用技術(shù)為主要目的，對基于云計算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡方法進(jìn)行深入研究。

1 電力大數(shù)據(jù)預(yù)處理屬性約簡方法的發(fā)展

在電力企業(yè)的經(jīng)營和管理中，為了能夠更好的提升供電的穩(wěn)定性和質(zhì)量，并對自身的經(jīng)濟(jì)效益進(jìn)行有效保障，就需要對電網(wǎng)數(shù)據(jù)進(jìn)行詳細(xì)分析，尤其是對大數(shù)據(jù)進(jìn)行科學(xué)、高效的預(yù)處理。電力大數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清洗、集成、轉(zhuǎn)換以及約簡等眾多環(huán)節(jié)，其中任何一個環(huán)節(jié)出現(xiàn)問題，都可能對電力企業(yè)的最終決策目標(biāo)造成影響。因此，在大數(shù)據(jù)預(yù)處理過程中，就需要提高數(shù)據(jù)的分析效率，并以此為基礎(chǔ)對各個環(huán)節(jié)中的決定性因素進(jìn)行有效控制，設(shè)法降低電網(wǎng)的數(shù)據(jù)處理規(guī)模。比如，在對風(fēng)速進(jìn)行預(yù)測的過程中，相關(guān)技術(shù)人員便應(yīng)用了經(jīng)典粗糙集理論方式，約簡出了影響風(fēng)速的關(guān)鍵屬性；在電力大數(shù)據(jù)預(yù)處理中同樣如此，需要根據(jù)不同情況采用不同的約簡方式約簡出其關(guān)鍵屬性。

在之前的電力企業(yè)經(jīng)營和管理中，所應(yīng)用的約簡算法雖然也能夠在一定程度上降低時間復(fù)雜度，也相應(yīng)的提高了數(shù)據(jù)預(yù)處理屬性約簡效率，但是這種算法是一次性將所有數(shù)據(jù)都存入內(nèi)存中，因此，這種算法只適合應(yīng)用于傳統(tǒng)的電力數(shù)據(jù)處理中，而不適合應(yīng)用在現(xiàn)代化的電力大數(shù)據(jù)處理中。

因此，為了能夠有效解決該方面問題，電力企業(yè)便開始對CPU、內(nèi)存以及計算機(jī)硬盤等進(jìn)行擴(kuò)充和升級，但是這種方式雖然能夠在一定程度上解決屬性約簡中數(shù)據(jù)規(guī)模和時效受硬件制約的問題，可卻也提高了成本，會對電力企業(yè)的經(jīng)濟(jì)效益造成影響。而隨著網(wǎng)絡(luò)以及信息技術(shù)的不斷發(fā)展，云計算技術(shù)的出現(xiàn)很好的解決了該方面所存在的問題，與傳統(tǒng)網(wǎng)絡(luò)以及計算機(jī)技術(shù)相比，利用云計算技術(shù)不僅能夠提高對計算機(jī)硬件資源的有效應(yīng)用，同時也全方面，大幅度提高了數(shù)據(jù)處理技術(shù)，為電力大數(shù)據(jù)預(yù)處理屬性約簡提供了科學(xué)有效的新途徑。

2 MapReduce在電力大數(shù)據(jù)預(yù)處理屬性約簡中的應(yīng)用

MapReduce這種比較高效的并行編程模型，就能夠很好的解決電力大數(shù)據(jù)預(yù)處理屬性約簡問題，如下，便是其中較具代表性的定義和定理：

定義1：假設(shè)電力知識表達(dá)系統(tǒng)為決策信息表S，S=（U，A，V，f），表中，U為對象集合，A=CυD，C為條件屬性集，D為決策屬性集，V為屬性值集合，f為信息函數(shù)，并明確對象屬性值。

定義2：令P，QA，P∩Q=|，P是Q的正域，記posp（Q）=∪x| U/QPX，Count（posp（Q））表示P中所包含的元素個數(shù)。

定理1：假設(shè)電力知識表達(dá)系統(tǒng)S=（U，A，V，f），P，QA，P∩Q=|，RP，Count（posR（Q））= Count（posp（Q））為posR（Q）= posp（Q）的充要條件；

必須性證明：因為posR（Q）= posp（Q），所以Q的P正域）與Q 的正域R相同，Count（posR（Q））= Count（posp（Q））；

充分性證明：通過反證法進(jìn)行證明，即設(shè)posR（Q）= posp（Q）不成立，而因為RP，所以posR（Q）posp（Q），而因為posR（Q）= posp（Q）不成立，所以posR（Q）posp（Q），則Count（posR（Q））< Count（posp（Q）），與Count（posR（Q））= Count（posp（Q））矛盾，姑不成立。

以上為MapReduce并行編程模型中的部分定義和定理，從中能夠看出，在對一個電力知識表達(dá)系統(tǒng)屬性約簡的過程中利用粗糙集理論，可以有效降低關(guān)鍵屬性約簡的復(fù)雜度，不僅能夠有效降低整個約簡過程的計算量，還能夠更好的降低時間和資源的消耗，而基于云計算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡，就是在由此為基礎(chǔ)的前提下，通過加強(qiáng)對云計算技術(shù)的應(yīng)用，來進(jìn)一步提高其約簡效率。

3 基于MapReduce技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡

在基于云計算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡中，可以將一個電力大數(shù)據(jù)集當(dāng)成是一個電力知識表達(dá)系統(tǒng)，而在此前提下，再進(jìn)行屬性約簡，就可以看作是計算正域的勢，其計算方式也可以如下進(jìn)行：

（1）map函數(shù)在同一時間對多個數(shù)據(jù)分片進(jìn)行訪問，并根據(jù)具體要求對其屬性以及屬性值進(jìn)行提取，并形成鍵值對；

（2）Reduce函數(shù)對來自不同節(jié)點map發(fā)送的key值相同的鍵值對序列，并對其相同等價類的個數(shù)進(jìn)行計算。

而利用Hadoop在對復(fù)雜任務(wù)進(jìn)行處理的過程中，其重點在于增加任務(wù)數(shù)量，而非對map和Reduce函數(shù)的復(fù)雜性進(jìn)行增強(qiáng)。因此，在基于云計算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡中，針對性的設(shè)計了兩個map，三個Reduce以及一個call_job函數(shù)，外帶一個主程序，然后，再針對其具體需求，分別給出了相應(yīng)算法，通過這些給出的算法，便能夠?qū)Υ髷?shù)據(jù)預(yù)處理屬性進(jìn)行有效約簡。

與傳統(tǒng)約簡方式相比，基于云計算的約簡方式，不僅解決了其不能夠?qū)Υ髷?shù)據(jù)集進(jìn)行處理的問題，還更進(jìn)一步提高了整個約簡計算的效率，降低了復(fù)雜度，節(jié)省了時間和空間，因此，在當(dāng)前的電力企業(yè)中，其已經(jīng)成為電力大數(shù)據(jù)預(yù)處理屬性約簡的主要方式。

4 結(jié)束語

伴隨著電力行業(yè)的快速發(fā)展以及電網(wǎng)規(guī)模的不斷擴(kuò)大，傳統(tǒng)屬性約簡方式已經(jīng)滿足不了電力大數(shù)據(jù)的處理和計算需求，在一定程度上影響了電力企業(yè)的經(jīng)營和管理決策。因此，電力企業(yè)應(yīng)該加強(qiáng)對云計算技術(shù)的研究和應(yīng)用，并基于云計算技術(shù)實現(xiàn)電力大數(shù)據(jù)預(yù)處理屬性約簡，提高電力大數(shù)據(jù)處理效率，為企業(yè)經(jīng)營和管理決策提供可靠參考依據(jù)。

參考文獻(xiàn)

[1]楊傳健.基于沖突域的高效屬性約簡算法[J].計算機(jī)學(xué)報，2012（02）.

[2]翟俊海.基于樣例選擇的屬性約簡算法[J].計算機(jī)研究與發(fā)展，2012（11）.

作者簡介

崔曉優(yōu)（1975-），男，河南省許昌市人。大學(xué)本科學(xué)歷?，F(xiàn)為許繼電氣股份有限公司工程師。

作者單位

許繼電氣股份有限公司 河南省許昌市 461000