基于Spark的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)可視化方法

曲朝陽, 熊澤宇， 顏 佳， 辛 鵬， 曲 楠

(1. 東北電力大學(xué)信息工程學(xué)院， 吉林省 吉林市 132012； 2. 國(guó)網(wǎng)吉林省電力有限公司， 吉林 長(zhǎng)春 130021； 3. 國(guó)網(wǎng)吉林省電力有限公司吉林供電公司， 吉林省 吉林市 132001；4. 江蘇省電力檢修分公司， 江蘇 南京 210008)

基于Spark的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)可視化方法

曲朝陽1, 熊澤宇1， 顏 佳2， 辛 鵬3， 曲 楠4

(1. 東北電力大學(xué)信息工程學(xué)院， 吉林省 吉林市 132012； 2. 國(guó)網(wǎng)吉林省電力有限公司， 吉林 長(zhǎng)春 130021； 3. 國(guó)網(wǎng)吉林省電力有限公司吉林供電公司， 吉林省 吉林市 132001；4. 江蘇省電力檢修分公司， 江蘇 南京 210008)

大數(shù)據(jù)可視化可以實(shí)現(xiàn)海量電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)中各種屬性、運(yùn)行狀態(tài)等電力特征信息的圖形、圖像化直觀呈現(xiàn)，為設(shè)備運(yùn)行狀態(tài)的及時(shí)有效監(jiān)控分析提供有力保障。因此，本文提出一種基于Spark的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)可視化方法，為實(shí)現(xiàn)大數(shù)據(jù)環(huán)境下的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)的狀態(tài)信息快速提取，在Spark大數(shù)據(jù)計(jì)算平臺(tái)上，建立了基于設(shè)備狀態(tài)評(píng)估指標(biāo)體系與模糊C均值聚類(FCM)的電力設(shè)備狀態(tài)信息提取算法。針對(duì)數(shù)據(jù)的多維、時(shí)序特性，構(gòu)建三維平行散點(diǎn)圖的數(shù)據(jù)可視化展現(xiàn)形式，實(shí)現(xiàn)電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)信息全貌的可視化展現(xiàn)。將該方法運(yùn)用于吉林省某風(fēng)電場(chǎng)的風(fēng)電機(jī)組在線監(jiān)測(cè)數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果證明了該方法的有效性。

Spark; 電力大數(shù)據(jù); 信息可視化; 在線監(jiān)測(cè)

1 引言

在線監(jiān)測(cè)系統(tǒng)是智能電網(wǎng)穩(wěn)定運(yùn)行的安全監(jiān)控保障之一[1]，其產(chǎn)生的海量狀態(tài)監(jiān)測(cè)數(shù)據(jù)連續(xù)、廣泛地反映了電力設(shè)備運(yùn)行狀態(tài)的每一個(gè)細(xì)節(jié), 是電力大數(shù)據(jù)的重要組成部分[2]。在大數(shù)據(jù)背景下，電力設(shè)備狀態(tài)監(jiān)測(cè)的重心從傳統(tǒng)的運(yùn)行故障的實(shí)時(shí)精確定位與分析向運(yùn)行狀態(tài)的全景展現(xiàn)與趨勢(shì)預(yù)測(cè)轉(zhuǎn)變[3]，而大數(shù)據(jù)可視化作為信息傳遞的有效方式，可直觀展示電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)與運(yùn)行狀態(tài)變化情況[4]，對(duì)狀態(tài)監(jiān)測(cè)具有重要意義。

電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)可視化屬于大數(shù)據(jù)信息可視化方向[5]，主要存在兩個(gè)方面的問題。其一是設(shè)備狀態(tài)信息提取的問題，傳統(tǒng)的電力設(shè)備狀態(tài)評(píng)估方法將神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則綜合分析、層次分析法、模糊理論等數(shù)據(jù)挖掘方法運(yùn)用于電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)[6-9]，并建立設(shè)備運(yùn)行狀態(tài)評(píng)估指標(biāo)體系，實(shí)現(xiàn)設(shè)備運(yùn)行狀態(tài)的分析評(píng)估與信息獲取，在小規(guī)模數(shù)據(jù)的設(shè)備狀態(tài)信息提取上取得了較高的精度。而設(shè)備在線監(jiān)測(cè)系統(tǒng)積累的數(shù)據(jù)通常在GB、TB級(jí)，記錄條數(shù)至少在百萬條以上，通過小規(guī)模樣本設(shè)計(jì)出的分析方法無法滿足對(duì)大規(guī)模的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)進(jìn)行設(shè)備狀態(tài)信息提取的半實(shí)時(shí)性要求[10]，因此不能直接運(yùn)用于大數(shù)據(jù)環(huán)境下的電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)。其二是可視化展現(xiàn)形式的問題，電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)屬性種類繁多(如風(fēng)電機(jī)組在線監(jiān)測(cè)的數(shù)據(jù)屬性包括風(fēng)速、有功功率、無功功率、電機(jī)轉(zhuǎn)速、相電壓及電流等多個(gè)屬性[11])，產(chǎn)生的狀態(tài)監(jiān)測(cè)數(shù)據(jù)屬于典型的高維數(shù)據(jù)。目前大數(shù)據(jù)可視化中用于高維數(shù)據(jù)可視化分析展示形式主要有散點(diǎn)圖、投影及平行坐標(biāo)方法[12,13]，散點(diǎn)圖適合對(duì)有限數(shù)目的較為重要的維度進(jìn)行可視化,通常不適于需要對(duì)所有維度同時(shí)進(jìn)行展示的情況；投影及平行坐標(biāo)方法盡管可以展示多維信息，但是這兩類方法運(yùn)用于電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)上會(huì)忽略數(shù)據(jù)固有的時(shí)序性，無法展示設(shè)備狀態(tài)的變化情況。

針對(duì)上述問題，本文提出一種大數(shù)據(jù)環(huán)境下的電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)可視化方法。首先，設(shè)計(jì)了基于設(shè)備狀態(tài)評(píng)估指標(biāo)體系與模糊C均值聚類(FCM)的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)的設(shè)備狀態(tài)信息提取算法，在Spark大數(shù)據(jù)計(jì)算平臺(tái)上實(shí)現(xiàn)了大數(shù)據(jù)環(huán)境下的電力設(shè)備運(yùn)行狀態(tài)信息快速提??；然后，建立了三維平行散點(diǎn)圖的數(shù)據(jù)可視化展現(xiàn)形式，在Spark上完成了將電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)與運(yùn)行狀態(tài)信息映射到三維空間的全方位直觀展示；最后，將本方法運(yùn)用于吉林省某風(fēng)電場(chǎng)的119號(hào)1.5MW風(fēng)機(jī)在線狀態(tài)監(jiān)測(cè)數(shù)據(jù)集的可視化展現(xiàn)，并對(duì)該方法的執(zhí)行效率與可視化結(jié)果進(jìn)行了分析與驗(yàn)證。

2 基于Spark的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)狀態(tài)信息提取

在信息可視化中，電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)集的實(shí)質(zhì)是在線監(jiān)測(cè)數(shù)據(jù)與其蘊(yùn)含的設(shè)備狀態(tài)信息的集合。由于同類設(shè)備運(yùn)行狀態(tài)信息對(duì)應(yīng)的數(shù)據(jù)元素具有較強(qiáng)的聚集效應(yīng)，因此采用FCM聚類算法將在線監(jiān)測(cè)數(shù)據(jù)集X柔性劃分至設(shè)備狀態(tài)類別集C中，并利用已有的設(shè)備狀態(tài)評(píng)估指標(biāo)體系確定每個(gè)聚類所反映的設(shè)備狀態(tài)，最后根據(jù)最大隸屬度原則對(duì)聚類結(jié)果進(jìn)行去模糊化，實(shí)現(xiàn)數(shù)據(jù)集X中所有數(shù)據(jù)元素反映的設(shè)備狀態(tài)信息的整體提取。

2.1 狀態(tài)信息提取算法

設(shè)電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)集X為：

X={xj,j=1,2,…,m},

xj∈Rs,xj=(xj1,xj2,…,xjs)

式中，m為數(shù)據(jù)集中的元素個(gè)數(shù)；xj為數(shù)據(jù)集中的數(shù)據(jù)元素；s為xj的維度；xj1,xj2,…,xjs為xj中的監(jiān)測(cè)值。

設(shè)備狀態(tài)類別集C為：

C={ci,i=1,2,…,n}

分類ci的聚類中心pci為：

pci=(ci1,ci2,…,cis),pci∈Rs

式中，n為類別集C的分類數(shù)，使用設(shè)備狀態(tài)隸屬度uij來確定數(shù)據(jù)集X中各個(gè)元素xj所反映的設(shè)備狀態(tài)屬于類別集C中的分類ci的程度，則設(shè)備狀態(tài)分類隸屬度矩陣U為：

(1)

其約束條件為：

?j=1,2,…,m

(2)

在數(shù)據(jù)集X中，由于各個(gè)監(jiān)測(cè)量對(duì)應(yīng)的數(shù)量級(jí)、量綱及設(shè)備狀態(tài)的變化情況不盡相同，因此采用設(shè)備狀態(tài)評(píng)估中的劣化度對(duì)各監(jiān)測(cè)值xji進(jìn)行歸一化處理，歸一化處理后的值為xnor,ji，具體計(jì)算如式(3)～式(5)所示。

對(duì)越大越優(yōu)型監(jiān)測(cè)量：

(3)

式中，α為該監(jiān)測(cè)量的告警值；β為該監(jiān)測(cè)量的良好值。

對(duì)越小越優(yōu)型監(jiān)測(cè)量：

(4)

對(duì)中間型監(jiān)測(cè)量：

(5)

式中，α1、α2為該監(jiān)測(cè)量的告警值；β1、β2為該監(jiān)測(cè)量的良好值。

在實(shí)際的設(shè)備狀態(tài)評(píng)估中，各個(gè)監(jiān)測(cè)量對(duì)設(shè)備運(yùn)行狀態(tài)的影響程度也不盡相同，而傳統(tǒng)的FCM算法基于歐式距離，并未對(duì)該情況加以體現(xiàn)，因此根據(jù)評(píng)估指標(biāo)體系的權(quán)值向量W={wp,p=1,2,…,s}對(duì)歐氏距離計(jì)算進(jìn)行加權(quán)處理。歸一化后的數(shù)據(jù)元素xnor,j與分類ci的聚類中心加權(quán)歐氏距離wdij與相應(yīng)的FCM的目標(biāo)函數(shù)J可以表示為：

(6)

(7)

根據(jù)聚類準(zhǔn)則構(gòu)造如下拉格朗日函數(shù)：

(8)

根據(jù)Kunhn-Tucker定理對(duì)式(8)中的所有輸入?yún)⒘壳髮?dǎo)，可以得出數(shù)據(jù)元素xj對(duì)聚類ci的隸屬度uij與ci的聚類中心pci的迭代計(jì)算公式為：

(9)

(10)

通過迭代，不斷更新設(shè)備狀態(tài)隸屬度矩陣與聚類中心，設(shè)最終得到的聚類中心集SPfinal為：

SPfinal={pci,i=1,2,…,n},

pci=(ci1,ci2,…,cis),pci∈Rs

(11)

通過式(12)計(jì)算各狀態(tài)分類ci的狀態(tài)評(píng)估值Vi，以確定聚類對(duì)應(yīng)的設(shè)備狀態(tài)(正常、注意、異常、嚴(yán)重)：

(12)

根據(jù)隸屬度最大原則確定X中數(shù)據(jù)元素xj所屬的設(shè)備狀態(tài)分類，根據(jù)式(13)生成電力設(shè)備狀態(tài)信息集ISX，從而完成數(shù)據(jù)集X的設(shè)備狀態(tài)信息提取。

ISX={isj,j=1,2,…,s},

isj={xj,ci},i∈{1,2,…,n}

(13)

基于上述核心思想，算法步驟如圖1所示。具體如下：

(1)根據(jù)在線監(jiān)測(cè)數(shù)據(jù)類型選取相應(yīng)的監(jiān)測(cè)狀態(tài)評(píng)估指標(biāo)體系，獲取指標(biāo)層中各個(gè)評(píng)估指標(biāo)Ri的權(quán)值wi，得到評(píng)估指標(biāo)體系的權(quán)值向量為W={wp,p=1,2,…,s}。

(2)根據(jù)式(3)～式(5)對(duì)初始數(shù)據(jù)集X={xj,j=0,1,…,s}進(jìn)行歸一化處理，得到處理后的數(shù)據(jù)集Xnor={xnor,j,j=0,1,…,s}。

(3)從X中選取n個(gè)初始聚類中心C={ci,i=1,2,…,n}，迭代終止參數(shù)ε，并初始化模糊劃分矩陣U如下：

(14)

(4)依據(jù)式(6)計(jì)算X中每個(gè)數(shù)據(jù)元素xj與聚類中心的加權(quán)距離wdij，按照式(7)計(jì)算目標(biāo)函數(shù)J的值。

(5)若第I次迭代的目標(biāo)函數(shù)J(I)的值與前次之差|J(I)-J(I-1)|<ε，則停止迭代，轉(zhuǎn)步驟(6)；否則，依據(jù)式(9)和式(10)更新模糊劃分矩陣U與聚類中心集C，返回步驟(4)。

(6)利用選取評(píng)估指標(biāo)體系計(jì)算最終的聚類中心集SPfinal中各個(gè)聚類中心pci對(duì)應(yīng)的設(shè)備運(yùn)行狀態(tài)評(píng)估值Vi，確定其對(duì)應(yīng)的數(shù)據(jù)分類ci所處的運(yùn)行狀態(tài)(正常、注意、異常、嚴(yán)重)。

(7)根據(jù)最大隸屬度原則對(duì)最終得到的設(shè)備狀態(tài)隸屬度模糊劃分矩陣U進(jìn)行去模糊化處理，確定在線監(jiān)測(cè)數(shù)據(jù)集X中的各個(gè)數(shù)據(jù)元素xj對(duì)應(yīng)的設(shè)備狀態(tài)分類，并生成電力設(shè)備狀態(tài)信息集ISX。

圖1 電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)集的狀態(tài)信息提取步驟Fig. 1 State information extraction steps of electrical power equipment online monitoring data set

2.2 Spark上的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)狀態(tài)信息提取實(shí)現(xiàn)

Spark是一個(gè)基于內(nèi)存計(jì)算的通用大數(shù)據(jù)計(jì)算平臺(tái)。通過彈性分布式數(shù)據(jù)集(RDD)，Spark將數(shù)據(jù)集的全部或部分緩存在內(nèi)存中，并利用Lineage機(jī)制進(jìn)行容錯(cuò)，在極大地提升數(shù)據(jù)處理效率的同時(shí)，也將MapReduce、Streaming(Spark Streaming)、SQL(Spark SQL)、Machine Learning(MLlib)、Graph Processing(GraphX)等大數(shù)據(jù)處理模型統(tǒng)一到一個(gè)平臺(tái)下，形成了可以應(yīng)對(duì)任何大數(shù)據(jù)處理場(chǎng)景的Spark Ecosystem，如圖2所示[14]。

圖2 Spark Ecosystem層次結(jié)構(gòu)圖Fig. 2 Hierarchical structure graph of Spark Ecosystem

圖3 基于Spark的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)的狀態(tài)信息提取過程Fig.3 State information extracting process of electrical equipment online monitoring data based on Spark

如圖3所示，基于Spark的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)的狀態(tài)信息提取主要分為三個(gè)階段: ①完成Spark大數(shù)據(jù)計(jì)算平臺(tái)的初始化及電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)集的RDD構(gòu)建；②建立電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)集信息提取的SparkApplication，將其提交至Spark集群上運(yùn)行，并返回相應(yīng)的分析結(jié)果(聚類中心集、聚類結(jié)果集、模糊劃分矩陣的SparkRDD)，以實(shí)現(xiàn)在線監(jiān)測(cè)數(shù)據(jù)信息的快速并行化提?。虎劾秒娏υO(shè)備狀態(tài)評(píng)估指標(biāo)體系對(duì)結(jié)果集中的聚類中心進(jìn)行分析計(jì)算，確定各個(gè)聚類表征的設(shè)備運(yùn)行狀態(tài)，構(gòu)建電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)的狀態(tài)信息集。

算法的實(shí)現(xiàn)過程如下：

(1)利用SparkContext類的textFile方法，根據(jù)存儲(chǔ)路徑(HDFS或是本地文件系統(tǒng)路徑均可)讀取電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)，根據(jù)文件中的增量建立讀入的電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)文件的彈性分布式數(shù)據(jù)集RDDeFile，并利用RDD類的cache方法進(jìn)行數(shù)據(jù)緩存。

(2)使用RDD類的map方法并行執(zhí)行對(duì)RDDeFile中的記錄數(shù)據(jù)進(jìn)行類型轉(zhuǎn)換(JavaRDD轉(zhuǎn)JavaRDD)，根據(jù)式(3)～式(5)的數(shù)據(jù)屬性值歸一化處理，以得到預(yù)處理完成的彈性分布式數(shù)據(jù)集RDDparse，并利用RDD類的rdd方法轉(zhuǎn)換為SparkRDD類型進(jìn)行數(shù)據(jù)緩存。

(3)根據(jù)聚類數(shù)n使用RDD類的takeSample方法隨機(jī)選取數(shù)據(jù)集RDDparse中的n個(gè)點(diǎn)作為初始聚類中心集Cinit；建立一個(gè)n行m列的DenseMatrix類型的模糊劃分矩陣U，根據(jù)式(11)使用Spark中Matrice類的update方法進(jìn)行初始化；通過SparkContext類的broadcast方法將Cinit、RDDparse及U發(fā)送至Spark集群中的各個(gè)worker上。

(4)利用RDD類的mapPartitions方法，根據(jù)式(6)在集群上的每個(gè)RDDparse副本的每個(gè)Partition上并行計(jì)算數(shù)據(jù)元素xnor,j與各個(gè)聚類中心ci的加權(quán)距離wdij及目標(biāo)函數(shù)在每個(gè)Partition上的值，通過reduceByKey及collectAsMap方法根據(jù)隸屬度最大原則統(tǒng)計(jì)屬于各個(gè)聚類的點(diǎn)的個(gè)數(shù)，并得到各個(gè)聚類ci的目標(biāo)函數(shù)的值Jci。

(5)對(duì)各個(gè)聚類的目標(biāo)函數(shù)值Jci進(jìn)行求和操作得到整體目標(biāo)函數(shù)J的值，記為Jcur，若Jcur與前次迭代時(shí)目標(biāo)函數(shù)值Jpre之差的絕對(duì)值小于閾值ε，且各個(gè)聚類中心pci的歐氏距離變化小于閾值eps，則停止聚類分析并返回聚類結(jié)果彈性分布式數(shù)據(jù)集RDDclustered、聚類中心集SPfinal及模糊劃分矩陣U；否則，利用map方法分別根據(jù)式(9)和式(10)更新狀態(tài)類別集C的聚類中心、模糊劃分矩陣U，返回步驟(4)進(jìn)行迭代計(jì)算。

(6)通過選取的設(shè)備狀態(tài)評(píng)估體系計(jì)算式(12)得到各個(gè)聚類中心ci的狀態(tài)評(píng)估值Vi，確定其對(duì)應(yīng)的聚類ci的設(shè)備運(yùn)行狀態(tài)。根據(jù)式(13)及聚類結(jié)果集RDDclustered，利用RDD類的map方法并行產(chǎn)生所有信息元素isj，進(jìn)而將RDDclustered轉(zhuǎn)換為設(shè)備狀態(tài)信息集ISX對(duì)應(yīng)的彈性分布式數(shù)據(jù)集RDDIS。最后通過使用SaveAsTextFile方式將RDDIS保存至HDFS中，實(shí)現(xiàn)信息集ISX的持久化處理。

3 基于三維平行散點(diǎn)圖與人機(jī)交互的數(shù)據(jù)可視化展現(xiàn)

3.1三維平行散點(diǎn)圖可視化原理

本文的三維平行散點(diǎn)圖是二維散點(diǎn)圖在三維空間的自然延伸。其將高維、時(shí)序的電力設(shè)備狀態(tài)信息集ISX中的信息元素isj映射為一組三維空間中的點(diǎn)pj，點(diǎn)pj的位置由isj中的數(shù)據(jù)元素xj的時(shí)間屬性t、屬性編號(hào)k及屬性值xjk決定，映射關(guān)系F為：

(15)

為展示在ti時(shí)刻的設(shè)備狀態(tài)，對(duì)平行坐標(biāo)系進(jìn)行著色加強(qiáng)處理。為數(shù)據(jù)點(diǎn)著色是重要的平行坐標(biāo)信息反混淆方法。在特定的顏色空間中，每一組數(shù)據(jù)點(diǎn)pj對(duì)應(yīng)的設(shè)備狀態(tài)分類ci都有一個(gè)(ri,gi,bi)值與其對(duì)應(yīng)，其中，ri、gi、bi分別表示紅綠藍(lán)三原色。通過應(yīng)用不同的顏色空間，使設(shè)備狀態(tài)信息集ISX中每一個(gè)數(shù)據(jù)元素isj反映的設(shè)備運(yùn)行狀態(tài)類別區(qū)分明顯，從而使用戶更清晰地了解設(shè)備運(yùn)行狀態(tài)的變化規(guī)律。

3.2 Spark上的數(shù)據(jù)展現(xiàn)實(shí)現(xiàn)步驟

在Spark大數(shù)據(jù)計(jì)算平臺(tái)上，通過jzy3d大數(shù)據(jù)可視化類庫，實(shí)現(xiàn)了電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)的可視化展現(xiàn)，實(shí)現(xiàn)步驟如下：

(1)使用RDD類的collect方法讀取電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)信息提取產(chǎn)生的設(shè)備狀態(tài)信息彈性分布式數(shù)據(jù)集RDDIS，生成類型為L(zhǎng)ist的設(shè)備狀態(tài)信息元素列表ListIS，其中Vector的結(jié)構(gòu)為{聚類編號(hào)N，時(shí)間點(diǎn)T，監(jiān)測(cè)量x1,…,xs}(其中s為監(jiān)測(cè)數(shù)據(jù)集的維度)。

(2)將ListIS中的每個(gè)Vector類型的數(shù)據(jù)元素Di分解為聚類編號(hào)Ni、數(shù)據(jù)點(diǎn)集Pi，其中Pi的結(jié)構(gòu)為：

pi={pi1,pi2,…,pij,…pis},

pij=(Ti,i,xij)j=1,2,…,s

進(jìn)而構(gòu)建相應(yīng)的聚類編號(hào)列表ListN、數(shù)據(jù)點(diǎn)集的列表ListP。

(3)為聚類編號(hào)列表ListN中每一個(gè)聚類編號(hào)Ni指定相應(yīng)著色(ri,gi,bi)，構(gòu)成著色列表Listcolor。

(4)以著色列表Listcolor、數(shù)據(jù)點(diǎn)集列表ListP為輸入數(shù)據(jù)，利用jzy3d的Scatter方法建立三維平行散點(diǎn)圖。

(5)利用ChartLauncher類的instruction方法為建立的三維平行散點(diǎn)圖添加Z軸平移、Z軸拉伸、中心旋轉(zhuǎn)、單個(gè)屬性與時(shí)間關(guān)系的分解展示等人機(jī)交互操作，以便于可視化展現(xiàn)結(jié)果的查看，并通過openChart方法進(jìn)行可視化結(jié)果的展現(xiàn)。

4 實(shí)驗(yàn)結(jié)果與分析

將本方法運(yùn)用于某風(fēng)電場(chǎng)的119號(hào)1.5MW風(fēng)電機(jī)組在線狀態(tài)監(jiān)測(cè)數(shù)據(jù)集，該風(fēng)機(jī)在線監(jiān)測(cè)數(shù)據(jù)集包含14個(gè)監(jiān)測(cè)量，數(shù)據(jù)量為20G(2000萬條數(shù)據(jù))，監(jiān)測(cè)量如表1所示。

由于電力大數(shù)據(jù)可視化主要關(guān)注數(shù)據(jù)處理的實(shí)時(shí)性及可視化結(jié)果的直觀性，所以本實(shí)驗(yàn)分別對(duì)可視化方法執(zhí)行效率與可視化結(jié)果進(jìn)行分析。為模擬真實(shí)的大數(shù)據(jù)處理環(huán)境，在4臺(tái)曙光I620-G10服務(wù)器上搭建真實(shí)的Spark集群作為實(shí)驗(yàn)環(huán)境，系統(tǒng)配置如表2所示。

表1 風(fēng)電機(jī)組在線監(jiān)測(cè)數(shù)據(jù)集屬性表Tab.1 Attribute list of WTGS online monitoring data set

表2 實(shí)驗(yàn)環(huán)境配置Tab.2 Configuration of experiment environment

4.1 設(shè)備狀態(tài)信息提取算法的執(zhí)行效率

將本文基于Spark的電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)的設(shè)備狀態(tài)信息提取算法與傳統(tǒng)的基于MapReduce的算法運(yùn)用于該實(shí)驗(yàn)數(shù)據(jù)集，對(duì)處理時(shí)間進(jìn)行對(duì)比以說明本文方法在執(zhí)行效率上的優(yōu)越性，結(jié)果如圖4所示。

圖4 基于MapReduce的算法與本文算法的信息提取用時(shí)對(duì)比Fig. 4 Time consumption of state information extracting between algorithm based on MapReduce and our algorithm

由圖4可以看出，由于Spark是基于內(nèi)存計(jì)算的大數(shù)據(jù)處理平臺(tái)，除構(gòu)建RDD時(shí)的數(shù)據(jù)讀入階段與結(jié)果寫入HDFS的結(jié)果輸出階段，其余時(shí)間都不涉及磁盤IO操作，減少了數(shù)據(jù)計(jì)算中的磁盤數(shù)據(jù)存取時(shí)間，且Spark的基于DAG的任務(wù)處理結(jié)構(gòu)比傳統(tǒng)的MapReduce任務(wù)處理結(jié)構(gòu)更為高效，所以相比傳統(tǒng)的基于MapReduce的方法在執(zhí)行效率上有了極大提升，減少了約84.6%的數(shù)據(jù)處理時(shí)間，滿足了電力大數(shù)據(jù)對(duì)歷史數(shù)據(jù)處理的準(zhǔn)實(shí)時(shí)性要求。

可擴(kuò)展性是按節(jié)點(diǎn)數(shù)成比例增大數(shù)據(jù)規(guī)模時(shí)并行算法的執(zhí)行效率。為測(cè)試算法的可擴(kuò)展性，從實(shí)驗(yàn)數(shù)據(jù)中取出5G、10G、15G三個(gè)樣本作為測(cè)試數(shù)據(jù)集，在Spark的Yarn-Cluster模式下，通過設(shè)置num-executors參數(shù)以實(shí)現(xiàn)分別在1、2、3個(gè)節(jié)點(diǎn)上進(jìn)行規(guī)模和時(shí)效對(duì)比實(shí)驗(yàn)，結(jié)果如圖5所示。

圖5 本文方法的可擴(kuò)展性測(cè)試Fig. 5 Expansibility test of our method

由圖5可以看出，雖然由于硬件和平臺(tái)運(yùn)行資源消耗的原因，節(jié)點(diǎn)數(shù)增加時(shí)算法性能略微浮動(dòng)，但這些作業(yè)的運(yùn)行時(shí)間基本保持了相同的水平，這體現(xiàn)出本文并行算法良好的可擴(kuò)展性。

加速比是數(shù)據(jù)規(guī)模固定、不斷增加節(jié)點(diǎn)數(shù)時(shí)并行算法的執(zhí)行效率。理想的加速比是線性的，但由于計(jì)算機(jī)間通信、任務(wù)調(diào)度等開銷，實(shí)際的加速比將低于理想情況。測(cè)試數(shù)據(jù)集數(shù)據(jù)量為20G時(shí)節(jié)點(diǎn)數(shù)及用時(shí)如圖6所示。

圖6 本文設(shè)備狀態(tài)信息提取算法的加速比測(cè)試Fig. 6 Speed-up ratio test of our method

從圖6中的設(shè)備狀態(tài)信息提取時(shí)間和節(jié)點(diǎn)數(shù)目的關(guān)系可以看出，本文基于Spark的設(shè)備狀態(tài)信息提取算法在節(jié)點(diǎn)數(shù)目增加時(shí)，作業(yè)執(zhí)行用時(shí)顯著減少，具有良好的加速作用。

4.2 可視化展現(xiàn)的執(zhí)行效率分析

在執(zhí)行可視化展現(xiàn)時(shí)，Spark自動(dòng)將該作業(yè)分解為本地任務(wù)進(jìn)行調(diào)度處理，不涉及Spark集群中的并行數(shù)據(jù)計(jì)算，因此僅對(duì)不同數(shù)據(jù)量下的基于三維平行散點(diǎn)圖的可視化展示效率進(jìn)行分析，結(jié)果如圖7所示。

圖7 Spark上基于三維平行散點(diǎn)圖的可視化展現(xiàn)用時(shí)Fig. 7 Time consumption of visualization based on 3-D parallel scatter and Spark

由圖7可以看出，Spark上基于三維平行散點(diǎn)圖的可視化展現(xiàn)的作業(yè)用時(shí)隨數(shù)據(jù)量的增加呈線性變化，對(duì)2000萬條記錄進(jìn)行展現(xiàn)的用時(shí)26.705s，基本滿足電力大數(shù)據(jù)中歷史數(shù)據(jù)處理的半實(shí)時(shí)化數(shù)據(jù)處理需求。

4.3 可視化結(jié)果分析

該119號(hào)風(fēng)機(jī)的在線監(jiān)測(cè)數(shù)據(jù)集的三維平行散點(diǎn)圖可視化結(jié)果與風(fēng)機(jī)有功功率屬性、風(fēng)速屬性隨時(shí)間變化的分解展示結(jié)果分別如圖8(a)、圖8(b)和圖8(c)所示。圖8(a)中屬性的名稱和順序如表1的z1～z12所示，狀態(tài)A代表狀態(tài)評(píng)估值為良好，狀態(tài)B為一般，狀態(tài)C為注意，狀態(tài)D為嚴(yán)重。圖9為風(fēng)機(jī)變槳角、轉(zhuǎn)速隨時(shí)間的變化關(guān)系圖。

首先由圖8(c)的風(fēng)速-時(shí)間變化中可以看出，在該時(shí)間段內(nèi)該地區(qū)的風(fēng)速保持在0～15m/s，小于風(fēng)機(jī)的切出風(fēng)速25m/s，因此不存在實(shí)際風(fēng)速大于切出風(fēng)速所導(dǎo)致的風(fēng)機(jī)停止捕獲風(fēng)能的情況。

圖8 可視化結(jié)果Fig. 8 Visualization results

圖9 風(fēng)機(jī)變槳角、轉(zhuǎn)速隨時(shí)間的變化關(guān)系圖Fig.9 Visualization results of relation between pitch-angle and time and relation between rotate-speed and time

然后從圖8(a)三維平行散點(diǎn)圖的可視化結(jié)果中可以看出，該風(fēng)機(jī)在2月份的運(yùn)行狀態(tài)可以被分為四類，其中狀態(tài)A所占比例最多，結(jié)合圖8(b)的有功功率-時(shí)間變化可以看出，在狀態(tài)A下風(fēng)機(jī)有功功率保持在約100～300kW的范圍，結(jié)合圖8(c)與圖9(a)可知對(duì)應(yīng)的風(fēng)速及風(fēng)機(jī)變槳角多處于3～10m/s及0°～20°之間，由圖9(b)可知此狀態(tài)下風(fēng)機(jī)轉(zhuǎn)速基本保持為某個(gè)恒定值，因此狀態(tài)A代表的是風(fēng)機(jī)正常工作時(shí)的轉(zhuǎn)速恒定狀態(tài)，有功功率隨風(fēng)速的變化而變化。

在狀態(tài)B所代表的狀態(tài)下，風(fēng)機(jī)變槳角基本保持不變或是呈上升趨勢(shì)，在變槳角保持不變時(shí)風(fēng)機(jī)的轉(zhuǎn)速隨風(fēng)速變化，表示在有一定風(fēng)速的情況下風(fēng)機(jī)捕獲最大風(fēng)能的運(yùn)行狀態(tài)，即最大風(fēng)能捕獲區(qū)；在變槳角增加時(shí)表示風(fēng)機(jī)在功率極限區(qū)域工作一段時(shí)間后進(jìn)行調(diào)整，增加風(fēng)機(jī)變槳角以控制風(fēng)機(jī)轉(zhuǎn)速及輸出功率的調(diào)整狀態(tài)。

在狀態(tài)C下，由圖8(b)、圖9(a)可知風(fēng)機(jī)變槳角保持在0°附近，風(fēng)速達(dá)到額定風(fēng)速11.1m/s，輸出功率保持在1000～1500kW，已接近或達(dá)到功率極限，由圖9(b)可知此時(shí)風(fēng)機(jī)的發(fā)電機(jī)轉(zhuǎn)速接近極限值(約1750r/min)，此時(shí)應(yīng)引起工作人員的注意，應(yīng)查看發(fā)電機(jī)軸承、繞組溫度等監(jiān)測(cè)量，以保證風(fēng)電機(jī)組的安全穩(wěn)定運(yùn)行。

在狀態(tài)D下，由圖9(a)和圖9(b)可知，其中絕大多數(shù)情況顯示風(fēng)機(jī)變槳角大于89°，可以看出這是因?yàn)轱L(fēng)機(jī)進(jìn)入停機(jī)或緊急停機(jī)狀態(tài)使得風(fēng)機(jī)有功功率為0。其余情況下，狀態(tài)D的分布稀疏且風(fēng)機(jī)變槳角變化極快，可以認(rèn)為是風(fēng)機(jī)在由停止到起動(dòng)過程中葉片變槳角調(diào)節(jié)至迎風(fēng)狀態(tài)或是風(fēng)機(jī)自動(dòng)解纜所導(dǎo)致。

5 結(jié)論

本文為實(shí)現(xiàn)大數(shù)據(jù)環(huán)境下的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)的可視化展示，在Spark大數(shù)據(jù)處理平臺(tái)上對(duì)電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)可視化進(jìn)行了研究，提出了一種基于Spark的電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)可視化方法。該方法通過對(duì)電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)進(jìn)行FCM與設(shè)備狀態(tài)評(píng)估指標(biāo)體系相結(jié)合的設(shè)備狀態(tài)信息提取，以獲取設(shè)備運(yùn)行狀態(tài)信息集，并通過三維平行散點(diǎn)圖的形式,進(jìn)行狀態(tài)變化與監(jiān)測(cè)數(shù)據(jù)相結(jié)合的一體化展現(xiàn)。實(shí)驗(yàn)結(jié)果證明，在處理千萬級(jí)的電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)時(shí)，該方法在數(shù)據(jù)信息提取上具有良好的可擴(kuò)展性和加速比，完全可以滿足電力大數(shù)據(jù)處理的半實(shí)時(shí)性需求，且可視化結(jié)果易于理解，實(shí)現(xiàn)了數(shù)據(jù)的全景展示。下一步工作的重點(diǎn)將是對(duì)電力大數(shù)據(jù)可視化的人機(jī)交互方法進(jìn)行進(jìn)一步研究，以便使其能夠更好地應(yīng)用于電力大數(shù)據(jù)可視化分析和電網(wǎng)管控決策中。

[1] 鄒建明(Zou Jianming).在線監(jiān)測(cè)技術(shù)在電網(wǎng)中的應(yīng)用(Application of on-line monitoring technology on power grid)[J].高電壓技術(shù)(High Voltage Engineering), 2007, 33 (8): 203-206.

[2] 周國(guó)亮,宋亞奇,王桂蘭，等(Zhou Guoliang, Song Yaqi, Wang Guilan, et al.).狀態(tài)監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)及聚類劃分研究(Research of condition monitoring big data storage and clustering)[J].電工技術(shù)學(xué)報(bào)(Transactions of China Electrotechnical Society), 2013, 28 (S2): 337-344.

[3] 彭小圣,鄧迪元,程時(shí)杰,等(Peng Xiaosheng, Deng Diyuan, Cheng Shijie, et al.).面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)(Key technologies of electric power big data and its application prospects in smart grid)[J]. 中國(guó)電機(jī)工程學(xué)報(bào)(Proceedings of the CSEE),2015, 35 (3): 503-511.

[4] 張東霞,苗新,劉麗平,等(Zhang Dongxia, Miao Xin, Liu Liping, et al.).智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究(Research on Development Strategy for Smart Grid Big Data)[J].中國(guó)電機(jī)工程學(xué)報(bào)(Proceedings of the CSEE),2014, 35 (S1): 432-437.

[5] 王棟(Wang Dong).大數(shù)據(jù)可視化技術(shù)在電網(wǎng)企業(yè)的應(yīng)用(Application of big data visualization technique in power grid enterprise)[J].江蘇電機(jī)工程(Jiangsu Electrical Engineering),2014, 33 (6):82-84.

[6] 阮羚,謝齊家,高勝友,等(Ruan Ling, Xie Qijia, Gao Shengyou, et al.).人工神經(jīng)網(wǎng)絡(luò)和信息融合技術(shù)在變壓器狀態(tài)評(píng)估中的應(yīng)用(Application of artificial neural network and information fusion technology in power transformer condition assessment)[J].高電壓技術(shù)(High Voltage Engineering),2014, 40 (3):822-828.

[7] 李黎,張登,謝龍君,等(Li Li, Zhang Deng, Xie Longjun, et al.).采用關(guān)聯(lián)規(guī)則綜合分析和變權(quán)重系數(shù)的電力變壓器狀態(tài)評(píng)估方法(A condition assessment method of power transformers based on association rules and variable weight coefficients)[J].中國(guó)電機(jī)工程學(xué)報(bào)(Proceedings of the CSEE),2013, 33 (24):152-159, 22.

[8] 梁永亮,李可軍,牛林,等(Liang Yongliang, li Kejun, Niu Lin, et al.).變壓器狀態(tài)評(píng)估多層次不確定模型(A multilayer uncertain transformer condition assessment model)[J].電力系統(tǒng)自動(dòng)化(Automation Electric Power Systems),2013, 37 (22):73-78.

[9] 廖瑞金,王謙,駱?biāo)技?等(Liao Ruijin, Wang Qian, Luo Sijia, et al.).基于模糊綜合評(píng)判的電力變壓器運(yùn)行狀態(tài)評(píng)估模型(Condition assessment model for power transformer in service based on fuzzy synthetic evaluation)[J].電力系統(tǒng)自動(dòng)化(Automation Electric Power Systems),2008, 32 (3):70-75.

[10] 曲朝陽,陳帥,楊帆,等(Qu Zhaoyang, Chen Shuai, Yang Fan, et al.).基于云計(jì)算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方法(An attribute reducing method for electric power big data preprocessing based on cloud computing technology)[J].電力系統(tǒng)自動(dòng)化(Automation Electric Power Systems), 2014, 38 (8):67-71.

[11] 肖運(yùn)啟,王昆朋,賀貫舉,等(Xiao Yunqi, Wang Kunpeng, He Guanju, et al.). 基于趨勢(shì)預(yù)測(cè)的大型風(fēng)電機(jī)組運(yùn)行狀態(tài)模糊綜合評(píng)價(jià)(Fuzzy comprehensive evaluation for operating condition of large-scale wind turbines based on trend predication)[J].中國(guó)電機(jī)工程學(xué)報(bào)(Proceedings of the CSEE),2014, 34 (13):2132-2139.

[12] 任磊,杜一,馬帥,等(Ren Lei, Du Yi, Ma Shuai, et al.). 大數(shù)據(jù)可視分析綜述(Visual analytics towards big data)[J].軟件學(xué)報(bào)(Journal of Software),2014, 25 (9):1909-1936.

[13] 雷君虎,楊家紅,鐘堅(jiān)成,等(Lei Junhu, Yang Jiahong, Zhong Jiancheng, et al.).基于PCA和平行坐標(biāo)的高維數(shù)據(jù)可視化(High-dimensional data visualization based on principal component analysis and parallel coordinate)[J].計(jì)算機(jī)工程(Computer Engineering),2011, 37 (1):48-50.

[14] 周國(guó)亮,朱永利,王桂蘭,等(Zhou Guoliang, Zhu Yongli, Wang Guilan, et al.).實(shí)時(shí)大數(shù)據(jù)處理技術(shù)在狀態(tài)監(jiān)測(cè)領(lǐng)域中的應(yīng)用(Real-time big data processing technology application in the field of state monitoring)[J].電工技術(shù)學(xué)報(bào)(Transactions of China Electrotechnical Society),2014, 29 (S1):432-437.

Visualization method of electrical equipment online monitoring data based on Spark

QU Zhao-yang1XIONG Ze-yu1YAN Jia2XIN Peng3QU Nan4

(1.School of Information Engineering, Northeast Dianli University, Jilin 132012,China; 2.State Grid Jilin Province Electric Power Supply Company, Changchun 130021, China; 3. Jilin Power Supply Company, State Grid Jilin Province Electric Power Supply Company, Jilin 132001, China; 4.Maintenaue Company of Jiangsu Power Company, Nanjing 210008, China)

With the strengthening of range and quality of the electrical equipment online monitoring in smart grid, the collected data volume in online monitoring is growing exponentially. All the attributes and the operating state in electrical equipment online monitoring data which is of massive amounts can be presented directly by the big data visualization, which can provide powerful guarantee to effective and timely monitoring and analyzing of the operating state. However, the application of the big data visualization to electrical power big data is still in a preliminary stage, and there is still lacking of visualization method of electrical equipment online monitoring data under big data environment. Therefore, a visualization method of the electrical equipment online monitoring data based on Spark is proposed. To realize rapid extraction of electrical equipment state information, the state information extracting algorithm based on FCM and evaluation system is constructed on Spark. For the multi-dimensional and time-serial feature of electrical equipment online monitoring data, the representation based on 3-D parallel scatter is constructed, and the data information of the electrical equipment online monitoring is realized. The method is applied to the WTGS online monitoring data set, and the efficiency of the method is proved by the experiment result.

Spark; electrical power big data; information visualization; online monitoring

2015-12-24

國(guó)家自然科學(xué)基金項(xiàng)目(51277023)、 吉林省科技計(jì)劃重點(diǎn)項(xiàng)目(20130206085SF)、 吉林省科技重點(diǎn)轉(zhuǎn)化項(xiàng)目(20140307008GX)

曲朝陽(1964-), 男, 吉林籍, 教授, 博士生導(dǎo)師, 研究方向?yàn)橹悄茈娋W(wǎng)與電力信息化、 虛擬現(xiàn)實(shí)、 網(wǎng)絡(luò)技術(shù)等; 熊澤宇(1991-), 男， 江蘇籍， 碩士研究生， 研究方向?yàn)殡娏Υ髷?shù)據(jù)可視化(通信作者)。

TM46

A

1003-3076(2016)11-0072-09