基于分布式架構(gòu)的電網(wǎng)營銷數(shù)據(jù)自動(dòng)監(jiān)測(cè)可視化研究＊

周 蘇,王良之,宋 凱,曹 鑫,柯行思

（國網(wǎng)四川省電力公司供電服務(wù)中心，四川 成都 610041）

1 引言

電網(wǎng)規(guī)模日益擴(kuò)大，結(jié)構(gòu)也隨之日漸復(fù)雜化，確保電網(wǎng)運(yùn)行安全性勢(shì)必是非常艱難的任務(wù)。傳統(tǒng)的圖表顯示在分析內(nèi)在規(guī)律時(shí)并沒有什么優(yōu)勢(shì)，因此，高效管理與大量電網(wǎng)數(shù)據(jù)分析儼然變?yōu)橹匾n題。傳統(tǒng)的電力設(shè)備狀態(tài)監(jiān)測(cè)的重心是運(yùn)行故障的實(shí)時(shí)精確定位與分析，在大數(shù)據(jù)背景下，逐漸轉(zhuǎn)向?qū)\(yùn)行狀態(tài)的全景展現(xiàn)與趨勢(shì)預(yù)測(cè)，電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)與運(yùn)行狀態(tài)變化情況可通過大數(shù)據(jù)可視化這一有效信息傳遞方式更直觀展現(xiàn)設(shè)備的運(yùn)行情況，所以通過大數(shù)據(jù)可視化對(duì)電力裝備運(yùn)行狀況進(jìn)行監(jiān)控有重大意義。

傳統(tǒng)的電網(wǎng)營銷數(shù)據(jù)監(jiān)測(cè)可視化技術(shù)使用受限，通常只在局域網(wǎng)亦或是專用的網(wǎng)絡(luò)中使用，外業(yè)人員在電網(wǎng)建造、維修護(hù)理以及檢修問題的操作中，沒有辦法得到所需要的具有實(shí)時(shí)性的電網(wǎng)運(yùn)行情況，在很大程度上降低了工作效率[1-3]。傳統(tǒng)大數(shù)據(jù)處理技術(shù)需要對(duì)海量數(shù)據(jù)進(jìn)行批量批量處理，一般使用MapReduce編程框架，實(shí)現(xiàn)并行計(jì)算[4]。具有數(shù)據(jù)規(guī)模大、吞吐量高、實(shí)時(shí)性差的特點(diǎn)，因此無法完成時(shí)效性要求較高的計(jì)算任務(wù)。因此，目的為消解電力設(shè)備監(jiān)測(cè)數(shù)據(jù)的實(shí)施展示以及在線計(jì)算問題，則拓展針對(duì)空間信息的獲取渠道就尤為必要，基于此，提出了基于分布式架構(gòu)的電網(wǎng)營銷數(shù)據(jù)自動(dòng)監(jiān)測(cè)可視化研究。無法用文字或者列表表示的數(shù)據(jù)信息，可以運(yùn)用可視化技術(shù)將其以多樣化的圖形、圖像方式進(jìn)行展示，數(shù)據(jù)信息之間的內(nèi)在聯(lián)系也能夠更直觀的展現(xiàn)出來[5]。

2 基于分布式架構(gòu)的電網(wǎng)營銷數(shù)據(jù)分析與展示架構(gòu)分析

電網(wǎng)營銷綜合數(shù)據(jù)分析與展示架構(gòu)主要分為六個(gè)模塊，分別是數(shù)據(jù)應(yīng)用模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)傳輸模塊和多源數(shù)據(jù)模塊。其架構(gòu)如圖1所示。

圖1 電網(wǎng)營銷綜合數(shù)據(jù)分析與展示數(shù)據(jù)架構(gòu)

（1）多源數(shù)據(jù)模塊包括電網(wǎng)營銷業(yè)務(wù)應(yīng)用系統(tǒng)、采集系統(tǒng)與用戶一體化繳費(fèi)平臺(tái)。為了減少對(duì)多源數(shù)據(jù)生產(chǎn)庫的負(fù)載壓力，需利用查詢庫獲取相關(guān)數(shù)據(jù)[5-6]。

（2）數(shù)據(jù)傳輸模塊主要是對(duì)分布式消息隊(duì)列中的信息進(jìn)行傳輸，從電網(wǎng)營銷各業(yè)務(wù)系統(tǒng)中采集相關(guān)數(shù)據(jù)。

（3）數(shù)據(jù)處理、分析與存儲(chǔ)模塊針對(duì)分析及結(jié)果數(shù)據(jù)進(jìn)行分類處理，在整個(gè)電網(wǎng)營銷綜合數(shù)據(jù)分析與展示數(shù)據(jù)架構(gòu)中，因?yàn)樘幚淼臄?shù)據(jù)非常巨大，采用就近處理、并行處理策略，所以數(shù)據(jù)存儲(chǔ)和處理往往是緊密結(jié)合的[7]。

（4）數(shù)據(jù)應(yīng)用模塊包括客戶行為習(xí)慣分析、客戶消費(fèi)習(xí)慣分析和綜合數(shù)據(jù)分析，從這三種分析結(jié)果中提取出相關(guān)數(shù)據(jù)存儲(chǔ)到關(guān)系數(shù)據(jù)庫之中，以此進(jìn)行數(shù)據(jù)展現(xiàn)與外部查詢[8]。

“營銷綜合數(shù)據(jù)分析與展示”利用現(xiàn)有軟、硬件資源，完成綜合數(shù)據(jù)展現(xiàn)的開發(fā)、集成、部署、軟件測(cè)試、系統(tǒng)割接上線、營銷綜合數(shù)據(jù)分析、客戶行為習(xí)慣分析、客戶電力消費(fèi)習(xí)慣分析、等工作。

根據(jù)上述架構(gòu)，對(duì)系統(tǒng)的“一個(gè)平臺(tái)，三個(gè)應(yīng)用”功能進(jìn)行分析，結(jié)果如圖2所示。

圖2 電網(wǎng)營銷綜合數(shù)據(jù)分析與展示數(shù)據(jù)功能

（1）營銷綜合數(shù)據(jù)分析平臺(tái)，具備一下基本功能：數(shù)據(jù)加載功能、應(yīng)用裝配功能、分析結(jié)果展現(xiàn)、應(yīng)用管理控制功能等。

（2）分析客戶行為習(xí)慣，對(duì)多樣化的營銷綜合數(shù)據(jù)進(jìn)行分析，通過客戶繳費(fèi)等數(shù)據(jù)，多維度立體分析對(duì)客戶行為習(xí)慣進(jìn)行，挖掘客戶行為習(xí)慣、地域差別，并通過可視化信息技術(shù)為業(yè)務(wù)系統(tǒng)數(shù)據(jù)應(yīng)用提供服務(wù)能力[13]。

（3）分析客戶電力消費(fèi)習(xí)慣，對(duì)客戶用電量情況，按照不同用戶類別、不同階梯、不同時(shí)段、等進(jìn)行多維度立體分析，挖掘不同地域、不同客戶群電力消費(fèi)習(xí)慣，發(fā)現(xiàn)客戶電力消費(fèi)的峰谷差異和階梯差異，為電價(jià)調(diào)整提供準(zhǔn)確的數(shù)據(jù)依據(jù)。

（4）綜合數(shù)據(jù)展現(xiàn)，獲取營銷、采集等相關(guān)業(yè)務(wù)應(yīng)用系統(tǒng)的實(shí)時(shí)監(jiān)控和分析數(shù)據(jù)，并由客服中心來進(jìn)行綜合展現(xiàn)導(dǎo)航、主題數(shù)據(jù)進(jìn)行綜合數(shù)據(jù)展現(xiàn)。

3 電網(wǎng)營銷數(shù)據(jù)提取

針對(duì)同一類設(shè)備運(yùn)行所產(chǎn)生的不同數(shù)據(jù)信息，需采用FCM 聚類算法對(duì)其進(jìn)行柔性劃分，并將劃分結(jié)果進(jìn)行歸類處理，并利用已有評(píng)估指標(biāo)體系對(duì)設(shè)備運(yùn)行狀態(tài)進(jìn)行評(píng)估，從而確定每個(gè)聚類所反映的設(shè)備狀態(tài)[15]。根據(jù)最大隸屬度原則，去模糊化處理上述數(shù)據(jù)集柔性規(guī)劃結(jié)果，并對(duì)數(shù)據(jù)集中所有數(shù)據(jù)元素進(jìn)行提取，進(jìn)而獲取設(shè)備狀態(tài)整體信息。

電網(wǎng)營銷數(shù)據(jù)提取流程如圖3所示。

圖3 電網(wǎng)營銷數(shù)據(jù)提取流程

4 電網(wǎng)營銷數(shù)據(jù)自動(dòng)監(jiān)測(cè)可視化研究

電力電纜狀態(tài)可視化管理系統(tǒng)連接著底層的狀態(tài)數(shù)據(jù)采集子系統(tǒng)，是整個(gè)系統(tǒng)的關(guān)鍵部分，借助分布式發(fā)布方式，虛擬化來源于分布式光纖采集子系統(tǒng)的大數(shù)據(jù)，同時(shí)將其直觀顯現(xiàn)在管理平臺(tái)上，對(duì)目前被監(jiān)測(cè)電纜的健康狀態(tài)和相對(duì)應(yīng)的歷史記錄信息進(jìn)行反饋。

在分布式集群上構(gòu)建分布式架構(gòu)，多源監(jiān)測(cè)數(shù)據(jù)通過DataHub高速通道進(jìn)入流計(jì)算，在內(nèi)存中即可完成分析數(shù)據(jù)操作，延遲時(shí)間短是其特點(diǎn)，可以在S 級(jí)甚至ms 級(jí)完成計(jì)算，而批量計(jì)算以Hadoop MapReduce為代表，與數(shù)據(jù)信息可視化相比有很大差別?；诜植际郊軜?gòu)的電網(wǎng)營銷數(shù)據(jù)自動(dòng)監(jiān)測(cè)可視化展示流程如圖4所示。

圖4 電網(wǎng)營銷數(shù)據(jù)自動(dòng)監(jiān)測(cè)可視化展示流程

在電網(wǎng)營銷大數(shù)據(jù)計(jì)算平臺(tái)上，通過電網(wǎng)營銷數(shù)據(jù)可視化類庫，可以實(shí)現(xiàn)電網(wǎng)營銷數(shù)據(jù)自動(dòng)監(jiān)測(cè)可視化展示顯現(xiàn)如下所示是可視化展示具體實(shí)現(xiàn)步驟。

（1）借助彈性分布式數(shù)據(jù)集類的采集方法，對(duì)電力設(shè)備在線監(jiān)測(cè)數(shù)據(jù)信息進(jìn)行獲取，得到狀態(tài)信息元素列表Lasts，主要包括聚類編號(hào)、時(shí)間點(diǎn)、監(jiān)測(cè)量。

（2）分解電網(wǎng)營銷清單中的每個(gè)Vector 類型的數(shù)據(jù)元素，根據(jù)聚類編號(hào)，數(shù)據(jù)點(diǎn)集構(gòu)建相應(yīng)列表。

（3）指定聚類編號(hào)列表中每一個(gè)聚類編號(hào)對(duì)應(yīng)顏色，構(gòu)成著色列表。

（4）輸入著色列表、數(shù)據(jù)點(diǎn)集列表數(shù)據(jù)，建立三維平行散點(diǎn)圖。

5 實(shí)驗(yàn)

為了驗(yàn)證基于分布式架構(gòu)的電網(wǎng)營銷數(shù)據(jù)自動(dòng)監(jiān)測(cè)可視化研究合理性，進(jìn)行了實(shí)驗(yàn)驗(yàn)證分析。

5.1 實(shí)驗(yàn)數(shù)據(jù)分析

在客戶檔案信息、應(yīng)收/實(shí)收電費(fèi)信息、繳費(fèi)網(wǎng)點(diǎn)檔案/繳費(fèi)渠道檔案等數(shù)據(jù)基礎(chǔ)上，各營業(yè)廳每日24 點(diǎn)繳費(fèi)筆數(shù)及閥值預(yù)警，各單位互聯(lián)網(wǎng)繳費(fèi)變化情況，各ATM繳費(fèi)終端應(yīng)用情況，各代收點(diǎn)近三年代收筆數(shù)曲線，等數(shù)據(jù)分析，對(duì)繳費(fèi)行為以及繳費(fèi)渠道的建設(shè)情況進(jìn)行分析，指導(dǎo)繳費(fèi)渠道的建設(shè)。在整體設(shè)計(jì)上，包括：渠道偏好、繳費(fèi)渠道、代收點(diǎn)、ATM繳費(fèi)、營業(yè)廳服務(wù)范圍分布、互聯(lián)網(wǎng)繳費(fèi)共6個(gè)分析項(xiàng)目，以下分別進(jìn)行描述。

（1）繳費(fèi)渠道

分析營業(yè)廳、ATM、第三方代收等渠道、第三方代收等渠道互聯(lián)網(wǎng)，X軸為時(shí)間坐標(biāo)，以小時(shí)為單位展示每日24個(gè)點(diǎn)。以曲線圖的形式進(jìn)行展示。

圖5 曲線展示圖

選擇四川省，顯示24小時(shí)，全省各繳費(fèi)渠道（營業(yè)廳、互聯(lián)網(wǎng)、ATM、第三方代收）的交易量，在曲線圖上用不同圖形顯示不同繳費(fèi)渠道。選擇22個(gè)地市供電單位，顯示24小時(shí)，所選地市供電單位各繳費(fèi)渠道（營業(yè)廳、互聯(lián)網(wǎng)、ATM、第三方代收）的交易量，在曲線圖上用不同顏色進(jìn)行顯示不同繳費(fèi)渠道。

（2）渠道偏好

將各供電單位，互聯(lián)網(wǎng)、營業(yè)廳、ATM、第三方代收共四渠道繳費(fèi)的同期占比、渠道同比信息進(jìn)行分析。采用玫瑰花圖進(jìn)行展示。

圖6 玫瑰花圖展示結(jié)果

選擇四川省時(shí)，顯示22 個(gè)地市供電單位不同繳費(fèi)渠道（營業(yè)廳、互聯(lián)網(wǎng)、ATM、第三方代收），根據(jù)選擇的本月（上月）顯示各渠道交易量占比。選擇22個(gè)地市供電單位時(shí)，顯示地市供電單位下屬區(qū)縣不同繳費(fèi)渠道（營業(yè)廳、互聯(lián)網(wǎng)、ATM、第三方代收），根據(jù)選擇的本月（上月）顯示各渠道交易量占比。

5.2 實(shí)驗(yàn)環(huán)境配置

實(shí)驗(yàn)環(huán)境配置如表1所示。

表1 實(shí)驗(yàn)環(huán)境配置

5.3 實(shí)驗(yàn)結(jié)果與分析

根據(jù)上述參數(shù)，分別在繳費(fèi)渠道和渠道偏好兩種情況下，采用文獻(xiàn)[1]方法、文獻(xiàn)[2]方法、文獻(xiàn)[3]方法以及本文方法進(jìn)行監(jiān)測(cè)可視化效果進(jìn)行驗(yàn)證。

5.3.1 數(shù)據(jù)監(jiān)測(cè)準(zhǔn)確率

以繳費(fèi)渠道下獲得的電網(wǎng)營銷數(shù)據(jù)為基礎(chǔ)，將兩種方法監(jiān)測(cè)數(shù)據(jù)準(zhǔn)確性結(jié)果進(jìn)行對(duì)比分析，結(jié)果如圖7所示。

圖7 繳費(fèi)渠道下不同方法監(jiān)測(cè)效果

由圖7可知：當(dāng)實(shí)驗(yàn)次數(shù)為5次時(shí)，文獻(xiàn)[1]方法的數(shù)據(jù)監(jiān)測(cè)準(zhǔn)確率為68%，文獻(xiàn)[2]方法的數(shù)據(jù)監(jiān)測(cè)準(zhǔn)確率為73%，文獻(xiàn)[3]方法的數(shù)據(jù)監(jiān)測(cè)準(zhǔn)確率為66%，而本文方法的監(jiān)測(cè)準(zhǔn)確率為82%；當(dāng)實(shí)驗(yàn)次數(shù)為40次時(shí)，文獻(xiàn)[1]方法的數(shù)據(jù)監(jiān)測(cè)準(zhǔn)確率為69%，文獻(xiàn)[2]方法的數(shù)據(jù)監(jiān)測(cè)準(zhǔn)確率為73%，文獻(xiàn)[3]方法的數(shù)據(jù)監(jiān)測(cè)準(zhǔn)確率為75%，而本文方法的監(jiān)測(cè)準(zhǔn)確率為91%。由此可知，在繳費(fèi)渠道下，本文方法的數(shù)據(jù)監(jiān)測(cè)準(zhǔn)確率高。

5.3.2 監(jiān)測(cè)數(shù)據(jù)透明度

以渠道偏好下獲得的電網(wǎng)營銷數(shù)據(jù)為基礎(chǔ)，將四種方法的監(jiān)測(cè)數(shù)據(jù)透明度進(jìn)行對(duì)比分析，結(jié)果如圖8所示。

圖8 渠道偏好下不同方法監(jiān)測(cè)數(shù)據(jù)透明度

由圖8 可知：當(dāng)實(shí)驗(yàn)次數(shù)為10 次時(shí)，文獻(xiàn)[1]方法的監(jiān)測(cè)數(shù)據(jù)透明度為82%，文獻(xiàn)[2]方法的監(jiān)測(cè)數(shù)據(jù)透明度為75%，文獻(xiàn)[3]方法的監(jiān)測(cè)數(shù)據(jù)透明度為56%，而本文方法的監(jiān)測(cè)數(shù)據(jù)透明度為93%；當(dāng)實(shí)驗(yàn)次數(shù)為60次時(shí)，文獻(xiàn)[1]方法的監(jiān)測(cè)數(shù)據(jù)透明度為75%，文獻(xiàn)[2]方法的監(jiān)測(cè)數(shù)據(jù)透明度為68%，文獻(xiàn)[3]方法的監(jiān)測(cè)數(shù)據(jù)透明度為83%，而本文方法的監(jiān)測(cè)數(shù)據(jù)透明度為96%，本文方法的監(jiān)測(cè)數(shù)據(jù)透明度一直較高，也就是可視化效果較好。由此可知，在渠道偏好下，基于分布式架構(gòu)方法可視化效果更好。

6 結(jié)束語

基于分布式架構(gòu)的電網(wǎng)營銷數(shù)據(jù)自動(dòng)監(jiān)測(cè)可視化研究中蘊(yùn)含的可視化展示技術(shù)十分強(qiáng)大，通過更直觀的、形象化的可視化圖形，能夠使電網(wǎng)的運(yùn)行管理和調(diào)度人員更加高效便利，電網(wǎng)運(yùn)行中枯燥的數(shù)據(jù)進(jìn)行展示的靈活性和生動(dòng)性更強(qiáng)，可以讓管理人員對(duì)電網(wǎng)目前運(yùn)行狀態(tài)更加了解，并針對(duì)電網(wǎng)的不同情況采取更加高效的運(yùn)行控制策略。

雖然該研究方法具有良好可視化效果，但是還存在以下不足：

（1）在電網(wǎng)數(shù)據(jù)的可視化展示中，對(duì)數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián)和規(guī)律的挖掘不能完全實(shí)現(xiàn)，目前只停留在于對(duì)數(shù)據(jù)的展示階段。

（2）系統(tǒng)性能低下，在分析超大量信息時(shí)耗費(fèi)了大量系統(tǒng)資源，從而影響了展示效果。

（3）系統(tǒng)的響應(yīng)速率未達(dá)到理想狀態(tài)，當(dāng)需要將眾多圖形、圖像進(jìn)行加載時(shí)，加載顯示速率較低

（4）缺乏多樣化的展現(xiàn)方式，系統(tǒng)中對(duì)于電網(wǎng)數(shù)據(jù)的可視化展示形式不夠豐富。