基于電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)的可視化研究

趙小凡, 張夢(mèng)清, 劉超

(廣東電網(wǎng)有限責(zé)任公司 廣州供電局, 廣東 廣州 510610)

0 引言

隨著電網(wǎng)規(guī)模的不斷擴(kuò)大和電力企業(yè)信息化水平的提高，數(shù)據(jù)量呈現(xiàn)爆炸式增加，給電力數(shù)據(jù)中心數(shù)據(jù)管理帶來(lái)了巨大挑戰(zhàn)，數(shù)據(jù)管理工作的好壞直接影響日常工作的正常開展[1-2]。為克服電力數(shù)據(jù)中心的傳統(tǒng)管理方法的不足，提出一種基于電力數(shù)據(jù)中心的數(shù)據(jù)流轉(zhuǎn)可視化方法，實(shí)現(xiàn)對(duì)源頭業(yè)務(wù)生產(chǎn)系統(tǒng)數(shù)據(jù)采集到數(shù)據(jù)中心的事務(wù)作業(yè)及作業(yè)進(jìn)程進(jìn)行監(jiān)控告警；另一方面，實(shí)現(xiàn)對(duì)數(shù)據(jù)服務(wù)各環(huán)節(jié)相關(guān)數(shù)據(jù)流轉(zhuǎn)過(guò)程進(jìn)行監(jiān)控，并對(duì)數(shù)據(jù)流轉(zhuǎn)過(guò)程作業(yè)引發(fā)的問(wèn)題能及時(shí)快速作出影響分析、告警，并以可視化界面快捷友好展現(xiàn)作業(yè)運(yùn)行情況及異常問(wèn)題點(diǎn)，快速發(fā)現(xiàn)問(wèn)題、解決問(wèn)題，從而為有效支撐各應(yīng)用及時(shí)發(fā)現(xiàn)問(wèn)題、及時(shí)解決問(wèn)題提供有力保障。

1 平臺(tái)總體架構(gòu)與技術(shù)架構(gòu)設(shè)計(jì)

1.1 平臺(tái)總體架構(gòu)設(shè)計(jì)

基于電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)的可視化平臺(tái)總體框架，如圖1所示。

圖1 平臺(tái)總體框架

平臺(tái)主要包括源數(shù)據(jù)層、數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、應(yīng)用服務(wù)層和用戶層[3-4]。

用戶層：數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)管控平臺(tái)系統(tǒng)的用戶，實(shí)現(xiàn)訪問(wèn)控制。

應(yīng)用服務(wù)層：數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)管控平臺(tái)系統(tǒng)部署在該層，實(shí)現(xiàn)監(jiān)控指標(biāo)的展示和系統(tǒng)的管理功能。

數(shù)據(jù)采集層：將源數(shù)據(jù)加工為指標(biāo)數(shù)據(jù)，實(shí)現(xiàn)指標(biāo)數(shù)據(jù)收集和指標(biāo)數(shù)據(jù)計(jì)算的功能。

數(shù)據(jù)存儲(chǔ)層：存儲(chǔ)計(jì)算后的指標(biāo)數(shù)據(jù)。

源數(shù)據(jù)層：數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)管控平臺(tái)的基礎(chǔ)數(shù)據(jù)來(lái)源，包含：(1) 數(shù)據(jù)資產(chǎn)管理子工具的數(shù)據(jù)，如資產(chǎn)清單，資產(chǎn)申請(qǐng)單等。(2) 大數(shù)據(jù)平臺(tái)的各指標(biāo)數(shù)據(jù)，如平臺(tái)CPU、內(nèi)存、存儲(chǔ)使用量等。(3) 各組件作業(yè)運(yùn)行信息的數(shù)據(jù)，如Workflow調(diào)度工具的作業(yè)信息和作業(yè)運(yùn)行信息，Ogg數(shù)據(jù)同步工具的任務(wù)信息和任務(wù)執(zhí)行信息等。

1.2 平臺(tái)技術(shù)架構(gòu)設(shè)計(jì)

電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)可視化平臺(tái)的技術(shù)架構(gòu)，如圖2所示。

圖2 技術(shù)架構(gòu)圖

可視化平臺(tái)主要包括展示層、應(yīng)用層、模型層和基礎(chǔ)層。(1) 展示層[5]：前端框架采用Vue 2.6.10 + ElementUI 2.13.2 + Echarts 4.8.0。(2) 應(yīng)用層：應(yīng)用層框架采用SpringBoot 2.2.4 + Mybatis 3.3.1 + Quartz 2.3.0 + Druid 1.1.13，集成短信告警服務(wù)，使用AOP技術(shù)實(shí)現(xiàn)系統(tǒng)日志服務(wù)，應(yīng)用層是由具體實(shí)現(xiàn)各種業(yè)務(wù)邏輯的類實(shí)現(xiàn)的，這些類必須實(shí)現(xiàn)框架指定的接口方法，主要功能是完成用戶實(shí)際的業(yè)務(wù)功能。(3) 模型層：使用UDM建模思想進(jìn)行數(shù)據(jù)建模[6]。(4)基礎(chǔ)層：支撐UDM模型落地，完成應(yīng)用層的數(shù)據(jù)交互。

2 可視化功能模塊設(shè)計(jì)

為實(shí)現(xiàn)電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)的可視化，可視化功能模塊設(shè)計(jì)如圖3所示。

圖3 可視化功能模塊圖

模塊主要包括：數(shù)據(jù)中心大屏展示模塊、應(yīng)用監(jiān)控模塊、數(shù)據(jù)監(jiān)控模塊、作業(yè)監(jiān)控模塊、專項(xiàng)監(jiān)控模塊、租戶監(jiān)控模塊、平臺(tái)監(jiān)控模塊和系統(tǒng)運(yùn)維管理模塊。

圖3中，各模塊主要功能如下。(1) 數(shù)據(jù)中心大屏顯示模塊：以可視化圖形方式顯示數(shù)據(jù)中心的運(yùn)轉(zhuǎn)情況：包括接入的數(shù)據(jù)源、接入作業(yè)、數(shù)據(jù)中心各層級(jí)表、數(shù)據(jù)中心各層級(jí)加工作業(yè)、數(shù)據(jù)服務(wù)接口數(shù)及數(shù)據(jù)服務(wù)接口加工作業(yè)[7-8]。(2) 應(yīng)用監(jiān)控模塊：使用表格和圖形方式展示大數(shù)據(jù)中心和非大數(shù)據(jù)中心應(yīng)用各項(xiàng)指標(biāo)。(3) 數(shù)據(jù)監(jiān)控模塊：使用表格和圖像方式展示數(shù)據(jù)資產(chǎn)各項(xiàng)指標(biāo)、數(shù)據(jù)接入表數(shù)量和作業(yè)數(shù)等指標(biāo)、數(shù)據(jù)服務(wù)各項(xiàng)指標(biāo)、數(shù)據(jù)質(zhì)量各項(xiàng)指標(biāo)和數(shù)據(jù)質(zhì)量檢查規(guī)則運(yùn)行情況等。(4) 作業(yè)監(jiān)控模塊：使用表格和圖像方式展示作業(yè)運(yùn)行匯總指標(biāo)、ETL作業(yè)各項(xiàng)指標(biāo)和異常作業(yè)處理等。(5) 專項(xiàng)監(jiān)控模塊：使用表格和圖像方式展示元數(shù)據(jù)各項(xiàng)指標(biāo)。(6) 租戶和平臺(tái)監(jiān)控模塊：主要展示租戶和平臺(tái)的各項(xiàng)指標(biāo)，并進(jìn)行租戶和平臺(tái)切換查詢。(7) 系統(tǒng)運(yùn)維管理模塊：主要進(jìn)行用戶管理、調(diào)度管理、Excel導(dǎo)入、菜單管理、字典管理、角色管理、定時(shí)任務(wù)、日志管理和流程管理等[9-10]。

3 數(shù)據(jù)中心可視化設(shè)計(jì)

3.1 數(shù)據(jù)流轉(zhuǎn)圖

數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)圖如圖4所示。

圖4 數(shù)據(jù)流轉(zhuǎn)圖

首先，通過(guò)采集設(shè)備(電表、終端設(shè)備等)采集原始數(shù)據(jù)并進(jìn)行二進(jìn)制預(yù)處理[11]；接著，將預(yù)處理之后的數(shù)據(jù)庫(kù)文件分別傳送給大數(shù)據(jù)平臺(tái)、服務(wù)總線器和計(jì)量自動(dòng)化平臺(tái)等，通過(guò)估算、精算、數(shù)據(jù)和分析將產(chǎn)生的指標(biāo)數(shù)據(jù)下發(fā)給各個(gè)數(shù)據(jù)平臺(tái)進(jìn)行生產(chǎn)運(yùn)營(yíng)分析、配網(wǎng)決策分析、電費(fèi)異常分析、大客戶管理分析和輸電線路監(jiān)測(cè)分析等[12-13]。

3.2 數(shù)據(jù)中心整體流轉(zhuǎn)圖

數(shù)據(jù)中心整體流轉(zhuǎn)圖，如圖5所示。

圖5 數(shù)據(jù)中心整體流轉(zhuǎn)圖

用戶可選擇源頭業(yè)務(wù)系統(tǒng)下拉框進(jìn)行單個(gè)業(yè)務(wù)系統(tǒng)整體流轉(zhuǎn)監(jiān)控，通過(guò)日期選擇器切換日期進(jìn)行查詢不同日期的作業(yè)運(yùn)行情況，點(diǎn)擊表個(gè)數(shù)跳轉(zhuǎn)至當(dāng)前源頭業(yè)務(wù)系統(tǒng)或數(shù)據(jù)中心層級(jí)表詳細(xì)信息，點(diǎn)擊作業(yè)數(shù)跳轉(zhuǎn)至當(dāng)前接入工具或加工層級(jí)作業(yè)運(yùn)行信息，優(yōu)先展示失敗作業(yè)。

4 應(yīng)用實(shí)例與創(chuàng)新點(diǎn)分析

4.1 應(yīng)用實(shí)例

選擇中國(guó)南方電網(wǎng)為研究對(duì)象，重點(diǎn)展示其應(yīng)用監(jiān)控模塊內(nèi)容，其應(yīng)用總覽和重點(diǎn)應(yīng)用監(jiān)控分別如圖6、圖7所示。

圖6 應(yīng)用總覽圖

圖7 重點(diǎn)應(yīng)用監(jiān)控圖

圖6中，可以顯示應(yīng)用分布情況、部分應(yīng)用分布情況、訪問(wèn)總數(shù)TOP10、資產(chǎn)申請(qǐng)總數(shù)TOP10和上月新增資產(chǎn)申請(qǐng)TOP10等。

圖7中，作業(yè)總數(shù)：截止當(dāng)前時(shí)間，統(tǒng)計(jì)數(shù)據(jù)中心為重點(diǎn)應(yīng)用服務(wù)所部署的作業(yè)總數(shù)，點(diǎn)擊作業(yè)總數(shù)可跳轉(zhuǎn)到作業(yè)明細(xì)頁(yè)面。成功數(shù)：截止當(dāng)前時(shí)間，統(tǒng)計(jì)數(shù)據(jù)中心為重點(diǎn)應(yīng)用服務(wù)所部署作業(yè)中成功執(zhí)行的作業(yè)總數(shù)，點(diǎn)擊跳轉(zhuǎn)可以跳轉(zhuǎn)到當(dāng)天執(zhí)行成功的作業(yè)明細(xì)頁(yè)面。待執(zhí)行：截止當(dāng)前時(shí)間，統(tǒng)計(jì)數(shù)據(jù)中心為重點(diǎn)應(yīng)用服務(wù)所部署作業(yè)中等待執(zhí)行的作業(yè)總數(shù)，點(diǎn)擊跳轉(zhuǎn)可以跳轉(zhuǎn)到當(dāng)天待執(zhí)行的作業(yè)明細(xì)頁(yè)面。執(zhí)行中：截止當(dāng)前時(shí)間，統(tǒng)計(jì)數(shù)據(jù)中心為重點(diǎn)應(yīng)用服務(wù)所部署作業(yè)中正在執(zhí)行的作業(yè)總數(shù)，點(diǎn)擊跳轉(zhuǎn)可以跳轉(zhuǎn)到當(dāng)天正在運(yùn)行的作業(yè)明細(xì)頁(yè)面。失?。航刂巩?dāng)前時(shí)間，統(tǒng)計(jì)數(shù)據(jù)中心為重點(diǎn)應(yīng)用服務(wù)所部署作業(yè)中執(zhí)行失敗的作業(yè)總數(shù)，點(diǎn)擊跳轉(zhuǎn)可以跳轉(zhuǎn)到當(dāng)天運(yùn)行失敗的作業(yè)明細(xì)頁(yè)面。關(guān)聯(lián)工單數(shù)：根據(jù)作業(yè)、應(yīng)用關(guān)聯(lián)流程管理的未完成工單總數(shù)。訪問(wèn)數(shù)：應(yīng)用系統(tǒng)的訪問(wèn)總數(shù)。

4.2 創(chuàng)新點(diǎn)分析

電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)可視化的主要?jiǎng)?chuàng)新點(diǎn)如下。(1) 以電力數(shù)據(jù)中心實(shí)際需求為基礎(chǔ)，將可視化和電力數(shù)據(jù)中心管理有機(jī)地結(jié)合起開，進(jìn)行了針對(duì)性設(shè)計(jì)，將圖像與數(shù)據(jù)庫(kù)技術(shù)結(jié)合起來(lái)，提高了查詢效率和數(shù)據(jù)處理速度；(2) 將可視化與數(shù)據(jù)庫(kù)技術(shù)結(jié)合，實(shí)現(xiàn)外部數(shù)據(jù)的可視化拉?。?3) 為提高系統(tǒng)的安全性，設(shè)計(jì)出了賬號(hào)、角色和設(shè)備組的三級(jí)綜合管理方式；(4) 針對(duì)用戶的不同需求和習(xí)慣差異，提供了靈活的配置需求。

5 總結(jié)

隨著電網(wǎng)規(guī)模的擴(kuò)大，電力數(shù)據(jù)中心呈現(xiàn)規(guī)?；蛷?fù)雜化，電力數(shù)據(jù)中心的管理難度急劇增大，對(duì)電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)進(jìn)行可視化管理成為電力行業(yè)當(dāng)前研究的一個(gè)重點(diǎn)問(wèn)題。本研究對(duì)電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)進(jìn)行了可視化研究，實(shí)現(xiàn)了電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)的高效查詢和處理，具有很強(qiáng)的數(shù)據(jù)集成能力和數(shù)據(jù)展示能力，接口靈活開放、可以根據(jù)用戶的個(gè)性化需求進(jìn)行個(gè)性化配置，為電力數(shù)據(jù)中心可視化研究提供了新的參考。