電力系統(tǒng)數(shù)據(jù)共享應(yīng)用平臺架構(gòu)設(shè)計(jì)及關(guān)鍵技術(shù)

廣西電網(wǎng)有限責(zé)任公司信息中心 陳昭利

電力系統(tǒng)目前正處于數(shù)字化轉(zhuǎn)型的關(guān)鍵時(shí)期，數(shù)據(jù)共享是提高數(shù)據(jù)要素價(jià)值，促進(jìn)數(shù)字化水平提升的本質(zhì)要求。本文將圍繞電力系統(tǒng)數(shù)據(jù)共享應(yīng)用平臺架構(gòu)設(shè)計(jì)及關(guān)鍵技術(shù)進(jìn)行分析與研究，結(jié)合現(xiàn)代化信息技術(shù)特點(diǎn)加強(qiáng)數(shù)據(jù)流通與獲取，以此為社會進(jìn)步以及電力企業(yè)的發(fā)展創(chuàng)造良好的條件。

為了能夠響應(yīng)國家“建設(shè)具有中國特色的互聯(lián)網(wǎng)企業(yè)”的戰(zhàn)略目標(biāo)，電力企業(yè)應(yīng)該利用現(xiàn)代化技術(shù)進(jìn)行數(shù)據(jù)管理及應(yīng)用平臺建設(shè)，這不僅有利于信息在企業(yè)內(nèi)部的流通，打破“數(shù)據(jù)孤島”，實(shí)現(xiàn)企業(yè)數(shù)據(jù)全專業(yè)、全領(lǐng)域“應(yīng)采盡采”，降低由于信息不對稱造成的資源浪費(fèi)以及經(jīng)濟(jì)損失。數(shù)據(jù)共享應(yīng)用平臺可以對數(shù)據(jù)進(jìn)行智能的分析，利用數(shù)據(jù)服務(wù)滿足實(shí)際需要。

1 電力企業(yè)系統(tǒng)數(shù)據(jù)共享應(yīng)用平臺建設(shè)的重要性

電力系統(tǒng)數(shù)據(jù)共享應(yīng)用平臺的建設(shè)可以使電力業(yè)務(wù)數(shù)據(jù)都能夠被合理、科學(xué)地進(jìn)行整理與歸納，同時(shí)為不同單位提供數(shù)據(jù)共享應(yīng)用服務(wù)，包含原始數(shù)據(jù)集成與計(jì)算加工后的數(shù)據(jù)服務(wù)，可滿足數(shù)據(jù)價(jià)值挖掘、企業(yè)分析應(yīng)用的需求。

當(dāng)前電網(wǎng)企業(yè)已經(jīng)利用信息化技術(shù)實(shí)現(xiàn)了在線運(yùn)營、在線控制等工作，但在不同業(yè)務(wù)數(shù)據(jù)交互共享方面仍存在可優(yōu)化的部分。一方面，電力企業(yè)內(nèi)部業(yè)務(wù)部門以及信息化管理部門之間的聯(lián)系較少，兩方存在信息不對稱性，導(dǎo)致一線操作人員難以及時(shí)、直接反饋工作建設(shè)中的數(shù)據(jù)需求，信息管理人員難以覺察到數(shù)據(jù)中的業(yè)務(wù)價(jià)值，難以根據(jù)用戶相關(guān)信息進(jìn)行針對性的優(yōu)化與完善，不利于電力企業(yè)的發(fā)展與優(yōu)化。長此以往，這種情況會導(dǎo)致難以進(jìn)行信息的使用。另一方面，信息系統(tǒng)由于在操作步驟以及數(shù)據(jù)的歸納上存在一定的不合理現(xiàn)象，這些也會成為電力系統(tǒng)建設(shè)中最為常見的建設(shè)缺點(diǎn)[1]。

2 數(shù)據(jù)共享平臺的設(shè)計(jì)架構(gòu)

2.1 系統(tǒng)總體設(shè)計(jì)

電力企業(yè)的系統(tǒng)數(shù)據(jù)應(yīng)用平臺建設(shè)需以企業(yè)的數(shù)據(jù)庫作為依據(jù)，建立統(tǒng)一的數(shù)據(jù)架構(gòu)，利用數(shù)據(jù)標(biāo)簽，為應(yīng)用平臺的搭建提供數(shù)據(jù)包支持。數(shù)據(jù)共享平臺的建設(shè)主要是由數(shù)據(jù)源、數(shù)據(jù)儲存庫、應(yīng)用功能三個(gè)部分組成，數(shù)據(jù)共享應(yīng)用平臺的搭建是以提供數(shù)據(jù)信息作為主要服務(wù)的平臺，因此可以滿足企業(yè)進(jìn)行數(shù)據(jù)交互、統(tǒng)一開發(fā)與應(yīng)用的需求。

數(shù)據(jù)源分為內(nèi)部數(shù)據(jù)及外部數(shù)據(jù)，內(nèi)部數(shù)據(jù)來自電力企業(yè)生產(chǎn)經(jīng)營業(yè)務(wù)產(chǎn)生的數(shù)據(jù)，外部數(shù)據(jù)來自特定系統(tǒng)，例如氣象數(shù)據(jù)等。內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)將在數(shù)據(jù)中臺進(jìn)行整理，如有需要，則進(jìn)行加工完成數(shù)據(jù)模型。通過以上數(shù)據(jù)流可完成數(shù)據(jù)的整理和統(tǒng)一，實(shí)現(xiàn)全域數(shù)據(jù)統(tǒng)一存儲。數(shù)據(jù)使用過程中，系統(tǒng)在貼源層進(jìn)行整合處理，在標(biāo)簽數(shù)據(jù)層級應(yīng)用數(shù)據(jù)層進(jìn)行一定的業(yè)務(wù)加工，以匯總數(shù)據(jù)與標(biāo)簽數(shù)據(jù)為前提建立設(shè)計(jì)架構(gòu)，使用戶以及企業(yè)可以根據(jù)實(shí)際需求進(jìn)行構(gòu)建。

在建設(shè)過程中，需要保證兼顧用戶需求、運(yùn)營活動等場景，進(jìn)而支持相關(guān)軟件的運(yùn)行，提供精準(zhǔn)的業(yè)務(wù)數(shù)據(jù)查詢業(yè)務(wù)。此外，平臺的架構(gòu)可以支持對外數(shù)據(jù)的共享，提升數(shù)據(jù)在不同場景下的兼容能力，以此達(dá)到持續(xù)為企業(yè)提供數(shù)據(jù)分析的目的[2]。

2.2 數(shù)據(jù)共享應(yīng)用平臺內(nèi)外網(wǎng)交互

數(shù)據(jù)共享應(yīng)用平臺的搭建必須要能夠進(jìn)行內(nèi)外網(wǎng)的交互，利用互聯(lián)網(wǎng)的形式實(shí)現(xiàn)多種業(yè)務(wù)渠道的信息共享和交互，在結(jié)合電力企業(yè)實(shí)際需要的同時(shí)，建設(shè)全渠道的客戶服務(wù)體系，真正實(shí)現(xiàn)電力企業(yè)與其他平臺的信息交互。

電力系統(tǒng)的建設(shè)應(yīng)該能夠滿足國家戰(zhàn)略需要，保證數(shù)據(jù)的安全性，在進(jìn)行外部數(shù)據(jù)交互時(shí)需經(jīng)過特殊的內(nèi)外網(wǎng)交互接口。數(shù)據(jù)共享內(nèi)外網(wǎng)交互接口需處于信息外網(wǎng)和信息內(nèi)網(wǎng)之間的緩沖區(qū)，含數(shù)據(jù)庫隔離裝置和安全隔離交換裝置。其接口傳輸?shù)臄?shù)據(jù)必須經(jīng)過脫敏、加密處理，保證其不含機(jī)密信息。其數(shù)據(jù)共享交互接口可用于向電力系統(tǒng)內(nèi)部及外部提供數(shù)據(jù)服務(wù)，包括結(jié)構(gòu)化數(shù)據(jù)服務(wù)及非結(jié)構(gòu)化數(shù)據(jù)服務(wù)。

2.3 主要應(yīng)用功能

電力企業(yè)的發(fā)展對數(shù)據(jù)使用以及管理的水平要求更高，因此必須要加強(qiáng)數(shù)據(jù)的交互能力并降低獲取難度才能夠真正地發(fā)揮數(shù)據(jù)的價(jià)值。鑒于此情況，應(yīng)用平臺的建設(shè)需要符合以下幾個(gè)需要。

（1）數(shù)據(jù)的獲取。用戶可以根據(jù)實(shí)際需要進(jìn)行數(shù)據(jù)信息的調(diào)取，系統(tǒng)則會通過數(shù)據(jù)同步工具、ETL工具等方式對其提供服務(wù)，用戶進(jìn)入業(yè)務(wù)端口進(jìn)行數(shù)據(jù)服務(wù)調(diào)用便可以直接獲取數(shù)據(jù)，并完整地查看相關(guān)信息。這不僅能夠打斷信息數(shù)據(jù)之間的堡壘，還能夠解決數(shù)據(jù)獲取過程繁瑣的難點(diǎn)，屏蔽多源數(shù)據(jù)造成的影響，實(shí)現(xiàn)數(shù)據(jù)“多方采集、一方維護(hù)”，完善系統(tǒng)的服務(wù)能力。

（2）API個(gè)性化定制。主要是指利用系統(tǒng)對數(shù)據(jù)進(jìn)行API的快速生成，通過可視化的向?qū)Ｊ缴蓴?shù)據(jù)API，這種功能的實(shí)現(xiàn)可以有效改善傳統(tǒng)服務(wù)需要編碼能力才能夠使用數(shù)據(jù)的難點(diǎn)。此外，該功能可以支持自定義的腳本模式，對數(shù)據(jù)進(jìn)行智能化分析。用戶既可以利用平臺進(jìn)行日常的數(shù)據(jù)工作，還可以利用API管理進(jìn)行信息的共享，檢索該數(shù)據(jù)在過去的查詢次數(shù)以及是否出現(xiàn)錯(cuò)誤信息等，使數(shù)據(jù)的應(yīng)用更加智能。

（3）任務(wù)管理。其主要包括數(shù)據(jù)服務(wù)配置、分析、調(diào)取、監(jiān)控等部分，在數(shù)據(jù)運(yùn)行的過程中，可以科學(xué)、安全的對龐大的數(shù)據(jù)資源進(jìn)行管理和監(jiān)督，管理人員可根據(jù)外部服務(wù)的狀況以及執(zhí)行任務(wù)的安排隨時(shí)進(jìn)行暫停。

（4）數(shù)據(jù)挖掘分析功能。數(shù)據(jù)的挖掘分析是電力企業(yè)進(jìn)行長遠(yuǎn)發(fā)展，規(guī)劃發(fā)展方向的重要依據(jù)，其分析成果的真實(shí)性具有非常大的參考意義。因此在進(jìn)行數(shù)據(jù)分析時(shí)，應(yīng)該從整體的角度出發(fā)，加強(qiáng)對數(shù)據(jù)周期管理以及日常維護(hù)的關(guān)注。此外，在進(jìn)行數(shù)據(jù)分析挖掘時(shí)，應(yīng)該加大對數(shù)據(jù)傳遞的分析，并根據(jù)管理者的實(shí)際需求接入SAS以及Python，使平臺的使用者可以直接在平臺應(yīng)用過程中進(jìn)行統(tǒng)計(jì)和分析。與此同時(shí)，高級數(shù)據(jù)庫的建設(shè)也非常重要，能夠?yàn)槠脚_使用提供統(tǒng)計(jì)數(shù)據(jù)的參考，并將相關(guān)數(shù)據(jù)進(jìn)行可視化展示，進(jìn)而使企業(yè)在進(jìn)行監(jiān)督管理、財(cái)務(wù)分析規(guī)劃設(shè)定時(shí)，能夠提升科學(xué)性和合理性。

（5）數(shù)據(jù)產(chǎn)品開發(fā)功能。這種服務(wù)主要是針對數(shù)據(jù)產(chǎn)品規(guī)劃與交易而形成，是指利用數(shù)據(jù)的日常管理，為使用者提供相關(guān)產(chǎn)品方案的一種形式。而數(shù)據(jù)產(chǎn)品開發(fā)則是指利用相關(guān)技術(shù)，為其他使用者提供數(shù)據(jù)產(chǎn)品，進(jìn)而使產(chǎn)品能夠帶動其他外部企業(yè)的發(fā)展，最終實(shí)現(xiàn)互利共贏的目的。

（6）數(shù)據(jù)共享功能。通常是相關(guān)報(bào)表以及數(shù)據(jù)明細(xì)的分享，因此在形式上應(yīng)使平臺滿足明細(xì)數(shù)據(jù)查詢的服務(wù)，進(jìn)而為平臺統(tǒng)計(jì)提供幫助。數(shù)據(jù)是電力企業(yè)非常重要的信息支撐，可以為工作人員提供資源和數(shù)據(jù)需求，在具體工作中要從三個(gè)方面進(jìn)行。1）進(jìn)行資源目錄的設(shè)計(jì)時(shí)，應(yīng)該根據(jù)SG-CIM理論建立資源目錄，并在平臺設(shè)計(jì)中加入搜索查詢的功能，使管理人員可以更加便捷地獲取想要的數(shù)據(jù)；2）數(shù)據(jù)安全管理是保證數(shù)據(jù)安全，降低系統(tǒng)風(fēng)險(xiǎn)的重要保障。技術(shù)人員在進(jìn)行開發(fā)設(shè)計(jì)時(shí)，應(yīng)當(dāng)將數(shù)據(jù)安全與脫敏處理作為核心關(guān)鍵，利用有效的方式對系統(tǒng)進(jìn)行最大限度地保護(hù)；3）數(shù)據(jù)需求開發(fā)也要保證安全性。在進(jìn)行內(nèi)部資源交互使用時(shí)，應(yīng)該從請求、辦理、同意、驗(yàn)證、傳遞、監(jiān)控等多個(gè)步驟進(jìn)行管理；4）數(shù)據(jù)共享通常是相關(guān)報(bào)表以及數(shù)據(jù)明細(xì)的分享，在形式上應(yīng)使平臺滿足明細(xì)數(shù)據(jù)查詢的服務(wù)，進(jìn)而為平臺統(tǒng)計(jì)提供幫助。

3 關(guān)鍵技術(shù)的研究

3.1 整體技術(shù)方案

數(shù)據(jù)共享平臺是一種集數(shù)據(jù)收集、計(jì)算、存儲于一身的重要平臺，可以在不同的場景下進(jìn)行針對性的數(shù)據(jù)歸納，進(jìn)行數(shù)據(jù)的流通和傳遞。平臺會對客戶的行為數(shù)據(jù)以及相關(guān)訪問進(jìn)行信息的收納，并實(shí)施自動化的主體分析。其中實(shí)時(shí)計(jì)算是一種能夠?qū)ο嚓P(guān)風(fēng)險(xiǎn)進(jìn)行預(yù)警監(jiān)控的重要功能，而統(tǒng)一數(shù)據(jù)服務(wù)則是一個(gè)訪問的端口，可以支持繳費(fèi)數(shù)據(jù)的調(diào)取、工單、用戶指標(biāo)等功能。

3.2 數(shù)據(jù)集成方式

數(shù)據(jù)采集分為線上與線下接入兩種形式。線上數(shù)據(jù)通過ETL工具從源端經(jīng)過抽取、轉(zhuǎn)化、清洗至數(shù)據(jù)中臺，可同步將數(shù)據(jù)直接上傳至KAFKA軟件中。離線數(shù)據(jù)可運(yùn)用FLINK直接從數(shù)據(jù)收集軟件調(diào)取相關(guān)信息，并利用不同的技術(shù)進(jìn)行針對性的數(shù)據(jù)歸納。對于線下收集的數(shù)據(jù)，可設(shè)置數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范限制，明確各項(xiàng)格式及業(yè)務(wù)規(guī)則。如有外部數(shù)據(jù)采集需求，應(yīng)通過合法、合規(guī)渠道統(tǒng)籌采購和開發(fā)數(shù)據(jù)接口。

3.3 數(shù)據(jù)存儲以及計(jì)算

平臺的搭建能夠支撐海量信息計(jì)算與分析，這種計(jì)算功能的設(shè)計(jì)主要是針對高級數(shù)據(jù)進(jìn)行，能夠?qū)崟r(shí)地進(jìn)行信息的計(jì)算與處理，這種智能化功能主要為系統(tǒng)的埋點(diǎn)日志實(shí)時(shí)計(jì)算提供服務(wù)。

在與相關(guān)數(shù)據(jù)進(jìn)行對接之后，便會將數(shù)據(jù)存儲至共享平臺的系統(tǒng)文件中，這種文件主要有三層，最下一層是數(shù)據(jù)的基礎(chǔ)層，可以對普通的數(shù)據(jù)進(jìn)行大規(guī)模的存儲；中層則是細(xì)節(jié)數(shù)據(jù)層，主要是對那些處理后的數(shù)據(jù)進(jìn)行存儲；而最后一層則是匯總數(shù)據(jù)的歸納層，三個(gè)數(shù)據(jù)層有不同的數(shù)據(jù)更新期限，原始數(shù)據(jù)的存儲數(shù)據(jù)是最長的，其他兩層依次遞減[3]。

當(dāng)數(shù)據(jù)進(jìn)入到ODS緩沖區(qū)之后，便能夠?qū)Υ罅康臄?shù)據(jù)進(jìn)行統(tǒng)一的歸納與整理，再將數(shù)據(jù)存儲至不同的數(shù)據(jù)層。數(shù)據(jù)在ODS層時(shí)可以隨時(shí)獲取相關(guān)的數(shù)據(jù)，并對其進(jìn)行模型的轉(zhuǎn)換，最終將數(shù)據(jù)模型存儲至DIM維度表中。在滿足公共信息匯總的前提下，能夠根據(jù)相關(guān)數(shù)據(jù)得出DWS的匯總事實(shí)表。

3.4 統(tǒng)一數(shù)據(jù)服務(wù)

將統(tǒng)一數(shù)據(jù)服務(wù)作為共享應(yīng)用平臺的數(shù)據(jù)入口，在功能設(shè)計(jì)上需要滿足服務(wù)配置、申請、管理等，兼容不同場景之間的服務(wù)，滿足外網(wǎng)之間的數(shù)據(jù)分析需求。

利用可視化程序就可以快速的生成數(shù)據(jù)API，并實(shí)現(xiàn)分鐘級別的數(shù)據(jù)優(yōu)化，此外，在此過程中還會對信息進(jìn)行安全加密，保證所調(diào)取的信息安全、真實(shí)。

統(tǒng)一數(shù)據(jù)可以對內(nèi)、外進(jìn)行數(shù)據(jù)的服務(wù)。對內(nèi)主要是針對用戶行為、操作信息、繳納費(fèi)用等進(jìn)行數(shù)據(jù)的分析與整理；對外則是包括住房空置分析、電力信用等。

3.5 應(yīng)用場景

數(shù)據(jù)共享平臺的應(yīng)用可分為對內(nèi)及對外兩方面。對內(nèi)，可為電網(wǎng)規(guī)劃及客戶服務(wù)等多個(gè)領(lǐng)域提供數(shù)據(jù)計(jì)算服務(wù)，基于電網(wǎng)設(shè)備構(gòu)建拓?fù)淠Ｐ?，滿足電網(wǎng)內(nèi)部各項(xiàng)業(yè)務(wù)應(yīng)用需求，打破數(shù)據(jù)壁壘，通過共享服務(wù)提供專業(yè)的數(shù)據(jù)支持，為電力企業(yè)的可持續(xù)發(fā)展以及大范圍的數(shù)據(jù)融合分析提供重要的依據(jù)，提升投資有效性。對外，數(shù)據(jù)共享平臺可提供電力信用產(chǎn)品，可以對用戶的信息進(jìn)行實(shí)時(shí)采集與計(jì)算分析，綜合分析客戶信息，結(jié)合用戶的繳費(fèi)情況與相關(guān)數(shù)據(jù)，建立電力信用評價(jià)體系，以此達(dá)到電力數(shù)據(jù)與社會化融合的目的。

數(shù)據(jù)共享應(yīng)用平臺另外一種應(yīng)用類型則是電力信用分析，需要以數(shù)據(jù)為主要支持利用分析情況構(gòu)建信用評價(jià)體系，可以有效地對電力企業(yè)的日常運(yùn)行提供評價(jià)服務(wù)。在系統(tǒng)規(guī)劃過程中可以將居民分為不同用電類型，并從信用的角度利用用戶相關(guān)數(shù)據(jù)情況構(gòu)建信用評價(jià)模型。在具體工作中要求專家應(yīng)對信用等級以及評價(jià)分?jǐn)?shù)進(jìn)行明細(xì)規(guī)劃，并利用主成分分析法進(jìn)行指標(biāo)運(yùn)算進(jìn)而獲取綜合信用評價(jià)結(jié)果，以此形成電力共享報(bào)告。與此同時(shí)，在共享應(yīng)用平臺的設(shè)計(jì)規(guī)劃過程中，需要運(yùn)用多種形式將數(shù)據(jù)與主體數(shù)據(jù)庫構(gòu)建聯(lián)系，進(jìn)而在數(shù)據(jù)處理階段，建立挖掘模型以此加工電力信用分，為用戶和企業(yè)提供數(shù)據(jù)服務(wù)。

4 結(jié)語

綜上所述，電力企業(yè)進(jìn)行系統(tǒng)數(shù)據(jù)的共享應(yīng)用平臺設(shè)計(jì)與研發(fā)可以進(jìn)一步挖掘數(shù)據(jù)的價(jià)值，滿足經(jīng)濟(jì)發(fā)展的需要，利用現(xiàn)代化的框架設(shè)計(jì)，將業(yè)務(wù)進(jìn)行數(shù)據(jù)化的體現(xiàn)，實(shí)現(xiàn)集數(shù)據(jù)治理、分析、應(yīng)用、價(jià)值體現(xiàn)為一體的綜合化服務(wù)體系，將數(shù)據(jù)的價(jià)值實(shí)現(xiàn)最大化的反映，以此為電力企業(yè)的進(jìn)步奠定良好的基礎(chǔ)。

引用

[1] 楊先進(jìn),魏俊,應(yīng)雪正,等.BIM電力系統(tǒng)中工程物資需求數(shù)據(jù)可視化系統(tǒng)設(shè)計(jì)[J].信息技術(shù),2022(1):132-136+142.

[2] 曹明良,李國和,馮崢,等.基于電力系統(tǒng)大數(shù)據(jù)治理的軟件數(shù)據(jù)平臺設(shè)計(jì)與研究[J].計(jì)算技術(shù)與自動化,2020,39(3):135-139.

[3] 江疆,梁盈威,彭澤武,等.基于大數(shù)據(jù)的電力系統(tǒng)數(shù)據(jù)集成管理平臺設(shè)計(jì)[J].電子設(shè)計(jì)工程,2020,28(14):163-166.