基于企業(yè)中臺云化構(gòu)建及大數(shù)據(jù)分析研究

劉翠玲，徐敏，張翠翠，王鵬

（國網(wǎng)安徽省電力有限公司信息通信分公司，合肥230041）

0 引言

企業(yè)中臺基于國家電網(wǎng)公司云平臺構(gòu)建，是企業(yè)級能力共享中心，是能源互聯(lián)網(wǎng)核心基礎(chǔ)，統(tǒng)馭公司跨專業(yè)共享服務(wù)、全局?jǐn)?shù)據(jù)資產(chǎn)，支撐公司各類前端應(yīng)用靈活編排，助力公司數(shù)字化轉(zhuǎn)型[1-2]。

企業(yè)中臺包括業(yè)務(wù)中臺和數(shù)據(jù)中臺，業(yè)務(wù)中臺實(shí)現(xiàn)跨專業(yè)跨領(lǐng)域共性業(yè)務(wù)共享，是企業(yè)級共性業(yè)務(wù)服務(wù)的集合；數(shù)據(jù)中臺實(shí)現(xiàn)公司數(shù)據(jù)標(biāo)準(zhǔn)化處理、歸一化存儲，為業(yè)務(wù)中臺提供數(shù)據(jù)庫服務(wù)，是集數(shù)據(jù)存儲、接入、處理及分析為一體的數(shù)據(jù)服務(wù)集合[3-4]。

1 現(xiàn)狀分析

企業(yè)中臺按照服務(wù)能力類型劃分共享為業(yè)務(wù)中臺、數(shù)據(jù)中臺。其中數(shù)據(jù)中臺以公司數(shù)據(jù)中心為基礎(chǔ)，根據(jù)數(shù)據(jù)共享和分析應(yīng)用的需求，沉淀共性數(shù)據(jù)服務(wù)能力，通過數(shù)據(jù)服務(wù)滿足橫向跨專業(yè)間、縱向不同層級間數(shù)據(jù)共享、分析挖掘需求[5-6]。企業(yè)中臺提供統(tǒng)一的企業(yè)級共享服務(wù)、公共數(shù)據(jù)服務(wù)、大數(shù)據(jù)分析服務(wù)和能力開放服務(wù)，支撐電網(wǎng)數(shù)字孿生。數(shù)據(jù)資源融通共享，跨專業(yè)共性服務(wù)統(tǒng)一沉淀，強(qiáng)化業(yè)務(wù)支撐和服務(wù)開放能力，實(shí)現(xiàn)資源全域匯聚、跨域融合與全局共享[7-8]。

數(shù)據(jù)中臺承載全局?jǐn)?shù)據(jù)需求，提升資源全局納管能力，數(shù)據(jù)中臺提供業(yè)務(wù)數(shù)據(jù)庫服務(wù)，提升實(shí)時處理和分析能力，數(shù)據(jù)中臺可以對復(fù)雜場景的支持[9-10]。利用數(shù)據(jù)中臺可以構(gòu)建分布式、高可用、高性能事務(wù)型數(shù)據(jù)服務(wù)，滿足復(fù)雜業(yè)務(wù)應(yīng)用系統(tǒng)基于企業(yè)中臺運(yùn)行的數(shù)據(jù)處理需求，實(shí)現(xiàn)數(shù)據(jù)處理和數(shù)據(jù)分析的全覆蓋。提升海量數(shù)據(jù)分析時效性，實(shí)現(xiàn)分鐘級（T+M）數(shù)據(jù)同步能力和億萬級數(shù)據(jù)計(jì)算能力，支撐準(zhǔn)實(shí)時業(yè)務(wù)場景。實(shí)現(xiàn)流批一體化處理能力，面對隨業(yè)務(wù)動態(tài)擴(kuò)展的多源異構(gòu)數(shù)據(jù)，實(shí)現(xiàn)實(shí)時數(shù)據(jù)與離線數(shù)據(jù)融合分析，支撐實(shí)時業(yè)務(wù)場景。

2 基于云環(huán)境的數(shù)據(jù)中臺

結(jié)合電力行業(yè)特點(diǎn)，給出了數(shù)據(jù)中臺的總體架構(gòu)和數(shù)據(jù)中臺跨域計(jì)算，基于數(shù)據(jù)中臺設(shè)計(jì)了不同數(shù)據(jù)類的大數(shù)據(jù)分析方法。

2.1 數(shù)據(jù)中臺總體架構(gòu)

以“資源融通共享、資產(chǎn)全局納管、服務(wù)柔性擴(kuò)展、能力開放共享”為重點(diǎn)，圍繞企業(yè)中臺服務(wù)范圍的全面性、服務(wù)內(nèi)容的多樣性、服務(wù)質(zhì)量的可靠性三個方面開展規(guī)劃。基于國網(wǎng)云的數(shù)據(jù)中臺架構(gòu)如圖1 所示。

構(gòu)建共建共享的全網(wǎng)智能數(shù)據(jù)標(biāo)簽、自助便捷的數(shù)據(jù)分析工具、敏捷高效的數(shù)據(jù)服務(wù)能力，降低數(shù)據(jù)使用門檻，支撐業(yè)務(wù)創(chuàng)新。建設(shè)兩級數(shù)據(jù)標(biāo)簽，實(shí)現(xiàn)數(shù)據(jù)標(biāo)簽嵌入業(yè)務(wù)、閉環(huán)運(yùn)營和迭代進(jìn)化，逐步成為連接業(yè)務(wù)與數(shù)據(jù)的橋梁，讓業(yè)務(wù)人員能夠看懂?dāng)?shù)據(jù)。提供簡單高效的數(shù)據(jù)API 服務(wù)和自助分析工具，實(shí)現(xiàn)業(yè)務(wù)人員自主構(gòu)建分析應(yīng)用，支撐業(yè)務(wù)人員廣泛參與數(shù)據(jù)價值創(chuàng)造。

圖1 數(shù)據(jù)中臺架構(gòu)

基于沉淀的共性數(shù)據(jù)服務(wù)，通過數(shù)據(jù)服務(wù)的疊加復(fù)用，提升對業(yè)務(wù)需求的快速響應(yīng)?；谄髽I(yè)中臺的模型管理、服務(wù)組裝、流程配置和界面編排等服務(wù)開放能力，賦能傳統(tǒng)業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動和智能決策，最大化實(shí)現(xiàn)數(shù)據(jù)中臺的價值延展。適應(yīng)新興業(yè)務(wù)快速發(fā)展和業(yè)務(wù)深度協(xié)同的需求，持續(xù)拓展業(yè)務(wù)中臺覆蓋范圍，逐步形成覆蓋公司核心業(yè)務(wù)領(lǐng)域、面向內(nèi)外部相關(guān)方、能力完備的中臺服務(wù)體系。

通過數(shù)據(jù)中臺打造服務(wù)統(tǒng)一管理體系，構(gòu)建一體化編排組件，實(shí)現(xiàn)各共享中心服務(wù)的統(tǒng)一管理、原子服務(wù)靈活組合、聚合服務(wù)柔性擴(kuò)展，支撐多渠道、多類型應(yīng)用的快速構(gòu)建?；跇I(yè)務(wù)中臺電網(wǎng)資源共享中心和數(shù)據(jù)中臺海量數(shù)據(jù)，以數(shù)字化方式為電網(wǎng)構(gòu)建數(shù)字空間模型和信息物理模型，實(shí)現(xiàn)數(shù)字孿生電網(wǎng)。

2.2 數(shù)據(jù)中臺跨域計(jì)算

數(shù)據(jù)中臺實(shí)現(xiàn)分析域向處理域延伸，擴(kuò)展數(shù)據(jù)中臺數(shù)據(jù)管理范圍，實(shí)現(xiàn)企業(yè)內(nèi)外網(wǎng)數(shù)據(jù)資產(chǎn)全量納入。構(gòu)建統(tǒng)一數(shù)據(jù)模型、數(shù)據(jù)資源可視、數(shù)據(jù)治理等工具組件，實(shí)現(xiàn)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)自動化管理，提升數(shù)據(jù)融通共享能力。在兩級異構(gòu)數(shù)據(jù)中臺架構(gòu)模式下，通過服務(wù)代理等部分功能補(bǔ)強(qiáng)實(shí)現(xiàn)跨域協(xié)同，主要思路為基于兩級的數(shù)據(jù)資源目錄，實(shí)現(xiàn)全網(wǎng)數(shù)據(jù)路由服務(wù)，定位跨域數(shù)據(jù)資源；通過兩級實(shí)時計(jì)算代理，解決兩級實(shí)時數(shù)據(jù)跨域獲取需求；通過數(shù)據(jù)服務(wù)組合，綜合調(diào)用集團(tuán)總部、二級公司兩級數(shù)據(jù)中臺服務(wù)能力以及數(shù)據(jù)實(shí)時同步能力，實(shí)現(xiàn)“搬計(jì)算、不搬數(shù)據(jù)”的數(shù)據(jù)中臺跨域資源調(diào)度的服務(wù)目標(biāo)。數(shù)據(jù)中臺跨域計(jì)算如圖2 所示。

圖2 數(shù)據(jù)中臺跨域計(jì)算

全網(wǎng)數(shù)據(jù)資源（明細(xì)數(shù)據(jù)、指標(biāo)、標(biāo)簽等），統(tǒng)一納入兩級數(shù)據(jù)資源目錄納管，通過數(shù)據(jù)路由服務(wù)實(shí)現(xiàn)全網(wǎng)數(shù)據(jù)資源定位。兩級實(shí)時計(jì)算代理，解決跨域數(shù)據(jù)資源獲取需求，指標(biāo)、標(biāo)簽、明細(xì)數(shù)據(jù)表等通過兩級中臺數(shù)據(jù)服務(wù)統(tǒng)一對接獲取，實(shí)時業(yè)務(wù)數(shù)據(jù)通過DataHub（總部）、DataHub 或Kafka（省公司）對接獲取，通過實(shí)施計(jì)算代理本地化計(jì)算后推送給數(shù)據(jù)組裝服務(wù)。數(shù)據(jù)組裝服務(wù)，負(fù)責(zé)組合各級來源數(shù)據(jù)及數(shù)據(jù)服務(wù)，通過數(shù)據(jù)服務(wù)組合調(diào)用來直接支撐業(yè)務(wù)應(yīng)用。針對頻繁使用的周期性數(shù)據(jù)資源，為避免兩級實(shí)時調(diào)用導(dǎo)致的鏈路穩(wěn)定及性能影響，下發(fā)同步策略至數(shù)據(jù)交換平臺，按需將數(shù)據(jù)資源后臺自動同步至總部數(shù)據(jù)中臺，并更新總部數(shù)據(jù)資源目錄，后續(xù)調(diào)用直接通過總部數(shù)據(jù)服務(wù)提供。

2.3 數(shù)據(jù)分析

結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)中臺主要存儲和計(jì)算的數(shù)據(jù)，其他如量測數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)最終都會處理成結(jié)構(gòu)化數(shù)據(jù)。該類數(shù)據(jù)通過數(shù)據(jù)接入組件抽取至貼源層，利用批量計(jì)算和內(nèi)存計(jì)算組件，結(jié)合業(yè)務(wù)分析場景，形成共享層和分析層，相關(guān)應(yīng)用使用數(shù)據(jù)服務(wù)組件獲取分析結(jié)果，明細(xì)數(shù)據(jù)不出中臺。數(shù)據(jù)分層設(shè)計(jì)雖然減低了數(shù)據(jù)時效性，但是可以讓數(shù)據(jù)最大化共享使用，避免重復(fù)計(jì)算，提升數(shù)據(jù)利用率。結(jié)構(gòu)化數(shù)據(jù)離線處理如圖3 所示。

圖3 結(jié)構(gòu)化數(shù)據(jù)離線處理

針對量測類、時序類數(shù)據(jù)，將數(shù)據(jù)實(shí)時接入數(shù)據(jù)中臺，利用流計(jì)算組件，即可以單獨(dú)對實(shí)時數(shù)據(jù)進(jìn)行分組聚合計(jì)算，又可以結(jié)合列式數(shù)據(jù)庫進(jìn)行流批聯(lián)合計(jì)算，極大地減低計(jì)算時延，適合于實(shí)時監(jiān)測、風(fēng)控、應(yīng)急指揮等對數(shù)據(jù)時效性較高的場景。同時流計(jì)算組件的流批一體處理機(jī)制，也適合建立實(shí)時數(shù)倉，在處理過程中形成實(shí)時共享層和分析層，滿足數(shù)據(jù)實(shí)時分析場景。量測類數(shù)據(jù)實(shí)時處理如圖4 所示。

圖4 量測類數(shù)據(jù)實(shí)時處理

針對圖片、視頻、語音、文本等非結(jié)構(gòu)化數(shù)據(jù)，可集中存儲在文件存儲服務(wù)中，利用圖像識別、語音識別、自然語言處理等人工智能分析模型，提取關(guān)鍵特征，形成結(jié)構(gòu)化數(shù)據(jù)。根據(jù)分析需要將數(shù)據(jù)存儲在共享層或分析層，結(jié)合業(yè)務(wù)其他結(jié)構(gòu)化數(shù)據(jù)構(gòu)建聯(lián)合分析應(yīng)用，可廣泛應(yīng)用于安全可視化生產(chǎn)、企業(yè)知識圖譜構(gòu)建、語音智能助手等場景。非結(jié)構(gòu)化數(shù)據(jù)處理如圖5 所示。

圖5 非結(jié)構(gòu)化數(shù)據(jù)處理

3 實(shí)驗(yàn)驗(yàn)證

依托國網(wǎng)安徽電力數(shù)據(jù)中臺，以供電服務(wù)指揮系統(tǒng)停電信息實(shí)時推送在線實(shí)時業(yè)務(wù)為例，設(shè)備運(yùn)維部根據(jù)檢修計(jì)劃，完成業(yè)務(wù)審核后發(fā)布停電計(jì)劃，營銷部根據(jù)停電影響范圍第一時間告知相關(guān)用電客戶，防止發(fā)生生產(chǎn)事故、提高用戶的服務(wù)滿意度。數(shù)據(jù)中臺需實(shí)時接入獲取PMS 提供的停電計(jì)劃信息，直接通過數(shù)據(jù)中臺流計(jì)算組件，關(guān)聯(lián)離線分析架構(gòu)中共享層整合的設(shè)備臺賬、臺區(qū)信息，計(jì)算得到停電影響設(shè)備范圍信息，進(jìn)一步實(shí)時關(guān)聯(lián)共享層整合的用電客戶檔案，實(shí)時計(jì)算分析停電影響用戶范圍信息，存儲到提供實(shí)時查詢能力的中臺分析型數(shù)據(jù)庫后，通過數(shù)據(jù)服務(wù)推送停電用戶信息實(shí)時推送給供服系統(tǒng)，由供服其根據(jù)業(yè)務(wù)需要，面向用戶推送最終的停電通知及用戶關(guān)懷內(nèi)容，基于數(shù)據(jù)中臺的供電服務(wù)改造如圖6 所示。

圖6 基于數(shù)據(jù)中臺的供電服務(wù)改造架構(gòu)

利用數(shù)據(jù)中臺數(shù)據(jù)工廠組件，基于共享層標(biāo)準(zhǔn)數(shù)據(jù)，根據(jù)業(yè)務(wù)分析模型進(jìn)行加工計(jì)算，分析結(jié)果通過數(shù)據(jù)服務(wù)對外發(fā)布共享。通過數(shù)據(jù)中臺實(shí)時計(jì)算組件，基于流式數(shù)據(jù)完成停電信息影響用戶實(shí)時分析。通過實(shí)時隊(duì)列訂閱發(fā)布功能，將實(shí)時計(jì)算結(jié)果實(shí)時對外發(fā)布共享，支撐供服業(yè)務(wù)在線應(yīng)用。

通過上述實(shí)驗(yàn)，實(shí)現(xiàn)供電服務(wù)指揮系統(tǒng)停電信息實(shí)時推送在線實(shí)時業(yè)務(wù)典型應(yīng)用，驗(yàn)證了基于數(shù)據(jù)中臺的數(shù)據(jù)分析應(yīng)用的可行性。

4 結(jié)語

針對當(dāng)前電力數(shù)據(jù)中臺建設(shè)需要，本文提出了基于云平臺的數(shù)據(jù)中臺構(gòu)建方法，給出了數(shù)據(jù)中臺總體架構(gòu)，闡述了數(shù)據(jù)中臺跨域計(jì)算流程，設(shè)計(jì)了基于數(shù)據(jù)中臺的數(shù)據(jù)分析典型方法，通過實(shí)驗(yàn)驗(yàn)證了基于數(shù)據(jù)中臺的數(shù)據(jù)分析的可行性。