基于Flink大數(shù)據(jù)分析的電力資產(chǎn)全壽命周期管理平臺(tái)研究

胡曉明

（合肥職業(yè)技術(shù)學(xué)院，安徽合肥，230013）

0 引言

電網(wǎng)公司設(shè)備資產(chǎn)數(shù)量大、價(jià)值高,而且隨著投入的不斷增加，數(shù)量規(guī)模不斷增加。目前電網(wǎng)資產(chǎn)全過(guò)程信息分散在規(guī)劃計(jì)劃、ERP、PMS等不同業(yè)務(wù)條線的不同的信息系統(tǒng)中,目前已經(jīng)通過(guò)電網(wǎng)資產(chǎn)統(tǒng)一身份編碼打通了電網(wǎng)資產(chǎn)管理不同業(yè)務(wù)環(huán)節(jié)，信息難以共享、數(shù)據(jù)冗余、專(zhuān)業(yè)管理脫節(jié)等問(wèn)題得到了初步解決。但是針對(duì)貫通后的電網(wǎng)資產(chǎn)全過(guò)程數(shù)據(jù),仍然缺少高效的分析工具,難以發(fā)揮資產(chǎn)全過(guò)程數(shù)據(jù)的價(jià)值。

為提高電網(wǎng)資產(chǎn)管理決策的準(zhǔn)確性和高效性,有必要通過(guò)大數(shù)據(jù)分析技術(shù),對(duì)電網(wǎng)資產(chǎn)全壽命周期數(shù)據(jù)進(jìn)行分析,提高貫通數(shù)據(jù)的價(jià)值,利用數(shù)據(jù)為生產(chǎn)經(jīng)營(yíng)服務(wù)?；贔link構(gòu)建的資產(chǎn)全壽命周期管理平臺(tái)，結(jié)合電網(wǎng)資產(chǎn)統(tǒng)一身份編碼在貫通資產(chǎn)全過(guò)程數(shù)據(jù)方面的作用和索引關(guān)系，能夠?qū)崿F(xiàn)資產(chǎn)數(shù)據(jù)的收集、分析和挖掘。

1 研究現(xiàn)狀

1.1 電網(wǎng)資產(chǎn)數(shù)據(jù)

電力資產(chǎn)大數(shù)據(jù)是針對(duì)電力資產(chǎn)數(shù)據(jù)的采集、存儲(chǔ)、管理、挖掘、展現(xiàn)和應(yīng)用等,具體涉及到電力的輸、送、配等相關(guān)業(yè)務(wù)環(huán)節(jié)。電網(wǎng)資產(chǎn)信息具備大數(shù)據(jù)的典型特點(diǎn)，可以分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩類(lèi)。隨著智、大、運(yùn)、物、移等高新技術(shù)的不斷發(fā)展，智能電網(wǎng)的建設(shè)力度不斷加大，尤其是物聯(lián)網(wǎng)技術(shù)的廣泛引用,使電力行業(yè)中非結(jié)構(gòu)化數(shù)據(jù)不斷增長(zhǎng)。

電網(wǎng)行業(yè)作為典型的重資產(chǎn)企業(yè),隨著國(guó)家對(duì)電網(wǎng)建設(shè)的持續(xù)投入,其實(shí)物資產(chǎn)的比重占據(jù)較大,已經(jīng)積累了海量的設(shè)備資產(chǎn)數(shù)據(jù)。電網(wǎng)企業(yè)的資產(chǎn)全壽命周期管理體系應(yīng)用雖然取得了一定成效,但仍然存在數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)共享困難、數(shù)據(jù)應(yīng)用受限等問(wèn)題,數(shù)據(jù)應(yīng)用、價(jià)值挖掘整體水平不高。

1.2 電網(wǎng)大數(shù)據(jù)分析

電網(wǎng)資產(chǎn)信息符合大數(shù)據(jù)的特點(diǎn)，即：規(guī)模大、來(lái)源廣泛、增長(zhǎng)速度快和數(shù)據(jù)價(jià)值大，國(guó)內(nèi)外在電網(wǎng)大數(shù)據(jù)領(lǐng)域已經(jīng)開(kāi)展了大量研究和實(shí)踐。電網(wǎng)大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)挖掘主要集中在數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，通過(guò)聚類(lèi)、分類(lèi)、關(guān)聯(lián)等分析方法，進(jìn)行電力負(fù)荷預(yù)測(cè)、優(yōu)化電力調(diào)度、系統(tǒng)故障診斷、動(dòng)態(tài)安全平臺(tái)等。大數(shù)據(jù)平臺(tái)是能夠處理和分析海量數(shù)據(jù)并為數(shù)據(jù)挖掘各個(gè)流程提供支持和工具的平臺(tái)，通常提供數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)統(tǒng)計(jì)、機(jī)器需求技術(shù)、數(shù)據(jù)可視化等功能。

電網(wǎng)大數(shù)據(jù)分析包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)挖掘分析、數(shù)據(jù)可視化等環(huán)節(jié)，各環(huán)節(jié)需要根據(jù)數(shù)據(jù)的特點(diǎn)選取不同的技術(shù)進(jìn)行分析處理。在電網(wǎng)大數(shù)據(jù)分析領(lǐng)域常用的方法有關(guān)聯(lián)分析、分類(lèi)分析、聚類(lèi)分析等。電網(wǎng)大數(shù)據(jù)分析已經(jīng)形成了諸多成熟的應(yīng)用場(chǎng)景，包括電網(wǎng)設(shè)備狀態(tài)評(píng)估、電網(wǎng)資產(chǎn)評(píng)價(jià)、電網(wǎng)缺陷分析、電力負(fù)荷預(yù)測(cè)等。

1.3 電網(wǎng)資產(chǎn)全壽命周期管理

電網(wǎng)企業(yè)已經(jīng)制定了資產(chǎn)全壽命周期管理的相關(guān)規(guī)定，涵蓋并統(tǒng)籌與實(shí)物資產(chǎn)相關(guān)的人力、信息、金融、無(wú)形資產(chǎn)，運(yùn)用系統(tǒng)工程的方法和模型，統(tǒng)籌協(xié)調(diào)資產(chǎn)在規(guī)劃設(shè)計(jì)、采購(gòu)建設(shè)、運(yùn)維檢修、退役處置全壽命周期的管理行為和技術(shù)要求，力求實(shí)現(xiàn)資產(chǎn)全壽命周期內(nèi)安全、效能、成本的綜合最優(yōu)。

電網(wǎng)資產(chǎn)全壽命周期管理包含全過(guò)程思想、集成化思想和信息化思想，設(shè)備管理是電網(wǎng)資產(chǎn)全壽命周期管理的核心。要求必須站在整個(gè)固定資產(chǎn)形成、運(yùn)行、維護(hù)、退出過(guò)程的角度上，統(tǒng)一管理理念，統(tǒng)一管理目標(biāo)，統(tǒng)一領(lǐng)導(dǎo)及組織，統(tǒng)一管理規(guī)則。同時(shí)，需要建立集成化的管理信息系統(tǒng)，其核心意義就是在資產(chǎn)安全穩(wěn)定運(yùn)行的基礎(chǔ)上，尋求資產(chǎn)全壽命周期內(nèi)的總體費(fèi)用最大化。

2 Flink技術(shù)簡(jiǎn)介

隨著電網(wǎng)資產(chǎn)數(shù)據(jù)的不斷激增，如何對(duì)這些數(shù)據(jù)進(jìn)行有效處理是亟待解決的問(wèn)題，傳統(tǒng)storm、spark等框架在某些應(yīng)用場(chǎng)景下，已經(jīng)無(wú)法有效地滿足用戶在特定應(yīng)用場(chǎng)景下的需求。Apache Flink(簡(jiǎn)稱(chēng)Flink)為實(shí)時(shí)流的處理提供了新的選擇，作為一種開(kāi)源流處理框架,專(zhuān)為分布式、高性能、隨時(shí)可用和準(zhǔn)確的流處理應(yīng)用程序而打造。Flink技術(shù)主要用于無(wú)界和有界數(shù)據(jù)的有狀態(tài)計(jì)算,無(wú)界數(shù)據(jù)流就是指有始無(wú)終的數(shù)據(jù)，數(shù)據(jù)一旦開(kāi)始生成就會(huì)持續(xù)不斷的產(chǎn)生新的數(shù)據(jù)，即數(shù)據(jù)沒(méi)有時(shí)間邊界。無(wú)界數(shù)據(jù)流需要持續(xù)不斷地處理。有界數(shù)據(jù)流就是指輸入的數(shù)據(jù)有始有終。例如數(shù)據(jù)可能是一分鐘或者一天的交易數(shù)據(jù)等等。處理這種有界數(shù)據(jù)流的方式也被稱(chēng)之為批處理其核心是分布式處理引擎,主要運(yùn)行在常見(jiàn)的集群環(huán)境中。

圖1 Flink架構(gòu)圖

為了應(yīng)用Flink對(duì)電網(wǎng)資產(chǎn)數(shù)據(jù)進(jìn)行分析,在數(shù)據(jù)采集側(cè),主要利用日志、SDK、MQ等方式,來(lái)獲取多個(gè)系統(tǒng)組件中的分散異構(gòu)數(shù)據(jù),經(jīng)過(guò)初步處理后以連續(xù)流的方式發(fā)送給Kafka。

在任務(wù)管理平臺(tái)側(cè),主要對(duì)數(shù)據(jù)源類(lèi)型、異構(gòu)數(shù)據(jù)清洗和切分規(guī)則、數(shù)據(jù)集的維度和指標(biāo)進(jìn)行配置,在所有配置完成后,利用Flink流計(jì)算技術(shù)對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理,通過(guò)對(duì)數(shù)據(jù)實(shí)時(shí)處理后,根據(jù)數(shù)據(jù)集定義存入存儲(chǔ)單元。

業(yè)務(wù)分析和實(shí)時(shí)報(bào)表,用于獲取數(shù)據(jù)集中的結(jié)果，以圖表方式展現(xiàn)或者通過(guò)接口方式輸出。

3 電網(wǎng)資產(chǎn)全壽命周期管理平臺(tái)系統(tǒng)框架

系統(tǒng)主要通過(guò)對(duì)電網(wǎng)資產(chǎn)的規(guī)劃設(shè)計(jì)、物資采購(gòu)、工程建設(shè)、運(yùn)行維護(hù)、退役報(bào)廢等業(yè)務(wù)環(huán)節(jié)信息的實(shí)時(shí)獲取，實(shí)現(xiàn)資產(chǎn)貫通數(shù)據(jù)、專(zhuān)業(yè)應(yīng)用數(shù)據(jù)、挖掘分析數(shù)據(jù)的展示，能夠?qū)崿F(xiàn)電網(wǎng)資產(chǎn)全壽命周期內(nèi)的信息溯源和共享，支撐企業(yè)級(jí)資產(chǎn)管理大數(shù)據(jù)分析應(yīng)用，全面提升電網(wǎng)資產(chǎn)管理智能輔助決策水平。

基于Flink的電網(wǎng)資產(chǎn)全壽命周期管理平臺(tái)由四層構(gòu)成，分別是：持久化層、業(yè)務(wù)層、控制層和視圖層。

圖2 Flink業(yè)務(wù)流程圖1

持久化層主要對(duì)電力資產(chǎn)大數(shù)據(jù)進(jìn)行持久化操作,近年來(lái),隨著電網(wǎng)資產(chǎn)統(tǒng)一身份編碼在電網(wǎng)設(shè)備上的深化應(yīng)用,散布于各個(gè)業(yè)務(wù)系統(tǒng)的電網(wǎng)實(shí)物資產(chǎn)數(shù)據(jù)可以方便地借助統(tǒng)一身份編碼實(shí)現(xiàn)統(tǒng)一存儲(chǔ)。控制層主要對(duì)視圖層的相關(guān)信息進(jìn)行讀取,并對(duì)輸入數(shù)據(jù)進(jìn)行控制。業(yè)務(wù)層主要各類(lèi)業(yè)務(wù)系統(tǒng)、模型庫(kù)等。如設(shè)備價(jià)值分析、負(fù)荷分析等相關(guān)的電力資產(chǎn)數(shù)據(jù)分析模型。實(shí)現(xiàn)具體的電力資產(chǎn)大數(shù)據(jù)分析業(yè)務(wù)。Flink技術(shù)能夠?yàn)槠脚_(tái)業(yè)務(wù)層的構(gòu)建提供直接支持,提供并行化的業(yè)務(wù)處理邏輯,能夠訪問(wèn)基礎(chǔ)層中的數(shù)據(jù)資源?；贔link技術(shù)的Datastream API或Batch Processing API,先獲取執(zhí)行環(huán)境,在通過(guò)連接器獲取數(shù)據(jù)源,隨后對(duì)電力資產(chǎn)數(shù)據(jù)利用轉(zhuǎn)換函數(shù)處理,最后保存結(jié)果。視圖層主要實(shí)現(xiàn)對(duì)電力資產(chǎn)數(shù)據(jù)分析結(jié)果的展示和用戶數(shù)據(jù)的輸入,是訪問(wèn)的界面和接口。

圖3 Flink業(yè)務(wù)流程圖2

圖4 系統(tǒng)總體架構(gòu)圖

4 系統(tǒng)功能

基于Flink的電網(wǎng)資產(chǎn)全壽命周期管理平臺(tái)的功能包括數(shù)據(jù)挖掘分析、數(shù)據(jù)可視化展示和外部系統(tǒng)集成。

4.1 數(shù)據(jù)挖掘分析

（1）設(shè)備狀態(tài)評(píng)估

隨著電網(wǎng)資產(chǎn)統(tǒng)一身份編碼深入應(yīng)用，通過(guò)電網(wǎng)資產(chǎn)統(tǒng)一身份編碼即可將分散于多個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)實(shí)現(xiàn)整合。借助大數(shù)據(jù)挖掘分析技術(shù)，能夠?qū)Ξ悩?gòu)數(shù)據(jù)進(jìn)行分析整合。電力設(shè)備狀態(tài)大數(shù)據(jù)分析主要利用電網(wǎng)資產(chǎn)統(tǒng)一身份編碼獲取大量設(shè)備狀態(tài)、電網(wǎng)運(yùn)行等相關(guān)數(shù)據(jù)，基于統(tǒng)計(jì)分析、關(guān)聯(lián)分析等大數(shù)據(jù)方法，從數(shù)據(jù)內(nèi)在規(guī)律分析的角度發(fā)掘出對(duì)電力設(shè)備狀態(tài)評(píng)估、診斷和預(yù)測(cè)有價(jià)值的知識(shí)，實(shí)現(xiàn)電力設(shè)備個(gè)性化狀態(tài)評(píng)價(jià)、異常狀態(tài)快速檢測(cè)、狀態(tài)變化的預(yù)測(cè)，全面、及時(shí)、準(zhǔn)確掌握電力設(shè)備健康狀態(tài)，為電網(wǎng)優(yōu)化運(yùn)行提供輔助決策依據(jù)。

（2）電網(wǎng)資產(chǎn)評(píng)估

電網(wǎng)資產(chǎn)信息表現(xiàn)為電網(wǎng)的輸出參數(shù)信息、用戶信息以及電網(wǎng)的各項(xiàng)設(shè)施設(shè)備信息，各種信息相互融合，且隨著電網(wǎng)規(guī)模的增大和運(yùn)行時(shí)間的增長(zhǎng)，資產(chǎn)信息規(guī)模呈指數(shù)級(jí)增長(zhǎng)。構(gòu)建電網(wǎng)資產(chǎn)大數(shù)據(jù)分析評(píng)估模型，然后進(jìn)行特征分解和重組，結(jié)合關(guān)聯(lián)特征分解方法進(jìn)行電網(wǎng)資產(chǎn)信息的自適應(yīng)重組，實(shí)現(xiàn)信息融合濾波檢測(cè)，實(shí)現(xiàn)資產(chǎn)信息預(yù)測(cè)和評(píng)估。

（3）設(shè)備缺陷分析

綜合考慮不同設(shè)備投運(yùn)年限、缺陷故障嚴(yán)重等級(jí)以及由于質(zhì)量問(wèn)題造成提前退役等因素的影響，構(gòu)建相對(duì)完整的設(shè)備缺陷率、故障率和設(shè)備壽命評(píng)價(jià)模型，進(jìn)而將這三個(gè)因素進(jìn)行組合從而形成對(duì)設(shè)備質(zhì)量的整體評(píng)價(jià)，為設(shè)備選型采購(gòu)、設(shè)備運(yùn)維策略優(yōu)化提供更為科學(xué)的決策依據(jù)。

4.2 數(shù)據(jù)可視化展示

利用數(shù)據(jù)可視化的技術(shù)手段，多角度、多形態(tài)展示電網(wǎng)資產(chǎn)分布情況、資產(chǎn)價(jià)值和投運(yùn)年限等資產(chǎn)總體情況，以單體設(shè)備為基礎(chǔ)，開(kāi)展電網(wǎng)設(shè)備在投產(chǎn)、運(yùn)行維護(hù)、大修技改、缺陷故障、再利用、退役、報(bào)廢、拍賣(mài)各環(huán)節(jié)的數(shù)據(jù)監(jiān)測(cè)分析，實(shí)現(xiàn)設(shè)備在資產(chǎn)全壽命周期管理內(nèi)的全過(guò)程監(jiān)控和展示，展示設(shè)備狀態(tài)評(píng)估、電網(wǎng)資產(chǎn)評(píng)估、設(shè)備缺陷分析等大數(shù)據(jù)分析結(jié)果，展示基于資產(chǎn)全壽命周期管理平臺(tái)的深化應(yīng)用成效。

4.3 外部系統(tǒng)集成

完成從原業(yè)務(wù)系統(tǒng)到分析應(yīng)用庫(kù)及展示庫(kù)的數(shù)據(jù)接口設(shè)計(jì)，建立與運(yùn)檢、營(yíng)銷(xiāo)、建設(shè)、物資、財(cái)務(wù)、全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心等業(yè)務(wù)系統(tǒng)數(shù)傳輸通道，保障數(shù)據(jù)挖掘和大屏展示數(shù)據(jù)的安全有效獲取，深入展現(xiàn)大數(shù)據(jù)分析所得到的信息和結(jié)論。

5 應(yīng)用效果

為了體現(xiàn)系統(tǒng)應(yīng)用效果，開(kāi)展了全面的實(shí)驗(yàn)分析。效果評(píng)價(jià)分為特定設(shè)備搜索查找、數(shù)據(jù)刪除操作兩種。選擇在2018年7月1日至2020年6月30日之間的電網(wǎng)資產(chǎn)數(shù)據(jù)進(jìn)行處理,數(shù)據(jù)量為29387465條。用三臺(tái)PC搭建的集群作為運(yùn)行環(huán)境,其中:處理器為八核,內(nèi)存為64G,硬盤(pán)為256G固態(tài)硬盤(pán)。

首先對(duì)特定設(shè)備進(jìn)行搜索查找。例如搜索查找5年及以上運(yùn)行年限的設(shè)備。首先以邏輯訪問(wèn)MySQL庫(kù)表方式進(jìn)行測(cè)試,共耗時(shí)10.32s;再以邏輯訪問(wèn)MongoDB的檢索方式進(jìn)行測(cè)試,共耗時(shí)6.23s;而借助Flink技術(shù)進(jìn)行邏輯訪問(wèn)MongoDB的方式進(jìn)行測(cè)試,耗時(shí)僅需0.42s。其次是進(jìn)行刪除數(shù)據(jù)操作。利用Flink刪除800萬(wàn)條電網(wǎng)資產(chǎn)數(shù)據(jù),能夠達(dá)到更好的效果,借助Flink技術(shù)耗時(shí)僅4.23s,而使用MySQL邏輯共耗時(shí)143s。通過(guò)查找和刪除兩項(xiàng)操作的對(duì)比可以看出,借助Flink技術(shù),比Java EE技術(shù)有更強(qiáng)的性能表現(xiàn)。

6 結(jié)語(yǔ)

基于Flink技術(shù)，結(jié)合電網(wǎng)資產(chǎn)統(tǒng)一身份編碼的應(yīng)用成效，構(gòu)建的電力實(shí)物資產(chǎn)全壽命周期管理大數(shù)據(jù)分析平臺(tái)運(yùn)算性能比傳統(tǒng)架構(gòu)更加高效。平臺(tái)構(gòu)建為電力資產(chǎn)大數(shù)據(jù)分析提供了一種可行的解決方案。后續(xù)將進(jìn)一步探索在Flink平臺(tái)上人工智能算法與電力資產(chǎn)數(shù)據(jù)分析的結(jié)合,進(jìn)一步完善電力資產(chǎn)大數(shù)據(jù)分析平臺(tái)，進(jìn)一步提升電網(wǎng)實(shí)物資產(chǎn)大數(shù)據(jù)的應(yīng)用價(jià)值,持續(xù)推進(jìn)電網(wǎng)實(shí)物資產(chǎn)精益化管理持續(xù)深化。