基于大數(shù)據(jù)的電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)的設(shè)計

李 遠(yuǎn)

（國網(wǎng)山西省電力公司，山西 太原 030021）

0 引言

應(yīng)用大數(shù)據(jù)電力設(shè)備的運(yùn)行分析系統(tǒng)，能夠?qū)W(wǎng)絡(luò)信息進(jìn)行實時分析，針對電力設(shè)備的運(yùn)行數(shù)據(jù)展開處理，綜合分析管理。系統(tǒng)實質(zhì)是利用設(shè)計軟件，將設(shè)備的運(yùn)行數(shù)據(jù)進(jìn)行集成化管理，按照電力數(shù)據(jù)的管理需求，設(shè)定各項模塊。同時，利用該系統(tǒng)還能完成電力數(shù)據(jù)信息的錄入和修改，或者刪除和查看，進(jìn)而分析設(shè)備是否處于正常狀態(tài)，保證管理的高效性。

1 大數(shù)據(jù)的電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)的設(shè)計

1.1 技術(shù)架構(gòu)

系統(tǒng)設(shè)計將Hadoop 作為云計算框架，使用HDFS技術(shù)存儲系統(tǒng)監(jiān)測的電力數(shù)據(jù)，還可借助MapReduce 技術(shù)輔助并行計算，不斷提高數(shù)據(jù)質(zhì)量。使用HBase 作為數(shù)據(jù)庫，存儲無結(jié)構(gòu)電力數(shù)據(jù)，以Sqoop 作為接入數(shù)據(jù)的工具，傳遞數(shù)據(jù)庫之間數(shù)據(jù)，利用開源服務(wù)軟件支持Hadoop 集群運(yùn)行[1]。

1.2 系統(tǒng)結(jié)構(gòu)

該系統(tǒng)為B/S 結(jié)構(gòu)，在Hadoop（云計算平臺）之上部署服務(wù)器，可將網(wǎng)站中的內(nèi)容向tomcat 中發(fā)布，以RESTful 架構(gòu)輔助服務(wù)器、瀏覽器二者之間通信。使用階段可通過瀏覽器點(diǎn)擊頁面后，即可申請獲取服務(wù)器內(nèi)部服務(wù)及資源，Hadoop 平臺內(nèi)，以MapReduce 編程模型，借助聚類算法、AR 模型等挖掘HBase 內(nèi)部狀態(tài)數(shù)據(jù)，之后即可回到設(shè)備狀態(tài)的評估頁面。遠(yuǎn)程調(diào)用主要使用RESTful 技術(shù)進(jìn)行，將數(shù)據(jù)封裝為JSON 格式，向分析層發(fā)送，通過數(shù)據(jù)挖掘，將結(jié)果以同樣格式向業(yè)務(wù)平臺當(dāng)中傳輸，經(jīng)過落實處理之后，用JSON 格式進(jìn)行封裝，之后向客戶瀏覽器中返回，此時瀏覽器即可按照圖表的方式在頁面上顯示相關(guān)數(shù)據(jù)。

1.3 功能模塊

該系統(tǒng)設(shè)計模塊有五部分：第一，用戶管理，能夠?qū)κ褂谜吆凸芾聿块T展開統(tǒng)一化管理，通過設(shè)置密碼或者更新信息的方式完成；第二，電池性能檢測，按照變電站的備用電源當(dāng)中電池數(shù)據(jù)指標(biāo)，自動出示重組方案，將其使用時間延長；第三，檢測模塊，可實時收集設(shè)備運(yùn)行信息，為其運(yùn)維檢修提供依據(jù)；第四，監(jiān)測模塊，針對輸電系統(tǒng)內(nèi)部設(shè)備展開監(jiān)測，及時發(fā)現(xiàn)運(yùn)行問題；第五，信息管理，針對設(shè)備維護(hù)和管理信息進(jìn)行錄入、查詢、修改和刪除操作。

1.4 數(shù)據(jù)采集

系統(tǒng)設(shè)計過程，需要尋求同步傳輸和采集多個黑匣子內(nèi)部數(shù)據(jù)方式，并利用網(wǎng)絡(luò)完成數(shù)據(jù)傳輸。由于B/S架構(gòu)數(shù)據(jù)采集具有如下特點(diǎn)：第一，由于單片機(jī)電力系統(tǒng)只能對特定客戶黑匣子數(shù)據(jù)進(jìn)行采集，導(dǎo)致該架構(gòu)面臨的電力現(xiàn)場采集對象相對較多，因此數(shù)據(jù)量相對較大；第二，功能完善，B/S 架構(gòu)在數(shù)據(jù)采集的設(shè)計方面應(yīng)該確保不同數(shù)據(jù)的獨(dú)立性，提高數(shù)據(jù)采集難度。針對上述設(shè)計要點(diǎn)，可利用多線程數(shù)據(jù)采集、處理技術(shù)，用軟件支持，采集動態(tài)化網(wǎng)絡(luò)地址和多個設(shè)備中的數(shù)據(jù)信息。

1.5 設(shè)計數(shù)據(jù)庫

電力設(shè)備在運(yùn)行階段，需要借助系統(tǒng)對于電力設(shè)備展開檢測，并記錄檢測、運(yùn)行數(shù)據(jù)，針對上述數(shù)據(jù)深入分析。傳統(tǒng)形式結(jié)構(gòu)化數(shù)據(jù)，包括設(shè)備臺賬信息、權(quán)限分配、用戶信息、搶修記錄等，由于上述信息數(shù)據(jù)隨著設(shè)備運(yùn)行產(chǎn)生的增量相對較小，因此，可利用Oracle 數(shù)據(jù)庫對于信息的記錄速度更快。使用電氣設(shè)備完成信息的在線檢測，評價其運(yùn)行狀態(tài)，能夠?qū)虢Y(jié)構(gòu)化數(shù)據(jù)量有效增加，并用HBase 數(shù)據(jù)庫（分布式）進(jìn)行存儲[2]。

1.6 事務(wù)管理

該系統(tǒng)利用Spring 框架，可提供抽象方式展開事務(wù)控制和管理。此框架使用優(yōu)勢為，可提供統(tǒng)一化的編程模型，為各事務(wù)提供API 服務(wù)，且JTA、Hibernate、JDBC 等也可通過此方法，展開事務(wù)管理。

1.7 異常處理

如果不遵守數(shù)據(jù)庫中的約束規(guī)則，或者違反程序約束，系統(tǒng)使用階段就會出現(xiàn)異常的用戶界面。因此，在系統(tǒng)應(yīng)用階段需要關(guān)注異常數(shù)據(jù)的處理：一方面，系統(tǒng)可將JDBC 和Spring 等封住，因此，可能產(chǎn)生異?，F(xiàn)象；另一方面，如果底層數(shù)據(jù)庫存在異常，那么該層事物就會自動向使用層當(dāng)中滾動，轉(zhuǎn)移至其他頁面當(dāng)中。

2 大數(shù)據(jù)的電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)功能實現(xiàn)

2.1 數(shù)據(jù)預(yù)處理

利用大數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘之前，需要對數(shù)據(jù)展開預(yù)處理，由于電力設(shè)備數(shù)據(jù)信息龐大，其中存在冗余數(shù)據(jù)，對于大數(shù)據(jù)分析可產(chǎn)生影響，因此可利用系統(tǒng)對于上述數(shù)據(jù)展開預(yù)處理，保留價值數(shù)據(jù)，提高數(shù)據(jù)獲取質(zhì)量。數(shù)據(jù)類型包括電壓、電流、溫度、設(shè)備檢測等數(shù)據(jù)，清洗之后，將價值數(shù)據(jù)篩選出來，并將其存儲于數(shù)據(jù)庫內(nèi)，和原始數(shù)據(jù)同時存在，不會對原始數(shù)據(jù)造成覆蓋，還可對比新舊數(shù)據(jù)，為數(shù)據(jù)分析順利進(jìn)行奠定基礎(chǔ)。

2.2 采集模塊

采集模塊能夠為上層應(yīng)用提供數(shù)據(jù)采集功能，采集工具分為三個層次，分別為物理層、訪問層和采集層，其中物理層主要用于電力黑匣子數(shù)據(jù)的采集；訪問層則利用串口協(xié)議連接上位機(jī)、黑匣子通信，同時傳輸協(xié)議還能為上層數(shù)據(jù)的采集提供服務(wù)。

2.3 數(shù)據(jù)分析

隨著電力設(shè)備運(yùn)行時間的積累，系統(tǒng)當(dāng)中可產(chǎn)生大量數(shù)據(jù)信息，大數(shù)據(jù)分析需要對歷史數(shù)據(jù)展開快速評估和分析，用戶可按照需求將數(shù)據(jù)信息存儲在數(shù)據(jù)庫內(nèi)，此時系統(tǒng)即可按照特定算法對于數(shù)據(jù)進(jìn)行分析，流程如下：第一，準(zhǔn)備數(shù)據(jù)，將電力設(shè)備信號數(shù)據(jù)存儲在Hbase 中，并準(zhǔn)備樣本數(shù)據(jù)在本地儲存；第二，提取信號特征，對于電力設(shè)備信號數(shù)據(jù)特點(diǎn)進(jìn)行提取，并存儲；第三，求出聚類中心，通過迭代法將聚類中心提取出來，在Sequence File 當(dāng)中存儲；第四，給定K-Means 聚類算法和停止條件，將特征信號和聚類中心Sequence File 路徑提取出來，執(zhí)行聚類的過程，并將結(jié)果向HDFS 當(dāng)中輸出。第五，分析設(shè)備狀態(tài)，應(yīng)用K-Means 模型展開設(shè)備狀態(tài)評估，運(yùn)行到特定階段，可積累大量運(yùn)行數(shù)據(jù)，新數(shù)據(jù)可調(diào)整模型，利用最新數(shù)據(jù)重新訓(xùn)練模型，使設(shè)備狀態(tài)分析更加精準(zhǔn)。

2.4 電池性能分析

系統(tǒng)具備電池信息分析功能，輔助用戶掌握電池性能，為數(shù)據(jù)挖掘與分析提供參考。電池性能相關(guān)數(shù)據(jù)的統(tǒng)計具體包括交流充電量、交流放電量、充電功率、放電功率、放電時間、運(yùn)行時間、放電量等。利用系統(tǒng)對于上述數(shù)據(jù)展開分析和計算，獲得電池信息報表，向用戶傳達(dá)，上述過程主要利用Hadoop 與MapReduce 模型完成數(shù)據(jù)統(tǒng)計，數(shù)據(jù)分析效率更高。

2.5 設(shè)備狀態(tài)監(jiān)測

電力設(shè)備的狀態(tài)監(jiān)測能夠為設(shè)備的運(yùn)行狀態(tài)判斷和維修管理提供依據(jù)。比如：可利用管理系統(tǒng)展開油色譜分析，對于電壓等級進(jìn)行分析，統(tǒng)計數(shù)據(jù)，使用大數(shù)據(jù)分析方法對于溶解氣體產(chǎn)生率進(jìn)行分析，利用GIS 地圖呈現(xiàn)檢測裝置，還能自動提示和預(yù)警，為設(shè)備運(yùn)維提供支持。根據(jù)預(yù)警裝置，對于故障點(diǎn)準(zhǔn)確判斷，快速查找原因，制定檢修策略。還可利用系統(tǒng)點(diǎn)擊圖表，對于設(shè)備的歷史監(jiān)測數(shù)據(jù)進(jìn)行查詢，橫向?qū)Ρ?，判斷關(guān)聯(lián)設(shè)備運(yùn)行狀態(tài)，使用臺賬管理設(shè)備。

2.6 用戶管理實現(xiàn)

用戶管理能夠?qū)I(yè)務(wù)流程進(jìn)行協(xié)調(diào)，該系統(tǒng)主要為電力公司的內(nèi)部人員進(jìn)行設(shè)計，所以登錄界面需要將安全問題考慮其中，用戶需要輸入用戶名和密碼，才可順利登錄。同時，還考慮用戶隱私，對于用戶信息采取加密處理措施，系統(tǒng)讀取用戶密碼前，可自動進(jìn)行加密操作，數(shù)據(jù)庫內(nèi)的密碼是密碼文形式，其他使用者不可看到密碼。除此之外，系統(tǒng)還具備查找權(quán)限，如果用戶順利登錄以后，系統(tǒng)就能記錄相關(guān)信息，利用信息對于用戶權(quán)限進(jìn)行查詢，快速找到客戶使用板塊，為其操作提供便利。按照用戶權(quán)限將板塊內(nèi)容向用戶前端的頁面加載，保證電力設(shè)備數(shù)據(jù)查看的便捷性[3]。

3 結(jié)束語

總之，結(jié)合電力設(shè)備的數(shù)據(jù)管理要求，建設(shè)大數(shù)據(jù)運(yùn)行分析系統(tǒng)，對于電力數(shù)據(jù)展開系統(tǒng)化分析，找出系統(tǒng)存在的不足問題，檢測變電設(shè)備、輸電設(shè)備和電池性能。在智能電網(wǎng)快速發(fā)展之下，更多新型技術(shù)逐漸被應(yīng)用在電力設(shè)備的監(jiān)測和數(shù)據(jù)分析領(lǐng)域，為大數(shù)據(jù)的應(yīng)用提供更多支持，因此，加大力度研究電力設(shè)備數(shù)據(jù)分析系統(tǒng)能夠高效處理電力運(yùn)行數(shù)據(jù)，使設(shè)備管理更加高效。