大數(shù)據(jù)分析技術在用電數(shù)據(jù)采集系統(tǒng)的應用

楊強

摘要：隨著人們生活水平的不斷提高，日常用電量不斷增加，用電數(shù)據(jù)采集系統(tǒng)的弊端逐漸顯露出來。本文從對用電數(shù)據(jù)采集系統(tǒng)研究出發(fā)，結合實際數(shù)據(jù)收集情況，總結出用電數(shù)據(jù)采集系統(tǒng)中大數(shù)據(jù)分析的應用方式，即對數(shù)據(jù)的載入與存儲、對數(shù)據(jù)進行計算、深度挖掘相關數(shù)據(jù)。

關鍵詞：大數(shù)據(jù)分析技術;數(shù)據(jù)采集;數(shù)據(jù)計算

引言：用電數(shù)據(jù)采集系統(tǒng)是通過采集和分析終端客戶的用電量和變壓器的配對數(shù)據(jù)，監(jiān)控住戶實際用電量、為階梯電價提供依據(jù)、分析線路損壞的的原因、管理超負荷的電路，最終實現(xiàn)住戶合理使用電力、減少電路損壞、降低能源損耗、節(jié)約用電費用的目的。用戶可以自主的查詢相關用電量，進行合理調配。

用電數(shù)據(jù)采集系統(tǒng)研究

2005年2月2日國家國務院發(fā)布了《電力監(jiān)管條例》，要求電力監(jiān)管機構對電力企業(yè)、電力調度交易機構執(zhí)行電力市場運行規(guī)則的情況，以及電力調度交易機構執(zhí)行電力調度規(guī)則的情況實施監(jiān)管。加強對電力的合理分配，保障居民的正常用電量。為了進一步加強對電力的管理，維持生態(tài)穩(wěn)定，國家于2011年1月實施了《電力需求側管理辦法》，明確了應該做好市場分析，做好資源調配管理;根據(jù)各地的實際情況制定相應的側需求管理，節(jié)約資源;制定階梯電價，鼓勵居民避開高峰期;發(fā)掘潛在用戶，為期提供節(jié)能服務，加強對用戶的用電情況的數(shù)據(jù)分析，制定用電管理。

用電數(shù)據(jù)采集系統(tǒng)具有自動抄表、電能數(shù)據(jù)分析、系統(tǒng)運行分析、主站運行監(jiān)測的特征。自動抄表的流程為電表安裝，然后進行自動抄表投運，進而執(zhí)行自動抄表，其中失敗的數(shù)據(jù)在由人工進行，接著匯總統(tǒng)一上傳抄表任務，最后自動結算出賬單。電能數(shù)據(jù)分析是按照年、季度、月、日、時段的時間范圍，對電量、負荷、電壓、電流數(shù)據(jù)進行分析。系統(tǒng)運行分析是對采集成功率、抄表成功率、終端實時在線率、終端運行在線監(jiān)視、電表運行狀態(tài)監(jiān)視進行分析。主站運行監(jiān)測是由主站設備、網絡設備、GPS時鐘、服務模塊、數(shù)據(jù)庫組成。

二、用電數(shù)據(jù)采集系統(tǒng)中大數(shù)據(jù)分析的應用方式

數(shù)據(jù)載入和存儲

原有的用電數(shù)據(jù)采集系統(tǒng)是將在終端采集的數(shù)據(jù)統(tǒng)一存儲到磁盤中，但是這樣存在很大弊端，因為磁盤一旦損壞，就會導致數(shù)據(jù)流失，給企業(yè)帶來經濟損失，影響正常的分析與運營工作。如今把大數(shù)據(jù)技術應用到用電數(shù)據(jù)采集系統(tǒng)中去，實行分布式的存儲方法，使用模塊或者設置節(jié)點的方式通過集群的方式將資源系統(tǒng)化，使的企業(yè)用較低的硬件成本和較高的靈活性，搭建自身的用電數(shù)據(jù)采集系統(tǒng)[1]。在實際采集中使用Flume，對數(shù)據(jù)進行收集整理后進行輸送，在完成前會進行自動備份，完成后會自動刪除，保障了數(shù)據(jù)的安全穩(wěn)定性。Agent是Flume的運行的重中之重，是一個結構完善的收據(jù)收集工具。Agent是由source、channel、sink這三部分組成的。Source可以接受外部發(fā)送的數(shù)據(jù)，可以根據(jù)不同的數(shù)據(jù)調整對應的格式，可以監(jiān)測文件中數(shù)據(jù)的變化。Channel具有存儲的功能，它接受Source的數(shù)據(jù)。Channel中的數(shù)據(jù)只有進入下一個終端，才會刪除現(xiàn)有的數(shù)據(jù)，當sink寫入失敗后，系統(tǒng)又會自動重啟，保障數(shù)據(jù)的安全。

數(shù)據(jù)計算

大數(shù)據(jù)技術在用電數(shù)據(jù)采集系統(tǒng)中的數(shù)據(jù)計算方式分為兩種即實時計算和離線計算。離線計算是指在計算前已經獲知所有數(shù)據(jù)，實施計算不會對原有數(shù)據(jù)造成影響。在離線計算中，運用Hdfs進行數(shù)據(jù)存儲，通過MapReduce實現(xiàn)數(shù)據(jù)的大批量計算整合，計算整合后的數(shù)據(jù)統(tǒng)一存儲到Hive中，進行統(tǒng)一展示。離線計算具有能夠計算大量數(shù)據(jù)且保存時間長，可以多次的進行批量計算，保存原有的數(shù)據(jù)，快速查詢計算結果的特點。實時計算是指可以以序列化的方式一個個輸入相應的數(shù)據(jù)，不必再一開始的時候就獲知所有的數(shù)據(jù)。傳統(tǒng)的整理方式是，先進行數(shù)據(jù)的收集工作，之后匯總到電腦中，在需要時在進行系統(tǒng)搜索，這一過程雖然比較方便，但是沒有進行合理調配，浪費了大量時間。

目前采取離線計算和實時計算的方式針對不同情況作出分析，可以準確的把握數(shù)據(jù)節(jié)約成本。Hadoop是離線計算的框架，具有高可靠性、高效性、高擴展性、高容錯性、低成本的特點[2]。Hadoop適用于整合電流曲線等系統(tǒng)場景，可以清晰地呈現(xiàn)一段時間內的電流變化。Spark是實時計算的框架，具有支持交互式計算和復雜計算的特點，主要應用于計算本身。Spark適用于統(tǒng)計某一時段的用電情況，分析實時用電量。

數(shù)據(jù)的深度挖掘

用電信息采集系統(tǒng)每年接收的和處理的數(shù)據(jù)非常繁雜，例如全國每年用電信息采集系統(tǒng)接收的數(shù)據(jù)量的平均值就達到了5TB，對于一些大城市而言，數(shù)據(jù)量就更加龐大了。應該采用大數(shù)據(jù)技術，對相關的用電數(shù)據(jù)進行整合，分析對比挖掘其潛在的趨勢，檢測運營狀態(tài)，促進用電采集系統(tǒng)可以精細化準確化的進行運轉?？梢赃\用層次聚集類挖掘、密度聚集類挖掘、關聯(lián)挖掘的方法，通過數(shù)據(jù)劃分測率和任務劃分策略進行計算強度分析和并行化效率分析。通過算法階段優(yōu)化、組合算優(yōu)化、算法迭代優(yōu)化、算法服務管理，對用點預測、負荷預測、設備故障智能診斷進行分析管理。

結論：綜上所述，大數(shù)分析技術能夠優(yōu)化用電數(shù)據(jù)采集系統(tǒng)，為其提供更加直觀的數(shù)據(jù)分析，及時解析用電故障及價格問題。隨著終端數(shù)據(jù)的增多，大數(shù)據(jù)分析技術能夠起到存儲和計算的功能，對數(shù)據(jù)有效整合，解決用電數(shù)據(jù)采集系統(tǒng)中存在的問題，細化用電結構，推動數(shù)據(jù)生態(tài)系統(tǒng)復合化發(fā)展。

參考文獻：

[1]于小青，齊林海.基于流數(shù)據(jù)聚類算法的電力大數(shù)據(jù)異常檢測[J].電力信息與通信技術，2020，18（03）：8-14.

[2]黃文思，陳婧，谷峪.基于大數(shù)據(jù)技術的營配調數(shù)據(jù)智能匹配和識別方案研究[J].通信電源技術，2019，36（05）：161-162+164.