基于大數(shù)據(jù)技術的用電信息采集系統(tǒng)創(chuàng)新研究

郭浩宇

（上海大學管理學院，上海 200444）

1 用采系統(tǒng)介紹

1.1 用采系統(tǒng)

中國智能電網(wǎng)包含了電力系統(tǒng)的發(fā)、輸、變、配、用和調(diào)度各個環(huán)節(jié)，它以充分滿足用戶對電力的需求和優(yōu)化資源配置為前提，確保電力供應的安全、可靠，實現(xiàn)對用戶可靠、經(jīng)濟、清潔、互動的電力供應和增值服務。其中，智能用電與采集在堅強智能電網(wǎng)的建設中具有十分突出的地位和作用，它作為構建堅強智能電網(wǎng)的重要支柱和六大環(huán)節(jié)之一，是實現(xiàn)智能電網(wǎng)各項功能的基礎和物理載體，同時也是社會各界感知和體驗堅強智能電網(wǎng)建設成果的主要途徑[1]。

電力用戶用電信息采集是智能用電體系建設中的一個組成部分，通過對配變下集中器以及電表凍結數(shù)據(jù)的采集和分析，實現(xiàn)用戶電力數(shù)據(jù)監(jiān)控，市場化交易、負荷曲線管理、計量在線監(jiān)測、臺區(qū)線損分析，最終達到自動抄表、用電檢查（防竊電）、電力需求預測和節(jié)約用電成本等業(yè)務目標，是全面實現(xiàn)營銷業(yè)務管理的基礎，也是支撐公司服務水平提升、業(yè)務轉型升級、管理提質(zhì)增效的基礎，為加速推進營銷數(shù)字化專項建設，公司能源互聯(lián)網(wǎng)生態(tài)圈的構建夯實了重要的數(shù)據(jù)基礎[2]。

1.2 智能化采集

隨著智能用電體系建設工作的推進與用電采集水平的不斷提高，自動抄表應運而生。自動抄表可以實現(xiàn)終端，電能表凍結數(shù)據(jù)的遠程透召與抄讀。電力營銷部門通過這種方式可以實時獲取電力用戶的實際用電狀況，了解范圍內(nèi)整個臺區(qū)、整條線路的用電負載情況。通過主動上報的設備事件，也可以提高電力部門的故障感知能力。目前，計量設備大多使用4G運營商專網(wǎng)、光纖等方式進行數(shù)據(jù)上下行運輸。自動抄表一般通集中器，采集器對現(xiàn)場表計的凍結數(shù)據(jù)進行輪召，然后上傳至用采主站，通過用采主站對報文數(shù)據(jù)進行解析、拼裝、計算、入庫，定期傳送至營銷系統(tǒng)以便于營銷完成電費出賬[3]。自動抄表相比于人工抄表、半自動抄表的方式，節(jié)省了大量人力物力，也提高了整體數(shù)據(jù)的精度與準度。隨著信息化技術、網(wǎng)絡技術與芯片技術的飛速發(fā)展，可以運用于自動抄表方面的技術也越來越多。這些技術提高了計量設備的可靠性、準確性與多樣性，也從每天的單一數(shù)據(jù)采集轉變成高頻多樣化采集，為實現(xiàn)營銷多樣化業(yè)務分析提供了數(shù)據(jù)基礎。

2 采集系統(tǒng)現(xiàn)狀及分析

現(xiàn)有用電信息采集系統(tǒng)于2010年上線，采用傳統(tǒng)Oracle集中式數(shù)據(jù)存儲，數(shù)據(jù)計算依賴存儲過程。覆蓋采集終端36.8萬臺，覆蓋電表數(shù)共1 080萬具。日凍結（1 052萬用戶）采集全量執(zhí)行完成耗時3小時；專變/公變/重點用戶（20萬）電壓、電流、功率因素等曲線采集，每2小時執(zhí)行一次，每執(zhí)行一輪耗時1.5小時左右，采集入庫和計算效率較低。上行通信方式以無線公網(wǎng)為主（98%～99%），電力光纖為輔（1%～2%）?，F(xiàn)有采集系統(tǒng)主站的架構、性能及硬件資源已經(jīng)不滿足新形勢下各類業(yè)務日益增長的數(shù)據(jù)要求，系統(tǒng)也暴露出以下問題。

1）高頻數(shù)據(jù)采集能力不足。用戶曲線等高頻數(shù)據(jù)采集及時率較低、無法支撐業(yè)務需求，實時召測功能并發(fā)請求數(shù)支撐不夠，容易造成堵塞。

2）數(shù)據(jù)入庫能力不足。隨著接入用戶規(guī)模和采集數(shù)據(jù)量的持續(xù)增長、采集頻度和交互時效性的日益增加，要滿足運檢、發(fā)展、交易等專業(yè)提出的電壓、電流、功率、電量等數(shù)據(jù)的小時級采集與推送需求。目前數(shù)據(jù)存儲采用傳統(tǒng)存儲架構，性能提升困難，數(shù)據(jù)采集入庫過程存在積壓滯后問題。

3）數(shù)據(jù)計算效率不足。用電信息采集系統(tǒng)中存儲海量數(shù)據(jù)，需要對其進行分析、統(tǒng)計、計算等工作。許多統(tǒng)計分析需要查詢歷史數(shù)據(jù)進行迭代計算，目前相關業(yè)務邏輯在數(shù)據(jù)庫中實現(xiàn)，此類統(tǒng)計計算導致采集數(shù)據(jù)庫負載較大[4]。

4）數(shù)據(jù)分析能力不足。隨著數(shù)據(jù)增長以及數(shù)據(jù)的實時性不斷提高，需建立“數(shù)據(jù)接入-數(shù)據(jù)質(zhì)量分析-數(shù)據(jù)治理”的計量數(shù)據(jù)資產(chǎn)質(zhì)量管控體系；同時對停電事件進行甄別與診斷、戶變關系識別、失準更換、采集設備質(zhì)量評估、通信信道評估等，需應用人工智能和大數(shù)據(jù)技術，挖掘海量采集數(shù)據(jù)的價值困難，數(shù)據(jù)分析效率較低。

5）國網(wǎng)標設快速響應不足。國網(wǎng)標設規(guī)定了用電信息采集系統(tǒng)主站軟件標準化設計的細則要求，對用電信息采集系統(tǒng)主站軟件在技術指標、功能、數(shù)據(jù)庫、界面、系統(tǒng)接口、安全防護等方面作了明確要求，現(xiàn)階段不能快速響應，不滿足國網(wǎng)營銷部標準化設計要求[5]。

6）新型業(yè)務快速拓展不足。隨著智能表全覆蓋工作的快速推進及分布式電源接入、多表合一采集、同期線損、遠程費控等新型業(yè)務的快速擴展，且采集系統(tǒng)主站對外服務的日益增多，現(xiàn)有用電信息采集系統(tǒng)不滿足新型業(yè)務拓展需求。

3 基于大數(shù)據(jù)技術的用采系統(tǒng)架構創(chuàng)新

伴隨著上一代用采系統(tǒng)逐漸落后的技術與大數(shù)據(jù)技術的成熟與崛起，上海電力公司于2018年下半年啟動了新一代采集主站升級前期準備工作，通過兄弟網(wǎng)省交流了解和內(nèi)部討論，學習、熟悉建設技術路線，為構建新一代采集系統(tǒng)奠定基礎。

3.1 大數(shù)據(jù)平臺研究

從功能分析、性能分析、穩(wěn)定性、可擴展性等方面對Oracle數(shù)據(jù)計算和大數(shù)據(jù)計算對比，如表1所示。

表1 Oracle計算與大數(shù)據(jù)計算對照表

為了滿足采集系統(tǒng)未來業(yè)務發(fā)展帶來的海量數(shù)據(jù)實時處理需求，需要采用大數(shù)據(jù)技術作為數(shù)據(jù)計算業(yè)務的支撐平臺。

Hadoop是目前世界上最流行的分布式數(shù)據(jù)處理框架，利用Hadoop架構先進、穩(wěn)定的組件如Hbase、Spark、ZooKeeper等，及Kafka消息中間件實現(xiàn)采集系統(tǒng)數(shù)據(jù)計算和數(shù)據(jù)分發(fā)入庫業(yè)務。

HBase（Hadoop Database）是一個分布式的、面向列的開源數(shù)據(jù)庫，是運行在Hadoop集群上的數(shù)據(jù)庫，利用Hadoop HDFS作為其文件存儲系統(tǒng)，具備高可靠性、高性能、面向列、可伸縮等特點。利用HBase技術可在廉價PC Server上搭建起大規(guī)模結構化存儲集群，在實時讀寫、隨機訪問超大規(guī)模數(shù)據(jù)集時性能卓越[6]。

Spark 是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎，可以處理所有Hadoop支持的數(shù)據(jù)，它保留了MapReduce的優(yōu)點，而且在時效性上有了很大提高，基于內(nèi)存的運算要快100倍以上；而基于磁盤的運算也要快10倍以上，為需要迭代計算和有較高時效性要求的系統(tǒng)提供了更好的支持。Spark Streaming，構建在Spark上處理Stream數(shù)據(jù)的框架，基本的原理是將Stream數(shù)據(jù)分成小的時間片段（幾秒），以類似batch批量處理的方式來處理這小部分數(shù)據(jù)。

ZooKeeper是一個分布式應用程序協(xié)調(diào)服務，它為分布式應用提供一致性服務的軟件，提供的功能包括配置維護、域名服務、分布式同步、組服務等。

Kafka是一個分布式的、可劃分的、多訂閱者、冗余備份的持久性的日志服務，以consumer為中心，消息的消費信息保存的客戶端consumer上，consumer根據(jù)消費的點從broker上批量pull數(shù)據(jù)，無消息確認機制。通過ZooKeeper管理所有的Kafka節(jié)點，負責資源協(xié)調(diào)、負載均衡等任務[7]。

3.2 大數(shù)據(jù)改進后系統(tǒng)架構

大數(shù)據(jù)計算平臺實現(xiàn)用電信息采集系統(tǒng)電量曲線、負荷曲線、在線率統(tǒng)計等實時數(shù)據(jù)計算，以及電量統(tǒng)計、負荷統(tǒng)計、線損計算、指標統(tǒng)計等離線計算；主站定期統(tǒng)計全量數(shù)據(jù)入庫時間，實現(xiàn)對數(shù)據(jù)采集效率的有效監(jiān)測，便于及時調(diào)整數(shù)據(jù)采集策略；主站完善全量數(shù)據(jù)采集質(zhì)量分析監(jiān)控功能，實現(xiàn)對全量數(shù)據(jù)的漏報誤報、事件數(shù)據(jù)頻報等的分析監(jiān)控[8]；主站根據(jù)數(shù)據(jù)漏報特點，制定合理的數(shù)據(jù)補召策略，充分挖掘通信潛力。整體數(shù)據(jù)流程如下。

1）通過數(shù)據(jù)抽取工具將檔案數(shù)據(jù)、對象模型或其他業(yè)務數(shù)據(jù)從Oracle抽取到分布式數(shù)據(jù)庫HBase中。

2）通過Kafka消息分發(fā)和分布式入庫程序，將采集數(shù)據(jù)入庫并行寫入到Oralce和HBase。

3）Spark計算應用程序讀取HBase的數(shù)據(jù)，并封裝成多個RDD對象，計算程序通過對RDD的操作，實現(xiàn)各類計算業(yè)務邏輯[9]。

4）Spark計算應用程序?qū)⒂嬎憬Y果以消息的形式發(fā)送到Kafka的特定topic中。

5）擺渡程序監(jiān)聽Kafka的消息，并通過分布式入庫程序?qū)懭氲絆racle和HBase。

4 新一代用采系統(tǒng)創(chuàng)新影響

新一代采集系統(tǒng)前置服務器的承載能力得到巨大提升，單臺服務器的任務并發(fā)數(shù)量，從500提升至30 000，增長到60倍。上海全網(wǎng)1 100萬全量用戶的日凍結電量采集任務，執(zhí)行一輪的時間從4小時減少至20分鐘，縮減了12倍。上海全網(wǎng)26.7萬用戶（除HPLC）負荷曲線數(shù)據(jù)，從之前的6小時/輪減少至目前的22分鐘/輪，縮減了約18倍，初步達到了上級公司重點用戶小時級數(shù)據(jù)采集需求。對集中器用戶，新系統(tǒng)上線后成功率提升顯著。低壓用戶的正向有功、反向有功等電量日凍結數(shù)據(jù)，整體成功率提升至98.5%以上。非HPLC用戶的正向有功等電量日凍結數(shù)據(jù)，成功率基本持平，整體成功率維持在98.3%左右。

新一代采集的數(shù)據(jù)庫采用傳統(tǒng)Orecle庫與大數(shù)據(jù)Hadoop庫共存的方式，數(shù)據(jù)清洗、數(shù)據(jù)處理、分析計算、實時查詢等后臺功能，都得到了指數(shù)級提升[10]。據(jù)初步測試，采集數(shù)據(jù)出賬二次研判效率提升18倍，計量裝置在線監(jiān)測功能數(shù)據(jù)研判效率提升13倍，公變臺區(qū)線損分析計算效率提升10倍，采集指標數(shù)據(jù)監(jiān)控分析實時性提升10倍。

5 結論

綜上所述，在我國電力企業(yè)數(shù)字化轉型過程中面臨著很多困難和問題。但是，隨著外部數(shù)字化技術的不斷發(fā)展，大數(shù)據(jù)技術的不斷成熟為電力采集的管理與更新?lián)Q代提供了基礎與技術支持，改變了目前落后的數(shù)據(jù)采集方式與管理能力，創(chuàng)新了電力采集的新平臺新架構?？傮w來說，本市采集系統(tǒng)目前在電費回收、用電檢查、線損管理、配電網(wǎng)運行監(jiān)測、配網(wǎng)故障搶修以及供電服務支撐等多個專業(yè)應用中發(fā)揮了重要的作用，已成為公司營銷決策分析的重要支撐之一。電力公司應當充分利用數(shù)字化技術優(yōu)勢，結合海量電力數(shù)據(jù)，注重采集管理方式與新業(yè)務的持續(xù)創(chuàng)新，進而采取相應的管理對策，提高采集管理的水平，從而充分發(fā)揮數(shù)據(jù)采集在智能電網(wǎng)中的作用，發(fā)揮電業(yè)企業(yè)在我國的作用。