于璟璟
摘 要:電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)的全面建設(shè),提出了”全覆蓋 全采集 全費(fèi)控”的要求,這對現(xiàn)有采集系統(tǒng)的數(shù)據(jù)項(xiàng)、采集頻度、數(shù)據(jù)完整性以及及時(shí)性都提出了更高的要求。現(xiàn)有采集系統(tǒng)的架構(gòu)和性能已經(jīng)不滿足新形勢下各類業(yè)務(wù)日益增長的數(shù)據(jù)要求。本文就用電采集系統(tǒng)系統(tǒng)架構(gòu)、用電采集系統(tǒng)現(xiàn)狀、改進(jìn)方案等方面進(jìn)行分析。
關(guān)鍵詞:電力系統(tǒng)監(jiān)控;數(shù)據(jù)采集;系統(tǒng)架構(gòu)
隨著深入推進(jìn)電力體制改革、建設(shè)能源互聯(lián)網(wǎng)、實(shí)施大數(shù)據(jù)創(chuàng)新應(yīng)用等國家戰(zhàn)略的推進(jìn),計(jì)量傳統(tǒng)業(yè)務(wù)向新型業(yè)務(wù)拓展,營銷業(yè)務(wù)向社會(huì)化全業(yè)務(wù)鏈延伸??鐚I(yè)協(xié)同持續(xù)深化,對電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)的支撐能力提出新的要求。面對新形勢新挑戰(zhàn),全面總結(jié)采集系統(tǒng)建設(shè)的基本情況和主要成效,梳理系統(tǒng)建設(shè)過程中的不足,分析面臨的內(nèi)外部形勢,結(jié)合業(yè)界成熟的新技術(shù),提出新一代電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)。
一、用電采集系統(tǒng)架構(gòu)
系統(tǒng)基本架構(gòu)分為采集系統(tǒng)主站、通信信道、采集設(shè)備三個(gè)層面。其中采集系統(tǒng)主站的功能是實(shí)現(xiàn)系統(tǒng)數(shù)據(jù)交互、存儲(chǔ)和采集業(yè)務(wù)流程管理,主要包括數(shù)據(jù)采集服務(wù)、數(shù)據(jù)存儲(chǔ)、主站應(yīng)用等部分;通信信道包括遠(yuǎn)程通信和本地通信兩部分,遠(yuǎn)程通信有自建的230M無線專網(wǎng)、GPRS等無線公網(wǎng)、光纖專網(wǎng)等信道,本地通信包括窄帶載波、寬帶載波、微功率無線、485總線等信道;采集設(shè)備是現(xiàn)場計(jì)量設(shè)備、采集終端的集合,主要包括電能表、集中器、專變終端等設(shè)備。
二、用電采集系統(tǒng)現(xiàn)狀
采集系統(tǒng)主站現(xiàn)狀及問題分析主要圍繞數(shù)據(jù)采集服務(wù)、數(shù)據(jù)存儲(chǔ)、及主站應(yīng)用三個(gè)方面。
(一)數(shù)據(jù)采集服務(wù)
數(shù)據(jù)采集服務(wù)主要負(fù)責(zé)通訊前置、報(bào)文解析、數(shù)據(jù)入庫。在海量數(shù)據(jù)接入的情況下,高峰負(fù)荷期間,單臺(tái)采集前置需要處理的通訊報(bào)文數(shù)量可能是現(xiàn)在的幾十倍乃至上百倍,對采集前置的并發(fā)處理能力帶來巨大壓力。雖然當(dāng)前采集前置一般采用分布式架構(gòu),但每個(gè)采集節(jié)點(diǎn)承擔(dān)了任務(wù)生成、邏輯控制以及數(shù)據(jù)入庫等多個(gè)業(yè)務(wù),造成單個(gè)節(jié)點(diǎn)承擔(dān)的業(yè)務(wù)過于繁重,尤其是數(shù)據(jù)入庫效率更是限制了采集前置的線性擴(kuò)展能力。
(二)數(shù)據(jù)存儲(chǔ)
數(shù)據(jù)庫讀寫性能存在瓶頸。采集系統(tǒng)建設(shè)規(guī)模不斷擴(kuò)大,系統(tǒng)日數(shù)據(jù)量處理增多,需要采集的數(shù)據(jù)呈線性增長,傳統(tǒng)關(guān)系型數(shù)據(jù)庫在數(shù)據(jù)入庫、讀取效率等方面均存在性能瓶頸,無法滿足數(shù)據(jù)存儲(chǔ)及應(yīng)用開展的需要。同時(shí),龐大數(shù)據(jù)量對數(shù)據(jù)備份造成很大壓力,數(shù)據(jù)庫備份耗時(shí)越來越長,數(shù)據(jù)恢復(fù)可能需要花費(fèi)數(shù)以天計(jì)的時(shí)間,影響核心業(yè)務(wù)的開展。
(三)主站應(yīng)用
主站應(yīng)用主要是實(shí)現(xiàn)采集業(yè)務(wù)流程管理以及基于采集數(shù)據(jù)開展的數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計(jì)分析等相關(guān)應(yīng)用。主要存在的問題是接口缺乏有效管理,加大采集系統(tǒng)負(fù)載壓力。采集系統(tǒng)為其他業(yè)務(wù)應(yīng)用系統(tǒng)提供大量的數(shù)據(jù)支撐,目前眾多接口采用的方式不盡相同,各業(yè)務(wù)系統(tǒng)間數(shù)據(jù)需求存在交叉,一對一方式的接口應(yīng)用導(dǎo)致接口開發(fā)重復(fù)無度,對采集系統(tǒng)本身造成了很大的接口服務(wù)壓力,影響采集系統(tǒng)對外提供數(shù)據(jù)。
三、改進(jìn)方案
現(xiàn)有采集系統(tǒng)的架構(gòu)和性能已經(jīng)不滿足新形勢下各類業(yè)務(wù)日益增長的數(shù)據(jù)要求。全面分析采集系統(tǒng)現(xiàn)有框架存在的薄弱環(huán)節(jié),利用大數(shù)據(jù)、云計(jì)算、人工智能等新技術(shù),設(shè)計(jì)了新一代電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng),能支撐海量用能信息與設(shè)備運(yùn)行監(jiān)測信息的采集與存儲(chǔ),實(shí)現(xiàn)分布式數(shù)據(jù)分析與采集網(wǎng)絡(luò)狀態(tài)智能感知。
通信層的通訊框架,使用基于NIO的客戶/服務(wù)器端編程框架,具有異步、事件驅(qū)動(dòng)特性的網(wǎng)絡(luò)應(yīng)用程序,例如目前比較主流的Netty和MINO??梢蕴岣咄ㄐ艑拥墓?jié)點(diǎn)間的報(bào)文收發(fā)效率和服務(wù)端接入客戶端并發(fā)數(shù)量,還可以降低編碼難度,提高程序的效率和穩(wěn)定性。通信層消息隊(duì)列集群使用Kafka分布式消息發(fā)布訂閱系統(tǒng),實(shí)現(xiàn)通信層、應(yīng)用層、存儲(chǔ)層之間的數(shù)據(jù)總線功能。
存儲(chǔ)層由生產(chǎn)數(shù)據(jù)庫(即傳統(tǒng)關(guān)系型數(shù)據(jù)庫)及云平臺(tái)兩部分組成。其中,生產(chǎn)數(shù)據(jù)庫包括:主應(yīng)用數(shù)據(jù)庫集群、歷史數(shù)據(jù)庫、災(zāi)備數(shù)據(jù)庫;云平臺(tái)主要包括:分布式文件存儲(chǔ)、分布式報(bào)文數(shù)據(jù)庫和分布式內(nèi)存數(shù)據(jù)庫。分布式數(shù)據(jù)庫采用MySQL關(guān)系型數(shù)據(jù)庫,能有效解決從消息隊(duì)列發(fā)送過來的大量報(bào)文數(shù)據(jù)高速并行存儲(chǔ),以及靈活的數(shù)據(jù)查詢。分布式文件存儲(chǔ)采用基于Hadoop的HBase非關(guān)系型數(shù)據(jù)庫。可為用電信息采集系統(tǒng)提供一個(gè)安全可靠、高效寫入、同時(shí)可擴(kuò)展性強(qiáng)的全量數(shù)據(jù)存儲(chǔ)解決方案。
統(tǒng)一接口服務(wù)平臺(tái)實(shí)現(xiàn)靜態(tài)數(shù)據(jù)發(fā)布、實(shí)時(shí)數(shù)據(jù)發(fā)布、外部數(shù)據(jù)獲取、特定交互接口等四類接口應(yīng)用。針對實(shí)時(shí)性要求不高的統(tǒng)一接口平臺(tái)的靜態(tài)數(shù)據(jù)及統(tǒng)計(jì)指標(biāo)數(shù)據(jù),其對外發(fā)布采用跨平臺(tái)、低耦合的WebService技術(shù)實(shí)現(xiàn)??蛻舳撕头?wù)器用SOAP協(xié)議通過HTTP來交互,客戶端根據(jù)WSDL描述文檔生成SOAP請求消息發(fā)送到服務(wù)端,服務(wù)端解析收到的SOAP請求,調(diào)用Web service,然后再生成相應(yīng)的SOAP應(yīng)答送回到客戶端。對大數(shù)據(jù)量的請求,采用客戶端發(fā)起WebService調(diào)用請求,服務(wù)端生成約定格式(XML/JSON)的數(shù)據(jù)文件,客戶端通過HTTP/HTTPS形式下載數(shù)據(jù)文件。
四、結(jié)語
綜上所述,隨著電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)的全面建設(shè),提升系統(tǒng)海量數(shù)據(jù)處理及分析性能,實(shí)現(xiàn)采集網(wǎng)絡(luò)狀態(tài)智能感知,是電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)發(fā)展趨勢。電力監(jiān)控采集系統(tǒng)憑借自身優(yōu)勢,融合先進(jìn)的計(jì)算機(jī)技術(shù),能很好的滿足電氣企業(yè)發(fā)展和使用需求。
參考文獻(xiàn):
[1]何鎮(zhèn)庭.電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)研究[J].中國戰(zhàn)略新興產(chǎn)業(yè),2017(08):185-186+189.