水電站大數(shù)據(jù)分布式采集系統(tǒng)研究

劉曉彤，遲海龍，楊廷勇

（1.中國水利水電科學(xué)研究院 北京中水科水電科技開發(fā)有限公司，北京 100038；2.中國長江電力股份有限公司白鶴灘水力發(fā)電廠，云南 昆明 650000）

1 引言

隨著智能水電站技術(shù)的迅猛發(fā)展，大數(shù)據(jù)和人工智能技術(shù)在水電站安全穩(wěn)定運(yùn)行的決策過程中作用愈加重要,而大數(shù)據(jù)是開展人工智能的重要前提。水電站各個(gè)專業(yè)生產(chǎn)系統(tǒng)的數(shù)據(jù)量大、復(fù)雜度高、快速多變，現(xiàn)地采集后需要跨安全區(qū)、跨地域傳輸和匯聚到大數(shù)據(jù)平臺(tái)，數(shù)據(jù)跨區(qū)跨地域安全可靠的采集與傳輸，成為限制大數(shù)據(jù)技術(shù)應(yīng)用的關(guān)鍵因素。

2 現(xiàn)地?cái)?shù)據(jù)采集

主要采集調(diào)速器、勵(lì)磁、計(jì)算機(jī)監(jiān)控系統(tǒng)等實(shí)時(shí)系統(tǒng)，以及機(jī)組狀態(tài)監(jiān)測(cè)、局部放電監(jiān)測(cè)、油色譜監(jiān)測(cè)等非實(shí)時(shí)數(shù)據(jù)。采集方式主要取決于現(xiàn)地各專業(yè)系統(tǒng)，并統(tǒng)籌考慮，選擇最合適的采集方式。

水電站各專業(yè)系統(tǒng)的數(shù)據(jù)種類眾多，按實(shí)時(shí)性分有實(shí)時(shí)數(shù)據(jù)、非實(shí)時(shí)性數(shù)據(jù)、歷史數(shù)據(jù)、時(shí)間序列數(shù)據(jù)。按類型分有文本數(shù)據(jù)、多媒體數(shù)據(jù)。按結(jié)構(gòu)分有各類結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)的采集和傳輸方式隨之不同。

2.1 調(diào)速器和勵(lì)磁系統(tǒng)

調(diào)速器和勵(lì)磁系統(tǒng)均需與其PLC設(shè)備通信，通信協(xié)議需與電廠采用的PLC品牌和型號(hào)適配，如PLC有備用通信接口，通信協(xié)議限于其備用接口支持的協(xié)議。若沒有備用通信接口，則需增加通信模塊，需根據(jù)其PLC品牌和型號(hào)選擇合適的通信模塊，因?yàn)镸odbus TCP/IP和Modbus RTU協(xié)議比較通用而優(yōu)先選擇[1]，其次根據(jù)實(shí)際情況選擇PROFINET協(xié)議[2]、SRTP TCP/IP協(xié)議(Service Request Transport Protocol)[3]、EGD(Ethernet Global Data)協(xié)議[4]、Modbus Plus(MB+)協(xié)議等。

2.2 計(jì)算機(jī)監(jiān)控系統(tǒng)

計(jì)算機(jī)監(jiān)控系統(tǒng)分為上位機(jī)系統(tǒng)和下位機(jī)系統(tǒng)，部分電廠已接入到集控中心，因此其數(shù)據(jù)可從3個(gè)數(shù)據(jù)源采集。由集控中心到電廠上位機(jī)系統(tǒng)再到電廠下位機(jī)系統(tǒng)，數(shù)據(jù)采集方案的可行性、可靠性、可維護(hù)性依次降低，難度和工作量依次升高，因此數(shù)據(jù)源優(yōu)先級(jí)依次降低。

若數(shù)據(jù)源選擇集控中心和上位機(jī)系統(tǒng)，通信協(xié)議可選擇方式較多，通?？刹捎肐EC60870-5-104規(guī)約、消息隊(duì)列中間件技術(shù)、RPC技術(shù)、私有TCP/UDP通信協(xié)議等。

若將下位機(jī)作為數(shù)據(jù)源，則因其PLC品牌和型號(hào)不同，通信方式和協(xié)議均不同，情況與調(diào)速器、勵(lì)磁系統(tǒng)類似，并且通信協(xié)議為各監(jiān)控系統(tǒng)廠家私有協(xié)議，需要深入研究和定制開發(fā)，接入調(diào)試需在機(jī)組停機(jī)檢修階段進(jìn)行，開發(fā)和實(shí)施難度大，實(shí)施周期長，維護(hù)難度大，所以此方案在其他方案均無法實(shí)施時(shí)才考慮。

2.3 機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)

機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)的數(shù)據(jù)分為穩(wěn)態(tài)常規(guī)數(shù)據(jù)和暫態(tài)波形數(shù)據(jù)，目前國內(nèi)主流系統(tǒng)可提供TCP/UDP私有通信協(xié)議、消息隊(duì)列、中間數(shù)據(jù)庫等接口方式。

2.4 局部放電、油色譜監(jiān)測(cè)系統(tǒng)

局部放電、油色譜監(jiān)測(cè)系統(tǒng)數(shù)據(jù)變化緩慢，數(shù)據(jù)量不大，數(shù)據(jù)采集周期可適當(dāng)設(shè)置。

3 組網(wǎng)方案

水電站的調(diào)速器、勵(lì)磁、計(jì)算機(jī)監(jiān)控系統(tǒng)等屬于控制區(qū)，機(jī)組狀態(tài)監(jiān)測(cè)、局部放電、油色譜監(jiān)測(cè)等系統(tǒng)屬于非控制區(qū)，水電大數(shù)據(jù)平臺(tái)屬于管理信息大區(qū)，一般大型水電站可能建設(shè)有大數(shù)據(jù)平臺(tái)，中小型水電站作為大數(shù)據(jù)平臺(tái)的邊緣側(cè)，而大數(shù)據(jù)中心多建設(shè)在發(fā)電集團(tuán)總部，根據(jù)《電力監(jiān)控系統(tǒng)安全防護(hù)總體方案》，需要在控制區(qū)、非控制區(qū)和管理信息大區(qū)部署隔離裝置，管理信息大區(qū)與大數(shù)據(jù)平臺(tái)之間部署防火墻[5]。因此數(shù)據(jù)采集匯聚后需要跨安全區(qū)、超遠(yuǎn)距離、安全可靠的傳輸。

因控制區(qū)和非控制區(qū)均有多套系統(tǒng)數(shù)據(jù)需要接入，故在控制區(qū)和非控制區(qū)均設(shè)置有匯聚交換機(jī)，多系統(tǒng)數(shù)據(jù)匯聚后接入防火墻。計(jì)算機(jī)監(jiān)控系統(tǒng)、機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)和局部放電、油色譜監(jiān)測(cè)等數(shù)據(jù)一般均采集其上位機(jī)系統(tǒng)數(shù)據(jù)，故上述各系統(tǒng)均可直接接入?yún)R聚交換機(jī)。

調(diào)速器和勵(lì)磁系統(tǒng)的數(shù)據(jù)，需要從每臺(tái)機(jī)組的調(diào)速、勵(lì)磁系統(tǒng)的PLC采集，若其只支持串口通信，考慮到串口信號(hào)傳輸距離與其可能受到的干擾等因素，可在每臺(tái)機(jī)組處部署串口聯(lián)網(wǎng)設(shè)備，轉(zhuǎn)換成RJ45網(wǎng)絡(luò)接口，機(jī)組與采集平臺(tái)位置較遠(yuǎn)時(shí)，還要考慮光電轉(zhuǎn)換接口。

一般發(fā)電集團(tuán)公司的大數(shù)據(jù)平臺(tái)采集系統(tǒng)網(wǎng)絡(luò)拓?fù)淇蓞⒖紙D1，若電站自建大數(shù)據(jù)平臺(tái)，則不需要防火墻和專用通道。

圖1 水電站大數(shù)據(jù)分布式采集系統(tǒng)網(wǎng)絡(luò)拓?fù)?/p>

4 數(shù)據(jù)傳輸和存儲(chǔ)

數(shù)據(jù)采集匯聚后，需要穿越正向隔離裝置傳輸?shù)焦芾硇畔⒋髤^(qū)，如果還需向外傳輸，而后再經(jīng)過防火墻，傳輸?shù)酱髷?shù)據(jù)平臺(tái)。因而，在數(shù)據(jù)采集、非控制區(qū)與管理信息大區(qū)之間、管理信息大區(qū)與大數(shù)據(jù)中心之間存在3個(gè)故障點(diǎn)。在上述3個(gè)故障點(diǎn)處需要具備數(shù)據(jù)的緩存、存儲(chǔ)和斷點(diǎn)續(xù)傳的功能，因數(shù)據(jù)類型不同而有不同的解決方案。

4.1 數(shù)據(jù)采集階段

為提高數(shù)據(jù)傳輸?shù)目煽啃?，需要在?shù)據(jù)采集和傳輸過程中根據(jù)數(shù)據(jù)特點(diǎn)選擇合適的通信方式。

若采用傳統(tǒng)通信方式，如IEC60870-5-104規(guī)約、私有TCP、MODBUS等通信協(xié)議的方式，則通信出現(xiàn)故障，數(shù)據(jù)就會(huì)中斷，無法實(shí)現(xiàn)數(shù)據(jù)的斷點(diǎn)續(xù)傳。

計(jì)算機(jī)監(jiān)控系統(tǒng)、機(jī)組狀態(tài)監(jiān)測(cè)、局部放電監(jiān)測(cè)、油色譜監(jiān)測(cè)等數(shù)據(jù)源一般均為各自的上位機(jī)系統(tǒng)，因而可考慮使用緩存技術(shù)，為數(shù)據(jù)的斷點(diǎn)續(xù)傳打好基礎(chǔ)。

機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)的顯著特點(diǎn)是數(shù)據(jù)量巨大，其穩(wěn)態(tài)常規(guī)數(shù)據(jù)幾乎與電站計(jì)算機(jī)監(jiān)控系統(tǒng)的模擬量數(shù)據(jù)規(guī)模持平，其暫態(tài)波形數(shù)據(jù)規(guī)模更大。采用TCP協(xié)議方式，無法實(shí)現(xiàn)斷點(diǎn)續(xù)傳。

采用消息系統(tǒng)和中間數(shù)據(jù)庫的方式，可以實(shí)現(xiàn)斷點(diǎn)續(xù)傳，但在實(shí)際應(yīng)用中存在一些需要注意的問題，以Kafka為例，目前機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)多采用Windows操作系統(tǒng)，而Kafka在Windows平臺(tái)上的穩(wěn)定性欠佳，官方僅提供Java API，支持其他編程語言的第三方接口雖多，但穩(wěn)定性難以保障。

若采用中間數(shù)據(jù)庫的方式，跨安全區(qū)數(shù)據(jù)復(fù)制技術(shù)問題是其難點(diǎn)。

4.2 實(shí)時(shí)數(shù)據(jù)傳輸

計(jì)算機(jī)監(jiān)控系統(tǒng)、調(diào)速器、勵(lì)磁等系統(tǒng)的數(shù)據(jù)、機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)穩(wěn)態(tài)數(shù)據(jù)、局部放電監(jiān)測(cè)數(shù)據(jù)、油色譜監(jiān)測(cè)數(shù)據(jù)等均可視為實(shí)時(shí)數(shù)據(jù)，實(shí)時(shí)更新到實(shí)時(shí)數(shù)據(jù)庫。

4.3 歷史數(shù)據(jù)存儲(chǔ)

平臺(tái)可從實(shí)時(shí)數(shù)據(jù)庫中獲取數(shù)據(jù)轉(zhuǎn)存到歷史數(shù)據(jù)庫。同時(shí)，機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)的暫態(tài)數(shù)據(jù)、局部放電監(jiān)測(cè)系統(tǒng)和油色譜監(jiān)測(cè)系統(tǒng)的圖譜文件和診斷報(bào)告等二進(jìn)制文件均可視為歷史數(shù)據(jù)，可直接存儲(chǔ)到歷史數(shù)據(jù)庫。

4.4 跨區(qū)數(shù)據(jù)同步和緩存

跨隔離裝置傳輸數(shù)據(jù)，包括實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、文件以及第三方綜合數(shù)據(jù)等。隔離裝置包括正向隔離和反向隔離。正向隔離裝置具有單向傳輸?shù)奶攸c(diǎn)，反向只能傳輸1字節(jié)報(bào)文用于狀態(tài)確認(rèn)?？绶聪蚋綦x裝置采用文本文件傳輸方式。跨區(qū)數(shù)據(jù)同步簡要示意圖見圖2所示。

圖2 跨區(qū)數(shù)據(jù)同步和緩存簡要示意圖

UDP協(xié)議其不可靠的特點(diǎn)，在對(duì)關(guān)鍵數(shù)據(jù)的實(shí)時(shí)性和質(zhì)量要求日益提高的今天，被更少的采用。采用符合正向隔離安全要求的TCP協(xié)議同步數(shù)據(jù)，具有斷點(diǎn)續(xù)傳功能，如果傳輸中斷，可使用數(shù)據(jù)緩存技術(shù)，選擇內(nèi)存、硬盤、數(shù)據(jù)庫、消息隊(duì)列中間件等緩存介質(zhì)。

基于標(biāo)準(zhǔn)TCP的數(shù)據(jù)傳輸基于雙向通信，無法穿越隔離裝置，需要通過跨區(qū)同步代理實(shí)現(xiàn)報(bào)文轉(zhuǎn)發(fā)?？鐓^(qū)同步代理需要在隔離裝置兩側(cè)均代理，部署內(nèi)網(wǎng)代理發(fā)送數(shù)據(jù)，若內(nèi)外網(wǎng)通信故障，則將數(shù)據(jù)緩存。外網(wǎng)代理接收數(shù)據(jù)，并及時(shí)回復(fù)1字節(jié)報(bào)文進(jìn)行確認(rèn)。

需要設(shè)計(jì)好緩存的最大空間和清空策略等，比如64 MB以內(nèi)的數(shù)據(jù)緩存在內(nèi)存，長時(shí)間中斷緩存數(shù)據(jù)在硬盤。

4.5 數(shù)據(jù)庫跨區(qū)同步

機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)的暫態(tài)波形數(shù)據(jù)和局部放電監(jiān)測(cè)系統(tǒng)、油色譜監(jiān)測(cè)系統(tǒng)生成的圖譜文件和診斷報(bào)告多為二進(jìn)制文件，需要有專業(yè)的軟件才能使用和展示。在大數(shù)據(jù)平臺(tái)無法完備各專業(yè)系統(tǒng)功能的情況下，部署各專業(yè)系統(tǒng)軟件，不失為目前較好的現(xiàn)實(shí)選擇。這就需要部署各專業(yè)系統(tǒng)的數(shù)據(jù)庫。因此可通過中間數(shù)據(jù)庫的方式，采用臨時(shí)公用交換數(shù)據(jù)表的形式實(shí)現(xiàn)數(shù)據(jù)交換。

分布式數(shù)據(jù)庫同步有多種技術(shù)可供選擇，Databus、canal、Maxwell、yugong、DRD等均可實(shí)現(xiàn)，使用上述技術(shù)結(jié)合跨區(qū)數(shù)據(jù)同步功能，可解決數(shù)據(jù)庫跨區(qū)同步的技術(shù)難點(diǎn)。

4.6 管理信息大區(qū)數(shù)據(jù)緩存與上送

管理信息大區(qū)數(shù)據(jù)緩存和上送到大數(shù)據(jù)平臺(tái)，可使用消息隊(duì)列中間件技術(shù)，它可以在分布式環(huán)境下提供應(yīng)用解耦、彈性伸縮、冗余存儲(chǔ)、流量削峰、異步通信、數(shù)據(jù)同步等功能，作為分布式系統(tǒng)架構(gòu)中的一個(gè)重要組件，有著舉足輕重的地位。開源的消息中間件很多，比如ActiveMQ，RabbitMQ，Kafka，RocketMQ，ZeroMQ等。目前在電力領(lǐng)域使用較多的消息系統(tǒng)是Kafka。

Kafka可以充當(dāng)中間數(shù)據(jù)的存儲(chǔ)系統(tǒng)。在海量消息堆積的情況下，Kafka始終保持消息收、發(fā)的高吞吐能力，不影響隊(duì)列性能。使用Kafka可以高效可靠地實(shí)現(xiàn)斷點(diǎn)續(xù)傳[6]。

5 總結(jié)

計(jì)算機(jī)監(jiān)控系統(tǒng)、調(diào)速器、勵(lì)磁等系統(tǒng)的數(shù)據(jù)、機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)的穩(wěn)態(tài)數(shù)據(jù)、局部放電監(jiān)測(cè)數(shù)據(jù)、油色譜監(jiān)測(cè)數(shù)據(jù)等可按照介紹的通信方式采集數(shù)據(jù)，更新到實(shí)時(shí)數(shù)據(jù)庫，并由隔離通信服務(wù)經(jīng)隔離裝置傳輸至管理信息大區(qū)，平臺(tái)按照寫歷史庫策略轉(zhuǎn)存到歷史數(shù)據(jù)庫，并由發(fā)布實(shí)時(shí)數(shù)據(jù)的程序輪詢實(shí)時(shí)數(shù)據(jù)庫，采用“不變不送，定時(shí)全送”的策略將實(shí)時(shí)數(shù)據(jù)發(fā)布到Kafka。

機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)的暫態(tài)數(shù)據(jù)、局部放電監(jiān)測(cè)系統(tǒng)和油色譜監(jiān)測(cè)系統(tǒng)的圖譜文件和診斷報(bào)告等二進(jìn)制文件，通過隔離通信服務(wù)傳輸至管理信息大區(qū)，存儲(chǔ)到歷史數(shù)據(jù)庫，并發(fā)布到管理信息大區(qū)的Kafka。大數(shù)據(jù)平臺(tái)以訂閱方式獲取數(shù)據(jù)。

機(jī)組狀態(tài)監(jiān)測(cè)系統(tǒng)、油色譜監(jiān)測(cè)系統(tǒng)、局部放電監(jiān)測(cè)系統(tǒng)等亦可采用數(shù)據(jù)庫同步的方式實(shí)現(xiàn)數(shù)據(jù)采集和傳輸。