新能源發(fā)電企業(yè)大數(shù)據(jù)中心提高數(shù)據(jù)采集質(zhì)量的方法及其有效性分析

陳瑞

（大唐云南發(fā)電有限公司，云南 昆明 650000）

0 前言

中國承諾力爭用全球歷史上最短時間推進碳達峰至碳中和，重構(gòu)安全高效、清潔低碳的能源體系勢在必行。電力行業(yè)順應(yīng)政策要求，各大電力集團均在有序開展電力產(chǎn)業(yè)布局及發(fā)電結(jié)構(gòu)調(diào)整方面，提出新舉措并積極推進。其中，加大對風電、光伏產(chǎn)業(yè)的開發(fā)、投資及建設(shè)力度，是各發(fā)電企業(yè)的共識，也是目前各企業(yè)采取的基本措施。伴隨各地政府發(fā)改委及能源機構(gòu)的政策扶持及屬地電網(wǎng)的支持，新能源項目快速落地并建成投產(chǎn)發(fā)電。風電、光伏等新能源發(fā)電生產(chǎn)形式屬高度集成、高度自動化模式，較燃煤、燃氣等發(fā)電企業(yè)，體現(xiàn)出了更高的技術(shù)密集性。操作及維護人員減少與新能源電力生產(chǎn)過程需要更高技術(shù)水平及業(yè)務(wù)能力的人員支撐，形成了當前生產(chǎn)過程中的主要矛盾。傳統(tǒng)發(fā)電企業(yè)的的生產(chǎn)運營管理模式已不能滿足當前集約高效、安全節(jié)能的要求，各發(fā)電企業(yè)均加大了對生產(chǎn)數(shù)據(jù)價值、人員效率及技術(shù)能力、生產(chǎn)管理效益的挖掘，集中資金讓高技術(shù)能力的人集中干提高生產(chǎn)效率的事情，發(fā)電企業(yè)集團級新能源大數(shù)據(jù)中心孕育而生。

1 數(shù)據(jù)質(zhì)量存在的突出問題及原因分析

隨著新能源發(fā)電企業(yè)逐步推進“集中控制、無人值班、少人值守、區(qū)域運維”的生產(chǎn)管理模式，集團級大數(shù)據(jù)中心的數(shù)據(jù)價值挖掘能力也在逐漸顯現(xiàn)。大數(shù)據(jù)中心在生產(chǎn)指揮體系里發(fā)揮作用的同時，數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量問題也在日漸凸顯：電量考核指標失真、風機狀態(tài)不準、故障停機統(tǒng)計有誤、風速與功率數(shù)據(jù)不匹配等。造成大數(shù)據(jù)中心統(tǒng)計、分析出的數(shù)據(jù)結(jié)果不能正常指導發(fā)電企業(yè)對電力生產(chǎn)運營過程進行管控。直接反映出的問題是大數(shù)據(jù)中心的決策輔助數(shù)據(jù)失效，即數(shù)據(jù)有效性降低。下文將對電力生產(chǎn)數(shù)據(jù)從現(xiàn)場產(chǎn)生、采集、預處理、轉(zhuǎn)發(fā)、通信、篩選、匯總、歸類等過程分析造成數(shù)據(jù)有效性降低的原因。

衡量數(shù)據(jù)質(zhì)量好壞的直接判定標準是數(shù)據(jù)是否有效，通常從5 方面考慮，一是數(shù)據(jù)的完整性、二是數(shù)據(jù)的連續(xù)性、三是數(shù)據(jù)的一致性、四是數(shù)據(jù)的合理性、五是數(shù)據(jù)的及時性。以下從5個方面，16個影響數(shù)據(jù)有效性因素展開分析。

1）數(shù)據(jù)完整性是考核采集的數(shù)據(jù)是否可以按照時間線，以時間為橫軸在二維坐標系內(nèi)形成完整的曲線，即曲線不中斷。實際應(yīng)用中，通信數(shù)據(jù)中斷會造成電站SCADA 系統(tǒng)、集控中心主站系統(tǒng)、大數(shù)據(jù)中心系統(tǒng)采集數(shù)據(jù)為空值，直接導致數(shù)據(jù)完整性下降，這里歸結(jié)為4 點：一是站內(nèi)SCADA 系統(tǒng)宕機，導致數(shù)據(jù)采集、轉(zhuǎn)發(fā)、存儲服務(wù)失效，引起對外數(shù)據(jù)通信中斷。二是重大節(jié)日或活動保電，部分區(qū)域電站需要斷開公用通信通道專線，造成數(shù)據(jù)傳輸中斷。三是電站遠動機或網(wǎng)關(guān)通訊服務(wù)器故障，造成數(shù)據(jù)傳輸中斷。四是站內(nèi)風機主控系統(tǒng)通訊模塊異?；蛲ㄐ沤橘|(zhì)（網(wǎng)線、光纖）斷開造成數(shù)據(jù)中斷。五是廠內(nèi)控制系統(tǒng)監(jiān)控電源跳閘后，備用電源切換失效，引起監(jiān)控及通信設(shè)備失電造成數(shù)據(jù)中斷。

2）數(shù)據(jù)連續(xù)性是考核采集數(shù)據(jù)是否可以按照時間線，以時間為橫軸在二維坐標系內(nèi)形成光滑的曲線，即曲線不突變。實際應(yīng)用中，多種因素會破壞數(shù)據(jù)連續(xù)性，這里歸結(jié)為3 點：一是電廠內(nèi)的數(shù)據(jù)采集儀表或裝置損壞，造成數(shù)據(jù)突變至最大量程或最小量程的限值輸出。二是電廠內(nèi)的監(jiān)控下位系統(tǒng)更換數(shù)據(jù)采集I/O通道或改變數(shù)據(jù)通信網(wǎng)關(guān)服務(wù)器通信點表配置，造成上送數(shù)據(jù)點異位。三是廠內(nèi)控制系統(tǒng)監(jiān)控電源跳閘后，備用電源不能無擾切換，引起數(shù)據(jù)中斷后自恢復，造成數(shù)據(jù)跳變。

3）數(shù)據(jù)一致性是考核數(shù)據(jù)的量綱是否統(tǒng)一，數(shù)據(jù)的原始值和各級系統(tǒng)采集值在以時間為橫軸的二維坐標系內(nèi)應(yīng)形成兩條完全重合的曲線，不存在等比例放大或縮小的情況，不存在數(shù)值取反的情況。實際應(yīng)用中，一是由于現(xiàn)場控制級數(shù)據(jù)工程量程調(diào)整，未及時告知集控中心、新能源大數(shù)據(jù)中心同時變更，會導致數(shù)據(jù)放大或縮小，造成不一致。二是現(xiàn)場調(diào)整電能表（正接/反接）接線方式，未及時告知集控中心、大數(shù)據(jù)中心同時變更，造成數(shù)據(jù)負向累計。

4）數(shù)據(jù)合理性是考核數(shù)據(jù)是否超出初始設(shè)定閾值范圍。一是數(shù)據(jù)超過了行業(yè)標準或規(guī)范定義的限值。例如：按照GB/T15945《電能質(zhì)量電力系統(tǒng)頻率允許偏差》，頻率等級A 級≤±0.05 Hz，B 級≤±0.5 Hz，C 級≤±1 Hz，如果集控中心、大數(shù)據(jù)中心采集到的頻率值超出50±1 Hz 范圍，則判定該數(shù)值不合理，提示數(shù)據(jù)異常。二是數(shù)據(jù)超過了一個統(tǒng)計周期內(nèi)的最大或最小有效限值。例如：風電企業(yè)統(tǒng)計一個月內(nèi)某期風電場的平均風速，全月平均風速6.6 m/s，最大有效風速8.1 m/s，則其中單臺風機平均風速超出全場平均風速2 倍，則提示數(shù)據(jù)異常。三是數(shù)據(jù)超過了主設(shè)備銘牌標記的額定值。例如：查詢某風電場單臺風機（型號MY2.0-121）功率曲線，在額定風速達12 m/s 時，風機可達額定出力2000 kW，單臺風機未達額定風速且風機出力超額定值1.05 倍，則提示數(shù)據(jù)異常。

5）數(shù)據(jù)及時性是考核數(shù)據(jù)從生成到可以被系統(tǒng)調(diào)用或被運行人員監(jiān)視到的時間間隔，也定義為數(shù)據(jù)延遲。數(shù)據(jù)延遲與數(shù)據(jù)采集和傳輸節(jié)點上的設(shè)備處理數(shù)據(jù)性能、數(shù)據(jù)傳輸需要跳轉(zhuǎn)的路由及網(wǎng)關(guān)節(jié)點數(shù)量有關(guān)。實際應(yīng)用中，多方面因素會造成數(shù)據(jù)延遲過大，一是數(shù)據(jù)通信過程中需要跳轉(zhuǎn)的節(jié)點過多，造成數(shù)據(jù)延遲疊加放大。二是數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備硬件性能不高，但需實時轉(zhuǎn)發(fā)大量“四遙”測點，造成轉(zhuǎn)發(fā)數(shù)據(jù)堆積，不能及時傳輸，造成出現(xiàn)死值（長期直線）情況。三是通信通道帶寬過窄，引起數(shù)據(jù)積壓，造成采集數(shù)據(jù)端數(shù)據(jù)庫存儲測值長期不變。

2 提高數(shù)據(jù)采集質(zhì)量的方案

以下從5個方面，針對16個影響數(shù)據(jù)有效性的因素提出解決方案。

1）提高數(shù)據(jù)完整性方面

一是電站級、集控中心級、新能源大數(shù)據(jù)中心級均應(yīng)開發(fā)數(shù)據(jù)斷點續(xù)傳功能，在發(fā)生通信中斷后應(yīng)有后備數(shù)據(jù)補采措施。二是重大節(jié)日或活動保電期間，區(qū)域電站提前向集控中心、大數(shù)據(jù)中心提交斷開公用通信專線申請，保電結(jié)束時恢復通信專線后，應(yīng)立即聯(lián)系集控中心或大數(shù)據(jù)中心進行數(shù)據(jù)補采。三是電站應(yīng)確保遠動機或網(wǎng)關(guān)通訊服務(wù)器已進行冗余配置，并定期開展切換試驗驗證冗余功能正常。四是電站維護人員要對風機主控、偏航、變槳等系統(tǒng)通訊模塊和通信介質(zhì)定期開展巡檢，確保通信線路可靠。

2）提升數(shù)據(jù)連續(xù)性方面

一是加強電站內(nèi)的數(shù)據(jù)采集儀表或裝置維護，出現(xiàn)設(shè)備異常及時修復。二是電站內(nèi)的監(jiān)控下位系統(tǒng)及SCADA 系統(tǒng)更換數(shù)據(jù)采集I/O 通道或改變數(shù)據(jù)通信網(wǎng)關(guān)服務(wù)器通信點表配置前，應(yīng)提前向集控中心、大數(shù)據(jù)中心提交數(shù)據(jù)變更申請，確?，F(xiàn)場級、集控級、集團大數(shù)據(jù)中心級點表的點數(shù)、點位、點序一致，避免上送數(shù)據(jù)點缺位、異位。三是站內(nèi)要對控制系統(tǒng)關(guān)聯(lián)設(shè)備做冗余配置，并確保監(jiān)控系統(tǒng)電源切換不引起服務(wù)器、工作站、交換機等設(shè)備失壓重啟。

3）提高數(shù)據(jù)一致性方面

一是現(xiàn)場控制級由于更換測量表計，導致需要調(diào)整數(shù)據(jù)工程量程，應(yīng)在完成設(shè)備更換后及時告知集控中心、大數(shù)據(jù)中心同時變更，避免出現(xiàn)數(shù)據(jù)在上級系統(tǒng)出現(xiàn)等比例放大或縮小情況。二是現(xiàn)場調(diào)整電能表（正接/反接）接線方式，要及時告知集控中心、大數(shù)據(jù)中心同時變更，避免數(shù)據(jù)負向累計。

4）提升數(shù)據(jù)合理性方面

一是依照行業(yè)標準或規(guī)范定義的限值要求，組織電站運維人員全面梳理上送數(shù)據(jù)的工程量程，并同步在電站、集控、大數(shù)據(jù)中心的數(shù)據(jù)庫內(nèi)完成配置。二是完善數(shù)據(jù)越限失效判定程序，做好數(shù)據(jù)初步過濾及篩選工作，確保數(shù)據(jù)在采集、預處理、轉(zhuǎn)發(fā)過程中均為真實值。三是依照主設(shè)備技術(shù)文件梳理通信數(shù)據(jù)的量程并在各數(shù)據(jù)節(jié)點數(shù)據(jù)庫內(nèi)植入，確保各節(jié)點的量程均不大于主設(shè)備銘牌標記的額定值。

5）提高數(shù)據(jù)傳輸及時性方面

一是充分研究5G 通信技術(shù)并適時應(yīng)用，以減少數(shù)據(jù)跨省域經(jīng)過多路由節(jié)點跳轉(zhuǎn)傳輸。二是數(shù)據(jù)通信專線應(yīng)遵循專網(wǎng)專用原則，盡可能不與視頻會議、辦公內(nèi)網(wǎng)等業(yè)務(wù)系統(tǒng)混用，確實不具備租賃專網(wǎng)通道條件的公司，可采取在原通道上劃專用VLAN 的方式并確保VLAN 帶寬滿足數(shù)據(jù)通信要求。三是集控中心、大數(shù)據(jù)中心均要做好核心網(wǎng)絡(luò)通信數(shù)據(jù)點數(shù)量核算，并由系統(tǒng)架構(gòu)師評估匯聚路由器或核心網(wǎng)關(guān)機隨著通信數(shù)據(jù)量規(guī)模化增加后的性能是否能滿足要求，若硬件性能接近飽和則應(yīng)提前籌劃系統(tǒng)軟件、硬件的升級換代改造。

3 評估數(shù)據(jù)有效性的方法

通過對引起數(shù)據(jù)可靠性的因素分析，這里將數(shù)據(jù)完整性、連續(xù)性、一致性、合理性、及時性劣化后，導致生成的無效數(shù)據(jù)點歸集為：當數(shù)據(jù)應(yīng)用過程中出現(xiàn)空值、突變值、等比例放大/縮小值、數(shù)據(jù)取反值、越初始閾異常值、死值時的數(shù)據(jù)均為無效值，此時判定為無效的點則統(tǒng)計入無效點數(shù)。為量化評估采取措施后的數(shù)據(jù)質(zhì)量治理效果，這里引入相應(yīng)數(shù)學模型對數(shù)據(jù)有效性及其影響因子進行表征。

數(shù)據(jù)完整性計算：完整率=完整數(shù)據(jù)點數(shù)/理論數(shù)據(jù)點數(shù)×100%，其中完整數(shù)據(jù)點數(shù)=理論數(shù)據(jù)點數(shù)-空值點數(shù)；

數(shù)據(jù)連續(xù)性計算：連續(xù)率=連續(xù)數(shù)據(jù)點數(shù)/理論數(shù)據(jù)點數(shù)×100%，其中連續(xù)數(shù)據(jù)點數(shù)=理論數(shù)據(jù)點數(shù)-突變值點數(shù)；

數(shù)據(jù)一致性計算：一致率=數(shù)據(jù)一致點數(shù)/理論數(shù)據(jù)點數(shù)×100%，其中一致數(shù)據(jù)點數(shù)=理論數(shù)據(jù)點數(shù)-等比例放大（縮小）值點數(shù)-數(shù)據(jù)值取反的點數(shù)；

數(shù)據(jù)合理性計算：合理率=合理數(shù)據(jù)點數(shù)/理論數(shù)據(jù)點數(shù)×100%，其中合理數(shù)據(jù)點數(shù)=理論數(shù)據(jù)點數(shù)-越初始閾異常值點數(shù)；

數(shù)據(jù)及時性計算：及時率= 按時上傳數(shù)據(jù)的點數(shù)/理論數(shù)據(jù)點數(shù)×100%，其中按時上傳數(shù)據(jù)的點數(shù)=理論數(shù)據(jù)點數(shù)-死值點數(shù)。

以上表征數(shù)據(jù)及時率、合理率、一致率、連續(xù)率、完整率的變量，代入數(shù)據(jù)有效率計算式合并可得：

數(shù)據(jù)有效率：

式中：①數(shù)據(jù)有效率= 有效數(shù)據(jù)點數(shù)/ 理論數(shù)據(jù)點數(shù)×100%；②有效數(shù)據(jù)點數(shù)= 理論數(shù)據(jù)點數(shù)- 無效點數(shù)；③無效點數(shù)= 數(shù)據(jù)被統(tǒng)計為空值、突變值、等比例放大/ 縮小值、數(shù)據(jù)取反值、越初始閾異常值、死值點數(shù)的集合；④理論數(shù)據(jù)點數(shù)= 統(tǒng)計天數(shù)* 統(tǒng)計設(shè)備數(shù)* 標準點數(shù)。標準點數(shù)取決于數(shù)據(jù)采集周期，若周期為10 min 采集一個數(shù)據(jù)點，一天應(yīng)采集標準點數(shù)量=60/10*24=144個；若周期為一分鐘采集一個數(shù)據(jù)點，一天應(yīng)采集標準點數(shù)量=60/1*24=1440個；⑤數(shù)據(jù)有效率=（理論數(shù)據(jù)點數(shù)-空值點數(shù)-突變值點數(shù)-等比例放大/縮小值點數(shù)-數(shù)據(jù)取反值點數(shù)-越初始閾異常值點數(shù)-死值點數(shù)）/理論數(shù)據(jù)點數(shù)×100%。

4 實際應(yīng)用中的效果驗證

某新能源發(fā)電企業(yè)大數(shù)據(jù)中心將某座風電場33×1.5 MW（風機型號SPT15A-88/1.5）風機SCADA 系統(tǒng)數(shù)據(jù)接入大數(shù)據(jù)系統(tǒng)后，大數(shù)據(jù)系統(tǒng)對某天該期風電場做基礎(chǔ)數(shù)據(jù)統(tǒng)計分析時，顯示該場33 臺風機的有功功率及風速數(shù)據(jù)采集均不同程度異常，調(diào)取其中一臺風機采集到的功率數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)采集點數(shù)不達理論點數(shù)問題，且多數(shù)有功功率值為“空”（如表1所示），做功率曲線一致性校核得出該風電場風機存在理論功率曲線與實際功率不符（如圖1所示）。

表1 風機有功功率及風速數(shù)據(jù)采集異常

圖1 理論功率曲線與實際功率不符

通過大數(shù)據(jù)系統(tǒng)采集到的數(shù)據(jù)（表1）分析，我們可以直觀地發(fā)現(xiàn)，采樣有效數(shù)據(jù)點數(shù)較少，在風速區(qū)間為2.5～3.5 區(qū)間，采集到功率數(shù)據(jù)283 點，在風速區(qū)間9.5～10 區(qū)間，采集到功率數(shù)據(jù)3 點。24 h 內(nèi)合計采集到的數(shù)據(jù)（風速、風機有功功率）未達到理論點數(shù)。結(jié)合本文提到的16個影響數(shù)據(jù)有效性的因素考慮，繼續(xù)采取通信通道帶寬測試、數(shù)據(jù)抓包、IEC104 通信點表配置核對等方式究其數(shù)據(jù)缺失原因，最終發(fā)現(xiàn)是由于風電場內(nèi)用于外部數(shù)據(jù)傳送的通信網(wǎng)關(guān)服務(wù)器進程掉線，且網(wǎng)關(guān)服務(wù)器冗余切換異常所致。

對該企業(yè)大數(shù)據(jù)中心一天內(nèi)采集該期風電場風機有功功率、風速等數(shù)據(jù)（采樣周期為1 min）計算分析，該期風電場單臺風機24 h 應(yīng)采集理論風機有功功率數(shù)據(jù)點數(shù)量=60*24=1440個，應(yīng)采集理論風速數(shù)據(jù)點數(shù)量=60*24=1440個。

依據(jù)：

可以計算出當天風速和風機有功功率的數(shù)據(jù)有效率為：η=286/1440*100%=19.9%

數(shù)據(jù)有效率過低是導致理論功率曲線與實際功率不符的直接原因，上文我們分析得出：

依據(jù)此公式，繼續(xù)從“無效數(shù)據(jù)值”方面進行突破。通過數(shù)據(jù)庫篩選工具提取到當天采集風速數(shù)據(jù)空值均為1106個點、死值19個點、越初始閾異常值（風速值為負值）32 點，沒有突變值、等比例放大/縮小值、數(shù)據(jù)取反值的數(shù)據(jù)點。采集風機有功功率數(shù)據(jù)空值均為1138個點、死值19個點，沒有突變值、等比例放大/縮小值、越初始閾異常值、數(shù)據(jù)取反值的數(shù)據(jù)點。

對采集到的風速數(shù)據(jù)越初始閾產(chǎn)生異常值，我們通過修正風速量程：0～25 m/s，避免風速出現(xiàn)負值；對通信網(wǎng)關(guān)服務(wù)器進程掉線，網(wǎng)關(guān)服務(wù)器冗余切換異常進行了程序升級并開展了切換試驗，確保設(shè)備工作穩(wěn)定；對通信中斷期間造成的大數(shù)據(jù)系統(tǒng)記錄的空值、開發(fā)斷點續(xù)傳功能進行數(shù)據(jù)補采。采取措施后使當天具有較為完整的數(shù)據(jù)（如表2所示）。對功率曲線一致性校核得出該風電場風機理論功率曲線基本與實際功率相符（如圖2所示）

表2 采取措施后獲得較為完整的數(shù)據(jù)

圖2 理論功率曲線與實際功率基本相符

采取措施后的數(shù)據(jù)有效率：

計算出當天風速和風機有功功率的數(shù)據(jù)有效率為：

采樣本文提出的方案將采集數(shù)據(jù)有效率提高以后，校核功率曲線一致性可得出該風電場風機理論功率曲線基本與實際功率相符。

通過在實際應(yīng)用中的案例分析，可以驗證出，采取本文提到的措施后可快速查找并有效減少無效數(shù)據(jù)點數(shù)量，確保電力生產(chǎn)過程數(shù)據(jù)到達大數(shù)據(jù)中心后仍具備高有效性，本文提出的分析算法和方法可應(yīng)用在大數(shù)據(jù)分析系統(tǒng)，以輔助生產(chǎn)管理人員及時發(fā)現(xiàn)并鎖定導致系統(tǒng)數(shù)據(jù)失效的因素，以便及時采取措施進行處置，避免因數(shù)據(jù)質(zhì)量問題引起大數(shù)據(jù)中心系統(tǒng)不可靠。

5 結(jié)束語

在碳達峰、碳中和的政策引領(lǐng)下，未來必然會出現(xiàn)以新能源為主體的新型電力系統(tǒng)，生產(chǎn)過程數(shù)字化、集中化、智能化管理是滿足規(guī)模性能源發(fā)展的必由之路，海量電力生產(chǎn)數(shù)據(jù)是推動電力企業(yè)發(fā)現(xiàn)新產(chǎn)品、新服務(wù)、新價值的新引擎。其中穩(wěn)定、可靠、有效的數(shù)據(jù)是基礎(chǔ)，更是關(guān)鍵。本文提出的數(shù)據(jù)可靠性提升方案可有效提高數(shù)據(jù)質(zhì)量，提出的數(shù)據(jù)有效性分析算法應(yīng)用于新能源大數(shù)據(jù)分析系統(tǒng)，將有效地輔助電力企業(yè)各級生產(chǎn)管理人員及時發(fā)現(xiàn)并鎖定導致系統(tǒng)數(shù)據(jù)不可靠、失效的因素，以便快速、準確采取措施進行處置，保證集控中心或大數(shù)據(jù)中心系統(tǒng)數(shù)據(jù)能準確反映現(xiàn)場生產(chǎn)設(shè)備的實際運行狀況。同時，高質(zhì)量的生產(chǎn)數(shù)據(jù)也將成為電力企業(yè)指標考核體系順暢運轉(zhuǎn)的基石。