基于海量平臺的水電生產(chǎn)實時信息系統(tǒng)數(shù)據(jù)穩(wěn)定性及準(zhǔn)確性問題的分析與解決

劉 浩，周文宇，張亞武，李建光，呂志娟，朱海鋒，郭 帥

（1.北京許繼電氣有限公司，北京市 100085；2.國網(wǎng)新源控股有限公司，北京市 100053；3.華東桐柏抽水蓄能有限公司，杭州市 317200)

基于海量平臺的水電生產(chǎn)實時信息系統(tǒng)數(shù)據(jù)穩(wěn)定性及準(zhǔn)確性問題的分析與解決

劉 浩1，周文宇1，張亞武2，李建光2，呂志娟2，朱海鋒3，郭 帥1

（1.北京許繼電氣有限公司，北京市 100085；2.國網(wǎng)新源控股有限公司，北京市 100053；3.華東桐柏抽水蓄能有限公司，杭州市 317200)

本文對影響水電生產(chǎn)實時系統(tǒng)數(shù)據(jù)穩(wěn)定性及準(zhǔn)確性的原因進(jìn)行分析。重點針對影響數(shù)據(jù)穩(wěn)定性的數(shù)據(jù)通道中斷問題，提出一種數(shù)據(jù)傳輸通道狀態(tài)自診斷及恢復(fù)的解決方法；并為解決數(shù)據(jù)準(zhǔn)確性問題提出一些改善建議。

生產(chǎn)實時系統(tǒng)；數(shù)據(jù)穩(wěn)定性；數(shù)據(jù)準(zhǔn)確性；自診斷；解決

0 引言

隨著信息化水平的不斷發(fā)展，電力行業(yè)已經(jīng)建立了很多計算機信息系統(tǒng)，積累了大量的數(shù)據(jù)。其中，依托大數(shù)據(jù)海量平臺技術(shù)，水電生產(chǎn)實時信息系統(tǒng)為國網(wǎng)新源控股有限公司（簡稱新源公司）提供電廠生產(chǎn)過程綜合優(yōu)化的實時管理和監(jiān)視服務(wù)，主要處理實時/歷史的生產(chǎn)過程數(shù)據(jù)，生產(chǎn)過程數(shù)據(jù)多數(shù)屬于時間序列，具有很強的時效性，且數(shù)據(jù)采集范圍覆蓋全電廠，因此數(shù)據(jù)量非常龐大[1]。這些數(shù)據(jù)經(jīng)過遠(yuǎn)程傳輸，從電廠上送至新源公司海量平臺并存儲下來，通過數(shù)據(jù)挖掘與分析實現(xiàn)高級應(yīng)用。隨著新源公司水電生產(chǎn)實時信息系統(tǒng)接入電站不斷增多，數(shù)據(jù)穩(wěn)定性、準(zhǔn)確性等方面的問題逐漸凸顯，人工維護(hù)、處理等非自動化運維方式已經(jīng)滿足不了水電生產(chǎn)實時系統(tǒng)對數(shù)據(jù)質(zhì)量的要求。

本文將全面分析影響水電生產(chǎn)實時信息系統(tǒng)數(shù)據(jù)準(zhǔn)確性及穩(wěn)定性的原因，針對性提出改善或解決這些問題方法。著重介紹數(shù)據(jù)傳輸通道狀態(tài)自診斷及恢復(fù)功能的實現(xiàn)方法，用以增加數(shù)據(jù)穩(wěn)定性，并為提升數(shù)據(jù)準(zhǔn)確性提出一些改善建議。

1 生產(chǎn)實時系統(tǒng)數(shù)據(jù)穩(wěn)定性及準(zhǔn)確性問題原因分析

1.1 影響數(shù)據(jù)穩(wěn)定性的原因

1.1.1 數(shù)據(jù)傳輸通道穩(wěn)定性不高

新源公司下屬常規(guī)電站及抽水蓄能電站眾多，基于海量平臺的水電生產(chǎn)實時系統(tǒng)，接入了各電站的生產(chǎn)過程數(shù)據(jù)，因此數(shù)據(jù)傳輸通道多，且每個通道數(shù)據(jù)傳輸要經(jīng)過多個環(huán)節(jié)，如從數(shù)據(jù)源頭至總部上層數(shù)據(jù)管控平臺，一般要經(jīng)過電站生產(chǎn)大區(qū)、管理大區(qū)才能到達(dá)總部海量平臺；又因涉及眾多廠家的信息系統(tǒng)，數(shù)據(jù)接口不統(tǒng)一，造成數(shù)據(jù)鏈路復(fù)雜、數(shù)據(jù)穩(wěn)定性及可靠性不高。因此，數(shù)據(jù)中斷問題時有發(fā)生。

1.1.2 數(shù)據(jù)傳輸通道中斷不能及時恢復(fù)

因新源公司海量平臺匯集了眾多電站的生產(chǎn)實時數(shù)據(jù)，數(shù)據(jù)運維工作繁重，人工日常運維模式無法在第一時間得知某電廠數(shù)據(jù)中斷的情況并做出恢復(fù)響應(yīng)，產(chǎn)生數(shù)據(jù)中斷延時；數(shù)據(jù)通道中斷可能發(fā)生在電廠側(cè)，也有可能發(fā)生在公司側(cè)，因此需要人工判斷數(shù)據(jù)中斷環(huán)節(jié)，再協(xié)調(diào)電廠及公司海量平臺運維人員進(jìn)行故障處理，導(dǎo)致數(shù)據(jù)延時加長。

因此數(shù)據(jù)傳輸通道穩(wěn)定性差及故障后處理恢復(fù)時間長，是造成水電生產(chǎn)實時信息系統(tǒng)數(shù)據(jù)穩(wěn)定性不高的問題。

1.2 影響數(shù)據(jù)準(zhǔn)確性的原因

1.2.1 數(shù)據(jù)冗余及不一致

水電站生產(chǎn)數(shù)據(jù)中有很多重要數(shù)據(jù)，如機組的電氣參數(shù)、瓦溫等，保護(hù)系統(tǒng)和監(jiān)控系統(tǒng)都需要，這就造成同一個數(shù)據(jù)因為不同的用途而都存儲下來[2]。繼而這些數(shù)據(jù)向上發(fā)送至公司海量平臺，這些數(shù)據(jù)重復(fù)出現(xiàn)，造成數(shù)據(jù)冗余。如果這些意義相同而來源或通道不同的數(shù)據(jù)，其中某一來源或通道故障，又會造成這些數(shù)據(jù)相互不一致。這兩個問題給數(shù)據(jù)甄別和數(shù)據(jù)應(yīng)用造成很大困擾，影響數(shù)據(jù)高級分析及應(yīng)用的效果。還有一種導(dǎo)致數(shù)據(jù)冗余的原因，基于海量平臺的生產(chǎn)實時信息系統(tǒng)接入一些應(yīng)用上不需要的數(shù)據(jù)，占用存儲空間。

1.2.2 源頭數(shù)據(jù)錯誤

少量數(shù)據(jù)在數(shù)據(jù)源頭時，就存在數(shù)據(jù)質(zhì)量問題，譬如數(shù)據(jù)采集傳感器異常產(chǎn)生的錯誤數(shù)據(jù)、傳感器至現(xiàn)地裝置傳輸通道受干擾或中斷而導(dǎo)致的異常數(shù)據(jù)等，這些數(shù)據(jù)的錯誤是不可修復(fù)的，導(dǎo)致這些數(shù)據(jù)的應(yīng)用失去意義。

以上這些是造成水電生產(chǎn)實時信息系統(tǒng)數(shù)據(jù)準(zhǔn)確性問題的主要原因。

2 生產(chǎn)實時系統(tǒng)數(shù)據(jù)穩(wěn)定性及準(zhǔn)確性問題的解決

2.1 數(shù)據(jù)傳輸通道自診斷及處理

上文中已經(jīng)闡述了數(shù)據(jù)傳輸通道不穩(wěn)定造成的種種問題。數(shù)據(jù)通道狀態(tài)自診斷及恢復(fù)功能能夠快速有效的恢復(fù)數(shù)據(jù)，將數(shù)據(jù)中斷對生產(chǎn)實時系統(tǒng)的影響減到最小，提高數(shù)據(jù)的穩(wěn)定性。以下提出一種數(shù)據(jù)通道自診斷及處理功能框架及實現(xiàn)方法。

2.1.1 數(shù)據(jù)傳輸通道狀態(tài)自診斷

基于海量平臺的生產(chǎn)實時系統(tǒng)，數(shù)據(jù)傳輸?shù)倪^程為：生產(chǎn)實時數(shù)據(jù)源自各電站生產(chǎn)大區(qū)的監(jiān)控系統(tǒng)或其他信息系統(tǒng)，由電站生產(chǎn)大區(qū)（二區(qū)）傳至電站信息管理大區(qū)（三區(qū)），再轉(zhuǎn)發(fā)至水電公司總部級數(shù)據(jù)海量平臺，供總部生產(chǎn)實時系統(tǒng)使用，每個接入電站都有這樣一條數(shù)據(jù)傳輸通道；其中的每一個環(huán)節(jié)都經(jīng)過傳輸網(wǎng)絡(luò)、數(shù)據(jù)接口程序；這構(gòu)成了總部海量平臺的一條數(shù)據(jù)接入通道。當(dāng)然，隨著總部生產(chǎn)實時系統(tǒng)接入的廠站增多，這樣的通道也逐漸增多。

各電站數(shù)據(jù)是否能由二區(qū)正常地傳輸?shù)胶Ａ科脚_，決定了公司級生產(chǎn)實時信息系統(tǒng)能否正常使用。就新源公司的生產(chǎn)實時系統(tǒng)海量平臺來說，數(shù)據(jù)通道狀態(tài)的自診斷應(yīng)采取的思路是：自動分級診斷故障問題，先判斷出哪些通道數(shù)據(jù)沒有持續(xù)刷新，定位出故障通道后，再診斷該通道的哪一個環(huán)節(jié)出現(xiàn)問題。

（1）判斷故障通道。

在公司總部海量平臺中建立數(shù)據(jù)是否持續(xù)刷新的判斷功能：設(shè)置固定頻率的判斷數(shù)據(jù)是否已經(jīng)刷新（如每5分鐘1次），抽取此時刻各通道的斷面差值數(shù)據(jù)，與之前一個時刻的差值數(shù)據(jù)進(jìn)行比對，如源于該通道的所有測點數(shù)據(jù)中存在部分測點的數(shù)據(jù)不一致，則表示在最近的5分鐘內(nèi)，這些測點存儲了新的數(shù)據(jù)，表明該數(shù)據(jù)所在通道的狀態(tài)是正常的；相反，如此時刻的數(shù)據(jù)與之前一時刻的數(shù)據(jù)完全一致，則表示這個數(shù)據(jù)的傳輸通道中斷。這時應(yīng)該具體判斷這個通道中哪個環(huán)節(jié)出現(xiàn)問題。

（2）判斷故障節(jié)點。

確定了故障的通道，就需要精確判斷該通道中的故障節(jié)點及具體故障原因。通道中的環(huán)節(jié)有三個：數(shù)據(jù)源中斷、二區(qū)至三區(qū)通道異常、三區(qū)至公司海量平臺通道異常。采用由海量平臺向電站自上而下逐級診斷的方法來定位故障位置。

公司海量平臺布署數(shù)據(jù)接口程序，在該程序中設(shè)置一個狀態(tài)點A來表征通道故障電站三區(qū)至海量平臺的通道狀態(tài)，海量平臺接口程序定期（如5分鐘1次）向該電站三區(qū)發(fā)送詢問測試幀，如得到三區(qū)返回的應(yīng)答，則表示三區(qū)至海量平臺通道正常且三區(qū)數(shù)據(jù)接口程序運行正常，狀態(tài)點A的值寫入1，反之為0。然后同理，三區(qū)再采取這樣的方式測試二區(qū)至三區(qū)的通道狀態(tài)及二區(qū)數(shù)據(jù)接口程序運行情況，形成狀態(tài)點B。如最終判斷出整個通道通信正常，則應(yīng)是源頭數(shù)據(jù)中斷。在二區(qū)接口程序也可采用同樣原理向數(shù)據(jù)源方向進(jìn)行診斷，得出數(shù)據(jù)源頭信息系統(tǒng)至二區(qū)接口服務(wù)器的通道狀態(tài)，形成狀態(tài)點C，如源頭數(shù)據(jù)系統(tǒng)不具備通道測試條件，可由二區(qū)接口程序判斷數(shù)據(jù)是否持續(xù)刷新，得知數(shù)據(jù)源是否中斷，形成狀態(tài)點D。狀態(tài)點A、B、C、D均逐級向上傳輸至海量平臺，在海量平臺匯總，得出整條數(shù)據(jù)通道狀態(tài)的情況。

若中間傳輸?shù)哪硞€環(huán)節(jié)就已被診斷出異常，則需要分析是下級節(jié)點接口程序運行異常，還是至下級節(jié)點之間網(wǎng)絡(luò)中斷。判斷是否是網(wǎng)絡(luò)中斷，可在本節(jié)點接口程序中設(shè)置自動網(wǎng)絡(luò)探索功能：自動因特網(wǎng)包探索器，簡稱PING（Packet Internet Groper）下級節(jié)點服務(wù)器的IP地址，獲得網(wǎng)絡(luò)是否中斷的信息[3]。當(dāng)然，電力行業(yè)中，很多生產(chǎn)、管理信息的服務(wù)器是禁止使用PING命令的，這時就需要人工分析和排查網(wǎng)絡(luò)是否中斷。這種數(shù)據(jù)通道狀態(tài)自診斷方法在項目應(yīng)用中證實可行有效。

2.1.2 故障處理措施

經(jīng)過上述的故障自診斷過程，基本可以判斷出故障通道中具體的故障環(huán)節(jié)，不論是否可以自動判斷出該環(huán)節(jié)的網(wǎng)絡(luò)狀況，都可以設(shè)置一個簡單的故障自處理功能：將故障環(huán)節(jié)中涉及的數(shù)據(jù)接口程序進(jìn)行自動重啟，若重啟后解決了該通道數(shù)據(jù)中斷的問題，則不需再進(jìn)行人工排查及恢復(fù)；若未解決問題，則故障極大可能是網(wǎng)絡(luò)中斷所致，為人工維護(hù)提供明確指向。

數(shù)據(jù)傳輸通道健康情況自診斷及自恢復(fù)的根本目的是盡快恢復(fù)數(shù)據(jù)傳輸，那么在診斷出通道存在故障后，應(yīng)立即通知系統(tǒng)維護(hù)人員（如發(fā)送短信）等，以便維護(hù)人員確認(rèn)自診斷及處理的結(jié)果，或在診斷結(jié)果基礎(chǔ)上快速恢復(fù)故障。

2.1.3 數(shù)據(jù)傳輸通道狀態(tài)報告

在生產(chǎn)實時系統(tǒng)中，根據(jù)數(shù)據(jù)傳輸通道狀態(tài)自診斷的信息，定期形成“數(shù)據(jù)傳輸通道狀態(tài)診斷報告”以及“數(shù)據(jù)傳輸通道狀態(tài)診斷及處理記錄”，便于當(dāng)前通道故障狀態(tài)分析及常見故障原因匯總，為后續(xù)維護(hù)工作提供指導(dǎo)。

數(shù)據(jù)傳輸通道狀態(tài)自診斷和恢復(fù)功能框架及流程如圖1所示。

2.2 建立標(biāo)準(zhǔn)化數(shù)據(jù)模型

在系統(tǒng)使用階段中甄別冗余數(shù)據(jù)及不一致數(shù)據(jù)是不容易的，而在數(shù)據(jù)接入及數(shù)據(jù)管理方面入手解決則是一個行之有效的方法[4]。這就要求在項目調(diào)研及需求設(shè)計階段，認(rèn)真甄別數(shù)據(jù)的有用性和有效性，形成嚴(yán)謹(jǐn)且規(guī)范的標(biāo)準(zhǔn)化數(shù)據(jù)模型和數(shù)據(jù)管理方案，對各接入電站接入的測點有統(tǒng)一、全面的要求，每個測點只接入一個正確有效的數(shù)據(jù)，從數(shù)據(jù)接入上避免數(shù)據(jù)冗余和數(shù)據(jù)不一致問題，保障數(shù)據(jù)的準(zhǔn)確性。

2.3 應(yīng)用數(shù)據(jù)邏輯判斷進(jìn)行數(shù)據(jù)校驗

應(yīng)用水電生產(chǎn)實時數(shù)據(jù)之間的邏輯關(guān)系，針對重要數(shù)據(jù)制定具體的數(shù)據(jù)判斷規(guī)則，如機組工況狀態(tài)與有功功率、機組轉(zhuǎn)速、導(dǎo)葉開度、機組出口電壓電流等都有必然的關(guān)系。通過這些數(shù)據(jù)之間的關(guān)系，在系統(tǒng)中設(shè)置邏輯判斷功能，判斷數(shù)據(jù)是否異常，并在功能頁面上顯示，能夠讓用戶和數(shù)據(jù)管理員及時發(fā)現(xiàn)這些重要數(shù)據(jù)問題并進(jìn)行處理，在數(shù)據(jù)應(yīng)用過程中，完善數(shù)據(jù)的準(zhǔn)確性。

本文還引入一種提高數(shù)據(jù)質(zhì)量的思路：數(shù)據(jù)質(zhì)量定量化評估，其是指從關(guān)系數(shù)據(jù)庫中自動發(fā)現(xiàn)數(shù)據(jù)質(zhì)量規(guī)則，并以其為依據(jù)檢測錯誤數(shù)據(jù)，研究質(zhì)量規(guī)則表示形式及其評估度量，提出以數(shù)據(jù)項分組及其可信度為依據(jù)的最小質(zhì)量規(guī)則計算準(zhǔn)則、挖掘算法以及采用質(zhì)量規(guī)則檢測錯誤數(shù)據(jù)的思路。

這項技術(shù)在數(shù)據(jù)信息系統(tǒng)中還未廣泛應(yīng)用，但已經(jīng)有研究提出了一種數(shù)據(jù)質(zhì)量評估的方法，并在實驗中證明有效[5]。如這項技術(shù)能夠在生產(chǎn)實時信息系統(tǒng)中使用，自動檢測出錯誤數(shù)據(jù)，則會是一個數(shù)據(jù)質(zhì)量診斷的突破，是甄別錯誤數(shù)據(jù)的有效途徑。

3 結(jié)束語

基于海量平臺的生產(chǎn)實時信息系統(tǒng)，應(yīng)用了數(shù)據(jù)通道自診斷及處理技術(shù)，使中斷數(shù)據(jù)能夠及時恢復(fù)，增強了數(shù)據(jù)穩(wěn)定性，提高了數(shù)據(jù)通道維護(hù)效率，降低了系統(tǒng)管理員及電站專職維護(hù)人員的運維工作量。通過制定標(biāo)準(zhǔn)的數(shù)據(jù)接入要求及規(guī)范的數(shù)據(jù)管理模型，使新接入電廠的數(shù)據(jù)準(zhǔn)確性大幅提升，同時有效避免了數(shù)據(jù)冗余，下步仍需要對已接入電廠的數(shù)據(jù)測點按照標(biāo)準(zhǔn)化數(shù)據(jù)模型進(jìn)行梳理和整改，實現(xiàn)所有接入數(shù)據(jù)的規(guī)范化；應(yīng)用數(shù)據(jù)邏輯判斷功能，更容易發(fā)現(xiàn)重要數(shù)據(jù)錯誤的問題，及時進(jìn)行校驗處理；數(shù)據(jù)接入規(guī)范化及數(shù)據(jù)校驗的應(yīng)用大大提高了系統(tǒng)數(shù)據(jù)的準(zhǔn)確性。還應(yīng)繼續(xù)深化研究數(shù)據(jù)質(zhì)量判斷及處理方面的新技術(shù)，使系統(tǒng)數(shù)據(jù)質(zhì)量不斷提升。

[1]喻宜，呂志來，齊國?。植际胶Ａ繒r序數(shù)據(jù)管理平臺研究[J]．電力系統(tǒng)保護(hù)與控制，2016，44（17）：165-170．YU Yi，LV Zhilai，QI Guoyin．Research on distributed largescale time seriesdata management platform[J]．Power System Protection and Control．2016，44（17）：165-170．

[2]余海明，華中平．水電站計算機監(jiān)控系統(tǒng)數(shù)據(jù)采集與處理[J]．科技信息，2010（15）：68-68．YU Haiming，HUA Zhongping．Data acquisition and processing of computer monitoring system for Hydropower Station[J]．Science & Technology Information，2010（15）：68-68．

[3]王信?。{(diào)度數(shù)據(jù)網(wǎng)通道故障的診斷及處理技術(shù)[J]．現(xiàn)代電子技術(shù)，2016，39（8），168-170．WANG Xinjun．Diagnosis and processing technology of dispatching data network channel fault[J]．Modern Electronics Technique，2016，39（8），168-170．

[4]劉浩，蘇鋼，常玉紅，等．基于海量平臺的水電生產(chǎn)實時系統(tǒng)建模辦法[J]．科技與創(chuàng)新，2016（23）：15-17．LIU Hao，SU Gang，CHANG Yuhong，et al．Modeling method of hydropower production real time information system based on massive platform[J]．Science and Technology & Innovation，2016（23）：15-17．

[5]劉波，耿寅融．?dāng)?shù)據(jù)質(zhì)量檢測規(guī)則挖掘方法[J]．模式識別與人工智能，2012，26（5）：835-844．LIU Bo，GENG Yinrong．Mining Method for Data Quality Detection Rules[J]．Pattern Recognition and Artificia Intelligence，2012，26（5）：835-844．

2016-10-12

2016-11-29

劉 浩（1977—），男，本科，電力系統(tǒng)自動化，主要研究方向：電力信息化。E-mail ： liuhao_sgxj@163．com

周文宇（1989—），女，本科，電力系統(tǒng)自動化，主要研究方向：電力信息化。E-mail ： zwy890501@163．com

張亞武（1973—），男，本科，高級工程師，主要研究方向：水電設(shè)備技術(shù)管理。E-mail： yawu-zhang@sgxy．sgcc．com．cn

李建光（1978—），男，本科，高級工程師，主要研究方向：水電設(shè)備技術(shù)管理。E-mail： jianguang-li@sgxy．sgcc．com．cn

呂志娟（1980—），女，碩士，工程師，主要研究方向：水電設(shè)備自動控制技術(shù)。E-mail： zhijuan-lv@sgxy．sgcc．com．cn

朱海鋒（1980—），男，本科，工程師，主要研究方向：抽水蓄能電站信息化應(yīng)用、通信系統(tǒng)、電力監(jiān)控系統(tǒng)。E-mail ：hf-zhu@sgxy．sgcc．com．cn

郭 帥（1977—），男，本科，電力系統(tǒng)自動化，主要研究方向：電力信息化。 E-mail ：15901219913@139．com

Analysis and Solution of the Data Stability Andaccuracy in Hydropower Production Real Time Information System Based on Massive Platform

LIU Hao1，ZHOU Wenyu1，ZHANG Yawu2，LI Jianguang2，LV Zhijuan2，ZHU Haifeng3，GUO Shuai1
（1.XJ Electric Co.， Ltd.，Beijing 100085，China； 2.State Grid Xin Yuan Hydopower limited company，Beijing 100761，China；3.East China TongBai Pumped Storage Power Station，TongBai 317200，China）

This paper analyses the reasons of affecting the data stability andaccuracy in hydropower production real time system. Focusing on data transmission channel interruption problems， which influence the stability of the data in this paper，we put forward a method of data transmission channel self diagnosis and recovery； and give some improvement suggestions to solve the problem of data accuracy.

production real time system ；data stability ；data accuracy ；diagnosis ；solution

TV736

A學(xué)科代碼：510．80

10．3969/j．issn．2096-093X．2017．05．013