供水調(diào)度實(shí)時監(jiān)測數(shù)據(jù)的預(yù)處理

【摘要】目前供水調(diào)度實(shí)時監(jiān)測系統(tǒng)在城市供水生產(chǎn)調(diào)度中得到了廣泛及深入的應(yīng)用，對城市供水安全起到了至關(guān)重要的作用。實(shí)時監(jiān)測數(shù)據(jù)是供水調(diào)度工作運(yùn)行的依據(jù)，因此實(shí)時監(jiān)測數(shù)據(jù)的準(zhǔn)確性就決定了供水調(diào)度工作的成敗，也決定了城市供水的安全。本文針對以上問題提出對供水調(diào)度實(shí)時監(jiān)測出現(xiàn)的異常數(shù)據(jù)進(jìn)行判讀、剔除及修正等一系列預(yù)處理，有效保證了實(shí)時監(jiān)測數(shù)據(jù)的準(zhǔn)確性，為供水調(diào)度工作提供了可靠的信息來源。

【關(guān)鍵字】供水調(diào)度；實(shí)時監(jiān)測數(shù)據(jù)；預(yù)處理

前言

近年來隨著供水調(diào)度實(shí)時信息系統(tǒng)的廣泛應(yīng)用，使供水生產(chǎn)調(diào)度管理實(shí)現(xiàn)了供水系統(tǒng)從原水、水廠、管網(wǎng)、用戶全過程的覆蓋，提高了供水生產(chǎn)調(diào)度管理水平。但是調(diào)度數(shù)據(jù)實(shí)時在線監(jiān)測是在復(fù)雜的現(xiàn)場條件下進(jìn)行的，信號傳感器易受到現(xiàn)場溫度、濕度、周圍無線頻率干擾的影響，同時測量信號在傳輸過程中不可避免會存在同步變差、傳輸錯誤和信道噪聲等問題，造成監(jiān)測數(shù)據(jù)失真。

調(diào)度數(shù)據(jù)實(shí)時信號的失真以及誤差，對在線監(jiān)測數(shù)據(jù)的準(zhǔn)確性有一定影響，會對供水調(diào)度工作造成影響，供水調(diào)度水力模型的在線運(yùn)算，調(diào)度預(yù)警等系統(tǒng)都必須依賴實(shí)時系統(tǒng)數(shù)據(jù)的準(zhǔn)確，一旦實(shí)時數(shù)據(jù)發(fā)生誤差或失真，將直接影響上述系統(tǒng)運(yùn)算的準(zhǔn)確性和可靠性，最終導(dǎo)致對供水調(diào)度工況的誤判。

1、調(diào)度實(shí)時監(jiān)測數(shù)據(jù)預(yù)處理的意義

無論多么高精度的儀器，測量誤差（即噪聲）總是不可避免的。這種誤差包括各種客觀條件的影響，如測量過程，測量條件和測量儀器。由于在線監(jiān)測數(shù)據(jù)的變化性。即可從觀測數(shù)據(jù)之間變化量判斷變形造成的原因。但對于變化量很小的數(shù)據(jù)，很難辨別兩次監(jiān)測獲得的變化量究竟是變形造成的，還是受客觀條件影響造成的，以致不能發(fā)現(xiàn)變形信息或出現(xiàn)假的信息，從而造成漏報或虛報。因此，在變形分析和預(yù)報之前進(jìn)行觀測數(shù)據(jù)的預(yù)處理工作，來識別干擾、排除干擾和突出信息。通過調(diào)度實(shí)時監(jiān)測數(shù)據(jù)預(yù)處理系統(tǒng)建立，實(shí)現(xiàn)了在線監(jiān)測數(shù)據(jù)的分析預(yù)處理，保證分析診斷的準(zhǔn)確性。本系統(tǒng)從初始數(shù)據(jù)源出發(fā)，結(jié)合數(shù)據(jù)預(yù)處理的常規(guī)流程方法，并把數(shù)據(jù)融合的方法引入到數(shù)據(jù)預(yù)處理的過程中，提出了數(shù)據(jù)的循環(huán)預(yù)處理模式。通過該模式可對數(shù)據(jù)質(zhì)量的提高提供更好的分析方法，對預(yù)測結(jié)果的質(zhì)量起到了重要保證。

2、調(diào)度實(shí)時監(jiān)測數(shù)據(jù)預(yù)處理

2.1 相關(guān)調(diào)度數(shù)據(jù)篩選

本系統(tǒng)涉及的數(shù)據(jù)為供水調(diào)度的監(jiān)測數(shù)據(jù)，主要包括以下數(shù)據(jù)：

水廠監(jiān)測數(shù)據(jù)：水廠的壓力、水質(zhì)、流量等信息；

泵站監(jiān)測數(shù)據(jù)：上海市泵站的壓力、開停信息；

管網(wǎng)監(jiān)測點(diǎn)數(shù)據(jù)：主要監(jiān)測點(diǎn)，數(shù)據(jù)類型為壓力、水質(zhì)、流量。

2.2 關(guān)聯(lián)數(shù)據(jù)的接入

結(jié)合篩選出的監(jiān)測數(shù)據(jù)，通過監(jiān)測點(diǎn)與實(shí)時數(shù)據(jù)的關(guān)聯(lián)關(guān)系從實(shí)時數(shù)據(jù)接口中調(diào)用相應(yīng)的在線監(jiān)測數(shù)據(jù)。

2.3 萊茵達(dá)準(zhǔn)則

萊茵達(dá)準(zhǔn)則可將數(shù)值過高或過低的數(shù)據(jù)剔除，可提高處理主流程獲取到的數(shù)據(jù)的可利用度。

萊茵達(dá)準(zhǔn)則，即3σ準(zhǔn)則，在測量中，若已采用措施消除系統(tǒng)誤差，或已將其減至微小量，測量數(shù)據(jù)中只含隨機(jī)誤差，且服從正態(tài)分布，則可認(rèn)為殘差是以0.9973的概率出現(xiàn)在正常范圍之內(nèi)，出現(xiàn)在正常范圍以外的概率僅為0.0027，相當(dāng)微小，可以認(rèn)為是不可能事件，這就有理由判定它是含有粗差的觀測值，可將該觀測值剔除。

2.4 具體計算過程如下所示：

通過分析監(jiān)測點(diǎn)大量的原始數(shù)據(jù)，計算標(biāo)準(zhǔn)差，算數(shù)平均值，生成正態(tài)分布公式。

再對某個時刻的觀測數(shù)據(jù)Xi，若滿足，其中為標(biāo)準(zhǔn)差，則認(rèn)為數(shù)據(jù)Xi可疑，應(yīng)剔除。

觀測值正太分布用樣本標(biāo)準(zhǔn)差S的無偏估計^S代替S，可以減小脈沖干擾和采樣元件引起的粗大誤差對在線監(jiān)測數(shù)據(jù)的影響。但這是一種處理平穩(wěn)正態(tài)序列的方法，對于變化波動很小的壓力變化等數(shù)據(jù)是合適的，而對于變化趨勢與外界影響因素的變化相關(guān)性很大的序列，有可能不滿足平穩(wěn)條件，會出現(xiàn)錯判或漏判。因壓力屬于一種相對平穩(wěn)的壓力波動，因此我們采用的是無偏估計^S。

2.5 經(jīng)驗(yàn)數(shù)據(jù)的獲取與驗(yàn)證

經(jīng)過對大量歷史數(shù)據(jù)的分析和挖掘，發(fā)現(xiàn)通過數(shù)據(jù)的曲線可以捕獲一些經(jīng)驗(yàn)數(shù)據(jù)，該數(shù)據(jù)可為后期的數(shù)據(jù)預(yù)處理模型提供參照依據(jù)。

用于分析的歷史數(shù)據(jù)主要包括： 2014、2015年某市管網(wǎng)監(jiān)測點(diǎn)數(shù)據(jù)； 2014、2015年某市全年突發(fā)事件管網(wǎng)監(jiān)測點(diǎn)變化數(shù)據(jù)。經(jīng)驗(yàn)數(shù)據(jù)取值具體如下：

30kpa

一分鐘，數(shù)據(jù)變化超過30kpa 視為一次突變。該經(jīng)驗(yàn)數(shù)據(jù)適合絕大多數(shù)壓力監(jiān)測數(shù)據(jù)。

該經(jīng)驗(yàn)數(shù)據(jù)的獲取是經(jīng)過對大量的壓力檢測數(shù)據(jù)分析統(tǒng)計，發(fā)現(xiàn)某市主要監(jiān)測點(diǎn)的突變數(shù)據(jù)中，一分鐘內(nèi)變化超過30kpa的數(shù)據(jù)占異常總數(shù)的99%以上，因此我們將突變的閾值設(shè)置為30Kpa。

2分鐘

一分鐘內(nèi)壓力的驟增驟減均視為毛刺。結(jié)合現(xiàn)狀分析大部分毛刺均在一分鐘以內(nèi)可辨識出，但也存在略大于一分鐘的情況。

為準(zhǔn)確提出判斷條件，對監(jiān)測數(shù)據(jù)的歷史毛刺數(shù)據(jù)做分析統(tǒng)計，分析毛刺數(shù)據(jù)兩次突變的時間間隔，發(fā)現(xiàn)毛刺時間間隔在1分鐘內(nèi)占異常總數(shù)的80%以上，在1.5分鐘的概率為98%以上。為保證數(shù)據(jù)預(yù)處理的結(jié)果不影響系統(tǒng)的判斷分析，需盡可能的確保篩選出所有毛刺數(shù)據(jù)，同時保證數(shù)據(jù)的實(shí)效性，故將閾值設(shè)置為2分鐘。

10次數(shù)據(jù)

連續(xù)的10次判斷，監(jiān)測數(shù)據(jù)的數(shù)值一直未變化，判斷為數(shù)據(jù)中斷。

對歷史事故進(jìn)行統(tǒng)計分析，發(fā)現(xiàn)判斷數(shù)據(jù)中斷的時間越早，對事故的處理越及時，事故造成的影響就越小。在分析實(shí)時數(shù)據(jù)時發(fā)現(xiàn)，數(shù)據(jù)中斷存在兩種情況：一種是網(wǎng)絡(luò)信號不穩(wěn)定造成的數(shù)據(jù)傳輸延遲；另一種是事故造成數(shù)據(jù)中斷。前一種的延遲時間較短，影響較??；后一種的數(shù)據(jù)中斷時間較長，影響較大。為盡量避免第一種情況和及時捕獲第二種情況，對實(shí)時數(shù)據(jù)進(jìn)行分析后，將判斷時間設(shè)置為10分鐘，也就是10次數(shù)據(jù)。

3、數(shù)據(jù)預(yù)處理步驟

基于監(jiān)測點(diǎn)大量的實(shí)時數(shù)據(jù)與歷史數(shù)據(jù)的分析、挖掘，形成了一套較為完整的數(shù)據(jù)預(yù)處理體系，可初步判斷出異常數(shù)據(jù)，具體步驟如下：

3.1 數(shù)據(jù)獲取

SCADA監(jiān)測源數(shù)據(jù)存儲在SQL Server數(shù)據(jù)庫中，該數(shù)據(jù)每分鐘更新一次；由于Oracle的數(shù)據(jù)處理效率較SQL Server更好，因此需將源數(shù)據(jù)通過數(shù)據(jù)接口關(guān)聯(lián)到Oracle數(shù)據(jù)庫上。

為滿足數(shù)據(jù)處理流程的要求和保證數(shù)據(jù)處理的質(zhì)量，需要建原始數(shù)據(jù)表、歷史表、中間過程表、結(jié)果數(shù)據(jù)表、結(jié)果數(shù)據(jù)歷史表等。

3.2 數(shù)據(jù)判斷分析

數(shù)據(jù)分析主要是判斷實(shí)時數(shù)據(jù)是否存在異常以及判斷數(shù)據(jù)的異常類型。由于不同的異常類型其分析方法不同，因此需合理安排分析步驟，經(jīng)過研究最終采用以下步驟：假設(shè)進(jìn)行數(shù)據(jù)分析的監(jiān)測點(diǎn)為X1。

3.3 判斷數(shù)據(jù)是否中斷

在歷史數(shù)據(jù)庫中獲取監(jiān)測點(diǎn)X1最新的連續(xù)10條數(shù)據(jù)，判斷這10條記錄的監(jiān)測值是否發(fā)生變化，若發(fā)生變化則判斷為未發(fā)生中斷數(shù)據(jù)，反之則為中斷數(shù)據(jù)，將該點(diǎn)的實(shí)時數(shù)據(jù)作為中斷數(shù)據(jù)處理。

3.4監(jiān)測數(shù)據(jù)的分類

監(jiān)測點(diǎn)的數(shù)據(jù)類型有近10余種，每類數(shù)據(jù)異常的閾值均不相同，同時為高效的分析數(shù)據(jù)，因此需對監(jiān)測數(shù)據(jù)按照類型進(jìn)行分類。

3.5 判斷數(shù)據(jù)類型

按照監(jiān)測類型分為需要處理的類型和不需要處理的類型。需要處理監(jiān)測類型包括：壓力、瞬時流量、運(yùn)行狀態(tài)（該類型會逐步增加）；剩余的數(shù)據(jù)則為不需要處理的類型。

對于需要處理的監(jiān)測類型，取監(jiān)測點(diǎn)X1前后的各兩條數(shù)據(jù)，判斷實(shí)時數(shù)據(jù)是否超出閾值，分析超出閾值情況的點(diǎn)，確認(rèn)其異常類型，是單次突變或毛刺數(shù)據(jù)。

3.6 數(shù)據(jù)賦值

需要做數(shù)據(jù)賦值的有兩類數(shù)據(jù)：殘差數(shù)據(jù)、毛刺數(shù)據(jù)，對于這兩類數(shù)據(jù)我們采用滑動開窗的方法對其賦值。

建立一個長度為5的滑動窗口，對在線監(jiān)測數(shù)據(jù)序列滑動處理后可得到一個長度為Ⅳ的序列，對該序列進(jìn)行處理，由處理結(jié)果構(gòu)成的新序列即為濾波結(jié)果。處理算法如下。

（1）中值濾波 。將窗內(nèi)的序列排序取出中間結(jié)果，由中間結(jié)果構(gòu)成的序列即為濾波結(jié)果。該方法能有效地克服偶然因素引起的波動或采樣單元不穩(wěn)定引起誤碼等脈沖干擾。與上述的拉氏準(zhǔn)則萊茵達(dá)準(zhǔn)則類似，中值濾波對一般慢變信號效果較好，但對于波動較大的信號適應(yīng)性較差。

（2）平均濾波。將窗內(nèi)的數(shù)據(jù)求算術(shù)平均值作為處理結(jié)果。該方法簡單實(shí)用，對于服從正態(tài)分布的隨機(jī)干擾，算術(shù)平均值是最佳估算值。

（3）復(fù)合濾波。實(shí)際系統(tǒng)中，隨機(jī)干擾可能不是單一的，這時可將以上的兩種方法結(jié)合使用。先將Ⅳ個數(shù)據(jù)排序形成：

3.7 數(shù)據(jù)入庫

經(jīng)過上述處理過程，X1已完成數(shù)據(jù)的預(yù)處理，最終將該條數(shù)據(jù)存入數(shù)據(jù)預(yù)處理結(jié)果數(shù)據(jù)庫中。

輸出內(nèi)容包括：字段包括數(shù)據(jù)的唯一編碼、數(shù)據(jù)獲取的時間、處理前的數(shù)值、處理后的數(shù)值、較前一分鐘數(shù)據(jù)的變化量、數(shù)值多長時間內(nèi)未變化。

4、總結(jié)

近年來上海市大力投資在線監(jiān)測工程，截止2015年逐步完成上海主要水廠、泵站、水源地、監(jiān)測點(diǎn)等的在線監(jiān)測設(shè)備的布局。這些民生工程的建設(shè)極大的改善了上海市民日常用水水質(zhì)，保障了市民健康用水、衛(wèi)生用水的基本需求。但是在線監(jiān)測是在復(fù)雜的現(xiàn)場條件下進(jìn)行的，信號傳感器易受到現(xiàn)場外界環(huán)境溫度、濕度的影響，同時測量信號在傳輸過程中不可避免會存在同步變差、傳輸錯誤和信道噪聲等問題，造成監(jiān)測數(shù)據(jù)失真。信號的失真以及誤差，對在線監(jiān)測數(shù)據(jù)的準(zhǔn)確性有一定影響，同時對供水調(diào)度工作造成影響。

本文通過采用異常數(shù)據(jù)判讀準(zhǔn)則及經(jīng)驗(yàn)數(shù)據(jù)對實(shí)時監(jiān)測數(shù)據(jù)中存在的異常數(shù)據(jù)進(jìn)行判讀、剔除及數(shù)據(jù)賦值修正等預(yù)處理分析，有效的保證了供水調(diào)度的準(zhǔn)確性、及時性與安全性，提高城市供水生產(chǎn)調(diào)度管理水平，提高城市供水的安全保障能力。

參考文獻(xiàn)：

[1]錢尚瑋.剔除異常數(shù)據(jù)的幾種統(tǒng)計檢驗(yàn)方法.網(wǎng)絡(luò)資源，29～36.