大壩安全監(jiān)測(cè)數(shù)據(jù)的治理與統(tǒng)計(jì)

馮濤

（中國電建集團(tuán)華東勘測(cè)設(shè)計(jì)研究院有限公司，浙江 杭州，311122）

0 引言

近年來，隨著信息自動(dòng)化技術(shù)的快速發(fā)展，大中型水電站大壩安全監(jiān)測(cè)自動(dòng)化采集系統(tǒng)不再局限于內(nèi)觀儀器，外觀測(cè)量機(jī)器人、GNSS、圖像監(jiān)測(cè)等新的自動(dòng)化監(jiān)測(cè)手段逐步得到廣泛應(yīng)用。自動(dòng)化采集系統(tǒng)按照固定的采集頻次自動(dòng)完成數(shù)據(jù)的采集、計(jì)算、入庫等一系列工作。

自動(dòng)化采集系統(tǒng)代替了人工采集作業(yè)，降低了監(jiān)測(cè)工作的強(qiáng)度和難度，尤其某些特殊部位，觀測(cè)人員很難到達(dá)，自動(dòng)化監(jiān)測(cè)系統(tǒng)能很好地完成日常數(shù)據(jù)采集工作。同時(shí)實(shí)現(xiàn)了采集遠(yuǎn)程控制、即時(shí)采集，減少了人工采集誤差，較大提高了采集頻次，從而產(chǎn)生了大量的安全監(jiān)測(cè)數(shù)據(jù)，為在線監(jiān)控預(yù)警及后期的監(jiān)測(cè)資料整編與分析提供了技術(shù)支撐。

自動(dòng)化采集系統(tǒng)存在數(shù)據(jù)量大、數(shù)據(jù)錯(cuò)誤、數(shù)據(jù)不規(guī)范、數(shù)據(jù)異常等情況，在分析監(jiān)測(cè)數(shù)據(jù)時(shí)，需要對(duì)數(shù)據(jù)進(jìn)行清洗、治理、統(tǒng)計(jì)、分析和提煉，從而獲取其中有價(jià)值的數(shù)據(jù)，構(gòu)建數(shù)據(jù)產(chǎn)品，再結(jié)合水工建筑物的特點(diǎn)，輔以各種監(jiān)控模型進(jìn)行有針對(duì)性的評(píng)判分析，更好地掌握大壩安全運(yùn)行性態(tài)。

1 軟件實(shí)現(xiàn)思路

利用大數(shù)據(jù)治理的思想，軟件采用前后端分離的架構(gòu)來完成數(shù)據(jù)統(tǒng)計(jì)工作，將數(shù)據(jù)清洗、數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)服務(wù)工作置于后臺(tái)，提高效率，并減少前端用戶的消耗。圖1為數(shù)據(jù)治理與統(tǒng)計(jì)的軟件實(shí)現(xiàn)思路。

圖1 數(shù)據(jù)治理與統(tǒng)計(jì)的軟件實(shí)現(xiàn)思路Fig.1 Realization of data management and statistics by software

首先由后臺(tái)采集服務(wù)從各自動(dòng)化采集系統(tǒng)、人工數(shù)據(jù)錄入系統(tǒng)獲取大壩安全監(jiān)測(cè)數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗和治理形成大壩安全數(shù)據(jù)倉庫。

后臺(tái)統(tǒng)計(jì)服務(wù)再按照統(tǒng)計(jì)方案，對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，將結(jié)果分類保存，形成不同的數(shù)據(jù)產(chǎn)品，最終服務(wù)于前端各類應(yīng)用。

為了提高數(shù)據(jù)質(zhì)量，需要對(duì)采集到的數(shù)據(jù)進(jìn)行處理，從數(shù)據(jù)完整性、統(tǒng)一性、有效性上保證數(shù)據(jù)質(zhì)量。圖2為數(shù)據(jù)產(chǎn)生到形成數(shù)據(jù)產(chǎn)品的流程。

圖2 大壩安全監(jiān)測(cè)數(shù)據(jù)產(chǎn)品流程Fig.2 Generation of dam safety monitoring data products

2 數(shù)據(jù)集成

數(shù)據(jù)集成是對(duì)自動(dòng)化系統(tǒng)采集數(shù)據(jù)和人工采集數(shù)據(jù)的匯聚過程，包括對(duì)歷史觀測(cè)數(shù)據(jù)的批量導(dǎo)入，人工觀測(cè)數(shù)據(jù)的錄入、導(dǎo)入，自動(dòng)化采集數(shù)據(jù)的批量導(dǎo)入，以及遠(yuǎn)程自動(dòng)化采集等。集成數(shù)據(jù)源包括各種類型的數(shù)據(jù)庫、文本文件、Excel 文件等。

集成的數(shù)據(jù)包括外觀數(shù)據(jù)、滲流數(shù)據(jù)、應(yīng)力應(yīng)變及溫度數(shù)據(jù)、水雨情數(shù)據(jù)、微震數(shù)據(jù)、強(qiáng)震數(shù)據(jù)和巡查數(shù)據(jù)等。數(shù)據(jù)集成技術(shù)目前已相對(duì)較成熟。

3 數(shù)據(jù)治理

首先，需要構(gòu)建一套大壩安全監(jiān)測(cè)數(shù)據(jù)標(biāo)準(zhǔn)，提供全面完整的數(shù)據(jù)標(biāo)準(zhǔn)管理流程及辦法，用于決定和建立單一、準(zhǔn)確、權(quán)威的事實(shí)來源，實(shí)現(xiàn)數(shù)據(jù)的完整性、有效性、一致性、規(guī)范性、開放性和共享性管理，并為數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)安全管理提供標(biāo)準(zhǔn)依據(jù)。數(shù)據(jù)治理的過程就是將集成匯聚的數(shù)據(jù)按照統(tǒng)一標(biāo)準(zhǔn)進(jìn)行格式化處理和存儲(chǔ)。

其次，需要對(duì)采集匯聚的大壩安全監(jiān)測(cè)數(shù)據(jù)進(jìn)行清洗。數(shù)據(jù)清洗指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤，包括檢查數(shù)據(jù)一致性、處理無效值和缺失值等。數(shù)據(jù)清洗也是整個(gè)信息化實(shí)施過程中不可缺少的一個(gè)環(huán)節(jié)，其結(jié)果質(zhì)量直接關(guān)系到整個(gè)信息化的最終實(shí)施效果。

“臟數(shù)據(jù)”通常包括不完整的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)和重復(fù)的數(shù)據(jù)。大壩安全監(jiān)測(cè)數(shù)據(jù)從內(nèi)觀、水雨情、地震、外觀等不同自動(dòng)化采集系統(tǒng)中匯聚而來，而且包含多年歷史數(shù)據(jù)，不可避免有數(shù)據(jù)錯(cuò)誤、數(shù)據(jù)相互之間有沖突的情況。按照一定的規(guī)則先清洗“臟數(shù)據(jù)”，過濾不符合要求的數(shù)據(jù)。

系統(tǒng)采用后臺(tái)服務(wù)的方式部署數(shù)據(jù)治理軟件，監(jiān)控?cái)?shù)據(jù)變化。一旦數(shù)據(jù)發(fā)生了變化，則針對(duì)相關(guān)數(shù)據(jù)啟動(dòng)治理服務(wù)，確保數(shù)據(jù)的完整性、統(tǒng)一性和有效性。

3.1 格式處理

格式問題是一個(gè)細(xì)節(jié)問題，格式不統(tǒng)一將直接影響分析判斷的執(zhí)行,如跨表關(guān)聯(lián)失敗、數(shù)字格式不匹配導(dǎo)致無法識(shí)別、不同分量測(cè)值顛倒等情況。為了保證數(shù)據(jù)源在格式和內(nèi)容上與元數(shù)據(jù)的描述保持一致，需要從以下幾個(gè)方面考慮對(duì)大壩安全監(jiān)測(cè)數(shù)據(jù)進(jìn)行格式化處理：

（1）時(shí)間、日期、測(cè)量單位等轉(zhuǎn)換。這類問題通常與輸入端有關(guān)，在整合多來源數(shù)據(jù)時(shí)也有可能遇到，需要將其處理成一致的某種格式。大壩安全監(jiān)測(cè)管理中，針對(duì)同類儀器的監(jiān)測(cè)量，不同的采集系統(tǒng)可能存在不同的測(cè)量單位，時(shí)間、日期格式可能也有差異，需按照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)對(duì)這類存在差異的數(shù)據(jù)進(jìn)行格式化處理。

（2）分量錯(cuò)位糾正。人工采集的數(shù)據(jù)最容易出現(xiàn)分量錯(cuò)位問題，如數(shù)據(jù)在Excel 中沒有對(duì)齊，或復(fù)制粘貼時(shí)導(dǎo)致數(shù)據(jù)列錯(cuò)位。自動(dòng)化系統(tǒng)通道配置也存在錯(cuò)列情況，最終導(dǎo)致左、右讀數(shù)，相對(duì)量與累計(jì)量存儲(chǔ)錯(cuò)位等問題。通過經(jīng)驗(yàn)對(duì)比，發(fā)現(xiàn)類似問題后，經(jīng)現(xiàn)場(chǎng)人工確認(rèn)，對(duì)分量列進(jìn)行置換處理。

（3）“非法”字符。在測(cè)值、測(cè)點(diǎn)名、監(jiān)測(cè)量名中存在空格、逗號(hào)等特殊非法字符的現(xiàn)象。該情況下，數(shù)據(jù)治理時(shí)需對(duì)每份數(shù)據(jù)做合法性校驗(yàn)，并自動(dòng)剔除常見的特殊字符，經(jīng)過多次校驗(yàn)仍不能成功的，再輔助人工方式找出可能存在的問題，并去除不需要的字符。

3.2 缺失值處理

監(jiān)測(cè)數(shù)據(jù)在一段時(shí)間內(nèi)的缺失也是一個(gè)常見的問題，主要分以下幾種情況：

（1）單個(gè)測(cè)點(diǎn)部分測(cè)次單個(gè)分量值缺失：考慮儀器某個(gè)通道采集不穩(wěn)定等情況；

（2）單個(gè)測(cè)點(diǎn)所有測(cè)次單個(gè)分量缺失：考慮儀器某個(gè)通道異常、計(jì)算公式無法正常計(jì)算等情況；

（3）單個(gè)測(cè)點(diǎn)部分測(cè)次整條記錄缺失：考慮儀器采集不穩(wěn)定、通信不穩(wěn)定等情況；

（4）單個(gè)測(cè)點(diǎn)所有測(cè)次整條記錄缺失：考慮儀器損壞、通信故障等情況；

（5）某個(gè)采集模塊內(nèi)容所有測(cè)點(diǎn)整條記錄缺失：考慮模塊損壞、模塊通信故障等情況。

針對(duì)上述各種數(shù)據(jù)缺失的情況，采取以下步驟對(duì)缺失數(shù)據(jù)進(jìn)行處理：

（1）缺失原因分析：分析每個(gè)監(jiān)測(cè)量的缺失情況和屬性，判斷是原始量缺失、中間成果缺失還是成果量缺失，并根據(jù)缺失的五種情況進(jìn)行初步的原因分析。原始量缺失可以從采集上查找原因，成果量缺失則可以從計(jì)算公式和參數(shù)上查找原因。

（2）缺失值填充：部分缺失值可以通過對(duì)比、計(jì)算進(jìn)行填充。如某些環(huán)境量值，因其在短時(shí)間內(nèi)變化較小，可以采用插值算法自動(dòng)填充；針對(duì)某些中間成果值或成果量值，則可以通過計(jì)算進(jìn)行填充。

（3）重新采集：重新采集數(shù)據(jù)也是一種填充方式，提供二次儀表錄入新測(cè)值，或自動(dòng)發(fā)起采集指令，由自動(dòng)化采集系統(tǒng)重新采集數(shù)據(jù)回填。

3.3 邏輯錯(cuò)誤處理

（1）去重。部分?jǐn)?shù)據(jù)在系統(tǒng)中會(huì)存在重復(fù)現(xiàn)象，可能是由于數(shù)據(jù)不規(guī)范導(dǎo)致，如單位名稱有全稱和簡(jiǎn)稱等多個(gè)表述，但實(shí)際上屬于同一個(gè)單位。需針對(duì)此類數(shù)據(jù)進(jìn)行合并去重。監(jiān)測(cè)數(shù)據(jù)也存在相同測(cè)點(diǎn)、相同觀測(cè)時(shí)間的重復(fù)問題，由于大部分采集系統(tǒng)將采集時(shí)間定在8∶00 或某個(gè)時(shí)間，導(dǎo)致出現(xiàn)同一日期采集的多條數(shù)據(jù)重復(fù)的現(xiàn)象，這類數(shù)據(jù)變化不大，通常保留最后一次入庫的數(shù)據(jù)即可。

（2）異常檢測(cè)。根據(jù)每個(gè)變量的合理取值范圍和相互關(guān)系，檢查數(shù)據(jù)是否滿足要求，發(fā)現(xiàn)超出正常范圍、邏輯不合理或相互矛盾的數(shù)據(jù)，如氣溫高于50℃、水位高于壩頂高程等，都應(yīng)視為超出正常值域范圍。

（3）矛盾值糾錯(cuò)。這類錯(cuò)誤主要由計(jì)算導(dǎo)致，根據(jù)測(cè)值之間的相關(guān)性、測(cè)值來源判斷數(shù)據(jù)的可靠性，通過對(duì)應(yīng)的規(guī)則（或公式）刪除或重構(gòu)數(shù)據(jù)，以解決數(shù)據(jù)之間的矛盾，使數(shù)據(jù)有效。

4 數(shù)據(jù)統(tǒng)計(jì)

所有統(tǒng)計(jì)必須設(shè)置統(tǒng)計(jì)范圍，包括統(tǒng)計(jì)對(duì)象（測(cè)點(diǎn)、監(jiān)測(cè)項(xiàng)目、監(jiān)測(cè)量）、統(tǒng)計(jì)時(shí)間區(qū)間、測(cè)值屬性（人工觀測(cè)、自動(dòng)化觀測(cè)）、統(tǒng)計(jì)方法（按實(shí)際值、按絕對(duì)值）等。其中，統(tǒng)計(jì)對(duì)象最小單位為單個(gè)測(cè)點(diǎn)的單個(gè)監(jiān)測(cè)量；統(tǒng)計(jì)時(shí)間區(qū)間為統(tǒng)計(jì)數(shù)據(jù)觀測(cè)時(shí)間的起止范圍；測(cè)值屬性可選擇僅針對(duì)人工測(cè)值、僅針對(duì)自動(dòng)化測(cè)值或針對(duì)全部測(cè)值；統(tǒng)計(jì)方法可以按照正常測(cè)值大小不做任何換算，也可以將測(cè)值全部轉(zhuǎn)換成絕對(duì)值后再進(jìn)行統(tǒng)計(jì)。

系統(tǒng)采用后臺(tái)服務(wù)的方式部署數(shù)據(jù)統(tǒng)計(jì)軟件，在數(shù)據(jù)治理完成后啟動(dòng)統(tǒng)計(jì)服務(wù)，實(shí)現(xiàn)對(duì)大量數(shù)據(jù)的瘦身和提煉，為后期數(shù)據(jù)應(yīng)用和展示提供支撐。

4.1 特征值統(tǒng)計(jì)

4.1.1 時(shí)段特征值統(tǒng)計(jì)

時(shí)段特征值統(tǒng)計(jì)（見圖3）針對(duì)單個(gè)測(cè)點(diǎn)、單個(gè)監(jiān)測(cè)量的有效測(cè)值，統(tǒng)計(jì)的監(jiān)測(cè)數(shù)據(jù)觀測(cè)時(shí)間必須在指定的時(shí)間區(qū)間內(nèi)，統(tǒng)計(jì)內(nèi)容包括：

圖3 時(shí)段特征值統(tǒng)計(jì)模塊展示Fig.3 Display of the statistics module of period characteristic values

（1）時(shí)段最大（小）值及其發(fā)生時(shí)間：指定時(shí)間區(qū)間內(nèi)所有測(cè)值的最大（?。┲导捌鋵?duì)應(yīng)的觀測(cè)時(shí)間。如果該時(shí)間區(qū)間內(nèi)最大（?。┲党霈F(xiàn)了多次，則可取最晚一次觀測(cè)時(shí)間。

（2）平均值：指定時(shí)間區(qū)間內(nèi)所有測(cè)值的平均值。

4.1.2 年度特征值統(tǒng)計(jì)

年度特征值統(tǒng)計(jì)（見圖4）針對(duì)單個(gè)測(cè)點(diǎn)、單個(gè)監(jiān)測(cè)量的有效測(cè)值。首先將指定的統(tǒng)計(jì)時(shí)間區(qū)間按照自然年分成不同的年度子區(qū)間，計(jì)算每個(gè)子區(qū)間的開始時(shí)間和截止時(shí)間，按照不同年度子區(qū)間分別統(tǒng)計(jì)。統(tǒng)計(jì)內(nèi)容包括：

圖4 年度特征值統(tǒng)計(jì)模塊展示Fig.4 Display of the statistics module of annual characteristic values

（1）年份：將指定的時(shí)間區(qū)間按自然年劃分出的年度子區(qū)間。

（2）測(cè)次：每個(gè)年度子區(qū)間的有效測(cè)次。

（3）最大（?。┲导捌浒l(fā)生時(shí)間：每個(gè)年度子區(qū)間所有測(cè)值的最大（?。┲导捌鋵?duì)應(yīng)的觀測(cè)時(shí)間。如果該年度子區(qū)間內(nèi)最大（?。┲党霈F(xiàn)了多次，則取最晚一次觀測(cè)時(shí)間。

（4）年平均值：每個(gè)年度子區(qū)間所有測(cè)值的平均值。

（5）年變幅：每個(gè)年度子區(qū)間所有測(cè)值最大值與最小值的差。

4.1.3 月份特征值統(tǒng)計(jì)

月份特征值統(tǒng)計(jì)（見圖5）針對(duì)單個(gè)測(cè)點(diǎn)、單個(gè)監(jiān)測(cè)量的有效測(cè)值。統(tǒng)計(jì)內(nèi)容包括：

圖5 月份特征值統(tǒng)計(jì)模塊展示Fig.5 Display of the statistics module of monthly characteristic values

（1）月份：指定的時(shí)間區(qū)間所包含的月份數(shù)字，時(shí)間跨度超過11個(gè)自然月時(shí)，包括1～12個(gè)自然月。

（2）最高月平均值及對(duì)應(yīng)年份：將統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)的數(shù)據(jù)按照各個(gè)不同的自然年月計(jì)算平均值，然后再取這組平均值的最大值及其對(duì)應(yīng)年份。

（3）最低月平均值及對(duì)應(yīng)年份：將統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)的數(shù)據(jù)按照各個(gè)不同的自然年月計(jì)算平均值，然后再取這組平均值的最小值及其對(duì)應(yīng)年份。

（4）多年月平均值：將統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)不同的自然月數(shù)據(jù)作為統(tǒng)計(jì)基數(shù)，計(jì)算平均值。如將所有年份中1月份的數(shù)據(jù)作為統(tǒng)計(jì)基數(shù)計(jì)算平均值，計(jì)算結(jié)果為1月份的多年月平均值。

（5）多年月變幅：將統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)不同的自然月數(shù)據(jù)作為統(tǒng)計(jì)基數(shù)，求最大值與最小值的差。如將所有年份中1月份的數(shù)據(jù)作為統(tǒng)計(jì)基數(shù)求最大值與最小值的差，計(jì)算結(jié)果為1月份的多年月變幅。

4.2 日常統(tǒng)計(jì)

按照不同的時(shí)間區(qū)間（日、周、月、季度、年份等）進(jìn)行監(jiān)測(cè)數(shù)據(jù)的日常統(tǒng)計(jì)和匯總。統(tǒng)計(jì)內(nèi)容包括：

（1）最大值及其發(fā)生日期：每個(gè)統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)測(cè)值最大值及其對(duì)應(yīng)的觀測(cè)時(shí)間。

（2）最小值及其發(fā)生日期：每個(gè)統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)測(cè)值最小值及其對(duì)應(yīng)的觀測(cè)時(shí)間。

（3）平均值：每個(gè)統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)測(cè)值的平均值。

（4）變幅：每個(gè)統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)測(cè)值最大值與最小值的差。

4.3 相同條件下的統(tǒng)計(jì)

相同條件下的統(tǒng)計(jì)通常是指除設(shè)置的統(tǒng)計(jì)條件外，另外增加一些可變的條件，如歷史同期、相同環(huán)境等條件下的統(tǒng)計(jì)。

（1）歷史同期：統(tǒng)計(jì)每個(gè)測(cè)點(diǎn)每個(gè)分量在歷年相同日期的測(cè)值，比較其差值變化。

（2）相同環(huán)境：統(tǒng)計(jì)每個(gè)測(cè)點(diǎn)每個(gè)分量在歷史同水位、同溫度等情況下的測(cè)值，比較其差值變化。

4.4 其他統(tǒng)計(jì)

根據(jù)水工建筑物結(jié)構(gòu)的特點(diǎn)，某些數(shù)據(jù)分析還需對(duì)測(cè)值做一些特殊的統(tǒng)計(jì)，如極值出現(xiàn)情況統(tǒng)計(jì)、首尾測(cè)值統(tǒng)計(jì)等。

（1）極值出現(xiàn)情況統(tǒng)計(jì)：設(shè)置極值的大小范圍或時(shí)間范圍，即以某個(gè)測(cè)值作為極值標(biāo)準(zhǔn)，當(dāng)統(tǒng)計(jì)范圍內(nèi)的值超過該值時(shí)，表明出現(xiàn)了極值，此時(shí)要統(tǒng)計(jì)極值的大小、極值出現(xiàn)的時(shí)間等。

（2）首尾測(cè)值統(tǒng)計(jì)：統(tǒng)計(jì)某段時(shí)間范圍內(nèi)第一期測(cè)值、最后一期測(cè)值及其觀測(cè)時(shí)間、該時(shí)間區(qū)間內(nèi)的變幅和變化速率等。

5 應(yīng)用與實(shí)踐

測(cè)值統(tǒng)計(jì)作為大壩安全管理信息系統(tǒng)的主要模塊，從多維度對(duì)數(shù)據(jù)最大值、最小值和變幅等進(jìn)行了統(tǒng)計(jì)，實(shí)現(xiàn)了歷史同期值的對(duì)比分析，不僅為大壩安全性態(tài)的分析提供了手段，也為日常監(jiān)測(cè)報(bào)表、分析報(bào)表的編制提供了數(shù)據(jù)來源。該模塊在多個(gè)運(yùn)行單位得到了很好的應(yīng)用，使用頻率很高，已逐漸成為水工觀測(cè)人員日常工作必不可少的工具。

6 結(jié)語

通過集成監(jiān)測(cè)數(shù)據(jù)形成大壩安全監(jiān)測(cè)專題數(shù)據(jù)庫后，對(duì)數(shù)據(jù)進(jìn)行治理，確保用戶獲得有效、完整的數(shù)據(jù)，然后再通過數(shù)據(jù)統(tǒng)計(jì)，獲取各類數(shù)據(jù)的特征及成果，對(duì)數(shù)據(jù)進(jìn)行壓縮提煉，最終形成可服務(wù)于監(jiān)控分析的可視化數(shù)據(jù)?！?/p>