水文資料在線整編系統(tǒng)研究與探索

陳才明，潘忠斌，李 瓊

（溫州市水文站，浙江 溫州 325000）

1 概述

水文資料在線整編系統(tǒng)研究近年來成為我國水文系統(tǒng)熱門課題。美國 20 世紀 50 年代開始研究水文資料整編自動化，至 1971 年建立全國集中式水文資料貯存、檢索系統(tǒng)（WATSTORE）即水文資料庫[1]，1975 年與 4 個大區(qū)和 46 個分區(qū)聯(lián)網(wǎng)，通過電子計算機網(wǎng)絡(luò)控制，在各州的終端機上可獲得全美任一地點的資料。英國、加拿大、日本、蘇聯(lián)、比利時和意大利等國都建立了水文資料庫和流域或地區(qū)性的水文自動測報與聯(lián)機網(wǎng)絡(luò)系統(tǒng)，也相繼采用衛(wèi)星技術(shù)研究水文問題。1958 年，美國 H.W. 海澤等人開始研究用雷達觀測降雨量。這些科學(xué)技術(shù)的采用，推進了水文、水資源的研究。

近年來，我國水文廣泛引進和應(yīng)用國內(nèi)外先進的科學(xué)技術(shù)和儀器設(shè)備，水文測驗、預(yù)報方法結(jié)合自動化信息化而不斷升級改造，各水文要素采集逐步實現(xiàn)自動化，傳統(tǒng)的以人工為主的資料整編處理模式已不能滿足水文現(xiàn)代化發(fā)展的要求[2]，因此，水文要充分利用現(xiàn)代信息技術(shù)，在計算機網(wǎng)絡(luò)的支持下，加大研發(fā)“互聯(lián)網(wǎng) + 水文”技術(shù)，實現(xiàn)“互聯(lián)網(wǎng) +”與水文資料整編的融合應(yīng)用[3]，開發(fā)在線整編系統(tǒng)，搭建省、市、縣三級分層次，分地域的水文信息處理架構(gòu)，實現(xiàn)水文信息的采集、整編、貯存、分析、應(yīng)用、管理一體化系統(tǒng)化在線處理。

溫州市水文站在現(xiàn)有水文要素監(jiān)測信息化成果的基礎(chǔ)上，通過浙江省防汛通信平臺自動采集水文遙測數(shù)據(jù)，開發(fā)建設(shè)水文資料在線整編系統(tǒng)。系統(tǒng)可對測站數(shù)據(jù)的完整性、異常性、合理性進行智能甄別，過濾出需要人工介入處理的數(shù)據(jù)，提供給運行平臺系統(tǒng)。測站技術(shù)員通過系統(tǒng)對監(jiān)測數(shù)據(jù)進行校核，在線完成一算二校后提交市級審核，完成測站在線整編任務(wù)；市級技術(shù)員對測站整編成果進行審核，確保成果正確后提交省級管理機構(gòu)，完成資料整編工作，實現(xiàn)即時整編，即時提交整編成果。同時在線整編系統(tǒng)利用數(shù)據(jù)庫技術(shù)將分散存儲的國家基本水文測站歷史整編數(shù)據(jù)統(tǒng)一存儲到歷史水文資料整編數(shù)據(jù)庫中[4]，利用現(xiàn)代水文綜合分析技術(shù)對歷史水文資料整編數(shù)據(jù)資源進行全面的、系統(tǒng)的、科學(xué)的分析與管理，實現(xiàn)歷史水文資料整編數(shù)據(jù)統(tǒng)一貯存、應(yīng)用、管理，為防汛防旱、水利建設(shè)、水資源開發(fā)管理保護及其它國民經(jīng)濟建設(shè)提供科學(xué)，準確，高效的水文技術(shù)支撐。

2 研究目標(biāo)

通過研發(fā)水文資料在線整編系統(tǒng)，實現(xiàn)水文遙測數(shù)據(jù)向水文成果數(shù)據(jù)的轉(zhuǎn)換與質(zhì)量檢查，并構(gòu)建數(shù)據(jù)整合和流轉(zhuǎn)機制[5]，實現(xiàn)數(shù)據(jù)質(zhì)量檢查、過濾、插補等數(shù)據(jù)處理功能，最終建成水文資料整編成果和原始數(shù)據(jù)庫。為了保障水文資料整編成果的合理、準確、符合整編規(guī)范要求，建立水文數(shù)據(jù)審查系統(tǒng)，能夠與南方片 5.0 數(shù)據(jù)庫對接，用于審查南方片系統(tǒng)的成果數(shù)據(jù)。同時建設(shè)各類水文資料專用數(shù)據(jù)庫，存儲各類成果資料，對水文資料進行信息化管理，為防汛會商、水資源管理等提供決策支撐信息。

3 系統(tǒng)結(jié)構(gòu)及主要功能

水文資料在線整編系統(tǒng)主要由地圖查詢、基礎(chǔ)信息、數(shù)據(jù)智能甄別、數(shù)據(jù)統(tǒng)計分析、省市縣聯(lián)動整編、基礎(chǔ)數(shù)據(jù)庫管理、標(biāo)準化管理、用戶管理等系統(tǒng)組成，其中地圖查詢、數(shù)據(jù)智能甄別、數(shù)據(jù)統(tǒng)計分析、省市縣聯(lián)動整編為本系統(tǒng)關(guān)鍵技術(shù)。系統(tǒng)邏輯結(jié)構(gòu)如圖 1 所示。

圖 1 系統(tǒng)邏輯結(jié)構(gòu)圖

3.1 地圖查詢

地圖查詢充分應(yīng)用 GIS 地理信息處理、數(shù)據(jù)挖掘及時間序列分析等技術(shù)，GIS 展示功能以 WebGIS形式展示測站的空間位置，可隨時查詢測站站碼、位置、河流水系、站別、實時數(shù)據(jù)等信息。實時數(shù)據(jù)通過圖和表 2 種方式顯示站點多套設(shè)備當(dāng)前水雨情信息。左側(cè)有查詢檢索窗口，可以按行政區(qū)域、水系、站別或站碼、站名進行檢索。

3.2 數(shù)據(jù)智能甄別系統(tǒng)

該子系統(tǒng)是關(guān)鍵技術(shù)，主要實現(xiàn)自動采集測站遙測數(shù)據(jù)，并根據(jù)數(shù)據(jù)合格分析規(guī)則進行智能化判斷，將可疑、缺測數(shù)據(jù)甄別過濾。功能模塊主要分為數(shù)據(jù)采集、過濾規(guī)則管理和過濾等模塊。

3.2.1 數(shù)據(jù)采集模塊

實現(xiàn)與浙江省防汛通信平臺連接，實時獲取測站的遙測數(shù)據(jù)。模塊內(nèi)置自啟動及網(wǎng)絡(luò)判斷功能，實現(xiàn)完全自動化，無需人工介入操作。模塊內(nèi)置數(shù)據(jù)完整性線程，對每個測站的遙測參數(shù)進行數(shù)據(jù)判斷，對缺測的參數(shù)進行時間段標(biāo)識，提供給市縣聯(lián)動模塊處理。

3.2.2 數(shù)據(jù)過濾規(guī)則管理

管理遙測數(shù)據(jù)的正確性判斷規(guī)則供后端模塊使用。一般模塊將進行默認設(shè)置，在某些站點需要人工介入時修改即可；過濾規(guī)則根據(jù)監(jiān)測參數(shù)不同設(shè)置不同規(guī)則。以下列舉雨量和水位參數(shù)以說明。

1）雨量參數(shù)。該參數(shù)特點為每 5 min 有 1 個數(shù)據(jù)，前端雨量測量的雨量傳感器分辨力為 0.5 mm，雨強為 0～4 mm/min（允許通過最大雨強 8 mm/min），溫州市國家基本站中一般有多套雨量遙測設(shè)備。根據(jù)這些特點，雨量參數(shù)過濾的規(guī)則設(shè)定有：a. 雨量完整性判斷。每 5 min 應(yīng)有 1 個雨量數(shù)據(jù)。b. 5 min雨量判斷。根據(jù)雨量傳感器的雨強，一般 5 min 雨量不應(yīng)超過 40 mm，超過該數(shù)值則將該時段數(shù)據(jù)標(biāo)記為異常數(shù)據(jù)。c. 相鄰雨量設(shè)備數(shù)據(jù)對比。1 個國家基本站中有 2 套及以上的雨量遙測設(shè)備，對這些設(shè)備進行編號，對采集到的雨量進行統(tǒng)計對比，一般采用小時雨量進行對比，若 2 套設(shè)備雨量對比相差超過某個預(yù)定數(shù)值（用戶自行設(shè)定），則將該時段數(shù)值標(biāo)記為異常數(shù)據(jù)。

2）水位參數(shù)。該參數(shù)特點為每 5 min 1 個數(shù)據(jù)，一般水位分辨力為 1 cm，前端傳感器多為格雷碼水位計。根據(jù)這些特點，水位參數(shù)過濾的規(guī)則設(shè)定有：a. 水位完整性判斷。每 5 min 應(yīng)有 1 個水位數(shù)據(jù)。b. 水位正常范圍判斷。由于格雷碼水位計的量程為 0～40 m，故一般要增加水位基面，在調(diào)整水位基面時往往會造成數(shù)據(jù)變化很大，所以設(shè)定該基本站的正常水位變化范圍，將超出該范圍的數(shù)據(jù)標(biāo)記為異常數(shù)據(jù)。c. 水位突變判斷。將實時傳輸?shù)乃粩?shù)據(jù)與上一時刻的水位進行對比，若突變超過某個預(yù)定數(shù)值（用戶自行設(shè)定），則將該時刻數(shù)值標(biāo)記為異常數(shù)據(jù)。

3.2.3 數(shù)據(jù)過濾模塊

根據(jù)過濾規(guī)則對數(shù)據(jù)進行完整性和準確性分析，將過濾出的信息及數(shù)據(jù)存儲到日志中，供運行維護管理平臺使用。

3.3 數(shù)據(jù)統(tǒng)計分析系統(tǒng)

該子系統(tǒng)主要是對數(shù)據(jù)進行分析和展示，主要包括逐日、月、年數(shù)據(jù) 3 個子模塊。逐日、月、年數(shù)據(jù)分析可對單站點多套設(shè)備進行對比分析[6]；也可以對多站點（比如鄰近測站或上下游測站）進行面審，系統(tǒng)性對比分析站點測驗數(shù)據(jù)；用戶也可以自定義時間選擇多站點進行比對分析。

按照《水文資料整編規(guī)范》的要求[7]，數(shù)據(jù)統(tǒng)計分析系統(tǒng)可顯示測站的數(shù)據(jù)報表，用圖形或者表格展示這些站點的監(jiān)測數(shù)據(jù)，可以幫助用戶直觀地判斷數(shù)據(jù)的正確性，對修改過的數(shù)據(jù)可以點擊查看該數(shù)據(jù)的修改日志等信息。

3.4 省市縣聯(lián)動整編系統(tǒng)

該子系統(tǒng)是在線整編的核心部分，由實時、整編、成果數(shù)據(jù) 3 個部分組成。主要功能如下：

1）實時數(shù)據(jù)。用戶登陸后顯示需要處理的異常數(shù)據(jù)列表和已經(jīng)處理的數(shù)據(jù)列表。經(jīng)數(shù)據(jù)實時接收系統(tǒng)過濾出的異常數(shù)據(jù)，自動分配到對應(yīng)的責(zé)任測站，由具備管理權(quán)限的測站技術(shù)員進行數(shù)據(jù)的處理工作，同時將這些數(shù)據(jù)存儲到日志，供審核。經(jīng)審核后，確認修改，并且形成修改日志。修改日志記錄數(shù)據(jù)修改時間、內(nèi)容、原因及操作人員等以備后查。

2）整編數(shù)據(jù)。用戶通過該窗口整編測站水文資料，該目錄由整編一覽、三校用戶管理、降水量和水位日常監(jiān)測、南方片數(shù)據(jù)接口、數(shù)據(jù)審查授權(quán)、整編數(shù)據(jù)審核等組成。

a. “整編一覽”顯示當(dāng)前各個測站水文資料整編進度，是否通過審核等，該界面直觀顯示市縣資料整編互動情況，可監(jiān)督管理各縣（市、區(qū)）測站水文資料整編情況。

b. “三校用戶管理”是為了實現(xiàn)在線完成一算二校任務(wù)，由測站指定一算二校人員，定期完成計算校核工作，只有完成一算二校的站點，才能提交市站審核。

c. “降水量日常監(jiān)測”顯示人工、多套遙測日雨量對比分析，當(dāng)各設(shè)備觀測值相當(dāng)時，默認選擇主設(shè)備作為整編數(shù)據(jù)，同時提供主副遙測設(shè)備數(shù)據(jù)誤差分析，當(dāng)兩者數(shù)據(jù)誤差超過 5% 時，再參考人工觀測數(shù)據(jù)。當(dāng)三者數(shù)據(jù)不同時，可點擊過程數(shù)據(jù)對比分析，過程數(shù)據(jù)對比可以選擇 5 min 和 1，3，6 h 等多種時段對比數(shù)據(jù)，也可以與臨近站點進行對照分析，進一步分析主副設(shè)備數(shù)據(jù)準確性，當(dāng)發(fā)現(xiàn)主設(shè)備有問題時，點擊選擇采用副設(shè)備，則當(dāng)日全部采用副設(shè)備整編。整個過程操作簡單，數(shù)據(jù)分析效率快，大大減少水文原始資料審查時間，并提高了審查精度。

d. “水位日常監(jiān)測”功能與降水量大致相同，其中人工與主副設(shè)備對比數(shù)據(jù)均采用 8:00 整觀測值，水位原始數(shù)據(jù)處理采用水位自動摘錄和人工干預(yù)摘錄相結(jié)合，合理摘錄水位過程，精簡水位數(shù)據(jù)整編。

e. “南方片數(shù)據(jù)接口”提供整編數(shù)據(jù)無縫對接南方片 5.0 整編數(shù)據(jù)庫，減少中間壞節(jié)，提高工作效率；“數(shù)據(jù)審查授權(quán)”是資料審查權(quán)限授權(quán)，采用網(wǎng)絡(luò)分散審查，打破以往集中整編模式；“整編數(shù)據(jù)審核”由市站完成數(shù)據(jù)審核，發(fā)現(xiàn)整編數(shù)據(jù)有問題的可退回測站進一步審查。

3）成果數(shù)據(jù)。成果數(shù)據(jù)錄入提供實測流量成果表、大斷面、蒸發(fā)、水溫等成果錄入窗口，數(shù)據(jù)可以人工錄入也可批量導(dǎo)入，經(jīng)審核后，可生成南方片格式，導(dǎo)入南方片 5.0 數(shù)據(jù)庫。

3.5 基礎(chǔ)數(shù)據(jù)庫管理系統(tǒng)

按照 SL 324—2005《基礎(chǔ)水文數(shù)據(jù)庫表結(jié)構(gòu)與標(biāo)識符標(biāo)準》庫表結(jié)構(gòu)規(guī)范要求[8]，對降水、水位、流量等水文數(shù)據(jù)進行查漏，補缺，糾錯，在此基礎(chǔ)上，進行一致性處理，保證數(shù)據(jù)的完整、準確入庫存儲。另針對水文監(jiān)測技術(shù)發(fā)展和服務(wù)社會的需求，建立水文數(shù)據(jù)的擴展庫和非結(jié)構(gòu)化數(shù)據(jù)庫，并與原始遙測、水雨情數(shù)據(jù)庫集成一體化，統(tǒng)一構(gòu)成具有數(shù)據(jù)分析、統(tǒng)計應(yīng)用功能的基礎(chǔ)數(shù)據(jù)庫管理系統(tǒng)[9]。

3.6 標(biāo)準化管理系統(tǒng)

該系統(tǒng)接口銜接浙江省水文測站標(biāo)準化運行管理平臺，按照標(biāo)準化管理要求做好水文測站的日常觀測、巡查、工作臺賬并上報等測驗任務(wù)。

4 系統(tǒng)特點

水文資料在線整編系統(tǒng)投入使用以來，系統(tǒng)運行穩(wěn)定、操作方便簡單，得到水文技術(shù)人員一致好評，與傳統(tǒng)整編方式相比具有以下優(yōu)點：

1）簡化整編程序，提高整編效率。在線整編系統(tǒng)依據(jù)計算機智能甄別對比分析，數(shù)據(jù)直觀 ，操作簡單，降低了傳統(tǒng)整編模式易造成的漏判、誤判，提高了整編質(zhì)量和效率。傳統(tǒng)整編模式采用定期集中式整編，依靠大量人力審查數(shù)據(jù)，而在線整編實現(xiàn)網(wǎng)絡(luò)化無紙化工作，減少了集中整編人力、物力和財力投入。

2）基于“互聯(lián)網(wǎng) +”技術(shù)，實現(xiàn)水文資料整編網(wǎng)絡(luò)化。水文資料在線整編系統(tǒng)基于“互聯(lián)網(wǎng) +”技術(shù)，資料校核、審查、復(fù)審均可在互聯(lián)網(wǎng)上進行。

3）在線即時整編，加快水文成果服務(wù)社會的轉(zhuǎn)換應(yīng)用。傳統(tǒng)的整編模式一年收集的水文數(shù)據(jù)須到次年才完成整編，影響水文成果及時使用。該系統(tǒng)實現(xiàn)了測站水文資料在線即時日清月結(jié)、一算二校、審查復(fù)審等工作，實時輸出水文成果，較大地增強了水文為社會服務(wù)的時效性。

4）整合歷史數(shù)據(jù)庫，提供多樣化水文信息服務(wù)。該系統(tǒng)將實時水雨情、歷史水文資料整編等數(shù)據(jù)庫相結(jié)合，提供歷史查詢、統(tǒng)計分析、成果輸出等多樣化水文信息服務(wù)，實現(xiàn)水文資料查閱“最多跑一次”快捷服務(wù)。

5 結(jié)語

水文作為水利基石與防汛耳目，高效及時提供水文數(shù)據(jù)是社會對水文行業(yè)提出的更高要求，水文資料在線整編改革是推進水文現(xiàn)代化的重要創(chuàng)新。通過水文資料在線整編系統(tǒng)實現(xiàn)了在站整編、在線審核與復(fù)審等工作，為水文資料日清月結(jié)提供了保障，有力提升了水文資料整編質(zhì)量和效率，加快了水文成果服務(wù)社會的轉(zhuǎn)換應(yīng)用。