麗水市水情數(shù)據(jù)中心建設(shè)方案探討

葉方紅，吳 剛，孫英軍，余莉萍

（1.浙江省麗水市水文站，浙江 麗水 323000；

2.浙江省水文局，浙江 杭州 310009）

1 問題的提出

水情信息的采集與管理是防洪減災(zāi)工作中最重要的基礎(chǔ)性工作。至2018年，麗水市已建成水雨情遙測設(shè)備853套，水情信息采集站點(diǎn)站網(wǎng)密度1套/20 km2。同時(shí)為了能及時(shí)掌握全市的實(shí)時(shí)水雨情信息，實(shí)時(shí)水情信息的采集頻率從過去的1 h縮短到了5 min，采集要素從單一的雨量、水位擴(kuò)展了流量、蒸發(fā)、墑情等。近幾年水情數(shù)據(jù)的數(shù)量正以逐年幾倍甚至十幾倍地增加，數(shù)據(jù)的時(shí)效性、準(zhǔn)確性需求愈來愈高，對如此大量的水情信息如何進(jìn)行及時(shí)、快速地甄別、預(yù)處理、流轉(zhuǎn)及存儲成了一大難題。

水情數(shù)據(jù)的迅猛增加、應(yīng)用系統(tǒng)的不斷增多，使得各個(gè)應(yīng)用系統(tǒng)之間實(shí)時(shí)數(shù)據(jù)以及水文特征數(shù)據(jù)的不一致問題時(shí)有發(fā)生，應(yīng)用之間數(shù)據(jù)的一致性以及數(shù)據(jù)維護(hù)的便捷性成了一大難題，多個(gè)系統(tǒng)直接從遙測數(shù)據(jù)庫讀取數(shù)據(jù)影響數(shù)據(jù)庫的安全性和穩(wěn)定性。采用傳統(tǒng)方式很難去解決這一問題，為保證水雨情系統(tǒng)正常運(yùn)行，以及各應(yīng)用系統(tǒng)之間數(shù)據(jù)的一致，有必要建立一個(gè)上層系統(tǒng)，對實(shí)時(shí)和特征數(shù)據(jù)進(jìn)行統(tǒng)一管理維護(hù)，并將實(shí)時(shí)數(shù)據(jù)分發(fā)給各個(gè)應(yīng)用系統(tǒng)，從而保證各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)的一致。

2 需求分析

水文與防汛減災(zāi)工作的工作性質(zhì)決定了水情數(shù)據(jù)的實(shí)時(shí)性、準(zhǔn)確性、全面性是第一需求，實(shí)時(shí)性要求數(shù)據(jù)從采集到處理到最后應(yīng)用端，中間流轉(zhuǎn)時(shí)滯不能大于30 s。準(zhǔn)確性不僅指流轉(zhuǎn)中數(shù)據(jù)不能被隨意篡改，更深一層次需求是要能攔截、預(yù)警那些可能由于設(shè)備或其他原因產(chǎn)生的可疑/錯(cuò)誤數(shù)據(jù)，如灑水車經(jīng)過導(dǎo)致的雨量、設(shè)備故障引起的錯(cuò)誤數(shù)據(jù)、因水位過低而無法監(jiān)測到的水位等。全面性則是水情數(shù)據(jù)中心需全覆蓋本地區(qū)需要的水情數(shù)據(jù)，而不僅僅是本地區(qū)管轄站點(diǎn)、還包括周邊縣市區(qū)部分站點(diǎn)，不僅僅本部門水情數(shù)據(jù)，也應(yīng)包含氣象等其他部門的水情數(shù)據(jù)，互通有無。

水情數(shù)據(jù)的實(shí)時(shí)性要求決定了水情數(shù)據(jù)中心應(yīng)該是一個(gè)無人值守型管理系統(tǒng)，在實(shí)現(xiàn)數(shù)據(jù)處理、流轉(zhuǎn)的同時(shí)，通過聲音、圖文、短信等多種手段提醒、引導(dǎo)管理人員對系統(tǒng)進(jìn)行管理和維護(hù)。

水情數(shù)據(jù)中心還需要解決目前實(shí)際工作中存在的一些問題，如數(shù)據(jù)的一致性問題，數(shù)據(jù)庫編碼/格式問題等，水情/防汛應(yīng)用系統(tǒng)的日益繁多，系統(tǒng)采用的水情數(shù)據(jù)庫規(guī)范不同，導(dǎo)致測站編碼、數(shù)據(jù)庫結(jié)構(gòu)等完全不同，數(shù)據(jù)中心能必須完全支持這些歷史應(yīng)用系統(tǒng)；各系統(tǒng)自建水情數(shù)據(jù)，數(shù)據(jù)更新不及時(shí)，不同系統(tǒng)間分析成果時(shí)有出現(xiàn)“打架”情形；為保障測站水情監(jiān)測而實(shí)施的備用遙測設(shè)備無法主設(shè)備實(shí)時(shí)提供備用功能，更多地被當(dāng)成了測站使用，或需要人工進(jìn)行替換使用，這已大大不兼容于目前水情遙測工作。

水情數(shù)據(jù)是寶貴的數(shù)據(jù)資源，安全性也是一個(gè)重要內(nèi)容，不僅涉及數(shù)據(jù)安全、還包括使用安全，提供數(shù)據(jù)服務(wù)的權(quán)限不僅控制到人，還包括數(shù)據(jù)內(nèi)容和測站。數(shù)據(jù)服務(wù)的管理力度應(yīng)能控制到“哪些人”“哪些站”“哪些要素”。

最后，數(shù)據(jù)中心須有一定的數(shù)據(jù)存儲能力，應(yīng)能存儲、管理所有歷史和未來10 a內(nèi)遙測水情數(shù)據(jù)資料并順暢運(yùn)行，未來考慮接入水文歷史整編資料、地形、流域等水情相關(guān)空間數(shù)據(jù)信息。

3 系統(tǒng)建設(shè)

3.1 方案設(shè)計(jì)

實(shí)現(xiàn)水情數(shù)據(jù)的有效管理與應(yīng)用，在麗水市水情中心建立一個(gè)大容量、高效率的數(shù)據(jù)存儲與交換平臺，集中管理大量的水情實(shí)時(shí)數(shù)據(jù)及特征數(shù)據(jù)，并可對修改的數(shù)據(jù)及時(shí)反映到各個(gè)應(yīng)用庫中，保證各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)的一致性。系統(tǒng)通過數(shù)據(jù)中心整合匯集多個(gè)數(shù)據(jù)源，及時(shí)分發(fā)指定數(shù)據(jù)到各個(gè)應(yīng)用分中心，并提供強(qiáng)大的數(shù)據(jù)流程監(jiān)控和數(shù)據(jù)質(zhì)控、融合等功能，同時(shí)提供常用的數(shù)據(jù)恢復(fù)及備份功能。

3.2 建設(shè)內(nèi)容

建設(shè)的系統(tǒng)包括水情數(shù)據(jù)匯集與分發(fā)子系統(tǒng)和水情數(shù)據(jù)管理子系統(tǒng)建設(shè)。數(shù)據(jù)匯集與分發(fā)子系統(tǒng)包括數(shù)據(jù)錄入/匯集、整理、質(zhì)控、分發(fā)數(shù)據(jù)流式處理能力；水情數(shù)據(jù)管理子系統(tǒng)包括數(shù)據(jù)流程監(jiān)控模塊、數(shù)據(jù)質(zhì)量控制模塊、實(shí)時(shí)數(shù)據(jù)修改模塊、數(shù)據(jù)分發(fā)節(jié)點(diǎn)管理模塊、站點(diǎn)特征信息管理模塊以及用戶管理模塊等。

3.2.1 數(shù)據(jù)匯集與分發(fā)

（1）數(shù)據(jù)錄入：針對目前水文系統(tǒng)測站在用的數(shù)據(jù)傳輸軟件（如語潤、ME）或其他標(biāo)準(zhǔn)研發(fā)對應(yīng)數(shù)據(jù)接口，實(shí)時(shí)從遙測設(shè)備通信通道中將數(shù)據(jù)直接采集進(jìn)入水情數(shù)據(jù)中心庫；同時(shí)，提供對各類其他水情數(shù)據(jù)的匯集能力，匯集省水情平臺、周邊兄弟縣市以及本市氣象等兄弟單位之間的水情相關(guān)數(shù)據(jù)，以保證水情數(shù)據(jù)中心數(shù)據(jù)的全面性。

數(shù)據(jù)錄入通過主動請求、被動接收、實(shí)時(shí)輪詢多種手段以保證數(shù)據(jù)獲取的實(shí)時(shí)性和可靠性。數(shù)據(jù)錄入的實(shí)現(xiàn)既有在數(shù)據(jù)庫層面的直接鏈路模式，也有在TCP/IP協(xié)議上的交換模式，可透明運(yùn)營在當(dāng)前的水文專網(wǎng)、內(nèi)網(wǎng)或公網(wǎng)等多重混合網(wǎng)絡(luò)環(huán)境。數(shù)據(jù)錄入可靈活配置，以實(shí)現(xiàn)對采集站點(diǎn)、采集要素、采集時(shí)長等多種要素的精準(zhǔn)采集。

（2）數(shù)據(jù)分發(fā)與服務(wù)：數(shù)據(jù)分發(fā)機(jī)制的建立包括數(shù)據(jù)中心數(shù)據(jù)表觸發(fā)機(jī)制的建立、日志數(shù)據(jù)傳輸流程的建立以及應(yīng)用庫數(shù)據(jù)解析機(jī)制的建立3大部分。其中數(shù)據(jù)中心數(shù)據(jù)表觸發(fā)機(jī)制的建立是指在各張水雨情數(shù)據(jù)表中建立了觸發(fā)機(jī)制，把各表的修改日志進(jìn)行格式化保存，為數(shù)據(jù)中心與各應(yīng)用數(shù)據(jù)庫數(shù)據(jù)的一致性提供基礎(chǔ)；日志數(shù)據(jù)傳輸流程的建立是指通過作業(yè)機(jī)制把數(shù)據(jù)中心的修改日志實(shí)時(shí)傳輸?shù)礁鱾€(gè)應(yīng)用數(shù)據(jù)庫中；應(yīng)用庫數(shù)據(jù)解析機(jī)制是指把從數(shù)據(jù)中心傳輸過來的日志解析成對應(yīng)的實(shí)時(shí)水雨情數(shù)據(jù)，并寫入標(biāo)準(zhǔn)數(shù)據(jù)庫表中。數(shù)據(jù)的服務(wù)還包括以RestfulAPI接口等形式，直接為各應(yīng)用程序提供網(wǎng)絡(luò)數(shù)據(jù)服務(wù)能力。系統(tǒng)數(shù)據(jù)匯集與分發(fā)主要流程見圖1。

圖1 系統(tǒng)數(shù)據(jù)匯集與分發(fā)主要流程圖

3.2.2 水情數(shù)據(jù)中心管理子系統(tǒng)

水情數(shù)據(jù)中心并非一簡單的采集、分發(fā)數(shù)據(jù)交換站，不僅需要對采集得到的原始水情設(shè)備數(shù)據(jù)進(jìn)行專業(yè)的分析計(jì)算，演化成水情信息數(shù)據(jù)（如面雨量的算、庫容的計(jì)算，以及從流速、水位等數(shù)據(jù)中演算流量等等），還需要對水情信息數(shù)據(jù)進(jìn)行傳輸狀態(tài)監(jiān)控、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)清洗、數(shù)據(jù)融合、數(shù)據(jù)比對、異常狀態(tài)示警等多種管理功能，以實(shí)現(xiàn)數(shù)據(jù)中心數(shù)據(jù)的權(quán)威性和準(zhǔn)確性，為預(yù)報(bào)系統(tǒng)、防汛服務(wù)系統(tǒng)等提供準(zhǔn)確、及時(shí)、精煉的水情數(shù)據(jù)。水情數(shù)據(jù)中心也是水文/水情測站、遙測設(shè)備等的信息管理維護(hù)平臺。

水情數(shù)據(jù)中心管理子系統(tǒng)采用B/S結(jié)構(gòu)設(shè)計(jì)與開發(fā)。主要包括數(shù)據(jù)流轉(zhuǎn)監(jiān)控、數(shù)據(jù)采集管理、數(shù)據(jù)分發(fā)管理、基礎(chǔ)數(shù)據(jù)管理、實(shí)時(shí)數(shù)據(jù)管理、設(shè)備設(shè)施管理、數(shù)據(jù)質(zhì)控管理、短信示警管理、數(shù)據(jù)日志管理、用戶權(quán)限管理和數(shù)據(jù)庫備份與安全等12大功能模塊（見圖2）。

圖2 水雨情數(shù)據(jù)中心管理功能模塊圖

數(shù)據(jù)流轉(zhuǎn)監(jiān)控：實(shí)現(xiàn)對數(shù)據(jù)中心各數(shù)據(jù)結(jié)點(diǎn)及數(shù)據(jù)傳輸過程狀態(tài)的實(shí)時(shí)監(jiān)控，包括對數(shù)據(jù)中心數(shù)據(jù)的監(jiān)控、數(shù)據(jù)傳輸過程的監(jiān)控以及各應(yīng)用庫數(shù)據(jù)狀態(tài)的監(jiān)控3部分。具體包括對數(shù)據(jù)中心水雨情數(shù)據(jù)入庫數(shù)據(jù)量的統(tǒng)計(jì)，應(yīng)報(bào)記錄數(shù)的統(tǒng)計(jì)、錯(cuò)誤數(shù)據(jù)的報(bào)警、數(shù)據(jù)傳輸通暢情況的監(jiān)控以及各個(gè)分發(fā)應(yīng)用庫到站情況的統(tǒng)計(jì)與報(bào)警等。

數(shù)據(jù)采集和分發(fā)管理是數(shù)據(jù)中心的來源和應(yīng)用端，它規(guī)定數(shù)據(jù)中心從哪兒采數(shù)據(jù)（節(jié)點(diǎn)）、如何采（網(wǎng)絡(luò)服務(wù)、數(shù)據(jù)庫表）、采什么（指定站點(diǎn)、水情要素）等，分發(fā)管理則回答數(shù)據(jù)給誰（節(jié)點(diǎn)）、給什么（水情要素）、給多少（指定站點(diǎn)），數(shù)據(jù)頻度（數(shù)據(jù)間隔）等問題。同時(shí)提供對節(jié)點(diǎn)間數(shù)據(jù)的一致性維護(hù)工作。水情數(shù)據(jù)從采集 — 中心 — 分發(fā)全程實(shí)時(shí)觸發(fā)執(zhí)行，采用流計(jì)算模式進(jìn)行數(shù)據(jù)演算，高效、準(zhǔn)確。

基礎(chǔ)數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)修改模塊實(shí)現(xiàn)對數(shù)據(jù)中心管轄下數(shù)據(jù)的內(nèi)容準(zhǔn)確性保證，以良好的人機(jī)界面提供直觀的操作界面，并保障在各節(jié)點(diǎn)間數(shù)據(jù)的實(shí)時(shí)同步。

設(shè)備管理解決當(dāng)前普遍存在的一站多設(shè)備冗余問題，以無人值守的形式完成多套設(shè)備數(shù)據(jù)依據(jù)規(guī)則為一個(gè)站點(diǎn)進(jìn)行數(shù)據(jù)自動保障的能力，真正實(shí)現(xiàn)一個(gè)測站一套水情數(shù)據(jù)，一個(gè)測站多套設(shè)備冗余保障的設(shè)計(jì)。設(shè)備管理同時(shí)提供對遙測設(shè)備自身工作狀態(tài)（電壓、溫度等）的監(jiān)控與提醒。

數(shù)據(jù)采集傳輸過程中不可避免存在錯(cuò)誤或異常等現(xiàn)象，數(shù)據(jù)質(zhì)控則是在保證數(shù)據(jù)時(shí)效性前提下，根據(jù)一系列數(shù)據(jù)質(zhì)控規(guī)則，對實(shí)時(shí)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查，根據(jù)預(yù)先設(shè)定的規(guī)則對數(shù)據(jù)標(biāo)識正常、可疑與錯(cuò)誤等多種標(biāo)簽，并分別予以通過、剔除和待人工核實(shí)等后續(xù)操作，實(shí)現(xiàn)對數(shù)據(jù)質(zhì)量的實(shí)時(shí)掌控。

數(shù)據(jù)中心管理系統(tǒng)在應(yīng)用軟件界面提供各類示警的基礎(chǔ)上，可以通過短信平臺，為設(shè)備維護(hù)人員、水情管理人員和防汛工作人員分別發(fā)送設(shè)備異常提醒、數(shù)據(jù)可疑待查以及汛情簡要統(tǒng)計(jì)等多種示警能力，極大地保證水情數(shù)據(jù)中心數(shù)據(jù)維保的可靠性。

針對數(shù)據(jù)中心自身保留的海量數(shù)據(jù)，數(shù)據(jù)比對分析從數(shù)據(jù)自身、主備設(shè)備、臨近空間預(yù)計(jì)時(shí)間統(tǒng)計(jì)等多種形式對保存在數(shù)據(jù)中心中的數(shù)據(jù)進(jìn)行相關(guān)邏輯性分析，提供對數(shù)據(jù)異常的檢測手段。

數(shù)據(jù)日志管理提供對數(shù)據(jù)中心所有更改操作的追溯能力，用戶管理、權(quán)限管理、備份管理等則提供數(shù)據(jù)中心安全可靠運(yùn)行的技術(shù)保障。

4 結(jié) 語

建設(shè)麗水市水情數(shù)據(jù)中心主要解決當(dāng)前水情數(shù)據(jù)信息管理分散、基礎(chǔ)數(shù)據(jù)存儲零亂、標(biāo)準(zhǔn)化差、應(yīng)用服務(wù)適用性單一、難以共享等問題；整合現(xiàn)有數(shù)據(jù)庫和系統(tǒng)資源，深入開發(fā)新的數(shù)據(jù)庫；建立和健全標(biāo)準(zhǔn)規(guī)范體系和安全體系，建立一個(gè)集中管理、安全規(guī)范、充分共享、全面服務(wù)的水情數(shù)據(jù)中心。建立水情數(shù)據(jù)中心是水文建設(shè)中一項(xiàng)重要工程，也是今后水文發(fā)展的核心工程，只有積極規(guī)劃，加緊建設(shè)，才能使水文信息化建設(shè)上一個(gè)新的臺階。