探討水文水情信息大數(shù)據(jù)處理現(xiàn)狀及策略

燕艷 張楠 于紅梅

摘要：由于當前科學技術(shù)發(fā)展的速度進一步加快，水務行業(yè)逐步開始趨向于現(xiàn)代化建設，也不斷的配置各種測站，全面的對水文的情況進行監(jiān)測。水文測站是水文信息采集過程中最重要的基礎(chǔ)單元，需要將原有的水情信息存儲，并且將模擬記錄向數(shù)字化記錄轉(zhuǎn)變，水情信息數(shù)據(jù)逐步開始向大數(shù)據(jù)方向發(fā)展，通過相關(guān)的軟件配套設備，保證水文數(shù)據(jù)的有效分析處理和使用。本文重點對某水文站水情處理大數(shù)據(jù)系統(tǒng)的現(xiàn)狀和策略進行分析，以供參考。

Abstract： Due to the speed of the current development of science and technology， the water industry has gradually begun to modernize， and various stations have been continuously deployed to comprehensively monitor the hydrological situation. The hydrological station is the most important basic unit in the process of hydrological information collection. It needs to store the original water information， and transform the analog record to the digital record. The water information data gradually develops toward the big data direction， and the relevant software supporting equipment ensures the effective analysis， processing and use of the hydrological data. This paper focuses on the analysis of the status quo and strategy of a hydrological station big data system for a hydrological station for reference.

關(guān)鍵詞：水文;大數(shù)據(jù);水情信息

Key words： hydrology;big data;water information

中圖分類號：TV12? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2019）25-0288-02

1? 水文水情信息概述

水文指的主要是自然界水的運動以及變化，也被叫做是水的波紋。當前主要是對自然界水的變化以及時空分布情況進行專門研究的一門邊緣學科。國家越來越重視連續(xù)動態(tài)的監(jiān)測江河湖泊的水文狀況，進行了很多水文測站的布設，專門用于對水情信息進行收集和發(fā)布，為國民經(jīng)濟建設與發(fā)展打下堅實的基礎(chǔ)，相關(guān)的水文信息數(shù)據(jù)是水文行業(yè)發(fā)展過程中值得積累和應用的有價值的財富。

2? 水文水情信息大數(shù)據(jù)處理現(xiàn)狀

水文測站監(jiān)測的內(nèi)容很多，主要有含沙量、水的流量、蒸發(fā)量、降水量以及河水的水位等，基本可以實現(xiàn)自記化。水情信息可以向水情信息中心實時的傳輸，讓用戶通過手機、電腦等設備隨時對水情信息進行查看。相關(guān)部門研發(fā)了自動測報系統(tǒng)，可以有效的按照一定的時間間隔，通過相關(guān)的傳感器對信息進行采集，并且對水位、雨量等信息進行存儲，通過編譯之后向測站水情中心進行傳遞，測報系統(tǒng)信息中心終端在獲取數(shù)據(jù)之后，可以對這些數(shù)據(jù)進行分析、檢查、反饋，并且將測站現(xiàn)場水情信息處理工作完成，自動測報采集終端可以現(xiàn)場進行數(shù)據(jù)的轉(zhuǎn)發(fā)、采集、存儲等，另外可以通過編碼的相關(guān)技術(shù)，實現(xiàn)一定周期內(nèi)的采集，周期可以設定為5分鐘、10分鐘等，將數(shù)據(jù)是通過ASCII的格式向Excel、office等文件導出。在實時進行降水、水位、流量數(shù)據(jù)采集的過程中，可以將水文的要素變化情況準確的反映出來，通常條件下可以將這些數(shù)據(jù)進行整理、匯編之后產(chǎn)生報表，供用戶進行查閱使用。為了保證水情信息的時效性、準確性，各水文測站還可以通過相關(guān)的軟件來處理、轉(zhuǎn)發(fā)數(shù)據(jù)，保證數(shù)據(jù)采集的準確性。（圖1）

2.1 數(shù)據(jù)存儲

在進行數(shù)據(jù)存儲的過程中，主要是有機的結(jié)合分布式文件系統(tǒng)和關(guān)系型數(shù)據(jù)，將水文大數(shù)據(jù)進行有效的存儲，對遙測數(shù)據(jù)進行結(jié)構(gòu)化，保證質(zhì)量管控數(shù)據(jù)和元數(shù)據(jù)利用關(guān)系型數(shù)據(jù)庫服務RDS得到有效的管理，而對于一些文件數(shù)據(jù)、歷史數(shù)據(jù)以及圖像數(shù)據(jù)等，通過分布式文件存儲服務OSS以及大數(shù)據(jù)表格存儲系統(tǒng)進行存儲。兩種數(shù)據(jù)在存儲的過程中是統(tǒng)一的并非獨立存在的，而是通過數(shù)據(jù)集成服務或裝載工具進行有效的控制和互補，讓彈性擴容實現(xiàn)，符合海量數(shù)據(jù)持續(xù)增長的需要，保證數(shù)據(jù)結(jié)構(gòu)朝多樣性的方向發(fā)展。

在進行水文數(shù)據(jù)中心建設的過程中，對所有結(jié)構(gòu)化的數(shù)據(jù)進行了描述和定義。在水文系統(tǒng)當中，可以提高數(shù)據(jù)的可用性和易用性。

2.2 數(shù)據(jù)分析

在獲取水文數(shù)據(jù)之后需要通過大數(shù)據(jù)分析，主要是依照主題化的應用需求合理的分析和處理數(shù)據(jù)。在此過程中，需要通過云計算引擎和并行計算系統(tǒng)將分布式海量水文數(shù)據(jù)通過集成系統(tǒng)在云端進行高速交換，并且通過MaxCompute進行并行MapReduce計算，讓多點高效數(shù)據(jù)處理實現(xiàn)，將傳統(tǒng)水文數(shù)據(jù)處理過程中計算能力不足等問題有效的解決。在進行云平臺使用的過程中，可以通過線性、非線性的統(tǒng)計方法充分的挖掘水文數(shù)據(jù)，并且形成高效的數(shù)據(jù)分析平臺。對數(shù)據(jù)進行實時更新和計算，進一步實現(xiàn)數(shù)據(jù)的有效利用，實時對數(shù)據(jù)進行展示，有效的對災情進行調(diào)度并且告警，另外可以利用深度學習、人工神經(jīng)網(wǎng)絡、決策樹等對數(shù)據(jù)間的內(nèi)在聯(lián)系進行探索，將數(shù)據(jù)當中的隱含內(nèi)容挖掘出來，為后續(xù)進行跨行業(yè)的數(shù)據(jù)共享和融合打下堅實的基礎(chǔ)。具體分析一些視頻、圖片、文本等非結(jié)構(gòu)性數(shù)據(jù)，通過分析可以自動形成摘要和關(guān)鍵詞，并且依照主題完成分類工作，為后續(xù)進行水文資料的快速瀏覽和檢索打下堅實的基礎(chǔ)。

2.3 數(shù)據(jù)分發(fā)

在進行數(shù)據(jù)分發(fā)系統(tǒng)建設的過程中，可以有效的保障云計算的實現(xiàn)，可以讓水文數(shù)據(jù)端到端的及時分發(fā)得到有效的實現(xiàn)，確保各個業(yè)務部門都能有效的進行快速聯(lián)動。與此同時，數(shù)據(jù)服務對象除了服務單位、值班系統(tǒng)、預報系統(tǒng)等水文專業(yè)系統(tǒng)外，還可以面對普通的蕓蕓大眾。云平臺在進行大數(shù)據(jù)計算之后，可以將獲得的水文數(shù)據(jù)分析的結(jié)果以及一些專業(yè)的客戶信息，通過API接口向公眾統(tǒng)一發(fā)放，可以讓民眾在生活的過程中更好的對水文知識進行利用，保證從行業(yè)水平逐步向社會水文發(fā)展，做到立足專業(yè)處理，面向社會服務。

2.4 統(tǒng)一的門戶管理

水文大數(shù)據(jù)平臺建設的過程中，需要利用簡潔的界面統(tǒng)一的門戶，直觀的向用戶進行歷史數(shù)據(jù)、實時數(shù)據(jù)分析報告的展示，讓用戶更好的對結(jié)果進行分析和利用，利用大數(shù)據(jù)可以有效的將各個服務組件合并起來，利用API調(diào)用的方式進行運維界面和監(jiān)控界面的統(tǒng)一設置，這樣可以讓平臺的運維效果和易用性大幅度提高。

3? 水文水情信息大數(shù)據(jù)處理的展望和策略

3.1 加強多庫合一的建設

在水文數(shù)據(jù)庫發(fā)展的過程中，一定要對大數(shù)據(jù)和云計算進行合理利用，保證數(shù)據(jù)獲取的通道通暢，通過多庫合一的方式加強水文數(shù)據(jù)的收集。在數(shù)據(jù)庫建設的過程中需要合理的對數(shù)據(jù)庫進行分類，形成整編庫、預報庫、歷史庫、實時庫等。這些數(shù)據(jù)庫在構(gòu)建的過程中各個側(cè)重點各不相同，通過多庫合一之后可以讓數(shù)據(jù)維護的任務大幅度的減輕，利用統(tǒng)一的數(shù)據(jù)更好的為客戶服務。多庫合一具有較大的優(yōu)勢，也具有較深遠的影響，然而再操作起來具有一定的難度，水利部需要出臺相關(guān)的表結(jié)構(gòu)標準，合理的進行數(shù)據(jù)的整理，這也是非常艱巨的任務。

3.2 重視糾錯和攔截機制的建設

當前在數(shù)據(jù)交互的過程中，各個功能已經(jīng)越來越成熟，但是因為沒有攔截和糾錯的機制導致數(shù)據(jù)處理的過程中一旦產(chǎn)生錯誤，數(shù)據(jù)無法及時的進行糾正。在未來水情傳輸?shù)倪^程中具有更高的自動化水平，所以一定要合理的進行攔截錯誤數(shù)據(jù)功能的設置，在發(fā)覺錯誤數(shù)據(jù)的過程中，一定要注意在接收數(shù)據(jù)入庫之后形成邏輯判斷程序，對數(shù)據(jù)的合理性進行判斷，如果數(shù)據(jù)無法達到要求，則不予入庫，并且發(fā)出警告和提醒，進行人工處理。

3.3 逐步強化對基礎(chǔ)信息的管理實行站點注冊制度

在進行水情數(shù)據(jù)管理的過程中需要對報汛站點的管理進行強化，避免出現(xiàn)站點基礎(chǔ)信息缺失，賬號重復，對報訊工作產(chǎn)生影響。在未來進行報汛通信系統(tǒng)設置的過程中需要對水站的管理進行強化，進行站點注冊管理體系。每個報訊站都需要在國家水情中心進行注冊，在完成站點注冊之后才能進行水情的報訊和傳輸，對數(shù)據(jù)的來源進行統(tǒng)一化的管理，防止數(shù)據(jù)之間產(chǎn)生沖突。防汛和水調(diào)部門一定要及時的進行決策軟件的編制，在站點注冊的時候一定要著重進行站點基礎(chǔ)信息的登記，特別是經(jīng)緯度信息的管理。

4? 結(jié)束語

當前水情處理已經(jīng)經(jīng)歷了很長的時間，積累了很多水文信息數(shù)據(jù)，由于水情數(shù)據(jù)，不斷的更新一定要加強水情信息的處理，通過大數(shù)據(jù)有效的展開水文測驗的創(chuàng)新工作，有效的對水情信息進行維護和管理，讓水文監(jiān)測能力提高，保障水文數(shù)據(jù)獲取過程中的有效性和數(shù)據(jù)處理的合理性。

參考文獻：

[1]高軍，王立海.大數(shù)據(jù)環(huán)境下長江水文信息與網(wǎng)絡安全防技術(shù)探[C]//大數(shù)據(jù)時代的信息化建設，2015.

[2]劉予偉，劉東潤，陳獻耘.大數(shù)據(jù)在水資源管理中的應用展望[J].水資源研究，2015，04（5）：470-476.

[3]李文俊，趙文煥，楊鵬，等.長江流域控制性水利工程綜合調(diào)度系統(tǒng)研究[J].中國防汛抗旱，2018，28（6）：25-28.