水文水情信息大數(shù)據(jù)處理現(xiàn)狀及策略

鐘 原

（山東省第七地質(zhì)礦產(chǎn)勘查院，山東 臨沂 276000）

伴隨著大數(shù)據(jù)時(shí)代的到來，為各行業(yè)的發(fā)展創(chuàng)造了有利的空間。其中利用大數(shù)據(jù)技術(shù)對(duì)水文水情信息進(jìn)行及時(shí)有效的收集、整理以及分析等，以確保水文水情信息的時(shí)效性、精確性以及安全性，能夠?yàn)樗乃橄嚓P(guān)工作的開展提供有效的數(shù)據(jù)保障，凸顯出大數(shù)據(jù)技術(shù)在水文行業(yè)發(fā)展方面的優(yōu)勢(shì)，從而創(chuàng)造出更多的經(jīng)濟(jì)和社會(huì)效益。

1 水文水情信息概念及其大數(shù)據(jù)處理的優(yōu)勢(shì)概述

1.1 水文水情信息

水文的基本含義為自然界中水的變化、運(yùn)動(dòng)等各種現(xiàn)象，隨著我國(guó)經(jīng)濟(jì)和科技的快速發(fā)展，水文事業(yè)也取得諸多成就。比如當(dāng)前我國(guó)所建成的水文站點(diǎn)達(dá)到3 萬多處，形成了集流量、水位、雨量、蒸發(fā)以及地下水為一體的水文站網(wǎng)。其中在水文基礎(chǔ)設(shè)施建設(shè)方面，水文系統(tǒng)、水文測(cè)報(bào)技術(shù)和手段等處于不斷更新和完善階段，并且從國(guó)外引進(jìn)先進(jìn)存儲(chǔ)器技術(shù)，實(shí)現(xiàn)了雨量、水位的自動(dòng)化記錄[1]。水情信息指的是能夠反映水流量、降水量、蒸發(fā)量、水質(zhì)以及水位等水文要素以及水工程運(yùn)行特征的信息，隨著水情信息處理技術(shù)的不斷更新，逐漸形成了實(shí)時(shí)信息接收、處理的系統(tǒng)，能夠?qū)崿F(xiàn)水情圖表、水情信息處理以及水情電報(bào)翻譯等自動(dòng)化的處理。

1.2 水文水情信息大數(shù)據(jù)處理的優(yōu)勢(shì)

隨著我國(guó)社會(huì)經(jīng)濟(jì)的快速發(fā)展，逐漸將先進(jìn)大數(shù)據(jù)技術(shù)融入到水情信息處理過程中，促使水文工作效率的不斷提升。其中在大數(shù)據(jù)環(huán)境下，借助無線網(wǎng)絡(luò)平臺(tái)能夠?qū)崿F(xiàn)水情觀察數(shù)據(jù)的及時(shí)傳遞，對(duì)于水文工作人員而言，能夠從中獲取準(zhǔn)確的水域信息。另外，借助自動(dòng)化設(shè)備和系統(tǒng)遠(yuǎn)距離采集和傳輸水文信息，能夠及時(shí)獲取某一觀測(cè)地區(qū)某個(gè)時(shí)間段的水流量、降水量以及水位等信息，為水文工作人員科學(xué)決策提供參考依據(jù)。

2 當(dāng)前水文水情信息大數(shù)據(jù)處理現(xiàn)狀分析

眾所周知，水文測(cè)站檢測(cè)涉及水流量、蒸發(fā)量、河水水位以及降水量等多方面的內(nèi)容，在大數(shù)據(jù)技術(shù)的應(yīng)用下，這些水情信息可以通過傳輸平臺(tái)進(jìn)行實(shí)時(shí)自動(dòng)化的傳輸，工作人員或者用戶可以利用客戶端設(shè)備隨時(shí)查看水情相關(guān)的數(shù)據(jù)和信息。同時(shí)，在利用大數(shù)據(jù)技術(shù)處理水文水情信息時(shí)，需要借助自動(dòng)測(cè)報(bào)系統(tǒng)、數(shù)據(jù)存儲(chǔ)和分析系統(tǒng)等多個(gè)系統(tǒng)相互配合來實(shí)現(xiàn)，水文水情信息大數(shù)據(jù)處理現(xiàn)狀具體如下：

2.1 采集數(shù)據(jù)

在當(dāng)前大數(shù)據(jù)環(huán)境下，水文相關(guān)部門主要依靠自動(dòng)測(cè)報(bào)系統(tǒng)中的傳感器設(shè)備來采集、存儲(chǔ)雨量、流量以及水位等所需的信息，在編譯的基礎(chǔ)上將采集的水情信息傳遞給測(cè)站水情中心，信息中心在獲取數(shù)據(jù)之后對(duì)其進(jìn)行分析、檢查以及反饋，對(duì)應(yīng)的完成水情信息處理工作。其中為了獲取某段時(shí)間內(nèi)的水文水情信息，可以借助編碼技術(shù)對(duì)采集的數(shù)據(jù)周期進(jìn)行設(shè)定，比如在采集實(shí)時(shí)水位、水流量以及降水量等相關(guān)數(shù)據(jù)時(shí)，借助大數(shù)據(jù)技術(shù)來真實(shí)反映出水文要素的變化情況，在此基礎(chǔ)上對(duì)這些數(shù)據(jù)信息進(jìn)行整理、匯編形成報(bào)表，以便用戶查閱和使用[2]。另外，為了確保所收集的水情信息的精確度和時(shí)效性，水文測(cè)站可以應(yīng)用遙感技術(shù)、衛(wèi)星云圖等相關(guān)信息軟件來實(shí)現(xiàn)數(shù)據(jù)的處理和傳輸。

2.2 存儲(chǔ)數(shù)據(jù)

在水文水情數(shù)據(jù)信息采集的基礎(chǔ)上，需要進(jìn)一步對(duì)采集的數(shù)據(jù)進(jìn)行存儲(chǔ)，其中在數(shù)據(jù)存儲(chǔ)環(huán)節(jié)，需要將關(guān)系型數(shù)據(jù)、分布式文件系統(tǒng)進(jìn)行有機(jī)結(jié)合，達(dá)到對(duì)水文相關(guān)數(shù)據(jù)有效存儲(chǔ)的目的。為了實(shí)現(xiàn)元數(shù)據(jù)利用關(guān)系型數(shù)據(jù)庫服務(wù)RDS 和質(zhì)量管控?cái)?shù)據(jù)的有效管理，需要結(jié)構(gòu)化處理遙感技術(shù)獲取的數(shù)據(jù)；另外，借助分布式文件存儲(chǔ)服務(wù)OSS、大數(shù)據(jù)表格存儲(chǔ)系統(tǒng)對(duì)一些圖像數(shù)據(jù)、歷史數(shù)據(jù)以及文件數(shù)據(jù)進(jìn)行有效存儲(chǔ)[3]。

同時(shí)，由于這兩種數(shù)據(jù)存儲(chǔ)過程具有統(tǒng)一性，在實(shí)際應(yīng)用過程中能夠?qū)崿F(xiàn)有效的互補(bǔ)，可以根據(jù)實(shí)際情況靈活選擇，以滿足數(shù)據(jù)不斷增長(zhǎng)的需求，凸顯出數(shù)據(jù)存儲(chǔ)彈性擴(kuò)容的目的，促使數(shù)據(jù)結(jié)構(gòu)朝著多樣化的方向發(fā)展。比如在水文數(shù)據(jù)建設(shè)環(huán)節(jié)，便于定義和描述所有結(jié)構(gòu)化的數(shù)據(jù)，并且在水文系統(tǒng)中能夠促使數(shù)據(jù)的易用性、可用性增強(qiáng)。

2.3 分析數(shù)據(jù)

在水文數(shù)據(jù)獲取的基礎(chǔ)上需要對(duì)借助大數(shù)據(jù)技術(shù)根據(jù)實(shí)際需求對(duì)數(shù)據(jù)進(jìn)行分析和處理。其中在該環(huán)節(jié)主要依靠并行計(jì)算系統(tǒng)、云計(jì)算引擎通過集成系統(tǒng)對(duì)大量的分布式數(shù)據(jù)進(jìn)行高速交換、計(jì)算，以實(shí)現(xiàn)多點(diǎn)高效數(shù)據(jù)的處理，并且能夠有效彌補(bǔ)以往水文數(shù)據(jù)處理中計(jì)算效率低下的問題。其中在使用云平臺(tái)過程中為了充分挖掘水文數(shù)據(jù)，可以有效利用線性或者非線性統(tǒng)計(jì)方法，形成高效數(shù)據(jù)分析平臺(tái)來實(shí)現(xiàn)，并且實(shí)時(shí)更新、計(jì)算所獲取的數(shù)據(jù)，充分發(fā)揮水文數(shù)據(jù)對(duì)災(zāi)情預(yù)警、調(diào)度決策方面的參考作用。同時(shí)，可以借助人工神經(jīng)網(wǎng)絡(luò)、決策樹等深入探究數(shù)據(jù)之間的內(nèi)在聯(lián)系，利用數(shù)據(jù)中隱藏的內(nèi)容為行業(yè)之間數(shù)據(jù)共享、融合做好鋪墊。另外，為了便于后期水文工作人員查閱或者檢索相關(guān)水文資料，可以對(duì)圖片、視頻以及文本等非結(jié)構(gòu)性的數(shù)據(jù)進(jìn)行分析，在此基礎(chǔ)上按照關(guān)鍵詞或者主題對(duì)水文資料進(jìn)行有效的分類，便于對(duì)這類資料的查找和瀏覽。

2.4 分發(fā)和管理數(shù)據(jù)

為了確保云計(jì)算過程中水文數(shù)據(jù)各個(gè)端口之間的及時(shí)有效分發(fā)，各業(yè)務(wù)部門快速聯(lián)動(dòng)，需要充分發(fā)揮數(shù)據(jù)分發(fā)系統(tǒng)的作用。同時(shí)，除了預(yù)報(bào)系統(tǒng)、服務(wù)單位等之外，數(shù)據(jù)服務(wù)的對(duì)象還可以延伸到其他范圍，在大數(shù)據(jù)計(jì)算的基礎(chǔ)上，云平臺(tái)可以通過API 接口將獲取的水文數(shù)據(jù)分析結(jié)果發(fā)放給公眾，向公民有效宣傳水文相關(guān)常識(shí)，以達(dá)到服務(wù)范圍逐漸擴(kuò)大的效果[4]。另外，為了將水文實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)等信息傳遞給用戶，充分發(fā)揮水文數(shù)據(jù)分析的結(jié)果，還需要利用水文水情大數(shù)據(jù)平臺(tái)對(duì)整個(gè)界面進(jìn)行統(tǒng)一化管理，比如通過大數(shù)據(jù)技術(shù)對(duì)各個(gè)服務(wù)組件進(jìn)行合并，運(yùn)用API 方式對(duì)整個(gè)監(jiān)控和運(yùn)行界面進(jìn)行調(diào)控，間接性提高該平臺(tái)的可操作性。

3 水文水情信息大數(shù)據(jù)處理的相關(guān)策略分析

3.1 對(duì)攔截、糾錯(cuò)機(jī)制進(jìn)行建設(shè)和完善

隨著信息技術(shù)的不斷更新和發(fā)展，在水文水情大數(shù)據(jù)處理各環(huán)節(jié)的效率不斷提升，水文數(shù)據(jù)交互環(huán)節(jié)各功能不斷優(yōu)化，使數(shù)據(jù)的精確度和時(shí)效性得以保障。但對(duì)應(yīng)地對(duì)數(shù)據(jù)處理各環(huán)節(jié)的容錯(cuò)率提出更高的要求，一旦在某環(huán)節(jié)出現(xiàn)數(shù)據(jù)處理錯(cuò)誤，則會(huì)導(dǎo)致隨后各環(huán)節(jié)數(shù)據(jù)處理的準(zhǔn)確性，并且由于缺乏攔截、糾錯(cuò)機(jī)制的有效約束，無法對(duì)出現(xiàn)錯(cuò)誤的數(shù)據(jù)進(jìn)行及時(shí)的糾正，可能會(huì)間接性造成相關(guān)損失。因此，為了適應(yīng)后期水文信息傳輸自動(dòng)化水平不斷提升的需求，需要重視攔截、糾錯(cuò)機(jī)制的建設(shè)和完善，結(jié)合實(shí)際情況合理設(shè)置錯(cuò)誤數(shù)據(jù)攔截功能，比如一旦發(fā)現(xiàn)錯(cuò)誤的數(shù)據(jù)，需要及時(shí)對(duì)所接收的數(shù)據(jù)邏輯程序、數(shù)據(jù)的合理性等進(jìn)行全面的判斷，如果請(qǐng)求入庫的數(shù)據(jù)未達(dá)到設(shè)置要求，需要阻止其進(jìn)行數(shù)據(jù)系統(tǒng)，并且需要發(fā)出提醒或者警告的提示，讓相關(guān)工作人員介入進(jìn)行有效處理。

3.2 充分發(fā)揮多庫合一數(shù)據(jù)信息采集方面的優(yōu)勢(shì)

隨著水文服務(wù)對(duì)象范圍的不斷擴(kuò)大，水文信息大數(shù)據(jù)處理各環(huán)節(jié)數(shù)據(jù)量的增加，對(duì)于水文工作者而言，運(yùn)維工作量會(huì)不斷增多，對(duì)應(yīng)的水文工作效率、準(zhǔn)確率會(huì)受到一定影響，不利于水文工作朝著高效、準(zhǔn)確地的方向發(fā)展。針對(duì)這種現(xiàn)狀，要求在水文數(shù)據(jù)庫建設(shè)和利用過程中，需要結(jié)合具體情況合理地應(yīng)用云計(jì)算和大數(shù)據(jù)等技術(shù)，并且為了確保數(shù)據(jù)獲取的各個(gè)路徑暢通，可以利用多庫合一的方式來收集水文相關(guān)數(shù)據(jù)信息[5]。在具體數(shù)據(jù)庫建設(shè)環(huán)節(jié)，可以根據(jù)歷史庫、預(yù)報(bào)庫以及實(shí)時(shí)庫等對(duì)數(shù)據(jù)庫進(jìn)行合理、科學(xué)地分類，凸顯出各個(gè)數(shù)據(jù)庫的功能，更好地為用戶服務(wù)。同時(shí)，為了減輕水文工作人員運(yùn)維工作負(fù)擔(dān)，可以充分利用多庫合一的優(yōu)勢(shì)，對(duì)不同數(shù)據(jù)庫進(jìn)行差異化管理和維護(hù)，從而達(dá)到為客戶服務(wù)的目的。

3.3 重視基礎(chǔ)信息管理

在水文水情信息大數(shù)據(jù)處理過程中，為了防止站點(diǎn)信息缺失、賬號(hào)重復(fù)所引發(fā)的災(zāi)情防控工作的失誤，需要重視站點(diǎn)基礎(chǔ)信息管理，對(duì)當(dāng)前報(bào)汛站點(diǎn)管理制度、措施等進(jìn)行優(yōu)化，對(duì)水文水情數(shù)據(jù)進(jìn)行科學(xué)管理。比如，為了防止站點(diǎn)重復(fù)賬號(hào)的出現(xiàn)，要求每個(gè)報(bào)訊站點(diǎn)通過國(guó)家水情中心進(jìn)行注冊(cè)，在基礎(chǔ)上允許其開展水情傳輸、報(bào)訊等工作，并且為了避免數(shù)據(jù)之間發(fā)生沖突，需要采取統(tǒng)一化的標(biāo)準(zhǔn)對(duì)數(shù)據(jù)來源進(jìn)行把控。

同時(shí)，對(duì)于水調(diào)部門、防汛部門而言，需不斷更新決策軟件的編制，重視站點(diǎn)經(jīng)緯度等基礎(chǔ)信息的登記，從而確?；A(chǔ)信息的完整性和準(zhǔn)確性。

4 結(jié)語

與傳統(tǒng)的水文水情信息處理方式相比較，應(yīng)用大數(shù)據(jù)技術(shù)對(duì)水文水情信息進(jìn)行處理，能夠確保所獲取水情信息具有真實(shí)性和時(shí)效性，并且在實(shí)際維護(hù)和安全性方面具有一定的優(yōu)勢(shì)，比如在開展防汛減災(zāi)工作過程中，應(yīng)用大數(shù)據(jù)技術(shù)能夠及時(shí)、準(zhǔn)確獲取全面的數(shù)據(jù)和信息，能夠依據(jù)這些數(shù)據(jù)信息作出最佳的防汛減災(zāi)方案，從而使災(zāi)害的損失降到最低。