水文大數(shù)據(jù)共享平臺(tái)設(shè)計(jì)分析

摘? 要：在水文行業(yè)實(shí)施數(shù)據(jù)監(jiān)測(cè)期間，需要數(shù)據(jù)共享系統(tǒng)平臺(tái)提供支撐，以便更好地采集、利用及存儲(chǔ)水文信息數(shù)據(jù)，更好地開展有關(guān)水文方面的后續(xù)工作。鑒于此，本文對(duì)基于大數(shù)據(jù)平臺(tái)下的水文信息數(shù)據(jù)共享系統(tǒng)設(shè)計(jì)進(jìn)行深入研究與探討，以期為相關(guān)技術(shù)專家和學(xué)者提供有價(jià)值的參考。

關(guān)鍵詞：大數(shù)據(jù);水文;共享平臺(tái);設(shè)計(jì)

中圖分類號(hào)：P33;TP311.1? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：2096-6903（2020）07-0000-00

0 前言

水文現(xiàn)象作為自然領(lǐng)域內(nèi)水變化及運(yùn)動(dòng)的各種不同現(xiàn)象，其通常指的是自然界中水的變化規(guī)律及時(shí)空分布，所涉及到的數(shù)據(jù)內(nèi)容相對(duì)較多，因此需設(shè)計(jì)數(shù)據(jù)共享系統(tǒng)平臺(tái)，為水文測(cè)驗(yàn)與監(jiān)測(cè)、預(yù)測(cè)等各項(xiàng)工作提供支持。因而，綜合分析基于大數(shù)據(jù)水文信息數(shù)據(jù)共享系統(tǒng)平臺(tái)設(shè)計(jì)，有著一定的現(xiàn)實(shí)意義和價(jià)值。

1 水文數(shù)據(jù)簡(jiǎn)述

水文數(shù)據(jù)以空間、時(shí)間及業(yè)務(wù)信息為核心元素。我國(guó)現(xiàn)階段水文行業(yè)內(nèi)的數(shù)據(jù)統(tǒng)計(jì)分類眾多，如雨水情況實(shí)時(shí)數(shù)據(jù)、基礎(chǔ)水文信息數(shù)據(jù)、水資源信息數(shù)據(jù)庫(kù)、水質(zhì)采樣信息數(shù)據(jù)、水文測(cè)驗(yàn)信息數(shù)據(jù)、山洪災(zāi)害相關(guān)監(jiān)測(cè)信息數(shù)據(jù)等。水文信息數(shù)據(jù)特征集中表現(xiàn)在水質(zhì)、降水、徑流、土壤實(shí)際含水量、泥沙含量、蒸發(fā)等方面。結(jié)合水文行業(yè)當(dāng)前信息數(shù)據(jù)特點(diǎn)，需長(zhǎng)期實(shí)施數(shù)據(jù)監(jiān)測(cè)，因此其有著海量信息數(shù)據(jù)這一顯著特點(diǎn)[1]。

2 系統(tǒng)平臺(tái)設(shè)計(jì)及其實(shí)現(xiàn)

2.1 平臺(tái)設(shè)計(jì)

2.1.1 在系統(tǒng)框架層面

基于大數(shù)據(jù)水文信息數(shù)據(jù)共享系統(tǒng)平臺(tái)設(shè)計(jì)內(nèi)容以數(shù)據(jù)資源、基礎(chǔ)設(shè)施、信息數(shù)據(jù)組織平臺(tái)、保障環(huán)境等模塊為主。數(shù)據(jù)資源模塊，以數(shù)據(jù)信息共享系統(tǒng)平臺(tái)建設(shè)為主要內(nèi)容，內(nèi)含規(guī)劃組織數(shù)據(jù)資源、資源目錄、建立元數(shù)據(jù)標(biāo)準(zhǔn)體系、專用及主體數(shù)據(jù)庫(kù)等模塊;基礎(chǔ)設(shè)施模塊，以機(jī)房、網(wǎng)絡(luò)、硬件模塊為主;信息數(shù)據(jù)組織平臺(tái)，以目錄服務(wù)模塊、信息資源的門戶服務(wù)模塊、信息交換及管理服務(wù)模塊為主，具備數(shù)據(jù)信息共享系統(tǒng)平臺(tái)信息共享及綜合開發(fā)各項(xiàng)支撐功能;而保障環(huán)境模式，則是以容災(zāi)備份、安全、日常管理各項(xiàng)制度、技術(shù)標(biāo)準(zhǔn)等為主。

2.1.2在系統(tǒng)功能層面

本文所設(shè)計(jì)的基于大數(shù)據(jù)水文信息數(shù)據(jù)共享系統(tǒng)平臺(tái)，可提供基礎(chǔ)服務(wù)、資源管理、應(yīng)用支撐各層面服務(wù)等功能，其具有構(gòu)建標(biāo)準(zhǔn)統(tǒng)一、開放、合理應(yīng)用支撐服務(wù)平臺(tái)，可跨地域應(yīng)用，互聯(lián)互通相關(guān)數(shù)據(jù)信息，松耦合式結(jié)構(gòu)應(yīng)用及數(shù)據(jù)集成化等特點(diǎn)。該系統(tǒng)平臺(tái)功能應(yīng)用以目錄服務(wù)、信息數(shù)據(jù)管理及服務(wù)、系統(tǒng)管理、擴(kuò)展服務(wù)等各項(xiàng)功能為主[2]。

（1）在目錄服務(wù)層面：所謂目錄服務(wù)，即基于水文方面大數(shù)據(jù)的檢索服務(wù)，在水文方面元數(shù)據(jù)信息表中，檢索水文動(dòng)態(tài)信息，以動(dòng)態(tài)化分類形式展示給廣大使用者。

（2）在信息數(shù)據(jù)管理及服務(wù)層面：在信息數(shù)據(jù)管理層面，數(shù)據(jù)管理是以數(shù)據(jù)的匯交、存儲(chǔ)及更新等功能為主。數(shù)據(jù)匯交，內(nèi)含數(shù)據(jù)審查和發(fā)布管理各項(xiàng)功能;而數(shù)據(jù)存儲(chǔ)，則可提供數(shù)據(jù)實(shí)體入庫(kù)系統(tǒng)功能，內(nèi)含數(shù)據(jù)抽取、裝載及轉(zhuǎn)換等各項(xiàng)功能;數(shù)據(jù)更新系統(tǒng)功能，即為實(shí)時(shí)化更新信息數(shù)據(jù);那么，在信息數(shù)據(jù)服務(wù)層面上，即目錄服務(wù)的一種深入功能，經(jīng)全文及動(dòng)態(tài)化圖形等檢索技術(shù)，對(duì)不同空間及非空間水文數(shù)據(jù)、結(jié)構(gòu)化其非結(jié)構(gòu)化水文數(shù)據(jù)等，實(shí)施瀏覽、檢索及下載等各項(xiàng)操作。

（3）在系統(tǒng)管理層面：系統(tǒng)管理，其主要是基于大數(shù)據(jù)水文信息數(shù)據(jù)共享系統(tǒng)平臺(tái)整體運(yùn)行管理的各項(xiàng)功能，包含著用戶管理、運(yùn)行監(jiān)控及安全管理等各項(xiàng)功能。

（4）在擴(kuò)展服務(wù)層面：基于大數(shù)據(jù)水文信息數(shù)據(jù)共享系統(tǒng)平臺(tái)擴(kuò)展服務(wù)，其屬于高級(jí)服務(wù)，可實(shí)現(xiàn)數(shù)據(jù)挖掘及各項(xiàng)專題服務(wù)等系統(tǒng)功能。

2.2 具體實(shí)現(xiàn)

2.2.1 在數(shù)據(jù)服務(wù)裝置物理部署層面

本文所設(shè)計(jì)基于大數(shù)據(jù)水文信息數(shù)據(jù)共享系統(tǒng)平臺(tái)，以8臺(tái)主機(jī)所構(gòu)成物理部署分布式測(cè)試環(huán)境，以slaver01-slaver07、master為命名，該部分裝置當(dāng)中分別安置Zookeeper、YARN、Spark2、Map Reduce2、HBase、HDFS等實(shí)現(xiàn)集群部署。啟動(dòng)各節(jié)點(diǎn)，設(shè)定負(fù)載均衡運(yùn)行模式，各個(gè)節(jié)點(diǎn)均配置好Zookeeper、YARN、Spark2、Map Reduce2、HBase、HDFS等所有功能節(jié)點(diǎn)。如果該系統(tǒng)平臺(tái)后續(xù)應(yīng)用期間對(duì)擴(kuò)充性有特殊要求，則本網(wǎng)段所在局域網(wǎng)內(nèi)部則可直接接入全新主機(jī)，配置文件及時(shí)修改處理好，集群當(dāng)中裝置并不需要重新啟動(dòng)。

2.2.2 在應(yīng)用服務(wù)裝置物理部署層面

該項(xiàng)系統(tǒng)平臺(tái)應(yīng)用層內(nèi)部服務(wù)裝置發(fā)布網(wǎng)站為Tomcat，以反向代理Nginx技術(shù)為基礎(chǔ)，將網(wǎng)站性能提升，更好地應(yīng)對(duì)于水文方面海量信息數(shù)據(jù)下載并發(fā)系統(tǒng)請(qǐng)求。服務(wù)發(fā)布節(jié)點(diǎn)以Nginx VIP2、Nginx VIP1為主，安置反向代理Nginx，共享相同虛擬網(wǎng)絡(luò)模塊地址，并對(duì)外部提供水文方面數(shù)據(jù)信息服務(wù)。應(yīng)用復(fù)服務(wù)裝置選定application1-application5，全部安置Tomcat，作為發(fā)布網(wǎng)站當(dāng)中服務(wù)裝置系統(tǒng)程序。下列是應(yīng)用服務(wù)裝置物理部署層面最為具體的表現(xiàn)：在Nginx VIP2、Nginx VIP1這兩個(gè)上面分別部署好信息分發(fā)裝置Nginx，把前端業(yè)務(wù)服務(wù)消息負(fù)載部分均衡轉(zhuǎn)發(fā)至application1-application5內(nèi)部Tomcat;在Nginx VIP2、Nginx VIP1這兩個(gè)上面分別部署好虛擬網(wǎng)絡(luò)信息地址系統(tǒng)管理軟件，安置兩臺(tái)主機(jī)用于虛擬網(wǎng)絡(luò)信息地址共享，主節(jié)點(diǎn)設(shè)定為Nginx VIP1，Nginx VIP有故障問(wèn)題發(fā)生后，IP虛擬地址會(huì)切換至Nginx VIP2當(dāng)中。各臺(tái)應(yīng)用服務(wù)裝置內(nèi)均需將Tomcat安置好，將相同網(wǎng)站內(nèi)客戶端系統(tǒng)程序全部部署好，同步連接數(shù)據(jù)信息服務(wù)裝置集群，便于實(shí)現(xiàn)水文數(shù)據(jù)信息有效獲取[3]。

2.2.3 在語(yǔ)言架構(gòu)開發(fā)和實(shí)現(xiàn)層面

基于大數(shù)據(jù)水文信息數(shù)據(jù)共享系統(tǒng)平臺(tái)，可實(shí)現(xiàn)數(shù)據(jù)瀏覽和管理、目錄服務(wù)、系統(tǒng)服務(wù)及擴(kuò)展服務(wù)等各項(xiàng)功能。系統(tǒng)后臺(tái)以JAVA語(yǔ)言、Spring MVC架構(gòu)為主，系統(tǒng)前端部分則是以Javascript系統(tǒng)語(yǔ)言開發(fā)、Bootstrap 為主。Spring MVC架構(gòu)，其基于Model-View-Controller系統(tǒng)模式實(shí)現(xiàn)，有效分離數(shù)據(jù)、視圖及業(yè)務(wù)，對(duì)程序系統(tǒng)開發(fā)當(dāng)中各個(gè)對(duì)象實(shí)施有效管理。數(shù)據(jù)基礎(chǔ)模型，屬于所需展示數(shù)據(jù)信息，以數(shù)據(jù)及行為為主，可提供模型數(shù)據(jù)信息檢索及狀態(tài)更新相關(guān)功能;而視圖主要負(fù)責(zé)展示模型，與最終客戶展現(xiàn)出直接交互界面;控制裝置接收到用戶請(qǐng)求后，委托模型加以處理，完成處理后返回至模型數(shù)據(jù)，最終返回至視圖，視圖予以展示?；诖耍捎行Х蛛x模型與視圖，控制裝置當(dāng)中也可有效分離功能處理及邏輯控制，控制裝置內(nèi)部視圖選定及視圖技術(shù)也得以分離化，視圖模塊僅包含著展現(xiàn)web系統(tǒng)頁(yè)面內(nèi)容，無(wú)其余的邏輯功能，對(duì)系統(tǒng)總體框架來(lái)說(shuō)有著明確及精煉作用;Bootstrap，其是以Java Script、CSS、HTML為基礎(chǔ)結(jié)構(gòu)，能實(shí)現(xiàn)前端框架快速搭建，開發(fā)出全相應(yīng)形式的網(wǎng)頁(yè)，自適應(yīng)所有客戶端及其瀏覽裝置，包含手機(jī)、平板、筆記本及臺(tái)式計(jì)算機(jī)等等，可以為廣大開發(fā)者所創(chuàng)建的接口來(lái)提供統(tǒng)一簡(jiǎn)潔化處理方案或者措施，設(shè)定具備強(qiáng)大功能內(nèi)置組件，確保能夠?qū)崿F(xiàn)完全開源。

3 結(jié)語(yǔ)

綜上所述，本文所設(shè)計(jì)的基于大數(shù)據(jù)水文信息數(shù)據(jù)共享系統(tǒng)平臺(tái)經(jīng)運(yùn)行測(cè)試后并未產(chǎn)生系統(tǒng)運(yùn)行問(wèn)題，可長(zhǎng)期維持可靠的穩(wěn)定運(yùn)行狀態(tài)，為水文監(jiān)測(cè)各項(xiàng)工作提供強(qiáng)有力的系統(tǒng)支持，因此值得持續(xù)推廣及運(yùn)用。

參考文獻(xiàn)

[1]瞿海妮，龐徐瑋，尤鳴宇，等.電力大數(shù)據(jù)的應(yīng)用價(jià)值及其共享平臺(tái)分析與設(shè)計(jì)[J]. 經(jīng)營(yíng)與管理，2017，25（7）：104-108.

[2]曾毅.大數(shù)據(jù)環(huán)境下信息資源共享平臺(tái)建設(shè)研究[J].信息與電腦，2016，22（3）：111-113.

[3]邱超，王威.基于云計(jì)算架構(gòu)的水文大數(shù)據(jù)云平臺(tái)建設(shè)[J].人民長(zhǎng)江，2018，49（5）：313-315.

收稿日期：2020-05-10

作者簡(jiǎn)介：卞黎明（1995—），女，河南南陽(yáng)人，本科，助理工程師，研究方向：水文水資源工程。

Design and Analysis of Hydrological Big Data Sharing Platform

BIAN Liming

（Nanyang Hydrology and Water Resources Survey Bureau of Henan Province，? Nanyang? ?Henan? 473000）

Abstract：During the implementation of data monitoring in the hydrological industry， data sharing system platforms are often required to provide support to better collect， sort， utilize and store hydrological information data， and facilitate better follow-up work in hydrology. In view of this， this article mainly conducts in-depth research and discussion on the design of the hydrological information data sharing system based on the big data platform， and hopes to provide valuable guidance or reference for more technical experts and scholars in the practical research of such topics.

Keywords：big data;hydrology;sharing platform;design