基于大數(shù)據(jù)技術(shù)的水情云數(shù)據(jù)中心設(shè)計(jì)與研究

邱超，許金濤，元曉華

（1.浙江省水文局，浙江杭州310009；2.浙江大學(xué)環(huán)境與資源學(xué)院農(nóng)業(yè)遙感與信息技術(shù)應(yīng)用研究所，浙江杭州310058）

隨著浙江省水情信息化建設(shè)的大力推進(jìn)，全省水情數(shù)據(jù)量已擴(kuò)展到TB/PB級(jí)，包括地形地理數(shù)據(jù)、水利工情數(shù)據(jù)、高頻次海量遙測(cè)及人工的實(shí)時(shí)與歷史水雨情數(shù)據(jù)、水文預(yù)測(cè)預(yù)報(bào)數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)和遙感圖像、重要河道斷面圖像視頻、水文分析總結(jié)成果文檔等非結(jié)構(gòu)化數(shù)據(jù)兩類。傳統(tǒng)的數(shù)據(jù)采集和存儲(chǔ)管理方式已不適應(yīng)當(dāng)前對(duì)應(yīng)用數(shù)據(jù)的需求。從應(yīng)用角度看，水情數(shù)據(jù)是水利防汛的重要信息來源。隨著“以人為本”防汛理念的提出，對(duì)防汛的要求日益提高，特別是近幾年極端氣候頻發(fā)，河流源短流急，小流域山洪具有突發(fā)性、水量集中流速大、沖刷破壞力強(qiáng)等特點(diǎn)［1］，勢(shì)必對(duì)水情數(shù)據(jù)管理系統(tǒng)的運(yùn)行效率有更高的要求。全國大數(shù)據(jù)戰(zhàn)略的提出，為水情大數(shù)據(jù)中心的建設(shè)提供了很好的發(fā)展契機(jī)，相關(guān)技術(shù)也已相對(duì)成熟［2-3］。充分運(yùn)用成熟的大數(shù)據(jù)存儲(chǔ)、管理、挖掘分析技術(shù)，建設(shè)水情云數(shù)據(jù)中心，為后續(xù)水情信息的信息化推進(jìn)及數(shù)據(jù)挖掘共享提供強(qiáng)大的動(dòng)力。

1 國內(nèi)外研究進(jìn)展

近年來，遙感、遙測(cè)等信息收集技術(shù)在水文領(lǐng)域的快速發(fā)展與大量應(yīng)用，極大豐富了水情數(shù)據(jù)的時(shí)間尺度、空間尺度以及數(shù)據(jù)類型，水情數(shù)據(jù)量急劇膨脹，種類趨向多元化。

水情數(shù)據(jù)中心用于管理的這些高頻異構(gòu)水情數(shù)據(jù)，是搭建水信息資源共享環(huán)境與服務(wù)體系的核心，亦是推動(dòng)我國水利行業(yè)精細(xì)化、現(xiàn)代化管理的必要條件。早在2008年初，水利部便印發(fā)了《水利數(shù)據(jù)中心建設(shè)指導(dǎo)意見》，制定了《國家水利數(shù)據(jù)中心建設(shè)基本技術(shù)要求》。如今，各地水利數(shù)據(jù)中心建設(shè)成績斐然。

廣東省水利數(shù)據(jù)中心作為國內(nèi)首個(gè)省級(jí)水利數(shù)據(jù)中心，建立了存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)的25類數(shù)據(jù)庫、存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的分塊云存儲(chǔ)和多級(jí)元數(shù)據(jù)存儲(chǔ)，整合了各類信息資源數(shù)據(jù)記錄和GIS圖層水利數(shù)據(jù)專題要素，實(shí)現(xiàn)了全省的數(shù)據(jù)交換共享平臺(tái)。統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、標(biāo)準(zhǔn)的服務(wù)模塊與接口、高效的水情數(shù)據(jù)處理及發(fā)布共享，極大提高了廣東省水利工作的效率，同時(shí)也形成了豐富的成果［4-5］。吉林省為建設(shè)水情數(shù)據(jù)中心，規(guī)范全省水情數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一格式、統(tǒng)一管理，初步做到了水情數(shù)據(jù)的互聯(lián)互通和資源共享［6］。山東省水情數(shù)據(jù)中心將運(yùn)營管理平臺(tái)部署在云服務(wù)器上，云平臺(tái)為數(shù)據(jù)中心分配虛擬機(jī)，并為應(yīng)用系統(tǒng)建設(shè)分配數(shù)據(jù)庫和數(shù)據(jù)庫容量，創(chuàng)建中心文檔庫，存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)［7］。

目前，研究者已著于從技術(shù)層面優(yōu)化水情數(shù)據(jù)中心的架構(gòu)和部署。馬澤生等［8］圍繞低碳能效型水情數(shù)據(jù)中心的建設(shè)，利用虛擬化技術(shù)整合服務(wù)器、存儲(chǔ)器、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施，將水情數(shù)據(jù)中心的利用率提高至80%以上。吳涵宇等［9］采用物理遷移與邏輯遷移的方式匯集異構(gòu)的、分布式水情數(shù)據(jù)，并以GIS空間數(shù)據(jù)為框架，通過統(tǒng)一的數(shù)據(jù)模型和對(duì)象編碼，構(gòu)建物理集中與邏輯映射相結(jié)合的數(shù)據(jù)庫群，對(duì)數(shù)據(jù)中心的數(shù)據(jù)資源進(jìn)行管理和維護(hù)。王海峰［10］探索了物聯(lián)網(wǎng)、虛擬化和云計(jì)算等技術(shù)在寧夏水利數(shù)據(jù)中心的應(yīng)用。陳德清等［11］將網(wǎng)格技術(shù)用于水利數(shù)據(jù)中心的異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)集成，實(shí)現(xiàn)了分散數(shù)據(jù)的集成訪問和應(yīng)用。胡金龍等［12］對(duì)水情數(shù)據(jù)中心的數(shù)據(jù)交互以及應(yīng)用服務(wù)技術(shù)做了研究，為異構(gòu)數(shù)據(jù)庫之間頻繁的數(shù)據(jù)匯集問題、數(shù)據(jù)中心不同用戶節(jié)點(diǎn)的數(shù)據(jù)共享問題等設(shè)計(jì)了解決方案。龔琪慧等［13］總結(jié)了水利大數(shù)據(jù)架構(gòu)、實(shí)時(shí)數(shù)據(jù)處理和元數(shù)據(jù)等關(guān)鍵技術(shù)，提出了傳統(tǒng)關(guān)系型數(shù)據(jù)庫與分布式文件系統(tǒng)相結(jié)合的水利數(shù)據(jù)中心架構(gòu)。楊楚驊［14］以廣州市水利數(shù)據(jù)中心建設(shè)為例，提出了基于面向服務(wù)架構(gòu)的水利地理信息數(shù)據(jù)中心的建設(shè)思路，給出了水情數(shù)據(jù)的整合與共享建議。

存儲(chǔ)、處理、分析高頻且異構(gòu)的水情數(shù)據(jù)并不容易，傳統(tǒng)的數(shù)據(jù)倉庫等技術(shù)均無法勝任。過去10年，大數(shù)據(jù)技術(shù)在數(shù)據(jù)存儲(chǔ)、分發(fā)、查詢和分析上取得了重大進(jìn)展。計(jì)算機(jī)及數(shù)據(jù)領(lǐng)域的學(xué)者開發(fā)了許多工具，用于操控大型數(shù)據(jù)集。例如穩(wěn)定地匯集和傳輸海量異構(gòu)的數(shù)據(jù)、快捷地查詢數(shù)據(jù)、高效地分析發(fā)布數(shù)據(jù)等。SHAFIEE等［15］將大數(shù)據(jù)技術(shù)用于水情系統(tǒng)中的水情數(shù)據(jù)匯集和分析模塊，并對(duì)數(shù)據(jù)中心的高效自動(dòng)化數(shù)據(jù)匯集以及異構(gòu)數(shù)據(jù)的建模進(jìn)行了展望。HU等［16］使用基于Hadoop的云計(jì)算技術(shù)和基于多項(xiàng)式混沌擴(kuò)展的方差分解方法，利用大量大規(guī)模的水文模型和異構(gòu)水情數(shù)據(jù)，評(píng)估流域地下水位的下降程度，計(jì)算和處理速度較傳統(tǒng)方法提升了500倍。

將大數(shù)據(jù)、云平臺(tái)等技術(shù)運(yùn)用于水情數(shù)據(jù)中心，是國內(nèi)外水文行業(yè)研究和應(yīng)用的熱點(diǎn)。本文研究了先進(jìn)的分布式水情數(shù)據(jù)采集技術(shù)、智能數(shù)據(jù)過濾技術(shù)、大數(shù)據(jù)存儲(chǔ)技術(shù)，以浙江省為研究區(qū)域，將分散的水情數(shù)據(jù)進(jìn)行整合，實(shí)現(xiàn)對(duì)水情大數(shù)據(jù)的質(zhì)量控制、深度挖掘和高效共享，以滿足水利業(yè)務(wù)和事務(wù)的現(xiàn)代化發(fā)展需要。

2 浙江省水情數(shù)據(jù)現(xiàn)狀

目前，浙江省水情數(shù)據(jù)中心總數(shù)據(jù)量已達(dá)PB級(jí)，日處理數(shù)據(jù)量在TB級(jí)以上，主要包括以下幾方面數(shù)據(jù)：

2.1 全省高精度的地形、地理數(shù)據(jù)

全省地形、地理數(shù)據(jù)主要包括：全省萬分之一的地形數(shù)據(jù)（局部地區(qū)分辨率達(dá)100 m）、高精度的河道數(shù)據(jù)、水情站點(diǎn)及水利工程分布數(shù)據(jù)、行政區(qū)劃數(shù)據(jù)、地形數(shù)據(jù)等，總數(shù)據(jù)量達(dá)到TB級(jí)。

2.2 高頻次海量實(shí)時(shí)遙測(cè)水雨情數(shù)據(jù)

遙測(cè)站點(diǎn)的數(shù)量、采集頻次及要素均發(fā)生了質(zhì)的變化：（1）遙測(cè)站從初期的幾百家增加到現(xiàn)在的6 000家左右，增加了10多倍。（2）采集頻率也從以前的1次·h-1提高到現(xiàn)在的0.2次·min-1，個(gè)別潮位站點(diǎn)甚至提高到 1次·min-1，增加了 12倍以上。（3）采集要素從最初的雨量水位，到現(xiàn)在的流量、蒸發(fā)、氣溫、氣壓等，要素量也增加了2倍以上。

這些變化導(dǎo)致數(shù)據(jù)量增加了240倍以上，數(shù)據(jù)量從以前的年GB級(jí)增加到現(xiàn)在的TB級(jí)，日處理遙測(cè)數(shù)據(jù)量也在GB級(jí)以上。

2.3 不斷增長的歷史水情數(shù)據(jù)

已存有從20世紀(jì)50年代至今60多年的水文歷史數(shù)據(jù)，包括文本數(shù)據(jù)、圖片掃描數(shù)據(jù)以及經(jīng)整編的水情結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)量已達(dá)TB級(jí)以上。近年來，隨著站點(diǎn)的不斷建設(shè)，數(shù)據(jù)呈指數(shù)級(jí)增長。

2.4 每年更新的全省河道斷面及河道地形數(shù)據(jù)

2010年，浙江省開展了分布式洪水預(yù)報(bào)系統(tǒng)的建設(shè)，對(duì)主要河流進(jìn)行了洪水預(yù)報(bào)。該系統(tǒng)需高精度的河道斷面數(shù)據(jù)和河道地形數(shù)據(jù)做支撐，目前數(shù)據(jù)量已達(dá)TB級(jí)。隨著全省主要流域分布式洪水預(yù)報(bào)建設(shè)的發(fā)展，河道斷面及地形數(shù)據(jù)將以指數(shù)級(jí)遞增，急需一個(gè)支持大數(shù)據(jù)的存儲(chǔ)系統(tǒng)。

2.5 高頻次多波段大尺度遙感衛(wèi)片數(shù)據(jù)

浙江省近年引入了遙感數(shù)據(jù)分析系統(tǒng)，對(duì)全省的災(zāi)情和旱情進(jìn)行實(shí)時(shí)監(jiān)視。遙感系統(tǒng)每天會(huì)接收10 GB以上的原始數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行分析處理，生成各類分析專題圖表。隨著系統(tǒng)開發(fā)的深入，遙感數(shù)據(jù)量越來越大，現(xiàn)有的存儲(chǔ)和分析系統(tǒng)將面臨較大的運(yùn)行瓶頸。

2.6 大量非結(jié)構(gòu)化的水文分析和總結(jié)文檔

當(dāng)前，省、地市及縣級(jí)水文分析成果都匯集到現(xiàn)有的水情中心，其中含有大量文檔、圖片和視頻材料等非結(jié)構(gòu)性數(shù)據(jù)。目前所用的結(jié)構(gòu)化分析方法已無法滿足異構(gòu)數(shù)據(jù)深度分析的要求，只有采用深度數(shù)據(jù)挖掘技術(shù)以及非結(jié)構(gòu)化存儲(chǔ)方式，才能對(duì)從異構(gòu)數(shù)據(jù)中挖掘到的有價(jià)值的信息進(jìn)行高效科學(xué)的分析。

3 系統(tǒng)建設(shè)主要內(nèi)容

本研發(fā)系統(tǒng)將采用大數(shù)據(jù)存儲(chǔ)分析技術(shù)，通過全面整合分散的各類水情數(shù)據(jù)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)量水情信息的深度挖掘分析，生成科學(xué)的分析報(bào)告。對(duì)有價(jià)值的信息資源進(jìn)行資源共享，以滿足新形勢(shì)下水利防汛對(duì)水情業(yè)務(wù)的要求。系統(tǒng)總體架構(gòu)如圖1所示。

圖1 系統(tǒng)總體架構(gòu)圖Fig.1 The overall architecture of the system

水情云數(shù)據(jù)中心建設(shè)，主要包括以下內(nèi)容：

3.1 分布式水情信息采集子系統(tǒng)

水情信息資源中心需對(duì)不同來源的異構(gòu)數(shù)據(jù)進(jìn)行實(shí)時(shí)匯集，主要包括采集數(shù)據(jù)、基層節(jié)點(diǎn)數(shù)據(jù)及其他領(lǐng)域交換的數(shù)據(jù)。采用數(shù)據(jù)實(shí)時(shí)抽取技術(shù)，對(duì)多源、異構(gòu)、多時(shí)空尺度數(shù)據(jù)進(jìn)行動(dòng)態(tài)抽取和集成，生成標(biāo)準(zhǔn)化的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，并統(tǒng)一存儲(chǔ)在混合型的存儲(chǔ)系統(tǒng)中。

3.2 海量水情信息存儲(chǔ)子系統(tǒng)

水情大數(shù)據(jù)中心架構(gòu)將對(duì)結(jié)構(gòu)性數(shù)據(jù)存儲(chǔ)系統(tǒng)和非結(jié)構(gòu)性數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行融合，共同支撐水情大數(shù)據(jù)存儲(chǔ)。2種存儲(chǔ)系統(tǒng)之間可以通過抽取轉(zhuǎn)換進(jìn)行相互通訊，實(shí)現(xiàn)數(shù)據(jù)的無縫對(duì)接。并采用元數(shù)據(jù)技術(shù)，對(duì)各種數(shù)據(jù)進(jìn)行描述和定義，為系統(tǒng)提供更高的可用性和易有性。

3.3 水情信息分發(fā)子系統(tǒng)

系統(tǒng)可通過高效的數(shù)據(jù)分發(fā)機(jī)制，通過數(shù)據(jù)的分發(fā)定制功能，將應(yīng)用端定制的各種水情信息資源實(shí)時(shí)分發(fā)到各個(gè)應(yīng)用部門或社會(huì)相關(guān)機(jī)構(gòu)，為各服務(wù)對(duì)象提供高質(zhì)、高效的數(shù)據(jù)資源支持。

3.4 水情云數(shù)據(jù)中心管理平臺(tái)

用戶通過PC端或移動(dòng)終端，對(duì)水情云數(shù)據(jù)中心平臺(tái)進(jìn)行在線管理和監(jiān)視。管理用戶可在線監(jiān)視系統(tǒng)運(yùn)行的各項(xiàng)參數(shù)，同時(shí)可設(shè)定一些關(guān)鍵參數(shù)，及時(shí)監(jiān)控預(yù)警，確保系統(tǒng)正常有序運(yùn)行。

4 系統(tǒng)建設(shè)關(guān)鍵技術(shù)及難點(diǎn)

4.1 分布式水情數(shù)據(jù)采集

采用分布式采集技術(shù)可采集到各類與水情相關(guān)的數(shù)據(jù)，水情數(shù)據(jù)種類繁多，按格式分，有：（1）結(jié)構(gòu)化數(shù)據(jù)，例如實(shí)時(shí)水雨情數(shù)據(jù)、水文預(yù)報(bào)數(shù)據(jù)、數(shù)值降雨預(yù)報(bào)數(shù)據(jù)、工情數(shù)據(jù)、采集設(shè)備狀態(tài)數(shù)據(jù)等；（2）半結(jié)構(gòu)化數(shù)據(jù)，例如衛(wèi)星云圖、衛(wèi)星降雨數(shù)據(jù)產(chǎn)品、衛(wèi)星土壤墑情數(shù)據(jù)、衛(wèi)星洪水淹沒監(jiān)測(cè)數(shù)據(jù)、多普勒雷達(dá)數(shù)據(jù)、臺(tái)風(fēng)路徑數(shù)據(jù)、氣象數(shù)據(jù)產(chǎn)品等；（3）非結(jié)構(gòu)化數(shù)據(jù)，例如視頻監(jiān)控影像、地質(zhì)災(zāi)害預(yù)警報(bào)告、水文專題總結(jié)報(bào)告、無人機(jī)采集影像數(shù)據(jù)等。按數(shù)據(jù)來源分，有水文行業(yè)自有數(shù)據(jù)（水雨情數(shù)據(jù)、水文分析數(shù)據(jù)等）、合作方提供數(shù)據(jù)（如氣象局）和公共數(shù)據(jù)資源（如互聯(lián)網(wǎng)上抓取的氣象產(chǎn)品及地理信息等）。

采集子系統(tǒng)的功能架構(gòu)如圖2所示，覆蓋數(shù)據(jù)從標(biāo)準(zhǔn)化預(yù)處理、抽取、校驗(yàn)、過濾、清洗直至加載到大數(shù)據(jù)存儲(chǔ)系統(tǒng)的全過程。

分布式數(shù)據(jù)采集子系統(tǒng)可以針對(duì)不同的數(shù)據(jù)源類型和格式，提供多種數(shù)據(jù)抽取方式與之適配，例如數(shù)據(jù)庫直連、Web service接口連接、RESTful API調(diào)用、共享文件讀取、FTP服務(wù)器文件下載、文件導(dǎo)入、手工錄入等，并對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)、清洗、加載等操作，最終將數(shù)據(jù)存儲(chǔ)到大數(shù)據(jù)存儲(chǔ)子系統(tǒng)中。

圖2 分布式數(shù)據(jù)采集子系統(tǒng)架構(gòu)Fig.2 Architecture of distributed data acquisition subsystem

針對(duì)不同的數(shù)據(jù)類型，采取不同的引擎實(shí)現(xiàn)多源、異構(gòu)、分布式數(shù)據(jù)采集。水文大數(shù)據(jù)的采集任務(wù)由Datahub流式數(shù)據(jù)采集引擎和阿里云StreamCompute流式處理采集引擎共同完成。

4.1.1 流式采集引擎

相較傳統(tǒng)的以SDK或服務(wù)的形式采集數(shù)據(jù)的方式，流式采集引擎具有高吞吐、低延遲、單條任務(wù)TB級(jí)別的寫入能力，配置更靈活，且接口簡單，可滿足不同的場景需求。

針對(duì)數(shù)據(jù)源格式多樣、復(fù)雜的特性，批處理采集任務(wù)可采用定制的ETL（extract transform load）工具來實(shí)現(xiàn)，使用Java開發(fā)框架并利用JVM實(shí)現(xiàn)一次開發(fā)多平臺(tái)（不受操作系統(tǒng)局限）使用。ETL工具數(shù)據(jù)流設(shè)計(jì)示例如圖3所示。

ETL工具的另一優(yōu)勢(shì)是不僅完美支持結(jié)構(gòu)化數(shù)據(jù)，而且也支持半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，且以文件的形式采集進(jìn)入大數(shù)據(jù)存儲(chǔ)平臺(tái)。開發(fā)的采集任務(wù)以JAR形式打包，已運(yùn)行在多臺(tái)云服務(wù)器ECS中，并通過了元數(shù)據(jù)管理。采集子系統(tǒng)操作界面提供JAR包的調(diào)用配置，由門戶配置調(diào)度系統(tǒng)提供的定時(shí)輪詢觸發(fā)執(zhí)行采集任務(wù)。

圖3 ETL工具數(shù)據(jù)流設(shè)計(jì)Fig.3 Data flow design using ETL

4.1.2 流式處理引擎

與批處理引擎擅長處理離線數(shù)據(jù)不同，流式處理引擎由存儲(chǔ)和計(jì)算2個(gè)模塊組成，擅長實(shí)時(shí)處理［17］。阿里云最新一代的流式引擎Blink是一種較為純粹和完善的流計(jì)算技術(shù)，在理論模型上具備了流計(jì)算的所有特質(zhì)。StreamCompute為以Blink流式計(jì)算引擎為核心技術(shù)構(gòu)建的流式計(jì)算框架，滿足了海量數(shù)據(jù)實(shí)時(shí)分析的需求。StreamCompute流式計(jì)算框架的數(shù)據(jù)源可不斷更新，即收到一條數(shù)據(jù)處理一條［18］。通過StreamCompute提供可靠的處理無限數(shù)據(jù)流能力，可實(shí)時(shí)進(jìn)行數(shù)據(jù)清洗，同時(shí)還可實(shí)現(xiàn)對(duì)視頻流的實(shí)時(shí)處理和專業(yè)模型的實(shí)時(shí)計(jì)算。

4.2 原始采集數(shù)據(jù)質(zhì)量控制

在通過分布式采集技術(shù)采集的數(shù)據(jù)中，存在大量不合格或錯(cuò)誤數(shù)據(jù)，通過建立數(shù)據(jù)質(zhì)量管控體系對(duì)進(jìn)入系統(tǒng)的數(shù)據(jù)進(jìn)行有效管理。

4.2.1 數(shù)據(jù)質(zhì)量分類

按等級(jí)分，數(shù)據(jù)可分為錯(cuò)誤數(shù)據(jù)和可疑數(shù)據(jù)，見圖4。系統(tǒng)有針對(duì)性地采取不同的處理策略對(duì)校驗(yàn)后數(shù)據(jù)構(gòu)建完整的質(zhì)量管控體系。

4.2.2 數(shù)據(jù)質(zhì)量管控流程

圖4 數(shù)據(jù)質(zhì)量分類Fig.4 Data quality classification

錯(cuò)誤數(shù)據(jù)可分為系統(tǒng)性錯(cuò)誤數(shù)據(jù)和業(yè)務(wù)型錯(cuò)誤數(shù)據(jù)，系統(tǒng)性錯(cuò)誤數(shù)據(jù)（如測(cè)量時(shí)間明顯錯(cuò)誤）會(huì)直接被攔截，原始水文數(shù)據(jù)在ODS臨時(shí)存儲(chǔ)中，保留其原始數(shù)據(jù)格式。其他數(shù)據(jù)在進(jìn)入系統(tǒng)前不會(huì)被攔截和過濾，而是在根據(jù)配置信息對(duì)其進(jìn)行校驗(yàn)后標(biāo)注數(shù)據(jù)質(zhì)量（校驗(yàn)置信度的計(jì)算并標(biāo)注），根據(jù)標(biāo)注的數(shù)據(jù)質(zhì)量（是否為業(yè)務(wù)型錯(cuò)誤數(shù)據(jù)）由下一環(huán)節(jié)對(duì)其進(jìn)行過濾，過濾后的數(shù)據(jù)進(jìn)入后續(xù)處理環(huán)節(jié)。業(yè)務(wù)型錯(cuò)誤數(shù)據(jù)根據(jù)基于簡單的上下限區(qū)間設(shè)置來判斷。由系統(tǒng)提供的規(guī)則配置頁面按站點(diǎn)的錯(cuò)誤數(shù)據(jù)上下限進(jìn)行配置，操作界面的測(cè)站數(shù)據(jù)類別略有不同，如雨量、河道、水庫、潮位、日蒸發(fā)量、河道均值、水庫均值、降水量等。具體流程如圖5所示。

4.2.3 可疑數(shù)據(jù)校驗(yàn)算法

有別于錯(cuò)誤數(shù)據(jù)，對(duì)采集的可疑數(shù)據(jù)的處理原則是先放行，但要有可疑數(shù)據(jù)警示標(biāo)注。過去的可疑數(shù)據(jù)校驗(yàn)與錯(cuò)誤數(shù)據(jù)校驗(yàn)方法類似，基于預(yù)先設(shè)定好的可疑上下限參數(shù)配置采用一刀切方法，無法準(zhǔn)確計(jì)算數(shù)據(jù)的有效性。

如圖6所示的水位過程線，B點(diǎn)的數(shù)值雖然超出了可疑上限設(shè)置，但相對(duì)于當(dāng)時(shí)的水位來說，數(shù)據(jù)質(zhì)量無任何問題。從對(duì)應(yīng)的測(cè)量時(shí)間點(diǎn)來看，A點(diǎn)所標(biāo)注的測(cè)量數(shù)據(jù)顯然是錯(cuò)誤的，但僅依賴固定邊界值尚無法準(zhǔn)確甄別可疑數(shù)據(jù)。

新的水文數(shù)據(jù)資源中心將采用更智能的校驗(yàn)算法檢驗(yàn)實(shí)時(shí)水雨情數(shù)據(jù)質(zhì)量。如對(duì)上文描述的質(zhì)量管控場景，可采用移動(dòng)均值等時(shí)間序列平滑預(yù)測(cè)手段，結(jié)合對(duì)數(shù)據(jù)偏離度上限的配置進(jìn)行更加準(zhǔn)確科學(xué)的數(shù)據(jù)質(zhì)量智能校驗(yàn)。

應(yīng)用智能算法，校驗(yàn)上文描述場景的效果改良示意圖見圖7。

圖5 數(shù)據(jù)質(zhì)量管控流程Fig.5 Process of data quality control

圖6 傳統(tǒng)的可疑數(shù)據(jù)校驗(yàn)Fig.6 Traditional suspicious data validation

除時(shí)間序列預(yù)測(cè)方法在數(shù)據(jù)質(zhì)量校驗(yàn)中的應(yīng)用外，系統(tǒng)還提供其他定制開發(fā)的智能數(shù)據(jù)檢驗(yàn)算法，將復(fù)雜的算法與雷達(dá)、云圖、周邊站點(diǎn)、空間位置及上下游關(guān)系相結(jié)合，專門建立相應(yīng)的質(zhì)控模型，進(jìn)行數(shù)據(jù)質(zhì)量的挖掘分析。

4.3 大數(shù)據(jù)存儲(chǔ)

水文數(shù)據(jù)中心采用關(guān)系型數(shù)據(jù)存儲(chǔ)、分布式NoSQL數(shù)據(jù)庫存儲(chǔ)和分布式文件對(duì)象存儲(chǔ)相結(jié)合的方式，支持不同的數(shù)據(jù)類型（結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化）。3種數(shù)據(jù)庫對(duì)應(yīng)的公有云服務(wù)組件分別為RDS關(guān)系型數(shù)據(jù)庫、TableStore表格存儲(chǔ)以及OSS對(duì)象存儲(chǔ)。

4.3.1 RDS關(guān)系型數(shù)據(jù)庫存儲(chǔ)

RDS是傳統(tǒng)關(guān)系型數(shù)據(jù)庫的云端服務(wù)化實(shí)現(xiàn)，可提供與傳統(tǒng)關(guān)系型數(shù)據(jù)庫完全一致的功能。平臺(tái)將采用與源數(shù)據(jù)相同技術(shù)的RDS for SQL Server，將校驗(yàn)失敗的采集數(shù)據(jù)，按源數(shù)據(jù)格式原封保存。

圖7 可疑數(shù)據(jù)智能校驗(yàn)Fig.7 Intelligent verification of suspicious data

4.3.2 TableStore表格存儲(chǔ)

表格存儲(chǔ)服務(wù)中的數(shù)據(jù)存儲(chǔ)模式可類比開源技術(shù)中的Hbase，是基于鍵值（key-value）實(shí)現(xiàn)的大數(shù)據(jù)寬表存儲(chǔ)。不同的鍵值將按取值范圍分配到不同的存儲(chǔ)單元，由集群底層架構(gòu)實(shí)現(xiàn)分布式存儲(chǔ)及備份，并對(duì)鍵值建立高速索引。水雨情遙測(cè)數(shù)據(jù)通常以“時(shí)間+站點(diǎn)”作為key值，數(shù)據(jù)采集頻率高且數(shù)量驚人，非常適合表格存儲(chǔ)的行鍵（rowkey）特性實(shí)現(xiàn)高速寫入及掃描，實(shí)現(xiàn)數(shù)據(jù)的海量存儲(chǔ)及高效調(diào)用。

4.3.3 OSS對(duì)象存儲(chǔ)

對(duì)象存儲(chǔ)可以簡單理解為一個(gè)云端的文件磁盤，用來存儲(chǔ)數(shù)量龐大的文件。同時(shí)，公有云對(duì)象存儲(chǔ)還可提供針對(duì)多媒體數(shù)據(jù)的便捷操作服務(wù)，如視頻數(shù)據(jù)的編碼解碼、圖像文件的直接調(diào)用等。

4.4 水情云數(shù)據(jù)中心管理

管理中心為各類用戶提供統(tǒng)一和便捷的數(shù)據(jù)訪問及系統(tǒng)管理入口。用戶角色類型包括各級(jí)系統(tǒng)管理員、各類相關(guān)部門用戶、訪客等，并支持自定義角色和權(quán)限。

對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的管理，云平臺(tái)采用Hadoop中的分布式文件系統(tǒng)（Hadoop distributed file system，HDFS）。HDFS具有高容錯(cuò)性、高吞吐量等特點(diǎn)，能對(duì)PB級(jí)數(shù)據(jù)進(jìn)行快速并行處理，且成本較低。對(duì)半結(jié)構(gòu)化數(shù)據(jù)，在云平臺(tái)上部署NoSQL服務(wù)進(jìn)行存儲(chǔ)管理；對(duì)結(jié)構(gòu)化數(shù)據(jù)，繼續(xù)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫。這些數(shù)據(jù)庫服務(wù)均部署在云上，通過集成融合平臺(tái)進(jìn)行集中管理，需要時(shí)，通過共享交換平臺(tái)提取。

4.5 可配置的數(shù)據(jù)分發(fā)

水文數(shù)據(jù)中心需要實(shí)現(xiàn)定制化的業(yè)務(wù)數(shù)據(jù)分發(fā)，并提供界面進(jìn)行管理。系統(tǒng)滿足分布式數(shù)據(jù)分發(fā)的特點(diǎn)，只要互聯(lián)網(wǎng)能聯(lián)通，就能執(zhí)行數(shù)據(jù)分發(fā)或調(diào)用請(qǐng)求。需通過統(tǒng)計(jì)手段對(duì)水文數(shù)據(jù)資源分發(fā)與調(diào)用的種類、數(shù)量、效率等指標(biāo)實(shí)現(xiàn)監(jiān)控。根據(jù)實(shí)際情況，以可配置方式設(shè)定調(diào)用數(shù)量，提高數(shù)據(jù)的安全管控能力。

5 系統(tǒng)建設(shè)創(chuàng)新點(diǎn)

5.1 水情數(shù)據(jù)的分布式匯集

以結(jié)構(gòu)化水情數(shù)據(jù)的匯集為例，傳統(tǒng)的數(shù)據(jù)匯集思路是基于數(shù)據(jù)集中的物理整合，本文所采用的整合方式是基于服務(wù)的邏輯數(shù)據(jù)。這種分布式的數(shù)據(jù)匯集方式不強(qiáng)求物理上的集中，而是將各個(gè)數(shù)據(jù)源的數(shù)據(jù)通過接口包裝成服務(wù)，注冊(cè)到服務(wù)總線，通過服務(wù)總線提供統(tǒng)一的數(shù)據(jù)服務(wù)，實(shí)現(xiàn)數(shù)據(jù)在邏輯上的整合。

5.2 基于元數(shù)據(jù)的多源異構(gòu)數(shù)據(jù)集成

傳統(tǒng)的水情數(shù)據(jù)中心僅支持結(jié)構(gòu)化的關(guān)系表數(shù)據(jù)，難以存儲(chǔ)多源、非結(jié)構(gòu)化的數(shù)據(jù)。本文設(shè)計(jì)的水情云數(shù)據(jù)中心支持多數(shù)據(jù)源、異構(gòu)數(shù)據(jù)，能管理多個(gè)物理數(shù)據(jù)源，數(shù)據(jù)源之間可以無縫集成。

針對(duì)本數(shù)據(jù)中心所提供的各類服務(wù)，將以元數(shù)據(jù)的方式進(jìn)行描述，并建立相應(yīng)的注冊(cè)機(jī)制，在多用戶、多平臺(tái)、多數(shù)據(jù)源的復(fù)雜異構(gòu)環(huán)境下，實(shí)現(xiàn)數(shù)據(jù)共享和數(shù)據(jù)集成。異構(gòu)數(shù)據(jù)集成共享機(jī)制主要包括一個(gè)中心元數(shù)據(jù)服務(wù)器和多個(gè)分布式數(shù)據(jù)服務(wù)器以及遠(yuǎn)程客戶端，元數(shù)據(jù)服務(wù)器包含所有用于共享的異構(gòu)數(shù)據(jù)元數(shù)據(jù)，各個(gè)數(shù)據(jù)服務(wù)器則存儲(chǔ)共享的異構(gòu)數(shù)據(jù)，用戶在遠(yuǎn)程客戶端通過分布式網(wǎng)絡(luò)數(shù)據(jù)，先訪問元數(shù)據(jù)庫，通過對(duì)元數(shù)據(jù)的解釋，選擇合適的數(shù)據(jù)接口訪問存儲(chǔ)在不同數(shù)據(jù)服務(wù)器中的異構(gòu)數(shù)據(jù)。

5.3 以數(shù)據(jù)為中心的業(yè)務(wù)聯(lián)動(dòng)（DDA架構(gòu)）

基于全局共享交換的需求建設(shè)水情大數(shù)據(jù)中心，旨在通過大數(shù)據(jù)技術(shù)打通內(nèi)外部數(shù)據(jù)中心之間的共享壁壘，完成數(shù)據(jù)的高效共享，提高數(shù)據(jù)集成度，通過數(shù)據(jù)融合實(shí)現(xiàn)業(yè)務(wù)融合。更進(jìn)一步，水情大數(shù)據(jù)中心通過數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的方式，對(duì)基于大數(shù)據(jù)中心精心設(shè)計(jì)的業(yè)務(wù)系統(tǒng)，通過數(shù)據(jù)事件直接驅(qū)動(dòng)業(yè)務(wù)邏輯運(yùn)行，為各業(yè)務(wù)應(yīng)用系統(tǒng)難以橫向拓展這一難題提供一站式解決方案。

5.4 以平臺(tái)為基礎(chǔ)的大數(shù)據(jù)分析服務(wù)

水情大數(shù)據(jù)分析平臺(tái)實(shí)現(xiàn)了水情信息資源的綜合深入利用，多層面挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用，為決策和管理提供技術(shù)支撐。平臺(tái)提供大數(shù)據(jù)分析的基礎(chǔ)服務(wù)，能夠快速按需部署分析集群。其主要功能是將數(shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)按業(yè)務(wù)主題進(jìn)行重新組織，建設(shè)統(tǒng)一的大數(shù)據(jù)分析平臺(tái)，利用分布式數(shù)據(jù)庫、信息處理等技術(shù)，針對(duì)水文狀況進(jìn)行統(tǒng)計(jì)分析，并進(jìn)行成果資源轉(zhuǎn)換。建立面向主題的數(shù)據(jù)倉庫或數(shù)據(jù)集市，并通過前端展現(xiàn)工具以查詢分析結(jié)果、固定格式報(bào)表以及靈活分析報(bào)表的形式展現(xiàn)給最終用戶。

大數(shù)據(jù)分析平臺(tái)和數(shù)據(jù)資源中心是大數(shù)據(jù)挖掘和智慧分析的基礎(chǔ)支撐平臺(tái)。大數(shù)據(jù)平臺(tái)可以整合數(shù)據(jù)查詢、數(shù)據(jù)集成、機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化等高級(jí)組件和服務(wù)。通過客戶分析模型與經(jīng)營分析模型，實(shí)現(xiàn)區(qū)域、單位、項(xiàng)目等多維度分析，形成數(shù)據(jù)鉆取、數(shù)據(jù)聯(lián)動(dòng)等多種分析效果。

6 總結(jié)

基于大數(shù)據(jù)云平臺(tái)技術(shù)的浙江省水情云數(shù)據(jù)中心，對(duì)多源異構(gòu)數(shù)據(jù)的高效匯集、存儲(chǔ)和應(yīng)用進(jìn)行了全新設(shè)計(jì)，并進(jìn)行高可靠性的數(shù)據(jù)質(zhì)量管控，顯著提升了水情數(shù)據(jù)資源的質(zhì)和量。云數(shù)據(jù)中心的數(shù)據(jù)流轉(zhuǎn)效率較原數(shù)據(jù)中心提高了2倍多；數(shù)據(jù)質(zhì)量的管控水平亦顯著提高；數(shù)據(jù)挖掘分析能力有了質(zhì)的飛躍；特別是多源異構(gòu)數(shù)據(jù)集成后的大數(shù)據(jù)中心，為拓展水情分析的深度和廣度、提升綜合分析能力、豐富水情的社會(huì)化服務(wù)產(chǎn)品、提供更為科學(xué)的決策依據(jù)奠定了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。