浙江省水利基礎(chǔ)數(shù)據(jù)更新機制的研究與應(yīng)用

邊國光，張仁貢，金宣辰

（1.浙江省水利信息管理中心，杭州310000；2.浙江同濟科技職業(yè)學(xué)院，杭州311231）

1 水利基礎(chǔ)數(shù)據(jù)中心建設(shè)的意義

水利基礎(chǔ)設(shè)施主要包括：水利信息網(wǎng)、水利基礎(chǔ)數(shù)據(jù)中心和水利信息采集的設(shè)施，其中水利基礎(chǔ)數(shù)據(jù)中心完成了數(shù)據(jù)的訪問服務(wù)，水利數(shù)據(jù)信息的匯集與存儲、通用業(yè)務(wù)應(yīng)用服務(wù)與邏輯管理；而業(yè)務(wù)應(yīng)用由兩部分組成即用戶應(yīng)用和支撐應(yīng)用。其中，支撐應(yīng)用是指以公共服務(wù)為方式，由數(shù)據(jù)中心進行統(tǒng)一管理，其中包括了公用處理的業(yè)務(wù)邏輯。水利信息的數(shù)字化在某種程度也反映了水利信息化的水平。水利數(shù)據(jù)的集成程度越高，其種類和數(shù)量也越豐富，水利信息化資源的開發(fā)與利用價值也就越大。

存儲和管理、匯集、服務(wù)和交換水利基礎(chǔ)信息數(shù)據(jù)的中心稱為水利基礎(chǔ)數(shù)據(jù)中心，是水利信息化建設(shè)的最重要基礎(chǔ)部分。浙江省水利數(shù)據(jù)中心在國家及行業(yè)的標(biāo)準(zhǔn)下，按照浙江省水利信息化建設(shè)“十二五” 規(guī)劃的要求進行建設(shè)。主要包括了數(shù)據(jù)交換平臺、數(shù)據(jù)實體、支撐應(yīng)用與服務(wù)等部分內(nèi)容。水利數(shù)據(jù)中心通過提供各類信息服務(wù)，深化了水利信息資源的開發(fā)利用，通過有序匯集水利信息，形成了有用和可用的水利信息資源，達到了實現(xiàn)信息共享、規(guī)范信息表示、降低業(yè)務(wù)成本、改進工作模式和提高工作效率的目的。

浙江省水利基礎(chǔ)數(shù)據(jù)中心是一個面向全省水利信息化建設(shè)的核心共享型數(shù)據(jù)平臺，在水利信息存儲、管理、匯集、交換和服務(wù)的過程中發(fā)揮了核心作用。通過建設(shè)水利數(shù)據(jù)中心，可以實現(xiàn)信息資源的共享化和配置的最優(yōu)化，使業(yè)務(wù)應(yīng)用多目標(biāo)、多層次的綜合信息服務(wù)需求得到了滿足。這些需求包括水資源管理數(shù)據(jù)庫、水文基本數(shù)據(jù)管理數(shù)據(jù)庫、水利工程基本信息數(shù)據(jù)庫、水利空間管理數(shù)據(jù)庫、水利技術(shù)標(biāo)準(zhǔn)管理數(shù)據(jù)庫和水利行政管理基本信息庫，具有集中分布式數(shù)據(jù)管理、多專題 （水利狀態(tài)監(jiān)測實時數(shù)據(jù)、水文水資源數(shù)據(jù)、水行政業(yè)務(wù)數(shù)據(jù)、地理空間數(shù)據(jù)、水利技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)、多媒體數(shù)據(jù)等）、多源（業(yè)務(wù)處理系統(tǒng)、基礎(chǔ)數(shù)據(jù)采集和監(jiān)控系統(tǒng)、國土氣象等橫向數(shù)據(jù)接口）、多層次（省、市、縣三級聯(lián)動）、水利信息資源集中管理、海量數(shù)據(jù)等特點，安全規(guī)范、共享服務(wù)的浙江省水利數(shù)據(jù)中心，對水利基礎(chǔ)數(shù)據(jù)的可靠性、準(zhǔn)確性及可擴展性方面的要求很高，基礎(chǔ)數(shù)據(jù)的準(zhǔn)確性、完整性必須有較好的保證，隨著基于水利普查數(shù)據(jù)的浙江省水利基礎(chǔ)數(shù)據(jù)中心的推進建設(shè)，存儲數(shù)據(jù)的更新問題，即如何使浙江省水利基礎(chǔ)數(shù)據(jù)中心，形成省、市、縣聯(lián)動維護更新機制，已經(jīng)成為迫切需要解決的問題，對數(shù)據(jù)中心的存儲數(shù)據(jù)更新機制的研究，對水利信息化基礎(chǔ)設(shè)施建設(shè)具有重要意義。

2 水利基礎(chǔ)數(shù)據(jù)中心建設(shè)的總體方案

水利數(shù)據(jù)中心由 “信息服務(wù)”、“信息匯集與存儲”和“支撐應(yīng)用”等部分組成，它們之間是不可分割的邏輯部分，而數(shù)據(jù)信息的匯集與存儲是豐富水利信息化資源的技術(shù)措施。

水利基礎(chǔ)信息數(shù)據(jù)是通過匯集和存儲，在各級節(jié)點上形成了數(shù)據(jù)表。數(shù)據(jù)表是信息匯集為資源的核心環(huán)節(jié)。水利基礎(chǔ)數(shù)據(jù)中心的數(shù)據(jù)庫是信息數(shù)據(jù)資源整合和同化的基礎(chǔ)，是信息標(biāo)準(zhǔn)化的重要技術(shù)措施。系統(tǒng)總體方案設(shè)計如圖1。

圖1 系統(tǒng)總體方案設(shè)計

從圖1可知，將對浙江省水利基礎(chǔ)數(shù)據(jù)中心的數(shù)據(jù)進行分析與歸類，針對不同來源數(shù)據(jù)、不同類型數(shù)據(jù)，提出更新的流程和方案，總結(jié)出多種更新的模式，針對不同更新模式，選取典型案例進行分析，分析省市縣各級業(yè)務(wù)和基礎(chǔ)數(shù)據(jù)顆粒度，從技術(shù)標(biāo)準(zhǔn)體系、省市縣三級聯(lián)動機制、安全體系、管理體系、循環(huán)體系、保障體系等多個角度，形成數(shù)據(jù)更新機制。

2.1 水利基礎(chǔ)數(shù)據(jù)的分析設(shè)計

2.1.1 分析存量的數(shù)據(jù)

分析、收集省中心現(xiàn)有的數(shù)據(jù)，包括水資源、水文、水利管理、水工程中的數(shù)據(jù)。

2.1.2 分析增量的數(shù)據(jù)

根據(jù)水利業(yè)務(wù)活動，分析今后進一步擴充增加的數(shù)據(jù)內(nèi)容、數(shù)據(jù)類型。

2.1.3 理清數(shù)據(jù)管理的思路

針對日常管理工作中產(chǎn)生的數(shù)據(jù)和其他水利基礎(chǔ)數(shù)據(jù)，以數(shù)據(jù)更新的頻率為參考，劃分業(yè)務(wù)層的數(shù)據(jù)、基礎(chǔ)層的數(shù)據(jù)、管理層（架構(gòu)層）的數(shù)據(jù)、動態(tài)層的數(shù)據(jù)。

按照“數(shù)據(jù)分層、層中有類、類中有別”，平臺內(nèi)的數(shù)據(jù)“不交叉、不重復(fù)”為原則，對平臺內(nèi)的數(shù)據(jù)，設(shè)計了“分層別類”的管理方法；分析了各類數(shù)據(jù)的應(yīng)用對象和使用要求，按類和層設(shè)計了相應(yīng)數(shù)據(jù)管理的措施。在兼顧中間的數(shù)據(jù)、動態(tài)的數(shù)據(jù)基礎(chǔ)上，著重放在水信息數(shù)據(jù)中心平臺中數(shù)據(jù)的存儲和更新上。

2.2 數(shù)據(jù)采集和數(shù)據(jù)更新機制設(shè)計

圍繞數(shù)據(jù)“如何獲取、如何更新、誰來更新”等問題，進行采集系統(tǒng)的設(shè)計。

以省數(shù)據(jù)中心的數(shù)據(jù)為對象，以提高數(shù)據(jù)“新鮮度”為目標(biāo)，樹立數(shù)據(jù)的權(quán)威性，以及時更新完善數(shù)據(jù)平臺中的數(shù)據(jù)要求，繪制了數(shù)據(jù)來源及匯聚圖，分析了數(shù)據(jù)來源和流程，設(shè)計了數(shù)據(jù)采集更新的途徑和方式。

水利基礎(chǔ)數(shù)據(jù)中心的數(shù)據(jù)分析工作，包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型、數(shù)據(jù)來源、數(shù)據(jù)渠道等分析，以數(shù)據(jù)分類和分層為主要手段，根據(jù)數(shù)據(jù)特點和應(yīng)用的要求，梳理數(shù)據(jù)和應(yīng)用之間的相互關(guān)系，分析了各類基礎(chǔ)的數(shù)據(jù)及數(shù)據(jù)管理的維護部門，為提出數(shù)據(jù)更新模式打下堅實的基礎(chǔ)。

2.2.1 分析存量的數(shù)據(jù)收集、分析省中心的現(xiàn)有數(shù)據(jù)，包括水文、水資源、水工程、水利管理中的數(shù)據(jù)。

2.2.2 分析增量的數(shù)據(jù)根據(jù)水利業(yè)務(wù)活動，分析今后會進一步擴充增加的數(shù)據(jù)類型、數(shù)據(jù)內(nèi)容。

2.2.3 數(shù)據(jù)的分層分類數(shù)據(jù)分析技術(shù)研究路線如圖2。

圖2 數(shù)據(jù)分析技術(shù)研究路線

2.3 數(shù)據(jù)匯聚方案編制

以數(shù)據(jù)流的管理為視點，從項目的建設(shè)、數(shù)據(jù)的來源開始分析，以項目的實施和建設(shè)過程為主線，以計劃項目管理系統(tǒng)、申報系統(tǒng)等系統(tǒng)為抓手，實現(xiàn)“人”與數(shù)據(jù)掛鉤、項目與數(shù)據(jù)掛鉤，設(shè)計數(shù)據(jù)采集的方案，“追本溯源”理清數(shù)據(jù)的數(shù)據(jù)源、種類、數(shù)據(jù)采集的方式。

數(shù)據(jù)來源和更新匯聚流程技術(shù)研究路線如圖3。

圖3 數(shù)據(jù)來源和更新匯聚流程技術(shù)研究路線

2.4 數(shù)據(jù)更新機制體系設(shè)計

在數(shù)據(jù)匯聚分析成果的基礎(chǔ)上，研究數(shù)據(jù)匯聚的審核機制、省、市、縣三級聯(lián)動的水利基礎(chǔ)數(shù)據(jù)，更新技術(shù)路線、校驗策略、各種類型屬性的水利基礎(chǔ)數(shù)據(jù)更新頻率、容錯機制、數(shù)據(jù)更新日志等關(guān)鍵性問題，提煉出了水利基礎(chǔ)數(shù)據(jù)更新機制的體系結(jié)構(gòu)，包括水利基礎(chǔ)數(shù)據(jù)的更新、相關(guān)的技術(shù)架構(gòu)體系、管理控制體系、業(yè)務(wù)循環(huán)體系、人才保障體系、安全防護體系、標(biāo)準(zhǔn)規(guī)范體系、評價考核體系等體系。

圖4 數(shù)據(jù)更新機制體系研究技術(shù)路線

3 ELT構(gòu)建技術(shù)

ELT即Extract、Load、Transform，即抽取、加載、轉(zhuǎn)換：①數(shù)據(jù)抽?。杭磸脑磾?shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；②數(shù)據(jù)加載：即將轉(zhuǎn)換后的數(shù)據(jù)裝載到目標(biāo)數(shù)據(jù)源；③數(shù)據(jù)轉(zhuǎn)換：按照業(yè)務(wù)需求從源數(shù)據(jù)中獲取數(shù)據(jù)，然后轉(zhuǎn)換成目標(biāo)數(shù)據(jù)源，并對不一致、錯誤的數(shù)據(jù)進行清洗和加工。

目前水利數(shù)據(jù)中心的建設(shè)涉及到多方面的技術(shù)，一些通用技術(shù)如數(shù)據(jù)庫技術(shù)、空間數(shù)據(jù)技術(shù)、訪問技術(shù)、異構(gòu)和集成技術(shù)，數(shù)據(jù)挖掘技術(shù)等技術(shù)，本文不作詳細(xì)介紹。由于在數(shù)據(jù)組織和集成上，水利基礎(chǔ)數(shù)據(jù)中心的數(shù)據(jù)格式具有多樣性，例如數(shù)據(jù)格式具有空間數(shù)據(jù)、業(yè)務(wù)邏輯數(shù)據(jù)、技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)、狀態(tài)監(jiān)測數(shù)據(jù)、多媒體數(shù)據(jù)等，這些數(shù)據(jù)的來源不同，數(shù)據(jù)之間必然存在著數(shù)據(jù)源的異構(gòu)，因此必須要進行數(shù)據(jù)的集成處理。

3.1 ELT是數(shù)據(jù)集成的主要解決方案

數(shù)據(jù)集成是把不同格式、不同來源和不同特點的數(shù)據(jù)，在物理上和邏輯上進行了有機匯集，形成數(shù)據(jù)倉庫、智能商務(wù)等形式，從而提供了全面的數(shù)據(jù)共享服務(wù)。隨著水利行業(yè)信息化建設(shè)的不斷發(fā)展，建立了許多水利基礎(chǔ)信息管理系統(tǒng)，這些系統(tǒng)能夠幫助行業(yè)處理和管理行業(yè)業(yè)務(wù)。但隨著水利基礎(chǔ)信息管理系統(tǒng)的增加，各自相對獨立的信息系統(tǒng)將會產(chǎn)生大量的冗余數(shù)據(jù)，造成工作人員的重復(fù)勞動。而數(shù)據(jù)集成則可以使更多的人使用已有數(shù)據(jù)資源，減少數(shù)據(jù)采集和資料收集的重復(fù)勞動。

3.2 ELT的主要數(shù)據(jù)集成方式

目前數(shù)據(jù)集成的方式有很多，主要有數(shù)據(jù)格式轉(zhuǎn)換模式、數(shù)據(jù)互操作模式、數(shù)據(jù)直接訪問模式、公共制定數(shù)據(jù)模型、通過XML或VCT或GML的數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)模式等。制定數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)模式是將數(shù)據(jù)轉(zhuǎn)換成本國的通用規(guī)范，如我國的VCT矢量數(shù)據(jù)交換模式。公共制定數(shù)據(jù)模型是通過建立基于域的模型和基于對象的模型，利用中間組件來實現(xiàn)對象的域和匹配規(guī)則。在數(shù)據(jù)的組織上，對于多維度、多寬度、多時態(tài)、多類型的數(shù)據(jù)，可以與數(shù)據(jù)中心進行無縫對接，以數(shù)據(jù)倉庫的形式來組織上下級的數(shù)據(jù)。

3.3 建立面向服務(wù)的分布式數(shù)據(jù)中心

采用XML、SOA、Webservice等技術(shù)建立面向服務(wù)的分布式數(shù)據(jù)中心。利用上、下級數(shù)據(jù)中心的數(shù)據(jù)交換實現(xiàn)異構(gòu)數(shù)據(jù)的交換和更新，異構(gòu)數(shù)據(jù)的交換采取了數(shù)據(jù)交換的標(biāo)準(zhǔn)，實現(xiàn)元數(shù)據(jù)、ELT、XML、GML、VCT等技術(shù)。另外商用數(shù)據(jù)庫支持了海量數(shù)據(jù)的管理，如SQLSserver訂閱發(fā)布的機制、Oracle數(shù)據(jù)庫的分布式復(fù)制機制等。

3.4 ELT是構(gòu)建數(shù)據(jù)倉庫的一個重要環(huán)節(jié)

ELT作為構(gòu)建數(shù)據(jù)倉庫的一個重要環(huán)節(jié)，負(fù)責(zé)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)，如將平面數(shù)據(jù)和關(guān)系數(shù)據(jù)等抽取到臨時表中或中間庫中，再進行數(shù)據(jù)加載、轉(zhuǎn)換、清洗和集成加工等，最后將加工好的數(shù)據(jù)加載到數(shù)據(jù)倉庫中，將為數(shù)據(jù)挖掘和數(shù)據(jù)聯(lián)機處理打下良好的基礎(chǔ)。ELT的主要環(huán)節(jié)就是對數(shù)據(jù)進行轉(zhuǎn)換、加工、抽取、裝載等過程服務(wù)，為此，ELT工具會進行一些功能上的擴充，如數(shù)據(jù)庫引擎、工作流、腳本支持、規(guī)則數(shù)據(jù)庫、統(tǒng)計規(guī)則等?，F(xiàn)在ELT越來越多地應(yīng)用到了信息系統(tǒng)的數(shù)據(jù)交換、數(shù)據(jù)遷移或數(shù)據(jù)同步。ELT體系結(jié)構(gòu)如圖5。

圖5 ELT體系結(jié)構(gòu)

4 案例分析

本系統(tǒng)采用B/S的構(gòu)架模式，采用以太網(wǎng)與局域網(wǎng)的連動功能。在應(yīng)用中主要模塊有：農(nóng)村供水、泵站、水庫、水閘、水電站、堤防、海塘、引調(diào)水等模塊，同時還包括了社會用水、行業(yè)能力、水利工程、灌區(qū)專項、地下水取水井等輔助模塊。

由于系統(tǒng)的界面繁多，以水庫為例，其內(nèi)容包括水庫特征反映、水庫數(shù)量分類統(tǒng)計數(shù)量統(tǒng)計、庫容統(tǒng)計、水庫分布等。系統(tǒng)水庫分界面如圖6。

圖6 系統(tǒng)水庫模塊分界面

應(yīng)用可知，系統(tǒng)將調(diào)查的靜態(tài)數(shù)據(jù)變?yōu)閯討B(tài)數(shù)據(jù)，為全省的水利建設(shè)和管理提供了服務(wù)平臺。

5 結(jié)語

該系統(tǒng)從設(shè)計到分析，從功能模塊的開發(fā)到集成，采用了最先進的技術(shù)和方法，填補了省一級的水利基礎(chǔ)數(shù)據(jù)的應(yīng)用平臺空白。但隨著時代的發(fā)展，需要進一步對系統(tǒng)進行完善和升級。其開發(fā)與應(yīng)用可為國內(nèi)同類系統(tǒng)的設(shè)計提供借鑒。

［1］熊湘琛，張新長，曹凱濱.城市基礎(chǔ)地形數(shù)據(jù)增量更新研究［J］.測繪通報，2009（3）：24-26.

［2］王少華，邊馥苓.GIS數(shù)據(jù)庫自動更新機制研究［J］.武漢大學(xué)學(xué)報（信息科學(xué)版），2004（12）：1059-1062.

［3］操震洲，李清泉．空間數(shù)據(jù)庫的更新技術(shù)研究［J］．測繪通報，2007（11）：23－26.

［4］水利部信息化工作領(lǐng)導(dǎo)小組辦公室，水利部國際合作與科技司，水利部水利信息中心，等．水利信息化標(biāo)準(zhǔn)指南［S］.北京：中國水利水電出版社，2003.

［5］黃錦林，易小兵，陳亮雄，等.廣東省農(nóng)村水利信息系統(tǒng)建設(shè)與思考［J］.人民長江，2013，44（11）：100－103.

［6］成建國，錢峰，艾萍.國家水利數(shù)據(jù)中心建設(shè)方案研究［J］.中國水利，2008（19）.