多異構數(shù)據(jù)庫環(huán)境下的北京水文集成系統(tǒng)研究與實現(xiàn)

臧 敏，李 凱

（北京市水文總站，100089，北京）

多異構數(shù)據(jù)庫環(huán)境下的北京水文集成系統(tǒng)研究與實現(xiàn)

臧 敏，李 凱

（北京市水文總站，100089，北京）

針對水文數(shù)據(jù)分散管理、各個專業(yè)系統(tǒng)自成體系等問題，結合水文產品服務需求和構建智慧水務等要求，開發(fā)了面向管理層用戶的北京市水文集成系統(tǒng),形成為防汛指揮、地下水管理、水環(huán)境保護、水質水量考核、水資源管理等服務的專業(yè)平臺。系統(tǒng)為水務事業(yè)提供了專業(yè)性、實時性、可視性的水文產品，解決了多異構數(shù)據(jù)庫環(huán)境下的水文數(shù)據(jù)集成問題。系統(tǒng)本身具有良好的擴展性，可為后續(xù)水務大數(shù)據(jù)、云計算、移動互聯(lián)等提供接口，有很好的示范性和創(chuàng)新性。

水利信息化；系統(tǒng)設計；水文數(shù)據(jù)；集成平臺；北京

一、北京市水文集成系統(tǒng)開發(fā)研究背景

在“大水文”發(fā)展戰(zhàn)略引領下，北京市不斷優(yōu)化水文站網布局，推進水文站網建設，布設了滿足防洪、水資源、水環(huán)境、水生態(tài)等各種不同需求的水文站點，形成數(shù)量上千的水文站網，并且建設了各專業(yè)的水文監(jiān)測和管理業(yè)務系統(tǒng)。經過多年的運行，北京水文積累了龐大的實時數(shù)據(jù)、歷史整編數(shù)據(jù)以及階段數(shù)據(jù)分析成果，形成了不同管理軟件、庫表結構不同的多異構數(shù)據(jù)庫。這些水文數(shù)據(jù)分散管理，各個專業(yè)系統(tǒng)自成體系，未與水文行業(yè)管理和服務體系等工作進行融合，不能形成統(tǒng)一專業(yè)的水文服務產品。

隨著現(xiàn)代通信、計算機技術和網絡技術的快速發(fā)展，信息化項目建設對于提升效率和效能作用越來越明顯，這也是物聯(lián)網、云計算等新一代信息技術發(fā)展應用的趨勢。北京水文是支撐首都水務事業(yè)發(fā)展的基礎，根據(jù)水文服務的需求和智慧水務構建的要求，需要解決多異構數(shù)據(jù)庫環(huán)境下的水文數(shù)據(jù)集成問題，形成地表水、地下水、水環(huán)境、水生態(tài)等統(tǒng)一的專業(yè)體系，開發(fā)出基于水文數(shù)據(jù)分析的水利信息化產品。該水文產品要達到實時感知和全面感知，做到為水務管理決策提供可視化的數(shù)據(jù)展示，為防汛抗旱指揮調度、水資源配置、水環(huán)境治理、水生態(tài)修復等提供全面的、精準的決策服務，這也是目前水文行業(yè)在服務方式方面需要轉變和加強的工作內容。

二、水文集成系統(tǒng)技術

積極研究大數(shù)據(jù)、云計算、物聯(lián)網、移動互聯(lián)等技術應用是全國水利信息化“十三五”規(guī)劃提出的具體任務。北京水文集成系統(tǒng)首次嘗試使用大數(shù)據(jù)、云平臺等技術，并且基于.NET平臺、Oracle數(shù)據(jù)庫和GIS技術，開發(fā)了Browser/Server模式的、面向管理層用戶的水文集成系統(tǒng),形成為防汛指揮、地下水管理、水環(huán)境保護、水質水量考核、水資源管理等服務的專業(yè)平臺。在實施上從三方面進行了突破，一是物聯(lián)網框架下的水文信息采集、傳輸、交互等關鍵技術，集成融合后形成水文大數(shù)據(jù)；二是面向在線服務的虛擬化云平臺建設，保證系統(tǒng)運行高效、快捷；三是形成水文特點的數(shù)據(jù)可視化分析和展示，提供動態(tài)、全面的水情新視野，最終實現(xiàn)水文數(shù)據(jù)向水文產品的轉化。

1.多異構數(shù)據(jù)庫交換架構實現(xiàn)水文大數(shù)據(jù)的交互和存儲

水文數(shù)據(jù)來源多樣化，主要為實時遙測數(shù)據(jù)、階段成果數(shù)據(jù)、外單位業(yè)務數(shù)據(jù)等。數(shù)據(jù)存儲方式差異化，采用格式為關系數(shù)據(jù)庫存儲（Oracle或SQL Server或DB2）、文件數(shù)據(jù)庫存儲 （Excel文件）。數(shù)據(jù)庫表結構也不統(tǒng)一，同一指標的字段名稱、類型、長度都不一致?；谝陨蠑?shù)據(jù)標準不統(tǒng)一，需要提升開放和易于擴展的異構數(shù)據(jù)集成能力。

研究采用可提供Web Service服務的中間件，解決不同格式數(shù)據(jù)資源的綜合利用問題，具體是通過建立關系型數(shù)據(jù)庫之間、關系型數(shù)據(jù)與系統(tǒng)數(shù)據(jù)之間的轉換映射機制，實現(xiàn)各種主流數(shù)據(jù)庫間的類型轉換。通過創(chuàng)建可重復使用的數(shù)據(jù)交換方案，記錄源和目的數(shù)據(jù)庫對象映射、相關數(shù)據(jù)表映射、相關字段映射等信息，實現(xiàn)了所有水文數(shù)據(jù)的交換融合，并具有很好的通用性和兼容性，數(shù)據(jù)同步延遲保持在5秒以內。

2.虛擬化云平臺服務水文大數(shù)據(jù)的存儲和應用

水文數(shù)據(jù)涉及地表水、地下水、水環(huán)境、水生態(tài)等多個領域，據(jù)統(tǒng)計，水文行業(yè)自身監(jiān)測的數(shù)據(jù)占水務行業(yè)可利用數(shù)據(jù)總量的70%以上，提升水文的綜合服務能力在于水文數(shù)據(jù)的有效融合。通過近幾年水文數(shù)據(jù)的交互融合，本地數(shù)據(jù)庫條數(shù)達6 500萬條，預計每年還將以近百萬條的速度增長，僅依托硬件的高配置遠遠不能解決水文大數(shù)據(jù)的快速查詢、展示等功能。為解決這一問題，水文集成系統(tǒng)利用虛擬化云平臺技術，減少物理服務器的數(shù)量，并按需生成虛擬云計算主機，最大化利用并提高硬件資源利用率，對大數(shù)據(jù)的存儲和使用進行有效管理。

建立了基于虛擬化技術，由多臺高性能的服務器組成的云平臺，采用Active/Active模式設計，虛擬機分別在各臺主機上運行，進行高效、動態(tài)資源分配。同時虛擬化云平臺具有可擴展特性，可以在現(xiàn)有資源池中繼續(xù)添加物理資源，更大提高資源的使用率和云計算平臺的服務能力。虛擬化云平臺技術的應用，極大提升了平臺運行速度，用戶體驗實時、快捷。

對于系統(tǒng)癱瘓恢復問題，傳統(tǒng)的雙機熱備架構在設備故障或系統(tǒng)宕機的情況下，完成系統(tǒng)恢復一般需要2～3天，遠不能滿足水文應急服務的要求。利用虛擬化技術可實現(xiàn)快速恢復，一般故障10分鐘內恢復，嚴重故障1～2小時內恢復，末端光纖存儲設備在虛擬化基礎上又增加了保險系數(shù)，可為虛擬化平臺中的所有業(yè)務系統(tǒng)進行服務。同時為了徹底解決宕機的可能性，增加了具備實時同步和集群功能的緊急備份設備，從而保證整個系統(tǒng)運行穩(wěn)定，避免宕機的風險，提高系統(tǒng)在極端環(huán)境下的抗風險能力。水文集成系統(tǒng)具體部署見圖1。

圖1 水文集成系統(tǒng)部署物理圖

圖2 水文集成系統(tǒng)應用架構圖

3.融合水文特點的數(shù)據(jù)可視化分析和展示

水是基礎性自然資源和戰(zhàn)略性經濟資源，是生態(tài)環(huán)境的控制性要素，弄清水的特征和規(guī)律，必須運用大量水文數(shù)據(jù)進行支撐和分析研究。監(jiān)測對于水文行業(yè)來說，是一項最基礎的工作，最基本的水文要素包括降水量、水位、流量、蓄水量、地下水埋深、水質以及水資源量、富營養(yǎng)化程度、水生態(tài)健康指標等，這些專業(yè)數(shù)據(jù)支撐著全市地表水、地下水、外調水等的資源化管理。

水文數(shù)據(jù)展示的設計，需要以管理層用戶等為中心，定位于服務功能，從防汛指揮、水資源管理、水環(huán)境保護、水生態(tài)修復以及各項指導意見和辦法等方面出發(fā)，利用時間、空間等維度進行動態(tài)展示，形成一種基于數(shù)據(jù)查詢使用的高級形態(tài)產品。該系統(tǒng)除了進行水文基礎信息管理外，更是展現(xiàn)全市水文水資源情勢的新視野。

通過開發(fā)建設，北京市水文集成系統(tǒng)實現(xiàn)水文站網的統(tǒng)一管理功能，綜合展示站網規(guī)劃和布局，并與其他水專項規(guī)劃建設進行銜接。系統(tǒng)實現(xiàn)防汛指揮的多維需求功能，從點到面（全市）、從點到線（流域）全面展示降雨時空分布、洪水過程、視頻監(jiān)控、洪水預報、洪水預警等多維的水文信息和成果。該系統(tǒng)實現(xiàn)了水資源管理的支撐功能，全面展現(xiàn)平原區(qū)、各行政區(qū)、各點的地下水埋深情況和變幅，實時監(jiān)視水功能區(qū)、地下水、黑臭水體等水質狀況，反映全市水環(huán)境現(xiàn)狀與目標。系統(tǒng)還實現(xiàn)了京津冀水文信息的共享功能，實現(xiàn)京津冀報汛站點數(shù)據(jù)等信息的統(tǒng)一展示。水文集成系統(tǒng)應用架構見圖2。

三、結語

伴隨著信息通信技術的迅猛推進，水文數(shù)據(jù)的融合、互通、應用是智慧水務帶來的高級形態(tài)。

通過對水文數(shù)據(jù)的集成融合工作，實現(xiàn)水文數(shù)據(jù)可視的全新視角，利用網頁、手機APP的雙軌應用，北京水文服務能力將得到又一次提升，既能使全市水務行業(yè)的管理人員和技術人員了解水的基本情勢，對水文水資源信息進行自動、實時、全面、精準的感知，又能滿足于本單位技術人員對資料的使用管理，提高工作效率和質量，發(fā)揮信息化系統(tǒng)的整體效能，這也是智慧水務理念在水文行業(yè)內的一次創(chuàng)新嘗試。

[1]楊明祥，蔣云鐘，田雨，等.智慧水務建設需求探析[J].清華大學學報，2014（1）.

[2]中華人民共和國水利部.全國水利信息化“十三五”規(guī)劃[R].2016.

責任編輯 張金慧

Formation of an integrated hydrological system with multiple heterogeneous databases in Beijing

Zang Min,Li Kai

In order to improve hydrological service and satisfy needs of smart-hydrology,an integrate hydrological system especially for managers has been developed in Beijing,so as to overcome deficiency caused by separate collection of hydrological information and individual database owned by various agencies.Now a professionalized system is employed for flood control commanding,groundwater management,environment protection,assessment of water quality and quantity management.The system can be used for integration of hydrological data under the condition of multi-heterogeneous database,with provision of professional,real-time and visible products.Having features of demonstration and innovative,the system can be widely extended by providing interface for the application of big data, cloud computing and mobile internet in the next stage.

water resources informatization;system design;hydrological database;integration platform;Beijing

P33

B

1000-1123（2016）18-0011-02

2016-08-17

臧敏，高級工程師。