基于數(shù)據(jù)核心技術(shù)的水資源信息平臺融合設(shè)計

李 文，李永欣，王興浩，何云霄，羅學(xué)科

(1.北方工業(yè)大學(xué)機(jī)械系，北京 100144；2.北京印刷學(xué)院，北京 102600)

水利信息化是水利現(xiàn)代化的重要基礎(chǔ)和標(biāo)志，是引領(lǐng)和帶動水利現(xiàn)代化的重要內(nèi)容[1]。為了全面深化水環(huán)境治理管控，必須全面深化水利信息化的實現(xiàn)[2-5]。近年來，隨著國家多項水利信息化重點工程的落實和實施，全國水利信息化進(jìn)程進(jìn)一步加快，大數(shù)據(jù)、云計算、機(jī)器學(xué)習(xí)等信息技術(shù)與水利業(yè)務(wù)逐步實現(xiàn)深度融合，在基礎(chǔ)設(shè)施、業(yè)務(wù)系統(tǒng)、基礎(chǔ)支撐和網(wǎng)絡(luò)安全等保障體系方面取得顯著提升。但是，由于項目投資來源不同、各部門建設(shè)管理各異、運(yùn)行維護(hù)分散等原因，導(dǎo)致存在基礎(chǔ)設(shè)施重復(fù)建設(shè)、業(yè)務(wù)模塊割據(jù)、存在信息孤島、建設(shè)目標(biāo)單一等問題，在造成資源浪費的同時，嚴(yán)重影響了水利信息化系統(tǒng)整體效益的發(fā)揮[6-9]，因此，建設(shè)統(tǒng)一的信息化監(jiān)控管理系統(tǒng)，實現(xiàn)信息共享、業(yè)務(wù)協(xié)同，對推動水利信息化建設(shè)具有重要意義。

1 總體設(shè)計方案

水資源信息化監(jiān)控管理平臺融合設(shè)計采用“數(shù)據(jù)核心技術(shù)”思想,即一切以海量數(shù)據(jù)為核心，利用先進(jìn)的計算機(jī)技術(shù)和機(jī)器學(xué)習(xí)算法，將這些數(shù)據(jù)轉(zhuǎn)化為水利系統(tǒng)的功能和具體業(yè)務(wù)流程。數(shù)據(jù)核心技術(shù)通過對目前已有的水利數(shù)據(jù)資源體系的梳理融合，構(gòu)建統(tǒng)一的水利數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)資源核心目錄，實現(xiàn)對水利數(shù)據(jù)資源的統(tǒng)一存儲管理和科學(xué)分析，促進(jìn)水利數(shù)據(jù)資源的融合與共享服務(wù)，形成水利信息化數(shù)據(jù)融合核心數(shù)據(jù)庫及專業(yè)分析展示。基于該思想，資源融合設(shè)計方案主要內(nèi)容為“4個平臺3級共享”。4個平臺包括：數(shù)據(jù)融合平臺，應(yīng)用支撐平臺，信息協(xié)同平臺和綜合業(yè)務(wù)平臺；3級共享包括：底層支撐數(shù)據(jù)共享，系統(tǒng)信息共享和業(yè)務(wù)信息共享。

實現(xiàn)“4個平臺3級共享”的總體融合策略為：通過服務(wù)組件的剝離與組裝，完成水利業(yè)務(wù)應(yīng)用體系的共性剝離，結(jié)合基礎(chǔ)商業(yè)軟件，形成為上層業(yè)務(wù)應(yīng)用提供共性服務(wù)的統(tǒng)一支撐平臺。通過已有的資源系統(tǒng)，融合形成統(tǒng)一“模塊化”的業(yè)務(wù)軟件框架，提供基礎(chǔ)性的業(yè)務(wù)軟件平臺。系統(tǒng)對水利各業(yè)務(wù)系統(tǒng)信息資源進(jìn)行有效融合，統(tǒng)一管理，統(tǒng)一應(yīng)用，融合水資源數(shù)據(jù)庫，最大限度實現(xiàn)水利內(nèi)部業(yè)務(wù)平臺融合，實現(xiàn)共享協(xié)同[5,10-12]，實現(xiàn)對應(yīng)用服務(wù)的有效支撐，提高信息資源綜合應(yīng)用能力和業(yè)務(wù)協(xié)同能力，減少“孤島”現(xiàn)象，實現(xiàn)跨業(yè)務(wù)系統(tǒng)的協(xié)同辦公，完成為公眾提供水利服務(wù)，為水利部門提供日常巡檢、預(yù)測預(yù)警和指揮調(diào)度支持，為政府相關(guān)部門提供輔助決策支持。

2 信息平臺數(shù)據(jù)融合共享設(shè)計

水利行業(yè)的數(shù)據(jù)融合主要是指整合水利系統(tǒng)相關(guān)的多個數(shù)據(jù)源和知識描述，并在一定準(zhǔn)則下進(jìn)行分析綜合，從而形成決策和評估的過程。數(shù)據(jù)融合是信息平臺融合與數(shù)據(jù)共享的關(guān)鍵，常用的數(shù)據(jù)融合方案主要包括多數(shù)據(jù)庫整合、數(shù)據(jù)倉庫整合、中間件整合和Web Services整合等[12-14]。數(shù)據(jù)倉庫是一種面向主題的融合方案，Web Services屬于一種自包含的、模塊化的應(yīng)用程序，這2種方案與水利系統(tǒng)的數(shù)據(jù)融合不匹配?；诖吮疚男畔⑵脚_數(shù)據(jù)融合主要通過不同平臺的多數(shù)據(jù)庫整合方案實現(xiàn)，主要包括水利數(shù)據(jù)融合，底層支撐數(shù)據(jù)共享，系統(tǒng)信息共享，業(yè)務(wù)信息共享等多個內(nèi)容。多數(shù)據(jù)庫的整合根據(jù)數(shù)據(jù)庫的具體情況靈活選取ETL技術(shù)或數(shù)據(jù)交換中間件。通過元數(shù)據(jù)技術(shù)、分類編碼技術(shù)和資源目錄映射等實現(xiàn)水利科學(xué)數(shù)據(jù)共享機(jī)制。

2.1 水利數(shù)據(jù)融合

水利行業(yè)中的數(shù)據(jù)不同于傳統(tǒng)的互聯(lián)網(wǎng)或金融行業(yè)的數(shù)據(jù)，水利數(shù)據(jù)不僅數(shù)據(jù)龐大、結(jié)構(gòu)異質(zhì)，而且數(shù)據(jù)存儲分散、業(yè)務(wù)交叉與管理事權(quán)復(fù)雜[15]。不同水利信息化子系統(tǒng)中所管理的水利信息資源在數(shù)據(jù)內(nèi)容、語義環(huán)境和存儲結(jié)構(gòu)上都有極大差異，既包括水資源、水土保持、農(nóng)村水利、氣象和政務(wù)信息等數(shù)據(jù)庫，又有遙感影像、矢量空間等半結(jié)構(gòu)或非結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)融合平臺上，需要將這些異構(gòu)數(shù)據(jù)映射在相同的語義環(huán)境下，達(dá)到統(tǒng)一查詢和互聯(lián)互通的目標(biāo)。

針對上述問題，平臺設(shè)計了基于ETL工具的數(shù)據(jù)融合模塊和異構(gòu)結(jié)構(gòu)化數(shù)據(jù)交換中間件2種方式。數(shù)據(jù)融合模塊的實現(xiàn)過程為：將水利數(shù)據(jù)從各原始的水資源信息化子系統(tǒng)中讀取出來，并按照預(yù)先制定的規(guī)則將抽取的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使得原本異構(gòu)的數(shù)據(jù)格式統(tǒng)一起來，同時完成數(shù)據(jù)清洗工作，最終將轉(zhuǎn)換完的數(shù)據(jù)按照計劃增量或全部裝載到水資源信息化管理核心數(shù)據(jù)庫中。由于水利數(shù)據(jù)龐大，為了提高ETL效率，水利數(shù)據(jù)在進(jìn)入ETL系統(tǒng)后生成的EXF文件將轉(zhuǎn)換成Flat Text文件格式，并根據(jù)不同的水利子系統(tǒng)數(shù)據(jù)資源量的大小選擇Push或者Pull方式進(jìn)行數(shù)據(jù)傳輸。異構(gòu)結(jié)構(gòu)化數(shù)據(jù)交換中間件的思想是由數(shù)據(jù)發(fā)送方將待發(fā)送的完成預(yù)處理的數(shù)據(jù)按照傳輸協(xié)議，經(jīng)由數(shù)據(jù)交換系統(tǒng)送達(dá)到數(shù)據(jù)接收方，數(shù)據(jù)接收方按照傳輸協(xié)議對接收到的數(shù)據(jù)進(jìn)行解析，并完成后續(xù)的數(shù)據(jù)操作處理。通過以上2種方式實現(xiàn)對異構(gòu)結(jié)構(gòu)化數(shù)據(jù)的融合，并將融合后的數(shù)據(jù)配置映射到統(tǒng)一的核心數(shù)據(jù)庫中，至此數(shù)據(jù)資源主體上形成監(jiān)測數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、空間數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、元數(shù)據(jù)5大數(shù)據(jù)體系的數(shù)據(jù)服務(wù)總線。數(shù)據(jù)交換流程見圖1，水資源核心數(shù)據(jù)庫結(jié)構(gòu)見圖2。

圖1 數(shù)據(jù)交換流程Fig.1 Data exchange flow chart

圖2 水資源核心數(shù)據(jù)庫結(jié)構(gòu)Fig.2 Core database structure of water resources

2.2 底層支撐數(shù)據(jù)共享

根據(jù)“統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一設(shè)計、數(shù)據(jù)共享”的原則，對整合后的水利數(shù)據(jù)進(jìn)行統(tǒng)一分類編碼與資源目錄匹配映射，形成分類編碼數(shù)據(jù)庫和資源目錄數(shù)據(jù)庫。為了解決水利學(xué)科元數(shù)據(jù)標(biāo)準(zhǔn)交叉重疊、難以共享等問題，建立水資源元數(shù)據(jù)庫。元數(shù)據(jù)庫的建設(shè)首先尊重并繼承現(xiàn)有的國家標(biāo)準(zhǔn)，以實現(xiàn)與現(xiàn)有國家主要元數(shù)據(jù)標(biāo)準(zhǔn)庫最大限度的交換與映射。同時采用集中式的存儲方式，所有子數(shù)據(jù)庫都對應(yīng)同一個元數(shù)據(jù)庫，不同水利數(shù)據(jù)的元數(shù)據(jù)在元數(shù)據(jù)庫中體現(xiàn)為不同的表，元數(shù)據(jù)的不同要素體現(xiàn)為記錄。最終形成以元數(shù)據(jù)庫為主、分類編碼數(shù)據(jù)庫和資源目錄數(shù)據(jù)庫為輔的數(shù)據(jù)共享架構(gòu)。

水利數(shù)據(jù)共享框架以水資源核心數(shù)據(jù)庫和元數(shù)據(jù)庫為基礎(chǔ)，以元數(shù)據(jù)的體征提取、深加工、轉(zhuǎn)換、發(fā)布為支撐，通過數(shù)據(jù)共享服務(wù)器為用戶提供水利數(shù)據(jù)共享服務(wù)。當(dāng)用戶通過綜合業(yè)務(wù)平臺發(fā)出具體業(yè)務(wù)請求后，數(shù)據(jù)共享服務(wù)器首先對業(yè)務(wù)內(nèi)容進(jìn)行分類編碼匹配與資源目錄映射查詢，確定該業(yè)務(wù)所需的數(shù)據(jù)資源。其次，審核該用戶的權(quán)限及安全性，通過審核后與元數(shù)據(jù)庫中的核心元數(shù)據(jù)進(jìn)行匹配，確定所需數(shù)據(jù)資源在水資源核心數(shù)據(jù)庫的實際位置并發(fā)出數(shù)據(jù)共享請求。最后業(yè)務(wù)數(shù)據(jù)通過數(shù)據(jù)共享服務(wù)器返回給業(yè)務(wù)平臺，完成數(shù)據(jù)共享(見圖3)。

圖3 數(shù)據(jù)共享流程Fig.3 The process of data sharing

2.3 系統(tǒng)信息共享

水資源信息化監(jiān)控管理平臺是為了更好地實現(xiàn)水利信息資源的公開與共享服務(wù)，其面向的用戶群體是全社會的，既包括普通民眾也包括專業(yè)水利行業(yè)人員[16]，因此對水利信息資源精準(zhǔn)定位和關(guān)聯(lián)分析至關(guān)重要。針對上述問題，設(shè)計了基于智能資源發(fā)現(xiàn)引擎的資源精準(zhǔn)定位功能和基于業(yè)務(wù)協(xié)同模塊的關(guān)聯(lián)分析功能。為保證系統(tǒng)的業(yè)務(wù)識別準(zhǔn)確性，業(yè)務(wù)協(xié)同模塊進(jìn)行業(yè)務(wù)分割與資源匹配后檢索所需業(yè)務(wù)數(shù)據(jù)。智能資源發(fā)現(xiàn)引擎從工作原理上分為2個基本類別：全文搜索引擎和分類目錄；全文搜索引擎通過“爬蟲插件”結(jié)合啟發(fā)式搜索算法，實現(xiàn)在大量的水利信息中抽取最準(zhǔn)確、最具有價值的信息。分類目錄利用數(shù)據(jù)融合平臺和底層數(shù)據(jù)共享服務(wù)形成的水利信息資源統(tǒng)一核心目錄，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行檢索優(yōu)化，實現(xiàn)對水利信息資源目錄的精準(zhǔn)定位。至此，完成了系統(tǒng)信息共享的全過程。

2.4 業(yè)務(wù)信息共享

根據(jù)水利部、流域管理機(jī)構(gòu)和省級及其以下水利行政主管部門的職責(zé)，其管理范疇歸納為社會服務(wù)、行業(yè)服務(wù)和機(jī)關(guān)服務(wù)3個方面[17]，對應(yīng)于綜合業(yè)務(wù)平臺的6大功能模塊。但由于不同行政主管部門的權(quán)限不同，各業(yè)務(wù)系統(tǒng)的共享權(quán)限也有所差異。同層級或跨層級水利工作共享過程的發(fā)起者是水利事務(wù)的處理者，水利業(yè)務(wù)的處理者或下級事務(wù)的處理者通常是共享過程的協(xié)同者。為了更好地實現(xiàn)這個業(yè)務(wù)共享過程，提出了自上而下和自下而上2種協(xié)同共享模式。自上而下模式是基于統(tǒng)一權(quán)限管理目錄和授權(quán)管理支撐模塊，由更高層級的行政主管部門根據(jù)實際需求賦予下級部門一定的系統(tǒng)與功能權(quán)限；自下而上模式是基于數(shù)據(jù)融合平臺的分布式數(shù)據(jù)庫系統(tǒng)，由下級行政部門主動選擇在整個平臺中共享該子系統(tǒng)的資源目錄與功能模塊。

3 系統(tǒng)平臺設(shè)計

3.1 數(shù)據(jù)融合平臺設(shè)計

數(shù)據(jù)融合平臺(見圖4)建設(shè)以分布式數(shù)據(jù)庫存儲為基礎(chǔ)，將地理位置分散、管理控制程度集中的多個水利信息化系統(tǒng)，通過計算機(jī)網(wǎng)絡(luò)，融合元數(shù)據(jù)技術(shù)、數(shù)據(jù)倉庫、數(shù)據(jù)字典等技術(shù)，共同組成統(tǒng)一的數(shù)據(jù)融合平臺。數(shù)據(jù)融合平臺從功能上劃分為分布式數(shù)據(jù)庫系統(tǒng)和分布式數(shù)據(jù)庫管理系統(tǒng)2部分，分布式數(shù)據(jù)庫是各水利信息化系統(tǒng)中各場地或節(jié)點上數(shù)據(jù)庫的邏輯集合，分布式管理系統(tǒng)是分布式數(shù)據(jù)系統(tǒng)中的一組中間件，負(fù)責(zé)管理分布式環(huán)境下的數(shù)據(jù)存取、安全性、一致性和完整性等。

圖4 數(shù)據(jù)融合平臺網(wǎng)絡(luò)拓?fù)鋱DFig.4 Network topology of data fusion platform

3.2 應(yīng)用支撐平臺設(shè)計

應(yīng)用支撐平臺是整個平臺的保障環(huán)境，為水利信息化監(jiān)控管理平臺提供信息安全保障，為平臺的數(shù)據(jù)安全流通提供數(shù)據(jù)接口和追蹤服務(wù)，為平臺的安全管理提供可行性方案。應(yīng)用支撐平臺主要設(shè)計內(nèi)容見圖5。

圖5 應(yīng)用支撐平臺框架Fig.5 Application support platform framework

應(yīng)用支撐平臺中對身份鑒別和安全傳輸?shù)闹危\(yùn)用PMI/PKI安全中間件，結(jié)合安全認(rèn)證系統(tǒng)和密匙管理系統(tǒng)來實現(xiàn)。安全存儲支撐模塊，結(jié)合認(rèn)證口令和信息認(rèn)證碼(MAC)技術(shù)，采用分布式存儲與子系統(tǒng)自定義共享的保護(hù)方案。授權(quán)管理支撐采用統(tǒng)一的管理用戶屬性表，結(jié)合授權(quán)策略框架MAF(Middleware Authorization Framework，簡稱MAF)完成與分布式對象中間件的映射。安全審計支撐針對平臺自身的安全功能進(jìn)行審計，為整個應(yīng)用系統(tǒng)的全覆蓋審計和統(tǒng)計分析提供支撐，安全審計支撐通過Hadoop體系與Weblogic中間件的優(yōu)化結(jié)合實現(xiàn)。

3.3 信息協(xié)同平臺設(shè)計

水利行業(yè)中的業(yè)務(wù)系統(tǒng)繁多，但彼此可以將公用的信息以系統(tǒng)訪問的方式提供給其他系統(tǒng)共享。信息協(xié)同平臺，既負(fù)責(zé)完成各子平臺間的流程控制、資源調(diào)配、策略選擇等基礎(chǔ)功能，又負(fù)責(zé)共享業(yè)務(wù)操作流程的協(xié)同模式控制和基于流程協(xié)同的水利業(yè)務(wù)的協(xié)同過程控制。設(shè)計內(nèi)容主要包括工作流引擎、智能資源發(fā)現(xiàn)引擎和業(yè)務(wù)協(xié)同模塊。其中工作流引擎負(fù)責(zé)水利業(yè)務(wù)協(xié)同與工作流程控制，智能資源發(fā)現(xiàn)引擎負(fù)責(zé)檢索數(shù)據(jù)資源及其共享調(diào)配服務(wù)，業(yè)務(wù)協(xié)同模塊完成最終的策略選擇與業(yè)務(wù)動作實現(xiàn)，基于流程協(xié)同的梳理業(yè)務(wù)協(xié)同關(guān)系見圖6。

圖6 基于流程協(xié)同的梳理業(yè)務(wù)協(xié)同關(guān)系Fig.6 Carding business collaboration diagram of the process based on collaboration

3.4 綜合業(yè)務(wù)平臺設(shè)計

綜合業(yè)務(wù)平臺(見圖7)是水利信息化平臺的門戶平臺，對外提供統(tǒng)一的服務(wù)功能模塊。設(shè)計模塊包括：防汛抗旱指揮、水資源管理、水土保持監(jiān)測與管理、農(nóng)村水利管理、公共信息服務(wù)和行政資源管理，各功能模塊對應(yīng)于相應(yīng)水利業(yè)務(wù)又分為若干子功能。所有業(yè)務(wù)功能的實現(xiàn)流程由上到下依次為：綜合業(yè)務(wù)平臺發(fā)出具體業(yè)務(wù)請求，信息協(xié)同平臺根據(jù)請求制定協(xié)同方案，并調(diào)用相應(yīng)的數(shù)據(jù)訪問接口，數(shù)據(jù)融合平臺通過分布式文件管理系統(tǒng)抽取所需數(shù)據(jù)返回給信息協(xié)同平臺，協(xié)同平臺對數(shù)據(jù)進(jìn)行清洗、集成與轉(zhuǎn)換并通過機(jī)器學(xué)習(xí)算法進(jìn)行挖掘分析，最終將業(yè)務(wù)結(jié)果返回給綜合業(yè)務(wù)平臺進(jìn)行可視化展示。

圖7 綜合業(yè)務(wù)平臺Fig.7 Integrated business platform

4 應(yīng)用實例

將上述水資源信息化監(jiān)控管理平臺應(yīng)用于晉祠泉流域(見圖8)。晉祠泉流域位于山西省太原市西山，其范圍主要包括太原市的古交市、晉源區(qū)、萬柏林區(qū)和清徐縣，并涉及尖草坪區(qū)、婁煩縣、交城、靜樂等9縣，晉祠泉流域總面積2 030 km2，其中裸露可溶巖面積391 km2。自2017年5月系統(tǒng)平臺上線以來，已經(jīng)平穩(wěn)運(yùn)行18個月，完成了流域內(nèi)129個水位監(jiān)測站、125個水質(zhì)監(jiān)測站、124個用水計量監(jiān)測站、1個蒸發(fā)站和1個氣象站的數(shù)據(jù)融合，并以此數(shù)據(jù)為支撐，輔助完成水利業(yè)務(wù)的決策分析，為政務(wù)系統(tǒng)和公共信息平臺提供水利信息技術(shù)支持。

5 結(jié) 語

水利信息化管理平臺融合是一項技術(shù)難度大、涉及面廣、協(xié)同共享復(fù)雜的工作，本文對水資源信息化監(jiān)控管理平臺的融合方案進(jìn)行了初步嘗試與探索，完成的主要工作為：①設(shè)計了數(shù)據(jù)融合平臺，應(yīng)用支撐平臺，信息協(xié)同平臺，綜合業(yè)務(wù)平臺4個子系統(tǒng)；②通過集數(shù)據(jù)融合、數(shù)據(jù)共享為一體的綜合性平臺，實現(xiàn)水利信息的共享與水利業(yè)務(wù)的協(xié)同；③通過晉祠泉域水資源管理平臺項目，對平臺融合設(shè)計與業(yè)務(wù)協(xié)同機(jī)制進(jìn)行了測試。

□