胡金龍,柏 屏,朱海波,曹 帥
(1. 江蘇省水文水資源勘測(cè)局,江蘇 南京 210029 ;2. 江蘇省水文水資源勘測(cè)局南京分局,江蘇 南京 210029)
基于數(shù)據(jù)中心的數(shù)據(jù)交互及應(yīng)用服務(wù)技術(shù)研究
胡金龍1,柏 屏1,朱海波2,曹 帥1
(1. 江蘇省水文水資源勘測(cè)局,江蘇 南京 210029 ;2. 江蘇省水文水資源勘測(cè)局南京分局,江蘇 南京 210029)
介紹基于數(shù)據(jù)中心的數(shù)據(jù)匯集、共享、服務(wù)技術(shù)研究的目標(biāo)和內(nèi)容,制定總體技術(shù)路線,通過(guò)多種通信技術(shù)的融合、封裝,解決多種分布式通信模式下異構(gòu)系統(tǒng)或數(shù)據(jù)庫(kù)之間頻繁的大量數(shù)據(jù)匯集問(wèn)題,利用 JMS、適配器、數(shù)據(jù)定向回滾等技術(shù),解決數(shù)據(jù)中心不同用戶節(jié)點(diǎn)之間的數(shù)據(jù)共享問(wèn)題,采用接口和服務(wù)重用、事件驅(qū)動(dòng)模型、微內(nèi)核插件式等設(shè)計(jì)的混合模式,實(shí)現(xiàn)對(duì)不同業(yè)務(wù)需求的數(shù)據(jù)中心應(yīng)用服務(wù),構(gòu)建省級(jí)水利數(shù)據(jù)中心模型,形成一套較為完整的數(shù)據(jù)中心建設(shè)解決方案,供后續(xù)數(shù)據(jù)中心建設(shè)參考。
數(shù)據(jù)中心;數(shù)據(jù)交互;通信技術(shù)融合與封裝;數(shù)據(jù)定向回滾技術(shù);混合設(shè)計(jì);數(shù)據(jù)匯集;應(yīng)用服務(wù)
現(xiàn)今,信息已成為市場(chǎng)經(jīng)濟(jì)不可或缺的重要組成部分,基于數(shù)據(jù)中心的信息匯集、交換、服務(wù)體系的建設(shè)已成為各企事業(yè)單位實(shí)現(xiàn)現(xiàn)代化的重要指標(biāo)。《江蘇省水利信息化發(fā)展“十二五”規(guī)劃》已明確要開(kāi)展江蘇省水利數(shù)據(jù)中心建設(shè),數(shù)據(jù)中心的建設(shè)目的很明確,就是要做到數(shù)據(jù)收集規(guī)范化、集中化,數(shù)據(jù)訪問(wèn)標(biāo)準(zhǔn)化、接口化,應(yīng)用服務(wù)多元化、透明化,從而實(shí)現(xiàn)資源存儲(chǔ)、共享的最優(yōu)化。水文信息作為江蘇省水利數(shù)據(jù)中心基礎(chǔ)性信息,開(kāi)展基于企業(yè)服務(wù)總線架構(gòu)的數(shù)據(jù)匯集[1]、共享及應(yīng)用服務(wù)平臺(tái)解決方案研究,一方面,是解決目前日益增長(zhǎng)的水利水文數(shù)據(jù)的共享交換完整性、時(shí)效性及規(guī)則制定需求;另一方面,也是建設(shè)數(shù)據(jù)中心,實(shí)現(xiàn)數(shù)據(jù)整合、匯集、共享的前期方案探索和技術(shù)儲(chǔ)備。
該項(xiàng)課題以水文業(yè)務(wù)為依托,研究基于數(shù)據(jù)中心的數(shù)據(jù)匯集、共享及應(yīng)用服務(wù),旨在為江蘇水利數(shù)據(jù)中心建設(shè)設(shè)計(jì)一套數(shù)據(jù)匯集、交換及共享的總體架構(gòu)技術(shù)方案,具體達(dá)到下述目標(biāo):
1)研究分析各種水文數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu),結(jié)合信息應(yīng)用需求,對(duì)水文信息進(jìn)行收集、分類(lèi)、整合;
2)開(kāi)發(fā)江蘇省水文數(shù)據(jù)交換共享平臺(tái),實(shí)現(xiàn)異構(gòu)和異源數(shù)據(jù)的匯集、交換及共享,實(shí)現(xiàn)水文信息的初步整合、匯集。
3)構(gòu)建江蘇省水文信息查詢系統(tǒng),實(shí)現(xiàn)水文信息“一平臺(tái)”展示。
在查閱與參考國(guó)內(nèi)外水文行業(yè)熱點(diǎn)及數(shù)據(jù)交換共享方面新技術(shù)、新方法的前提下,確定研究主題,進(jìn)一步研究新技術(shù)和新方法在數(shù)據(jù)中心的數(shù)據(jù)匯集、交換及共享方面的應(yīng)用。通過(guò)對(duì)信息的收集、整合、擴(kuò)展,依托企業(yè)服務(wù)總線構(gòu)建數(shù)據(jù)交換共享平臺(tái),實(shí)現(xiàn)水文信息全面、統(tǒng)一的展示。
1.1 信息收集
針對(duì)以往信息采集系統(tǒng)建設(shè)和共享存在的問(wèn)題,按照水文業(yè)務(wù)應(yīng)用的實(shí)際需要,研究各類(lèi)水文信息的綜合采集技術(shù),積極引進(jìn)物聯(lián)網(wǎng)技術(shù),建設(shè)統(tǒng)一的水文信息采集接收平臺(tái),達(dá)到滿足各類(lèi)水文信息采集和加工的需要,并可以動(dòng)態(tài)擴(kuò)充,為水文業(yè)務(wù)應(yīng)用全面提供數(shù)據(jù)支撐。
按水文業(yè)務(wù)的基本分類(lèi),水文數(shù)據(jù)包括歷史水文、水雨情、水資源、水質(zhì)、地下水、水土保持、水文站網(wǎng)、空間、元數(shù)據(jù)等數(shù)據(jù)。
1.2 信息資源整合擴(kuò)展
在充分利用和整合現(xiàn)有數(shù)據(jù)庫(kù)信息資源的基礎(chǔ)上,補(bǔ)充收集整編全江蘇省水文工作所必需的水雨情、水資源、地下水、水質(zhì)、水土保持、水文站網(wǎng)等基本數(shù)據(jù),形成數(shù)據(jù)中心統(tǒng)一的數(shù)據(jù)資源,為后續(xù)數(shù)據(jù)深入分析、應(yīng)用、服務(wù)、數(shù)據(jù)挖掘搭建數(shù)據(jù)環(huán)境。
1.3 水文數(shù)據(jù)交換平臺(tái)
開(kāi)展數(shù)據(jù)交換平臺(tái)研究,實(shí)現(xiàn)省中心及各分中心之間水文數(shù)據(jù)及時(shí)、準(zhǔn)確、穩(wěn)定地傳輸和交換,并擴(kuò)展至其他相關(guān)機(jī)構(gòu)和部門(mén),最終實(shí)現(xiàn)跨系統(tǒng)、數(shù)據(jù)庫(kù)、業(yè)務(wù)的數(shù)據(jù)匯集及交換共享服務(wù)。
1.4 服務(wù)層架構(gòu)
服務(wù)層應(yīng)可部署實(shí)現(xiàn)具體業(yè)務(wù)所必須的服務(wù),包括運(yùn)維管理服務(wù)與集成業(yè)務(wù)應(yīng)用所必須的訪問(wèn)控制服務(wù),以及數(shù)據(jù)共享交換平臺(tái)等。這些服務(wù)具有標(biāo)準(zhǔn)調(diào)用接口,開(kāi)放性好,可擴(kuò)展,可復(fù)用。當(dāng)然,對(duì)于所有服務(wù)接口的調(diào)用過(guò)程是有嚴(yán)格的用戶權(quán)限控制的。開(kāi)發(fā)服務(wù)層的目的是為業(yè)務(wù)應(yīng)用層提供強(qiáng)有力的服務(wù)支撐。
1.5 應(yīng)用服務(wù)展示
基于服務(wù)層架構(gòu)應(yīng)用服務(wù),實(shí)現(xiàn)水情、雨情、蒸發(fā)、地下水、水質(zhì)、墑情、氣象、水文地理空間等信息查詢服務(wù);水文業(yè)務(wù)所必須的數(shù)據(jù)綜合分析、對(duì)比;水情防汛決策所需的氣象信息查詢服務(wù);成果發(fā)布。
2.1 SOA 服務(wù)體系架構(gòu)
水利數(shù)據(jù)中心要建設(shè)成一個(gè)開(kāi)放的服務(wù)平臺(tái),而面向水利的服務(wù)又是多樣的,各部門(mén)或用戶的需求也是多樣的,這就要求在建設(shè)水利數(shù)據(jù)中心服務(wù)平臺(tái)時(shí),要充分考慮服務(wù)的可擴(kuò)展性,采用面向服務(wù)的體系結(jié)構(gòu)(SOA)無(wú)疑是目前最好的架構(gòu)方式。
SOA 是一個(gè)組件模型,將應(yīng)用程序的不同功能單元(稱為服務(wù))通過(guò)這些服務(wù)之間定義良好的接口和契約聯(lián)系起來(lái)。接口是采用中立的方式進(jìn)行定義的,應(yīng)該獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái)、操作系統(tǒng)和編程語(yǔ)言,這使得構(gòu)建在各種這樣的系統(tǒng)中的服務(wù)可以以一種統(tǒng)一和通用的方式進(jìn)行交互。
2.2 JAVA EE 規(guī)范
水利行業(yè)多年的信息化建設(shè)造成了諸多的“應(yīng)用孤島”和“服務(wù)孤島”,這些“孤島”由于沒(méi)有統(tǒng)一的編程規(guī)范,想要集成整合幾乎不可能,作為水利數(shù)據(jù)中心統(tǒng)一服務(wù)平臺(tái)的建設(shè)就不能再出現(xiàn)這樣的“孤島”。為保證平臺(tái)高可用性、高可靠性和可擴(kuò)展性,系統(tǒng)須選擇支持企業(yè)級(jí)計(jì)算的成熟技術(shù)路線。能夠滿足這些條件的技術(shù)首推 JAVA EE 企業(yè)標(biāo)準(zhǔn),采用 JAVA 語(yǔ)言,確保服務(wù)和支撐環(huán)境可跨平臺(tái)運(yùn)行。
2.3 中間件軟件技術(shù)
隨著水利部門(mén)的應(yīng)用需求不斷增加,部門(mén)與部門(mén)之間的數(shù)據(jù)、服務(wù)交互日益加大,水利數(shù)據(jù)中心服務(wù)平臺(tái)上的服務(wù)亦會(huì)不斷增多,服務(wù)與服務(wù)之間的組合、封裝形式將會(huì)多樣化,如何解決這些服務(wù)的分布式計(jì)算,服務(wù)、接口的標(biāo)準(zhǔn)化,中間件技術(shù)顯然是解決這些問(wèn)題的成熟的技術(shù)手段。中間件有支持分布式計(jì)算,支持標(biāo)準(zhǔn)的協(xié)議和接口,可跨平臺(tái)運(yùn)行等特點(diǎn)。以大量 API 服務(wù),實(shí)現(xiàn)異構(gòu)環(huán)境的通訊,從而屏蔽異構(gòu)系統(tǒng)中復(fù)雜的操作系統(tǒng)和網(wǎng)絡(luò)協(xié)議。以符合接口和協(xié)議規(guī)范的多種標(biāo)準(zhǔn)化服務(wù)方式,解決不同操作系統(tǒng)和硬件平臺(tái)的服務(wù)接入和引用。
2.4 企業(yè)服務(wù)總線技術(shù)
通過(guò)調(diào)研,企業(yè)服務(wù)總線技術(shù)(ESB)是上述 3 種技術(shù)路線的完美體現(xiàn),它不但是一個(gè)數(shù)據(jù)交換平臺(tái),同時(shí)也是一個(gè)服務(wù)架構(gòu)平臺(tái)。ESB 的 ETL(extract,transform,load)組件提供了歷史數(shù)據(jù)的遷移、同步、合并等功能,可以實(shí)現(xiàn)不同數(shù)據(jù)源(file,database)的數(shù)據(jù)實(shí)時(shí)訪問(wèn)[2]?;?ESB 總線進(jìn)行服務(wù)集成,再通過(guò)服務(wù)進(jìn)行應(yīng)用集成,集成示意圖如圖 1 所示。信息系統(tǒng)之間的交互通過(guò)總線進(jìn)行,這樣可以降低應(yīng)用系統(tǒng)、各個(gè)組件及相關(guān)技術(shù)的耦合度,消除應(yīng)用系統(tǒng)點(diǎn)對(duì)點(diǎn)集成瓶頸,降低集成開(kāi)發(fā)難度,提高復(fù)用,增進(jìn)系統(tǒng)開(kāi)發(fā)和運(yùn)行效率,便于業(yè)務(wù)系統(tǒng)靈活重構(gòu),快速適應(yīng)業(yè)務(wù)及流程變化需要。
2.5 異構(gòu)系統(tǒng)適配器服務(wù)
圖1 基于 ESB 總線的應(yīng)用服務(wù)集成示意圖
異構(gòu)系統(tǒng)適配器服務(wù)是數(shù)據(jù)交換系統(tǒng)的基礎(chǔ)服務(wù)部件,是各信息系統(tǒng)接入 ESB 的橋梁,是從數(shù)據(jù)層面實(shí)現(xiàn)水利“信息孤島”之間數(shù)據(jù)交互共享的紐帶,是多種異構(gòu)系統(tǒng)之間互連互通及互操作的服務(wù)單元。適配器應(yīng)遵循國(guó)際級(jí)行業(yè)標(biāo)準(zhǔn),提供標(biāo)準(zhǔn)的XML 數(shù)據(jù)對(duì)象、服務(wù)接口、服務(wù)操作方法,真正實(shí)現(xiàn)信息系統(tǒng)服務(wù)重用,架構(gòu)圖如圖 2 所示。適配器服務(wù)分為提供和消費(fèi) 2 種服務(wù)者,既可以提供服務(wù)消費(fèi),也可以消費(fèi)其他服務(wù)??梢詫?shí)現(xiàn)信息系統(tǒng)常用文件、數(shù)據(jù)庫(kù)、通訊等技術(shù)適配能力,并可以按照特定規(guī)范進(jìn)行適配器服務(wù)定制,滿足可擴(kuò)展需要。
圖2 異構(gòu)系統(tǒng)適配器架構(gòu)圖
2.6 消息隊(duì)列技術(shù)
作為數(shù)據(jù)、服務(wù)的集散中心,水利數(shù)據(jù)中心要時(shí)刻響應(yīng)大量用戶的數(shù)據(jù)或服務(wù)請(qǐng)求,為實(shí)現(xiàn)大數(shù)據(jù)服務(wù)的并發(fā)壓力控制[3]、網(wǎng)絡(luò)上大數(shù)據(jù)的可靠傳輸,平臺(tái)將實(shí)現(xiàn)數(shù)據(jù)與消息的適配器服務(wù)的編排,解決多部門(mén)、信息系統(tǒng)之間數(shù)據(jù)發(fā)送和接收過(guò)程中的可靠傳輸保障需求。
消息隊(duì)列技術(shù)基于點(diǎn)對(duì)點(diǎn)的隊(duì)列通訊通道,確保信息系統(tǒng)之間的數(shù)據(jù)有且僅有 1 次完整傳輸給對(duì)方,并為適配器服務(wù)提供異步數(shù)據(jù)緩存機(jī)制,提高適配器服務(wù)的數(shù)據(jù)并發(fā)壓力承載能力。
3.1 數(shù)據(jù)匯集技術(shù)
隨著水利水文自動(dòng)測(cè)報(bào)軟件技術(shù)的不斷演變和進(jìn)化,信息采集、傳輸實(shí)現(xiàn)方式的多元化,系統(tǒng)軟件研發(fā)各自為陣,不同程度地影響了新建系統(tǒng)與已建系統(tǒng)的正常集成和各級(jí)網(wǎng)絡(luò)的互連互通,信息資源得不到有效共享,信息“孤島”日益增多,如何實(shí)現(xiàn)這些數(shù)據(jù)的匯集是水利數(shù)據(jù)中心建設(shè)首先要解決的問(wèn)題。在對(duì)其他行業(yè)數(shù)據(jù)中心建設(shè)成功經(jīng)驗(yàn)分析的基礎(chǔ)上,采用多種通信技術(shù)的融合、封裝,解決了多種分布式通信模式下異構(gòu)系統(tǒng)或數(shù)據(jù)庫(kù)之間頻繁的大量數(shù)據(jù)匯集問(wèn)題。
該項(xiàng)目利用多種公認(rèn)、成熟和可靠的通信技術(shù),來(lái)支撐上層數(shù)據(jù)傳輸?shù)亩喾N模式。在 CORBA及 JMS 技術(shù)的基礎(chǔ)上,同時(shí)支持同步和異步通信模式。在異步模式中,將多種通信模式融為一體,其中包括目標(biāo)通信(Message Channel)、點(diǎn)對(duì)點(diǎn)通信(Point-to-Point)、發(fā)布/訂閱通信(Publish-Subscribe)、擴(kuò)展的發(fā)布/訂閱集群(P/S Cluster)等模式,并支持通信過(guò)程中的加密、壓縮、斷點(diǎn)續(xù)傳等重要保障功能[4]。依托企業(yè)服務(wù)總線,將多種通信方式有機(jī)封裝成一個(gè)整體,并通過(guò) CORBA IDL,SOAP,JMS 等標(biāo)準(zhǔn)接口方式對(duì)外進(jìn)行發(fā)布,從而使得基于企業(yè)服務(wù)總線構(gòu)建的不同應(yīng)用能夠以透明、一致、高效的方式應(yīng)用不同的底層通信機(jī)制。
3.2 數(shù)據(jù)共享技術(shù)
水利數(shù)據(jù)中心數(shù)據(jù)的來(lái)源不唯一,同樣,用戶群體、數(shù)據(jù)需求亦不唯一,如何解決不同用戶群體之間不同數(shù)據(jù)的交互、服務(wù)的共享也是水利數(shù)據(jù)中心建設(shè)需要解決的技術(shù)難點(diǎn)之一,本項(xiàng)目利用JMS、適配器、數(shù)據(jù)定向回滾等技術(shù),解決了數(shù)據(jù)中心不同用戶節(jié)點(diǎn)之間的數(shù)據(jù)共享問(wèn)題。
通過(guò) JMS 和適配器等技術(shù)將原有網(wǎng)絡(luò)服務(wù)組件、應(yīng)用系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行封裝,并開(kāi)發(fā)統(tǒng)一的、可重用的接口供不同應(yīng)用或服務(wù)調(diào)用,實(shí)現(xiàn)多系統(tǒng)之間的互連互通;同時(shí),還支持事務(wù)和連接的管理??紤]到數(shù)據(jù)災(zāi)難恢復(fù),通過(guò)對(duì)線程工作原理的分析,平臺(tái)利用數(shù)據(jù)定向回滾技術(shù)解決了各服務(wù)節(jié)點(diǎn)之間的數(shù)據(jù)重傳問(wèn)題。在重傳過(guò)程中數(shù)據(jù)傳輸源、目標(biāo)、量均由用戶自行控制。
通過(guò)建立交換服務(wù)網(wǎng)絡(luò)群,形成全局的服務(wù)倉(cāng)庫(kù),通過(guò)路由策略的定制,將并發(fā)的請(qǐng)求分擔(dān)群集中各節(jié)點(diǎn)的服務(wù)上,以達(dá)到負(fù)載均衡的能力;整個(gè)交換服務(wù)網(wǎng)絡(luò)中各節(jié)點(diǎn)可以配置 master/slave 關(guān)系,保證高性能、容錯(cuò)的服務(wù)能力;傳輸?shù)男畔⒖梢猿志帽4嬖谠O(shè)備上,保證了服務(wù)的可靠性。線程池的使用提高了數(shù)據(jù)匯集、交換、共享并發(fā)響應(yīng)的能力[5]。
3.3 應(yīng)用服務(wù)架構(gòu)技術(shù)
隨著水利水文信息量的成倍增長(zhǎng),各級(jí)水行政部門(mén)、社會(huì)公眾對(duì)水利水文信息的需求日益變化[6],這就要求水利數(shù)據(jù)中心提供的服務(wù)快速化、多元化,如何對(duì)這些需求進(jìn)行拆分、合并,使服務(wù)更具個(gè)性化、易擴(kuò)展是水利數(shù)據(jù)中心要解決的重點(diǎn)難題。采用接口和服務(wù)重用、事件驅(qū)動(dòng)模型、微內(nèi)核插件式等設(shè)計(jì)的混合模式,實(shí)現(xiàn)對(duì)不同業(yè)務(wù)需求的數(shù)據(jù)中心應(yīng)用服務(wù)是一種不錯(cuò)的解決方案。
SOA 方式直接提高了重用程度,降低了維護(hù)難度,因而降低了系統(tǒng)的總體擁有成本。項(xiàng)目設(shè)計(jì)支持每個(gè)組件的通信、互連、轉(zhuǎn)換、移植性和安全性標(biāo)準(zhǔn)。使運(yùn)行業(yè)務(wù)的過(guò)程變得平滑,節(jié)約時(shí)間、人力和集成支持這些業(yè)務(wù)過(guò)程的組件的費(fèi)用。允許利用已經(jīng)可供整合的組件,根據(jù)具體要求快速、方便地構(gòu)建新的應(yīng)用,可節(jié)約技術(shù)投資,減少開(kāi)發(fā)時(shí)間和提高現(xiàn)有軟件資產(chǎn)的重用程度。
事件驅(qū)動(dòng)模式是對(duì)服務(wù)提供者和消費(fèi)者之間的交互進(jìn)行解耦,使得集成環(huán)境中的各個(gè) IT 系統(tǒng)可以異步、多對(duì)多、基于事件地通訊,同時(shí)也是對(duì) SOA模式的一種補(bǔ)充。整個(gè)設(shè)計(jì)將事件驅(qū)動(dòng)的方法和面向服務(wù)的方法結(jié)合使用,可簡(jiǎn)化業(yè)務(wù)系統(tǒng)的集成;中間件是異類(lèi)系統(tǒng)進(jìn)行通訊的中介,部署到中間件上的服務(wù)可由服務(wù)提供者或事件觸發(fā)。同時(shí)支持同步和異步方式,可以使服務(wù)一對(duì)一和多對(duì)多通信。
微內(nèi)核[7]插件式的設(shè)計(jì)思想將服務(wù)組件完成的功能從應(yīng)用系統(tǒng)內(nèi)核中剝離出來(lái),組件功能和核心總線以松散耦合的方式結(jié)合,降低了內(nèi)核的復(fù)雜度。集成項(xiàng)目中費(fèi)用最高的部分是對(duì)遺留系統(tǒng)的定制,可以在總線上很容易開(kāi)發(fā)、部署所需的插件,并對(duì)內(nèi)核和其他插件的運(yùn)行沒(méi)有任何影響。采用插件式應(yīng)用框架開(kāi)發(fā)技術(shù),具有模塊化、可重用性、可擴(kuò)展性、簡(jiǎn)單性和可維護(hù)性等特點(diǎn),這種開(kāi)發(fā)方式能大大提高開(kāi)發(fā)效率,又能輕松實(shí)現(xiàn)系統(tǒng)功能的擴(kuò)展和提高系統(tǒng)的穩(wěn)定性。開(kāi)發(fā)時(shí)先設(shè)計(jì) 1 個(gè)系統(tǒng)應(yīng)用框架,然后按照這個(gè)框架所制定的標(biāo)準(zhǔn)開(kāi)發(fā)各種應(yīng)用功能(在程序編寫(xiě)中表現(xiàn)為插件),最后通過(guò)這個(gè)系統(tǒng)應(yīng)用框架加載開(kāi)發(fā)的應(yīng)用功能。整個(gè)設(shè)計(jì)思想是將系統(tǒng)功能以插件對(duì)象的形式通過(guò)系統(tǒng)應(yīng)用框架統(tǒng)一管理。
3.4 數(shù)據(jù)中心架構(gòu)技術(shù)
基于數(shù)據(jù)中心的數(shù)據(jù)匯集、數(shù)據(jù)共享、應(yīng)用服務(wù)等架構(gòu)技術(shù),可構(gòu)建省級(jí)水利數(shù)據(jù)中心模型[8-9]。主要采用 3 層體系對(duì)水利數(shù)據(jù)中心進(jìn)行架構(gòu),可使整個(gè)平臺(tái)結(jié)構(gòu)更加清晰,核心服務(wù)層更易擴(kuò)展,復(fù)用性更高,面向具體水利水文業(yè)務(wù)部門(mén)或用戶的業(yè)務(wù)應(yīng)用服務(wù)更易組合和封裝。3 層體系具體如下:
1)數(shù)據(jù)層。數(shù)據(jù)層設(shè)計(jì)涵蓋所有水利要素信息(本項(xiàng)目匯集了水文所有要素?cái)?shù)據(jù)),以及開(kāi)展業(yè)務(wù)所必須的地理空間、工程、站網(wǎng)等信息,以及元數(shù)據(jù);
2)服務(wù)層。采用企業(yè)服務(wù)總線作為架構(gòu)基礎(chǔ),一方面解決數(shù)據(jù)匯集、交換共享,另一方面本著標(biāo)準(zhǔn)化、可復(fù)用原則,依據(jù)實(shí)際業(yè)務(wù)需求,開(kāi)發(fā)和部署相應(yīng)的應(yīng)用服務(wù)、邏輯關(guān)系、計(jì)算方法,以及運(yùn)維管理、集成業(yè)務(wù)應(yīng)用所必須的訪問(wèn)控制服務(wù)等。
3)業(yè)務(wù)應(yīng)用層。通過(guò)服務(wù)層提供的服務(wù)組件進(jìn)行組合、封裝,實(shí)現(xiàn)業(yè)務(wù)應(yīng)用系統(tǒng)的個(gè)性化需求。
作為水文信息化的標(biāo)志工程,江蘇省水利數(shù)據(jù)中心建設(shè)必須做到以下 2 點(diǎn):1)對(duì)全省水文信息進(jìn)行規(guī)范化分類(lèi)、整合、匯集、存儲(chǔ);2)根據(jù)不同業(yè)務(wù)應(yīng)用,對(duì)數(shù)據(jù)中心服務(wù)進(jìn)行合理化分類(lèi)。這樣可使共性的服務(wù)不需重復(fù)建設(shè),特殊的業(yè)務(wù)需求或邏輯特殊對(duì)待;另外,也使相關(guān)的服務(wù)多元化、透明化,使用戶在調(diào)用服務(wù)時(shí)一目了然,有什么服務(wù)可調(diào),怎么調(diào),都很清楚。
經(jīng)過(guò)努力,基于數(shù)據(jù)中心的數(shù)據(jù)匯集、交換及應(yīng)用服務(wù)相關(guān)技術(shù)研究已經(jīng)完成,形成了一套較為完整的數(shù)據(jù)中心建設(shè)解決方案,并有部分原型實(shí)現(xiàn),可供后續(xù)數(shù)據(jù)中心建設(shè)參考。
[1]曹張治. 空間環(huán)境科學(xué)數(shù)據(jù)匯集及關(guān)鍵技術(shù)研究[D]. 北京:中國(guó)地質(zhì)大學(xué),2010.
[2]薛濤,崔健,楊帆. 基于 ESB 的企業(yè)應(yīng)用集成[EB/OL]. (2008-04-09)[2013-12-15]. http://www.vsharing.com/k/SOA/2008-4/610214.html.
[3]李志強(qiáng). 大型數(shù)據(jù)庫(kù)并發(fā)訪問(wèn)的控制與實(shí)現(xiàn)[J]. 中原工學(xué)院學(xué)報(bào),2004,15 (6): 24-27.
[4]張錦珠. 數(shù)據(jù)中心平臺(tái)的一種設(shè)計(jì)與實(shí)現(xiàn)[J]. 信息安全與技術(shù),2011 (12): 46-49.
[5]楊開(kāi)杰,劉秋菊,徐汀榮. 線程池的多線程并發(fā)控制技術(shù)研究[J]. 計(jì)算機(jī)應(yīng)用與軟件,2010, 27 (1): 168-170,179.
[6]胡金龍,莫曉聰,高祥濤,等. 基于不同遙測(cè)終端的水文自動(dòng)測(cè)報(bào)系統(tǒng)研究[J]. 長(zhǎng)江科學(xué)院院報(bào),2013, 10 (30): 118-122.
[7]諶桂枝,沈曉建,龔興艷. 基于 Spring 框架的 IoC 微內(nèi)核的實(shí)現(xiàn)機(jī)制與應(yīng)用[J]. 湖南工業(yè)大學(xué)學(xué)報(bào),2009, 23 (3): 50-53.
[8]朱利偉,曹播. 數(shù)據(jù)中心的模型分析與研究[J]. 智能建筑與城市信息,2010 (3): 45-51.
[9]沈燕,雷蕾. 一種面向領(lǐng)域 Web 服務(wù)的數(shù)據(jù)中心模型[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2013 (6): 67-70.
Technology Research of Data Exchange and Application Service Based on Data Center
HU Jinlong1, BAI Ping1, ZHU Haibo2, CAO Shuai1
(1. Jiangsu Provincial Hydrology and Water Resource Survey Bureau, Nanjing 210029, China;2. Nanjing Branch of Jiangsu Province Hydrology and Water Resource Survey Bureau, Nanjing 210029, China)
The article introduces the research goal and content of techniques of data collection, sharing, and service based on data center, makes the overall technique route, and solves the problem of data influx in heterogeneous systems and databases through integrating and packaging communication technologies. It solves the problem of data sharing between different user nodes in data center, through techniques of JMS, and software-adapter, and data oriented rollback. It achieves the data center application service of different business needs, constructs a provincial water data center model, and forms a solution of data center construction, through the model of mix design mode of the interface and service reuse, event driven model design, micro kernel plug-in. It offers reference for data center construction in future.
integrate and package of communication technology; data oriented rollback technology; mixed design; data center; data exchanging; data influx; application service
TP393
A
1674-9405(2014)02-0005-04
2013-12-27
胡金龍(1976-),男,江蘇南京人,高級(jí)工程師,主要從事水利信息化的規(guī)劃、設(shè)計(jì)及建設(shè)管理等工作。