李旭文,溫香彩,沈紅軍,茅晶晶,郇洪江
(1.江蘇省環(huán)境監(jiān)測(cè)中心,江蘇 南京 210036;2.中國(guó)環(huán)境監(jiān)測(cè)總站,北京 100012)
·信息應(yīng)用·
基于數(shù)據(jù)物流服務(wù)思想的流域水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換與集成技術(shù)
李旭文1,溫香彩2,沈紅軍1,茅晶晶1,郇洪江1
(1.江蘇省環(huán)境監(jiān)測(cè)中心,江蘇 南京 210036;2.中國(guó)環(huán)境監(jiān)測(cè)總站,北京 100012)
提出了面向流域水生態(tài)監(jiān)控預(yù)警的水環(huán)境信息完整性管理理念,分析了多源、多手段采集的流域水環(huán)境監(jiān)測(cè)數(shù)據(jù)的交換與集成技術(shù)需求,重點(diǎn)針對(duì)中國(guó)環(huán)境監(jiān)測(cè)部門流域監(jiān)測(cè)斷面管理存在的不足,提出了目錄管理架構(gòu)?;跀?shù)據(jù)物流服務(wù)思想,利用微軟BizTalk平臺(tái)和XML技術(shù)設(shè)計(jì)了支持多源水環(huán)境數(shù)據(jù)接入、可靈活配置并監(jiān)控的水監(jiān)測(cè)數(shù)據(jù)交換平臺(tái)原型系統(tǒng)。在太湖流域示范區(qū)開展了示范應(yīng)用,可加強(qiáng)流域水環(huán)境監(jiān)測(cè)信息高效、快速、暢通的傳輸和交換,能大大提高水環(huán)境監(jiān)測(cè)數(shù)據(jù)傳輸交換的及時(shí)性、安全性和準(zhǔn)確性。
水環(huán)境監(jiān)測(cè)信息完整性;數(shù)據(jù)物流服務(wù);數(shù)據(jù)交換;集成;BizTalk;XML
流域水環(huán)境生態(tài)系統(tǒng)具有極其復(fù)雜的內(nèi)部特征,生態(tài)驅(qū)動(dòng)因子復(fù)雜且相互交織和因果關(guān)聯(lián)。水環(huán)境與生態(tài)管理正在朝基于水生態(tài)功能分區(qū)、分級(jí)、分類、分時(shí)段的思想演變,這一趨勢(shì)要求能夠有序歸集、科學(xué)組織、高度共享流域水環(huán)境的多學(xué)科、多因子、多手段、長(zhǎng)時(shí)間序列的水環(huán)境監(jiān)測(cè)信息,以便對(duì)流域水生態(tài)完整性進(jìn)行科學(xué)的評(píng)價(jià)和監(jiān)控預(yù)警。因此,應(yīng)研究建立科學(xué)的流域水生態(tài)環(huán)境信息完整性保障機(jī)制和技術(shù)支撐能力,發(fā)展基于生命系統(tǒng)生命周期式信息管理、信息云服務(wù)的思想及技術(shù)方法來組織、集成和共享水環(huán)境信息,把散布在各部門(機(jī)構(gòu))、單一化、局部化的流域水環(huán)境數(shù)據(jù)資料,按時(shí)間進(jìn)程、地理空間、業(yè)務(wù)關(guān)聯(lián)等主題主線嚴(yán)密重組、集成與融合,成為反映歷史、過程變化、現(xiàn)狀格局,并揭示未來演化的綜合性、完整性信息,成為對(duì)流域水生態(tài)環(huán)境問題進(jìn)行診斷、監(jiān)控的科學(xué)依據(jù)[1]。隨著流域生態(tài)環(huán)境監(jiān)管要求多部門步調(diào)一致、形成合力,生態(tài)測(cè)、管、控一體化成為必然趨勢(shì),應(yīng)研究和構(gòu)建滿足多部門異構(gòu)水生態(tài)環(huán)境數(shù)據(jù)集成與交換的公共服務(wù)平臺(tái)技術(shù),保證傳輸安全、信息無縫交換、數(shù)據(jù)共享,為流域水環(huán)境信息完整性建設(shè)提供堅(jiān)實(shí)的支撐。
水環(huán)境監(jiān)測(cè)數(shù)據(jù)是目前水環(huán)境與生態(tài)問題評(píng)價(jià)最為核心、也最為重要的信息,在流域水環(huán)境監(jiān)測(cè)數(shù)據(jù)集成與共享應(yīng)用系統(tǒng)中,監(jiān)測(cè)斷面(測(cè)點(diǎn))的數(shù)據(jù)如何可靠、安全、完整、及時(shí)地交換到上級(jí)環(huán)境監(jiān)測(cè)部門,其他行業(yè)的水環(huán)境監(jiān)測(cè)數(shù)據(jù)以及水環(huán)境質(zhì)量關(guān)聯(lián)數(shù)據(jù)(如氣象、水文、社會(huì)經(jīng)濟(jì)統(tǒng)計(jì)數(shù)據(jù))如何定期或持續(xù)地匯集到流域水環(huán)境監(jiān)測(cè)信息共享平臺(tái),都是系統(tǒng)設(shè)計(jì)的重點(diǎn)目標(biāo)?;跀?shù)據(jù)物流服務(wù)思想的流域水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換與集成技術(shù),可為各涉水部門提交自身產(chǎn)生數(shù)據(jù)、共享協(xié)作方監(jiān)測(cè)數(shù)據(jù)提供有力的支持。
1.1.1 監(jiān)測(cè)斷面目錄化管理及監(jiān)測(cè)數(shù)據(jù)交換
經(jīng)過近30年的發(fā)展,中國(guó)環(huán)境監(jiān)測(cè)部門在流域水環(huán)境監(jiān)測(cè)信息管理方面積累了豐富的經(jīng)驗(yàn),在水環(huán)境監(jiān)測(cè)數(shù)據(jù)采集、審核、傳輸上報(bào)、綜合分析評(píng)價(jià)等方面基本上形成了較完備的業(yè)務(wù)化流程和環(huán)境質(zhì)量評(píng)價(jià)方法體系。在監(jiān)測(cè)數(shù)據(jù)的管理體系和應(yīng)用級(jí)別方面,構(gòu)建了國(guó)控、省控、市控等級(jí)別的監(jiān)測(cè)斷面(測(cè)點(diǎn))業(yè)務(wù)網(wǎng)絡(luò)。省級(jí)管理的水環(huán)境監(jiān)測(cè)斷面,既要完全包括本省域內(nèi)的國(guó)控監(jiān)測(cè)斷面,還要包括省級(jí)自身需要加強(qiáng)監(jiān)督監(jiān)管的次級(jí)水系水網(wǎng)的監(jiān)測(cè)斷面;地方管理的水環(huán)境監(jiān)測(cè)斷面,既要包括上級(jí)下達(dá)的所有監(jiān)測(cè)斷面(直接和間接上級(jí)監(jiān)測(cè)部門,直至監(jiān)測(cè)總站),也要包括本級(jí)管理的小河支流上的監(jiān)測(cè)斷面。
環(huán)境監(jiān)測(cè)部門傳輸水環(huán)境監(jiān)測(cè)數(shù)據(jù)大多仍然通過簡(jiǎn)單的電子表格、文本文件或桌面ACCESS數(shù)據(jù)庫(kù)上報(bào)文件,由此帶來了一系列問題。一是數(shù)據(jù)表中的測(cè)站、斷面、河流編碼沒有得到強(qiáng)制校驗(yàn)審核,缺填、亂碼、數(shù)據(jù)奇異現(xiàn)象時(shí)有發(fā)生,數(shù)據(jù)規(guī)范性差,質(zhì)量無法保證。尤其是測(cè)站代碼和斷面代碼如果填報(bào)不準(zhǔn),則會(huì)導(dǎo)致監(jiān)測(cè)數(shù)據(jù)發(fā)生跨越地域和流域錯(cuò)誤,對(duì)流域水環(huán)境質(zhì)量評(píng)價(jià)帶來極大的困擾,甚至造成混亂。二是水環(huán)境監(jiān)測(cè)數(shù)據(jù)傳輸?shù)耐暾缘貌坏奖U?,手工方式傳輸上?bào)監(jiān)測(cè)數(shù)據(jù)由于工作人員專業(yè)能力水平、責(zé)任心等原因,有可能導(dǎo)致監(jiān)測(cè)項(xiàng)目數(shù)據(jù)缺填、數(shù)據(jù)違反業(yè)務(wù)邏輯的問題。三是及時(shí)性不強(qiáng),在上級(jí)監(jiān)測(cè)報(bào)告制度規(guī)定的時(shí)限內(nèi)不能及時(shí)上報(bào)數(shù)據(jù),以致于難以開展水生態(tài)質(zhì)量分析和監(jiān)控預(yù)警,影響了為管理服務(wù)的時(shí)效。
基于斷面目錄化管理的數(shù)據(jù)交換平臺(tái)將從手工傳輸操作為主轉(zhuǎn)變?yōu)槠脚_(tái)化的自動(dòng)交換和嚴(yán)格的邏輯審核,對(duì)于數(shù)據(jù)交換平臺(tái)而言,任何接入的前端都是水環(huán)境監(jiān)測(cè)數(shù)據(jù)的生產(chǎn)系統(tǒng)。交換平臺(tái)的核心任務(wù)就是把數(shù)據(jù)可靠快速地傳送至目的地(目標(biāo)應(yīng)用系統(tǒng)、數(shù)據(jù)中心),將數(shù)據(jù)交換系統(tǒng)與水環(huán)境監(jiān)測(cè)其他業(yè)務(wù)系統(tǒng)相分離,成為可獨(dú)立配置、管理和運(yùn)行的水環(huán)境“數(shù)據(jù)物流”公共服務(wù)平臺(tái),實(shí)現(xiàn)水環(huán)境監(jiān)測(cè)數(shù)據(jù)“速采、速審、速傳、速用”,提高水環(huán)境監(jiān)測(cè)數(shù)據(jù)管理能力。
1.1.2 多手段監(jiān)測(cè)水環(huán)境數(shù)據(jù)的交換與集成需求
為了科學(xué)評(píng)價(jià)流域水環(huán)境健康狀況,監(jiān)測(cè)數(shù)據(jù)的類別既需要包括物理、化學(xué)指標(biāo),更應(yīng)包括生物、底泥、生態(tài)類指標(biāo)。在常規(guī)例行監(jiān)測(cè)基礎(chǔ)上,自動(dòng)監(jiān)測(cè)手段、衛(wèi)星遙感監(jiān)測(cè)手段的應(yīng)用,使得流域水環(huán)境監(jiān)測(cè)信息譜系更加多樣,指標(biāo)更加豐富,數(shù)據(jù)的時(shí)間和空間密度顯著提高。因此更需要高效、可靠、安全、完整的數(shù)據(jù)交換與集成能力,使流域水環(huán)境監(jiān)測(cè)信息在從宏觀到微觀的多尺度上關(guān)聯(lián)、同化和集成,真正成為動(dòng)態(tài)監(jiān)視流域水生態(tài)健康的科學(xué)數(shù)據(jù)集群。
水環(huán)境監(jiān)測(cè)信息主要來自環(huán)保部門的各級(jí)環(huán)境監(jiān)測(cè)機(jī)構(gòu),同時(shí)水利、建設(shè)、衛(wèi)生、農(nóng)林、漁業(yè)等部門也開展了一定程度的水環(huán)境監(jiān)測(cè)業(yè)務(wù),積累了大量的水環(huán)境監(jiān)測(cè)資料。很多水生態(tài)問題如藍(lán)藻水華、湖泛、死魚等現(xiàn)象與特定的氣象氣候條件密切相關(guān),氣象部門的數(shù)據(jù)也是眾多水生態(tài)問題成因分析的關(guān)鍵數(shù)據(jù)。對(duì)于流域水環(huán)境與生態(tài)問題的分析而言,信息量越豐富,覆蓋的部門越全面,就越有利于水環(huán)境與生態(tài)問題的深層次分析和深度挖掘、識(shí)別。開展涉水部門水環(huán)境相關(guān)數(shù)據(jù)的交換集成有益于流域生態(tài)完整性分析。
流域的各類專項(xiàng)監(jiān)測(cè)、水環(huán)境科研監(jiān)測(cè)工作,也布點(diǎn)采集了大量的數(shù)據(jù),是常規(guī)監(jiān)測(cè)的重要補(bǔ)充。長(zhǎng)期以來,這些寶貴的數(shù)據(jù)資源由于缺少數(shù)據(jù)匯交歸集機(jī)制,散落在各研究部門,沒有充分發(fā)揮其應(yīng)有的科學(xué)價(jià)值和史料價(jià)值,對(duì)于流域水環(huán)境問題演變分析及中長(zhǎng)期生態(tài)影響分析而言,完成各種專項(xiàng)、科研、調(diào)查監(jiān)測(cè)的數(shù)據(jù)集成十分有益于水環(huán)境問題演化規(guī)律的識(shí)別和解析,有利于找出不同時(shí)期、不同政策及管理措施主導(dǎo)下影響流域水生態(tài)的關(guān)鍵驅(qū)動(dòng)因子。
現(xiàn)代物流服務(wù)(Logistics Service)是指物流供應(yīng)方通過對(duì)運(yùn)輸、儲(chǔ)存、裝卸、搬運(yùn)、包裝、流通、加工、配送和信息管理等基本功能的組織與管理來滿足客戶物流需求的行為,這一思想在信息系統(tǒng)開發(fā)中逐漸得到重視。各專業(yè)信息系統(tǒng)專注于內(nèi)部業(yè)務(wù)邏輯嚴(yán)密性和流程的實(shí)現(xiàn),與外部的數(shù)據(jù)交互則借助公共的“數(shù)據(jù)物流服務(wù)”,不必考慮更多的數(shù)據(jù)向外部提交和共享的細(xì)節(jié),減少與外部系統(tǒng)之間的耦合性,系統(tǒng)的安全性和穩(wěn)定性大大提高,成本投入明顯降低?;诹饔蛩h(huán)境監(jiān)測(cè)數(shù)據(jù)“物流式服務(wù)”的思想,以構(gòu)建廣泛適應(yīng)、獨(dú)立運(yùn)行、平臺(tái)化、可監(jiān)控管理的水環(huán)境監(jiān)測(cè)信息交換、管理框架體系為目標(biāo),利用微軟的企業(yè)級(jí)數(shù)據(jù)交換及應(yīng)用集成軟件BizTalk產(chǎn)品,以太湖流域?yàn)槭痉秴^(qū),通過流域水環(huán)境監(jiān)測(cè)斷面目錄管理和基礎(chǔ)信息同步機(jī)制,初步實(shí)現(xiàn)常熟—蘇州—江蘇省—中國(guó)環(huán)境監(jiān)測(cè)總站縱向四級(jí)間的水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換架構(gòu),為例行監(jiān)測(cè)、自動(dòng)監(jiān)測(cè)、重點(diǎn)水污染源在線監(jiān)測(cè)數(shù)據(jù)的傳輸上報(bào)提供業(yè)務(wù)化應(yīng)用示范。
水環(huán)境監(jiān)測(cè)數(shù)據(jù)傳輸交換平臺(tái)是基于成熟的BizTalk中間件技術(shù),實(shí)現(xiàn)可靠消息服務(wù),通過消息的異步方式集成各應(yīng)用系統(tǒng)。同時(shí)在消息轉(zhuǎn)換的過程中可以識(shí)別XML、文本文件、Office Excel文檔等多種消息格式。大量基于各自業(yè)務(wù)流程的異構(gòu)數(shù)據(jù)、水環(huán)境數(shù)據(jù)通過交換平臺(tái)進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換,交換到數(shù)據(jù)中心進(jìn)行統(tǒng)一管理,實(shí)現(xiàn)水環(huán)境監(jiān)測(cè)數(shù)據(jù)的共享(圖1)。
在太湖流域開展了數(shù)據(jù)交換技術(shù)示范,首先利用VPN網(wǎng)關(guān)設(shè)備在Internet上建立了運(yùn)行數(shù)據(jù)交換各節(jié)點(diǎn)的VPN網(wǎng),在VPN網(wǎng)中采用Windows 2008的證書服務(wù)器技術(shù),部署了一套準(zhǔn)確反映全國(guó)環(huán)境監(jiān)測(cè)業(yè)務(wù)層級(jí)關(guān)系的電子認(rèn)證服務(wù)系統(tǒng)(CA),為各級(jí)監(jiān)測(cè)機(jī)構(gòu)、內(nèi)設(shè)部門、監(jiān)測(cè)人員等對(duì)象提供準(zhǔn)確的身份認(rèn)證、角色、訪問或操作權(quán)限管理,監(jiān)測(cè)總站是CA服務(wù)器的根節(jié)點(diǎn)。
各級(jí)數(shù)據(jù)交換平臺(tái)節(jié)點(diǎn)由交換橋接、前置交換、交換傳輸、交換中心管理等子系統(tǒng)組成,采用Windows 2003/2008 Server、SQL Server 2005/2008、FTP服務(wù)器以及Web服務(wù)器(可直接使用操作系統(tǒng)內(nèi)置的IIS,包括了FTP和HTTP支持)為系統(tǒng)軟件。
圖1 流域水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換的技術(shù)實(shí)現(xiàn)機(jī)制
在數(shù)據(jù)交換平臺(tái)中心服務(wù)器上部署微軟的Biztalk 2009服務(wù)器軟件、微軟消息中間件以及微軟應(yīng)用和數(shù)據(jù)適配器,在各個(gè)交換節(jié)點(diǎn)部署相對(duì)應(yīng)的適配器和消息中間件,數(shù)據(jù)適配器采用FTP、HTTP、平面文件(即結(jié)構(gòu)化格式化的文本數(shù)據(jù)文件)、Web Service等多種成熟技術(shù),本研究重點(diǎn)示范了基于FTP服務(wù)器的水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換。利用前置機(jī)實(shí)現(xiàn)中心平臺(tái)(交換中心)與交換節(jié)點(diǎn)(前置機(jī))之間的合理分離(部門業(yè)務(wù)職責(zé)分離、異構(gòu)技術(shù)平臺(tái)分離)和標(biāo)準(zhǔn)化交互(在中心和節(jié)點(diǎn)之間按照標(biāo)準(zhǔn)進(jìn)行交互),增加整個(gè)體系的可擴(kuò)展性、可維護(hù)性、可推廣性,將不同平臺(tái)、不同架構(gòu)和不同功能的業(yè)務(wù)部門的系統(tǒng)有機(jī)地連接起來,實(shí)現(xiàn)不同部門前置交換信息庫(kù)之間安全、可靠、穩(wěn)定、高效的信息交換傳遞系統(tǒng)[2,3]。
圖2 流域水環(huán)境監(jiān)測(cè)斷面目錄管理架構(gòu)
水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換節(jié)點(diǎn)是嚴(yán)格對(duì)照年度水環(huán)境監(jiān)測(cè)斷面目錄進(jìn)行數(shù)據(jù)交換的,圖2為流域水環(huán)境監(jiān)測(cè)斷面目錄管理架構(gòu)。在數(shù)據(jù)向上交換服務(wù)啟動(dòng)之前,應(yīng)預(yù)先完成年度監(jiān)測(cè)斷面目錄的初始化配置。其中,國(guó)控?cái)嗝嬗煽傉揪S護(hù),省控?cái)嗝嬗墒〖?jí)監(jiān)測(cè)站維護(hù)。在VPN網(wǎng)中設(shè)立了一個(gè)主節(jié)點(diǎn),借助水環(huán)境監(jiān)測(cè)信息共享系統(tǒng)CA平臺(tái)的支持,負(fù)責(zé)統(tǒng)一管理和維護(hù)所有國(guó)控、省控、市控、縣控監(jiān)測(cè)斷面目錄信息,并以Web Service方式向所有的數(shù)據(jù)交換節(jié)點(diǎn)和水環(huán)境監(jiān)測(cè)數(shù)據(jù)中心提供斷面要素的目錄服務(wù)信息??傉镜膰?guó)控?cái)嗝婀芾韱T可在該節(jié)點(diǎn)新增、刪除和修改國(guó)控?cái)嗝婢幋a以及基礎(chǔ)屬性信息,地方級(jí)別斷面則由對(duì)應(yīng)層級(jí)的斷面管理員行使權(quán)限。這一管理架構(gòu)十分切合流域水環(huán)境監(jiān)測(cè)斷面管理需求,在水環(huán)境監(jiān)測(cè)信息集成、共享數(shù)據(jù)平臺(tái)中能夠確保監(jiān)測(cè)斷面編碼的同步和一致。
流域水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換流程見圖3。在縣級(jí)監(jiān)測(cè)站,手工或自動(dòng)監(jiān)測(cè)數(shù)據(jù)平臺(tái)產(chǎn)生的數(shù)據(jù),對(duì)照斷面目錄,將應(yīng)上報(bào)的數(shù)據(jù)送入數(shù)據(jù)交換節(jié)點(diǎn)。之后,縣級(jí)交換節(jié)點(diǎn)與省轄市級(jí)交換節(jié)點(diǎn)自動(dòng)完成數(shù)據(jù)交換的交互工作,不需額外的參與,自動(dòng)按應(yīng)上報(bào)斷面完成數(shù)據(jù)的傳輸上報(bào)、糾錯(cuò)、重傳等處理。在地市級(jí)站,下轄縣級(jí)站數(shù)據(jù)從本級(jí)交換節(jié)點(diǎn)進(jìn)入本級(jí)水環(huán)境監(jiān)測(cè)數(shù)據(jù)中心,市級(jí)監(jiān)測(cè)的斷面數(shù)據(jù)也需入庫(kù)。之后對(duì)照斷面目錄,將應(yīng)報(bào)的國(guó)、省控?cái)?shù)據(jù)送入本級(jí)數(shù)據(jù)交換平臺(tái),完成同省級(jí)數(shù)據(jù)交換節(jié)點(diǎn)的交互。
在水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換的過程中,可以實(shí)現(xiàn)必要的數(shù)據(jù)審核和傳輸統(tǒng)計(jì)功能,包括奇異值過濾和甄別、超限項(xiàng)目自動(dòng)提醒等,構(gòu)建數(shù)據(jù)交換平臺(tái)的監(jiān)控系統(tǒng)、記錄下級(jí)站監(jiān)測(cè)數(shù)據(jù)上報(bào)日志系統(tǒng),實(shí)現(xiàn)環(huán)境監(jiān)測(cè)數(shù)據(jù)傳輸交換質(zhì)量的電子化考核能力。
任何類型的水環(huán)境監(jiān)測(cè)數(shù)據(jù)在進(jìn)入交換平臺(tái)之前,都應(yīng)完成必要的數(shù)據(jù)結(jié)構(gòu)化處理。XML技術(shù)是使水環(huán)境監(jiān)測(cè)數(shù)據(jù)完成結(jié)構(gòu)化的技術(shù),大多數(shù)行業(yè)、部門對(duì)其產(chǎn)生的業(yè)務(wù)數(shù)據(jù)都制定了相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范,對(duì)業(yè)務(wù)數(shù)據(jù)項(xiàng)的信息分類、編碼規(guī)則、數(shù)據(jù)類型、域值范圍等進(jìn)行了明確規(guī)定,因而各行業(yè)水環(huán)境監(jiān)測(cè)及相關(guān)數(shù)據(jù)的結(jié)構(gòu)化程度較好,便于在數(shù)據(jù)交換平臺(tái)上完成數(shù)據(jù)的映射,只要進(jìn)行簡(jiǎn)單的數(shù)據(jù)類型轉(zhuǎn)換、拆分、重組等處理,建立基于XML的數(shù)據(jù)架構(gòu)定義(XML Schema),就能完成數(shù)據(jù)映射。例如,《水質(zhì)數(shù)據(jù)庫(kù)表結(jié)構(gòu)與標(biāo)識(shí)符規(guī)定》(SL 325—2005)給出了水利部門水質(zhì)監(jiān)測(cè)數(shù)據(jù)結(jié)構(gòu)描述。對(duì)于水專項(xiàng)各課題中需要集成到水環(huán)境監(jiān)測(cè)信息共享平臺(tái)的研究性監(jiān)測(cè)數(shù)據(jù),則應(yīng)由課題實(shí)施單位對(duì)其數(shù)據(jù)成果編制結(jié)構(gòu)描述文檔,以便于建立數(shù)據(jù)XML Schema。
對(duì)于結(jié)構(gòu)化程度較低甚至非結(jié)構(gòu)化的數(shù)據(jù),如文本、多媒體信息,可以采用數(shù)據(jù)內(nèi)容封裝的方式完成結(jié)構(gòu)化處理,再通過數(shù)據(jù)交換平臺(tái)傳輸。
圖3 對(duì)照監(jiān)測(cè)斷面目錄的水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換體系和流程
流域水環(huán)境數(shù)據(jù)交換平臺(tái)的功能十分靈活且強(qiáng)大,不受限于行業(yè)和層級(jí),也不受限于數(shù)據(jù)的來源、類型和內(nèi)容。平臺(tái)化運(yùn)行的數(shù)據(jù)交換系統(tǒng)與其他任何水環(huán)境管理業(yè)務(wù)系統(tǒng)是業(yè)務(wù)邏輯相隔離的松散耦合關(guān)系,相對(duì)獨(dú)立運(yùn)行,只發(fā)生數(shù)據(jù)接入、數(shù)據(jù)路由、數(shù)據(jù)傳出、數(shù)據(jù)安全保障關(guān)系,沒有也不必關(guān)注數(shù)據(jù)如何采集、數(shù)據(jù)的物理意義、數(shù)據(jù)如何統(tǒng)計(jì)分析評(píng)價(jià)、數(shù)據(jù)如何展現(xiàn)這些專業(yè)角度負(fù)責(zé)的問題。根據(jù)數(shù)據(jù)交換的時(shí)效性要求,可以針對(duì)性地設(shè)置交換優(yōu)先級(jí)。例如,水質(zhì)異常時(shí)的超標(biāo)報(bào)警信息可以更高的優(yōu)先級(jí)即時(shí)傳輸,體現(xiàn)了先進(jìn)的數(shù)據(jù)“物流服務(wù)”的思想。
流域水環(huán)境數(shù)據(jù)交換平臺(tái)的靈活性表現(xiàn)為:通過簡(jiǎn)便的數(shù)據(jù)映射和交換配置,任何結(jié)構(gòu)化數(shù)據(jù)記錄,均能以XML方式在數(shù)據(jù)交換平臺(tái)上傳輸?shù)侥康牡氐臄?shù)據(jù)接收和應(yīng)用系統(tǒng),如上級(jí)環(huán)境數(shù)據(jù)中心、環(huán)境科學(xué)研究單位、監(jiān)測(cè)站。此外,數(shù)據(jù)交換的過程可得到監(jiān)控,有助于發(fā)現(xiàn)交換過程的性能問題、效率問題,更合理地調(diào)整和優(yōu)化數(shù)據(jù)交換平臺(tái)的參數(shù)設(shè)置。
建立流域水環(huán)境監(jiān)測(cè)信息采集交換與安全技術(shù)體系,充分研究數(shù)據(jù)傳輸網(wǎng)絡(luò)、業(yè)務(wù)流程、網(wǎng)絡(luò)安全等方面涉及的關(guān)鍵技術(shù)。一方面有利于實(shí)現(xiàn)涉水環(huán)境監(jiān)測(cè)數(shù)據(jù)的動(dòng)態(tài)管理,規(guī)范水環(huán)境監(jiān)測(cè)數(shù)據(jù)的采集、傳輸、交換與審核流程,確保數(shù)據(jù)的及時(shí)性、完整性與準(zhǔn)確性;另一方面實(shí)現(xiàn)統(tǒng)一的水環(huán)境監(jiān)測(cè)數(shù)據(jù)采集交換系統(tǒng)與安全保障體系,實(shí)現(xiàn)多數(shù)據(jù)源、多層級(jí)、多部門間的水環(huán)境監(jiān)測(cè)數(shù)據(jù)信息交換、共享與安全。
基于平臺(tái)化的、數(shù)據(jù)物流服務(wù)思想的流域水環(huán)境監(jiān)測(cè)數(shù)據(jù)交換平臺(tái),是高效、全面集成各路、各學(xué)科、各行業(yè)、各級(jí)別監(jiān)測(cè)業(yè)務(wù)相關(guān)單位的流域水環(huán)境相關(guān)信息的關(guān)鍵支撐平臺(tái)。它以數(shù)據(jù)基于XML的結(jié)構(gòu)化為前提,專注于流域水環(huán)境數(shù)據(jù)的準(zhǔn)確交換和“搬運(yùn)”,與具體的流域水環(huán)境數(shù)據(jù)中心、專業(yè)的水環(huán)境質(zhì)量綜合分析平臺(tái)、決策支持系統(tǒng)在整體架構(gòu)上進(jìn)行功能的邏輯隔離,減少依賴性和高耦合性,但又達(dá)到整體上基于網(wǎng)絡(luò)的分布式集成運(yùn)行能力、支撐保障能力,可更好地適應(yīng)不斷增多的異構(gòu)、多源水環(huán)境監(jiān)測(cè)信息集成與共享的需要,確保數(shù)據(jù)的精準(zhǔn)和全面的服務(wù)能力。
[1] 劉鵬.云計(jì)算[M].北京:電子工業(yè)出版社,2010.
[2] 戴文娟,王曉峰.基于XML和BizTalk數(shù)據(jù)集成平臺(tái)的設(shè)計(jì)與構(gòu)建[J].計(jì)算機(jī)技術(shù)與發(fā)展,2008,18(10):162-165.
[3] 王振宇,羅曉菁.基于MS BizTalk服務(wù)器實(shí)現(xiàn)數(shù)據(jù)集成[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,28(10):2435-2438.
River Basin Water Environmental Monitoring Data Interchange and Integration Technology Based on Data Logistics Service
LI Xu-wen1,WEN Xiang-cai2,SHEN Hong-jun1,MAO Jing-jing1,HUAN Hong-jiang1
(1.Jiangsu Provincial Environmental Monitoring Center,Nanjing,Jiangsu 210036,China;2.The China National Environmental Monitoring Center,Beijing 100012,China)
Introduced the concept of water environmental information integrity management to meet river basin aquatic ecology integrity monitoring and vigilance.Analyzed the requirements for heterogeneous,multi-means water environment monitoring data interchange and integration.Specifically,a catalog management scheme was investigated to better support water quality sampling sites inventory.Based on Data Logistics Service concept,a prototype data interchange and integration system was developed on Microsoft BizTalk Server platform with XML technique,and was pilot-studied in Taihu Lake water system.It was shown that general-purpose data interchange platform could significantly improve the timeliness,security and authenticity.
water environment monitoring;information integrity;data logistics service;data interchange;integration;BizTalk;XML
X84
A
1674-6732(2011)-05-0026-05
10.3969/j.issn.1674-6732.2011.05.008
2011-04-18;
2011-05-17
國(guó)家水體污染控制與治理科技重大專項(xiàng)項(xiàng)目(2009ZX07527-004)。
李旭文(1966—),男,研究員級(jí)高工,碩士,從事環(huán)境信息系統(tǒng)、環(huán)境遙感應(yīng)用、生態(tài)監(jiān)測(cè)工作。