基于ETL的地質(zhì)環(huán)境遺留系統(tǒng)集成及應(yīng)用研究

鄭庭明

摘? 要：本文在介紹了遺留系統(tǒng)及相關(guān)知識的基礎(chǔ)上，闡述了為什么要對地質(zhì)環(huán)境遺留系統(tǒng)進(jìn)行集成，并比較分析了不同系統(tǒng)集成方法的優(yōu)缺點，最終選擇采用ETL技術(shù)進(jìn)行數(shù)據(jù)集成的方式。介紹了ETL技術(shù)及其應(yīng)用框架，并用地質(zhì)環(huán)境一張圖進(jìn)行了示例說明。

關(guān)鍵詞：ETL;地質(zhì)環(huán)境;遺留系統(tǒng);集成

中圖分類號：TP39? ? ?文獻(xiàn)標(biāo)識碼：A

Study on Integration and Application of Geological Environment?Legacy System Based on ETL

ZHENG Tingming

（Shandong Monitoring Center of Geological Environment，Jinan 250014，China）

Abstract：This paper illustrates why we must integrate geological environment legacy system based on the introduction of the legacy system and related knowledge.In view of the advantages and disadvantages of different system integration methods，this paper chooses ETL technology to integrate data.Then this paper elaborates the ETL technology and its application framework by giving an example of a map of geological environment.

Keywords：ETL;geological environment;legacy system;integration

1? ?引言（Introduction）

遺留系統(tǒng)指不再適應(yīng)新的技術(shù)或新的業(yè)務(wù)需求，但鑒于替換或修改的成本過高而繼續(xù)投入使用的計算機(jī)系統(tǒng)或應(yīng)用程序[1]。

地質(zhì)環(huán)境系統(tǒng)的開發(fā)思路往往是使用者意識到需要某種功能時就開發(fā)具有該功能的系統(tǒng)，導(dǎo)致地質(zhì)環(huán)境存在較多時期不同、操作系統(tǒng)不同、數(shù)據(jù)庫不同、功能不同的遺留系統(tǒng)。這些遺留系統(tǒng)在運行過程中，產(chǎn)生和累積了海量的業(yè)務(wù)數(shù)據(jù)，但是各遺留系統(tǒng)的業(yè)務(wù)數(shù)據(jù)分布在各自的系統(tǒng)中，各系統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)標(biāo)準(zhǔn)、操作系統(tǒng)都不相同，導(dǎo)致這些海量數(shù)據(jù)之間缺乏關(guān)聯(lián)，形成“信息孤島”[2-6]。利用何種系統(tǒng)集成技術(shù)對這些遺留系統(tǒng)進(jìn)行有效的集成，在既保證不影響現(xiàn)有遺留系統(tǒng)的使用，又避免重復(fù)建設(shè)，節(jié)約成本的基礎(chǔ)上實現(xiàn)信息共享，提高地質(zhì)數(shù)據(jù)資產(chǎn)使用和管理效率，這既是地質(zhì)環(huán)境信息化建設(shè)中急需解決的問題，同時也是構(gòu)建共享開放的數(shù)據(jù)資源體系的重要一環(huán)。

2? ?系統(tǒng)集成技術(shù)選型（Selection of system integrationtechnology）

近年來，在系統(tǒng)集成、數(shù)據(jù)集成、工作流程、信息利用等方面出現(xiàn)了很多解決方案[7]，詳見表1。

地質(zhì)環(huán)境遺留系統(tǒng)正是擁有大量的歷史數(shù)據(jù)（如災(zāi)害點動態(tài)監(jiān)測數(shù)據(jù)，地下水動態(tài)監(jiān)測數(shù)據(jù)），數(shù)據(jù)也比較穩(wěn)定（如地質(zhì)災(zāi)害點，地質(zhì)遺跡點），數(shù)據(jù)需要長期、系統(tǒng)的保存，加之基于數(shù)據(jù)的集成可不影響遺留系統(tǒng)已有的架構(gòu)、操作，又可避免重復(fù)建設(shè)，還可保持?jǐn)?shù)據(jù)的“鮮活度”，故此本文選用數(shù)據(jù)集成的技術(shù)。

鑒于ETL可以對各種數(shù)據(jù)源（如Oracle、Sqlserver、DB2、Mysql、Access、txt、excel、csv、xml等），不同數(shù)據(jù)庫類型間的數(shù)據(jù)進(jìn)行處理，數(shù)據(jù)處理組件豐富，通用性強(qiáng)，可以很好地解決數(shù)據(jù)抽取、轉(zhuǎn)換、加載的問題等特點，故本文選用ETL技術(shù)進(jìn)行數(shù)據(jù)集成。

3? ?關(guān)鍵技術(shù)（Key technology）

ETL（Extraction-數(shù)據(jù)抽取、Transformation-數(shù)據(jù)轉(zhuǎn)換、Loading-數(shù)據(jù)加載）其實質(zhì)就是一種數(shù)據(jù)轉(zhuǎn)換的工具，在數(shù)據(jù)源與目標(biāo)數(shù)據(jù)庫中搭建一座橋梁，并且在橋上設(shè)置“檢查站”，通過“檢查站”去除“臟數(shù)據(jù)”，確保高質(zhì)量的新數(shù)據(jù)源源不斷地流向目標(biāo)數(shù)據(jù)庫。ETL過程其實就是數(shù)據(jù)流動的過程，將不同來源的數(shù)據(jù)統(tǒng)一匯入目標(biāo)數(shù)據(jù)庫[8]。

ETL具有的功能如圖1所示[9]，通過連接、抽取、轉(zhuǎn)換、加載等流程完成多源異構(gòu)數(shù)據(jù)的清洗、匯總。

ETL流程圖如圖2所示，其具有操作簡單、支持各類數(shù)據(jù)源、支持各種軟硬件平臺、通用性強(qiáng)、提供靈活的定制規(guī)則、提供強(qiáng)大的管理功能等優(yōu)勢[10，11]，利用ETL的優(yōu)勢，可在網(wǎng)絡(luò)相通的前提下實現(xiàn)各級部門之間的數(shù)據(jù)集成與調(diào)用，提高數(shù)據(jù)利用的廣泛性、高效性。

4? ?系統(tǒng)設(shè)計（System design）

4.1? ?技術(shù)框架

利用ETL對遺留系統(tǒng)進(jìn)行集成的整體框架如圖3所示。各遺留系統(tǒng)在各自原有平臺進(jìn)行獨立運作，通過數(shù)據(jù)同步交換中間件（即ETL工具）將遺留系統(tǒng)的數(shù)據(jù)進(jìn)行整合，統(tǒng)一匯集到公共地質(zhì)環(huán)境數(shù)據(jù)中心，在公共地質(zhì)環(huán)境數(shù)據(jù)中心之上構(gòu)建信息平臺，信息平臺中包含各類業(yè)務(wù)應(yīng)用需要的數(shù)據(jù)服務(wù)，當(dāng)新建的業(yè)務(wù)系統(tǒng)需要使用遺留系統(tǒng)中的數(shù)據(jù)時，只需通過調(diào)用各類服務(wù)接口即可，遺留系統(tǒng)及新建的業(yè)務(wù)系統(tǒng)只需通過UI集成便可搭建服務(wù)于自己需求的應(yīng)用門戶。

從系統(tǒng)架構(gòu)層面，集成地質(zhì)環(huán)境遺留系統(tǒng)采用的系統(tǒng)架構(gòu)是“平臺+數(shù)據(jù)+應(yīng)用”的模式，遵循平臺管理層、數(shù)據(jù)管理層和應(yīng)用管理層三層技術(shù)架構(gòu)，其技術(shù)架構(gòu)見圖4。

平臺管理層：基于SOA技術(shù)，實現(xiàn)了數(shù)據(jù)存取、調(diào)度、查詢、統(tǒng)計、分析、可視化等基礎(chǔ)功能，全面支持B/S應(yīng)用系統(tǒng)和移動端應(yīng)用的開發(fā)和運行。該部分功能實現(xiàn)了面向地質(zhì)環(huán)境業(yè)務(wù)應(yīng)用系統(tǒng)的常規(guī)數(shù)據(jù)庫訪問、Web GIS、Web Service數(shù)據(jù)服務(wù)和數(shù)據(jù)交換應(yīng)用。主要組件支持分布式運行、集中管理和一體化服務(wù)。以Web服務(wù)、REST API和功能組件等服務(wù)接口暴露給最終用戶的二次開發(fā)服務(wù)接口。

數(shù)據(jù)管理層：系統(tǒng)產(chǎn)生的數(shù)據(jù)納入公共地質(zhì)環(huán)境數(shù)據(jù)中心統(tǒng)一管理運維，構(gòu)建充分共享、適度開放、安全可控的地質(zhì)環(huán)境數(shù)據(jù)共享開放新機(jī)制，實現(xiàn)地質(zhì)環(huán)境全數(shù)據(jù)共享，推動地質(zhì)環(huán)境數(shù)據(jù)在系統(tǒng)內(nèi)外的充分共享和有序開放。

應(yīng)用管理層：系統(tǒng)需要的各類組件、服務(wù)、數(shù)據(jù)等資源，由地質(zhì)環(huán)境信息平臺負(fù)責(zé)統(tǒng)一管理、配置、調(diào)度和監(jiān)管。

4.2? ?應(yīng)用實例

以地質(zhì)環(huán)境一張圖為例，傳統(tǒng)的地質(zhì)環(huán)境數(shù)據(jù)都是分散存儲在不同的數(shù)據(jù)庫中，業(yè)務(wù)數(shù)據(jù)分散，且省市縣地質(zhì)環(huán)境數(shù)據(jù)無法實現(xiàn)上下貫通和共享開放，地質(zhì)環(huán)境一張圖各類業(yè)務(wù)數(shù)據(jù)的調(diào)用更是荊天棘地[12]。本文先利用ETL將地質(zhì)環(huán)境遺留系統(tǒng)中的數(shù)據(jù)集成至公共的地質(zhì)環(huán)境數(shù)據(jù)中心，基于公共地質(zhì)環(huán)境數(shù)據(jù)中心提供各類數(shù)據(jù)服務(wù)接口，并通過信息平臺展示各類數(shù)據(jù)服務(wù)接口，服務(wù)接口采用Restful形式，方便調(diào)用，地質(zhì)環(huán)境一張圖直接調(diào)用發(fā)布的數(shù)據(jù)服務(wù)接口，直接從公共地質(zhì)環(huán)境數(shù)據(jù)中心調(diào)用數(shù)據(jù)，大大降低了數(shù)據(jù)獲取和使用成本。下圖是使用ETL進(jìn)行數(shù)據(jù)集成時的系統(tǒng)界面示例，圖5是主作業(yè)流程，圖6是主轉(zhuǎn)換流程。

集成后的地質(zhì)環(huán)境一張圖以公共地質(zhì)環(huán)境數(shù)據(jù)中心為依托，包括不同比例尺的基礎(chǔ)地理、基礎(chǔ)地質(zhì)、水文地質(zhì)、災(zāi)害地質(zhì)、地下水監(jiān)測、礦山環(huán)境保護(hù)、地質(zhì)遺跡、地質(zhì)公園保護(hù)等信息，實現(xiàn)地質(zhì)環(huán)境各類信息的瀏覽、查詢、空間編輯（包括點、線、面元的增、刪、改）、空間計算等功能;實現(xiàn)空間信息與地質(zhì)環(huán)境調(diào)查、監(jiān)測、保護(hù)等專業(yè)屬性信息的聯(lián)動查詢，同時可根據(jù)新建工程的地理范圍對各業(yè)務(wù)數(shù)據(jù)進(jìn)行綜合查詢。

三維空間數(shù)據(jù)查詢——將基礎(chǔ)地理、基礎(chǔ)地質(zhì)、水文地質(zhì)、工程巖組、災(zāi)害地質(zhì)、地質(zhì)災(zāi)害易發(fā)性分區(qū)等各類專題圖層進(jìn)行組合及疊加顯示、瀏覽。同時，獲取圖元屬性信息的詳細(xì)說明，以便對地質(zhì)環(huán)境進(jìn)行分析。

業(yè)務(wù)數(shù)據(jù)綜合展示——可在三維圖上圈定查詢范圍（地質(zhì)單元、流域等），對地質(zhì)災(zāi)害、地下水、礦山地質(zhì)環(huán)境、地質(zhì)遺跡等信息進(jìn)行查詢和統(tǒng)計分析，幫助快速進(jìn)行地質(zhì)環(huán)境影響評估。同時提供地質(zhì)災(zāi)害和地下水的監(jiān)測數(shù)據(jù)、設(shè)備狀態(tài)的實時查看。

綜合數(shù)據(jù)交叉查詢——綜合數(shù)據(jù)交叉查詢可通過空間查詢及手動錄入拐點坐標(biāo)兩種方式圈定空間分析的主線路，并可設(shè)置圈定范圍往外延查詢的緩沖區(qū)距離，通過交叉查詢，掌握沿線范圍及其緩沖區(qū)分析范圍內(nèi)所有的災(zāi)害點、地下水監(jiān)測點、礦山、地質(zhì)遺跡點、地質(zhì)公園、“三區(qū)兩線”（重要風(fēng)景名勝區(qū)、自然保護(hù)區(qū)、城市規(guī)劃區(qū)、鐵路和重要公路沿線、海岸線周圍）等信息及其相關(guān)的空間數(shù)據(jù)。

5? ?結(jié)論（Conclusion）

本文闡述了地質(zhì)環(huán)境遺留系統(tǒng)集成的方法及流程，并介紹了ETL技術(shù)在地質(zhì)環(huán)境遺留系統(tǒng)集成中所具有的優(yōu)勢：它是一種基于數(shù)據(jù)的集成，無須改動原有系統(tǒng)，可適用于數(shù)據(jù)文件的集成、不同類型數(shù)據(jù)庫間的數(shù)據(jù)集成，這樣的集成方式不僅使用與地質(zhì)環(huán)境遺留系統(tǒng)，對其他行業(yè)的遺留系統(tǒng)集成應(yīng)用也具有參考價值。

參考文獻(xiàn)（References）

[1] YANG H，WARD M.Successful evolution of software systems[M].Norwood： Artech House，2003.

[2] 劉傳正，張明霞，劉艷輝.區(qū)域地質(zhì)環(huán)境可持續(xù)利用評價體系初步研究[J].地學(xué)前緣，2006，13（1）：242-245.

[3] 邢麗霞，羅躍初，李亞民，等.我國地質(zhì)環(huán)境監(jiān)測現(xiàn)狀及對策研究[J].資源與產(chǎn)業(yè)，2011，13（3）：110-115.

[4] 張熠斌，譚文清，徐思瑜，等.吉林省地質(zhì)環(huán)境信息化建設(shè)實施方案[R].2014.

[5] 張熠斌，宋金紅，劉傳深，等.面向服務(wù)的地質(zhì)環(huán)境三維一張圖系統(tǒng)研究[J].科學(xué)技術(shù)創(chuàng)新，2017，（33）：1-3.

[6] 吳紅梅，王志強(qiáng)，吳友章，等.山東省地質(zhì)資料集成與應(yīng)用研究[J].山東國土資源，2017，33（12）：70-74.

[7] 朱思邈.計算機(jī)網(wǎng)絡(luò)系統(tǒng)集成技術(shù)分析與研究[J].黑龍江科學(xué)，2017，8（21）：122-123.

[8] 孫安健.通用ETL工具的研究與設(shè)計[D].上海：復(fù)旦大學(xué)，2012：1.

[9] Matt Casters，Roland Bouman，Jos Van Dongen.初建軍，曹雪梅，譯.Pentaho Kettle解決方案：使用PDI構(gòu)建開源ETL解決方案[M].北京：電子工業(yè)出版社，2011：13-16.

[10] 田蕊.保險業(yè)經(jīng)營管理系統(tǒng)中ETL的設(shè)計與應(yīng)用[D].北京：中國科學(xué)院大學(xué)，2017：6.

[11] Iteye.為什么要用ETL工具？ETL優(yōu)點.Available at http：//wisgood.iteye.com/blog/1499982.

[12] 孟銘杰，張文彬，任娟，等.四川省地質(zhì)環(huán)境“一張圖”系統(tǒng)設(shè)計及基本功能[J].安全與環(huán)境工程，2017，24（3）：16-19.