一種基于T-ETL架構(gòu)的多源異構(gòu)數(shù)據(jù)集成方案

馬 將,楊學(xué)敏,2

(1.唐山學(xué)院網(wǎng)絡(luò)教育中心,河北唐山 063000;2.北京科技大學(xué)信息學(xué)院,北京 100083)

一種基于T-ETL架構(gòu)的多源異構(gòu)數(shù)據(jù)集成方案

馬 將1,楊學(xué)敏1,2

(1.唐山學(xué)院網(wǎng)絡(luò)教育中心,河北唐山 063000;2.北京科技大學(xué)信息學(xué)院,北京 100083)

在分析主流數(shù)據(jù)集成方法的基礎(chǔ)上,結(jié)合我校數(shù)字化校園建設(shè)過程中的具體實踐,提出了一種基于T-ETL的復(fù)合式數(shù)據(jù)集成方案,從而解決了各部門業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)互通問題。研究表明,該方案能保證數(shù)據(jù)的實時性,降低數(shù)據(jù)傳輸開銷,消除數(shù)據(jù)交換中的性能瓶頸和安全隱患,提高了系統(tǒng)的整體性能。

異構(gòu)數(shù)據(jù)源;數(shù)據(jù)聯(lián)邦;數(shù)據(jù)集成

隨著信息化進(jìn)程的推進(jìn),高校各系部紛紛建立了自己獨立的應(yīng)用系統(tǒng),這些系統(tǒng)的數(shù)據(jù)層分散于各個網(wǎng)絡(luò)節(jié)點,并存在于不同的硬件系統(tǒng)、操作系統(tǒng)乃至不同的數(shù)據(jù)庫系統(tǒng)中,系統(tǒng)之間彼此獨立,形成了一個個“信息孤島”。由于沒有統(tǒng)一的數(shù)據(jù)視圖,無法實現(xiàn)信息的共享,嚴(yán)重阻礙了校園信息化的進(jìn)程。

解決這一問題的出路在于實現(xiàn)數(shù)據(jù)集成。數(shù)據(jù)集成的核心任務(wù)是將互相關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起,使用戶能夠以透明的方式訪問這些數(shù)據(jù)源,并支持不同數(shù)據(jù)庫系統(tǒng)之間的相互操作,其目的在于屏蔽底層不同的數(shù)據(jù)源,使用戶不必考慮底層數(shù)據(jù)模型、系統(tǒng)環(huán)境、數(shù)據(jù)平臺不同等問題,在保證數(shù)據(jù)完整性、消除數(shù)據(jù)冗余的同時,能夠通過統(tǒng)一的訪問接口實現(xiàn)對網(wǎng)絡(luò)上異構(gòu)數(shù)據(jù)源的靈活訪問。

1 數(shù)據(jù)集成的現(xiàn)有技術(shù)路線

隨著高校數(shù)字化的不斷發(fā)展,校園信息集成要求能夠無縫集成來自多個異構(gòu)數(shù)據(jù)源的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)源包括關(guān)系型數(shù)據(jù)庫、文件系統(tǒng)、圖像及文檔資源庫之類的數(shù)據(jù)存儲系統(tǒng),而且必須很好地支持標(biāo)準(zhǔn)元數(shù)據(jù)交換、模式映射,并且支持標(biāo)準(zhǔn)數(shù)據(jù)傳輸格式。這就對信息集成解決方案提出了更高的要求。目前實現(xiàn)信息集成解決方案主流的兩種模式是數(shù)據(jù)倉儲和數(shù)據(jù)聯(lián)邦。

1.1 數(shù)據(jù)倉儲

這種模式首先從一個或多個數(shù)據(jù)源中抽取數(shù)據(jù),并對數(shù)據(jù)進(jìn)行必要的處理,最終將數(shù)據(jù)存儲到目標(biāo)數(shù)據(jù)倉庫中。最終操作將針對目標(biāo)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行。這種模式通常包含 ETL(Extraction2Transformation2Loading)和數(shù)據(jù)倉庫技術(shù)。另外一種變體就是數(shù)據(jù)復(fù)制,它的基本要求是源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫要有完全相同的數(shù)據(jù)結(jié)構(gòu)(包括數(shù)據(jù)類型也要完全兼容,否則是無法完成復(fù)制的)[1]。這種模式的代表產(chǎn)品如IBM webSphere DWE,Data Stage及Replication Server。該模式支持復(fù)雜的數(shù)據(jù)轉(zhuǎn)換,適合頻繁查詢的“熱數(shù)據(jù)”,性能可預(yù)測性較高,但實時性依賴于數(shù)據(jù)更新周期,數(shù)據(jù)更新周期越短實時性越高。另外,ETL過程本身存在與數(shù)據(jù)源數(shù)據(jù)同步的問題,難以支持?jǐn)?shù)據(jù)更改。ETL過程的框架結(jié)構(gòu)圖如圖1所示。

圖1 ETL過程的框架結(jié)構(gòu)

1.2 數(shù)據(jù)聯(lián)邦

數(shù)據(jù)聯(lián)邦是在維持各異構(gòu)數(shù)據(jù)庫自治的前提下,在數(shù)據(jù)層對多源異構(gòu)的成員數(shù)據(jù)庫進(jìn)行部分集成,并提供對異構(gòu)成員數(shù)據(jù)庫的共享和透明訪問,而數(shù)據(jù)仍然保留在它原來的存儲位置。聯(lián)邦技術(shù)能夠統(tǒng)一地訪問以任何模式存儲的數(shù)字信息,具有透明性、異構(gòu)性、底層聯(lián)邦數(shù)據(jù)源的自治性、可擴(kuò)展性和開放性等主要特征。采用 EtaMatrix,Wrapper或Aqualogics這樣的數(shù)據(jù)聯(lián)合器,就不再需要構(gòu)建集中式數(shù)據(jù)倉庫。數(shù)據(jù)訪問指令進(jìn)而轉(zhuǎn)換為數(shù)據(jù)源所支持的SQL,通過數(shù)據(jù)源的客戶端提交執(zhí)行,然后將結(jié)果返回給信息集成服務(wù)器處理。聯(lián)邦數(shù)據(jù)服務(wù)器帶有一個標(biāo)準(zhǔn)的數(shù)據(jù)庫系統(tǒng),用于管理全局?jǐn)?shù)據(jù)字典[2]。這種模式的代表產(chǎn)品如 IBM Web-Sphere Federation Server。

數(shù)據(jù)聯(lián)邦模式由于沒有本地數(shù)據(jù)存儲,缺乏統(tǒng)一的中心數(shù)據(jù)庫實體,故其每次處理用戶請求都需要實時從數(shù)據(jù)源獲取數(shù)據(jù),這樣比較容易保證與數(shù)據(jù)源的數(shù)據(jù)同步,從而能容易地支持?jǐn)?shù)據(jù)更改,但集成時需要在相關(guān)數(shù)據(jù)源間建立鏈接,當(dāng)集成數(shù)據(jù)源數(shù)量眾多時,加入新的數(shù)據(jù)源就需要建立大量的鏈接,數(shù)據(jù)傳輸量大,其可用性不僅依賴于聯(lián)邦服務(wù)器,還依賴于數(shù)據(jù)源及網(wǎng)絡(luò)的可用性。再者,數(shù)據(jù)聯(lián)邦也無法處理某些數(shù)據(jù)轉(zhuǎn)換和清洗[3]。

2 高校數(shù)據(jù)集成平臺的任務(wù)

高校數(shù)字校園的數(shù)據(jù)集成平臺是一個面向應(yīng)用、安全可靠、操作便捷、技術(shù)先進(jìn)、規(guī)范統(tǒng)一、靈活、可擴(kuò)展的數(shù)據(jù)庫平臺,為學(xué)校提供高效的共享平臺和開放的數(shù)字化環(huán)境。異構(gòu)數(shù)據(jù)集成平臺主要解決如下幾個技術(shù)問題。①屏蔽多源異構(gòu)數(shù)據(jù):建立一個全局的模型,實現(xiàn)透明訪問能力。②數(shù)據(jù)類型匹配:局部數(shù)據(jù)源對數(shù)據(jù)類型的描述可能是不同的,那么就要在全局模式下進(jìn)行區(qū)別與識別,并進(jìn)行統(tǒng)一的匹配與表示。③查詢的分解與轉(zhuǎn)換:集成系統(tǒng)應(yīng)能將全局查詢分解成為針對不同數(shù)據(jù)源的局部查詢,并轉(zhuǎn)換成為針對局部數(shù)據(jù)源的查詢語言。

3 基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺框架

3.1 設(shè)計思路

鑒于數(shù)字校園對數(shù)據(jù)集成的較高要求,單一的集成方法不能滿足實際需求,這就需要將兩種模式進(jìn)行組合,彼此取長補短,從而提供數(shù)字校園最佳的信息集成解決方案。

3.1.1 數(shù)據(jù)標(biāo)準(zhǔn)

數(shù)據(jù)標(biāo)準(zhǔn)主要包括了數(shù)據(jù)庫開發(fā)標(biāo)準(zhǔn)、編碼標(biāo)準(zhǔn)以及信息標(biāo)準(zhǔn)。其中數(shù)據(jù)庫開發(fā)標(biāo)準(zhǔn)主要指在開發(fā)過程中所用到的開發(fā)標(biāo)準(zhǔn),如數(shù)據(jù)庫表的命名約束、存儲過程、自定義方法等標(biāo)準(zhǔn);編碼標(biāo)準(zhǔn)是在所有系統(tǒng)中涉及到的數(shù)據(jù)的編碼標(biāo)準(zhǔn),在編碼標(biāo)準(zhǔn)中除了依據(jù)國家相關(guān)的編碼標(biāo)準(zhǔn)命名之外還要結(jié)合各個應(yīng)用定義自己的編碼標(biāo)準(zhǔn);信息標(biāo)準(zhǔn)主要指各種公用數(shù)據(jù)的命名規(guī)范、格式等。

數(shù)據(jù)的標(biāo)準(zhǔn)化和數(shù)字格式表示的一致性是數(shù)字化校園建設(shè)的重點,更是復(fù)合式數(shù)據(jù)集成方案實施的基礎(chǔ),必須圍繞標(biāo)準(zhǔn)實體間的層次隸屬關(guān)系和元數(shù)據(jù)信息進(jìn)行設(shè)計和建模。

3.1.2 增量數(shù)據(jù)的ETL過程

利用數(shù)據(jù)源的增量數(shù)據(jù)對數(shù)據(jù)倉庫進(jìn)行維護(hù),可以有效地提高ETL效率。現(xiàn)有通用 ETL工具在增量抽取方面存在一些問題,如不能抽取多個異構(gòu)數(shù)據(jù)源的增量數(shù)據(jù)以及在處理增量數(shù)據(jù)時造成數(shù)據(jù)丟失的異常問題。

當(dāng)前針對數(shù)據(jù)倉庫增量式刷新的文獻(xiàn)中,關(guān)于實現(xiàn)增量式維護(hù)的方法一般都基于已經(jīng)獲取了的增量數(shù)據(jù)源。但是,不同的數(shù)據(jù)源類型和具體的數(shù)據(jù)倉庫環(huán)境,其增量數(shù)據(jù)捕獲的方式也有所不同。常用的捕獲數(shù)據(jù)源變化數(shù)據(jù)方式可分為兩類:一是從專門的輔助表中獲取,獲取完畢后刪除該輔助表中的數(shù)據(jù),如觸發(fā)器方式、快照方式等;另外一類是通過某種方式直接從數(shù)據(jù)源中獲取,如時間戳方式、日志方式等。

3.2 框架結(jié)構(gòu)

基于高校的實際需求,可以采用圖2的方案?？蚣苤械闹行臄?shù)據(jù)庫是共享數(shù)據(jù)中心的核心部分,它通過配套的工具和服務(wù)從數(shù)據(jù)源中抽取共享數(shù)據(jù),保存了通過 ETL工具抽取自各數(shù)據(jù)源的且處理過的全部數(shù)據(jù)信息,達(dá)到擁有統(tǒng)一和全局的數(shù)據(jù)模式和數(shù)據(jù)結(jié)構(gòu)。

圖2 基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺框架

在該用例中,將數(shù)據(jù)聯(lián)邦模式部署在數(shù)據(jù)倉儲模式之前,構(gòu)成了一種T-ETL的架構(gòu),該架構(gòu)具有能夠充分利用數(shù)據(jù)聯(lián)邦模式集成異構(gòu)數(shù)據(jù)源的能力。圖2中所示的ETL工具沒有提供數(shù)據(jù)源3對應(yīng)的接口,而聯(lián)邦服務(wù)器能夠集成該數(shù)據(jù)源,這樣能夠擴(kuò)展數(shù)據(jù)倉儲模式的集成范圍,而且通過部署聯(lián)邦服務(wù)器有可能降低ETL的數(shù)據(jù)傳輸量。由于數(shù)據(jù)源數(shù)據(jù)量龐大,數(shù)據(jù)倉儲模式不一定需要從數(shù)據(jù)源獲取所有數(shù)據(jù),故需要對數(shù)據(jù)進(jìn)行過濾,只獲取必需的數(shù)據(jù)存儲在本地數(shù)據(jù)倉庫中。部署在前端的聯(lián)邦服務(wù)器可以對數(shù)據(jù)進(jìn)行初步的過濾,從而降低ETL數(shù)據(jù)傳輸量,而且數(shù)據(jù)聯(lián)邦模式中有些產(chǎn)品能夠?qū)崿F(xiàn)不同數(shù)據(jù)源數(shù)據(jù)的連接操作。如IBM Websphere Federation Server能夠支持多個數(shù)據(jù)源數(shù)據(jù)的連接。而數(shù)據(jù)倉儲模式中的ETL工具通常只能將連接下推到單個同構(gòu)的數(shù)據(jù)源,而無法支持多數(shù)據(jù)源的連接。正是由于這個原因,ETL產(chǎn)品在執(zhí)行連接處理之前,需要先從多個數(shù)據(jù)源提取數(shù)據(jù),并將數(shù)據(jù)裝載到一個目標(biāo)數(shù)據(jù)倉庫中。通過在前端部署聯(lián)邦服務(wù)器能夠利用數(shù)據(jù)聯(lián)邦模式的這一能力,通過靈活組合使ETL開發(fā)人員可以選擇最適當(dāng)?shù)姆绞絹磉_(dá)到數(shù)據(jù)整合目的。如圖2所示,通過聯(lián)邦服務(wù)器可以實現(xiàn)對數(shù)據(jù)源2和數(shù)據(jù)源3的連接操作,而不需要將數(shù)據(jù)源2和數(shù)據(jù)源3中的數(shù)據(jù)全部集中到數(shù)據(jù)倉庫中來進(jìn)行連接操作。

4 基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺實現(xiàn)方案與集成性能分析

本文所采用的ETL工具為 Kettle ETL,它是一款純Ja-va編寫的開源ETL工具。Kettle可以通過網(wǎng)絡(luò)遠(yuǎn)程獲取數(shù)據(jù),并控制其上數(shù)據(jù)庫信息的流動,利用工具本身的緩沖區(qū)為雙方數(shù)據(jù)庫搭橋。Kettle中的腳本文件transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換,job腳本則完成整個工作流的控制[4]。對于簡單的清洗,如數(shù)據(jù)類型、數(shù)據(jù)長度、精度、刻度等,可以直接將各種輸入步驟的列字段的數(shù)據(jù)類型設(shè)置正確,同時在錯誤處理中忽略錯誤?！斑^濾”步驟可以簡單的將符合某個條件的數(shù)據(jù)過濾。對于自定義的清洗需要在各種輸入步驟中將所有的字段都設(shè)置為String,這樣可以讀取到所有的數(shù)據(jù),再使用javascrip t步驟來寫具體的腳本。此外還可以利用正則表達(dá)式進(jìn)行數(shù)據(jù)匹配,通過“數(shù)據(jù)庫查詢”“映射”“流查詢”這3步,將不符合規(guī)范的數(shù)據(jù)轉(zhuǎn)換為符合要求的數(shù)據(jù)[56]。

聯(lián)邦數(shù)據(jù)庫系統(tǒng)是一個分布式的數(shù)據(jù)庫環(huán)境,對于終端用戶和應(yīng)用程序來說可以把它看做一個虛擬數(shù)據(jù)庫。Web-Sphere Federation Server9.0提供了放置、發(fā)布、集成、搜索、清除以及訪問數(shù)據(jù)的功能和特性。聯(lián)邦者想從遠(yuǎn)程數(shù)據(jù)庫獲取數(shù)據(jù),它需要關(guān)聯(lián)到該服務(wù)器上的數(shù)據(jù)類型映射和函數(shù)映射,如同其它客戶機(jī)程序那樣進(jìn)行認(rèn)證?！坝脩粲成?U ser Mapping)”提供了建立數(shù)據(jù)請求憑證的機(jī)制,將本地db2用戶標(biāo)識映射到遠(yuǎn)程服務(wù)器上的用戶標(biāo)識。

研究表明,在域間距離、數(shù)據(jù)傳輸量、訪問連接次數(shù)等參數(shù)一致的前提下,基于 T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺在較大文件的數(shù)據(jù)訪問中能表現(xiàn)出較高的綜合性能,額外開銷的影響也逐漸減弱,跨域數(shù)據(jù)傳輸?shù)男阅苤饾u逼近域內(nèi)傳輸?shù)男阅堋１?列出了基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺的集成性能分析。與單一的數(shù)據(jù)集成方案相比性能更加穩(wěn)定,存取效率高,吞吐量大,安全性好,易于擴(kuò)展,能夠滿足集成數(shù)據(jù)的動態(tài)變化,更加符合當(dāng)前我校數(shù)字校園數(shù)據(jù)集成方面的實際需求。

表1 基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺的集成性能分析

5 結(jié)論

數(shù)據(jù)集成為應(yīng)用集成提供了重要基礎(chǔ),是實現(xiàn)共享數(shù)據(jù)中心、構(gòu)建數(shù)字校園的關(guān)鍵環(huán)節(jié)。本文結(jié)合高校數(shù)字化建設(shè)的特點,借鑒企業(yè)主流數(shù)據(jù)集成方案,設(shè)計了這種高性能復(fù)合式的集成平臺?；赥-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺不是兩種集成技術(shù)的簡單組合,而是在分析高校數(shù)據(jù)集成需求及現(xiàn)狀的基礎(chǔ)上,對兩種集成技術(shù)的整合和最優(yōu)化配置。今后還應(yīng)該在數(shù)據(jù)中心的基礎(chǔ)上,研究主題數(shù)據(jù)庫和OLAP數(shù)據(jù)庫的抽取,完成整個共享數(shù)據(jù)中心數(shù)據(jù)集成平臺的框架設(shè)計和實現(xiàn)。

[1] 張寧,賈自艷.數(shù)據(jù)倉庫中 ETL技術(shù)的研究[J].計算機(jī)工程與應(yīng)用,2002(24):213-216.

[2] 趙英杰.數(shù)據(jù)網(wǎng)絡(luò)中聯(lián)邦數(shù)據(jù)服務(wù)關(guān)鍵技術(shù)的研究與實現(xiàn)[D].國防科學(xué)技術(shù)大學(xué),2005(11).

[3] 李俊,李勇.聯(lián)邦式異構(gòu)數(shù)據(jù)庫應(yīng)用系統(tǒng)的集成框架和實現(xiàn)技術(shù)的研究[J].計算機(jī)應(yīng)用研究,2001,4(4):19-21.

[4] 深圳市神盾信息技術(shù)有限公司.Kettle 3.0用戶手冊[S].2008.

[5] 郭志懋,俞榮華.一個可擴(kuò)展的數(shù)據(jù)清洗系統(tǒng)[J].計算機(jī)工程,2003(3):95-98.

[6] Ralph Kimball,Margy Ross.The Data warehouse ETL Toolkit:Practical Techniques fo r Extracting,Cleaning, Confo rming,and Delivering Data[J].John Wiley and Sons,2002:238-268.

(責(zé)任編校:夏玉玲)

Solution of the Multi-source Heterogeneous Data Integration Platform Based on T-ETL Framework

MA Jiang1,YANGXue2min1,2
(1.Netwo rk Center Tangshan College,Tangshan 063000,China;2.Information College Beijing University of Sci-ence&Technology,Beijing 100083,China)

After analyzing the main way of data integration,a compound solution based on T-ETL architecture is proposed with regard to the process of digital campus construction practice,which resolves the business interoperability issues in different business system s.Research show s that this framework can guarantee real-time property of data transmission,decrease spending,remove performance bottleneck as w ell as potential safety hazard and imp rove the overall performance.

heterogonous data sources;data federate;data integration

TP311.13-

A

1672-349X(2010)06-0051-03

2010-10-12

唐山市教育科學(xué)研究十一五規(guī)劃立項課題(TSYB065)

馬將(1984-),男,助教,碩士,研究方向為數(shù)據(jù)集成與中間件技術(shù)。