針對面向多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件的設(shè)計與開發(fā)

◆羅 穎

針對面向多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件的設(shè)計與開發(fā)

◆羅 穎

(廣西交通設(shè)計集團(tuán)有限公司 廣西 530029)

隨著企業(yè)競爭的日趨激烈，在企業(yè)經(jīng)營和發(fā)展中數(shù)據(jù)的價值越發(fā)凸顯。企業(yè)高層管理人員在進(jìn)行最終決策的時候，數(shù)據(jù)所提供的技術(shù)支持成為影響最終決策的關(guān)鍵性因素。為此在分布、自治的環(huán)境下,將產(chǎn)業(yè)鏈上多源異構(gòu)的業(yè)務(wù)數(shù)據(jù)進(jìn)行全面的集成與共享成為數(shù)據(jù)分析的關(guān)鍵核心問題,也是大部分研究人員的研究方向和前提所在。本文探討了針對面向多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件的設(shè)計與開發(fā)，以期為相關(guān)從業(yè)人員的研究提供一定的方向和參考。

多源異構(gòu)數(shù)據(jù)；數(shù)據(jù)集成；設(shè)計開發(fā)

0 引言

高速發(fā)展的現(xiàn)代信息技術(shù)使得經(jīng)濟(jì)全球化的程度不斷加深，未來的發(fā)展趨勢必然是信息化以及集群化。由此帶來了企業(yè)間競爭方式的演變，尤其是我國市場經(jīng)濟(jì)“互聯(lián)網(wǎng)+”的提出，企業(yè)間全方位的競爭使得大數(shù)據(jù)的價值得以凸顯出來[1]。當(dāng)前整合“小”數(shù)據(jù)，將節(jié)點(diǎn)從分散、分布的狀態(tài)，整合成能夠支持產(chǎn)業(yè)鏈各環(huán)節(jié)的“大”數(shù)據(jù)并提供有效的經(jīng)營決策分析，是當(dāng)前相關(guān)從業(yè)人員最為關(guān)心的關(guān)鍵問題。需要相關(guān)從業(yè)人員提供有效的手段，以解決數(shù)據(jù)的不完整性與數(shù)據(jù)的多源異構(gòu)性這兩大問題。本文正是在此背景下，基于分布、自治的環(huán)境下，為跨企業(yè)、跨部門的數(shù)據(jù)整合與集成提供核心技術(shù)，以面向多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件為依托，完成跨平臺的數(shù)據(jù)集成的實(shí)現(xiàn)。

1 多源異構(gòu)數(shù)據(jù)集成中間件實(shí)現(xiàn)的關(guān)鍵需求

設(shè)計數(shù)據(jù)集成中間件的最終目標(biāo)，是整合訪問，進(jìn)而實(shí)現(xiàn)統(tǒng)一平臺環(huán)境下的多地多源異構(gòu)數(shù)據(jù)，以便在產(chǎn)業(yè)鏈的決策中，提供全面的數(shù)據(jù)支持。在構(gòu)成多源異構(gòu)數(shù)據(jù)集成中間件實(shí)現(xiàn)的關(guān)鍵需求中，由于數(shù)據(jù)模式的描述往往是通過數(shù)據(jù)進(jìn)行，因此異構(gòu)數(shù)據(jù)是異構(gòu)模式所導(dǎo)致的必然結(jié)果。為此多源異構(gòu)數(shù)據(jù)集成中間件實(shí)現(xiàn)的關(guān)鍵需求的首要前提是解決模式的集成。首先需要在數(shù)據(jù)集成過程中對異構(gòu)模式進(jìn)行有效的數(shù)據(jù)源的屏蔽，并且在之后的描述中，對底層異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一的公共模式表示。

在多源異構(gòu)數(shù)據(jù)集成中間件公共模式中，由對象模式、文本模式、關(guān)系模式以及XML 模式共同作用，一起構(gòu)成。在此公共模式的基礎(chǔ)上，研究多源異構(gòu)數(shù)據(jù)集成中間件實(shí)現(xiàn)的關(guān)鍵需求后，為實(shí)現(xiàn)模式集成技術(shù)體系，以及解決模式間沖突的消解問題和模式差異的屏蔽問題，實(shí)現(xiàn)公共模式集成難度的降低，提出“三類模式+兩級映射”的模式。

在研究中將“三類模式+兩級映射”描述為異構(gòu)的局部模式、統(tǒng)一描述的輸出模式、全局模式及其之間的映射規(guī)則。具體而言對本地模式的分布式異構(gòu)數(shù)據(jù)源的描述稱之為“局部模式”；對應(yīng)“局部模式”，將對不同局部模式數(shù)據(jù)源數(shù)據(jù)的模式描述稱之為“輸出模式”；對應(yīng)“輸出模式”，將面向用戶的虛擬全局?jǐn)?shù)據(jù)集描述稱之為“全局模式”。三種模式之間，兩兩映射，互相對應(yīng)，具體過程如圖1所示。

通過圖1可以實(shí)現(xiàn)對輸出模式間和數(shù)據(jù)源局部模式之間映射規(guī)則的預(yù)定義，從而將局部模式關(guān)聯(lián)上具體的數(shù)據(jù)源結(jié)構(gòu)，通過輸出模式對各類異構(gòu)數(shù)據(jù)的統(tǒng)一描述，解決了屏蔽模式差異問題。在此基礎(chǔ)上，構(gòu)建局部模式和輸出模式的映射關(guān)系；構(gòu)建全局模式和輸出模式的映射關(guān)系；構(gòu)建輸出模式的公共模式的映射關(guān)系。以此三種關(guān)系，消解規(guī)則描述間的沖突。

2 數(shù)據(jù)集成中的關(guān)鍵核心

針對產(chǎn)業(yè)鏈分布式協(xié)作環(huán)境下業(yè)務(wù)數(shù)據(jù)的不完整性和多源異構(gòu)性，在深入研究數(shù)據(jù)集成技術(shù)的基礎(chǔ)上，提出一種分布式自主多源異構(gòu)數(shù)據(jù)集成解決方案。并對其中的關(guān)鍵技術(shù)進(jìn)行了研究，最后開發(fā)相應(yīng)的跨平臺數(shù)據(jù)集成中間件，以支持產(chǎn)業(yè)鏈上分布式多源異構(gòu)數(shù)據(jù)的集成。

不僅如此在用戶進(jìn)行訪問的時候，依據(jù)全局模式，用戶請求被分作數(shù)個獨(dú)立的異構(gòu)數(shù)據(jù)源，在操作的時候需要通過映射規(guī)則，將全局模式同全局請求進(jìn)行統(tǒng)一映射，以解除對局部模式的請求分解，并最終通過適配器，進(jìn)行序列分配的實(shí)際執(zhí)行。

總之，數(shù)據(jù)集成中的關(guān)鍵核心是針對面向多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件的設(shè)計由來，以及具體實(shí)現(xiàn)，需要針對數(shù)據(jù)源的子查詢命令序列進(jìn)行全局模式的分解，以保障分解命令的準(zhǔn)確無誤。

3 優(yōu)化設(shè)計和初步應(yīng)用

綜合上述分析，在進(jìn)行針對面向多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件優(yōu)化設(shè)計的時候，需要具備以下功能:

(1)模式集成功能：由于數(shù)據(jù)集成者有必要集成異構(gòu)的數(shù)據(jù)源，以借此實(shí)現(xiàn)對通過模式下的數(shù)據(jù)進(jìn)行準(zhǔn)確的描述，故而必須對數(shù)據(jù)的異構(gòu)模式加以集成。

(2)統(tǒng)一通信功能：在完成對數(shù)據(jù)的異構(gòu)模式加以集成后，基于不同軟硬件平臺，用戶在訪問的時候操作系統(tǒng)、網(wǎng)絡(luò)協(xié)議各不相同，因此有必要通過統(tǒng)一的方式，對訪問的異構(gòu)數(shù)據(jù)資源進(jìn)行高效管理，通過數(shù)據(jù)資源中心，透明異構(gòu)數(shù)據(jù)源的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)管理系統(tǒng)中各種分布的統(tǒng)一訪問和操作。

(3)數(shù)據(jù)遷移功能:該功能時非常重要的數(shù)據(jù)集成環(huán)節(jié)，是數(shù)據(jù)集成者為了保證結(jié)果的正確性，而采取的按全局模式要求，通過統(tǒng)一通信方式，將數(shù)據(jù)結(jié)果片段遷移，進(jìn)而獲得數(shù)據(jù)源。

(4)集成管理功能:為了方便管理者通過中間件實(shí)現(xiàn)用戶管理，必須在中間件中，設(shè)置不同的權(quán)限以分配給不同的用戶，最終實(shí)現(xiàn)拒絕非法用戶的訪問，以及拒絕合法用戶的非法訪問。

(5)數(shù)據(jù)源通信適配功能:在數(shù)據(jù)集成的過程中，數(shù)據(jù)積分器可以通過匹配的數(shù)據(jù)源適配器來完成異構(gòu)數(shù)據(jù)源的實(shí)際操作，以確保不同類型的異構(gòu)數(shù)據(jù)源能夠被操作。

(6)為了方便軟件開發(fā)人員在此中間件的基礎(chǔ)上開發(fā)，有必要保留服務(wù)開發(fā)接口和數(shù)據(jù)源適配器，以確保良好的可伸縮性和適應(yīng)性。

(7)其他服務(wù)功能:確保數(shù)據(jù)安全通過網(wǎng)絡(luò)傳輸，同時降低傳輸過程中的網(wǎng)絡(luò)需求。

為實(shí)現(xiàn)上述七個功能，本文設(shè)計了中間件的總體功能，如圖2所示。

圖1 三類模式+兩級映射的集成過程

圖2 中間件的主要功能

中間件通過接口分為數(shù)據(jù)源層、服務(wù)層、服務(wù)總線層、應(yīng)用層和層間通信集成四個層，不受各層具體實(shí)現(xiàn)方法的影響。只要層間接口不改變，實(shí)現(xiàn)方法就可以任意更換，大大增加了軟件的可重用性，減少了層間耦合。如果未能成功調(diào)度，使用哈希圖存儲適配器與調(diào)度命令之間的對應(yīng)關(guān)系。主要代碼如下：

4 結(jié)論

綜上所述，在針對面向多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件的設(shè)計與開發(fā)中，依據(jù)現(xiàn)有數(shù)據(jù)集成的要求，在綜合數(shù)據(jù)交互特點(diǎn)的基礎(chǔ)，為解決行業(yè)產(chǎn)業(yè)鏈的數(shù)據(jù)集成，提出了基于中間件的數(shù)據(jù)集成思路。為此分析了多源異構(gòu)數(shù)據(jù)集成中間件實(shí)現(xiàn)的關(guān)鍵需求以及數(shù)據(jù)集成中的關(guān)鍵核心，進(jìn)而完成了中間件的功能設(shè)計，并對其初步的應(yīng)用進(jìn)行了簡單的闡述。總之通過本文可以將多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件推廣并應(yīng)用到其他分布式多源異構(gòu)環(huán)境的數(shù)據(jù)集成中去，具有重要的現(xiàn)實(shí)意義。

[1]劉婧.基于元數(shù)據(jù)的多源異構(gòu)海洋情報數(shù)據(jù)交互共享研究[J].情報雜志，2016,35(09):168-173.