基于XML的異構(gòu)數(shù)據(jù)源集成系統(tǒng)研究

王紅軍，馮 娜

(天津職業(yè)技術(shù)師范大學天津市高速切削與精密加工重點實驗室，天津 300222)

基于XML的異構(gòu)數(shù)據(jù)源集成系統(tǒng)研究

王紅軍，馮 娜

(天津職業(yè)技術(shù)師范大學天津市高速切削與精密加工重點實驗室，天津 300222)

為解決企業(yè)在實施信息化的過程中，因采用不同的數(shù)據(jù)管理系統(tǒng)，造成的企業(yè)異構(gòu)數(shù)據(jù)源問題，提出了基于XML的異構(gòu)數(shù)據(jù)源集成方案及其主要框架，并詳細闡述了該系統(tǒng)實現(xiàn)的關(guān)鍵技術(shù)。

ERP;異構(gòu)數(shù)據(jù);集成;XML

隨著計算機技術(shù)的發(fā)展，一些企業(yè)已經(jīng)在多方面實現(xiàn)了信息化，但都不同程度存在著一定的信息孤島，企業(yè)數(shù)據(jù)集成也從企業(yè)內(nèi)部集成走向了企業(yè)間集成，因此，現(xiàn)在的企業(yè)比以往任何時候都更需要將內(nèi)部數(shù)據(jù)進行發(fā)布和交換，而這必然導致越來越多的企業(yè)應(yīng)用需要訪問多種異構(gòu)數(shù)據(jù)源，而且這些數(shù)據(jù)源可能分布在網(wǎng)絡(luò)上的任何地方。為了滿足這種需求，劉輝提出基于PDM系統(tǒng)的CAD集成系統(tǒng)的集成框架［1］，解決了PDM與CAD數(shù)據(jù)同時更新的問題;東南大學研究的Versatile［2］則在虛擬數(shù)據(jù)集成方面取得了很大的成果。為更好地實現(xiàn)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)集成，有必要構(gòu)建一種應(yīng)用于制造業(yè)信息化的異構(gòu)數(shù)據(jù)集成模型。

1 異構(gòu)集成系統(tǒng)的建立

該集成方案中，考慮到原有系統(tǒng)的工作穩(wěn)定性和業(yè)務(wù)的連續(xù)性，保留了原有客戶端軟件和各自的服務(wù)器。在信息部這個中心節(jié)點上再增加一臺數(shù)據(jù)庫服務(wù)器，用于各部門的數(shù)據(jù)匯總和交換，從而實現(xiàn)整個ERP系統(tǒng)的集成。其集成后網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 集成網(wǎng)絡(luò)體系結(jié)構(gòu)圖

該系統(tǒng)采用SQL語言，并吸收了傳統(tǒng)關(guān)系數(shù)據(jù)庫中有效的優(yōu)化算法，以XML作為中間傳送格式和最終輸出結(jié)果。其主要優(yōu)勢是:(1)采用SQL語言會使用戶感到十分方便，同時還可以利用SQL語言在操作關(guān)系數(shù)據(jù)庫時的強大功能［3］。(2)該系統(tǒng)借鑒了許多傳統(tǒng)數(shù)據(jù)庫中的優(yōu)化算法，并根據(jù)異構(gòu)數(shù)據(jù)集成的特點，進行了修改或補充。(3)以XML作為輸出結(jié)果，可以有效地與其他應(yīng)用程序進行數(shù)據(jù)交換［4－5］。

在中間件研究的過程中，著重解決如下主要問題:

a．異構(gòu)性。

異構(gòu)性是企業(yè)異構(gòu)數(shù)據(jù)集成必須面臨的首要問題。主要表現(xiàn)在異構(gòu)數(shù)據(jù)源和存儲地點的異構(gòu)。異構(gòu)數(shù)據(jù)源是指數(shù)據(jù)的存儲方式不同，關(guān)系數(shù)據(jù)庫、文本文件就可以認為是異構(gòu)的，SQL Server和Oracal也可以認為是異構(gòu)的，因為它們之間很多數(shù)據(jù)類型是不同的;相同的數(shù)據(jù)類型的存取方式也可能是不同的，同樣是SQL Server數(shù)據(jù)源，且表示相同的數(shù)據(jù)，如果表的結(jié)構(gòu)不同，那么也是異構(gòu)數(shù)據(jù)源，這種“異構(gòu)”的概念重在表達存儲形式上的不同［6－8］。存儲地點的異構(gòu)是指不同主機、不同操作系統(tǒng)、不同網(wǎng)絡(luò)間的數(shù)據(jù)之間的差別，這種異構(gòu)數(shù)據(jù)源的集成重在通信。本文主要解決的是異構(gòu)數(shù)據(jù)源，也就是數(shù)據(jù)存儲方式不同的異構(gòu)。

b．性能。

網(wǎng)絡(luò)的發(fā)展對傳統(tǒng)數(shù)據(jù)集成方法提出了更高的要求。一般說來，當前應(yīng)用必須滿足輕量快速部署，即系統(tǒng)可以快速適應(yīng)數(shù)據(jù)源改變和低投入。由于異構(gòu)數(shù)據(jù)源集成過程中，可能需要通過網(wǎng)絡(luò)進行傳輸，這就需要系統(tǒng)盡可能減少數(shù)據(jù)的傳輸量，從而提高傳輸?shù)乃俣?。另外，在對不同?shù)據(jù)源集成的過程中，需要采用先進的快速算法，提高集成速度。

c．語義沖突。

信息資源之間存在著語義上的差別。這些語義上的不同可能引起多種矛盾，從簡單的名字語義沖突(不同的名字代表相同的概念)，到復雜的結(jié)構(gòu)語義沖突(不同的模型表達同樣的信息)。語義沖突會帶來數(shù)據(jù)集成結(jié)果的冗余，干擾數(shù)據(jù)處理、發(fā)布和交換，所以如何減少語義沖突也是數(shù)據(jù)集成的一個研究熱點。

d．基于Internet的集成。

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，所集成的數(shù)據(jù)源越來越分散，集成中間件不僅要集成一臺機器上的數(shù)據(jù)源，可能還要集成局域網(wǎng)甚至廣域網(wǎng)上的數(shù)據(jù)源。

異構(gòu)性、性能、語義沖突以及數(shù)據(jù)源的多樣性為異構(gòu)數(shù)據(jù)集成中的共性問題。盡管對這些問題進行了分類，但是這些問題是相互聯(lián)系、相互制約的，不能簡單的孤立對待。

2 技術(shù)架構(gòu)

企業(yè)對物流和信息流規(guī)定了一個統(tǒng)一的數(shù)據(jù)格式，然后將各部門的輸出數(shù)據(jù)經(jīng)過程序轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式，通過網(wǎng)絡(luò)上傳到數(shù)據(jù)服務(wù)器，總部決策系統(tǒng)通過網(wǎng)絡(luò)從數(shù)據(jù)服務(wù)器獲取部門信息并進行分析，決策系統(tǒng)通過網(wǎng)絡(luò)將數(shù)據(jù)傳給數(shù)據(jù)服務(wù)器，供各部門共享，各部門之間的通信也通過數(shù)據(jù)服務(wù)器進行，并在此基礎(chǔ)上進行擴充，從而構(gòu)成企業(yè)的整個數(shù)據(jù)庫系統(tǒng)。該系統(tǒng)是建立在數(shù)據(jù)庫基礎(chǔ)上的業(yè)務(wù)系統(tǒng)，每一個具體的業(yè)務(wù)對應(yīng)一個業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫，通過業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫，應(yīng)用程序?qū)蛹白訄蟊硐到y(tǒng)能夠提取相關(guān)的數(shù)據(jù)，決策系統(tǒng)也可以通過決策信息數(shù)據(jù)庫提取相關(guān)的數(shù)據(jù)，以形成輔助決策。整個數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)

核心數(shù)據(jù)庫只允許應(yīng)用支撐平臺和共享平臺的直接接觸，以保障數(shù)據(jù)的操作安全;核心數(shù)據(jù)庫和交換區(qū)、應(yīng)用區(qū)分開，以保障數(shù)據(jù)的存儲安全。安全平臺為每一個構(gòu)件提供安全保障，管理平臺管理每一個構(gòu)件，為各級數(shù)據(jù)中心提供客戶端軟件。

本架構(gòu)命名為“一庫二區(qū)五平臺”架構(gòu)。一庫是指數(shù)據(jù)庫系統(tǒng)中的核心數(shù)據(jù)庫，用來存儲核心數(shù)據(jù)，主要包括元數(shù)據(jù)、文件數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫和多媒體數(shù)據(jù)。二區(qū)是指交換區(qū)和應(yīng)用區(qū)，分別用來存儲交換數(shù)據(jù)和應(yīng)用數(shù)據(jù)。五平臺是指共享平臺、應(yīng)用集成平臺、應(yīng)用支撐平臺、管理平臺、安全平臺。

3 功能實現(xiàn)

a．實現(xiàn)跨系統(tǒng)、跨部門、跨企業(yè)的數(shù)據(jù)交換。

數(shù)據(jù)交換是指完整、安全、準確地將數(shù)據(jù)從發(fā)送方傳送到接收方的全過程。數(shù)據(jù)交換只是數(shù)據(jù)傳輸?shù)男Ч?。從技術(shù)的角度來看，數(shù)據(jù)交換就是數(shù)據(jù)傳輸。數(shù)據(jù)交換要保證數(shù)據(jù)的完整性、安全性和準確性。數(shù)據(jù)在傳輸過程中是完整的，不會在傳輸過程中丟失，不會被竊取和泄密，不會被更改。數(shù)據(jù)在傳輸過程中被修改的危險性較大，例如，如果在傳輸中染上病毒，數(shù)據(jù)就可能被修改。

首先數(shù)據(jù)發(fā)送方將數(shù)據(jù)發(fā)送到數(shù)據(jù)中心，數(shù)據(jù)中心接收到發(fā)送方的數(shù)據(jù)后，首先要確定數(shù)據(jù)傳輸協(xié)議和數(shù)據(jù)傳輸格式。其次，數(shù)據(jù)中心按照確定的協(xié)議和格式進行數(shù)據(jù)封裝、傳輸。同時，數(shù)據(jù)交換并不是一個簡單的數(shù)據(jù)傳送的過程，數(shù)據(jù)中心需要對數(shù)據(jù)進行管理和維護，例如數(shù)據(jù)的加密，防止數(shù)據(jù)重發(fā)、自動轉(zhuǎn)發(fā)、數(shù)據(jù)的斷點續(xù)傳等，以保證數(shù)據(jù)傳輸?shù)陌踩?、完整、準確和高效。最后，數(shù)據(jù)中心將數(shù)據(jù)發(fā)送給數(shù)據(jù)的接收方。

數(shù)據(jù)中心的數(shù)據(jù)交換主要是實現(xiàn)跨部門、跨企業(yè)的數(shù)據(jù)交換，以及對數(shù)據(jù)交換過程進行管理。數(shù)據(jù)交換主要完成以下4個基本功能:提供多種數(shù)據(jù)交換接口、支持多種數(shù)據(jù)交換、完成數(shù)據(jù)傳輸和管理數(shù)據(jù)交換整個過程。數(shù)據(jù)中心支持多種數(shù)據(jù)交換的方式，從交換的層面上來說，包含數(shù)據(jù)層交換和應(yīng)用層交換。數(shù)據(jù)層交換主要是指數(shù)據(jù)文件的交換，數(shù)據(jù)庫與數(shù)據(jù)庫之間的交換，以及數(shù)據(jù)層API格式的交換。應(yīng)用層交換主要支持API交換格式。數(shù)據(jù)中心的數(shù)據(jù)交換還需要適應(yīng)多種條件下的交換，主要包括定時交換和定量交換。根據(jù)交換過程中交換數(shù)據(jù)的量可分為批量異步交換和少量同步交換。要完成數(shù)據(jù)傳輸，首先接收要傳輸?shù)臄?shù)據(jù)，并支持網(wǎng)絡(luò)方式或文件導入方式。其次要確定傳輸協(xié)議和數(shù)據(jù)傳輸格式，在數(shù)據(jù)進行傳輸過程中，數(shù)據(jù)中心要通過加密等多種方式來保證數(shù)據(jù)傳輸?shù)陌踩Ｗ詈?，?shù)據(jù)以多種方式安全準確地送達數(shù)據(jù)接收方。數(shù)據(jù)交換接口主要包含XML文件導入導出接口、API接口、數(shù)據(jù)訪問接口表、庫對庫交換接口、Socket交換接口等。

b．實現(xiàn)跨系統(tǒng)、跨部門、跨企業(yè)的數(shù)據(jù)共享。

各方把數(shù)據(jù)提供出來，讓其他用戶按照一定的規(guī)范使用，并對數(shù)據(jù)的變化進行維護。實現(xiàn)數(shù)據(jù)共享主要包括:公開數(shù)據(jù)、指導對共享數(shù)據(jù)的使用和維護共享數(shù)據(jù)的變更。數(shù)據(jù)提供方將需要共享的數(shù)據(jù)交換到數(shù)據(jù)共享區(qū)，對共享數(shù)據(jù)進行數(shù)據(jù)訪問授權(quán)，并設(shè)置數(shù)據(jù)訪問標準，對共享數(shù)據(jù)的變化進行維護，包括數(shù)據(jù)比對和數(shù)據(jù)同步等。

c．支撐數(shù)據(jù)跨系統(tǒng)、跨部門、跨企業(yè)的綜合應(yīng)用。

應(yīng)用支撐是指數(shù)據(jù)中心為各種聯(lián)盟電子商務(wù)專題應(yīng)用系統(tǒng)的建設(shè)提供數(shù)據(jù)和功能方面的支撐，實質(zhì)是實現(xiàn)數(shù)據(jù)使用方式的統(tǒng)一。應(yīng)用支撐的主要功能有:數(shù)據(jù)組裝、數(shù)據(jù)組裝規(guī)則管理、數(shù)據(jù)同步、功能組裝、功能組裝規(guī)則管理。

4 保障數(shù)據(jù)安全

a．核心數(shù)據(jù)要在物理上與其他數(shù)據(jù)隔離存儲。

數(shù)據(jù)中心的核心數(shù)據(jù)、交換數(shù)據(jù)、聯(lián)盟電子商務(wù)專題的應(yīng)用數(shù)據(jù)等要在物理上分開存儲，便于重點保證核心數(shù)據(jù)的安全。核心數(shù)據(jù)的訪問要進行嚴格控制，只允許指定的用戶、系統(tǒng)和機器訪問核心數(shù)據(jù)庫，要徹底杜絕任何系統(tǒng)和用戶在未經(jīng)允許的情況下使用和更改核心數(shù)據(jù)。核心數(shù)據(jù)包括數(shù)據(jù)中心的系統(tǒng)配置文件、資源目錄文件、元數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)規(guī)則數(shù)據(jù)等。

b．對數(shù)據(jù)進行授權(quán)訪問控制。

訪問數(shù)據(jù)中心的用戶采用CA身份認證，以保證訪問數(shù)據(jù)的合法性?？刂茢?shù)據(jù)來源既要控制數(shù)據(jù)的提供者又要控制數(shù)據(jù)去向。數(shù)據(jù)中心的管理員和主管部門的管理員能夠?qū)?shù)據(jù)進行讀取，方便各主管部門對數(shù)據(jù)流向的管理。

c．建設(shè)資源目錄體系，實現(xiàn)對數(shù)據(jù)的統(tǒng)一管理。

數(shù)據(jù)中心首先是數(shù)據(jù)的集中存儲器，通過整合各業(yè)務(wù)部門的數(shù)據(jù)資源，建立綜合和全域的數(shù)據(jù)模型，為數(shù)據(jù)的跨部門、跨企業(yè)、跨地區(qū)共享交換提供數(shù)據(jù)源泉。數(shù)據(jù)中心對數(shù)據(jù)進行集中利用和集中存儲，既可保障數(shù)據(jù)的安全控制，又可方便數(shù)據(jù)的異地集中備份，充分體現(xiàn)了數(shù)據(jù)中心的統(tǒng)一管理作用。

建立統(tǒng)一的共享資源目錄體系，統(tǒng)一管理數(shù)據(jù)的屬性、來源、去向，并在此基礎(chǔ)上進行數(shù)據(jù)共享、交換、訪問權(quán)限等管理，在保證數(shù)據(jù)的完整性和一致性的前提下，提高了數(shù)據(jù)的使用率和可管理性。通過統(tǒng)一標準和規(guī)范，可以整合現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，建立統(tǒng)一的應(yīng)用平臺，更好地發(fā)揮數(shù)據(jù)中心的數(shù)據(jù)樞紐作用，通過數(shù)據(jù)的共享、交換和應(yīng)用將各業(yè)務(wù)系統(tǒng)聯(lián)系起來，實現(xiàn)各系統(tǒng)間數(shù)據(jù)的互聯(lián)、互通，形成一個統(tǒng)一的數(shù)據(jù)應(yīng)用平臺，從而實現(xiàn)數(shù)據(jù)的統(tǒng)一應(yīng)用。建立的統(tǒng)一標準和規(guī)范，將為今后各類業(yè)務(wù)系統(tǒng)、數(shù)據(jù)中心的規(guī)劃和建設(shè)提供遵循的依據(jù)、指導和規(guī)范。

5 集成系統(tǒng)實現(xiàn)

以汽車總裝廠為例，集成系統(tǒng)運行界面如圖3所示。

通過該系統(tǒng)，間接實現(xiàn)了企業(yè)各部門、各分公司之間的互相訪問，各部門把共享數(shù)據(jù)放在共享區(qū)，通過設(shè)定的不同權(quán)限，不同部門之間實現(xiàn)了數(shù)據(jù)的互聯(lián)、互通，形成一個統(tǒng)一的數(shù)據(jù)應(yīng)用平臺，從而實現(xiàn)數(shù)據(jù)的統(tǒng)一應(yīng)用，并實現(xiàn)了數(shù)據(jù)的實時更新。

圖3 集成系統(tǒng)運行界面

6 結(jié)束語

該系統(tǒng)平臺所涵蓋的內(nèi)容較廣，不僅包括企業(yè)管理上的數(shù)字化，也包括生產(chǎn)過程的數(shù)字化。因此必須通過實踐不斷研究，不斷應(yīng)用，并根據(jù)應(yīng)用效果進行及時修正和提高。目前該平臺已成功實施，為企業(yè)現(xiàn)代化發(fā)展提供了良好的環(huán)境和堅實的基礎(chǔ)平臺，并在數(shù)字化制造領(lǐng)域發(fā)揮著重要作用。

［1］劉輝.基于PDM系統(tǒng)的CAD集成技術(shù)研究［J］.機械工程與自動化，2009(1):28－32.

［2］劉科研，萬麗榮，曾慶良.基于XML的信息集成系統(tǒng)的研究與實現(xiàn)［J］.計算機應(yīng)用研究，2005(4):149－154.

［3］周麗娟，張居武，夏維舟.制造業(yè)信息化中異構(gòu)數(shù)據(jù)的集成研究［J］. 電腦知識與技術(shù)，2012，8(28):6659－6661.

［4］王寧，王能斌.異構(gòu)數(shù)據(jù)源集成系統(tǒng)查詢分解和優(yōu)化的實現(xiàn)［J］.軟件學報，2000，2(11):222－228.

［5］鄧新莉，張四平，劉珊，等.基于中間件平臺的異構(gòu)數(shù)據(jù)交換與集成［J］.四川兵工學報，2011，32(3):61 －63.

［6］李珊，譚躍生.基于XML異構(gòu)數(shù)據(jù)源集成的研究［J］.電腦知識與技術(shù)，2010，6(13):3305 －3311.

［7］丁勇，趙祖應(yīng).基于中間件的異構(gòu)數(shù)據(jù)集成方法［J］.江西科學，2012，30(1):103 －107.

［8］陳德結(jié)，步豐林，方夏虹.異構(gòu)數(shù)據(jù)庫系統(tǒng)之間的數(shù)據(jù)交換［D］.上海:上海交通大學，2007.

A Study on Heterogeneous Data Integration Based on XML

WANG Hongjun，F(xiàn)ENG Na
(Tianjin University of Technology and Education，Tianjin，300222，China)

There are a lot of data in product development process.Because many enterprises use usually different database management systems，this affects the data integration and becomes the heterogeneous data sources.It presents the framework for integration of heterogeneous data，illustrates the key implementing techniques in details.

ERP;Heterogeneous Data;Integration;XML

TH166

A

2095－509X(2013)11－0043－04

10.3969/j.issn.2095－509X.2013.11.011

2013－07－03

王紅軍(1971—)，男，河北靈壽人，天津職業(yè)技術(shù)師范大學副教授，主要從事現(xiàn)代企業(yè)信息化方面的研究工作。