中職校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)的集成

周清流

摘要：隨著中職學(xué)校的校企聯(lián)合辦學(xué)的不斷發(fā)展，中職學(xué)校與企業(yè)之間的聯(lián)合辦學(xué)需要大量的數(shù)據(jù)交換。雖然計(jì)算機(jī)網(wǎng)絡(luò)、互聯(lián)網(wǎng)和移動(dòng)互聯(lián)技術(shù)得到高速的發(fā)展，但是很多中職學(xué)校在信息化建設(shè)過(guò)程中，各部門的管理信息系統(tǒng)相對(duì)封閉，存在“信息孤島”。另外，在校企聯(lián)合辦學(xué)過(guò)程中，中職學(xué)校與企業(yè)之間的存在管理的信息標(biāo)準(zhǔn)不統(tǒng)一，校企間亦形成了“信息孤島”，對(duì)數(shù)據(jù)的共享和交換造成困難。因此，要確保中職學(xué)校的校企聯(lián)合辦學(xué)的正常進(jìn)行，就要解決由于數(shù)據(jù)異構(gòu)造成的中職學(xué)校各部門以及校企間的“信息孤島”的問(wèn)題。該文主要闡述使用Oracle數(shù)據(jù)集成工具ODI（Oracle Data Integrator）對(duì)異構(gòu)數(shù)據(jù)集成，以解決數(shù)據(jù)異構(gòu)造成的中職學(xué)校各部門以及校企間的“信息孤島”的問(wèn)題。

關(guān)鍵詞：中職學(xué)校；校企聯(lián)合辦學(xué)；異構(gòu)數(shù)據(jù)庫(kù)；ODI

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）09-0020-03

Abstract： With the development of secondary vocational school college and enterprise joint development， joint between secondary vocational schools and enterprises need a large amount of data exchange. Although the computer network， the Internet and mobile Internet technology has obtained a rapid development， but a lot of secondary vocational school in the process of information construction， management information system of each department is relatively closed， the existence of "information island". In addition， in the process of enterprise joint， between the secondary vocational school and the existence of the enterprise management information standard is not unified， university enterprise also formed "information isolated island"， caused difficulties for data sharing and exchange. Therefore， to ensure that the secondary vocational school to unite the normal， it is necessary to solve the heterogeneous data caused due to secondary vocational school departments as well as between schools and enterprises " information island " problem. This paper mainly discusses the use of Oracle data integration tool ODI （Oracle Data Integrator） the integration of heterogeneous data， in order to solve the heterogeneous data resulting in secondary vocational school departments as well as between schools and enterprises "information island" problem.

Key words： secondary vocational school； university-enterprise cooperation； Heterogeneous database； ODI

目前，中職學(xué)校由于建設(shè)的時(shí)間和部門的差異，各部門管理信息系統(tǒng)存在多個(gè)異構(gòu)的、各自在不同的軟硬件平臺(tái)獨(dú)立運(yùn)行情況，使校內(nèi)各部門間信息難以流通，形成“信息孤島”。例如，學(xué)校辦公室、教務(wù)部門、學(xué)生管理部門、財(cái)務(wù)室、圖書(shū)館、總務(wù)部門、學(xué)生宿舍等學(xué)校的各部門在早期會(huì)建立各自獨(dú)立的、不同的管理信息系統(tǒng)以滿足本部門業(yè)務(wù)，這樣就造成了部門之間數(shù)據(jù)難以交換和共享。

隨著中職學(xué)校的校企聯(lián)合辦學(xué)工作的開(kāi)展，校企雙方需要實(shí)現(xiàn)大量的數(shù)據(jù)交換和共享，例如：學(xué)校方面，學(xué)生個(gè)人的基本信息、學(xué)生在校學(xué)習(xí)的理論課程和進(jìn)度，在企業(yè)的實(shí)習(xí)課程需求、實(shí)習(xí)表現(xiàn)、實(shí)習(xí)安全管理、實(shí)習(xí)指導(dǎo)教師的評(píng)價(jià)等；企業(yè)方面，企業(yè)提供的實(shí)習(xí)課程計(jì)劃、企業(yè)實(shí)訓(xùn)指導(dǎo)人員的安排、實(shí)訓(xùn)指導(dǎo)人員的評(píng)價(jià)、企業(yè)內(nèi)部管理等。由于在校企聯(lián)合辦學(xué)工作開(kāi)展前校企雙方的管理信息系統(tǒng)是相互獨(dú)立的，校企間也存在數(shù)據(jù)異構(gòu)，也形成了“信息孤島”。

因此，要使中職學(xué)校的校企聯(lián)合辦學(xué)工作的能較高效的開(kāi)展，學(xué)校內(nèi)部及校企之間都需要對(duì)管理信息系統(tǒng)的數(shù)據(jù)異構(gòu)進(jìn)行數(shù)據(jù)集成，本文提出一種性能高、靈活、擴(kuò)展性強(qiáng)的集成工具——Oracle數(shù)據(jù)集成工具ODI（Oracle Data Integrator）來(lái)解決異構(gòu)數(shù)據(jù)的問(wèn)題。

1 數(shù)據(jù)集成

數(shù)據(jù)集成是通過(guò)物理和邏輯的方法將不同系統(tǒng)架構(gòu)建立的、用于不同管理信息系統(tǒng)的、不同格式的數(shù)據(jù)有機(jī)地集中起來(lái)，實(shí)現(xiàn)高效的數(shù)據(jù)共享。

聯(lián)邦式、基于中間件模型和數(shù)據(jù)倉(cāng)庫(kù)等方法，常用來(lái)構(gòu)造數(shù)據(jù)集成系統(tǒng)，通過(guò)其應(yīng)用以實(shí)現(xiàn)數(shù)據(jù)共享和提供決策支持。

數(shù)據(jù)集成雖然能解決數(shù)據(jù)的分布性和異構(gòu)性的問(wèn)題，但是需要集成的數(shù)據(jù)在實(shí)現(xiàn)數(shù)據(jù)交換之前，必須公開(kāi)如表結(jié)構(gòu)、表間關(guān)系、編碼的含義等數(shù)據(jù)結(jié)構(gòu)，否則是無(wú)法實(shí)現(xiàn)數(shù)據(jù)集成的應(yīng)用的。

2 ODI（Oracle Data Integrator ）架構(gòu)

2.1 ODI的數(shù)據(jù)倉(cāng)庫(kù)

用Java 編寫的圖形化開(kāi)發(fā)管理工具或計(jì)劃代理程序可對(duì)ODI統(tǒng)合的模塊化數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行訪問(wèn)。ODI的數(shù)據(jù)倉(cāng)庫(kù)的主倉(cāng)庫(kù)（Master Repository），可實(shí)現(xiàn)用戶信息的保存，不同數(shù)據(jù)庫(kù)或數(shù)據(jù)源、不同版本項(xiàng)目的連接。主倉(cāng)庫(kù)一般包含一個(gè)或多個(gè)工作倉(cāng)庫(kù)（WorkRepository），利用這些工作倉(cāng)庫(kù)能夠保存具體的數(shù)據(jù)，為用戶與整合數(shù)據(jù)間建立關(guān)聯(lián)。因此，ODI的數(shù)據(jù)倉(cāng)庫(kù)可以實(shí)現(xiàn)Oracle 數(shù)據(jù)庫(kù)或其它數(shù)據(jù)庫(kù)的連接，能通過(guò)應(yīng)用程序進(jìn)行訪問(wèn)，以實(shí)現(xiàn)異構(gòu)數(shù)據(jù)集成。

2.2 ODI的幾種管理工具

2.2.1 Designer

Designer是ODI最常用的數(shù)據(jù)轉(zhuǎn)換邏輯的開(kāi)發(fā)工具，能夠?qū)崿F(xiàn)定義data store、創(chuàng)建數(shù)據(jù)映射關(guān)系（interface）、創(chuàng)建package（如workflow）等任務(wù)。

2.2.2 Operator

Operator實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換任務(wù)的管理和監(jiān)控，在設(shè)計(jì)過(guò)程中進(jìn)行調(diào)試。

2.2.3 Topology Manager

實(shí)現(xiàn)物理和邏輯基礎(chǔ)架構(gòu)的定義，如創(chuàng)建和管理 work repository等。

2.2.4 Security Manager

實(shí)現(xiàn)用戶權(quán)限和計(jì)劃代理程序的管理。

2.2.5 Schedule Agent

實(shí)現(xiàn)執(zhí)行數(shù)據(jù)轉(zhuǎn)換任務(wù)的調(diào)度。由于ODI 采用E-LT架構(gòu)，計(jì)劃代理即使有一個(gè)數(shù)據(jù)轉(zhuǎn)換引擎，卻很少用，因此計(jì)劃代理的調(diào)度只是將任務(wù)傳遞給目標(biāo)庫(kù)。

2.3 ODI的知識(shí)模型（Knowledge Modules）

由于有強(qiáng)大的知識(shí)模型，ODI能夠適應(yīng)不同管理信息系統(tǒng)的數(shù)據(jù)源，能高效的實(shí)現(xiàn)數(shù)據(jù)的抽?。‥xtract）、轉(zhuǎn)換（Transform）、加載（Load）的過(guò)程。

與程序的插件類似，ODI的知識(shí)模型將數(shù)據(jù)整合的任務(wù)抽象出六個(gè)組成部分：

2.3.1 反向工程（Reverse-engineering knowledge modules）

實(shí)現(xiàn)在數(shù)據(jù)源中讀取表或其他對(duì)象。

2.3.2日記（Journalizing knowledge modules）

在ODI項(xiàng)目中啟用可以支持部分?jǐn)?shù)據(jù)源的Change Data Capture（CDC）功能后，實(shí)現(xiàn)對(duì)新建和修改單個(gè)或一組表（或視圖）后的數(shù)據(jù)的記錄。

2.3.3加載（Loading knowledge modules）

實(shí)現(xiàn)在數(shù)據(jù)源中抽取數(shù)據(jù)。

2.3.4檢查（Check knowledge modules）

實(shí)現(xiàn)對(duì)在數(shù)據(jù)源中抽取出的數(shù)據(jù)合法性的檢測(cè)。

2.3.5集成（Integration knowledge modules）

先將Staging Area中的數(shù)據(jù)轉(zhuǎn)換到目標(biāo)表，再通過(guò)目標(biāo)數(shù)據(jù)庫(kù)產(chǎn)生對(duì)應(yīng)的轉(zhuǎn)換 SQL，實(shí)現(xiàn)數(shù)據(jù)的集成。

2.3.6服務(wù)（Service knowledge modules）

通過(guò)Web Services 的方式將數(shù)據(jù)展現(xiàn)來(lái)，以實(shí)現(xiàn)服務(wù)。

3 中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成

3.1中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成的需求

3.1.1信息孤島

中職學(xué)校各部門的管理信息系統(tǒng)各自孤立，而各部門管理信息系統(tǒng)并沒(méi)有實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的集成，因此部門之間數(shù)據(jù)難以交換和共享。部門之間數(shù)據(jù)的交換和共享，還停留在手工傳遞、電子郵箱等低效率傳遞階段，無(wú)法滿足各部門及時(shí)、高效獲取和處理其他部門信息的需求。

參與聯(lián)合辦學(xué)的企業(yè)內(nèi)部管理信息系統(tǒng)的數(shù)據(jù)交換和共享雖然高效及時(shí)，但是在沒(méi)有與中職學(xué)校實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的集成前，校企之間的數(shù)據(jù)也是孤立的，無(wú)法滿足在校企聯(lián)合辦學(xué)期間，學(xué)校與企業(yè)及時(shí)、高效獲取和處理校與企間的信息的需求。

3.1.2無(wú)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)

由于校企無(wú)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，就無(wú)法在聯(lián)合辦學(xué)過(guò)程中積累有效數(shù)據(jù)，不能提供準(zhǔn)確的輔助決策分析數(shù)據(jù)依據(jù)，從而不能對(duì)中職學(xué)校與企業(yè)聯(lián)合辦學(xué)的作出正確的分析評(píng)價(jià)。

3.2中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)的特點(diǎn)

中職學(xué)校與聯(lián)合辦學(xué)的企業(yè)間，尤其是中職學(xué)校內(nèi)部的異構(gòu)數(shù)據(jù)有幾個(gè)主要特點(diǎn)：數(shù)據(jù)的多樣性、數(shù)據(jù)可靠性差、標(biāo)準(zhǔn)與規(guī)范不一致、出錯(cuò)率高、同步性弱。

4 中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成平臺(tái)的設(shè)計(jì)

4.1平臺(tái)設(shè)計(jì)

要實(shí)現(xiàn)校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成平臺(tái)的設(shè)計(jì)，就一方面要從中職學(xué)校各部門的管理信息系統(tǒng)中抽取適合校企聯(lián)合辦學(xué)的、有效的數(shù)據(jù)；另一方面要從企業(yè)的管理信息系統(tǒng)中抽取適合校企聯(lián)合辦學(xué)的數(shù)據(jù)，選擇一個(gè)功能強(qiáng)大、高效的數(shù)據(jù)集成工具對(duì)這些異構(gòu)數(shù)據(jù)進(jìn)行整合，將符合統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)交換和共享。

Oracle的數(shù)據(jù)集成工具ODI對(duì)于異構(gòu)數(shù)據(jù)集成平臺(tái)的功能是相當(dāng)齊全的，幾乎包含了數(shù)據(jù)、服務(wù)、事件等數(shù)據(jù)的集成功能。ODI大數(shù)據(jù)量轉(zhuǎn)換和變化數(shù)據(jù)捕獲（CDC）的能力，能使集成平臺(tái)實(shí)時(shí)處理事件；ODI控制大量數(shù)據(jù)完整性的能力，確保數(shù)據(jù)的一致性和數(shù)據(jù)可靠性；ODI擁有獨(dú)特的核心工具：異構(gòu)E-LT、聲明設(shè)計(jì)和知識(shí)模塊等。ODI符合中職學(xué)校校企聯(lián)合辦學(xué)及時(shí)、高效的異構(gòu)數(shù)據(jù)集成平臺(tái)的需求，本文選擇Oracle的數(shù)據(jù)集成工具ODI實(shí)現(xiàn)中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成平臺(tái)的設(shè)計(jì)。

4.2平臺(tái)相關(guān)技術(shù)

4.2.1 E-LT

E-LT體系結(jié)構(gòu)將手工編碼和ETL方法的最佳特性結(jié)合在一起。

4.2.2輕量級(jí)日志

利用輕量級(jí)日志，可對(duì)少量的數(shù)據(jù)而非整張表的所有數(shù)據(jù)進(jìn)行高效捕獲，滿足數(shù)據(jù)的實(shí)時(shí)性。

4.2.3差異比對(duì)

即對(duì)數(shù)據(jù)源和目標(biāo)進(jìn)行差異化的區(qū)分，再判斷是否更新數(shù)據(jù)。通過(guò)差異比對(duì)，可以進(jìn)行快速的數(shù)據(jù)集成處理，實(shí)現(xiàn)全量數(shù)據(jù)的集成。

4.2.4集成中心庫(kù)設(shè)計(jì)

數(shù)據(jù)集成平臺(tái)的主要核心的設(shè)計(jì)，是集成中心庫(kù)的設(shè)計(jì)。

通常中職學(xué)校各部門的數(shù)據(jù)差異比較大，雖然企業(yè)內(nèi)部的數(shù)據(jù)相對(duì)統(tǒng)一，但是校企間的數(shù)據(jù)就必然差異甚大，這樣就會(huì)造成數(shù)據(jù)可靠性差。為了解決中職學(xué)校內(nèi)部和校企間不一致的數(shù)據(jù)管理模式造成數(shù)據(jù)可靠性、效率差等的問(wèn)題，就要對(duì)數(shù)據(jù)進(jìn)行臨時(shí)存儲(chǔ)。

可從幾個(gè)方面實(shí)現(xiàn)數(shù)據(jù)集成中心庫(kù)的模式設(shè)計(jì)：

一是對(duì)中職學(xué)校參與校企聯(lián)合辦學(xué)的部門、校企間的數(shù)據(jù)模型和標(biāo)準(zhǔn)進(jìn)行全面分析，將數(shù)據(jù)在集成中心庫(kù)進(jìn)行統(tǒng)一的格式化處理，確保元數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一。

二是采用“松散”、“面向?qū)ο蟆钡哪Ｐ驮O(shè)計(jì)方法，保留數(shù)據(jù)模型的擴(kuò)展性。采用“松散”的設(shè)計(jì)方法指在不調(diào)整原有內(nèi)容的前提下，用新增的方法在對(duì)象之間新增對(duì)象來(lái)實(shí)現(xiàn)擴(kuò)展。采用“面向?qū)ο蟆钡脑O(shè)計(jì)方法主要是不按當(dāng)前數(shù)據(jù)處理的規(guī)則進(jìn)行設(shè)計(jì)，在管理模式或業(yè)務(wù)變化時(shí)，既不調(diào)整原有設(shè)計(jì)內(nèi)容，又增強(qiáng)可擴(kuò)展性。

三是在原有的數(shù)據(jù)模型擴(kuò)展用于數(shù)據(jù)集成的字段，以滿足數(shù)據(jù)集成時(shí)的特別需求。

4.3確立集成總體架構(gòu)

對(duì)中職學(xué)校內(nèi)部和企業(yè)內(nèi)部的數(shù)據(jù)集成架構(gòu)均采用集線型的架構(gòu)，即引入集成中心數(shù)據(jù)庫(kù)，各部門系統(tǒng)與集成中心數(shù)據(jù)庫(kù)做數(shù)據(jù)交互。如圖1所示，在中職學(xué)校內(nèi)部和企業(yè)內(nèi)部，各自不同的部門系統(tǒng)之間進(jìn)行數(shù)據(jù)交互的過(guò)程是都一個(gè)部門系統(tǒng)將數(shù)據(jù)集成到集成中心數(shù)據(jù)庫(kù)后，再通過(guò)集成中心庫(kù)下行到另一個(gè)部門系統(tǒng)。中職學(xué)校與企業(yè)之間的數(shù)據(jù)交互則通過(guò)ODI的服務(wù)（Service knowledge modules），即Web Services 的方式來(lái)實(shí)現(xiàn)。

在集成架構(gòu)中，如果企業(yè)的甲部門需要中職學(xué)校乙部門的數(shù)據(jù)，就先將中職學(xué)校乙部門的數(shù)據(jù)上行至中職學(xué)校校園網(wǎng)絡(luò)集成中心庫(kù)，通過(guò)ODI的Web Services服務(wù)傳輸?shù)狡髽I(yè)網(wǎng)絡(luò)集成中心庫(kù)，再由集成中心庫(kù)下行到企業(yè)的甲部門，通過(guò)這樣的方式實(shí)現(xiàn)中職學(xué)校乙部門到企業(yè)的甲部門的集成。

5 結(jié)束語(yǔ)

本文提出基于Oracle的數(shù)據(jù)集成工具ODI的中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成的解決方案，并對(duì)異構(gòu)數(shù)據(jù)集成平臺(tái)進(jìn)行了設(shè)計(jì)，提供了中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)源數(shù)據(jù)集成的有效方法，有效解決中職學(xué)校校企聯(lián)合辦學(xué)過(guò)程中學(xué)校與企業(yè)間數(shù)據(jù)共享和交換的問(wèn)題，實(shí)現(xiàn)校企聯(lián)合辦學(xué)數(shù)據(jù)的互聯(lián)。

參考文獻(xiàn)：

[1] 林建宇，張國(guó)俊.一種異構(gòu)數(shù)據(jù)庫(kù)集成的方法[J].南京理工大學(xué)學(xué)報(bào)，2002.

[2] 陳躍國(guó)，王京春.數(shù)據(jù)集成綜述[J].計(jì)算機(jī)科學(xué)，2004.

[3] 李征.MDI在“數(shù)字校園”信息集成中的研究與實(shí)現(xiàn)[D].江蘇大學(xué)，2005.

[4] 張曉華.高校異構(gòu)數(shù)據(jù)集成與應(yīng)用平臺(tái)的研究與開(kāi)發(fā)[D].華東電力大學(xué)，2006.