數(shù)字化校園數(shù)據(jù)集成總體架構(gòu)淺析

王晶春

（長春理工大學(xué) 信息化中心，長春 130022）

隨著網(wǎng)絡(luò)、信息技術(shù)水平的不斷提高，高校數(shù)字化校園建設(shè)的不斷投入及深入開展，很多高校建立了涵蓋學(xué)校教學(xué)、科研、管理、服務(wù)在內(nèi)的眾多業(yè)務(wù)系統(tǒng)，改變了以往傳統(tǒng)的教學(xué)、管理及辦公模式，為學(xué)校各部門、教師和學(xué)生提供多種便捷、高效的服務(wù)。

校園網(wǎng)的業(yè)務(wù)系統(tǒng)越來越多，系統(tǒng)間數(shù)據(jù)集成［1］關(guān)系的復(fù)雜化、數(shù)據(jù)流向的多元化，沒有統(tǒng)一的身份管理，總體上使維護(hù)集成工作復(fù)雜，這樣就形成了基礎(chǔ)數(shù)據(jù)不能共享、數(shù)據(jù)重復(fù)錄入、用戶的認(rèn)證信息過多、業(yè)務(wù)流程不能跨部門協(xié)同、信息孤島等諸多問題，因此迫切要求高校從總體上規(guī)劃數(shù)據(jù)集成的總體架構(gòu)，以指導(dǎo)數(shù)據(jù)集成工作有條不紊的展開。

本文在對(duì)高校數(shù)據(jù)集成特點(diǎn)總結(jié)的基礎(chǔ)上，提出一套符合其行業(yè)特點(diǎn)的總體架構(gòu)方案，對(duì)高校數(shù)據(jù)集成具體實(shí)施提出一個(gè)參考性建議。

1 高校數(shù)據(jù)集成現(xiàn)狀分析

目前許多高校數(shù)字化校園的數(shù)據(jù)集成工作還處于初級(jí)階段，還未提高到總體架構(gòu)的高度。數(shù)據(jù)集成工作都是由于各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需求才慢慢開展的，是一個(gè)自下而上的過程，隨著數(shù)字化校園的不斷發(fā)展，業(yè)務(wù)系統(tǒng)不斷增加、各業(yè)務(wù)系統(tǒng)間的交互越來越多，越來越復(fù)雜、數(shù)據(jù)流向多元化，使集成工作的維護(hù)工作量增大。

高校各業(yè)務(wù)應(yīng)用系統(tǒng)之間沒有相互連接的信息渠道，數(shù)據(jù)被存儲(chǔ)在不同的數(shù)據(jù)庫、文件服務(wù)器當(dāng)中，只有給予權(quán)限的用戶可以訪問，這樣為高校整體管理設(shè)置的障礙，形成了一系列的信息孤島。每個(gè)獨(dú)立的業(yè)務(wù)系統(tǒng)都是一個(gè)數(shù)據(jù)源，如人事系統(tǒng)獨(dú)有教工信息數(shù)據(jù)源、教務(wù)系統(tǒng)獨(dú)有學(xué)生信息源、舍管系統(tǒng)獨(dú)有學(xué)生舍管信息源等，每個(gè)數(shù)據(jù)源都是異構(gòu)［2］的，形成了巨大的異構(gòu)數(shù)據(jù)環(huán)境。這些異構(gòu)的數(shù)據(jù)源之間還存在著千絲萬縷的聯(lián)系，遇到具體的業(yè)務(wù)需要時(shí)，這些分散的數(shù)據(jù)按需進(jìn)行集成。每個(gè)業(yè)務(wù)系統(tǒng)的開發(fā)時(shí)期不同，內(nèi)部之間存在的不可兼容性，全盤放棄的話勢(shì)必造成浪費(fèi)，怎樣實(shí)現(xiàn)這些異構(gòu)數(shù)據(jù)源之間的共享是高校數(shù)字化校園急需解決的問題，高校數(shù)據(jù)集成工作顯得尤為重要。

目前許多高校已經(jīng)著手進(jìn)行數(shù)據(jù)集成，數(shù)據(jù)集成在建設(shè)初期用戶都是按照需求在小范圍組織系統(tǒng)內(nèi)做一些簡單的集成工作，或僅從技術(shù)實(shí)現(xiàn)角度上考慮，但是各業(yè)務(wù)系統(tǒng)間的關(guān)系越來越復(fù)雜，對(duì)數(shù)據(jù)集成的需求越來越復(fù)雜，這就要求高校要從整體高度規(guī)劃集成工作，設(shè)計(jì)出一個(gè)數(shù)據(jù)集成的總體架構(gòu)。

2 高校數(shù)據(jù)集成體系架構(gòu)發(fā)展

2.1 點(diǎn)對(duì)點(diǎn)架構(gòu)

2.1.1 點(diǎn)對(duì)點(diǎn)架構(gòu)產(chǎn)生

數(shù)據(jù)集成架構(gòu)初期是點(diǎn)對(duì)點(diǎn)結(jié)構(gòu)［3］，如圖1所示。

圖1 點(diǎn)對(duì)點(diǎn)架構(gòu)

高校各業(yè)務(wù)系統(tǒng)剛剛開始開發(fā)運(yùn)行，雖然系統(tǒng)之間各自獨(dú)立運(yùn)行，但建設(shè)初期都會(huì)需要其他系統(tǒng)的一些數(shù)據(jù)，如：（1）學(xué)工系統(tǒng)需要從教務(wù)系統(tǒng)獲取學(xué)生信息進(jìn)行獎(jiǎng)學(xué)金、學(xué)生貸款的管理等；（2）財(cái)務(wù)系統(tǒng)要從教務(wù)系統(tǒng)中獲取學(xué)生信息進(jìn)行繳費(fèi)管理；（3）舍管系統(tǒng)需從教務(wù)系統(tǒng)中獲取學(xué)生信息進(jìn)行宿舍分配。發(fā)生此類需求時(shí)，數(shù)據(jù)集成工作一般為自發(fā)方式，當(dāng)某一系統(tǒng)需要向其他系統(tǒng)獲取數(shù)據(jù)時(shí)，大多采用的方式都是定期通過磁介質(zhì)拷貝、電子郵件或備份數(shù)據(jù)庫文件等方法獲取所需數(shù)據(jù)，只要其他系統(tǒng)更新數(shù)據(jù)，就會(huì)造成同一數(shù)據(jù)在幾個(gè)系統(tǒng)間的不一致，若遇到其他系統(tǒng)的數(shù)據(jù)清洗等工作，集成工作就更是難上加難了。

2.1.2 點(diǎn)對(duì)點(diǎn)架構(gòu)特點(diǎn)

數(shù)據(jù)集成范圍小，未考慮其他系統(tǒng)的融合，信息重復(fù)問題嚴(yán)重；各系統(tǒng)間數(shù)據(jù)不一致；需求較隨意，不確定；周期上不固定；集成方式大都采用手工導(dǎo)入、導(dǎo)出或者自行開發(fā)等方法。

2.1.3 點(diǎn)對(duì)點(diǎn)架構(gòu)弊端

集成范圍小、擴(kuò)展難、標(biāo)準(zhǔn)無法確定、全局應(yīng)用無法展開。

2.2 星形架構(gòu)

2.2.1 星形架構(gòu)產(chǎn)生

點(diǎn)對(duì)點(diǎn)架構(gòu)存在許多弊端，隨著高校數(shù)字化校園建設(shè)的不斷發(fā)展，數(shù)據(jù)集成開始從全局角度考慮，各業(yè)務(wù)系統(tǒng)數(shù)據(jù)集成的要求越來越復(fù)雜，一個(gè)業(yè)務(wù)系統(tǒng)可能要和多個(gè)業(yè)務(wù)系統(tǒng)之間進(jìn)行信息交互，星形架構(gòu)［4］應(yīng)運(yùn)而生，如圖2所示，整個(gè)架構(gòu)的形狀與星形類似。

圖2 星形架構(gòu)

星形架構(gòu)使得各業(yè)務(wù)系統(tǒng)不再是信息孤島，數(shù)據(jù)可以在全局范圍內(nèi)流動(dòng)，數(shù)據(jù)集成的質(zhì)量得到提高，對(duì)異構(gòu)數(shù)據(jù)源的處理也得以加強(qiáng)。

2.2.2 星形架構(gòu)下存在的問題

（1）業(yè)務(wù)系統(tǒng)較少時(shí)，實(shí)現(xiàn)數(shù)據(jù)集成快速簡便，業(yè)務(wù)系統(tǒng)越來越多，形成一定規(guī)模后，此架構(gòu)的擴(kuò)展性差的缺點(diǎn)就顯現(xiàn)出來了。

（2）隨著業(yè)務(wù)系統(tǒng)的增多，ELT編寫變得復(fù)雜并難以維護(hù)。

（3）增加了系統(tǒng)之間的耦合度，一個(gè)系統(tǒng)出現(xiàn)問題影響全局，數(shù)據(jù)服務(wù)的質(zhì)量、集成效率降低了。

（4）一份數(shù)據(jù)在各業(yè)務(wù)系統(tǒng)中有多個(gè)入口和出口，數(shù)據(jù)的一致性難以保證。

（5）安全性難以保證，各系統(tǒng)之間交互、授權(quán)、沒有統(tǒng)一管理，勢(shì)必影響系統(tǒng)的安全。

2.2.3 星形架構(gòu)的弊端

可擴(kuò)展性差、無法做到低耦合、數(shù)據(jù)質(zhì)量無法保證、不能做到上層應(yīng)用、缺乏權(quán)限控制。

因此，星形架構(gòu)雖然解決了全局范圍內(nèi)數(shù)據(jù)集成的問題，但是在低耦合、數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)、可擴(kuò)展性、上層應(yīng)用、權(quán)限管理等上仍然存在一定的問題。

2.3 集線器架構(gòu)介紹

集線器架構(gòu)的出現(xiàn)解決了星形架構(gòu)存在的問題，集線器架構(gòu)如圖3所示，此架構(gòu)設(shè)計(jì)了一中心節(jié)點(diǎn)，整體架構(gòu)與集線器相似，各個(gè)業(yè)務(wù)系統(tǒng)與中心數(shù)據(jù)平臺(tái)節(jié)點(diǎn)的集成關(guān)系成輻射狀。

圖3 集線器架構(gòu)

集線器架構(gòu)通常以某個(gè)關(guān)系型數(shù)據(jù)庫為中心節(jié)點(diǎn)，并作為數(shù)據(jù)集成中心，ELT先按照統(tǒng)一的數(shù)據(jù)存儲(chǔ)模型將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)加載到數(shù)據(jù)集成中心，這樣數(shù)據(jù)集成中心根據(jù)各部門的數(shù)據(jù)需求將相關(guān)數(shù)據(jù)加載到各業(yè)務(wù)系統(tǒng)中，整個(gè)數(shù)據(jù)交互看上去像一個(gè)集線器一樣。

表1 集線器架構(gòu)優(yōu)點(diǎn)

此架構(gòu)中各業(yè)務(wù)系統(tǒng)需要的數(shù)據(jù)都存放在數(shù)據(jù)集成中心，各業(yè)務(wù)系統(tǒng)按需加載數(shù)據(jù)，這樣保證了數(shù)據(jù)在各業(yè)務(wù)系統(tǒng)之間的一致性，避免了數(shù)據(jù)在各系統(tǒng)之間的重復(fù)，避免數(shù)據(jù)冗余；各業(yè)務(wù)系統(tǒng)之間相互獨(dú)立，數(shù)據(jù)不發(fā)生交互，總體上各業(yè)務(wù)系統(tǒng)做到了低耦合。

由此可見，集線器架構(gòu)解決了點(diǎn)對(duì)點(diǎn)架構(gòu)、星形架構(gòu)中存在的問題，具有低耦合、擴(kuò)展性強(qiáng)、數(shù)據(jù)質(zhì)量保證、全局集成、為上層應(yīng)用提供基礎(chǔ)數(shù)據(jù)以及權(quán)限統(tǒng)一管理的優(yōu)點(diǎn)，是目前較符合高校數(shù)據(jù)集成工作現(xiàn)狀的一個(gè)總體架構(gòu)模式。集線器架構(gòu)優(yōu)點(diǎn)如表1所示。

3 集線器架構(gòu)中數(shù)據(jù)庫集成流程圖和數(shù)據(jù)流向

3.1 數(shù)據(jù)庫集成流程圖

（1）過程一：如圖4所示，過程一是數(shù)據(jù)集成中心的數(shù)據(jù)源，ELT將人事、教務(wù)等內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)和外部數(shù)據(jù)抽取到中心數(shù)據(jù)庫，經(jīng)過清洗轉(zhuǎn)換，將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)的統(tǒng)一格式，其他各業(yè)務(wù)系統(tǒng)根據(jù)自身需求，從中心數(shù)據(jù)庫提取數(shù)據(jù)。

圖4 過程一

圖5 過程二

（2）過程二：如圖5所示，過程二分為兩個(gè)階段，第一階段（虛線框）中數(shù)據(jù)集成中心為全局?jǐn)?shù)據(jù)庫提供數(shù)據(jù)，供各業(yè)務(wù)系統(tǒng)的應(yīng)用及基礎(chǔ)報(bào)表查詢，同時(shí)數(shù)據(jù)集成中心從各業(yè)務(wù)系統(tǒng)中的獲取數(shù)據(jù)，并轉(zhuǎn)換為統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)；第二階段是數(shù)據(jù)集成中心為數(shù)據(jù)倉庫提供數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)數(shù)據(jù)分析和數(shù)據(jù)挖掘。

3.2 ELT介紹

ELT是利用數(shù)據(jù)庫的處理能力，E表示從源數(shù)據(jù)庫抽取數(shù)據(jù)，L表示把數(shù)據(jù)加載到目標(biāo)庫的臨時(shí)表中，T表示對(duì)臨時(shí)表中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，然后加載到目標(biāo)庫目標(biāo)表中。

它的轉(zhuǎn)換過程都是在轉(zhuǎn)換服務(wù)器中進(jìn)行的，這種處理方式不需要有中間的轉(zhuǎn)換服務(wù)器，所有的轉(zhuǎn)換都是在數(shù)據(jù)庫中進(jìn)行，可以節(jié)約資源。

Oracle的 ODI是使用 ELT 的理念（Extract、Load&Transform，即抽取、裝載、轉(zhuǎn)換）設(shè)計(jì)出來的數(shù)據(jù)抽取/數(shù)據(jù)轉(zhuǎn)換工具，ODI：Oracle Data Integrator的簡稱，是Oracle的數(shù)據(jù)集成類工具。

圖6 ELT體系結(jié)構(gòu)圖

3.3 集線器架構(gòu)中數(shù)據(jù)流向

在總體架構(gòu)中，數(shù)據(jù)集成中心和各應(yīng)用業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)流是雙向的，和全局?jǐn)?shù)據(jù)庫間的數(shù)據(jù)流也是雙向的，數(shù)據(jù)標(biāo)準(zhǔn)由全局?jǐn)?shù)據(jù)庫提供，供其他應(yīng)用業(yè)務(wù)系統(tǒng)使用。［5］

數(shù)據(jù)集成中心和數(shù)據(jù)倉庫之間的數(shù)據(jù)流是單向的，數(shù)據(jù)集成中心為數(shù)據(jù)倉庫提供數(shù)據(jù)，供用戶分析和挖掘，以便輔助決策。

因此建立的中心節(jié)點(diǎn)是一個(gè)數(shù)據(jù)集成交互平臺(tái)，一方面可以用于各應(yīng)用業(yè)務(wù)系統(tǒng)間的集成，另一方面形成全局?jǐn)?shù)據(jù)庫，有了統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。

3.4 架構(gòu)特點(diǎn)

3.4.1 優(yōu)點(diǎn)

（1）做到了信息編碼統(tǒng)一

過程一中所有基礎(chǔ)業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取到中心數(shù)據(jù)庫，經(jīng)過清洗轉(zhuǎn)換，將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)的統(tǒng)一格式，各業(yè)務(wù)系統(tǒng)按需統(tǒng)一從中心庫獲取數(shù)據(jù)，這樣保證了數(shù)據(jù)在各業(yè)務(wù)系統(tǒng)的統(tǒng)一。

（2）無冗余業(yè)務(wù)數(shù)據(jù)

需共享的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)中心，各系統(tǒng)中不再存貯共享數(shù)據(jù)，避免數(shù)據(jù)重復(fù)。

（3）數(shù)據(jù)只有唯一的入口、出口，誰的數(shù)據(jù)，誰負(fù)責(zé)維護(hù)。

（4）學(xué)校整體的信息較容易掌握，為輔助學(xué)校決策做好基礎(chǔ)。

3.4.2 數(shù)據(jù)集成中心為中心節(jié)點(diǎn)

許多高校在數(shù)據(jù)集成應(yīng)用中將全局?jǐn)?shù)據(jù)庫作為架構(gòu)的中心節(jié)點(diǎn)，雖然這樣能滿足架構(gòu)的要求，但長期這樣應(yīng)用會(huì)有很多弊端：

（1）數(shù)據(jù)集成中心結(jié)構(gòu)根據(jù)需求變化會(huì)做相應(yīng)改變和拓展，而全局庫主要是面向上層應(yīng)用，其結(jié)構(gòu)要求穩(wěn)定。

（2）數(shù)據(jù)集成中心會(huì)有大量數(shù)據(jù)中轉(zhuǎn)、處理，全局庫需想各業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)，如果再做數(shù)據(jù)中心，會(huì)超負(fù)荷，形成系統(tǒng)瓶頸。

（3）從安全角度上講，數(shù)據(jù)未經(jīng)處理直接在全局庫進(jìn)行操作，可能會(huì)對(duì)全局庫造成數(shù)據(jù)污染，影響其上層應(yīng)用。

因此將數(shù)據(jù)庫中心作為中心節(jié)點(diǎn)，將全局庫從中心節(jié)點(diǎn)抽離、獨(dú)立起來，解決了上述弊端。

4 結(jié)束語

本文對(duì)數(shù)字校園建設(shè)中面臨的異構(gòu)數(shù)據(jù)源現(xiàn)狀進(jìn)行了分析，對(duì)比分析幾類數(shù)據(jù)集成體系架構(gòu)，提出目前較適合高校數(shù)據(jù)集成工作的集線器式總體架構(gòu)模式，適應(yīng)高校發(fā)展的好的架構(gòu)模式能加快構(gòu)建數(shù)據(jù)化校園信息平臺(tái)，是促進(jìn)數(shù)字化校園高效統(tǒng)一發(fā)展的有力基石。

［1］唐偉.面向數(shù)據(jù)集成的數(shù)字化校園建設(shè)［J］.計(jì)算機(jī)教育，2013（2）：50-54.

［2］敖毅.面向數(shù)字圖書館的五層模型異構(gòu)數(shù)據(jù)集成架構(gòu)研究［J］.情報(bào)學(xué)報(bào)，2005，24（6）：723-727.

［3］李建花.面向校園網(wǎng)的高校數(shù)據(jù)集成方案的研究與應(yīng)用［D］.濟(jì)南：濟(jì)南大學(xué)，2011.

［4］包林玉.數(shù)字化校園建設(shè)中異構(gòu)數(shù)據(jù)集成技術(shù)的研究［D］.成都：西南科技大學(xué)，2009.

［5］杜偉.高校數(shù)據(jù)集成整體規(guī)劃方案［J］.信息安全與技術(shù)，2012（2）：64-66，82.