基于ODI的高校數(shù)據(jù)中心研究與實踐

林華治 虞銘輝

摘 要：目前高校業(yè)務(wù)系統(tǒng)不斷豐富，同時也形成了“信息孤島”，通過構(gòu)建數(shù)據(jù)中心可以解決該類問題，本文分析了目前高校業(yè)務(wù)系統(tǒng)建設(shè)中存在的主要問題、高校數(shù)據(jù)中心建設(shè)的模式和主要技術(shù)路線，提出了基于ODI的數(shù)據(jù)中心建設(shè)模式，在浙江樹人大學(xué)加以實踐，并選取教工流進(jìn)行深入研究。

關(guān)鍵詞：ODI；數(shù)據(jù)中心；信息孤島；數(shù)據(jù)流；高校信息化

中圖分類號：TP315 文獻(xiàn)標(biāo)志碼：A 文章編號：1673-8454（2015）11-0086-04

一、前言

隨著高校信息化建設(shè)不斷深入，各類應(yīng)用系統(tǒng)產(chǎn)生的大量數(shù)據(jù)形成了各自的“信息孤島”，使各個應(yīng)用系統(tǒng)之間無法互聯(lián)互通，產(chǎn)生了大量問題，這些應(yīng)用系統(tǒng)的建立給學(xué)校的管理帶來負(fù)面影響，主要存在以下問題：

（1）很多業(yè)務(wù)系統(tǒng)的建立是遵循老的業(yè)務(wù)規(guī)則，往往會以部門為邊界或者按部門內(nèi)分工進(jìn)行，各自維護(hù)自身的系統(tǒng)和數(shù)據(jù)，形成了屏障，使數(shù)據(jù)無法良性共享，這樣當(dāng)業(yè)務(wù)需要進(jìn)行跨系統(tǒng)交互時就會很困難，而學(xué)校大量業(yè)務(wù)流程需要跨部門開展，這樣業(yè)務(wù)系統(tǒng)對于全校性的業(yè)務(wù)支撐力度不夠，現(xiàn)實的情況是，很多業(yè)務(wù)系統(tǒng)在建設(shè)初期設(shè)想了很多功能點，但是到最后能用上的寥寥無幾。

（2）沒有統(tǒng)一的信息標(biāo)準(zhǔn)，每個業(yè)務(wù)系統(tǒng)在建設(shè)的時候采用自己的命名規(guī)則和代碼集，這樣在系統(tǒng)設(shè)計的時候?qū)τ跀?shù)據(jù)規(guī)范性就缺乏考究，即便有數(shù)據(jù)但由于格式不對也無法順利地傳遞給其他業(yè)務(wù)。

（3）數(shù)據(jù)以不同的形式廣泛分散于各個部門、業(yè)務(wù)系統(tǒng)、人員，在業(yè)務(wù)系統(tǒng)中以結(jié)構(gòu)化的數(shù)據(jù)為主，很多還未納入信息系統(tǒng)的業(yè)務(wù)產(chǎn)生了非結(jié)構(gòu)化的數(shù)據(jù)，并且這些數(shù)據(jù)還是存放在個人電腦上，無法確保信息安全、必要冗余和高可用性。[1]

（4）各業(yè)務(wù)系統(tǒng)一般只建設(shè)面向該業(yè)務(wù)的簡單查詢，實際過程中真正有價值和迫切需查詢的數(shù)據(jù)是面向全校的，而不局限于單一業(yè)務(wù)本身，但由于全校重要的信息沒有唯一和統(tǒng)一的存放點，例如學(xué)校領(lǐng)導(dǎo)一般比較關(guān)心學(xué)生信息，而學(xué)生基本信息在學(xué)工系統(tǒng)，學(xué)籍信息在教務(wù)處，住宿信息在后勤部門，圖書借閱信息在圖書館，單個業(yè)務(wù)系統(tǒng)勢必?zé)o法滿足全面的信息查詢和使用需求。

（5）缺乏信息積累機制，數(shù)據(jù)無法得到有效的搜集、存放和利用，世界的本質(zhì)是信息，在高等教育過程中產(chǎn)生的各類信息無法記錄下來，在信息社會和大數(shù)據(jù)時代是很可怕的事情，數(shù)據(jù)資源對學(xué)校今后的發(fā)展有著極具重要的戰(zhàn)略意義和指導(dǎo)意義，例如分析學(xué)生的行為記錄與成長軌跡的關(guān)聯(lián)可以為學(xué)生培養(yǎng)模式的制定提供非常好的決策支持。[2]

上述問題在各個高校中基本都存在，程度不一，一般高校的解決方式都是在門戶層統(tǒng)一信息、展示入口，關(guān)鍵在于數(shù)據(jù)層依據(jù)信息標(biāo)準(zhǔn)構(gòu)建全校性的數(shù)據(jù)中心來實現(xiàn)數(shù)據(jù)交互、沉淀和挖掘，選擇好的數(shù)據(jù)中心技術(shù)框架、建設(shè)模式特別重要。本文通過分析傳統(tǒng)的數(shù)據(jù)中心模式，提出了基于ODI（Oracle Data Integrator）的數(shù)據(jù)中心解決方案，從數(shù)據(jù)中心架構(gòu)模型、應(yīng)用效果等幾個方面進(jìn)行了深入的研究和實踐。

二、高校數(shù)據(jù)中心現(xiàn)狀

目前來說各大高校都在進(jìn)行數(shù)據(jù)中心建設(shè)，對于高校數(shù)據(jù)中心的研究也在不斷深入，截止到2015年1月27日，在中國期刊全文數(shù)據(jù)庫中以數(shù)據(jù)中心為主題作為關(guān)鍵詞檢索，有 4707條記錄，其中關(guān)于高校數(shù)據(jù)中心建設(shè)有746條，可見數(shù)據(jù)中心的建設(shè)是高校信息化的核心點、熱點，同時也是難點。目前來說高校數(shù)據(jù)中心建設(shè)模式上大部分高校采用純外包或者半外包的形式，即公開招標(biāo)找社會上的軟件公司為其設(shè)計和建設(shè)數(shù)據(jù)中心，但是每個學(xué)校的情況差異比較大，數(shù)據(jù)中心很難作為一種成熟的產(chǎn)品實施，它要求校方深入?yún)⑴c期間的每個過程，同時需要全校其他部門全力配合才能構(gòu)建一個較為完善的數(shù)據(jù)中心；從技術(shù)路線上來說目前較為熱門的是基于SOA架構(gòu)的數(shù)據(jù)中心，該架構(gòu)的特點是高內(nèi)聚低耦合，實現(xiàn)了功能點的分離，但是現(xiàn)實的情況是如何界定功能點、原有的業(yè)務(wù)系統(tǒng)如何融入SOA架構(gòu)、總線如何編排都是很大的挑戰(zhàn)，實施起來難度比較大。[3][4]

三、浙江樹人大學(xué)解決方案

1.信息化現(xiàn)狀

和絕大部分高校一樣，樹人大學(xué)現(xiàn)有業(yè)務(wù)系統(tǒng)繁多，業(yè)務(wù)系統(tǒng)之間相互獨立，數(shù)據(jù)無法共享，形成了數(shù)據(jù)孤島，而且沒有全校性的數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)質(zhì)量堪憂，在這樣的背景下，啟動了數(shù)據(jù)中心建設(shè)，經(jīng)過多方考察和研究，確定了用ODI作為數(shù)據(jù)中心的核心技術(shù)平臺，并參照教育部2012年最新信息標(biāo)準(zhǔn)制定了學(xué)校標(biāo)準(zhǔn)。

2.解決思路

我們提出了基于ODI構(gòu)建數(shù)據(jù)中心的思路，該模型的特點在于關(guān)注數(shù)據(jù)流，而不拘泥于展示技術(shù)，打通最底層的數(shù)據(jù)流，實現(xiàn)業(yè)務(wù)系統(tǒng)的互聯(lián)互通。在高校中有三項核心數(shù)據(jù)流——人員流、物流、財流，這是高校所有業(yè)務(wù)系統(tǒng)的根本，大部分業(yè)務(wù)都是以其為載體，很多業(yè)務(wù)系統(tǒng)的交互和共享也與其有關(guān)，我們用商業(yè)化、成熟穩(wěn)定的軟件工具ODI作為基礎(chǔ)平臺，該平臺具有強大的數(shù)據(jù)整合能力，可以抽取、下發(fā)、編排各種數(shù)據(jù)，支持絕大部分的數(shù)據(jù)庫，并且是充分利用數(shù)據(jù)庫系統(tǒng)自身的能力進(jìn)行數(shù)據(jù)轉(zhuǎn)換，減少網(wǎng)絡(luò)流量、平衡和提高性能的同時降低投入總成本。[5]

3.ODI技術(shù)架構(gòu)

基于ODI的數(shù)據(jù)中心整體架構(gòu)如圖1所示，通過數(shù)據(jù)交換平臺將各類數(shù)據(jù)源進(jìn)行清洗、轉(zhuǎn)化后形成符合數(shù)據(jù)標(biāo)準(zhǔn)的范式進(jìn)入數(shù)據(jù)中心庫，數(shù)據(jù)中心庫采用的是與ODI同家廠商的ORACLE，常見的數(shù)據(jù)源有關(guān)系型數(shù)據(jù)庫，如ORACLE、MYSQL、SQLSERVER、DB2等，常見文本有WORD、EXCEL等，還有其他數(shù)據(jù)源例如TXT文件，ODI均支持，ODI支持?jǐn)帱c續(xù)傳，即當(dāng)發(fā)生異常，常見的是網(wǎng)絡(luò)不穩(wěn)定導(dǎo)致的數(shù)據(jù)交換過程中斷，當(dāng)網(wǎng)絡(luò)恢復(fù)正?？梢匝永m(xù)異常前的工作，這樣確保了數(shù)據(jù)的一致性和數(shù)據(jù)中心的穩(wěn)定性。

ODI主要定位于在ETL和數(shù)據(jù)集成的場景里使用。ODI和Oracle原來的ETL（Extract-Transform-Load）工具OWB（ORACLE另外一個數(shù)據(jù)抽取工具）相比有一些顯著的特點，比如和OWB一樣是ETL架構(gòu)，但是比OWB支持更多的異構(gòu)的數(shù)據(jù)源。

ODI提出了知識模塊的概念（Knowledge Module），通過知識模塊可以復(fù)用原有的項目的過程，因為大部分的數(shù)據(jù)轉(zhuǎn)換過程類似，都是從一個數(shù)據(jù)源到另一個數(shù)據(jù)源，ODI里有100多種常見的知識模塊，同時也可以自定義知識模塊，這樣可以實現(xiàn)模塊的復(fù)用，ODI知識模塊是由Jython腳本語言結(jié)合數(shù)據(jù)庫的SQL語句錄成。[5]

四、以樹人大學(xué)教職工流為例

本文以樹人大學(xué)教職工流為例來說明ODI的實際場景的運作過程，樹人大學(xué)原有人員歸口比較繁雜，沒有統(tǒng)一歸口，通過整合梳理后使所有教職工都?xì)w到人事系統(tǒng)，原先業(yè)務(wù)系統(tǒng)之間沒有聯(lián)動，經(jīng)常會發(fā)生教職工已經(jīng)離校但是其他業(yè)務(wù)系統(tǒng)里還有該人員，并且賬號還能正常使用等情況，這是由于部門之間溝通不夠順暢導(dǎo)致或者說沒有一個機制來管理這個過程，我們通過構(gòu)建基于數(shù)據(jù)中心的教職工流可以很好地解決該問題，實現(xiàn)人員的自動化和全生命周期管理。[6][7]

教職工涉及的主要業(yè)務(wù)系統(tǒng)有辦公自動化系統(tǒng)、教務(wù)系統(tǒng)、財務(wù)系統(tǒng)、資產(chǎn)管理系統(tǒng)、人事管理系統(tǒng)、圖書館系統(tǒng)、一卡通系統(tǒng)、檔案系統(tǒng)等，教職工相關(guān)業(yè)務(wù)有入職、校內(nèi)信息變更和離職三大類，通過基于ODI的數(shù)據(jù)中心構(gòu)建的數(shù)據(jù)流如圖2所示，該圖列出了兩種流形式——新教工入職流和信息變更流（涵蓋離職）。

1.新教工入職

新的教職工的進(jìn)校，在人事系統(tǒng)錄入相應(yīng)的數(shù)據(jù)，則馬上將數(shù)據(jù)發(fā)送到中間庫，對于符合數(shù)據(jù)中心質(zhì)量要求的數(shù)據(jù)將通過ODI直接抽取到標(biāo)準(zhǔn)庫，數(shù)據(jù)質(zhì)量要求主要指數(shù)據(jù)的長度和格式是否符合數(shù)據(jù)標(biāo)準(zhǔn)、必要字段是否齊全等，進(jìn)入到標(biāo)準(zhǔn)庫后，數(shù)據(jù)中心將數(shù)據(jù)推送到各個業(yè)務(wù)系統(tǒng)的中間庫，然后由各個業(yè)務(wù)系統(tǒng)根據(jù)需要將數(shù)據(jù)抽取到業(yè)務(wù)系統(tǒng)，在這里使用中間庫的原因在于，各個業(yè)務(wù)系統(tǒng)一般都是由不同廠商完成的，為了避免公司間的推諉和不對原有系統(tǒng)造成破壞采用中間庫機制，其中離職流中數(shù)據(jù)中心同步到業(yè)務(wù)系統(tǒng)時一般以改變教工的在校狀態(tài)達(dá)到賬戶凍結(jié)而不是進(jìn)行物理刪除，因為用戶在業(yè)務(wù)系統(tǒng)中有相關(guān)的使用記錄數(shù)據(jù)，如刪除會對業(yè)務(wù)系統(tǒng)產(chǎn)生無法預(yù)見的影響。

2.教工流數(shù)據(jù)標(biāo)準(zhǔn)

人事系統(tǒng)到數(shù)據(jù)中心階段按照前期制定數(shù)據(jù)標(biāo)準(zhǔn)，有23項數(shù)據(jù)需提交給數(shù)據(jù)中心，其中與人員流有關(guān)的主要數(shù)據(jù)表有教職工基礎(chǔ)數(shù)據(jù)子類表、個人通訊方式子類，這些數(shù)據(jù)是其他系統(tǒng)迫切需要的，教職工基礎(chǔ)數(shù)據(jù)子類表如表1所示，列出比較重要的一些字段，其中工號、單位號、證件類型、證件號、教職工類別碼和教職工當(dāng)前狀態(tài)不能為空，因為其他業(yè)務(wù)系統(tǒng)接收到數(shù)據(jù)時如這些字段不全則無法成功添加和更新人員信息，如表1所示，人事系統(tǒng)表對應(yīng)到人事中間庫，ODI實時監(jiān)測人事中間庫的變化，并同步到數(shù)據(jù)中心，并下發(fā)各個相關(guān)業(yè)務(wù)系統(tǒng)。

3.人員下發(fā)規(guī)則

以數(shù)據(jù)中心到教務(wù)系統(tǒng)為例，教務(wù)系統(tǒng)僅針對需要使用教務(wù)系統(tǒng)的教師開通，要對人員進(jìn)行過濾篩選，如表2所示，表中標(biāo)明“是”的教工類型，將自動下發(fā)到教務(wù)系統(tǒng)，默認(rèn)開通普通用戶權(quán)限，特殊權(quán)限由教務(wù)管理員單獨授予，選取了其中主要幾個對應(yīng)關(guān)系。

4.ODI教職工流配置

在ODI中對于數(shù)據(jù)流的配置是由程序包和接口組成，程序包由多個接口組成，每個接口完成各自的數(shù)據(jù)交換工作，本項目采用的命名規(guī)則是取業(yè)務(wù)系統(tǒng)的拼音，例如BZK代表的是標(biāo)準(zhǔn)庫，圖3的程序包實現(xiàn)的是人事系統(tǒng)的數(shù)據(jù)抽取到數(shù)據(jù)中心，然后下發(fā)到教務(wù)系統(tǒng)、一卡通系統(tǒng)、OA系統(tǒng)、科研系統(tǒng)、圖書館系統(tǒng)等，在這里與一卡通系統(tǒng)對接過程存在數(shù)據(jù)的雙向交換，實現(xiàn)教職工一卡通物理卡號的分配，因為圖書館管理系統(tǒng)的子系統(tǒng)門禁管理系統(tǒng)需要物理卡號，該程序包設(shè)置成一秒鐘輪詢執(zhí)行一次，如在一秒鐘內(nèi)發(fā)現(xiàn)數(shù)據(jù)異常該程序包便會啟動。

五、成效與展望

目前數(shù)據(jù)中心已經(jīng)運行2年多，總體平穩(wěn)，已經(jīng)累計實現(xiàn)了102934條信息的新增和更新，實現(xiàn)了人員自動化管理，教工數(shù)據(jù)源頭人事系統(tǒng)一旦改變?nèi)藛T狀態(tài)其他業(yè)務(wù)系統(tǒng)便做相應(yīng)調(diào)整，同理教務(wù)系統(tǒng)的學(xué)生學(xué)籍狀態(tài)改變也會及時同步到各個業(yè)務(wù)系統(tǒng)，這樣大大減低了人工的誤操作率，優(yōu)化了學(xué)校管理流程，提高了整體的服務(wù)水平。

數(shù)據(jù)中心建設(shè)實現(xiàn)了人員的統(tǒng)一歸口管理，但是對于業(yè)務(wù)間的關(guān)聯(lián)操作還未進(jìn)行系統(tǒng)梳理以及數(shù)據(jù)積累后還沒有得到很好的利用分析，這將是今后努力的方向。

參考文獻(xiàn)：

[1]王磊，李林林，周學(xué)理.淺析高校數(shù)據(jù)中心建設(shè)的問題及對策[J].科技與管理，2006（6）：144-146.

[2]史鑫，朱巧明，李培峰，孔芳.面向數(shù)字化校園的共享數(shù)據(jù)庫中心的設(shè)計[J].蘇州大學(xué)學(xué)報（自然科學(xué)版），2006 （3）：37-41.

[3]彭小斌，陳晨，鄧可君，閆保樺，史詩.高校信息化現(xiàn)狀分析[J].武漢大學(xué)學(xué)報（理學(xué)版），2012（s1） ：27-31.

[4]楊利軍，朱闖.高校信息化開發(fā)模式實證研究[J].情報科學(xué)，2008（12）：1848-1850.

[5]Laura Hofman Miquel.Getting Started with Oracle Data Integrator[EB/OL][2014-10-11]. http：//www.oracle.com/technetwork/middleware/data-integrator/overview/odigs-11g-168072.pdf.

[6]周長春，徐宏炳，張小偉.基于共享數(shù)據(jù)庫的數(shù)據(jù)集成方案的改進(jìn)[J].計算機工程與設(shè)計，2007（8）：1917-1918.

[7]冀鑫.高校數(shù)字化校園建設(shè)實踐探索[J].計算機光盤軟件與應(yīng)用，2012（18）：67-70.

（編輯：王天鵬）