構(gòu)建共享數(shù)據(jù)中心

文/周筠

共享數(shù)據(jù)中心作為校內(nèi)基本數(shù)據(jù)的共享平臺，將各個業(yè)務(wù)部門的基本數(shù)據(jù)進(jìn)行集中管理，實(shí)現(xiàn)統(tǒng)一管理，保證數(shù)據(jù)的權(quán)威性和準(zhǔn)確性，為各個業(yè)務(wù)應(yīng)用系統(tǒng)和各類服務(wù)系統(tǒng)提供權(quán)威和準(zhǔn)確的數(shù)據(jù)支持，承擔(dān)信息化校園中的大量數(shù)據(jù)、信息、處理以及交換結(jié)果。

消除信息孤島，建立信息與應(yīng)用規(guī)范，提供集成的個性化的服務(wù)，是高校信息整合的三個重要目標(biāo)。為了實(shí)現(xiàn)目標(biāo)，須解決數(shù)據(jù)不共享、應(yīng)用不集成、界面不統(tǒng)一等問題。首先要制定信息規(guī)范，再從數(shù)據(jù)、應(yīng)用、內(nèi)容、流程等層面進(jìn)行信息整合，從而實(shí)現(xiàn)真正的信息集成。同時通過信息整合建立起各個層面的信息標(biāo)準(zhǔn)，為后續(xù)信息的管理與利用提供規(guī)范。

共享數(shù)據(jù)中心作為校內(nèi)基本數(shù)據(jù)的共享平臺，將各部門的基本數(shù)據(jù)集中管理，實(shí)現(xiàn)統(tǒng)一管理，保證數(shù)據(jù)的權(quán)威性和準(zhǔn)確性，為各個業(yè)務(wù)應(yīng)用系統(tǒng)和各類服務(wù)系統(tǒng)提供權(quán)威和準(zhǔn)確的數(shù)據(jù)支持，承擔(dān)信息化校園中的大量數(shù)據(jù)、信息、處理和交換結(jié)果。因此，共享數(shù)據(jù)中心的建設(shè)是解決多個應(yīng)用系統(tǒng)之間數(shù)據(jù)交換和數(shù)據(jù)共享問題的核心。

數(shù)據(jù)交換和共享流程

數(shù)據(jù)采集更新

所有數(shù)據(jù)來源于各個業(yè)務(wù)系統(tǒng)，通過通用的數(shù)據(jù)抽取或同步方法將數(shù)據(jù)采集到共享數(shù)據(jù)中心，同時制作數(shù)據(jù)更新報告。

數(shù)據(jù)組織整理

按照學(xué)校的信息標(biāo)準(zhǔn)對各個部門更新的數(shù)據(jù)進(jìn)行整理，報告數(shù)據(jù)異常，保證數(shù)據(jù)的一致性和準(zhǔn)確性，保留歷史數(shù)據(jù)。

數(shù)據(jù)共享利用

通過授權(quán)，共享和利用共享數(shù)據(jù)中心的部分或全部資源。共享數(shù)據(jù)中心實(shí)時做出數(shù)據(jù)使用情況報告。

數(shù)據(jù)挖掘分析

通過對共享數(shù)據(jù)和歷史數(shù)據(jù)的OLAP分析，形成各種報表或根據(jù)需要展現(xiàn)分析結(jié)果，為領(lǐng)導(dǎo)決策提供參考。

體系架構(gòu)

共享數(shù)據(jù)中心架構(gòu)如圖1所示。

元數(shù)據(jù)管理

負(fù)責(zé)所有與數(shù)據(jù)結(jié)構(gòu)及數(shù)據(jù)邏輯相關(guān)的定義。

數(shù)據(jù)集成工具

主要負(fù)責(zé)數(shù)據(jù)的轉(zhuǎn)換。即把源數(shù)據(jù)轉(zhuǎn)化成標(biāo)準(zhǔn)的、權(quán)威的數(shù)據(jù)，把更新后的數(shù)據(jù)分發(fā)到源數(shù)據(jù)，以及定期的數(shù)據(jù)更新。

共享數(shù)據(jù)庫

按業(yè)務(wù)領(lǐng)域的數(shù)據(jù)規(guī)劃，抽取出共享數(shù)據(jù)庫中的數(shù)據(jù)，存儲標(biāo)準(zhǔn)化數(shù)據(jù)和元數(shù)據(jù)、待處理數(shù)據(jù)表、分發(fā)數(shù)據(jù)表、操作日志等。

領(lǐng)域主題庫

按照查詢、分析等方面的需求，形成某個領(lǐng)域、某個維度的專門數(shù)據(jù)集。

歷史數(shù)據(jù)庫

主要存儲數(shù)據(jù)主題庫的所有變化歷程，并可以恢復(fù)某個歷史時間點(diǎn)上的數(shù)據(jù)。

統(tǒng)一的數(shù)據(jù)訪問服務(wù)

對外提供統(tǒng)一、標(biāo)準(zhǔn)的訪問中心數(shù)據(jù)庫表和視圖的訪問接口服務(wù)。

系統(tǒng)運(yùn)維管理

監(jiān)控數(shù)據(jù)轉(zhuǎn)換的過程，記錄數(shù)據(jù)轉(zhuǎn)換的結(jié)果。當(dāng)發(fā)生數(shù)據(jù)邏輯錯誤或違反規(guī)則的情況，系統(tǒng)立即向相關(guān)數(shù)據(jù)庫管理員發(fā)出間斷性警報。包括數(shù)據(jù)操作日志（被拒絕的數(shù)據(jù)、數(shù)據(jù)處理記錄、錯誤記錄）、數(shù)據(jù)管理、監(jiān)控系統(tǒng)運(yùn)行狀態(tài)等。安全控制

圖1 南京財經(jīng)大學(xué)共享數(shù)據(jù)中心架構(gòu)

采用多級安全控制體系，分別在應(yīng)用層、服務(wù)層，以及數(shù)據(jù)庫控制層進(jìn)行權(quán)限設(shè)置，以保障整個系統(tǒng)的訪問安全。

系統(tǒng)功能

基礎(chǔ)功能

1. 數(shù)據(jù)同步

通過數(shù)據(jù)復(fù)制和發(fā)送功能，建立各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫到共享數(shù)據(jù)庫系統(tǒng)之間的數(shù)據(jù)雙向同步更新機(jī)制。各業(yè)務(wù)系統(tǒng)可及時將更新的業(yè)務(wù)信息同步到共享數(shù)據(jù)庫系統(tǒng)，共享數(shù)據(jù)庫系統(tǒng)也可將更新的業(yè)務(wù)信息及時同步給其他業(yè)務(wù)系統(tǒng)。

2. 支持?jǐn)?shù)據(jù)訪問下載

共享數(shù)據(jù)中心可為學(xué)校各部門業(yè)務(wù)系統(tǒng)提供訪問和下載信息資源的支撐服務(wù)。學(xué)校終端用戶通過用戶身份認(rèn)證和目錄系統(tǒng)授權(quán)驗(yàn)證，將數(shù)據(jù)查詢條件及查詢要求提交到共享數(shù)據(jù)中心，共享數(shù)據(jù)中心分析查詢條件及查詢要求，對信息資源進(jìn)行查找、定位、獲取、打包返回給服務(wù)調(diào)用方。

3. 數(shù)據(jù)檢查比對

共享數(shù)據(jù)中心提供了信息化校園各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)檢查比對支撐服務(wù)。學(xué)校用戶通過用戶身份認(rèn)證和目錄系統(tǒng)授權(quán)驗(yàn)證，將需要比對的數(shù)據(jù)提交到共享數(shù)據(jù)庫系統(tǒng)，共享數(shù)據(jù)庫系統(tǒng)再將用戶提交的數(shù)據(jù)和共享數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行一致比對，檢查比對的結(jié)果將予以標(biāo)記并返回用戶。

4. 數(shù)據(jù)規(guī)則約束檢查

共享數(shù)據(jù)中心的數(shù)據(jù)保持一致性、完整性、正確性，提供數(shù)據(jù)規(guī)則約束檢查手段，對入庫數(shù)據(jù)按照業(yè)務(wù)邏輯規(guī)則進(jìn)行完整性、一致性、正確性的數(shù)據(jù)清洗整理，保證共享數(shù)據(jù)庫數(shù)據(jù)準(zhǔn)確、可靠、及時性。

5. 目錄服務(wù)

按照信息資源管理體系框架，建立信息資源目錄標(biāo)準(zhǔn)服務(wù)及元數(shù)據(jù)描述服務(wù)。元數(shù)據(jù)管理

元數(shù)據(jù)管理完成對共享數(shù)據(jù)中心的數(shù)據(jù)庫結(jié)構(gòu)的管理維護(hù)工作。即對共享數(shù)據(jù)中心標(biāo)準(zhǔn)表的元數(shù)據(jù)進(jìn)行登記，以方便日后的數(shù)據(jù)管理，主要如下：

1. 表注冊。對表名進(jìn)行中文注釋，詳細(xì)描述該表。表的數(shù)量非常多，涉及學(xué)校方方面面，表的注冊就是為共享數(shù)據(jù)中心建立檔案，供訪問者查閱。

2. 字段注冊。字段注冊為共享數(shù)據(jù)中心的數(shù)據(jù)結(jié)構(gòu)建立檔案，供訪問者查閱。

3. 更新數(shù)據(jù)庫結(jié)構(gòu)。為適應(yīng)學(xué)校信息化的發(fā)展和變化，對數(shù)據(jù)標(biāo)準(zhǔn)的錯誤或者誤差，有時需要更新數(shù)據(jù)庫結(jié)構(gòu)。由于更新牽涉面大，不到萬不得已不能更改。更改的原則是對于未使用的表更新、新增、刪除字段信息，對已使用的表只能做新增操作。

4. 建立元數(shù)據(jù)管理系統(tǒng)。完成表的注冊、字段注冊和數(shù)據(jù)結(jié)構(gòu)的更新等操作。主題庫管理

為了實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)規(guī)劃，對需求進(jìn)行系統(tǒng)化的分析是必不可少的。同時，還要優(yōu)先制定一套切實(shí)可行的數(shù)據(jù)模型構(gòu)建標(biāo)準(zhǔn)，才能從眾多的系統(tǒng)中將功能交叉的部分歸納出來，最終形成共享數(shù)據(jù)模型。

在基于多個舊有系統(tǒng)進(jìn)行共享數(shù)據(jù)中心構(gòu)建的情形下，共享數(shù)據(jù)中心與這些舊有系統(tǒng)的數(shù)據(jù)庫還會有信息的交互。因此，對舊有系統(tǒng)的改造過程包括用共享數(shù)據(jù)模型替換舊有系統(tǒng)模型，構(gòu)建新的業(yè)務(wù)關(guān)系及業(yè)務(wù)規(guī)則，對舊有系統(tǒng)進(jìn)行重構(gòu)等。經(jīng)過這樣的模型重組，使得多個系統(tǒng)在集成以后更趨于全方位的解決方案，從而為下一步實(shí)現(xiàn)信息一體化奠定基礎(chǔ)。

在完成標(biāo)準(zhǔn)庫的建立之后，根據(jù)學(xué)校需求，建立相應(yīng)的分項(xiàng)主題庫：

1. 財務(wù)庫。包含科研經(jīng)費(fèi)、教職工工資、學(xué)生繳費(fèi)貸款信息。

2. 成績庫。包含學(xué)生各門課成績、輔修課程成績、第二專業(yè)課程成績。

3. 課表庫。包含各專業(yè)教學(xué)計劃、本學(xué)期開課計劃、本學(xué)期排課列表。

4. 學(xué)生庫。包含本科生、研究生、繼續(xù)教育學(xué)生、基本信息表。

5. 教職工庫。包含在職教職工基本信息、離退休職工基本信息。

6. 學(xué)籍變動庫。包含學(xué)生所有學(xué)籍變動、獎懲信息。

7. 科研成果庫。包含論文、專著、專利、獲獎、鑒定成果等信息。

8. 科研項(xiàng)目庫。包含申請、在研、完成項(xiàng)目的信息。

9. 教學(xué)資源庫。包含教室、多媒體教室、課件、精品課程講義等信息。

10. 設(shè)備庫。包含大型儀器設(shè)備基本信息及使用情況。

對主題對象的管理有：1.主題對象生成。根據(jù)應(yīng)用的訪問權(quán)限，對可訪問的表的操作封裝，以后對數(shù)據(jù)庫的訪問都通過對象實(shí)現(xiàn)。2.對象權(quán)限管理。劃分用戶的訪問權(quán)限。3.主題對象查看。根據(jù)用戶的訪問權(quán)限，查詢接口共享目錄，調(diào)用相應(yīng)的接口，將圖形化展示對象展示出來。

數(shù)據(jù)抽取與同步

共享數(shù)據(jù)中心的數(shù)據(jù)抽取與同步功能具體應(yīng)包括：1.從各個業(yè)務(wù)數(shù)據(jù)庫中實(shí)時和定期地抽取數(shù)據(jù)到共享數(shù)據(jù)庫中；2.各個業(yè)務(wù)數(shù)據(jù)庫與共享數(shù)據(jù)庫數(shù)據(jù)的實(shí)時和定期同步；3.支持從各種異構(gòu)的數(shù)據(jù)庫系統(tǒng)和文件系統(tǒng)中抽取數(shù)據(jù)；4.支持?jǐn)?shù)據(jù)轉(zhuǎn)換與清洗，規(guī)范數(shù)據(jù)的格式。主要功能還包括數(shù)據(jù)的抽取與同步、數(shù)據(jù)管理工具等。

應(yīng)用系統(tǒng)的數(shù)據(jù)層訪問需要通過統(tǒng)一的數(shù)據(jù)訪問服務(wù)平臺對共享數(shù)據(jù)庫和業(yè)務(wù)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)訪問操作。我們以元數(shù)據(jù)為基礎(chǔ)提供全局統(tǒng)一的數(shù)據(jù)模式。在主題庫中存儲需要共享的數(shù)據(jù)，作為數(shù)據(jù)清洗的終點(diǎn)和權(quán)威數(shù)據(jù)分發(fā)的起點(diǎn)，將所有的數(shù)據(jù)處理操作包裝成Web服務(wù)，以面向服務(wù)架構(gòu)（SOA）的形式注冊到ESB總線。以工作流技術(shù)構(gòu)造數(shù)據(jù)交換的業(yè)務(wù)邏輯，工作流把對數(shù)據(jù)的操作編排起來，自動完成數(shù)據(jù)交換的工作。