大數(shù)據(jù)背景下院校數(shù)據(jù)治理的探究和實(shí)踐

錢 濤

(浙江農(nóng)業(yè)商貿(mào)職業(yè)學(xué)院，浙江 紹興 312000)

1 研究背景

高職院校在教育信息化的發(fā)展過(guò)程中，基本上都已建成基于三大平臺(tái)的校園綜合信息服務(wù)平臺(tái)，同時(shí)平臺(tái)也集成了教務(wù)、科研、OA、一卡通等多個(gè)業(yè)務(wù)系統(tǒng)，積累了體量較大的業(yè)務(wù)數(shù)據(jù)、師生行為數(shù)據(jù)以及訪問(wèn)日志數(shù)據(jù)等。與此同時(shí)也存在數(shù)據(jù)多頭管理，數(shù)據(jù)多源異構(gòu)以及數(shù)據(jù)全生命周期不完整等一系列問(wèn)題，這些問(wèn)題已嚴(yán)重制約了高職院校的信息化管理及信息化教學(xué)水平的提升，如何對(duì)其進(jìn)行有效的治理進(jìn)而為師生提供有效的數(shù)據(jù)服務(wù)，是下一階段高職院校教育信息化發(fā)展的方向[1]。

2 高校數(shù)據(jù)所存在的問(wèn)題

數(shù)字化校園建設(shè)的初期階段，業(yè)務(wù)系統(tǒng)由相關(guān)部門各自牽頭建設(shè)，缺乏統(tǒng)一管理，使得雖然積累海量數(shù)據(jù)但無(wú)法將它轉(zhuǎn)換為真正的數(shù)據(jù)資產(chǎn)，主要存在著以下問(wèn)題：

(1)數(shù)據(jù)多源異構(gòu)。由于業(yè)務(wù)系統(tǒng)由部門分散管理，缺乏全局規(guī)劃。因早期系統(tǒng)建設(shè)通常以業(yè)務(wù)邏輯為導(dǎo)向，底層數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)不統(tǒng)一，導(dǎo)致系統(tǒng)間數(shù)據(jù)共享交換的深度、維度和效率都不高。

(2)數(shù)據(jù)管理缺失。業(yè)務(wù)系統(tǒng)管理人職責(zé)不明確，部分管理人員習(xí)慣以紙質(zhì)或Excel文檔的方式進(jìn)行數(shù)據(jù)管理，當(dāng)業(yè)務(wù)系統(tǒng)升級(jí)或相關(guān)廠商停止維護(hù)后，歷史數(shù)據(jù)無(wú)法與新建系統(tǒng)整合，導(dǎo)致學(xué)校數(shù)據(jù)資產(chǎn)的大量流失。

(3)缺乏數(shù)據(jù)整合能力。校園大數(shù)據(jù)主要包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)兩類。傳統(tǒng)的數(shù)據(jù)中心無(wú)法應(yīng)對(duì)海量結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)抽取、加工和轉(zhuǎn)換，同時(shí)也缺乏對(duì)文檔、音視頻等非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)整合能力。

3 數(shù)據(jù)治理總體架構(gòu)

數(shù)據(jù)治理進(jìn)程中，將依托大數(shù)據(jù)、虛擬化技術(shù)，構(gòu)建一個(gè)滿足高職院校數(shù)據(jù)發(fā)展現(xiàn)狀的共享數(shù)據(jù)平臺(tái)，對(duì)高校數(shù)據(jù)層面進(jìn)行全生命周期的管理[2]。由于數(shù)據(jù)治理不僅是技術(shù)問(wèn)題，還包含著管理屬性，因此在治理階段還需推進(jìn)數(shù)據(jù)治理管理體系和數(shù)據(jù)安全管理體系等制度的建設(shè)。數(shù)據(jù)治理平臺(tái)總體架構(gòu)(見圖 1)從下而上包括數(shù)據(jù)來(lái)源層、治理層、服務(wù)層3個(gè)層面。數(shù)據(jù)治理遵循學(xué)校數(shù)據(jù)字典和信息編碼標(biāo)準(zhǔn)，建立統(tǒng)一的數(shù)據(jù)交換體系，規(guī)范數(shù)據(jù)從采集、處理、交換到綜合利用的全過(guò)程，實(shí)現(xiàn)全校資源數(shù)據(jù)的有效存儲(chǔ)與管理，完成全校范圍的數(shù)據(jù)的統(tǒng)一、集中和共享，為學(xué)校提供各種數(shù)據(jù)應(yīng)用服務(wù)。

圖1 數(shù)據(jù)治理框架

4 高校大數(shù)據(jù)治理體系構(gòu)建策略

4.1 高職院校信息標(biāo)準(zhǔn)建設(shè)

信息標(biāo)準(zhǔn)在信息化建設(shè)中是至關(guān)重要的。無(wú)論是業(yè)務(wù)系統(tǒng)還是數(shù)據(jù)中心平臺(tái)的上層應(yīng)用，在業(yè)務(wù)活動(dòng)、數(shù)據(jù)上報(bào)、數(shù)據(jù)統(tǒng)計(jì)分析的過(guò)程中都需要統(tǒng)一的信息標(biāo)準(zhǔn)來(lái)支撐。信息標(biāo)準(zhǔn)在全校范圍內(nèi)為數(shù)據(jù)庫(kù)設(shè)計(jì)提供了類似數(shù)據(jù)字典的作用，為信息交換、數(shù)據(jù)共享提供了基礎(chǔ)性條件。

我校已啟動(dòng)智慧校園數(shù)據(jù)治理相關(guān)工作，在信息標(biāo)準(zhǔn)建設(shè)方面進(jìn)行了一定研究和探索，秉持“循序漸進(jìn)，逐步完善”原則，基于國(guó)家標(biāo)準(zhǔn)、教育部標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)進(jìn)行本院校數(shù)據(jù)標(biāo)準(zhǔn)的編制，我校信息標(biāo)準(zhǔn)包括系統(tǒng)子集信息標(biāo)準(zhǔn)、信息交互標(biāo)準(zhǔn)、身份認(rèn)證標(biāo)準(zhǔn)等，其中系統(tǒng)子集信息標(biāo)準(zhǔn)包括數(shù)據(jù)集和代碼集兩方面。在數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)工作中，實(shí)現(xiàn)通過(guò)圖形化界面進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的日常管理，支持對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的歷史版本溯源和新版本的發(fā)布。

4.2 基于Oracle Rac的數(shù)據(jù)中心建設(shè)

學(xué)校內(nèi)部應(yīng)用系統(tǒng)需要共享數(shù)據(jù)的現(xiàn)象非常普遍，建立數(shù)據(jù)中心不僅能避免各應(yīng)用系統(tǒng)相互共享數(shù)據(jù)形成網(wǎng)狀結(jié)構(gòu)，同時(shí)能夠保證對(duì)外提供準(zhǔn)確、一致的數(shù)據(jù)。將分散在各部門業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集中到數(shù)據(jù)中心平臺(tái)統(tǒng)一存放，以師、生角色為主線，提供跨部門的人事、教學(xué)、科研、信息服務(wù)等綜合數(shù)據(jù)，從而為教職工、學(xué)生提供全方位的信息服務(wù)，并實(shí)現(xiàn)“誰(shuí)產(chǎn)生、誰(shuí)維護(hù)、誰(shuí)負(fù)責(zé)”的權(quán)威數(shù)據(jù)源。

以我校數(shù)據(jù)中心建設(shè)為例，由于我校主要業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)主要以O(shè)racle 11G為主，出于系統(tǒng)對(duì)接的可用性、成熟度方面的考量，集群數(shù)據(jù)庫(kù)的解決方案。Oracle RAC[3]是當(dāng)前比較成熟的數(shù)據(jù)庫(kù)集群技術(shù)，具有容錯(cuò)性高、并發(fā)性好和較強(qiáng)的負(fù)載均衡能力。(1)容錯(cuò)性：當(dāng)集群中某個(gè)節(jié)點(diǎn)或進(jìn)程失效時(shí)，RAC的容錯(cuò)機(jī)制能夠?qū)?duì)數(shù)據(jù)庫(kù)的訪問(wèn)遷移到其他節(jié)點(diǎn)運(yùn)行。(2)并發(fā)性：RAC支持多機(jī)并行處理一條或多條SQL指令，在海量數(shù)據(jù)查詢和讀寫的場(chǎng)景下大大縮短數(shù)據(jù)查詢與處理的時(shí)間，且對(duì)于用戶而言是透明的。(3)負(fù)載均衡：處于不同節(jié)點(diǎn)的Oracle實(shí)例同時(shí)訪問(wèn)同一個(gè)Oracle數(shù)據(jù)庫(kù), 節(jié)點(diǎn)之間通過(guò)內(nèi)部網(wǎng)絡(luò)共享所有的控制文件、聯(lián)機(jī)日志和數(shù)據(jù)文件, 實(shí)現(xiàn)負(fù)載均衡。

通過(guò)Oracle RAC雙機(jī)集群的構(gòu)建與負(fù)載均衡方案的部署，保證了數(shù)據(jù)中心的高效運(yùn)行。目前學(xué)校校園數(shù)據(jù)中心已經(jīng)初步建設(shè)完成，并對(duì)教務(wù)系統(tǒng)、認(rèn)證平臺(tái)、一卡通系統(tǒng)、圖書系統(tǒng)等多異構(gòu)業(yè)務(wù)系統(tǒng)進(jìn)行一定程度的整合。

4.3 基于Oracle ODI的數(shù)據(jù)整合

數(shù)據(jù)集成和共享之前，需要對(duì)全校各部門進(jìn)行初步的流程梳理和業(yè)務(wù)調(diào)研，大致確定學(xué)校的數(shù)據(jù)總體情況之后，通過(guò)數(shù)據(jù)集成工具將分散在各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)抽取出來(lái)，進(jìn)入數(shù)據(jù)中心數(shù)據(jù)庫(kù)，形成整個(gè)學(xué)校內(nèi)唯一的、權(quán)威的數(shù)據(jù)集，從而實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一集成和標(biāo)準(zhǔn)化，解決業(yè)務(wù)系統(tǒng)間交互數(shù)據(jù)的問(wèn)題。

數(shù)據(jù)集成方式一般有兩種。方法1：采用面向服務(wù)(SOA)體系架構(gòu)，封裝成WebService 接口，優(yōu)點(diǎn)是減少業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)中心的直接訪問(wèn)，降低數(shù)據(jù)中心整體負(fù)載水平，而且由于SOA架構(gòu)的跨平臺(tái)的特點(diǎn)，該方式有較好的兼容性。方法2：通過(guò)中間庫(kù)方式，將數(shù)據(jù)推送至中間表或相應(yīng)視圖，業(yè)務(wù)系統(tǒng)按需取數(shù)據(jù)，根據(jù)數(shù)據(jù)庫(kù)請(qǐng)求生成并返回每條數(shù)據(jù)資源的語(yǔ)義信息，便于數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)檢索的集成、集中搜索與展示，降低數(shù)據(jù)庫(kù)中讀寫數(shù)據(jù)的獲取難度。

我校數(shù)據(jù)中心采用 ODI(Oracle Data Integrator)工具創(chuàng)建接口，與其他ETL(Extract Transform Load)工具相比，ODI 突出表現(xiàn)為：(1)Oracle ODI支持多種異構(gòu)數(shù)據(jù)庫(kù), 且當(dāng)數(shù)據(jù)源或者目的庫(kù)非Oracle數(shù)據(jù)庫(kù)時(shí)，ODI自動(dòng)生成針對(duì)當(dāng)前數(shù)據(jù)庫(kù)的操縱語(yǔ)句。(2)當(dāng)檢測(cè)到一個(gè)事件發(fā)生時(shí)將觸發(fā)相應(yīng)接口流程，ODI 通過(guò)日志記錄僅需加載這些變化的數(shù)據(jù)即可，實(shí)現(xiàn)對(duì)實(shí)時(shí)數(shù)據(jù)的集成。(3)ODI數(shù)據(jù)抽取的模塊接口, 涵蓋普通應(yīng)用所涉及的場(chǎng)景。通過(guò)Oracle ODI實(shí)現(xiàn)數(shù)據(jù)I/O接口的配置，采用定時(shí)全量采集、實(shí)時(shí)增量采集、手工數(shù)據(jù)補(bǔ)錄等多種同步方式集成不同存儲(chǔ)方式的數(shù)據(jù)源。若業(yè)務(wù)系統(tǒng)需要從數(shù)據(jù)中心進(jìn)行抽取數(shù)據(jù)，管理人員根據(jù)系統(tǒng)所需要字段設(shè)計(jì)相關(guān)數(shù)據(jù)庫(kù)視圖，并同步至相應(yīng)系統(tǒng)的中間庫(kù)中。

5 結(jié)語(yǔ)

經(jīng)過(guò)本次學(xué)校層面的數(shù)據(jù)治理，數(shù)據(jù)中心已實(shí)現(xiàn)與教務(wù)管理、一卡通、圖書管理、OA等系統(tǒng)在數(shù)據(jù)層面的整合，將部門級(jí)數(shù)據(jù)上升為校級(jí)數(shù)據(jù)，初步形成學(xué)校數(shù)據(jù)資產(chǎn)。然而，數(shù)據(jù)治理是一個(gè)長(zhǎng)遠(yuǎn)、漸進(jìn)的過(guò)程，需結(jié)合自身的現(xiàn)狀和需求，明確治理方向，逐步實(shí)現(xiàn)對(duì)數(shù)據(jù)資產(chǎn)整合，為學(xué)校教學(xué)、科研、管理以及持續(xù)發(fā)展提供有效、精確、權(quán)威的數(shù)據(jù)與信息服務(wù)。