大數(shù)據(jù)背景下高?；A(chǔ)數(shù)據(jù)庫(kù)建設(shè)

王冬梅

摘要

高校數(shù)字校園建設(shè)的快速發(fā)展，提升了高校信息化的整體水平。但是，由于前期缺乏預(yù)見(jiàn)性，隨著高校信息環(huán)境的日益繁雜，業(yè)務(wù)縱向建設(shè)，數(shù)據(jù)分散，基礎(chǔ)數(shù)據(jù)、公共數(shù)據(jù)缺少同步和共享，核心模型不統(tǒng)一，信息孤島等問(wèn)題日益暴露。本文在分析大數(shù)據(jù)建設(shè)的背景、內(nèi)在需求、高校數(shù)據(jù)建設(shè)現(xiàn)狀的基礎(chǔ)上，提出了基礎(chǔ)數(shù)據(jù)庫(kù)建設(shè)的思路與落地策略，包括數(shù)據(jù)的治理、數(shù)據(jù)標(biāo)準(zhǔn)的制定、數(shù)據(jù)共享交換平臺(tái)的建設(shè)等。

【關(guān)鍵詞】大數(shù)據(jù) 信息標(biāo)準(zhǔn) 基礎(chǔ)數(shù)據(jù)庫(kù) 數(shù)據(jù)共享平臺(tái)

1 高校大數(shù)據(jù)建設(shè)的背景及內(nèi)在需求

高等學(xué)校要承擔(dān)人才培養(yǎng)、科學(xué)研究、社會(huì)服務(wù)、文化傳承與創(chuàng)新的使命，就必須加快構(gòu)筑與現(xiàn)代化教育相適應(yīng)的信息化體系。在中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第六屆理事會(huì)工作報(bào)告《認(rèn)準(zhǔn)方向，努力作為，推動(dòng)我國(guó)高校信息化建設(shè)再上新臺(tái)階》中，明確了指出了智慧校園建設(shè)是教育信息化發(fā)展的必然趨勢(shì)，智慧校園建設(shè)中數(shù)據(jù)的利用已經(jīng)成為了高校信息化的熱點(diǎn)區(qū)域和內(nèi)在需求：

1.1 促進(jìn)教學(xué)創(chuàng)新，提高教學(xué)質(zhì)量

在大數(shù)據(jù)支持下，教師收集資料過(guò)程中，系統(tǒng)可以針對(duì)以往其他教師在準(zhǔn)備同一門(mén)課時(shí)收集了哪些資料，這些資料在課程的應(yīng)用情況進(jìn)行有針對(duì)性的推薦，從而提高備課效率，真正實(shí)現(xiàn)優(yōu)質(zhì)教學(xué)資源的共享，從而對(duì)課程教學(xué)進(jìn)行改善，最終達(dá)到提高教學(xué)質(zhì)量的目的。

1.2 降低科研I7檻，實(shí)現(xiàn)協(xié)同科研

當(dāng)前高校信息化在科研管理及支持方面的攝入力度甚微，大部分高校僅僅處于科研通知發(fā)布、成果統(tǒng)計(jì)、數(shù)字圖書(shū)文獻(xiàn)資料查詢等低級(jí)應(yīng)用階段。在大數(shù)據(jù)的支持下，系統(tǒng)能將所有科研數(shù)據(jù)進(jìn)行記錄和保存，分析和挖掘，為研究人員提供申報(bào)建議，推薦研究領(lǐng)域相關(guān)合作者，相關(guān)文獻(xiàn)，提供實(shí)驗(yàn)數(shù)據(jù)等，幫助教師申報(bào)課題、科學(xué)研究及項(xiàng)目結(jié)項(xiàng)工作的開(kāi)展。

1.3 分析學(xué)生數(shù)據(jù)，使個(gè)性化學(xué)習(xí)成為可能

大數(shù)據(jù)背景下的校園管理信息系統(tǒng)收集和保存了大量有關(guān)學(xué)生的數(shù)據(jù)，包括學(xué)生入校注冊(cè)的基本信息，在校所學(xué)專業(yè)、課程及成績(jī)、去圖書(shū)館的次數(shù)及借閱圖書(shū)類(lèi)型、學(xué)生參加的社會(huì)及校園活動(dòng)、社交情況等。大數(shù)據(jù)分析可以依據(jù)學(xué)生的學(xué)習(xí)行為和表現(xiàn)，對(duì)學(xué)生未來(lái)的學(xué)習(xí)表現(xiàn)和存在潛在的問(wèn)題進(jìn)行預(yù)測(cè)，幫助學(xué)生制訂學(xué)習(xí)計(jì)劃，推薦學(xué)習(xí)內(nèi)容，使學(xué)生實(shí)時(shí)知道自己在學(xué)習(xí)中存在的問(wèn)題，對(duì)學(xué)習(xí)行為進(jìn)行優(yōu)化，真正實(shí)現(xiàn)個(gè)性化學(xué)習(xí)。

2 高校目前的信息化建設(shè)瓶頸

幾乎所有的高校在這十多年都經(jīng)歷了一至兩輪的數(shù)字校園建設(shè)，提升了高校信息化的整體水平。但是，隨著校園規(guī)模的擴(kuò)大和業(yè)務(wù)的日益繁雜，我們發(fā)現(xiàn)這些信息系統(tǒng)基本是按照業(yè)務(wù)條線縱向建設(shè)的，各個(gè)系統(tǒng)管理的功能不同，業(yè)務(wù)數(shù)據(jù)分散，基礎(chǔ)數(shù)據(jù)、公共數(shù)據(jù)缺少同步和共享，核心模型不統(tǒng)一導(dǎo)致數(shù)據(jù)不一致，形成信息孤島，對(duì)于數(shù)據(jù)的來(lái)源和用途也缺乏規(guī)劃，難以集中進(jìn)行關(guān)聯(lián)、融合的分析應(yīng)用，不能滿足學(xué)校對(duì)數(shù)據(jù)分析決策的要求。具體表現(xiàn)為以下幾個(gè)方面：

（1）絕大部分高校，底層應(yīng)用的“數(shù)據(jù)孤島”現(xiàn)象很?chē)?yán)重，各系統(tǒng)之間的數(shù)據(jù)尚未進(jìn)行標(biāo)準(zhǔn)化和歸一化，導(dǎo)致數(shù)據(jù)同步和交換存在困難，業(yè)務(wù)難以實(shí)現(xiàn)充分整合。

（2）目前的各個(gè)業(yè)務(wù)系統(tǒng)，以及“三大平臺(tái)”，支撐的主要都是事務(wù)型應(yīng)用，即數(shù)據(jù)的交換和共享均為滿足單一系統(tǒng)功能實(shí)現(xiàn)而進(jìn)行的共享，而不是全部共享。如果要做數(shù)據(jù)綜合統(tǒng)計(jì)、信息挖掘、相關(guān)性分析等，現(xiàn)有的數(shù)據(jù)由于標(biāo)準(zhǔn)不統(tǒng)一，分離在各個(gè)業(yè)務(wù)系統(tǒng)中難以整合，因而難以支持分析方面的需求。

（3）絕大部分應(yīng)用系統(tǒng)，其運(yùn)行模式只會(huì)保留當(dāng)前狀態(tài)數(shù)據(jù)和結(jié)果數(shù)據(jù)，大量的歷史數(shù)據(jù)、過(guò)程數(shù)據(jù)都被丟棄。但這些歷史數(shù)據(jù)和過(guò)程數(shù)據(jù)恰恰是進(jìn)行綜合統(tǒng)計(jì)分析所需要的最重要的素材。

（4）由于數(shù)據(jù)難以跨部門(mén)調(diào)動(dòng)和流轉(zhuǎn)，導(dǎo)致各個(gè)職能部門(mén)進(jìn)行業(yè)務(wù)分析時(shí)，只能利用本部門(mén)內(nèi)部的數(shù)據(jù)進(jìn)行單個(gè)維度分析，難以實(shí)現(xiàn)跨維度、跨部門(mén)、橫向關(guān)聯(lián)的復(fù)雜建模和分析。

（5）各個(gè)職能部門(mén)主管，以及校級(jí)領(lǐng)導(dǎo)希望了解各種綜合信息時(shí)，只能通過(guò)逐級(jí)上報(bào)的報(bào)表了解過(guò)往信息和局部的、細(xì)節(jié)性的信息，且時(shí)效性較差，難以通過(guò)綜合數(shù)據(jù)分析獲得快速的、總體的綜合信息，難以形成有效決策輔助。

3 高?；A(chǔ)數(shù)據(jù)建設(shè)思路

不同高校在看待大數(shù)據(jù)技術(shù)在高校領(lǐng)域應(yīng)用的看法、認(rèn)識(shí)各不相同，其規(guī)劃思路和建設(shè)路線也各不相同，但對(duì)于大部分高校，可能需要根據(jù)現(xiàn)有情況先行治理，分階段逐步推進(jìn)。以下為作者對(duì)數(shù)據(jù)整理建設(shè)思路的幾點(diǎn)思考：

3.1 治理先行，夯實(shí)基礎(chǔ)

由于各信息化系統(tǒng)建設(shè)的時(shí)期不同，產(chǎn)品廠商不一，建設(shè)過(guò)程中以“補(bǔ)漏”為主，沒(méi)有站在整體角度統(tǒng)一規(guī)劃，即沒(méi)有經(jīng)過(guò)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和建設(shè)規(guī)范進(jìn)行建設(shè)，導(dǎo)致信息系統(tǒng)在交互通信、數(shù)據(jù)融合方面面臨著巨大挑戰(zhàn)。受制于校內(nèi)數(shù)據(jù)分散、標(biāo)準(zhǔn)未能統(tǒng)一，對(duì)于大數(shù)據(jù)分析的前要條件認(rèn)識(shí)較清，對(duì)于大數(shù)據(jù)應(yīng)用場(chǎng)景看好的高校，應(yīng)注重?cái)?shù)據(jù)融合打通與基礎(chǔ)平臺(tái)的能力建設(shè)，以期為后期大數(shù)據(jù)分析場(chǎng)景展開(kāi)打下堅(jiān)實(shí)基礎(chǔ)。

3.2 需求導(dǎo)向，局部突破，帶動(dòng)整體

結(jié)合實(shí)際情況與需求，在本校當(dāng)前定位中選取需求較強(qiáng)的領(lǐng)域進(jìn)行小范圍的重點(diǎn)建設(shè)，將某一場(chǎng)景進(jìn)行深度挖掘、建設(shè)，在校內(nèi)造成口碑效應(yīng)的同時(shí)積累大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)，然后結(jié)合場(chǎng)景需求進(jìn)行逐步擴(kuò)展。

3.3 整體規(guī)劃，逐步推進(jìn)

對(duì)大數(shù)據(jù)技術(shù)及背景有深刻認(rèn)識(shí)與技術(shù)儲(chǔ)備的高校，可以根據(jù)學(xué)校戰(zhàn)略制定宏觀規(guī)劃和時(shí)間計(jì)劃，按照計(jì)劃及建設(shè)內(nèi)容穩(wěn)步推進(jìn)。

4 高?；A(chǔ)數(shù)據(jù)建設(shè)落地策略

數(shù)字化校園階段的信息化建設(shè)模式以業(yè)務(wù)部門(mén)需求為主，主要解決線上辦公以及具體業(yè)務(wù)線上管理等問(wèn)題。為保障基于平臺(tái)的數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)準(zhǔn)確性、權(quán)威性，需要首先進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化過(guò)程，來(lái)自各個(gè)來(lái)源、類(lèi)型的數(shù)據(jù)才能有效的進(jìn)行打通融合，才能充分發(fā)揮數(shù)據(jù)的高價(jià)值。

4.1 理清業(yè)務(wù)數(shù)據(jù)、提高數(shù)據(jù)質(zhì)量、統(tǒng)一信息標(biāo)準(zhǔn)

很多學(xué)校依賴于企業(yè)，自身對(duì)校內(nèi)的業(yè)務(wù)數(shù)據(jù)沒(méi)有詳細(xì)的認(rèn)知，也無(wú)法為數(shù)據(jù)價(jià)值的評(píng)估、數(shù)據(jù)的日常管理提供依據(jù);且數(shù)據(jù)范圍層面比較單一，僅將部分人員信息、組織機(jī)構(gòu)信息等主數(shù)據(jù)進(jìn)行集中和共享，導(dǎo)致當(dāng)前數(shù)據(jù)量和數(shù)據(jù)范圍無(wú)法滿足新時(shí)期的大數(shù)據(jù)分析需求，對(duì)于關(guān)鍵過(guò)程性數(shù)據(jù)也沒(méi)有統(tǒng)一的采集和存儲(chǔ)的辦法，嚴(yán)重影響未來(lái)的多維度分析及應(yīng)用建設(shè)，原有中心庫(kù)的數(shù)據(jù)滿足情況不容樂(lè)觀。

信息標(biāo)準(zhǔn)是整個(gè)信息化建設(shè)的基石，在全校范圍內(nèi)為數(shù)據(jù)庫(kù)設(shè)計(jì)提供類(lèi)似數(shù)據(jù)字典的作用，為信息交換、資源共享提供了基礎(chǔ)性條件，也是推動(dòng)“校級(jí)頂層規(guī)劃設(shè)計(jì)”落地的首要工作。因此理清當(dāng)前的業(yè)務(wù)數(shù)據(jù)，統(tǒng)一信息標(biāo)準(zhǔn)是急需解決的問(wèn)題，《中華人民共和國(guó)教育行業(yè)標(biāo)準(zhǔn)》中“高等學(xué)校管理信息”部分詳細(xì)地確立了高等學(xué)校管理信息的基本體系結(jié)構(gòu)、規(guī)定了高等學(xué)校管理數(shù)據(jù)元素，適用于普通高等學(xué)校的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)，對(duì)于高校后期的業(yè)務(wù)建設(shè)和前期的數(shù)據(jù)整理都有很大的參考意義，高?？梢詫?duì)照生成對(duì)應(yīng)的信息標(biāo)準(zhǔn)，由學(xué)校進(jìn)行參考和審核。并在對(duì)業(yè)務(wù)部門(mén)進(jìn)行充分調(diào)研的基礎(chǔ)上，將參考標(biāo)準(zhǔn)引入至執(zhí)行標(biāo)準(zhǔn)中制訂適合學(xué)?？陕涞氐男畔?biāo)準(zhǔn)。

4.2 建設(shè)數(shù)據(jù)共享交換平臺(tái)

數(shù)據(jù)標(biāo)準(zhǔn)制定的下一步，需要對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行整治與處理。目前很多高校己出現(xiàn)以主數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)等產(chǎn)品為主的數(shù)據(jù)共享交換平臺(tái)，很好的解決了信息系統(tǒng)間的數(shù)據(jù)共享問(wèn)題，使得原來(lái)高校分散的、標(biāo)準(zhǔn)不一的各類(lèi)數(shù)據(jù)能夠統(tǒng)一的存儲(chǔ)于同一平臺(tái)，通過(guò)ETL工具、數(shù)據(jù)治理等技術(shù)進(jìn)行很好的打通與融合。

4.2.1 數(shù)據(jù)治理的邏輯架構(gòu)

建設(shè)數(shù)據(jù)共享平臺(tái)，首先要對(duì)現(xiàn)有數(shù)據(jù)實(shí)現(xiàn)清洗、轉(zhuǎn)換、裝載和標(biāo)準(zhǔn)化存儲(chǔ)。由于學(xué)校各業(yè)務(wù)線存在多個(gè)業(yè)務(wù)系統(tǒng)，產(chǎn)生的數(shù)據(jù)需要在平臺(tái)層面進(jìn)行打通和融合，然后進(jìn)行統(tǒng)一的存儲(chǔ)，所以不可避免要進(jìn)行數(shù)據(jù)的清洗和轉(zhuǎn)換。

圖1為數(shù)據(jù)清洗的一般邏輯架構(gòu)，關(guān)系型數(shù)據(jù)庫(kù)作為事務(wù)型數(shù)據(jù)庫(kù)，在高校場(chǎng)景下，除了可以滿足業(yè)務(wù)系統(tǒng)數(shù)據(jù)等關(guān)系型數(shù)據(jù)的在一般場(chǎng)景下的存儲(chǔ)和計(jì)算，數(shù)據(jù)庫(kù)內(nèi)部的強(qiáng)大的事務(wù)控制機(jī)制，可以保障數(shù)據(jù)的高頻度即時(shí)插入和更新同時(shí)，保障數(shù)據(jù)一致性。

4.2.2 數(shù)據(jù)管理與監(jiān)控

數(shù)據(jù)管理模塊應(yīng)該能夠?qū)崿F(xiàn)對(duì)于數(shù)據(jù)實(shí)體本身的分類(lèi)定義和查看功能，讓管理人員從業(yè)務(wù)使用的角度能夠快速定位其想要的數(shù)據(jù)，并進(jìn)行管理。數(shù)據(jù)管理模塊支持自動(dòng)化的從數(shù)據(jù)表中采集生成對(duì)應(yīng)的數(shù)據(jù)，并支持按照分類(lèi)進(jìn)行數(shù)據(jù)的管理。同時(shí)通過(guò)主數(shù)據(jù)版本管理、主數(shù)據(jù)備份等功能，實(shí)現(xiàn)對(duì)于核心跨部門(mén)共享的主數(shù)據(jù)完善管理。提供配置接口，可將底層ETL工具（如ODI、Kettle）的數(shù)據(jù)同步任務(wù)執(zhí)行的相關(guān)信息顯示到平臺(tái)，方便平時(shí)對(duì)于數(shù)據(jù)同步的監(jiān)控管理。

4.2.3 數(shù)據(jù)備份管理

完善的數(shù)據(jù)存檔與備份方案是構(gòu)建全量數(shù)據(jù)中心的要點(diǎn)之一，目前業(yè)界成熟的做法為采用數(shù)據(jù)倉(cāng)庫(kù)模式，以拉鏈表的方式自動(dòng)的對(duì)校級(jí)共享數(shù)據(jù)庫(kù)中的元數(shù)據(jù)和主數(shù)據(jù)進(jìn)行備份，并生成對(duì)應(yīng)的主數(shù)據(jù)版本列表。這樣的解決辦法不僅能夠記錄歷史變動(dòng)信息，又不浪費(fèi)存儲(chǔ)空間。為數(shù)據(jù)的追溯和變動(dòng)數(shù)據(jù)的記錄打下堅(jiān)實(shí)的基礎(chǔ)。

4.3 開(kāi)展大數(shù)據(jù)應(yīng)用

在數(shù)據(jù)共享交換平臺(tái)和管理工具層面進(jìn)行不斷的迭代和優(yōu)化過(guò)程中，可以逐步結(jié)合高校業(yè)務(wù)部門(mén)實(shí)際的教育教學(xué)和管理創(chuàng)新業(yè)務(wù)思路，選取已經(jīng)進(jìn)入平臺(tái)的部分?jǐn)?shù)據(jù)，結(jié)合大數(shù)據(jù)技術(shù)的算法組裝成分析模型，進(jìn)行數(shù)據(jù)分析結(jié)果的輸出和展現(xiàn)，形成并實(shí)現(xiàn)了包括綜合校情、學(xué)生管理、校園公共安全、科研創(chuàng)新、人才引進(jìn)和輿情監(jiān)控等主題類(lèi)應(yīng)用場(chǎng)景，逐步覆蓋服務(wù)于高校各管理層次、各類(lèi)型人群、各業(yè)務(wù)方向的數(shù)據(jù)服務(wù)需求。

5 總結(jié)

當(dāng)前我國(guó)大部分高校正處于數(shù)字化校園向智慧校園過(guò)渡的關(guān)鍵階段，基礎(chǔ)數(shù)據(jù)庫(kù)、大數(shù)據(jù)技術(shù)及其組件的出現(xiàn)，使得原來(lái)高校分散的、標(biāo)準(zhǔn)不一的各類(lèi)數(shù)據(jù)能夠統(tǒng)一的存儲(chǔ)于同一平臺(tái)，然而受制于當(dāng)前的情況，數(shù)據(jù)的治理必須是一個(gè)循序漸進(jìn)、逐步提升的過(guò)程，在這個(gè)過(guò)程中需要根據(jù)學(xué)校的實(shí)際業(yè)務(wù)系統(tǒng)建設(shè)情況和業(yè)務(wù)需求，不斷調(diào)整校內(nèi)信息標(biāo)準(zhǔn)執(zhí)行情況與數(shù)據(jù)對(duì)接的狀況，才能讓學(xué)校數(shù)據(jù)符合學(xué)校業(yè)務(wù)發(fā)展需要、并具備與學(xué)校共同發(fā)展和自我改善的能力。

參考文獻(xiàn)

[1]蔣東興，付小龍，袁芳，吳海燕，劉啟新.大數(shù)據(jù)背景下的高校智慧校園建設(shè)探討[A].中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C].2014.

[2]郭曉明，張巍，劉化總.淺議高校數(shù)字校園中的信息集成[A].中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C].2014.

[3]朱力緯，劉麗勤，王健.高?；诖髷?shù)據(jù)時(shí)代的數(shù)字化校園建設(shè)研究[A].中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C].2014.

[4]胡姍姍.教育管理信息化新發(fā)展：走向智慧管理研究[J].才智，2017（31）.

[5]陳禹壯.大數(shù)據(jù)思維探析[J].電子技術(shù)與軟件工程，2018（03）.