基于大數(shù)據(jù)技術(shù)的全量數(shù)據(jù)中心的建設(shè)

張永智 何可人

（常州大學(xué) 信息化建設(shè)與管理處 江蘇省常州市 213164）

1 引言

信息化技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、VR技術(shù)、人工智能等在社會(huì)中的積極應(yīng)用，正逐步影響和改變著人們的工作和生活。同時(shí)，智能信息技術(shù)應(yīng)用于教育的呼聲也越來(lái)越高。智慧校園是教育信息化的高級(jí)體現(xiàn)，重塑學(xué)生日常學(xué)習(xí)和生活，構(gòu)建共享、智能、便捷、豐富的校園教育環(huán)境，為高校的管理、教學(xué)、學(xué)習(xí)提供全方位支撐。全量數(shù)據(jù)中心則作為各個(gè)信息化業(yè)務(wù)系統(tǒng)的基礎(chǔ)運(yùn)行平臺(tái)，為智慧校園提供服務(wù)，因此可以認(rèn)為全量數(shù)據(jù)中心是智慧校園的核心之一。

2 全量數(shù)據(jù)中心的建設(shè)背景

經(jīng)過(guò)多年的信息化建設(shè)，許多高校已初步完成數(shù)字化校園的相關(guān)應(yīng)用系統(tǒng)建設(shè)，為學(xué)校的校務(wù)管理、師生服務(wù)、對(duì)外交流做出了很大的貢獻(xiàn)。但是隨著校園規(guī)模的擴(kuò)大、師生數(shù)量的增加和業(yè)務(wù)的日益繁雜，數(shù)字化校園時(shí)期的業(yè)務(wù)信息系統(tǒng)基本是按照業(yè)務(wù)條線縱向建設(shè)的，目前存在著各種“痛”點(diǎn)[1-5]。

2.1 業(yè)務(wù)系統(tǒng)過(guò)于分散

各業(yè)務(wù)系統(tǒng)之間關(guān)聯(lián)度不高，除了賬號(hào)等基礎(chǔ)共享數(shù)據(jù)外，很少進(jìn)行數(shù)據(jù)交換，缺乏深度融合和跨業(yè)務(wù)系統(tǒng)的數(shù)據(jù)分析。業(yè)務(wù)系統(tǒng)所采用的數(shù)據(jù)標(biāo)準(zhǔn)或者代碼標(biāo)準(zhǔn)也不盡相同，客觀上造成了“數(shù)據(jù)孤島”。

2.2 “兩張皮”現(xiàn)象

業(yè)務(wù)信息系統(tǒng)的使用與線下數(shù)據(jù)傳遞，導(dǎo)入導(dǎo)出方式并存。導(dǎo)致業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)更新不及時(shí)，多線上報(bào)，造成混亂，數(shù)據(jù)可信度低。

2.3 數(shù)據(jù)質(zhì)量問(wèn)題嚴(yán)重

有些數(shù)據(jù)缺少權(quán)威數(shù)據(jù)源，各業(yè)務(wù)系統(tǒng)都有錄入和存儲(chǔ)，準(zhǔn)確性不高；數(shù)據(jù)記錄丟失或缺少必要的屬性，完整性不高；業(yè)務(wù)系統(tǒng)數(shù)據(jù)之間不能有效交換，冗余數(shù)據(jù)、沖突數(shù)據(jù)、垃圾數(shù)據(jù)都普遍存在；數(shù)據(jù)產(chǎn)生過(guò)程中，上下游、關(guān)聯(lián)關(guān)系缺失或有誤，影響數(shù)據(jù)分析結(jié)果，不能有效支持管理決策。

2.4 數(shù)據(jù)應(yīng)用欠缺

基礎(chǔ)源頭數(shù)據(jù)的不足或缺失，造成數(shù)據(jù)治理效果一般，無(wú)法支撐上層數(shù)據(jù)共享，應(yīng)用，分析，賦能等使用。對(duì)學(xué)校的校情、師生畫(huà)像、科研動(dòng)向、虛擬校園、孿生校園等缺乏全面的數(shù)據(jù)支持。

2.5 傳統(tǒng)數(shù)據(jù)中心能力不足

高校數(shù)據(jù)越來(lái)越呈現(xiàn)多元化的發(fā)展態(tài)勢(shì)，從數(shù)據(jù)存儲(chǔ)的量級(jí)、數(shù)據(jù)提供的方式、數(shù)據(jù)管理的要求以及數(shù)據(jù)的隱私和安全等方面考慮，傳統(tǒng)的數(shù)據(jù)中心架構(gòu)模式已無(wú)法滿足高校當(dāng)下對(duì)于數(shù)據(jù)深層次挖掘利用的需求。

3 全量數(shù)據(jù)中心的設(shè)計(jì)與建設(shè)

高校信息化的建設(shè)過(guò)程，也是融合信息系統(tǒng)、互通應(yīng)用資源、提供多樣化服務(wù)、處理海量化數(shù)據(jù)、支持個(gè)性化應(yīng)用與服務(wù)的過(guò)程?！皵?shù)據(jù)”是建設(shè)智慧校園的底層支撐環(huán)境，只有將校園內(nèi)各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)壁壘打通，智慧校園建設(shè)才算有一定成效。因此，“全量數(shù)據(jù)中心”將成為智慧校園建設(shè)的核心匯聚點(diǎn)，各種來(lái)源、不同類型的數(shù)據(jù)源源不斷地匯聚到數(shù)據(jù)中心，提供對(duì)校園內(nèi)全面、完整的數(shù)據(jù)管理。本文中的全量數(shù)據(jù)中心采用基于大數(shù)據(jù)技術(shù)的Hadoop分布式系統(tǒng)框架進(jìn)行建設(shè)。Hadoop可利用集群實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的高效專業(yè)化處理，是一個(gè)對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)、計(jì)算、分析、挖掘的軟件平臺(tái)，具有低成本、高效率等優(yōu)點(diǎn)，能可靠地存儲(chǔ)和處理PB級(jí)的數(shù)據(jù)[6-7]。全量數(shù)據(jù)中心的建設(shè)不僅構(gòu)建出全校的數(shù)據(jù)底盤，還可以共享數(shù)據(jù)并進(jìn)行安全交換。同時(shí)，利用Hadoop強(qiáng)大的計(jì)算、分析能力可對(duì)具有廣泛應(yīng)用價(jià)值的教育海量數(shù)據(jù)進(jìn)行深入挖掘，發(fā)現(xiàn)數(shù)據(jù)背后的價(jià)值。本文中的全量數(shù)據(jù)中心總體架構(gòu)，主要包括數(shù)據(jù)源、數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用等，如圖 1所示。

3.1 數(shù)據(jù)源

數(shù)據(jù)源主要是指校內(nèi)涉及人、財(cái)、物、教、學(xué)、研，以及生活、娛樂(lè)、交通、能耗、安防等各個(gè)方面不同部門產(chǎn)生的，來(lái)源不同、多種格式的數(shù)據(jù)。理清作為基礎(chǔ)數(shù)據(jù)來(lái)源的各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的數(shù)據(jù)類型、數(shù)據(jù)庫(kù)類別、數(shù)據(jù)同步方式等。當(dāng)前高校所產(chǎn)生的數(shù)據(jù)類型主要分為結(jié)構(gòu)化和非結(jié)構(gòu)化兩種；其中結(jié)構(gòu)化數(shù)據(jù)來(lái)源眾多，由人事、教務(wù)、財(cái)務(wù)、科研等不同業(yè)務(wù)系統(tǒng)產(chǎn)生，它們大多使用關(guān)系型數(shù)據(jù)庫(kù)（如Oracle、SQL Server、MySQL、Sybase等）；非結(jié)構(gòu)化數(shù)據(jù)主要是指以文本、文檔、日志、視頻、音頻等文件形式存儲(chǔ)的數(shù)據(jù)；其應(yīng)用越來(lái)越豐富，存儲(chǔ)量也與日俱增，它的主要來(lái)源是各日志系統(tǒng)、安防監(jiān)控系統(tǒng)和不同文件系統(tǒng)。隨著物聯(lián)網(wǎng)技術(shù)廣泛應(yīng)用，校園物聯(lián)網(wǎng)應(yīng)用產(chǎn)生的數(shù)據(jù)也是全量數(shù)據(jù)中心數(shù)據(jù)的重要補(bǔ)充。另外，還有一些特殊的數(shù)據(jù)來(lái)源，比如在線和離線錄入采集工具采集到的數(shù)據(jù)，在線調(diào)查表匯總來(lái)的數(shù)據(jù)，還有很多其它臨時(shí)應(yīng)用產(chǎn)生的數(shù)據(jù)。

3.2 數(shù)據(jù)集成

數(shù)據(jù)集成是把不同來(lái)源、格式、特點(diǎn)、性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，從而為用戶提供全面的數(shù)據(jù)共享，保證數(shù)據(jù)的一致，減少冗余，提高利用率[8]。數(shù)據(jù)采集可使用ETL工具抽取各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，同時(shí)也可使用Flume、Kafka等進(jìn)行采集，匯總?cè)肴繑?shù)據(jù)中心，構(gòu)建出整個(gè)學(xué)校唯一的全量數(shù)據(jù)集合。鑒于數(shù)據(jù)源的多樣、數(shù)據(jù)類型和結(jié)構(gòu)不一致，還需對(duì)部分來(lái)源數(shù)據(jù)進(jìn)行適配才能實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一集成。數(shù)據(jù)集成的控制管理可以利用易用的任務(wù)編排方式，對(duì)任務(wù)執(zhí)行過(guò)程和結(jié)果監(jiān)控，同時(shí)還需具備任務(wù)的調(diào)度能力。根據(jù)用戶需要啟動(dòng)多線程乃至于多進(jìn)程并行傳輸海量數(shù)據(jù)，分布式部署，可水平擴(kuò)展吞吐能力。實(shí)現(xiàn)包括 Oracle、SQL Server、MySQL、PostgreSQL、HDFS、Hive、ADS、HBase等各種異構(gòu)數(shù)據(jù)庫(kù)之間以批量、實(shí)時(shí)、同步、異步方式完成系統(tǒng)間數(shù)據(jù)的移動(dòng)和轉(zhuǎn)換[3]。

3.3 數(shù)據(jù)治理

數(shù)據(jù)治理首先從數(shù)據(jù)標(biāo)準(zhǔn)化開(kāi)始，對(duì)照基于國(guó)標(biāo)或者通用的規(guī)范的key-value字典庫(kù)構(gòu)建的標(biāo)準(zhǔn)代碼庫(kù)，再結(jié)合學(xué)校標(biāo)準(zhǔn)，對(duì)數(shù)據(jù)進(jìn)行域、主題、模型、表名、字段等統(tǒng)一規(guī)范。按照規(guī)則映射標(biāo)準(zhǔn)代碼庫(kù)，進(jìn)行數(shù)據(jù)轉(zhuǎn)換、校驗(yàn)、拼接、賦值等處理，統(tǒng)一歸集。使用數(shù)據(jù)轉(zhuǎn)換規(guī)則時(shí)查找數(shù)據(jù)字典，將所有不同的表示方式統(tǒng)一成一種表示方式數(shù)據(jù)規(guī)范處理規(guī)則[2]。數(shù)據(jù)標(biāo)準(zhǔn)不再是一個(gè)靜態(tài)的文檔或者參考模型，而是整體智慧校園建設(shè)必須遵循的統(tǒng)一信息標(biāo)準(zhǔn)。由于業(yè)務(wù)數(shù)據(jù)的來(lái)源廣，必定會(huì)帶來(lái)“臟數(shù)據(jù)”，這些“臟數(shù)據(jù)”主要是錯(cuò)誤數(shù)據(jù)、不完整的數(shù)據(jù)、相似重復(fù)的數(shù)據(jù)。針對(duì)不同類型的“臟數(shù)據(jù)”，執(zhí)行數(shù)據(jù)修改變換、過(guò)濾或補(bǔ)缺、排序合并等清洗動(dòng)作。

數(shù)據(jù)質(zhì)量就是要保證數(shù)據(jù)完整性、一致性、準(zhǔn)確性、及時(shí)性?？梢罁?jù)數(shù)據(jù)質(zhì)量監(jiān)控預(yù)設(shè)的規(guī)則對(duì)集成后的歸集數(shù)據(jù)進(jìn)行檢測(cè)。預(yù)設(shè)的規(guī)則內(nèi)容可以是判空檢查、代碼檢查、唯一性檢查、文本檢查等，也可以設(shè)置數(shù)據(jù)檢測(cè)范圍、檢測(cè)時(shí)間等檢測(cè)規(guī)則，既可采用默認(rèn)的規(guī)則模板，也可自主編寫(xiě)規(guī)則表達(dá)式，如自定義的SQL跨表關(guān)聯(lián)規(guī)則等。質(zhì)量監(jiān)控是全過(guò)程的，發(fā)現(xiàn)“異常數(shù)據(jù)”進(jìn)行鎖定、攔截，避免錯(cuò)誤數(shù)據(jù)流入下游應(yīng)用。檢測(cè)周期中，記錄、匯總、統(tǒng)計(jì)，最終會(huì)形成數(shù)據(jù)質(zhì)量檢驗(yàn)報(bào)告。依據(jù)對(duì)檢驗(yàn)報(bào)告進(jìn)行分析，對(duì)各分類和匯總數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估，暴露數(shù)據(jù)存在的問(wèn)題，包括數(shù)據(jù)集成問(wèn)題、實(shí)施規(guī)范問(wèn)題、源頭業(yè)務(wù)系統(tǒng)本身數(shù)據(jù)質(zhì)量問(wèn)題等，從而推動(dòng)所有系統(tǒng)數(shù)據(jù)的質(zhì)量提升。

Hadoop分布式基礎(chǔ)軟件框架主要由HDFS和MapReduce系統(tǒng)組成。分布式文件系統(tǒng)（HDFS）用于海量數(shù)據(jù)存儲(chǔ)，高效管理數(shù)據(jù)存儲(chǔ)集群中所有節(jié)點(diǎn)上的文件。其中，NameNode是元數(shù)據(jù)節(jié)點(diǎn)，DataNode是數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)?；贖adoop，同時(shí)也可采用Hive、HBase數(shù)據(jù)庫(kù)。Hive可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，還提供了SQL查詢功能。HBase是一種基于Hadoop的存儲(chǔ)key/value的NoSQL數(shù)據(jù)庫(kù)，支持實(shí)時(shí)查詢。分布式計(jì)算框架（MapReduce）用于并行處理計(jì)算海量的數(shù)據(jù)。MapReduce架構(gòu)體系主要由 Client、JobTracker、TaskTracker以及Task四部分組成。海量且多來(lái)源的數(shù)據(jù)融合一般是維度建模，主要實(shí)現(xiàn)跨越數(shù)據(jù)的整合，整合的形式可以是匯總、關(guān)聯(lián)，也包括解析，形成動(dòng)態(tài)的數(shù)據(jù)大盤，為數(shù)據(jù)開(kāi)發(fā)和深度分析做準(zhǔn)備。

數(shù)據(jù)開(kāi)發(fā)貫穿于數(shù)據(jù)治理全過(guò)程，采用工作流模式，一站式開(kāi)發(fā)管理，聚焦數(shù)據(jù)價(jià)值挖掘和探索。兼容多種數(shù)據(jù)計(jì)算引擎，支持關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)。高校的數(shù)據(jù)挖掘是從多年辦學(xué)的海量數(shù)據(jù)里“挖掘”有價(jià)值的規(guī)則和模型的過(guò)程。通過(guò)分類、聚類、模式挖掘、相關(guān)性挖掘、規(guī)則提取、預(yù)測(cè)等方式供人為判斷以及建立科學(xué)的評(píng)估模型等方法，借助復(fù)雜算法挖掘數(shù)據(jù)背后的潛在價(jià)值，精準(zhǔn)診斷當(dāng)前學(xué)校發(fā)展、學(xué)生學(xué)習(xí)、教師提升等方面存在的問(wèn)題，極大提高評(píng)價(jià)結(jié)果的可信度[9]。當(dāng)大數(shù)據(jù)技術(shù)應(yīng)用于全量數(shù)據(jù)中心時(shí)，可利用機(jī)器學(xué)習(xí)算法智能分析數(shù)據(jù)，找規(guī)律，構(gòu)造出目標(biāo)過(guò)程模型。通過(guò)對(duì)全量數(shù)據(jù)中心中的海量數(shù)據(jù)進(jìn)行合并關(guān)聯(lián)、特征提取、多維分析等，構(gòu)建數(shù)據(jù)模型，最終形成對(duì)目標(biāo)的全面綜合描述。數(shù)據(jù)來(lái)源越多，數(shù)據(jù)量越大，特征維度覆蓋就越全，數(shù)據(jù)模型就越準(zhǔn)確，就越能提供全面且定位準(zhǔn)確的服務(wù)能力。

數(shù)據(jù)管理采用構(gòu)建元數(shù)據(jù)方式進(jìn)行集中管理。元數(shù)據(jù)主要描述數(shù)據(jù)的范圍、類別、定義、數(shù)據(jù)關(guān)系等，形成統(tǒng)一規(guī)范的數(shù)據(jù)資產(chǎn)目錄內(nèi)容，通過(guò)對(duì)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的有效組織和管理，理清學(xué)校整體數(shù)據(jù)信息資源脈絡(luò)，全面掌握數(shù)據(jù)信息狀況。為了數(shù)據(jù)檢索方便，采用分類目錄導(dǎo)航和自由檢索的方式，結(jié)果智能排序，提高數(shù)據(jù)提供方的溝通效率。另外，對(duì)數(shù)據(jù)資產(chǎn)的全文搜索，即根據(jù)表征數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)相關(guān)的屬性查找，包括表、字段、工作流、任務(wù)等相關(guān)的元數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的快速查找。通過(guò)數(shù)據(jù)來(lái)源、數(shù)據(jù)加工過(guò)程及任務(wù)控制等因素，建立數(shù)據(jù)間的上下游血緣依賴關(guān)系。查看數(shù)據(jù)間的血緣關(guān)系，可追溯數(shù)據(jù)的加工鏈路源以及下游應(yīng)用的情況。對(duì)數(shù)據(jù)的血緣分析以及數(shù)據(jù)健康、數(shù)據(jù)分布、集中度、數(shù)據(jù)熱度等的分析，形成數(shù)據(jù)資產(chǎn)地圖。

數(shù)據(jù)安全就是數(shù)據(jù)治理過(guò)程中，采取一定的技術(shù)手段和控制策略保證數(shù)據(jù)本身安全。建設(shè)全量數(shù)據(jù)中心的核心價(jià)值是實(shí)現(xiàn)數(shù)據(jù)價(jià)值，所以數(shù)據(jù)的安全是保證全量數(shù)據(jù)中心正常運(yùn)行的基礎(chǔ)。數(shù)據(jù)安全包括數(shù)據(jù)存儲(chǔ)的安全、數(shù)據(jù)傳輸過(guò)程中的安全，數(shù)據(jù)的一致性、數(shù)據(jù)訪問(wèn)安全等[2]。核心敏感數(shù)據(jù)進(jìn)行加密算法保護(hù)，數(shù)據(jù)脫敏控制，數(shù)據(jù)安全等級(jí)管理等方式，防止數(shù)據(jù)在存儲(chǔ)、傳輸、訪問(wèn)的過(guò)程中損壞或泄露。利用第三方工具、動(dòng)態(tài)跟蹤分析等方法，對(duì)全量數(shù)據(jù)中心系統(tǒng)和程序進(jìn)行安全漏洞檢測(cè)，及時(shí)發(fā)現(xiàn)問(wèn)題。利用大數(shù)據(jù)分析技術(shù)，對(duì)各類信息資產(chǎn)進(jìn)行安全威脅檢測(cè)，在攻擊發(fā)生前進(jìn)行識(shí)別預(yù)測(cè)并實(shí)施預(yù)防措施[2]。

3.4 數(shù)據(jù)服務(wù)

經(jīng)過(guò)數(shù)據(jù)治理后的數(shù)據(jù)以服務(wù)化形式對(duì)外開(kāi)放共享，這樣上層業(yè)務(wù)在使用全量數(shù)據(jù)中心時(shí)，并不直接看到原始數(shù)據(jù)，而是面對(duì)數(shù)據(jù)的能力服務(wù)；在達(dá)到數(shù)據(jù)共享的同時(shí)，也共享數(shù)據(jù)的分析、計(jì)算、服務(wù)等能力[10]。數(shù)據(jù)API服務(wù)能力是指將關(guān)系型數(shù)據(jù)庫(kù)的表通過(guò)可視化配置快速生成標(biāo)準(zhǔn)的數(shù)據(jù)接口。API統(tǒng)一管理，實(shí)時(shí)監(jiān)測(cè)接口調(diào)用統(tǒng)計(jì)，上報(bào)異常接口調(diào)用日志。數(shù)據(jù)可視化服務(wù)是對(duì)已經(jīng)處理并治理完成的數(shù)據(jù)進(jìn)行多維，多渠道顯示終端的可視化展示，可采用兼容性高的可視化圖表庫(kù)ECharts等。海量數(shù)據(jù)分析可以提供更全面的數(shù)據(jù)能力服務(wù)，數(shù)據(jù)分析結(jié)果也可通過(guò)可視化配置，選擇更直觀的數(shù)據(jù)報(bào)表和圖形的方式向外展示。數(shù)據(jù)報(bào)表可以是標(biāo)準(zhǔn)報(bào)表、自定義報(bào)表。數(shù)據(jù)服務(wù)中還需要跟蹤調(diào)用者的調(diào)用記錄，包括總調(diào)用次數(shù)、錯(cuò)誤率統(tǒng)計(jì)；審核數(shù)據(jù)開(kāi)放權(quán)限，授權(quán)調(diào)用者獲取數(shù)據(jù)范圍、內(nèi)容等。數(shù)據(jù)推送是數(shù)據(jù)向上層應(yīng)用系統(tǒng)進(jìn)行主動(dòng)傳遞的服務(wù)，可實(shí)時(shí)，動(dòng)態(tài)提供數(shù)據(jù)能力服務(wù)。

3.5 數(shù)據(jù)應(yīng)用

全量數(shù)據(jù)中心集中存儲(chǔ)著全校統(tǒng)一標(biāo)準(zhǔn)的、權(quán)威的數(shù)據(jù)，是校內(nèi)業(yè)務(wù)應(yīng)用的基礎(chǔ)支撐平臺(tái)。全量數(shù)據(jù)中心提供共享數(shù)據(jù)給上層業(yè)務(wù)系統(tǒng)，構(gòu)建跨部門、跨系統(tǒng)的數(shù)據(jù)互通體系。實(shí)現(xiàn)網(wǎng)上辦公，“一網(wǎng)通辦”虛擬服務(wù)；同時(shí)，提供只有全量數(shù)據(jù)中心可以提供的多維度、全方位的數(shù)據(jù)分析結(jié)果。依托校園大數(shù)據(jù)環(huán)境對(duì)數(shù)據(jù)進(jìn)行的提取、分析，構(gòu)建基礎(chǔ)的校情系統(tǒng)，更全面的師生畫(huà)像系統(tǒng)，為智慧校園管理與服務(wù)賦能；通過(guò)人臉識(shí)別、實(shí)施追蹤、智能預(yù)警等，提升高校的校園安全環(huán)境，形成校內(nèi)智能管控；通過(guò)智慧教學(xué)，VR/AR課堂，遠(yuǎn)程教學(xué)，既提供豐富的教學(xué)手段和沉浸式學(xué)習(xí)環(huán)境，又有利于學(xué)生學(xué)習(xí)興趣和學(xué)習(xí)效率的提升；通過(guò)面向社會(huì)層面的線上云課堂、社會(huì)教學(xué)等，發(fā)揮智慧化高校教育的社會(huì)職能；通過(guò)線上數(shù)字孿生校園整體構(gòu)建，提升高校的辦學(xué)影響力。

4 全量數(shù)據(jù)中心的數(shù)據(jù)流轉(zhuǎn)

全量數(shù)據(jù)中心的數(shù)據(jù)經(jīng)過(guò)多個(gè)處理節(jié)點(diǎn)，以“流水線”的方式生成最終有價(jià)值的數(shù)據(jù)。全量數(shù)據(jù)中心的數(shù)據(jù)處理是長(zhǎng)鏈路、多時(shí)段的，可能每天或者每小時(shí)都會(huì)有數(shù)據(jù)輸入。每次數(shù)據(jù)處理都需要經(jīng)歷一套標(biāo)準(zhǔn)的數(shù)據(jù)加工流程。各業(yè)務(wù)系統(tǒng)中的標(biāo)準(zhǔn)數(shù)據(jù)和非標(biāo)準(zhǔn)數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)集成后歸集到數(shù)據(jù)倉(cāng)庫(kù)，再通過(guò)數(shù)據(jù)治理、大數(shù)據(jù)計(jì)算、數(shù)據(jù)開(kāi)發(fā)等處理，形成統(tǒng)一標(biāo)準(zhǔn)的高質(zhì)量數(shù)據(jù)，為數(shù)據(jù)服務(wù)和業(yè)務(wù)應(yīng)用提供支撐。同時(shí)，將應(yīng)用產(chǎn)生的數(shù)據(jù)再次沉淀到數(shù)據(jù)中心，被再一次循環(huán)利用。全量數(shù)據(jù)中心的數(shù)據(jù)流向閉環(huán)如圖 2所示。

數(shù)據(jù)流向具體步驟：

（1）通過(guò)數(shù)據(jù)供需梳理各業(yè)務(wù)部門需要?dú)w集的數(shù)據(jù)；

（2）通過(guò)數(shù)據(jù)交換中控，利用ETL工具（或其他數(shù)據(jù)集成工具），實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一映射到數(shù)據(jù)中心前置庫(kù)，再向數(shù)據(jù)倉(cāng)庫(kù)歸集，為后續(xù)的數(shù)據(jù)治理做準(zhǔn)備；

（3）通過(guò)與標(biāo)準(zhǔn)資源庫(kù)進(jìn)行數(shù)據(jù)對(duì)比，參照國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)，完成數(shù)據(jù)的清洗、轉(zhuǎn)化、交換等步驟后形成標(biāo)準(zhǔn)化數(shù)據(jù)，歸集到主題資源庫(kù)；

（4）數(shù)據(jù)治理過(guò)程中，通過(guò)定義統(tǒng)一的元數(shù)據(jù)模型，屏蔽底層不同數(shù)據(jù)源的差異，形成管理數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)資源的元數(shù)據(jù)資源庫(kù)；

（5）依托數(shù)據(jù)治理平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、計(jì)算、開(kāi)發(fā)等步驟后形成標(biāo)準(zhǔn)、干凈的基礎(chǔ)應(yīng)用資源庫(kù)和分析結(jié)果資源庫(kù)；

（6）再根據(jù)上層應(yīng)用的具體業(yè)務(wù)需求、個(gè)性化業(yè)務(wù)定制，重構(gòu)出不同的業(yè)務(wù)數(shù)據(jù)模型，提供服務(wù)，共享數(shù)據(jù)，豐富應(yīng)用場(chǎng)景。

4 結(jié)束語(yǔ)

高校信息化的發(fā)展水平正逐漸成為評(píng)判高校辦學(xué)水平的重要標(biāo)志，智慧校園建設(shè)工作的重要性也越來(lái)越凸顯。利用大數(shù)據(jù)技術(shù)構(gòu)建智慧校園中的全量數(shù)據(jù)中心不僅是現(xiàn)有各類業(yè)務(wù)應(yīng)用得以順暢運(yùn)行的基礎(chǔ)與核心，同時(shí)，也為智慧校園中的智能化應(yīng)用提供基礎(chǔ)支撐。未來(lái)，智慧校園完全可以借助全量數(shù)據(jù)中心，向更高層次的智能化校園演進(jìn)。