基于數(shù)據(jù)中臺(tái)架構(gòu)的主數(shù)據(jù)平臺(tái)設(shè)計(jì)與研究

石冬喜 汪思冰

摘 要： 隨著信息化技術(shù)的快速發(fā)展，高等學(xué)校信息化建設(shè)已經(jīng)基于數(shù)據(jù)采集工具實(shí)現(xiàn)了數(shù)據(jù)交換，基本上可以滿足跨部門(mén)數(shù)據(jù)的共享需求。但在實(shí)際數(shù)據(jù)相關(guān)工作中數(shù)據(jù)采集工具的局限性非常的明顯、數(shù)據(jù)質(zhì)量存在的問(wèn)題較為突出，主要原因是學(xué)校的業(yè)務(wù)發(fā)展比較快導(dǎo)致了數(shù)據(jù)類(lèi)型的多樣化、數(shù)據(jù)規(guī)模非常龐大，而數(shù)據(jù)治理能力卻欠缺。建設(shè)學(xué)校數(shù)據(jù)中心已經(jīng)成為各個(gè)高校關(guān)注的問(wèn)題，本文將對(duì)數(shù)據(jù)中心建設(shè)提出框架和思路，對(duì)具體落地實(shí)施提出的想法，物聯(lián)網(wǎng)技術(shù)在智慧校園中的應(yīng)用將會(huì)得到普及，其中的相關(guān)數(shù)據(jù)將會(huì)無(wú)縫的接入到數(shù)據(jù)中心，為學(xué)校師生提供更好的服務(wù)。

關(guān)鍵詞： 數(shù)據(jù)中心;數(shù)據(jù)治理;數(shù)據(jù)展示

中國(guó)分類(lèi)號(hào)：G31?????????? 文獻(xiàn)標(biāo)識(shí)碼：A

1、引言

現(xiàn)階段各高校數(shù)據(jù)治理遇到一些瓶頸，主要表現(xiàn)在：數(shù)據(jù)交換方式局限性高、數(shù)據(jù)資源目錄尚不清晰、數(shù)據(jù)處理自動(dòng)化程度低、可視化監(jiān)控能力待提升、數(shù)據(jù)治理和開(kāi)發(fā)能力亟需加強(qiáng)、重復(fù)填報(bào)數(shù)據(jù)，降低工作效率等問(wèn)題，數(shù)據(jù)中心建設(shè)就是為了解決以上問(wèn)題并且采用先進(jìn)的技術(shù)來(lái)解決高校多變的需求。

數(shù)據(jù)治理項(xiàng)目建設(shè)主要內(nèi)容包括：數(shù)據(jù)治理服務(wù)、數(shù)據(jù)交換服務(wù)、數(shù)據(jù)總線服務(wù)、數(shù)據(jù)治理規(guī)范標(biāo)準(zhǔn)設(shè)計(jì)、數(shù)據(jù)應(yīng)用建設(shè)、數(shù)據(jù)展示（人員畫(huà)像）應(yīng)用建設(shè)、數(shù)據(jù)安全管理。作者在高校信息化部門(mén)從事十多年的工作，結(jié)合高校實(shí)際情況進(jìn)行了深入理解和總結(jié)，通過(guò)本文使以后的數(shù)據(jù)中心建設(shè)提供一些建設(shè)性的意見(jiàn)，供教育界同行借鑒。

2、整體框架和建設(shè)思路

數(shù)據(jù)中心建設(shè)是一個(gè)系統(tǒng)工程，需要高校投入大量的人力和財(cái)力，是一個(gè)循序漸進(jìn)逐步建設(shè)的過(guò)程，而不是一蹴而就的工程，作者認(rèn)為數(shù)據(jù)中心建設(shè)需要分兩步完成，第一步是數(shù)據(jù)中心平臺(tái)基礎(chǔ)工作建設(shè)，第二步是智慧化數(shù)據(jù)中臺(tái)建設(shè)。第一步建設(shè)是后續(xù)工作建設(shè)的基礎(chǔ)，第二步建設(shè)是第一步建設(shè)的擴(kuò)充。

2.1數(shù)據(jù)中心建設(shè)基礎(chǔ)工作

基礎(chǔ)建設(shè)工作如下圖1智慧校園建設(shè)基礎(chǔ)平臺(tái)所示：

數(shù)據(jù)中心平臺(tái)基礎(chǔ)工作主要包括：數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)平臺(tái)、數(shù)據(jù)庫(kù)建設(shè)、數(shù)據(jù)交換平臺(tái)、數(shù)據(jù)服務(wù)總線、數(shù)據(jù)展示平臺(tái)六部分組成。所有的工作都是圍繞著數(shù)據(jù)標(biāo)準(zhǔn)這一工作進(jìn)行，數(shù)據(jù)標(biāo)準(zhǔn)主要是依據(jù)“JY/T 1006-2012高等學(xué)校管理信息”、“JY/T 1001-2012教育管理基礎(chǔ)代碼”、“JY/T 1002-2012教育管理基礎(chǔ)信息”、“JY/T 1003-2012教育行政管理信息”、“JY/T 1007-2012教育統(tǒng)計(jì)信息”教育部標(biāo)準(zhǔn)，同時(shí)結(jié)合學(xué)校的實(shí)際情況建設(shè)學(xué)校的校標(biāo)，這項(xiàng)工作關(guān)系到學(xué)校信息化建設(shè)的質(zhì)量，具有關(guān)鍵性的作用。

2.2數(shù)據(jù)中心建設(shè)之?dāng)?shù)據(jù)中臺(tái)

數(shù)據(jù)中心平臺(tái)建設(shè)的第二階段是在第一階段完成以后進(jìn)行展開(kāi)，主要是對(duì)基礎(chǔ)階段的擴(kuò)展與擴(kuò)充，最大限度滿足學(xué)校師生的各種需求。如下圖2智慧校園數(shù)據(jù)中心平臺(tái)第二階段建設(shè)架構(gòu)如圖2所示：

第二階段建設(shè)在第一階段的基礎(chǔ)上融合了大數(shù)據(jù)和人工智能技術(shù)，滿足更加復(fù)雜可變的需求變化。這個(gè)階段數(shù)據(jù)應(yīng)用中心建設(shè)價(jià)值主要滿足快、準(zhǔn)、省工作?？欤饕菨M足學(xué)?？焖俣嘧兊臄?shù)據(jù)需求;準(zhǔn)，主要是準(zhǔn)確反映相關(guān)真實(shí)的數(shù)據(jù)情況;省、是實(shí)現(xiàn)最小的成本，滿足各種學(xué)校信息化需求。

3、關(guān)鍵技術(shù)介紹

3.1、數(shù)據(jù)治理服務(wù)

數(shù)據(jù)治理服務(wù)依托于主數(shù)據(jù)平臺(tái)完成，主數(shù)據(jù)平臺(tái)以教育部《教育部2012版教育信息化數(shù)據(jù)標(biāo)準(zhǔn)》為基礎(chǔ)。按照面向?qū)ο笤O(shè)計(jì)理念，主數(shù)據(jù)庫(kù)模式是按照對(duì)象和高校核心活動(dòng)進(jìn)行劃分的，從總體上對(duì)高校上層應(yīng)用及數(shù)據(jù)進(jìn)行梳理，由應(yīng)用來(lái)推導(dǎo)模式的設(shè)計(jì)，由模式反向衍生、擴(kuò)展上層應(yīng)用。

3.2、數(shù)據(jù)交換服務(wù)

構(gòu)建數(shù)據(jù)交換平臺(tái)，保障數(shù)據(jù)層的互聯(lián)互通。通過(guò)商用的數(shù)據(jù)交換平臺(tái)完成學(xué)?；A(chǔ)數(shù)據(jù)庫(kù)、業(yè)務(wù)數(shù)據(jù)庫(kù)、主題數(shù)據(jù)庫(kù)和文件數(shù)據(jù)之間的數(shù)據(jù)交換作業(yè)設(shè)計(jì)、調(diào)度、管理和監(jiān)控的軟件系統(tǒng)，為建立學(xué)校數(shù)據(jù)倉(cāng)庫(kù)的鋪墊基礎(chǔ)。

3.3、數(shù)據(jù)總線服務(wù)

構(gòu)建校園服務(wù)總線平臺(tái)，保障應(yīng)用系統(tǒng)間互聯(lián)互通。通過(guò)專(zhuān)業(yè)的商用服務(wù)總線產(chǎn)品來(lái)保障學(xué)校應(yīng)用系統(tǒng)之間在消息、事件和服務(wù)的級(jí)別上動(dòng)態(tài)的互連互通軟件系統(tǒng)，通過(guò)校園服務(wù)總線消除異構(gòu)系統(tǒng)間技差異，實(shí)現(xiàn)不同服務(wù)之間的通信與整合，推動(dòng)學(xué)校業(yè)務(wù)部門(mén)之間業(yè)務(wù)協(xié)作。

3.4、數(shù)據(jù)治理規(guī)范標(biāo)準(zhǔn)設(shè)計(jì)

學(xué)校信息標(biāo)準(zhǔn)是學(xué)校范圍內(nèi)的數(shù)據(jù)字典，為信息交換、資源共享提供基礎(chǔ)性條件。是學(xué)校信息化建設(shè)的重中之重，對(duì)推進(jìn)學(xué)校信息化建設(shè)，保證各類(lèi)信息的交流與共享，有著重要意義。信息標(biāo)準(zhǔn)需要保證采集、處理、交換、傳輸過(guò)程中有統(tǒng)一、科學(xué)、規(guī)范分類(lèi)和描述，能夠使信息有序流通、最大限度地實(shí)現(xiàn)信息資源共享，使學(xué)校信息系統(tǒng)得到協(xié)同發(fā)展，發(fā)揮信息資源綜合效益。

3.5、數(shù)據(jù)應(yīng)用建設(shè)

數(shù)據(jù)應(yīng)用中心建設(shè)價(jià)值主要包括：快、準(zhǔn)、省;概括來(lái)說(shuō)就是快速、準(zhǔn)確的對(duì)學(xué)校信息化相關(guān)需求進(jìn)行回應(yīng)，同時(shí)在最少可控的成本內(nèi)完成。

3.6、數(shù)據(jù)展示（人員畫(huà)像）應(yīng)用建設(shè)

通過(guò)圖形化手段清晰地傳達(dá)數(shù)據(jù)，促進(jìn)信息的傳遞與溝通，是數(shù)據(jù)可視化的基礎(chǔ)要素，也是設(shè)計(jì)美學(xué)和功能相結(jié)合的具體表現(xiàn)形式?？梢晳?yīng)用平臺(tái)理論的背景下，圍繞“數(shù)據(jù)視圖”和“可視組件”兩個(gè)核心概念設(shè)計(jì)，支持多種可視化功能。支持各種不同的數(shù)據(jù)源對(duì)接。

3.7、數(shù)據(jù)安全管理

建設(shè)可靠的數(shù)據(jù)安全保障體系，實(shí)現(xiàn)應(yīng)用服務(wù)及數(shù)據(jù)調(diào)用的安全認(rèn)證和安全審計(jì)，主動(dòng)的異常數(shù)據(jù)操作行為的監(jiān)控分析、預(yù)警機(jī)制，并提供異常問(wèn)題的倒查追溯能力。

4、具體落地和實(shí)施步驟的思考

智慧校園建設(shè)之?dāng)?shù)據(jù)中心建設(shè)落地實(shí)施過(guò)程是一個(gè)系統(tǒng)工程，首先需要學(xué)校領(lǐng)導(dǎo)層的重視，給予信息化部門(mén)更多的權(quán)力，而不是僅僅資金上的支持，需要的是全校各個(gè)部門(mén)協(xié)作，共同制定學(xué)校的數(shù)據(jù)標(biāo)準(zhǔn)。其次需要高校信息中心領(lǐng)導(dǎo)和技術(shù)工程師的協(xié)作，管理和技術(shù)二個(gè)方面都不能或缺。管理方面主要包括協(xié)調(diào)學(xué)校各個(gè)二級(jí)部門(mén)和對(duì)中標(biāo)公司項(xiàng)目的合作與管理。技術(shù)部分主要包括，標(biāo)書(shū)技術(shù)方案的制定，核心技術(shù)可行性的調(diào)研，以及項(xiàng)目驗(yàn)收過(guò)程中技術(shù)部分的檢查，后期項(xiàng)目的維護(hù)工作等。然后是中標(biāo)公司的協(xié)作，中標(biāo)公司需要按照學(xué)校合同標(biāo)書(shū)嚴(yán)格執(zhí)行相關(guān)工作，在實(shí)施過(guò)程中遇到困難及時(shí)和學(xué)校溝通、商議得到可行性的方案，共同完成合同規(guī)定的各項(xiàng)工作，服務(wù)于學(xué)校師生。

平臺(tái)架構(gòu)的設(shè)計(jì)需要充分考慮其先進(jìn)性并且可以落地實(shí)施，能為學(xué)校發(fā)展提供有力支撐，數(shù)據(jù)中心建設(shè)主要圍繞以下五點(diǎn)建設(shè)：

4.1、規(guī)劃先行，鞏固成果

根據(jù)校情現(xiàn)狀做好平臺(tái)框架的規(guī)劃設(shè)計(jì)，體現(xiàn)頂層設(shè)計(jì)上的大格局。需要建立數(shù)據(jù)生產(chǎn)、數(shù)據(jù)治理、數(shù)據(jù)開(kāi)發(fā)（包含業(yè)務(wù)模型探索）以及數(shù)據(jù)應(yīng)用的閉環(huán)數(shù)據(jù)生態(tài)，符合未來(lái)五年的政策發(fā)展要求，適應(yīng)變化頻繁的業(yè)務(wù)發(fā)展要求，更好地滿足廣大教職工和學(xué)生在校工作、學(xué)習(xí)的發(fā)展要求。

4.2、積累數(shù)據(jù)，滴水成河

完善現(xiàn)有的數(shù)據(jù)采集機(jī)制，為把“小數(shù)據(jù)”做成“大數(shù)據(jù)”提供良好的基礎(chǔ)環(huán)境。主要包括以下三點(diǎn)：

豐富數(shù)據(jù)采集類(lèi)型，利用更多的技術(shù)手段和工具從結(jié)構(gòu)化數(shù)據(jù)往半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的方向發(fā)展;

豐富數(shù)據(jù)采集的源頭，建設(shè)更多的小應(yīng)用下沉收集數(shù)據(jù)，并提出小應(yīng)用的管理辦法;

豐富采集數(shù)據(jù)的形式，為散落在電子表格中的、臨時(shí)需要填報(bào)的數(shù)據(jù)提供新渠道，利用長(zhǎng)短結(jié)合的方式不斷突破、推進(jìn)大數(shù)據(jù)的建設(shè)。

4.3、拓展對(duì)象，面向問(wèn)題

在數(shù)據(jù)安全得到保障的前提下，擴(kuò)大數(shù)據(jù)應(yīng)用的對(duì)象和范圍。不斷強(qiáng)化信息安全意識(shí)，健全網(wǎng)絡(luò)安全管理制度，創(chuàng)建可靠、可控、可查的網(wǎng)絡(luò)信息安全技術(shù)防護(hù)體系，樹(shù)立正確的網(wǎng)絡(luò)安全觀，將服務(wù)對(duì)象拓展到校級(jí)領(lǐng)導(dǎo)、職能部門(mén)、教學(xué)單位、直屬單位和教職工以及學(xué)生，科學(xué)地分析、收集服務(wù)對(duì)象的數(shù)據(jù)應(yīng)用需求，并提出對(duì)應(yīng)的解決辦法，切實(shí)幫助服務(wù)對(duì)象解決目前在工作、學(xué)習(xí)中使用數(shù)據(jù)的困難，使他們?cè)诎踩拈]環(huán)數(shù)據(jù)生態(tài)中持續(xù)獲益。

4.4、深化應(yīng)用，融合創(chuàng)新

治理數(shù)據(jù)的目的是為讓數(shù)據(jù)用起來(lái)，讓數(shù)據(jù)“說(shuō)話”，發(fā)揮其應(yīng)有的價(jià)值。本期項(xiàng)目的建設(shè)需要立足于解決學(xué)校發(fā)展面臨的實(shí)際問(wèn)題，堅(jiān)持“以應(yīng)用為導(dǎo)向，以好用為導(dǎo)向，以用好為導(dǎo)向”，促進(jìn)管理水平和服務(wù)能力的提高。在服務(wù)對(duì)象覆蓋面越來(lái)越廣的基礎(chǔ)上建設(shè)以師生需求為導(dǎo)向的數(shù)據(jù)服務(wù)與大數(shù)據(jù)分析，配合目標(biāo)管理系統(tǒng)的建設(shè)，實(shí)質(zhì)性推動(dòng)診改工作，體現(xiàn)產(chǎn)學(xué)融合的新實(shí)踐，探索準(zhǔn)確評(píng)價(jià)的新模型。

4.5、橫向共建，促進(jìn)協(xié)同

加強(qiáng)“數(shù)據(jù)”與“業(yè)務(wù)”的關(guān)聯(lián)性，引入“數(shù)據(jù)中臺(tái)”的關(guān)鍵設(shè)計(jì)理念，并通過(guò)數(shù)據(jù)中臺(tái)的架構(gòu)完善數(shù)據(jù)平臺(tái)，降低重復(fù)建設(shè)，減少煙囪式協(xié)作的成本，將學(xué)校的發(fā)展需求和師生的發(fā)展需求納入數(shù)據(jù)應(yīng)用協(xié)同的體系，提高將數(shù)據(jù)（信息）作為基礎(chǔ)設(shè)施的認(rèn)知程度，不斷通過(guò)數(shù)據(jù)應(yīng)用來(lái)滿足使用數(shù)據(jù)的需求，通過(guò)使用數(shù)據(jù)的需求又不斷促進(jìn)數(shù)據(jù)應(yīng)用的提升，這個(gè)過(guò)程就是跨部門(mén)橫向共建。項(xiàng)目要在理念設(shè)計(jì)和軟件實(shí)現(xiàn)上圍繞這一本質(zhì)內(nèi)容開(kāi)展，建立學(xué)校的數(shù)據(jù)應(yīng)用協(xié)作機(jī)制，推動(dòng)信息系統(tǒng)建設(shè)和應(yīng)用從服務(wù)教育部門(mén)和學(xué)校管理、監(jiān)管為主的現(xiàn)狀往服務(wù)全校師生教育教學(xué)的過(guò)程發(fā)展。

5、數(shù)據(jù)中心發(fā)展展望

5.1、人工智能，深度學(xué)習(xí)在數(shù)據(jù)中心發(fā)展展望

AI賦能是一套智能模型全生命周期管理平臺(tái)和服務(wù)配置系統(tǒng)，基于數(shù)據(jù)中心平臺(tái)服務(wù)，通過(guò)對(duì)智能服務(wù)的共享復(fù)用、對(duì)智能服務(wù)研發(fā)相關(guān)角色進(jìn)行管理，以及研發(fā)流程的標(biāo)準(zhǔn)化、自動(dòng)化，對(duì)前臺(tái)業(yè)務(wù)提供個(gè)性化智能服務(wù)的迅速構(gòu)建能力的支持。

以貧困生決策樹(shù)模型建設(shè)流程為例，具體需要如下工作：開(kāi)始->數(shù)據(jù)中心平臺(tái)中選取消費(fèi)數(shù)據(jù)->統(tǒng)計(jì)學(xué)生各類(lèi)消費(fèi)信息->將數(shù)據(jù)拆分成訓(xùn)練集和測(cè)試集->利用訓(xùn)練集構(gòu)建決策樹(shù)模型->運(yùn)用測(cè)試集對(duì)決策樹(shù)進(jìn)行剪枝->結(jié)束。

5.2、物聯(lián)網(wǎng)技術(shù)相關(guān)數(shù)據(jù)的融合

本文以窄帶物聯(lián)網(wǎng)為例，智慧校園建設(shè)將會(huì)在不久的將來(lái)得到普及化的應(yīng)用，數(shù)據(jù)中心將對(duì)接物聯(lián)網(wǎng)數(shù)據(jù)，具體實(shí)現(xiàn)如下圖3窄帶物聯(lián)網(wǎng)技術(shù)框架圖 所示：

終端設(shè)備發(fā)送信息，通過(guò)窄帶物聯(lián)網(wǎng)信息提供商電信郵局完成數(shù)據(jù)發(fā)送到云端服務(wù)器，云端服務(wù)器把數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中，同時(shí)開(kāi)放數(shù)據(jù)接口給各個(gè)應(yīng)用，用戶可以在移動(dòng)終端訪問(wèn)終端設(shè)備，并且發(fā)送相關(guān)指令到終端設(shè)備中去。終端展示可以是PC電腦，微信，手機(jī)APP等。物聯(lián)網(wǎng)技術(shù)在智慧校園中的應(yīng)用將會(huì)在不久的將來(lái)得到普及，其中的相關(guān)數(shù)據(jù)將會(huì)無(wú)縫的接入到數(shù)據(jù)中心，為學(xué)校師生提供更好的服務(wù)。

參考文獻(xiàn)

[1].賈海天，陳晨.大數(shù)據(jù)環(huán)境下的智慧校園建設(shè)與應(yīng)用.科技創(chuàng)新與應(yīng)用，2019年20期： 162-163.

[2].Haitian Jia; Chun Jia;. Research and Application of Data Standard Construction .?? 2018 the 2nd annual International Conference on Cloud Technology and Communication Engineering 17–19 August 2018， Nanjing， China

[3]劉屹.基于云計(jì)算環(huán)境下的教育信息化資源平臺(tái)分析與設(shè)計(jì)[J].福建電腦，2016（8）.35

[4].Haitian Jia; Chun Jia;. Construction and Application of Data Standard in Big Data Environment， The 2019 1nd International Conference on Big Data Engineering （BDE 2019）? ，11-13 June， 2019， Hong Kong，China

[5].曹建梅，崔鳳磊，楊祥來(lái).職業(yè)院校智慧校園頂層設(shè)計(jì)研究與實(shí)踐.電腦知識(shí)與技術(shù)，2017（6）： 44

[6].曾祥容.基于防火墻和WAF安全設(shè)備的高校信息安全設(shè)計(jì)與應(yīng)用.電子技術(shù)與軟件工程，2017（5）：201

郵寄地址：蘇州國(guó)際教育園北區(qū)學(xué)府路287號(hào)會(huì)國(guó)學(xué)院，215009

[作者簡(jiǎn)介]石冬喜，（1984-），男，漢族，助理研究員，江蘇蘇州人，工學(xué)碩士，主要從事高等教育管理研究。