基于校園大數(shù)據(jù)的數(shù)據(jù)共享與交換平臺(tái)分析與設(shè)計(jì)

摘要：人工智能、物聯(lián)網(wǎng)和云計(jì)算等信息技術(shù)在高校中的廣泛應(yīng)用，積極推動(dòng)了校園信息化發(fā)展進(jìn)程，使得教學(xué)、科研和生活等數(shù)據(jù)爆炸式地增長(zhǎng)。然而，由于各個(gè)應(yīng)用系統(tǒng)或平臺(tái)建立的時(shí)間、環(huán)境、標(biāo)準(zhǔn)和技術(shù)等不一致，導(dǎo)致“信息孤島”問(wèn)題日益嚴(yán)峻。本文在剖析校園大數(shù)據(jù)共享與交換的現(xiàn)狀的基礎(chǔ)上，提出了一種基于校園大數(shù)據(jù)的數(shù)據(jù)共享與交換平臺(tái)方案。該方案試圖突破信息壁壘、解除信息孤島，為異構(gòu)業(yè)務(wù)系統(tǒng)、異構(gòu)數(shù)據(jù)庫(kù)和不同數(shù)據(jù)格式之間提供數(shù)據(jù)共享與交換提供服務(wù)。

Abstract： The extensive application of information technology such as artificial intelligence， Internet of Things and cloud computing in colleges and universities has actively promoted the development of campus informationization， which has led to the explosive growth of data such as teaching， research and life. However， due to the inconsistencies in the time， environment， standards and technologies established by various application systems or platforms， the problem of "information silos" has become increasingly serious. Based on the analysis of the status quo of campus big data sharing and exchange， this paper proposes a data sharing and exchange platform based on campus big data. The program attempts to break through information barriers， dismantle information silos， and provide services for data sharing and exchange among heterogeneous business systems， heterogeneous databases and different data formats.

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)共享;數(shù)據(jù)交換

Key words： big data;data sharing;data exchange

中圖分類號(hào)：G47;TP308? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1006-4311（2019）18-0240-03

0? 引言

隨著高校信息化建設(shè)的發(fā)展，應(yīng)用信息化的不斷深入，管理精細(xì)化要求的提高，不同系統(tǒng)間的數(shù)據(jù)得不到共享，形成一個(gè)又一個(gè)的信息孤島。各個(gè)業(yè)務(wù)系統(tǒng)所產(chǎn)生的大量異構(gòu)數(shù)據(jù)，如何能夠方便高效地開(kāi)放出去，實(shí)現(xiàn)數(shù)據(jù)共享與交換，是當(dāng)前高校信息化亟需決的難題[1]。校園信息化水平不高的時(shí)候，數(shù)據(jù)的開(kāi)放方式還可以直接將數(shù)據(jù)導(dǎo)出給對(duì)方。然而，教育信息技術(shù)2.0支撐下的泛在學(xué)習(xí)、混合式教學(xué)和智慧校園等應(yīng)用，使得教育教學(xué)有關(guān)數(shù)據(jù)爆炸式地增長(zhǎng)。過(guò)往簡(jiǎn)單的數(shù)據(jù)直連的方式不僅低效，而且還帶來(lái)了管理與安全等諸多問(wèn)題。同時(shí)，信息技術(shù)的廣泛應(yīng)用，使得業(yè)務(wù)服務(wù)對(duì)象從既往的各級(jí)業(yè)務(wù)部門變?yōu)槿７秶鷥?nèi)的師生。更多的應(yīng)用、更多的用戶需求，將直接導(dǎo)致業(yè)務(wù)共享與交換的壓力呈指數(shù)上升。例如，數(shù)據(jù)服務(wù)共享得不到有效管控，多源頭的數(shù)據(jù)采集，重復(fù)過(guò)程的數(shù)據(jù)采集，服務(wù)通訊無(wú)法統(tǒng)一管控等問(wèn)題日益突現(xiàn)。這對(duì)數(shù)據(jù)服務(wù)架構(gòu)性能、穩(wěn)定性、擴(kuò)展性、可控性提出了更高的需求。因此，如何減輕工作量，方便業(yè)務(wù)部門進(jìn)行數(shù)據(jù)管理，打造一個(gè)數(shù)據(jù)共享交換生態(tài)平臺(tái)成為各個(gè)高校的共性問(wèn)題。

1? 現(xiàn)狀及需求分析

當(dāng)前我國(guó)學(xué)校教育信息化基礎(chǔ)設(shè)施、信息系統(tǒng)建設(shè)和師生服務(wù)等方面普遍取得了長(zhǎng)足進(jìn)展。同時(shí)，隨著信息技術(shù)在教育領(lǐng)域中的不斷深入，也逐漸暴露出各級(jí)信息系統(tǒng)分散，數(shù)據(jù)質(zhì)量低等問(wèn)題，這與金融、電力、通訊、交通、制造等信息化程度高的行業(yè)相比，仍存在較大差距。主要體現(xiàn)在數(shù)據(jù)文件和數(shù)據(jù)報(bào)文的共享與交換。

首先，在數(shù)據(jù)文件共享與交換方面，校內(nèi)存在眾多的信息管理系統(tǒng)，每個(gè)信息的數(shù)據(jù)獨(dú)立存在，得不到有效共享與互通。其次，信息安全管理與防范機(jī)制不夠完善，存在信息系統(tǒng)數(shù)據(jù)隨意授權(quán)或管理不嚴(yán)的現(xiàn)象，容易導(dǎo)致濫用數(shù)據(jù)或隱私數(shù)據(jù)泄露的情況發(fā)生。最后，數(shù)據(jù)的質(zhì)量得不到提高。前期信息系統(tǒng)建設(shè)普遍存在“重功能輕數(shù)據(jù)”情況，缺少全校數(shù)據(jù)標(biāo)準(zhǔn)整體規(guī)劃，即使發(fā)現(xiàn)數(shù)據(jù)有問(wèn)題也無(wú)從審核與校驗(yàn)，進(jìn)而導(dǎo)致問(wèn)題數(shù)據(jù)不斷的沉積，相關(guān)報(bào)表數(shù)據(jù)統(tǒng)計(jì)的及時(shí)性、準(zhǔn)確性得不到保證，嚴(yán)重將會(huì)影響到學(xué)校的決策與分析的應(yīng)用。

在數(shù)據(jù)報(bào)文共享與交換方面，不同業(yè)務(wù)系統(tǒng)之間的通訊報(bào)文與文件交換缺乏相關(guān)管理流程，數(shù)據(jù)管理責(zé)任不明確和缺乏審計(jì)機(jī)制等。首先，數(shù)據(jù)全生命周期缺乏管理，容易出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，無(wú)法對(duì)問(wèn)題數(shù)據(jù)進(jìn)行溯源追蹤。其次，學(xué)校各種應(yīng)用服務(wù)快速增長(zhǎng)，單點(diǎn)負(fù)載均衡壓力也會(huì)越來(lái)越大，并且各項(xiàng)應(yīng)用服務(wù)之間的依賴關(guān)系變得錯(cuò)綜復(fù)雜，難以理清具體應(yīng)用程序之間的先后啟動(dòng)順序。最后，各項(xiàng)應(yīng)用服務(wù)的調(diào)用量越來(lái)越大，服務(wù)的容量就會(huì)受到一定的考驗(yàn)。

2? 數(shù)據(jù)共享與交換平臺(tái)設(shè)計(jì)

數(shù)據(jù)共享交換平臺(tái)將起到橋梁樞紐作用，是突破信息壁壘、消除信息孤島的重要手段。針對(duì)當(dāng)前校園數(shù)據(jù)共享與交換的現(xiàn)狀與需求，本文提出一種基于校園大數(shù)據(jù)的數(shù)據(jù)共享與交換平臺(tái)框架。該平臺(tái)架構(gòu)由三大框架組成，分別為分布式服務(wù)中間件、分布式數(shù)據(jù)交換系統(tǒng)和集中任務(wù)調(diào)度系統(tǒng)，如圖1所示。

數(shù)據(jù)共享與交換平臺(tái)通過(guò)為各業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)準(zhǔn)入接口，以統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和接口規(guī)范，以實(shí)現(xiàn)數(shù)據(jù)自動(dòng)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)送、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)審核等，并確保各項(xiàng)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)能夠順暢、實(shí)時(shí)和批量傳輸。然后。通過(guò)制訂大數(shù)據(jù)共享規(guī)則，將所有經(jīng)過(guò)檢驗(yàn)與審核的數(shù)據(jù)匯聚到數(shù)據(jù)管理中心，形成大數(shù)據(jù)共享中心庫(kù)。最終該平臺(tái)采用規(guī)范、統(tǒng)一和透明的數(shù)據(jù)共享方式，為不同業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫(kù)和不同數(shù)據(jù)格式之間進(jìn)行數(shù)據(jù)交換而提供服務(wù)。

2.1 分布式服務(wù)中間件設(shè)計(jì)

隨著信息技術(shù)在教育教學(xué)中廣泛應(yīng)用，越來(lái)越多的系統(tǒng)被融進(jìn)“服務(wù)流程重組”，“敏捷開(kāi)發(fā)”等“微服務(wù)”的概念中，并對(duì)原有業(yè)務(wù)系統(tǒng)進(jìn)行不同層次與級(jí)別的拆分。“微服務(wù)”節(jié)點(diǎn)在學(xué)校中的數(shù)量成指數(shù)增長(zhǎng)，不同數(shù)據(jù)服務(wù)直接的調(diào)度對(duì)服務(wù)接口造成的強(qiáng)烈的負(fù)擔(dān)。尤其在傳統(tǒng)業(yè)務(wù)分層概念下開(kāi)發(fā)的相關(guān)服務(wù)系統(tǒng)，給學(xué)校業(yè)務(wù)環(huán)境留下了嚴(yán)峻的單點(diǎn)故障問(wèn)題[2]。為了解決這些問(wèn)題，分布式服務(wù)中間件就應(yīng)運(yùn)而生。

分布式服務(wù)中間件為所有的業(yè)務(wù)系統(tǒng)提供了統(tǒng)一的API接口。在取得數(shù)據(jù)管理者授權(quán)的前提下，數(shù)據(jù)使用者可以通過(guò)調(diào)用數(shù)據(jù)接口對(duì)數(shù)據(jù)服務(wù)進(jìn)行獲取。同時(shí)，分布式服務(wù)系統(tǒng)對(duì)接口調(diào)用情況進(jìn)行記錄，并且形成API接口調(diào)用分析表。從服務(wù)模型的角度來(lái)看，分布式服務(wù)系統(tǒng)采用的是一種非常穩(wěn)定的模型，只有服務(wù)提供方（Provider）和服務(wù)消費(fèi)方 （Consumer）兩個(gè)角色。數(shù)據(jù)服務(wù)調(diào)度過(guò)程如圖2所示。

2.2 分布式數(shù)據(jù)交換系統(tǒng)設(shè)計(jì)

分布式數(shù)據(jù)交換系統(tǒng)是將各項(xiàng)繁雜的數(shù)據(jù)系統(tǒng)集成在一起，提供同構(gòu)或異構(gòu)數(shù)據(jù)之間的數(shù)據(jù)采集、格式轉(zhuǎn)換、消息過(guò)濾、動(dòng)態(tài)部署和可視化監(jiān)管等方面功能[3]。該系統(tǒng)能夠支持Oracle、SQLServer、MySQL等主流數(shù)據(jù)庫(kù)以及各項(xiàng)常規(guī)文件（如：word、excel、pdf等）各種格式。如圖3所示，Reader負(fù)責(zé)數(shù)據(jù)采集，Writer負(fù)責(zé)數(shù)據(jù)的寫入，而Framework解決Reader和Writer之間的連接問(wèn)題。另外，數(shù)據(jù)從原始數(shù)據(jù)庫(kù)流向標(biāo)準(zhǔn)庫(kù)的過(guò)程中，需要對(duì)數(shù)據(jù)的唯一性和正確性的變化情況進(jìn)行監(jiān)測(cè)。

2.3 集中任務(wù)調(diào)度系統(tǒng)設(shè)計(jì)

集中任務(wù)調(diào)度系統(tǒng)是數(shù)據(jù)交換共享平臺(tái)的核心，將完成分布式服務(wù)系統(tǒng)與分布式數(shù)據(jù)交換系統(tǒng)進(jìn)行任務(wù)的統(tǒng)一調(diào)度。如圖4所示，集中任務(wù)調(diào)度系統(tǒng)通過(guò)獲取分布式服務(wù)系統(tǒng)與分布式數(shù)據(jù)交換系統(tǒng)的相關(guān)策略配置，并對(duì)不同的服務(wù)與交換要求進(jìn)行優(yōu)化，進(jìn)而實(shí)現(xiàn)統(tǒng)一的進(jìn)程發(fā)起與任務(wù)調(diào)度。首先，集中任務(wù)調(diào)度系統(tǒng)能夠支持豐富多樣的調(diào)試方法，以滿足各種調(diào)度需求。其次，調(diào)度方式具有靈活性，能夠支持調(diào)度數(shù)據(jù)的多種存儲(chǔ)，以及任務(wù)與調(diào)度多方式組合。最后，該任務(wù)調(diào)度系統(tǒng)通過(guò)對(duì)RMI（Remote Method Invocation）的使用，能夠確保該調(diào)度服務(wù)能夠以獨(dú)立的方式運(yùn)行。

3? 結(jié)束語(yǔ)

大數(shù)據(jù)環(huán)境下，大量的信息服務(wù)與應(yīng)用的興起給校園數(shù)據(jù)共享與交換平臺(tái)的建設(shè)帶來(lái)了巨大的挑戰(zhàn)。本文提出了一種基于校園大數(shù)據(jù)的共享交換平臺(tái)設(shè)計(jì)方案。該方案將通過(guò)為各類型業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的提供準(zhǔn)入接口，并采用統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和接口規(guī)范，實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)采集、內(nèi)容轉(zhuǎn)換、數(shù)據(jù)傳輸和數(shù)據(jù)審核等，進(jìn)而為異構(gòu)業(yè)務(wù)系統(tǒng)、異構(gòu)數(shù)據(jù)庫(kù)和不同數(shù)據(jù)格式之間數(shù)據(jù)交換與共享提供服務(wù)。

參考文獻(xiàn)：

[1]俞春，袁芳，等.高校數(shù)據(jù)共享與交換技術(shù)的應(yīng)用研究[J].實(shí)驗(yàn)技術(shù)與管理，2012，29（11）：109-122.

[2]張?jiān)疲n彥嶺.航運(yùn)大數(shù)據(jù)[M].上海：上?？茖W(xué)技術(shù)出版社，2016：133-135.

[3]陳海郎，陳農(nóng)心.信訪一體化信息系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[J].價(jià)值工程，2016，15：81-83.