基于華為融合集成架構(gòu)的高校數(shù)據(jù)交換平臺建設(shè)

劉洋 李偉

1.天津市大學(xué)軟件學(xué)院；2.天津市河西區(qū)教育綜合服務(wù)中心

1 背景介紹

1.1 學(xué)院簡介

天津市大學(xué)軟件學(xué)院是市委市政府批準(zhǔn)設(shè)立的隸屬于天津市教委具有獨(dú)立法人的事業(yè)單位。學(xué)院以天津軟件產(chǎn)業(yè)發(fā)展的人才需求為導(dǎo)向，集合教育、科技、產(chǎn)業(yè)優(yōu)勢資源，以培養(yǎng)多層次具有創(chuàng)新精神的適用性人才為主要任務(wù)。目前已成為聚集140家新一代信息技術(shù)創(chuàng)新企業(yè)，服務(wù)全市高校并輻射全國79所高校的全國最大的開放共享產(chǎn)教融合實(shí)訓(xùn)基地[1]。

1.2 數(shù)據(jù)交換需求及挑戰(zhàn)

1.2.1 必要性

學(xué)院自成立后一直致力于校園信息化建設(shè)，相繼建成了教務(wù)系統(tǒng)、畢設(shè)系統(tǒng)、學(xué)工系統(tǒng)、國資系統(tǒng)、后勤管理和OA等覆蓋教務(wù)、學(xué)工、后勤等不同領(lǐng)域的多個(gè)業(yè)務(wù)系統(tǒng)，通過信息化手段有效的保障了學(xué)院工作的有序開展。

但隨著信息化建設(shè)的不斷開展和智慧校園建設(shè)的不斷深入，這些在不同時(shí)期建設(shè)和實(shí)施的業(yè)務(wù)系統(tǒng)，由不同供應(yīng)商開發(fā)，部署方式多樣化，使用了不同的技術(shù)架構(gòu)和開發(fā)語言，沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，造成系統(tǒng)之間相互封閉獨(dú)立，數(shù)據(jù)無法實(shí)現(xiàn)自動(dòng)交換與共享，而如果不能有效實(shí)現(xiàn)各系統(tǒng)之間數(shù)據(jù)的交換與共享，就無法實(shí)現(xiàn)業(yè)務(wù)處理的關(guān)聯(lián)與協(xié)同。從學(xué)院現(xiàn)狀和全局來看，現(xiàn)存的通過人工方式進(jìn)行各個(gè)系統(tǒng)的數(shù)據(jù)傳遞和業(yè)務(wù)協(xié)同，已經(jīng)不能適應(yīng)智慧校園信息化發(fā)展的需要。

因此如何應(yīng)用云計(jì)算技術(shù)和融合架構(gòu)，打破業(yè)務(wù)系統(tǒng)壁壘，實(shí)現(xiàn)校園業(yè)務(wù)數(shù)據(jù)跨系統(tǒng)的自動(dòng)協(xié)同，完成跨系統(tǒng)業(yè)務(wù)的有序?qū)雍蛿?shù)據(jù)及時(shí)、可靠、自動(dòng)化傳遞，確保數(shù)據(jù)的唯一性和準(zhǔn)確性，已成為當(dāng)前建設(shè)數(shù)字校園智慧化應(yīng)用的迫切需求和最大挑戰(zhàn)。

1.2.2 技術(shù)發(fā)展

為實(shí)現(xiàn)數(shù)據(jù)跨系統(tǒng)自動(dòng)交換，解決業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)共享問題，校園信息化建設(shè)早期通常采用文件共享、數(shù)據(jù)庫中間表、端到端定制開發(fā)接口和消息隊(duì)列等方式。但是這種方式會(huì)造成業(yè)務(wù)系統(tǒng)之間緊密耦合，形成網(wǎng)狀連接。一旦某個(gè)系統(tǒng)進(jìn)行升級換代或接口變動(dòng)，與之相關(guān)的其他系統(tǒng)都要隨之改變，增加了后續(xù)擴(kuò)展升級的難度和成本，給數(shù)據(jù)管理和維護(hù)工作帶來困難。

目前比較通用的解決方式是基于服務(wù)總線的數(shù)據(jù)交換接口架構(gòu)定制開發(fā)集成接口。雖然此種方式比端到端的方式有了進(jìn)步，能夠?qū)崿F(xiàn)對各系統(tǒng)之間數(shù)據(jù)交換的管理與監(jiān)控，但是依舊存在采用定制化開發(fā)方式對數(shù)據(jù)交換平臺開發(fā)商依賴嚴(yán)重的問題。同時(shí)隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展以及在校園后勤安保等工作中的快速應(yīng)用，越來越多的物理設(shè)備接入了校園網(wǎng)絡(luò)，產(chǎn)生了大量數(shù)據(jù)，如何對此類數(shù)據(jù)進(jìn)行有效的采集交換也成為傳統(tǒng)數(shù)據(jù)交換平臺需要面對的問題[1]。

1.3 建設(shè)目標(biāo)與內(nèi)容

綜上所述，隨著學(xué)院數(shù)字化和智慧化建設(shè)的不斷深入，如何有效的實(shí)現(xiàn)日益增多的業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)可靠、安全、快速的自動(dòng)交換已成為制約信息化發(fā)展的重要問題。為此學(xué)院適時(shí)啟動(dòng)了數(shù)據(jù)交換平臺項(xiàng)目，至2021年底已基本完成項(xiàng)目實(shí)施。

本項(xiàng)目規(guī)劃實(shí)現(xiàn)的目標(biāo)如下：

（1）結(jié)合實(shí)際工作內(nèi)容，參考教育行業(yè)通用標(biāo)準(zhǔn)制定面向數(shù)據(jù)交換的學(xué)院標(biāo)準(zhǔn)和管理制度，為后續(xù)新建業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)庫與集成規(guī)范，提升工作效率和質(zhì)量，減輕服務(wù)接口維護(hù)難度。

（2）基于華為融合集成解決方案，搭建支持“云上云下”，跨區(qū)域集成，應(yīng)用、數(shù)據(jù)、服務(wù)和資源打通的數(shù)據(jù)交換平臺。

為實(shí)現(xiàn)以上目標(biāo)，本項(xiàng)目相繼完成了以下工作內(nèi)容：

（1）建立標(biāo)準(zhǔn)規(guī)范：為規(guī)范數(shù)據(jù)交換平臺的建設(shè)與實(shí)施，提高項(xiàng)目實(shí)施的效率與質(zhì)量，方便后續(xù)的運(yùn)維與擴(kuò)展，在項(xiàng)目中制定了學(xué)院統(tǒng)一的數(shù)據(jù)實(shí)施與交換標(biāo)準(zhǔn)，形成了數(shù)據(jù)交換相關(guān)的標(biāo)準(zhǔn)規(guī)范體系，包括《數(shù)據(jù)標(biāo)準(zhǔn)》、《數(shù)據(jù)交換管理辦法》、《數(shù)據(jù)質(zhì)量管理辦法》、《數(shù)據(jù)安全管理辦法》及相關(guān)配套技術(shù)文檔。

（2）實(shí)施服務(wù)集成：對學(xué)院既有的教務(wù)、學(xué)工、眾創(chuàng)、國資、后勤和OA等業(yè)務(wù)系統(tǒng)梳理協(xié)同接口，根據(jù)交換標(biāo)準(zhǔn)設(shè)計(jì)數(shù)據(jù)交換的服務(wù)組件，完成相關(guān)服務(wù)接口在數(shù)據(jù)交換平臺的服務(wù)集成。通過數(shù)據(jù)交換形成數(shù)據(jù)主題，為數(shù)據(jù)治理做好相應(yīng)基礎(chǔ)，確保各管理部門能夠利用數(shù)據(jù)分析工具，從數(shù)據(jù)中獲取有效信息，為實(shí)現(xiàn)科學(xué)決策創(chuàng)造條件，確保教學(xué)、科研、后勤、服務(wù)保障等各個(gè)領(lǐng)域?qū)崿F(xiàn)信息化與智能化。

2 技術(shù)方案

2.1 技術(shù)實(shí)現(xiàn)

本次部署實(shí)施的數(shù)據(jù)交換平臺屬于學(xué)院智慧校園建設(shè)的一部分，基于華為融合集成解決方案搭建，可實(shí)現(xiàn)應(yīng)用、數(shù)據(jù)、API、IOT設(shè)備、云服務(wù)之間的集成連接，該平臺具備以下特點(diǎn)：

（1）連接應(yīng)用：基于消息集成和API集成的方式實(shí)現(xiàn)云上云下以及云間的應(yīng)用集成，確保實(shí)現(xiàn)應(yīng)用之間簡單高效的連接。

（2）連接數(shù)據(jù)：支持多數(shù)據(jù)源、多目標(biāo)、多種協(xié)議的數(shù)據(jù)集成；覆蓋全量、增量、準(zhǔn)實(shí)時(shí)、定時(shí)多種集成方式；支持零代碼任務(wù)配置，能夠?qū)崿F(xiàn)業(yè)務(wù)與數(shù)據(jù)的有效跟隨。

作為面向數(shù)字化轉(zhuǎn)型時(shí)代的新一代集成平臺，本項(xiàng)目在實(shí)施過程中能夠避免傳統(tǒng)的ETL工具接入的數(shù)據(jù)類型有限及效率較低的弊端，實(shí)現(xiàn)對結(jié)構(gòu)化數(shù)據(jù)、消息、API以及物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)的有效匯聚，能夠集成包括ESB產(chǎn)品在內(nèi)的系統(tǒng)和應(yīng)用數(shù)據(jù)，從而建設(shè)一個(gè)真正融合的集成平臺。

項(xiàng)目實(shí)施方案總體架構(gòu)如圖1所示。

圖1 數(shù)據(jù)交換平臺總體架構(gòu)Fig.1 Overall architecture of data exchange platform

具體到學(xué)院業(yè)務(wù)中，項(xiàng)目實(shí)施后可覆蓋應(yīng)用場景如下：

（1）統(tǒng)一集成平臺：提供應(yīng)用、消息、數(shù)據(jù)集成，構(gòu)建統(tǒng)一集成平臺。

（2）主數(shù)據(jù)同步：基于交換平臺實(shí)現(xiàn)異構(gòu)系統(tǒng)間主數(shù)據(jù)實(shí)時(shí)與定時(shí)集成。

（3）便捷服務(wù)編排：通過界面配置或是函數(shù)開發(fā)實(shí)現(xiàn)服務(wù)集成編排，實(shí)現(xiàn)內(nèi)網(wǎng)應(yīng)用無差異使用外部SaaS API，創(chuàng)新應(yīng)用模式。

2.2 功能架構(gòu)

本次實(shí)施的數(shù)據(jù)交換平臺基于數(shù)據(jù)、消息、服務(wù)劃分子產(chǎn)品，各模塊既能夠單獨(dú)運(yùn)行也能組合成套件，統(tǒng)一運(yùn)維模塊為核心組件提供系統(tǒng)級通用運(yùn)維能力，子產(chǎn)品間共享相同的技術(shù)底座。平臺功能架構(gòu)如圖2所示。

圖2 數(shù)據(jù)交換平臺系統(tǒng)框架Fig.2 System framework of data exchange platform

3 實(shí)施步驟

數(shù)據(jù)交換項(xiàng)目實(shí)施一般分為數(shù)據(jù)交換場景分析與服務(wù)識別、建立數(shù)據(jù)交換標(biāo)準(zhǔn)、落地實(shí)施并部署上線等三個(gè)階段。

實(shí)現(xiàn)數(shù)據(jù)交換：（1）要對學(xué)院現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行整理與分析，分析工作流程中涉及的數(shù)據(jù)交換場景，確定數(shù)據(jù)共享的服務(wù)粒度和交換方式，確定數(shù)據(jù)交換所需的其他特征參數(shù)，包括數(shù)據(jù)交換周期、方向、場景、數(shù)量和協(xié)議等。（2）要分析各個(gè)業(yè)務(wù)系統(tǒng)的接口協(xié)議和數(shù)據(jù)訪問協(xié)議，確定數(shù)據(jù)交換的可能性。鑒于教育行業(yè)大部分業(yè)務(wù)系統(tǒng)開放性較強(qiáng)，同時(shí)對于自主開發(fā)的系統(tǒng)在采購階段均已簽署協(xié)議要求開放數(shù)據(jù)庫并提供數(shù)據(jù)字典，因此本項(xiàng)目實(shí)施基本可覆蓋學(xué)院所有系統(tǒng)。（3）還需要針對單個(gè)系統(tǒng)分析數(shù)據(jù)格式和定義是否一致，確定數(shù)據(jù)在交換時(shí)是否需要進(jìn)行轉(zhuǎn)換以及數(shù)據(jù)交換數(shù)量等級[2,3]。

完成上一階段的分析與識別后，根據(jù)學(xué)院相關(guān)制度與規(guī)范，建立數(shù)據(jù)交換標(biāo)準(zhǔn)及實(shí)施方式，包括數(shù)據(jù)標(biāo)準(zhǔn)、交換規(guī)則、管理規(guī)定、項(xiàng)目集成技術(shù)要求、接入指南、運(yùn)維規(guī)范和實(shí)施規(guī)范等，為后續(xù)的項(xiàng)目實(shí)施確立指導(dǎo)性文件。

最后由廠商配合學(xué)院信息化部門，安裝并部署數(shù)據(jù)交換平臺，完成服務(wù)注冊、接口測試、系統(tǒng)優(yōu)化和上線工作。

4 建設(shè)效果

項(xiàng)目實(shí)施完成后實(shí)現(xiàn)了設(shè)備互聯(lián)、應(yīng)用互聯(lián)和數(shù)據(jù)的交換總線，建立了開放互聯(lián)的API網(wǎng)關(guān)。平臺累計(jì)注冊接入應(yīng)用系統(tǒng)13個(gè)，建立數(shù)據(jù)標(biāo)準(zhǔn)671項(xiàng)，設(shè)計(jì)接口1035個(gè)，實(shí)際上線運(yùn)行接口服務(wù)997個(gè)，涵蓋教務(wù)、學(xué)工、一卡通、物聯(lián)網(wǎng)和OA等業(yè)務(wù)系統(tǒng)，其中物聯(lián)網(wǎng)系統(tǒng)的服務(wù)接口最多，達(dá)到120個(gè)。數(shù)據(jù)交換場景模式包括請求/響應(yīng)與發(fā)布/訂閱兩種模式，支持HTTP、REST、FTP和MQTT的多協(xié)議適配。

平臺部署于華為容器集群中，采用7臺物理服務(wù)器實(shí)現(xiàn)超融合架構(gòu)，使用青云套件進(jìn)行容器管理，采用OPS對集群運(yùn)行情況進(jìn)行監(jiān)控。數(shù)據(jù)交換平臺平均每天完成交換15300次，數(shù)據(jù)交換流量日均超過1GB，響應(yīng)成功率超過99%。

項(xiàng)目實(shí)施后新系統(tǒng)和新服務(wù)的注冊與集成，原有服務(wù)的變更及平臺的管理維護(hù)，基本都可由學(xué)院信息化部門完成，擺脫了對平臺供應(yīng)商的依賴，也顯著降低了各個(gè)業(yè)務(wù)系統(tǒng)之間的耦合性，達(dá)到了項(xiàng)目預(yù)期目標(biāo)，如表1所示。

表1 接入數(shù)據(jù)交換平臺的部分服務(wù)Tab.1 Partial services of access data exchange platform

5 項(xiàng)目價(jià)值

智慧校園是數(shù)字校園的發(fā)展和延伸，智慧校園是以物聯(lián)網(wǎng)為基礎(chǔ)，以感知、智能、挖掘、控制等各種信息技術(shù)為手段，將學(xué)校的科研、管理、教學(xué)、決策等資源相結(jié)合，構(gòu)建智慧化的校園服務(wù)新模式[1]。智慧化數(shù)字校園的建設(shè)是一個(gè)循序漸進(jìn)的過程，如何高效的實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)自動(dòng)交換是其中一個(gè)重要和必須的環(huán)節(jié)。

天津市大學(xué)軟件學(xué)院通過實(shí)施數(shù)據(jù)交換平臺項(xiàng)目，構(gòu)建了高度集成、開放和共享的數(shù)據(jù)交換智能平臺，實(shí)現(xiàn)了數(shù)據(jù)在業(yè)務(wù)系統(tǒng)間的互聯(lián)互通，促進(jìn)了多源異構(gòu)數(shù)據(jù)之間的集成、交換、共享的自動(dòng)流轉(zhuǎn)，指導(dǎo)和規(guī)范了學(xué)院未來業(yè)務(wù)系統(tǒng)的建設(shè)和實(shí)施，建立了整體層面的業(yè)務(wù)狀態(tài)，為數(shù)字校園的建設(shè)奠定了數(shù)據(jù)連接基礎(chǔ)。

引用

[1] 黃超,唐子蛟.基于云計(jì)算技術(shù)的智慧校園平臺建設(shè)研究[J].軟件,2018,39(5):27-30.

[2] 睢貴芳.智慧校園基礎(chǔ)信息平臺建設(shè)的若干問題[J].電子技術(shù)與軟件工程,2017(15):258-259.

[3] 余鵬,李艷.智慧校園視域下高等教育數(shù)據(jù)生態(tài)治理體系研究[J].中國電化教育,2020(5):88-100.