基于云件服務的新一代大數(shù)據(jù)工程實訓平臺

王 偉，劉 偉，崔海波,

（ 1.同濟大學 計算機科學與技術系，上海 200092；2.湖北大學 計算機與信息工程學院，湖北 武漢430062；3.武漢理工大學 計算機科學與技術學院，湖北 武漢 430070；4.湖北省教育信息化工程技術研究中心，湖北 武漢430062）

1 背 景

隨著計算思維的推廣、大數(shù)據(jù)時代的來臨、工程認證的履行及新工科概念的提出，基于互聯(lián)網(wǎng)與云計算的工程實踐平臺的勢在必行，需要逐步重新構建教育信息化基礎設施，以支持新一代工程實踐平臺的建設。

現(xiàn)有的傳統(tǒng)教育的基礎設施出現(xiàn)了諸如配置部署復雜、安全性難以滿足、軟件硬件升級成本高、機密數(shù)據(jù)分散等問題，不便于數(shù)據(jù)的集中管理和維護，需要逐步重新構建基于云計算的教育信息化基礎設施，以支持下一代教育信息化公共服務平臺的建設。另一方面，大數(shù)據(jù)領域持續(xù)發(fā)展，各行各業(yè)都在積極地應用大數(shù)據(jù)設施處理和分析數(shù)據(jù)，為了適應大數(shù)據(jù)時代的新狀況，大數(shù)據(jù)相關的理念、處理方法、操作的教學與實踐勢在必行。

近年來，隨著實時互聯(lián)網(wǎng)、微服務、云端渲染、容器等技術和理念發(fā)展的不斷深入，軟件（software）形態(tài)將進一步朝著云件（cloudware）形態(tài)的方向發(fā)展[1-2]。構建基于云件服務的新一代大數(shù)據(jù)工程實訓平臺，簡單來說，就是將所有實訓軟件全部遷移到云端，并通過瀏覽器為終端用戶提供大數(shù)據(jù)實訓服務。這為大規(guī)模重構教育信息化基礎設施、為下一代教育信息化公共服務平臺帶來了新的方法和機遇[3]。

該實訓平臺針對高校工科類實訓場景，通過將傳統(tǒng)桌面軟件和大數(shù)據(jù)軟件云端化，使得用戶通過瀏覽器就可以方便使用Matlab、Hadoop等大型軟件環(huán)境，使得傳統(tǒng)軟件無需修改，即能做到為廣大師生提供大規(guī)模SaaS化的實訓服務?；谠萍到y(tǒng)的大數(shù)據(jù)實踐平臺改變了傳統(tǒng)試驗方式，節(jié)約了機房場地及試驗設備，豐富了教學形式，簡化了教學過程，提供了便捷高效的工程實踐環(huán)境。

2 相關工作

目前，有云計算驅動的教育信息化基礎設施的改造主要體現(xiàn)在虛擬化桌面上面。虛擬化桌面，即虛擬桌面基礎架構（virtual desktop infrastructure,VDI），是近年來虛擬化技術由服務器虛擬化向桌面虛擬化延伸的一種技術，是云計算的一種應用模式。然而，隨著大規(guī)模教育信息化的推進，基于虛擬桌面的基礎設施難以滿足海量、輕量級、定價便宜甚至免費的教育場景。教育不同于商業(yè)場景，對基礎設施的靈活性、即用即走、價格、海量部署、長尾效應等特性有著特殊的需求。因此，教育信息化的公共服務基礎設施不能按照目前既有的云計算基礎設施構建的思路，需要一個全新的思路。軟件和應用的輕量級虛擬化技術將成為一個可行的解決方案，它將是未來云環(huán)境下軟件的主要形態(tài)，使得在任何時間、任何地方通過瀏覽器使用任何軟件成為可能。圖1展示了從傳統(tǒng)虛擬桌面到軟件上云方式的變革。

圖1 基于云件技術的軟件上云的方式

有了軟件上云，用戶可以一鍵使用部署好的軟件，以此提供大數(shù)據(jù)的基礎設施和環(huán)境，平臺采用微服務架構設計，具有較好的可擴展性、容災和靈活配置等特性，易于規(guī)?；渴?。同時，基于高校應用場景，搭建教師管理系統(tǒng)和學生作業(yè)系統(tǒng)，為課程學生提供工程軟件的訓練，為面向工程設計與計算創(chuàng)新設計的學生提供學習和實踐，教師可以在平臺上直接布置作業(yè)、檢驗作業(yè)。

該平臺基于新一代微服務架構和自主研發(fā)的云件服務技術，在互聯(lián)網(wǎng)、軟件服務、教育3個交叉領域進行軟件服務創(chuàng)新。將傳統(tǒng)的PC桌面軟件（如Matlab、SPSS等）和服務器端分布式軟件（如Hadoop、Spark等）全部進行云端化，使得用戶直接僅僅通過瀏覽器就可以訪問這些軟件服務或編程環(huán)境，將大數(shù)據(jù)實訓的各個環(huán)節(jié)連接到一起，最終做到大數(shù)據(jù)工程實訓服務的觸手可及、 隨時可用、 秒級啟動、 用完即走。

3 構建基于云件系統(tǒng)的大數(shù)據(jù)工程實訓平臺

3.1 云件與云件服務平臺

隨著云計算和虛擬化技術的興起，越來越多 的軟件逐漸把軟件主體放在云端，而客戶端只需要通過互聯(lián)網(wǎng)技術使用云端軟件的服務即可，使得軟件不再依賴于終端軟硬件資源，這樣的軟件形態(tài)稱為云件，更多地體現(xiàn)為一種服務[1-2]。

云件也是SaaS的一種服務方式，是通過互聯(lián)網(wǎng)技術使用云端的服務，但是與傳統(tǒng)的SaaS服務，例如網(wǎng)盤、郵箱和在線辦公相比，其主要差別在于傳統(tǒng)SaaS軟件往往是將桌面軟件進行大量的改造，大部分需要相應的客戶端程序，大量的計算還需要本地軟硬件的支持，比如某些在線制圖的工具，將傳統(tǒng)桌面制圖軟件用HTML 5和Flash等相關技術進行了Web重構，這是非常繁重的工作，且需要本地渲染的支持。而云件則是將終端的操作系統(tǒng)和運行環(huán)境遷移到了云端，傳統(tǒng)桌面軟件可以不做任何修改進行云化（cloudalization），客戶端采用統(tǒng)一的交互平臺（如瀏覽器）來實現(xiàn)交互功能，最終實現(xiàn)與本地同樣用戶體驗但不依賴本地資源的軟件模式。

首先構建一個面向云件服務的PaaS平臺，它是云件開發(fā)、測試、部署和運維的集成操作平臺，既面向開發(fā)者提供云件開發(fā)工具和云件運行環(huán)境，也面向用戶提供云件服務；然后在上面構建大數(shù)據(jù)實訓環(huán)境。圖2展示了構建在云件平臺上的大數(shù)據(jù)工程實訓模塊示例。

圖2 構建在云件平臺上的大數(shù)據(jù)工程實訓模塊

基于該云件服務平臺支撐的相關核心技術包括：基于松耦合馮偌伊曼模型的計算分散化范式、面向云件的云端操作系統(tǒng)、實時交互式渲染技術以及云件系統(tǒng)性能檢測與容器化調度技術，具體支撐技術的細節(jié)可以參見參考文獻[1—2]。

3.2 大數(shù)據(jù)工程實訓平臺的設計

基于微服務架構和云件技術，針對高校需求，設計并實現(xiàn)了基于云件系統(tǒng)的大數(shù)據(jù)實踐教學平臺，該平臺主要包括如下功能模塊。

（1）教師端功能：定制課程實驗內容、上傳文件、實驗管理、學生管理、查看學生算法、成績管理、報告管理。

（2）學生端功能：查看實驗內容、閱讀實驗指導書、算法演示、改進算法（例如R/Python）、算法對比分析、提交算法、提交報告、查看成績、修改個人信息。

（3）平臺管理功能：查看資源、查看計算作業(yè)、節(jié)點運算管理、創(chuàng)建容器環(huán)境、管理容器環(huán)境、恢復容器環(huán)境、查看進度、強制關閉。

（4）開發(fā)環(huán)境：提供相應的開發(fā)環(huán)境，如R、Python、Matlab、Hadoop、Spark 環(huán)境。

（5）算法庫：提供數(shù)據(jù)分析和挖掘的常用經(jīng)典算法，以及基于R/Python實現(xiàn)的源代碼。

（6）綜合實驗項目案例庫：提供不同行業(yè)的數(shù)據(jù)資源庫，提供綜合實驗項目案例，供課程選用。

（7）數(shù)據(jù)資源庫：提供多種數(shù)據(jù)資源庫，包含真實數(shù)據(jù)和模擬產生數(shù)據(jù)，供算法及案例選用。

大數(shù)據(jù)工程實訓平臺的微服務總體架構如圖3所示，大數(shù)據(jù)工程實訓平臺的部署方案如圖4所示。

圖4 大數(shù)據(jù)工程實訓平臺的部署方案

平臺用戶分為教師、學生和管理員3類。

（1）教師端。教師登錄平臺后，以菜單的方式可以看到課程、內容、環(huán)境。課程管理中包含系統(tǒng)提供的基礎課程，教師可在此基礎上，根據(jù)實際情況進行內容篩選和排課；教師通過內容管理模塊可對知識點內容進行編輯管理，也可進行課程拓展；通過環(huán)境管理模塊完成容器鏡像維護。

（2）學生端。學生登錄平臺后，可以看到與他相關的課程列表，點擊相應課程的學習，進入相應課程的學習；課程包含知識點分類列表，知識點實訓的實驗指導書、實驗環(huán)境及實驗成果的提交等菜單項；進入實驗環(huán)境，也可以方便地查看實驗文檔，包括相關參考文獻、實驗筆記、實驗視頻；提交實驗成果后，學生可查看老師的評分，并查看實驗筆記。

（3）管理員。管理員進行平臺后，可以看到環(huán)境、課程、內容、用戶。環(huán)境管理模塊主要完成對系統(tǒng)、設備、容器等的狀態(tài)檢測；課程管理模塊主要對基礎和拓展的課程進行管理和維護；內容管理模塊對系統(tǒng)提供的和教師提供的內容進行維護；用戶管理模塊主要管理教師和學生賬號。

新一代大數(shù)據(jù)工程實訓平臺的構建，有利于為學生和老師提供一個完整的實訓平臺，主要優(yōu)點包括：

（1）獨享。學生能夠獨享自己的實驗環(huán)境，不用跟不同時間段上機的同學共享一臺PC?？梢栽趯嶒灜h(huán)境中下載自己的代碼文件，對系統(tǒng)進行定制，實驗環(huán)境更加安全可控。

（2）快速。學生只需打開瀏覽器，1秒鐘內即可創(chuàng)建新的實驗環(huán)境，省去本地搭建開發(fā)環(huán)境的麻煩，可以在線編寫、提交實驗報告。

（3）經(jīng)濟。無需采購大量硬件，同時也省去了對大量PC環(huán)境的運維工作，所有實驗運維工作都在Web頁面進行操作，老師及管理員可以為所有學生定制統(tǒng)一環(huán)境。

（4）高效。資源的利用率更高，一臺服務器可以提供幾百個甚至上千個容器環(huán)境，滿足多名學生實訓需要，全部實訓在云端進行，不再受本地計算機配置限制，可以方便支持大數(shù)據(jù)這類需要分布式環(huán)境的實訓類別，如圖5所示。

（5）靈活。只要有互聯(lián)網(wǎng)，學生可以隨時隨地訪問自己的實訓環(huán)境，在宿舍也能繼續(xù)上機課的實訓任務，做到全天候隨時隨地訪問實訓環(huán)境的效果。

圖5 一鍵開啟Hadoop實驗環(huán)境

圖6 大數(shù)據(jù)工程實訓平臺主頁面示范

圖7 平臺整體服務網(wǎng)絡架構

3.3 大數(shù)據(jù)工程實訓平臺的最終呈現(xiàn)形式

大數(shù)據(jù)工程實訓平臺以Web系統(tǒng)的方式最終呈現(xiàn)，通過互聯(lián)網(wǎng)PC端和移動端均可以通過瀏覽器進行訪問。通過在云端構建完整的微服務容器運行環(huán)境，實現(xiàn)規(guī)?；渴稹⑷轂暮挽`活配置，系統(tǒng)的部署和運行也以微服務形式架設在IaaS云計算系統(tǒng)上。圖6、圖7展示了大數(shù)據(jù)工程實訓平臺主頁面范例和平臺整體服務網(wǎng)絡架構。

4 大數(shù)據(jù)工程實訓平臺在實際課程教學中的使用

2015年國務院常務會議通過的《關于促進大數(shù)據(jù)發(fā)展的行動綱要》中強調開發(fā)應用好大數(shù)據(jù)這一基礎性戰(zhàn)略資源，教育部高等學校教學指導委員會也將“大數(shù)據(jù)”列為“十三五”期間高等學校的教學改革和教學建設的重點，同時教育部高等教育司也于2016年在普通高等學校本科專業(yè)設置中增加了“數(shù)據(jù)科學與大數(shù)據(jù)技術”專業(yè)（專業(yè)代碼080910T），以及面向高職的“大數(shù)據(jù)技術與應用”專業(yè)（專業(yè)代碼 610215）。

基于上述背景，本文所提出的大數(shù)據(jù)工程實訓平臺作為同濟大學全校本科和研究生大數(shù)據(jù)類課程“大數(shù)據(jù)原理與實踐”與“數(shù)據(jù)科學通識導論”的支撐建設平臺。團隊指導老師從2016年開始，面向全校本科生建設大數(shù)據(jù)類課程，同時課程建設團隊開設了“嘉數(shù)匯”微信公眾號，輔以互動交流、課件發(fā)布、材料補充等，取得了良好的效果。團隊同時開通http://bigdata.#edu.cn域名為課程的實訓平臺做好準備。其中“大數(shù)據(jù)原理與實踐”也入選了2017年的Google支持教育部產學合作協(xié)同育人項目；而云件基礎技術項目“未來互聯(lián)網(wǎng)云件服務平臺”也榮獲了2016年第二屆全國高校云計算應用創(chuàng)新大賽一等獎。

目前在該平臺上陸續(xù)構建5類實訓模塊：①基礎語言學習實驗（4個子模塊，42個實驗）；②數(shù)據(jù)分析與挖掘實驗（4個子模塊，28個實驗）；③大數(shù)據(jù)基礎實驗（4個子模塊，13個實驗）；④大數(shù)據(jù)挖掘實驗（2個子模塊，12個實驗）；⑤案例分析實驗（3個子模塊，18）。

5 結論與展望

筆者結合實際的教學經(jīng)驗，將所有實訓軟件全部遷移到云端，并通過瀏覽器為終端用戶提供大數(shù)據(jù)實訓服務，具體包括學生端、教師端、平臺管理、開發(fā)環(huán)境、算法庫、綜合實驗項目案例庫、數(shù)據(jù)資源庫等功能，為高校大數(shù)據(jù)人才培養(yǎng)提供一個全方位的觸手可及、 隨時可用、 秒級啟動、用完即走的大規(guī)模工程實訓服務平臺。未來的重點工作將基于高校應用場景，構建更大規(guī)模的實訓平臺，為大規(guī)模重構教育信息化基礎設施、為下一代教育信息化公共服務平臺提供核心技術支持。

參考文獻：

[1]Guo D, Wang W. Cloudware: An emerging software paradigm for cloud computing[C]// In Proceedings of the Internetware 2016,Beijing, China, September 18, 2016: 1-10.

[2]Guo D, Wang W. Towards cloudware paradigm for cloud computing[C]// In Proceedings of The 9th IEEE International Conference on Cloud Computing, 2016, San Francisco, USA, June 27 - July 2, 2016: 164-171.

[3]鐘登華. 新工科建設的內涵與行動[J]. 高等工程教育研究, 2017(3): 1-6.