校園大數(shù)據實訓室建設和實踐

■ 甘肅 段曉東

編者按：為滿足教學需求，筆者搭建了大數(shù)據實訓平臺、開發(fā)了大數(shù)據實訓課程、資源庫以及題庫等，幫助教師和學生順利開展線上教學活動。本文筆者從設計、運行與管理等方面具體介紹了這一建設方案，供讀者參考。

基于云計算架構建設實踐創(chuàng)新型大數(shù)據實訓室，為高校提供完整的數(shù)據科學實驗平臺，重點建設專業(yè)教學資源以及實訓、教學科研環(huán)境，滿足課程實驗、課程設計、實習實訓、科研訓練等多方面需求，幫助學生學習課程內容，提高動手能力，激發(fā)學習興趣。

建設內容

1.搭建大數(shù)據實訓平臺

涵蓋實訓教學、考試、管理，幫助學生快速掌握應用大數(shù)據技術的技能。

2.開發(fā)大數(shù)據實訓課程

結合大數(shù)據實訓教學知識體系，開發(fā)大數(shù)據實訓課程，充實教學實訓平臺的課程內容。

3.開發(fā)實訓資源庫

結合大數(shù)據知識，設計開發(fā)教學案例、數(shù)據和算法。

4.開發(fā)試題庫

結合實訓課程內容，開發(fā)課程試題庫，用以學生的課內外練習及考核。

項目效益分析

大數(shù)據實訓室建設，能快速引入大數(shù)據技術、成熟的解決方案以及管理和教學內容。另外，實訓室的建設將使學生掌握主流技術，分享大數(shù)據應用項目實踐經驗。

業(yè)務流程、業(yè)務功能和業(yè)務量分析

大數(shù)據實訓平臺承載了課程教學、試題庫練習、案例分析等教學內容。采用傳統(tǒng)的課堂學習結合在線案例實訓的混合教學模式，可以使學生在傳統(tǒng)課堂進行理論課的學習，在平臺上進行案例實訓學習、在線練習和在線考試；老師在平臺上發(fā)布各類課程、試題庫和案例庫。

平臺采用分布式存儲和計算引擎，每位實訓學生最低需要4核CPU，8 GB內存進行實訓，同時預留30 %的CPU和內存資源維持正常運轉?？偣残枰?×50＋60=260核CPU，520 GB內存資源。

實訓平臺面向三類用戶：學生、教師、系統(tǒng)管理員。學生在在線實訓平臺完成大數(shù)據業(yè)務場景的數(shù)據采集、預處理、分析挖掘和數(shù)據可視化等大數(shù)據仿真實訓操作，全面掌握大數(shù)據的理論和技能。

教師通過平臺發(fā)布大數(shù)據實訓課程、案例和試題等教學資源，并對學習過程進行管理，包括排課、考勤、考試等教學管理，做到因材施教，方便與學生形成一對一的互動和溝通，實時掌握學生的學習狀況。

管理員全程參與監(jiān)控運維平臺，具體包括用戶權限的管理，對服務器、網絡、數(shù)據庫等支撐平臺進行統(tǒng)一管理和控制；全面監(jiān)控平臺的運行情況，包括系統(tǒng)內集群使用情況，人數(shù)上限和當前使用量情況；支持調整集群配額，如改變集群節(jié)點個數(shù)、內存、CPU配額等。

平臺總體設計

1.硬件部分

硬件部分專門提供面向大數(shù)據集群的硬件要求，服務器6臺，內存要求≥128 GB，千兆交換機2臺，多電腦切換器一個，理線器6個，光纖跳線10個，PDU電源4個，品牌42U機柜一個。如果資金寬裕一點，可以直接采用刀片式服務器，內存擴充到16×16 GB，刀箱采用12U，可安裝在標準機柜中，支持半寬和全寬服務器混插，每個機箱可配置2個8路節(jié)點。交換模塊在不影響刀片部署密度的前提下支持網絡直通擴展方案，同時支持不低于4個網絡交換機。本次配置2個網絡交換模塊，每個交換模塊配置8×1 GE＋8×10 GE。配置16×10 GE SFP+多模模塊。

光纖交換機直接采用24端口8 GB光纖交換機，存儲可采用SAN存儲，粗略估算：1個學生最多5個VM，一臺虛擬機100 GB大小，50個學生上機最多2500 GB，300個學生備份按照100 GB×300計算，總共需要33TB，同時需要考慮Raid冗余，因此最少需要50 TB存儲。

存儲系統(tǒng)的設計需滿足橫向擴展能力和容錯能力，其中橫向擴展能力指根據需求增加不同的計算和存儲容量，依靠多服務器、存儲協(xié)同運算，借負載平衡及容錯等功能在確?？煽慷鹊那疤嵯绿岣哌\算以及存儲能力，適應未來教學任務的不斷增加。容錯能力指保證整個大數(shù)據分析系統(tǒng)的穩(wěn)定性魯棒性，在技術架構設計上需要考慮服務器節(jié)點發(fā)生宕機、故障時整個集群系統(tǒng)仍能保證提供分析服務以及數(shù)據的不丟失能力。

2.軟件部分

大數(shù)據分析平臺，包括分布式批處理，實時計算引擎、機器學習算法、分布式文件和數(shù)據存儲等方面的技術能力支撐，用以支持實訓課程中數(shù)據預處理、特征提取、模型構建和優(yōu)化分析等操作。

3.教學案例包

教學案例包用于為學生提供多場景的大數(shù)據分析案例，幫助學生從真實案例中了解大數(shù)據的應用，各種算法的使用，各種數(shù)據處理的使用。

4.網絡系統(tǒng)設計

依托現(xiàn)有網絡設備，萬兆交換機2臺，提供萬兆以太網接口支持基于端口的劃分VLAN；支持組播標準LGMPV1/V2/V3;支持ARP攻擊防御，ACL等安全功能。

5.備份系統(tǒng)設計

數(shù)據平臺應采用分布式文件系統(tǒng)，多機器容錯。另外配置離線備份系統(tǒng)，保證數(shù)據不丟失。

項目建設與運行管理

為協(xié)調系統(tǒng)建設中出現(xiàn)的問題，筆者單位成立了領導小組，落實相關人員的職責，執(zhí)行領導小組的決策，協(xié)調具體工作的實施，并對系統(tǒng)建設情況進行定期檢查和監(jiān)督。在項目質保期內，由學院項目負責團隊和項目承建單位共同承擔項目的運行維護工作。在質保期后，由學院項目負責團隊承擔運行維護工作，同時由項目承建單位提供相應的技術支持。