單子鵬 朱弘飛 鄒啟明
摘要:針對(duì)高等教育中面向教學(xué)和科研服務(wù)的云計(jì)算平臺(tái)建設(shè),分析了其為教學(xué)和科研服務(wù)的具體需求,并通過(guò)對(duì)比不同虛擬化技術(shù)和服務(wù)模式,選定一種合適的云計(jì)算平臺(tái)基礎(chǔ)架構(gòu)的建設(shè)方案;介紹研發(fā)不同云計(jì)算服務(wù)應(yīng)用的實(shí)現(xiàn)方式和方法,及其對(duì)教學(xué)和科研所產(chǎn)生的實(shí)際推動(dòng)效果,總結(jié)在建設(shè)和運(yùn)維過(guò)程中發(fā)現(xiàn)的問題并給出解決策略;探討云計(jì)算等技術(shù)在高等教育中的應(yīng)用前景。
關(guān)鍵詞:虛擬化;云計(jì)算;基礎(chǔ)架構(gòu);云平臺(tái);教學(xué)科研
中圖分類號(hào):G642.0 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1674-9324(2016)18-0053-02
一、需求分析
大學(xué)計(jì)算中心是大學(xué)的公共服務(wù)體系之一,主要負(fù)責(zé)兩大方面的工作:一是承擔(dān)全校大學(xué)生計(jì)算機(jī)類課堂教學(xué)和實(shí)踐教學(xué)任務(wù);二是保障公共計(jì)算機(jī)機(jī)房、語(yǔ)言實(shí)驗(yàn)室、多媒體教室等正常運(yùn)維管理,涉及為數(shù)眾多的PC和各類服務(wù)器。
但是,隨著教學(xué)和科研在方式和方法上的不斷創(chuàng)新,計(jì)算中心的傳統(tǒng)服務(wù)模式面臨極大的問題和挑戰(zhàn),例如:快速變化的需求、資源分散、有限的經(jīng)費(fèi)投入與資源浪費(fèi)等方面的問題。
與一般的個(gè)人PC和普通學(xué)校機(jī)房不同,豐富的教、學(xué)和科研業(yè)務(wù)要求相對(duì)較高且易于獲取的計(jì)算環(huán)境,這就需要有高性能、更便捷、可資源復(fù)用的計(jì)算平臺(tái)提供支持。
總結(jié)實(shí)踐經(jīng)驗(yàn),現(xiàn)在的IT教學(xué)環(huán)境主要存在如下實(shí)際問題:
1.教學(xué)場(chǎng)所很多,不可能都配備高性能計(jì)算機(jī)。
2.教學(xué)場(chǎng)所或教師配備的教學(xué)、科研用計(jì)算機(jī),每隔三、二年就會(huì)因性能需要而更新?lián)Q代,頻繁的更新不僅僅是管理和經(jīng)費(fèi)上的重復(fù)投入,而且不利于設(shè)備的持續(xù)性利用。
3.教學(xué)和科研中需要的軟件或系統(tǒng)環(huán)境往往有較高的、特別的要求,配置大量的單點(diǎn)計(jì)算設(shè)備環(huán)境需要重復(fù)投入。
4.計(jì)算資源的分配是固定、分散的,一定程度會(huì)造成資源浪費(fèi)。
5.機(jī)房中的高性能服務(wù)器往往具有獨(dú)占性,無(wú)法做到計(jì)算資源的共享和并行操作。
6.相對(duì)封閉的操作系統(tǒng),很難做到靈活機(jī)動(dòng)的多任務(wù)應(yīng)用。
7.遠(yuǎn)程調(diào)用機(jī)房中的計(jì)算資源相對(duì)困難。
8.高性能計(jì)算資源無(wú)法做到多樣化復(fù)用,比如科研、教學(xué)和辦公無(wú)法做到有機(jī)統(tǒng)一。
為了解決以上一些面臨的實(shí)際問題,提高計(jì)算中心的服務(wù)質(zhì)量,保障教學(xué)的可持續(xù)性,創(chuàng)新教學(xué)方式,為科研、學(xué)科競(jìng)賽等量化需求等提供更便利的基礎(chǔ)環(huán)境,嘗試?yán)米钚碌奶摂M化、云計(jì)算、WEB2.0等技術(shù),統(tǒng)籌部署計(jì)算資源,優(yōu)化IT基礎(chǔ)架構(gòu),建設(shè)面向教學(xué)和科研的教育云計(jì)算多維協(xié)作平臺(tái)(以下簡(jiǎn)稱云平臺(tái))。
二、基礎(chǔ)架構(gòu)方案
1.虛擬化技術(shù)比較選型。目前技術(shù)相對(duì)成熟且得到廣泛應(yīng)用的虛擬化技術(shù)有:Hyper-v、VMware、Xen、KVM等。Hper-v是微軟Windows 2008 R2附帶的虛擬化組件,在購(gòu)買了足夠授權(quán)的情況下,Hyper-v(包括Hyper-v 2008 core)可以免費(fèi)使用;VMware是付費(fèi)的虛擬化軟件,市場(chǎng)化程度和認(rèn)可度目前來(lái)說(shuō)都是最高的;Xen和KVM都是開源免費(fèi)的虛擬化軟件,Xen由于有一個(gè)先市場(chǎng)化后開源的發(fā)展過(guò)程,所以產(chǎn)品集成化程度較高,部署和管理相對(duì)規(guī)范化;KVM自Linux 2.6.20之后集成在Linux的各個(gè)主要發(fā)行版本中,是學(xué)術(shù)界的主流VMM之一,更適合對(duì)底層技術(shù)有深刻研究的使用者,尤其是Openstack技術(shù)興起以來(lái),更是提升了KVM的關(guān)注度。
從性能上來(lái)講,在計(jì)算節(jié)點(diǎn)上虛擬Windows操作系統(tǒng),如果都能得到廠商的支持,那么性能優(yōu)化就不是問題。這幾款軟件全都能達(dá)到主系統(tǒng)至少80%以上的性能(磁盤,CPU,網(wǎng)絡(luò),內(nèi)存),Windows是微軟自身的產(chǎn)品,使用Hyper-v來(lái)虛擬Windows是有絕對(duì)優(yōu)勢(shì)的。如果是虛擬Linux,首選Xen,Xen支持Linux的半虛擬化,可以直接使用主系統(tǒng)的CPU和磁盤及網(wǎng)絡(luò)資源,達(dá)到較少的虛擬化調(diào)度操作,可以達(dá)到非常高的性能。其次是用KVM來(lái)虛擬Linux,Linux本身支持KVM的VirtIO技術(shù),可以實(shí)現(xiàn)用少量的虛擬化調(diào)度操作得到較高的系統(tǒng)性能。
綜合以上因素,考量到擁有成本、維護(hù)成本、學(xué)習(xí)成本和開發(fā)成本,我們選擇成熟度較高的Xen作為主要虛擬化方案,用于大規(guī)?;A(chǔ)架構(gòu)部署;KVM為輔助方案,配合Openstack技術(shù)開展云架構(gòu)方面的研究和測(cè)試。
2.底層物理架構(gòu)。首先將服務(wù)器分類集群,采用Xen或KVM技術(shù)進(jìn)行虛擬化,并形成計(jì)算節(jié)點(diǎn)的資源池。確定池主,以便通過(guò)API接口統(tǒng)一任務(wù)調(diào)度,實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)上的負(fù)載均衡。
為了實(shí)現(xiàn)統(tǒng)一存儲(chǔ)和HA高可用性,將存儲(chǔ)資源通過(guò)10Gb高速光通道網(wǎng)絡(luò)采用iSCSI方式接入計(jì)算節(jié)點(diǎn)。在完成虛擬化的基礎(chǔ)上,借助專業(yè)存儲(chǔ)數(shù)萬(wàn)的IOPS能力,對(duì)用戶層提供IaaS類型的云主機(jī)或云桌面等云計(jì)算服務(wù)。
3.整體系統(tǒng)設(shè)計(jì)。完成底層基礎(chǔ)物理架構(gòu)建設(shè)后,在云計(jì)算業(yè)務(wù)中間層之上,就需要研發(fā)第三層面向用戶的應(yīng)用系統(tǒng),以應(yīng)對(duì)不同的教學(xué)和科研需求。由于計(jì)算節(jié)點(diǎn)采用了池化方案,因此可以在業(yè)務(wù)層有針對(duì)性地調(diào)度不同資源池,讓不同的業(yè)務(wù)實(shí)現(xiàn)池化隔離,提高了多系統(tǒng)的單一安全性,使得風(fēng)險(xiǎn)在業(yè)務(wù)池內(nèi)可控。同時(shí),為保證數(shù)據(jù)存儲(chǔ)的安全性,通過(guò)在統(tǒng)一存儲(chǔ)上針對(duì)不同的業(yè)務(wù)層建立不同卷和LUN,來(lái)實(shí)現(xiàn)數(shù)據(jù)在存儲(chǔ)層上的安全隔離。
池化計(jì)算節(jié)點(diǎn)方案的選擇有利于異構(gòu)體系管理、業(yè)務(wù)區(qū)分的同時(shí),更方便于業(yè)務(wù)變化后的資源調(diào)整,使得有限的計(jì)算資源可以合理調(diào)配、有效利用?;诖说臄?shù)據(jù)中心應(yīng)用層的管理可以滿足更大層次上的縮放性需求,從而更便捷地解決高教問題的識(shí)別和操作。
4.云平臺(tái)應(yīng)用系統(tǒng)開發(fā)方案。如上所述,云平臺(tái)采用開源技術(shù)做底層計(jì)算資源虛擬化,搭配大容量高速存儲(chǔ)做數(shù)據(jù)中心,提供云端資源IT資源池,底層資源管理與配置采用中間層。以此為基礎(chǔ)進(jìn)行基于B/S結(jié)構(gòu)的云平臺(tái)應(yīng)用系統(tǒng)開發(fā)。
云平臺(tái)應(yīng)用系統(tǒng)的設(shè)計(jì)思想是基于開源軟件,以最小成本實(shí)現(xiàn)業(yè)務(wù)需求。應(yīng)用系統(tǒng)的運(yùn)行環(huán)境選擇Linux系列開源操作系統(tǒng)如CentOS、MySql數(shù)據(jù)庫(kù),其他功能如Web service也是基于此理念進(jìn)行選擇。
整體框架采用LAMP與MVC技術(shù)相結(jié)合,采用多種編程語(yǔ)言。前臺(tái)UI界面更多地使用了HTML5、JS等技術(shù),增強(qiáng)交互和適應(yīng)性;后臺(tái)服務(wù)主要采用JSP、PHP等技術(shù)實(shí)現(xiàn)。
三、云平臺(tái)系統(tǒng)實(shí)現(xiàn)
針對(duì)不同的業(yè)務(wù)需求,目前我們已經(jīng)嘗試開發(fā)了以下幾種教育云計(jì)算多維協(xié)作平臺(tái),并成功部署了穩(wěn)定的生產(chǎn)環(huán)境,提供了持續(xù)的服務(wù)。
1.服務(wù)中長(zhǎng)期教學(xué)和科研的自助申請(qǐng)?jiān)朴?jì)算平臺(tái)——教育云平臺(tái)。教育云平臺(tái)是以IT云資源、教師、學(xué)生為主要的管理對(duì)象,在互聯(lián)網(wǎng)上按指定流程自動(dòng)向特定目標(biāo)服務(wù)對(duì)象提供可控計(jì)算資源的云管理系統(tǒng)。教育云平臺(tái)包含授權(quán)全生命周期流程管理模塊、云主機(jī)資源授權(quán)和配置模塊、平臺(tái)資源監(jiān)控模塊、云主機(jī)自助管理模塊、平臺(tái)使用記錄統(tǒng)計(jì)分析模塊,以及提供輔助功能的云盤模塊、服務(wù)公告協(xié)助模塊、技術(shù)論壇模塊、校內(nèi)域名自定義模塊等。
教育云平臺(tái)2014年10月份上線運(yùn)行至今,訪問人次上萬(wàn),使用各類型云主機(jī)數(shù)千臺(tái)次,平均在線云主機(jī)數(shù)百臺(tái)。
教育云平臺(tái)的建設(shè)極大地縮短了用戶與資源距離,提升了計(jì)算資源的獲取速度,對(duì)教學(xué)、科研等提供了很好的支持,獲得了廣大教師和同學(xué)們的一致好評(píng)。
2.服務(wù)短期應(yīng)用的預(yù)約體驗(yàn)云計(jì)算平臺(tái)。為配合計(jì)算機(jī)課程中云計(jì)算部分、網(wǎng)站建設(shè)與部署發(fā)布等授課內(nèi)容,讓更多的同學(xué)短時(shí)體驗(yàn)、應(yīng)用典型的云計(jì)算服務(wù)——云主機(jī),又建設(shè)了基于教育云平臺(tái)的云計(jì)算IaaS體驗(yàn)平臺(tái)(excloud.hoc.ccshu.net)。
云計(jì)算IaaS體驗(yàn)平臺(tái)采用了與教育云平臺(tái)同一個(gè)基礎(chǔ)物理架構(gòu)和系統(tǒng)設(shè)計(jì)方法。同時(shí)利用云計(jì)算資源高度自由調(diào)配的特性,單獨(dú)劃定云計(jì)算資源池提供服務(wù),保證了業(yè)務(wù)的有效區(qū)分。
云計(jì)算IaaS體驗(yàn)平臺(tái)配置了豐富的系統(tǒng)模板,如WinXP、Win7、Win8、Win10、Win2003、Win2008、
Win2012、Ubuntu、CentOS、Debian等操作系統(tǒng),同時(shí)配置了模擬機(jī)房環(huán)境的機(jī)房上機(jī)系統(tǒng),讓同學(xué)們可以遠(yuǎn)程機(jī)房上機(jī),免除了機(jī)房排隊(duì)、關(guān)鍵時(shí)刻人滿為患等現(xiàn)實(shí)困擾。在為同學(xué)們?cè)谛?nèi)便捷、快速短時(shí)體驗(yàn)、使用云主機(jī)的同時(shí),也為教學(xué)實(shí)踐提供了一個(gè)很好的短時(shí)應(yīng)用平臺(tái)。
3.特色服務(wù)云計(jì)算平臺(tái)。在教育云平臺(tái)同一個(gè)基礎(chǔ)架構(gòu)下,我們還開發(fā)了各種特色服務(wù)平臺(tái)。比如為每年舉辦一次的計(jì)算機(jī)應(yīng)用能力大賽開發(fā)的競(jìng)賽云平臺(tái),服務(wù)競(jìng)賽項(xiàng)目百余個(gè),服務(wù)隊(duì)員數(shù)百名;為第八屆中國(guó)大學(xué)生計(jì)算機(jī)設(shè)計(jì)大賽上海賽區(qū)提供的國(guó)賽云平臺(tái),服務(wù)競(jìng)賽項(xiàng)目300余個(gè),服務(wù)隊(duì)員1200余名。云計(jì)算成功應(yīng)用在了競(jìng)賽資源平臺(tái)的提供上,方便了競(jìng)賽隊(duì)員,方便了專家評(píng)審,更有利于數(shù)據(jù)的積累和后續(xù)分析展示。云計(jì)算應(yīng)用到競(jìng)賽活動(dòng)的創(chuàng)新亮點(diǎn),得到專家和競(jìng)賽者的普遍認(rèn)同。
為評(píng)測(cè)更多的虛擬化和云計(jì)算技術(shù),我們利用部分計(jì)算資源開發(fā)了基于KVM、Openstack的自由云平臺(tái),以方便用戶對(duì)不同云計(jì)算技術(shù)進(jìn)行學(xué)習(xí)和比較,同時(shí)為進(jìn)一步的開發(fā)積累技術(shù)資源。
四、應(yīng)用展望
在積累云計(jì)算平臺(tái)建設(shè)經(jīng)驗(yàn)的基礎(chǔ)上,我們正在規(guī)劃研發(fā)更多的面向教學(xué)和科研的云計(jì)算應(yīng)用,比如建設(shè)基于云計(jì)算的創(chuàng)新虛擬實(shí)驗(yàn)室,建設(shè)服務(wù)于普通話測(cè)試的普測(cè)云平臺(tái),服務(wù)于教學(xué)互動(dòng)的教學(xué)在線云平臺(tái),服務(wù)于支持GPU虛擬化共享的高性能云計(jì)算實(shí)驗(yàn)室等,努力讓云計(jì)算技術(shù)真正走進(jìn)教學(xué),走進(jìn)科研,走進(jìn)服務(wù),讓教學(xué)和科研等對(duì)計(jì)算資源的需求擺脫時(shí)空的限制,從而為提高教學(xué)服務(wù)質(zhì)量做出最好保障。
五、總結(jié)
云計(jì)算技術(shù)的應(yīng)用和發(fā)展使得教學(xué)工具、教學(xué)環(huán)境、教學(xué)方法上得以創(chuàng)新性提高,進(jìn)而為高校教學(xué)質(zhì)量的穩(wěn)步提升提供更好的技術(shù)和資源保障。