高職高專院校云計(jì)算環(huán)境的組建與研究

張暑軍，張黎明

(承德石油高等?？茖W(xué)校計(jì)算機(jī)與信息工程系，河北承德 067000)

1 云計(jì)算技術(shù)

云計(jì)算是一種分布式計(jì)算、并行計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。云是對(duì)網(wǎng)絡(luò)和互聯(lián)網(wǎng)絡(luò)的比喻說(shuō)法。云計(jì)算是通過互聯(lián)網(wǎng)以服務(wù)方式提供動(dòng)態(tài)可伸縮的虛擬化資源計(jì)算模式，是基于互聯(lián)網(wǎng)絡(luò)的相關(guān)服務(wù)的增加、使用和交付模式，通常設(shè)計(jì)通過互聯(lián)網(wǎng)絡(luò)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源，是通過網(wǎng)絡(luò)按需、易擴(kuò)展的方式獲得所需資源［1］。對(duì)用戶而言是按需獲得所需服務(wù)，而服務(wù)可以是軟件、互聯(lián)網(wǎng)絡(luò)及其他相關(guān)服務(wù)。云計(jì)算也意味著計(jì)算能力可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。云計(jì)算的服務(wù)包括基礎(chǔ)設(shè)施即服務(wù)、平臺(tái)即服務(wù)、軟件即服務(wù)等。

2 校園應(yīng)用

在校園中，應(yīng)用云計(jì)算便于科研教職工對(duì)信息技術(shù)的更深層次研究，改變以往教學(xué)模式，尤其采用網(wǎng)絡(luò)計(jì)算機(jī)信息化教學(xué)的課程，更能體現(xiàn)云計(jì)算平臺(tái)給教學(xué)帶來(lái)的優(yōu)勢(shì)。在校園網(wǎng)絡(luò)中基于網(wǎng)絡(luò)的應(yīng)用系統(tǒng)搭建在云平臺(tái)上，提高系統(tǒng)運(yùn)行效率。如圖1所示，云計(jì)算在教學(xué)中的應(yīng)用。有了云計(jì)算平臺(tái)，校園網(wǎng)絡(luò)的功能大大增加，尤其是對(duì)教師和學(xué)生個(gè)人的服務(wù)更為廣闊，使得教師可永久性存儲(chǔ)課件及其相關(guān)資料，學(xué)生可永久性存儲(chǔ)自己的作業(yè)、復(fù)習(xí)內(nèi)容、實(shí)驗(yàn)內(nèi)容及結(jié)果等。從而方便廣大師生的教育與學(xué)習(xí)。

云計(jì)算在校園的綜合應(yīng)用所帶來(lái)的優(yōu)勢(shì)，完全改變了傳統(tǒng)網(wǎng)絡(luò)服務(wù)模式，使以往不可能實(shí)現(xiàn)或成本較高的網(wǎng)絡(luò)資源投入低成本實(shí)現(xiàn)，包括:

1)云計(jì)算使得校園網(wǎng)絡(luò)綜合應(yīng)用平臺(tái)中校園網(wǎng)、精品課程網(wǎng)站、課程資源網(wǎng)站等均被放置在各自獨(dú)立的虛擬操作系統(tǒng)和服務(wù)中，互不干涉。提高了系統(tǒng)的獨(dú)立性和可維護(hù)性;

2)為每個(gè)教職員工提供虛擬操作系統(tǒng)、云存儲(chǔ)空間，讓每個(gè)教職工的工作文件、資源不再受區(qū)域的限制。

3)為每個(gè)學(xué)生搭建獨(dú)立的網(wǎng)絡(luò)學(xué)習(xí)環(huán)境，通過虛擬操作系統(tǒng)、云存儲(chǔ)空間記錄學(xué)生的學(xué)習(xí)經(jīng)歷，讓學(xué)生能夠在大學(xué)校園里留下自身學(xué)習(xí)的足跡。

4)搭建個(gè)人教育和學(xué)習(xí)網(wǎng)站，云計(jì)算平臺(tái)可為每個(gè)教職工、學(xué)生提供獨(dú)立的操作系統(tǒng)、存儲(chǔ)空間，個(gè)人可在自己的空間中構(gòu)建網(wǎng)站。從而分享教職工的工作經(jīng)驗(yàn)、分享教學(xué)方法，有助于教職工的工作交流。同時(shí)也記錄了教職工的工作經(jīng)歷。

3 云計(jì)算平臺(tái)組建

在云平臺(tái)的搭建上，對(duì)于校園采用開源的云計(jì)算服務(wù)系統(tǒng)Hadoop，Hadoop是一個(gè)可靠性高，可擴(kuò)展性強(qiáng)的分布式軟件系統(tǒng)。它使得通過簡(jiǎn)單的編程實(shí)現(xiàn)對(duì)大型數(shù)據(jù)的集群式處理。使得每個(gè)本地計(jì)算與存儲(chǔ)不依賴于硬件。具有較高的可用性。Hadoop技術(shù)內(nèi)容包括［2］:

Hadoop Common:為Hadoopd的其他模塊提供基礎(chǔ)支持;

Hadoop Distributed File System:分布式文件系統(tǒng)，提供了高吞吐量的數(shù)據(jù)訪問能力;

Hadoop YARN:工作任務(wù)和集群資源管理框架;

Hadoop MapReduce:基于YARN的大批量數(shù)據(jù)并行處理系統(tǒng)。

由于Hadoop技術(shù)是基于Java語(yǔ)言開發(fā)，因此搭建Hadoop環(huán)境首先需要安裝JDK以支持Hadoop的運(yùn)行，本次研究以開源Linux作為整個(gè)云計(jì)算平臺(tái)的操作系統(tǒng)，JDK版本使用JDK6.0作為Hadoop的基本運(yùn)行環(huán)境。在研究中，通過架設(shè)一臺(tái)主服務(wù)器和三臺(tái)輔助服務(wù)器為例。主機(jī)名和IP地址對(duì)照如表 1［3］。

表1 服務(wù)器的主機(jī)名和IP對(duì)照表

1)修改服務(wù)器的hosts文件，使得每個(gè)服務(wù)器都可以正確的解析服務(wù)器名和IP的對(duì)應(yīng)關(guān)系

2)無(wú)密碼安全登錄配置

配置每個(gè)服務(wù)器可使得服務(wù)器之間通過SSH無(wú)密碼安全登錄，方法為將每個(gè)服務(wù)器的SSH登錄公共密鑰復(fù)制到各自機(jī)器的用戶目錄下，并修改文件名為authorized_keys，每個(gè)機(jī)器上完成同樣的操作，使得所有服務(wù)器相互之間可無(wú)密碼安全登錄。注意每個(gè)服務(wù)器所使用的用戶名要相同。

3)安裝Hadoop并配置主輔服務(wù)器

安裝Hadoop本身比較容易，只需要下載Hadoop最新發(fā)布包，解壓到機(jī)器上即可，但需要注意，將所有服務(wù)器的Hadoop安裝目錄設(shè)置成相同的。在每個(gè)服務(wù)器的masters配置文件中加入Namenode節(jié)點(diǎn)和Jobtracker的IP地址，以及在每個(gè)服務(wù)器的slaves配置文件中添加Datanode節(jié)點(diǎn)的IP地址，這樣，集群環(huán)境中就已經(jīng)設(shè)置好了主從服務(wù)器。

4)修改配置文件

在 Hadoop 環(huán)境中，配置文件主要包括 core-site.xm、hdfs-site.xml、mapred-site.xml

配置完成后，測(cè)試每臺(tái)服務(wù)器之間相互訪問情況，并修改每臺(tái)機(jī)器上的hadoop-env.sh文件，使得JDK的安裝目錄正確配置。

4 啟動(dòng)測(cè)試

啟動(dòng)Hadoop前先通過執(zhí)行命令hadoop namenode-format以執(zhí)行一次文件系統(tǒng)的格式化操作，并檢查name目錄是否生成。注意啟動(dòng)時(shí)只需要通過主服務(wù)器啟動(dòng)，其他從服務(wù)器可自動(dòng)被主服務(wù)器啟動(dòng)。

Hadoop提供了啟動(dòng)所有節(jié)點(diǎn)的命令start-all.sh，該命令執(zhí)行 完成后即可產(chǎn)生data目錄，查看是否正確生成data目錄，如果希望關(guān)閉所有節(jié)點(diǎn)，可運(yùn)行stop-all.sh命令。

5 總結(jié)

在整個(gè)實(shí)驗(yàn)過程中出現(xiàn)了許多問題，但經(jīng)過作者不懈努力，最終能夠成功實(shí)現(xiàn)Hadoop組建的云計(jì)算平臺(tái)，為以后研究云計(jì)算應(yīng)用奠定了夯實(shí)基礎(chǔ)。在高職高專校園網(wǎng)絡(luò)建設(shè)中云計(jì)算將會(huì)越來(lái)越受到重視和廣泛的應(yīng)用。在后期研究中，作者將加大云計(jì)算應(yīng)用的研究。使得高職高專院校在云計(jì)算平臺(tái)為國(guó)家、為社會(huì)培養(yǎng)人才。

［1］劉剛，侯賓，翟周偉.Hadoop開源云計(jì)算平臺(tái)［M］.北京:北京郵電大學(xué)出版社有限公司，2011.

［2］(美)懷特(White，T.)著.周敏奇，錢衛(wèi)寧，金澈清，等譯.Hadoop權(quán)威指南(第2版)修訂升級(jí)版［M］.北京:清華大學(xué)出版社，2011.

［3］(美)拉姆 (Lam，C.)著.韓冀中譯.Hadoop實(shí)戰(zhàn)［M］.北京:人民郵電出版社，2011.