云計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)踐

謝智明

?

云計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)踐

謝智明

（湖南科技學(xué)院 電子與信息工程學(xué)院，湖南 永州 425199）

文章介紹了云計(jì)算的概念，分析了構(gòu)建云計(jì)算平臺(tái)的商業(yè)主流產(chǎn)品，詳細(xì)地闡述了云計(jì)算平臺(tái)的設(shè)計(jì)和搭建過程。

云計(jì)算平臺(tái)；商業(yè)主流產(chǎn)品

1　引　言

云計(jì)算是一種能夠通過網(wǎng)絡(luò)以便利的、按需付費(fèi)的方式獲取計(jì)算資源（包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)等）并提高其可用性的模式，這些資源來自一個(gè)共享的、可配置的資源池，并能夠以最省力和無人干預(yù)的方式獲取和釋放[1]。

云計(jì)算的三個(gè)服務(wù)模式（Delivery Models）即：SaaS、PaaS和IaaS。

（1）SaaS：提供給客戶的服務(wù)是運(yùn)營商運(yùn)行在云計(jì)算基礎(chǔ)設(shè)施上的應(yīng)用程序，用戶可以在各種設(shè)備上通過瘦客戶端界面訪問，如瀏覽器。消費(fèi)者不需要管理或控制任何云計(jì)算基礎(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ)，等等。

（2）PaaS：提供給消費(fèi)者的服務(wù)是把客戶采用提供的開發(fā)語言和工具（例如Java、python、.Net等）開發(fā)的或收購的應(yīng)用程序部署到供應(yīng)商的云計(jì)算基礎(chǔ)設(shè)施上?？蛻舨恍枰芾砘蚩刂频讓拥脑苹A(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ)等，但客戶能控制部署的應(yīng)用程序，也可能控制運(yùn)行應(yīng)用程序的托管環(huán)境配置。

（3）IaaS: 提供給消費(fèi)者的服務(wù)是對所有設(shè)施的利用，包括處理、存儲(chǔ)、網(wǎng)絡(luò)和其他基本的計(jì)算資源，用戶能夠部署和運(yùn)行任意軟件，包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不管理或控制任何云計(jì)算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)的選擇、儲(chǔ)存空間、部署的應(yīng)用，也有可能獲得有限制的網(wǎng)絡(luò)組件（例如，防火墻、負(fù)載均衡器等）的控制。

2　云計(jì)算平臺(tái)概述

Eucalyptus (Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems)是Amazon EC2的一個(gè)開源云計(jì)算平臺(tái)，Eucalyptus是加利福尼亞大學(xué)(Santa Barbara)為進(jìn)行云計(jì)算研究而開發(fā)的，它與商業(yè)服務(wù)接口兼容。Eucalyptus是基于網(wǎng)格計(jì)算的基礎(chǔ)和思路發(fā)展而來的，基于網(wǎng)格或HPC的系統(tǒng)是由下而上發(fā)展成為云計(jì)算系統(tǒng)的。Eucalyptus依賴于Linux和Xen進(jìn)行操作系統(tǒng)虛擬化[2]。

在商用化的云計(jì)算系統(tǒng)中，資源一般都會(huì)采用Hypervisor虛擬化技術(shù)，如Xen、KVM等把計(jì)算資源變成同構(gòu)（Homogeneous）的節(jié)點(diǎn)，以便統(tǒng)一管理，把NSF的超級計(jì)算機(jī)與商用的公有云相結(jié)合主要是Amazon的EC2，實(shí)現(xiàn)大規(guī)模的基于工作流的科學(xué)計(jì)算，所以說Eucalyptus是VGrADS和EC2集成和融合的結(jié)果，采用Xen虛擬機(jī)實(shí)現(xiàn)了AWS的API，吸收了多種網(wǎng)格計(jì)算系統(tǒng)和EC2的優(yōu)點(diǎn)。

3　云計(jì)算平臺(tái)軟件組成

Eucalyptus 包含五個(gè)主要構(gòu)件，它們能相互協(xié)作共同提供云服務(wù)，這些構(gòu)件使用具有 WS-Security （Web服務(wù)安全，是一種提供在Web服務(wù)上應(yīng)用安全的方法的網(wǎng)格傳輸協(xié)議）的 SOAP 消息傳遞安全地實(shí)現(xiàn)相互通信。

（1）Cloud Controller（CLC）：這是主要的控制器構(gòu)件，負(fù)責(zé)管理整個(gè)系統(tǒng)。它是所有用戶和管理員進(jìn)入Eucalyptus云的主要入口。所有客戶機(jī)通過基于SOAP或REST的API與CLC通信。由 CLC 負(fù)責(zé)把請求傳遞給正確的構(gòu)件、收集它們并把來自這些構(gòu)件的響應(yīng)發(fā)送回至該客戶機(jī)，是Eucalyptus云的對外“窗口”。

（2）Cluster Controller（CC）：這個(gè)控制構(gòu)件負(fù)責(zé)管理一個(gè)集群中的虛擬實(shí)例網(wǎng)絡(luò)。請求通過基于SOAP或REST的接口被送至CC。CC維護(hù)運(yùn)行在系統(tǒng)內(nèi)的Node Controller的全部信息，并負(fù)責(zé)控制這些實(shí)例的生命周期。它把開啟虛擬實(shí)例的請求路由到具有可用資源的Node Controller。

（3）Node Controller（NC）：它控制主機(jī)操作系統(tǒng)及相應(yīng)的Hypervisor（Xen , KVM，VMWare）。在虛擬實(shí)例（根據(jù)來自 CC 的請求實(shí)例化）的每個(gè)機(jī)器上必須運(yùn)行一個(gè)NC實(shí)例。

（4）Walrus（W）：這個(gè)控制器構(gòu)件管理對Eucalyptus內(nèi)的存儲(chǔ)服務(wù)的訪問。請求通過基于 SOAP 或 REST 的接口傳遞至 Walrus。

（5）Storage Controller（SC）：實(shí)現(xiàn) Amazon的S3接口，SC與Walrus聯(lián)合工作，用于存儲(chǔ)和訪問虛擬機(jī)映像、內(nèi)核映像、RAM磁盤映像和用戶數(shù)據(jù)。其中，VM映像可以是公共的，也可以是私有的，并最初以壓縮和加密的格式存儲(chǔ)。這些映像只有在某個(gè)節(jié)點(diǎn)需要啟動(dòng)一個(gè)新的實(shí)例并請求訪問此映像時(shí)才會(huì)被解密。

Eucalyptus的開源軟件構(gòu)件無須修改即可使用，可以輕松地運(yùn)行在沒做修改的GNU Linux內(nèi)核上。更重要的是，它設(shè)計(jì)了與Amazon的EC2平臺(tái)兼容的開放編程接口（API）。這意味著一家評估EC2的公司可以在免費(fèi)的操作系統(tǒng)上使用免費(fèi)軟件來構(gòu)建相互兼容的實(shí)驗(yàn)，在將工作移向?qū)嶋H的AWS云環(huán)境之前采用Eucalyptus從事開發(fā)工作[3]。

4　云計(jì)算平臺(tái)的設(shè)計(jì)和搭建

4.1所需的軟硬件設(shè)備

（1）準(zhǔn)備兩臺(tái)機(jī)器,用虛擬機(jī)軟件(Sun VirtualBox)來虛擬出兩臺(tái)實(shí)際的機(jī)器

（2）操作系統(tǒng)：Ubuntu9.10服務(wù)器版

（3）云計(jì)算平臺(tái)環(huán)境:Eucalyptus,(Ubuntu9.10 服務(wù)器版內(nèi)置)

（4）Eucalyptus 命令行客戶端

（5）Eucalyptus客戶端: Elastic Fox(firefox插件)

4.2搭建云計(jì)算平臺(tái)

（1）一臺(tái)機(jī)器,作為Cluster（Front End），命名為：ubuntu-cluster，包含了如下部分：Cloud Controller（clc）、Cluster Controller(cc)、Walrus(the S3-like storage service)、Storage Controller(sc)。

(2)一臺(tái)機(jī)器作為Node,命名為:ubuntu-node1,包含了如下部分：Node Controller (nc)。

（3）在作為Cluster的機(jī)器上，安裝基本系統(tǒng)：Ubuntu9.10服務(wù)器版。

〖1〗安裝引導(dǎo)時(shí)，要選擇 "Install Ubuntu Enterprise Cloud"

〖2〗安裝過程中，如果提示"Cluster" 還是"Node"，一定要選擇Cluster

〖3〗安裝過程中，提示"Configure postfix"時(shí)選擇internet Site

〖4〗安裝過程中，提示"Name your cluster"時(shí)，請取一個(gè)合適的名字，比如取之為：cluster1

〖5〗安裝過程中，提示"a list of available IP addresses on your network", 一定要選擇一個(gè)可用的公共IP段。

(4)在作為Node的機(jī)器上，也安裝基本系統(tǒng)：Ubuntu9.10服務(wù)器版。

〖1〗安裝引導(dǎo)時(shí),要選擇 "Install Ubuntu Enterprise Cloud"

〖2〗安裝過程中,如果提示"Cluster"還是"Node",一定要選擇Node,如果Cluster正在運(yùn)行,這一步可能不會(huì)出現(xiàn),自動(dòng)會(huì)選擇Node。

〖3〗安裝完一個(gè)節(jié)點(diǎn)

（5）在Cloud Controller(位于ubuntu-cluster)上注冊所有的Node機(jī)器。在ubuntu-cluster上執(zhí)行:sudo euca_conf -no-rsync -discover-nodes

4.3云計(jì)算平臺(tái)命令行管理工具(Euca2ools)

（1）在https://YourIP:8443中注冊個(gè)人信息然后登錄下載證書euca2-yourname-x509.zip

（2）在客戶端機(jī)器上執(zhí)行

$mkdir~/.euca

$cd~/.euca

$unzip euca2-yourname-x509.zip

$chmod0700~/.euca

$chmod0600~/.euca/*

(3)在客戶端機(jī)器上執(zhí)行，安裝Euca2ools和EC2-API-Tools

.~/.euca/eucarc

echo"[-r~/.euca/eucarc]&&.~/.euca/eucarc">>~/.bashrc

sudo apt-get install euca2ools

sudo apt-get install ec2-api-tools

sudo reboot

（4）在客戶端機(jī)器，使用Euca2ools上傳Kernel/Ramdisk/FS Image(使用者可注冊Image，但只有管理者才可注冊kernel/ramdisks)

4.4云計(jì)算平臺(tái)虛擬環(huán)境的搭建

（1）虛擬機(jī)軟件: Sun VirtualBox

（2）管理->全局設(shè)定->網(wǎng)絡(luò)中選擇 "Host-Only"點(diǎn)編輯，然后選擇 "DHCP服務(wù)器"，禁用"啟用服務(wù)器"

（3）建立兩臺(tái)虛擬機(jī),Linux/Ubuntu，網(wǎng)絡(luò)選擇Host-Only方式

（4）在宿主機(jī)器上，將可以聯(lián)互聯(lián)網(wǎng)的網(wǎng)卡設(shè)置為針對Host-Only網(wǎng)卡的共享，這里之所以采用Host-Only +通過宿主機(jī)器共享上網(wǎng)，而不采用Bridged的聯(lián)網(wǎng)方式，是前者可以在離開網(wǎng)絡(luò)支持的情況下，虛擬機(jī)之間的關(guān)系保持不變。

4.5云計(jì)算平臺(tái)集群配置和使用

Hadoop包括基于GFS的文件系統(tǒng)HDFS（Hadoop Distributed File System）、計(jì)算架構(gòu)MapReduce及基于Bigtable原理的結(jié)構(gòu)化數(shù)據(jù)處理HBase系統(tǒng)等。Hadoop很快成為確實(shí)可擴(kuò)展應(yīng)用于Web數(shù)據(jù)處理的技術(shù)，后來Hadoop成為一個(gè)Apache開源項(xiàng)目。

Hadoop建立了一個(gè)相對通用的作業(yè)調(diào)度與管理系統(tǒng)，提供JobTracker和TaskTracker，便于Hadoop系統(tǒng)更好地應(yīng)用于海量數(shù)據(jù)的批量處理。

Hadoop系統(tǒng)的處理節(jié)點(diǎn)還可以基于虛擬化技術(shù)實(shí)現(xiàn)節(jié)點(diǎn)的同構(gòu)化，Hadoop系統(tǒng)還提供了一個(gè)基于Web的作業(yè)監(jiān)控管理界面方便用戶，提供相關(guān)API實(shí)現(xiàn)與其他技術(shù)的兼容，例如，Hadoop可以和HDFS以外的許多文件系統(tǒng)兼容，包括提供新的文件系統(tǒng)。

Hadoop技術(shù)體系是HPC技術(shù)體系的簡化版，專門針對關(guān)聯(lián)度很小的海量數(shù)據(jù)的并行處理，而HPC技術(shù)體系是一組通用的技術(shù)，適用面比Hadoop廣，但在處理搜索引擎和互聯(lián)網(wǎng)數(shù)據(jù)相關(guān)應(yīng)用時(shí)效率不如Hadoop高。在Hadoop技術(shù)被應(yīng)用到更廣泛的領(lǐng)域時(shí)，有可能會(huì)需要增加更多更復(fù)雜的功能，這時(shí)就需要和原有的HPC相結(jié)合。

集群配置環(huán)境是7臺(tái)普通的機(jī)器，操作系統(tǒng)都是Linux。Hadoop一大特點(diǎn)就是機(jī)器在多不在精。JDK必須是1.5以上的。7臺(tái)機(jī)器的機(jī)器名務(wù)必不同。

下面介紹實(shí)施步驟：

在所有的機(jī)器上都建立相同的目錄，也可以建立相同的用戶，以該用戶的home路徑來做hadoop的安裝路徑。例如在所有的機(jī)器上都建立了/home/ XieZhiMing。下載Hadoop，先解壓到Master上。這里下載的是0.17.1版本。此時(shí)Hadoop的安裝路徑就是/home/ XieZhiMing/hadoop-0.17.1。解壓后進(jìn)入conf目錄，主要需要修改以下文件：hadoop-env.sh，hadoop-site.xml、masters、slaves。Hadoop的基礎(chǔ)配置文件是hadoop-default.xml，看Hadoop的代碼可以知道，默認(rèn)建立一個(gè)Job的時(shí)候會(huì)建立Job的Config，Config首先讀入hadoop-default.xml的配置，然后再讀入hadoop-site.xml的配置（這個(gè)文件初始的時(shí)候配置為空），hadoop-site.xml中主要配置你需要覆蓋的hadoop-default.xml的系統(tǒng)級配置，以及你需要在你的MapReduce過程中使用的自定義配置（具體的一些使用例如final等幫助文檔）。

接下來介紹Hadoop命令（Command）：

命令內(nèi)容其實(shí)可以通過命令的Help以及介紹了解，主要側(cè)重于介紹一下用的比較多的幾個(gè)命令。Hadoop dfs 這個(gè)命令后面加參數(shù)就是對于HDFS的操作，和Linux操作系統(tǒng)的命令很類似，例如：

Hadoop dfs –ls就是查看/usr/root目錄下的內(nèi)容，默認(rèn)如果不填路徑這就是當(dāng)前用戶路徑；

Hadoop dfs –rmr xxx就是刪除目錄；

Hadoop dfsadmin –report這個(gè)命令可以全局的查看DataNode的情況；

Hadoop job后面增加參數(shù)是對于當(dāng)前運(yùn)行的Job的操作，例如list,kill等；

Hadoop balancer就是前面提到的均衡磁盤負(fù)載的命令。

[1]中國云計(jì)算網(wǎng)[EB/OL]]http://www.cncloudcomputing.com, 2009-07-07.

[2]Michael Bushe.Amazon S3 Outage:Do SLAsLead to Trust [EB/OL].http://www.infoq.com.2009-07-07.

[3]Amazon S3 Service Level Agreement [EB/OL].http://aws. amazon.com,2009-07-07.

（責(zé)任編校：何俊華）

2016－03－25

2013年永州市科技計(jì)劃指導(dǎo)性項(xiàng)目“企業(yè)制造云服務(wù)平臺(tái)關(guān)鍵技術(shù)研究”。

謝智明（1971－），國家工業(yè)與信息化部計(jì)算機(jī)軟件與技術(shù)系統(tǒng)分析師，湖南大學(xué)博士。

TP393

A

1673-2219（2016）10-0110-03