基于虛擬機的云計算管理平臺

文/漫步云端團隊

基于虛擬機的云計算管理平臺

文/漫步云端團隊

作品介紹

采用虛擬化技術構建一個云計算平臺方案，同時采用SpringSource中的軟件工具，開發(fā)一套面向虛擬Hadoop集群的管理平臺：vCirrus。通過該平臺配合虛擬機，可以方便的搭建一個Hadoop集群，對該集群進行監(jiān)測和管理，還可以收集大量的系統(tǒng)運行信息，為整個云計算系統(tǒng)的維護和優(yōu)化提供較好的依據(jù)。

價值主張

使用虛擬機搭建Hadoop云計算平臺主要有以下幾個優(yōu)勢和價值：

1. 硬件獨立性

由于虛擬機獨立于底層物理硬件運行，我們可以為虛擬機配置與底層硬件上存在的物理組件完全不同的虛擬組件。這樣，在一個由多種不同硬件配置的計算機組成的Hadoop云計算集群中，可以使用虛擬機對物理硬件進行虛擬化，隱藏不同計算機之間的硬件差異，從而為整個云計算平臺提供一組統(tǒng)一的硬件設備，便于整個Hadoop平臺的統(tǒng)一環(huán)境配置，同時也保證了整個云計算平臺的一致性和兼容性，降低云計算環(huán)境搭建的復雜性。

2. 平臺的可擴展性

使用虛擬機可以方便地對云計算的集群環(huán)境進行節(jié)點的添加和刪除工作，以及節(jié)點之間的遷移工作和節(jié)點的備份工作，從而實現(xiàn)整個云計算環(huán)境的動態(tài)擴展。當進行遷移工作時，使用虛擬機的克隆技術將整個虛擬機打包，該壓縮包中包含了一整套虛擬硬件資源、操作系統(tǒng)及其所有應用程序的信息，之后只需在另一個節(jié)點上解壓縮后導入即可；當進行備份工作時，使用虛擬機的快照技術生成當前狀態(tài)的一個快照，該快照內(nèi)保存了當前系統(tǒng)的各種狀態(tài)參數(shù)。當節(jié)點發(fā)生故障時，直接恢復快照即可；當需要增加節(jié)點時，可以啟動一個新的虛擬機，然后導入某個克隆壓縮包即可；當需要刪除節(jié)點時，直接關閉虛擬機即可。

3. 充分利用硬件資源

通常在一個大規(guī)模的集群中，每一個節(jié)點的資源利用率不是很高，有很多計算資源在大部分時間里被閑置。使用虛擬機可以充分利用現(xiàn)有的硬件資源，提高資源的利用率。在搭建一個云計算平臺的集群時，我們可以在一個物理計算機上開啟多個虛擬機，每一個虛擬機將被視作集群中的一個獨立的節(jié)點進行工作。這些虛擬機雖然共享一臺計算機的物理資源，但它們彼此之間保持完全的隔離狀態(tài)，被視作為不同的物理節(jié)點。如果其中一臺虛擬機崩潰，也不會影響到其他虛擬機的運行。虛擬化技術將硬件資源變成一個資源池，使用戶無需關心資源的具體分配情況，最大化硬件資源的使用價值。

架構設計

vCirrus云計算管理平臺包括三個部分：基于VMware虛擬機的Hadoop集群；基于Web的Hadoop集群配置工具；基于Web的Hadoop集群管理工具。

概述

在我們的方案中，首先使用VMware虛擬機搭建Hadoop云計算平臺。學生可以在學習云計算課程的時候，通過教學實驗平臺加深對云計算的理解，也可以使用該教學平臺進行MapReduce的編程學習。

對于管理員來說，該項目為該平臺開發(fā)一套基于Web的Hadoop平臺的配置和管理工具。該工具主要有兩部分功能：

首先，它包含一個Hadoop平臺的配置工具。它可以通過簡單明了的Web頁面，使用表單和按鈕等控件，協(xié)助管理員方便快捷地進行Hadoop的環(huán)境配置，避免了逐個修改Hadoop配置文件的繁瑣。同時，基于Web的設計架構，無需在每臺機器上安裝額外的客戶端程序，可以直接通過網(wǎng)絡進行同步配置更新，有助于教師和管理員更方便地進行維護和教學操作。

其次，它包含一個Hadoop云計算平臺的管理工具。該工具將對整個云計算教學實驗平臺進行監(jiān)控，可以實時顯示出整個網(wǎng)絡中每一個節(jié)點的運行狀態(tài)（包括運行、故障和掛起等狀態(tài)），同時該工具將對每一個節(jié)點的CPU、內(nèi)存、網(wǎng)絡通信、I/O等資源的使用率進行記錄，以便日后的跟蹤維護。除了監(jiān)控功能之外，通過該工具也可以對每一個節(jié)點進行啟動、暫停、停止和重新啟動等操作，以圖形化界面的方式方便管理員進行整個教學實驗平臺的管理。

圖1 Hadoop集群

圖2 基于VMware虛擬機的云計算平臺

整體架構設計

傳統(tǒng)搭建Hadoop集群的方法如圖1所示。該集群共有11個節(jié)點，包含了一個Hadoop Master節(jié)點和十個Slave節(jié)點。

采用虛擬機搭建Hadoop的方式整體上與之類似，不同的是在每個節(jié)點上安裝一個或多個虛擬機，然后在虛擬機中安裝Hadoop軟件，并組成集群。

例如，以上面的Hadoop集群為例，可以在每個Host節(jié)點上先安裝VMware Workstation軟件，然后安裝Ubuntu虛擬機，再在虛擬機中安裝Hadoop并組建集群，即可完成和上面功能一樣的云計算平臺，如圖2所示。

基于上述步驟，就可以完成vCirrus云計算管理平臺第一個部分的內(nèi)容。

管理平臺架構設計

vCirrus云計算管理平臺單個節(jié)點的整體架構如圖3所示。

該整體架構分為上中下三個層次：

第一，最下層是Host機的軟硬件環(huán)境。硬件上，既可以是普通的PC機，也可以是服務器，甚至是超級計算機；軟件上，既可以是Windows操作系統(tǒng)，也可以是Linux，只要是能夠支持VMware虛擬化軟件的操作系統(tǒng)都可以。

第二，中間層是Hadoop平臺

采用Cloudera組織的CDH平臺，該平臺集成了Hadoop穩(wěn)定版本及其相關的許多軟件包，包括HBase，Hive等，是一個非常完善的開源平臺。

第三，最上層是vCirrus云計算管理平臺

主要是基于SpringSource開發(fā)平臺，提供Hadoop平臺的配置工具和管理工具，為Hadoop集群的維護和管理工作提供了一個可視化和方便的手段。

應用場景

該項目雖然是從云計算教學背景提出的，但是項目的應用場景顯然不局限在教學環(huán)境的搭建上面，“vCirrus云計算管理平臺”其他應用場景包括：

圖3 vCirrus云計算管理平臺

(1) 云計算的教學平臺的搭建

可以提供一個非常方便的手段為云計算課程搭建一個云計算環(huán)境，方便教師和學生進行云計算技術的學習。

(2) 云計算的實驗環(huán)境搭建

目前關于云計算方面的研究是國內(nèi)外的熱點，利用“vCirrus云計算管理平臺”搭建云計算平臺研究各種算法，理論，以及分析各種現(xiàn)有云計算系統(tǒng)相關問題將是非常好的一個手段。

(3) 實際云計算環(huán)境的搭建

該方案可以用于不同異構的軟硬件環(huán)境中，利用虛擬機的優(yōu)勢可以將一個組織的軟硬件資源更加充分有效的利用。因此，該方案也可以用于企業(yè)或組織進行內(nèi)部的云計算環(huán)境的搭建。