使用VMware Esxi和Hadoop進行大數(shù)據(jù)平臺的搭建研究

馮文健 柳州鐵道職業(yè)技術(shù)學(xué)院 蒙煥念 廣西科技師范學(xué)院

1. VMware Esxi和Hadoop的具體分析

VMware Esxi在某種程度上是建立在具體服務(wù)器硬件上的虛擬機系統(tǒng)，在一定程度上其穩(wěn)定性能相對較好，在服務(wù)器硬件上也不會消耗過多的設(shè)備性能。在VMware Esxi上是可以進行多個服務(wù)器硬件虛擬機的創(chuàng)建的，在對于每一個虛擬機的獨立應(yīng)用程序以及操作系統(tǒng)當(dāng)中是可以去實現(xiàn)多個虛擬機的創(chuàng)建的。在一定程度上去安裝好Exsi系統(tǒng)之后，能夠去通過Vsohere Client登錄到Esxi系統(tǒng)上面去進行實際的管理，列如在次系統(tǒng)上去構(gòu)建快照以及虛擬機等方面。在Haoop中其開源分布式的系統(tǒng)構(gòu)建主要是為了給具體的程序提供較為穩(wěn)定，可靠的數(shù)據(jù)服務(wù)以及接口，其數(shù)據(jù)服務(wù)和接口主要包含了兩個方面第一是Haoop MapReduce與Hadoop Distributed HDFS。其中HDFS是hadoop的分布式文件系統(tǒng)，其主要運用的是從構(gòu)建中去構(gòu)建一個控制節(jié)點以及多個數(shù)據(jù)控制節(jié)點所構(gòu)成的。其中namenode管理文件在系統(tǒng)命名當(dāng)中其被命名為空間，在一定程度上是記錄著文件當(dāng)中的各環(huán)節(jié)數(shù)據(jù)節(jié)點中的所有信息。在某種程度上datanode存放著相關(guān)的具體數(shù)據(jù)，然后在根據(jù)其所需要的實際數(shù)據(jù)模塊進行系統(tǒng)的構(gòu)建。在Hadoop中的mapredue的分布式計算系統(tǒng)引擎是可以去實現(xiàn)對于大數(shù)據(jù)的實際進行具體的處理，在某種程度上其思想是必須要分為reduc和map階段中對與系統(tǒng)所輸入的并行地割所分成的多個任務(wù)，然后要讓reduce去負責(zé)對于map環(huán)節(jié)中的全部結(jié)果進行匯總的反饋。

2. 具體系統(tǒng)平臺的搭建

2.1 具體創(chuàng)建虛擬機和安裝Linux系統(tǒng)

在大數(shù)據(jù)平臺中使用Linux系統(tǒng)的版本是最新的版本，在實際安裝過程中所要注意的是，不能夠去忽視了對于該系統(tǒng)的靜態(tài)ip以及主機名稱和啟動時間等相關(guān)問題。在某種程度哈桑要在IBM的服務(wù)器上去構(gòu)建一個獨立的虛擬機，這樣能夠讓其在剩余的服務(wù)器上去選擇所需求的虛擬機，在相信對構(gòu)建的虛擬機中較為熟練的系統(tǒng)中，去創(chuàng)建完成本地的鏡像文件在安裝Linux，然而在系統(tǒng)鏡像文件當(dāng)中能夠去支持多個虛擬機上的系統(tǒng)文件，這也就是說明了可以同時在一個服務(wù)器上去安裝多個虛擬機，這樣能夠在很大程度上去提高安裝的效率，這樣也能夠在一定程度節(jié)省安裝時間。

2.2 服務(wù)器硬件和其他方面的準(zhǔn)備工作

在一定程度上對于VMware Esxi和Hadoop大數(shù)據(jù)平臺的搭建中所需要的服務(wù)器硬件條件是需要在服務(wù)器中安裝若干個IBM的服務(wù)器，然而根據(jù)具體的需求對IBM的服務(wù)器的實際性能進行檢測，這樣能夠讓其作為主節(jié)點，對于其他方面的聯(lián)想服務(wù)器都是需要進行獨立的創(chuàng)建出新的節(jié)點的，這樣能夠讓系統(tǒng)平臺正常穩(wěn)定的運行。在某種程度上對于多種服務(wù)器的管理必須要進行統(tǒng)一化的管理，要想進行統(tǒng)一管理就必須要在服務(wù)器上安裝VMware Esxi系統(tǒng)，這樣能夠讓計算機主機上的靜態(tài)IP，用戶名密碼等環(huán)節(jié)做好提前的設(shè)置，做好這些，最后用戶就可以進行遠程的客戶端實際操作了。在VMware Esxi和Hadoop大數(shù)據(jù)平臺搭建研究中可以在計算機中安裝光盤，在安裝過程中所需要注意的就是要針對系統(tǒng)進行安裝成功之后對于服務(wù)器進行重新其中的操作，若是在一定程度上沒有成功的啟動光盤或者是沒有啟動計算機設(shè)備，那么這種情況就必須要對系統(tǒng)進行重新的安裝，在對于系統(tǒng)安裝成果之后還需要就行用戶的相關(guān)設(shè)置，對于主機的名稱和用戶的相關(guān)登錄密碼和IP賬號等進行參數(shù)匹配的設(shè)置，這樣能夠讓用戶在遠程進行客戶端的實際操作，此外還可以在客戶端上安裝client，這樣能夠讓計算機管理員的實際操作工作變得更為簡單化。

2.3 Hadoop的實際安裝程序

在之前的Linux系統(tǒng)當(dāng)中進行配置期間已經(jīng)對于靜態(tài)IP，主機名和NTP進行了具體的配置，所以在某種程度上對于Hadoop配置過程中只需要配置相應(yīng)的文件就可以了，這個時候就需要在配置完成之后安裝爪洼程序和相應(yīng)的設(shè)置來對SSH進行客戶端的登錄操作，在一定程度上讓該平臺中安裝時候可以充分運用命令安裝，在實際安裝成功之后還必須要在etc這個配置文件當(dāng)中進行環(huán)境的具體變量。在實際安裝好JDK之后還必須要對ssh的密碼登錄進行相應(yīng)的設(shè)置，在ssh無線密碼設(shè)置環(huán)節(jié)中要在主節(jié)點上面去生成一個密鑰對，然后在將其分為私鑰以及公鑰這兩種，從而在一定程度上將公鑰復(fù)制到slawe中，這樣能夠在某種程度上去要求集群中創(chuàng)建一個較好的ssh文件，與此同時還能夠?qū)⑾嚓P(guān)的權(quán)限修改成為相應(yīng)的具體數(shù)據(jù)信號，此后就能夠簡單快捷的去生成無線密碼的密鑰對，從而將公鑰追加到授權(quán)的key程序當(dāng)中，這樣能夠讓其不間斷的讓數(shù)據(jù)傳送到其他環(huán)節(jié)節(jié)點當(dāng)中，在啟用對公鑰私鑰進行配對人活在那個過程中，要將命令改為pubkey Authentication yes，這樣能夠在一定程度上讓VMware Esxi和Hadoop大數(shù)據(jù)平臺的搭建變得更為便利。

在后續(xù)安裝程序當(dāng)中需要配置Hadoop當(dāng)中的文件，要對文件進行相應(yīng)的配置前去下載好Hadoop的源碼，然后將其編譯成為六十四位的Hadoop，同時還需要在這個程序當(dāng)中去創(chuàng)建多個文件，其主要創(chuàng)建的文件名稱是tmp，dfs/data以及name等。上述程序完成之后就需要對Hadoop的配置文件進行具體的配置了，在配置文件中有7個，還有些是默認沒有的文件，將這些文件通過復(fù)制的template來獲取受到相應(yīng)的程序。在最后就是需要修改好Hadoop的配置文件來將集群上的節(jié)點進行復(fù)制。在這個時候會出現(xiàn)文件開發(fā)的相關(guān)問題，伴隨著數(shù)據(jù)業(yè)務(wù)的流量不斷擴大，有很多的程序文件是需要在某種程度上去進行具體的修改之后的使用的，這樣會讓所有節(jié)點當(dāng)中的文件都會被修改，這種情況的出現(xiàn)會加大工作人員的工作量，為了能夠在一定程度上降低這種低效率的工作方法，在基于VMware Esxi和Hadoop大數(shù)據(jù)平臺的構(gòu)建中可以充分將crontab進行相應(yīng)的結(jié)合，這樣能夠在某種程度上去實現(xiàn)hadoop的文件同步，這樣能夠在進行首次文件同步是去實現(xiàn)文件的復(fù)制而將所傳輸?shù)奈募?nèi)容進行改動，從而在對文件內(nèi)容傳輸改動過程中能夠同時對文件進行壓縮的方式，這樣能夠讓實際工作效率有送提升，從而提升其經(jīng)濟效益的變化。

結(jié)語：總而言之，在VMware Esxi和Hadoop進行大數(shù)據(jù)平臺的搭建研究過程中，充分考慮到具體成本和對集群監(jiān)控的方式運用，在對機械設(shè)備的性能進行最大化的利用，這樣能夠讓大數(shù)據(jù)平臺的搭建展現(xiàn)出更為完美的一面，對于Linux進行選擇中不能忘記相關(guān)的參數(shù)配置，這樣能夠在一定程度上讓其更好的去發(fā)揮Hadoop的實際作用，從而讓系統(tǒng)平臺得到更好的管理。