構(gòu)建大數(shù)據(jù)平臺

系統(tǒng)安裝

1.搭建平臺所用環(huán)境

硬件：華為8路服務(wù)器，256GB內(nèi) 存，8×e8850 CPU，30TB存儲。

軟 件 ：VMware 6.0， 配 置11臺虛擬機(jī)，每臺安裝64位CentOS6.5，Hadoop 版 本為2.7.3，安裝完一臺機(jī)器，通過克隆虛擬機(jī)方式可以很快把所有機(jī)器安裝完成，達(dá)到快速部署的目的。其中hut-hadoop-master為主 節(jié) 點(diǎn)（Master），IP信 息為172.16.54.11/24，網(wǎng)關(guān) 為 172.16.54.1，huthadoop-node01_08及為hut-hadoop-web為從 節(jié) 點(diǎn)（Slave），IP 地址 為172.16.54.12-172.16.54.20。安裝時，每臺機(jī)器都沒有安裝圖形界面，通過SecureCRT進(jìn)行管理。

2.配置SSH免密碼登錄

由于Hadoop需要通過SSH登錄到各個節(jié)點(diǎn)進(jìn)行操作，為方便起見，用root用戶，每臺服務(wù)器都生成公鑰，再合并到authorized_keys。

（1）CentOS默認(rèn)沒有啟動SSH無密登錄，需要去掉每臺服務(wù)器中/etc/ssh/sshd_config中如下所示的2行的注 釋 ：#RSAAuthentication yes,#PubkeyAuthenti cation yes。

（2）每臺服務(wù)器上都輸入命令：ssh-keygen -t rsa，生成 key，都不輸入密碼，一直回車，/root目錄下會生成.ssh文件夾。

（3） 合 并 公 鑰 到authorized_keys文 件：在hut-hadoop-master（172.16.54.11）服務(wù)器上進(jìn)入/root/.ssh目錄，通過如下命令進(jìn)行合并，主要是SSH命令：

cat id_rsa.pub>>authorized_keys

ssh root@172.16.54 .12 cat ~/.ssh/id_rsa.pub>>authorized_keys，其他機(jī)器照此格式。

（4）把Master服務(wù)器的authorized_keys、known_hosts復(fù)制到Slave服務(wù)器的/root/.ssh目錄。

（5）完成，s s h root@172.16.54.12、...、ssh root@172.16.54.19就不需要輸入密碼了。

3.安裝JDK

Hadoop2.7.3需要JDK7，安裝CentOS可自定義安裝，如果沒有OpenJDK，直接解壓下載的JDK并配置變量即可

（1）下載“jdk-7u79-linux-x64.gz”，放到 /home/java目錄下。

（2）解壓，輸入命令，tar -zxvf jdk-7u79-linux-x64.gz。

（3）編輯/e t c/profile：

export JAVA_HOME=/home/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

（4）要使配置生效，輸入命令：source /etc/profile即可。

（5）輸入命令，java-version，完成。

4.安裝Hadoop2.7.3

只 在Master（172.16.54.11） 服 務(wù) 器解壓，再復(fù)制到Slave（172.16.54.12-19）服務(wù)器：

（1）下載“hadoop-2.7.3.tar.gz”，放 到 /usr目錄下。

（2）解壓命令:

tar -xzvf hadoop-2.7.3.tar.gz。

（3）在 /usr/hadoop 目錄下創(chuàng)建數(shù)據(jù)存放的文件夾，tmp、hdfs、hdfs/data、hdfs/name。

系統(tǒng)配置

1.依次配置/usr/hadoop-2.7.3/etc/hadoop目錄下的core-site.xml、hdfs-site.xml、mapredsite.xml、yarn-site.xml（注：因以上配置文件內(nèi)容太長，具體內(nèi)容通過10274759@qq.com索?。?。

圖1 JPS命令顯示的信息

圖2 任務(wù)執(zhí)行狀態(tài)

2.配 置/u s r/hadoop-2.7.3/etc/hadoop目錄 下 hadoop-env.sh、yarnenv.sh 的JAVA_HOME，如果不設(shè)置就啟動不了。內(nèi)容為：

export JAVA_HOME=/home/java/jdk1.7.0_79。

3.配 置/e t c/hadoop-2.7.3/etc/hadoop目錄下的slaves，刪除默認(rèn)的localhost，增加9個從節(jié)點(diǎn)：172.16.54.12-172.16.54.19共9個IP地址。

4.將配置好的Hadoop復(fù)制到各個節(jié)點(diǎn)對應(yīng)位置 上，通 過scp傳 送，scp -r /usr/hadoop 172.16.54.12:/usr/,其他機(jī)器照此配置。

系統(tǒng)啟動與測試

1．在Master服務(wù)器（172.16.54.11） 啟動Hadoop，從 節(jié) 點(diǎn) 會自 動 啟 動，在 /usr/hadoop-2.7.3下操作：

（1）初始化，輸入命令：bin/hdfs namenode-format

（2）全 部 啟 動 ：sbin/start-all.sh，也 可 輸 入sbin/start-dfs.sh、sbin/start-yarn.sh。

（3）停止的命令為：sbin/stop-all.sh。

（4）輸入命令 ：jps，可以看到相關(guān)信息（如圖1）。

2.Web訪問，要先開放端口或者直接關(guān)閉防火墻，狀態(tài)信息如圖2所示。

（1）在服務(wù)器控制臺輸入 命 令：systemctl stop firewalld.service或 者iptables –F。

（2）用瀏覽器打開http://172.16.54.11:8088/查看任務(wù)執(zhí)行狀態(tài)。

（3） 瀏 覽 器 打 開http://172.16.54.11:50070/查看系統(tǒng)概況。

3.安裝完成只是大數(shù)據(jù)應(yīng)用的開始，之后的工作就是，結(jié)合自己的情況，編寫程序調(diào)用Hadoop的接口，發(fā)揮 hdfs、mapreduce的作用。另外，也可以用Hadoop下的例程做測試。

注意事項(xiàng)

要成功安裝并運(yùn)行，下面幾點(diǎn)事項(xiàng)需要注意。

1.務(wù)必安裝好JDK，并在環(huán)境變量中設(shè)置好。

2.網(wǎng)卡最好啟用一個，本例中最初設(shè)置了兩個網(wǎng)卡，導(dǎo)致很多問題，不僅是路由方面的，并禁用IPv6，關(guān)閉防火墻。

3.Slave文件務(wù)必設(shè)置好。

4.yarn-site.xml文件中內(nèi)存至少2048MB以上，務(wù)必配置好最小參數(shù)、內(nèi)存參數(shù)、虛擬內(nèi)存參數(shù)，否則很多任務(wù)執(zhí)行不了，停在running狀態(tài)。

5.格式化Hadoop系統(tǒng)務(wù)必刪除掉tmp文件夾根目錄及相關(guān)目錄下的tmp文件夾，然后重建，否則，datanode不能啟動。

6.如果不能從本地上傳文件至Hadoop系統(tǒng)，也可能與防火墻有關(guān)，關(guān)閉防火墻即可。