基于HADOOP集群的數(shù)據(jù)采集和清洗

劉晨+焦合軍

摘 要：互聯(lián)網(wǎng)的到來，使計(jì)算機(jī)行業(yè)蓬勃發(fā)展，各公司的業(yè)務(wù)數(shù)據(jù)也都到達(dá)P級別的數(shù)據(jù)量。本文結(jié)合Hadoop框架的中Hive和Hbase，對各個模塊進(jìn)行了詳細(xì)的描述，重點(diǎn)分析了集群搭建步驟，及如何對集群的數(shù)據(jù)進(jìn)行采集和清洗，并通過建立表來存儲分析結(jié)果。

關(guān)鍵詞：海量數(shù)據(jù)；Hadoop；hive；數(shù)據(jù)采集；數(shù)據(jù)清洗

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A

1 引言（Introduction）

Hadoop框架本身大多是用Java編程語言編寫的，一些本地代碼是使用C語言編寫的，命令行實(shí)用程序?qū)懗蓅hell腳本，同時隨著不同公司的工作需要，隨之產(chǎn)生了許多不同的版本，極大的豐富了Hadoop的內(nèi)容，如同后續(xù)出現(xiàn)的Hive、Zookeeper。截至2013年，已經(jīng)有超過一半的世界500強(qiáng)企業(yè)采用Hadoop。Hadoop也在技術(shù)上被世界所認(rèn)同。隨著技術(shù)的發(fā)展和革新，全球大多的企業(yè)都對Hadoop青眼有加。

目前為止，Hadoop已經(jīng)涉及了全球一半以上的數(shù)據(jù)處理的工作，是當(dāng)下最為實(shí)用數(shù)據(jù)處理平臺，研究Hadoop會使得海量數(shù)據(jù)的處理變得異常輕松。Hadoop在現(xiàn)代社會的應(yīng)用已經(jīng)涉及了通信、電子商務(wù)、軍事領(lǐng)域和互聯(lián)網(wǎng)。

通過使用Hadoop，旅游公司通過Hadoop和Hive可以迅速的幫助游客篩選理想的旅游地點(diǎn)和酒店住宿等功能，并能夠分析出中短期時間內(nèi)旅游熱門的趨勢。而一些網(wǎng)絡(luò)公司，如Facebook、百度等，也運(yùn)用Hadoop來處理用戶的狀態(tài)更新，日志生成，并根據(jù)用戶的喜好分析并推送相應(yīng)的應(yīng)用和產(chǎn)品。甚至軍方也在應(yīng)用Hadoop，譬如美國軍方就應(yīng)用Hadoop的Digital Reasning來梳理來自于情報(bào)部門的大量非結(jié)構(gòu)化文本數(shù)據(jù)，并從這些分析報(bào)告中尋找出可能危害國家及人民安全的文件。最常用的也是我們普通人時時刻刻都在運(yùn)用的搜素引擎，搜索引擎通過網(wǎng)絡(luò)爬蟲和建立索引來搜羅網(wǎng)上的信息，而這兩項(xiàng)技術(shù)就依靠Hadoop平臺，將網(wǎng)頁上的內(nèi)容爬取到字節(jié)的本地服務(wù)器上，然而百度的爬取量是非常巨大的，并且為了保證數(shù)據(jù)的新鮮度，百度需要時時刻刻的向不同的網(wǎng)站發(fā)送爬取的請求，所以就會擁有成千上萬個爬蟲程序同時爬取數(shù)據(jù)，這是一個非常大的挑戰(zhàn)，運(yùn)用Hadoop平臺可以將爬取的數(shù)據(jù)高效的存儲起來，當(dāng)然這也是一個非常大的工程。爬取之后的數(shù)據(jù)存放在本地的服務(wù)器上，但是用戶這個時候并不能通過這些數(shù)據(jù)查到東西，在查詢之前，百度還需要將這些數(shù)據(jù)一一建立索引，就如同從字典中查漢字，字典中的偏旁部首就是索引，除了一些像的、和等字不需要之外，大部分的數(shù)據(jù)都需要一一建立索引，每種格式的文檔都要有一種相對應(yīng)的解析程序，以此來規(guī)避一些奇怪的符號，從而提取出數(shù)據(jù)中有用的信息。而索引的生成需要的就是高效的執(zhí)行速度，所以需要運(yùn)行在足夠多個機(jī)器上，在每個機(jī)器上同時進(jìn)行掃描輸入數(shù)據(jù)和內(nèi)存更新索引的操作，隨著數(shù)據(jù)的增多，這些索引的合并操作是呈線性增長的，基于這個原因，Hadoop項(xiàng)目下的MapReduce就體現(xiàn)出了它的價值，MapReduce[1]是一個應(yīng)用廣泛的分布式計(jì)算框架，MapReduce會將一個比較大的任務(wù)分割成諸多小任務(wù)，并將這些小任務(wù)分發(fā)給多個Mapper程序，也就是將任務(wù)分割之后布置在成千上萬臺機(jī)器上同時運(yùn)算，以此來提高效率[2]。而Hadoop在這一方面展現(xiàn)出了極大的優(yōu)勢。

大數(shù)據(jù)要經(jīng)過清洗、分析、建模，以及可視化后體現(xiàn)出其潛在的價值。但是，由于網(wǎng)民數(shù)量的不斷提升、社交網(wǎng)絡(luò)的繁榮和業(yè)務(wù)應(yīng)用的多樣化，單個文件（如日志文件）變得越來越大，文件的存儲成本和硬盤的讀取速度越來越顯得捉襟見肘。與此同時，政府、保險公司和銀行等內(nèi)部存在海量的不規(guī)則、非結(jié)構(gòu)化的數(shù)據(jù)；只能將這些數(shù)據(jù)采集并清洗為有條理的數(shù)據(jù)，才能提高企業(yè)決策支撐能力，以及政府的決策服務(wù)水平，使其發(fā)揮應(yīng)有的作用。

2 國內(nèi)外研究現(xiàn)狀（The research status at home and abroad）

2.1 國外文獻(xiàn)研究

Apache Hadoop項(xiàng)目正式啟動以支持MapReduce和HDFS的獨(dú)立發(fā)展。Yahoo建立了一個300個節(jié)點(diǎn)的Hadoop研究集群，逐漸研究集群增加到600個節(jié)點(diǎn)。1.0.0版本出現(xiàn)，標(biāo)志著Hadoop已經(jīng)初具生產(chǎn)規(guī)模。

有人在ACM數(shù)字圖書館中以Hadoop為主題檢索獲得218篇論文，文獻(xiàn)統(tǒng)計(jì)表明，對Hadoop進(jìn)行研究的美國高校較多。企業(yè)中主要有雅虎等大公司，其他機(jī)構(gòu)還有一些數(shù)據(jù)分析公司、研究所和技術(shù)協(xié)會等，具體統(tǒng)計(jì)見表1。

從研究內(nèi)容上分析總體上可以分為理論和應(yīng)用兩大方面。理論研究主要是性能優(yōu)化和任務(wù)調(diào)度，應(yīng)用研究主要是數(shù)據(jù)分析和數(shù)據(jù)查詢，結(jié)果如表2所示。

2.2 國內(nèi)研究現(xiàn)狀

國內(nèi)引用大數(shù)據(jù)技術(shù)最早的要數(shù)淘寶和百度了。2012年后，淘寶擁有2—3個集群，單一集群在3000節(jié)點(diǎn)以上。正是因?yàn)镠adoop可以部署在要求不高的節(jié)點(diǎn)之上，大量減少成本，大數(shù)據(jù)技術(shù)才能發(fā)展如此迅速。而支付寶的集群規(guī)模也達(dá)到了700臺，使用Hbase，將個人的個人消費(fèi)記錄，以key-value鍵值對存儲。

反觀百度，從2008年到2013年，僅5年的時間，百度搭建的規(guī)模從300臺機(jī)器，擴(kuò)展到很大的規(guī)模。主要進(jìn)行日志的存儲和統(tǒng)計(jì)；網(wǎng)頁數(shù)據(jù)的分析和挖掘；在線數(shù)據(jù)的反饋，及時得到在線廣告點(diǎn)擊情況。

總的來說，中國在大數(shù)據(jù)方面的研究要落后于國外好幾年，在技術(shù)反面也是沒有什么自己獨(dú)創(chuàng)的技術(shù)，都是在學(xué)習(xí)國外的技術(shù)，在人才方面，人才匱乏，處于培養(yǎng)階段，有經(jīng)驗(yàn)的人特別少，大部分人還處于學(xué)習(xí)階段，從國外的書籍，文獻(xiàn)中學(xué)習(xí)Hadoop技術(shù)。在數(shù)據(jù)交易方面，2014年2月20日，國內(nèi)首個面向數(shù)據(jù)交易的產(chǎn)業(yè)組織——中關(guān)村大數(shù)據(jù)交易產(chǎn)業(yè)聯(lián)盟成立。同時成立的中關(guān)村數(shù)海大數(shù)據(jù)交易平臺是國內(nèi)首個重點(diǎn)面向大數(shù)據(jù)的數(shù)據(jù)交易服務(wù)平臺，目前有1203家數(shù)據(jù)提供商。

2015年4月14日，全國首家以大數(shù)據(jù)命名的交易所，即貴陽大數(shù)據(jù)交易所正式掛牌成立，并在當(dāng)日成功完成了首筆數(shù)據(jù)交易。值得注意的是，貴陽大數(shù)據(jù)交易所交易的并不是底層數(shù)據(jù)，而是基于底層數(shù)據(jù)，通過數(shù)據(jù)的清洗、分析、建模、可視化出來的結(jié)果。而采取這一過程的目的，就是為了解決數(shù)據(jù)交易和使用過程中保護(hù)隱私及數(shù)據(jù)所有權(quán)的問題。

3 環(huán)境搭建（Environment building）

安裝好虛擬機(jī)，操作系統(tǒng)版本centerOS-6.5，選用的是橋接模式。我的Hadoop集群一共是三個節(jié)點(diǎn)，主節(jié)點(diǎn)IP是192.168.15.148，分節(jié)點(diǎn)分別是192.168.15.161和192.168.15.228。由于條件有限，我是在一臺電腦上安裝三個虛擬機(jī)，另外一臺電腦通過SecureCRT，WinSCP等軟件對虛擬機(jī)進(jìn)行操作。WinSCP可以與虛擬機(jī)連接，然后給Linux系統(tǒng)傳輸數(shù)據(jù)，而SecureCRT連接虛擬機(jī)，可以進(jìn)入控制臺執(zhí)行Linux命令，完成搭建。

3.1 jdk的安裝

驗(yàn)證網(wǎng)絡(luò)和設(shè)置靜態(tài)IP，在安裝jdk之前，需要確定虛擬機(jī)是否能夠與物理機(jī)器ping通。我們可以給Linux系統(tǒng)分別配置一個靜態(tài)ip地址，在有網(wǎng)絡(luò)的時候系統(tǒng)會給我們自動分配一個ip地址，配置靜態(tài)ip，命令是vi/etc/sysconfig/network-scripts/ifcfg-eth0，內(nèi)容如圖1所示。

由BOOTPROTO=dhcp變?yōu)閚one，此時改為靜態(tài)，并設(shè)定靜態(tài)IP地址。BOOTPROTO是用來配置靜態(tài)化的。之后，可以執(zhí)行命令service network restart重啟網(wǎng)絡(luò)。這樣就可以通過查看重啟后的ip是不是自己指定的靜態(tài)ip地址。

配置hosts文件，分別在虛擬機(jī)上配置hosts文件，方便集群搭建，然后在三臺虛擬機(jī)上分別執(zhí)行ping namenode、datanode1、datanode2，看是否ping成功。

卸載原有java版本，安裝sun公司的jdk。因?yàn)镠adoop需要使用到j(luò)dk中的編譯工具，所以我們?yōu)榱烁玫倪\(yùn)行Hadoop，需要安裝jdk。使用Centos系統(tǒng)安裝好虛擬機(jī)，一定是有已經(jīng)安裝好的open jdk。把已有的java版本全都刪除。

發(fā)送文件到linux中，使用的軟件是WinSCP有JDK和Hadoop，傳輸過程如圖2所示。

安裝jdk，傳送完文件之后，使用命令行解壓壓縮文件。解壓jdk的命令是gzip-d jdk-8u73-linux-x64.gz得到一個jdk1.8.0_73的文件夾，配置環(huán)境jdk變量，配置文件內(nèi)容如圖3所示。

添加完畢保存退出，執(zhí)行source/etc/profile，使配置的環(huán)境變量生效。執(zhí)行java-version，將出現(xiàn)java1.8的版本，即安裝成功。

3.2 ssh的安裝

ssh會產(chǎn)生一對公鑰和密鑰，客戶端訪問服務(wù)端的時候，服務(wù)端會發(fā)送一個公鑰給客戶端，通過產(chǎn)生的密鑰來對傳輸過來的數(shù)據(jù)進(jìn)行解密，如果能夠解密，說明可以相互通信。具體過程如圖4所示。

設(shè)置免密碼登錄，執(zhí)行ssh-keygen-t rsa產(chǎn)生密鑰，會產(chǎn)生兩個文件id_rsa（密鑰）和id_rsa.pub（公鑰）。將id_rsa_pub的內(nèi)容復(fù)制到對方的authorized_keys文件下。驗(yàn)證ssh是否成功：ssh localhost成功就會登錄到本地服務(wù)器上。

3.3 Hadoop集群搭建

解壓縮Hadoop安裝包，解壓命令是tar-zxvf Hadoop-2.6.4.tar.gz，解壓到/root目錄下。配置Hadoop的環(huán)境變量，并使其生效。修改Hadoop的配置文件，添加jdk的環(huán)境變量。修改Hadoop-env.sh文件，執(zhí)行命令vi Hadoop-env.sh，把JAVA_HOME的路徑改為當(dāng)前路徑/root/jdk1.8.0_73。修改yarn-env.sh文件，編輯yarn-env.sh

文件，在文件中加上export JAVA_HOME=/root/jdk1.8.0_73。

修改core.site.xml文件、hdfs.site.xml文件、mapred-site.xml文件和yarn-site.xml，在文件中添加相關(guān)內(nèi)容。

拷貝profile到子節(jié)點(diǎn)，主節(jié)點(diǎn)上執(zhí)行scp/etc/profile root@datanode1：/etc/，scp/etc/profile root@datanode2：

/etc/然后在兩個子節(jié)點(diǎn)上分別使新的profile生效。

完成配置之后，主節(jié)點(diǎn)namenode格式化，分節(jié)點(diǎn)不要格式化，并且主節(jié)點(diǎn)只能格式化一次。權(quán)限不夠的話修改文件權(quán)限，-R代表的是整個目錄下的東西都賦予權(quán)限。

執(zhí)行格式化，如果出現(xiàn)了Successfully formatted代表格式化成功了。然后可以主節(jié)點(diǎn)namenode上在sbin目錄下啟動start-all.sh文件。查看是否安裝成功，輸入jps命令，namenode上會出現(xiàn)四個進(jìn)程，如圖5所示。

3.4 Hive集群搭建

拷貝安裝文件到linux中/root/apache-hive-2.0.0-bin.tar.gz，執(zhí)行解壓命令tar-zxvf apache-hive-2.0.0-bin.tar.gz。

配置環(huán)境變量使其生效，編輯內(nèi)容如下：

#hive export HIVE_HOME=/root/apache-hive-2.0.0-bin

export PATH=$PATH：$HIVE_HOME/bin

在hdfs中新建目錄tmp和/user/hive/warehouse三級目錄。分別給目錄賦予權(quán)限。將mysql的驅(qū)動jar包拷入hive的lib目錄下面，進(jìn)入hive的conf目錄下面，復(fù)制hive-default.xml.template并命名為hive-site.xml。使用schematool初始化schema，生成一個hive數(shù)據(jù)庫，運(yùn)行schematool-initSchema-dbType mysql，此時可以測試hive是否安裝成功，執(zhí)行hive命令，使用jps查看會有一個RunJar的進(jìn)程，證明hive搭建成功。

3.5 Sqoop與MySQL搭建

3.5.1 Sqoop搭建

解壓sqoop文件，將sqoop-1.4.6.bin__Hadoop-2.0.4-alpha.tar.gz拷貝到linux，然后解壓tar-zxvf sqoop-1.4.6.bin__Hadoop-2.0.4-alpha.tar.gz。

修改sqoop的配置文件，找到sqoop-1.4.6.bin__Hadoop-2.0.4-alpha/conf目錄中的sqoop-env-template.sh文件，執(zhí)行命令cp sqoop-env-template.sh sqoop-env.sh，復(fù)制sqoop-env-template.sh的內(nèi)容改名為sqoop-env.sh，修改sqoop-env.sh的內(nèi)容，修改的內(nèi)容如下：

#Set path to where bin/Hadoop is available

export HADOOP_COMMON_HOME=/root/Hadoop-2.6.4

#Set path to where Hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/root/Hadoop-2.6.4

#set the path to where bin/hbase is available

export HBASE_HOME=/root/hbase-1.2.1

#Set the path to where bin/hive is available

export HIVE_HOME=/root/apache-hive-2.0.0-bin

#Set the path for where zookeper config dir is

export ZOOCFGDIR=/root/zookeeper-3.4.8

修改環(huán)境變量。執(zhí)行命令vi/etc/profile，編輯profile文件內(nèi)容，配置sqoop的環(huán)境變量。配置內(nèi)容如下：

#sqoop

export SQOOP_HOME=/root/sqoop-1.4.6.bin__Hadoop-2.0.4-alpha

export PATH=$PATH：$SQOOP_HOME/bin

為了使配置的環(huán)境變量保存后能夠生效，執(zhí)行source/etc/profile

添加jar包，sqoop是將數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入導(dǎo)出到其他數(shù)據(jù)庫，這里是將hive中的數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)出到mysql數(shù)據(jù)庫中，即把mysql-connector-java-5.1.32-bin.jar放入sqoop的lib目錄中。

3.5.2 MySQL搭建

檢查mysql是否已安裝，執(zhí)行命令rpm-qa|grep-i mysql檢查是否已安裝Linux系統(tǒng)，結(jié)果發(fā)現(xiàn)在安裝Linux系統(tǒng)的時候，會自動安裝mysql-libs-5.1.71-1.el6.x86_64。

刪除已安裝的mysql執(zhí)行yum-y remove mysql-libs*命令會將mysql名字中含有mysql-libs的mysql全部刪除。

解壓mysql的文件tar xvf MySQL-5.5.49-1.linux2.6.x86_64.rpm-bundle.tar命令將壓縮包解壓成多個文件，安裝MySQL-server、MySQL-devel、MySQL-client。安裝的MySQL就可以滿足需求。下面的是安裝命令：

rpm-ivh MySQL-server-5.5.49-1.linux2.6.x86_64.rpm

rpm-ivh MySQL-devel-5.5.49-1.linux2.6.x86_64.rpm

rpm-ivh MySQL-client-5.5.49-1.linux2.6.x86_64.rpm

修改mysql登錄密碼，首次安裝時，默認(rèn)密碼為空，可以使用mysqladmin-u root password mysql命令修改root密碼，其中mysql就是你自己設(shè)置的mysql新密碼，測試是否設(shè)置成功登錄mysql，執(zhí)行mysql-u root-p mysql看是否能夠登錄mysql。Rpm壓縮包安裝的MySQL是不會自動安裝/etc/my.cnf文件的，需要執(zhí)行命令cp/usr/share/mysql/my-huge.cnf/etc/my.cnf。

mysql默認(rèn)是不可以遠(yuǎn)程訪問，使用下面的sql語句設(shè)置遠(yuǎn)程訪問Grant all privileges on *.* to 'root' @' %' with grant option。只是這樣并不能是權(quán)限生效，可以執(zhí)行flush privileges，使權(quán)限生效。

4 數(shù)據(jù)采集和清洗（Data acquisition and data cleaning）

對采集到的數(shù)據(jù)，用MapReduce對數(shù)據(jù)進(jìn)行清洗。Java代碼是建立在maven項(xiàng)目下，所以可以直接進(jìn)入到項(xiàng)目所在地址，使用cmd命令執(zhí)行mvn package將項(xiàng)目打成jar包。要想在hive中執(zhí)行這個jar包，我們可以創(chuàng)建一個新方法，方法名為log_date_paser，執(zhí)行的命令是create function log_date_paser as'com.hiveudf.sample.LogDateParser'；把jar加入到指定目錄，即可調(diào)用log_date_paser方法清理日志數(shù)據(jù)。把原始處理清洗后，放到hdfs的/hmbbs_cleaned目錄下。

4.1 執(zhí)行過程

MapReduce的執(zhí)行過程如圖6所示。

4.2 執(zhí)行結(jié)果

MapReduce的執(zhí)行結(jié)果如圖7所示。

5 結(jié)論（Conclusion）

本文設(shè)計(jì)了基于Hadoop的數(shù)據(jù)清洗程序，執(zhí)行結(jié)果顯示執(zhí)行成功。對于一個分析系統(tǒng)來說，Hive可以用于對清洗后的數(shù)據(jù)進(jìn)行分析，腳本語句是create external table hmbbs（ip string，atime string，url string） partitioned by （logdate string） row format delimited fields terminated by'＼t' location'/hmbbs_cleaned'；創(chuàng)建一個外部分區(qū)表，從hmbbs_cleaned目錄中得到數(shù)據(jù)，該表的字段指定的有ip，atime，url。由hive的數(shù)據(jù)庫中導(dǎo)出到mysql的hmbbs數(shù)據(jù)庫中，借助于Sqoop使用命令select*from hmbbs_logs_stat；可以將匯總數(shù)據(jù)給用戶展示出來。

參考文獻(xiàn)（References）

[1] Benjamin Harvey，Soo-Yeon Ji.Cloud-Scale Genomic Signals Processing Classification Analysis for Gene Expression Microarray Data[J].Proceeding of 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society，Chicago，2014（8）：1843-1846.

[2] XIONG Wei，et al.A Self-Adaptation Approach Based on Predictive Control for SaaS[J].Chinese Journal of Computers，2016，39（2）：364-376.

[3] Lvchen Zhao，et al.A New Method for Fetal Movement Detection Using an Intelligent T-Shirt Embedded Physiological Sensors[J].Proceeding of IEEE 16th International Conference on Communication Technology，Hangzhou，2015（10）：563-567.

[4] 曾金梁.分布式日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2014.

[5] 鄭啟龍，等.基于MapReduce模型的并行科學(xué)計(jì)算[J].微電子學(xué)與計(jì)算機(jī)，2009（08）：43-48.

[6] 劉永增，張曉景，李先毅.基于Hadoop/Hive的web日志分析系統(tǒng)的設(shè)計(jì)[J].廣西大學(xué)學(xué)報(bào)（自然科學(xué)版），2011（1）：64-66.

[7] J.Locke.An Introduction to the Internet Networking Environment and SIMNET/DIS[J].Technical Science Dept，Naval Postgraduate School.2003（1）：24-29.

作者簡介：

劉 晨（1988-），男，本科，助理工程師.研究領(lǐng)域：信息安全，大數(shù)據(jù)分析.

焦合軍（1981-），男，博士，講師.研究領(lǐng)域：云計(jì)算.