一種新型的Hadoop本地化測試模型

王曉華

（蚌埠醫(yī)學院 科研處，安徽 蚌埠 233000）

一種新型的Hadoop本地化測試模型

王曉華

（蚌埠醫(yī)學院 科研處，安徽 蚌埠 233000）

MapReduce是Hadoop核心處理程序.但是目前軟件界更多是對MapReduce程序的編寫，而對其測試方法還是空白,依舊使用的是基于JUnit為基礎的測試插件.而JUnit是為了軟件進行單機測試而誕生的一種測試插件，其對分布式測試的支持性很差.同時由于其天生的狹隘性，對大規(guī)模數(shù)據(jù)進行測試根本是不可能進行.本文利用Hadoop自帶的抽象類，通過欺騙注入，給Hadoop設計一種通過營造一個運行在單機上的偽集群環(huán)境模型，從而使得MapReduce在不借助外部其他插件支持的情況下可以獨立完成全部運行并將結果輸出在本地磁盤空間.

分布式計算；hadoop；MapReduce；軟件測試

1 引言

面對現(xiàn)代社會數(shù)據(jù)信息高速增長，數(shù)據(jù)分析與設計人員迫切地希望一種能夠對大規(guī)模數(shù)據(jù)進行分析與處理的系統(tǒng).但是由于往往數(shù)據(jù)的日常產(chǎn)生是以G B為單位，因此對于其分析進而計算并不是一件非常容易的事.而Hadoop為了解決單機對大數(shù)據(jù)分析計算的不能夠有效及時處理這一缺陷而誕生的.

Hadoop是一種新興的分布式計算系統(tǒng)框架，由Apache基金會開發(fā).其主要是為了解決大規(guī)模分布式計算模式下的，讓使用者不必要知道底層運算的細節(jié)的情況下，充分利用集群計算機的強大處理能力進行數(shù)據(jù)的存儲與計算. Hadoop的構成主要是由一個底層分布式文件存儲系統(tǒng)以及運行在存儲系統(tǒng)之上的一個MapReduce處理程序構成.其中H D F S主要是負責在集群的計算機存儲硬盤上重新構建出一個基于Java虛擬機的一種集群化存儲結構，把集群中所有可利用磁盤空間組成一個巨大的偽磁盤空間供Hadoop使用.而MapReduce在此之上則通過充分調(diào)用集群內(nèi)各個計算機所擁有的的獨立資源進行分布式并行數(shù)據(jù)處理，為使用者提供了充足的可使用資源，并且由于其架構本身就是低耦合性為特性，因此可以很容易的進行數(shù)據(jù)擴展.

隨著“云計算”這一新興數(shù)據(jù)處理模型的日益推廣，Hadoop作為實現(xiàn)“云計算”的底層實現(xiàn)框架也越來越深入人心.隨之而來的就是Hadoop核心處理程序MapReduce的大規(guī)模應用.但是MapReduce程序設計廣泛推廣應用的基礎上，存在一個非常嚴重的問題，就是目前缺乏對MapReduce有效的測試工具.而且對測試工具的模型設計基本上是空白，因此本文提出了一種基于本地化的測試可用的MapReduce測試模型.

2 MapReduce測試存在的問題

Hadoop是使用Java語言所搭建的大規(guī)模數(shù)據(jù)處理框架，因此對其核心處理程序的設計我們首選是Java程序測試框架.MRUnit可以較好的為我們解決極小量數(shù)據(jù)處理的測試.其依托于JUnit來對程序進行測試運算，通過斷言計算值與期望值之間的一致性為我們提供特定值的測試結果.此種結果在一定程度上是準確且可信的，但是對于數(shù)據(jù)進行分析，特別是大規(guī)模數(shù)據(jù)分析，如果測試數(shù)據(jù)過于狹隘，往往并不能得到有效可信的結果.而MRUnit則是繼承自JUnit測試插件.JUnit的使用本身是為了單機程序測試而創(chuàng)造的測試工具，因此MRUnit在誕生之處就先天具有狹隘性，并不能為集群環(huán)境的數(shù)據(jù)測試提供支持.

而將未經(jīng)測試的MapReduce程序上傳到集群環(huán)境中進行測試本身就是一種極大的冒險.而且相對本地環(huán)境的測試，其配置更為復雜，影響因素較多，無法能夠簡單的實現(xiàn)對,MapReduce程序進行測試.同時目前軟件界還沒有專門文獻證實或關于直接在云計算集群系統(tǒng)中運行MapReduce的測試案例及測試結果出現(xiàn).

為了解決MapReduce程序使用MRUnit進行測試無法對大規(guī)模數(shù)據(jù)進行測試分析，同時又不推薦直接向程序上傳到集群環(huán)境中進行測試的問題，我們自己設計了一種的基于本地磁盤系統(tǒng)的在單機上進行文件測試方法用以解決難以對MapReduce進行測試的難題.

3 測試分析

Java程序是一種面向對象的程序設計語言，其設計普遍思路是將實物抽象成一個抽象的數(shù)據(jù)模型來進行操縱.而抽象的數(shù)據(jù)模型在Java程序設計中以類的形式表現(xiàn).而Hadoop的分布式框架是由Java語言構成.因此，我們在對分布式框架進行測試的時候，應該遵循Java語言這一特性，更多的使用類進行我們需要的測試.而對于測試類的來歷我們偏向于使用Hadoop自帶的原生類.因為相對于使用外部測試框架或輔助文件包來說，使用原生類能為我們帶來更具有穩(wěn)定性及健壯性的支持.在這里我們選擇使用的是Configured類.通過分析Hadoop的源代碼我們可以知道，Configured是繼承自Configurable接口的一個實現(xiàn)類,主要作用是對Hadoop設置一個可供運行的環(huán)境變量.這里的環(huán)境變量指的是基于Java虛擬機環(huán)境系統(tǒng)下的一種Java運行環(huán)境.我們知道Java本身具有平臺無關性的特點.而對于Hadoop來說，其本身的運行環(huán)境也是一種基于Java虛擬機的集群式分布環(huán)境，此種環(huán)境也是Java語言構建的運行環(huán)境，因此可以通過獲得本地的運行環(huán)境從而修改和替換分布式的運行環(huán)境，因此如果想在本地磁盤環(huán)境下進行MapReduce程序測試的話，那么獲得本地環(huán)境設置是我們需要解決的重點問題.

對于環(huán)境變量的獲取，需要獲取當前運行程序的環(huán)境變量并進行欺騙性注入實現(xiàn)一種對于MapReduce驗證的欺騙.為了解決此目的，我們選擇了Tool接口.

Tool接口本身實現(xiàn)了兩個方法，分別是getConf與set-Conf.其作用是獲取當前運行環(huán)境的一個環(huán)境變量.在這里我們可以通過獲取當前的環(huán)境變量注入到MapReduce中，實驗結果證明是可行的.

4 實驗環(huán)境

詞頻統(tǒng)計是測試Hadoop運算性能的既簡單又有效的程序之一，主要是統(tǒng)計文本文件中每個單詞出現(xiàn)的次數(shù).具體的實驗運行環(huán)境如下：

CPU：XEON5620

內(nèi)存/主硬盤：4GB/500G7200 r/min

操作系統(tǒng)：Ubuntu11.10

測試工具：Eclipse 3.4.1

測試數(shù)據(jù)：hadoop0.20.2自帶單詞統(tǒng)計樣本

5 代碼設計

本測試中主要是為了對MapReduce的本地化運行模型進行測試，因此在MapReduce的運算模型選擇上，更多采取了一些Hadoop自帶的演示程序進行測試，但是由于新老A P I的交接原因，重寫了所有MapReduce代碼.

對于MapReduce來說，其自定義的Mapper與Reduce設定是重中之重.我們重寫了經(jīng)典的字母計數(shù)的MapReduce程序，部分代碼如下所示：

這里分別使用了新API進行Map與Reduce的設置，這里不做過多程序，而對于主要環(huán)境獲取來說，需要使用自定義的含有main方法的程序對MapReduce進行驅動執(zhí)行.下面是程序部分模型建立代碼：

從代碼片段我們可以看到，對于傳統(tǒng)的Configuration的對象獲取，由過去產(chǎn)生對當前環(huán)境變量的獲取轉為獲取程序所執(zhí)行環(huán)境變量，并根據(jù)獲取的環(huán)境變量注入Hadoop默認的執(zhí)行驅動中，因此可以通過欺騙的形式運行MapReduce運行環(huán)境.

6 運行過程與輸出驗證

對于測試的運行我們使用的是Eclipse，只需使用傳統(tǒng)的軟件運行方式即可，而無需使用專門針對軟件測試方式的JUnit模式進行運行、對于結果的驗證，因為我們在本地磁盤上模擬Hadoop環(huán)境進行處理，生成的結果文件與集群環(huán)境下HDFS相類似，最終在本地磁盤空間的制定路徑上生成名為“part-r-00000”的內(nèi)容.part-r-00000并不帶有后綴名，究其原因是因為HDFS默認對此類文件的支持.為了解決此問題，我們使用了“NOTEPAD++”這一開源免費的文本處理工具，可以直接將結果轉碼后顯示.

7 測試結論

對于使用此新型本地化檢測模型我們可以得到三個顯著結論：

（1）Hadoop本身的運行環(huán)境是構建在Java的虛擬機環(huán)境之上，可以通過修改Configuration獲取的路徑從而欺騙Hadoop使用不同的虛擬機環(huán)境.

（2）Hadoop的存儲底層是實現(xiàn)是使用HDFS系統(tǒng)，此系統(tǒng)也遵循一般的磁盤存儲原理而僅僅是通過修改鏈接傳輸協(xié)議而構成的一個偽集群環(huán)境.HDFS的底層實現(xiàn)仍舊是一般的磁盤系統(tǒng).

（3）MapReduce雖然是運行在Hadoop集群環(huán)境之上的數(shù)據(jù)處理程序，但是仍舊可以通過偽造環(huán)境變量的方式使之運行在本地計算機系統(tǒng)之上，而無需對其進行專門配置，這點為學習或者測試MapReduce的程序設計人員提供了一條非常好的測試思路.

〔1〕White T.Hadoop：the definitiveguide[M].南京：東南大學出版社，2011.203-204.

〔2〕Apache.Single node setup[EB/OL].（2012-02-14）[2012-05 -10].http//hadoop.apache.org/common/docs/r1.0.1/ single_node_setup.html.

〔3〕Borthakur D.HDFS architectureguide[EB/OL].（2011-04-12[2012-05-10]http://hadoop.apache.org/hdfs/docs/ current/hdfs_design.Html.

〔4〕BORTHAKUR D，GRAY J，SARMA J S，et al．A-pache hadoopgoes realtime at facebook［C］//Proc of International Conference on Management of Data New York:ACM Press，2011:1071-1080．

〔5〕李建江.MapReduce并行編程模型研究綜述[J].電子學報，2011（11）：2636-2641.

TP309

A

1673-260 X（2013）10-0020-02

安徽省科技創(chuàng)新基金資助（20120752Z）；蚌埠醫(yī)學院科研基金資助（BY1024）