基于Hadoop的云平臺參數(shù)優(yōu)化

張 巖, 王 研

(1. 沈陽師范大學(xué) 計算機與數(shù)學(xué)基礎(chǔ)教學(xué)部, 沈陽 110034; 2. 沈陽師范大學(xué) 教育技術(shù)學(xué)院, 沈陽 110034; 3. 中國醫(yī)科大學(xué) 生物醫(yī)學(xué)工程系, 沈陽 110013)

?

基于Hadoop的云平臺參數(shù)優(yōu)化

張 巖1, 王 研2,3

(1. 沈陽師范大學(xué) 計算機與數(shù)學(xué)基礎(chǔ)教學(xué)部, 沈陽 110034; 2. 沈陽師范大學(xué) 教育技術(shù)學(xué)院, 沈陽 110034; 3. 中國醫(yī)科大學(xué) 生物醫(yī)學(xué)工程系, 沈陽 110013)

作為中間件的軟件框架,Hadoop可以對大量數(shù)據(jù)進行分布式處理?；贖adoop的云平臺參數(shù)的優(yōu)化可以提高系統(tǒng)的處理性能。使用VMware虛擬機技術(shù)在單機上配置多個虛擬計算機節(jié)點,實現(xiàn)滿足實驗環(huán)境的Hadoop完全分布式平臺,并且進行集群測試。對Hadoop平臺的相關(guān)參數(shù)進行優(yōu)化配置,利用TeraSort程序?qū)?shù)優(yōu)化前后進行了對比測試,分析了測試結(jié)果。實驗表明,參數(shù)優(yōu)化對Hadoop平臺性能具有較大的影響。在實際工程的全局部署之前,可利用或借鑒本方法,以應(yīng)用環(huán)境為基礎(chǔ),充分考慮硬件配置情況、集群數(shù)量和數(shù)據(jù)大小等因素,進行樣本的調(diào)優(yōu)實驗,獲得最優(yōu)的云平臺組合參數(shù)。

Hadoop; MapReduce; 參數(shù)優(yōu)化; 虛擬機

0 引 言

參數(shù)優(yōu)化是對Hadoop平臺進行性能優(yōu)化的重要策略之一。Hadoop在各個配置文件中的參數(shù)都有其默認(rèn)值,默認(rèn)值是hadoop根據(jù)一般情況給出的一個參考值,并不是具體問題的最優(yōu)解,要根據(jù)實際情況(軟硬件配置,網(wǎng)絡(luò)條件,集群數(shù)量,處理的job大小等)來調(diào)整最優(yōu)值,而每一個實際的具體問題所面臨的情況是不同的,因此只能由Hadoop的運維人員進行手工參數(shù)調(diào)整,使Hadoop平臺達到一個最佳的效能。參數(shù)優(yōu)化面臨的問題:1)Hadoop總共有190多個可以配置的參數(shù),每一個參數(shù)都有可能對集群的性能產(chǎn)生一定的影響,完全優(yōu)化就要考慮到所有的參數(shù);2)參數(shù)和參數(shù)之間是有相關(guān)性的,當(dāng)相關(guān)的參數(shù)都達到最優(yōu)解的時候,它們組合到一起對于集群的優(yōu)化不一定是最優(yōu)的,要對相關(guān)參數(shù)進行排列組合進行優(yōu)化;3)一個集群的參數(shù)優(yōu)化達到最佳,將參數(shù)全部移植到另一個集群,不一定會得到最佳的效果,即使在同一個集群上,執(zhí)行不同的任務(wù)其參數(shù)的最佳解也是不同的。所以參數(shù)優(yōu)化意味著巨大的工作量,實現(xiàn)完全優(yōu)化具有相當(dāng)大的難度。

1 參數(shù)優(yōu)化的實驗環(huán)境

1.1 參數(shù)調(diào)優(yōu)涉及的主要文件

Hadoop參數(shù)調(diào)優(yōu)主要涉及core-site.xml,hadoop-env.sh,hdfs-site.xml,mapred-site.xml四個文件。core-site.xml為Hadoop的核心屬性文件,參數(shù)影響決定著Hadoop的核心功能,文件獨立于HDFS與MapReduce。hadoop-env.sh為Hadoop的參數(shù)文件。主要是完成各個進程的內(nèi)存劃分以及部分環(huán)境設(shè)置。hdfs-site.xml為Hadoop的參數(shù)文件。主要是完成HDFS的端口、目錄以及HDFS和namenode之間的通信設(shè)置。mapred-site.xml為Hadoop的參數(shù)文件。主要完成map、reduce和JobTracker的設(shè)置[1]。

1.2 參數(shù)調(diào)優(yōu)涉及的主要參數(shù)

Hadoop框架可以設(shè)置的參數(shù)很多,如果不針對特定場景的應(yīng)用,可以考慮以下參數(shù)的優(yōu)化,來滿足一般應(yīng)用情景的性能調(diào)優(yōu)。具體包括:

HDFS,dfs.block.siz,Mapredur,io.file.buffer.siz,io.sort.m,io.sort.spill.percent,mapred.local.dir,mapred.map.tasks & mapred.tasktracker.map.tasks.maximum,mapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximum,mapred.reduce.max.attempts,mapred.reduce.parallel.copies,mapreduce.reduce.shuffle.maxfetchfailures,mapred.child.java.opts,mapred.reduce.tasks.speculative.execution,mapred.compress.map.output & mapred.map.output.compression.codec,mapred.reduce.slowstart.completed.maps[2]。

本實驗選取io.file.buffer.size,dfs.block.size,mapred.map.task,mapred.reduce.tasks,mapred.tasktracker.map.tasks.maximum進行實驗[3]。在相對應(yīng)的實驗部分將對選取原因進行說明。

1.3 實驗軟硬件配置

實驗機使用2臺電腦,一臺作為系統(tǒng)宿主機,一臺作為遠(yuǎn)程控制終端機。宿主機配置為CPU core i3,4核,8 G內(nèi)存,終端機配置CPU Pentium4,2核,4 G內(nèi)存。Hadoop平臺宿主機安裝windows7,VMware10.0.2虛擬機,ubuntu12.04 server,Hadoop1.2.1,java-JDK JDK-7u45-linux-i586 。遠(yuǎn)程控制終端安裝windows7,Xmanager.Enterprise.5.0.0517[4]。

所有優(yōu)化測試均用TeraSort程序測試2 GB數(shù)據(jù)完成。具體硬軟件見表1[5]。

表1 實驗平臺軟硬件配置

2 參數(shù)優(yōu)化的方法和過程

2.1 io.file.buffer.size參數(shù)優(yōu)化

在core-site.xml中,io.file.buffer.size參數(shù)表示流文件緩沖區(qū)大小,緩沖區(qū)用于臨時存儲hadoop讀取的hdfs文件和寫入到hdfs的文件,以及map的輸出。這個參數(shù)要設(shè)置為系統(tǒng)頁面大小的倍數(shù),以byte為單位,默認(rèn)值是4 KB。通過增大緩沖區(qū)的大小能夠減少I/O次數(shù),進而提高系統(tǒng)性能。雖然較大的緩存可以提供更高的數(shù)據(jù)傳輸速度,但這也就意味著更大的內(nèi)存消耗和延遲[6]。在進行具體參數(shù)優(yōu)化時,采用以下方法:

1) 添加如下xml代碼:

2) 分別將參數(shù)值設(shè)置為4～256 KB,優(yōu)化測試結(jié)果如表2所示。

表2 io.file.buffer.size優(yōu)化測試結(jié)果

從表2中的測試結(jié)果來看,io.file.buffer.size參數(shù)對集群的性能影響較大,取8 K的時候所用的測試時間最短。限于實驗用集群較小,資源有限,所以當(dāng)該參數(shù)配置增大時,造成了內(nèi)存消耗過大而使集群的性能降低,導(dǎo)致測試時間增長。總體觀察整個表可見,CPU耗時折線趨于穩(wěn)定,說明io.file.buffer.size參數(shù)對于CPU的耗時影響不大,對集群的整體負(fù)載、網(wǎng)絡(luò)間通訊耗時有一定的影響。

2.2 dfs.block.size參數(shù)優(yōu)化

dfs.block.size是hdfs-site.xml中的一個重要參數(shù),該參數(shù)指定一個數(shù)據(jù)塊的上限,默認(rèn)大小為64 M。fs.block.size參數(shù)對于MapReduce的執(zhí)行效果有直接的影響,在分布式文件系統(tǒng)的性能調(diào)優(yōu)中非常關(guān)鍵,具有實際的性能調(diào)優(yōu)意義。從Hadoop的框架運行原理來看,map是并行式處理任務(wù)的,如果block的大小不一樣,那么較小的先執(zhí)行完畢后,要等待較大的執(zhí)行完才能繼續(xù)進行后續(xù)的任務(wù),導(dǎo)致更多的時間消耗。所以,怎樣配置該參數(shù)使block數(shù)據(jù)塊的大小一致,從而使所有的map任務(wù)同時完成成為該參數(shù)調(diào)優(yōu)的關(guān)鍵[7]。

參數(shù)調(diào)優(yōu)的具體方法是,根據(jù)被處理數(shù)據(jù)塊大小選擇一個能將其整除的數(shù)作為分片block的大小,以保證數(shù)據(jù)快大小一致,map并行同時完成?？紤]TeraSort程序測試2 GB的數(shù)據(jù)可以分割成2個大小為1 G的文件。若選擇fs.block.size為96 M上限,每個文件將會分割為10個96 M的數(shù)據(jù)塊和一個64 M的數(shù)據(jù)塊,2個文件即為20個96 M數(shù)據(jù)塊和2個64 M數(shù)據(jù)塊。Hadoop框架的運行機制是根據(jù)數(shù)據(jù)塊數(shù)產(chǎn)生執(zhí)行函數(shù)map的個數(shù),則將產(chǎn)生22個map,其中執(zhí)行2個64 M數(shù)據(jù)塊的map先執(zhí)行完畢,然后進入等待其余20個執(zhí)行96 M數(shù)據(jù)塊的map完成,增多了map資源,延長了處理時間。若選擇fs.block.size為128 M,則將產(chǎn)生16個map函數(shù),各個函數(shù)可以同時完成,不會造成資源和時間的浪費。

1) 在hdfs-site.xml中添加如下配置內(nèi)容:

2)分別將block大小設(shè)置為32 M、64 M、96 M、128 M、256 M,對Hadoop的性能進行調(diào)優(yōu)測,測試結(jié)果如表3所示。

表3 dfs.block.size優(yōu)化測試結(jié)果表

從表3中的測試結(jié)果來看,對于2 G的被處理數(shù)據(jù),當(dāng)dfs.block.size選擇為64 M和128 M時,可以分割相同大小的數(shù)據(jù)塊,所以性能較好,效率也比較接近;當(dāng)dfs.block.size選擇為96 M時,處理時間變長;當(dāng)dfs.block.size選擇為32 M時,由于產(chǎn)生的map數(shù)過多,形成了大量合并計算,浪費了內(nèi)存以及CPU資源,增加了網(wǎng)絡(luò)傳輸?shù)南?導(dǎo)致運行不成功;當(dāng)dfs.block.size選擇為256 M時,由于產(chǎn)生的并發(fā)map數(shù)過小,執(zhí)行效率比較低,性能較差。

2.3 mapred.map.task參數(shù)優(yōu)化

參數(shù)mapred.map.task包含在mapred-site.xml文件中。該參數(shù)是用來配置集群中map task數(shù)量的。它和mapred.reduce.task兩個參數(shù)對于提升集群的運轉(zhuǎn)速度有重要的作用。mapred.map.task的默認(rèn)值是輸入文件的總體大小與HDFS文件塊大小的比值[8]。如果增加task的數(shù)量,則有利于負(fù)載平衡,減少任務(wù)失敗的代價,同時也會增大系統(tǒng)的開銷。

Hadoop默認(rèn)情況下mapred.map.tasks參數(shù)為total_size/block_size,通常默認(rèn)值為理論上map task數(shù)的最小值,所以設(shè)置值必須大于默認(rèn)值[9]。

對于本實驗2 G的數(shù)據(jù),前面的實驗已經(jīng)證實塊大小為64 M和128 M,系統(tǒng)性能效果較好,太大或太小都影響效率。因此map task應(yīng)設(shè)置為2 048 M/128 M=16塊或者2 048 M/64 M=32塊。即map數(shù)在16到32之間預(yù)期效果較好。所以實驗采用16、20、24、28、32五個map數(shù)進行測試。

1) 在mapred-site.xml中添加如下配置內(nèi)容:

2) 分別將tasks設(shè)置為16、20、24、28、32,對Hadoop的性能進行調(diào)優(yōu)測,測試結(jié)果如表4和圖1所示。

表4 mapred.map.tasks優(yōu)化測試結(jié)果表

圖1 2 GB文件TeraSort測試mapred.map.tasks優(yōu)化Fig.1 2 GB TeraSort test mapred.map.tasks optimization

從測試結(jié)果圖1來看,Map Task 數(shù)量對系統(tǒng)性能有很大影響。當(dāng)mapred.map.tasks為24時,速度相對最快,而在最大32和最小16時,速度相對較慢,實驗證實了之前的預(yù)期結(jié)果。

2.4 mapred.reduce.tasks參數(shù)優(yōu)化

mapred.reduce.task參數(shù)是mapred-site.xml中用來配置集群中運行的reduce task數(shù)量的,Hadoop為它配置的默認(rèn)值為1,適當(dāng)?shù)奶岣咴搮?shù)的數(shù)值有利于提升集群的效率[10]。考慮到本實驗環(huán)境中的集群資源有限,根據(jù)上一個參數(shù)優(yōu)化的結(jié)果,即mapred.map.task為24時,適當(dāng)增大mapred.reduce.task參數(shù)的大小,分別取reduce task數(shù)量為1、2、3、4、5、6進行測試。

1) 在mapred-site.xml中添加如下配置內(nèi)容:

2) 分別將tasks設(shè)置為1、2、3、4、5,對Hadoop的執(zhí)行時間性能進行調(diào)優(yōu)測試,測試結(jié)果如圖2所示。

圖2 2 GB文件TeraSort測試mapred.reduce.tasks優(yōu)化Fig.2 2 GB TeraSort test mapred. reduce. tasks optimization

從測試結(jié)果圖2來看,可以得出如下分析結(jié)論:

1) 由于map與reduce進程之間在運行時執(zhí)行時間有重合,因此map時間與reduce時間之和大于總時間。

2) 當(dāng) reduce task 的值小于節(jié)點數(shù)3時,總時間與map時間變化并不大,當(dāng)超過3以后,時間隨reduce task的值增大而顯著增大。

3) 當(dāng)reduce task的值在3以內(nèi)時,reduce執(zhí)行時間隨reduce task的值增大而減少,這是由于增加了reduce的并行度,當(dāng)reduce task的值超過節(jié)點數(shù)3時,reduce執(zhí)行時間就會顯著增加。

4) reduce task 的數(shù)量應(yīng)該設(shè)置為接近 slave 節(jié)點數(shù)量,或者適當(dāng)大于節(jié)點數(shù),不宜設(shè)置為比節(jié)點數(shù)量大太多。

2.5 mapred.tasktracker.map.tasks.maximum參數(shù)優(yōu)化

mapred.tasktracker.map.tasks.maximum參數(shù)是mapred-site.xml文件中用來配置一個Tasktracker最多可以同時運行的map任務(wù)數(shù)量的,其默認(rèn)值為2,也就是一個節(jié)點最多同時只能執(zhí)行2個map,則3個datanode同時能夠執(zhí)行6個map,本實驗運行時集群情況如圖3所示。

圖3 2 GB文件TeraSort測試mapred.tasktracker.map.tasks.maximum優(yōu)化(a)

mapred.tasktracker.map.tasks.maximum參數(shù)應(yīng)該根據(jù)CPU的性能來調(diào)整,具體策略是mapred.tasktracker.map.tasks.maximum設(shè)置為節(jié)點的CPU的cores數(shù)目或者cores數(shù)目減1比較合適,此時的運行效率最高[11]。根據(jù)本實驗實際情況測試,每個虛擬節(jié)點的虛擬CPU內(nèi)核數(shù)為2時,系統(tǒng)運行效率相對較好。按照mapred.tasktracker.map.tasks.maximum設(shè)置為CPU核數(shù)或者CPU核數(shù)減1時的運行效率最高策略，可以將mapred.tasktracker.map.tasks.maximum設(shè)置為2。根據(jù)圖3數(shù)據(jù)所示,Nodes的值為3,即圖3中的Map Task Capacity的值為6時,可以獲得較好的運行性能。

在mapred-site.xml中添加如下配置內(nèi)容:

當(dāng)然mapred.tasktracker.map.tasks.maximum參數(shù)值并不是越大越好,參數(shù)過大系統(tǒng)運行效率并不能提高[12]。下面是mapred.tasktracker.map.tasks.maximum參數(shù)值設(shè)置值過大,系統(tǒng)運行的測試狀況。本實驗設(shè)置一個節(jié)點可以同時執(zhí)行最多12個map,3個節(jié)點一共可以同時執(zhí)行36個map。由于mapred.map.tasks設(shè)為16,因此現(xiàn)在同時執(zhí)行的map是最大值16個。實驗運行時集群情況如圖4所示。

從測試結(jié)果圖3和圖4來看,map過程的時間大到已經(jīng)失去實際意義,因此將參數(shù)設(shè)置為2較為合適。觀察圖4中的運行狀態(tài)數(shù)據(jù),Running Map Tasks的值是16,Avg.Tasks/Node的值是14,數(shù)據(jù)明顯反映出,集群的節(jié)點負(fù)荷不合理,系統(tǒng)的運行性能下降。分析造成運行時間增長的原因,圖4中Map Task Capacity的值是36,Occupied Map Slots的值是16,即mapred.tasktracker.map.tasks.maximum設(shè)置為12,mapred.map.task設(shè)置為16的具體表現(xiàn),可以計算出,在集群實際運行時,Map Task Capacity的占用率僅為16/36≈44.4%。所以,不合適的參數(shù)配置降低了資源的利用率,對系統(tǒng)的運行性能產(chǎn)生了負(fù)影響。

圖4 2 GB文件TeraSort測試mapred.tasktracker.map.tasks.maximum優(yōu)化(b)

3 結(jié) 論

本實驗?zāi)康氖峭ㄟ^對廣泛使用的Hadoop云平臺進行參數(shù)調(diào)優(yōu),測試參數(shù)對平臺效率的影響程度,并且找到參數(shù)優(yōu)化的方法。本實驗所有測試均使用2 GB文件的TeraSort程序測試,對io.file.buffer.size,dfs.block.size,mapred.map.task,mapred.reduce.tasks,mapred.tasktracker.map.tasks.maximum等主要參數(shù)進行優(yōu)化。實驗表明,將涉及到的所有參數(shù)全部調(diào)優(yōu),測試2 GB文件的排序,運行時間結(jié)果602秒,對比參數(shù)全部采用默認(rèn)值進行實驗,運行時間結(jié)果639 s,優(yōu)化后的運行效率提高了6%。調(diào)優(yōu)的方法是對參數(shù)默認(rèn)值進行測試,要慎重采用;充分考慮硬件配置情況,特別是CPU core的數(shù)量;將集群數(shù)量和數(shù)據(jù)大小等進行綜合考慮;對有相關(guān)性的參數(shù)協(xié)調(diào)優(yōu)化,尋找參數(shù)的最佳組合方案。

[ 1 ]WHITE T. Hadoop權(quán)威指南[M]. 3版. 北京:清華大學(xué)出版社, 2014.

[ 2 ]MURTHY A C,VAVILAPALLI V K,EADLINE D,et al. Hadoop YARN權(quán)威指南[M]. 北京:機械工業(yè)出版社, 2015.

[ 3 ]HOLMES A. Hadoop硬實戰(zhàn)[M]. 北京:電子工業(yè)出版社, 2015.

[ 4 ]張巖,郭松,趙國海. 基于Hadoop的云計算試驗平臺搭建研究[J]. 沈陽師范大學(xué)學(xué)報(自然科學(xué)版), 2013,31(1):85-89.

[ 5 ]王研,張巖. 基于Hadoop的云平臺的實現(xiàn)與基準(zhǔn)測試[J]. 沈陽師范大學(xué)學(xué)報(自然科學(xué)版), 2016,34(2):240-245.

[ 6 ]TANNIRHAS K. Hadoop MapReduce性能優(yōu)化[M]. 北京:人民郵電出版社, 2015.

[ 7 ]GUNARATHNE T. Hapdoop MapReduce v2 Cookbook[M]. 2nd ed. 南京:東南大學(xué)出版社, 2016.

[ 8 ]翟周偉. Hadoop核心技術(shù)[M]. 北京:機械工業(yè)出版社, 2015.

[ 9 ]董新華,李瑞軒,周灣灣,等. Hadoop系統(tǒng)性能優(yōu)化與功能增強綜述[J]. 計算機研究與發(fā)展, 2013,50(Suppl.):1-15.

[10]李懌銘. 基于MapReduce性能優(yōu)化的研究[D]. 上海:上海師范大學(xué), 2015.

[11]康佳. Hadoop平臺下的作業(yè)調(diào)度算法及應(yīng)用[D].合肥:安徽理工大學(xué), 2015.

[12]李張永. 基于Hadoop的MapReduce計算模型優(yōu)化與應(yīng)用研究[D]. 武漢:武漢科技大學(xué), 2015.

Parameter optimization of cloud platform based on Hadoop

ZHANG Yan1, WANG Yan2,3

(1. Computer and Basic Mathematics Education Department, Shenyang Normal University, Shenyang 110034, China; 2. School of Educational Technology, Shenyang Normal University, Shenyang 110034, China; 3. Department of Biomedical Engineering, China Medical University, Shenyang 110013, China)

As a middleware software framework, the large amounts of data can be distributed processing by Hadoop. Based on the Hadoop cloud platform with parameters optimization techniqued, which ation can improve the processing performance of the system. The complete Hadoop distributed platform was configrated by using VMware virtual machine technology in the single node with can configurate multiple virtual machines,Implement the Hadoop distributed platform completely to meet experimental environment, and execute cluster tests. Optimization of the related parameters in the Hadoop platform configuration, and comparison test before and after the parameter optimization were tested by using TeraSort procedure, test results are analyzed. The experiments show that parameter optimization has greatly influence to the performance of Hadoop platform. Using this method can get full consideration about the hardware configuration, the cluster number and data size and other factors based on the application environment before the actual project of global deployment, and make the sample tuning experiments into obtaining the optimal combination parameters of cloud platform.

Hadoop; MapReduce; parameter optimization; Virtual machine

1673-5862(2017)02-0234-06

2016-10-13。

遼寧省科技廳自然科學(xué)基金資助項目(2015020055)。

張 巖(1968-),女,遼寧沈陽人,沈陽師范大學(xué)教授,碩士。

TP311

A

10.3969/ j.issn.1673-5862.2017.02.021