大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化

王大恒 戰(zhàn)勇杰

【摘要】 近年來(lái)，我國(guó)信息化發(fā)展步伐逐漸加快，網(wǎng)絡(luò)用戶(hù)急速上升。網(wǎng)絡(luò)用戶(hù)的增加，為更多的電子商業(yè)帶來(lái)新的機(jī)遇。通過(guò)對(duì)數(shù)據(jù)的有效分析和利用，進(jìn)一步促進(jìn)我過(guò)經(jīng)濟(jì)發(fā)展。由于數(shù)據(jù)的膨脹，小型服務(wù)器顯然不能完成這項(xiàng)工作，因此，以集群為單位的處理方式被得到廣泛的應(yīng)有。但是，通過(guò)終端采集，數(shù)據(jù)被不間斷的傳入集群，速度過(guò)快時(shí)更容易造成集群超負(fù)荷工作，而不能就是對(duì)數(shù)據(jù)進(jìn)行處理；而速度過(guò)慢時(shí)就會(huì)導(dǎo)致集群的作用不能充分的被發(fā)揮出來(lái)。因此本文對(duì)集群性能的監(jiān)控和優(yōu)化進(jìn)行了詳細(xì)的闡述，通過(guò)優(yōu)化對(duì)集群進(jìn)行改善。

【關(guān)鍵字】 大規(guī)模數(shù)據(jù)出來(lái) 集群 監(jiān)控 優(yōu)化

一、需求分析

1.1大規(guī)模數(shù)據(jù)處理需求

大規(guī)模數(shù)據(jù)處理具有一定的優(yōu)勢(shì)，并可以實(shí)現(xiàn)以下功能：集群部署、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)過(guò)濾處理。集群部署：即將Hadoop、Spark、和HBase集群分別部署在不同的服務(wù)器上。利用其中一臺(tái)服務(wù)器作為主節(jié)點(diǎn)，可以對(duì)管理文件進(jìn)行命名并對(duì)客戶(hù)端文件進(jìn)行相關(guān)的訪(fǎng)問(wèn)，同時(shí)起到總調(diào)度的任務(wù)。集群一般是由一臺(tái)服務(wù)器的主節(jié)點(diǎn)和多臺(tái)子節(jié)點(diǎn)服務(wù)器組成，但是收到實(shí)驗(yàn)室的限制，因此只能選擇兩樣服務(wù)器進(jìn)行操作，但是操作原理依然符合上述操作流程，兩臺(tái)服務(wù)器起到的作用也不同。在集群配置中，首先需要準(zhǔn)備的工作就是對(duì)網(wǎng)絡(luò)環(huán)境進(jìn)行設(shè)置和對(duì)運(yùn)行環(huán)境進(jìn)行設(shè)置。

1.2集群監(jiān)控需求

集群監(jiān)控技術(shù)可以更好的滿(mǎn)足對(duì)各個(gè)節(jié)點(diǎn)數(shù)據(jù)的收集，利用集群監(jiān)控技術(shù)可以將CPU的利用率及系統(tǒng)負(fù)載情況進(jìn)行及時(shí)的顯示。最主要的是可以實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)更新，在更新的過(guò)程中主要涉及以下內(nèi)容：數(shù)據(jù)獲取的方法、數(shù)據(jù)傳送給客戶(hù)端、將數(shù)據(jù)轉(zhuǎn)化為更直觀的曲線(xiàn)數(shù)據(jù)。

二、設(shè)計(jì)優(yōu)化

1、數(shù)據(jù)處理設(shè)計(jì)。在原始數(shù)據(jù)中每一行都包含呼叫用戶(hù)和被呼叫用戶(hù)，并現(xiàn)實(shí)相關(guān)的通話(huà)時(shí)間和呼叫時(shí)間。本文數(shù)據(jù)設(shè)計(jì)中所需要的數(shù)據(jù)是指前三項(xiàng)。主要計(jì)算根據(jù)是用戶(hù)的通話(huà)時(shí)間和次數(shù)。1）先對(duì)所需要的數(shù)據(jù)進(jìn)行初始化設(shè)置，并對(duì)用戶(hù)的通話(huà)時(shí)間進(jìn)行統(tǒng)計(jì)，將統(tǒng)計(jì)后的時(shí)間放人PageRank模型中。然后對(duì)原始數(shù)據(jù)進(jìn)行分析，并對(duì)各個(gè)號(hào)碼建立相關(guān)的聯(lián)系。通過(guò)Map對(duì)原始數(shù)據(jù)進(jìn)行分析，輸入>，其中call_number可以被看做為KEY。時(shí)間計(jì)量則是value。通過(guò)Reduce進(jìn)行操作，并將上階段操作中輸出的鍵值和一樣的KEY進(jìn)行合并，將相同的號(hào)碼的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，多時(shí)長(zhǎng)進(jìn)行合并。

2、性能監(jiān)控。監(jiān)控的主要原理是通過(guò)Hadoop對(duì)相關(guān)守護(hù)進(jìn)程進(jìn)行開(kāi)啟，并注冊(cè)相關(guān)的Metrics到本地MBeanServer上。在該監(jiān)控系統(tǒng)中所用到的監(jiān)控端口包含NameNode的50070端口和DataNode50075端口。而Hadoop本身就自帶監(jiān)控體系，所以訪(fǎng)問(wèn)監(jiān)控端口時(shí)不能直接跳回監(jiān)控?cái)?shù)據(jù)中，而是跳到相關(guān)的jsp頁(yè)面。所以，在訪(fǎng)問(wèn)時(shí)可以利用JMX體系，并獲得集群監(jiān)控中的所有數(shù)據(jù)，利用這一體系就建立數(shù)據(jù)進(jìn)行獲取，不僅可以及時(shí)掌握各種信息，同時(shí)數(shù)據(jù)格式也更利于用戶(hù)進(jìn)行處理。監(jiān)控方法有很多種，本文介紹的方法是通過(guò)REST形式對(duì)數(shù)據(jù)進(jìn)行獲取。利用這種方式，可以對(duì)所需數(shù)據(jù)進(jìn)行篩選，只選擇自身需要的數(shù)據(jù)進(jìn)行了解。

三、實(shí)現(xiàn)

1、數(shù)據(jù)處理。數(shù)據(jù)處理的過(guò)程中，首先要對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，數(shù)據(jù)過(guò)濾中，輸入和輸出文件分別為/cdr/raw和/cdr/ clear。并利用Spark和Mapreduce對(duì)數(shù)據(jù)進(jìn)行過(guò)濾。最后將過(guò)濾后數(shù)據(jù)結(jié)果分別存到HDFS和HBase中。在HDFS中，數(shù)據(jù)經(jīng)過(guò)過(guò)濾并進(jìn)行儲(chǔ)蓄時(shí)，其目錄名和字段分割格式和導(dǎo)入時(shí)的一樣。通過(guò)相關(guān)實(shí)驗(yàn)對(duì)過(guò)濾后的數(shù)據(jù)進(jìn)行迭代計(jì)算，可以對(duì)用戶(hù)進(jìn)行分析，并提取有價(jià)值的用戶(hù)。

2、監(jiān)控實(shí)現(xiàn)。集群監(jiān)控中的頁(yè)面主要顯示的是集群中的整體情況，并對(duì)整體進(jìn)行分析。其主要內(nèi)容是對(duì)DFS的容量和使用情侶進(jìn)行分析，并通過(guò)反應(yīng)集群對(duì)數(shù)據(jù)的改變進(jìn)行實(shí)時(shí)監(jiān)控。而節(jié)點(diǎn)信息所反映的則是集群中所有的節(jié)點(diǎn)基本情況，并通過(guò)節(jié)點(diǎn)名稱(chēng)進(jìn)行相應(yīng)的點(diǎn)擊，可以對(duì)其信息進(jìn)行查看。而節(jié)點(diǎn)中的主要內(nèi)容則是上述提起的CPU使用情況，在對(duì)數(shù)據(jù)進(jìn)行繪制時(shí)，以折線(xiàn)圖為主，并以每一秒為數(shù)據(jù)間隔。除此之外，對(duì)CUP的使用情況進(jìn)行評(píng)估，在評(píng)估的過(guò)程其使用變化發(fā)生改變時(shí)背景色也會(huì)發(fā)生相應(yīng)的變化。而在監(jiān)控中，也可以對(duì)集群的整體情況進(jìn)行相關(guān)監(jiān)控，并對(duì)所有CPU數(shù)據(jù)進(jìn)行分析和評(píng)測(cè)，對(duì)整體的CPU負(fù)載情況進(jìn)行準(zhǔn)確的評(píng)估。

四、總結(jié)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，集群性能體系需要不斷的優(yōu)化和建立。本文通過(guò)對(duì)集群性能的監(jiān)控情況進(jìn)行分析，并提出了相應(yīng)的優(yōu)化辦法，同時(shí)也對(duì)其監(jiān)控方向進(jìn)行闡述。但是收到本文專(zhuān)業(yè)和知識(shí)的限制，在對(duì)其優(yōu)化的過(guò)程中還存在一定的局限性，因此在今后的學(xué)習(xí)中，會(huì)對(duì)其優(yōu)化辦法進(jìn)行不斷的改善。

參 考 文 獻(xiàn)

[1]王馨曼. 大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化[D].大連理工大學(xué)，2015.

[2]林文輝. 基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D].北京郵電大學(xué)，2014.

[3]盧興見(jiàn). 大規(guī)模云數(shù)據(jù)中心負(fù)載優(yōu)化調(diào)度方法研究[D].浙江大學(xué)，2014.