淺析基于Hadoop的大數(shù)據(jù)分析與應(yīng)用

李文鵬

摘要：隨著大數(shù)據(jù)技術(shù)正在向各行各業(yè)的滲透。Hadoop作為數(shù)據(jù)分布式處理系統(tǒng)的典型代表，已經(jīng)成為該領(lǐng)域事實(shí)的標(biāo)準(zhǔn)。但Hadoop并不等于大數(shù)據(jù)，它只是一個(gè)成功的處理離線(xiàn)數(shù)據(jù)的分布式系統(tǒng)，大數(shù)據(jù)領(lǐng)域還存在眾多其他類(lèi)型的處理系統(tǒng)。所以，Hadoop代替不了大數(shù)據(jù)的全部，但Hadoop是大數(shù)據(jù)時(shí)代的優(yōu)秀代表。本文筆者主要介紹基于Hadoop的大數(shù)據(jù)分析特點(diǎn)，然后具體介紹其主要應(yīng)用，以供參考。

關(guān)鍵詞：大數(shù)據(jù) Hadoop 分布式處理系統(tǒng)

前言：隨著信息化技術(shù)的日漸普及、寬帶網(wǎng)絡(luò)的快速興起，以及云計(jì)算、移動(dòng)互聯(lián)和物聯(lián)網(wǎng)等新一代信息技術(shù)的廣泛應(yīng)用，全球數(shù)據(jù)的增長(zhǎng)速度進(jìn)一步加快。與此同時(shí)，一批數(shù)據(jù)收集、存儲(chǔ)、處理技術(shù)和應(yīng)用快速發(fā)展并逐漸匯聚。軟件運(yùn)用的技術(shù)越來(lái)越尖端，結(jié)合不斷提高的計(jì)算能力，從數(shù)據(jù)中提取有價(jià)值信息的能力顯著提高。

1 大數(shù)據(jù)分析和應(yīng)用特點(diǎn)

大數(shù)據(jù)在本質(zhì)上的含義就是通過(guò)數(shù)據(jù)中各種類(lèi)型的配比和分析，將具有價(jià)值的內(nèi)容用最快的計(jì)算方法分析出來(lái)的能力。在大數(shù)據(jù)模式下有更快更強(qiáng)的決策能力和分析洞察能力，在流程化的優(yōu)化能力上能夠增加多樣化的信息資源。這也是對(duì)超長(zhǎng)處理范圍的處理優(yōu)勢(shì)之一，這些采取非傳統(tǒng)方法的數(shù)據(jù)收集主要存在以下定義，同時(shí)具有以下應(yīng)用特點(diǎn)

區(qū)別于過(guò)去的海量數(shù)據(jù)，大數(shù)據(jù)的特點(diǎn)可以概況為4個(gè)V：Volume、Variety、Value和Velocity，即大量、多樣、價(jià)值密度低、快速。

第一，數(shù)據(jù)體量大。大數(shù)據(jù)一般指在10TB（1TB=1024GB）規(guī)模以上的數(shù)據(jù)量，目前正在躍升到PB（1PB=1024TB）級(jí)別。不僅存儲(chǔ)量大，計(jì)算量也大。

第二，數(shù)據(jù)類(lèi)型多。除了數(shù)值數(shù)據(jù)，還有文字、聲音、視頻等，包括網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等多種類(lèi)型的格式。由于數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類(lèi)和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

第三，價(jià)值密度低。以視頻為例，不間斷監(jiān)控視頻中，有價(jià)值的數(shù)據(jù)可能僅有一兩秒。找到有價(jià)值的信息有如沙里淘金，其價(jià)值卻又彌足珍貴。

第四，處理速度快。在數(shù)據(jù)量非常龐大的情況下，也能做到數(shù)據(jù)的實(shí)時(shí)處理。這一點(diǎn)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

大數(shù)據(jù)分析技術(shù)是從多種大型數(shù)據(jù)量的信息中快速提取有價(jià)值的信息技術(shù)。大數(shù)據(jù)的核心問(wèn)題是數(shù)據(jù)本身的規(guī)模，同時(shí)也包括對(duì)數(shù)據(jù)工具和平臺(tái)數(shù)據(jù)的多重采集，統(tǒng)稱(chēng)為分析系統(tǒng)。在大數(shù)據(jù)發(fā)展的今天，相關(guān)領(lǐng)域在大數(shù)據(jù)的應(yīng)用都是看中其數(shù)據(jù)處理速度快的巨大優(yōu)勢(shì)，通過(guò)大量、快速的數(shù)據(jù)處理使問(wèn)題具有突破性的進(jìn)展。因此，在大數(shù)據(jù)時(shí)代到來(lái)時(shí)，信息量的挑戰(zhàn)不僅體現(xiàn)在如何利用大量的數(shù)據(jù)信息來(lái)提取相關(guān)的有價(jià)值的信息，同時(shí)也天現(xiàn)在大數(shù)據(jù)強(qiáng)大的技術(shù)研發(fā)處理功能。大數(shù)據(jù)所涉及的關(guān)鍵技術(shù)大致包括6個(gè)方面：數(shù)據(jù)采集與數(shù)據(jù)管理、分布式存儲(chǔ)和并行計(jì)算、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、數(shù)據(jù)分析與挖掘、大數(shù)據(jù)前端應(yīng)用、數(shù)據(jù)服務(wù)和展現(xiàn)。

2 Hadoop大數(shù)據(jù)的主要應(yīng)用

伴隨大數(shù)據(jù)技術(shù)的普及，Hadoop因其開(kāi)源的特點(diǎn)和卓越的性能成為一時(shí)的新寵，甚至有人認(rèn)為大數(shù)據(jù)就是Hadoop，其實(shí)這是一個(gè)誤區(qū)。Hadoop只是處理離線(xiàn)數(shù)據(jù)的分布式存儲(chǔ)和處理系統(tǒng)。除了Hadoop，還有用于處理流數(shù)據(jù)的Storm、處理關(guān)系型數(shù)據(jù)的Oracle、處理實(shí)時(shí)機(jī)器數(shù)據(jù)的Splunk……目前主流的大數(shù)據(jù)系統(tǒng)很多，Hadoop只是其中的代表。

2.1 Hadoop的核心應(yīng)用模塊

Hadoop Common：Hadoop的公用應(yīng)用模塊，是整個(gè)Hadoop項(xiàng)目的核心，為Hadoop各子項(xiàng)目提供各種工具，如配置文件和日志操作等，其他Hadoop子項(xiàng)目都是在此基礎(chǔ)上發(fā)展起來(lái)的。Hadoop Distributed File System（HDFS）：Hadoop分布式文件系統(tǒng)，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪(fǎng)問(wèn)，并具有高容錯(cuò)性。對(duì)外部客戶(hù)機(jī)而言，HDFS就像一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)，可以進(jìn)行增刪改查或重命名等常規(guī)文件操作。但實(shí)際上HDFS中的文件被分成塊，然后復(fù)制到多個(gè)計(jì)算機(jī)中，這與傳統(tǒng)的RAID架構(gòu)大不相同。HDFS特別適合需要一次寫(xiě)入、多次讀取的超大規(guī)模數(shù)據(jù)集的應(yīng)用程序。

Hadoop YARN：一個(gè)作業(yè)調(diào)度和群集資源管理框架。

Hadoop MapReduce：基于YARN的大型數(shù)據(jù)分布式并行編程模式和程序執(zhí)行框架，是Google的MapReduce的開(kāi)源實(shí)現(xiàn)。它幫助用戶(hù)編寫(xiě)處理大型數(shù)據(jù)集的并行運(yùn)行程序。MapReduce隱藏了分布式并行編程的底層細(xì)節(jié)，開(kāi)發(fā)人員只需編寫(xiě)業(yè)務(wù)邏輯代碼，而無(wú)需考慮程序并行執(zhí)行的細(xì)節(jié)，從而大大提高了開(kāi)發(fā)效率。

Apache的其他與Hadoop相關(guān)的項(xiàng)目還有很多。

2.2 Hadoop大數(shù)據(jù)分析應(yīng)用特點(diǎn)

作為分布式計(jì)算領(lǐng)域的典型代表，Hadoop比其他分布式框架有更多的優(yōu)點(diǎn)。

可擴(kuò)展性：Hadoop可以在不停止集群服務(wù)的情況下，在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算，這些集簇可以方便地?cái)U(kuò)展到數(shù)千節(jié)點(diǎn)中。

簡(jiǎn)單性：Hadoop實(shí)現(xiàn)了簡(jiǎn)單并行編程模式，用戶(hù)不需要了解分布式存儲(chǔ)和計(jì)算的底層細(xì)節(jié)即可編寫(xiě)和運(yùn)行分布式應(yīng)用，在集群上處理大規(guī)模數(shù)據(jù)集，所以使用Hadoop的用戶(hù)可以輕松搭建自己的分布式平臺(tái)。

高效性：Hadoop的分布式文件系統(tǒng)具有高效的數(shù)據(jù)交互設(shè)計(jì)，可以通過(guò)并行處理加快處理速度。Hadoop還是可伸縮的，能夠在節(jié)點(diǎn)間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？臁?/p>

可靠性：Hadoop的分布式文件系統(tǒng)將數(shù)據(jù)分塊儲(chǔ)存，每個(gè)數(shù)據(jù)塊在集群節(jié)點(diǎn)上依據(jù)一定的策略冗余儲(chǔ)存，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理，從而保證了數(shù)據(jù)的可靠性。

成本低：依賴(lài)于廉價(jià)服務(wù)器，它的成本比較低，任何人都可以使用。

3 結(jié) 語(yǔ)

綜上所述，在大數(shù)據(jù)時(shí)代，Hadoop以其優(yōu)越的性能受到業(yè)界的廣泛關(guān)注，已經(jīng)成為大數(shù)據(jù)處理領(lǐng)域事實(shí)上的標(biāo)準(zhǔn)。如今，Hadoop在諸多領(lǐng)域大顯身手。隨著開(kāi)源社區(qū)和國(guó)際眾多國(guó)際技術(shù)廠(chǎng)商對(duì)這一開(kāi)源技術(shù)的積極支持與持續(xù)的大量投入，相信不久的將來(lái)，Hadoop技術(shù)會(huì)被拓展到更多的應(yīng)用領(lǐng)域。

主要參考文獻(xiàn)

[1]王宏宇.Hadoop平臺(tái)在云計(jì)算中的應(yīng)用[J]. 軟件，2011（4）.

[2]林佳燁.云計(jì)算在電信行業(yè)數(shù)據(jù)分析領(lǐng)域的應(yīng)用[J]. 移動(dòng)通信，2011（8）.