大數(shù)據(jù)與Hadoop

朱立(北京信息職業(yè)技術(shù)學(xué)院,北京 100018)

?

大數(shù)據(jù)與Hadoop

朱立
(北京信息職業(yè)技術(shù)學(xué)院,北京 100018)

【摘 要】大數(shù)據(jù)技術(shù)正在向各行各業(yè)滲透。Hadoop作為數(shù)據(jù)分布式處理系統(tǒng)的典型代表,已經(jīng)成為該領(lǐng)域事實(shí)的標(biāo)準(zhǔn)。但Hadoop并不等于大數(shù)據(jù),它只是一個(gè)成功的處理離線數(shù)據(jù)的分布式系統(tǒng),大數(shù)據(jù)領(lǐng)域還存在眾多其他類型的處理系統(tǒng)。所以,Hadoop代替不了大數(shù)據(jù)的全部,但Hadoop是大數(shù)據(jù)時(shí)代的優(yōu)秀代表。

【關(guān)鍵詞】大數(shù)據(jù) Hadoop 分布式處理系統(tǒng)

隨著信息化技術(shù)的日漸普及、寬帶網(wǎng)絡(luò)的快速興起,以及云計(jì)算、移動(dòng)互聯(lián)和物聯(lián)網(wǎng)等新一代信息技術(shù)的廣泛應(yīng)用,全球數(shù)據(jù)的增長速度進(jìn)一步加快。與此同時(shí),一批數(shù)據(jù)收集、存儲、處理技術(shù)和應(yīng)用快速發(fā)展并逐漸匯聚。軟件運(yùn)用的技術(shù)越來越尖端,結(jié)合不斷提高的計(jì)算能力,從數(shù)據(jù)中提取有價(jià)值信息的能力顯著提高。大體量的數(shù)據(jù)不再是無序而又沒有價(jià)值的,大數(shù)據(jù)誕生了。

1 認(rèn)識大數(shù)據(jù)

所謂大數(shù)據(jù),就是從各種類型的數(shù)據(jù)中,快速獲得有價(jià)值信息的能力。大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。它是對那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集所下的定義。

區(qū)別于過去的海量數(shù)據(jù),大數(shù)據(jù)的特點(diǎn)可以概況為4個(gè)V: Volume、Variety、Value和Velocity,即大量、多樣、價(jià)值密度低、快速。

第一,數(shù)據(jù)體量大。大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量,目前正在躍升到PB(1PB=1024TB)級別。不僅存儲量大,計(jì)算量也大。

第二,數(shù)據(jù)類型多。除了數(shù)值數(shù)據(jù),還有文字、聲音、視頻等,包括網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等多種類型的格式。由于數(shù)據(jù)來自多種數(shù)據(jù)源,數(shù)據(jù)種類和格式日漸豐富,已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇,囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

第三,價(jià)值密度低。以視頻為例,不間斷監(jiān)控視頻中,有價(jià)值的數(shù)據(jù)可能僅有一兩秒。找到有價(jià)值的信息有如沙里淘金,其價(jià)值卻又彌足珍貴。

第四,處理速度快。在數(shù)據(jù)量非常龐大的情況下,也能做到數(shù)據(jù)的實(shí)時(shí)處理。這一點(diǎn)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

大數(shù)據(jù)技術(shù)是指從各種類型的大體量數(shù)據(jù)中快速獲得有價(jià)值信息的技術(shù)。這是大數(shù)據(jù)的核心問題。目前所說的大數(shù)據(jù)不僅指數(shù)據(jù)本身的規(guī)模,也包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)的目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域,通過解決大體量數(shù)據(jù)處理問題促進(jìn)其突破性發(fā)展。因此,大數(shù)據(jù)時(shí)代帶來的挑戰(zhàn)不僅體現(xiàn)在如何處理大體量數(shù)據(jù)并從中獲取有價(jià)值的信息,也體現(xiàn)在如何加強(qiáng)大數(shù)據(jù)技術(shù)研發(fā)。大數(shù)據(jù)所涉及的關(guān)鍵技術(shù)大致包括6個(gè)方面:數(shù)據(jù)采集與數(shù)據(jù)管理、分布式存儲和并行計(jì)算、大數(shù)據(jù)應(yīng)用開發(fā)、數(shù)據(jù)分析與挖掘、大數(shù)據(jù)前端應(yīng)用、數(shù)據(jù)服務(wù)和展現(xiàn)。

2 大數(shù)據(jù)與Hadoop

伴隨大數(shù)據(jù)技術(shù)的普及,Hadoop因其開源的特點(diǎn)和卓越的性能成為一時(shí)的新寵,甚至有人認(rèn)為大數(shù)據(jù)就是Hadoop,其實(shí)這是一個(gè)誤區(qū)。Hadoop只是處理離線數(shù)據(jù)的分布式存儲和處理系統(tǒng)。除了Hadoop,還有用于處理流數(shù)據(jù)的Storm、處理關(guān)系型數(shù)據(jù)的Oracle、處理實(shí)時(shí)機(jī)器數(shù)據(jù)的Splunk……目前主流的大數(shù)據(jù)系統(tǒng)很多, Hadoop只是其中的代表。

2.1 Hadoop的核心模塊

Hadoop Common:Hadoop的公用應(yīng)用模塊,是整個(gè)Hadoop項(xiàng)目的核心,為Hadoop各子項(xiàng)目提供各種工具,如配置文件和日志操作等,其他Hadoop子項(xiàng)目都是在此基礎(chǔ)上發(fā)展起來的。

Hadoop Distributed File System(HDFS):Hadoop分布式文件系統(tǒng),提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問,并具有高容錯(cuò)性。對外部客戶機(jī)而言,HDFS就像一個(gè)傳統(tǒng)的分級文件系統(tǒng),可以進(jìn)行增刪改查或重命名等常規(guī)文件操作。但實(shí)際上HDFS中的文件被分成塊,然后復(fù)制到多個(gè)計(jì)算機(jī)中,這與傳統(tǒng)的RAID架構(gòu)大不相同。HDFS特別適合需要一次寫入、多次讀取的超大規(guī)模數(shù)據(jù)集的應(yīng)用程序。

Hadoop YARN:一個(gè)作業(yè)調(diào)度和群集資源管理框架。

Hadoop MapReduce:基于YARN的大型數(shù)據(jù)分布式并行編程模式和程序執(zhí)行框架,是Google的MapReduce的開源實(shí)現(xiàn)。它幫助用戶編寫處理大型數(shù)據(jù)集的并行運(yùn)行程序。MapReduce隱藏了分布式并行編程的底層細(xì)節(jié),開發(fā)人員只需編寫業(yè)務(wù)邏輯代碼,而無需考慮程序并行執(zhí)行的細(xì)節(jié),從而大大提高了開發(fā)效率。

Apache的其他與Hadoop相關(guān)的項(xiàng)目還有很多。

2.2 Hadoop的特點(diǎn)

作為分布式計(jì)算領(lǐng)域的典型代表,Hadoop比其他分布式框架有更多的優(yōu)點(diǎn)。

可擴(kuò)展性:Hadoop可以在不停止集群服務(wù)的情況下,在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算,這些集簇可以方便地?cái)U(kuò)展到數(shù)千節(jié)點(diǎn)中。

簡單性:Hadoop實(shí)現(xiàn)了簡單并行編程模式,用戶不需要了解分布式存儲和計(jì)算的底層細(xì)節(jié)即可編寫和運(yùn)行分布式應(yīng)用,在集群上處理大規(guī)模數(shù)據(jù)集,所以使用Hadoop的用戶可以輕松搭建自己的分布式平臺。

高效性:Hadoop的分布式文件系統(tǒng)具有高效的數(shù)據(jù)交互設(shè)計(jì),可以通過并行處理加快處理速度。Hadoop還是可伸縮的,能夠在節(jié)點(diǎn)間動(dòng)態(tài)地移動(dòng)數(shù)據(jù),并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡,因此處理速度非?？?。

可靠性:Hadoop的分布式文件系統(tǒng)將數(shù)據(jù)分塊儲存,每個(gè)數(shù)據(jù)塊在集群節(jié)點(diǎn)上依據(jù)一定的策略冗余儲存,確保能夠針對失敗的節(jié)點(diǎn)重新分布處理,從而保證了數(shù)據(jù)的可靠性。

成本低:依賴于廉價(jià)服務(wù)器,它的成本比較低,任何人都可以使用。

3 結(jié)語

在大數(shù)據(jù)時(shí)代,Hadoop以其優(yōu)越的性能受到業(yè)界的廣泛關(guān)注,已經(jīng)成為大數(shù)據(jù)處理領(lǐng)域事實(shí)上的標(biāo)準(zhǔn)。如今,Hadoop在諸多領(lǐng)域大顯身手。隨著開源社區(qū)和國際眾多國際技術(shù)廠商對這一開源技術(shù)的積極支持與持續(xù)的大量投入,相信不久的將來,Hadoop技術(shù)會被拓展到更多的應(yīng)用領(lǐng)域。

參考文獻(xiàn):

[1]李斌.大數(shù)據(jù)及其發(fā)展趨勢研究.廣西教育,2013.9.

[2]林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲、處理、分析與應(yīng)用.人民郵電出版社,2015.8.

[3]張引,陳敏,廖小飛.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望.計(jì)算機(jī)研究與發(fā)展[J],2013.0(z2).

作者簡介:朱立,女,北京信息職業(yè)技術(shù)學(xué)院,副教授,碩士,軟件技術(shù)、高職教育研究方向。