大數(shù)據(jù)環(huán)境下的平臺架構(gòu)技術(shù)研究

陸麗婷

摘 要： 大數(shù)據(jù)時代的到來，對數(shù)據(jù)的管理和存儲帶來了挑戰(zhàn)。為了更好地管理和利用大數(shù)據(jù)，對大數(shù)據(jù)的基本特征進行了剖析，從大數(shù)據(jù)和分析技術(shù)平臺的視角，分析了海量并行處理架構(gòu)、云計算、網(wǎng)格計算和MapReduce這幾種重要的技術(shù)，比較了其技術(shù)特點，對運用不同的技術(shù)對大數(shù)據(jù)時代數(shù)據(jù)管理產(chǎn)生的作用進行了分析，討論了大數(shù)據(jù)分析工作所需要的混合環(huán)境，整合環(huán)境資源以使能夠協(xié)同工作，使得每一項技術(shù)變得更加強大有效。

關(guān)鍵詞： 大數(shù)據(jù)； 海量并行處理系統(tǒng)； 云計算； 網(wǎng)格計算； MapReduce

中圖分類號：TP311 文獻標志碼：A 文章編號：1006-8228（2014）10-22-02

Research on technology of platform architecture under environment of big data

Lu Liting

（Dept. of Electronic Information Engineering， Wuxi City College of Vocational Technology， Wuxi， Jiangsu 214153， China）

Abstract： The advent of the era of big data brings challenges to data management and storage. In order to manage and use big data better， the basic features of the big data is analyzed. From the angle of big data and analysis on technological platform， several important technologies are analyzed， such as the massive parallel processing architecture， cloud computing， grid computing and MapReduce. The characteristics of different technologies are compared. The role of data management using different techniques is analyzed. The mixed environment which big data analysis needed is discussed. The environmental resources are integrated to work harmoniously， which makes every technology become more powerful.

Key words： big data； massive parallel processing system； cloud computing； grid computing； MapReduce

0 引言

近年來，大數(shù)據(jù)如雨后春筍般地出現(xiàn)在各行各業(yè)中，如何適當?shù)厥褂么髷?shù)據(jù)已經(jīng)成為人們研究的熱點，研究人員積極地去收集和分析這些新的數(shù)據(jù)源，并深入了解這些新數(shù)據(jù)源帶來的新信息。大數(shù)據(jù)的世界需要更高層次的可擴展性，隨著數(shù)據(jù)量持續(xù)增長，原有的數(shù)據(jù)處理方式已無法應對現(xiàn)有的數(shù)據(jù)量，在大數(shù)據(jù)處理、分析與應用的不同層面中，有很多技術(shù)可以使用[1-2]，本文對處理大數(shù)據(jù)的幾種重要技術(shù)進行了分析。

1 大數(shù)據(jù)

大數(shù)據(jù)（Big Data），是隨著計算機技術(shù)及互聯(lián)網(wǎng)技術(shù)的高速發(fā)展而產(chǎn)生的獨特數(shù)據(jù)現(xiàn)象，通常來說，凡是數(shù)據(jù)量超過一定大小，導致常規(guī)軟件無法在一個可接受的時間范圍內(nèi)完成對其抓取、管理和處理工作的數(shù)據(jù)即可稱為大數(shù)據(jù)，包括互聯(lián)網(wǎng)上的網(wǎng)頁數(shù)據(jù)、社交網(wǎng)站上的用戶交互數(shù)據(jù)、物聯(lián)網(wǎng)中產(chǎn)生的活動數(shù)據(jù)等。大數(shù)據(jù)除了具有大容量、多類型和高時效等基本特征外，還具有一些區(qū)別于傳統(tǒng)數(shù)據(jù)源的重要特征[3]。

⑴ 大數(shù)據(jù)通常是由機器自動生成的。在新數(shù)據(jù)的產(chǎn)生過程中，并不會涉及人工參與，它們完全由機器自動生成，例如：引擎中內(nèi)置的傳感器，即使沒有人觸摸或下達指令，它也會自動地生成關(guān)于周圍環(huán)境的數(shù)據(jù)。

⑵ 大數(shù)據(jù)通常是一種全新的數(shù)據(jù)源。例如：通過互聯(lián)網(wǎng)，顧客與商家進行在線交易，對顧客來說只是多了一種不同的交易渠道，這種交易和傳統(tǒng)的交易方式并沒有本質(zhì)上的差別，但對商家來說通過對顧客在線交易時的瀏覽行為進行收集，產(chǎn)生了一種本質(zhì)上全新的數(shù)據(jù)。

⑶ 很多大數(shù)據(jù)的設計并不友好。例如：對于社交媒體網(wǎng)站上的文本流，用戶不一定會使用標準的語法或語序，當發(fā)布信息時，可以獲得這些數(shù)據(jù)，但對這些數(shù)據(jù)的處理卻不那么容易。

⑷ 大數(shù)據(jù)可能并不蘊含大量的價值。傳統(tǒng)數(shù)據(jù)源在定義之初，要求所有的數(shù)據(jù)都是有用的，主要是由于當時的可擴展性的限制，如今，存儲空間已不再是主要的瓶頸，因此，大數(shù)據(jù)會收集所有可能使用到的信息，例如：一篇網(wǎng)頁日志中會含有非常重要的數(shù)據(jù)，但其中也包含了很多沒有價值的數(shù)據(jù)，對其進行提煉，從而保留有價值的部分是非常必要的。

2 駕馭大數(shù)據(jù)的幾種技術(shù)

2.1 海量并行處理系統(tǒng)

大數(shù)據(jù)時代的到來，傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)不能滿足海量數(shù)據(jù)處理的實時性與實效性要求，海量并行處理系統(tǒng)（MPP）適應了大數(shù)據(jù)時代的要求。MPP架構(gòu)由多個對稱多處理器結(jié)構(gòu)SMP服務器（每個SMP服務器稱為一個節(jié)點）通過節(jié)點互聯(lián)網(wǎng)絡進行連接，每個節(jié)點只訪問自己的本地資源，協(xié)同工作，完成相同的任務[4]。MPP數(shù)據(jù)庫會把一個任務數(shù)據(jù)切分成不同的獨立數(shù)據(jù)塊，利用獨立存儲與CPU資源進行管理，把數(shù)據(jù)分配到不同的磁盤空間和不同的CPU單元。

[一臺過載的服務器][多臺輕負載

的服務器]

圖1 海量并行處理系統(tǒng)的數(shù)據(jù)存儲

例如：對于一張1T的數(shù)據(jù)表，傳統(tǒng)的數(shù)據(jù)庫在同一時間只能查詢一行，如果是一個擁有10個處理單元的MPP系統(tǒng)，它可以把這個1T的數(shù)據(jù)表切分成10份，每份100GB數(shù)據(jù)，并分配給不同的處理單元，也就是在同一時間可以同時查詢10份100GB的數(shù)據(jù)。如果需要更強大的分析能力和更快的分析速度，只要增加更多的處理單元，系統(tǒng)能力就會得到提高。

MPP服務器架構(gòu)的并行處理能力比SMP更適合于大數(shù)據(jù)時代下的復雜的數(shù)據(jù)綜合分析與處理環(huán)境，它需要借助于支持MPP技術(shù)的關(guān)系數(shù)據(jù)庫系統(tǒng)來屏蔽節(jié)點之間負載平衡與調(diào)度的復雜性[5]。

2.2 云計算

云計算是硬件資源的虛擬化，大數(shù)據(jù)是云計算處理的數(shù)據(jù)之源，大數(shù)據(jù)的指數(shù)級增長使得數(shù)據(jù)的提取、存儲、處理、管理以及分析具有較高的復雜性，因此，大數(shù)據(jù)對云計算環(huán)境有著很高的依賴。

云計算是融合諸如網(wǎng)格計算、分布式計算、并行計算、內(nèi)存計算、虛擬化等傳統(tǒng)計算機和網(wǎng)絡技術(shù)發(fā)展起來的產(chǎn)物，通過將計算任務分布在大量的分布式計算機上，形成類網(wǎng)狀的服務器集群。云計算具有較強的可擴展性，高效的交互處理能力，可以實現(xiàn)根據(jù)任務自由地分配資源，用戶按照需求訪問存儲空間和服務器集群，從而大大地提高了計算能力，并降低了用戶對客戶端的要求，大數(shù)據(jù)的出現(xiàn)，為云計算提供了發(fā)展空間，云計算作為計算資源的底層，支撐著上層的大數(shù)據(jù)處理。

目前較多運用云計算平臺（Hadoop）架構(gòu)和Mapreduce模式組合應用處理海量數(shù)據(jù)，Hadoop是云計算平臺的架構(gòu)，Mapreduce是一種處理海量數(shù)據(jù)的模式方法，在Hadoop架構(gòu)體系中運用了Mapreduce并行編程計算模式處理海量的數(shù)據(jù)，提高了大數(shù)據(jù)分析的性能。

2.3 網(wǎng)格計算

某些計算過程與算法無法全部轉(zhuǎn)換成SQL，或者難以嵌入數(shù)據(jù)庫的某個自定義函數(shù)中。在這種情況下，必須把數(shù)據(jù)從傳統(tǒng)的分析環(huán)境中抽取出來，然后用傳統(tǒng)的分析工具和軟件進行分析，隨著分析師越來越多，以及分析任務越來越繁重，必須對這些服務器進行擴容或者增加更多的服務器，這些都是相當昂貴的，網(wǎng)格配置可以降低系統(tǒng)成本并提高性能，它使用大量的低成本計算機，而不是一臺或幾臺高性能的服務器。網(wǎng)格計算并不是只使用一臺大型服務器來管理執(zhí)行不同任務的CPU和資源，相反地，不同任務被獨立地分配給不同的計算機，并讓每一臺計算機并發(fā)執(zhí)行。每一臺計算機也許都會承擔原有服務器的某一部分任務，同一時間一臺計算機通常只能執(zhí)行一項任務，因此，網(wǎng)格計算這種系統(tǒng)機制在提升系統(tǒng)性能和容量的同時，可以顯著地降低系統(tǒng)的總體成本。

網(wǎng)格計算還有一個剛出現(xiàn)不久的創(chuàng)新，即高性能的分析架構(gòu)，在這個架構(gòu)中，網(wǎng)格計算環(huán)境下的不同計算機都知道其他計算機的存在，并且不同計算機可以共享信息。這種協(xié)作方式，在同一時間充分使用了網(wǎng)格計算環(huán)境下的所有計算資源，使得某些大型任務可以更快地完成。

2.4 MapReduce

MapReduce是谷歌提出的一個使用簡易的軟件框架，用于大規(guī)模數(shù)據(jù)集的并行運算，基于它寫出來的應用程序能夠運行在由上千個普通機器組成的大型集群上，并以一種可靠容錯的方式并行處理上太級別的數(shù)據(jù)集[6]。

MapReduce里內(nèi)置了兩個主要的處理過程：映射過程“map”和歸納過程“reduce”，MapReduce會在一系列的工作結(jié)點上并發(fā)執(zhí)行這些處理過程，這類似于MPP系統(tǒng)，MapReduce將復雜的運行于大規(guī)模集群上的并行計算過程抽象為兩個函數(shù)（map和reduce），執(zhí)行時先指定一個map函數(shù)，把輸入對映射成一組新的對，經(jīng)過一定處理后交給reduce，reduce對相同key下的所有value處理后再輸出對作為最終結(jié)果。與MPP系統(tǒng)的區(qū)別在于：MapReduce里的節(jié)點之間不會發(fā)生信息交互。它把一個任務分解成許多小任務，它們相互獨立運行，如圖2所示。

[映射功能][映射（Map）][洗牌][歸納（Reduce）][調(diào)度] [結(jié)果]

圖2 MapReduce處理過程

分析師可以創(chuàng)建一個映射程序來搜索并分析文本記錄中的每一個詞語，然后將這些詞語從段落中解析出來；當每個工作節(jié)點都執(zhí)行完映射程序，調(diào)度程序就會得到通知，之后，每個歸納節(jié)點的歸納程序開始匯總計算每個詞語出現(xiàn)的頻率，然后標上這個詞語出現(xiàn)的次數(shù)統(tǒng)計，映射程序的輸出結(jié)果就是詞語與計數(shù)的組合。例如，網(wǎng)站的在線客服人員與客戶交流的大量文本記錄被不斷地導入系統(tǒng)中，歸納程序的輸出物可能是“<他，10>，”“<商品，25>，”“<壞了，20>，”，這里的數(shù)字表明這個詞語在文章中出現(xiàn)的總次數(shù)，獲得了詞語的出現(xiàn)次數(shù)后，分析師就開始工作了，一些特定產(chǎn)品的名稱，以及像“壞了”之類的詞語都將被識別出來并進行重點研究，原來大段文字的文本數(shù)據(jù)經(jīng)過處理后轉(zhuǎn)換成了一種簡單的格式，便于人們進行分析。

許多大型的數(shù)據(jù)流都包含了大量沒有長期價值的信息，部署在云端的彈性MapReduce可以根據(jù)需求實時地按需配置和訪問服務器集群，實現(xiàn)對大量和密集型數(shù)據(jù)任務的處理，比如日志文件分析、數(shù)據(jù)挖掘等。

3 結(jié)束語

在駕馭大數(shù)據(jù)的分析生態(tài)環(huán)境中，海量并行關(guān)系型數(shù)據(jù)庫、云計算、MapReduce都可以發(fā)揮重要的作用，可以將這三項技術(shù)整合起來協(xié)同工作，并從大數(shù)據(jù)中獲得最大的價值。例如，數(shù)據(jù)庫可以運行在云里；數(shù)據(jù)庫可以內(nèi)置MapReduce功能，MapReduce也可以直接處理云計算環(huán)境內(nèi)的數(shù)據(jù)，MapReduce還可以對部署在云內(nèi)的數(shù)據(jù)庫的庫內(nèi)數(shù)據(jù)進行處理。這三種技術(shù)可以相互影響并協(xié)同工作，每一項技術(shù)都能加強其他技術(shù)，分析環(huán)境內(nèi)可以同時包含這些不同的技術(shù)與方案，使得每一項技術(shù)都變得更加強大和高效。

參考文獻：

[1] 嚴霄鳳，張德馨.大數(shù)據(jù)研究[J].計算機技術(shù)與發(fā)展，2013.168.

[2] 王珊，王會舉等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計算機學報，

2011.1741.

[3] Bill Franks.駕馭大數(shù)據(jù)[M].人民郵電出版社，2013.

[4] 劉軍.hadoop大數(shù)據(jù)處理[M].人民郵電出版社，2013.

[5] 楊池然.跟隨大數(shù)據(jù)旅行[M].機械工業(yè)出版社，2014.

[6] 周寶曜，劉偉等.大數(shù)據(jù)戰(zhàn)略技術(shù)實踐[M].電子工業(yè)出版社，2013.