大數(shù)據(jù)關(guān)鍵技術(shù)研究

賈書偉，鎖配春

（云南經(jīng)濟(jì)管理學(xué)院，云南 昆明 650106）

在當(dāng)今大數(shù)據(jù)時(shí)代，企業(yè)管理數(shù)據(jù)、電子產(chǎn)品社會(huì)化數(shù)據(jù)、互聯(lián)網(wǎng)信息數(shù)據(jù)等極大地豐富了人們的生活，為人們提供多樣化的信息。并且，大數(shù)據(jù)不僅數(shù)據(jù)量較大，而且數(shù)據(jù)類型復(fù)雜多樣，影像、報(bào)表、文檔、賬單等已經(jīng)在商業(yè)企業(yè)中普遍運(yùn)用。網(wǎng)絡(luò)游戲、網(wǎng)絡(luò)視頻等數(shù)量越來越多。同時(shí)，大數(shù)據(jù)具有多樣性、規(guī)模性、高速性的特點(diǎn)，對(duì)未來發(fā)展有著重要作用。大數(shù)據(jù)關(guān)鍵技術(shù)主要包括系統(tǒng)架構(gòu)、文件系統(tǒng)、數(shù)據(jù)處理系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等技術(shù)，只有具備這些關(guān)鍵技術(shù)才能夠解決大數(shù)據(jù)發(fā)展過程中的數(shù)據(jù)管理問題。研究大數(shù)據(jù)關(guān)鍵技術(shù)不僅能夠促進(jìn)大數(shù)據(jù)的發(fā)展，而且對(duì)社會(huì)生活及智能化發(fā)展意義深刻。

1 大數(shù)據(jù)系統(tǒng)架構(gòu)

大數(shù)據(jù)系統(tǒng)架構(gòu)主要包括大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)處理方面，其中，大數(shù)據(jù)存儲(chǔ)主要采用分布式存儲(chǔ)結(jié)構(gòu)，大數(shù)據(jù)處理主要采購分布式軟件架構(gòu)計(jì)算結(jié)構(gòu)。大數(shù)據(jù)處理主要包括數(shù)據(jù)分享、數(shù)據(jù)檢索、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)。大數(shù)據(jù)關(guān)鍵技術(shù)主要針對(duì)數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)運(yùn)算，大數(shù)據(jù)關(guān)鍵技術(shù)的研究主要依靠憑借大數(shù)據(jù)活力的大企業(yè)。面對(duì)大數(shù)據(jù)的發(fā)展，大數(shù)據(jù)企業(yè)依靠提升服務(wù)器的性能已經(jīng)無法滿足企業(yè)的業(yè)務(wù)需求，需要企業(yè)加快大數(shù)據(jù)存儲(chǔ)技術(shù)及大數(shù)據(jù)處理技術(shù)研發(fā)，提高大數(shù)據(jù)技術(shù)水平。Google公司是全球最大的信息檢索公司，一直走在大數(shù)據(jù)技術(shù)研究的前言，在2006年提出了云計(jì)算的概念，并研發(fā)除了分布式文件系統(tǒng)、數(shù)據(jù)處理技術(shù)、數(shù)據(jù)庫系統(tǒng)等關(guān)鍵技術(shù)。

2 分布式文件系統(tǒng)

文件系統(tǒng)是大數(shù)據(jù)的基礎(chǔ)，在Google公司發(fā)展過程中，現(xiàn)有的發(fā)展方案已經(jīng)無法滿足大數(shù)據(jù)存儲(chǔ)，因此，Google公司提出了分布式文件管理系統(tǒng)——GFS。GFS與傳統(tǒng)文件系統(tǒng)在可用性、可靠性、伸縮性等方面的目標(biāo)相同。然而，GFS認(rèn)為系統(tǒng)組件失敗屬于常態(tài)，采用主從結(jié)構(gòu)構(gòu)件能夠用于廉價(jià)服務(wù)器的文件系統(tǒng)，并通過追加更新、數(shù)據(jù)分塊等方式實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)。但是，隨著數(shù)據(jù)業(yè)務(wù)的發(fā)展，GFS系統(tǒng)已經(jīng)難以適應(yīng)大數(shù)據(jù)的需求。因此，Google公司對(duì)GFS進(jìn)行了改進(jìn)，研發(fā)了Colosuss系統(tǒng)，Colosuss系統(tǒng)能夠解決海量文件存儲(chǔ)問題和GFS單點(diǎn)故障問題。并且，其他企業(yè)也加強(qiáng)了對(duì)文件系統(tǒng)的研發(fā)，理論如，微軟開發(fā)出了Cosmos系統(tǒng)，用于支撐廣告業(yè)務(wù)和搜索業(yè)務(wù)。

3 分布式數(shù)據(jù)處理系統(tǒng)

大數(shù)據(jù)背景下的數(shù)據(jù)處理模式主要包括批處理和流處理，流處理直接對(duì)數(shù)據(jù)信息進(jìn)行處理，而批處理則需要先存儲(chǔ)信息，然后再對(duì)信息進(jìn)行處理。流處理將源源不斷的數(shù)據(jù)視為數(shù)據(jù)流，及時(shí)處理新數(shù)據(jù)，并反饋數(shù)據(jù)結(jié)果。而大數(shù)據(jù)的規(guī)模較大，要實(shí)現(xiàn)實(shí)時(shí)處理必須采用分布式處理方式?，F(xiàn)階段，比較典型的開源流處理系統(tǒng)主要包括Storm、Kafka、S4等。而批處理最典型的模型是Google公司所研發(fā)的MapReduce編程模型。這一模型能夠?qū)崿F(xiàn)大量普通配置和并行化信息處理，能夠通過簡(jiǎn)單結(jié)構(gòu)實(shí)現(xiàn)大規(guī)模的分布式計(jì)算，提高計(jì)算機(jī)的計(jì)算性能。并且，Google公司在后續(xù)研究中對(duì)模型的調(diào)節(jié)技術(shù)、連接技術(shù)、索引技術(shù)等進(jìn)行了優(yōu)化。另外，Yunhong Gu等人研發(fā)出了sector and Sphere云計(jì)算平臺(tái)，促進(jìn)了分布式數(shù)據(jù)處理系統(tǒng)技術(shù)的推廣。

4 分布式數(shù)據(jù)庫系統(tǒng)

傳統(tǒng)的分布式數(shù)據(jù)庫難以適應(yīng)大數(shù)據(jù)的要求，這是因?yàn)?，大?shù)據(jù)的規(guī)模效應(yīng)壓力較大，數(shù)據(jù)處理要求遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)計(jì)算機(jī)的數(shù)據(jù)處理能力，采用分布式技術(shù)是計(jì)算機(jī)數(shù)據(jù)處理的必然選擇。而傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)采用縱向拓展的方式，數(shù)據(jù)庫系統(tǒng)性能低于數(shù)據(jù)增加速度。因此，大數(shù)據(jù)庫系統(tǒng)應(yīng)采取橫向發(fā)展的方式，提高數(shù)據(jù)庫系統(tǒng)的擴(kuò)展性。并且，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)類型較多，價(jià)值較低，而大數(shù)據(jù)形式多種多樣，數(shù)據(jù)庫系統(tǒng)需要解決多樣化數(shù)據(jù)處理的問題。另外，大數(shù)據(jù)的數(shù)據(jù)處理方式、數(shù)據(jù)理性、數(shù)據(jù)處理時(shí)間與傳統(tǒng)的數(shù)據(jù)處理存在著較大的差異，在大數(shù)據(jù)時(shí)代并不存在一種適用于所有場(chǎng)景的數(shù)據(jù)存儲(chǔ)方式，需要數(shù)據(jù)企業(yè)建立分布式數(shù)據(jù)庫，滿足不同場(chǎng)景的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理要求。為此，Google公司研發(fā)出了Bigtable。Bigtable的擴(kuò)展性和可靠性較高，適用范圍廣泛，能夠應(yīng)用在Google企業(yè)所生產(chǎn)的60多個(gè)項(xiàng)目和產(chǎn)品上。另外，其他企業(yè)也提出了大數(shù)據(jù)系統(tǒng)，Amazon提出了Dynamo，Yahoo提出了PNUTS，促進(jìn)了人們對(duì)關(guān)系數(shù)據(jù)庫的反思與研究。

5 大數(shù)據(jù)系統(tǒng)的開源平臺(tái)

Google公司除了對(duì)大數(shù)據(jù)處理進(jìn)行研究之外，還對(duì)開源項(xiàng)目進(jìn)行了深入研究，并研發(fā)出了Hadoop，Hadoop屬于開源分布計(jì)算平臺(tái)，是MapReduce編程模型的載體。軟件開發(fā)者可以借助Hadoop對(duì)分布式并行程序進(jìn)行編制，進(jìn)而使計(jì)算機(jī)完成海量的數(shù)據(jù)計(jì)算工作。