關(guān)于云計(jì)算和云數(shù)據(jù)管理技術(shù)的研究

劉靜

摘要：在新的時(shí)代背景下，信息技術(shù)在不斷的發(fā)展和進(jìn)步。隨著數(shù)據(jù)量的不斷增多，人們對(duì)計(jì)算機(jī)計(jì)算能力的要求也逐漸提高，而云計(jì)算是一個(gè)十分熱門的研究方向，面對(duì)海量數(shù)據(jù)，云計(jì)算可以充分發(fā)揮自身的優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的有效管理。云數(shù)據(jù)管理屬于云計(jì)算的一個(gè)分支，是一個(gè)全新的研究領(lǐng)域。本文以云數(shù)據(jù)管理技術(shù)為研究對(duì)象，主要探討了云數(shù)據(jù)管理中的一些關(guān)鍵技術(shù)。

關(guān)鍵詞：云計(jì)算 云數(shù)據(jù)管理 GFS技術(shù)

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）12-0103-01

在本次研究中，筆者關(guān)注的是云計(jì)算和云數(shù)據(jù)管理技術(shù)，首先介紹了和云計(jì)算相關(guān)的概念，接下來(lái)系統(tǒng)的闡述了一些云數(shù)據(jù)管理技術(shù)，最后對(duì)云數(shù)據(jù)管理進(jìn)行了透徹的分析，并提出了云數(shù)據(jù)管理的未來(lái)發(fā)展趨勢(shì)。

1 云計(jì)算

云計(jì)算的理論基礎(chǔ)主要有三個(gè)，分別是分布式處理、并行處理以及網(wǎng)格計(jì)算。云計(jì)算的最大特點(diǎn)就是將計(jì)算資源配置到分布式的計(jì)算機(jī)中，使用者可以按照自己的實(shí)際需求對(duì)相關(guān)資源進(jìn)行訪問(wèn)處理。通俗的講，傳統(tǒng)的計(jì)算方式就相當(dāng)于單臺(tái)發(fā)電機(jī)供電方式，而云計(jì)算則相當(dāng)于現(xiàn)代的集中供電方式。云計(jì)算從出現(xiàn)開(kāi)始就受到了人們的重視，好多企業(yè)將云計(jì)算作為重點(diǎn)研究的項(xiàng)目。經(jīng)過(guò)一段時(shí)間的發(fā)展，現(xiàn)在市面上已經(jīng)有很多以云計(jì)算為基礎(chǔ)的應(yīng)用，如Google Apps等。但是，總的說(shuō)來(lái)，云計(jì)算還處于發(fā)展期，很多與此相關(guān)的技術(shù)還需要進(jìn)一步完善。

2 云數(shù)據(jù)管理技術(shù)

對(duì)云數(shù)據(jù)的管理是十分重要的，云數(shù)據(jù)一般都是海量的，如何更加有效的管理云數(shù)據(jù)是非常值得研究的一個(gè)問(wèn)題?，F(xiàn)階段，比較常見(jiàn)的云數(shù)據(jù)管理技術(shù)主要有GFS、Dynamo技術(shù)、BigTable技術(shù)以及MapReduce技術(shù)。

2.1 云數(shù)據(jù)管理數(shù)據(jù)特點(diǎn)

云數(shù)據(jù)管理主要具有下述特點(diǎn)：

第一，數(shù)據(jù)量十分巨大。在信息時(shí)代，隨著各種信息技術(shù)的不斷發(fā)展，人們可以采集到的數(shù)據(jù)越來(lái)越多，數(shù)據(jù)量也越來(lái)越大。如何更好的處理海量數(shù)據(jù)是人們十分關(guān)心的問(wèn)題。

第二，異構(gòu)性。不同行業(yè)產(chǎn)生的數(shù)據(jù)所有區(qū)別，主要體現(xiàn)在兩個(gè)方面：一方面，數(shù)據(jù)的形態(tài)是不一樣的；另一方面，數(shù)據(jù)的結(jié)構(gòu)也有所不同。一般來(lái)講，人們會(huì)利用傳感器采集數(shù)據(jù)，然而傳感器的種類有很多，如溫度傳感器、振動(dòng)傳感器等，不同類型傳感器采集到的數(shù)據(jù)格式是不一樣的，這就帶來(lái)了數(shù)據(jù)的異構(gòu)性問(wèn)題。

第三，非確定性。云數(shù)據(jù)具有一定的不確定性，因此，研究人員需要對(duì)云數(shù)據(jù)進(jìn)行一定的處理，以得到數(shù)據(jù)中的有效信息。

2.2 GFS技術(shù)

GFS技術(shù)的本質(zhì)是一個(gè)分布式文件系統(tǒng)，GFS的主要作用是支持云數(shù)據(jù)的存儲(chǔ)。GFS系統(tǒng)中一共包括三個(gè)部分，分別是客戶端、主服務(wù)器以及數(shù)據(jù)塊服務(wù)器。其中，客戶端的本質(zhì)是訪問(wèn)接口。而GFS系統(tǒng)中最為關(guān)鍵的一部分則是主服務(wù)器，它相當(dāng)于整個(gè)GFS系統(tǒng)的大腦。數(shù)據(jù)塊服務(wù)器的主要作用就是對(duì)系統(tǒng)中的信息進(jìn)行儲(chǔ)存操作。

2.3 MapReduce技術(shù)

MapReduce技術(shù)的本質(zhì)是一個(gè)編程模型，該模型中主要有兩個(gè)函數(shù)，第一個(gè)是map函數(shù)；第二個(gè)是reduce函數(shù)。map函數(shù)的主要作用是對(duì)接收的任務(wù)開(kāi)展分解操作，將完整的大任務(wù)劃分成幾個(gè)小任務(wù)，從而利用節(jié)點(diǎn)對(duì)其進(jìn)行操作。而reduce函數(shù)的主要作用是對(duì)map函數(shù)的處理結(jié)果—“值/對(duì)”開(kāi)展進(jìn)一步的處理，主要指的就是歸并處理。

2.4 BigTable技術(shù)

BigTable技術(shù)的提出者是Google，該技術(shù)的理論基礎(chǔ)是MapReduce技術(shù)和GFS技術(shù)。BigTable技術(shù)實(shí)際上就是一個(gè)分布式的數(shù)據(jù)庫(kù)，結(jié)束展數(shù)據(jù)處理之后，會(huì)得到一個(gè)大大的表格。目前，BigTable技術(shù)的應(yīng)用相對(duì)比較廣泛，好多模型都使用了BigTable技術(shù)，如Google Earth等。

2.5 Dynamo技術(shù)

Dynamo技術(shù)實(shí)質(zhì)上是一個(gè)結(jié)構(gòu)化存儲(chǔ)系統(tǒng)，該系統(tǒng)的最大特點(diǎn)體現(xiàn)在將數(shù)據(jù)庫(kù)和分布式Hash表的特點(diǎn)結(jié)合起來(lái)。現(xiàn)階段，Dynamo技術(shù)已經(jīng)在一些應(yīng)用中得到了實(shí)現(xiàn)，比較典型的代表是Project Voldemort等。

3 云數(shù)據(jù)管理技術(shù)分析

目前，云數(shù)據(jù)管理技術(shù)正處于關(guān)鍵的發(fā)展時(shí)期?，F(xiàn)有的云數(shù)據(jù)管理技術(shù)主要將管理過(guò)程劃分成了四個(gè)層次，包括數(shù)據(jù)組織和管理、數(shù)據(jù)集成和管理、分布式并行處理以及數(shù)據(jù)分析。下面分別介紹一下：

第一，數(shù)據(jù)組織和管理。在此過(guò)程中主要借助的是一些分布存儲(chǔ)技術(shù)，從而可以實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的并行管理。

第二，數(shù)據(jù)集成和管理。在此過(guò)程主要借助的是分布式數(shù)據(jù)管理方法，主要是為了解決數(shù)據(jù)的不確定性問(wèn)題。

第三，分布式并行處理。在此過(guò)程主要借助的是云計(jì)算的并行編程方式，將完整的任務(wù)劃分成多個(gè)小的任務(wù)，從而更好的實(shí)現(xiàn)對(duì)節(jié)點(diǎn)的配置。

第四，數(shù)據(jù)分析。開(kāi)展云數(shù)據(jù)管理的主要目的就是方便后續(xù)數(shù)據(jù)分析工作的開(kāi)展，在數(shù)據(jù)分析時(shí)主要使用的是一些數(shù)據(jù)挖掘方法，從海量的數(shù)據(jù)中挖掘有用的信息。

4 云數(shù)據(jù)管理展望

隨著時(shí)代的不斷發(fā)展，云計(jì)算要面對(duì)的挑戰(zhàn)逐漸增多。同樣的，云數(shù)據(jù)管理也會(huì)迎來(lái)新的挑戰(zhàn)，同時(shí)這也是云數(shù)據(jù)管理的發(fā)展機(jī)遇。具體的挑戰(zhàn)有：第一，如何處理預(yù)載海量數(shù)據(jù)集的問(wèn)題；第二，如何從結(jié)構(gòu)化的數(shù)據(jù)中獲取信息，或者是如何從半機(jī)構(gòu)化的數(shù)據(jù)中獲得信息等。云數(shù)據(jù)管理具有巨大的發(fā)展?jié)摿Γ嚓P(guān)人員應(yīng)該緊抓發(fā)展機(jī)遇，不斷迎接挑戰(zhàn)。

5 結(jié)語(yǔ)

在本次研究中，筆者主要關(guān)注的是云計(jì)算和云數(shù)據(jù)管理問(wèn)題。主要探討了云數(shù)據(jù)管理中的一些關(guān)鍵技術(shù)，并對(duì)云數(shù)據(jù)管理技術(shù)進(jìn)行了分析，希望可以為相關(guān)人員帶來(lái)一定的參考。

參考文獻(xiàn)

[1]周治宇.云計(jì)算和云數(shù)據(jù)管理技術(shù)分析與探討[J].信息通信，2015，03：134-135.

[2]高偉.淺淡云計(jì)算和云數(shù)據(jù)管理技術(shù)[J].無(wú)線互聯(lián)科技，2013，02：29.

[3]李海秋.關(guān)于云數(shù)據(jù)管理系統(tǒng)中查詢技術(shù)研究[J].電腦知識(shí)與技術(shù)，2013，12：2761-2763.

[4]張旭輝.關(guān)于云計(jì)算數(shù)據(jù)中心大數(shù)據(jù)安全技術(shù)分析[J].中國(guó)新通信，2016，17：48.