有關(guān)云計(jì)算與云數(shù)據(jù)管理技術(shù)的探討

彭馳

摘 要：隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，其在生產(chǎn)、生活中占據(jù)著越來(lái)越重要的地位，人們也對(duì)網(wǎng)絡(luò)的應(yīng)用提出了更高的要求，由此而產(chǎn)生的云技術(shù)與云數(shù)據(jù)管理，為用戶提供了更全面的服務(wù)，也使信息領(lǐng)域逐漸走向?qū)I(yè)化，改進(jìn)了數(shù)據(jù)管理。

關(guān)鍵詞：云計(jì)算；云數(shù)據(jù)；管理技術(shù)

近年來(lái)，我國(guó)實(shí)現(xiàn)了數(shù)據(jù)的快速增長(zhǎng)，與此同時(shí)，用戶對(duì)計(jì)算機(jī)的運(yùn)算能力的要求也在不斷提高，提高計(jì)算機(jī)快速解決復(fù)雜問(wèn)題的能力成為了一個(gè)亟待解決的問(wèn)題，云計(jì)算也因此而誕生。云計(jì)算能夠使計(jì)算機(jī)的運(yùn)算模式發(fā)生改變，按照用戶的需要設(shè)置運(yùn)算能力和存儲(chǔ)能力，減少了用戶的購(gòu)買費(fèi)用，為計(jì)算機(jī)用戶提供了方便。

1 云計(jì)算技術(shù)

云計(jì)算中的“云”指的是計(jì)算機(jī)群，在每一個(gè)計(jì)算機(jī)群中都包含大數(shù)量的計(jì)算機(jī)。進(jìn)行云計(jì)算時(shí)，所用到的處理數(shù)據(jù)都儲(chǔ)存在“云端”，運(yùn)算也都在“云端”上進(jìn)行。用戶在使用時(shí)可以用任意電腦訪問(wèn)“云”中所儲(chǔ)存的數(shù)據(jù)。云計(jì)算的使用避免了文件的丟失，在運(yùn)用上也十分便利，同時(shí)避免了病毒對(duì)文件的破壞。近年來(lái)，各大IT企業(yè)都推出了云計(jì)算應(yīng)用，但這項(xiàng)技術(shù)還處于發(fā)展階段。

對(duì)于云計(jì)算沒(méi)有統(tǒng)一的概念，要根據(jù)不同的服務(wù)模式才能下具體的定義，但其最終目的都是做好用戶服務(wù)。在云計(jì)算的引用中，用戶要運(yùn)用虛擬的平臺(tái)獲取網(wǎng)絡(luò)資源或者完成資源的存儲(chǔ)，與操作自己的計(jì)算機(jī)資源沒(méi)有太大區(qū)別。云計(jì)算是以利用并行計(jì)算解決文本網(wǎng)格計(jì)算為基礎(chǔ)，實(shí)現(xiàn)分布式處理以及網(wǎng)格處理的改進(jìn)。其應(yīng)用能為用戶提供多種服務(wù)，如軟件即服務(wù)、平臺(tái)即服務(wù)等，這些服務(wù)都能使用戶擺脫細(xì)節(jié)的干擾，專注于自己的工作。

2 云數(shù)據(jù)管理技術(shù)

云計(jì)算需要對(duì)海量的信息進(jìn)行處理，因此，數(shù)據(jù)管理的實(shí)施必須能夠有效管理大量數(shù)據(jù)，并構(gòu)建出高效的和擴(kuò)展式的數(shù)據(jù)存儲(chǔ)系統(tǒng)。目前的云數(shù)據(jù)管理技術(shù)中，主要使用的有Big Table技術(shù)和Hadoop技術(shù)。

2.1 Big Table技術(shù)

這種技術(shù)是Google公司提出的一種云數(shù)據(jù)管理技術(shù)，它是一個(gè)大型的數(shù)據(jù)庫(kù)，其作用是將數(shù)據(jù)結(jié)構(gòu)化。Big Table技術(shù)是一種分布式的存儲(chǔ)系統(tǒng)，其應(yīng)用時(shí)為了管理結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)通常能夠擴(kuò)展到很大的規(guī)模，如在幾千臺(tái)服務(wù)器中達(dá)到Petabytes規(guī)模。目前，很多的程序都是建立在Big Table之上，如RSS閱讀器、Orkut、Google Earth等。Big Table是有序且稀疏的映射表，具有很好的伸縮性。其運(yùn)行包括三個(gè)元素，即行、列和時(shí)間戳。其中行能夠劃分內(nèi)容標(biāo)準(zhǔn)，將多個(gè)行組合成一個(gè)小表。列能夠增強(qiáng)其可續(xù)性。時(shí)間戳可以存儲(chǔ)不同版本數(shù)據(jù)。

Big Table的主要組成部分有三個(gè)，分別是連接各個(gè)客戶端的庫(kù)、Table服務(wù)器和主服務(wù)器。其中主服務(wù)器的作用是給Table服務(wù)器下達(dá)相應(yīng)的任務(wù)，探測(cè)其添加狀態(tài)和垃圾回收等。Table服務(wù)器則負(fù)責(zé)處理Table的請(qǐng)求，并分割較大的Table，達(dá)到需求目的。在使用中，客戶端數(shù)據(jù)可以直接與Table服務(wù)器交流。Big Table使用三層夾模來(lái)實(shí)現(xiàn)位置信息的存儲(chǔ)，完成信息的構(gòu)建與互補(bǔ)，當(dāng)用戶進(jìn)行數(shù)據(jù)讀取時(shí)，逐層向下讀取，知道找到所需的信息。Big Table在完成任務(wù)時(shí)，每個(gè)Table服務(wù)器只分得一個(gè)Table，由主服務(wù)器對(duì)其實(shí)行監(jiān)控，及時(shí)調(diào)節(jié)負(fù)載平衡。

2.2 Hadoop技術(shù)

這種技術(shù)包含Hadoop分布式文件系統(tǒng)與MapReduce編程模式兩個(gè)部分。Hadoop技術(shù)運(yùn)用是要符合幾個(gè)假設(shè)，一是服務(wù)器失效是正常的，二是存儲(chǔ)數(shù)據(jù)是海量的，三是文件不會(huì)被頻繁修改。在Hadoop技術(shù)中，分布文件系統(tǒng)是由命名節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)所組成的，其中命名節(jié)點(diǎn)存儲(chǔ)的是文件的元數(shù)據(jù)，其作用是維護(hù)系統(tǒng)命名空間和提供文件目錄有關(guān)操作。數(shù)據(jù)節(jié)點(diǎn)的作用是存儲(chǔ)實(shí)際數(shù)據(jù)，并負(fù)責(zé)管理節(jié)點(diǎn)上的存儲(chǔ)空間。

由于Hadoop的特殊設(shè)置，將失效看做常態(tài)，因此會(huì)存在多個(gè)副本，分布文件系統(tǒng)將一個(gè)副本存放在本地計(jì)算機(jī)的一個(gè)節(jié)點(diǎn)上，一個(gè)存儲(chǔ)在相同計(jì)算機(jī)的不同節(jié)點(diǎn)上，另外一個(gè)存儲(chǔ)在其他其他機(jī)架的節(jié)點(diǎn)上。由于機(jī)架的錯(cuò)誤小于節(jié)點(diǎn)錯(cuò)誤，在這個(gè)方法的使用上不會(huì)影響到數(shù)據(jù)的可靠性。其中數(shù)據(jù)的三分之一副本存在于一個(gè)節(jié)點(diǎn)，另外三分之二存在于一個(gè)機(jī)架，這種策略也確保了數(shù)據(jù)的完整，避免數(shù)據(jù)丟失。在執(zhí)行任務(wù)的過(guò)程中，主節(jié)點(diǎn)會(huì)對(duì)子節(jié)點(diǎn)的狀態(tài)進(jìn)行及時(shí)檢測(cè)，并對(duì)子節(jié)點(diǎn)加以管理。Hadoop技術(shù)對(duì)數(shù)據(jù)的處理是采用由計(jì)算到存儲(chǔ)進(jìn)行推移的策略，在Hadoop中由于存在分布文件系統(tǒng)的支持，數(shù)據(jù)能夠分布存儲(chǔ)的各節(jié)點(diǎn)，在計(jì)算時(shí)個(gè)節(jié)點(diǎn)通過(guò)讀取自身節(jié)點(diǎn)上的數(shù)據(jù)來(lái)進(jìn)行數(shù)據(jù)的有效處理，也可以將計(jì)算遷移至離數(shù)據(jù)更近的位置，從而避免了數(shù)據(jù)的大量傳遞。

3 云數(shù)據(jù)管理的展望

云計(jì)算作為一種新型的商業(yè)模式，無(wú)論是公司還是個(gè)人都可以完成其存儲(chǔ)空間的租賃，這樣計(jì)算只需要一個(gè)終端，而不必花費(fèi)大量的資金去購(gòu)買計(jì)算機(jī)硬件和設(shè)備。但是，現(xiàn)在的數(shù)據(jù)庫(kù)還存在一定缺陷。為此，專業(yè)技術(shù)人員要加強(qiáng)新技術(shù)的開(kāi)發(fā)，合理解決云數(shù)據(jù)管理中成本高和擴(kuò)展性不好等問(wèn)題，使其能夠分析大規(guī)模的數(shù)據(jù)。另外，云數(shù)據(jù)管理中存在這多種應(yīng)用，要分別對(duì)這些應(yīng)用做出優(yōu)化，在運(yùn)行中不斷積累經(jīng)驗(yàn)，做好長(zhǎng)期戰(zhàn)斗的準(zhǔn)備，使云計(jì)算能夠更符合當(dāng)今的需求。

4 結(jié)束語(yǔ)

云計(jì)算的應(yīng)用前景十分廣闊，其存儲(chǔ)大、非確定性等特點(diǎn)為當(dāng)前的計(jì)算機(jī)應(yīng)用提供了新的途徑。但目前云計(jì)算技術(shù)還沒(méi)有形成統(tǒng)一的標(biāo)準(zhǔn)，也面臨著數(shù)據(jù)安全的問(wèn)題。因此，要對(duì)其加以關(guān)注，增加對(duì)其問(wèn)題的探討，提出解決措施，使云計(jì)算和云數(shù)據(jù)管理技術(shù)日益完善。

參考文獻(xiàn)

[1]南志海.云計(jì)算和云數(shù)據(jù)管理技術(shù)探討[J].硅谷，2013（6）.

[2]崔超.有關(guān)云計(jì)算和云數(shù)據(jù)管理技術(shù)的分析[J].無(wú)線互聯(lián)科技，2014（1）.

[3]羅亞?wèn)|.云計(jì)算和云數(shù)據(jù)管理技術(shù)的思考[J].電子制作，2015（1）.

[4]鄒佳利.基于云計(jì)算的科技資源共享問(wèn)題研究[D].西安郵電大學(xué)，2013.