云計算和云數(shù)據(jù)管理技術(shù)

【摘要】文章通過分析云計算的定義特點及云數(shù)據(jù)的管理技術(shù)，以促進云計算和云數(shù)據(jù)管理技術(shù)的發(fā)展和提高。

【關(guān)鍵詞】云計算；云數(shù)據(jù)；管理技術(shù)

近年來隨著科技水平的不斷提高，信息數(shù)據(jù)量不斷增大，并且具有快速的增長速度，用戶對于計算機的存儲能力提出了更高的要求。而“三網(wǎng)融合”、“物聯(lián)網(wǎng)”、“智能電網(wǎng)”等應(yīng)用的快速發(fā)展對于計算和數(shù)據(jù)管理也帶來了新的挑戰(zhàn)。云計算作為一種正在興起中的新型技術(shù)，可以改變普通用戶操作計算機的模式，可以根據(jù)用戶的需要來提高計算能力和存儲能力，使用戶像使用水電一樣的方便快捷的使用計算機，降低用戶的軟件和硬件采購成本。云計算是基于分布式系統(tǒng)和網(wǎng)絡(luò)計算上提出的新型概念，核心功能的提供海量的數(shù)據(jù)和存儲，并且提供高效率的計算能力，由于開發(fā)更多的應(yīng)用形式。而云計算并不僅僅是做計算，還需要融合更多的技術(shù)成果，提出云數(shù)據(jù)的管理概念。本文通過分析云計算和云數(shù)據(jù)的管理技術(shù)，促進云計算和云數(shù)據(jù)管理技術(shù)的發(fā)展和提高，方便今后工作的開展。

一、云計算的概念

（一）云計算的定義

云計算是一種近年來興起的新型計算模型，是在互聯(lián)網(wǎng)技術(shù)快速發(fā)展的基礎(chǔ)上發(fā)展起來的。由于目前對于云計算還沒有統(tǒng)一的標準定義，所以出現(xiàn)了很多云計算的定義版本。而通過對于云計算的分析研究，總體的定義方向都是一致的。具體來說，云計算實際上是一種對于虛擬化技術(shù)、網(wǎng)絡(luò)技術(shù)和Web Service等幾種不同的新型信息技術(shù)的綜合應(yīng)用。云計算所運用的技術(shù)幾乎包括了所有的互聯(lián)網(wǎng)和信息技術(shù)?？梢哉f云計算是網(wǎng)絡(luò)計算的必然發(fā)展，虛擬化技術(shù)又是云計算得以發(fā)展的基礎(chǔ)和前提，Web Service信心技術(shù)為云計算提供了互聯(lián)網(wǎng)環(huán)境的技術(shù)支持。隨著互聯(lián)網(wǎng)的發(fā)展，計算機用戶也越來越專業(yè)化，它們對于數(shù)據(jù)信息的了解和使用越來越熟練，對于數(shù)據(jù)信息的要求也發(fā)生了變化，提出了各種不同的信息數(shù)據(jù)需求，云計算正是滿足了這類用戶的需要，也得到了進一步的使用和發(fā)展。

（二）云計算的工作原理

云計算在工作環(huán)境下不需要使用本地的計算機，通過互聯(lián)網(wǎng)聯(lián)接來進行數(shù)據(jù)的分布和處理，并且優(yōu)化數(shù)據(jù)，然后經(jīng)過互聯(lián)網(wǎng)的連接來實現(xiàn)分享數(shù)據(jù)的目的。這種工作模式可以使企業(yè)方便的進行資源利用，并且有效的切換有效資源，根據(jù)實際工作的具體要求來訪問計算機和存儲系統(tǒng)，獲得相關(guān)的信息和數(shù)據(jù)。云計算作為一項新型的實用性技術(shù)，一定程度上提高了計算能力的商業(yè)性，通過網(wǎng)絡(luò)傳播和售賣實現(xiàn)了降低售賣成本的目的，同時還充分發(fā)揮了實用性，使企業(yè)的相關(guān)工作得以全面落實。

（三）云計算的體系結(jié)構(gòu)

云計算的體系結(jié)構(gòu)非常龐大，并且具有很強的復(fù)雜性，一般以“云”網(wǎng)絡(luò)為核心，聯(lián)接到其他網(wǎng)絡(luò)和服務(wù)器，發(fā)送出相關(guān)的數(shù)據(jù)信息。同時通過虛擬技術(shù)的支持擴展相關(guān)服務(wù)器的功能，在云計算的平臺上實現(xiàn)各種信息資源的整合，達到為用戶提供更多更有效數(shù)據(jù)的目的，提升了計算能力和儲存能力。完善的云計算體系結(jié)構(gòu)應(yīng)包括云端用戶、部署工具、服務(wù)目錄、管理系統(tǒng)這主要的四個部分。

二、云數(shù)據(jù)管理技術(shù)的主要特點

（一）規(guī)模大，海量性

隨著近年來互聯(lián)網(wǎng)技術(shù)應(yīng)用的發(fā)展和普及，一些互聯(lián)網(wǎng)技術(shù)是通過傳感器來進行數(shù)據(jù)信息的采集來完成相關(guān)的工作。而隨著應(yīng)用技術(shù)的發(fā)展和推廣，數(shù)據(jù)量變得越來越大，并且還在快速的增長。云計算中的“云”具有規(guī)模大的特性，以云計算為基礎(chǔ)而構(gòu)建的信息服務(wù)或設(shè)備也具有大規(guī)模的特點，并且應(yīng)用于處理海量性的信息數(shù)據(jù)。另外云計算還可以無限擴展，同時處理成百上千的信息節(jié)點。這種可以無限擴大和伸縮的特點滿足了不同用戶的不同需求，在云計算的數(shù)據(jù)管理技術(shù)中也要注重技術(shù)和方法的改進，提高信息數(shù)據(jù)的管理水平和處理水平，重視信息數(shù)據(jù)的整合、提取和推理，有助于工作決策的完成。

（二）安全可靠性

云計算的技術(shù)包括了虛擬化技術(shù)、互聯(lián)網(wǎng)技術(shù)及分布式計算等比較成熟的技術(shù)手段，為云計算的可靠性提供了有效的保證。并且云計算在安全性方面也具有優(yōu)勢，云計算采用了不同服務(wù)器上的信息數(shù)據(jù)多副容錯的方式，計算的信息節(jié)點采用了同構(gòu)互換技術(shù)，這些都極大地提高了云數(shù)據(jù)管理的安全性。

（三）異構(gòu)性

由于應(yīng)用云計算技術(shù)的領(lǐng)域和行業(yè)的不同，云計算的數(shù)據(jù)采集設(shè)備和方式也各不相同，存在著一定的差異性。每個行業(yè)中云計算所獲取的結(jié)構(gòu)和數(shù)據(jù)形態(tài)也存在著不同的差別，需要根據(jù)具體的實際情況，來判斷采取不同的傳感器，例如二氧化碳濃度傳感器、溫度傳感器和濕度傳感器等。不同的傳感器在應(yīng)用的時候，傳遞信息和獲取信息的形式也是不盡相同的，這些差別會帶來數(shù)據(jù)分析、處理和訪問等各個環(huán)節(jié)的差別，另外數(shù)據(jù)的多源性也會造成數(shù)據(jù)的類型各不相同，不同類型的數(shù)據(jù)信息也有不同的格式，從而會出現(xiàn)半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)同時存在的情況，使信息數(shù)據(jù)存在異構(gòu)性的特點。

（四）不確定性

云計算的運行環(huán)境中數(shù)據(jù)信息具有一定的非確定性，主要表現(xiàn)為信息數(shù)據(jù)本身、數(shù)據(jù)語義匹配及數(shù)據(jù)信息的分析查詢等方面具有不確定性。而為了達到保證信息數(shù)據(jù)準確客觀的目的，用戶在應(yīng)用云計算時一定要明辨真?zhèn)?，去其槽粕取其精華，反映真實的需求完成預(yù)期的工作目標。

（五）通用性、便捷性

云計算的使用平臺在提供各項服務(wù)時，用戶在使用中不會受到空間上的限制，也不會受到時間的約束。用戶只要具有訪問驗證信息就可以自由的使用云計算平臺，享受云計算的服務(wù)，不會受到系統(tǒng)和平臺的限制，具有極大的通用性和便捷性。

三、云數(shù)據(jù)管理技術(shù)

用戶通過云計算來分析處理大量的數(shù)據(jù)信息，云計算的數(shù)據(jù)管理技術(shù)必須要能夠滿足用戶的需求，高效及時的管理分析海量的數(shù)據(jù)和信息。云計算分析處理的數(shù)據(jù)具有海量性、不確定性，這對云計算數(shù)據(jù)管理技術(shù)的開發(fā)和發(fā)展不斷提出新的要求，需要積極的構(gòu)造高效可用的信息數(shù)據(jù)管理系統(tǒng)。

（一）數(shù)據(jù)信息的組織管理

數(shù)據(jù)的組織管理可以采用分布式的系統(tǒng)來訪問分析海量的分布式數(shù)據(jù)，例如GFS技術(shù)。這種技術(shù)可以在差別不大的各種普通硬件上運行，為用戶提供了容錯功能，并且為用戶提供高效可靠的信息數(shù)據(jù)并行的存儲和訪問權(quán)限。

（二）數(shù)據(jù)信息的集合管理

數(shù)據(jù)信息具有海量性、動態(tài)性、不確定性等特點，需要采取分布式的數(shù)據(jù)信息處理技術(shù)來進行采集分析，例如Big Table技術(shù)可以用于對海量數(shù)據(jù)信息的處理，提供高效的服務(wù)。

（三）數(shù)據(jù)信息的分析管理

應(yīng)用云計算的數(shù)據(jù)管理技術(shù)是為了分析和挖掘相關(guān)的數(shù)據(jù)來滿足用戶的需求。因此需要運用不同技術(shù)和布局來從海量的數(shù)據(jù)中提取挖掘有用的潛在數(shù)據(jù)，并且理解所挖掘的信息數(shù)據(jù)同時進行分析，為各種應(yīng)用提供支持。

（四）數(shù)據(jù)信息的存儲管理

以Dynamo技術(shù)為例，這是一個具有高可用度的存儲系統(tǒng)，具有DHT和數(shù)據(jù)庫的特征，為AWS提供了基礎(chǔ)的技術(shù)支持，并不直接展示于外網(wǎng)。Dynamo技術(shù)設(shè)計的存儲架構(gòu)可以使信息數(shù)據(jù)在框架內(nèi)均勻的存儲，并且各個存儲節(jié)點之間可以互通，根據(jù)數(shù)據(jù)的具體操作需求在框架內(nèi)進行轉(zhuǎn)發(fā)，具有較強的自主性，而由于有主控點來進行控制，單個節(jié)點之間一般不會出現(xiàn)故障。

Dynamo技術(shù)在存儲時還具有一些優(yōu)點，可以通過提供N、R、W這三個參數(shù)結(jié)合實際情況去調(diào)整實例。N即表示副本的個數(shù)，R為可完成的數(shù)據(jù)信息的成功一致個數(shù)，W為完成寫入的個數(shù)。Dynamo技術(shù)可以記錄、處理不同版本的對象，將對象的不同版本來提供給技術(shù)應(yīng)用，使應(yīng)用可以對這些數(shù)據(jù)信息進行合理的整合和利用。在這一過程中并不要求將副本個數(shù)N全部的成功完成，只需要成功讀取的個數(shù)R和成功寫入的個數(shù)W兩者相加，大于副本個數(shù)N，這樣就可以保證數(shù)據(jù)的最終一致性。這種讀取方式比寫入一次進行多次讀取的系統(tǒng)要麻煩一些，但是寫入方式變得更簡單，也充分滿足了用戶的需要。同時Dynamo技術(shù)也具有負載均衡的優(yōu)勢，由于所采用的DHT方式將需要的信息數(shù)據(jù)都均勻的存儲到每個節(jié)點，導(dǎo)致每個節(jié)點的數(shù)據(jù)信息訪問量和存儲量都大致相同，比較均衡。

四、結(jié)語

當今社會處于高速發(fā)展的信息時代，各種數(shù)據(jù)信息在全球范圍內(nèi)傳遞交換，也就需要開發(fā)和利用高效可用的信息傳播媒介來適應(yīng)信息時代的發(fā)展，云計算和云數(shù)據(jù)管理技術(shù)正是為此而生。作為新型的信息技術(shù)，云計算具有廣闊的發(fā)展空間也面臨著不同的挑戰(zhàn)。網(wǎng)絡(luò)互聯(lián)網(wǎng)技術(shù)的快速發(fā)展使云計算和云數(shù)據(jù)管理技術(shù)有了更好的機會和支持，也導(dǎo)致了新型應(yīng)用系統(tǒng)的開發(fā)和應(yīng)用，因此云計算和云數(shù)據(jù)管理技術(shù)要充分把握機會面對挑戰(zhàn)，利用本身的優(yōu)勢和時代的發(fā)展來實現(xiàn)進一步的提高，解決應(yīng)用過程中的技術(shù)難題，得到長遠發(fā)展。

參考文獻

[1]劉正偉，文中領(lǐng)，張海濤，等.云計算和云數(shù)據(jù)管理技術(shù)[J].計算機研究與發(fā)展，2012，49（z1）：26-31.

[2]羅亞東.云計算和云數(shù)據(jù)管理技術(shù)的思考[J].電子制作，2015，（1）：155-156.

作者簡介：初魯京（1987-），男，，山東煙臺人，中國人民大學(xué)在職研究生，研究方向：企業(yè)管理。