基于云計算下的分布存儲關鍵技術(shù)研究

摘要：本文對于近幾年新興的計算方式——云計算做了詳細的介紹，以及對基于這種計算方式下的分布存在有怎樣的關鍵技術(shù)。同時闡述了隨著計算機的發(fā)展此項技術(shù)已經(jīng)應用于各項領域，并為各個領域的發(fā)展起到了越來越多的良性影響。

關鍵詞：云計算；分布存儲；影響

中圖分類號：TP333 文獻標識碼：A 文章編號：1007-9599 （2012） 23-0000-02

近些年來，計算機的發(fā)展對各個行業(yè)的影響給人們的生活帶來了日新月異的變化，越來越多的通過計算機帶給大家的影響已經(jīng)植入到大家生活的各個角落。今天我們重點來說一下基于云計算下的分布存儲關鍵技術(shù)都有哪些。首先來看一下什么是云計算。

1 概述

所謂云計算指的是為了適應當今大量數(shù)據(jù)需要存儲和計算而且現(xiàn)金的通信技術(shù)飛速的發(fā)展而產(chǎn)生的一種全新的可以共同去分享基本的資源的一種用來計算的模型，它被業(yè)內(nèi)人士贊譽為具有革命性里程碑的一個計算模型。云計算依托于互聯(lián)網(wǎng)，將互聯(lián)網(wǎng)做為中心，摒棄了之前的以個人計算機為中心的原始方式，去建立若干個個人計算題同大量網(wǎng)絡設備相連所形成的一個非常龐大的數(shù)據(jù)中心，數(shù)據(jù)中心用來存儲整個系統(tǒng)的把大量數(shù)據(jù)，這個數(shù)據(jù)中心的作用是上一層的應用以及服務去提供出既可靠又安全同時便捷和快速、透明的在計算上的服務以及實現(xiàn)各種數(shù)據(jù)的準確存儲。整個云計算的重要基礎我們可以看出來是數(shù)據(jù)中心，使用此系統(tǒng)各個企業(yè)通過操作數(shù)據(jù)中心來實現(xiàn)各種業(yè)務上的操作，我們來看一下各個機構(gòu)的作用都是那些，首先服務提供商：盈利是依賴的是通過數(shù)據(jù)中心來獲取各種服務。內(nèi)容提供商：盈利是依賴的是通過數(shù)據(jù)中心來獲取內(nèi)容；

對這些存儲在由若干個個人計算題同大量網(wǎng)絡設備相連所形成龐大數(shù)據(jù)中心的大量數(shù)據(jù)是如何去進行組織、存儲并進行管理，以達到可以向上一層應用提供出符合可靠、安全、高效、可擴展的等等諸多要求的各種數(shù)據(jù)存儲服務就是本文題目所說的云計算環(huán)境下的分布存儲技術(shù)，想要實現(xiàn)此服務建立一個穩(wěn)定的網(wǎng)絡中心是一個必要的條件，同時好的硬件設施也是一個前提條件。

2 基于云計算環(huán)境下的分布存儲技術(shù)產(chǎn)生的背景

在今天各種依托這計算機技術(shù)而高速發(fā)展的信息處理技術(shù)、通信類技術(shù)也以前所未見的速度進行發(fā)展。這樣大量的數(shù)據(jù)單單存放于獨立的計算機上已經(jīng)無法滿足大量數(shù)據(jù)需要進行存儲和處理的要求，所以基于云計算環(huán)境下的分布存儲技術(shù)應運而生。通過運用此技術(shù)各類的用戶節(jié)省了大量硬件存儲費用。僅僅是租賃和購買互聯(lián)網(wǎng)上的數(shù)據(jù)存儲空間來實現(xiàn)自己的數(shù)據(jù)存儲。企業(yè)通過分析自己的需求來訪問互聯(lián)網(wǎng)上計算機及存儲系統(tǒng)已經(jīng)實現(xiàn)了。

我們來看一下大量的數(shù)據(jù)是如何被存儲于互聯(lián)網(wǎng)上的，在整個云計算的條件下，數(shù)據(jù)中心具有不同的節(jié)點，大量的數(shù)據(jù)存儲于各式的節(jié)點上，也可以是不在同一數(shù)據(jù)中心上，數(shù)據(jù)中心會將數(shù)據(jù)組織方式和位置提供給客戶，服務商會提供給用戶一套非常容易操作的使用接口，通過使用接口可以向數(shù)據(jù)中心去執(zhí)行存取數(shù)據(jù)。提供商所要負責的是數(shù)據(jù)整個體系的可用性和可靠性。云計算的最大優(yōu)點就是用戶沒有必要再去構(gòu)建一個獨立的數(shù)據(jù)中心，這樣用戶節(jié)省了很多成本，用戶只是根據(jù)企業(yè)的需求去付費，就可以非常方便地把自己所要使用數(shù)據(jù)存儲在所租用的數(shù)據(jù)中心中。在有需要的時候通過向數(shù)據(jù)中心提交申請和輸入自己的口令，便可以得到自己之前存儲在數(shù)據(jù)中心中的數(shù)據(jù)。

3 基于云計算環(huán)境下的分布存儲技術(shù)的關鍵技術(shù)

3.1 容易產(chǎn)生錯誤

一些之前經(jīng)常被使用的高性能服務器、用來專門提供存儲的設備還有具有raid技術(shù)等等可以糾正錯誤的方法需要支付大量的費用，這樣云計算的提供商就無法在利潤上得到滿足，同時整個數(shù)據(jù)中心具有相當大的節(jié)點規(guī)模這都使數(shù)據(jù)的失效概率在一定程度上提供了。所以在云計算這樣環(huán)境下，失效也會經(jīng)常出現(xiàn)。我們來看一個報告，在一個企業(yè)的數(shù)據(jù)中心當中，平均每一個工作任務在運行的過程中就會有4個節(jié)點會失效，在這個工作任務的數(shù)據(jù)中心中擁有有3200個節(jié)點，平均經(jīng)過5個小時一個磁盤就失效了。整個問題不僅會讓云服務提供商在信用上受到損失同時用戶也會收到巨大的損失。這樣的容易產(chǎn)生錯誤的行為已經(jīng)成為了云計算環(huán)境下分布存儲所要必須解決的一個問題。在整個云計算的環(huán)境下要想要提高整個數(shù)據(jù)系統(tǒng)的準確性和穩(wěn)定性，不僅僅只是解決各個數(shù)據(jù)節(jié)點之間的關系，來將數(shù)據(jù)節(jié)點的物理拓撲結(jié)構(gòu)容易產(chǎn)生錯誤的幾率降低同時還要對存儲在數(shù)據(jù)節(jié)點上的數(shù)據(jù)的管理和組織進行研究，來達到使數(shù)據(jù)提高穩(wěn)定性的目的。

3.2 可擴展性

在之前的以個人計算機為主的數(shù)據(jù)存儲方式提高其可擴展性的方式大部分都是通過一個冗余的預留磁盤來達到可擴展的目的，這種傳統(tǒng)的方式在之前的數(shù)據(jù)量上是能夠確?？梢杂谐渥愦鎯臻g的。然而，云計算下的數(shù)據(jù)中心的數(shù)據(jù)規(guī)模是非常大的，通常會有上幾萬或許達到幾十萬，這事實上都是存在的；除此之外，在數(shù)據(jù)中心中數(shù)據(jù)的存儲計量都是以PB甚至EB去計量，數(shù)據(jù)中心的規(guī)模和整個存儲的數(shù)據(jù)規(guī)模必然會隨著應用的拓展而不斷的增大。所以，無論是哪一個提供商的數(shù)據(jù)中心沒有辦法通過傳統(tǒng)的方式在建立的時候就進行預留。舉個簡單的例子，某公司現(xiàn)在全世界的數(shù)據(jù)中心有40個，僅是一個數(shù)據(jù)中心數(shù)據(jù)節(jié)點就可以達到幾百萬個在本世紀的上個年代在美國的一個城市建立了世界上規(guī)模最大的模塊化數(shù)據(jù)中心，服務器的數(shù)量一年零兩個月就會翻倍增長，這樣的速度已經(jīng)超過了之前的摩爾定律的增長速度。具有如此大的規(guī)模同時還在不斷、快速增長的速度對整個存儲系統(tǒng)的可擴展性的要求提出個非常高的要求，通過上面的論述我們可以看到用戶對數(shù)據(jù)中心的存儲硬件要求要有非常好可擴展性，同時對數(shù)據(jù)的組織結(jié)構(gòu)也具有同樣的要求，只有這樣磁能不斷的適應這個數(shù)據(jù)存儲的要求，最后達到客戶的要求。

3.3 在成本上的控制

在以個人計算機為主進行數(shù)據(jù)存儲的時代，由于分布存儲的數(shù)據(jù)規(guī)模較小節(jié)點數(shù)量也相當較少，所以沒有過多的考慮能耗的問題，同時各個企業(yè)都是非常重視效率以及可靠性方面的問題，所以在這個問題上都不會吝嗇成本的。基于云計算下的分布存儲的規(guī)模實在是太大了，而且隨著應用的范圍越來越大規(guī)模也巨大，也就是說在能耗上的開銷更大。在設備運轉(zhuǎn)的時候會產(chǎn)生大量的熱能，所以還要增加制冷設備的開支。比如在計算機發(fā)展的比較快的美國，在本世紀初的五年當中，數(shù)據(jù)中心的在能量上的消耗整個翻了一番。降低能耗的另外一個好處是可以使數(shù)據(jù)中心的硬件設備提高他們的運行壽命，也就是說將數(shù)據(jù)中心的一些在硬件上的成本降低了。實際上云計算提供商它的盈利手段就是依靠服務，可以將硬件的成本降低也是獲取更多利潤的一個手段，而且又可以保護環(huán)境，所以節(jié)能已經(jīng)是成本控制的一個關鍵點。

4 基于云計算環(huán)境下的分布存儲技術(shù)的結(jié)構(gòu)

4.1 以交換機為中心的結(jié)構(gòu)

在之前的，一些企業(yè)當中自己的數(shù)據(jù)中心。大都是圍繞一個交換機，將它作為整個數(shù)據(jù)中心是中心實施網(wǎng)絡構(gòu)建，交換機將服務器連接在一起，交換機的任務就是對數(shù)據(jù)包進行轉(zhuǎn)發(fā)，服務器的功能就是將存儲的數(shù)據(jù)進行處理。

這樣的傳統(tǒng)結(jié)構(gòu)大多是采用樹型結(jié)構(gòu)，一共有三層分別是聚合層、邊緣層和核心層。樹型結(jié)構(gòu)的最大特點就是非常直觀，操作起來簡單、方便，而且連接和實現(xiàn)很容易起來。同時還具有容易擴展的特點，盡管有上述的優(yōu)點，但是也不可避免的有很多缺點：例如說整個鏈路的帶寬在容量上是被限定的，現(xiàn)在對于帶寬的要求越來越大，所以現(xiàn)在的鏈路帶寬無法滿足整個數(shù)據(jù)中心的數(shù)據(jù)傳輸；在整個系統(tǒng)中靈活性不高、處在下層服務器使用頻率低；作為整個結(jié)構(gòu)的一個中心交換機卻不能被充分利用，系統(tǒng)的交換機設備都是一個主機加上一個備機，這樣當一個交換機出現(xiàn)問題的時候不會導致所有的服務器都無法工作。這種結(jié)構(gòu)在某些程度上是使系統(tǒng)的可靠性提高了，但大多的時間都是有一個設備在閑置；對通信的需求沒有辦法滿足。

4.2 以服務器為中心的結(jié)構(gòu)

這樣的結(jié)構(gòu)同傳統(tǒng)的結(jié)構(gòu)不同并沒有交換機以及路由器等設備，而是以服務器為中心，系統(tǒng)會給每臺服務器都配置一些網(wǎng)卡來組成一個互聯(lián)設備，轉(zhuǎn)發(fā)數(shù)據(jù)的工作是由服務器所負責的，這樣的結(jié)構(gòu)雖然很簡單，缺點就是鏈路冗余。兩種結(jié)構(gòu)各有各的優(yōu)點和缺點，所以將兩者的優(yōu)點結(jié)合在一起才是最好的結(jié)構(gòu)，于是混合結(jié)構(gòu)就產(chǎn)生了，混合結(jié)構(gòu)使用交換機數(shù)據(jù)中心的節(jié)點相連接，而且每個服務器都會配置一些網(wǎng)卡，服務器同時會參與數(shù)據(jù)包轉(zhuǎn)發(fā)、路由兩個功能。

5 結(jié)語

現(xiàn)在云計算不僅被廣泛應用于科學計算當中同時再商業(yè)計算等一些領域有有著廣泛廣泛的應用?；谠朴嬎阆碌姆植即鎯π枰菃栴}就是要解決目前大量數(shù)據(jù)被分布存儲那個對整個系統(tǒng)的容錯性、可擴展性以及低成本等等關鍵的技術(shù)。所以說，研究人員對數(shù)據(jù)中心的一個網(wǎng)絡拓撲結(jié)構(gòu)要進行進一步的研究，將之前所說的基于云計算下的分布存儲的關鍵問題進一步提升。在這里涉及到的技術(shù)方法會有很多，目前這些技術(shù)很多人都在研究但是要想實現(xiàn)全部的設想還是有一段的距離的。本文對關鍵技術(shù)進行了分析，并提出了這些關鍵技術(shù)上還存在那些急需解決的問題，最后給出了研究者們未來的方向是什么。

參考文獻：

[1]鄭緯民.云計算的大幕已經(jīng)拉開[J].中國計算機學會通訊，2009，5（6）：6—7.

[2] lan Foster，Yong Zhao，loan Raicu，et a1.Cloud Computingand Grid Computing 360一Degree Compared [C]//Proceed·ings of IEEE Grid Computing Environments workshop（GCE08）.USA：IEEE Computer Society。2008：I—10.

[3]劉鵬.云計算的定義和特點.中國云計算[EB/OL]，2009.