基于云計(jì)算的分布式存儲系統(tǒng)的研究

林碧洪

摘要：當(dāng)前，中國正處于深化布局戰(zhàn)略性新興產(chǎn)業(yè)關(guān)鍵時期，云計(jì)算作為最具有活力與革新性的戰(zhàn)略性新興產(chǎn)業(yè)，與之相關(guān)聯(lián)的應(yīng)用市場也呈現(xiàn)了快速發(fā)展的勢頭，整體產(chǎn)業(yè)未來的發(fā)展前景不可限量。本文從云計(jì)算環(huán)境下分布式存儲技術(shù)的需求出發(fā)，分析其結(jié)構(gòu)，并簡述云計(jì)算環(huán)境下幾項(xiàng)關(guān)鍵的分布式存儲技術(shù)。

關(guān)鍵詞：云計(jì)算；分布式存儲；關(guān)鍵技術(shù)

互聯(lián)網(wǎng)正面臨著一場新的變革，移動互聯(lián)與三網(wǎng)合一使得網(wǎng)絡(luò)涵蓋范圍更廣泛，云計(jì)算的產(chǎn)生使得一個平臺多種應(yīng)用成為可能。同時隨著網(wǎng)絡(luò)帶寬等網(wǎng)絡(luò)技術(shù)的發(fā)展，通過網(wǎng)絡(luò)訪問非本地的計(jì)算服務(wù)的條件越來越成熟，更加促進(jìn)了云計(jì)算技術(shù)的發(fā)展。本文研究云計(jì)算環(huán)境下的分布式存儲具有很高的應(yīng)用價值。

一、云計(jì)算與分布式存儲

云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲、虛擬化、負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。廣義云計(jì)算指服務(wù)的交付和使用模式，指通過網(wǎng)絡(luò)以按需要、易擴(kuò)展的方式獲得服務(wù)。這種服務(wù)可以是IT軟件和互聯(lián)網(wǎng)相關(guān)服務(wù)，也可是其他服務(wù)。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源。云計(jì)算技術(shù)在很多領(lǐng)域都有極其重要的作用，如計(jì)算機(jī)科學(xué)領(lǐng)域、商業(yè)計(jì)算領(lǐng)域，已逐漸成為社會各界關(guān)注的焦點(diǎn)。

隨著信息時代的到來，計(jì)算機(jī)技術(shù)得到了廣泛的應(yīng)用，已經(jīng)逐漸的運(yùn)用到社會的各領(lǐng)域之中。故此其數(shù)據(jù)量也得到了快速的增長，而大量的數(shù)據(jù)如果僅僅是單獨(dú)的存儲在計(jì)算機(jī)上，就難以滿足信息化的發(fā)展要求。在這種環(huán)境之下，云計(jì)算應(yīng)運(yùn)而生，使得數(shù)據(jù)存儲的要求得到了解決。云計(jì)算環(huán)境下的分布式存儲主要是控制和管理數(shù)據(jù)中心，分布式存儲是云計(jì)算環(huán)境下的關(guān)鍵設(shè)施。

二、云計(jì)算環(huán)境下分布式存儲技術(shù)的需求

分布式存儲技術(shù)作為云計(jì)算的基礎(chǔ)，主要研究數(shù)據(jù)在數(shù)據(jù)中心中如何存儲、組織和管理。由于數(shù)據(jù)量和數(shù)據(jù)規(guī)模非常大，其在可擴(kuò)展性、容錯性、成本控制等方面都面臨著非常嚴(yán)峻的技術(shù)需求。第一，可擴(kuò)展性。云計(jì)算數(shù)據(jù)中心的節(jié)點(diǎn)規(guī)模通常是十萬級以上的，其上存儲的數(shù)據(jù)往往達(dá)到PB級甚至EB級，而且數(shù)據(jù)中心的規(guī)模和存儲的數(shù)據(jù)規(guī)模會隨著應(yīng)用的拓展快速增長，因此，這就對云環(huán)境下數(shù)據(jù)存儲技術(shù)的擴(kuò)展性提出了高要求，不僅要求數(shù)據(jù)中心網(wǎng)絡(luò)具備良好的可擴(kuò)展性，數(shù)據(jù)組織結(jié)構(gòu)也要具備可擴(kuò)展性，以適應(yīng)應(yīng)用需求的擴(kuò)展。第二，成本可控。傳統(tǒng)的分布存儲數(shù)據(jù)規(guī)模較小，對數(shù)據(jù)存儲能耗的考慮不夠全面。而在云計(jì)算環(huán)境下，存儲的數(shù)據(jù)規(guī)模巨大，能耗開銷也非常高；在7*24 小時不間斷運(yùn)行模式下，能耗便成為數(shù)據(jù)中心存儲開銷的重要組成部分，唯有降低能耗才達(dá)到降低成本的目標(biāo)。第三，容錯性。在云計(jì)算環(huán)境下，龐大的節(jié)點(diǎn)規(guī)模和數(shù)據(jù)規(guī)模直接提高了失效出現(xiàn)的頻率，失效會給云服務(wù)提供商以及用戶帶來嚴(yán)重的損失。然而提高物理拓?fù)浣Y(jié)構(gòu)的容錯性及提高數(shù)據(jù)的容錯性，能有效提高云計(jì)算環(huán)境下分布式存儲的容錯性。

三、云計(jì)算環(huán)境下分布式存儲技術(shù)的結(jié)構(gòu)

1、以服務(wù)器為核心的結(jié)構(gòu)

服務(wù)器作為云計(jì)算的核心，這種結(jié)構(gòu)是利用網(wǎng)線將其他的服務(wù)器中安裝的多個網(wǎng)卡進(jìn)行相互連接。對于這種結(jié)構(gòu)來說，在使用的過程中服務(wù)器需要對數(shù)據(jù)進(jìn)行及時處理和存儲，還需要將數(shù)據(jù)包的轉(zhuǎn)發(fā)功能完全負(fù)責(zé)。像這種以服務(wù)器為核心的計(jì)算結(jié)構(gòu)，在線路的鏈接和結(jié)構(gòu)組成方面是比較簡單的，這里不存在交換技術(shù)，所以可以很好地是服務(wù)器和底層的網(wǎng)絡(luò)進(jìn)行交互，方便開發(fā)者高效實(shí)用路由算法。但是任何事物都存在兩面性，這種結(jié)構(gòu)雖然簡單但是也有一定的弊端性，例如使用這種結(jié)構(gòu)的時候，運(yùn)行過程中服務(wù)器中的資源占用率比較大，由于服務(wù)器的負(fù)載壓力過大，很容易會導(dǎo)致整個服務(wù)器的計(jì)算效率降低，這些問題都會增加成本支出以及損壞計(jì)算器性能。

2、以交換機(jī)為核心的結(jié)構(gòu)

在傳統(tǒng)的數(shù)據(jù)存儲技術(shù)中都是使用交換機(jī)進(jìn)行的，然而在云計(jì)算技術(shù)還沒有大規(guī)模使用之前，許多用戶都是以交換機(jī)為核心的數(shù)據(jù)存儲技術(shù)進(jìn)行數(shù)據(jù)交換的，即用戶將數(shù)據(jù)中心和網(wǎng)絡(luò)體系通過交換機(jī)為紐帶，兩者連接在一起。這種以交換機(jī)為橋梁的數(shù)據(jù)存儲技術(shù)基本采的是屬性結(jié)構(gòu)，包括聚合層、邊緣層及核心層三個部分。這種樹形結(jié)構(gòu)的方法的主要特點(diǎn)是其操作方法簡單，數(shù)據(jù)連接比較容易，數(shù)據(jù)擴(kuò)展性強(qiáng)的特點(diǎn)。但是這種以交換機(jī)為核心的技術(shù)也由于一些缺點(diǎn)，例如，其存儲容量有限、存儲技術(shù)相對比較落后，然而這種技術(shù)在數(shù)據(jù)存儲過程中的操作卻很靈活，存儲效率高，所以可以通過一些優(yōu)化技術(shù)提高其使用空間。

3、以服務(wù)器與交換機(jī)混合結(jié)構(gòu)

隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，單一的結(jié)構(gòu)已經(jīng)無法滿足需求，不論是以服務(wù)器為核心的結(jié)構(gòu)亦或是以交換機(jī)為核心的結(jié)構(gòu)都存在或多或少的弊端，為了揚(yáng)長避短，可以將二者混合使用，互補(bǔ)不足。在網(wǎng)絡(luò)結(jié)構(gòu)、路由的費(fèi)用、可擴(kuò)展性以及構(gòu)建的成本等方而均能體現(xiàn)出混合式結(jié)構(gòu)的優(yōu)點(diǎn)。在網(wǎng)絡(luò)結(jié)構(gòu)方而，服務(wù)器、交換機(jī)混合使用可以同時使用交換機(jī)與服務(wù)器在進(jìn)行數(shù)據(jù)提供時的轉(zhuǎn)發(fā)功能，它讓網(wǎng)絡(luò)結(jié)構(gòu)更加的自由，靈活性也更高；從擴(kuò)展性方而來說，該種結(jié)構(gòu)讓每個服務(wù)器所安裝的網(wǎng)卡受到限制；而成本構(gòu)建這塊，混合結(jié)構(gòu)集合了交換機(jī)與服務(wù)器結(jié)構(gòu)的優(yōu)點(diǎn)，在同等性能甚至是提升性能的同時降低了成本。

四、云計(jì)算環(huán)境下分布式儲存關(guān)鍵技術(shù)

1、數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)建技術(shù)

建立將交換機(jī)作為網(wǎng)絡(luò)構(gòu)架中心結(jié)構(gòu)的方式。利用該種方式進(jìn)行互聯(lián)網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)中心構(gòu)建，其所堅(jiān)持的思想是建立在系統(tǒng)思維上的。利用對提供網(wǎng)絡(luò)服務(wù)功能互聯(lián)網(wǎng)絡(luò)計(jì)算機(jī)交換器之間的有效連接，將可促使整個系統(tǒng)中的數(shù)據(jù)與信息均可實(shí)現(xiàn)相互傳遞與溝通，從而帶來整個系統(tǒng)服務(wù)器實(shí)現(xiàn)對數(shù)據(jù)進(jìn)行有效儲存、收發(fā)及傳遞的功能。建立將服務(wù)器作為數(shù)據(jù)中心主要結(jié)構(gòu)的構(gòu)建模式。這種結(jié)構(gòu)所堅(jiān)持的設(shè)計(jì)理念與第一種之間存在顯著差異，其主要是將服務(wù)器作為網(wǎng)絡(luò)數(shù)據(jù)中心的重要節(jié)點(diǎn)，進(jìn)而通過在現(xiàn)有各類數(shù)據(jù)中心服務(wù)連接點(diǎn)中安裝網(wǎng)卡，利用其所具有的數(shù)據(jù)分析與傳遞功能實(shí)現(xiàn)對整個數(shù)據(jù)中心各區(qū)域之間的網(wǎng)線連接。

2、數(shù)據(jù)容錯技術(shù)

數(shù)據(jù)容錯技術(shù)作為分布式存儲技術(shù)當(dāng)中的關(guān)鍵技術(shù)之一，對于系統(tǒng)可用性與可靠性程度以及數(shù)據(jù)訪問效率等的影響不言而喻。數(shù)據(jù)的容錯技術(shù)一般都通過增加數(shù)據(jù)冗余來實(shí)現(xiàn)，因?yàn)槿哂嗟臄?shù)據(jù)能夠讓失效以及丟失的數(shù)據(jù)被找到，而與此同時，也加大了存儲資源的消耗，因此，為了在保障容錯的同時，最大程度地提高存儲資源的利用率，又能夠降低成本，就變得刻不容緩，現(xiàn)階段，最常用的數(shù)據(jù)容錯技術(shù)主要有兩種，一種是基于復(fù)制的容錯技術(shù)，另一種是基于糾刪碼的容錯技術(shù)。

3、節(jié)能技術(shù)

節(jié)能、環(huán)保與可持續(xù)發(fā)展已經(jīng)成為當(dāng)代各行業(yè)中的熱門議題。對云計(jì)算時代而言同樣如此，作為時代中扮演重要角色的分布儲存關(guān)鍵技術(shù)而言，其龐大數(shù)據(jù)庫的運(yùn)行將會帶來整體的巨大增加。相較于傳統(tǒng)信息儲存技術(shù)而言，在不斷提升云計(jì)算的功能性特點(diǎn)基礎(chǔ)上，有效降低其所消耗的能源，將成為今后研究的重要方向。對于當(dāng)前該環(huán)境下儲存技術(shù)的節(jié)能技術(shù)而言，通常包括硬件與軟件兩個部分。硬件部分主要是通過節(jié)能體系與結(jié)構(gòu)得以實(shí)現(xiàn)節(jié)能。對于軟件部分而言，其通常是使用節(jié)點(diǎn)動態(tài)運(yùn)作的方式，實(shí)現(xiàn)對能耗的有效節(jié)約。

參考文獻(xiàn)：

[1]劉月，云計(jì)算環(huán)境下分布存儲關(guān)鍵技術(shù)研究[J]，江蘇科技信息，2015（9）

[2]宋國、平邱陽，云計(jì)算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J]，吉林廣播電視大學(xué)學(xué)報，2014（9）

[3]譚鵬許，云計(jì)算環(huán)境下安全分布式存儲架構(gòu)與容錯技術(shù)研究[D]，解放軍信息工程大學(xué)，2013endprint