云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)研究

高薇

（閩南理工學(xué)院信息管理系，福建石獅362700）

云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)研究

高薇

（閩南理工學(xué)院信息管理系，福建石獅362700）

目前，無論是在科學(xué)技術(shù)研究還是在商業(yè)發(fā)展當(dāng)中，云計(jì)算已經(jīng)開始充分展現(xiàn)其技術(shù)優(yōu)勢(shì)，并成為信息技術(shù)領(lǐng)域當(dāng)中一項(xiàng)最尖端技術(shù).其強(qiáng)大的適用性特征使得其能夠在眾多領(lǐng)域當(dāng)中都展現(xiàn)出非凡的使用能力.云計(jì)算當(dāng)中最為核心的技術(shù)就是數(shù)據(jù)中心，存儲(chǔ)作為數(shù)據(jù)中心當(dāng)中的關(guān)鍵，到目前為止其數(shù)據(jù)容量升級(jí)已經(jīng)超過了EB級(jí).由此可見，對(duì)云計(jì)算技術(shù)的關(guān)鍵點(diǎn)與難點(diǎn)就是針對(duì)超大量數(shù)據(jù)處理過程中降低數(shù)據(jù)丟失或者發(fā)生錯(cuò)誤的幾率，針對(duì)云計(jì)算環(huán)境當(dāng)中的分布存儲(chǔ)關(guān)鍵技術(shù)進(jìn)行了綜合分析.

云計(jì)算；分布存儲(chǔ)；數(shù)據(jù)中心

0 引言

社會(huì)經(jīng)濟(jì)快速發(fā)展促進(jìn)了信息技術(shù)不斷升級(jí)，所有行業(yè)在數(shù)據(jù)存儲(chǔ)量上都在迅猛增長(zhǎng)，這其中包括高能物理、生物學(xué)以及氣候地質(zhì)監(jiān)測(cè)等領(lǐng)域當(dāng)中對(duì)數(shù)據(jù)信息的存儲(chǔ)要求更高；基于web的商業(yè)計(jì)算需求表現(xiàn)最為突出等等.為了能夠充分滿足上述領(lǐng)域以及未來社會(huì)對(duì)信息存儲(chǔ)運(yùn)算的實(shí)際需求，需要對(duì)存儲(chǔ)與相關(guān)聯(lián)的通信技術(shù)進(jìn)行技術(shù)性革新[1].云計(jì)算的產(chǎn)生與發(fā)展已經(jīng)成為了當(dāng)前社會(huì)經(jīng)濟(jì)以及科學(xué)技術(shù)研究的熱點(diǎn)話題.

1 當(dāng)前云計(jì)算環(huán)境當(dāng)中分布存儲(chǔ)技術(shù)的發(fā)展情況分析

1.1 容錯(cuò)性發(fā)展情況分析

傳統(tǒng)技術(shù)條件下進(jìn)行容錯(cuò)性升級(jí)主要采用RAID技術(shù)，并在此基礎(chǔ)上需要借助于高性能服務(wù)器完成.存儲(chǔ)設(shè)備方面更加需要借助于專用性較強(qiáng)的存儲(chǔ)器，這樣一來會(huì)極大提升生產(chǎn)成本.云計(jì)算技術(shù)產(chǎn)生之后，通過其進(jìn)行數(shù)據(jù)存儲(chǔ)發(fā)生失效的情況較為普遍，這也造成了云計(jì)算環(huán)境當(dāng)中數(shù)據(jù)失效成為一種常態(tài)化特征，其造成的經(jīng)濟(jì)損失不可估量.為此，需要對(duì)分布存儲(chǔ)容錯(cuò)性問題提出具體的解決對(duì)策.

1.2 可擴(kuò)展性發(fā)展情況分析

想要對(duì)可擴(kuò)展性性能進(jìn)行提升，采用的常規(guī)辦法就是設(shè)計(jì)冗余磁盤預(yù)留.這是在云計(jì)算技術(shù)手段產(chǎn)生之前可以有效提升存儲(chǔ)空間量的最佳途徑.但是云計(jì)算環(huán)境當(dāng)中數(shù)據(jù)升級(jí)到了EB級(jí)別，面對(duì)這樣巨大的數(shù)據(jù)量采用磁盤預(yù)留方式已經(jīng)不能夠有效解決問題，因此，需要通過對(duì)數(shù)據(jù)組織結(jié)構(gòu)進(jìn)行升級(jí)，提升可擴(kuò)展性才可能實(shí)現(xiàn)可擴(kuò)展性的升級(jí)[2].

1.3 成本控制發(fā)展情況分析

成本控制分析在云計(jì)算基礎(chǔ)上產(chǎn)生，采用傳統(tǒng)分布存儲(chǔ)方式只能夠針對(duì)小規(guī)模節(jié)點(diǎn)數(shù)據(jù)完成，這個(gè)過程中并未對(duì)能耗有特殊要求.因此，采用傳統(tǒng)方式進(jìn)行分布存儲(chǔ)成本上的升級(jí)相對(duì)不足.但是因?yàn)樵朴?jì)算環(huán)境需要數(shù)據(jù)存儲(chǔ)量以及節(jié)點(diǎn)在規(guī)模上升級(jí)，這必然會(huì)造成實(shí)際成本追加，且需要在散熱與制冷等方面消耗掉一定成本.這樣一來，使得成本控制成為當(dāng)今商家需要面臨的另外一個(gè)問題.

2 云計(jì)算環(huán)境條件下的數(shù)據(jù)中心網(wǎng)路

2.1 交換機(jī)特征結(jié)構(gòu)

將交換機(jī)作為主要內(nèi)容的結(jié)構(gòu)主要包括3層內(nèi)容，形成樹形結(jié)構(gòu)特征.這3層分別是聚合層、邊緣層以及核心層[3].其中邊緣層主要指的是通過機(jī)架交換機(jī)以及服務(wù)器組成的.在這個(gè)過程中為了確保帶寬匯聚以及均衡環(huán)境，邊緣層類型交換機(jī)必須與聚合層兩者之間發(fā)生連接.同時(shí)，為了能夠確保用戶與外部數(shù)據(jù)兩者之間進(jìn)行訪問，聚合層交換機(jī)以及核心層路由之間也應(yīng)當(dāng)保持連接狀態(tài).

采用交換機(jī)作為核心的數(shù)據(jù)相對(duì)來說更加直觀與可操作，但是這種結(jié)構(gòu)特征下也存在一些誤區(qū)：

1）靈活性相對(duì)較差且服務(wù)器使用效率較低.服務(wù)指令一般情況下會(huì)分給第二層域.起始階段，經(jīng)由第二層域可預(yù)留較為豐富的資源，這就會(huì)造成服務(wù)器資源使用效率相對(duì)較低情況的發(fā)生.

2）鏈路帶寬容量不足.在數(shù)據(jù)傳動(dòng)的過程中，越向上層的路由移動(dòng)，則產(chǎn)生的服務(wù)帶寬需求則越大，即使是下層服務(wù)器處于空閑狀態(tài)，則上層鏈路也會(huì)因?yàn)閹挷蛔惝a(chǎn)生不同類型的問題，進(jìn)而會(huì)造成數(shù)據(jù)中心負(fù)載過大而運(yùn)行受到限制.

3）通行能力受到聚合層鏈路的影響.

4）交換機(jī)在運(yùn)行的過程中會(huì)造成資源使用不當(dāng)[4].這種結(jié)構(gòu)特征能夠?qū)μ嵘到y(tǒng)的運(yùn)行效率提供保障，但是當(dāng)交換機(jī)當(dāng)中單一機(jī)體發(fā)生故障，替換的設(shè)備并不能夠明顯降低效率則會(huì)造成資源使用上的浪費(fèi).

2.2 服務(wù)器中心結(jié)構(gòu)

服務(wù)器中心結(jié)構(gòu)特征下需要設(shè)置多網(wǎng)卡，目的是確保每臺(tái)服務(wù)器之間能夠形成互聯(lián)，同時(shí)，這種連接并不會(huì)影響路由器、交換機(jī)等，可通過服務(wù)器完成對(duì)數(shù)據(jù)任務(wù)的轉(zhuǎn)發(fā).這種類型結(jié)構(gòu)不需要借助于交換機(jī)或者是路由設(shè)備等.

使用多網(wǎng)卡能夠完成服務(wù)器的互聯(lián)功能，通過服務(wù)器可以操作數(shù)據(jù)轉(zhuǎn)發(fā).基于三維層面的不同方向可以發(fā)現(xiàn)，其服務(wù)器節(jié)點(diǎn)需要與其他類型的服務(wù)器之前保持連接，進(jìn)而產(chǎn)生環(huán)境結(jié)構(gòu)特征.這種類型結(jié)構(gòu)能夠向外提供節(jié)點(diǎn)坐標(biāo)的空間.該設(shè)計(jì)思路主要是建立在靈活性較強(qiáng)的路由接口基礎(chǔ)上產(chǎn)生的.

形成服務(wù)器中心結(jié)構(gòu)以及搭建線路并不困難，但是因?yàn)殒溌啡哂嗲闆r比較嚴(yán)重.造成這種情況的主要原因是其并不太適合應(yīng)用在交換機(jī)當(dāng)中，這樣可以避免出現(xiàn)傳統(tǒng)方式當(dāng)中將交換機(jī)作為中心結(jié)構(gòu)問題.服務(wù)器能夠通過利用網(wǎng)路底層完成直接交互，為此，上層就需要通過實(shí)際需求開發(fā)路由算法即可.

當(dāng)然，這種類型結(jié)構(gòu)特征下的服務(wù)器如果實(shí)現(xiàn)對(duì)全部數(shù)據(jù)的轉(zhuǎn)發(fā)，會(huì)造成服務(wù)器計(jì)算資源的大量使用，則服務(wù)器可能會(huì)出現(xiàn)高強(qiáng)度負(fù)載，也就會(huì)造成服務(wù)器計(jì)算實(shí)際效率受到影響.不同的服務(wù)器當(dāng)中一般情況下只會(huì)安裝一定數(shù)量范圍的網(wǎng)卡，為此，其節(jié)點(diǎn)規(guī)模也會(huì)受到限制[5].為了避免發(fā)生損害，這時(shí)候需要追加成本投入.

2.3 混合結(jié)構(gòu)

所謂的混合結(jié)構(gòu)也就是對(duì)上述兩種類型的結(jié)構(gòu)的混合分析.通過交換機(jī)到服務(wù)器搭建節(jié)點(diǎn)，并在服務(wù)器當(dāng)中設(shè)置一定數(shù)量的網(wǎng)卡則數(shù)據(jù)路由轉(zhuǎn)發(fā)任務(wù)可以在交換機(jī)以及服務(wù)器當(dāng)中被共同完成.這種混合式結(jié)構(gòu)特征有助于實(shí)現(xiàn)服務(wù)器對(duì)數(shù)據(jù)包的大量轉(zhuǎn)發(fā)任務(wù).

當(dāng)然，CPU資源在這個(gè)過程中也會(huì)被大量私用，實(shí)踐證明，在一定的結(jié)構(gòu)環(huán)境當(dāng)中采用這種方式可以有效降低實(shí)際成本.

圖1 數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)

3 云計(jì)算環(huán)境下分布存儲(chǔ)關(guān)鍵技術(shù)分析

3.1 容錯(cuò)性技術(shù)分析

社會(huì)經(jīng)濟(jì)以及科學(xué)技術(shù)的快速發(fā)展，使得云計(jì)算在當(dāng)前環(huán)境下的分步存儲(chǔ)技術(shù)受到足夠多的重視.數(shù)據(jù)容錯(cuò)技術(shù)具體是指在系統(tǒng)運(yùn)轉(zhuǎn)的條件下發(fā)生錯(cuò)誤激活情況仍然能夠確保用戶的數(shù)據(jù)提供的一種技術(shù)手段.數(shù)據(jù)容錯(cuò)技術(shù)升級(jí)與優(yōu)化可以為系統(tǒng)提升可靠性，且本身可以提升應(yīng)用性水平，因此可以說對(duì)數(shù)據(jù)訪問率具有重要的意義.

數(shù)據(jù)容錯(cuò)技術(shù)主要一種針對(duì)糾刪碼以及復(fù)制容錯(cuò)技術(shù)的研究.糾、刪碼技術(shù)主要指的是針對(duì)多數(shù)據(jù)對(duì)象完成的一種編碼，并通過刪除數(shù)據(jù)的方式，查找新對(duì)象，通過這種方式能夠完全復(fù)制，并降低存儲(chǔ)量.復(fù)制容錯(cuò)技術(shù)是指在一個(gè)數(shù)據(jù)對(duì)象中創(chuàng)造出的多個(gè)相同的模塊，并且將創(chuàng)造出的模塊分布到各個(gè)節(jié)點(diǎn)之中，這樣在其他數(shù)據(jù)模塊失效后用戶能夠從其他節(jié)點(diǎn)獲得相同的數(shù)據(jù)[6].

3.2 節(jié)能技術(shù)的出現(xiàn)

根據(jù)相關(guān)數(shù)據(jù)統(tǒng)計(jì)顯示，儲(chǔ)存系統(tǒng)在運(yùn)行中能耗情況約占45%，因此，在對(duì)節(jié)能進(jìn)行研究的過程中需要對(duì)此方面進(jìn)行深入的探討.對(duì)此方面進(jìn)行深入的探討不僅能夠降低成本，對(duì)生態(tài)環(huán)境都具有極強(qiáng)的現(xiàn)實(shí)意義.節(jié)能技術(shù)主要包括2個(gè)方面，即：

1）軟件的節(jié)能技術(shù).此種技術(shù)的目標(biāo)就是在不降低系統(tǒng)運(yùn)行性能的情況下將存儲(chǔ)數(shù)據(jù)中的能耗降到最低.軟件節(jié)能技術(shù)主要是對(duì)節(jié)點(diǎn)和數(shù)據(jù)管理方面進(jìn)行管理.節(jié)點(diǎn)管理技術(shù)能夠通過對(duì)云計(jì)算環(huán)境中存儲(chǔ)節(jié)點(diǎn)的分布情況進(jìn)行分析，自動(dòng)進(jìn)入低能耗和關(guān)閉的狀態(tài)，從而降低能耗情況；數(shù)據(jù)管理技術(shù)主要包括對(duì)動(dòng)態(tài)數(shù)據(jù)管理、對(duì)靜態(tài)數(shù)據(jù)進(jìn)行管理和緩存預(yù)取進(jìn)行管理.

2）硬件的節(jié)能技術(shù).硬件的節(jié)能技術(shù)可以從硬件的層次進(jìn)行了解，按照層次來劃分也可分為兩種技術(shù)，即數(shù)據(jù)中心方面技術(shù)和計(jì)算機(jī)整體技術(shù).數(shù)據(jù)中心方面技術(shù)就是將高性能和高能耗的設(shè)備替換；計(jì)算機(jī)整體技術(shù)就是使用新型的體系結(jié)構(gòu)，這樣也能夠達(dá)到降低能耗的目標(biāo).

3.3 可擴(kuò)展性

當(dāng)前條件下，數(shù)據(jù)中心存儲(chǔ)量數(shù)據(jù)升級(jí)到了EB級(jí).為此，云計(jì)算技術(shù)條件當(dāng)中數(shù)據(jù)中心在規(guī)模性以及存儲(chǔ)量方面都應(yīng)當(dāng)與時(shí)俱進(jìn)，并通過技術(shù)更新與發(fā)展?jié)M足增長(zhǎng)需要.假如某用戶在全球計(jì)算機(jī)網(wǎng)絡(luò)中擁有40個(gè)數(shù)據(jù)中心,僅僅需要一個(gè)數(shù)據(jù)節(jié)點(diǎn)就可以與數(shù)百萬個(gè)上世紀(jì)計(jì)算機(jī)最發(fā)達(dá)城市的數(shù)據(jù)中心相比.針對(duì)這種數(shù)據(jù)存儲(chǔ)發(fā)展日新月異的技術(shù)環(huán)境，加強(qiáng)數(shù)據(jù)中心需求上的增長(zhǎng)則能夠有助于實(shí)現(xiàn)云計(jì)算環(huán)境的完整性系統(tǒng)性擴(kuò)展[7].系統(tǒng)用戶在使用數(shù)據(jù)中心完成信息存儲(chǔ)的過程中需要實(shí)現(xiàn)規(guī)模性能力的提升，數(shù)據(jù)存儲(chǔ)能力與結(jié)構(gòu)也應(yīng)當(dāng)進(jìn)一步提升.這個(gè)過程中，就需要對(duì)硬件進(jìn)行擴(kuò)展性應(yīng)用的改進(jìn).只有這樣才能夠真正意義上滿足存儲(chǔ)需求.

4 結(jié)語(yǔ)

綜上所述，云計(jì)算技術(shù)環(huán)境當(dāng)中，數(shù)據(jù)存儲(chǔ)總量的擴(kuò)大需要建立在分布存儲(chǔ)計(jì)算條件基礎(chǔ)上產(chǎn)生.這種情況需要對(duì)容錯(cuò)性、擴(kuò)展性以及成本都進(jìn)行優(yōu)化與升級(jí).為此，結(jié)合實(shí)際情況筆者主要對(duì)云計(jì)算環(huán)境當(dāng)中的分布存儲(chǔ)關(guān)鍵技術(shù)進(jìn)行了綜合分析，也就是數(shù)據(jù)中心中的容錯(cuò)性以及節(jié)能技術(shù)進(jìn)行系統(tǒng)性分析，以此促進(jìn)分布存儲(chǔ)技術(shù)升級(jí)與進(jìn)步.

[1]郭翠云.云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)分析［J］.硅谷，2013，（16）：42-22.

[2]肖儂，舒繼武，劉芳，等.存儲(chǔ)技術(shù)的研究發(fā)展現(xiàn)狀與趨勢(shì)[J].科技報(bào)告，2009，（9）：321-324.

[3]崇陽(yáng).基于云計(jì)算下的分布存儲(chǔ)關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2012，（12）：89-93.

[4]王意潔，孫偉東，周松，等.云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)［J］.軟件學(xué)報(bào)，2012，（4）：962-986.

[5]楊明熬.云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)［J］.計(jì)算機(jī)光盤軟件與應(yīng)用，2013，（6）：26-27.

[6]SHVACHKO H，HUANG H，RADIX S，etal.The Hadoop Distributed File System.In:Proc.ofthe IEEE 2tithSyrup.on Mass Storage Systems and Technologies（MSST）［C］.Lake Tahoe：IEEE，2010：1-10.

[7]宋國(guó)平，邱陽(yáng).云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J].吉林廣播電視大學(xué)學(xué)報(bào)，2014，（9）：56-59.

（責(zé)任編輯 李健飛）

A Research on Key Technology of Distributed Storage under Cloud Computing Environment

GAO Wei
（Department of Information Management，Minnan University of Science&Technology，Shishi，F(xiàn)ujian 362700，China）

In the scientific research and commercial development nowadays，cloud computing has begun to demonstrate its technical superiority and become the most sophisticated in the field of information technology. Its applicability is so powerful that makes it possible to show the unusual usage ability in many areas.The data center is the core technology of cloud computing，and the storage is the key of data center，which so far its data capacity upgrading has exceeded the EB level.Accordingly，the key point and the difficulty of cloud computing technology is to reduce data loss or chance of error in the process.This paper comprehensively analyzes the key technologies of distributed storage under cloud computing environment.

cloud computing；distributed storage；data center

TP3-0

：A

：1673-1972（2015）06-0058-03

2015-06-23

福建省中青年教師教育科研項(xiàng)目（JA12367）

高薇（1981-），女，吉林四平人，講師，主要從事云計(jì)算分布式存儲(chǔ)、信息處理技術(shù)研究.