分布式云存儲(chǔ)系統(tǒng)的數(shù)據(jù)遷移優(yōu)化策略淺析

吳文蔚

(山西職業(yè)技術(shù)學(xué)院，山西 太原 030006)

2017-07-13

吳文蔚(1969- )，女，廣東梅縣人，講師，研究方向：計(jì)算機(jī)應(yīng)用。

1674- 4578(2017)05- 0074- 03

分布式云存儲(chǔ)系統(tǒng)的數(shù)據(jù)遷移優(yōu)化策略淺析

吳文蔚

(山西職業(yè)技術(shù)學(xué)院，山西 太原 030006)

為了進(jìn)一步提高分布式云存儲(chǔ)系統(tǒng)的數(shù)據(jù)服務(wù)性能，就分布式云存儲(chǔ)系統(tǒng)下的數(shù)據(jù)遷移策略進(jìn)行了深入研究和分析，并提出了粒子群算法與分布式內(nèi)容分發(fā)機(jī)制相結(jié)合的優(yōu)化策略，在動(dòng)態(tài)負(fù)載均衡和降低遷移的時(shí)間成本方面具有一定的改善效果。

分布式云存儲(chǔ)；數(shù)據(jù)遷移策略；數(shù)據(jù)遷移算法

分布式的云存儲(chǔ)系統(tǒng)是對(duì)傳統(tǒng)數(shù)據(jù)存儲(chǔ)模式的一種全新變革，提供的是基于網(wǎng)絡(luò)的高性能海量數(shù)據(jù)的存取管理服務(wù)。由于云存儲(chǔ)架構(gòu)下的海量存儲(chǔ)空間是構(gòu)建在物理位置各不相同的存儲(chǔ)設(shè)備集群之上的，大規(guī)模數(shù)據(jù)的備份更新、存取分發(fā)等功能的實(shí)現(xiàn)都是極其復(fù)雜的。為了能夠有效地提高云存儲(chǔ)系統(tǒng)的資源利用率，和保障數(shù)據(jù)存儲(chǔ)的服務(wù)質(zhì)量，數(shù)據(jù)遷移技術(shù)的應(yīng)用與完善是關(guān)鍵。

1 分布式云存儲(chǔ)系統(tǒng)

云存儲(chǔ)是從云計(jì)算概念當(dāng)中延伸和發(fā)展出來的一種新的數(shù)據(jù)服務(wù)模式。采用云存儲(chǔ)技術(shù)構(gòu)建的數(shù)據(jù)存儲(chǔ)系統(tǒng)是將分散在不同區(qū)域的軟硬件資源構(gòu)建為各自獨(dú)立的子系統(tǒng)，并利用網(wǎng)絡(luò)通信、設(shè)備集群、網(wǎng)格計(jì)算、數(shù)據(jù)遷移等核心技術(shù)進(jìn)行整合與優(yōu)化，在此基礎(chǔ)上采用分布式文件管理系統(tǒng)實(shí)現(xiàn)邏輯層面上的資源統(tǒng)一分配、調(diào)用，最終為用戶提供統(tǒng)一的服務(wù)接口實(shí)現(xiàn)云數(shù)據(jù)的存取服務(wù)。

與傳統(tǒng)的數(shù)據(jù)存儲(chǔ)系統(tǒng)相比較，分布式云存儲(chǔ)系統(tǒng)具有以下優(yōu)勢(shì)：

1) 高效的數(shù)據(jù)處理能力：云存儲(chǔ)系統(tǒng)集合了多個(gè)高性能的服務(wù)器集群，并使其協(xié)同工作，對(duì)于大規(guī)模的數(shù)據(jù)處理具有極強(qiáng)的運(yùn)算能力；

2) 極強(qiáng)的數(shù)據(jù)容錯(cuò)能力：云存儲(chǔ)系統(tǒng)對(duì)存儲(chǔ)數(shù)據(jù)會(huì)生成多個(gè)數(shù)據(jù)副本，并分別存儲(chǔ)在多個(gè)子系統(tǒng)當(dāng)中。一旦某個(gè)子系統(tǒng)發(fā)生故障，都可以通過數(shù)據(jù)遷移進(jìn)行恢復(fù)；

3) 良好的系統(tǒng)擴(kuò)展能力：云存儲(chǔ)系統(tǒng)的底層硬件架構(gòu)提供有統(tǒng)一的硬件調(diào)用接口，并通過采用分布式文件管理系統(tǒng)來實(shí)現(xiàn)邏輯層面的數(shù)據(jù)統(tǒng)一管理，很好地屏蔽了底層硬件的物理差異，使得系統(tǒng)硬件性能擴(kuò)展變得更加易于實(shí)現(xiàn)。

2 分布式云存儲(chǔ)系統(tǒng)的數(shù)據(jù)遷移策略

分布式云存儲(chǔ)系統(tǒng)中的數(shù)據(jù)遷移策略主要是為了解決三個(gè)方面的關(guān)鍵問題：一是對(duì)云存儲(chǔ)系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)的負(fù)載均衡進(jìn)行動(dòng)態(tài)的調(diào)整，即將訪問過于集中的節(jié)點(diǎn)上的數(shù)據(jù)向空閑的節(jié)點(diǎn)進(jìn)行遷移，以均衡網(wǎng)絡(luò)負(fù)載；二是對(duì)數(shù)據(jù)進(jìn)行多地備份，并在某部分?jǐn)?shù)據(jù)出現(xiàn)錯(cuò)誤時(shí)能夠進(jìn)行及時(shí)修復(fù)；三是提高系統(tǒng)響應(yīng)的及時(shí)性，通過將用戶要訪問的數(shù)據(jù)提前遷移至距離用戶較近的節(jié)點(diǎn)，來提高用戶的訪問效率。

2.1 數(shù)據(jù)遷移策略的算法研究

在云存儲(chǔ)系統(tǒng)中應(yīng)用數(shù)據(jù)遷移策略，雖然可以有效地提高分布式數(shù)據(jù)存儲(chǔ)管理的訪問效率和數(shù)據(jù)存儲(chǔ)的服務(wù)質(zhì)量，但數(shù)據(jù)遷移本身所帶來的數(shù)據(jù)同步問題，以及用戶訪問的難以預(yù)測(cè)性問題都嚴(yán)重影響了數(shù)據(jù)遷移策略的有效實(shí)施。因此如何提高數(shù)據(jù)遷移的效率，降低數(shù)據(jù)遷移的時(shí)間開銷一直是數(shù)據(jù)遷移算法的重點(diǎn)研究?jī)?nèi)容。目前常見的數(shù)據(jù)遷移算法主要有：

◆熱分區(qū)數(shù)據(jù)貪婪算法，其設(shè)計(jì)思路是：首先采用統(tǒng)計(jì)方法劃分和記錄下來當(dāng)前系統(tǒng)中的訪問熱點(diǎn)區(qū)域；然后利用哈希算法對(duì)熱點(diǎn)區(qū)域的關(guān)鍵值進(jìn)行優(yōu)先級(jí)排序，訪問量越大的區(qū)域優(yōu)先級(jí)別越高；再按由高到低的優(yōu)先順序?qū)狳c(diǎn)區(qū)域的數(shù)據(jù)進(jìn)行遷移，并將數(shù)據(jù)優(yōu)先向臨近的空閑節(jié)點(diǎn)上遷移。在該算法當(dāng)中重點(diǎn)解決的是節(jié)點(diǎn)上負(fù)載量動(dòng)態(tài)均衡的問題，并通過優(yōu)先級(jí)排序和臨近節(jié)點(diǎn)遷移的方式來提高數(shù)據(jù)遷移效率，但卻忽略數(shù)據(jù)遷移本身的時(shí)間開銷。

◆數(shù)據(jù)復(fù)制迭代遷移算法，一種輕量級(jí)數(shù)據(jù)遷移算法。主要的運(yùn)算思路是通過迭代器對(duì)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行遍歷，將待遷移的數(shù)據(jù)與節(jié)點(diǎn)上已保存的數(shù)據(jù)進(jìn)行比對(duì)，對(duì)與相同的數(shù)據(jù)塊部分不做遷移處理，僅對(duì)更新或刪減了的數(shù)據(jù)塊部分進(jìn)行刷新遷移操作。這樣就可以有效減少遷移數(shù)據(jù)的體量，從而降低數(shù)據(jù)遷移的時(shí)間開銷。但在該算法中如果涉及到的數(shù)據(jù)重復(fù)部分很少，算法的優(yōu)勢(shì)就很難體現(xiàn)出來，反而還會(huì)因?yàn)閷?duì)數(shù)據(jù)節(jié)點(diǎn)的迭代運(yùn)算增加數(shù)據(jù)遷移的時(shí)間開銷。

對(duì)比以上兩種算法的設(shè)計(jì)特點(diǎn)，本研究認(rèn)為數(shù)據(jù)遷移的策略優(yōu)化應(yīng)著重解決兩方面問題：一是如何實(shí)現(xiàn)數(shù)據(jù)節(jié)點(diǎn)之間的動(dòng)態(tài)負(fù)載均衡，并有效提高數(shù)據(jù)信息在各個(gè)節(jié)點(diǎn)之間的共享性；二是如何減少數(shù)據(jù)遷移操作隨著時(shí)間推移而不斷增加的時(shí)間成本，有效提高系統(tǒng)對(duì)外的數(shù)據(jù)服務(wù)性能。

2.2 數(shù)據(jù)遷移的優(yōu)化策略分析

在分布式云存儲(chǔ)系統(tǒng)架構(gòu)中，數(shù)據(jù)存儲(chǔ)的邏輯空間主要包括命名空間與節(jié)點(diǎn)空間兩部分。命名空間中建立有數(shù)據(jù)流表，用于記錄文件所包含的數(shù)據(jù)塊信息，以及存儲(chǔ)的節(jié)點(diǎn)信息。數(shù)據(jù)存儲(chǔ)在節(jié)點(diǎn)空間，通過命名空間對(duì)其進(jìn)行檢索、查詢與管理。在此架構(gòu)基礎(chǔ)上，云存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)遷移策略的優(yōu)化主要采用了內(nèi)容分發(fā)與遷移相結(jié)合的解決方案。具體設(shè)計(jì)思路如下：

首先鎖定要遷移數(shù)據(jù)的源節(jié)點(diǎn)與目的節(jié)點(diǎn)，并由源節(jié)點(diǎn)對(duì)數(shù)據(jù)副本進(jìn)行混合式壓縮，以減少數(shù)據(jù)傳輸?shù)膸捳加?；再將壓縮后的數(shù)據(jù)塊向目的節(jié)點(diǎn)遷移，每完成一次遷移，都會(huì)在命名空間的數(shù)據(jù)流表中動(dòng)態(tài)生成一條記錄信息。

由這些記錄構(gòu)成的遷移日志會(huì)通過命名空間向節(jié)點(diǎn)空間進(jìn)行分發(fā)，接收到用戶請(qǐng)求的服務(wù)器就可以通過查詢?nèi)罩鞠蜃罱臄?shù)據(jù)節(jié)點(diǎn)請(qǐng)求數(shù)據(jù)信息。當(dāng)某一節(jié)點(diǎn)上的負(fù)載量超出預(yù)定的閾值范圍之后，命名空間可以動(dòng)態(tài)調(diào)整數(shù)據(jù)遷移日志中的記錄信息，將負(fù)載過重的節(jié)點(diǎn)信息進(jìn)行刪除，使得該節(jié)點(diǎn)暫時(shí)接收不到新的數(shù)據(jù)請(qǐng)求。

在間隔一段時(shí)間之后，節(jié)點(diǎn)再次進(jìn)行迭代復(fù)制時(shí)，會(huì)再生成新的更新記錄并寫入到數(shù)據(jù)流表當(dāng)中，以恢復(fù)其就近響應(yīng)用戶的數(shù)據(jù)服務(wù)功能。

在該方案中所采用的數(shù)據(jù)遷移核心算法——粒子群算法，是在迭代算法上的進(jìn)一步優(yōu)化算法。它將存儲(chǔ)節(jié)點(diǎn)看做是單個(gè)粒子，每一個(gè)粒子都可以獨(dú)立進(jìn)行計(jì)算和更新。在每一次的迭代中被遷移的粒子，都要計(jì)算其遷移完成的速度，并得出相應(yīng)的速度適應(yīng)值；將新的速度值與前一次遷移所得到的值相比較，選擇最優(yōu)值更新到粒子；再結(jié)合其他粒子的最優(yōu)值進(jìn)行比較排序，得出全局范圍內(nèi)的最優(yōu)排序。在執(zhí)行數(shù)據(jù)遷移操作時(shí)，就按照優(yōu)先級(jí)排序順序完成數(shù)據(jù)遷移。該算法重點(diǎn)考慮了數(shù)據(jù)遷移本身所產(chǎn)生的時(shí)間開銷問題，通過遷移速度的比對(duì)快速檢索到適合進(jìn)行遷移的節(jié)點(diǎn)，有效減少了數(shù)據(jù)遍歷的次數(shù)，大大降低了數(shù)據(jù)遷移的時(shí)間成本。

3 結(jié)論

分布式云存儲(chǔ)系統(tǒng)目前已經(jīng)被非常廣泛地應(yīng)用到了各個(gè)領(lǐng)域，它既能夠?yàn)槠髽I(yè)級(jí)用戶，也能夠?yàn)閭€(gè)人用戶提供海量的數(shù)據(jù)存儲(chǔ)服務(wù)。這對(duì)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)服務(wù)性能提出了更高的要求，如何保障數(shù)據(jù)在網(wǎng)絡(luò)存儲(chǔ)中的及時(shí)響應(yīng)性和高可靠性，有效的數(shù)據(jù)遷移策略是關(guān)鍵。針對(duì)這一問題，本文對(duì)分布式云存儲(chǔ)系統(tǒng)下的數(shù)據(jù)遷移策略進(jìn)行了深入的研究與探討，在數(shù)據(jù)遷移的負(fù)載均衡與時(shí)間開銷方面提出了優(yōu)化解決方案，進(jìn)一步提升了分布式云存儲(chǔ)系統(tǒng)的數(shù)據(jù)服務(wù)性能。

[1] 武奇.云存儲(chǔ)中數(shù)據(jù)的分發(fā)與遷移機(jī)制的研究.長(zhǎng)春：長(zhǎng)春工業(yè)大學(xué),2016.

[2] 程秋晨.基于彈性負(fù)載的數(shù)據(jù)實(shí)時(shí)遷移方法的研究.濟(jì)南：濟(jì)南大學(xué),2016.

AnalysisonDataMigrationOptimizationStrategyofDistributedCloudStorageSystem

Wu Wenwei

(ShanxiVocationalandTechnicalCollege,TaiyuanShanxi030006,China)

In order to further improve the data service performance of distributed cloud storage system, this paper makes a deep research and analysis on the data migration strategy under distributed cloud storage system, and puts forward a optimization strategy combining the particle swarm optimization with the distributed content distribution mechanism. In the respect of dynamic load balancing and time cost reducing of migration has a certain improvement effect.

distributed cloud storage; data migration strategy; data migration algorithm

TP333

A