云存儲(chǔ)環(huán)境下大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移算法研究

楊華芬

(上海工商外國語職業(yè)學(xué)院智能制造與信息工程學(xué)院，上海 201399)

在計(jì)算機(jī)科學(xué)技術(shù)、網(wǎng)絡(luò)技術(shù)和信息產(chǎn)業(yè)的推動(dòng)下，計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的復(fù)雜程度逐漸提高[1]，數(shù)據(jù)規(guī)模也呈現(xiàn)出PB級(jí)增長趨勢(shì)[2]。大數(shù)據(jù)的特點(diǎn)不僅在于數(shù)據(jù)總量的海量性，更在于數(shù)據(jù)結(jié)構(gòu)的多樣性和復(fù)雜性，大量半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)類型給大數(shù)據(jù)的存儲(chǔ)與遷移帶來巨大難度[3-4]。數(shù)據(jù)遷移是大數(shù)據(jù)和云計(jì)算系統(tǒng)中的核心技術(shù)之一，在云存儲(chǔ)環(huán)境下大數(shù)據(jù)的實(shí)時(shí)動(dòng)態(tài)遷移效率與可靠程度，將決定云計(jì)算系統(tǒng)的總體性能[5-6]。數(shù)據(jù)遷移的過程復(fù)雜，尤其是在非結(jié)構(gòu)化和數(shù)據(jù)不兼容的系統(tǒng)中，既需要對(duì)遷移結(jié)構(gòu)進(jìn)行實(shí)時(shí)驗(yàn)證，還要關(guān)注數(shù)據(jù)遷移的代價(jià)和資源消耗。隨著數(shù)據(jù)存儲(chǔ)量的成倍增加，大數(shù)據(jù)動(dòng)態(tài)遷移的成本也不斷提高[7]，而可靠性和效率卻隨之降低，因此在動(dòng)態(tài)遷移過程中采用合理的遷移調(diào)度算法十分關(guān)鍵。

文獻(xiàn)[8]提出一種基于大數(shù)據(jù)網(wǎng)絡(luò)節(jié)點(diǎn)存儲(chǔ)容量感知的綜合調(diào)度策略，通過對(duì)當(dāng)前節(jié)點(diǎn)容量的計(jì)算和分配達(dá)到均衡網(wǎng)絡(luò)負(fù)載的目的，但該種算法未能考慮到網(wǎng)絡(luò)訪問次數(shù)增加而增加的時(shí)間消耗；文獻(xiàn)[9]提出一種基于粒子群遺傳算法的調(diào)度策略，盡管能夠從全局的角度均衡網(wǎng)絡(luò)負(fù)載，但遷移效率偏低、耗時(shí)過長；錢雪忠、金保林等[10-11]基于一種自適應(yīng)模糊算法試圖平衡數(shù)據(jù)遷移過程中的網(wǎng)絡(luò)負(fù)載失衡問題，但該算法無法解決上一個(gè)周期遺留下來的分配不合理問題，導(dǎo)致某些數(shù)據(jù)頻繁被選取，進(jìn)而加大了大數(shù)據(jù)網(wǎng)絡(luò)系統(tǒng)的硬件開銷。針對(duì)現(xiàn)有的大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移算法存在的問題和不足，本文在云存儲(chǔ)環(huán)境下構(gòu)建大數(shù)據(jù)實(shí)時(shí)遷移框架，基于優(yōu)化的FA(火焰蟲仿生)算法，解決遷移過程中節(jié)點(diǎn)之間的任務(wù)負(fù)載不均衡問題，在節(jié)省系統(tǒng)開銷和硬件資源的前提下，保持較高的數(shù)據(jù)動(dòng)態(tài)遷移效率。

1 云存儲(chǔ)環(huán)境下大數(shù)據(jù)遷移框架的構(gòu)建

云存儲(chǔ)環(huán)境下大數(shù)據(jù)的存儲(chǔ)過程具有更高的效率和更強(qiáng)的容錯(cuò)能力，但在云平臺(tái)系統(tǒng)中各種計(jì)算設(shè)備的性能具有較大差異，因此要對(duì)數(shù)據(jù)的遷移過程做出合理的調(diào)度，保證不同的計(jì)算設(shè)備完成與之性能匹配的任務(wù)量[12]。在云計(jì)算環(huán)境中會(huì)將待遷移的所有數(shù)據(jù)劃分為幾個(gè)部分，分別存儲(chǔ)于不同的調(diào)度中心，以此提高數(shù)據(jù)遷移的效率和可靠性。用于大數(shù)據(jù)遷移的云服務(wù)模型在數(shù)據(jù)均衡負(fù)載方面具有優(yōu)勢(shì)，當(dāng)網(wǎng)絡(luò)上多用戶同時(shí)請(qǐng)求資源時(shí)需要在大數(shù)據(jù)遷移框架下，采用特定的遷移算法平衡繁忙服務(wù)器與空閑服務(wù)器之間的遷移任務(wù)量。大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移算法只有在特定的遷移框架內(nèi)才能發(fā)揮出均衡網(wǎng)絡(luò)負(fù)載的基礎(chǔ)性作用，本文設(shè)計(jì)的大數(shù)據(jù)動(dòng)態(tài)遷移框架如圖1所示。

框架內(nèi)設(shè)有n個(gè)數(shù)據(jù)監(jiān)控器，實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)節(jié)點(diǎn)的大數(shù)據(jù)遷移情況，監(jiān)控器能夠連續(xù)記錄各節(jié)點(diǎn)的實(shí)時(shí)負(fù)載情況，作為后續(xù)調(diào)度算法調(diào)整的數(shù)據(jù)基礎(chǔ)。監(jiān)控器采集網(wǎng)絡(luò)節(jié)點(diǎn)的負(fù)載情況實(shí)時(shí)數(shù)據(jù),并傳遞到數(shù)據(jù)分析中心，分析中心按照當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)流情況制定調(diào)度指令和優(yōu)化策略，并將分析中心的指令共享到算法層。在云存儲(chǔ)環(huán)境下為了提高數(shù)據(jù)的遷移效率和系統(tǒng)的擴(kuò)展性能，一般采用NoSQL通用型數(shù)據(jù)庫[13-14]。系統(tǒng)的數(shù)據(jù)遷移流程如圖2所示。

圖1 大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移框架

圖2 云存儲(chǔ)框架下大數(shù)據(jù)遷移流程

云存儲(chǔ)環(huán)境下由于數(shù)據(jù)結(jié)構(gòu)的多樣性和復(fù)雜性，在大數(shù)據(jù)遷移過程中會(huì)涉及到數(shù)據(jù)類型的轉(zhuǎn)換，為避免遷移過程中數(shù)據(jù)丟失，系統(tǒng)允許一部分冗余數(shù)據(jù)的存在。利用Hadoop框架中的Sqoop工具對(duì)采集到的源數(shù)據(jù)分類和編輯，以獲取到不同模式下的調(diào)度方案[15]。云平臺(tái)數(shù)據(jù)庫中的數(shù)據(jù)格式存在差異會(huì)影響到調(diào)度算法的性能，因此利用MAP模塊對(duì)采集到的源數(shù)據(jù)進(jìn)行任務(wù)格式調(diào)整與轉(zhuǎn)換[16]。遷移數(shù)據(jù)處理過程中涉及到Hadoop體系中的HDFS模塊和HBase模塊，將遷移任務(wù)隨機(jī)分配到節(jié)點(diǎn)群上并行地執(zhí)行，在大數(shù)據(jù)框架體系內(nèi)利用遷移算法均衡網(wǎng)絡(luò)節(jié)點(diǎn)的負(fù)載。云存儲(chǔ)環(huán)境下Hadoop框架體系通常包括多個(gè)數(shù)據(jù)中心，假定云環(huán)境下共包括m個(gè)數(shù)據(jù)中心ci，i=1,2,…，m，具體表示為：

C={c1,c2,…,cm}

(1)

式中：C為數(shù)據(jù)中心的集合。以中心C為基礎(chǔ)分析節(jié)點(diǎn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，建立框架模型，并基于優(yōu)化的FA算法對(duì)云存儲(chǔ)環(huán)境下各節(jié)點(diǎn)的遷移任務(wù)進(jìn)行均衡負(fù)載和調(diào)度。

2 基于優(yōu)化FA模型的實(shí)時(shí)動(dòng)態(tài)遷移算法研究

在包含m個(gè)數(shù)據(jù)中心的遷移框架體系內(nèi)，隨著待遷移數(shù)據(jù)規(guī)模的增大，節(jié)點(diǎn)數(shù)量和數(shù)據(jù)中心的負(fù)載也在增加，而各節(jié)點(diǎn)的負(fù)載能力不同，隨機(jī)分配的遷移任務(wù)也不相同，有一部分頻繁被訪問的節(jié)點(diǎn)就會(huì)出現(xiàn)負(fù)載過重的情況，從而造成系統(tǒng)整體性能的降低。大數(shù)據(jù)遷移中，遷移的質(zhì)量和效率直接影響到多個(gè)數(shù)據(jù)中心的穩(wěn)定性，數(shù)據(jù)遷移算法能夠影響到節(jié)點(diǎn)位置的選擇，并給數(shù)據(jù)中心集合帶來不同的影響結(jié)果。對(duì)于云存儲(chǔ)環(huán)境下大數(shù)據(jù)遷移框架體系中的兩類應(yīng)用而言，系統(tǒng)應(yīng)用需要保證某些關(guān)鍵數(shù)據(jù)的位置不發(fā)生改變，在開始執(zhí)行遷移任務(wù)時(shí)將其他節(jié)點(diǎn)任務(wù)與目標(biāo)節(jié)點(diǎn)任務(wù)進(jìn)行合理調(diào)整，滿足系統(tǒng)應(yīng)用的需求；對(duì)于用戶應(yīng)用而言，則需要將與用戶需求相關(guān)的數(shù)據(jù)遷移到適合的位置，滿足用戶的數(shù)據(jù)訪問需求。MAP模塊在云計(jì)算網(wǎng)絡(luò)中分配任務(wù)后發(fā)出任務(wù)請(qǐng)求，調(diào)用大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移算法平衡網(wǎng)絡(luò)系統(tǒng)中節(jié)點(diǎn)的負(fù)載。本文選用經(jīng)過優(yōu)化的FA動(dòng)態(tài)遷移算法，可以根據(jù)監(jiān)控器實(shí)時(shí)監(jiān)控到的情況，快速作出反應(yīng)并可以有效控制系統(tǒng)開銷。FA算法是一種群智能仿生算法，火焰蟲在群體活動(dòng)時(shí)依靠自身發(fā)出的特殊亮光吸引同類個(gè)體做出最優(yōu)位置的選擇，其中亮度較高的火焰蟲還能夠使亮度較低的個(gè)體向其自身靠攏。設(shè)群體中第i個(gè)個(gè)體的亮度為Bi，個(gè)體i和個(gè)體j之間的距離dij與吸引度ηij成反比，則ηij可表示為：

(2)

式中：ηmax為最大吸引度值；κ為吸引度系數(shù)，當(dāng)κ趨近于零時(shí)，吸引度最大。在群智能模型中亮度低的個(gè)體有向亮度高的個(gè)體移動(dòng)的趨勢(shì)，個(gè)體位置的更新過程可以描述為：

Li(t+1)=Li(t)+ηij[Li(t)-Lj(t)]+λεj

(3)

式中：Li(t)和Lj(t)分別為亮度高的個(gè)體與亮度低的個(gè)體在t時(shí)刻的位置；Li(t+1)為第(t+1)時(shí)刻更新后的位置；λ和εj分別為模型參數(shù)及個(gè)體j移動(dòng)誤差。云存儲(chǔ)環(huán)境中的m個(gè)數(shù)據(jù)中心包含各種類型的多結(jié)構(gòu)數(shù)據(jù)，數(shù)據(jù)中心節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)和容納能力不同，如果待遷移數(shù)據(jù)的存儲(chǔ)位置不合理，此時(shí)大量用戶集中、頻繁地訪問數(shù)據(jù)中心節(jié)點(diǎn)，會(huì)導(dǎo)致節(jié)點(diǎn)數(shù)據(jù)擁塞現(xiàn)象的產(chǎn)生，給服務(wù)器造成巨大負(fù)擔(dān)，不僅會(huì)影響到數(shù)據(jù)遷移的效率，甚至?xí)霈F(xiàn)數(shù)據(jù)丟失的現(xiàn)象。網(wǎng)絡(luò)中節(jié)點(diǎn)服務(wù)器的性能既與本身硬件資源的配置有關(guān)，也與資源的利用情況密切相關(guān)，大量用戶在短時(shí)間內(nèi)的集中訪問，以及節(jié)點(diǎn)實(shí)際數(shù)據(jù)負(fù)載情況遠(yuǎn)超過理論負(fù)載能力，都會(huì)導(dǎo)致數(shù)據(jù)遷移效率瞬時(shí)下降。云存儲(chǔ)環(huán)境下利用FA遷移算法的目的，就是要通過對(duì)多數(shù)據(jù)中心節(jié)點(diǎn)負(fù)載的不均衡進(jìn)行資源調(diào)度，緩解個(gè)別節(jié)點(diǎn)的壓力和負(fù)擔(dān)。圍繞中心節(jié)點(diǎn)形成火焰蟲種群，仿生種群個(gè)體的分布情況，描述出整個(gè)待遷移數(shù)據(jù)網(wǎng)絡(luò)中多結(jié)構(gòu)數(shù)據(jù)的分布。仿生種群中亮度較大的個(gè)體會(huì)自動(dòng)地向中心節(jié)點(diǎn)處移動(dòng)，通過計(jì)算當(dāng)前節(jié)點(diǎn)的資源利用情況、帶寬占用情況及亮度較大個(gè)體的適應(yīng)度函數(shù)值，即可初步以高亮度個(gè)體為中心將整個(gè)數(shù)據(jù)遷移網(wǎng)絡(luò)劃分為多個(gè)種群，節(jié)點(diǎn)負(fù)載能力較大的個(gè)體的亮度值也更大，能夠吸引更多的其他個(gè)體靠攏，再通過多次迭代尋優(yōu)，優(yōu)化個(gè)體的位置分布。

隨著火焰蟲位置及亮度值的持續(xù)更新，進(jìn)入下一輪位置搜索，直到搜索出最優(yōu)的位置。但經(jīng)典的FA算法單個(gè)體的搜索空間范圍有限，且在中后期尋優(yōu)中由于個(gè)體之間的距離變小而導(dǎo)致適應(yīng)度函數(shù)值的局部尋優(yōu)的能力降低，容易陷入局部最優(yōu)解，且在尋優(yōu)過程中的收斂速度較慢，不利于大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移算法效率的提升。為此本文對(duì)經(jīng)典FA算法進(jìn)行優(yōu)化，在經(jīng)典FA算法的基礎(chǔ)上引入適應(yīng)度值和自適應(yīng)慣性權(quán)重，避免亮度較低個(gè)體尋優(yōu)過程中出現(xiàn)局部最優(yōu)化的情況，促使個(gè)體擴(kuò)大尋優(yōu)范圍。經(jīng)過優(yōu)化的FA算法不僅更有助于個(gè)體最優(yōu)位置的選擇，改變多個(gè)數(shù)據(jù)中心負(fù)載不均衡的情況，還有助于節(jié)省帶寬資源，避免短期內(nèi)用戶的集中訪問。在云存儲(chǔ)網(wǎng)絡(luò)空間內(nèi)構(gòu)建出p個(gè)解與數(shù)據(jù)中心的節(jié)點(diǎn)數(shù)量相對(duì)應(yīng)，用節(jié)點(diǎn)集合{x1,x2,…,xp}與數(shù)據(jù)中心集合相對(duì)應(yīng)，初始化火焰蟲種群的位置Lk：

(4)

(5)

(6)

(7)

在經(jīng)過多次位置迭代更新之后，火焰蟲個(gè)體會(huì)向種群適應(yīng)度值最大的區(qū)域聚集和靠攏，這個(gè)位置就是當(dāng)前時(shí)刻下節(jié)點(diǎn)目標(biāo)函數(shù)值的最佳位置。為均衡系統(tǒng)數(shù)據(jù)中心在數(shù)據(jù)遷移中的成本，除了得到每個(gè)數(shù)據(jù)中心的最優(yōu)解之外，還需要得到一部分次優(yōu)解，并從中計(jì)算和選擇出節(jié)省帶寬資源的最優(yōu)解分布。實(shí)際上在迭代后期被保留下來的N個(gè)最優(yōu)解是根據(jù)經(jīng)驗(yàn)得到的，個(gè)體的位置并非最佳位置，還需要進(jìn)一步更新能夠提高系統(tǒng)帶寬利用率的個(gè)體位置。而經(jīng)過優(yōu)化的FA大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移算法將每個(gè)服務(wù)器都看成是一個(gè)仿生信號(hào)系統(tǒng)，通過個(gè)體位置迭代更新的方式解決節(jié)點(diǎn)負(fù)載不均衡的問題，并達(dá)到降低數(shù)據(jù)實(shí)時(shí)遷移系統(tǒng)開銷、提高帶寬利用率的目的。

3 算法的性能測(cè)試

3.1 大數(shù)據(jù)動(dòng)態(tài)遷移實(shí)驗(yàn)環(huán)境搭建

算法性能測(cè)試實(shí)驗(yàn)的網(wǎng)絡(luò)集群環(huán)境基于Hadoop云平臺(tái)設(shè)計(jì)完成，包括5臺(tái)異構(gòu)主機(jī)，硬件配置見表1。

表1 實(shí)驗(yàn)系統(tǒng)的硬件配置

本文搭建實(shí)驗(yàn)系統(tǒng)所使用的軟件及其版本見表2。

表2 測(cè)試實(shí)驗(yàn)環(huán)境軟件設(shè)置

分別給5臺(tái)主機(jī)安裝Windows10專業(yè)版系統(tǒng)，并將主機(jī)名替換為master、slave1～ slave5，以master節(jié)點(diǎn)為中心建立網(wǎng)絡(luò)映射關(guān)系，添加如下的IP地址信息：

#135.0.01.1

#196.168.252.130 master

#196.168.252.131 slave

#196.168.252.133 slave

#196.168.252.134 slave

#196.168.252.135 slave

主機(jī)master節(jié)點(diǎn)首先生成密鑰對(duì)，主節(jié)點(diǎn)配置完成后再依次在slave節(jié)點(diǎn)上配對(duì)，配置完成后可以在所構(gòu)建的網(wǎng)絡(luò)中的任一個(gè)節(jié)點(diǎn)登錄。為提高檢測(cè)試驗(yàn)的適用性，源數(shù)據(jù)既包括MySQL、Oracle等結(jié)構(gòu)型數(shù)據(jù)，也包括HTML、音頻文件、視頻文件等非結(jié)構(gòu)化數(shù)據(jù)。其中結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于Hadoop框架內(nèi)，隨機(jī)生成20萬條數(shù)據(jù)，應(yīng)用網(wǎng)絡(luò)接口通過API調(diào)動(dòng)數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)測(cè)試表結(jié)構(gòu)見表3。

表3 結(jié)構(gòu)化數(shù)據(jù)測(cè)試表結(jié)構(gòu)

將20萬條數(shù)據(jù)按數(shù)據(jù)規(guī)模分成4組，見表4。

表4 測(cè)試用數(shù)據(jù)按規(guī)模分組

3.2 大數(shù)據(jù)實(shí)施遷移中的效率對(duì)比

在云存儲(chǔ)環(huán)境下，分別采用本文提出的優(yōu)化FA遷移算法、傳統(tǒng)的存儲(chǔ)容量感知、遺傳算法和自適應(yīng)模糊算法進(jìn)行實(shí)驗(yàn)，驗(yàn)證4種不同規(guī)模被測(cè)試數(shù)據(jù)的遷移效率，各種調(diào)度算法下的遷移耗時(shí)情況如圖3～圖6所示。

圖3 300 MB數(shù)據(jù)規(guī)模各算法的遷移耗時(shí)

圖4 1.5 GB數(shù)據(jù)規(guī)模各算法的遷移耗時(shí)

圖5 10.5 GB數(shù)據(jù)規(guī)模各算法的遷移耗時(shí)

圖6 15.0 GB數(shù)據(jù)規(guī)模各算法的遷移耗時(shí)

從圖3～圖6可以看出，當(dāng)待遷移的數(shù)據(jù)規(guī)模較小時(shí)，傳統(tǒng)算法與本文算法的調(diào)度性能和遷移耗時(shí)相差不大。數(shù)據(jù)規(guī)模逐漸增大，部分網(wǎng)絡(luò)節(jié)點(diǎn)由于負(fù)載過高，出現(xiàn)數(shù)據(jù)擁塞的現(xiàn)象，進(jìn)而影響到總體數(shù)據(jù)調(diào)度性能的發(fā)揮。當(dāng)數(shù)據(jù)規(guī)模超過10 GB時(shí)，本文提出的基于優(yōu)化FA遷移算法的整體耗時(shí)優(yōu)勢(shì)較為明顯，表明本文算法的遷移效率更高。

3.3 數(shù)據(jù)遷移成本分析

實(shí)驗(yàn)中通過比較大數(shù)據(jù)隨機(jī)遷入的位置計(jì)算遷移成本，將單位時(shí)間內(nèi)(設(shè)定為1 s)數(shù)據(jù)遷移時(shí)間與遷移開銷的乘積定義為遷移成本。在云存儲(chǔ)環(huán)境下如果節(jié)點(diǎn)任務(wù)分配不均衡，個(gè)別節(jié)點(diǎn)的負(fù)載較高，那么對(duì)于整個(gè)遷移網(wǎng)絡(luò)而言，遷移成本就會(huì)升高。動(dòng)態(tài)的遷移算法和調(diào)度方案將決定最終的遷移成本，在0～100 s的遷移周期內(nèi)，4種不同遷移算法的遷移成本見表5。

表5 各種算法的遷移成本對(duì)比分析 單位：s

由表5可以看出，與傳統(tǒng)3種算法相比，本文提出的優(yōu)化FA算法在每個(gè)時(shí)間周期內(nèi)的成本都要更低，而且隨著時(shí)間周期的延長，成本開銷的增長率保持在較低水平范圍內(nèi)。4種算法對(duì)于不同規(guī)模數(shù)據(jù)的上傳時(shí)間和下載時(shí)間控制情況見表6，其中本文提出的優(yōu)化FA遷移算法具有明顯的優(yōu)勢(shì)。

表6 數(shù)據(jù)上傳與下載時(shí)間的成本控制

3.4 節(jié)點(diǎn)硬件資源的占用情況

對(duì)于大數(shù)據(jù)遷移網(wǎng)絡(luò)中的節(jié)點(diǎn)而言，頻繁的用戶訪問與過高的節(jié)點(diǎn)硬件資源負(fù)載，會(huì)增加系統(tǒng)CPU和內(nèi)存等硬件資源的占用，如果硬件的負(fù)載過高會(huì)降低節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)和調(diào)度性能的發(fā)揮。在同等的數(shù)據(jù)規(guī)模前提下(選擇的被遷移的數(shù)據(jù)規(guī)模為10.5 GB)，觀測(cè)不同的遷移調(diào)度算法下master主節(jié)點(diǎn)的CPU和內(nèi)存等硬件資源占用情況，具體如圖7和圖8所示。

圖7 master主節(jié)點(diǎn)的CPU占用率

圖8 master主節(jié)點(diǎn)的RAM占用率

從大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移中對(duì)主節(jié)點(diǎn)硬件資源統(tǒng)計(jì)的結(jié)果可知，無論是CPU的占用率，還是內(nèi)存的占用率，優(yōu)化的FA算法均表現(xiàn)良好。在大數(shù)據(jù)遷移中master主節(jié)點(diǎn)的硬件資源預(yù)留出較大的空間，能夠更充分地發(fā)揮出系統(tǒng)的性能，且能夠負(fù)擔(dān)部分高負(fù)載slave節(jié)點(diǎn)的計(jì)算任務(wù)，提高數(shù)據(jù)動(dòng)態(tài)遷移的效率。

4 結(jié)束語

隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大，數(shù)據(jù)遷移的應(yīng)用場(chǎng)景逐漸增多，為保證大數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)遷移的效率和質(zhì)量，對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)的均衡負(fù)載能力、硬件資源配置及軟件算法均提出了較高的要求。本文基于已有的研究成果，在云存儲(chǔ)環(huán)境下提出了一種優(yōu)化FA動(dòng)態(tài)遷移調(diào)度算法，能夠?qū)崿F(xiàn)節(jié)點(diǎn)性能與數(shù)據(jù)遷移要求的均衡。從實(shí)際的測(cè)試結(jié)果可知，本文提出的大數(shù)據(jù)遷移調(diào)度算法的硬件資源占用率更低，在同等條件下的實(shí)時(shí)遷移效率和成本優(yōu)于3種傳統(tǒng)遷移算法。