基于群智仿生算法的大數(shù)據(jù)高效遷移策略研究

杜宇

摘 ?要： 為了提高大數(shù)據(jù)遷移的執(zhí)行效率并降低存儲需求，提出采用群體仿生智能算法中的人工魚群算法完成大數(shù)據(jù)遷移過程。首先，根據(jù)魚群活動狀態(tài)對大數(shù)據(jù)遷移進(jìn)行策略分析，并對數(shù)據(jù)記錄及存儲空間按照魚群算法進(jìn)行建模。然后，采用存儲范圍和遷移步長動態(tài)變化的策略完成大數(shù)據(jù)自動遷移。經(jīng)過實(shí)驗(yàn)證明，相比LRU遷移算法，基于人工魚群算法的數(shù)據(jù)遷移策略在存儲空間及執(zhí)行時間消耗方面優(yōu)勢明顯，具有一定的推廣價(jià)值。

關(guān)鍵詞： 大數(shù)據(jù)遷移; 自動遷移; 執(zhí)行效率; 存儲空間; 群體智能算法; 人工魚群算法

中圖分類號： TN915?34; TP393 ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）19?0124?03

Abstract： In order to improve the execution efficiency of big data migration and reduce the storage demands， the artificial fish swarm algorithm in the swarm intelligence algorithm is proposed to complete the big data migration process. The strategy analysis of big data migration is carried out according to the fish population activity status， and the data record and storage space are modeled according to the fish swarm algorithm. The automatic migration of big data is completed by a strategy of dynamically changing the storage range and the migration step size. Experiment results show that， in comparison with the LRU migration algorithm， the data migration strategy based on artificial fish swarm algorithm has more obvious advantages in storage space and execution time consumption， and has a certain promotion value.

Keywords： big data migration; automatic migration; execution efficiency; storage space; swarm intelligence algorithm; artificial fish swarm algorithm

0 ?引 ?言

大數(shù)據(jù)平臺用戶眾多，服務(wù)器所承載的數(shù)據(jù)資源與日俱增，當(dāng)數(shù)據(jù)量的不斷增多，隨之而來的數(shù)據(jù)存儲及服務(wù)器擴(kuò)容等一系列問題也隨之產(chǎn)生，特別是數(shù)據(jù)遷移問題成為大數(shù)據(jù)平臺發(fā)展面臨的重要問題。

數(shù)據(jù)遷移并不是簡單的數(shù)據(jù)位置的變化，它涉及到數(shù)據(jù)遷移的平滑度，數(shù)據(jù)的完整度，還有遷移過程面臨的數(shù)據(jù)量變大，遷移時間等問題。當(dāng)前對數(shù)據(jù)遷移的算法主要有LRU和LFU算法[1?3]，這兩種算法在數(shù)據(jù)遷移的效率方面優(yōu)勢并不明顯，本文結(jié)合群體智能算法，將人工魚群算法作為大數(shù)據(jù)遷移策略，提高了大數(shù)據(jù)平臺數(shù)據(jù)的遷移效率。

4 ?結(jié) ?語

本文采用基于人工魚群算法的大數(shù)據(jù)負(fù)載遷移方法較好地完成了數(shù)據(jù)遷移，相比傳統(tǒng)的LRU數(shù)據(jù)遷移算法，在執(zhí)行效率和存儲消耗方面優(yōu)勢明顯，綜上所述，人工魚群算法在大數(shù)據(jù)遷移方面有較強(qiáng)的適用性。接下來會在過程簡化和結(jié)合其他群體智能算法方面進(jìn)行后續(xù)研究。

參考文獻(xiàn)

[1] 陳作聰.基于灰色模型的海洋大數(shù)據(jù)遷移算法設(shè)計(jì)[J].廣東工業(yè)大學(xué)學(xué)報(bào)，2018，35（3）：95?99.

CHEN Zuocong. Grey model?based algorithm design for ocean large data migration [J]. Journal of Guangdong University of Technology， 2018， 35（3）： 95?99.

[2] 王永超，魯鳴鳴.面向金融行業(yè)的大數(shù)據(jù)遷移的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（13）：93?99.

WANG Yongchao， LU Mingming. Research and implementation of big data migration for financial industry [J]. Computer engineering and applications， 2018， 54（13）： 93?99.

[3] 梁雙，周麗華，楊培忠.基于聚類分析分庫策略的社交網(wǎng)絡(luò)數(shù)據(jù)庫查詢性能與數(shù)據(jù)遷移[J].計(jì)算機(jī)應(yīng)用，2017，37（3）：673?679.

LIANG Shuang， ZHOU Lihua， YANG Peizhong. Query performance and data migration of social network database based on cluster analysis and subdatabase strategy [J]. Computer applications， 2017， 37（3）： 673?679.

[4] 張水平，王碧，陳陽.基于逐層演化的群體智能算法優(yōu)化[J].工程科學(xué)學(xué)報(bào)，2017，39（3）：462?473.

ZHANG Shuiping， WANG Bi， CHEN Yang. Swarm intelligence algorithm optimization based on hierarchical evolution [J]. Chinese journal of engineering， 2017， 39（3）： 462?473.

[5] ZOUACHE D， ABDELAZIZ F B. A cooperative swarm intelligence algorithm based on quantum?inspired and rough sets for feature selection [J]. Computers & industrial engineering， 2018， 115： 26?36.

[6] CHEN W， FENG Y Z， JIA G F， et al. Application of artificial fish swarm algorithm for synchronous selection of wavelengths and spectral pretreatment methods in spectrometric analysis of beef adulteration [J]. Food analytical methods， 2018， 11（8）： 2229?2236.

[7] ZONG X， JIANG Y， WANG C. Evacuation behaviors and link selection strategy based on artificial fish swarm algorithm [C]// International Conference on Cloud Computing & Big Data. Macau， China： IEEE， 2016： 62?67.

[8] 劉東林，李樂樂.一種新穎的改進(jìn)人工魚群算法[J].計(jì)算機(jī)科學(xué)，2017，44（4）：281?287.

LIU Donglin， LI Lele. A novel improved artificial fish swarm algorithm [J]. Computer science， 2017， 44（4）： 281?287.

[9] 汪開普，張則強(qiáng)，毛麗麗，等.多目標(biāo)拆卸線平衡問題的Pareto人工魚群算法[J].中國機(jī)械工程，2017，28（2）：183?190.

WANG Kaipu， ZHANG Zeqiang， MAO Lili， et al. Pareto artificial fish swarm algorithm for multi?objective disassembly line balance problem [J]. China mechanical engineering， 2017， 28 （2）： 183?190.