基于時態(tài)密集度特征的大數(shù)據(jù)高效遷移策略

劉金魁

（河南工業(yè)和信息化職業(yè)學(xué)院，河南 焦作 454003）

隨著互聯(lián)網(wǎng)科技的快速發(fā)展，大數(shù)據(jù)作為當代高科技的產(chǎn)物，在社會各個領(lǐng)域中得到廣泛的應(yīng)用。當今信息數(shù)據(jù)流通數(shù)量不斷增多，互聯(lián)網(wǎng)平臺在日常運營中會生成和累計海量的實時數(shù)據(jù)，這些規(guī)模龐大的數(shù)據(jù)集合增加了平臺服務(wù)器的數(shù)據(jù)存儲、獲取、搜索、管理與處理的難度。為有效解決大數(shù)據(jù)平臺控制管理面臨的難題，滿足海量、高增長率和多樣化的信息資源管理需求，需要進行數(shù)據(jù)遷移與服務(wù)器擴容的新處理模式[1]。數(shù)據(jù)遷移與數(shù)據(jù)轉(zhuǎn)換或數(shù)據(jù)集成不同，并不是進行簡單的內(nèi)部數(shù)據(jù)位置的交換變化，而是把數(shù)據(jù)從源系統(tǒng)傳輸?shù)侥繕讼到y(tǒng)，使移動數(shù)據(jù)填充到新環(huán)境中，實現(xiàn)信息數(shù)據(jù)的轉(zhuǎn)換傳輸，提高數(shù)據(jù)庫的訪問和信息調(diào)度能力[2]。

數(shù)據(jù)遷移需要通過存儲數(shù)據(jù)庫、應(yīng)用程序、云計算和業(yè)務(wù)流程來完成。由于大數(shù)據(jù)遷移存在一定的風(fēng)險和難度，數(shù)據(jù)在存儲設(shè)備、位置或系統(tǒng)之間進行移動時，不僅要保證數(shù)據(jù)的質(zhì)量和完整度，還要制定合理完善的計劃和實施步驟，避免發(fā)生災(zāi)難性數(shù)據(jù)丟失，確保數(shù)據(jù)遷移的順利完成[3]。傳統(tǒng)遷移方法采用統(tǒng)計信息特征的方法，進行經(jīng)驗?zāi)B(tài)分解的大數(shù)據(jù)遷移，該算法成本高、缺乏良好的數(shù)據(jù)庫訪問和調(diào)度的實時性。另一種基于粒子群濾波的多數(shù)據(jù)庫環(huán)境下分布式大數(shù)據(jù)遷移方法，雖然降低了經(jīng)濟成本，并具有較高的訪問實時性和準確性，但是，該算法在遷移過程中抗干擾能力差，容易出現(xiàn)遷移問題。因此，文章提出基于時態(tài)密集度特征的大數(shù)據(jù)高效遷移策略，并針對大數(shù)據(jù)時態(tài)密集度特征進行分析研究，實現(xiàn)大數(shù)據(jù)的高效遷移。

1. 時態(tài)密集度特征

大數(shù)據(jù)具有數(shù)據(jù)量大、類型繁多的特征，隨著海量數(shù)據(jù)的不斷堆積，微簇的聚類程度也會有所不同。對于微簇時態(tài)權(quán)重F:設(shè) n表 示某一微簇，tn為數(shù)據(jù)點S到微簇 n的 時刻，則微簇n 的時態(tài)密度為所有到達微簇n的權(quán)重的總和：

通過數(shù)據(jù)到達微簇時的速度的計算發(fā)現(xiàn)，當新的數(shù)據(jù)到達微簇時，時態(tài)密集度權(quán)重之和增加，隨著數(shù)據(jù)運行時間的衰減推移變化，會影響整體微簇的產(chǎn)生。如果新的數(shù)據(jù)快速不斷地推移到達微簇，那么時態(tài)密度就會越來越大，一旦新的數(shù)據(jù)不能盡快推移到達微簇，其時態(tài)密度就會逐漸減少。通過增量的計算反映出一個微簇推移時間的快慢對整體微簇產(chǎn)生的重要性，新的數(shù)據(jù)到達微簇的時間越快，就會增加微簇的時態(tài)密度，而當微簇一直未有新的數(shù)據(jù)到達，該微簇沒有形成時態(tài)密度特征，就會通過更新信息將該微簇刪除。這種針對微簇不同階段點的時態(tài)密度分析計算的方式，不僅有效提高了計算的速度，還保證了計算的有效性和可靠性。

2. 大數(shù)據(jù)高效遷移策略

2.1 數(shù)據(jù)格式統(tǒng)一

數(shù)據(jù)會因類型不同而產(chǎn)生不同的存儲記錄方式，導(dǎo)致數(shù)據(jù)存儲格式不統(tǒng)一。數(shù)據(jù)被遷移到新平臺后，就會導(dǎo)致與新系統(tǒng)原始數(shù)據(jù)庫中存儲記錄的信息出現(xiàn)重復(fù)、拼寫不一致和空值不符等許多屬性不兼容問題，無法實現(xiàn)數(shù)據(jù)的統(tǒng)一管理。為避免這一現(xiàn)象發(fā)生，在新的數(shù)據(jù)遷入環(huán)境中應(yīng)采用統(tǒng)一化格式存儲數(shù)據(jù)，以便于管理。

根據(jù)新平臺的應(yīng)用功能，采用設(shè)計語言查詢數(shù)據(jù)庫的特殊編程方式，以便更好地管理和控制數(shù)據(jù)庫。設(shè)計 Java 語言服務(wù)方式，服務(wù)器對數(shù)據(jù)庫遷移緩存ORM框架采用的是Hibernate。通過遷移數(shù)據(jù)庫中的數(shù)據(jù)與新系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)，進行Hibernate語言對象訪問形式，有效解決了數(shù)據(jù)重復(fù)混亂的問題，實現(xiàn)數(shù)據(jù)格式的統(tǒng)一轉(zhuǎn)換管理。

2.2 數(shù)據(jù)分割

數(shù)據(jù)遷入平臺應(yīng)采用Stand_alone運行模式。由于龐大的數(shù)據(jù)量對平臺系統(tǒng)造成推移接收困難，所以，遷入數(shù)據(jù)應(yīng)先進行切分，再被多線程同時處理。這種分割并行處理方式不僅解決了數(shù)據(jù)移動接收問題，還有效提高了平臺工作效率。在對遷移大數(shù)據(jù)進行分割前，首先要對遷入的總數(shù)據(jù)量進行預(yù)先估算，并根據(jù)系統(tǒng)硬件環(huán)境進行數(shù)據(jù)信息量的合理配置。數(shù)據(jù)切分模塊負責(zé)把遷入的大數(shù)據(jù)切分成若干小量數(shù)據(jù)作業(yè)模式，然后進行多個線程并行處理，完成數(shù)據(jù)推動遷移。當數(shù)據(jù)切分完成后，應(yīng)對生成的小數(shù)據(jù)進行信息記錄，并提交至平臺，實現(xiàn)統(tǒng)一遷移管理。數(shù)據(jù)切分記錄表如表 1 所示。

表1 數(shù)據(jù)分割記錄表

表1中：N為數(shù)據(jù)總量，E為單個作業(yè)需要完成的遷移數(shù)據(jù)量，整個切分流程分為以下幾

Step1：估算系統(tǒng)存儲能力及任務(wù)處理能力；

Step2：針對預(yù)加載數(shù)據(jù)的遷移量進行預(yù)估計算；

Step3：當數(shù)據(jù)遷移量超出系統(tǒng)處理能力時，需要先將數(shù)據(jù)做切分處理；

Step4：如果數(shù)據(jù)切分出現(xiàn)問題，則應(yīng)進行異常監(jiān)測，并進行數(shù)據(jù)遷移量評估；

Step5：若數(shù)據(jù)切分成功，將切分完成的數(shù)據(jù)信息序列導(dǎo)入到數(shù)據(jù)遷入模塊中。

2.3 數(shù)據(jù)遷移

基于時態(tài)密度特征的大數(shù)據(jù)遷入作業(yè)，采用的是多線程并行處理模式，數(shù)據(jù)遷入步驟如下。

Step1：加載要遷入數(shù)據(jù)隊列的初始化信息；

Step2：檢測數(shù)據(jù)源是否存在數(shù)據(jù)，如果存在數(shù)據(jù)，就要讀入下一個單位量的數(shù)據(jù)，如果沒有結(jié)束程序；

Step3：若檢測隊列已滿，則等待；

Step4：當隊列中數(shù)據(jù)讀入緩沖區(qū)，表示為空時，則任務(wù)結(jié)束。

遷入緩沖隊列技術(shù)和遷出緩沖隊列技術(shù)有效解決了時態(tài)密集大數(shù)據(jù)在遷移過程中讀入數(shù)據(jù)在格式上存在的差異和時率不匹配問題。通過對不同訪問數(shù)據(jù)的訪問率進行分別存儲，把經(jīng)常訪問的數(shù)據(jù)存儲到成本較高的存儲空間，實現(xiàn)存儲硬件的最大化使用價值，快速安全地完成大數(shù)據(jù)的遷移工作。

3. 對比實驗

為了驗證基于時態(tài)密集度特征的大數(shù)據(jù)高效遷移方法的有效性，進行對比實驗分析。

3.1 實驗環(huán)境

實驗環(huán)境如表2所示。

表2 實驗仿真環(huán)境

3.2 實驗數(shù)據(jù)分析

實驗數(shù)據(jù)分析如表3所示。

images/BZ_101_1039_729_1075_765.pngimages/BZ_101_1013_936_1048_972.png

3.3 實驗結(jié)果與分析

將經(jīng)驗?zāi)B(tài)分解大數(shù)據(jù)遷移方法、粒子群大數(shù)據(jù)遷移方法和基于時態(tài)密集度特征的大數(shù)據(jù)高效遷移方法的遷移效率進行對比分析，結(jié)果如圖1所示。

由圖1可知：在凌晨3點鐘時，經(jīng)驗?zāi)B(tài)分解大數(shù)據(jù)遷移方法和粒子群大數(shù)據(jù)遷移方法的遷移效率分別為55%和71%，而基于時態(tài)密集度特征遷移方法的遷移效率為87%；在上午9點鐘時，經(jīng)驗?zāi)B(tài)分解大數(shù)據(jù)遷移方法和粒子群大數(shù)據(jù)遷移方法的遷移效率分別為30%和58%，而基于時態(tài)密集度特征遷移方法的遷移效率為92%；在下午6點鐘時，經(jīng)驗?zāi)B(tài)分解大數(shù)據(jù)遷移方法和粒子群大數(shù)據(jù)遷移方法的遷移效率分別為22%和48%，基于時態(tài)密集度特征遷移方法的遷移效率為93%。

綜上所述，基于時態(tài)密集度特征的大數(shù)據(jù)高效遷移方法是有效性的。

4. 結(jié)束語

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和社會網(wǎng)絡(luò)的快速發(fā)展，人們每時每刻都在產(chǎn)生大量的信息數(shù)據(jù)，這些海量大數(shù)據(jù)的產(chǎn)生增加了系統(tǒng)控制管理的難度。為有效解決堆積的大量數(shù)據(jù)，采用基于時態(tài)密集度特征的大數(shù)據(jù)高效遷移方法，使海量大數(shù)據(jù)從原始平臺遷移到另一個新平臺，不僅高效完成了大數(shù)據(jù)遷移，還提高了數(shù)據(jù)控制管理的統(tǒng)一性和安全性?；跁r態(tài)密集度特征的大數(shù)據(jù)高效遷移策略，首先針對大量數(shù)據(jù)進行預(yù)估計算，采用科學(xué)合理的數(shù)據(jù)分割并行遷移方法，實現(xiàn)大數(shù)據(jù)的優(yōu)化配置，具有良好的可行性和較強的適用性，同時，還彌補了傳統(tǒng)數(shù)據(jù)遷移方法存在的不足，既節(jié)約了經(jīng)濟成本，又提高了運算的精準性，極大提高了時態(tài)密集度特征的大數(shù)據(jù)遷移的工作效率。隨著計算機科學(xué)技術(shù)的不斷發(fā)展，在軟件、硬件和數(shù)據(jù)庫技術(shù)及數(shù)據(jù)遷移等工具的創(chuàng)新開發(fā)中，一些大存儲容量、高速運轉(zhuǎn)和強功能的智能化系統(tǒng)得到了越來越多的應(yīng)用，促進了大數(shù)據(jù)的可持續(xù)管理和應(yīng)用。