非結(jié)構(gòu)化大數(shù)據(jù)云存儲穩(wěn)定性優(yōu)化評定

甯佐斌，陽廣元

(西南民族大學(xué)，四川 成都 610041)

1 引言

諸如網(wǎng)絡(luò)搜索、電子郵件、微博共享以及視頻上傳等新數(shù)據(jù)，正以指數(shù)倍級別的速度迅速增長，如何便捷、穩(wěn)定地完成數(shù)據(jù)存儲，日益成為各相關(guān)領(lǐng)域的熱點(diǎn)研究問題之一。當(dāng)前存儲形式效率低、穩(wěn)定性差，無法滿足越來越高的用戶需求，故高效智能、穩(wěn)定安全的云存儲[1]形式應(yīng)運(yùn)而生，作為從云計算概念[2]引申、發(fā)展出來的新型策略，云存儲技術(shù)的核心理念是利用分布式系統(tǒng)、網(wǎng)絡(luò)以及集群等多項技術(shù)，集合分布在網(wǎng)絡(luò)里不同方位的多類型存儲設(shè)備，采用軟件管理手段令存儲設(shè)備共同完成業(yè)務(wù)訪問、數(shù)據(jù)存儲等任務(wù)。簡而言之，云存儲就是把用戶存儲的數(shù)據(jù)緩存在云端里，讓用戶能夠在云端任意存取數(shù)據(jù)，但實現(xiàn)的前提條件是將云端與用戶的聯(lián)網(wǎng)設(shè)備連接起來。

綜上所述，本文對非結(jié)構(gòu)化大數(shù)據(jù)云存儲穩(wěn)定性優(yōu)化評定展開研究，通過最小化home節(jié)點(diǎn)與系統(tǒng)中所有節(jié)點(diǎn)的總距離差值，最小化非結(jié)構(gòu)化大數(shù)據(jù)的存儲能量消耗，使云存儲系統(tǒng)運(yùn)行更加平穩(wěn)；優(yōu)化云存儲系統(tǒng)中所有子區(qū)域的內(nèi)部存儲，提升云存儲穩(wěn)定性；利用粒度率控制數(shù)據(jù)彈性，降低存儲空間占用率，提升存儲穩(wěn)定性與流暢度。

2 非結(jié)構(gòu)化大數(shù)據(jù)云存儲穩(wěn)定性優(yōu)化

為優(yōu)化非結(jié)構(gòu)化大數(shù)據(jù)云存儲的穩(wěn)定性，分別從并行處理與安全容錯兩個方面進(jìn)行提升。

2.1 并行處理

假設(shè)home節(jié)點(diǎn)的坐標(biāo)方位為(x，y)，在非結(jié)構(gòu)化大數(shù)據(jù)云存儲系統(tǒng)中隨機(jī)選取一個節(jié)點(diǎn)，其二維坐標(biāo)為(xi，yi)，網(wǎng)絡(luò)分布圓形范圍的半徑是R，通過最小化home節(jié)點(diǎn)與系統(tǒng)中所有節(jié)點(diǎn)的總距離D(x，y)差值，來最小化非結(jié)構(gòu)化大數(shù)據(jù)的存儲能量消耗，使云存儲系統(tǒng)運(yùn)行更加平穩(wěn)。則home節(jié)點(diǎn)與系統(tǒng)中所有節(jié)點(diǎn)的總距離D(x，y)表達(dá)式如下所示

(1)

將第i環(huán)的活動時間設(shè)定為ti，云存儲系統(tǒng)在該時段中把所有生成的大數(shù)據(jù)傳輸至第i環(huán)中的任意節(jié)點(diǎn)上，完成存儲操作。假定活動環(huán)以外Ci中存在任意節(jié)點(diǎn)n1與n2，當(dāng)其中一個節(jié)點(diǎn)發(fā)現(xiàn)有數(shù)據(jù)需要存儲時，該節(jié)點(diǎn)將沿著系統(tǒng)中心與自身的連線軌跡，將大數(shù)據(jù)傳輸至當(dāng)前活動環(huán)內(nèi)，當(dāng)數(shù)據(jù)包在活動環(huán)中與任意節(jié)點(diǎn)n3或者n4相遇后，云存儲操作才得以實現(xiàn)，數(shù)學(xué)描述如下列表達(dá)式

(2)

云存儲系統(tǒng)中大數(shù)據(jù)存儲位置的發(fā)生概率具有均等性，故大數(shù)據(jù)在ti時段中能夠被均勻儲存于活動環(huán)中的每個節(jié)點(diǎn)上。

根據(jù)環(huán)的大數(shù)據(jù)存儲協(xié)議，云存儲系統(tǒng)的節(jié)點(diǎn)狀態(tài)僅含有非活動與活動狀態(tài)，所以，可利用此狀態(tài)組成存儲能量消耗，不同消耗能量的計算方法描述如下：

1)若i-1，…，2，1環(huán)屬于活動狀態(tài)，環(huán)i將為活動狀態(tài)的環(huán)提供存儲與查詢信息，假定(t1+t2+…+ti-1)為環(huán)i輸送查詢與存儲信息所用的時間總和，那么，環(huán)i輸送信息過程中所消耗的能量計算公式如下所示

(3)

式中，Er為i環(huán)映射至活動環(huán)中的存儲與查詢軌跡，Es為非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行云存儲時的映射弧長。

2)下列表達(dá)式為環(huán)i屬于非活動狀態(tài)時的總消耗能量計算公式

Ei_inactive=Ei_1+Ei_3

(4)

式中，Ei_3為各節(jié)點(diǎn)的初始能量。

3)若環(huán)i為活動狀態(tài)，則云存儲消耗能量的計算公式如下所示

(5)

式中，Si為云存儲系統(tǒng)的平均密度，S為環(huán)寬度。

4)下列表達(dá)式為求解環(huán)i處于活動狀態(tài)下的整體消耗能量計算公式

(6)

(7)

將優(yōu)化核心設(shè)定為上式得到的云存儲環(huán)活動時間，根據(jù)內(nèi)部節(jié)點(diǎn)、邊界節(jié)點(diǎn)的編號順序，完成所有區(qū)域云存儲平衡函數(shù)的并行架構(gòu)，表達(dá)式如下所示

(8)

式中，x1、xB分別是云存儲系統(tǒng)內(nèi)部節(jié)點(diǎn)與邊界節(jié)點(diǎn)的相應(yīng)位移，P1、PB分別為各節(jié)點(diǎn)對應(yīng)的外部荷載矢量，kH、kIB、kBI以及kBB分別表示系統(tǒng)剛度矩陣[3]分塊矩陣則。

通過縮聚上式所有子區(qū)域，可并行去除云存儲系統(tǒng)內(nèi)部的自由度[4]，構(gòu)建僅存有邊界自由度未知量的界面函數(shù)方程，如下所示

(9)

根據(jù)解得的節(jié)點(diǎn)邊界自由度，采用下列表達(dá)式完成云存儲系統(tǒng)中所有子區(qū)域的內(nèi)部存儲優(yōu)化，提升云存儲穩(wěn)定性

(10)

2.2 安全容錯

依據(jù)非結(jié)構(gòu)化大數(shù)據(jù)的存儲形式，制定以下約束條件，進(jìn)一步優(yōu)化云存儲系統(tǒng)的穩(wěn)定性：

1)令整個數(shù)據(jù)存儲中的數(shù)據(jù)流動性呈透明狀態(tài)，即最終數(shù)據(jù)存儲節(jié)點(diǎn)不關(guān)注中間數(shù)據(jù)傳輸鏈路，將云特性賦予整個中間鏈路；

2)非結(jié)構(gòu)化大數(shù)據(jù)網(wǎng)絡(luò)中沒有固定的控制中心，所以，只有經(jīng)過數(shù)據(jù)庫檢索，才能完成數(shù)據(jù)調(diào)度時的傳輸與存儲；

3)當(dāng)數(shù)據(jù)存儲的任意中繼節(jié)點(diǎn)[7]失效時，均可以通過剩余中繼節(jié)點(diǎn)接力完成數(shù)據(jù)存儲。

綜上所述，云存儲時的數(shù)據(jù)容錯性能可以有效提升其穩(wěn)定性，云存儲容錯程度的表達(dá)式如下所示

(11)

式中，c為存儲數(shù)據(jù)量，fsent(t)為傳輸映射函數(shù)。

通過上式可以看出，關(guān)于非結(jié)構(gòu)化大數(shù)據(jù)的云存儲傳輸鏈路，整體的存儲容錯系數(shù)有諸多影響因素。

在存儲節(jié)點(diǎn)接收存儲請求后，云存儲則表現(xiàn)為不間斷請求狀態(tài)，利用下列各式求取存儲梯度[8]與存儲強(qiáng)度[9]指數(shù)，若結(jié)果符合式(17)，則完成數(shù)據(jù)存儲；否則，對下列各式展開迭代操作。假設(shè)Π(x)是非結(jié)構(gòu)化大數(shù)據(jù)的利用概率，且利用概率期望值EΠ(x)與彈性期望值E[T(x)]互為倒數(shù)，則

(12)

式中，λ為服從指數(shù)。若得到的期望值是負(fù)數(shù)，則存儲擁塞與流程程度呈負(fù)相關(guān)，繼續(xù)進(jìn)行存儲；若得到的是正數(shù)，控制存儲質(zhì)量，通過調(diào)控數(shù)據(jù)粒度提升穩(wěn)定性。

由于流暢度與期望值呈反函數(shù)關(guān)系，故利用粒度率p控制數(shù)據(jù)彈性，降低存儲空間占用率，提升存儲穩(wěn)定性與流暢度，表達(dá)式如下所示

(13)

由上式設(shè)定當(dāng)前存儲接入粒度率仍為p，則下一時刻的數(shù)據(jù)彈性應(yīng)符合下列等式關(guān)系

(14)

非結(jié)構(gòu)化大數(shù)據(jù)云存儲的點(diǎn)帶寬具有一定的限制性，存儲梯度能夠高效覆蓋數(shù)據(jù)彈性[10]，因此，與隨機(jī)時刻Δt對應(yīng)的覆蓋關(guān)系需符合下列等式關(guān)系

(15)

由上式推導(dǎo)出云存儲強(qiáng)度指數(shù)Δλ應(yīng)滿足的等式

(16)

結(jié)合上列兩式，令大數(shù)據(jù)存儲梯度與彈性滿足下列表達(dá)式，完成數(shù)據(jù)云存儲與穩(wěn)定性優(yōu)化

(17)

3 實驗結(jié)果分析

3.1 實驗環(huán)境及參數(shù)

為有效評定本文方法的優(yōu)化效果，共設(shè)定三個實驗環(huán)境，基于不同環(huán)境的相同條件，將云存儲吞吐量、丟包率與平均占用率作為穩(wěn)定性優(yōu)化的評定指標(biāo)，展開優(yōu)化前與優(yōu)化后的效果評定仿真。模擬環(huán)境的具體情況如下表1所示。

表1 模擬環(huán)境具體設(shè)定情況

上表1中的低優(yōu)先級樣本權(quán)重與高優(yōu)先級樣本權(quán)重分別呈1到2與3到5的均勻分布。

假設(shè)最后狀態(tài)概率ρm+N表示丟包率，則丟包率D與吞吐量γ的表達(dá)式分別如下所示：

(18)

γ=λ1(1-D)

(19)

根據(jù)狀態(tài)概率推導(dǎo)出下列平均占用率ν的表達(dá)式：

(20)

3.2 吞吐量評定分析

通過篩選處理10組實驗數(shù)據(jù)，得到在同一請求到達(dá)率下的均值。圖1所示為不同實驗環(huán)境下，基于吞吐量的本文方法優(yōu)化前后效果。

圖1 基于環(huán)境1的優(yōu)化前后吞吐量曲線圖

從圖1可以看出，當(dāng)非結(jié)構(gòu)化大數(shù)據(jù)的用戶初始優(yōu)先級較低時，優(yōu)化前后差異不太明顯，但由于對home節(jié)點(diǎn)與系統(tǒng)中所有節(jié)點(diǎn)的總距離差值做了最小化處理，所以，經(jīng)本文方法優(yōu)化后的云存儲吞吐量性能仍略有提升。

從圖2中曲線走勢可知，在吞吐量到達(dá)峰值前，優(yōu)化前后無明顯差異，但當(dāng)請求到達(dá)率增加至2400左右時，優(yōu)化前后的吞吐量值開始出現(xiàn)差別，由于構(gòu)建了不同活動狀態(tài)下的消耗能量計算形式，故優(yōu)化后的吞吐量值始終處于較高位置，在請求到達(dá)率約為5600時，優(yōu)化前吞吐量值呈下降趨勢，而優(yōu)化后吞吐量值則在請求到達(dá)率是6300左右時才開始下降，且降幅相對平緩。

這話對何北來說還是比較有效的，何守四給了他一套房單住，他有條件跟老爸保持一定的空間距離，盡量不讓老爸惦記他，想起他，至于誰吃他老爸他不管，但他最怕最煩老爸?jǐn)?shù)叨他。聽了何西這話，他決心保守這秘密了。可懷里揣著這么大的秘密不告訴個人，他有點(diǎn)寢食難安。所以，從醫(yī)院出來，他開車把何西在家門口放下，第一件事他就是給唐嬌打電話，把這事傳了出去，才踏實下來。

圖2 基于環(huán)境2的優(yōu)化前后吞吐量曲線圖

根據(jù)圖3所示的優(yōu)化前后吞吐量曲線圖，發(fā)現(xiàn)出現(xiàn)差異的請求到達(dá)率值并沒有發(fā)生太大變化，仍為2400左右，且優(yōu)化前吞吐量的下降點(diǎn)仍是5600請求到達(dá)率，但降幅有明顯增加，而經(jīng)過本文方法優(yōu)化的吞吐量指標(biāo)因并行架構(gòu)了所有區(qū)域云存儲平衡函數(shù)，故在請求到達(dá)率約為7800時才呈現(xiàn)下降趨勢，且降幅相對平緩。這說明當(dāng)初始優(yōu)先級較高時，本文方法的吞吐量展現(xiàn)出了更強(qiáng)的優(yōu)勢。

圖3 基于環(huán)境3的優(yōu)化前后吞吐量曲線圖

3.3 丟包率評定分析

基于不同環(huán)境的相同條件，優(yōu)化前后的丟包率實驗結(jié)果分別如圖4所示。

圖4 優(yōu)化前后丟包率實驗結(jié)果

從圖4(a)中的曲線走勢與吞吐量的初始優(yōu)先級較低情況相似，優(yōu)化前后無太大差異性，但因為縮聚了云存儲的所有子區(qū)域，去除了內(nèi)部的自由度，經(jīng)本文方法優(yōu)化后的云存儲丟包率性能仍略有提升；根據(jù)圖4(b)所示，在丟包率突增前優(yōu)化前后的丟包率均小于0.05，當(dāng)請求到達(dá)率約為2400時，優(yōu)化前丟包率增至0.05，并呈不斷上升趨勢，而在請求到達(dá)率約為5600時，經(jīng)本文方法優(yōu)化的丟包率才剛增加到0.05，盡管隨著請求到達(dá)率的增加，兩種趨勢均在升高，但優(yōu)化后的丟包率一直低于優(yōu)化前數(shù)值，且增幅比較緩慢；通過圖4(c)可知，在請求到達(dá)率為2400左右時，兩種丟包率數(shù)據(jù)均大于0.05，隨著請求到達(dá)率的不斷遞增，優(yōu)化后丟包率一直高于優(yōu)化前數(shù)據(jù)，這說明當(dāng)初始優(yōu)先級較高時，可以通過放棄丟包率指標(biāo)來保證云存儲的穩(wěn)定性。

3.4 平均占用率評定分析

在相同條件下的三個不同預(yù)設(shè)環(huán)境中，模擬優(yōu)化前后的平均占用率性能，實驗結(jié)果如圖5所示。

圖5 優(yōu)化前后平均占用率實驗結(jié)果

從圖5(a)中曲線走勢可知，初始優(yōu)先級較低情況下的優(yōu)化前后平均占用率差異較小，無明顯區(qū)別；根據(jù)圖5(b)可以看出，請求到達(dá)率2900為平均占用率指標(biāo)的拐點(diǎn)，兩趨勢均呈線性增長趨勢，隨著請求到達(dá)率的繼續(xù)增長，優(yōu)化前后的平均占用率逐漸拉開差距，后者因提升了大數(shù)據(jù)的云存儲容錯性能，故表現(xiàn)出顯著的優(yōu)越性；通過圖5(c)能夠發(fā)現(xiàn)，該環(huán)境下的優(yōu)化后平均占用率較環(huán)境2更低，在請求到達(dá)率還未到達(dá)2900時，優(yōu)化后趨勢就已經(jīng)趨于平穩(wěn)，且始終大幅度低于優(yōu)化前平均占用率。

4 結(jié)論

社會信息量的暴漲令存儲量需求越來越高，這為云存儲發(fā)展提供了一定的契機(jī)，使其演變?yōu)樽羁毂唤邮艿脑品?wù)形式之一，用戶范圍也從最初的互聯(lián)網(wǎng)相關(guān)行業(yè)逐漸擴(kuò)展至企業(yè)機(jī)構(gòu)、個人用戶等多種領(lǐng)域，服務(wù)規(guī)模的與日俱增為云存儲系統(tǒng)的運(yùn)營與維護(hù)帶來了諸多挑戰(zhàn)性問題，比如存儲費(fèi)用、存儲安全性與穩(wěn)定性等，因此，本文以非結(jié)構(gòu)化大數(shù)據(jù)為背景，提出一種云存儲穩(wěn)定性優(yōu)化方法，并對其展開評定。由于個人水平與研究條件存在局限性，故本文方法還有許多地方有待改進(jìn)，并將以下方面作為后期工作的研究方向與重點(diǎn)：并行處理優(yōu)化方法中的集群主節(jié)點(diǎn)僅有一個，若主節(jié)點(diǎn)發(fā)生異常，則云存儲整個系統(tǒng)都將停止運(yùn)行，故需要在所有節(jié)點(diǎn)上賦予主節(jié)點(diǎn)功能，并根據(jù)集群動態(tài)選取主節(jié)點(diǎn)；擴(kuò)展穩(wěn)定性優(yōu)化切入點(diǎn)，積極探索可以進(jìn)一步提升穩(wěn)定性的其它方向；從非結(jié)構(gòu)化大數(shù)據(jù)云存儲平臺向更多云存儲平臺延伸，并在真正的云存儲環(huán)境中進(jìn)行實踐。