云計算環(huán)境下大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計

陳議

摘 要當(dāng)前，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)的規(guī)模擴(kuò)大、類型增加，走向了前所未有的大數(shù)據(jù)時代。而云計算作為一種新型的信息模式，以其特有的優(yōu)勢，得到學(xué)術(shù)界和企業(yè)界的廣泛關(guān)注，為大數(shù)據(jù)服務(wù)的發(fā)展奠定了良好的基礎(chǔ)。然而，由于目前尚未形成有效的運行機(jī)制，云計算環(huán)境下大數(shù)據(jù)分布不完全合理，因此，本文通過簡要描述云計算和大數(shù)據(jù)的概念及特征，提出基于模糊聚類分析的云計算環(huán)境下大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計。

【關(guān)鍵詞】云計算環(huán)境 大數(shù)據(jù) 分布規(guī)律 模糊聚類方法

1 引言

云計算服務(wù)的興起為大數(shù)據(jù)的應(yīng)用提供了保障，在考慮其性能和成本的前提下，越來越多的企業(yè)考慮將大數(shù)據(jù)處理的相關(guān)應(yīng)用轉(zhuǎn)移到云計算環(huán)境下進(jìn)行。在此背景下，學(xué)術(shù)界和企業(yè)界掀起了對云計算環(huán)境下大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計方法的研究熱潮，并獲得了眾多研究成果，其中最為常見的方法包括模糊聚類方法、詳細(xì)度量方法和最小二乘法等。

2 云計算與大數(shù)據(jù)概述

2.1 云計算

云計算是指以互聯(lián)網(wǎng)為基礎(chǔ)，對所需資源進(jìn)行隨時隨地的訪問和分享，是當(dāng)前一種依靠互聯(lián)網(wǎng)技術(shù)的全新計算模式，其主要特征包括IT資源服務(wù)化、泛在接入、服務(wù)可計費、按需自服務(wù)及彈性服務(wù)，其本質(zhì)是通過IT資源服務(wù)化的特征在互聯(lián)網(wǎng)上以泛在接入和服務(wù)可計費的方式，向用戶提供按需自服務(wù)式的彈性服務(wù)。由此得知，由于其IT資源服務(wù)化特征，在大規(guī)模應(yīng)用計算時，云計算可提供資源保障；由于其所有過程皆是通過互聯(lián)網(wǎng)手段，用戶在檢索數(shù)據(jù)時，云計算可提供按需自服務(wù)式的彈性服務(wù)；由于其泛在接入特征，用戶可隨時隨地利用互聯(lián)網(wǎng)在移動終端上訪問或共享數(shù)據(jù)。

2.2 大數(shù)據(jù)

簡單來說，大數(shù)據(jù)就是指規(guī)模龐大的數(shù)據(jù)。但由于互聯(lián)網(wǎng)技術(shù)還在進(jìn)一步更新和發(fā)展中，數(shù)據(jù)的規(guī)模和種類也在快速擴(kuò)大和增加，不同的組織也因各自不同的需求對大數(shù)據(jù)有著不同的認(rèn)識和理解，所以學(xué)術(shù)界尚不能對大數(shù)據(jù)進(jìn)行統(tǒng)一定義。目前，由于IBM提出的大數(shù)據(jù)3V模型定義對大數(shù)據(jù)特征進(jìn)行了形象的描述，而最能被人們普遍接受，即大數(shù)據(jù)具有海量性、多樣性、高速性三個特征。其中，海量性是指數(shù)據(jù)規(guī)模巨大，達(dá)到TB級及PB級；多樣性是指數(shù)據(jù)種類繁多，按照其結(jié)構(gòu)分大致分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；高速性是指數(shù)據(jù)的出現(xiàn)速度、處理速度和分析速度都在持續(xù)加快。

3 云計算環(huán)境下大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計

目前，研究云計算環(huán)境下大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計方法有很多，主要包括模糊聚類方法、詳細(xì)度量方法和最小二乘法等。其中，模糊聚類法是指通過研究數(shù)據(jù)分布規(guī)律本身屬性，從而構(gòu)建迷糊矩陣來確定聚類關(guān)系的一種方法；最小二乘法是指通過匹配最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)，使得所求數(shù)據(jù)與實際數(shù)據(jù)之間誤差平方和最小化的一種方法。

3.1 構(gòu)建X上的模糊關(guān)系

構(gòu)建待處理數(shù)據(jù)X上的模糊關(guān)系，是采用模糊聚類法的第一步，是大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計的基礎(chǔ)。在這一過程中，需將屬性類似的系數(shù)構(gòu)建成n階的迷糊矩陣，即相似系數(shù)矩陣。根據(jù)矩陣確定其在待處理數(shù)據(jù)X上的模糊關(guān)系。其中兩個模糊向量間的接近程度稱之為貼近度，而相似系數(shù)的計算和描述則需利用貼近度法，例如將X中的元素Xi和Xj看作是其各自特征的模糊向量，用貼近度對相似系數(shù)rij進(jìn)行計算，則rij的表達(dá)式為：

rij=1-c（dp（Xi，Xj））α （1）

（1）式中：c，α指的是描述常數(shù)；p指的是描述不同距離的代碼系數(shù)，對論域X={x1，x2，…，x5}進(jìn)行規(guī)格化處理，此時，取c值為0.1，計算相似系數(shù)，可獲取模糊相似矩陣，如式（2）：

（2）

結(jié)合式（1）、式（2），在獲得模糊五階相似矩陣后，需對其進(jìn)行劃分，才能進(jìn)行下一步的大數(shù)據(jù)分布規(guī)律結(jié)構(gòu)優(yōu)化設(shè)計。

3.2 大數(shù)據(jù)分布規(guī)律結(jié)構(gòu)優(yōu)化設(shè)計

在進(jìn)行大數(shù)據(jù)分布規(guī)律結(jié)構(gòu)優(yōu)化設(shè)計前，針對類和類間的距離，需運用最短距離法進(jìn)行計算，例如用dij（i，j=1，2，…，n）描述樣本i與j之間的距離，則有：

（3）

若用G1，G2，…來描述類，則第k類的Gk和第r類的Gr之間的最短距離為：

Dkr=min{dij：i∈Gk，j∈Gr} （4）

利用最短距離法對云計算環(huán)境下大數(shù)據(jù)分布規(guī)律結(jié)構(gòu)進(jìn)行優(yōu)化設(shè)計，可有效分析辨別出需要調(diào)整和轉(zhuǎn)移的數(shù)據(jù)，使得云計算環(huán)境下的大數(shù)據(jù)分布在一個不斷調(diào)整的動態(tài)過程里，隨時保持?jǐn)?shù)據(jù)的最理想狀態(tài)。

3.3 仿真實驗

為了驗證上述優(yōu)化設(shè)計的有效性，現(xiàn)通過仿真實驗，對模糊聚類方法、最小二乘法進(jìn)行對比分析：兩種方法分別進(jìn)行10次實驗，取其平均訪問代價作為結(jié)果。在對兩種方法進(jìn)行評價的過程中，將相對訪問成本作為衡量的標(biāo)準(zhǔn)。得出結(jié)果如下：

（1）隨著代理存儲容量的增加，比較采模糊聚類方法和最小二乘法進(jìn)行大數(shù)據(jù)分布規(guī)律結(jié)構(gòu)優(yōu)化設(shè)計后的相對訪問成本，隨著存儲容量的逐漸升高，模糊聚類方法的相對成本低于最小二乘法，當(dāng)總預(yù)算從全部候選代理費用的10%增長至20%時，模糊聚類方法和最小二乘法的相對成本均在一定程度上有所增加，但模糊聚類方法的增加幅度低于最小二乘法，說明模糊聚類方法的性能優(yōu)于最小二乘法。

（2）在各代理容量一定的情況下，云計算環(huán)境下預(yù)算費用逐漸增加時，比較模糊聚類方法和最小二乘方法相對成本的變化趨勢，模糊聚類方法的性能明顯優(yōu)于最小二乘方法，在各代理容量或總預(yù)算較低時，模糊聚類方法的相對成本均低于最小二乘方法，當(dāng)代理容量大小從50%到70%時，模糊聚類方法的相對成本基本沒有發(fā)生改變，說明模糊聚類方法基本不受代理容量的影響。因此，通過仿真實驗驗證了模糊聚類方法的有效性。

4 結(jié)語

綜上所述，在云計算概念提出以后，各大企業(yè)緊跟時代步伐，通過互聯(lián)網(wǎng)采用多項云計算服務(wù)。因此，越來越多的學(xué)者對云計算環(huán)境下大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計進(jìn)行研究，本文提出了利用模糊聚類法對云計算環(huán)境下大數(shù)據(jù)分布規(guī)律進(jìn)行優(yōu)化設(shè)計，并經(jīng)仿真實驗分析確定了其有效性。

參考文獻(xiàn)

[1]朱亞東，高翠芳.基于PSO的云計算環(huán)境中大數(shù)據(jù)優(yōu)化聚類算法[J].計算機(jī)技術(shù)與發(fā)展，2016，26（9）：178-182.

[2]陳志華，劉曉勇.云計算下大數(shù)據(jù)非結(jié)構(gòu)的穩(wěn)定性檢索方法[J].現(xiàn)代電子技術(shù)，2016，39（6）：58-61.

[3]姜明月.云計算平臺下的大數(shù)據(jù)分流系統(tǒng)的設(shè)計與優(yōu)化[J].現(xiàn)代電子技術(shù)，2016，39（2）：28-32.

作者單位

貴州省信息中心 貴州省貴陽市 550000