基于優(yōu)化粒子群算法的云環(huán)境大數(shù)據(jù)聚類算法

胡毅 朱子江

摘? 要： 對(duì)于傳統(tǒng)云環(huán)境大數(shù)據(jù)聚類中的量子進(jìn)化方法的聚類精準(zhǔn)度比較低的問題，為了降低存儲(chǔ)開銷，提高數(shù)據(jù)管理能力與調(diào)度能力，提出將優(yōu)化粒子群算法作為基礎(chǔ)的云環(huán)境大數(shù)據(jù)聚類算法，對(duì)云環(huán)境大數(shù)據(jù)聚類原理進(jìn)行分析，將傳統(tǒng)模糊C均值聚類作為基礎(chǔ)，通過粒子群聚類算法對(duì)大數(shù)據(jù)聚類算法進(jìn)行改進(jìn)，從而實(shí)現(xiàn)空間分割，得出云存儲(chǔ)系統(tǒng)的海量數(shù)據(jù)模糊聚類。利用粒子群聚類方法分配聚類數(shù)據(jù)離散成本，得到數(shù)據(jù)聚類信息濃度;與粒子群優(yōu)化聚類約束條件結(jié)合，得到云環(huán)境大數(shù)據(jù)聚類中心最優(yōu)解。仿真結(jié)果表明，此算法的數(shù)據(jù)聚類精準(zhǔn)度比較高，具有良好的收斂性能。

關(guān)鍵詞： 大數(shù)據(jù)聚類; 云環(huán)境; 粒子群優(yōu)化; 空間分割; 模糊聚類; 仿真測(cè)試

中圖分類號(hào)： TN919?34? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）14?0072?04

PSO?based big data clustering algorithm in cloud environment

HU Yi， ZHU Zijiang

（South China Business College Guangdong University of Foreign Studies， Guangzhou 410545， China）

Abstract： As the clustering accuracy of the quantum evolution method of the big data clustering in the traditional cloud environment is relatively low， a PSO?based big data clustering algorithm in the cloud environment is proposed to reduce the storage cost and improve the abilities of data management and scheduling. The principle of big data clustering in the cloud environment is analyzed. By taking the traditional fuzzy C?means clustering as the basis， the big data clustering algorithm is improved by means of the particle swarm clustering algorithm， so as to achieve the spatial segmentation and get the fuzzy clustering of mass data in the cloud storage system. The discrete cost of clustering data is distributed by means of the particle swarm clustering method to get the information concentration of data clustering， and is combined with the clustering constraint condition of particle swarm optimization to get the optimal solution of big data clustering center in the cloud environment. The simulation results show that the algorithm has high accuracy of data clustering and good convergence performance.

Keywords： big data clustering; cloud environment; particle swarm optimization; space division; fuzzy clustering; simulation testing

0? 引? 言

云計(jì)算概念是IBM于2007年提出的。云計(jì)算是并行處理、分布式計(jì)算、網(wǎng)格計(jì)算之后所發(fā)展起來的最新計(jì)算方式，其將各種互聯(lián)計(jì)算、數(shù)據(jù)、存儲(chǔ)和使用等資源整合，從而能夠?qū)崿F(xiàn)多層次虛擬化和抽象，用戶只需要和網(wǎng)絡(luò)連接，就能夠利用云計(jì)算強(qiáng)大的計(jì)算和存儲(chǔ)能力實(shí)現(xiàn)功能。基于云計(jì)算背景，大數(shù)據(jù)信息處理能夠?qū)崿F(xiàn)數(shù)據(jù)聚類，利用大數(shù)據(jù)的特征參量可以對(duì)數(shù)據(jù)進(jìn)行分析。基于數(shù)據(jù)聚類可實(shí)現(xiàn)大數(shù)據(jù)的創(chuàng)建，并且利用模式識(shí)別與診斷實(shí)現(xiàn)服務(wù)分析。

1? 云環(huán)境大數(shù)據(jù)存儲(chǔ)的設(shè)計(jì)

云計(jì)算是指通過現(xiàn)代互聯(lián)網(wǎng)對(duì)結(jié)構(gòu)模型與存儲(chǔ)空間進(jìn)行動(dòng)態(tài)擴(kuò)展。要想以云計(jì)算作為背景，進(jìn)行分類挖掘與大數(shù)據(jù)存儲(chǔ)，首先就要實(shí)現(xiàn)大數(shù)據(jù)存儲(chǔ)機(jī)制架構(gòu)的創(chuàng)建。在云環(huán)境中，大數(shù)據(jù)存儲(chǔ)通過虛擬化存儲(chǔ)在計(jì)算機(jī)集群開展云計(jì)算部署，通過USB磁盤層、結(jié)構(gòu)層、計(jì)算機(jī)等構(gòu)成，企業(yè)利用終端就能夠使用，通過分布式計(jì)算機(jī)就能進(jìn)行計(jì)算。

云環(huán)境大數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)如圖1所示。

利用圖1所示結(jié)構(gòu)，將屋內(nèi)分配應(yīng)用到云計(jì)算虛擬機(jī)中。通過式（1）、式（2）實(shí)現(xiàn)優(yōu)化聚類算法，利用最優(yōu)解實(shí)現(xiàn)云計(jì)算背景中大數(shù)據(jù)特點(diǎn)聚類物理分配，公式為：

[x=12μ（1+μ+（μ+1）（μ-3））]

[x=12μ（1+μ+（μ+1）（μ-3））]

為了避免粒子陷入局部最優(yōu)，實(shí)現(xiàn)大數(shù)據(jù)信息特征矢量Xi存檔，計(jì)算公式為：

[li（k）=（1-ρ）li（k-1）+γf（xi（k））]

設(shè)置聚類閾值為Nth，在Neff

[Oα=α+a（α-β）Oβ=β+b（β-α）0

使用粒子群跳數(shù)的改進(jìn)機(jī)制對(duì)存儲(chǔ)庫(kù)粒子群進(jìn)行更新[5]，圖2為粒子群條數(shù)的改進(jìn)機(jī)制。

粒子群更新過程中的粒子空間位置為：

[Gbesti（g+1）=argminPbestijf（Pbestij（g+1））]

在均勻分布評(píng)估解集的過程中，通過最優(yōu)化的聚類中心矢量函數(shù)進(jìn)行計(jì)算，根據(jù)模因組中更新迭代順序得出：

[τdiag（max（σi-τ，0））]

以此能夠得出云存儲(chǔ)大數(shù)據(jù)聚類粒子適應(yīng)度函數(shù)：

[w=w（t）·wstart， k≥αw=w（t）·1wend，k<β]

式中，α與β指的是分集聚類斂目標(biāo)函數(shù)，通過粒子群聚類方法的優(yōu)化，聚類云存儲(chǔ)大數(shù)據(jù)，對(duì)算法進(jìn)行改進(jìn)[5]。算法的改進(jìn)流程詳見圖3。

4? 仿真測(cè)試分析

為了對(duì)本文算法驗(yàn)證，對(duì)云環(huán)境大數(shù)據(jù)優(yōu)化聚類性能進(jìn)行仿真實(shí)驗(yàn)。仿真實(shí)驗(yàn)硬件環(huán)境為WIN7操作系統(tǒng)、內(nèi)存2 GB、CPU主頻2.93 GHz，使用Matlab 7仿真軟件。在實(shí)驗(yàn)過程中，設(shè)置大數(shù)據(jù)采樣頻率[7]fs=4f0=20 kHz。大數(shù)據(jù)聚類時(shí)間中心t0=15 s，數(shù)據(jù)量為10 MB～1 GB，將10 MB作為單位，粒子群數(shù)量N共有30 984個(gè)，在粒子群聚類的過程中，設(shè)置空間搜索維度為30，粒子群移動(dòng)概率設(shè)置為0.34，優(yōu)化粒子群算法運(yùn)行迭代為5 000次。表1為大數(shù)據(jù)聚類算法處理參數(shù)[8]。

通過以上仿真環(huán)境和設(shè)置參數(shù)的結(jié)果，對(duì)云計(jì)算中心進(jìn)行大數(shù)據(jù)聚類仿真。原本大數(shù)據(jù)二維特征分布隨機(jī)，在二維空間中無(wú)法實(shí)現(xiàn)規(guī)律性特征分類與提取。使用文中算法處理數(shù)據(jù)聚類，提取其中的特征與大數(shù)據(jù)，創(chuàng)建信息模型，實(shí)現(xiàn)粒子群優(yōu)化算法特征聚類的設(shè)計(jì)，圖4為特征提取結(jié)果。

由圖4可以看出，本文算法能夠有效提取云計(jì)算大數(shù)據(jù)中的特征，具有良好的波束聚焦性能，以此能夠?yàn)閿?shù)據(jù)優(yōu)化聚類提供精準(zhǔn)特征，數(shù)據(jù)聚類得到實(shí)現(xiàn)。

本文算法在計(jì)算迭代的過程中，穩(wěn)定收斂速度朝著最優(yōu)解逼近，和其他算法對(duì)比，具備良好的全局最優(yōu)解搜尋優(yōu)勢(shì)與收斂速度，使數(shù)據(jù)聚類尋優(yōu)能力得到提高，使大數(shù)據(jù)聚類精度得到提高，從而使誤分率得到降低。對(duì)比文中算法與傳統(tǒng)算法，誤分率降低13.56%，表明大數(shù)據(jù)聚類挖掘能力良好[9]。

5? 結(jié)? 語(yǔ)

本文設(shè)計(jì)云存儲(chǔ)系統(tǒng)的大數(shù)據(jù)優(yōu)化聚類，使存儲(chǔ)開銷得到降低，調(diào)度能力與數(shù)據(jù)管理也有所提高。通過量子進(jìn)化方法能有效實(shí)現(xiàn)傳統(tǒng)云環(huán)境大數(shù)據(jù)聚類，隨著量子群的個(gè)體非線性偏移，數(shù)據(jù)聚類具備局部收斂性，降低了聚類的精準(zhǔn)度。本文云環(huán)境聚類的粒子群優(yōu)化算法，在進(jìn)行設(shè)計(jì)的時(shí)候要分析云環(huán)境存儲(chǔ)，基于傳統(tǒng)粒子群算法優(yōu)化設(shè)計(jì)大數(shù)據(jù)聚類算法，利用仿真實(shí)驗(yàn)檢測(cè)性能，充分展現(xiàn)大數(shù)據(jù)聚類中本文設(shè)計(jì)算法的優(yōu)越性能。實(shí)驗(yàn)結(jié)果表明，此數(shù)據(jù)聚類具有良好的聚類性能，能夠在短時(shí)間內(nèi)計(jì)算出最優(yōu)解，具備良好的數(shù)據(jù)聚類挖掘能力。

參考文獻(xiàn)

[1] 劉云恒.云環(huán)境下基于群智能算法的大數(shù)據(jù)聚類挖掘技術(shù)[J].現(xiàn)代電子技術(shù)，2019，42（9）：73?75.

[2] 王東強(qiáng)，王曉霞.云存儲(chǔ)中大數(shù)據(jù)優(yōu)化粒子群聚類算法[J].電子設(shè)計(jì)工程，2017，25（2）：26?30.

[3] 朱亞東，高翠芳.基于PSO的云計(jì)算環(huán)境中大數(shù)據(jù)優(yōu)化聚類算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2016，26（9）：178?182.

[4] 項(xiàng)麗萍.結(jié)合大數(shù)據(jù)流特征和改進(jìn)SOM聚類的資源動(dòng)態(tài)分配算法[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（5）：262?268.

[5] 李斌，王勁松，黃瑋，等.一種大數(shù)據(jù)環(huán)境下的新聚類算法[J].計(jì)算機(jī)科學(xué)，2015，42（12）：247?250.

[6] 李慶偉，陳慧楓，姚桂煥，等.基于距離學(xué)習(xí)粒子群算法的NOx減排優(yōu)化[J].動(dòng)力工程學(xué)報(bào)，2016，36（5）：404?410.

[7] 蔡曉麗，錢誠(chéng).基于改進(jìn)的粒子群算法的云資源調(diào)度策略[J].微電子學(xué)與計(jì)算機(jī)，2018（6）：28?30.

[8] 鄒華.云計(jì)算環(huán)境下大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2016，39（8）：18?20.

[9] 蔡宇翔，付婷，張輝，等.云計(jì)算環(huán)境下移動(dòng)大數(shù)據(jù)合理分流方法[J].科學(xué)技術(shù)與工程，2018（2）：194?199.

[10] 李立軍，張曉光.基于動(dòng)態(tài)粒子群優(yōu)化與K?means聚類的圖像分割算法[J].現(xiàn)代電子技術(shù)，2018，41（10）：164?168.