基于聚類算法的高速連續(xù)數(shù)據(jù)流 并行處理控制系統(tǒng)設(shè)計(jì)

劉敏 黃維 蘭詩梅

摘? 要： 傳統(tǒng)的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)運(yùn)行過程中相對(duì)誤差大，消耗內(nèi)存高，為了解決這一問題，基于聚類算法設(shè)計(jì)了一種新的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)。所提出的系統(tǒng)由功能層、數(shù)據(jù)源、接口層、數(shù)據(jù)層、資源層、應(yīng)用層組成系統(tǒng)硬件結(jié)構(gòu)，通過數(shù)據(jù)的獲取、預(yù)處理、聚類處理和類別預(yù)測(cè)四步完成軟件流程，軟件在運(yùn)行過程中需要應(yīng)用聚類算法。為檢驗(yàn)控制系統(tǒng)效果，與傳統(tǒng)控制系統(tǒng)進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果表明，基于聚類算法設(shè)計(jì)的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)在運(yùn)行過程中相對(duì)誤差極小，占用的內(nèi)存少，系統(tǒng)運(yùn)行效率高，并行處理控制效果好。

關(guān)鍵詞： 控制系統(tǒng)設(shè)計(jì); 聚類算法; 數(shù)據(jù)流并行處理; 聚類分析; 參數(shù)設(shè)置; 對(duì)比實(shí)驗(yàn)

中圖分類號(hào)： TN876?34; TP301? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）13?0114?05

Design of clustering algorithm based parallel processing control system

for high?speed continuous data stream

LIU Min1， HUANG Wei2， LAN Shimei1

（1. College of Mathematics and Information Science， Guiyang University， Guiyang 550005， China;

2. Guizhou Provincial Water Conservancy Research Institute， Guiyang 550001， China）

Abstract： The traditional parallel processing control system for high?speed continuous data stream has large relative error and high memory consumption. In order to solve this problem， a new parallel processing control system for high?speed continuous data stream is designed based on clustering algorithm. The hardware structure of the proposed system is composed of function layer， data source layer， interface layer， data layer， resource layer and application layer. The software flow is completed in four steps： data acquisition， pre?processing， clustering processing and classification prediction. The software needs to apply clustering algorithm in the running process. In order to test the effect of the control system， it was compared with the traditional control system in some experiments. The results show that the high?speed continuous data stream parallel processing control system designed on the basis of clustering algorithm has minimal relative error， high operating efficiency and good parallel processing control effect， and occupies less memory.

Keywords： control system design; clustering algorithm; data stream parallel processing; clustering analysis; parameter setting; contrastive experiment

0? 引? 言

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，給人們生活帶來眾多便利的同時(shí)，也產(chǎn)生了越來越多的數(shù)據(jù)，這給數(shù)據(jù)價(jià)值的挖掘提出了重大的挑戰(zhàn)。聚類算法是一種具有廣闊前景的海量數(shù)據(jù)挖掘工具，然而數(shù)據(jù)量的劇增也給聚類算法及其對(duì)應(yīng)的處理系統(tǒng)提出了更高的要求，傳統(tǒng)單機(jī)環(huán)境已經(jīng)難以滿足現(xiàn)代數(shù)據(jù)處理應(yīng)用的需求。

作為一種高技術(shù)、高效率的計(jì)算機(jī)處理手段，在對(duì)數(shù)據(jù)或網(wǎng)絡(luò)信息進(jìn)行采集、處理、分析、調(diào)控的過程中，并行處理能夠有效縮短延遲時(shí)間，提高運(yùn)算速度，換句話說，就是在各類投入的資源上進(jìn)行重疊覆蓋以提高并行度的方式來實(shí)現(xiàn)系統(tǒng)效率的升級(jí)。

本文基于聚類算法對(duì)高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)硬件和軟件框架進(jìn)行設(shè)計(jì)，根據(jù)設(shè)計(jì)框架闡述了基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的工作流程。實(shí)驗(yàn)結(jié)果證明該系統(tǒng)具有對(duì)高復(fù)雜度數(shù)據(jù)的計(jì)算能力和數(shù)據(jù)處理的實(shí)時(shí)性，通過實(shí)驗(yàn)驗(yàn)證了該高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)設(shè)計(jì)的可行性。

1? 高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)基本框架設(shè)計(jì)

與分類算法相比，聚類算法是一種無監(jiān)督學(xué)習(xí)，根據(jù)樣品的相似度，將相似的樣本自動(dòng)歸入同一類別中。在數(shù)據(jù)訓(xùn)練之前并不知道數(shù)據(jù)會(huì)分為幾個(gè)類簇，同一個(gè)簇中的數(shù)據(jù)對(duì)象會(huì)保證最大的相似度。如圖1所示，按照使用場(chǎng)景和適用類型的不同，聚類算法可以分為使用劃分聚類、使用模式聚類、使用層次聚類、使用網(wǎng)格聚類等，不同的聚類算法適用于不同的應(yīng)用領(lǐng)域。

在并行處理過程中采用多單元同步工作的機(jī)制，同時(shí)在不同的處理單元中輸入數(shù)據(jù)，在相同的時(shí)間內(nèi)將處理時(shí)間成倍縮小，實(shí)現(xiàn)系統(tǒng)的快速處理。而處理單元的數(shù)量和所執(zhí)行任務(wù)的并行度都會(huì)對(duì)并行處理控制系統(tǒng)的加速比產(chǎn)生直接的影響，其中，任務(wù)的并行度對(duì)系統(tǒng)的性能產(chǎn)生制約，而當(dāng)任務(wù)并行度固定的情況下，處理單元的數(shù)量越多，加速比越大，直到達(dá)到上限。并行處理控制系統(tǒng)涉及到緊耦合技術(shù)、直接存儲(chǔ)器存取技術(shù)、共享存儲(chǔ)技術(shù)、高效緩存技術(shù)等。

面對(duì)高速連續(xù)數(shù)據(jù)流，傳統(tǒng)的串行處理手段在計(jì)算資源和時(shí)間約束上具有局限性，難以適應(yīng)海量數(shù)據(jù)。如圖2所示，將聚類算法應(yīng)用于高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)中，可增強(qiáng)系統(tǒng)的靈活適應(yīng)性，對(duì)小數(shù)據(jù)元素和大數(shù)據(jù)元素集合都保持高效的聚類效果。系統(tǒng)對(duì)數(shù)值型和非數(shù)值型的數(shù)據(jù)都能處理，具有處理不同數(shù)據(jù)類型的能力。系統(tǒng)不需要用戶輸入過多的額外參數(shù)，降低了用戶使用的負(fù)擔(dān)，并且該系統(tǒng)可以避免因數(shù)據(jù)輸入順序?qū)Y(jié)果造成的影響?，F(xiàn)有的并行處理控制系統(tǒng)更擅長于低維數(shù)據(jù)的處理，本文中聚類算法的應(yīng)用，使系統(tǒng)對(duì)高維度的數(shù)據(jù)仍具有高處理能力。對(duì)于噪聲數(shù)據(jù)問題，系統(tǒng)能夠較好地甄別，確保結(jié)果的質(zhì)量。

現(xiàn)有的并行處理控制系統(tǒng)對(duì)任務(wù)進(jìn)行管理時(shí)，通常利用設(shè)置分時(shí)指標(biāo)的模式。在系統(tǒng)進(jìn)入到正常工作模式后，每一個(gè)節(jié)點(diǎn)都能實(shí)現(xiàn)數(shù)據(jù)的更新處理。數(shù)據(jù)的更新借助消息點(diǎn)播的形式，消除原始數(shù)據(jù)并向其他節(jié)點(diǎn)發(fā)出通知。在并行處理控制系統(tǒng)的實(shí)際工作中，一定要保證在數(shù)據(jù)更新時(shí)不會(huì)產(chǎn)生信息活鎖的情況。

如圖3所示，基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)主要由數(shù)據(jù)源、數(shù)據(jù)層、接口層、資源層、應(yīng)用層和功能層構(gòu)成。系統(tǒng)從數(shù)據(jù)源獲取數(shù)據(jù)信息，通過接口層進(jìn)行并行數(shù)據(jù)的導(dǎo)入和導(dǎo)出，在數(shù)據(jù)層完成數(shù)據(jù)的預(yù)處理和集群協(xié)調(diào)服務(wù)，并進(jìn)行聚類算法的計(jì)算和存儲(chǔ)。在功能層完成對(duì)系統(tǒng)的流程、安全、任務(wù)、集群、元數(shù)據(jù)的管理和監(jiān)控。

數(shù)據(jù)源和接口層中的網(wǎng)絡(luò)數(shù)據(jù)爬取構(gòu)成了網(wǎng)絡(luò)數(shù)據(jù)獲取模塊。聚類模塊是將數(shù)據(jù)源中的輸入數(shù)據(jù)通過接口層傳遞至數(shù)據(jù)層中的數(shù)據(jù)庫，轉(zhuǎn)化為數(shù)據(jù)向量進(jìn)行歸一化，再進(jìn)行算法分解，建立聚類模型。將輸入數(shù)據(jù)進(jìn)行簇的評(píng)定后，然后進(jìn)入數(shù)據(jù)集的應(yīng)用層，在完成所需功能的同時(shí)，對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和前臺(tái)展示。當(dāng)輸入數(shù)據(jù)異常時(shí)，系統(tǒng)會(huì)自動(dòng)進(jìn)行異常檢測(cè)，判斷系統(tǒng)是否進(jìn)入故障模式，最大程度上維護(hù)系統(tǒng)的正常運(yùn)行。

2? 高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)運(yùn)行流程設(shè)計(jì)

并行處理控制系統(tǒng)能夠快速、高效地對(duì)輸入的海量數(shù)據(jù)進(jìn)行處理，總體上可以分為數(shù)據(jù)的獲取、預(yù)處理、聚類處理和類別預(yù)測(cè)四步。采集后的數(shù)據(jù)進(jìn)入預(yù)處理數(shù)據(jù)階段后，會(huì)對(duì)數(shù)據(jù)中的缺失值進(jìn)行補(bǔ)充，對(duì)數(shù)據(jù)進(jìn)行歸一化處理。然后利用聚類算法對(duì)數(shù)據(jù)進(jìn)行分類，最終對(duì)未知數(shù)據(jù)的類別進(jìn)行預(yù)測(cè)。

聚類算法會(huì)將所有的數(shù)據(jù)元素劃分入簇中，相似度的度量方法有很多種，例如：歐氏距離度量、余弦距離度量、谷本距離度量、皮爾遜相似度度量等，本文采用余弦距離度量的方法進(jìn)行計(jì)算。建立兩個(gè)[n]維向量[A=（a1，a2，…，an）]和[B=（b1，b2，…，bn）]，余弦距離對(duì)絕對(duì)數(shù)值并不敏感，只是在方向上對(duì)向量的差別進(jìn)行區(qū)分，由式（1）進(jìn)行計(jì)算得到兩個(gè)[n]維向量[AB]之間的余弦距離[d]。當(dāng)[d]為0時(shí)，距離最近;而隨著[d]的增大距離不斷增加。

應(yīng)用聚類算法的初期是要人為選擇聚類中心，初始簇中心的距離要盡量遠(yuǎn)，具體流程如圖4所示。首先在數(shù)據(jù)集中隨機(jī)選取一個(gè)點(diǎn)作為第一個(gè)簇心，將數(shù)據(jù)集中的每個(gè)數(shù)據(jù)對(duì)象[i]根據(jù)式（1）計(jì)算該數(shù)據(jù)對(duì)象和簇中心的距離[di]。從距離[di]值較大的數(shù)據(jù)對(duì)象[i]中選取一個(gè)新的簇心，重復(fù)求取數(shù)據(jù)對(duì)象和簇中心的距離[di]和選取新的簇心。當(dāng)達(dá)到設(shè)定的[k]個(gè)簇心時(shí)停止選取，完成數(shù)據(jù)的聚類分類。

聚類算法分析需要進(jìn)行評(píng)價(jià)，聚類的評(píng)估通常會(huì)分為內(nèi)部和外部評(píng)估兩個(gè)部分。內(nèi)部評(píng)估指標(biāo)采用簇內(nèi)方差和來評(píng)估表示使用過程中訓(xùn)練之內(nèi)的數(shù)據(jù)，應(yīng)用式（2）進(jìn)行計(jì)算完成。外部評(píng)估采用[F]?measure指標(biāo)，組合查全率[R]和查準(zhǔn)率[P]的基本思想，利用式（3）計(jì)算使用訓(xùn)練數(shù)據(jù)之外的數(shù)據(jù)。

式（2）中：[E]為平方誤差函數(shù);[Xij]表示第[i]個(gè)類簇中第[j]個(gè)樣本，[i]為1～[k]中的第[i]個(gè)類簇，[j]為1～[n]中的第[j]個(gè)樣品;[mi]為第[i]個(gè)類簇中的聚類中心;[ni]為第[i]個(gè)類簇中的樣本數(shù)。在式（3）中，[P]為查準(zhǔn)率，[R]為查全率，計(jì)算求得的[F（i）]為外部評(píng)價(jià)[F]?measure指標(biāo)。

當(dāng)今社會(huì)已經(jīng)被數(shù)據(jù)包圍，將聚類算法應(yīng)用于高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)，系統(tǒng)具有較高的容錯(cuò)性，能夠在部署機(jī)器很廉價(jià)的狀態(tài)下進(jìn)行高速率數(shù)據(jù)訪問，適用于處理高速連續(xù)數(shù)據(jù)流。

如圖5所示，本文中基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)能夠支持達(dá)到幾百GB的大型文件，系統(tǒng)由數(shù)百臺(tái)以上機(jī)器組成，具有高故障率，但是能夠快速應(yīng)對(duì)機(jī)器故障。系統(tǒng)進(jìn)行數(shù)據(jù)訪問的形式是管道流，更側(cè)重于數(shù)據(jù)吞吐量。在系統(tǒng)中一個(gè)文件被寫入后，會(huì)簡化為一致性模型，并不能夠被修改。系統(tǒng)進(jìn)行數(shù)據(jù)訪問時(shí)需要毫秒級(jí)的數(shù)據(jù)響應(yīng)，具有實(shí)時(shí)性。

在進(jìn)行高速連續(xù)數(shù)據(jù)流的并行查詢和處理中，數(shù)據(jù)分布策略會(huì)直接影響系統(tǒng)的運(yùn)行效率。高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)中各個(gè)位置產(chǎn)生的可能性均等，換句話說，由于聚類算法的加入，在對(duì)高速連續(xù)數(shù)據(jù)流進(jìn)行并行處理時(shí)，處理任務(wù)會(huì)平均分配給不同的節(jié)點(diǎn)。數(shù)據(jù)的處理以道集為單位，有助于提高數(shù)據(jù)流的讀寫速度。

當(dāng)系統(tǒng)對(duì)一個(gè)進(jìn)程中高速連續(xù)數(shù)據(jù)流中的所有數(shù)據(jù)信息進(jìn)行實(shí)時(shí)記錄的同時(shí)，還可以進(jìn)行超時(shí)狀態(tài)查詢。超時(shí)時(shí)間設(shè)置可以有效避免整個(gè)并行處理控制進(jìn)程中產(chǎn)生競爭條件。如圖6所示，系統(tǒng)聚類分析后進(jìn)行是否并行處理運(yùn)行檢查，若系統(tǒng)并行處理開啟，則設(shè)定超時(shí)時(shí)間為0;若發(fā)現(xiàn)未進(jìn)行并行處理，超時(shí)設(shè)定開啟，設(shè)定超時(shí)時(shí)間為2倍的串行時(shí)間2[t]，并返回重新進(jìn)行聚類分析。在系統(tǒng)運(yùn)行時(shí)，并行狀態(tài)的競爭幾率出現(xiàn)較低，設(shè)定明顯優(yōu)于串行設(shè)定。完成超時(shí)設(shè)定后，將對(duì)系統(tǒng)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)處理，這樣能夠大大縮減系統(tǒng)工作時(shí)間，盡可能地提高效率。

3? 實(shí)驗(yàn)研究

3.1? 實(shí)驗(yàn)?zāi)康?/p>

為了檢驗(yàn)所提的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的有效性，設(shè)計(jì)如下實(shí)驗(yàn)進(jìn)行驗(yàn)證。設(shè)置相關(guān)實(shí)驗(yàn)參數(shù)，對(duì)比現(xiàn)有的數(shù)據(jù)流并行處理控制系統(tǒng)和所提系統(tǒng)，記錄下不同系統(tǒng)的相對(duì)誤差值和系統(tǒng)的運(yùn)行狀態(tài)參數(shù)，比較系統(tǒng)精密度，根據(jù)對(duì)比結(jié)果分析不同系統(tǒng)的處理控制效果。

3.2? 實(shí)驗(yàn)參數(shù)設(shè)置

設(shè)置實(shí)驗(yàn)參數(shù)如表1所示。

3.3? 實(shí)驗(yàn)方法

根據(jù)表1中的參數(shù)進(jìn)行實(shí)驗(yàn)，選取現(xiàn)有的數(shù)據(jù)流并行處理控制系統(tǒng)和所提系統(tǒng)在相同的外界環(huán)境下，分別對(duì)同一組高速連續(xù)數(shù)據(jù)流進(jìn)行處理，記錄兩個(gè)系統(tǒng)的測(cè)量結(jié)果，并分析實(shí)驗(yàn)結(jié)果。

3.4? 實(shí)驗(yàn)結(jié)果與分析

1） 系統(tǒng)精密度結(jié)果

如圖7所示，將傳統(tǒng)數(shù)據(jù)流并行處理控制系統(tǒng)和本文基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的相對(duì)誤差進(jìn)行計(jì)算，進(jìn)行系統(tǒng)精密度的表征實(shí)驗(yàn)。通過觀察發(fā)現(xiàn)：在30 ms測(cè)試時(shí)間內(nèi)，傳統(tǒng)數(shù)據(jù)流并行處理控制系統(tǒng)的相對(duì)誤差大多分布在-2.5%～2.5%之間，有少量數(shù)據(jù)大于±2.5%，但全部分布在-5.0%～5.0%之間;在本文基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的相對(duì)誤差測(cè)試中，數(shù)據(jù)基本都分布在-1.25%～1.25%之間。也就是說，聚類算法的引入降低了高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的相對(duì)誤差，提高了系統(tǒng)的精密度和可靠性。

2） 系統(tǒng)的運(yùn)行狀態(tài)結(jié)果

將傳統(tǒng)數(shù)據(jù)流并行處理控制系統(tǒng)和本文基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行統(tǒng)計(jì)比較，從CPU利用率、內(nèi)存使用率、系統(tǒng)的計(jì)算速率和數(shù)據(jù)流速率幾個(gè)方面進(jìn)行比較，結(jié)果如圖8所示。

傳統(tǒng)的數(shù)據(jù)流并行處理控制系統(tǒng)CPU利用率約為55%，內(nèi)存使用率約為49%，系統(tǒng)的計(jì)算速率約為1.1萬條/s，數(shù)據(jù)流速率達(dá)1.01×[104] Kb/s。本文基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)CPU利用率約為78%，內(nèi)存使用率約為60%，系統(tǒng)的計(jì)算速率約為1.5萬條/s，數(shù)據(jù)流速率達(dá)1.3×[104] Kb/s。通過比較發(fā)現(xiàn)：本文的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的CPU利用率和內(nèi)存使用率都高于傳統(tǒng)數(shù)據(jù)流并行處理控制系統(tǒng)，能夠有效提高系統(tǒng)的利用率，從而提高系統(tǒng)工作效率，并且本文基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)所適用的數(shù)據(jù)流速率高于傳統(tǒng)的數(shù)據(jù)流并行處理控制系統(tǒng)，并且本文系統(tǒng)的計(jì)算速率也高于傳統(tǒng)系統(tǒng)?？偟膩碚f，本文基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的性能優(yōu)于傳統(tǒng)的數(shù)據(jù)流并行處理控制系統(tǒng)。

3.5? 實(shí)驗(yàn)結(jié)論

傳統(tǒng)的數(shù)據(jù)流并行處理控制系統(tǒng)和本文基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)都能夠?qū)Ω咚龠B續(xù)數(shù)據(jù)流進(jìn)行并行處理，但是與傳統(tǒng)的數(shù)據(jù)流并行處理控制系統(tǒng)相比，本文基于聚類算法的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的性能更加優(yōu)異，能夠適應(yīng)于更高的數(shù)據(jù)流速率，工作效率和系統(tǒng)精密度更高。

綜上所述，本文基于聚類算法建立的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)的綜合性能較優(yōu)，系統(tǒng)的處理控制效率更高，相對(duì)誤差很小，因此，精密度更高，數(shù)據(jù)流速率更快，具有很高的應(yīng)用優(yōu)勢(shì)。

4? 結(jié)? 語

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)的規(guī)模和應(yīng)用范圍也在不斷擴(kuò)大，人們應(yīng)用中的數(shù)據(jù)信息在范圍、規(guī)模上都不斷擴(kuò)大，海量數(shù)據(jù)在時(shí)間和空間上十分復(fù)雜，聚類算法能夠適應(yīng)于海量高維數(shù)據(jù)。聚類分析根據(jù)對(duì)象之間的相似性將數(shù)據(jù)對(duì)象集合進(jìn)行分簇，保證統(tǒng)計(jì)分簇項(xiàng)中的數(shù)據(jù)盡可能相似。高速連續(xù)數(shù)據(jù)流的數(shù)據(jù)規(guī)模非常龐大，對(duì)這類數(shù)據(jù)的分析是后期數(shù)據(jù)處理的基礎(chǔ)條件，而數(shù)據(jù)價(jià)值需要結(jié)合多種技術(shù)才能得以實(shí)現(xiàn)。聚類數(shù)據(jù)面對(duì)指數(shù)式增長，應(yīng)用并行處理控制系統(tǒng)同時(shí)對(duì)多個(gè)數(shù)據(jù)分簇項(xiàng)進(jìn)行處理，提高了對(duì)高速連續(xù)數(shù)據(jù)流的處理速度。

本文研究的基于聚類算法建立的高速連續(xù)數(shù)據(jù)流并行處理控制系統(tǒng)具備很高的應(yīng)用優(yōu)勢(shì)，但是該系統(tǒng)缺少更多的實(shí)際操作經(jīng)驗(yàn)，一些潛在問題尚不明朗，這些問題將在未來階段進(jìn)行進(jìn)一步研究和探討。

參考文獻(xiàn)

[1] 莫徽忠.基于數(shù)據(jù)流聚類算法的網(wǎng)絡(luò)異常檢測(cè)系統(tǒng)設(shè)計(jì)[J].柳州職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2017，17（3）：99?103.

[2] 萬新貴，李玲娟，馬可.分布式數(shù)據(jù)流聚類算法及其基于Storm的實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017，27（7）：150?155.

[3] 陳羽中，郭松榮，郭昆，等.基于時(shí)態(tài)密度特征的改進(jìn)數(shù)據(jù)流聚類算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2018，39（1）：64?68.

[4] 張輝，王成龍，王偉.分布式實(shí)時(shí)日志密度數(shù)據(jù)流聚類算法及其基于Storm的實(shí)現(xiàn)[J].中國新通信，2017（6）：71?73.

[5] 魏子衿，肖麗.改進(jìn)頂點(diǎn)聚類方法的并行核外模型簡化算法[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（13）：181?190.

[6] 米瀅.一種基于小波概要的數(shù)據(jù)流量子聚類算法[J].計(jì)算機(jī)應(yīng)用與軟件，2017，34（5）：288?292.

[7] 何亮亮，王曉東.基于初始信息素和二次揮發(fā)的改進(jìn)蟻群算法[J].西安工程大學(xué)學(xué)報(bào)，2018，32（6）：739?744.

[8] 曾志武，蔡明.基于Spark Streaming的增量協(xié)同過濾算法[J].軟件導(dǎo)刊，2018，17（6）：88?91.

[9] 王靜，王春梅，智佳，等.面向有效載荷高速數(shù)據(jù)流的數(shù)據(jù)處理方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（4）：941?945.

[10] 李莉.基于云計(jì)算平臺(tái)Hadoop的并行k?means聚類算法設(shè)計(jì)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（12）：46?47.

[11] 駱金維，曾德生，郭雅，等.時(shí)序數(shù)據(jù)并行壓縮速率改進(jìn)技術(shù)研究[J].電子設(shè)計(jì)工程，2018，26（20）：98?101.

[12] 李林，魯才，唐志梁，等.基于數(shù)據(jù)流聚類策略的GPU碼書初始化算法[J].計(jì)算機(jī)應(yīng)用研究，2017，34（2）：426?430.

[13] 李曉峰.云平臺(tái)中大數(shù)據(jù)并行聚類方法優(yōu)化研究仿真[J].計(jì)算機(jī)仿真，2016，33（7）：327?330.