• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Hadoop二階段并行模糊c-Means聚類(lèi)算法

    2016-07-19 02:07:26胡吉朝黃紅艷
    關(guān)鍵詞:集上聚類(lèi)節(jié)點(diǎn)

    胡吉朝 黃紅艷

    (石家莊經(jīng)濟(jì)學(xué)院信息工程學(xué)院 河北 石家莊 050031)

    ?

    基于Hadoop二階段并行模糊c-Means聚類(lèi)算法

    胡吉朝黃紅艷

    (石家莊經(jīng)濟(jì)學(xué)院信息工程學(xué)院河北 石家莊 050031)

    摘要針對(duì)Mapreduce機(jī)制下算法通信時(shí)間占用比過(guò)高,實(shí)際應(yīng)用價(jià)值受限的情況,提出基于Hadoop二階段并行c-Means聚類(lèi)算法用來(lái)解決超大數(shù)據(jù)的分類(lèi)問(wèn)題。首先,改進(jìn)Mapreduce機(jī)制下的MPI通信管理方法,采用成員管理協(xié)議方式實(shí)現(xiàn)成員管理與Mapreduce降低操作的同步化;其次,實(shí)行典型個(gè)體組降低操作代替全局個(gè)體降低操作,并定義二階段緩沖算法;最后,通過(guò)第一階段的緩沖進(jìn)一步降低第二階段Mapreduce操作的數(shù)據(jù)量,盡可能降低大數(shù)據(jù)帶來(lái)的對(duì)算法負(fù)面影響。在此基礎(chǔ)上,利用人造大數(shù)據(jù)測(cè)試集和KDD CUP 99入侵測(cè)試集進(jìn)行仿真,實(shí)驗(yàn)結(jié)果表明,該算法既能保證聚類(lèi)精度要求又可有效加快算法運(yùn)行效率。

    關(guān)鍵詞二階段模糊c-Means大數(shù)據(jù)聚類(lèi)并行入侵檢測(cè)

    0引言

    如何從海量數(shù)據(jù)中排除干擾提取到有用數(shù)據(jù),是一項(xiàng)有意義的工作[1],而算法的運(yùn)行效率是影響算法實(shí)際應(yīng)用效果的關(guān)鍵因素[2,3]。聚類(lèi)算法作為一種典型的數(shù)據(jù)挖掘算法,對(duì)大數(shù)據(jù)并行聚類(lèi)算法的研究較多。文獻(xiàn)[4]設(shè)計(jì)并實(shí)現(xiàn)了Hadoop云計(jì)算平臺(tái)下基于Mapreduce模型的并行K-Means聚類(lèi)算法;文獻(xiàn)[5]利用常值系數(shù)加權(quán)實(shí)現(xiàn)混合K-center和K-median加速并行聚類(lèi)算法,并利用采樣來(lái)簡(jiǎn)化樣本,思路不錯(cuò)但單純的隨機(jī)樣本無(wú)法確保選中的數(shù)據(jù)充分代表整體數(shù)據(jù),精度不理想;文獻(xiàn)[6]研究了協(xié)同聚類(lèi)機(jī)制,并基于Hadoop平臺(tái)實(shí)現(xiàn)了大型分布數(shù)據(jù)的協(xié)同聚類(lèi);文獻(xiàn)[7]結(jié)合遺傳算法固有的并行特點(diǎn),基于Hadoop平臺(tái)設(shè)計(jì)了并行遺傳K-Means聚類(lèi)算法;文獻(xiàn)[8]的設(shè)計(jì)思想是以提高K-Means算法性能為目的,提高并行后K-Means算法聚類(lèi)效果和性能。并行化K-Means算法已有諸多研究成果,相比而言c-Means算法并行化研究較少。

    Hadoop平臺(tái)下的Mapreduce模型并行化算法加快了運(yùn)行效率,但數(shù)據(jù)量過(guò)大時(shí),Mapreduce模型采用的MPI通信模型存在較高的通信消耗。某種程度上抵消了并行所帶了的算法效率提升,對(duì)此提出一種成員管理協(xié)議來(lái)改進(jìn)MPI通信模型,并利用個(gè)體貢獻(xiàn)值確定進(jìn)行reduce操作的典型個(gè)體,以此改善文獻(xiàn)[5]隨機(jī)采樣的不具有代表性的弱點(diǎn)。本文的設(shè)計(jì)思想主要是通過(guò)上述方式并結(jié)合同步化管理協(xié)議實(shí)現(xiàn)c-Means算法的并行化設(shè)計(jì),提出基于Hadoop二階段并行模糊c-Means聚類(lèi)算法PGR-PFCM(Protocolgroup-reduceparallelfuzzyc-Meansclustingalgorithm)。

    1改進(jìn)Mapreduce模型

    1.1模型介紹

    Mapreduce模型是目前比較成熟的大數(shù)據(jù)分布式計(jì)算模型,同時(shí)也是大數(shù)據(jù)并行聚類(lèi)算法實(shí)現(xiàn)的主要執(zhí)行框架。Mapreduce名稱(chēng)來(lái)源于該框架的兩個(gè)主要操作:map和reduce操作。map操作類(lèi)似一種映射操作,是針對(duì)數(shù)據(jù)集所有成員的一種操作,map操作后返回結(jié)果列表。reduce操作針對(duì)map操作反饋的結(jié)果執(zhí)行并行化的算法。Mapreduce模型如圖1所示。

    圖1 Mapreduce模型

    在Mapreduce模型中問(wèn)題進(jìn)程被分解為相互獨(dú)立可以并列運(yùn)行的子進(jìn)程,便于充分發(fā)揮計(jì)算機(jī)集群的計(jì)算性能。map和reduce操作框架的構(gòu)建主要是根據(jù)數(shù)據(jù)中的key-value進(jìn)行設(shè)計(jì)和操作:

    Map:(k1,v1)→[(k2,v2)]

    (1)

    Reduce:(k2,[v2])→[(k3,v3)]

    (2)

    系統(tǒng)運(yùn)行時(shí)管理主機(jī)會(huì)根據(jù)輸入數(shù)據(jù)斷點(diǎn)情況實(shí)時(shí)調(diào)度參與并行計(jì)算的計(jì)算機(jī)數(shù)量,同時(shí)通過(guò)管理主機(jī)也可以實(shí)時(shí)處理計(jì)算機(jī)故障問(wèn)題。因此允許程序員在沒(méi)有操作經(jīng)驗(yàn)和硬件操作經(jīng)驗(yàn)的前提下較容易地使用大型分布式數(shù)據(jù)資源。

    1.2典型個(gè)體操作方案

    圖2 數(shù)據(jù)降低策略

    文獻(xiàn)[10]提出這種基于組的典型個(gè)體降低策略可以通過(guò)定義在組上的MPI通信函數(shù)實(shí)現(xiàn)信息的交流。但是因?yàn)椴僮鬟^(guò)程標(biāo)識(shí)符列表會(huì)隨著迭代的進(jìn)行不斷變化,即進(jìn)行組降低的對(duì)象組合不斷改變,每次迭代都需要更改過(guò)程標(biāo)識(shí)符列表。這樣通過(guò)MPI通信函數(shù)方式會(huì)增加過(guò)多的通信開(kāi)銷(xiāo)。因?yàn)殡S著迭代的增加重心能夠更好地接近聚類(lèi)的中心,所以首先考慮只有一個(gè)重心并且只有一個(gè)過(guò)程子集的聚類(lèi)模式。同時(shí)為了解決MPI通信函數(shù)時(shí)間占用比過(guò)高的問(wèn)題,對(duì)傳統(tǒng)MPI通信模型設(shè)計(jì)了同步化的組成員管理協(xié)議來(lái)取代,并且這種基于組降低的操作可以并行相互獨(dú)立的在過(guò)程子集中同步進(jìn)行,適合于并行算法的嵌入。

    1.3同步化管理協(xié)議

    典型個(gè)體動(dòng)態(tài)分組成員管理協(xié)議(protocolgroup-reduce)通過(guò)將動(dòng)態(tài)組成員管理的控制信息封裝在操作信息中。將pID列表進(jìn)行廣播,并且隨著每個(gè)組降低操作進(jìn)行同步修改,無(wú)需增加算法的額外通信開(kāi)銷(xiāo)。protocolgroup-reduce操作步驟如下:

    Step4步驟s時(shí)進(jìn)程i,j進(jìn)行信息交換,包含遠(yuǎn)程和本地pID列表的合并,合并公式為L(zhǎng)i,s + 1=Li,s⊕Lj,s。

    Step5若進(jìn)程pi貢獻(xiàn)值gi低于閾值Tmin則將該進(jìn)程從pID列表中剔除。貢獻(xiàn)值[10]:

    (3)

    其中,Li為進(jìn)程pi到重心的歐氏距離。

    Step6外部的進(jìn)程pm可通過(guò)異步發(fā)送貢獻(xiàn)值到本地組與組長(zhǎng)接觸,包括pm對(duì)下一降低操作的貢獻(xiàn)度,以及添加該外部進(jìn)程pm的ID到本地組mID中。如果組長(zhǎng)接受進(jìn)程pm則發(fā)送pID列表給進(jìn)程pm。

    Step7輸出結(jié)果mID。

    2PGR-PFCM聚類(lèi)算法

    2.1模糊c-Means算法

    (4)

    滿足:

    (5)

    式(4)中‖·‖代表內(nèi)積范數(shù)。模糊c-Means算法利用下面兩式對(duì)vj及uji值進(jìn)行迭代從而實(shí)現(xiàn)最小化目標(biāo)函數(shù)J的目的:

    (6)

    (7)

    程序1PFCM算法偽代碼

    1: %模糊c-Means算法(PFCM)偽代碼

    2:FunctionP=PFCM();

    3:randomisemy_uOld[j][i]foreachx[i]

    4:do{

    5:maxErr=0;

    6:forj=1toc

    7:myUsum[j]=0;

    8:resetvectorsmy_v[j]to0;

    9:resetmy_u[j][i]to0;

    10:endfor;

    11:fori=myid*(n/P)+1to(myid+1)*(n/P)

    12:forj=1toc

    13:updatemyUsum[j];

    14:updatevectorsmy_v[j];

    15:endfor;

    16:endfor;

    17:forj=1toc

    18:Allreduce(myUsum[j],Usum[j],SUM);

    19:Allreduce(my_v[j],v[j],SUM);

    20:v[j] =v[j]/Usum[j];

    21:endfor;

    22:fori=myid*(n/P)+1to(myid+1)*(n/P)

    23:forj=1toc

    24:updatemy_u[j][i];

    25:maxErr=max{|my_u[j][i]-my_uOld[j][i]|};

    26:my_uOld[j][i] =my_u[j][i];

    27:endfor;

    28:endfor;

    29:Allreduce(maxErr,Err,MAX);

    30:}while(Err>=epsilon)

    2.2PGR-PFCM聚類(lèi)算法描述

    使用一種類(lèi)似于組合器(Combiner)的節(jié)點(diǎn)類(lèi)型,在算法迭代過(guò)程中Mapper操作和reduce操作串聯(lián)執(zhí)行,PGR-PFCM算法步驟如下:

    Step1輸入?yún)?shù)。中間緩沖聚類(lèi)數(shù)量Kt,聚類(lèi)數(shù)量K,數(shù)據(jù)段長(zhǎng)度L。

    Step2Mapper操作。執(zhí)行map(inValue,inKey,outValue,outKey)操作:

    (a) 在inValue中加載聚類(lèi)數(shù)據(jù),執(zhí)行map操作。

    (b) 在outValue數(shù)據(jù)中執(zhí)行PFCM(Kt)映射聚類(lèi)操作。

    (c) 按照聚類(lèi)結(jié)果重新格式化outValue值。

    (d) 輸出(outValue,outKey)。

    Step3Reducer操作。執(zhí)行同步化管理協(xié)議protocolgroup-reduce操作 (inValue,inKey,outValue,outKey)操作。

    (a) 在inValue中加載Mapper操作的聚類(lèi)中間結(jié)果,并執(zhí)行protocolgroup-reduce操作。

    (b) 在protocolgroup-reduce操作的聚類(lèi)中間結(jié)果上執(zhí)行PFCM(K)聚類(lèi)操作。

    (c) 輸出最終的聚類(lèi)結(jié)果。

    上述步驟中,參數(shù)Kt的取值直接決定了PGR-PFCM算法的運(yùn)行速度和聚類(lèi)質(zhì)量。PGR-PFCM算法的第一個(gè)階段通過(guò)定義一個(gè)中間緩沖聚類(lèi)數(shù)量Kt起到壓縮數(shù)據(jù)數(shù)量的作用。參數(shù)Kt的大小決定了PGR-PFCM算法第二階段輸入數(shù)據(jù)的大小,進(jìn)而影響算法的運(yùn)行速度和精度,Kt越大速度越慢精度越高,Kt越小速度越快精度越高。

    3仿真結(jié)果與分析

    硬件條件:基于Hadoop框架對(duì)算法進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)硬件條件:節(jié)點(diǎn)數(shù):16(由16臺(tái)計(jì)算機(jī)組成),每臺(tái)計(jì)算機(jī)配置:Intel-Core2.0GHz,2GBRAM。

    3.1算法加速度和運(yùn)行時(shí)間

    下面我們通過(guò)實(shí)驗(yàn)方法研究PGR-PFCM算法的并行特性。對(duì)于給定的數(shù)據(jù)尺寸m×n,采用IBM數(shù)據(jù)生成器生成7組合成數(shù)據(jù)集[9],表1給出了這些人造測(cè)試數(shù)據(jù)集的具體信息。

    表1 數(shù)據(jù)集信息

    首先對(duì)比不同數(shù)據(jù)集大小、不同尺寸、以及不同節(jié)點(diǎn)數(shù)的算法加速比及每次迭代所需時(shí)間。從表1可以看出測(cè)試數(shù)據(jù)集的大小從64MB至2048MB不等,小數(shù)據(jù)集形如d2其數(shù)據(jù)集大小為64MB。這樣的數(shù)據(jù)集可以加載到單一機(jī)器中進(jìn)行處理時(shí)間消耗并不是很大,但是超大數(shù)據(jù)集如d30和d31,采用一臺(tái)機(jī)器進(jìn)行數(shù)據(jù)處理則處理能力無(wú)法滿足要求。實(shí)驗(yàn)采用算法加速度和每次迭代時(shí)間為主要指標(biāo),仿真結(jié)果如圖3所示。

    圖3 實(shí)驗(yàn)結(jié)果對(duì)比

    圖3(a)反映的是算法每步迭代所需要的時(shí)間,顯然該時(shí)間隨著數(shù)據(jù)量及節(jié)點(diǎn)數(shù)的變化而變化,數(shù)據(jù)量越大處理速度越慢,節(jié)點(diǎn)數(shù)越多計(jì)算速度越快,但是并非呈線性關(guān)系,而是隨著節(jié)點(diǎn)的增加速度提升的效果越來(lái)越差,最后趨于平衡。圖3(b)反映的是加速度與節(jié)點(diǎn)數(shù)的關(guān)系,圖中顯示的是隨著節(jié)點(diǎn)數(shù)的增加,加速度增大,算法的運(yùn)行時(shí)間縮短。圖3(c)反映的是加速度與數(shù)據(jù)集的關(guān)系,圖中看出節(jié)點(diǎn)數(shù)較小時(shí)算法的加速度隨數(shù)據(jù)維數(shù)的增加變化幅度不大,而節(jié)點(diǎn)數(shù)較多時(shí),加速度隨數(shù)據(jù)集大小的變化趨勢(shì)逐漸明顯,從側(cè)面說(shuō)明本文所提算法在多節(jié)點(diǎn)大數(shù)據(jù)集上運(yùn)行的優(yōu)勢(shì)。

    3.2KDD CUP 99應(yīng)用測(cè)試

    在對(duì)上述提出的并行聚類(lèi)算法進(jìn)行評(píng)價(jià)時(shí),這里借用入侵檢測(cè)的KDDCUP99數(shù)據(jù)庫(kù)[11,12]作為仿真對(duì)象。通過(guò)對(duì)該數(shù)據(jù)庫(kù)入侵?jǐn)?shù)據(jù)的聚類(lèi)檢測(cè)結(jié)果,來(lái)對(duì)比算法性能。KDDCUP99數(shù)據(jù)庫(kù)主要含有4種典型的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù):DOS、Probe、U2R和U2L。上述四種類(lèi)型網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)信息如表2所示。

    表2 測(cè)試數(shù)據(jù)選取數(shù)量

    常用到的入侵檢測(cè)評(píng)價(jià)指標(biāo)主要是檢測(cè)率和錯(cuò)檢率[13]。所謂檢測(cè)率是指聚類(lèi)算法在入侵?jǐn)?shù)據(jù)庫(kù)中正確歸類(lèi)識(shí)別的入侵?jǐn)?shù)據(jù)個(gè)數(shù)與數(shù)據(jù)庫(kù)中入侵?jǐn)?shù)據(jù)總數(shù)的比值;錯(cuò)檢率是指正常數(shù)據(jù)被錯(cuò)誤歸類(lèi)的數(shù)量與正常數(shù)據(jù)總量的比值。檢測(cè)率和錯(cuò)檢率如下所示[14]:

    (8)

    (9)

    對(duì)于表2選取的KDDCUP99測(cè)試集,選取K-meansⅡ、FPCM[15]及PGR-PFCM三種算法進(jìn)行仿真對(duì)比,所有實(shí)驗(yàn)運(yùn)行30次求平均值。仿真結(jié)果如表3所示。

    表3 分類(lèi)結(jié)果對(duì)比(%)

    表3分類(lèi)結(jié)果對(duì)比分別給出K-meansⅡ、FPCM及PGR-PFCM三種算法,在KDDCUP99測(cè)試集上的聚類(lèi)識(shí)別檢測(cè)率和錯(cuò)檢率對(duì)比結(jié)果。由此可看出,在該測(cè)試數(shù)據(jù)庫(kù)的四種數(shù)據(jù)類(lèi)別聚類(lèi)識(shí)別中,PGR-PFCM算法在檢測(cè)率和錯(cuò)檢率兩項(xiàng)評(píng)價(jià)指標(biāo)上均要優(yōu)于K-meansⅡ和FPCM算法。而K-meansⅡ和FPCM兩種算法相比,K-meansⅡ算法在U2R和U2L兩種數(shù)據(jù)上的聚類(lèi)識(shí)別成功率要比FPCM算法高,而FPCM算法在U2L和DOS兩種數(shù)據(jù)上的聚類(lèi)識(shí)別成功率要比K-meansⅡ算法高。綜合指標(biāo)評(píng)價(jià)上,K-meansⅡ和FPCM兩種算法性能近似。因此,單純從聚類(lèi)識(shí)別算法角度,PGR-PFCM算法是可行的,聚類(lèi)性能要好于K-meansⅡ和FPCM算法。

    為進(jìn)一步驗(yàn)證PGR-PFCM算法在KDDCUP99測(cè)試集上的普適性,選取ISVMID[16]和GANNID[17]兩種算法進(jìn)行對(duì)比。實(shí)驗(yàn)對(duì)象仍然基于KDDCUP99標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)庫(kù),相關(guān)參數(shù)如表2所示,仿真結(jié)果如圖4、圖5所示。

    圖4 三種算法的檢測(cè)率對(duì)比

    圖5 三種算法的錯(cuò)測(cè)率對(duì)比

    圖4分別給出PGR-PFCM、ISVMID和GANNID三種算法在KDDCUP99測(cè)試集上的入侵?jǐn)?shù)據(jù)檢測(cè)率對(duì)比情況??梢钥闯觯琍GR-PFCM算法在KDDCUP99測(cè)試集四種類(lèi)型數(shù)據(jù)上的檢測(cè)準(zhǔn)確率要比ISVMID和GANNID兩種算法要高。而ISVMID和GANNID兩種算法相比,在DOS和U2R兩種入侵類(lèi)型中,ISVMID要優(yōu)于GANNID算法,而在U2L和Probe兩種入侵類(lèi)型中,GANNID要優(yōu)于ISVMID算法。圖5給出PGR-PFCM、ISVMID和GANNID三種算法錯(cuò)檢率對(duì)比結(jié)果??梢钥闯?,PGR-PFCM算法在DOS、Probe、U2R和U2L四種數(shù)據(jù)上的錯(cuò)檢率要低于ISVMID和GANNID算法,其中在U2R、Probe和U2L三種入侵?jǐn)?shù)據(jù)中,ISVMID算法錯(cuò)檢率高于GANNID算法。通過(guò)對(duì)比分析可知,PGR-PFCM算法對(duì)入侵?jǐn)?shù)據(jù)檢測(cè)是高效的。

    4結(jié)語(yǔ)

    本文建立了基于Hadoop二階段并行模糊c-Means聚類(lèi)算法用來(lái)處理大數(shù)據(jù)聚類(lèi),并采用基于協(xié)議的組典型個(gè)體降低策略來(lái)改善Mapreduce的MPI通信模型的算法時(shí)間復(fù)雜度,以提高算法的整體運(yùn)行效率。通過(guò)有選擇的組降低算法能夠有效排除不良數(shù)據(jù)項(xiàng)的干擾,因而PGR-PFCM算法具有更高的運(yùn)行效率和聚類(lèi)成功率。在并行率和加速比方面,PGR-PFCM算法在大規(guī)模數(shù)據(jù)集上的并行率和加速比都優(yōu)于小型數(shù)據(jù)集上的表現(xiàn),說(shuō)明了PGR-PFCM算法能夠?qū)崟r(shí)根據(jù)數(shù)據(jù)量的大小對(duì)自身進(jìn)行調(diào)整。最后通過(guò)在KDDCUP99入侵?jǐn)?shù)據(jù)測(cè)試集上的對(duì)比仿真結(jié)果,表明PGR-PFCM算法同樣適用處理實(shí)際環(huán)境下的大數(shù)據(jù)聚類(lèi)問(wèn)題。

    參考文獻(xiàn)

    [1]DaiL,ChenT,XuHK.ResearchontestingTechniqueofbigdata[J].ApplicationResearchofComputers,2014,31(6):1606-1611.

    [2] 王珊,王會(huì)舉,覃雄派.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào),2011,34(10):1741-1752.

    [3]MeglerVM,MaierD.Whenbigdataleadstolostdata[C]//Procofthe5thInternationalConferenceonInformationandKnowledgeManagement.NewYork:ACMPress,2012:1-8.

    [4] 趙衛(wèi)中,馬慧芳,傅燕翔.基于云計(jì)算平臺(tái)Hadoop的并行K-means聚類(lèi)算法設(shè)計(jì)研究[J].計(jì)算機(jī)科學(xué),2011,38(10):166-169.

    [5]EneA,ImS,MoseleyB.FastclusteringusingMapRe-duce[C]//Procofthe17thACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining,California,USA:ACMPress,2011:681-689.

    [6]PapadimitriouS,SunJ.DisCo:DistributedCo-clusteringwithMap-Reduce:ACaseStudyTowardsPetabyte-ScaleEnd-to-EndMining[C]//Procofthe8thIEEEInterna-tionalConferenceonDataMining.Pisa,Italy:IEEEPress,2008:512-521.

    [7] 陸秋,程小輝.基于Mapreduce的決策樹(shù)算法并行化[J].計(jì)算機(jī)應(yīng)用,2012,32(9):2463-2465.

    [8]BahmaniB,MoseleyB,VattaniA.Scalablek-means++[J].ProceedingsoftheVLDBEndowment,2012,5(7):622-633.

    [9]MiaoYQ,ZhangJX,FengH.AFastAlgorithmforClusteringwithMapreduce[J].AdvancesinNeuralNet-works,2013,17(11):532-538.

    [10]DavidP,GiuseppeDF.EfficientGroupCommunicationforLarge-ScaleParallelClustering[J].IntelligentDistributedComputing,2013,446:155-164.

    [11]MengYX,LiWJ.Towardsadaptivecharacterfrequency-basedexclusivesignaturematchingschemeanditsapplicationsindistributedintrusiondetection[J].ComputerNetworks,2013,57(17):3630-3640.

    [12]HassanzadehA,XuZY,RaduS.PRIDE:PracticalIntrusionDetectioninResourceConstrainedWirelessMeshNetworks[J].InformationandCommunicationsSecurity,2013,23(3):213-228.

    [13]ShakshukiEM,SheltamiTR.EAACK—ASecureIntrusion-DetectionSystemforMANETs[J].IEEETransactionsonIndustrialElectronics,2013,60(3):1089-1098.

    [14]ChiragM,DhirenP,BhaveshB.Asurveyofintrusiondetectiontechniquesincloud[J].JournalofNetworkandComputerApplications,2013,36(1):42-57.

    [15]TerenceK,KateS,SebastianL.ParallelFuzzyc-MeansClusteringforLargeDataSets[C]//8thInternationalEuro-ParConferencePaderborn,Germany:Springer,2002:27-30.

    [16] 譚愛(ài)平,陳浩,吳伯橋.基于SVM的網(wǎng)絡(luò)入侵檢測(cè)集成學(xué)習(xí)算法[J].計(jì)算機(jī)科學(xué),2014,41(2):196-200.

    [17] 陳鴻星.基于遺傳優(yōu)化神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵特征檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(14):78-81.

    HADOOP-BASED TWO-STAGE PARALLEL FUZZY C-MEANS CLUSTERING ALGORITHM

    Hu JichaoHuang Hongyan

    (School of Information Engineering,Shijiazhuang University of Economics,Shijiazhuang 050031,Hebei,China)

    AbstractAiming at the problem of too high occupancy of communication time and limited applying value of the algorithm under the mechanism of Mapreduce, we put forward a Hadoop-based two-stage parallel c-Means clustering algorithm to deal with the problem of extra-large data classification. First, we improved the MPI communication management method in Mapreduce mechanism, and used membership management protocol mode to realise the synchronisation of members management and Mapreduce reducing operation. Secondly, we implemented typical individuals group reducing operation instead of global individual reducing operation, and defined the two-stage buffer algorithm. Finally, through the buffer in first stage we further reduced the data amount of Mapreduce operation in second stage, and reduced the negative impact brought about by big data on the algorithm as much as possible. Based on this, we carried out the simulation by using artificial big data test set and KDD CUP 99 invasion test data.Experimental result showed that the algorithm could both guarantee the clustering precision requirement and speed up effectively the operation efficiency of algorithm.

    KeywordsTwo-stageFuzzy c-MeansBig dataClusteringParallelIntrusion detection

    收稿日期:2014-11-10。河北省科技廳科技攻關(guān)項(xiàng)目(132101 30)。胡吉朝,講師,主研領(lǐng)域:數(shù)據(jù)挖掘,智能計(jì)算。黃紅艷,講師。

    中圖分類(lèi)號(hào)TP312

    文獻(xiàn)標(biāo)識(shí)碼A

    DOI:10.3969/j.issn.1000-386x.2016.06.067

    猜你喜歡
    集上聚類(lèi)節(jié)點(diǎn)
    CM節(jié)點(diǎn)控制在船舶上的應(yīng)用
    Analysis of the characteristics of electronic equipment usage distance for common users
    基于AutoCAD的門(mén)窗節(jié)點(diǎn)圖快速構(gòu)建
    Cookie-Cutter集上的Gibbs測(cè)度
    鏈完備偏序集上廣義向量均衡問(wèn)題解映射的保序性
    基于DBSACN聚類(lèi)算法的XML文檔聚類(lèi)
    復(fù)扇形指標(biāo)集上的分布混沌
    基于改進(jìn)的遺傳算法的模糊聚類(lèi)算法
    抓住人才培養(yǎng)的關(guān)鍵節(jié)點(diǎn)
    一種層次初始的聚類(lèi)個(gè)數(shù)自適應(yīng)的聚類(lèi)方法研究
    伦理电影大哥的女人| 日韩三级伦理在线观看| 亚洲色图综合在线观看| 久热久热在线精品观看| 国产一区二区三区综合在线观看 | 看免费av毛片| 婷婷成人精品国产| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 边亲边吃奶的免费视频| 国产一区二区在线观看av| 亚洲精品久久午夜乱码| 免费看av在线观看网站| 欧美日本中文国产一区发布| 丝袜人妻中文字幕| 搡老乐熟女国产| a 毛片基地| 免费少妇av软件| 岛国毛片在线播放| 亚洲美女视频黄频| 美国免费a级毛片| 丝瓜视频免费看黄片| 看免费成人av毛片| 99热国产这里只有精品6| 观看美女的网站| 秋霞在线观看毛片| 人人妻人人爽人人添夜夜欢视频| 2022亚洲国产成人精品| 青青草视频在线视频观看| 99热全是精品| 99re6热这里在线精品视频| 蜜臀久久99精品久久宅男| 国产精品三级大全| 亚洲精品第二区| 新久久久久国产一级毛片| 色94色欧美一区二区| 欧美bdsm另类| 午夜老司机福利剧场| 欧美成人午夜免费资源| 全区人妻精品视频| 亚洲综合色惰| www日本在线高清视频| tube8黄色片| 美女脱内裤让男人舔精品视频| 菩萨蛮人人尽说江南好唐韦庄| 久久国产亚洲av麻豆专区| 丝袜在线中文字幕| 国产成人精品在线电影| 一本色道久久久久久精品综合| 午夜老司机福利剧场| 亚洲精品一区蜜桃| 永久网站在线| 日韩av免费高清视频| 亚洲国产精品成人久久小说| 免费看不卡的av| 亚洲精品日韩在线中文字幕| 久久99热这里只频精品6学生| 欧美3d第一页| 国产欧美亚洲国产| 七月丁香在线播放| 亚洲国产精品成人久久小说| 国产午夜精品一二区理论片| 一区在线观看完整版| 天堂8中文在线网| 亚洲精品中文字幕在线视频| 欧美激情国产日韩精品一区| 亚洲国产av新网站| 亚洲精品日本国产第一区| 国产高清三级在线| 久久免费观看电影| 色视频在线一区二区三区| 免费看av在线观看网站| 国产在线视频一区二区| 少妇人妻 视频| 丝袜美足系列| 亚洲国产看品久久| av在线观看视频网站免费| 久久ye,这里只有精品| 麻豆精品久久久久久蜜桃| 亚洲性久久影院| 亚洲精品,欧美精品| 欧美性感艳星| 国产无遮挡羞羞视频在线观看| 欧美人与善性xxx| 观看av在线不卡| 高清不卡的av网站| 免费黄频网站在线观看国产| 久久久亚洲精品成人影院| 亚洲精品国产色婷婷电影| 国产日韩欧美视频二区| 亚洲中文av在线| 日韩制服骚丝袜av| 中文乱码字字幕精品一区二区三区| 日本欧美视频一区| 欧美日韩成人在线一区二区| 国产成人免费无遮挡视频| 成年av动漫网址| 国产一区二区激情短视频 | 日韩欧美一区视频在线观看| 亚洲四区av| 黄片播放在线免费| 各种免费的搞黄视频| 日本av免费视频播放| 男女啪啪激烈高潮av片| 欧美日韩综合久久久久久| 国产伦理片在线播放av一区| 亚洲三级黄色毛片| 国产色婷婷99| 亚洲国产日韩一区二区| 高清黄色对白视频在线免费看| av在线观看视频网站免费| 日韩中字成人| 国产欧美日韩综合在线一区二区| 久久精品久久久久久噜噜老黄| 少妇人妻 视频| 青春草亚洲视频在线观看| 9191精品国产免费久久| 侵犯人妻中文字幕一二三四区| 亚洲成人一二三区av| 国产一区有黄有色的免费视频| 午夜视频国产福利| 成人亚洲精品一区在线观看| 一级片免费观看大全| 亚洲欧洲国产日韩| 精品久久国产蜜桃| 久久热在线av| 九色成人免费人妻av| 精品少妇久久久久久888优播| 夜夜骑夜夜射夜夜干| 丝袜在线中文字幕| av在线老鸭窝| 久久av网站| 精品国产一区二区三区久久久樱花| 只有这里有精品99| 国产男女内射视频| 美女内射精品一级片tv| 黄色视频在线播放观看不卡| 美女视频免费永久观看网站| 精品亚洲成国产av| 看十八女毛片水多多多| 免费播放大片免费观看视频在线观看| 久久人人爽av亚洲精品天堂| 久久人人爽人人片av| 美女中出高潮动态图| 永久免费av网站大全| 日韩三级伦理在线观看| 久久韩国三级中文字幕| 欧美 日韩 精品 国产| www.av在线官网国产| 69精品国产乱码久久久| 夫妻午夜视频| 久久精品国产综合久久久 | 色5月婷婷丁香| 日产精品乱码卡一卡2卡三| 久久久国产一区二区| 亚洲高清免费不卡视频| 三级国产精品片| 国产精品国产av在线观看| 精品国产一区二区三区久久久樱花| 在线观看免费日韩欧美大片| 亚洲成国产人片在线观看| videossex国产| 亚洲av综合色区一区| 日韩欧美一区视频在线观看| 狠狠婷婷综合久久久久久88av| 久久久久久久久久久久大奶| 日本vs欧美在线观看视频| 免费久久久久久久精品成人欧美视频 | 91精品三级在线观看| 国产熟女欧美一区二区| 日本av免费视频播放| 成人18禁高潮啪啪吃奶动态图| 三级国产精品片| 午夜福利视频在线观看免费| 国产白丝娇喘喷水9色精品| 亚洲一区二区三区欧美精品| 精品国产一区二区久久| 综合色丁香网| 麻豆乱淫一区二区| h视频一区二区三区| 亚洲中文av在线| 少妇精品久久久久久久| 午夜福利乱码中文字幕| 精品福利永久在线观看| 草草在线视频免费看| 午夜激情久久久久久久| 性色avwww在线观看| 国产深夜福利视频在线观看| 黄色一级大片看看| 一区在线观看完整版| 午夜激情久久久久久久| 一级毛片电影观看| 99久久精品国产国产毛片| 日韩精品免费视频一区二区三区 | 日韩免费高清中文字幕av| 欧美变态另类bdsm刘玥| 日韩制服骚丝袜av| 婷婷成人精品国产| 永久网站在线| 免费观看性生交大片5| 丝袜喷水一区| 日韩中字成人| 麻豆乱淫一区二区| 纵有疾风起免费观看全集完整版| 好男人视频免费观看在线| 午夜视频国产福利| 国产精品人妻久久久影院| 亚洲成人一二三区av| 中文字幕另类日韩欧美亚洲嫩草| 91在线精品国自产拍蜜月| 国产精品久久久av美女十八| 久久精品久久久久久噜噜老黄| 国产精品一区www在线观看| 少妇高潮的动态图| 精品第一国产精品| 免费人成在线观看视频色| 26uuu在线亚洲综合色| av女优亚洲男人天堂| 看免费成人av毛片| 国产日韩一区二区三区精品不卡| 国产免费又黄又爽又色| 美女国产视频在线观看| 欧美 日韩 精品 国产| 午夜福利网站1000一区二区三区| videossex国产| 色5月婷婷丁香| 久久久久视频综合| 亚洲精品一区蜜桃| 26uuu在线亚洲综合色| 黄色视频在线播放观看不卡| 成人亚洲精品一区在线观看| 日本爱情动作片www.在线观看| 美女中出高潮动态图| 国产欧美日韩综合在线一区二区| 热re99久久精品国产66热6| 国产成人精品久久久久久| 亚洲 欧美一区二区三区| 成年女人在线观看亚洲视频| 我的女老师完整版在线观看| 男人舔女人的私密视频| 波多野结衣一区麻豆| 男人爽女人下面视频在线观看| 国产一区二区三区综合在线观看 | 亚洲国产日韩一区二区| 久久久久人妻精品一区果冻| 午夜影院在线不卡| 99热网站在线观看| 熟妇人妻不卡中文字幕| 国产精品一国产av| 国产日韩欧美视频二区| 一级,二级,三级黄色视频| 精品卡一卡二卡四卡免费| 亚洲精品久久成人aⅴ小说| 一区二区av电影网| 国产成人欧美| 免费人妻精品一区二区三区视频| 51国产日韩欧美| 美女脱内裤让男人舔精品视频| 国产成人av激情在线播放| 青春草视频在线免费观看| 国产精品秋霞免费鲁丝片| 久久99热6这里只有精品| 久久99一区二区三区| 91精品国产国语对白视频| 久久精品熟女亚洲av麻豆精品| 亚洲av成人精品一二三区| 人妻系列 视频| 亚洲欧美一区二区三区黑人 | 韩国精品一区二区三区 | 午夜福利视频在线观看免费| 少妇人妻久久综合中文| 男人舔女人的私密视频| 中文字幕人妻熟女乱码| 999精品在线视频| 久久久亚洲精品成人影院| 我要看黄色一级片免费的| 黄色一级大片看看| 久久精品久久精品一区二区三区| 高清视频免费观看一区二区| 亚洲av电影在线观看一区二区三区| 亚洲国产毛片av蜜桃av| av片东京热男人的天堂| 久久精品国产亚洲av天美| 亚洲美女黄色视频免费看| 国产 精品1| 中文字幕另类日韩欧美亚洲嫩草| 日韩欧美精品免费久久| 国产成人精品在线电影| 91精品伊人久久大香线蕉| 亚洲国产精品999| 精品久久国产蜜桃| h视频一区二区三区| 一本色道久久久久久精品综合| 中文字幕免费在线视频6| 大香蕉久久成人网| 国产精品国产三级国产专区5o| 满18在线观看网站| 国产亚洲精品久久久com| 九草在线视频观看| 精品少妇久久久久久888优播| 久久毛片免费看一区二区三区| 国产欧美另类精品又又久久亚洲欧美| 91成人精品电影| 久久精品国产自在天天线| 在线观看www视频免费| 国产永久视频网站| 黄色视频在线播放观看不卡| 久久久久久久久久久久大奶| 欧美日韩av久久| 狠狠婷婷综合久久久久久88av| 国产成人a∨麻豆精品| 亚洲性久久影院| 91久久精品国产一区二区三区| 天天影视国产精品| 777米奇影视久久| 男女午夜视频在线观看 | 精品视频人人做人人爽| 2018国产大陆天天弄谢| 欧美精品高潮呻吟av久久| 日本wwww免费看| 女人被躁到高潮嗷嗷叫费观| 久久99蜜桃精品久久| 少妇人妻精品综合一区二区| 男女边摸边吃奶| 热99国产精品久久久久久7| 99精国产麻豆久久婷婷| 一本久久精品| 天堂中文最新版在线下载| videossex国产| 成人免费观看视频高清| 毛片一级片免费看久久久久| 国产白丝娇喘喷水9色精品| 亚洲色图综合在线观看| 五月开心婷婷网| av在线播放精品| 亚洲,欧美,日韩| 久久影院123| 午夜免费观看性视频| 亚洲国产欧美在线一区| 日韩视频在线欧美| 午夜久久久在线观看| 一级爰片在线观看| 一边亲一边摸免费视频| 日韩一区二区视频免费看| 欧美精品国产亚洲| 午夜福利乱码中文字幕| 国产片内射在线| 一区二区日韩欧美中文字幕 | 日本91视频免费播放| 国产xxxxx性猛交| 成人国语在线视频| 国产日韩欧美亚洲二区| 少妇的丰满在线观看| 久久人人97超碰香蕉20202| 最黄视频免费看| 香蕉精品网在线| 波多野结衣一区麻豆| 亚洲成人一二三区av| 街头女战士在线观看网站| 久久99热6这里只有精品| 欧美亚洲 丝袜 人妻 在线| 99热6这里只有精品| 亚洲精品视频女| 在线免费观看不下载黄p国产| 成人毛片a级毛片在线播放| 99久国产av精品国产电影| 香蕉丝袜av| 夜夜骑夜夜射夜夜干| 日本免费在线观看一区| 日本欧美国产在线视频| 男女下面插进去视频免费观看 | 国产黄频视频在线观看| 亚洲精品中文字幕在线视频| 国产欧美日韩综合在线一区二区| 精品亚洲乱码少妇综合久久| 日本与韩国留学比较| 国产亚洲精品久久久com| 国产精品不卡视频一区二区| 18在线观看网站| 久久青草综合色| 久久狼人影院| 美女主播在线视频| 人妻少妇偷人精品九色| 精品人妻熟女毛片av久久网站| 桃花免费在线播放| 少妇熟女欧美另类| 波野结衣二区三区在线| 亚洲国产欧美在线一区| 国产成人欧美| 日本-黄色视频高清免费观看| 一边亲一边摸免费视频| 亚洲图色成人| 哪个播放器可以免费观看大片| 9热在线视频观看99| 欧美日韩一区二区视频在线观看视频在线| 天堂8中文在线网| 日韩视频在线欧美| 欧美日韩视频精品一区| av不卡在线播放| 国产一区二区三区综合在线观看 | 9191精品国产免费久久| av黄色大香蕉| 男人操女人黄网站| 国产精品熟女久久久久浪| 五月开心婷婷网| 国产亚洲午夜精品一区二区久久| 成人二区视频| 天堂中文最新版在线下载| 最近中文字幕高清免费大全6| 成人午夜精彩视频在线观看| 日韩制服骚丝袜av| 韩国av在线不卡| 久久99一区二区三区| 成人影院久久| 中文字幕亚洲精品专区| 夫妻性生交免费视频一级片| 久久这里只有精品19| 日韩成人av中文字幕在线观看| 国产亚洲一区二区精品| 久久久久国产网址| 99久久中文字幕三级久久日本| 久热久热在线精品观看| 亚洲,欧美,日韩| 亚洲av.av天堂| 亚洲欧美中文字幕日韩二区| 欧美激情国产日韩精品一区| 国产亚洲欧美精品永久| 国产成人欧美| 在线看a的网站| 国产精品女同一区二区软件| 18禁动态无遮挡网站| 90打野战视频偷拍视频| 国产成人91sexporn| 美女福利国产在线| 男女午夜视频在线观看 | 日韩不卡一区二区三区视频在线| 国产亚洲欧美精品永久| 97精品久久久久久久久久精品| 日本黄色日本黄色录像| 亚洲欧美成人综合另类久久久| 日日爽夜夜爽网站| 少妇人妻精品综合一区二区| 欧美成人午夜免费资源| 午夜福利,免费看| 成年美女黄网站色视频大全免费| 欧美bdsm另类| 热re99久久国产66热| 丝瓜视频免费看黄片| 国产成人一区二区在线| 国产精品成人在线| 欧美精品av麻豆av| 亚洲精品456在线播放app| 最近最新中文字幕大全免费视频 | 久久精品久久精品一区二区三区| 欧美xxxx性猛交bbbb| 日本免费在线观看一区| 国国产精品蜜臀av免费| 伊人久久国产一区二区| 午夜福利网站1000一区二区三区| 中文字幕最新亚洲高清| 国产成人欧美| 精品人妻熟女毛片av久久网站| 天天影视国产精品| 999精品在线视频| 纵有疾风起免费观看全集完整版| 久久国内精品自在自线图片| 女性生殖器流出的白浆| 亚洲高清免费不卡视频| 性高湖久久久久久久久免费观看| 色哟哟·www| 欧美成人精品欧美一级黄| 欧美精品一区二区大全| 久久韩国三级中文字幕| 少妇被粗大的猛进出69影院 | 久久综合国产亚洲精品| 久久人人97超碰香蕉20202| 亚洲激情五月婷婷啪啪| 少妇猛男粗大的猛烈进出视频| 欧美精品高潮呻吟av久久| 国产精品偷伦视频观看了| 久久午夜福利片| 成年动漫av网址| 男人操女人黄网站| 少妇 在线观看| 王馨瑶露胸无遮挡在线观看| 国产av一区二区精品久久| 街头女战士在线观看网站| 精品卡一卡二卡四卡免费| 久久久精品免费免费高清| 亚洲综合色惰| 蜜桃国产av成人99| 精品福利永久在线观看| 一区二区三区乱码不卡18| 国产一区二区三区综合在线观看 | 国产在线一区二区三区精| 美女主播在线视频| 青春草国产在线视频| 2022亚洲国产成人精品| 亚洲精品第二区| 亚洲av国产av综合av卡| 欧美xxxx性猛交bbbb| 国产精品 国内视频| 亚洲欧美中文字幕日韩二区| 国产女主播在线喷水免费视频网站| 亚洲精品日本国产第一区| 国产福利在线免费观看视频| 免费日韩欧美在线观看| 亚洲第一区二区三区不卡| 免费日韩欧美在线观看| 国产福利在线免费观看视频| 女性被躁到高潮视频| 天天操日日干夜夜撸| 国产精品熟女久久久久浪| 久久99一区二区三区| 熟女人妻精品中文字幕| 母亲3免费完整高清在线观看 | 99久久综合免费| 黑丝袜美女国产一区| 久久青草综合色| 欧美xxⅹ黑人| 亚洲成人一二三区av| 亚洲成国产人片在线观看| 国产伦理片在线播放av一区| 春色校园在线视频观看| 欧美精品一区二区免费开放| 午夜影院在线不卡| 日本爱情动作片www.在线观看| 欧美xxⅹ黑人| 如何舔出高潮| 国产男女内射视频| 性高湖久久久久久久久免费观看| 九色亚洲精品在线播放| 一区二区av电影网| 国产又色又爽无遮挡免| 最后的刺客免费高清国语| 欧美日韩成人在线一区二区| 丁香六月天网| 观看美女的网站| 寂寞人妻少妇视频99o| 国产精品久久久久久久久免| 一边亲一边摸免费视频| 女性生殖器流出的白浆| 在线免费观看不下载黄p国产| 亚洲国产av影院在线观看| 蜜桃在线观看..| 人妻人人澡人人爽人人| 亚洲美女黄色视频免费看| 国产日韩欧美在线精品| 天美传媒精品一区二区| 成人毛片60女人毛片免费| 中文字幕亚洲精品专区| 免费av中文字幕在线| 色94色欧美一区二区| 免费黄色在线免费观看| 我的女老师完整版在线观看| 亚洲成av片中文字幕在线观看 | 国产精品久久久久久精品古装| 黑人高潮一二区| 亚洲精品美女久久av网站| 国产片特级美女逼逼视频| 最新中文字幕久久久久| 久久久欧美国产精品| 日韩欧美精品免费久久| 香蕉国产在线看| 国产成人精品一,二区| 一区二区三区四区激情视频| 精品人妻偷拍中文字幕| 亚洲精品一区蜜桃| 黑人欧美特级aaaaaa片| 国产免费福利视频在线观看| 中文字幕免费在线视频6| av一本久久久久| 全区人妻精品视频| 飞空精品影院首页| 欧美另类一区| 精品国产一区二区三区久久久樱花| 激情视频va一区二区三区| xxx大片免费视频| 大香蕉久久网| 韩国av在线不卡| 国产精品人妻久久久影院| 国产成人精品福利久久| 一级黄片播放器| 久久久久视频综合| 深夜精品福利| 一区二区三区乱码不卡18| 久久免费观看电影| 欧美亚洲日本最大视频资源| 亚洲av.av天堂| 久久 成人 亚洲| 女性生殖器流出的白浆| 国产男人的电影天堂91| 亚洲精品美女久久久久99蜜臀 | 国产亚洲最大av| 九草在线视频观看| 性色avwww在线观看| av网站免费在线观看视频| 国产精品久久久久久精品古装| 亚洲美女视频黄频| 夜夜爽夜夜爽视频| 久久久国产一区二区| 精品人妻熟女毛片av久久网站| 精品久久久精品久久久| 丝袜人妻中文字幕| 亚洲av在线观看美女高潮| 国产片内射在线| 亚洲经典国产精华液单| 人妻少妇偷人精品九色| 99香蕉大伊视频| 国产亚洲精品第一综合不卡 | 国产精品人妻久久久久久| 国产免费视频播放在线视频| 男女免费视频国产| 99热这里只有是精品在线观看| 亚洲天堂av无毛| 老女人水多毛片|