• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于MapReduce和Spark的大規(guī)模壓縮模糊K-近鄰算法

    2020-11-14 08:45:56王謨瀚翟俊海齊家興
    計(jì)算機(jī)工程 2020年11期
    關(guān)鍵詞:樣例次數(shù)閾值

    王謨瀚,翟俊海,b,齊家興

    (河北大學(xué) a.數(shù)學(xué)與信息科學(xué)學(xué)院; b.河北省機(jī)器學(xué)習(xí)與計(jì)算智能重點(diǎn)實(shí)驗(yàn)室,河北 保定 071002)

    0 概述

    K-近鄰(K-Nearest Neighbor,K-NN)[1]是一種常用的分類方法,廣泛應(yīng)用于模式識(shí)別、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等領(lǐng)域。K-NN方法簡(jiǎn)單且易于編程實(shí)現(xiàn),但是其存在2個(gè)問(wèn)題,一是對(duì)測(cè)試樣例進(jìn)行分類時(shí)需要存儲(chǔ)訓(xùn)練集中的所有樣例,并計(jì)算測(cè)試樣例與訓(xùn)練集中所有樣例之間的距離,二是對(duì)于每一個(gè)測(cè)試樣例,用訓(xùn)練集中的樣例對(duì)它們進(jìn)行分類時(shí),每個(gè)訓(xùn)練樣例被認(rèn)為是同等重要的。

    針對(duì)第一個(gè)問(wèn)題,HART[2]于1968年提出了壓縮近鄰(Condensed Nearest Neighbor,CNN)算法。但是,CNN算法對(duì)噪聲非常敏感,且其結(jié)果與樣例選擇順序有關(guān)。對(duì)此,研究人員提出了較多改進(jìn)算法,如RNN(Reduced Nearest Neighbor)[3]、ENN(Edited Nearest Neighbor)[4]和ICF(Iterative Case Filtering)[5]等。近年來(lái),針對(duì)K-NN對(duì)測(cè)試樣例進(jìn)行分類時(shí)需存儲(chǔ)訓(xùn)練集中所有樣例的問(wèn)題,學(xué)者們也提出了一些較好的解決方法。HOU等人[6]將哈希技術(shù)與決策樹(shù)相結(jié)合,提出基于樹(shù)的緊哈希方法,該方法可顯著提高近鄰樣例的搜索效率。梁聰?shù)热薣7]提出一種基于參考點(diǎn)的改進(jìn)K-NN分類算法。該算法依據(jù)點(diǎn)到樣本距離的方差選擇參考點(diǎn),并賦予參考點(diǎn)自適應(yīng)權(quán)重,與基本K-NN算法及kd-tree近鄰算法相比,其具有較高的分類精度及較低的時(shí)間復(fù)雜度?;谧V哈希技術(shù),WAN等人[8]提出針對(duì)高維數(shù)據(jù)的近似近鄰搜索算法。基于分布式哈希技術(shù),文慶福等人[9]提出一種近似近鄰搜索方法。ALVAR等人[10]使用局部敏感哈希技術(shù),提出針對(duì)大規(guī)模數(shù)據(jù)集的樣例選擇算法,該算法的時(shí)間復(fù)雜度達(dá)到線性級(jí)。針對(duì)投影哈希中投影誤差較大、二進(jìn)制編碼時(shí)原始信息丟失嚴(yán)重等問(wèn)題,楊定中等人[11]提出一種近似最近鄰搜索方法,該方法通過(guò)多階段量化策略降低編碼過(guò)程中的投影及量化誤差。羅辛等人[12]提出一種基于相似度支持度的最近鄰度量方法,其在保證分類精度的前提下降低了計(jì)算復(fù)雜度。喬玉龍等人[13]利用向量的方差和小波域中的逼近系數(shù)得出2個(gè)重要不等式,利用不等式排除不可能成為K-近鄰的向量,進(jìn)而降低了計(jì)算復(fù)雜度。受交叉驗(yàn)證思想的啟發(fā),ZHAI等人[14]提出交叉樣例選擇算法,該算法可解決大規(guī)模樣例的選擇問(wèn)題。SONG等人[15]將針對(duì)分類問(wèn)題的樣例選擇算法移植到回歸場(chǎng)景,提出一種針對(duì)K-NN回歸問(wèn)題的排序樣例選擇算法,其擴(kuò)大了樣例選擇的應(yīng)用范圍。

    近年來(lái),大數(shù)據(jù)技術(shù)在很多領(lǐng)域得到廣泛關(guān)注與應(yīng)用,一些科研人員針對(duì)大數(shù)據(jù)的近鄰搜索問(wèn)題進(jìn)行了研究?;陂_(kāi)源大數(shù)據(jù)平臺(tái),MUJA等人[16]提出具有可擴(kuò)展性的最近鄰算法?;贛apReduce大數(shù)據(jù)計(jì)算平臺(tái),ZHAI等人[17]設(shè)計(jì)基于投票機(jī)制和隨機(jī)權(quán)網(wǎng)絡(luò)的大數(shù)據(jù)樣例選擇算法。基于Spark大數(shù)據(jù)計(jì)算平臺(tái),MAILLO等人[18]提出大數(shù)據(jù)K-近鄰搜索算法。SONG等人[19]對(duì)基于MapReduce的K-NN算法進(jìn)行了具體的理論分析。

    針對(duì)第二個(gè)問(wèn)題,KELLER[20]于1985年提出了模糊K-NN算法。然而,模糊K-NN算法依然存在上述第一個(gè)問(wèn)題。為此,ZHAI等人[21]提出了壓縮模糊K-近鄰(Condensed Fuzzy K-NN,CFKNN)算法。但是,CFKNN算法僅適用于中小數(shù)據(jù)場(chǎng)景,在大數(shù)據(jù)環(huán)境中,CFKNN會(huì)出現(xiàn)計(jì)算效率低的問(wèn)題,甚至不可實(shí)現(xiàn)。此外,CFKNN的樣例選擇采用靜態(tài)機(jī)制,導(dǎo)致該算法的性能提升存在局限性。

    為了解決上述問(wèn)題,本文基于MapReduce和Spark提出2種大規(guī)模壓縮模糊K-近鄰算法。將CFKNN算法擴(kuò)展到大數(shù)據(jù)環(huán)境,在MapReduce和Spark 2種并行計(jì)算框架上實(shí)現(xiàn)面向大規(guī)模數(shù)據(jù)環(huán)境的壓縮模糊K-近鄰算法,以降低CFKNN的計(jì)算復(fù)雜度并縮短算法的運(yùn)行時(shí)間。在樣例選擇過(guò)程中,對(duì)閾值進(jìn)行動(dòng)態(tài)調(diào)整,從而提高算法的動(dòng)態(tài)特性。

    1 相關(guān)知識(shí)

    1.1 CFKNN算法

    設(shè)T是訓(xùn)練集,S是所選樣例的集合,C為訓(xùn)練集的類別屬性,訓(xùn)練集共分為p類。在初始時(shí),從訓(xùn)練集T中的每類隨機(jī)選擇一個(gè)樣例加入S,然后根據(jù)算法1計(jì)算S中樣例的模糊隸屬度,用算法2確定x的類別隸屬度,并通過(guò)類別隸屬度計(jì)算樣例x的信息熵。如果樣例x的信息熵大于所設(shè)閾值 ,則將樣例x加入到S中,否則丟棄x。當(dāng)訓(xùn)練集T為空時(shí),算法終止,輸出所選樣例集合S。CFKNN算法的偽代碼如算法3所示。

    算法1模糊隸屬度算法

    輸入所選樣例集合S

    輸出樣例的隸屬度μij=μj(xi),1≤i≤n,1≤j≤p

    1.對(duì)于?j,1≤j≤C,計(jì)算每一類的中心Cj

    2.對(duì)于?i,j,計(jì)算xi到各類中心Cj的距離dij

    3.對(duì)于?i,j,按式(1)計(jì)算μij=μj(xi),1≤i≤n,1≤j≤p

    4.返回樣例隸屬度

    (1)

    算法2F-KNN算法

    輸入所選樣例集合S{(xi,yi)|xi∈Rd;yi∈Y},1≤i≤n,樣例x

    輸出樣例x隸屬于每一類的隸屬度μj(x),1≤j≤p

    1.利用算法1計(jì)算S中每一個(gè)樣例的類別隸屬度μij=μj(xi),構(gòu)成一個(gè)n行p列的矩陣μ

    2.在S中找到x的K個(gè)近鄰

    3.利用式(2)確定x的類別隸屬度:

    (2)

    4.輸出j(x)

    算法3CFKNN算法

    輸入訓(xùn)練集T,參數(shù)k和α(假設(shè)T的樣本容量為n,T中的樣例共分為p類)

    輸出S?T

    1.從T中的每類隨機(jī)選一個(gè)樣例加入S中

    2.For x in T-S do

    3.根據(jù)算法1計(jì)算S中樣例的類別隸屬度

    4.用算法2確定x的類別隸屬度(μ(x,C1),μ(x,C2),…,μ(x,CP))

    5.根據(jù)式(3)計(jì)算x的熵Entr(x):

    (3)

    6.If Entr(x)>α

    7.S=S∪{x}

    8.End if

    9.End for

    10.Return S

    1.2 MapReduce和Spark并行計(jì)算框架

    MapReduce[22]是由Google公司提出的一種面向大規(guī)模數(shù)據(jù)的并行計(jì)算模型,MapReduce繼承了函數(shù)式編程語(yǔ)言LISP中map函數(shù)和reduce函數(shù)的思想,采用分治策略處理大數(shù)據(jù)。在初始階段,MapReduce自動(dòng)將大數(shù)據(jù)集劃分為若干子集部署到云計(jì)算節(jié)點(diǎn)上,map階段將數(shù)據(jù)變換為鍵值對(duì)數(shù)據(jù)。reduce階段在map階段的基礎(chǔ)上,對(duì)已經(jīng)歸納好的數(shù)據(jù)做進(jìn)一步處理,得到最終計(jì)算結(jié)果。通過(guò)map和reduce 2個(gè)階段,完成對(duì)大規(guī)模數(shù)據(jù)的并行化處理。

    Spark[23]是處理大數(shù)據(jù)的快速通用引擎,2009年由加州大學(xué)伯克利分校對(duì)外開(kāi)源,隨后憑借其快速、通用以及可擴(kuò)展等優(yōu)勢(shì),迅速成為Apache頂級(jí)項(xiàng)目。Spark起初是為了克服Hadoop并行計(jì)算框架的不足而被提出,發(fā)展至今,Spark已經(jīng)成為包含SparkSQL、Spark Streaming、Spark GraphX和Spark MLlib等子項(xiàng)目在內(nèi)的生態(tài)系統(tǒng)。Spark將MapReduce基于磁盤(pán)的存儲(chǔ)和容錯(cuò)機(jī)制改為基于內(nèi)存的機(jī)制,提高了計(jì)算速度。通過(guò)將執(zhí)行模型抽象為有向無(wú)環(huán)圖(Directed Acyclic Graph,DAG),并根據(jù)彈性分布式數(shù)據(jù)集(Resident Distributed Dataset,RDD)間的寬依賴和窄依賴關(guān)系,串聯(lián)或并行執(zhí)行多個(gè)階段的任務(wù),無(wú)需將不必要的中間結(jié)果輸出到HDFS(Hadoop Distributed File System)上,以此提高計(jì)算效率。

    RDD和算子是Spark的核心與基礎(chǔ)。RDD是Spark中的基本數(shù)據(jù)抽象,其為不可變、可分區(qū)、可并行計(jì)算的數(shù)據(jù)集合。在具體的邏輯實(shí)現(xiàn)上,RDD將數(shù)據(jù)分為若干分區(qū),分區(qū)以分布式方式保存在云節(jié)點(diǎn)上,既可以存儲(chǔ)在內(nèi)存中,也可以存儲(chǔ)在外存中。當(dāng)某些數(shù)據(jù)需要重復(fù)使用時(shí),RDD允許用戶顯式地將數(shù)據(jù)緩存在內(nèi)存中,從而有效提高了計(jì)算速度。在對(duì)RDD中的數(shù)據(jù)進(jìn)行處理時(shí),需要通過(guò)Spark算子來(lái)實(shí)現(xiàn)相應(yīng)的數(shù)據(jù)操作。一般根據(jù)是否會(huì)觸發(fā)Spark作業(yè)執(zhí)行將Spark算子分為如下兩類:

    1)轉(zhuǎn)換算子,其對(duì)RDD進(jìn)行轉(zhuǎn)換操作,將一個(gè)RDD轉(zhuǎn)換為另一個(gè)RDD。轉(zhuǎn)換算子的轉(zhuǎn)換操作是延時(shí)加載的,它們不會(huì)直接返回計(jì)算結(jié)果,只記錄轉(zhuǎn)化動(dòng)作。

    2)行動(dòng)算子,其觸發(fā)Spark作業(yè)執(zhí)行,得到Spark作業(yè)的計(jì)算結(jié)果。

    2 大規(guī)模壓縮模糊K-近鄰算法

    2.1 算法描述

    通過(guò)對(duì)原始CFKNN算法進(jìn)行分析可以得出,該算法難以在大數(shù)據(jù)環(huán)境下進(jìn)行應(yīng)用的3個(gè)主要原因具體如下:

    1)在確定T中樣例x的類別隸屬度時(shí),首先需要計(jì)算集合S的隸屬度矩陣m,然后尋找k個(gè)近鄰,計(jì)算樣例x的類別隸屬度。當(dāng)訓(xùn)練集T為大數(shù)據(jù)集時(shí),集合S中樣例增多,對(duì)T中的每個(gè)樣例尋找S中的k個(gè)近鄰并計(jì)算T中每個(gè)樣例的熵值時(shí),算法計(jì)算量很大,算法運(yùn)行時(shí)間超出可接受范圍。

    2)當(dāng)訓(xùn)練集為大數(shù)據(jù)集時(shí),尋找k個(gè)近鄰的計(jì)算復(fù)雜度大幅增加。

    3)對(duì)所選樣例集合S不能實(shí)時(shí)更新,進(jìn)而導(dǎo)致對(duì)當(dāng)前樣例x的隸屬度和信息熵計(jì)算不準(zhǔn)確,這是導(dǎo)致原始CFKNN算法無(wú)法在大數(shù)據(jù)環(huán)境下應(yīng)用的主要原因。

    針對(duì)以上問(wèn)題,本文提出大規(guī)模壓縮模糊K-近鄰算法,該算法對(duì)原始CFKNN做出如下改進(jìn):

    1)針對(duì)第一個(gè)問(wèn)題,大規(guī)模壓縮模糊K-近鄰算法在計(jì)算樣例x的類別隸屬度時(shí),先在S中尋找樣例x的k個(gè)近鄰,然后只計(jì)算k個(gè)樣例的類別隸屬度,從而大幅降低了由于計(jì)算S中所有樣例的隸屬度所引起的計(jì)算復(fù)雜度(對(duì)應(yīng)算法4第5行)。

    2)利用并行計(jì)算框架,在每個(gè)計(jì)算節(jié)點(diǎn)上并行地尋找集合S中樣例x的k個(gè)近鄰,從而解決第二個(gè)問(wèn)題。

    3)對(duì)于第三個(gè)問(wèn)題,本文在閾值設(shè)置上引入動(dòng)態(tài)機(jī)制,對(duì)閾值進(jìn)行動(dòng)態(tài)調(diào)整,將閾值α設(shè)置為迭代次數(shù)j的單調(diào)遞減函數(shù),如式(4)所示。其中,設(shè)置初始閾值initEntropy時(shí)考慮到對(duì)應(yīng)類別數(shù)的最大熵(對(duì)應(yīng)算法4第6行)。通過(guò)引入動(dòng)態(tài)閾值機(jī)制,使得本文算法訓(xùn)練出的分類器較原始CFKNN算法具有更好的分類精度。

    (4)

    其中,j為當(dāng)前迭代次數(shù),n為總迭代次數(shù)。

    本文基于并行計(jì)算框架的大規(guī)模壓縮模糊K-近鄰算法偽代碼如算法4所示,算法流程如圖1所示。

    算法4大規(guī)模壓縮模糊K-近鄰算法

    輸入數(shù)據(jù)集T,近鄰數(shù)k,閾值α,迭代次數(shù)iterations

    輸出數(shù)據(jù)子集S?T

    1.for iteration in iterations do

    2.初始化S,T

    3.根據(jù)式(3)并行計(jì)算T中每個(gè)樣例x的信息熵Entr(x)

    4.根據(jù)式(4)計(jì)算α(j,n)

    5.if Entropy>α(j,n)

    6.S=S∪{x}

    7.End if

    8.輸出S

    9.End for

    圖1 大規(guī)模壓縮模糊K-近鄰算法流程

    2.2 基于MapReduce的壓縮模糊K-近鄰算法

    在原始CFKNN算法中,當(dāng)T為大數(shù)據(jù)集時(shí),針對(duì)T中的每個(gè)樣例,在S中尋找其k個(gè)近鄰以及計(jì)算T中每個(gè)樣例熵值的過(guò)程,會(huì)大幅提高算法的計(jì)算量。因此,本文將此過(guò)程通過(guò)MapReduce框架進(jìn)行并行執(zhí)行。對(duì)于T中的樣例,并行尋找S中k個(gè)近鄰并計(jì)算熵值,從而大幅縮短算法的運(yùn)行時(shí)間。隨著T中樣例數(shù)量的增加,可以通過(guò)增加計(jì)算節(jié)點(diǎn)個(gè)數(shù),使得算法維持可接受的運(yùn)算時(shí)間并容易擴(kuò)展。大規(guī)模壓縮模糊K-近鄰算法在MapReduce中的計(jì)算,即基于MapReduce的壓縮模糊K-近鄰(MR-CFKNN)算法流程如算法5所示。該算法分為Mapper階段和Reducer階段2個(gè)部分,Mapper階段包含setup和map 2個(gè)方法,Reducer階段只包含reduce方法。在Mapper階段的setup方法中,首先對(duì)數(shù)據(jù)子集S進(jìn)行初始化(算法5第3行),map方法計(jì)算輸入的樣例t∈T在S中的k個(gè)近鄰(算法5第6行),由k個(gè)近鄰計(jì)算出t的熵值Entropy(算法5第7行),若Entropy大于熵的閾值α,則輸出樣例t。Reducer階段不做任何操作直接輸出所選樣例。

    算法5MR-CFKNN算法

    輸入數(shù)據(jù)集T,近鄰數(shù)k,閾值α

    輸出數(shù)據(jù)子集S?T

    1.ClassMapper

    2.執(zhí)行setup()方法,對(duì)所需資源進(jìn)行初始化

    3.初始化數(shù)據(jù)子集S?T

    4.初始化參數(shù)k,initEntropy

    5.使用map方法對(duì)樣例進(jìn)行格式化操作,map(sid id,instance t)

    6.使用findKNN方法找到當(dāng)前樣例的k個(gè)近鄰,Array kNearestNeighbor=findKNN(t,S,k)

    7.使用fKNN方法計(jì)算當(dāng)前樣例的熵,Entropy=fKNN(kNearestNeighbor,t)

    8.If Entropy>α

    9.context.write(NullWritable,t)

    10.End if

    11.Mapper end

    12.Class Reducer

    13.使用reduce方法對(duì)樣例進(jìn)行格式化,reduce(NullWritable,[t(1),t(2),…])

    14.for t in[t(1),t(2),…] do

    15.輸出所選樣例,context.write(NullWritable,t)

    16.End for

    17.Reducer end

    2.3 基于Spark的壓縮模糊K-近鄰算法

    算法6Spark-CFKNN算法

    輸入數(shù)據(jù)集T,近鄰數(shù)k,閾值α,迭代次數(shù)iterations

    輸出數(shù)據(jù)子集S?T

    1.對(duì)數(shù)據(jù)集T進(jìn)行初始化RDD操作,valtrainInitRDD = sc.textFile(T)

    2.得到初始樣例集合D,var dRDD = trainInitRDD.combineByKey().map().flatmap()

    3.得到T與D的差集,var tRDD = trainInitRDD.subtract(dRDD)

    4.for(i<-0 until iterations)do

    5.對(duì)數(shù)據(jù)集D進(jìn)行廣播操作,var dInsbroad = sc.broadcast(dRDD.collect())

    6.valdistanceRDD=tRDD.map(line => {

    7.for(i<-0 until dInsbroad.value.length) do

    8.計(jì)算當(dāng)前樣例與D中樣例的距離,Distance(dInsbroad.value(i),line)

    9.End for

    10.})

    11.valtEntropyAndSelectRDD= distanceRDD.map(line=>{

    12.計(jì)算當(dāng)前樣例的隸屬度,memShipDevide(trainInsMemberShipCalc(kNearestNeighbor))

    13.計(jì)算當(dāng)前樣例的熵值,val Entropy=calcEntropy()

    14.If Entropy>α

    15.Sm=Sm∪{x}

    16.Tm=Tm-{x}

    17.End if

    18.})

    19.將當(dāng)前迭代所選樣例與D求并集,dRDD = dRDD.union(tEntropyAndSelectRDD)

    20.將T與當(dāng)前迭代所選樣例做差集,tRDD = tRDD.subtract(tEntropyAndSelectRDD)

    21.End for

    3 實(shí)驗(yàn)結(jié)果與分析

    p(x|ω1)~N(0,I)

    表1 數(shù)據(jù)集基本信息

    表2 高斯分布參數(shù)

    本文從文件數(shù)目、同步次數(shù)、分類精度、所選樣例個(gè)數(shù)以及算法運(yùn)行時(shí)間等方面,將MR-CFKNN算法和Spark-CFKNN算法進(jìn)行對(duì)比。此外,分別將原始CFKNN算法和本文算法所篩選出的樣例作為訓(xùn)練集,使用KNN算法對(duì)測(cè)試集進(jìn)行分類并比較分類精度。在實(shí)驗(yàn)過(guò)程中,分別從4個(gè)大數(shù)據(jù)集中隨機(jī)選取部分樣例作為測(cè)試集,測(cè)試集基本信息如表3所示。實(shí)驗(yàn)所用的大數(shù)據(jù)平臺(tái)環(huán)境的配置信息如表4所示, 大數(shù)據(jù)平臺(tái)環(huán)境的節(jié)點(diǎn)規(guī)劃如表5所示。

    表3 測(cè)試集基本信息

    表4 實(shí)驗(yàn)配置信息

    表5 大數(shù)據(jù)平臺(tái)環(huán)境的節(jié)點(diǎn)規(guī)劃

    表6所示為原始CFKNN算法與本文大規(guī)模壓縮模糊K-近鄰算法在Guassian1數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。從表6可以看出,CFKNN算法只對(duì)所有訓(xùn)練樣例進(jìn)行1次迭代,MR-CFKNN算法和Spark-CFKNN算法分別進(jìn)行了3次、4次和5次迭代。表中所示的分類精度是分別將原始CFKNN算法、本文算法所篩選出的樣例集合作為訓(xùn)練集,使用KNN算法進(jìn)行分類精度測(cè)試的結(jié)果。大規(guī)模壓縮模糊K-近鄰算法的分類精度優(yōu)于原始CFKNN算法的主要原因有2點(diǎn):首先,CFKNN算法只對(duì)訓(xùn)練集進(jìn)行1次迭代,為了保證所選樣例更具代表性,同時(shí)考慮到閾值為固定值,所以CFKNN算法需要將閾值設(shè)置為中間數(shù)值,這會(huì)導(dǎo)致在算法運(yùn)行初期選入較多的非邊界樣例;其次,大規(guī)模壓縮模糊K-近鄰算法考慮算法運(yùn)行初期訓(xùn)練樣例的熵值普遍較高的情況,且隨著算法的不斷迭代,訓(xùn)練樣例的熵值逐漸接近真實(shí)值,所以其引入了動(dòng)態(tài)閾值策略,使閾值隨著迭代次數(shù)的增加而逐漸衰減,以此來(lái)克服原始CFKNN算法的缺點(diǎn)。以上2點(diǎn)使得大規(guī)模壓縮模糊K-近鄰算法的分類精度優(yōu)于原始CFKNN算法,說(shuō)明本文算法所篩選出的樣例更具代表性。

    表6 3種算法的分類精度比較

    加速比(SpeedUp)是衡量并行計(jì)算算法性能和效果的常用指標(biāo),傳統(tǒng)的加速比計(jì)算方式如式(5)所示,其中,Tbest為串行算法在一臺(tái)計(jì)算機(jī)上的最優(yōu)運(yùn)行時(shí)間,T(N)為并行算法在N臺(tái)計(jì)算機(jī)上的運(yùn)行時(shí)間。

    (5)

    由于本文大規(guī)模壓縮模糊K-近鄰算法改變了CFKNN算法對(duì)訓(xùn)練集只進(jìn)行1次迭代的計(jì)算方式,因此本文通過(guò)式(6)來(lái)計(jì)算Spark-CFKNN算法的加速比,以此為例來(lái)衡量通過(guò)大規(guī)模壓縮模糊K-近鄰算法取得的并行化效果,其中,Tsingle-best為Spark-CFKNN算法在單一節(jié)點(diǎn)上的最優(yōu)運(yùn)行時(shí)間。

    (6)

    表7所示為Spark-CFKNN算法在單一節(jié)點(diǎn)和7個(gè)節(jié)點(diǎn)上的運(yùn)行時(shí)間,從表7可以看出,本文算法大幅縮短了運(yùn)行時(shí)間,具有較高的加速比。

    表7 Spark-CFKNN算法在Gaussian1數(shù)據(jù)集上的加速比

    圖2所示為不同迭代次數(shù)下Spark-CFKNN和MR-CFKNN的分類精度。從圖2可以看出,Spark-CFKNN和MR-CFKNN的分類精度變化趨勢(shì)大致相同,說(shuō)明2個(gè)算法在實(shí)現(xiàn)細(xì)節(jié)上具有邏輯一致性,同時(shí)也沒(méi)有因?yàn)槠脚_(tái)間運(yùn)行機(jī)制的差異而對(duì)分類結(jié)果造成影響。此外,由圖2可知,分類精度和迭代次數(shù)并不成簡(jiǎn)單的正比關(guān)系,即分類精度并不會(huì)隨著迭代次數(shù)的增加而持續(xù)增長(zhǎng),當(dāng)達(dá)到一定迭代次數(shù)時(shí),分類精度會(huì)趨于恒定,這也說(shuō)明為了提高分類精度而持續(xù)增加迭代次數(shù)的做法不可行。

    圖2 Gaussian1數(shù)據(jù)集上分類精度隨迭代次數(shù)的變化情況

    根據(jù)吳信東等人[24]的研究成果,本文對(duì)2種大數(shù)據(jù)平臺(tái)在不同迭代次數(shù)下的文件數(shù)目、同步次數(shù)和算法運(yùn)行時(shí)間進(jìn)行對(duì)比,結(jié)果如表8~表12所示。由于文件數(shù)目和同步次數(shù)只與大數(shù)據(jù)平臺(tái)的調(diào)度機(jī)制有關(guān)而與數(shù)據(jù)集無(wú)關(guān),因此對(duì)該指標(biāo)進(jìn)行對(duì)比時(shí)不區(qū)分?jǐn)?shù)據(jù)集。

    表8 不同迭代次數(shù)下文件數(shù)目和同步次數(shù)的比較

    表9 2種平臺(tái)在Gaussian1數(shù)據(jù)集下的性能對(duì)比

    表10 2種平臺(tái)在Gaussian2數(shù)據(jù)集下的性能對(duì)比

    表11 2種平臺(tái)在Skin Segmentation數(shù)據(jù)集下的性能對(duì)比

    表12 2種平臺(tái)在Healthy Older People數(shù)據(jù)集下的性能對(duì)比

    文件數(shù)目主要指中間文件數(shù)目,因?yàn)樗惴ㄔ谶\(yùn)行過(guò)程中所產(chǎn)生的中間文件數(shù)量不僅會(huì)占用內(nèi)存空間,還會(huì)影響磁盤(pán)的I/O性能,最終導(dǎo)致算法運(yùn)行時(shí)間延長(zhǎng)。在MapReduce中,每次的shuffle操作會(huì)對(duì)map產(chǎn)生的中間結(jié)果進(jìn)行排序和歸并操作,MapReduce通過(guò)歸并和排序操作減少了中間結(jié)果傳輸?shù)臄?shù)據(jù)量,以此保證每一個(gè)map只產(chǎn)生一個(gè)中間數(shù)據(jù)文件,達(dá)到減少文件數(shù)目的目的。在Spark中,默認(rèn)沒(méi)有對(duì)中間數(shù)據(jù)進(jìn)行預(yù)排序和歸并操作,所以只能將不同分區(qū)的數(shù)據(jù)分別保存在單個(gè)文件中,分區(qū)個(gè)數(shù)即為中間文件數(shù)目。從表8可以看出,Spark-CFKNN的中間文件數(shù)目明顯高于MR-CFKNN,且分區(qū)數(shù)并不隨著迭代次數(shù)的增加而增加,原因是Spark-CFKNN通過(guò)增加分區(qū)數(shù)目降低了每個(gè)分區(qū)所需的內(nèi)存空間,減少了每個(gè)task的執(zhí)行時(shí)間,但同時(shí)也造成了中間文件數(shù)目過(guò)多的問(wèn)題,此外,Spark-CFKNN通過(guò)設(shè)置Spark的環(huán)境變量及對(duì)reparation算子進(jìn)行重分區(qū)操作,使得文件數(shù)目保持了恒定。

    對(duì)于同步次數(shù),MapReduce為同步模型,即在所有的map操作結(jié)束后才能進(jìn)行reduce操作。而Spark通過(guò)RDD間的寬依賴、窄依賴關(guān)系以及管道化操作(pipeline),提高了其并行化程度及Spark中算法的局部性能。

    算法的執(zhí)行時(shí)間T會(huì)受到輸入文件時(shí)間Tread、中間數(shù)據(jù)排序時(shí)間Tsort、中間數(shù)據(jù)傳遞時(shí)間Ttrans和輸出文件到HDFS時(shí)間Twrite的影響。因?yàn)閷?duì)每一輪的計(jì)算結(jié)果都進(jìn)行了廣播,2個(gè)算法的執(zhí)行時(shí)間差異主要受到MapReduce和Spark運(yùn)行機(jī)制及調(diào)度策略的影響,所以最終只考慮Tsort和Ttrans對(duì)T造成的影響。對(duì)于中間數(shù)據(jù)排序時(shí)間Tsort,由于MapReduce的shuffle過(guò)程會(huì)對(duì)中間結(jié)果進(jìn)行排序和歸并操作,因此若假設(shè)每個(gè)map任務(wù)有N條數(shù)據(jù),每個(gè)reduce任務(wù)有M條數(shù)據(jù),則MapReduce的中間數(shù)據(jù)排序時(shí)間TMR-sort=N·logaN+R=O(N·logaN)。而在Spark中,默認(rèn)沒(méi)有對(duì)中間數(shù)據(jù)進(jìn)行預(yù)排序的操作,因此,Spark的中間數(shù)據(jù)排序時(shí)間TSpark-sort=0。中間數(shù)據(jù)傳遞時(shí)間Ttrans主要指將map任務(wù)運(yùn)算的數(shù)據(jù)傳送到reduce任務(wù)所消耗的時(shí)間,Ttrans主要由map任務(wù)輸出的中間數(shù)據(jù)大小|D|和網(wǎng)絡(luò)傳輸速度Ct所決定??梢钥闯?在網(wǎng)絡(luò)傳輸速度相同的情況下,Ttrans與中間數(shù)據(jù)大小|D|成正比。由此可知,在相同的迭代次數(shù)下,中間數(shù)據(jù)傳遞時(shí)間Ttrans主要受同步次數(shù)的影響。由于Spark引入了管道化操作(pipeline),因此可以減少同步次數(shù),提高并行化程度。由表8中的同步次數(shù)可以看出,隨著迭代次數(shù)的增加,相比MapReduce,Spark在中間數(shù)據(jù)傳遞時(shí)間Ttrans上的優(yōu)勢(shì)越來(lái)越明顯。

    綜上,由于MR-CFKNN與Spark-CFKNN算法的程序設(shè)計(jì)不同,Spark-CFKNN雖然因?yàn)樵黾恿朔謪^(qū)數(shù)而導(dǎo)致Spark的文件數(shù)目遠(yuǎn)多于MapReduce,但因?yàn)?個(gè)大數(shù)據(jù)框架的調(diào)度機(jī)制存在差異,Spark通過(guò)引入管道化操作減少了同步次數(shù),使得中間數(shù)據(jù)傳輸時(shí)間隨著迭代次數(shù)的增加而越來(lái)越優(yōu)于MapReduce?;趦?nèi)存的Spark可以將算法運(yùn)行過(guò)程中重復(fù)用到的中間數(shù)據(jù)結(jié)果緩存到內(nèi)存中,減少因?yàn)橹貜?fù)計(jì)算所消耗的時(shí)間,最終使得Spark-CFKNN算法的運(yùn)行效率優(yōu)于MR-CFKNN算法。此外,從表9~表12可以看出,Skin Segmentation和Healthy Older People數(shù)據(jù)集在算法運(yùn)行時(shí)間上的差異小于Gaussian1和Gaussian2數(shù)據(jù)集,導(dǎo)致該現(xiàn)象的原因是因?yàn)榍皟烧叩臄?shù)據(jù)規(guī)模小于后兩者。

    分別使用原始數(shù)據(jù)集和本文算法迭代5次的所選樣例集合做訓(xùn)練集,使用KNN算法對(duì)分類精度進(jìn)行測(cè)試,結(jié)果如表13所示。從表13可以看出,除了Healthy Older People數(shù)據(jù)集以外,在其余3個(gè)數(shù)據(jù)集上本文算法都實(shí)現(xiàn)了精度提升,表明該算法具有有效性。

    表13 原始數(shù)據(jù)集和本文算法所選樣例集合的最優(yōu)分類精度對(duì)比

    4 結(jié)束語(yǔ)

    本文對(duì)CFKNN算法進(jìn)行改進(jìn),提出一種在大數(shù)據(jù)環(huán)境下具有良好可擴(kuò)展性的大規(guī)模壓縮模糊K-近鄰算法。該算法在樣例選擇的過(guò)程中引入動(dòng)態(tài)機(jī)制,使得所選樣例更具代表性。實(shí)驗(yàn)結(jié)果表明,與原始CFKNN算法相比,該算法具有更高的分類精度和加速比,將基于MapReduce和Spark的2種大規(guī)模壓縮模糊K-近鄰算法相比,兩者在樣例選擇個(gè)數(shù)和分類精度上相近,但在文件數(shù)目、同步次數(shù)和運(yùn)行時(shí)間上存在比較明顯的差異。下一步將對(duì)動(dòng)態(tài)選擇的閾值是否為最優(yōu)閾值以及樣例初始化是否影響算法性能等問(wèn)題進(jìn)行深入研究。

    猜你喜歡
    樣例次數(shù)閾值
    樣例復(fù)雜度與學(xué)習(xí)形式對(duì)不同數(shù)量樣例學(xué)習(xí)的影響
    樣例呈現(xiàn)方式對(duì)概念訓(xùn)練類別表征的影響
    機(jī)場(chǎng)航站樓年雷擊次數(shù)計(jì)算
    2020年,我國(guó)汽車召回次數(shù)同比減少10.8%,召回?cái)?shù)量同比增長(zhǎng)3.9%
    商用汽車(2021年4期)2021-10-13 07:16:02
    一類無(wú)界算子的二次數(shù)值域和譜
    “樣例教學(xué)”在小學(xué)高年級(jí)數(shù)學(xué)中的應(yīng)用
    小波閾值去噪在深小孔鉆削聲發(fā)射信號(hào)處理中的應(yīng)用
    基于自適應(yīng)閾值和連通域的隧道裂縫提取
    比值遙感蝕變信息提取及閾值確定(插圖)
    河北遙感(2017年2期)2017-08-07 14:49:00
    依據(jù)“次數(shù)”求概率
    国产精品伦人一区二区| 欧美日韩视频高清一区二区三区二| www.色视频.com| 久久精品国产自在天天线| 免费看a级黄色片| 国产熟女欧美一区二区| 精品人妻偷拍中文字幕| 永久免费av网站大全| 亚洲熟女精品中文字幕| 国产精品福利在线免费观看| 男人舔奶头视频| 日韩欧美精品v在线| av天堂中文字幕网| 交换朋友夫妻互换小说| 亚洲成色77777| 三级经典国产精品| 夜夜看夜夜爽夜夜摸| av天堂中文字幕网| 插逼视频在线观看| 一级毛片黄色毛片免费观看视频| 色网站视频免费| 国产一区二区三区av在线| 26uuu在线亚洲综合色| 亚洲av免费在线观看| 精品一区在线观看国产| 欧美另类一区| 成人漫画全彩无遮挡| 日韩成人av中文字幕在线观看| 女人十人毛片免费观看3o分钟| 亚洲av免费在线观看| 亚洲最大成人av| 免费观看无遮挡的男女| 日本一二三区视频观看| 麻豆乱淫一区二区| 国产在线一区二区三区精| 国产伦精品一区二区三区四那| 亚洲无线观看免费| 国产老妇女一区| 国产高潮美女av| 亚洲欧美精品专区久久| 国产精品国产三级专区第一集| 黄片无遮挡物在线观看| 少妇丰满av| 国产黄a三级三级三级人| 欧美另类一区| 色播亚洲综合网| 亚洲av电影在线观看一区二区三区 | 大码成人一级视频| 97超视频在线观看视频| 舔av片在线| av国产久精品久网站免费入址| 男男h啪啪无遮挡| 春色校园在线视频观看| a级毛色黄片| 免费黄网站久久成人精品| 亚洲国产精品国产精品| 内地一区二区视频在线| 又爽又黄无遮挡网站| 久久久久性生活片| 国产精品一区www在线观看| 久久精品久久久久久久性| 内地一区二区视频在线| 一级毛片aaaaaa免费看小| 欧美变态另类bdsm刘玥| 免费大片黄手机在线观看| 精品国产露脸久久av麻豆| 神马国产精品三级电影在线观看| 国产 一区精品| 少妇人妻久久综合中文| 久久精品综合一区二区三区| 欧美日韩国产mv在线观看视频 | 国产精品一区www在线观看| 亚洲人成网站高清观看| 久久久午夜欧美精品| 国产视频首页在线观看| 在现免费观看毛片| 麻豆成人av视频| 街头女战士在线观看网站| 99九九线精品视频在线观看视频| 韩国高清视频一区二区三区| 成年版毛片免费区| 亚洲av男天堂| 简卡轻食公司| 精品少妇黑人巨大在线播放| 国产伦精品一区二区三区视频9| 亚洲国产最新在线播放| 精品久久久噜噜| 精品熟女少妇av免费看| 激情五月婷婷亚洲| 免费黄网站久久成人精品| 久久久久久久久久人人人人人人| 国产亚洲91精品色在线| 国产精品嫩草影院av在线观看| 午夜精品一区二区三区免费看| 亚洲欧美精品自产自拍| 日韩不卡一区二区三区视频在线| 国产伦精品一区二区三区视频9| 在线亚洲精品国产二区图片欧美 | 欧美国产精品一级二级三级 | 午夜激情福利司机影院| 日本黄色片子视频| 亚洲天堂国产精品一区在线| 18+在线观看网站| 免费av不卡在线播放| 亚洲一区二区三区欧美精品 | 亚洲精品456在线播放app| 黄色欧美视频在线观看| 国产成人freesex在线| 九九在线视频观看精品| 亚洲欧美精品专区久久| 97超视频在线观看视频| 在线免费十八禁| a级一级毛片免费在线观看| 亚洲av中文av极速乱| 18禁在线播放成人免费| 97在线人人人人妻| 国产爱豆传媒在线观看| 日韩成人av中文字幕在线观看| 亚洲精品国产av蜜桃| 精品国产露脸久久av麻豆| 一级片'在线观看视频| 一级黄片播放器| 高清视频免费观看一区二区| 草草在线视频免费看| 一区二区三区乱码不卡18| 免费少妇av软件| 欧美精品一区二区大全| 精品少妇久久久久久888优播| 成人亚洲精品av一区二区| 波野结衣二区三区在线| 黑人高潮一二区| av女优亚洲男人天堂| 亚洲人成网站高清观看| 97人妻精品一区二区三区麻豆| 亚洲精品影视一区二区三区av| 国产乱人偷精品视频| 日本黄大片高清| 精品久久国产蜜桃| 亚洲国产成人一精品久久久| 欧美三级亚洲精品| 亚洲av一区综合| 麻豆成人av视频| 日韩欧美 国产精品| 各种免费的搞黄视频| 欧美成人一区二区免费高清观看| 亚洲av免费高清在线观看| 久久久久国产精品人妻一区二区| 99热全是精品| 欧美 日韩 精品 国产| 18禁动态无遮挡网站| 国产精品麻豆人妻色哟哟久久| 美女被艹到高潮喷水动态| 国产高清不卡午夜福利| 日韩中字成人| av一本久久久久| 国产精品嫩草影院av在线观看| 又爽又黄a免费视频| 国产精品一区二区三区四区免费观看| 亚洲精品视频女| 大码成人一级视频| 欧美日韩国产mv在线观看视频 | videos熟女内射| 女人久久www免费人成看片| 少妇人妻一区二区三区视频| 亚洲国产欧美人成| 一本久久精品| 新久久久久国产一级毛片| 看免费成人av毛片| 日韩大片免费观看网站| 欧美丝袜亚洲另类| 精品熟女少妇av免费看| 色视频在线一区二区三区| av在线app专区| 亚洲av日韩在线播放| 噜噜噜噜噜久久久久久91| 特大巨黑吊av在线直播| 91午夜精品亚洲一区二区三区| 日本av手机在线免费观看| 国产综合懂色| 中文字幕av成人在线电影| 精品少妇久久久久久888优播| 久久久a久久爽久久v久久| 久久久午夜欧美精品| 少妇猛男粗大的猛烈进出视频 | 国产亚洲最大av| 成人鲁丝片一二三区免费| 精品酒店卫生间| 久久久久久伊人网av| 亚洲成人久久爱视频| 免费大片黄手机在线观看| 爱豆传媒免费全集在线观看| 国产精品国产三级国产专区5o| 免费大片黄手机在线观看| 大码成人一级视频| 少妇熟女欧美另类| 99视频精品全部免费 在线| 九色成人免费人妻av| 成人鲁丝片一二三区免费| 人人妻人人澡人人爽人人夜夜| 黑人高潮一二区| 麻豆乱淫一区二区| 人妻夜夜爽99麻豆av| 午夜免费鲁丝| 赤兔流量卡办理| 又大又黄又爽视频免费| 色视频www国产| av天堂中文字幕网| 听说在线观看完整版免费高清| 日日啪夜夜爽| 亚洲精品,欧美精品| 国语对白做爰xxxⅹ性视频网站| 亚洲精华国产精华液的使用体验| 国产精品久久久久久精品电影| 国产成人aa在线观看| 精品少妇黑人巨大在线播放| 国产一区二区在线观看日韩| 久久精品久久精品一区二区三区| 亚洲四区av| 天堂俺去俺来也www色官网| 国产成人a区在线观看| 在线播放无遮挡| 国产男女超爽视频在线观看| 免费高清在线观看视频在线观看| 男女边吃奶边做爰视频| 亚洲国产色片| 男女无遮挡免费网站观看| 永久免费av网站大全| 国产精品三级大全| 国产精品久久久久久精品电影小说 | 深爱激情五月婷婷| 亚洲欧美日韩另类电影网站 | 国产久久久一区二区三区| 免费av不卡在线播放| a级毛片免费高清观看在线播放| av线在线观看网站| 交换朋友夫妻互换小说| 国产免费一区二区三区四区乱码| 人妻一区二区av| 亚洲av男天堂| 在线亚洲精品国产二区图片欧美 | 晚上一个人看的免费电影| 天堂中文最新版在线下载 | 免费人成在线观看视频色| 国产 一区精品| 2021少妇久久久久久久久久久| 99re6热这里在线精品视频| 国产精品国产三级国产av玫瑰| 韩国av在线不卡| 成人亚洲欧美一区二区av| 一级毛片电影观看| 国产日韩欧美在线精品| 精品一区二区免费观看| 狠狠精品人妻久久久久久综合| 麻豆久久精品国产亚洲av| 亚洲精品久久午夜乱码| a级一级毛片免费在线观看| 日本wwww免费看| 麻豆乱淫一区二区| 久久久久久九九精品二区国产| 国产精品久久久久久av不卡| 国产探花极品一区二区| 舔av片在线| 免费黄频网站在线观看国产| 97人妻精品一区二区三区麻豆| 在线免费十八禁| 少妇高潮的动态图| 99九九线精品视频在线观看视频| 成人午夜精彩视频在线观看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 国内精品美女久久久久久| 国产黄片视频在线免费观看| 免费少妇av软件| 最新中文字幕久久久久| 51国产日韩欧美| 老司机影院毛片| 青青草视频在线视频观看| 一区二区三区免费毛片| 国产久久久一区二区三区| 成人高潮视频无遮挡免费网站| 欧美日韩视频精品一区| 狂野欧美激情性xxxx在线观看| 五月天丁香电影| 中文字幕制服av| 亚洲人成网站在线观看播放| 22中文网久久字幕| 亚洲精品乱久久久久久| 大香蕉97超碰在线| 美女被艹到高潮喷水动态| 蜜臀久久99精品久久宅男| 视频中文字幕在线观看| 蜜桃亚洲精品一区二区三区| 黄色一级大片看看| 国内揄拍国产精品人妻在线| 好男人视频免费观看在线| 97在线人人人人妻| 两个人的视频大全免费| 日韩强制内射视频| 亚洲人成网站在线播| 熟女电影av网| 精品久久国产蜜桃| 午夜精品国产一区二区电影 | 免费电影在线观看免费观看| 国产在视频线精品| 97在线人人人人妻| eeuss影院久久| 精品一区二区三区视频在线| 在线a可以看的网站| 久久久久久久精品精品| 欧美老熟妇乱子伦牲交| 中国国产av一级| 日韩一区二区视频免费看| 精品久久久久久电影网| 18禁动态无遮挡网站| 日本与韩国留学比较| 下体分泌物呈黄色| 国产av码专区亚洲av| 欧美zozozo另类| 在线精品无人区一区二区三 | 午夜激情福利司机影院| 午夜日本视频在线| 久久久久性生活片| 自拍偷自拍亚洲精品老妇| 狂野欧美白嫩少妇大欣赏| 国产女主播在线喷水免费视频网站| 春色校园在线视频观看| av.在线天堂| 性插视频无遮挡在线免费观看| 国产精品99久久久久久久久| 午夜免费鲁丝| 亚洲性久久影院| 搡老乐熟女国产| 成人午夜精彩视频在线观看| 国产男人的电影天堂91| 国产日韩欧美在线精品| 久久人人爽人人爽人人片va| 成人欧美大片| 有码 亚洲区| 青春草视频在线免费观看| 国产精品一及| 丝瓜视频免费看黄片| 久久精品国产自在天天线| 亚洲精品456在线播放app| 黄片无遮挡物在线观看| 嘟嘟电影网在线观看| 国产午夜精品久久久久久一区二区三区| 亚洲欧美一区二区三区国产| 婷婷色麻豆天堂久久| av女优亚洲男人天堂| 寂寞人妻少妇视频99o| 婷婷色综合www| 熟女电影av网| 热99国产精品久久久久久7| 大香蕉久久网| 一区二区三区四区激情视频| 一级爰片在线观看| 亚洲熟女精品中文字幕| av国产久精品久网站免费入址| 成人综合一区亚洲| 亚洲av国产av综合av卡| 久久久国产一区二区| 少妇猛男粗大的猛烈进出视频 | 国产精品福利在线免费观看| 国精品久久久久久国模美| 亚洲人成网站高清观看| 精品人妻偷拍中文字幕| 男男h啪啪无遮挡| 赤兔流量卡办理| 精品国产三级普通话版| 一本一本综合久久| 一个人看视频在线观看www免费| 在线观看三级黄色| 亚洲成人一二三区av| 国产有黄有色有爽视频| 欧美一区二区亚洲| 男女那种视频在线观看| 亚洲自拍偷在线| 99久国产av精品国产电影| 国产伦在线观看视频一区| 亚洲国产精品专区欧美| 亚洲精品成人av观看孕妇| 成年版毛片免费区| 我要看日韩黄色一级片| 国产日韩欧美亚洲二区| 深夜a级毛片| 亚洲欧美一区二区三区国产| 国内精品美女久久久久久| 中文乱码字字幕精品一区二区三区| 你懂的网址亚洲精品在线观看| 嫩草影院入口| 精品熟女少妇av免费看| 国产人妻一区二区三区在| 人妻夜夜爽99麻豆av| 午夜爱爱视频在线播放| 日韩一本色道免费dvd| 中文乱码字字幕精品一区二区三区| 国产女主播在线喷水免费视频网站| 亚洲欧美中文字幕日韩二区| 国产亚洲5aaaaa淫片| 干丝袜人妻中文字幕| 2021天堂中文幕一二区在线观| 亚洲精品第二区| 久久久午夜欧美精品| 99热这里只有是精品在线观看| 中文欧美无线码| 特大巨黑吊av在线直播| 国产精品久久久久久精品电影| 老女人水多毛片| 国产男人的电影天堂91| 99久久精品一区二区三区| 狂野欧美激情性xxxx在线观看| 人妻一区二区av| 一区二区三区四区激情视频| 人体艺术视频欧美日本| 色婷婷久久久亚洲欧美| 免费观看在线日韩| 亚洲欧美日韩卡通动漫| 街头女战士在线观看网站| 亚洲精品色激情综合| 国产v大片淫在线免费观看| 国产女主播在线喷水免费视频网站| av国产久精品久网站免费入址| 日本熟妇午夜| 日本猛色少妇xxxxx猛交久久| 在线亚洲精品国产二区图片欧美 | 亚洲国产日韩一区二区| 日韩三级伦理在线观看| 熟妇人妻不卡中文字幕| 午夜福利高清视频| 一区二区三区乱码不卡18| 岛国毛片在线播放| 嫩草影院精品99| 久久精品熟女亚洲av麻豆精品| 视频区图区小说| 建设人人有责人人尽责人人享有的 | 亚洲欧美一区二区三区国产| 插逼视频在线观看| av在线亚洲专区| 国产成人福利小说| 在线观看人妻少妇| 在线观看一区二区三区| 一级av片app| 2022亚洲国产成人精品| 好男人视频免费观看在线| 看免费成人av毛片| 精品久久久噜噜| 男女啪啪激烈高潮av片| 大片免费播放器 马上看| 中文资源天堂在线| 亚洲伊人久久精品综合| 99热这里只有是精品在线观看| 国产老妇女一区| 超碰av人人做人人爽久久| 中文字幕人妻熟人妻熟丝袜美| 国产精品人妻久久久影院| 欧美极品一区二区三区四区| 久久99蜜桃精品久久| av女优亚洲男人天堂| 全区人妻精品视频| 欧美xxxx黑人xx丫x性爽| 成人免费观看视频高清| 免费观看性生交大片5| av在线亚洲专区| 午夜福利视频精品| 永久网站在线| 免费在线观看成人毛片| 亚洲欧美成人综合另类久久久| 亚洲人成网站高清观看| 国产精品精品国产色婷婷| 天天一区二区日本电影三级| 春色校园在线视频观看| 欧美亚洲 丝袜 人妻 在线| 美女视频免费永久观看网站| 18禁裸乳无遮挡动漫免费视频 | 丰满人妻一区二区三区视频av| 国产淫语在线视频| 日本av手机在线免费观看| 伦理电影大哥的女人| 超碰av人人做人人爽久久| 91精品一卡2卡3卡4卡| 国产免费视频播放在线视频| 国产精品久久久久久久电影| 能在线免费看毛片的网站| 亚洲成色77777| 国产精品久久久久久精品电影小说 | 97人妻精品一区二区三区麻豆| 国产日韩欧美亚洲二区| 国产亚洲最大av| 国产精品.久久久| 国产精品嫩草影院av在线观看| 久久99精品国语久久久| av黄色大香蕉| 一级a做视频免费观看| 国产成人freesex在线| 亚洲欧美清纯卡通| 亚洲精品,欧美精品| 亚洲不卡免费看| 777米奇影视久久| 人人妻人人爽人人添夜夜欢视频 | 免费不卡的大黄色大毛片视频在线观看| 久久这里有精品视频免费| 亚洲av一区综合| 国产av码专区亚洲av| 亚洲精品第二区| 国内揄拍国产精品人妻在线| 亚洲丝袜综合中文字幕| 欧美zozozo另类| 我的老师免费观看完整版| 免费看av在线观看网站| 亚洲精品乱久久久久久| 伦精品一区二区三区| 国产在视频线精品| 国内少妇人妻偷人精品xxx网站| 国产黄色视频一区二区在线观看| 欧美精品人与动牲交sv欧美| 日本欧美国产在线视频| 一级毛片黄色毛片免费观看视频| 一个人观看的视频www高清免费观看| 尾随美女入室| 国产亚洲最大av| 秋霞伦理黄片| 精品午夜福利在线看| 涩涩av久久男人的天堂| 成人黄色视频免费在线看| 在线免费观看不下载黄p国产| 亚洲一区二区三区欧美精品 | 免费电影在线观看免费观看| 色5月婷婷丁香| 成人无遮挡网站| 男女啪啪激烈高潮av片| 亚洲图色成人| 亚洲最大成人av| 国产老妇女一区| 麻豆精品久久久久久蜜桃| 亚洲av男天堂| 色5月婷婷丁香| 日本一二三区视频观看| 亚洲欧美日韩无卡精品| 一级爰片在线观看| av国产精品久久久久影院| 两个人的视频大全免费| 狠狠精品人妻久久久久久综合| 九色成人免费人妻av| 黄色一级大片看看| 国产精品99久久99久久久不卡 | 国产欧美日韩精品一区二区| 99九九线精品视频在线观看视频| 成人高潮视频无遮挡免费网站| 毛片一级片免费看久久久久| 国产精品国产av在线观看| 欧美精品人与动牲交sv欧美| 国产成人免费无遮挡视频| 色网站视频免费| 简卡轻食公司| 国产一区二区三区av在线| 亚洲图色成人| 国产av不卡久久| 美女被艹到高潮喷水动态| 青春草亚洲视频在线观看| 成人高潮视频无遮挡免费网站| 成人无遮挡网站| 欧美精品一区二区大全| 国产精品久久久久久精品古装| 国产精品久久久久久精品电影| 日韩欧美一区视频在线观看 | 人妻夜夜爽99麻豆av| 美女高潮的动态| 草草在线视频免费看| 免费人成在线观看视频色| 少妇裸体淫交视频免费看高清| 亚洲av二区三区四区| 日韩亚洲欧美综合| 亚洲精品自拍成人| 99热这里只有精品一区| 五月玫瑰六月丁香| 欧美高清成人免费视频www| 久久99热这里只频精品6学生| 三级男女做爰猛烈吃奶摸视频| 熟女人妻精品中文字幕| 少妇人妻一区二区三区视频| 乱码一卡2卡4卡精品| av一本久久久久| 人人妻人人澡人人爽人人夜夜| 亚洲成人久久爱视频| 日韩伦理黄色片| 日本一本二区三区精品| 一边亲一边摸免费视频| 国产探花极品一区二区| 亚洲va在线va天堂va国产| 亚洲精品乱码久久久久久按摩| 成人鲁丝片一二三区免费| 国产精品一及| 午夜视频国产福利| 嫩草影院新地址| 全区人妻精品视频| 三级国产精品片| 日韩精品有码人妻一区| 精品久久久噜噜| 视频中文字幕在线观看| 你懂的网址亚洲精品在线观看| 午夜福利视频1000在线观看| 日本黄大片高清| 免费看日本二区| 爱豆传媒免费全集在线观看| av专区在线播放| 91在线精品国自产拍蜜月| 欧美xxⅹ黑人| 男人狂女人下面高潮的视频| 一级毛片 在线播放| 日日摸夜夜添夜夜添av毛片| 性插视频无遮挡在线免费观看| 日韩欧美 国产精品| 晚上一个人看的免费电影| 777米奇影视久久| 伦精品一区二区三区| 午夜福利视频1000在线观看|