• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于隨機(jī)森林和投票機(jī)制的大數(shù)據(jù)樣例選擇算法

    2021-01-21 03:22:58翟俊海黃雅婕申瑞彩侯瓔真
    計(jì)算機(jī)應(yīng)用 2021年1期
    關(guān)鍵詞:樣例子集分類器

    周 翔,翟俊海*,黃雅婕,申瑞彩,侯瓔真

    (1.河北大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院,河北保定 071002;2.河北省機(jī)器學(xué)習(xí)與計(jì)算智能重點(diǎn)實(shí)驗(yàn)室(河北大學(xué)),河北保定 071002)

    0 引言

    在信息技術(shù)飛速發(fā)展的時(shí)代,不僅技術(shù)在快速發(fā)展,數(shù)據(jù)也在呈指數(shù)型上升。隨著數(shù)據(jù)規(guī)模不斷擴(kuò)大,數(shù)據(jù)已經(jīng)充斥了生活中的方方面面,如何從海量數(shù)據(jù)中去除冗余的和不重要的數(shù)據(jù),或從大數(shù)據(jù)中選擇重要的子集具有重要的研究?jī)r(jià)值。

    樣例選擇是解決大數(shù)據(jù)問題的一種有效的方法,它從大數(shù)據(jù)集中選擇一個(gè)子集,用選擇出的子集代替大數(shù)據(jù)集進(jìn)行學(xué)習(xí),目標(biāo)是在學(xué)習(xí)性能受很小影響的前提下,提高學(xué)習(xí)效率。歷史上,第一個(gè)樣例選擇算法是Hart[1]于1968 年提出壓縮最近鄰(Condensed Nearest Neighbor,CNN)算法,研究人員提出的諸多樣例選擇算法根據(jù)樣例選擇過程可分為兩類:增量算法和減量算法。

    增量算法從原始數(shù)據(jù)集T中按照特定的選擇規(guī)則,不斷地選擇重要的樣例放入初始化為空集的子集S中,增量算法從T中選擇樣例的方法具有隨機(jī)性,這種隨機(jī)性對(duì)最終結(jié)果影響較大。CNN 就是一種增量樣例選擇算法。Carbonera 和Abel[2-3]提出了兩種基于密度的樣例選擇算法:LDIS(Local Density Instance Selection)和CDIS(Central Density Instance Selection)。LDIS 算法選擇樣例的標(biāo)準(zhǔn)是在每個(gè)類中選擇具有最高密度值的樣例,而不是在整個(gè)數(shù)據(jù)集中進(jìn)行全局搜索,這樣保證了LDIS 算法具有較低的計(jì)算時(shí)間復(fù)雜度。CDIS 算法采用與LDIS 算法相同策略,不同之處在于給有K個(gè)最近鄰的樣例賦予一個(gè)更高的密度值。在這一框架下,Malhat 等[4]也提出了兩種基于密度的樣例選擇算法:基于全局密度的樣例選擇和基于全局密度的增強(qiáng)樣例選擇算法。Arnaiz-González 等[5]提出了民主樣例選擇算法,并在Hadoop 平臺(tái)上,用MapReduce編程實(shí)現(xiàn)了該算法。De Haro-Garcíada等[6]提出了一種基于遺傳算法的樣例選擇算法。Guo 等[7]提出了一種基于Bagging 集成策略的關(guān)鍵樣例選擇算法,提出的方法比Bagging 方法更準(zhǔn)確,比Boosting 方法更可靠。上面算法都是針對(duì)分類任務(wù)提出的,而Kordos 等[8]提出了一種針對(duì)回歸任務(wù)的進(jìn)化樣例選擇算法。

    減量型算法初始化數(shù)據(jù)集S為原始數(shù)據(jù)集T,再使用某種啟發(fā)式從S中刪除不重要或冗余的樣例,與增量型算法相比,減量型算法具有更高的時(shí)間復(fù)雜度,但是會(huì)提高分類器在子集上的測(cè)試精度。在CNN 算法的基礎(chǔ)上,Gates[9]提出了約簡(jiǎn)最近鄰(Reduced Nearest Neighbor,RNN)算法,RNN能從CNN選出的子集中進(jìn)一步刪除冗余的樣例,但是需更多的處理時(shí)間。為了解決CNN 和RNN 都可能無法得到最小一致子集的缺點(diǎn),Ritter 等[10]提出了SNN(Selective Nearest Neighbour)算法,SNN 將原數(shù)據(jù)集中每個(gè)樣例與一致子集中最近同類別樣例之間的距離設(shè)定為小于該樣例到原數(shù)據(jù)集中的最近非同類樣例之間的距離,選出更小距離的一致子集。Liao 等[11]提出一種去除文本文件中噪聲樣例選擇的算法,通過計(jì)算文本文件的類別屬性得分,來區(qū)分每一類中噪聲樣例和正常樣例。受交叉驗(yàn)證思想的啟發(fā),Zhai 等[12]提出了一種交叉樣例選擇算法,該算法使用極限學(xué)習(xí)機(jī)算法構(gòu)建由分類器組成的委員會(huì),以投票熵作為評(píng)價(jià)樣例重要性的準(zhǔn)則進(jìn)行樣例選擇。Abbasi 等[13]提出了一種基于ReliefF 的樣例選擇算法,該算法利用ReliefF 計(jì)算最近鄰集合中每個(gè)樣例的權(quán)重,選擇出權(quán)重大的樣例。Cavalcanti 等[14]提出了一種基于排名的樣例選擇,該算法根據(jù)每個(gè)樣例與訓(xùn)練集中所有其他樣例的關(guān)系來計(jì)算每個(gè)樣例的得分,根據(jù)得分排名選擇樣例。Yang 等[15]提出了一種基于粗糙集的樣例選擇算法。Pang 等[16]提出了基于K-近鄰的加權(quán)多類孿生支持向量機(jī)的樣例選擇算法,它通過刪除已分類的樣例子集中冗余的樣例來得到有代表性的數(shù)據(jù)子集。Jiang 等[17]提出了基于深度學(xué)習(xí)的樣例選擇方法,根據(jù)本地?cái)?shù)據(jù)集的重要性進(jìn)行篩選,將篩選出的樣例集合進(jìn)行網(wǎng)絡(luò)上傳,來減小網(wǎng)絡(luò)負(fù)載和訓(xùn)練時(shí)長(zhǎng),提高數(shù)據(jù)集的性能。

    隨機(jī)森林(Random Forest,RF)由決策樹算法歸納總結(jié)得出,決策樹的并行化問題是先由Kufrin[18]提出的。Breiman[19]提出了應(yīng)用非常廣泛的隨機(jī)森林算法。Yildiz 等[20]提出了并行化回歸樹算法。Wu 等[21]在Hadoop 平臺(tái)上用MapReduce 編程實(shí)現(xiàn)了C4.5 決策樹算法。Robnik-Sikonja[22]提出了改進(jìn)的隨機(jī)森林算法,使用邊際權(quán)重加權(quán)投票代替普通投票選擇子樹。Del Rio 等[23]使用隨機(jī)森林算法對(duì)大數(shù)據(jù)進(jìn)行過采樣、欠采樣和成本敏感學(xué)習(xí),并用在MapReduce 編程實(shí)現(xiàn)了提出的算法。Xu 等[24]提出了一種基于Fayyad 邊界點(diǎn)原理的改進(jìn)隨機(jī)森林算法,以解決經(jīng)典隨機(jī)森林算法在連續(xù)屬性離散化過程中的信息丟失問題。

    綜上所述,目前的參考文獻(xiàn)中基于大數(shù)據(jù)的樣例選擇問題還比較少,本文擬在這一問題領(lǐng)域使用隨機(jī)森林算法解決大數(shù)據(jù)樣例選擇問題。解決問題的思路是,在MapReduce[25]和Spark[26]框架上,將大數(shù)據(jù)集劃分為若干個(gè)數(shù)據(jù)子集,將這些數(shù)據(jù)子集分發(fā)到不同的大數(shù)據(jù)計(jì)算平臺(tái)的不同節(jié)點(diǎn)上,在各個(gè)節(jié)點(diǎn)上,通過隨機(jī)森林算法進(jìn)行分類處理,將其中被錯(cuò)誤分類的樣例子集S1選擇出來。重復(fù)p次,得到p個(gè)樣例子集S1,S2,…,Sp。最后用這p個(gè)樣例子集進(jìn)行投票,得到最終樣例子集。

    1 基礎(chǔ)知識(shí)

    本章簡(jiǎn)要介紹將要用到的基礎(chǔ)知識(shí),包括隨機(jī)森林、開源的大數(shù)據(jù)處理平臺(tái)Hadoop和Spark。

    1.1 隨機(jī)森林

    隨機(jī)森林[19]是一種由若干棵決策樹構(gòu)成的集成分類算法,其基礎(chǔ)是決策樹算法,其核心是如何用隨機(jī)化的思想構(gòu)建組成隨機(jī)森林的多棵決策樹。對(duì)于給定的包含n個(gè)樣例的訓(xùn)練集T={(xi,yi)|xi∈Rd,yi∈Y},假設(shè)隨機(jī)森林的規(guī)模為l,隨機(jī)森林算法中的隨機(jī)性體現(xiàn)在兩個(gè)方面:一是按一定比例從訓(xùn)練集T中隨機(jī)地抽取樣例,得到T的一個(gè)樣例子集,重復(fù)l次,得到l個(gè)樣例子集;二是按一定比例從d個(gè)屬性中隨機(jī)地抽取一個(gè)屬性子集來劃分樣例。隨機(jī)森林算法的偽代碼如算法1所示。

    算法1 隨機(jī)森林算法。

    輸入 訓(xùn)練集T={(xi,yi)|xi∈Rd,yi∈Y},1 ≤i≤n;隨機(jī)森林的規(guī)模l,隨機(jī)抽取的屬性子集的大小m,測(cè)試樣例x;

    輸出 測(cè)試樣例x的類別標(biāo)簽y∈Y。

    1.2 大數(shù)據(jù)處理平臺(tái)Hadoop與Spark

    Hadoop[25]是Apache 軟件基金會(huì)負(fù)責(zé)管理維護(hù)的一個(gè)開源的分布式大數(shù)據(jù)處理平臺(tái),用于大數(shù)據(jù)的高可靠、可擴(kuò)展的分布式計(jì)算。HDFS(Hadoop Distributed File System)和MapReduce 是Hadoop 的兩個(gè)核心組件,HDFS 負(fù)責(zé)大數(shù)據(jù)的組織、存儲(chǔ)和管理,MapReduce 用于實(shí)現(xiàn)用戶對(duì)大數(shù)據(jù)的不同應(yīng)用邏輯。實(shí)際上,MapReduce 是一個(gè)并行編程框架,這一框架可方便用戶編寫處理大數(shù)據(jù)的應(yīng)用程序,封裝了許多底層處理細(xì)節(jié),如節(jié)點(diǎn)之間的通信、任務(wù)同步、負(fù)載均衡、失效檢查與恢復(fù)等,都由MapRecuce 自動(dòng)完成,不需要用戶干預(yù)。MapRecuce 采用分而治之的思想處理大數(shù)據(jù),將數(shù)據(jù)處理分成Map、Shuffle 和Reduce 三個(gè)階段,與HDFS 配合共同完成大數(shù)據(jù)處理,MapReduce處理大數(shù)據(jù)的流程如圖1所示。

    圖1 MapReduce處理大數(shù)據(jù)的流程Fig.1 Flowchart of big data processing by MapReduce

    從程序設(shè)計(jì)語言的角度來看,Map 和Reduce 是兩個(gè)抽象的編程接口,由用戶編程實(shí)現(xiàn),完成自己的應(yīng)用邏輯。

    Spark[26]是一個(gè)基于內(nèi)存的大數(shù)據(jù)處理平臺(tái),2009年誕生于加州大學(xué)伯克利分校AMPLab(Algorithms,Machine,and People Lab),早期屬于伯克利大學(xué)的研究性開發(fā)項(xiàng)目,采用Scala 編程語言開發(fā),于2010 年正式開源,2013 年6 月成為Apeche 孵化項(xiàng)目,2014 年2 月成為Apache 頂級(jí)項(xiàng)目,現(xiàn)在Spark 已經(jīng)成為一個(gè)功能完善的生態(tài)系統(tǒng)。其中,Spark Core是Spark的核心組件,具有任務(wù)調(diào)度、存儲(chǔ)管理、錯(cuò)誤恢復(fù)等功能。Spark 的主要操作對(duì)象為彈性分布式數(shù)據(jù)集(Resilient Distributed Dataset,RDD),RDD是一種抽象的數(shù)據(jù)模塊結(jié)構(gòu)。Spark 使用RDD 實(shí)現(xiàn)基于內(nèi)存的計(jì)算,在計(jì)算過程中會(huì)優(yōu)先考慮將數(shù)據(jù)緩存在內(nèi)存中,如果內(nèi)存容量不足的話,Spark 才會(huì)考慮將數(shù)據(jù)或部分?jǐn)?shù)據(jù)緩存到磁盤上。Spark 為RDD 提供了一系列算子,以對(duì)RDD 進(jìn)行有效的操作。實(shí)際上,Spark 對(duì)大數(shù)據(jù)的處理就是通過對(duì)RDD的處理實(shí)現(xiàn)的,將一種RDD經(jīng)算子操作變換成另一種RDD 來實(shí)現(xiàn)數(shù)據(jù)的計(jì)算。Spark 對(duì)大數(shù)據(jù)的處理流程如圖2所示。

    圖2 Spark處理大數(shù)據(jù)的流程Fig.2 Flowchart of big data processing by Spark

    2 基于隨機(jī)森林的大數(shù)據(jù)投票樣例選擇算法

    本章首先介紹基于隨機(jī)森林的大數(shù)據(jù)樣例選擇算法,簡(jiǎn)記為RF-IS(Random Forest Instance Selection),然后分別介紹在MapReduce 平臺(tái)和Spark 平臺(tái)上實(shí)現(xiàn)基于隨機(jī)森林的大數(shù)據(jù)選擇算法的具體思路。

    本文提出的基于隨機(jī)森林的大數(shù)據(jù)投票樣例選擇算法,其基本思路是將大數(shù)據(jù)集分為訓(xùn)練集D1和測(cè)試集D2,在D1上用隨機(jī)森林算法訓(xùn)練出隨機(jī)森林分類器,在D2上使用訓(xùn)練出的隨機(jī)森林分類器進(jìn)行分類,把錯(cuò)誤分類的樣例選擇出來記為S1,重復(fù)p次,得到p個(gè)子集S1,S2,…,Sp,對(duì)得到的p個(gè)子集進(jìn)行投票選擇,得到最終的樣例子集S。提出的算法的基本思想如圖3所示,算法的偽代碼如算法2所示。

    圖3 所提算法的基本思想Fig.3 Basic idea of the proposed algorithm

    算法2 基于隨機(jī)森林的大數(shù)據(jù)投票樣例選擇算法。

    輸入 大數(shù)據(jù)集D;

    輸出 選擇的樣例子集S。

    2.1 隨機(jī)森林大數(shù)據(jù)投票樣例選擇算法的MapReduce實(shí)現(xiàn)

    根據(jù)對(duì)隨機(jī)森林算法的分析,由于需要處理的數(shù)據(jù)集為大數(shù)據(jù)集,故將算法在MapReduce 計(jì)算框架中實(shí)現(xiàn),將數(shù)據(jù)集并行地在大數(shù)據(jù)計(jì)算平臺(tái)進(jìn)行建樹和分類的操作,不僅提高了建模的效率,還提升了容錯(cuò)率。數(shù)據(jù)集中樣例數(shù)的增多,可以通過增加MapReduce 的計(jì)算節(jié)點(diǎn),來縮短運(yùn)算的處理時(shí)間,將大數(shù)據(jù)集劃分成多個(gè)數(shù)據(jù)子集,對(duì)每個(gè)數(shù)據(jù)子集進(jìn)行樣例選擇,提高了算法的可擴(kuò)展性。算法3 是基于MapReduce的隨機(jī)森林大數(shù)據(jù)投票樣例選擇算法,簡(jiǎn)記為MR-RF-IS(MapReduce Random Forest Instance Selection)。

    算法3 MR-RF-IS算法。

    在MapReduce 計(jì)算平臺(tái)中,Mahout 庫也提供了隨機(jī)森林算法實(shí)現(xiàn)的方法,分為三部分組成。首先生成描述性文件,不僅要了解數(shù)據(jù)特征屬性的數(shù)據(jù)格式是離散還是連續(xù)的,還要知道訓(xùn)練集中每條的輸入輸出記錄在哪個(gè)屬性列;然后生成隨機(jī)森林模型,包括建立一棵決策樹,把建立好的決策樹轉(zhuǎn)換成為隨機(jī)森林模型和把隨機(jī)森林模型存入文件系統(tǒng);最后評(píng)估隨機(jī)森林模型,主要是對(duì)隨機(jī)森林模型的分類正確率進(jìn)行評(píng)估。

    2.2 隨機(jī)森林大數(shù)據(jù)投票樣例選擇算法的Spark實(shí)現(xiàn)

    基于隨機(jī)森林的大數(shù)據(jù)樣例選擇算法是運(yùn)用集成學(xué)習(xí)(bagging)的思想,將多棵樹集成的一種算法,所以在MR-RFIS 的基礎(chǔ)上,在Spark 大數(shù)據(jù)計(jì)算平臺(tái)上對(duì)其進(jìn)行實(shí)現(xiàn)。在Spark 平臺(tái)上實(shí)現(xiàn)隨機(jī)森林算法,簡(jiǎn)記為Spark-RF-IS(Spark Random Forest Instance Selection)。Spark 隨機(jī)森林算法采用了多種優(yōu)化處理:

    切分點(diǎn)抽樣式統(tǒng)計(jì) 在local 模式中決策樹對(duì)連續(xù)值進(jìn)行劃分點(diǎn)(split)進(jìn)行分裂時(shí),都是通過對(duì)特征進(jìn)行排序,然后取相鄰的兩個(gè)數(shù)據(jù)間作為數(shù)據(jù)的劃分點(diǎn)。假如在standalone模式中,進(jìn)行相同的操作會(huì)帶來大量的網(wǎng)絡(luò)通信操作,當(dāng)數(shù)據(jù)量巨大時(shí),算法的效率將極為低下。為了避免排序操作,MLlib庫中的隨機(jī)森林在建樹的過程中,通過對(duì)各個(gè)分區(qū)進(jìn)行一定的子特征抽樣策略,生成每個(gè)分區(qū)的統(tǒng)計(jì)數(shù)據(jù)來獲取劃分點(diǎn),此策略雖然犧牲了部分的精度,但對(duì)模型的整體影響不大。

    特征裝箱(Binning) 根據(jù)抽樣策略得到劃分點(diǎn)后,將特征進(jìn)行裝箱操作將計(jì)算出最優(yōu)的劃分點(diǎn),劃分出來的區(qū)域(Bin)由相鄰的數(shù)據(jù)劃分點(diǎn)構(gòu)成,Bin的個(gè)數(shù)很小,一般采用30個(gè)左右,通過計(jì)算每個(gè)Bin 中不同類型的比例,可以快速計(jì)算出最優(yōu)的劃分點(diǎn)

    分區(qū)統(tǒng)計(jì) 在Bin 數(shù)據(jù)進(jìn)行單獨(dú)統(tǒng)計(jì)后,可以通過Reduce 階段進(jìn)行數(shù)據(jù)的合并來得到總的Bin 數(shù)據(jù),合并的數(shù)據(jù)為統(tǒng)計(jì)數(shù)據(jù),不會(huì)帶來很大的網(wǎng)絡(luò)通信負(fù)載。

    逐層訓(xùn)練(level-wise training) 在local 模式中建樹的過程使用深度優(yōu)先的遞歸調(diào)用策略,需要移動(dòng)數(shù)據(jù),將相同節(jié)點(diǎn)的數(shù)據(jù)匯總到一起,但是在分布式處理系統(tǒng)中無法有效地執(zhí)行此操作,同時(shí)數(shù)據(jù)過大也會(huì)導(dǎo)致操作無法存儲(chǔ)在一起,所以需要分布式存儲(chǔ)。MLlib 采用的是廣度優(yōu)先的逐層構(gòu)建樹節(jié)點(diǎn)的策略,遍歷所有數(shù)據(jù)的次數(shù)等于決策樹的最大層數(shù),每次遍歷只需要計(jì)算每個(gè)節(jié)點(diǎn)上特征的Binning統(tǒng)計(jì)參數(shù),遍歷完成后,根據(jù)節(jié)點(diǎn)的Binning統(tǒng)計(jì)數(shù),決定是否切分和如何切分。Spark-RF-IS算法的偽代碼如算法4所示。

    算法4 Spark-RF算法。

    輸入 大數(shù)據(jù)集T;

    輸出 數(shù)據(jù)子集S;

    3 實(shí)驗(yàn)結(jié)果與分析

    3.1 實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)所用到MapReduce和Spark大數(shù)據(jù)平臺(tái),兩個(gè)平臺(tái)都為主從式結(jié)構(gòu),設(shè)定1臺(tái)為主機(jī)為主節(jié)點(diǎn)和7臺(tái)主機(jī)作為從節(jié)點(diǎn),7 臺(tái)計(jì)算機(jī)都在同一局域網(wǎng)內(nèi),并通過端口速率為100 Mb/s 的H3C S5100 交換機(jī)連接。集群的操作系統(tǒng)均為CentOS 6.4,CPU 為Intel E5 2.20 GHz,實(shí)驗(yàn)使用Hadoop 版本為2.7.1,Spark 版本為2.3.1。客戶端開發(fā)環(huán)境為Idea,JDK版本為jdk-1.8.0_144-windows-x64,表1為集群環(huán)境配置的詳細(xì)信息表,計(jì)算機(jī)型號(hào)均為Dell PowerEdge R820。

    表1 大數(shù)據(jù)計(jì)算平臺(tái)節(jié)點(diǎn)規(guī)劃Tab.1 Node configuration of big data computing platform

    3.2 實(shí)驗(yàn)數(shù)據(jù)

    實(shí)驗(yàn)采用3 個(gè)人工大數(shù)據(jù)集和3 個(gè)UCI 大數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),所使用的數(shù)據(jù)集的基本信息見表2,每個(gè)數(shù)據(jù)集都被隨機(jī)分成了兩部分,數(shù)據(jù)集的80%作為訓(xùn)練集,20%作為測(cè)試集,將由下面描述的實(shí)驗(yàn)指標(biāo),將MR-RF-IS 和Spark-RF-IS 進(jìn)行比對(duì)分析,三個(gè)Gaussian人工數(shù)據(jù)集的具體參數(shù)見表3。

    表2 數(shù)據(jù)集基本信息Tab.2 Basic information of datasets

    表3 三個(gè)人工數(shù)據(jù)集服從的概率分布Tab.3 Probability distributions followed by three synthetic datasets

    3.3 實(shí)驗(yàn)分析

    本節(jié)主要是對(duì)在MapReduce 和Spark 平臺(tái)上實(shí)現(xiàn)的基于隨機(jī)森林的大數(shù)據(jù)樣例選擇進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)指標(biāo)為測(cè)試精度、選擇比、算法執(zhí)行時(shí)間。

    測(cè)試精度 將原數(shù)據(jù)集分為測(cè)試集和訓(xùn)練集,將訓(xùn)練集經(jīng)過樣例選擇的數(shù)據(jù)子集進(jìn)行訓(xùn)練為分類器,用測(cè)試集對(duì)該分類器的測(cè)試精度進(jìn)行測(cè)試,測(cè)試精度越高,代表樣例選擇的算法越好。

    選擇比 選擇比是所選擇的樣例數(shù)與原始數(shù)據(jù)集的比值,選擇比的值越低,證明選擇出的子集更有代表性,說明樣例選擇的性能好。

    運(yùn)行時(shí)間 樣例選擇算法從開始到執(zhí)行結(jié)束所花費(fèi)的時(shí)間。

    實(shí)驗(yàn)結(jié)果如表4。由表4實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),在人工數(shù)據(jù)集和UCI 數(shù)據(jù)集上,MR-RF-IS 和Spark-RF-IS 算法在測(cè)試精度和選擇比上數(shù)值近似相同,是因?yàn)镸R-RF-IS和Spark-RF-IS在算法結(jié)構(gòu)和運(yùn)行邏輯上基本秉承同種思想,算法在執(zhí)行樣例選擇時(shí)所選擇的樣例子集也是大致相同的,選擇出的樣例子集重要程度也近乎相似;但兩種算法的在不同的平臺(tái)上所運(yùn)行的時(shí)間有著很大的差距,造成這種差距的主要原因是在MapReduce 和Spark大數(shù)據(jù)處理平臺(tái)上對(duì)數(shù)據(jù)的處理采取截然不同的策略?;陔S機(jī)森林的大數(shù)據(jù)樣例選擇在大數(shù)據(jù)計(jì)算平臺(tái)上算法主要在I/O 操作和中間數(shù)據(jù)傳輸上消耗過多時(shí)間,其運(yùn)行時(shí)間T可以分為文件讀取時(shí)間Tread、中間數(shù)據(jù)傳輸時(shí)間Ttran、中間數(shù)據(jù)排序時(shí)間Tsort和文件輸出時(shí)間Twrite;其中,文件讀取時(shí)間Tread受文件讀取速度和文件的影響,文件輸出時(shí)間Twrite受文件輸出速度和文件數(shù)量的影響。在MapReduce和Spark平臺(tái)上,文件的輸入輸出速度和數(shù)據(jù)的數(shù)量的差異主要是受到不同平臺(tái)的運(yùn)行機(jī)制和讀寫方法影響,所以只對(duì)中間數(shù)據(jù)傳輸時(shí)間Ttran和中間數(shù)據(jù)排序時(shí)間Tsort造成的影響進(jìn)行分析。

    表4 在6個(gè)數(shù)據(jù)集上實(shí)驗(yàn)指標(biāo)的對(duì)比Tab.4 Comparison of experimental indexes on 6 datasets

    中間數(shù)據(jù)傳輸時(shí)間Ttran指的是將Map 執(zhí)行的任務(wù)輸出到Reduce 階段作為輸入所消耗的時(shí)間,主要由Map 階段輸出的文件大小和I/O 傳輸速度所決定,MapReduce 在處理大數(shù)據(jù)集時(shí),首先將數(shù)據(jù)集在HDFS 進(jìn)行存儲(chǔ),然后在Map 階段對(duì)放在HDFS 中的數(shù)據(jù)集進(jìn)行處理后再將中間數(shù)據(jù)輸出到HDFS 等待Reduce階段的處理,在Reduce階段會(huì)根據(jù)數(shù)據(jù)的鍵值對(duì)數(shù)據(jù)集進(jìn)行計(jì)算。而Spark作為基于內(nèi)存的大數(shù)據(jù)處理平臺(tái),將Spark計(jì)算中的中間數(shù)據(jù)直接在內(nèi)存中儲(chǔ)存,只有在中間數(shù)據(jù)溢出時(shí)才會(huì)把HDFS 作為備倉庫進(jìn)行儲(chǔ)存,這樣會(huì)大幅度減少網(wǎng)絡(luò)I/O操作,導(dǎo)致因此基于MapReduce的中間數(shù)據(jù)傳輸時(shí)間遠(yuǎn)大于基于Spark的中間數(shù)據(jù)傳輸時(shí)間。

    中間數(shù)據(jù)排序時(shí)間Tsort主要是針對(duì)MapReduce平臺(tái),為了保證每一個(gè)Map 任務(wù)都對(duì)應(yīng)一個(gè)有序的中間數(shù)據(jù),Shuffle 過程會(huì)對(duì)中間數(shù)據(jù)進(jìn)行排序和歸并操作,當(dāng)有m個(gè)Map任務(wù)時(shí),每個(gè)Map 任務(wù)有n條數(shù)據(jù),則在MapReduce 上對(duì)中間數(shù)據(jù)的傳輸時(shí)間為O(m· logn)。而在Spark 大數(shù)據(jù)處理平臺(tái)上,不需要中間數(shù)據(jù)有序排列,所以其排序時(shí)間為0。所以從不論中間數(shù)據(jù)排序時(shí)間Tsort和中間數(shù)據(jù)傳輸時(shí)間Ttran,Spark的算法運(yùn)行時(shí)間都優(yōu)于MapReduce算法處理時(shí)間。

    對(duì)于文件數(shù)目來講,算法運(yùn)行過程產(chǎn)生的中間數(shù)據(jù)會(huì)以文件形式存儲(chǔ),過多的數(shù)據(jù)既帶來大量的I/O操作也會(huì)占用內(nèi)存的存儲(chǔ)空間,也會(huì)導(dǎo)致算法的運(yùn)行時(shí)間增加。在MapReduce 在執(zhí)行操作時(shí),Shuffle 過程會(huì)將每個(gè)Map 節(jié)點(diǎn)所產(chǎn)生的文件都進(jìn)行排序和歸并操作來使數(shù)據(jù)能存儲(chǔ)在一個(gè)文件中,但在Spark中,不需要對(duì)中間數(shù)據(jù)進(jìn)行排序和歸并操作,只是對(duì)數(shù)據(jù)進(jìn)行合理分區(qū),雖然會(huì)產(chǎn)生比MapReduce 更多的文件,但是從一定程度上減少了運(yùn)行時(shí)間。

    對(duì)于同步次數(shù)來說,MapReduce 是典型的同步模型,只有當(dāng)所有的Map 任務(wù)完成后才可以進(jìn)行Reduce 任務(wù),而Spark是異步模型,多個(gè)節(jié)點(diǎn)可以單獨(dú)地執(zhí)行計(jì)算,這使得算法的執(zhí)行效率得到了很大的提升。

    綜上所述,雖然在MR-RF-IS 和Spark-RF-IS 算法的程序設(shè)計(jì)上思想相同,但兩個(gè)平臺(tái)的計(jì)算邏輯相差較大,Spark 上雖對(duì)數(shù)據(jù)進(jìn)行分區(qū)操作導(dǎo)致Spark 所產(chǎn)生的文件數(shù)遠(yuǎn)遠(yuǎn)多于MapReduce 的文件數(shù),但在數(shù)據(jù)的傳輸調(diào)度上,Spark 采用導(dǎo)管式傳輸,大幅減少了同步的次數(shù),隨著迭代次數(shù)的增加在中間數(shù)據(jù)傳輸上優(yōu)于MapReduce,所以Spark 在算法運(yùn)行時(shí)間上有更好的表現(xiàn)。

    3.4 與其他大數(shù)據(jù)樣例選擇算法對(duì)比

    表5 是本文算法與CNN 算法和RNN 算法對(duì)相同的大數(shù)據(jù)集進(jìn)行樣例選擇的實(shí)驗(yàn)結(jié)果。

    表5 3種算法在各數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab.5 Experimental results of three algorithms on different datasets

    從測(cè)試精度上來看,本文提出的算法在測(cè)試精度上在大部分?jǐn)?shù)據(jù)集上都能夠超越CNN 和RNN 經(jīng)典算法。因?yàn)殡S機(jī)森林分類器是集成的強(qiáng)學(xué)習(xí)器,有良好的泛化能力,且自身精度比其他單個(gè)算法更高,但計(jì)算開銷很小,所以本文使用的隨機(jī)森林分類器較KNN(KNearest Neighbor)分類器性能更好,在處理大規(guī)模數(shù)據(jù)時(shí)有很大優(yōu)勢(shì)。

    從運(yùn)算時(shí)間上來看,CNN 算法作為經(jīng)典算法在規(guī)模較小的數(shù)據(jù)集的時(shí)間復(fù)雜度有一定的優(yōu)勢(shì),但是在處理規(guī)模較大的數(shù)據(jù)集時(shí),所花費(fèi)的時(shí)間較多;而RNN 算法在隨著數(shù)據(jù)規(guī)模的擴(kuò)大,時(shí)間復(fù)雜度也隨之大幅增長(zhǎng),當(dāng)數(shù)據(jù)集到達(dá)一定規(guī)模后就無法對(duì)其進(jìn)行處理;而本文提出的RF-IS 算法在規(guī)模較小的數(shù)據(jù)集中算法在運(yùn)行時(shí)間上表現(xiàn)穩(wěn)定,當(dāng)數(shù)據(jù)達(dá)到一定規(guī)模后,也能在保證選擇比足夠小的情況下,可以花費(fèi)比較少的時(shí)間處理大規(guī)模的數(shù)據(jù)集。

    綜上所述,本文提出的RF-IS 算法在保證測(cè)試精度和一定選擇比的情況下,RF-IS算法對(duì)規(guī)模更大的數(shù)據(jù)集表現(xiàn)穩(wěn)定并且算法運(yùn)行時(shí)間更短,代表RF-IS 算法在大數(shù)據(jù)樣例選擇性能上更加出色,表現(xiàn)更加穩(wěn)定。

    4 結(jié)語

    本文提出了基于隨機(jī)森林的大數(shù)據(jù)投票樣例選擇算法,并分別在MapReduce和Spark大數(shù)據(jù)處理平臺(tái)上進(jìn)行了實(shí)現(xiàn),在此基礎(chǔ)上不僅對(duì)兩個(gè)大數(shù)據(jù)處理平臺(tái)進(jìn)行了實(shí)驗(yàn)比較,而且還與經(jīng)典樣例選擇算法CNN 和RNN 進(jìn)行了實(shí)驗(yàn)比較。從對(duì)兩個(gè)大數(shù)據(jù)平臺(tái)的實(shí)驗(yàn)對(duì)比來看,因?yàn)槠脚_(tái)差異,在算法運(yùn)行時(shí)間上有較為明顯的差異,在其余的實(shí)驗(yàn)指標(biāo)上均近似相同。從提出的算法與CNN和RNN的實(shí)驗(yàn)比較的結(jié)果來看,在保證測(cè)試精度和一定的選擇比的情況下,本文提出的算法對(duì)規(guī)模更大的數(shù)據(jù)集進(jìn)行計(jì)算時(shí),表現(xiàn)更加穩(wěn)定且具有更低的計(jì)算時(shí)間復(fù)雜度,RF-IS算法在大數(shù)據(jù)樣例選擇上性能更加穩(wěn)定,表現(xiàn)更加出色。綜上所述,本文提出的算法是行之有效的。

    猜你喜歡
    樣例子集分類器
    由一道有關(guān)集合的子集個(gè)數(shù)題引發(fā)的思考
    樣例復(fù)雜度與學(xué)習(xí)形式對(duì)不同數(shù)量樣例學(xué)習(xí)的影響
    樣例呈現(xiàn)方式對(duì)概念訓(xùn)練類別表征的影響
    拓?fù)淇臻g中緊致子集的性質(zhì)研究
    “樣例教學(xué)”在小學(xué)高年級(jí)數(shù)學(xué)中的應(yīng)用
    關(guān)于奇數(shù)階二元子集的分離序列
    BP-GA光照分類器在車道線識(shí)別中的應(yīng)用
    加權(quán)空-譜與最近鄰分類器相結(jié)合的高光譜圖像分類
    結(jié)合模糊(C+P)均值聚類和SP-V-支持向量機(jī)的TSK分類器
    每一次愛情都只是愛情的子集
    都市麗人(2015年4期)2015-03-20 13:33:22
    成人av在线播放网站| 免费大片18禁| 此物有八面人人有两片| 午夜福利高清视频| 国产爱豆传媒在线观看| 日本与韩国留学比较| 国产真实伦视频高清在线观看 | or卡值多少钱| 变态另类丝袜制服| 日韩欧美免费精品| 欧美黑人巨大hd| 国产精品嫩草影院av在线观看 | 91在线观看av| .国产精品久久| 永久网站在线| 精品人妻1区二区| 亚洲一区二区三区色噜噜| av在线观看视频网站免费| 99久久精品热视频| 国产男人的电影天堂91| 午夜福利欧美成人| 热99在线观看视频| 美女高潮喷水抽搐中文字幕| 日韩欧美三级三区| 香蕉av资源在线| 五月伊人婷婷丁香| 一a级毛片在线观看| 欧美日韩精品成人综合77777| 99久久精品热视频| 香蕉av资源在线| 亚洲国产欧洲综合997久久,| 美女高潮喷水抽搐中文字幕| 国产成年人精品一区二区| 成人三级黄色视频| 免费在线观看影片大全网站| 亚洲第一区二区三区不卡| av.在线天堂| 欧美日本视频| 日韩大尺度精品在线看网址| 真实男女啪啪啪动态图| 久久久久久久久久久丰满 | 日本在线视频免费播放| 日韩欧美国产在线观看| 尤物成人国产欧美一区二区三区| 亚洲第一电影网av| 日本一本二区三区精品| 亚洲在线观看片| 国产 一区 欧美 日韩| 久久精品国产亚洲av天美| 成人综合一区亚洲| 韩国av一区二区三区四区| 变态另类成人亚洲欧美熟女| 成人国产综合亚洲| 欧美日韩瑟瑟在线播放| 成人永久免费在线观看视频| 国产精品98久久久久久宅男小说| 麻豆成人av在线观看| 老熟妇乱子伦视频在线观看| 欧美激情久久久久久爽电影| 婷婷亚洲欧美| 在线a可以看的网站| 不卡一级毛片| 日本免费一区二区三区高清不卡| 亚洲精品在线观看二区| 国产三级在线视频| 久久欧美精品欧美久久欧美| 此物有八面人人有两片| 婷婷色综合大香蕉| 国产私拍福利视频在线观看| 国产亚洲91精品色在线| or卡值多少钱| 久久久久久大精品| 一个人免费在线观看电影| 久久久久久久精品吃奶| 午夜亚洲福利在线播放| 91在线精品国自产拍蜜月| 色播亚洲综合网| 中亚洲国语对白在线视频| 99在线视频只有这里精品首页| 精品一区二区三区视频在线| 国模一区二区三区四区视频| 人人妻,人人澡人人爽秒播| 亚洲精品成人久久久久久| 91麻豆精品激情在线观看国产| 麻豆国产97在线/欧美| 免费观看人在逋| 久久国内精品自在自线图片| 啪啪无遮挡十八禁网站| 国产精华一区二区三区| 免费看av在线观看网站| 亚洲av中文字字幕乱码综合| 全区人妻精品视频| 日韩一本色道免费dvd| 亚洲成人中文字幕在线播放| 波多野结衣高清作品| 久久久精品欧美日韩精品| 久久久久久久午夜电影| 国产一区二区激情短视频| 成人特级av手机在线观看| 国产高清视频在线播放一区| 亚洲美女黄片视频| 美女高潮喷水抽搐中文字幕| 久久久久久久精品吃奶| 国产美女午夜福利| 日本在线视频免费播放| 亚洲国产日韩欧美精品在线观看| 搞女人的毛片| 午夜日韩欧美国产| 欧美潮喷喷水| 又黄又爽又刺激的免费视频.| 性欧美人与动物交配| 99久久精品国产国产毛片| 欧美zozozo另类| 深夜精品福利| www.色视频.com| 在线观看一区二区三区| www日本黄色视频网| 欧美又色又爽又黄视频| 在线天堂最新版资源| 亚洲无线观看免费| 老熟妇乱子伦视频在线观看| 中文亚洲av片在线观看爽| 国产高潮美女av| 在线观看一区二区三区| 日韩强制内射视频| 国产精品久久视频播放| 99热这里只有是精品在线观看| 99久久成人亚洲精品观看| 免费av观看视频| 变态另类成人亚洲欧美熟女| 中文字幕av成人在线电影| 欧美bdsm另类| 多毛熟女@视频| 在线观看美女被高潮喷水网站| 国产片特级美女逼逼视频| 国产在线一区二区三区精| 久久精品国产亚洲av涩爱| av在线蜜桃| 一级毛片 在线播放| 欧美日韩视频高清一区二区三区二| 国产精品三级大全| 美女福利国产在线 | 成人综合一区亚洲| 一级毛片黄色毛片免费观看视频| 亚洲美女视频黄频| 日韩成人av中文字幕在线观看| 97精品久久久久久久久久精品| 99热这里只有是精品50| 人体艺术视频欧美日本| 搡女人真爽免费视频火全软件| 在线观看国产h片| 热99国产精品久久久久久7| 狠狠精品人妻久久久久久综合| 一级毛片aaaaaa免费看小| www.av在线官网国产| 亚洲激情五月婷婷啪啪| 菩萨蛮人人尽说江南好唐韦庄| 在线观看美女被高潮喷水网站| 麻豆精品久久久久久蜜桃| 涩涩av久久男人的天堂| 国产黄片美女视频| 久久精品国产自在天天线| 日韩强制内射视频| 精品一区二区三区视频在线| 欧美3d第一页| 中文乱码字字幕精品一区二区三区| 亚洲色图综合在线观看| 久久久久久久大尺度免费视频| 97在线人人人人妻| 国产色爽女视频免费观看| 极品少妇高潮喷水抽搐| 国产淫语在线视频| 亚洲精华国产精华液的使用体验| 国产在线免费精品| 国产伦在线观看视频一区| 黄色日韩在线| 国产精品一区二区性色av| 纵有疾风起免费观看全集完整版| 成人亚洲欧美一区二区av| 日韩,欧美,国产一区二区三区| 内射极品少妇av片p| 插逼视频在线观看| 观看av在线不卡| 丰满乱子伦码专区| 下体分泌物呈黄色| 日韩欧美一区视频在线观看 | 六月丁香七月| 国产中年淑女户外野战色| 日韩一区二区视频免费看| 另类亚洲欧美激情| 国产 精品1| 亚洲国产精品国产精品| 亚洲性久久影院| 亚洲av欧美aⅴ国产| 搡女人真爽免费视频火全软件| 777米奇影视久久| 18禁在线无遮挡免费观看视频| 超碰97精品在线观看| 在线观看一区二区三区激情| 国产精品精品国产色婷婷| 亚洲,一卡二卡三卡| 免费人成在线观看视频色| 国产精品国产三级国产专区5o| 韩国高清视频一区二区三区| 极品教师在线视频| 热99国产精品久久久久久7| 熟妇人妻不卡中文字幕| 亚洲人成网站在线观看播放| 免费大片黄手机在线观看| 久久久亚洲精品成人影院| 久久久久久久久大av| 美女福利国产在线 | 久久久亚洲精品成人影院| 在线观看一区二区三区| 女人十人毛片免费观看3o分钟| 秋霞在线观看毛片| 亚洲人成网站在线观看播放| 男女免费视频国产| 美女国产视频在线观看| 一区二区三区免费毛片| 妹子高潮喷水视频| 又黄又爽又刺激的免费视频.| 免费av不卡在线播放| 日韩中字成人| 国产精品三级大全| 日韩亚洲欧美综合| 最近2019中文字幕mv第一页| 老熟女久久久| 国产色婷婷99| 女人久久www免费人成看片| 国产乱人视频| 日韩制服骚丝袜av| 午夜免费鲁丝| 特大巨黑吊av在线直播| 日日摸夜夜添夜夜添av毛片| 国产爱豆传媒在线观看| 国产成人91sexporn| 久久97久久精品| 男人狂女人下面高潮的视频| 男女无遮挡免费网站观看| 久久国产精品大桥未久av | 日韩伦理黄色片| 在线观看国产h片| 男人爽女人下面视频在线观看| 99久久精品一区二区三区| 亚洲av国产av综合av卡| 伦理电影免费视频| 色视频www国产| 丝袜喷水一区| 制服丝袜香蕉在线| 欧美精品国产亚洲| a 毛片基地| 亚洲三级黄色毛片| 精品国产露脸久久av麻豆| 一本色道久久久久久精品综合| 亚洲av免费高清在线观看| 国产高清三级在线| 亚洲av二区三区四区| 亚洲伊人久久精品综合| 一级毛片我不卡| 免费看光身美女| 99久久精品一区二区三区| 亚洲精品视频女| 高清av免费在线| 国产精品久久久久久精品电影小说 | 亚洲精品国产色婷婷电影| 好男人视频免费观看在线| 久久精品久久久久久久性| 久久亚洲国产成人精品v| 亚洲精品自拍成人| 久久ye,这里只有精品| 老司机影院成人| 乱码一卡2卡4卡精品| 国产av码专区亚洲av| 2018国产大陆天天弄谢| 2021少妇久久久久久久久久久| 欧美极品一区二区三区四区| 国产精品一二三区在线看| 夜夜爽夜夜爽视频| 亚洲第一区二区三区不卡| 最近最新中文字幕免费大全7| 午夜福利影视在线免费观看| 少妇精品久久久久久久| 三级经典国产精品| 精品久久久久久久久亚洲| 日日撸夜夜添| 亚洲婷婷狠狠爱综合网| 久久99热这里只有精品18| 亚洲美女视频黄频| 成人国产av品久久久| 欧美一级a爱片免费观看看| h日本视频在线播放| 免费人妻精品一区二区三区视频| 亚州av有码| 97热精品久久久久久| 国产深夜福利视频在线观看| 亚洲国产日韩一区二区| 午夜福利在线在线| 九色成人免费人妻av| 18禁裸乳无遮挡免费网站照片| 女的被弄到高潮叫床怎么办| 亚洲精品一二三| 日本黄大片高清| 少妇人妻久久综合中文| 91精品国产国语对白视频| 美女视频免费永久观看网站| 国产av一区二区精品久久 | 亚洲天堂av无毛| 激情五月婷婷亚洲| 欧美xxxx性猛交bbbb| 夜夜爽夜夜爽视频| 在线天堂最新版资源| 国产成人91sexporn| 天天躁日日操中文字幕| 亚洲精品456在线播放app| 日韩一区二区视频免费看| 日本免费在线观看一区| 亚洲怡红院男人天堂| 亚洲欧美日韩卡通动漫| 男人狂女人下面高潮的视频| 亚洲无线观看免费| 亚洲天堂av无毛| 天天躁日日操中文字幕| 又黄又爽又刺激的免费视频.| 欧美精品一区二区大全| 2018国产大陆天天弄谢| 国产精品一区www在线观看| 成年女人在线观看亚洲视频| av网站免费在线观看视频| 麻豆国产97在线/欧美| 熟女人妻精品中文字幕| 亚洲av中文字字幕乱码综合| 午夜日本视频在线| 超碰av人人做人人爽久久| 国产久久久一区二区三区| 亚洲av日韩在线播放| 黑人猛操日本美女一级片| 亚洲综合精品二区| av专区在线播放| 亚洲成人中文字幕在线播放| 亚洲精品国产成人久久av| 久久久色成人| 亚洲av成人精品一区久久| 国产永久视频网站| 亚洲婷婷狠狠爱综合网| a级一级毛片免费在线观看| 久久国产精品大桥未久av | 国产精品人妻久久久影院| 秋霞在线观看毛片| 一个人看的www免费观看视频| 丰满乱子伦码专区| 97在线人人人人妻| 国产亚洲5aaaaa淫片| 欧美xxxx黑人xx丫x性爽| 精品视频人人做人人爽| 亚洲精品日韩av片在线观看| 亚洲欧美中文字幕日韩二区| 欧美日韩综合久久久久久| 国国产精品蜜臀av免费| 国产91av在线免费观看| 欧美精品一区二区大全| videossex国产| 看免费成人av毛片| 18禁裸乳无遮挡动漫免费视频| 中文乱码字字幕精品一区二区三区| 亚洲中文av在线| 18禁裸乳无遮挡动漫免费视频| 狠狠精品人妻久久久久久综合| 午夜福利在线在线| 亚洲欧美清纯卡通| 欧美+日韩+精品| 多毛熟女@视频| 亚洲第一av免费看| 在线观看一区二区三区| 国产精品一区www在线观看| 成人高潮视频无遮挡免费网站| 18禁裸乳无遮挡动漫免费视频| 亚洲av电影在线观看一区二区三区| 麻豆精品久久久久久蜜桃| av专区在线播放| 精品国产三级普通话版| 亚洲精品久久午夜乱码| 成人一区二区视频在线观看| 一区在线观看完整版| 国产熟女欧美一区二区| 亚洲精品乱久久久久久| 狂野欧美白嫩少妇大欣赏| 大陆偷拍与自拍| 少妇裸体淫交视频免费看高清| av在线app专区| 久久精品人妻少妇| videossex国产| 伦精品一区二区三区| xxx大片免费视频| 久久久久久人妻| 日韩一本色道免费dvd| 女人十人毛片免费观看3o分钟| 亚洲人成网站在线观看播放| 国产精品国产三级国产av玫瑰| 超碰97精品在线观看| 国产免费一级a男人的天堂| 久久6这里有精品| 精品一品国产午夜福利视频| 国产成人91sexporn| 亚洲精品456在线播放app| 在线观看av片永久免费下载| 一本久久精品| 91狼人影院| 午夜激情久久久久久久| 免费黄网站久久成人精品| 蜜臀久久99精品久久宅男| 老司机影院成人| 亚洲经典国产精华液单| 超碰av人人做人人爽久久| 少妇精品久久久久久久| 久久久久久伊人网av| 亚洲av综合色区一区| 亚洲第一区二区三区不卡| 午夜福利视频精品| 亚洲国产精品999| 日本vs欧美在线观看视频 | 久久精品夜色国产| 亚洲三级黄色毛片| 免费观看a级毛片全部| 91精品伊人久久大香线蕉| 国产精品麻豆人妻色哟哟久久| 交换朋友夫妻互换小说| 91久久精品国产一区二区成人| 中文字幕制服av| 肉色欧美久久久久久久蜜桃| 偷拍熟女少妇极品色| 欧美 日韩 精品 国产| 国产高清不卡午夜福利| 我的女老师完整版在线观看| 在线免费观看不下载黄p国产| 精品少妇黑人巨大在线播放| 日日撸夜夜添| 99热全是精品| 日本黄色日本黄色录像| 亚洲内射少妇av| tube8黄色片| 亚洲av中文av极速乱| 99久久综合免费| 人妻一区二区av| 99久久精品热视频| 日本黄色片子视频| 内射极品少妇av片p| 国产精品免费大片| 亚洲精品一区蜜桃| 我的老师免费观看完整版| 少妇猛男粗大的猛烈进出视频| 成人午夜精彩视频在线观看| 免费人妻精品一区二区三区视频| 下体分泌物呈黄色| av福利片在线观看| 一边亲一边摸免费视频| 成人美女网站在线观看视频| 26uuu在线亚洲综合色| 国产亚洲一区二区精品| 久久韩国三级中文字幕| 免费大片黄手机在线观看| 能在线免费看毛片的网站| 亚洲精品aⅴ在线观看| 久久久久国产精品人妻一区二区| 少妇人妻一区二区三区视频| 老熟女久久久| 一级a做视频免费观看| 亚洲,欧美,日韩| 少妇猛男粗大的猛烈进出视频| 日本-黄色视频高清免费观看| 亚洲欧美中文字幕日韩二区| 日本色播在线视频| av黄色大香蕉| 亚洲内射少妇av| 欧美+日韩+精品| 久久午夜福利片| 亚洲欧美精品自产自拍| 在线免费观看不下载黄p国产| av国产免费在线观看| 亚洲国产精品国产精品| 国产精品欧美亚洲77777| 国产探花极品一区二区| 亚洲欧美日韩卡通动漫| 在线看a的网站| 少妇熟女欧美另类| 日韩伦理黄色片| 日本欧美视频一区| 亚洲av电影在线观看一区二区三区| 性高湖久久久久久久久免费观看| 久久国内精品自在自线图片| 亚洲精品日韩在线中文字幕| 成人二区视频| 18禁裸乳无遮挡动漫免费视频| 18+在线观看网站| 91精品伊人久久大香线蕉| 人妻夜夜爽99麻豆av| 热re99久久精品国产66热6| 精品国产乱码久久久久久小说| 免费少妇av软件| 国产亚洲欧美精品永久| 高清视频免费观看一区二区| 亚洲国产最新在线播放| 婷婷色麻豆天堂久久| 九九爱精品视频在线观看| 国产一区亚洲一区在线观看| 欧美+日韩+精品| 夜夜骑夜夜射夜夜干| 男女啪啪激烈高潮av片| 特大巨黑吊av在线直播| 久久久国产一区二区| 亚洲在久久综合| 一区二区三区乱码不卡18| 天天躁夜夜躁狠狠久久av| 国产v大片淫在线免费观看| 我的女老师完整版在线观看| 日韩成人伦理影院| 国产免费一区二区三区四区乱码| 午夜福利高清视频| 欧美 日韩 精品 国产| xxx大片免费视频| 在线精品无人区一区二区三 | 一级毛片黄色毛片免费观看视频| 日韩一区二区三区影片| 日日撸夜夜添| 欧美日本视频| 毛片一级片免费看久久久久| 永久网站在线| 香蕉精品网在线| 国产亚洲91精品色在线| 国产精品99久久久久久久久| 婷婷色综合www| 亚洲欧美精品专区久久| 涩涩av久久男人的天堂| 欧美一区二区亚洲| 日本-黄色视频高清免费观看| 免费看av在线观看网站| 亚洲国产欧美在线一区| 久久久久久久久久成人| 夜夜骑夜夜射夜夜干| 国产黄频视频在线观看| 直男gayav资源| 夫妻午夜视频| 少妇高潮的动态图| 简卡轻食公司| 26uuu在线亚洲综合色| 秋霞伦理黄片| 亚洲aⅴ乱码一区二区在线播放| 亚洲av欧美aⅴ国产| 特大巨黑吊av在线直播| 国产精品三级大全| 日韩欧美精品免费久久| 亚洲激情五月婷婷啪啪| 新久久久久国产一级毛片| 国产精品精品国产色婷婷| 欧美日韩一区二区视频在线观看视频在线| 日本黄色片子视频| 精品午夜福利在线看| 国产欧美亚洲国产| 最近2019中文字幕mv第一页| 色婷婷av一区二区三区视频| 人妻一区二区av| 亚洲av免费高清在线观看| 日韩中字成人| 小蜜桃在线观看免费完整版高清| 六月丁香七月| 婷婷色麻豆天堂久久| 免费黄频网站在线观看国产| 欧美性感艳星| 人妻夜夜爽99麻豆av| 亚洲人成网站在线播| 日韩强制内射视频| 欧美三级亚洲精品| 中文字幕亚洲精品专区| 丰满乱子伦码专区| 国产av码专区亚洲av| 嘟嘟电影网在线观看| 国产精品免费大片| 国产高清不卡午夜福利| 妹子高潮喷水视频| 九色成人免费人妻av| 十八禁网站网址无遮挡 | 秋霞伦理黄片| 97热精品久久久久久| 91aial.com中文字幕在线观看| 联通29元200g的流量卡| 美女内射精品一级片tv| 汤姆久久久久久久影院中文字幕| 99热这里只有是精品50| 久久国产亚洲av麻豆专区| 中文字幕av成人在线电影| 涩涩av久久男人的天堂| 国产黄片视频在线免费观看| 亚洲av欧美aⅴ国产| av在线app专区| 校园人妻丝袜中文字幕| 久久久亚洲精品成人影院| 久久久a久久爽久久v久久| 亚洲欧美日韩卡通动漫| 这个男人来自地球电影免费观看 | 九九爱精品视频在线观看| 亚洲av电影在线观看一区二区三区| 国产免费福利视频在线观看| 亚洲精品乱码久久久v下载方式| 丰满迷人的少妇在线观看| 人妻夜夜爽99麻豆av| 久久精品国产鲁丝片午夜精品| 亚洲av电影在线观看一区二区三区| 男女免费视频国产| 久久精品国产a三级三级三级| 天堂8中文在线网| 两个人的视频大全免费| 日日啪夜夜爽| 91在线精品国自产拍蜜月| 婷婷色麻豆天堂久久| 精品一区二区三卡|