• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Spark的自適應(yīng)差分進(jìn)化極限學(xué)習(xí)機(jī)研究

    2021-06-27 14:11:00劉黎志鄧開巍
    關(guān)鍵詞:學(xué)習(xí)機(jī)差分種群

    楊 敏,劉黎志,鄧開巍,劉 杰

    智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室(武漢工程大學(xué)),湖北 武漢430205

    自適應(yīng)差分進(jìn)化極限學(xué)習(xí)機(jī)(self-adaptive differential evolution extreme learning machine,SaDE-ELM)[1]是由Cao等在2012年提出的一種使用群智能計(jì)算改進(jìn)的極限學(xué)習(xí)機(jī)算法,它將自適應(yīng)差分進(jìn)化算法(self-adaptive differential evolution,SaDE)與標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)算法相結(jié)合,從很大程度上解決了標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)算法中由于隨機(jī)初始化隱藏層輸入權(quán)重和偏置導(dǎo)致的算法穩(wěn)定性不高、預(yù)測準(zhǔn)確度波動(dòng)較大的問題,目前已被廣泛應(yīng)用到分類識別[2-4]和回歸預(yù)測領(lǐng)域[5-7]。隨著大數(shù)據(jù)時(shí)代的到來,一個(gè)算法能否高效地處理大規(guī)模數(shù)據(jù)集也成為了衡量算法普適性的一個(gè)重要指標(biāo),為了提升很多傳統(tǒng)的機(jī)器學(xué)習(xí)算法的運(yùn)行效率,如何利用現(xiàn)有的大數(shù)據(jù)處理框架對其進(jìn)行并行化也成為目前研究的熱點(diǎn)問題[8-10]。SaDE-ELM算法在計(jì)算過程中,由于需要多次迭代計(jì)算來更新輸入層到隱藏層的連接權(quán)重和隱藏層偏置,不可避免地增加了算法的運(yùn)行時(shí)間,在數(shù)據(jù)集規(guī)模較大時(shí)算法的運(yùn)行效率十分低下。本文根據(jù)SaDE-ELM算法需要迭代計(jì)算的特性,采用了基于內(nèi)存計(jì)算的大數(shù)據(jù)框架Spark對其進(jìn)行并行化[11-13],將原本在單機(jī)上的計(jì)算合理地分布到集群的各臺機(jī)器中,提出了并行自適應(yīng)差分進(jìn)化極限學(xué)習(xí)機(jī)(parallel self-adaptive differential evolution extreme learning machine,PSaDE-ELM),最后通過實(shí)驗(yàn)驗(yàn)證了在數(shù)據(jù)集樣本數(shù)較大時(shí),PSaDE-ELM算法能夠在保證預(yù)測準(zhǔn)確率基本不損失的基礎(chǔ)上,顯著地提升算法的運(yùn)行效率。

    1 研究背景

    1.1 極限學(xué)習(xí)機(jī)

    極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)是2004年黃廣斌等[14]提出的一種單隱藏層前饋神經(jīng)網(wǎng)絡(luò)(single-hidden-layer feedforward neural networks,SLFNs)機(jī)器學(xué)習(xí)算法。ELM與傳統(tǒng)基于反向傳播的神經(jīng)網(wǎng)絡(luò)算法的不同之處在于,它隨機(jī)初始化輸入層到隱藏層的連接權(quán)重和隱藏層節(jié)點(diǎn)的偏置,然后使用Moore-Penrose偽逆方法求解隱藏層到輸出層的權(quán)重,具有學(xué)習(xí)速度快、泛化能力強(qiáng)的特點(diǎn)。

    ELM的算法描述為,給定N個(gè)任意不同已知訓(xùn)練集()x i,y i,i=1,…,N,其中x i∈RD,y i∈Rm,L為隱藏層節(jié)點(diǎn)個(gè)數(shù),g()x為激活函數(shù)。如果這個(gè)前饋神經(jīng)網(wǎng)絡(luò)能以零誤差逼近這N個(gè)樣本,則存在βi,w i,bi使得:

    其中,βi∈Rm表示第i個(gè)隱藏層節(jié)點(diǎn)與所有輸出層節(jié)點(diǎn)之間的權(quán)重向量,w i∈RD表示第i個(gè)隱藏層節(jié)點(diǎn)與所有輸入層節(jié)點(diǎn)之間的權(quán)重向量,bi∈R表示第i個(gè)隱藏層節(jié)點(diǎn)的偏置。式(1)可以化簡為:

    其中H表示ELM的隱含層輸出矩陣,當(dāng)網(wǎng)絡(luò)中的輸入權(quán)重和偏置隨機(jī)確定后,輸出矩陣H就唯一確定下來,這樣對SLFN的訓(xùn)練就可以轉(zhuǎn)化為一個(gè)求解輸出權(quán)重矩陣的最小二乘解的問題,輸出權(quán)重矩陣β可以由式(2)得到:

    其中H?表示隱含層輸出矩陣H的Moorepenrose廣義逆。

    1.2 自適應(yīng)差分進(jìn)化極限學(xué)習(xí)機(jī)

    SaDE-ELM算法將極限學(xué)習(xí)機(jī)中的輸入層到隱藏層的連接權(quán)重和隱藏層的偏置作為種群中一個(gè)個(gè)體,在自適應(yīng)差分進(jìn)化算法中進(jìn)行迭代優(yōu)化,對每個(gè)個(gè)體使用極限學(xué)習(xí)機(jī)算法進(jìn)行解析計(jì)算,以預(yù)測值與實(shí)際值的根均方誤差(root mean square error,RMSE)作為對應(yīng)個(gè)體的適應(yīng)度,在每次迭代中將保留適應(yīng)度更優(yōu)個(gè)體進(jìn)入下一次迭代,直至滿足結(jié)束條件后,輸出當(dāng)前種群中的最優(yōu)個(gè)體。其相比于差分進(jìn)化極限學(xué)習(xí)機(jī)(differential evolution extreme learning machine,DE-ELM)和支持向量機(jī)(support vector machine,SVM)具有更好的穩(wěn)定性和更高的運(yùn)行效率。

    對于一個(gè)給定的訓(xùn)練數(shù)據(jù)集,L個(gè)隱藏節(jié)點(diǎn)的ELM,SaDE-ELM算法流程如下:

    1)初始化種群,種群中每個(gè)個(gè)體的維度為(D+1)×L,其中D為特征個(gè)數(shù);

    2)計(jì)算ELM的輸出權(quán)重矩陣和RMSE,然后將RMSE作為對應(yīng)個(gè)體的適應(yīng)度;

    3)使用SaDE算法對種群中的每一個(gè)個(gè)體進(jìn)行變異和交叉操作;

    4)使用適應(yīng)度評判標(biāo)準(zhǔn)來選擇進(jìn)入下一代的個(gè)體,如果當(dāng)前迭代次數(shù)未達(dá)到最大迭代次數(shù),則重復(fù)步驟2和3,進(jìn)入下一次迭代。

    1.3 Spark平臺

    Spark是加州大學(xué)伯克利分校實(shí)驗(yàn)室基于AMPLab的集群計(jì)算平臺開發(fā)的一個(gè)基于內(nèi)存計(jì)算的分布式框架,相比于Hadoop分布式框架,Spark將中間計(jì)算過程保存在內(nèi)存中,避免了將中間結(jié)果輸出到硬盤存儲(chǔ),所以Spark更適合于具有迭代計(jì)算的應(yīng)用場景。其最核心的技術(shù)是彈性分布式數(shù)據(jù)集(resilient distributed datasets,RDD)。RDD是一個(gè)不可變的分布式對象集合,對數(shù)據(jù)的所有操作最終會(huì)轉(zhuǎn)換成對RDD的操作,即RDD是數(shù)據(jù)操作的基本單位。對于RDD的操作,分為transformation(轉(zhuǎn)換)和action(執(zhí)行)。Spark對于兩種操作采取不同機(jī)制,對于所有的轉(zhuǎn)換操作都是惰性操作,即從一個(gè)RDD通過轉(zhuǎn)換操作生成另一個(gè)RDD的過程在Spark上并不會(huì)被馬上執(zhí)行,只有在action操作觸發(fā)時(shí),轉(zhuǎn)換操作才會(huì)被真正執(zhí)行。因此,不同RDD之間的轉(zhuǎn)換操作會(huì)形成依賴關(guān)系,可以實(shí)現(xiàn)管道化,從而避免了中間結(jié)果的存儲(chǔ),大大降低了數(shù)據(jù)復(fù)制、磁盤IO和序列化開銷。

    1.4 群智能算法并行化相關(guān)研究

    近些年來隨著群智能算法的發(fā)展,許多學(xué)者將分布式計(jì)算的思想引入到群智能算法中,提出了多種基于大數(shù)據(jù)計(jì)算平臺的群智能并行化算法。2016年李婉華等[15]提出了基于改進(jìn)粒子群優(yōu)化的并行極限學(xué)習(xí)機(jī)算法,使用真實(shí)電力負(fù)荷數(shù)據(jù)在Spark平臺上對算法有效性進(jìn)行了驗(yàn)證。2017年重慶大學(xué)余相君[16]提出了一種使用改進(jìn)后的布谷鳥搜索算法優(yōu)化的K-means算法,并在Hadoop平臺上對該算法進(jìn)行并行化處理,在數(shù)據(jù)集規(guī)模較大時(shí),算法運(yùn)行效率得到了提升。2018年大連理工大學(xué)孫康麗[17]基于Spark平臺對分布式差分進(jìn)化算法并行化,提出基于廣播變量和Shuffle操作的兩種遷移算子實(shí)現(xiàn)方式,比較了兩種實(shí)現(xiàn)在不同計(jì)算資源下的加速比。

    2 自適應(yīng)差分進(jìn)化極限學(xué)習(xí)機(jī)并行化

    2.1 算法并行化的思路

    自適應(yīng)差分進(jìn)化極限學(xué)習(xí)機(jī)算法在迭代過程中,因?yàn)榉N群里的各個(gè)個(gè)體的進(jìn)化都是相互獨(dú)立的,所以可以將原有種群均勻分割為幾個(gè)子種群,每個(gè)子種群并行地獨(dú)立進(jìn)化,然后每隔一定的周期各個(gè)子種群之間按照一定的拓?fù)浣Y(jié)構(gòu)進(jìn)行信息交流,以此來達(dá)到既提高了算法的運(yùn)行效率又保證了種群間多樣性的目的。本文提出的基于Spark的SaDE-ELM并行化算法PSaDE-ELM就是按這一思路來實(shí)現(xiàn)的。

    在PSaDE-ELM算法中,每一個(gè)子種群均由一個(gè)子種群序號和SaDE_ELM對象組成的元組來表示(i,SaDE_ELMi),每個(gè)SaDE_ELM 對象中均存儲(chǔ)了當(dāng)前子種群在迭代進(jìn)化中必要的參數(shù)信息,這些參數(shù)信息隨著子種群的進(jìn)化而改變,然后利用Spark中RDD的分區(qū)原理,對子種群列表使用makeRDD方法轉(zhuǎn)換為RDD,并且將其分區(qū)數(shù)設(shè)置為子種群個(gè)數(shù),來保證將每一個(gè)子種群以及其參數(shù)信息均獨(dú)立地存儲(chǔ)在RDD的一個(gè)分區(qū)中。然后對當(dāng)前RDD使用map算子,使各個(gè)子種群中的迭代計(jì)算在各個(gè)Task之間并行執(zhí)行,等待所有Executor中的Task均執(zhí)行完畢后,將當(dāng)前迭代周期中各個(gè)子種群所產(chǎn)生的最優(yōu)個(gè)體使用collect算子匯總到Driver端,然后由Driver端將這些最優(yōu)個(gè)體信息廣播到各個(gè)Executor中,以便后續(xù)根據(jù)一定的拓?fù)浣Y(jié)構(gòu)在各個(gè)子種群間進(jìn)行信息交換。當(dāng)各個(gè)子種群進(jìn)行信息交換后,就進(jìn)入下一個(gè)迭代周期,直至滿足結(jié)束條件后,輸出所有子種群中最優(yōu)的個(gè)體,即最優(yōu)的隱藏層輸入權(quán)重和偏置。

    2.2 兩種拓?fù)浣Y(jié)構(gòu)

    各個(gè)子種群在每次獨(dú)立迭代一個(gè)周期后,會(huì)按照給定的拓?fù)浣Y(jié)構(gòu)來進(jìn)行種群信息交換。子種群間的交流拓?fù)浣Y(jié)構(gòu)主要包括兩種:一種是全連接拓?fù)浣Y(jié)構(gòu),即每一個(gè)子種群可以與其他所有子種群進(jìn)行信息交換;另一種是鄰域拓?fù)浣Y(jié)構(gòu),即每一個(gè)子種群只能與其相鄰的子種群進(jìn)行信息交換。

    對于某一個(gè)子種群而言,在一個(gè)迭代周期結(jié)束以后,全連接拓?fù)浣Y(jié)構(gòu)會(huì)將所有子種群中最優(yōu)的個(gè)體去替換掉當(dāng)前子種群中的最差個(gè)體,每個(gè)子種群在信息交流完之后,其總體進(jìn)化程度都至少為最優(yōu)個(gè)體的適應(yīng)度,所以這種拓?fù)浣Y(jié)構(gòu)具有較強(qiáng)的全局收斂速度能力;而鄰域拓?fù)浣Y(jié)構(gòu)會(huì)將左右相鄰的兩個(gè)子種群中的最優(yōu)個(gè)體去替換掉當(dāng)前子種群中的最差個(gè)體,這種拓?fù)浣Y(jié)構(gòu)收斂速度較慢,但可以避免整個(gè)種群過早陷入局部最優(yōu)。

    2.3 PSaDE-ELM算法設(shè)計(jì)

    PSaDE-ELM算法在Spark上的實(shí)現(xiàn)主要算法流程如下:

    1)將原種群均勻分割為多個(gè)子種群,設(shè)置并行度等于子種群個(gè)數(shù),以便將每個(gè)子種群及其序號單獨(dú)存儲(chǔ)在種群RDD的一個(gè)分區(qū)中;

    2)使用Spark中的廣播變量機(jī)制,將訓(xùn)練數(shù)據(jù)集由Driver端廣播到各個(gè)機(jī)器上的Executor中;

    3)在當(dāng)前迭代周期中,對種群RDD使用map算子,執(zhí)行optime方法來對各個(gè)子種群迭代一個(gè)周期,計(jì)算并統(tǒng)計(jì)各自最優(yōu)和最壞的個(gè)體,返回進(jìn)化后的子種群對象;

    4)使用Cache方法,緩存上一步中進(jìn)化后的種群RDD;

    5)將各個(gè)子種群中的子種群序號和最優(yōu)個(gè)體以元組的形式收集到Driver端,組成當(dāng)前最優(yōu)個(gè)體列表,并將該列表由Driver端廣播到各臺機(jī)器上的Executor中;

    6)按照一定的拓?fù)浣Y(jié)構(gòu),根據(jù)最優(yōu)個(gè)體列表信息來和其他子種群進(jìn)行信息交換,并返回進(jìn)化后的子種群對象;

    7)判斷當(dāng)前同步次數(shù)是否能夠被10整除,若能夠被10整除,則對種群RDD進(jìn)行一次CheckPoint操作;否則,進(jìn)入下一步;

    8)判斷當(dāng)前同步次數(shù)是否大于設(shè)置的最大同步次數(shù),若小于最大同步次數(shù),則返回算法的第3步;否則,輸出所有子種群中的最優(yōu)個(gè)體,算法流程結(jié)束。

    在上述算法流程中,使用了Spark框架中的廣播變量、Cache緩存機(jī)制和CheckPoint操作。之所以使用廣播變量,是因?yàn)槿绻粚?shù)據(jù)集以廣播變量的方式由Driver端發(fā)送給Executor端,那么在每次開啟一個(gè)Task時(shí),都會(huì)產(chǎn)生一個(gè)數(shù)據(jù)集的副本。也就是說,使用廣播變量的方式發(fā)送副本時(shí),副本個(gè)數(shù)等于集群中各臺機(jī)器上Executor的數(shù)量;而不使用廣播變量的方式,直接在Task中使用數(shù)據(jù)集時(shí),那么每一個(gè)Task中都會(huì)保存一份數(shù)據(jù)集的副本。當(dāng)Task數(shù)大于Executor數(shù)時(shí)就會(huì)產(chǎn)生冗余的數(shù)據(jù)集副本,不僅占用內(nèi)存空間,而且會(huì)導(dǎo)致算法運(yùn)行效率不高的問題。

    使用Cache方法緩存種群RDD,可以在下一次對種群RDD的行動(dòng)算子執(zhí)行完之后將種群RDD緩存在內(nèi)存中,種群RDD中的每個(gè)分區(qū)里的子種群信息也都會(huì)保留下來,這對于需要在下一個(gè)周期繼續(xù)上次的迭代過程是至關(guān)重要的。如果沒有使用Cache方法,那么在每一次迭代周期中種群RDD都將被重新計(jì)算,將無法承接上一次的進(jìn)化結(jié)果繼續(xù)進(jìn)行種群進(jìn)化,導(dǎo)致算法運(yùn)行效率大大降低。

    在算法流程中定期使用CheckPoint操作的原因是由于在每一個(gè)迭代周期中都會(huì)由先前的RDD產(chǎn)生一個(gè)新的RDD,并由此組成一條RDD關(guān)系鏈,當(dāng)這條RDD鏈變得很長時(shí),其依賴關(guān)系也會(huì)變得很長,通過定期使用CheckPoint來將種群RDD保存在磁盤中,從而切斷當(dāng)前種群RDD與先前種群RDD之間的血緣關(guān)系,可以避免在反序列化當(dāng)前種群RDD時(shí)由于過長的血緣關(guān)系而導(dǎo)致性能低下的問題。

    PSaDE-ELM算法的核心算法描述如下:

    3 實(shí)驗(yàn)及分析

    3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)

    本實(shí)驗(yàn)所用服務(wù)器為戴爾R720服務(wù)器,它配置為兩個(gè)物理CPU(Intel Xeon E5-2620V22.10 GHZ,最大睿頻2.6 GHz,每個(gè)CPU含6個(gè)內(nèi)核,一共12個(gè)內(nèi)核),32 GB內(nèi)存,8 TB硬盤。該服務(wù)器被虛擬劃分為4個(gè)虛擬機(jī),每個(gè)虛擬機(jī)的配置為3個(gè)內(nèi)核CPU,8 GB內(nèi)存,2 TB硬盤。集群使用的主要軟件 有 Hadoop2.7.3、Spark2.4.6、JDK1.8、Scala2.12.2等,操作系統(tǒng)為Ubuntu-16.04.1-Serveramd64。Spark集群包括一個(gè)Master主節(jié)點(diǎn)和4個(gè)Worker數(shù)據(jù)節(jié)點(diǎn)(主節(jié)點(diǎn)也是數(shù)據(jù)節(jié)點(diǎn))。實(shí)驗(yàn)選用4個(gè)UCI公開數(shù)據(jù)集進(jìn)行訓(xùn)練和測試,其中訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集占比均為70%和30%,實(shí)驗(yàn)數(shù)據(jù)集信息如表1所示。

    表1 實(shí)驗(yàn)數(shù)據(jù)集信息表Tab.1 Information table of experimental data set

    3.2 實(shí)驗(yàn)結(jié)果及分析

    從3個(gè)方面對所提出的PSaDE-ELM算法進(jìn)行了分析,首先是在不同數(shù)據(jù)規(guī)模的數(shù)據(jù)集上串行SaDE-ELM算法與PSaDE-ELM算法各自的運(yùn)行效率與預(yù)測準(zhǔn)確率的對比;其次,分析了子種群之間采用不同的拓?fù)浣Y(jié)構(gòu)進(jìn)行信息交流對PSaDE-ELM算法運(yùn)行效率和預(yù)測準(zhǔn)確率的影響;最后分析了在原種群大小不變的前提下,隨著子種群數(shù)量的增多對PSaDE-ELM算法運(yùn)行效率和預(yù)測準(zhǔn)確率的影響。其中,采用手動(dòng)調(diào)參的方式來選擇最適合當(dāng)前數(shù)據(jù)集的隱藏層節(jié)點(diǎn)個(gè)數(shù),原種群大小為60,同步次數(shù)為20,同步周期為10,每個(gè)實(shí)驗(yàn)結(jié)果均為30次實(shí)驗(yàn)數(shù)據(jù)的平均值。

    第一組實(shí)驗(yàn)是對于在不同規(guī)模數(shù)據(jù)集上串行SaDE-ELM算法和PSaDE-ELM算法各自的運(yùn)行效率與預(yù)測準(zhǔn)確率的對比。對于不同的數(shù)據(jù)集,選擇了最適合的隱藏層節(jié)點(diǎn)個(gè)數(shù),且子種群數(shù)量subPopCount均為6。由表2可知,PSaDE-ELM算法在各個(gè)數(shù)據(jù)集上的預(yù)測準(zhǔn)確率基本與SaDEELM算法保持不變(上下誤差不超過1%);在數(shù)據(jù)量較小時(shí)串行SaDE-ELM算法相比PSaDE-ELM算法會(huì)更有優(yōu)勢,這是由于在數(shù)據(jù)量較小時(shí),在Spark集群中讀取數(shù)據(jù)集以及啟動(dòng)集群資源所需時(shí)間占比會(huì)比較大,導(dǎo)致最終的運(yùn)行時(shí)間會(huì)比串行SaDE-ELM算法要長。但隨著數(shù)據(jù)集樣本量的逐漸增大,PSaDE-ELM算法并行計(jì)算的優(yōu)勢會(huì)逐漸體現(xiàn)出來,在Car數(shù)據(jù)集上,時(shí)間性能提升了(74.509-29.79)÷29.79≈150%,在Adult數(shù)據(jù)集上,時(shí)間性能提升了(2 652.553-736.908)÷736.908≈260%,在Bank數(shù)據(jù)集上,時(shí)間性能提升了(4 590.235-1 180.954)÷1 180.954≈289%??梢钥闯?,隨著訓(xùn)練數(shù)據(jù)集規(guī)模的增大,集群計(jì)算的優(yōu)勢就愈發(fā)明顯。

    表2 SaDE-ELM與PSaDE-ELM算法運(yùn)行結(jié)果對比實(shí)驗(yàn)數(shù)據(jù)表Tab.2 Comparison experimental results of SaDE-ELM with PSaDE-ELM algorithm

    第二組實(shí)驗(yàn)主要分析了子種群之間采用不同的拓?fù)浣Y(jié)構(gòu)進(jìn)行信息交流對PSaDE-ELM算法運(yùn)行效率和預(yù)測準(zhǔn)確率的影響。在保持其他參數(shù)不變的前提下,分別使用全連接拓?fù)浣Y(jié)構(gòu)和鄰域拓?fù)浣Y(jié)構(gòu)來進(jìn)行子種群之間信息交流。由表3可知,對于3個(gè)數(shù)據(jù)集而言,鄰域拓?fù)浣Y(jié)構(gòu)相比全連接拓?fù)浣Y(jié)構(gòu)在算法的運(yùn)行效率上提升并不明顯,其預(yù)測準(zhǔn)確率卻比全連接拓?fù)浣Y(jié)構(gòu)要低1%~2%。這是由于在鄰域拓?fù)浣Y(jié)構(gòu)中,每個(gè)子種群只與其相鄰的兩個(gè)子種群進(jìn)行交流,在算法的全局收斂上會(huì)比較慢,在同步次數(shù)不多的情況下,預(yù)測準(zhǔn)確率會(huì)不如全連接拓?fù)浣Y(jié)構(gòu)。因此,在本次實(shí)驗(yàn)中,采用全連接拓?fù)浣Y(jié)構(gòu)能夠更好地在子種群之間進(jìn)行信息交流。

    表3 子種群間不同拓?fù)浣Y(jié)構(gòu)運(yùn)行結(jié)果對比實(shí)驗(yàn)數(shù)據(jù)表Tab.3 Comparison of running results achieved under different topological structures of subpopulations

    圖1 不同子種群個(gè)數(shù)總運(yùn)行時(shí)間趨勢圖Fig.1 Variation curve of run time with number of subpopulations

    第三組實(shí)驗(yàn)主要分析了在原種群大小不變的前提下,隨著子種群數(shù)量的增多對PSaDE-ELM算法運(yùn)行效率和預(yù)測準(zhǔn)確率的影響。實(shí)驗(yàn)選用Adult數(shù)據(jù)集,設(shè)置隱藏層節(jié)點(diǎn)數(shù)為60,原種群大小為60,然后逐漸增加子種群個(gè)數(shù),并統(tǒng)計(jì)每次實(shí)驗(yàn)的運(yùn)行時(shí)間和預(yù)測準(zhǔn)確率。每次實(shí)驗(yàn)的預(yù)測準(zhǔn)確度波動(dòng)不大,均維持在85%左右。由圖1可知,隨著子種群個(gè)數(shù)從2增加至10(由于自適應(yīng)差分進(jìn)化算法使用的一個(gè)變異算子中需要隨機(jī)抽取6個(gè)個(gè)體進(jìn)行變異,所以每個(gè)子種群至少要有6個(gè)個(gè)體),算法的運(yùn)行時(shí)間呈單調(diào)遞減趨勢,且當(dāng)子種群個(gè)數(shù)小于等于4時(shí),運(yùn)行時(shí)間減少的幅度較大,當(dāng)子種群個(gè)數(shù)大于4時(shí),運(yùn)行時(shí)間減少的幅度逐漸減小。由于使用RDD的一個(gè)分區(qū)來單獨(dú)存儲(chǔ)一個(gè)子種群及其參數(shù)信息,對于每一個(gè)分區(qū)而言,都會(huì)獨(dú)立地占有一個(gè)Task,每一個(gè)子種群之中的計(jì)算都是并行的。當(dāng)子種群個(gè)數(shù)為8時(shí),Spark集群中的4個(gè)Executor中,每一個(gè)Executor里均有2個(gè)Task在并行計(jì)算,此時(shí)集群已達(dá)到負(fù)載均衡狀態(tài),繼續(xù)增加Task的個(gè)數(shù),將不能再明顯地提升算法的性能。

    4 結(jié) 論

    基于Spark高性能內(nèi)存計(jì)算框架,提出了一種并行化自適應(yīng)差分進(jìn)化極限學(xué)習(xí)機(jī)算法PSaDEELM,并從3個(gè)方面進(jìn)行了對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,本文提出的PSaDE-ELM算法在預(yù)測準(zhǔn)確率上與串行SaDE-ELM算法相比基本沒有差別,但隨著數(shù)據(jù)規(guī)模的增加,PSaDE-ELM算法能夠?qū)⑦\(yùn)行效率提升數(shù)倍,從而證明了PSaDE-ELM算法的有效性;對于不同的子種群拓?fù)浣Y(jié)構(gòu)而言,全連接拓?fù)浣Y(jié)構(gòu)相比于鄰域拓?fù)浣Y(jié)構(gòu)都能夠更好地適用于本文所選數(shù)據(jù)集;在保持其他參數(shù)不變的前提下,隨著子種群數(shù)量的增加,其預(yù)測準(zhǔn)確率波動(dòng)不大,但其運(yùn)行時(shí)間顯著減少。本文在對自適應(yīng)差分進(jìn)化極限學(xué)習(xí)機(jī)算法進(jìn)行并行化時(shí)采用的是粗粒度方式,即將一個(gè)種群均勻劃分為多個(gè)子種群來共同進(jìn)化,這種方式對于數(shù)據(jù)量不是很大的情況下能夠顯著提升算法的運(yùn)行效率。但在數(shù)據(jù)量很大時(shí),計(jì)算各個(gè)個(gè)體的均方根誤差時(shí)會(huì)面臨高維矩陣的計(jì)算,在后續(xù)的實(shí)驗(yàn)和研究過程中,將試圖將高維矩陣的計(jì)算也進(jìn)行并行化,使改進(jìn)后的算法能夠適用于處理更大規(guī)模的數(shù)據(jù)集,在保證預(yù)測準(zhǔn)確率的前提下,盡可能地提升運(yùn)行效率。

    猜你喜歡
    學(xué)習(xí)機(jī)差分種群
    邢氏水蕨成功繁衍并建立種群 等
    山西省發(fā)現(xiàn)刺五加種群分布
    數(shù)列與差分
    極限學(xué)習(xí)機(jī)綜述
    基于極限學(xué)習(xí)機(jī)參數(shù)遷移的域適應(yīng)算法
    分層極限學(xué)習(xí)機(jī)在滾動(dòng)軸承故障診斷中的應(yīng)用
    基于差分隱私的大數(shù)據(jù)隱私保護(hù)
    相對差分單項(xiàng)測距△DOR
    太空探索(2014年1期)2014-07-10 13:41:50
    一種基于AdaBoost的極限學(xué)習(xí)機(jī)分類方法
    差分放大器在生理學(xué)中的應(yīng)用
    国产精品一区www在线观看| 中文字幕亚洲精品专区| 午夜影院在线不卡| 久久久国产精品麻豆| 美女脱内裤让男人舔精品视频| 熟妇人妻不卡中文字幕| 99九九在线精品视频| 丰满乱子伦码专区| 少妇丰满av| 9色porny在线观看| 少妇 在线观看| 人妻系列 视频| 激情五月婷婷亚洲| 久久久久久久久久久久大奶| 久久精品国产亚洲av涩爱| 成人毛片60女人毛片免费| 国产午夜精品久久久久久一区二区三区| 精品久久蜜臀av无| 我的女老师完整版在线观看| 国产不卡av网站在线观看| 热re99久久精品国产66热6| 丰满饥渴人妻一区二区三| 国产淫语在线视频| 国产免费一级a男人的天堂| 亚洲欧美成人综合另类久久久| 日本av免费视频播放| 欧美av亚洲av综合av国产av| 水蜜桃什么品种好| 久久久国产欧美日韩av| 久久中文字幕一级| 国产成人欧美在线观看 | 热99久久久久精品小说推荐| 国产在视频线精品| 高潮久久久久久久久久久不卡| 精品国产国语对白av| 天天躁夜夜躁狠狠躁躁| 久久久国产精品麻豆| 18禁黄网站禁片午夜丰满| 久久精品亚洲av国产电影网| 精品国产一区二区三区久久久樱花| 国产一区有黄有色的免费视频| 国产又色又爽无遮挡免费看| 久久99一区二区三区| 老司机午夜十八禁免费视频| 不卡av一区二区三区| www.自偷自拍.com| av视频免费观看在线观看| 中文字幕精品免费在线观看视频| 国产成人免费无遮挡视频| 国产99久久九九免费精品| 精品一区二区三区视频在线观看免费 | 亚洲三区欧美一区| 日本av手机在线免费观看| 亚洲精品国产一区二区精华液| 大码成人一级视频| 成年人午夜在线观看视频| 久久久国产欧美日韩av| 久久久久久久精品吃奶| 亚洲第一欧美日韩一区二区三区 | 黄色a级毛片大全视频| 大片电影免费在线观看免费| av天堂久久9| 国产亚洲av高清不卡| 精品一品国产午夜福利视频| a级毛片在线看网站| 免费久久久久久久精品成人欧美视频| 91老司机精品| 成人国产av品久久久| 午夜成年电影在线免费观看| 老熟妇乱子伦视频在线观看| 久久av网站| 大香蕉久久成人网| 在线观看免费高清a一片| 色老头精品视频在线观看| 一级毛片女人18水好多| 亚洲免费av在线视频| 精品欧美一区二区三区在线| 少妇猛男粗大的猛烈进出视频| 色老头精品视频在线观看| 99国产极品粉嫩在线观看| 丝袜喷水一区| av在线播放免费不卡| 国产视频一区二区在线看| 欧美日韩精品网址| 亚洲精品一二三| 一区二区三区精品91| 成人18禁高潮啪啪吃奶动态图| 国产精品亚洲一级av第二区| 国产在线观看jvid| 婷婷成人精品国产| 亚洲av片天天在线观看| 99国产精品一区二区三区| 91成人精品电影| 免费高清在线观看日韩| 亚洲国产欧美在线一区| 女同久久另类99精品国产91| 久热这里只有精品99| 国产精品久久久人人做人人爽| 成人av一区二区三区在线看| 国产成人欧美| 久久久水蜜桃国产精品网| 中文字幕人妻熟女乱码| 欧美精品av麻豆av| 久久 成人 亚洲| 欧美日韩国产mv在线观看视频| 下体分泌物呈黄色| 免费看a级黄色片| 中文字幕另类日韩欧美亚洲嫩草| 一本—道久久a久久精品蜜桃钙片| 欧美人与性动交α欧美软件| 国产91精品成人一区二区三区 | 久久久精品国产亚洲av高清涩受| 桃红色精品国产亚洲av| 大香蕉久久成人网| 日日夜夜操网爽| www.自偷自拍.com| 欧美在线一区亚洲| 久久青草综合色| 亚洲中文字幕日韩| 国产真人三级小视频在线观看| 蜜桃在线观看..| 巨乳人妻的诱惑在线观看| 国产又色又爽无遮挡免费看| 视频在线观看一区二区三区| 日日摸夜夜添夜夜添小说| 免费在线观看影片大全网站| 少妇裸体淫交视频免费看高清 | 国产一卡二卡三卡精品| 欧美精品一区二区大全| 国产高清国产精品国产三级| 麻豆乱淫一区二区| 国产一区二区三区综合在线观看| 久久久国产成人免费| 99久久国产精品久久久| 日本av免费视频播放| 日韩大码丰满熟妇| 亚洲情色 制服丝袜| 欧美日韩黄片免| 日韩三级视频一区二区三区| 99热网站在线观看| 老司机深夜福利视频在线观看| 国产成人欧美| 国产精品影院久久| 亚洲专区中文字幕在线| 两个人免费观看高清视频| 两性夫妻黄色片| 大片免费播放器 马上看| 日韩成人在线观看一区二区三区| 超色免费av| 我的亚洲天堂| 久久精品亚洲熟妇少妇任你| 在线观看66精品国产| 在线观看66精品国产| 日韩成人在线观看一区二区三区| 麻豆av在线久日| 国产精品一区二区在线不卡| 飞空精品影院首页| 啪啪无遮挡十八禁网站| 50天的宝宝边吃奶边哭怎么回事| 欧美日韩国产mv在线观看视频| 9热在线视频观看99| 搡老熟女国产l中国老女人| 久久久久网色| 男女床上黄色一级片免费看| 十分钟在线观看高清视频www| 在线 av 中文字幕| 热99久久久久精品小说推荐| 久久亚洲真实| av网站在线播放免费| 免费久久久久久久精品成人欧美视频| 久久久久国产一级毛片高清牌| 国产免费视频播放在线视频| 日本欧美视频一区| 欧美成狂野欧美在线观看| 国产精品电影一区二区三区 | 黑人巨大精品欧美一区二区蜜桃| 成年动漫av网址| 一个人免费看片子| 国产欧美日韩一区二区三| 男女下面插进去视频免费观看| 国产精品一区二区免费欧美| 国产真人三级小视频在线观看| 汤姆久久久久久久影院中文字幕| 超碰成人久久| 考比视频在线观看| 狠狠狠狠99中文字幕| 波多野结衣一区麻豆| 一进一出抽搐动态| 最新美女视频免费是黄的| 日韩制服丝袜自拍偷拍| 超色免费av| 久久99热这里只频精品6学生| 免费看a级黄色片| 久久亚洲真实| 日韩大片免费观看网站| 午夜成年电影在线免费观看| 欧美国产精品一级二级三级| 欧美另类亚洲清纯唯美| 一边摸一边做爽爽视频免费| 亚洲av第一区精品v没综合| 久久人人爽av亚洲精品天堂| 精品一品国产午夜福利视频| 两人在一起打扑克的视频| 国产精品1区2区在线观看. | 久久精品国产99精品国产亚洲性色 | 久久 成人 亚洲| 亚洲全国av大片| 亚洲国产精品一区二区三区在线| 亚洲综合色网址| www.精华液| 亚洲avbb在线观看| 日日夜夜操网爽| 天天影视国产精品| 黄色片一级片一级黄色片| 成年版毛片免费区| 久久中文字幕一级| 脱女人内裤的视频| 欧美午夜高清在线| 国产精品国产av在线观看| 考比视频在线观看| 在线观看免费日韩欧美大片| 亚洲色图av天堂| 国产三级黄色录像| 国产一区二区 视频在线| 在线观看人妻少妇| 国产极品粉嫩免费观看在线| 大片免费播放器 马上看| 老汉色∧v一级毛片| 好男人电影高清在线观看| 极品少妇高潮喷水抽搐| 久久久国产成人免费| 亚洲午夜精品一区,二区,三区| 日韩三级视频一区二区三区| 最近最新中文字幕大全电影3 | 婷婷丁香在线五月| 老司机福利观看| 日日夜夜操网爽| 亚洲精品久久成人aⅴ小说| 69精品国产乱码久久久| 国产精品1区2区在线观看. | 这个男人来自地球电影免费观看| 久久热在线av| 色婷婷久久久亚洲欧美| 妹子高潮喷水视频| 午夜福利视频在线观看免费| 色精品久久人妻99蜜桃| 我要看黄色一级片免费的| www.999成人在线观看| 成人三级做爰电影| 在线观看人妻少妇| 亚洲国产av新网站| 色老头精品视频在线观看| 一区二区日韩欧美中文字幕| 亚洲成人国产一区在线观看| 99精国产麻豆久久婷婷| 日韩大片免费观看网站| 18禁观看日本| 欧美日韩视频精品一区| 日韩一区二区三区影片| 中亚洲国语对白在线视频| 男男h啪啪无遮挡| 美女午夜性视频免费| 久久99一区二区三区| 日本av免费视频播放| 中文字幕人妻熟女乱码| 啦啦啦在线免费观看视频4| 日韩欧美一区视频在线观看| 大码成人一级视频| 嫩草影视91久久| 国产精品偷伦视频观看了| 夜夜骑夜夜射夜夜干| 欧美老熟妇乱子伦牲交| 欧美人与性动交α欧美精品济南到| 欧美另类亚洲清纯唯美| 男男h啪啪无遮挡| 国产深夜福利视频在线观看| a在线观看视频网站| 久久精品国产综合久久久| 欧美黄色片欧美黄色片| √禁漫天堂资源中文www| 国产男靠女视频免费网站| 免费观看a级毛片全部| 日韩免费高清中文字幕av| 国产在线一区二区三区精| 欧美黄色片欧美黄色片| 欧美精品人与动牲交sv欧美| 美女扒开内裤让男人捅视频| 一个人免费看片子| bbb黄色大片| 日本黄色视频三级网站网址 | 国产精品美女特级片免费视频播放器 | 国产三级黄色录像| 男女高潮啪啪啪动态图| 午夜福利视频在线观看免费| 免费不卡黄色视频| 精品亚洲乱码少妇综合久久| 如日韩欧美国产精品一区二区三区| 欧美乱码精品一区二区三区| 丝袜喷水一区| 亚洲精品美女久久av网站| 两性夫妻黄色片| 午夜久久久在线观看| 丁香六月天网| 桃红色精品国产亚洲av| 日韩一区二区三区影片| 中亚洲国语对白在线视频| 久久精品亚洲熟妇少妇任你| 免费观看av网站的网址| 亚洲精品国产一区二区精华液| 一区二区三区乱码不卡18| 国产成人欧美| 一进一出好大好爽视频| 亚洲综合色网址| 新久久久久国产一级毛片| 99热国产这里只有精品6| 黄网站色视频无遮挡免费观看| 欧美精品人与动牲交sv欧美| 欧美日韩精品网址| 国产成人精品久久二区二区91| 在线播放国产精品三级| 成人永久免费在线观看视频 | 男女边摸边吃奶| 久久国产精品人妻蜜桃| 午夜福利,免费看| 久久久久精品国产欧美久久久| 波多野结衣av一区二区av| 国产一区二区在线观看av| 中文字幕制服av| 亚洲色图 男人天堂 中文字幕| 午夜免费鲁丝| 99久久人妻综合| 国产精品av久久久久免费| 高清毛片免费观看视频网站 | 69精品国产乱码久久久| 超碰97精品在线观看| 一边摸一边抽搐一进一小说 | 国产又色又爽无遮挡免费看| 桃红色精品国产亚洲av| 午夜久久久在线观看| 99国产精品一区二区三区| avwww免费| 国产一区二区在线观看av| 国产欧美日韩一区二区三区在线| 国产精品美女特级片免费视频播放器 | 黑人巨大精品欧美一区二区mp4| 国产日韩欧美亚洲二区| 久久中文字幕一级| 热re99久久国产66热| 啦啦啦 在线观看视频| 高清av免费在线| 一边摸一边做爽爽视频免费| 欧美日韩中文字幕国产精品一区二区三区 | av线在线观看网站| 日韩有码中文字幕| 天天躁夜夜躁狠狠躁躁| 操出白浆在线播放| 欧美+亚洲+日韩+国产| 久久香蕉激情| 亚洲国产欧美日韩在线播放| 久久久久久久精品吃奶| 国产男女内射视频| 欧美日韩精品网址| 亚洲成人免费av在线播放| 亚洲精华国产精华精| www日本在线高清视频| 少妇裸体淫交视频免费看高清 | 免费看十八禁软件| 午夜免费鲁丝| 黄色 视频免费看| h视频一区二区三区| bbb黄色大片| 女人被躁到高潮嗷嗷叫费观| 99香蕉大伊视频| 12—13女人毛片做爰片一| 男人操女人黄网站| 美女视频免费永久观看网站| 99精品久久久久人妻精品| 中文亚洲av片在线观看爽 | 十八禁网站网址无遮挡| 欧美精品一区二区免费开放| 免费在线观看日本一区| 成年人免费黄色播放视频| 国产精品电影一区二区三区 | 18禁黄网站禁片午夜丰满| 少妇粗大呻吟视频| 无人区码免费观看不卡 | av片东京热男人的天堂| 久久精品亚洲熟妇少妇任你| av在线播放免费不卡| 久久精品91无色码中文字幕| 人人澡人人妻人| 成年动漫av网址| 国产精品欧美亚洲77777| 日韩欧美一区视频在线观看| av一本久久久久| 亚洲精品一二三| 久久人人爽av亚洲精品天堂| 美女高潮到喷水免费观看| 久久人人爽av亚洲精品天堂| 少妇精品久久久久久久| 夜夜爽天天搞| 亚洲人成伊人成综合网2020| 黄色毛片三级朝国网站| 欧美黄色片欧美黄色片| 日日摸夜夜添夜夜添小说| 视频区欧美日本亚洲| 国产成人精品久久二区二区免费| 叶爱在线成人免费视频播放| 欧美人与性动交α欧美软件| 亚洲国产欧美一区二区综合| 天堂俺去俺来也www色官网| 天堂中文最新版在线下载| 久久影院123| 亚洲五月色婷婷综合| 高清视频免费观看一区二区| av又黄又爽大尺度在线免费看| 精品亚洲乱码少妇综合久久| 国产单亲对白刺激| av视频免费观看在线观看| 亚洲精品国产色婷婷电影| 美女高潮喷水抽搐中文字幕| 亚洲精品av麻豆狂野| 国产精品一区二区在线观看99| 国产免费视频播放在线视频| 少妇被粗大的猛进出69影院| 国产国语露脸激情在线看| 女性被躁到高潮视频| 久久精品国产亚洲av香蕉五月 | 国产成人欧美在线观看 | 男女免费视频国产| 亚洲精品一卡2卡三卡4卡5卡| 欧美亚洲 丝袜 人妻 在线| 日韩一区二区三区影片| 99国产综合亚洲精品| 伦理电影免费视频| 丰满饥渴人妻一区二区三| 日本黄色日本黄色录像| 国产成人免费观看mmmm| 少妇精品久久久久久久| 51午夜福利影视在线观看| 国产aⅴ精品一区二区三区波| avwww免费| 欧美大码av| 在线天堂中文资源库| 99久久99久久久精品蜜桃| 一夜夜www| 亚洲专区国产一区二区| 美女主播在线视频| 国产野战对白在线观看| 国产精品亚洲av一区麻豆| 大型黄色视频在线免费观看| 嫁个100分男人电影在线观看| 国产精品久久久久成人av| 在线天堂中文资源库| 中文字幕最新亚洲高清| avwww免费| 成人影院久久| 视频区欧美日本亚洲| 欧美人与性动交α欧美软件| 18在线观看网站| 欧美日韩亚洲高清精品| 在线av久久热| 久久亚洲精品不卡| 午夜免费鲁丝| 亚洲第一青青草原| √禁漫天堂资源中文www| 99国产极品粉嫩在线观看| 超色免费av| 曰老女人黄片| 男女下面插进去视频免费观看| 女同久久另类99精品国产91| 一进一出抽搐动态| 午夜福利欧美成人| 人人妻人人添人人爽欧美一区卜| 99国产综合亚洲精品| 老司机在亚洲福利影院| 久久香蕉激情| 免费少妇av软件| 国产精品免费大片| 欧美在线黄色| 亚洲国产av新网站| 悠悠久久av| 夜夜爽天天搞| 久久久久网色| 国产成人精品无人区| 欧美成人午夜精品| 亚洲人成伊人成综合网2020| 午夜福利乱码中文字幕| 精品国产乱子伦一区二区三区| 国产一区二区三区在线臀色熟女 | 精品一区二区三区av网在线观看 | 超色免费av| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av电影在线进入| 啦啦啦中文免费视频观看日本| 人人妻人人爽人人添夜夜欢视频| netflix在线观看网站| 欧美精品人与动牲交sv欧美| 午夜视频精品福利| 精品欧美一区二区三区在线| 中文字幕人妻丝袜一区二区| 欧美人与性动交α欧美软件| 国产精品成人在线| 免费黄频网站在线观看国产| 成人18禁高潮啪啪吃奶动态图| 欧美激情 高清一区二区三区| 精品第一国产精品| 欧美激情 高清一区二区三区| 欧美大码av| 午夜福利视频在线观看免费| 亚洲免费av在线视频| 亚洲精品在线观看二区| 精品国产乱码久久久久久小说| 激情视频va一区二区三区| 这个男人来自地球电影免费观看| 久久久久久人人人人人| 久久久国产一区二区| 亚洲精品美女久久久久99蜜臀| 成人永久免费在线观看视频 | 天天躁夜夜躁狠狠躁躁| 国产精品久久电影中文字幕 | 久久久欧美国产精品| 欧美中文综合在线视频| tube8黄色片| e午夜精品久久久久久久| 欧美日韩亚洲高清精品| 欧美日韩视频精品一区| 黑人巨大精品欧美一区二区蜜桃| 国产精品 欧美亚洲| 国产一区二区激情短视频| 激情在线观看视频在线高清 | 国产精品电影一区二区三区 | 亚洲精品乱久久久久久| 久久国产精品男人的天堂亚洲| 亚洲avbb在线观看| 久久精品熟女亚洲av麻豆精品| 亚洲精品乱久久久久久| 黑人巨大精品欧美一区二区蜜桃| 亚洲人成电影免费在线| 韩国精品一区二区三区| 国产激情久久老熟女| 在线天堂中文资源库| a级毛片黄视频| 精品国产乱码久久久久久小说| 日韩精品免费视频一区二区三区| 免费在线观看日本一区| cao死你这个sao货| 好男人电影高清在线观看| 国产精品 欧美亚洲| 国产精品二区激情视频| 日日爽夜夜爽网站| 精品久久久久久久毛片微露脸| 国产成人免费无遮挡视频| 国产午夜精品久久久久久| 国产精品一区二区免费欧美| 国产欧美日韩一区二区三| xxxhd国产人妻xxx| 狠狠狠狠99中文字幕| 亚洲国产成人一精品久久久| 大片电影免费在线观看免费| av有码第一页| 又紧又爽又黄一区二区| e午夜精品久久久久久久| 人妻一区二区av| 不卡av一区二区三区| 午夜精品久久久久久毛片777| 免费黄频网站在线观看国产| 亚洲精品国产一区二区精华液| 少妇被粗大的猛进出69影院| 欧美精品av麻豆av| 亚洲,欧美精品.| 青青草视频在线视频观看| 亚洲成av片中文字幕在线观看| 黄色毛片三级朝国网站| 日韩人妻精品一区2区三区| 人人妻,人人澡人人爽秒播| 国产aⅴ精品一区二区三区波| 免费观看av网站的网址| 少妇粗大呻吟视频| 久久久精品94久久精品| 国产男女超爽视频在线观看| 久久久精品区二区三区| 人妻久久中文字幕网| 国产在线免费精品| 日韩免费高清中文字幕av| 欧美精品人与动牲交sv欧美| 麻豆乱淫一区二区| 中文欧美无线码| 免费在线观看影片大全网站| 亚洲人成电影免费在线| 极品少妇高潮喷水抽搐| 免费久久久久久久精品成人欧美视频| 亚洲精品美女久久久久99蜜臀| 手机成人av网站| 免费不卡黄色视频| 精品人妻熟女毛片av久久网站| 欧美精品亚洲一区二区| aaaaa片日本免费| 男女床上黄色一级片免费看| 国产精品久久久久久精品电影小说| 国产成人av教育| 欧美黄色片欧美黄色片| 午夜日韩欧美国产| 高清黄色对白视频在线免费看| 女同久久另类99精品国产91| 久久九九热精品免费| 纯流量卡能插随身wifi吗| 视频区图区小说| 少妇精品久久久久久久| av天堂久久9| 天天添夜夜摸| 999精品在线视频| 国产男女内射视频| 叶爱在线成人免费视频播放| 欧美 日韩 精品 国产|