• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種深度生成模型的超參數(shù)自適應優(yōu)化法

    2018-04-11 06:34:25姚誠偉陳根才
    實驗室研究與探索 2018年2期
    關鍵詞:網(wǎng)絡結構神經(jīng)元聚類

    姚誠偉, 陳根才

    (浙江大學 計算機科學與技術學院,杭州 310027)

    0 引 言

    深度生成模型(Deep Generative Model, DGM)[1]作為深度學習模型的重要分支之一,不僅在各類監(jiān)督學習領域取得優(yōu)異的效果[2-4],而且在很多非監(jiān)督學習領域領中有著獨特的優(yōu)勢,如降維分析[5]、信息檢索[6]、特征提取[7]等。DGM包括兩種經(jīng)典模型:深度置信網(wǎng)絡(Deep Belief Network, DBN)[7]和深度玻耳茲曼機(Deep Boltzmann Machine, DBM)[8]。該類深度模型的共同特點是它們都由一種稱為受限玻耳茲曼機(Restricted Boltzmann Machine, RBM)[7]的基本構件層層堆疊而構成的,因此DGM也是一種多層圖概率模型。利用這種基于圖概率模型的逐層訓練策略,DGM可以非常好地對大量數(shù)據(jù)進行非監(jiān)督方式的多層次特征提取[1],大大提升其在大數(shù)據(jù)分析和人工智能中應用效果。

    盡管DGM在各類機器學習任務中取得極大成功,然而如其他深度模型一樣,在面對實際數(shù)據(jù)和應用時,DGM的部署和訓練是一件非常困難的事。主要原因是DGM有著眾多的超參數(shù),在利用實際數(shù)據(jù)對模型進行訓練之前必須為這些超參數(shù)設置合適的值,否則在訓練中深度模型的參數(shù)很容易崩潰或無法學到有用的特征[9]。這些超參數(shù)包括:學習速度、動量系數(shù)、參數(shù)懲罰系數(shù)、丟棄比例、batch的大小,以及定義網(wǎng)絡結構的超參數(shù)等等。由于深度模型的訓練需要巨大的計算資源,人工多次嘗試選擇合適的超參數(shù)不僅需要豐富的經(jīng)驗,而且非常費時費力。

    為此,近年來面向機器學習的超參數(shù)自動優(yōu)化方法越來越得到學術界的重視。目前,比較主流的方法是基于黑盒的貝葉斯優(yōu)化方法,其中具有代表性的有基于時序模型的算法配置(Sequential Model-based Algorithm Configuration, SMAC)[10]、Parzen樹估測(Tree Parzen Estimator, TPE)[11]和Spearmint算法[12]。由于這些方法需要重復多次運行被優(yōu)化模型,以獲取優(yōu)化所必需的驗證誤差,所以在優(yōu)化深度模型時它們的效率很低。另一種思路是自適應的優(yōu)化方法,目前比較主流的方法有AdaGrad[14]、AdaDelta[15]、 RMSProp[16]、Adam[17]等。但這些方法大多只對學習速度進行優(yōu)化,無法同時綜合優(yōu)化多個超參數(shù)。

    本文利用DGM逐層訓練的特點,提出一種以神經(jīng)元激活的稀疏度(sparsity of Hidden Units, SHU)為目標值,利用高斯過程(Gaussian Process, GP)[18]動態(tài)對多個超參數(shù)進行同時優(yōu)化的方法。神經(jīng)元激活狀態(tài)往往被領域專家用于監(jiān)控DGM的訓練過程是否處于理想狀態(tài)。在訓練的中間階段,每一隱藏層的神經(jīng)元被激活太多或太少都會降低特征的提取效果。因此,本文利用當前迭代時神經(jīng)元激活狀態(tài),通過比較不同超參數(shù)組合下,神經(jīng)元激活狀態(tài)的變化,利用GP預測其中最合適組合,進行下一迭代的訓練。該方法的優(yōu)勢在于通過自適應的策略同時優(yōu)化多個超參數(shù),毋需象傳統(tǒng)貝葉斯方法那樣重復訓練整個模型,同時自適應的策略也大大提升DGM的特征提取的性能指標,以及對不同網(wǎng)絡結構的穩(wěn)定性。

    1 深度生成模型

    圖1受限玻耳茲曼機(RBM)示意圖

    深度生成模型是一種垂直多層的圖概率模型,它的基本構件是RBM[7],如圖1所示,其中雙線圓圈代表輸入神經(jīng)元,細線圓圈代表隱藏層神經(jīng)元。RBM最大的特點是各層內(nèi)部神經(jīng)元之間沒有鏈接,這大大加快了層與層之間的隨機采樣效率。輸入層可以接受各種類型的數(shù)據(jù),包括:二進制、實數(shù)和k組(k-array)數(shù)據(jù)。以二進制為例,假設v∈{0,1}D為輸入層,h∈{0,1}F為隱藏層,則RBM的能量公式定義如下[1]:

    E(v,h;θ)=

    (1)

    式中:W為單元之間的連接參數(shù);a,b為偏離項。為簡化表達,設θ={W,a,b},則模型的聯(lián)合概率定義如下[1]:

    (2)

    (3)

    (4)

    式中,g(x)=1/(1+e-x)。RBM訓練的目的是獲得優(yōu)化的參數(shù)W,為此,Hinton和他的小組提出了對比散度(Contrastive Divergence)的算法[1]:

    ΔW=α(EPdata[vhT]-EPT[vhT])

    (5)

    式中:α為學習速度,EPdata[·]為數(shù)據(jù)依賴期望值,EPT是利用Gibbs鏈近似所得的模型依賴期望值。

    利用RBM堆疊,根據(jù)結構和訓練策略的差異,DGM又分為兩大經(jīng)典模型:DBN和DBM,如圖2所示。其中,DBN是混合概率圖模型,除了頂層為無向圖以外,其他各層均為有向圖;DBM則是完全無向圖,它們的訓練方法詳見文獻[1]。

    圖2深度置信網(wǎng)絡(DBN)與深度玻耳茲曼機(DBM)

    圖中hi代表第i層隱藏層神經(jīng)元所組成的向量;Wi代表各層間的連接參數(shù)。

    就像其他很多深度模型一樣,訓練DGM最大的挑戰(zhàn)就是防止模型的過度擬合和參數(shù)崩潰。為此很多輔助機制被提了出來[9],如:利用動量原理防止參數(shù)的巨烈波動;利用參數(shù)懲罰機制防止參數(shù)崩潰;利用丟棄部分神經(jīng)元或它們的鏈接方式防止過度擬合;以及根據(jù)訓練集合理設計網(wǎng)絡結構等等。這些輔助機制大大提升DGM的性能,然而為了調(diào)整和控制這些輔助機制,眾多的超參數(shù)也被發(fā)明出來,其中最為常用如表1所示。針對新的訓練任務時,即使領域專家也很難一蹴而就找到的這么多超參數(shù)的優(yōu)化組合配置。

    表1 深度生成模型的常用超參數(shù)的說明

    2 超參數(shù)優(yōu)化算法

    在訓練DGM時,大量的實踐經(jīng)驗表明:在少數(shù)情況下被激活的神經(jīng)元比大多數(shù)情況下被激活的神經(jīng)元更加有價值[9]。因為對于一個有效的DGM來講,當特點神經(jīng)元被激活時,表示模型從特定數(shù)據(jù)中探測到了特定的特征。圖3顯示了訓練RBM時的4個模擬例子,其中3個是不理想的狀態(tài),一個為理想狀態(tài)。在此模擬例子中,數(shù)據(jù)的類別順序是被打亂的。其中,圖3(a)顯示隱藏層中大部分的神經(jīng)元被激活,很可能模型的參數(shù)W變得過大導致無法識別有效特征;圖3(b)則是圖3(a)反面,大部分神經(jīng)元都無法被激活,很可能參數(shù)變得過小而失去探測特征的能力;圖3(c)是一個有趣的例子,表示不管給任何數(shù)據(jù),其中部分神經(jīng)元總是被激活,導致神經(jīng)元的利用率不高;圖3(d)是相對比較理想的狀態(tài),當某一數(shù)據(jù)到來時只會激活其中部分神經(jīng)元。

    為在訓練過程中得到較好的神經(jīng)元激活狀態(tài),提出了一種神經(jīng)元稀疏度的懲罰項,利用交叉熵的方法實現(xiàn)實際激活比例與目標激活比例之間的調(diào)和[9]。與此同時,一個新的超參數(shù)——稀疏度懲罰系數(shù)被發(fā)明了出來。該方法無法把多個超參數(shù)之間相互微妙的影響關系考慮進去。因此,本文提出一種新的以神經(jīng)元激活的稀疏度為目標值,利用GP對稀疏度進行預測,并選出可能使神經(jīng)元激活狀態(tài)較優(yōu)的超參數(shù)組合的方法。

    圖34個模擬RBM訓練中隱藏層神經(jīng)元激活狀態(tài)圖,其中橫坐標表示隱藏層的神經(jīng)元序號,縱坐標表示min-batch的大小

    該方法的優(yōu)化法策略是在每次迭代時,先固定當前的超參數(shù),通過前一節(jié)描述的訓練過程學習模型的參數(shù)W;然后固定W,利用GP學習并預測超參數(shù)。

    (6)

    μy*=m(λ*)+K*K-1(y-mλ(i))

    (7)

    (8)

    式中:y*為預測的稀疏度;K是利用GP的協(xié)方差函數(shù)[18]從λ(i)計算的協(xié)方差矩陣,K*=k(λ*,λ(i)),K**=k(λ*,λ*);mλ(i)為由GP的均值函數(shù)[18]對λ(i)計算所得。利用式(6)得出的后驗分布,可以快速從眾多超參數(shù)候選中選出最佳超參數(shù)的組合。

    算法1基于高斯過程超參數(shù)優(yōu)化算法(在epoch:t)

    輸入A(Vtrain),被優(yōu)化的模型;

    Vtrain為訓練集;

    λbest上次迭代的最佳超參數(shù)配置;

    Mtrials用來建立GP模型的樣本數(shù)量;

    Mpredict預測最佳超參數(shù)的嘗試樣本數(shù)量;

    interval采樣樣本的定義域范圍;

    輸出λbest預測的最佳超參數(shù)配置;

    1.fori=1 toMtrialsdo

    2.在λbest±interval范圍內(nèi)隨機產(chǎn)生一個隨機配置λ(i);

    3.λ(i)用訓練模型A(Vtrain),計算yh(t)(i);

    4.end for

    5.forj=1 toMpredictdo

    6.在λbest±interval范圍內(nèi)隨機產(chǎn)生一個隨機配置λ(j);

    8.利用公式(9)選擇新的λbest;

    9.end for

    10.returnλbest。

    (9)

    式中,λbest為上一epoch的最佳組合。

    3 實驗分析

    在實驗分析中,為驗證本方法在以下3個方面的性能表現(xiàn):

    (1) 優(yōu)化效率對比。與目前主流的超參數(shù)優(yōu)化方法(SMAC和TPE)進行對比,驗證本方法對DGM的超參數(shù)優(yōu)化效率。

    (2) 針對不同DGM網(wǎng)絡結構時性能的穩(wěn)定性分析。

    (3) 在實際文本聚類的學習任務中,驗證本超參數(shù)優(yōu)化方法在非監(jiān)督學習中的優(yōu)越表現(xiàn)。

    3.1 超參數(shù)優(yōu)化效率的分析

    這里對比包括本方法(SHU)在內(nèi)的不同的超參數(shù)優(yōu)化方法,比較它們對DGM的優(yōu)化速度。在DGM中選取其中兩種最經(jīng)典的模型:DBN[7]和DBM[8](見圖2)。

    對比的超參數(shù)優(yōu)化方法包括兩種目前最主流的優(yōu)化器*http://www.automl.org/HPOLIB:SMAC[10]和TPE[11],具體采用了它們針對深度模型的改進型*https://github.com/automl/pylearningcurve predictor。測試數(shù)據(jù)選擇MNIST手寫體數(shù)字,其中包括60 000個訓練樣本和10 000個測試樣本,每個樣本為28×28像素的手寫體1~9的阿拉伯數(shù)字。

    在針對MNIST分類任務中訓練DBN和DBM一般劃分兩個階段:預訓練和精調(diào)。本方法主要針對預訓練階段。預訓練階段,SHU和SMAC、TPE針對模型的初始化設置詳見表2、3。此外目標稀疏度選擇為0.05。本方法在用到GP時,length-scale參數(shù)和noise參數(shù)分別設為1和0.1。在精調(diào)過程中同樣集成SMAC和TPE作為優(yōu)化器,并給予相同的設置。整個訓練過程的epochs設為100。測試指標為分類精度。

    圖4、5分別給出了在DBN和DBM上優(yōu)化速度的對比,結果顯示SHU比SMAC和TPE收斂速度更快,同時訓練過程中的大部分時間內(nèi)SHU可以取得對比方法約一半的錯誤。因此,該自適應的方法不僅可以明顯提升優(yōu)化速度,并且?guī)椭鶧BN和DBM提升分類精度。

    表2 本方法針對模型的超參數(shù)初始化設置

    表3 SMAC和TPE針對模型的超參數(shù)初始化設置

    圖4 DBN在MNIST上分類實驗中學習曲線的對比

    3.2 針對不同網(wǎng)絡結構的穩(wěn)定性分析

    初次使用DGM的人員由于經(jīng)驗不足,往往會為選擇什么樣的網(wǎng)絡結構而困擾。本文提出的自適應超參數(shù)優(yōu)化方法,最大的優(yōu)勢之一在于可以很大程度減輕由于網(wǎng)絡結構設置的差異而帶來的性能的巨大變動。本小節(jié)的實驗重點驗證不同網(wǎng)絡結構下,自適應超參數(shù)優(yōu)化方法的穩(wěn)定性。為了顯示本方法的優(yōu)勢,我們與手工超參數(shù)設置進行比較。

    圖5 DBM在MNIST上分類實驗中學習曲線的對比

    這里選擇深度模型為DBN,測試數(shù)據(jù)集仍是MNIST,驗證標準也是錯誤率。根據(jù)多次嘗試,手工選擇一個較為優(yōu)化的超參數(shù)組合:[η,α,ε]=[0.5,1.0,0.000 1],其中η為動量系數(shù),α為學習速度,ε為參數(shù)懲罰系數(shù)。針對自適應方法,目標稀疏度同樣選擇0.05,[η,α,ε]的初始化與表2相同。實驗中選擇4種不同的網(wǎng)絡結構,分別為[784, 100]、[784, 200, 200]、[784, 500, 100]、[784, 400, 200, 100],如圖6所示。GP的length-scale參數(shù)和noise參數(shù)分別設為1和0.1。

    圖6 不同DBN網(wǎng)絡結構下的性能比較

    圖6展示的實驗結果顯示,不同DBN的網(wǎng)絡結構下自適應超參數(shù)優(yōu)化方法取得的錯誤率明顯低于手工設置超參數(shù)方法的錯誤率,并且性能相對較為穩(wěn)定。從比較結果可得,本方法可以幫助提升DBN在實際應用中的穩(wěn)定性。

    3.3 針對文本聚類的實驗分析

    DGM最大的優(yōu)勢在于能夠利用非監(jiān)督學習較好地提取數(shù)據(jù)的特征。本小節(jié)選取文本聚類這一典型的非監(jiān)督學習任務,利用自適應的超參數(shù)優(yōu)化對DBN進行優(yōu)化,并將結果與目前主流的文本聚類算法,以及手工選取超參數(shù)的DBN做對比,驗證本方法的優(yōu)越性。

    這里選用的數(shù)據(jù)集是Reuters-21578數(shù)據(jù)集,它是由路透社提供并被Lewis*http://www.daviddlewis.com/resources/test collections/reuters21578/優(yōu)化過的數(shù)據(jù)集。選取30個類別,其中包括8 293篇文章和18 933個詞匯。當去掉詞綴、詞根以及停用詞后,選取其中出現(xiàn)頻率最高的3 000個詞作為字典。

    對比的方法包括:PLSA[19]、LDA[20]、NCut[21]、NMF[22]、lapGMM、Auto-encoder、DBN(手工調(diào)整超參數(shù))[7]。由于本方法是面相超參數(shù)優(yōu)化的,為公平起見,為對比方法也選擇了目前主流的超參數(shù)優(yōu)化器:SMAC。但是SMAC優(yōu)化器需要根據(jù)訓練效果的某個目標值,才能進行優(yōu)化,這里采用了Perplexity[20]:

    (10)

    式中:M是文檔集D的大小;P(wi)是文檔中各個詞的概率,可以在各自算法的推理過程中得到;li是第i篇文檔的長度。為SMAC選取最大迭代預算為50。

    采用DBN的網(wǎng)絡結構是[4 000, 900, 400, 400, 30],相應超參數(shù)初始化:[η,α,ε]=[0.5,1.0,0.000 1],目標稀疏度仍設為0.05,GP的length-scale參數(shù)和noise參數(shù)分別設為1和0.1。實驗的評價指標為最終聚類的精度。

    表4給出了Reuters-21578上文本聚類的實驗結果。結果顯示基于神經(jīng)元激活稀疏度(SHU)的自適應超參數(shù)優(yōu)化方法,不僅明顯提升DBN在文本聚類的性能效果,而且在聚類精度上優(yōu)于目前主流的文本聚類算法。圖7進一步展示針對整個文本集,DBN最后一層神經(jīng)元激活的狀態(tài),顯示當文本屬于某個類別時,總是有特定的神經(jīng)元會被激活,表明了基于自適應優(yōu)化方法的DBN在特征提取的有效性。

    表4 Reuters-21578上文本聚類的實驗結果

    圖7 Reuters-21578上DBN最后一層神經(jīng)元激活狀態(tài)

    4 結 語

    本文提出了一種針對DGM的超參數(shù)自適應優(yōu)化方法。該方法可以在每一epoch的訓練過程中,根據(jù)各隱藏層神經(jīng)元激活度的變化,利用GP對最合適的超參數(shù)組合進行預測,并將預測所得超參數(shù)用于下一epoch的訓練。該方法能夠在實驗研究和實際應用中,明顯提升DGM優(yōu)化效率。并且,由于該方法對不同網(wǎng)絡結構的穩(wěn)定性較好,因此可以幫助缺乏DGM實驗和應用經(jīng)驗的人員快速上手。進一步實驗也顯示在文本聚類的學習任務中,該方法能夠獲得比主流方法更好的性能。

    參考文獻(References):

    [1]Salakhutdinov R. Learning deep generative models[J].The Annual Review of Statistics and Its Application at Statistics. Annualreviews.org, 2015, 2(1):361-385.

    [2]Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553):436-444.

    [3]Bengio Y, Lamblin P, Popovici D,etal. Greedy layer-wise training of deep networks[C]// International Conference on Neural Information Processing Systems. MIT Press, 2006:153-160.

    [4]Larochelle H, Bengio Y, Louradour J,etal. Exploring strategies for training deep neural networks[J]. Journal of Machine Learning Research, 2009, 1(10):1-40.

    [5]Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786):504.

    [6]Salakhutdinov R, Hinton G. Semantic hashing[J]. International Journal of Approximate Reasoning, 2009, 50(7).

    [7]Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7):1527.

    [8]Salakhutdinov R, Hinton G. An efficient learning procedure for deep Boltzmann machines[J]. Neural Computation, 2012, 24(8):1967.

    [9]Hinton G E. A Practical Guide to Training Restricted Boltzmann Machines[M]// Neural Networks: Tricks of the Trade. Springer Berlin Heidelberg, 2012:599-619.

    [10]Hutter F, Hoos H H, Leyton-Brown K. Sequential Model-Based Optimization for General Algorithm Configuration[M]// Learning and Intelligent Optimization. Springer Berlin Heidelberg, 2011:507-523.

    [11]Bergstra J, Bardenet R, Kégl B,etal. Algorithms for Hyper-Parameter Optimization[C]// Advances in Neural Information Processing Systems, 2011:2546-2554.

    [12]Snoek J, Larochelle H, Adams R P. Practical bayesian optimization of machine learning algorithms[J]. Advances in Neural Information Processing Systems, 2012, 4:2951.

    [13]Domhan T, Springenberg J T, Hutter F. Speeding up automatic hyperparameter optimization of deep neural networks by extrapolation of learning curves[C]//AAAI Press, 2015.

    [14]Duchi J, Hazan E, Singer Y. Adaptive subgradient methods for online learning and stochastic optimization[J]. Journal of Machine Learning Research, 2011, 12(7):2121-2159.

    [15]Dauphin Y N, Vries H D, Bengio Y. Equilibrated adaptive learning rates for non-convex optimization[J]. Computer Science, 2015, 35(3):1504-1512.

    [16]Rasmussen C E, Williams C K I. Gaussian process for machine learning[M]// Gaussian processes for machine learning. MIT Press, 2006:69-106.

    [17]Hofmann T. Unsupervised learning by probabilistic latent semantic analysis[J]. Machine Learning, 2001, 42(1):177-196.

    [18]Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. Journal of Machine Learning Research, 2003, 3:993-1022.

    [19]Ng A Y, Jordan M I, Weiss Y. On spectral clustering: Analysis and an algorithm[J]. Proceedings of Advances in Neural Information Processing Systems, 2002, 14:849-856.

    [20]Bao L, Tang S, Li J,etal. Document clustering based on spectral clustering and non-negative matrix factorization[C]// International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems, 2008.

    [21]He X, Cai D, Shao Y,etal. Laplacian regularized gaussian mixture model for data clustering[J]. Knowledge & Data Engineering IEEE Transactions on, 2011, 23(9):1406-1418.

    [22]Vincent P, Larochelle H, Bengio Y,etal. Extracting and composing robust features with denoisingautoencoders[C]// ICML, 2008:1096-1103.

    ·名人名言·

    想像力比知識更重要,因為知識是有限的,而想像力概括著世界上的一切,推動著進步,并且是知識進化的源泉。嚴肅地說,想像力是科學研究中的實在因素。

    ——愛因斯坦

    猜你喜歡
    網(wǎng)絡結構神經(jīng)元聚類
    《從光子到神經(jīng)元》書評
    自然雜志(2021年6期)2021-12-23 08:24:46
    躍動的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
    基于DBSACN聚類算法的XML文檔聚類
    電子測試(2017年15期)2017-12-18 07:19:27
    基于互信息的貝葉斯網(wǎng)絡結構學習
    知識網(wǎng)絡結構維對于創(chuàng)新績效的作用機制——遠程創(chuàng)新搜尋的中介作用
    滬港通下A+ H股票網(wǎng)絡結構演化的實證分析
    基于改進的遺傳算法的模糊聚類算法
    復雜網(wǎng)絡結構比對算法研究進展
    基于二次型單神經(jīng)元PID的MPPT控制
    電源技術(2015年5期)2015-08-22 11:18:38
    毫米波導引頭預定回路改進單神經(jīng)元控制
    久久欧美精品欧美久久欧美| 给我免费播放毛片高清在线观看| 多毛熟女@视频| 91在线观看av| 韩国精品一区二区三区| 淫秽高清视频在线观看| 国产欧美日韩综合在线一区二区| 国产精品电影一区二区三区| 999精品在线视频| 一进一出好大好爽视频| 午夜福利在线观看吧| 老司机午夜十八禁免费视频| 9191精品国产免费久久| 人人妻人人澡欧美一区二区 | 国产亚洲精品一区二区www| 老熟妇仑乱视频hdxx| 久久精品国产亚洲av香蕉五月| 久久人妻熟女aⅴ| 极品人妻少妇av视频| 夜夜躁狠狠躁天天躁| 精品不卡国产一区二区三区| 两个人免费观看高清视频| 搡老妇女老女人老熟妇| 婷婷丁香在线五月| 欧美精品啪啪一区二区三区| 男人舔女人下体高潮全视频| 高清黄色对白视频在线免费看| 99久久精品国产亚洲精品| 中文字幕久久专区| 精品电影一区二区在线| 久久久久久大精品| 免费在线观看亚洲国产| 中文字幕精品免费在线观看视频| 国产精品影院久久| 视频区欧美日本亚洲| 99在线视频只有这里精品首页| 亚洲情色 制服丝袜| 在线观看免费视频日本深夜| 欧美黑人欧美精品刺激| 国产精品美女特级片免费视频播放器 | av中文乱码字幕在线| 久久香蕉国产精品| 一进一出抽搐动态| 搡老熟女国产l中国老女人| 伊人久久大香线蕉亚洲五| 国产黄a三级三级三级人| 一本久久中文字幕| 中文字幕av电影在线播放| 免费在线观看影片大全网站| 国产成人精品在线电影| 性欧美人与动物交配| 搡老熟女国产l中国老女人| 亚洲精品一区av在线观看| 国产精品爽爽va在线观看网站 | 午夜福利成人在线免费观看| 久久久久国产精品人妻aⅴ院| 亚洲国产毛片av蜜桃av| 免费搜索国产男女视频| 国内久久婷婷六月综合欲色啪| 一级a爱视频在线免费观看| 日本 av在线| 老鸭窝网址在线观看| 国产成人啪精品午夜网站| 欧美精品啪啪一区二区三区| 国产精品,欧美在线| 亚洲人成电影观看| 日日爽夜夜爽网站| 色在线成人网| 中亚洲国语对白在线视频| 亚洲国产精品久久男人天堂| 亚洲精品国产区一区二| 一二三四社区在线视频社区8| 欧美成狂野欧美在线观看| 黄片播放在线免费| 好男人电影高清在线观看| 国产亚洲欧美在线一区二区| 国产单亲对白刺激| 又紧又爽又黄一区二区| 国产午夜精品久久久久久| 99精品久久久久人妻精品| 日日爽夜夜爽网站| 搡老岳熟女国产| 狠狠狠狠99中文字幕| 精品午夜福利视频在线观看一区| 国产亚洲精品久久久久久毛片| 亚洲男人天堂网一区| 欧美成狂野欧美在线观看| 精品国内亚洲2022精品成人| 男女午夜视频在线观看| 国产亚洲精品久久久久5区| www国产在线视频色| 美女国产高潮福利片在线看| 99热只有精品国产| 精品欧美国产一区二区三| 50天的宝宝边吃奶边哭怎么回事| 免费看a级黄色片| 免费女性裸体啪啪无遮挡网站| 亚洲第一欧美日韩一区二区三区| 亚洲欧美激情在线| 久久天堂一区二区三区四区| 亚洲国产精品成人综合色| 久久伊人香网站| 精品少妇一区二区三区视频日本电影| 国产精品九九99| 无人区码免费观看不卡| 又黄又爽又免费观看的视频| 美女高潮喷水抽搐中文字幕| 国产麻豆69| 一本大道久久a久久精品| 免费少妇av软件| 色播亚洲综合网| 久久午夜综合久久蜜桃| 99久久久亚洲精品蜜臀av| 视频区欧美日本亚洲| 欧美丝袜亚洲另类 | 一边摸一边抽搐一进一小说| 成人欧美大片| 亚洲国产看品久久| 99riav亚洲国产免费| 日韩大尺度精品在线看网址 | 成人亚洲精品av一区二区| 欧美日韩精品网址| 国产一区二区激情短视频| 免费不卡黄色视频| 国产精品免费视频内射| 国产三级黄色录像| 国产精品秋霞免费鲁丝片| 香蕉久久夜色| 精品国产一区二区三区四区第35| 精品欧美国产一区二区三| 热re99久久国产66热| 成人三级黄色视频| 1024视频免费在线观看| 国产精品电影一区二区三区| 天天躁狠狠躁夜夜躁狠狠躁| 黄片大片在线免费观看| 国产熟女xx| 精品国产一区二区三区四区第35| 国产熟女午夜一区二区三区| 女性被躁到高潮视频| 黄色女人牲交| 无人区码免费观看不卡| 亚洲专区国产一区二区| 淫秽高清视频在线观看| 成人18禁在线播放| 嫩草影视91久久| 国产高清有码在线观看视频 | 一区二区三区精品91| 国产1区2区3区精品| 天天躁狠狠躁夜夜躁狠狠躁| 久久午夜亚洲精品久久| 欧美乱色亚洲激情| 免费高清视频大片| 亚洲avbb在线观看| 91字幕亚洲| 久久人妻熟女aⅴ| 在线播放国产精品三级| 久久欧美精品欧美久久欧美| 久久久久国内视频| 好看av亚洲va欧美ⅴa在| 久久亚洲精品不卡| 国产麻豆69| 亚洲av五月六月丁香网| av有码第一页| 国产精品永久免费网站| 人人妻人人澡欧美一区二区 | 999久久久国产精品视频| 18禁美女被吸乳视频| 亚洲第一电影网av| 女人高潮潮喷娇喘18禁视频| 母亲3免费完整高清在线观看| 淫妇啪啪啪对白视频| 国产精品久久久久久亚洲av鲁大| 99riav亚洲国产免费| 久久久久久久久中文| 亚洲美女黄片视频| 大香蕉久久成人网| 亚洲最大成人中文| 琪琪午夜伦伦电影理论片6080| 99久久综合精品五月天人人| 999久久久国产精品视频| 男女下面插进去视频免费观看| 亚洲在线自拍视频| 国产又色又爽无遮挡免费看| 国产麻豆成人av免费视频| 欧美日韩瑟瑟在线播放| 国产三级黄色录像| 级片在线观看| av天堂在线播放| 老鸭窝网址在线观看| 日日爽夜夜爽网站| 男人舔女人下体高潮全视频| aaaaa片日本免费| 在线观看66精品国产| 久久香蕉国产精品| 久久影院123| 黑人巨大精品欧美一区二区蜜桃| 国产精华一区二区三区| 欧美不卡视频在线免费观看 | 1024香蕉在线观看| 狂野欧美激情性xxxx| 999久久久精品免费观看国产| 成在线人永久免费视频| 国产99久久九九免费精品| 成人三级黄色视频| 美女 人体艺术 gogo| 97人妻天天添夜夜摸| 亚洲熟妇熟女久久| 中文字幕最新亚洲高清| 啦啦啦免费观看视频1| 麻豆国产av国片精品| 亚洲自偷自拍图片 自拍| 免费在线观看完整版高清| x7x7x7水蜜桃| 国产精品免费视频内射| 午夜亚洲福利在线播放| 免费一级毛片在线播放高清视频 | 午夜免费鲁丝| 一进一出好大好爽视频| 国产97色在线日韩免费| 午夜精品国产一区二区电影| 桃红色精品国产亚洲av| 亚洲av五月六月丁香网| 精品国产乱码久久久久久男人| 久久影院123| 波多野结衣av一区二区av| 一区二区三区精品91| 熟妇人妻久久中文字幕3abv| 91成年电影在线观看| 日本在线视频免费播放| 亚洲少妇的诱惑av| av福利片在线| 亚洲中文字幕日韩| 国产高清有码在线观看视频 | 国产成人一区二区三区免费视频网站| 国产亚洲av高清不卡| 亚洲性夜色夜夜综合| 国产日韩一区二区三区精品不卡| av在线播放免费不卡| av福利片在线| 国产一区二区三区视频了| 亚洲七黄色美女视频| 中文字幕av电影在线播放| 黄色女人牲交| 熟女少妇亚洲综合色aaa.| 亚洲 国产 在线| www.www免费av| 久久精品亚洲精品国产色婷小说| 91成年电影在线观看| 久久 成人 亚洲| 亚洲欧美日韩无卡精品| 中文字幕人妻熟女乱码| 中文亚洲av片在线观看爽| 丝袜美腿诱惑在线| 一区二区三区国产精品乱码| 99精品欧美一区二区三区四区| 精品午夜福利视频在线观看一区| 午夜影院日韩av| 欧美人与性动交α欧美精品济南到| 色老头精品视频在线观看| 国产一区二区激情短视频| 高清在线国产一区| 中文字幕人成人乱码亚洲影| 国产亚洲欧美98| 午夜两性在线视频| 亚洲av第一区精品v没综合| 久久国产亚洲av麻豆专区| 久久精品国产清高在天天线| 精品久久久久久成人av| 天天躁狠狠躁夜夜躁狠狠躁| 国产亚洲欧美98| 免费在线观看影片大全网站| 给我免费播放毛片高清在线观看| 激情在线观看视频在线高清| 搡老妇女老女人老熟妇| 国产成+人综合+亚洲专区| 国产精品免费一区二区三区在线| 国产成人啪精品午夜网站| 久久人人精品亚洲av| 国产熟女午夜一区二区三区| 不卡一级毛片| 亚洲人成电影观看| 麻豆成人av在线观看| 日本a在线网址| 国产亚洲精品综合一区在线观看 | 色综合亚洲欧美另类图片| 国产成人欧美在线观看| 村上凉子中文字幕在线| 日韩一卡2卡3卡4卡2021年| 亚洲精品国产区一区二| 国产亚洲av嫩草精品影院| 手机成人av网站| 香蕉丝袜av| 麻豆一二三区av精品| 88av欧美| 黄色a级毛片大全视频| 久久精品aⅴ一区二区三区四区| 桃色一区二区三区在线观看| 日本五十路高清| 男人的好看免费观看在线视频 | 一本综合久久免费| 国产精品av久久久久免费| 成人欧美大片| 欧美激情极品国产一区二区三区| 国产成人av激情在线播放| 欧美黑人精品巨大| 欧洲精品卡2卡3卡4卡5卡区| 欧美黑人精品巨大| 法律面前人人平等表现在哪些方面| 村上凉子中文字幕在线| 久久久久久亚洲精品国产蜜桃av| 999久久久国产精品视频| 成年人黄色毛片网站| 亚洲精品一卡2卡三卡4卡5卡| 日本a在线网址| 欧美乱码精品一区二区三区| 一个人免费在线观看的高清视频| 丝袜美足系列| 欧美日韩中文字幕国产精品一区二区三区 | 少妇 在线观看| 久久精品国产亚洲av高清一级| 亚洲国产日韩欧美精品在线观看 | 很黄的视频免费| 老司机靠b影院| 国产精华一区二区三区| 动漫黄色视频在线观看| 在线观看免费日韩欧美大片| 一区二区三区激情视频| 一本久久中文字幕| 亚洲 欧美 日韩 在线 免费| 午夜精品在线福利| 久久精品91蜜桃| 欧美在线一区亚洲| 免费无遮挡裸体视频| 国产亚洲精品久久久久5区| 亚洲国产日韩欧美精品在线观看 | 欧美丝袜亚洲另类 | 国产片内射在线| 国产主播在线观看一区二区| 色尼玛亚洲综合影院| 巨乳人妻的诱惑在线观看| 亚洲一区高清亚洲精品| 免费看a级黄色片| 精品无人区乱码1区二区| 男人舔女人的私密视频| 免费在线观看黄色视频的| 国产一区二区三区视频了| 成人手机av| 亚洲av五月六月丁香网| 一级,二级,三级黄色视频| 欧美激情久久久久久爽电影 | 国产午夜福利久久久久久| 嫁个100分男人电影在线观看| 亚洲精品一卡2卡三卡4卡5卡| 人成视频在线观看免费观看| 黄色成人免费大全| a在线观看视频网站| 国产亚洲av高清不卡| 视频在线观看一区二区三区| 亚洲国产高清在线一区二区三 | 精品国产一区二区久久| av天堂在线播放| 老司机午夜十八禁免费视频| 色在线成人网| 色av中文字幕| 欧美黑人精品巨大| 亚洲精品国产色婷婷电影| 精品国产美女av久久久久小说| www.熟女人妻精品国产| 岛国视频午夜一区免费看| 国产精品一区二区在线不卡| 国产成年人精品一区二区| 9色porny在线观看| 欧美日本中文国产一区发布| 麻豆一二三区av精品| 久久精品人人爽人人爽视色| 国产亚洲精品一区二区www| 香蕉丝袜av| 中文字幕精品免费在线观看视频| 亚洲av熟女| 日韩精品中文字幕看吧| 夜夜爽天天搞| 精品不卡国产一区二区三区| tocl精华| 好男人电影高清在线观看| 久久久精品国产亚洲av高清涩受| 亚洲美女黄片视频| 校园春色视频在线观看| 在线永久观看黄色视频| 国产成人av激情在线播放| 欧美日本中文国产一区发布| 丝袜美足系列| 亚洲av第一区精品v没综合| 色婷婷久久久亚洲欧美| 1024视频免费在线观看| 亚洲精品国产区一区二| 国产麻豆成人av免费视频| 国产精品影院久久| 久久久久国产一级毛片高清牌| 免费少妇av软件| 免费久久久久久久精品成人欧美视频| 亚洲激情在线av| 制服人妻中文乱码| 国产一区二区三区综合在线观看| 精品久久久久久久人妻蜜臀av | 午夜免费鲁丝| 国产成人精品在线电影| 欧美性长视频在线观看| 午夜福利在线观看吧| 亚洲欧美激情在线| 在线观看日韩欧美| av天堂在线播放| 国产单亲对白刺激| 久久婷婷人人爽人人干人人爱 | 免费高清在线观看日韩| 熟妇人妻久久中文字幕3abv| av超薄肉色丝袜交足视频| 又紧又爽又黄一区二区| 欧美人与性动交α欧美精品济南到| 亚洲专区中文字幕在线| 两人在一起打扑克的视频| 波多野结衣av一区二区av| 成人亚洲精品av一区二区| av视频免费观看在线观看| 国产日韩一区二区三区精品不卡| 国产精品九九99| 国产熟女xx| 久久亚洲真实| 一边摸一边做爽爽视频免费| 欧美日韩一级在线毛片| 国产av在哪里看| 女人被狂操c到高潮| 午夜a级毛片| 最新美女视频免费是黄的| 99在线人妻在线中文字幕| 亚洲av片天天在线观看| 亚洲av熟女| 女同久久另类99精品国产91| 真人一进一出gif抽搐免费| 午夜两性在线视频| 亚洲五月婷婷丁香| 亚洲 国产 在线| 亚洲一区高清亚洲精品| 黄色女人牲交| 最近最新中文字幕大全电影3 | 国产亚洲精品久久久久5区| 手机成人av网站| 一区二区三区精品91| 日韩免费av在线播放| 亚洲免费av在线视频| 一a级毛片在线观看| 国产aⅴ精品一区二区三区波| 亚洲熟妇熟女久久| 中文字幕精品免费在线观看视频| 午夜福利在线观看吧| 麻豆久久精品国产亚洲av| 国产麻豆69| 啦啦啦免费观看视频1| 午夜久久久久精精品| 亚洲熟妇熟女久久| 亚洲自偷自拍图片 自拍| 久久精品91无色码中文字幕| 悠悠久久av| 日本vs欧美在线观看视频| 一a级毛片在线观看| 欧美久久黑人一区二区| 亚洲狠狠婷婷综合久久图片| 亚洲va日本ⅴa欧美va伊人久久| 一夜夜www| 欧美国产精品va在线观看不卡| 久久人妻熟女aⅴ| 757午夜福利合集在线观看| 亚洲精品中文字幕一二三四区| 成人永久免费在线观看视频| 国产精品九九99| 日日摸夜夜添夜夜添小说| 99在线人妻在线中文字幕| 高潮久久久久久久久久久不卡| 国产91精品成人一区二区三区| 成人亚洲精品av一区二区| 久久久国产欧美日韩av| 精品国产一区二区久久| 一进一出抽搐gif免费好疼| 99在线视频只有这里精品首页| 久久精品91蜜桃| 欧美乱妇无乱码| 身体一侧抽搐| 99在线视频只有这里精品首页| 日本免费一区二区三区高清不卡 | 男人舔女人的私密视频| 无人区码免费观看不卡| 久久人人97超碰香蕉20202| 国产精品美女特级片免费视频播放器 | 久久久久久大精品| 一区二区三区国产精品乱码| 天堂动漫精品| 久久 成人 亚洲| 99国产综合亚洲精品| 色综合婷婷激情| 91成年电影在线观看| 国产激情欧美一区二区| 91麻豆精品激情在线观看国产| 成人18禁在线播放| 久热这里只有精品99| 欧美国产日韩亚洲一区| 欧美在线黄色| 精品欧美一区二区三区在线| 涩涩av久久男人的天堂| 免费不卡黄色视频| 免费看a级黄色片| 久久这里只有精品19| 日本免费一区二区三区高清不卡 | 中文亚洲av片在线观看爽| www.www免费av| 久久精品91蜜桃| 这个男人来自地球电影免费观看| 午夜福利高清视频| 午夜福利成人在线免费观看| 国产黄a三级三级三级人| 757午夜福利合集在线观看| 香蕉国产在线看| 国产三级在线视频| 9色porny在线观看| 日本免费a在线| 亚洲精品一卡2卡三卡4卡5卡| 日本一区二区免费在线视频| 欧美黑人精品巨大| 看黄色毛片网站| 久久天躁狠狠躁夜夜2o2o| 精品电影一区二区在线| 多毛熟女@视频| 久久久国产精品麻豆| 国产精品98久久久久久宅男小说| 国产成人一区二区三区免费视频网站| 久久婷婷人人爽人人干人人爱 | 亚洲国产精品成人综合色| 12—13女人毛片做爰片一| 91麻豆av在线| 19禁男女啪啪无遮挡网站| 99国产精品一区二区三区| 国产亚洲av嫩草精品影院| 久久国产乱子伦精品免费另类| 黑人欧美特级aaaaaa片| 国产亚洲精品久久久久5区| 国产一级毛片七仙女欲春2 | 亚洲av五月六月丁香网| 女警被强在线播放| 日韩欧美一区二区三区在线观看| 国产亚洲精品综合一区在线观看 | 99国产精品一区二区蜜桃av| 国产欧美日韩一区二区三区在线| 日韩欧美在线二视频| 成人亚洲精品一区在线观看| 九色亚洲精品在线播放| 很黄的视频免费| 久久中文看片网| 熟妇人妻久久中文字幕3abv| 一区在线观看完整版| 日韩精品免费视频一区二区三区| 波多野结衣巨乳人妻| 久久久久久久久久久久大奶| 乱人伦中国视频| 成人18禁高潮啪啪吃奶动态图| 91av网站免费观看| 免费在线观看影片大全网站| 亚洲男人的天堂狠狠| 国产一区二区激情短视频| 国产精品1区2区在线观看.| 日本vs欧美在线观看视频| 日韩欧美三级三区| 国产成+人综合+亚洲专区| 波多野结衣一区麻豆| 欧美在线黄色| 精品高清国产在线一区| 日韩高清综合在线| 国产野战对白在线观看| 我的亚洲天堂| av网站免费在线观看视频| 久久人人97超碰香蕉20202| 亚洲天堂国产精品一区在线| 国产伦人伦偷精品视频| 成人av一区二区三区在线看| 色尼玛亚洲综合影院| 国内毛片毛片毛片毛片毛片| 亚洲精品在线美女| 久久久久国产一级毛片高清牌| 久久香蕉国产精品| 欧美国产精品va在线观看不卡| 久久精品91无色码中文字幕| av电影中文网址| 黄网站色视频无遮挡免费观看| cao死你这个sao货| 久久精品亚洲精品国产色婷小说| 国产伦人伦偷精品视频| 色老头精品视频在线观看| 亚洲国产精品成人综合色| 黄色成人免费大全| 制服诱惑二区| 亚洲av成人不卡在线观看播放网| 十分钟在线观看高清视频www| 国产不卡一卡二| 亚洲天堂国产精品一区在线| 亚洲精品粉嫩美女一区| 国产精品亚洲美女久久久| 老鸭窝网址在线观看| 亚洲成人久久性| 国产97色在线日韩免费| 午夜福利一区二区在线看| 我的亚洲天堂| 极品教师在线免费播放| 亚洲色图av天堂| 桃红色精品国产亚洲av| 免费在线观看影片大全网站| 亚洲欧美激情综合另类| 在线观看免费视频网站a站|