• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法

    2020-12-25 06:07:56張索非吳曉富
    關(guān)鍵詞:錯(cuò)誤率集上網(wǎng)絡(luò)結(jié)構(gòu)

    謝 奔,張索非,吳曉富

    (1.南京郵電大學(xué) 通信與信息工程學(xué)院,江蘇 南京 210003;2.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院,江蘇 南京 210003)

    0 引 言

    在過去的十年,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)在包括圖像分類、語義分割、目標(biāo)檢測、人臉識(shí)別等計(jì)算機(jī)視覺任務(wù)上都取得了不錯(cuò)的成績[1-4]。盡管卷積神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域中都取得了重大突破,但是它仍然存在著一定的局限性,比如網(wǎng)絡(luò)中的池化層會(huì)使得圖像中的空間信息丟失等。為了解決上述問題,Hinton等人提出了膠囊網(wǎng)絡(luò)[5],并在幾個(gè)小型分類數(shù)據(jù)集(如MNIST[6])上取得了不錯(cuò)的性能,后續(xù)有一些工作者對(duì)其結(jié)構(gòu)進(jìn)行了研究[7-9],發(fā)現(xiàn)膠囊網(wǎng)絡(luò)結(jié)構(gòu)過于簡單以及動(dòng)態(tài)路由機(jī)制的計(jì)算過于復(fù)雜是導(dǎo)致其在大型分類數(shù)據(jù)集(如CIFAR10,CIFAR100[10])上沒有傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)性能好的原因。針對(duì)膠囊網(wǎng)絡(luò)的這些局限性,文獻(xiàn)[11]提出一種膠囊投影網(wǎng)絡(luò)(capsule projection network,CapProNet)。該模型使用一組膠囊張成的子空間來表征實(shí)體,一旦一組膠囊子空間被學(xué)習(xí)到,模型即可將提取的特征投影到這組膠囊子空間上形成一組膠囊以用于分類任務(wù)。與文獻(xiàn)[5]一樣,膠囊的長度用于計(jì)算輸入樣本屬于對(duì)應(yīng)類別的概率,其方向則用于表示實(shí)體的一些其他屬性,例如姿勢、尺寸、紋理等。膠囊投影網(wǎng)絡(luò)的另一個(gè)優(yōu)點(diǎn)在于其可以很容易地嵌入到現(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上,融入了膠囊投影網(wǎng)絡(luò)后的結(jié)構(gòu)在多個(gè)分類數(shù)據(jù)集上取得了性能提升。

    盡管膠囊投影網(wǎng)絡(luò)在多個(gè)分類數(shù)據(jù)集上取得了不錯(cuò)的性能,但是這是建立在比較高的訓(xùn)練成本基礎(chǔ)上達(dá)到的,而過高的訓(xùn)練成本會(huì)削弱模型的泛化能力。為了解決上述問題,受文獻(xiàn)[12]的啟發(fā),該文引入一種基于熱重啟機(jī)制的隨機(jī)梯度下降算法(stochastic gradient descent with warm restarts,SGDR)到膠囊投影網(wǎng)絡(luò)的學(xué)習(xí)中,提出了一種基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法,并在多個(gè)分類數(shù)據(jù)集上進(jìn)行評(píng)估。

    實(shí)驗(yàn)結(jié)果表明,該方法在降低訓(xùn)練成本的同時(shí)實(shí)現(xiàn)了比較好的泛化性能,例如,使用WideResNet[13]作為主干網(wǎng)與CapProNet結(jié)合后的網(wǎng)絡(luò)模型在CIFAR10 與CIFAR100數(shù)據(jù)集上分別取得的最好結(jié)果為3.56%與18.73%,然而文獻(xiàn)[11]中報(bào)道的在CIFAR10與CIFAR100數(shù)據(jù)集上分別取得的最好結(jié)果只有3.64%與19.83%。對(duì)應(yīng)地,該方法使得模型訓(xùn)練完全收斂只需要300個(gè)epochs,相較于原論文的訓(xùn)練策略所需要的500個(gè)epochs,很大程度上降低了訓(xùn)練成本。

    1 膠囊投影網(wǎng)絡(luò)

    1.1 網(wǎng)絡(luò)結(jié)構(gòu)

    膠囊投影網(wǎng)絡(luò)是文獻(xiàn)[11]中提出的一種新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),不同于文獻(xiàn)[5,14],膠囊投影網(wǎng)絡(luò)通過學(xué)習(xí)一組膠囊子空間表征一組實(shí)體類,膠囊子空間的學(xué)習(xí)是為了將主干網(wǎng)提取的特征投影到上面形成一組膠囊用于分類任務(wù)。同樣地,膠囊的長度可以用于計(jì)算輸入樣本屬于對(duì)應(yīng)類別的概率,其方向則用于表示實(shí)體的一些其他屬性,例如姿勢、尺寸、紋理等。與原始膠囊網(wǎng)絡(luò)結(jié)構(gòu)不同的是,膠囊投影網(wǎng)絡(luò)可以作為分類層(classification layer)嵌入到多種現(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(例如ResNet[15]、WideResNet[13]等)中來幫助網(wǎng)絡(luò)更好地學(xué)習(xí)特征,以提高網(wǎng)絡(luò)的性能。

    一個(gè)典型的膠囊投影網(wǎng)絡(luò)與主干網(wǎng)絡(luò)相結(jié)合的結(jié)構(gòu)如圖1所示。這里以CIFAR10數(shù)據(jù)集為例,首先,給定輸入圖片,經(jīng)過一個(gè)主干網(wǎng)提取出特征x∈d;然后,當(dāng)膠囊投影網(wǎng)絡(luò)學(xué)習(xí)到10個(gè)膠囊子空間S={S1,S2,…,S10}后,可以將特征x分別投影到這些子空間上得到10個(gè)膠囊[v1,v2,…,v10]∈10×d,這里d指膠囊的維度;

    圖1 主干網(wǎng)絡(luò)與膠囊投影網(wǎng)絡(luò)結(jié)合后的網(wǎng)絡(luò)結(jié)構(gòu)

    最后,可以通過計(jì)算這些膠囊的長度‖v‖2得到輸入圖片屬于對(duì)應(yīng)類別的概率,其中長度最長的膠囊對(duì)應(yīng)最終的分類結(jié)果。

    1.2 特征在膠囊子空間上的投影

    處于網(wǎng)絡(luò)結(jié)構(gòu)核心位置的是膠囊投影算法,這一部分將詳細(xì)對(duì)該算法進(jìn)行一個(gè)說明。假設(shè)輸入樣本有L類,這樣膠囊投影網(wǎng)絡(luò)需要學(xué)習(xí)L個(gè)膠囊子空間,即{S1,S2,…,SL}。假設(shè)主干網(wǎng)提取出輸入樣本的特征x∈d,為了學(xué)習(xí)到一定的特征表示,將x分別投影到L個(gè)膠囊子空間上,從而得到L個(gè)膠囊[v1,v2,…,vL],每個(gè)膠囊的長度用于表示輸入樣本屬于對(duì)應(yīng)類別的概率。

    對(duì)于每個(gè)膠囊子空間而言,網(wǎng)絡(luò)通過學(xué)習(xí)一個(gè)權(quán)重矩陣Wl={w1,w2,…,wc}∈d×c,使用權(quán)重矩陣的列向量作為基向量構(gòu)建子空間,即Sl=span(Wl)。這樣特征在膠囊子空間上的投影可通過式(1)得到:

    (1)

    (2)

    2 基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法

    基于熱重啟機(jī)制的梯度下降算法(SGDR)[12]通過將SGD優(yōu)化器與熱重啟機(jī)制相結(jié)合在多個(gè)分類任務(wù)上取得了不錯(cuò)的效果。所謂的熱重啟機(jī)制是指在網(wǎng)絡(luò)訓(xùn)練的時(shí)候人為設(shè)定一個(gè)重啟周期Ti,每達(dá)到這個(gè)周期,將重新啟動(dòng)初始學(xué)習(xí)率進(jìn)行訓(xùn)練,同時(shí)模型的每次重啟使用上一次重啟的參數(shù)作為初始化,其本質(zhì)上就是一個(gè)學(xué)習(xí)率的調(diào)整。該文通過將SGDR算法與膠囊投影網(wǎng)絡(luò)相結(jié)合,提出了一種基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法。

    對(duì)于基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法,采用余弦退火方案來調(diào)整學(xué)習(xí)率,從而達(dá)到熱重啟的作用。對(duì)于每次迭代,采用式(3)調(diào)整學(xué)習(xí)率:

    (3)

    (4)

    為了使基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法更好地提升模型性能,初始設(shè)置Ti=0為一個(gè)相對(duì)比較小的值,例如將其設(shè)置為總的訓(xùn)練預(yù)算的1/10,在下一次重啟前再乘上一個(gè)乘數(shù)因子Tmult,以變化重啟周期Ti。通過這種動(dòng)態(tài)改變重啟周期的方式來促使網(wǎng)絡(luò)模型快速找到最優(yōu)解,以降低訓(xùn)練成本。

    圖2 算法示例

    這里,通過一個(gè)例子來說明基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法的具體設(shè)置,如圖2所示。將初始學(xué)習(xí)率設(shè)為0.1,同時(shí)令Ti=0=10,Tmult=2,當(dāng)訓(xùn)練的epoch達(dá)到10時(shí),此時(shí)學(xué)習(xí)率ηt=10=0,這時(shí)由于Tcur=Ti=0,所以在下一次重啟前需要將Tcur設(shè)置為0,這樣學(xué)習(xí)率ηt將重新回到初始學(xué)習(xí)率,網(wǎng)絡(luò)也將重新回到初始狀態(tài)進(jìn)行訓(xùn)練,同時(shí)將Ti=0乘上一個(gè)乘數(shù)因子Tmult=2,從而得到下一次重啟的周期為Ti=1=Ti=0Tmult=20,以此類推,直到訓(xùn)練結(jié)束?;跓嶂貑C(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法通過這種反復(fù)重啟來促使網(wǎng)絡(luò)模型快速找到最優(yōu)解,從而在提高網(wǎng)絡(luò)的性能的同時(shí)也降低了訓(xùn)練成本。

    3 實(shí) 驗(yàn)

    本節(jié)通過實(shí)驗(yàn)來驗(yàn)證基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法可以有效地提升網(wǎng)絡(luò)模型性能。

    3.1 數(shù)據(jù)集

    實(shí)驗(yàn)中采用CIFAR數(shù)據(jù)集來評(píng)估所提出的方法。CIFAR數(shù)據(jù)集包含50 000張像素為32×32的圖片作為訓(xùn)練集,10 000張像素為32×32的圖片作為測試集。CIFAR10數(shù)據(jù)集中的所有圖片來源于10類目標(biāo),CIFAR100數(shù)據(jù)集中的所有圖片來源于100類目標(biāo)。

    3.2 主干網(wǎng)絡(luò)

    實(shí)驗(yàn)中選取多種主干網(wǎng)絡(luò)來評(píng)估性能,例如ResNet[15]、WideResNet[13]、Densenet[17]和ResNet(pre-activation)[18]。將主干網(wǎng)絡(luò)的最后一層分類層用膠囊投影網(wǎng)絡(luò) (CapProNet)替代,同時(shí)將結(jié)合后的網(wǎng)絡(luò)在所給數(shù)據(jù)集上進(jìn)行端到端訓(xùn)練,訓(xùn)練后的模型在測試集上測試得出測試結(jié)果。為了書寫方便,將主干網(wǎng)標(biāo)記為X,這樣所有主干網(wǎng)絡(luò)與膠囊投影網(wǎng)絡(luò)結(jié)合后的網(wǎng)絡(luò)結(jié)構(gòu)可以記為CapProNet+X。

    3.3 不同SGDR配置對(duì)性能的影響分析

    根據(jù)第2節(jié)的介紹可以發(fā)現(xiàn),不同的SGDR設(shè)置對(duì)網(wǎng)絡(luò)模型性能影響很大,同時(shí)由于SGDR設(shè)置的不同,模型在收斂的時(shí)候所需要的epochs也不一樣。例如,當(dāng)Ti=0=10,Tmult=2時(shí),根據(jù)圖2可以看出,模型可能是在第310個(gè)epoch收斂的比較好,又比如,當(dāng)Ti=0=50,Tmult=1時(shí),模型可能是第400個(gè)epoch收斂的比較好,所以為了找到促使膠囊投影網(wǎng)絡(luò)收斂最好,同時(shí)訓(xùn)練成本也較少的設(shè)置,就不同SGDR配置對(duì)模型性能的影響做了一個(gè)消融研究。

    選取以下幾種設(shè)置進(jìn)行消融研究:(1)Ti=0=1,Tmult=2;(2)Ti=0=10,Tmult=2;(3)Ti=0=20,Tmult=2;(4)Ti=0=50,Tmult=1;(5)Ti=0=100,Tmult=1;(6)Ti=0=200,Tmult=1,使用CapProNet(c=2)+ResNet110網(wǎng)絡(luò)結(jié)構(gòu)在CIFAR10數(shù)據(jù)集上進(jìn)行訓(xùn)練測試,測試結(jié)果如表1所示。

    表1 不同SGDR設(shè)置條件下CapProNet(c=2)+ResNet110網(wǎng)絡(luò)在CIFAR10上的測試錯(cuò)誤率

    從表1可以發(fā)現(xiàn),盡管Ti=0=20,Tmult=2設(shè)置的訓(xùn)練成本最低,但是其在CIFAR10數(shù)據(jù)集上的分類錯(cuò)誤率是這幾種設(shè)置中最高的,相比之下,Ti=0=10,Tmult=2設(shè)置在比其訓(xùn)練成本多10個(gè)epochs的條件下在CIFAR10數(shù)據(jù)集上獲得了最低的錯(cuò)誤率,錯(cuò)誤率達(dá)到了5.05%,這樣在降低訓(xùn)練成本的同時(shí)獲得了比較好的性能。所以在接下來的所有實(shí)驗(yàn)中采用了Ti=0=10,Tmult=2設(shè)置來訓(xùn)練網(wǎng)絡(luò)模型。

    3.4 CIFAR10數(shù)據(jù)集上的分類結(jié)果

    評(píng)估了CapProNet+WideResNet28-10、CapProNet+ResNet110、CapProNet+Densenet100-12和CapProNet+ ResNet164(pre-activation)四種網(wǎng)絡(luò)結(jié)構(gòu)在CIFAR10上的性能。實(shí)驗(yàn)結(jié)果如表2所示,與原論文報(bào)道相比,該方法實(shí)現(xiàn)了更高的性能,在CIFAR10上最好的性能達(dá)到3.56%,相比于原論文,減少了2%的錯(cuò)誤率。更重要的是比原訓(xùn)練框架減少了接近40%的訓(xùn)練成本,原訓(xùn)練框架需要500個(gè)epochs,而我們的僅需要大約300個(gè)epochs,這在很大程度上降低了訓(xùn)練成本。

    表2 不同網(wǎng)絡(luò)結(jié)構(gòu)在CIFAR10上的測試錯(cuò)誤率

    續(xù)表2

    注意對(duì)于CapProNet+Densenet100-12和CapProNet+ResNet164 (pre-activation)網(wǎng)絡(luò)結(jié)構(gòu),用500個(gè)epoch無法復(fù)現(xiàn)原論文報(bào)道的結(jié)果,所以為了保證公平比較,在表2中報(bào)道了原論文報(bào)道結(jié)果與復(fù)現(xiàn)的結(jié)果,標(biāo)記為original/rerun,盡管所提方法并沒有達(dá)到比較好的性能,但是用更少的訓(xùn)練成本達(dá)到了與原論文相當(dāng)?shù)慕Y(jié)果。

    3.5 CIFAR100數(shù)據(jù)集上的分類結(jié)果

    同樣評(píng)估了CapProNet+WideResNet28-10、CapProNet+ResNet110、CapProNet+ Densenet100-12三種網(wǎng)絡(luò)結(jié)構(gòu)在CIFAR100上的性能。實(shí)驗(yàn)結(jié)果如表3所示,與3.4節(jié)一樣,也報(bào)道了原論文與復(fù)現(xiàn)的結(jié)果,標(biāo)記為original/rerun。從表中可以看到,在CIFAR100數(shù)據(jù)集上最好的性能是18.73%,相比于原論文,降低了6%的錯(cuò)誤率,更重要是,該方法比原訓(xùn)練框架減少了接近40%的訓(xùn)練成本,在減少訓(xùn)練的總預(yù)算的同時(shí),提升了模型的性能。

    表3 不同網(wǎng)絡(luò)結(jié)構(gòu)在CIFAR100上的測試錯(cuò)誤率

    3.6 學(xué)習(xí)曲線的可視化

    為了更好地展現(xiàn)提出的算法的有效性,將使用提出的算法的網(wǎng)絡(luò)模型的學(xué)習(xí)曲線與原論文網(wǎng)絡(luò)模型進(jìn)行一個(gè)對(duì)比。這里選取了CapProNet+ResNet164(c=4)與CapProNet+Densenet(c=4)在CIFAR10數(shù)據(jù)集上訓(xùn)練得到的模型。

    圖3與圖4分別為CapProNet+ResNet164(c=4)與CapProNet+Densenet(c=4)在CIFAR10數(shù)據(jù)集上的學(xué)習(xí)曲線,其中ours表示使用提出的算法學(xué)習(xí)得到的模型,original則表示原論文的模型。由圖可見,使用提出的算法的模型可以更快地尋找到最優(yōu)解,相比于原論文的模型需要500個(gè)epochs才能完全收斂,而提出的算法第310個(gè)epochs就可以完全收斂,這也進(jìn)一步證明了提出的算法的有效性。

    圖3 CapProNet+ResNet164(c=4)模型的學(xué)習(xí)曲線

    圖4 CapProNet+Densenet100-12(c=4)模型的學(xué)習(xí)曲線

    3.7 消融研究

    在這一部分,進(jìn)一步探究在網(wǎng)絡(luò)訓(xùn)練過程中通過增加epochs來獲得更高性能的方法。考慮以下三種網(wǎng)絡(luò)結(jié)構(gòu):CapProNet+WideResNet28-10、CapProNet+ ResNet110、CapProNet+Densenet100-12,將所有的模型在CIFAR10數(shù)據(jù)集上使用630個(gè)epochs訓(xùn)練,同時(shí)為了公平比較,使用相同的訓(xùn)練成本重新訓(xùn)練原論文中的模型,二者實(shí)驗(yàn)的超參數(shù)保持一致。實(shí)驗(yàn)結(jié)果如表4所示,總體來說,提出的算法實(shí)現(xiàn)了比原論文更好的性能,在CIFAR10上最好的性能達(dá)到了3.41%,相比文獻(xiàn)[4]報(bào)道的最好成績降低了6%的錯(cuò)誤率。這些結(jié)果表明,提出的方法使用更高的訓(xùn)練成本可以達(dá)到更好的泛化性能。

    表4 不同網(wǎng)絡(luò)結(jié)構(gòu)在CIFAR10上的測試錯(cuò)誤率

    3.8 SGDR算法的兼容性

    實(shí)驗(yàn)證明,所提出的算法在收斂速度與分類性能上均超過了原膠囊投影網(wǎng)絡(luò)模型。但是這并不能代表SGDR算法應(yīng)用于所有深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)都可以收斂的很好,為了證明算法不具有普遍應(yīng)用性,將SGDR算法應(yīng)用于ResNet110與ResNet164(pre-activation)兩種結(jié)構(gòu)上,不同結(jié)構(gòu)在CIFAR10上測試的結(jié)果如表5所示。正如表5所示,相同的網(wǎng)絡(luò)模型下,使用SGDR算法的結(jié)果遠(yuǎn)不如不用SGDR算法的結(jié)果,這也證明了SGDR算法并不適用于所有深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

    表5 不同訓(xùn)練策略在CIFAR10上的測試錯(cuò)誤率

    4 結(jié)束語

    將基于熱重啟機(jī)制的隨機(jī)梯度下降算法引入到膠囊投影網(wǎng)絡(luò)的學(xué)習(xí)中,提出了一種基于熱重啟機(jī)制的膠囊投影網(wǎng)絡(luò)快速訓(xùn)練算法,并分別在CIFAR10與CIFAR100數(shù)據(jù)集上進(jìn)行了性能評(píng)估。實(shí)驗(yàn)結(jié)果表明,該方法在降低訓(xùn)練成本的同時(shí)還獲得了比較好的泛化性能,因此,基于熱重啟機(jī)制的隨機(jī)梯度下降算法可作為膠囊投影網(wǎng)絡(luò)的一種標(biāo)準(zhǔn)訓(xùn)練算法,推動(dòng)這種網(wǎng)絡(luò)模型的進(jìn)一步發(fā)展以及應(yīng)用。目前的膠囊投影網(wǎng)絡(luò)只用于分類任務(wù)中,在未來可以進(jìn)一步探究其在目標(biāo)檢測、人臉識(shí)別與行人重識(shí)別等任務(wù)的可能性。

    猜你喜歡
    錯(cuò)誤率集上網(wǎng)絡(luò)結(jié)構(gòu)
    限制性隨機(jī)試驗(yàn)中選擇偏倚導(dǎo)致的一類錯(cuò)誤率膨脹*
    Cookie-Cutter集上的Gibbs測度
    鏈完備偏序集上廣義向量均衡問題解映射的保序性
    復(fù)扇形指標(biāo)集上的分布混沌
    正視錯(cuò)誤,尋求策略
    教師·中(2017年3期)2017-04-20 21:49:49
    解析小學(xué)高段學(xué)生英語單詞抄寫作業(yè)錯(cuò)誤原因
    基于互信息的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)
    知識(shí)網(wǎng)絡(luò)結(jié)構(gòu)維對(duì)于創(chuàng)新績效的作用機(jī)制——遠(yuǎn)程創(chuàng)新搜尋的中介作用
    滬港通下A+ H股票網(wǎng)絡(luò)結(jié)構(gòu)演化的實(shí)證分析
    復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)比對(duì)算法研究進(jìn)展
    五月开心婷婷网| 精品国产乱码久久久久久小说| 丁香六月欧美| 一级毛片 在线播放| 欧美激情高清一区二区三区| 午夜福利乱码中文字幕| 中文字幕精品免费在线观看视频| 最黄视频免费看| 亚洲第一青青草原| 久久久久国产精品人妻一区二区| 国产精品免费大片| 超色免费av| 中文字幕人妻丝袜一区二区| 午夜视频精品福利| 青青草视频在线视频观看| 久久这里只有精品19| 久久人妻熟女aⅴ| 中文字幕人妻丝袜一区二区| 日本欧美视频一区| 97人妻天天添夜夜摸| 精品一区在线观看国产| 午夜老司机福利片| 国产精品九九99| 十八禁高潮呻吟视频| 麻豆乱淫一区二区| 精品一区在线观看国产| 国产精品久久久久久人妻精品电影 | 中文精品一卡2卡3卡4更新| 国产精品国产三级专区第一集| 男女床上黄色一级片免费看| 搡老岳熟女国产| 国产无遮挡羞羞视频在线观看| 国产1区2区3区精品| 亚洲免费av在线视频| 大话2 男鬼变身卡| 国产主播在线观看一区二区 | 捣出白浆h1v1| 巨乳人妻的诱惑在线观看| 激情视频va一区二区三区| 亚洲精品av麻豆狂野| 婷婷丁香在线五月| 久久精品亚洲av国产电影网| 性高湖久久久久久久久免费观看| 欧美成人精品欧美一级黄| 秋霞在线观看毛片| 亚洲精品国产区一区二| 精品亚洲成a人片在线观看| 91成人精品电影| 色婷婷av一区二区三区视频| xxx大片免费视频| 黄片播放在线免费| 久久综合国产亚洲精品| 国产又爽黄色视频| 精品福利观看| 美国免费a级毛片| 99久久99久久久精品蜜桃| 天堂8中文在线网| 精品一区二区三区av网在线观看 | av一本久久久久| 欧美人与性动交α欧美精品济南到| 国产精品久久久久久人妻精品电影 | 黄色视频不卡| 午夜福利,免费看| 午夜免费男女啪啪视频观看| 日本欧美视频一区| 国产一级毛片在线| 97人妻天天添夜夜摸| netflix在线观看网站| 一本色道久久久久久精品综合| 亚洲,欧美,日韩| 亚洲 国产 在线| 韩国精品一区二区三区| 999精品在线视频| 高清不卡的av网站| 久久影院123| 国产片内射在线| 一本—道久久a久久精品蜜桃钙片| 中文欧美无线码| 汤姆久久久久久久影院中文字幕| 午夜福利免费观看在线| 国产成人一区二区在线| 久久毛片免费看一区二区三区| 少妇粗大呻吟视频| 精品国产国语对白av| 日日摸夜夜添夜夜爱| 国产精品欧美亚洲77777| 可以免费在线观看a视频的电影网站| 国产精品 国内视频| 男女床上黄色一级片免费看| 国产亚洲精品第一综合不卡| 99久久人妻综合| 午夜精品国产一区二区电影| 免费看av在线观看网站| 亚洲欧美激情在线| 9热在线视频观看99| 亚洲精品国产av成人精品| 50天的宝宝边吃奶边哭怎么回事| 一本—道久久a久久精品蜜桃钙片| 亚洲人成电影观看| 久久免费观看电影| 日韩一本色道免费dvd| 麻豆av在线久日| 日韩一本色道免费dvd| 亚洲av日韩在线播放| 99精国产麻豆久久婷婷| 国产男女超爽视频在线观看| 人人妻人人澡人人爽人人夜夜| 国产欧美日韩一区二区三 | 麻豆国产av国片精品| 国产成人精品久久二区二区91| 性高湖久久久久久久久免费观看| 午夜福利一区二区在线看| 午夜福利一区二区在线看| 国产xxxxx性猛交| 一区二区日韩欧美中文字幕| 国产精品香港三级国产av潘金莲 | 日韩av在线免费看完整版不卡| 成人免费观看视频高清| 看免费成人av毛片| 欧美激情极品国产一区二区三区| 亚洲av美国av| www.999成人在线观看| 波野结衣二区三区在线| 久久女婷五月综合色啪小说| 女人久久www免费人成看片| 性高湖久久久久久久久免费观看| 高清视频免费观看一区二区| av视频免费观看在线观看| 黄片小视频在线播放| 80岁老熟妇乱子伦牲交| 人妻 亚洲 视频| 久久亚洲精品不卡| 久久国产精品男人的天堂亚洲| 丝瓜视频免费看黄片| 亚洲少妇的诱惑av| 十八禁高潮呻吟视频| 亚洲av成人不卡在线观看播放网 | 久久人人爽人人片av| 天堂俺去俺来也www色官网| 亚洲成人免费电影在线观看 | 19禁男女啪啪无遮挡网站| 亚洲成av片中文字幕在线观看| 亚洲成人国产一区在线观看 | 久久久精品国产亚洲av高清涩受| 日本午夜av视频| 香蕉国产在线看| 国产精品秋霞免费鲁丝片| 99精品久久久久人妻精品| 欧美精品一区二区免费开放| 嫁个100分男人电影在线观看 | 美女视频免费永久观看网站| 国产欧美日韩一区二区三区在线| 精品福利观看| 侵犯人妻中文字幕一二三四区| av不卡在线播放| 亚洲精品成人av观看孕妇| 国产精品国产三级国产专区5o| 欧美日韩精品网址| 亚洲欧美激情在线| 天天躁夜夜躁狠狠躁躁| 天天影视国产精品| 久久久国产欧美日韩av| 精品亚洲成a人片在线观看| 亚洲国产看品久久| 国产xxxxx性猛交| 免费少妇av软件| 蜜桃在线观看..| 99精国产麻豆久久婷婷| 天天操日日干夜夜撸| 最近中文字幕2019免费版| 伊人亚洲综合成人网| 十八禁人妻一区二区| 久久九九热精品免费| 日本色播在线视频| 亚洲一卡2卡3卡4卡5卡精品中文| 国产精品成人在线| 精品熟女少妇八av免费久了| 国产97色在线日韩免费| 中文字幕色久视频| 久久影院123| 高潮久久久久久久久久久不卡| 午夜激情久久久久久久| 伦理电影免费视频| 天天躁日日躁夜夜躁夜夜| 成年人午夜在线观看视频| 热re99久久精品国产66热6| 女人高潮潮喷娇喘18禁视频| 国产主播在线观看一区二区 | 视频区图区小说| av又黄又爽大尺度在线免费看| av天堂久久9| 黄色毛片三级朝国网站| 少妇猛男粗大的猛烈进出视频| 啦啦啦中文免费视频观看日本| 亚洲欧美一区二区三区久久| 亚洲一区中文字幕在线| 亚洲五月色婷婷综合| 极品少妇高潮喷水抽搐| 亚洲精品一区蜜桃| 欧美日韩亚洲高清精品| 十八禁高潮呻吟视频| 亚洲国产毛片av蜜桃av| 18禁国产床啪视频网站| 日本黄色日本黄色录像| 欧美在线一区亚洲| 大香蕉久久成人网| 欧美黄色淫秽网站| 久久青草综合色| 国产老妇伦熟女老妇高清| 悠悠久久av| 久久久国产欧美日韩av| 一二三四社区在线视频社区8| 视频区欧美日本亚洲| 亚洲av欧美aⅴ国产| 久久久精品国产亚洲av高清涩受| 亚洲成国产人片在线观看| 中文字幕最新亚洲高清| 久久久久久久精品精品| 不卡av一区二区三区| 婷婷成人精品国产| 久久久国产欧美日韩av| 久久天堂一区二区三区四区| 亚洲av日韩精品久久久久久密 | 日本a在线网址| 18禁黄网站禁片午夜丰满| 在线观看国产h片| 国产老妇伦熟女老妇高清| 18禁观看日本| 91麻豆精品激情在线观看国产 | 国产成人精品久久二区二区免费| 日本欧美国产在线视频| 超碰97精品在线观看| 午夜福利视频在线观看免费| 国产在线视频一区二区| 美女大奶头黄色视频| 人人妻人人澡人人看| 亚洲精品国产色婷婷电影| netflix在线观看网站| 一区二区三区激情视频| 日韩电影二区| 亚洲欧美一区二区三区黑人| 在线av久久热| 午夜福利视频精品| 妹子高潮喷水视频| 热99久久久久精品小说推荐| 大话2 男鬼变身卡| 18禁裸乳无遮挡动漫免费视频| 成人影院久久| 女性被躁到高潮视频| 午夜免费成人在线视频| 亚洲久久久国产精品| 在线看a的网站| 首页视频小说图片口味搜索 | 午夜福利乱码中文字幕| 欧美精品一区二区大全| 久久久久久久国产电影| 国产xxxxx性猛交| 黑丝袜美女国产一区| 69精品国产乱码久久久| 黄色怎么调成土黄色| 超碰97精品在线观看| 国产91精品成人一区二区三区 | 国语对白做爰xxxⅹ性视频网站| 欧美亚洲日本最大视频资源| 另类亚洲欧美激情| 亚洲欧美精品自产自拍| 精品国产一区二区久久| 亚洲 欧美一区二区三区| 国产精品一二三区在线看| 成人午夜精彩视频在线观看| 亚洲国产精品一区二区三区在线| 中文字幕人妻熟女乱码| 久久久久久久精品精品| 韩国高清视频一区二区三区| 国产午夜精品一二区理论片| 国产女主播在线喷水免费视频网站| 亚洲av成人精品一二三区| 黑人欧美特级aaaaaa片| 侵犯人妻中文字幕一二三四区| 丁香六月天网| 亚洲人成77777在线视频| 别揉我奶头~嗯~啊~动态视频 | 国产一区亚洲一区在线观看| 2021少妇久久久久久久久久久| 黑人巨大精品欧美一区二区蜜桃| 久久天堂一区二区三区四区| 男女边摸边吃奶| 熟女少妇亚洲综合色aaa.| 精品久久久精品久久久| 日本91视频免费播放| 亚洲九九香蕉| 亚洲欧洲国产日韩| 国产免费视频播放在线视频| 999久久久国产精品视频| 国产精品九九99| 免费观看a级毛片全部| 中国国产av一级| 秋霞在线观看毛片| kizo精华| 亚洲人成电影观看| 成人18禁高潮啪啪吃奶动态图| 美女国产高潮福利片在线看| 搡老岳熟女国产| 国产成人精品久久二区二区91| 国产97色在线日韩免费| 国产在视频线精品| 亚洲欧美色中文字幕在线| 天堂中文最新版在线下载| av网站在线播放免费| a级毛片黄视频| h视频一区二区三区| 51午夜福利影视在线观看| 国产成人av教育| 精品少妇内射三级| 好男人电影高清在线观看| 天天添夜夜摸| 99久久精品国产亚洲精品| 丰满少妇做爰视频| 午夜福利视频在线观看免费| 国产有黄有色有爽视频| av又黄又爽大尺度在线免费看| 一级毛片我不卡| 国产精品麻豆人妻色哟哟久久| 亚洲人成77777在线视频| 久久久精品国产亚洲av高清涩受| 亚洲 欧美一区二区三区| 99久久人妻综合| 精品国产乱码久久久久久男人| 亚洲欧美成人综合另类久久久| 久久 成人 亚洲| 国产野战对白在线观看| 男女之事视频高清在线观看 | 一区二区三区四区激情视频| 午夜精品国产一区二区电影| 国产精品九九99| 午夜老司机福利片| 精品国产国语对白av| 搡老岳熟女国产| 日韩av不卡免费在线播放| 亚洲情色 制服丝袜| 欧美亚洲日本最大视频资源| 波野结衣二区三区在线| 在线av久久热| 亚洲欧美日韩另类电影网站| 中文字幕人妻丝袜一区二区| 在线观看免费午夜福利视频| av国产久精品久网站免费入址| 每晚都被弄得嗷嗷叫到高潮| www.av在线官网国产| 操美女的视频在线观看| av不卡在线播放| 欧美黑人精品巨大| 国产精品一国产av| 好男人视频免费观看在线| 午夜影院在线不卡| 亚洲激情五月婷婷啪啪| 亚洲国产精品一区三区| 中文字幕制服av| 精品国产乱码久久久久久男人| 国产男人的电影天堂91| 侵犯人妻中文字幕一二三四区| 少妇被粗大的猛进出69影院| 女警被强在线播放| 免费在线观看视频国产中文字幕亚洲 | 丰满迷人的少妇在线观看| 丝瓜视频免费看黄片| 高清黄色对白视频在线免费看| av又黄又爽大尺度在线免费看| 久久精品亚洲熟妇少妇任你| 久久亚洲精品不卡| 91国产中文字幕| netflix在线观看网站| 国产日韩欧美在线精品| 天天躁夜夜躁狠狠久久av| 久久综合国产亚洲精品| 好男人电影高清在线观看| 满18在线观看网站| 国产视频首页在线观看| 国产深夜福利视频在线观看| 丝袜美腿诱惑在线| 欧美中文综合在线视频| 建设人人有责人人尽责人人享有的| 久久av网站| 97在线人人人人妻| 麻豆av在线久日| 亚洲欧美清纯卡通| 成年人免费黄色播放视频| 午夜免费鲁丝| 久久精品人人爽人人爽视色| 亚洲欧美一区二区三区久久| 欧美激情高清一区二区三区| 亚洲精品日本国产第一区| 久久99一区二区三区| 亚洲午夜精品一区,二区,三区| 精品久久久久久久毛片微露脸 | 女人爽到高潮嗷嗷叫在线视频| 国产欧美亚洲国产| 男男h啪啪无遮挡| 亚洲人成77777在线视频| av国产久精品久网站免费入址| 国产精品.久久久| 精品高清国产在线一区| videosex国产| 9191精品国产免费久久| 欧美激情高清一区二区三区| 下体分泌物呈黄色| 一区二区三区精品91| 超碰97精品在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 狠狠精品人妻久久久久久综合| 欧美人与性动交α欧美精品济南到| 另类精品久久| 国产成人一区二区三区免费视频网站 | 国产一卡二卡三卡精品| 精品一区二区三区av网在线观看 | 一区二区三区激情视频| 精品熟女少妇八av免费久了| 男女午夜视频在线观看| 美女扒开内裤让男人捅视频| 熟女av电影| 精品少妇久久久久久888优播| 免费在线观看完整版高清| 脱女人内裤的视频| 大陆偷拍与自拍| 老司机深夜福利视频在线观看 | 日韩大片免费观看网站| 精品视频人人做人人爽| 国产人伦9x9x在线观看| 九草在线视频观看| 国产在视频线精品| 日韩人妻精品一区2区三区| 亚洲熟女毛片儿| 国产精品一国产av| 精品人妻1区二区| 精品欧美一区二区三区在线| 国产午夜精品一二区理论片| 看免费av毛片| 丝袜美腿诱惑在线| 国产精品99久久99久久久不卡| 人成视频在线观看免费观看| 麻豆乱淫一区二区| 最黄视频免费看| 国产在线一区二区三区精| 各种免费的搞黄视频| 午夜免费观看性视频| 在线观看国产h片| 亚洲国产日韩一区二区| 美国免费a级毛片| 人成视频在线观看免费观看| 日韩人妻精品一区2区三区| 日韩免费高清中文字幕av| 欧美在线一区亚洲| 天堂俺去俺来也www色官网| 男人操女人黄网站| 午夜免费成人在线视频| 午夜久久久在线观看| 91麻豆精品激情在线观看国产 | 国产精品久久久久成人av| 母亲3免费完整高清在线观看| 亚洲欧美一区二区三区国产| 久久九九热精品免费| 成人国产一区最新在线观看 | 欧美变态另类bdsm刘玥| 50天的宝宝边吃奶边哭怎么回事| 性高湖久久久久久久久免费观看| 一级毛片我不卡| cao死你这个sao货| 婷婷色av中文字幕| 日本vs欧美在线观看视频| 搡老岳熟女国产| 搡老乐熟女国产| 国产精品九九99| 亚洲自偷自拍图片 自拍| 一级片免费观看大全| 国产精品久久久久久精品古装| 99精品久久久久人妻精品| 精品亚洲成国产av| 中文字幕最新亚洲高清| videosex国产| a 毛片基地| 国产精品成人在线| 涩涩av久久男人的天堂| av一本久久久久| 19禁男女啪啪无遮挡网站| 又黄又粗又硬又大视频| 免费高清在线观看视频在线观看| 欧美亚洲日本最大视频资源| 亚洲精品乱久久久久久| 91麻豆精品激情在线观看国产 | 婷婷色av中文字幕| 七月丁香在线播放| 国产又色又爽无遮挡免| 久久 成人 亚洲| 男女免费视频国产| 激情视频va一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| 亚洲国产毛片av蜜桃av| 久久热在线av| 欧美日韩综合久久久久久| a级毛片黄视频| 亚洲熟女精品中文字幕| 欧美av亚洲av综合av国产av| 丰满迷人的少妇在线观看| 午夜福利在线免费观看网站| 国产精品99久久99久久久不卡| 久久精品亚洲av国产电影网| 丁香六月天网| 国产日韩一区二区三区精品不卡| 大香蕉久久网| 美女国产高潮福利片在线看| 99精品久久久久人妻精品| 搡老岳熟女国产| 黄片播放在线免费| 肉色欧美久久久久久久蜜桃| 韩国高清视频一区二区三区| 久久久久久亚洲精品国产蜜桃av| 久久久精品免费免费高清| 亚洲 欧美一区二区三区| 亚洲欧美一区二区三区黑人| 国产精品久久久久久精品古装| 精品一区二区三区四区五区乱码 | 精品久久久久久电影网| 午夜免费观看性视频| 啦啦啦视频在线资源免费观看| 少妇裸体淫交视频免费看高清 | 亚洲av综合色区一区| 成人国产av品久久久| 国产日韩欧美视频二区| 少妇人妻久久综合中文| 18禁国产床啪视频网站| 一区二区三区乱码不卡18| 亚洲精品久久久久久婷婷小说| 18禁观看日本| 黑人猛操日本美女一级片| 看十八女毛片水多多多| 九色亚洲精品在线播放| 又大又黄又爽视频免费| 国产又爽黄色视频| 脱女人内裤的视频| 99国产精品一区二区蜜桃av | 操美女的视频在线观看| 欧美老熟妇乱子伦牲交| 女人爽到高潮嗷嗷叫在线视频| 天天躁夜夜躁狠狠久久av| 欧美日韩亚洲高清精品| 久久久久久亚洲精品国产蜜桃av| 国产淫语在线视频| 久久热在线av| 国产男女超爽视频在线观看| 欧美日韩av久久| 麻豆国产av国片精品| 在线观看一区二区三区激情| 亚洲国产精品一区三区| 免费高清在线观看日韩| 日韩 亚洲 欧美在线| 别揉我奶头~嗯~啊~动态视频 | 欧美黑人精品巨大| av国产精品久久久久影院| 免费观看av网站的网址| 秋霞在线观看毛片| 免费不卡黄色视频| 亚洲人成网站在线观看播放| 国产av国产精品国产| 国产成人啪精品午夜网站| 中文字幕人妻丝袜一区二区| 一本久久精品| 视频在线观看一区二区三区| 成年av动漫网址| 国产精品亚洲av一区麻豆| 国产又色又爽无遮挡免| 99久久综合免费| 中国美女看黄片| 男人舔女人的私密视频| 日韩av免费高清视频| 老汉色av国产亚洲站长工具| 超碰成人久久| 欧美精品一区二区免费开放| 久久久国产欧美日韩av| 青春草亚洲视频在线观看| 国产男女超爽视频在线观看| 一二三四在线观看免费中文在| 男人操女人黄网站| 欧美精品高潮呻吟av久久| 久久综合国产亚洲精品| 丝袜美腿诱惑在线| 国产日韩欧美视频二区| 日本vs欧美在线观看视频| 久久久欧美国产精品| 一区二区三区乱码不卡18| 成人手机av| 成人国产一区最新在线观看 | 日韩电影二区| 国产99久久九九免费精品| 在线看a的网站| 国产成人欧美| 亚洲综合色网址| 欧美日本中文国产一区发布| 免费在线观看视频国产中文字幕亚洲 | 亚洲久久久国产精品| 我要看黄色一级片免费的| 18在线观看网站| 日本五十路高清| 欧美少妇被猛烈插入视频| 国产三级黄色录像| 手机成人av网站| 国产极品粉嫩免费观看在线| 久久狼人影院| 国产1区2区3区精品| 天天躁夜夜躁狠狠久久av| 国产在线一区二区三区精| 国产人伦9x9x在线观看| 大陆偷拍与自拍| 国产精品一二三区在线看| 亚洲精品乱久久久久久| 99国产精品免费福利视频|