• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于卷積神經(jīng)網(wǎng)絡(luò)的GFW加速調(diào)度算法

    2019-10-08 09:01:51宋鐵
    軟件 2019年3期
    關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)

    宋鐵

    摘? 要: 神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用使得人們更加關(guān)注神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,更高精度的要求給神經(jīng)網(wǎng)絡(luò)的訓(xùn)練帶來(lái)了困難,因此加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成為了研究的重點(diǎn)。對(duì)于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中卷積層占據(jù)了大部分的訓(xùn)練時(shí)間,所以加速卷積層的訓(xùn)練成為了加速神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。本文提出了GFW加速調(diào)度算法,GFW算法通過對(duì)不同卷積圖像的大小和卷積核的數(shù)量調(diào)用不同的卷積算法,以達(dá)到整體的最佳訓(xùn)練效果。實(shí)驗(yàn)中具體分析了9層卷積網(wǎng)絡(luò)的加速訓(xùn)練,實(shí)驗(yàn)結(jié)果顯示,相比于GEMM卷積算法,GFW算法實(shí)現(xiàn)了2.901倍的加速,相比于FFT算法GFW算法實(shí)現(xiàn)了1.467 倍的加速,相比于Winograd算法,GFW算法實(shí)現(xiàn)了1.318 倍的加速。

    關(guān)鍵詞: 卷積神經(jīng)網(wǎng)絡(luò);GEMM;FFT;Winograd算法;GFW調(diào)度算法

    【Abstract】: The wide application of neural networks makes people pay more attention to the training of neural networks. The requirement of higher precision brings difficulties to the training of neural networks. Therefore, the training of accelerated neural networks has become the focus of research. For the training of neural networks, the convolutional layer occupies most of the training time, so the training of the accelerated convolution network becomes the key to accelerate the neural network. In this paper, the GFW accelerated scheduling algorithm is proposed. The GFW algorithm calls different convolution algorithms on the size of different convolution images and the number of convolution kernels to achieve the overall optimal training effect. In the experiment, the acceleration training of the 9-layer convolutional network is analyzed in detail. The experimental results show that compared with the GEMM convolution algorithm, the GFW algorithm achieves 2.901 times acceleration; compared with the FFT algorithm, the GFW algorithm achieves 1.467 times acceleration; Compared to the Winograd algorithm, the GFW algorithm achieves a 1.318x acceleration.

    【Key words】: Convolutional neural network; GEMM; FFT; Winograd algorithm; GFW scheduling algorithm

    0? 引言

    自從深度學(xué)習(xí)被提出后,便迅速成為了研究的熱點(diǎn)。深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用使得圖像分類,語(yǔ)音識(shí)別和語(yǔ)言翻譯等領(lǐng)域取得了很大的進(jìn)步,并且在很多方面已經(jīng)超過了人類的識(shí)別能力。卷積神經(jīng)網(wǎng)絡(luò)在圖像和視頻識(shí)別,推薦系統(tǒng)和自然語(yǔ)言處理等領(lǐng)域取得了較好的效果,在本文中主要研究了卷積網(wǎng)絡(luò)訓(xùn)練與加速。

    許多算法都被提出用以加速卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,但是每個(gè)算法都有各自的優(yōu)點(diǎn)和缺點(diǎn),并且沒有一個(gè)算法可以處理所有情形的問題。在本文中,我們?cè)贕PU環(huán)境下測(cè)試了不同算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)的加速性能。根據(jù)各個(gè)算法的特點(diǎn)和適合不同的卷積輸入圖像的大小以及卷積核數(shù)量,我們對(duì)卷積神經(jīng)網(wǎng)絡(luò)中不同的卷積層使用不用的調(diào)度策略以達(dá)到對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練效果。

    1? 相關(guān)研究

    從卷積神經(jīng)網(wǎng)絡(luò)被引入到公眾中以來(lái),有很多的研究都在研究卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算與加速,但很少的研究關(guān)注卷積算法之間的不同,評(píng)估卷積算法的最佳方法是實(shí)驗(yàn)對(duì)比不同算法之間的性能差異。Mathieu等人[1-2]實(shí)驗(yàn)得出了FFT算法的性能。Chetlur等人比較了隱式GEMM,顯式GEMM和直接卷積算法之間的性能差異的工作[3]。Lavin等人分析了Winograd算法與GEMM和FFT算法相比的優(yōu)勢(shì)[4]。然而,通過這些年的發(fā)展,GPU環(huán)境中的算法實(shí)現(xiàn)已經(jīng)變得多樣化。例如,GEMM算法有三種實(shí)現(xiàn)方式。雖然這些實(shí)現(xiàn)方式執(zhí)行相同的算法,但它們的性能完全不同,因此也需要對(duì)這些卷積實(shí)現(xiàn)算法重新進(jìn)行實(shí)驗(yàn)評(píng)估。

    有許多研究比較了不同DNN框架的性能,如文獻(xiàn)[5]和[6]。有相關(guān)的工作研究了使用GPU在CUDA平臺(tái)上并行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。Pendlebury等人[7]提出了在NVIDIA CUDA平臺(tái)上使用神經(jīng)網(wǎng)絡(luò)的并行加速程序,相比于CPU其性能提升了80%。Honghoon Jang 等人[8]在多核的CPU和GPU上實(shí)現(xiàn)了基于神經(jīng)網(wǎng)路的文本檢測(cè)系統(tǒng)。這相比于CPU上執(zhí)行快15倍,相比于OpenMp的GPU執(zhí)行快了4倍。相關(guān)的神經(jīng)網(wǎng)絡(luò)并行加速庫(kù)被開發(fā)用于加速神經(jīng)的并行訓(xùn)練,如cuDNN和cuFFT等。并且被廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練中。

    本文的工作主要是實(shí)驗(yàn)分析了卷積算法GEMM、FFT和Winograd,分析卷積算法對(duì)于不同維度大小的輸入圖像以及卷積核的數(shù)量對(duì)卷積網(wǎng)絡(luò)的計(jì)算效率。據(jù)此本文提出了GFW加速算法,主要根據(jù)卷積網(wǎng)絡(luò)中不同大小的卷積特征圖和卷積核的數(shù)量調(diào)用不同的卷積算法,實(shí)現(xiàn)整個(gè)神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練效果。

    2? GFW加速調(diào)度算法

    2.1? GEMM

    。

    2.4? GFW調(diào)度算法

    對(duì)于神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練過程中,通過卷積計(jì)算和池化層后,卷積層的輸入特征圖維度大小不斷地減小,卷積核的數(shù)量也隨著卷積層的變化而變化。對(duì)于不同維度的特征圖和卷積核的數(shù)量適合不同的卷積算法,同一個(gè)神經(jīng)網(wǎng)絡(luò)使用一個(gè)卷積算法計(jì)算會(huì)造成內(nèi)存和計(jì)算資源的浪費(fèi),這樣并不能達(dá)到神經(jīng)網(wǎng)絡(luò)整體的最佳訓(xùn)練性能。對(duì)此,本文提出了GFW加速調(diào)度算法,GFW調(diào)度算法的思想是對(duì)不同的卷積層輸入特征圖維度大小卷積核的數(shù)量調(diào)度不同的卷積算法,實(shí)現(xiàn)每一層卷積層的最佳訓(xùn)練,從而提高整個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能。GFW調(diào)度算法是在GEMM、FFT和Winogd卷積算法中根據(jù)特征圖維度大小和卷積核的數(shù)量來(lái)調(diào)用相應(yīng)的卷積算法,實(shí)現(xiàn)最佳的訓(xùn)練性能。如圖1給出了GFW加速調(diào)度算法的流程圖,圖中Image_size為輸入圖像的大小,F(xiàn)ilter output為卷積核的數(shù)量,GFW是根據(jù)這兩個(gè)參數(shù)來(lái)調(diào)度相應(yīng)的卷積算法,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練效果。

    3? 實(shí)驗(yàn)結(jié)果與分析

    本實(shí)驗(yàn)完成對(duì)神經(jīng)網(wǎng)絡(luò)的加速實(shí)驗(yàn),主要在同一實(shí)驗(yàn)平臺(tái)上分別對(duì)卷積層的不同的卷積算法進(jìn)行了加速實(shí)驗(yàn)。實(shí)驗(yàn)中使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有九層卷積層,分別使用GEMM、FFT和Winograd卷積算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行加速實(shí)驗(yàn),并且與GFW加速調(diào)度算法進(jìn)行了加速對(duì)比。實(shí)驗(yàn)中對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的每一層卷積層進(jìn)行了四種卷積算法的加速實(shí)驗(yàn),從實(shí)驗(yàn)中每一層中各個(gè)算法的執(zhí)行時(shí)間可以具體分析出GFW加速調(diào)度算法的調(diào)度策略。最后,分析了每個(gè)卷積算法對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)的加速時(shí)間以及GFW加速調(diào)度算法相比其它卷積算法的加速比。

    3.1? 實(shí)驗(yàn)分析

    實(shí)驗(yàn)中對(duì)具有九層卷積層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),卷積網(wǎng)絡(luò)是由卷積層和池化層組成,輸入圖像經(jīng)過每一層的卷積和池化層后得到的特征圖都會(huì)減小,在不同卷積層的輸入特征圖的維度都是不同的。實(shí)驗(yàn)中使用的硬件平臺(tái)是NVIDIA GeForce GTX1080Ti GPU,其具有11GB的顯存,使用了CUDA 9.0版本對(duì)GPU計(jì)算資源進(jìn)行管理。實(shí)驗(yàn)中分別測(cè)試了神經(jīng)網(wǎng)絡(luò)每一層在四種卷積算法下的執(zhí)行時(shí)間,并且分析了每個(gè)卷積算法對(duì)神經(jīng)網(wǎng)絡(luò)的加速效率。

    3.2? 實(shí)驗(yàn)結(jié)果

    實(shí)驗(yàn)中首先分析了GEMM、FFT和Winograd卷積算法以及DFW加速調(diào)度算法在對(duì)九層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的加速效果。在每一層卷積層后接著池化層,輸出的特征映射圖都會(huì)相比輸入圖片減小一半,這樣神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的不同卷積層的輸入圖像維度大小不同。圖2給出了GEMM、FFT和Winograd卷積算法對(duì)神經(jīng)網(wǎng)絡(luò)中每一層的執(zhí)行時(shí)間的變化以及GFW加速調(diào)度算法對(duì)神經(jīng)網(wǎng)絡(luò)每一層的執(zhí)行效率。從圖中分析可知由于每一層卷積層的輸入圖像維度不同,因此每一層的執(zhí)行時(shí)間會(huì)隨著輸入特征圖的減小而減小。從圖中可以發(fā)現(xiàn),對(duì)于GEMM、FFT和Winograd卷積算法對(duì)于神經(jīng)網(wǎng)絡(luò)卷積層的計(jì)算時(shí)間都隨著輸入特征圖維度的減小而減小,但對(duì)于不同維度大小的輸入特征圖,三個(gè)卷積算法的計(jì)算時(shí)間是不同的。圖中黃色曲線是GFW加速調(diào)度算法在加速神經(jīng)網(wǎng)絡(luò)中每一層的時(shí)間曲線,從圖中可以分析出GFW加速調(diào)度算法始終在三條曲線的最下面,這也證明了GFW加速調(diào)度算法在對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),在對(duì)每一層進(jìn)行計(jì)算時(shí)都會(huì)調(diào)用三個(gè)算法中計(jì)算時(shí)間最短的算法,這樣可以使得神經(jīng)網(wǎng)絡(luò)的整體訓(xùn)練時(shí)間最小,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的加速 訓(xùn)練。

    從圖2分析中可知對(duì)于不同維度的輸入特征圖,卷積層的計(jì)算時(shí)間是不同的,并且對(duì)于相同維度輸入特征圖,使用不同的卷積計(jì)算算法所需要的時(shí)間也是不同的。圖3分析了神經(jīng)網(wǎng)絡(luò)中九層卷積層使用三種不同卷積算法的執(zhí)行時(shí)間,以及GFW加速調(diào)度算法加速卷積計(jì)算的執(zhí)行時(shí)間。為了便于分析與觀察,實(shí)驗(yàn)中將GFW對(duì)卷積層的計(jì)算時(shí)間進(jìn)行了歸一化處理,這樣可以清晰的分析出在不同的卷積層中GFW加速調(diào)度算法相對(duì)于其它卷積算法的加速比以及GFW的調(diào)度策略。圖中顯示W(wǎng)inograd卷積算法適合于維度較大的輸入特征圖,而GEMM算法則比較適合維度較小的輸入特征圖,F(xiàn)FT卷積算法適合于輸入特征圖維度居中的卷積計(jì)算。GFW則是根據(jù)神經(jīng)網(wǎng)絡(luò)卷積層的輸入特征圖維度大小以及卷積核的數(shù)量來(lái)調(diào)度不同的加速算法,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)最佳的加速效果。

    圖3中具體分析了神經(jīng)網(wǎng)絡(luò)中每一層卷積層使用不同卷積算法的計(jì)算效率以及加速比,并分析了GFW加速調(diào)度算法的調(diào)度策略。GFW加速調(diào)度算法實(shí)現(xiàn)每一層卷積層的調(diào)度加速?gòu)亩鴮?shí)現(xiàn)了整個(gè)神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練,圖4中給出了幾種卷積算法對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)的加速效率。圖中的三幅對(duì)比圖中分別展現(xiàn)了幾種卷積算法的計(jì)算效率,使用FFT實(shí)現(xiàn)卷積計(jì)算加速神經(jīng)網(wǎng)絡(luò)相比于使用GEMM實(shí)驗(yàn)卷積計(jì)算對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能提升了49.4%;使用Winograd算法實(shí)現(xiàn)卷積計(jì)算加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練相比于使用FFT實(shí)驗(yàn)卷積計(jì)算對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能提升了10.2%;本文提出的GFW加速調(diào)度算法對(duì)于神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練中,相比于目前加速效率最高的Winograd算法,在對(duì)神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練中性能提升了24.1%。

    圖5中直觀的展示了本文提出的GFW加速調(diào)度算法相比于GEMM、FFT和Winograd算法對(duì)神經(jīng)網(wǎng)絡(luò)的加速比。在對(duì)本文具有九層卷積層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行加速實(shí)驗(yàn)時(shí),GFW加速調(diào)度算法是根據(jù)卷積層中輸入特征圖的大小以及卷積核的數(shù)量進(jìn)行調(diào)度的加速算法,因此,在對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)加速性能較高。相比于GEMM卷積算法加速GFW調(diào)度算法取得了2.901倍的加速,相比于FFT實(shí)現(xiàn)卷積計(jì)算對(duì)神經(jīng)網(wǎng)絡(luò)的加速GFW調(diào)度算法取得了1.467的加速,相比于Winograd算法實(shí)現(xiàn)卷積計(jì)算,GFW調(diào)度算法對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實(shí)現(xiàn)了1.318倍的加速。

    4? 結(jié)束語(yǔ)

    神經(jīng)網(wǎng)絡(luò)中的卷積計(jì)算占據(jù)著神經(jīng)網(wǎng)路的大部分訓(xùn)練時(shí)間,因此,加速卷積計(jì)算的效率是加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的關(guān)鍵。本文針對(duì)卷積計(jì)算提出了GFW加速調(diào)度算法,針對(duì)神經(jīng)網(wǎng)絡(luò)中不同卷積層的輸入特征圖的大小和卷積核的數(shù)量調(diào)度相應(yīng)的卷積算法,實(shí)現(xiàn)整個(gè)神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練性能。實(shí)驗(yàn)結(jié)果顯示,GFW加速調(diào)度算法在對(duì)神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練中,相比于GEMM卷積算法實(shí)現(xiàn)了2.901倍的加速,相比于使用FFT實(shí)現(xiàn)卷積計(jì)算對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,GFW調(diào)度算法實(shí)現(xiàn)了1.467倍的加速,相比于對(duì)卷積網(wǎng)絡(luò)計(jì)算效率較高的Winograd算法,GFW調(diào)度算法在加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練中實(shí)現(xiàn)了1.318倍的加速。

    參考文獻(xiàn)

    [1]Chen T, Li M, Li Y, et al. Mxnet: A flexible and efficient machine learning library for heterogeneous distributed systems[J]. arXiv preprint arXiv: 1512. 01274, 2015.

    [2]Vasilache N, Johnson J, Mathieu M, et al. Fast convolutional nets with fbfft: A GPU performance evaluation[J]. arXiv preprint arXiv: 1412. 7580, 2014.

    [3]Chetlur S, Woolley C, Vandermersch P, et al. cudnn: Efficient primitives for deep learning[J]. arXiv preprint arXiv: 1410. 0759, 2014.

    [4]Lavin A, Gray S. Fast algorithms for convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 4013-4021.

    [5]Li X, Zhang G, Huang H H, et al. Performance analysis of gpu-based convolutional neural networks[C]//2016 45th International Conference on Parallel Processing (ICPP). IEEE, 2016: 67-76.

    [6]Kim H, Nam H, Jung W, et al. Performance analysis of CNN frameworks for GPUs[C]//2017 IEEE International Sympo sium on Performance Analysis of Systems and Software (ISPASS). IEEE, 2017: 55-64.

    [7]Pendlebury J, Xiong H, Walshe R. Artificial neural network simulation on CUDA[C]//Distributed Simulation and Real Time Applications (DS-RT), 2012 IEEE/ACM 16th Interna tional Symposium on. IEEE, 2012: 228-233.

    [8]Jang, Honghoon, Anjin Park, and Keechul Jung. "Neural network implementation using cuda and openmp. " Digital Image Computing: Techniques and Applications. IEEE, 2008.

    [9]Xu, Rui, et al. "Accelerating CNNs Using Optimized Sche du ling Strategy. " International Conference on Algorithms and Architectures for Parallel Processing. Springer, Cham, 2018.

    [10]Lu W, Yan G, Li J, et al. Flexflow: A flexible dataflow accelerator architecture for convolutional neural networ ks[C]//2017 IEEE International Symposium on High Perfor mance Computer Architecture (HPCA). IEEE, 2017: 553- 564.

    [11]Hill P, Jain A, Hill M, et al. Deftnn: Addressing bottlenecks for dnn execution on gpus via synapse vector elimination and near-compute data fission[C]//Proceedings of the 50th Ann ual IEEE/ACM International Symposium on Microarchite cture. ACM, 2017: 786-799.

    [12]Song L, Wang Y, Han Y, et al. C-brain: A deep learning accelerator that tames the diversity of cnns through adaptive data-level parallelization[C]//2016 53nd ACM/EDAC/IEEE Design Automation Conference (DAC). IEEE, 2016: 1-6.

    [13]Lin, Yu-Sheng, Wei-Chao Chen, and Shao-Yi Chien. "Unro lled memory inner-products: An abstract GPU operator for efficient vision-related computations. " Proceedings of the IEEE International Conference on Computer Vision. 2017.

    [14]盧冶, 陳瑤, 李濤, 等. 面向邊緣計(jì)算的嵌入式FPGA卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建方法[J]. 計(jì)算機(jī)研究與發(fā)展, 2018, 55(03): 551-562.

    [15]李景軍, 張宸, 曹強(qiáng). 面向訓(xùn)練階段的神經(jīng)網(wǎng)絡(luò)性能分析[J]. 計(jì)算機(jī)科學(xué)與探索, 2018, 12(10): 1645-1657.

    猜你喜歡
    卷積神經(jīng)網(wǎng)絡(luò)
    基于深度神經(jīng)網(wǎng)絡(luò)的微表情識(shí)別
    卷積神經(jīng)網(wǎng)絡(luò)中減少訓(xùn)練樣本時(shí)間方法研究
    卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型研究
    基于卷積神經(jīng)網(wǎng)絡(luò)的車輛檢索方法研究
    基于卷積神經(jīng)網(wǎng)絡(luò)溫室智能大棚監(jiān)控系統(tǒng)的研究
    基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識(shí)別算法
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    深度學(xué)習(xí)技術(shù)下的中文微博情感的分析與研究
    軟件(2016年5期)2016-08-30 06:27:49
    基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識(shí)別的算法的研究
    高清日韩中文字幕在线| 毛片一级片免费看久久久久 | 又黄又爽又刺激的免费视频.| 国产精品国产高清国产av| av天堂在线播放| 91麻豆精品激情在线观看国产| 岛国在线免费视频观看| 精品午夜福利视频在线观看一区| 亚洲最大成人中文| 最新中文字幕久久久久| 欧美激情在线99| 99热这里只有是精品在线观看| 99热这里只有是精品50| 身体一侧抽搐| 女生性感内裤真人,穿戴方法视频| 禁无遮挡网站| 九色国产91popny在线| 联通29元200g的流量卡| 欧美最新免费一区二区三区| 草草在线视频免费看| 岛国在线免费视频观看| 日本三级黄在线观看| 尾随美女入室| 搡老岳熟女国产| 欧美日韩中文字幕国产精品一区二区三区| 国产麻豆成人av免费视频| 黄色欧美视频在线观看| 一进一出抽搐gif免费好疼| 天堂动漫精品| 成人av在线播放网站| 一级av片app| 亚洲中文日韩欧美视频| 欧美日本亚洲视频在线播放| 男女之事视频高清在线观看| 又爽又黄无遮挡网站| 亚洲国产日韩欧美精品在线观看| 色在线成人网| 男女之事视频高清在线观看| 色尼玛亚洲综合影院| 伦理电影大哥的女人| 一级a爱片免费观看的视频| 美女xxoo啪啪120秒动态图| 久久精品国产亚洲网站| 搞女人的毛片| 国内揄拍国产精品人妻在线| 最后的刺客免费高清国语| 又爽又黄a免费视频| 国语自产精品视频在线第100页| 亚洲成人中文字幕在线播放| 免费搜索国产男女视频| 乱码一卡2卡4卡精品| av福利片在线观看| 免费不卡的大黄色大毛片视频在线观看 | av在线亚洲专区| 亚洲国产色片| 午夜老司机福利剧场| 成年人黄色毛片网站| 色视频www国产| av黄色大香蕉| 欧美高清成人免费视频www| 一个人看视频在线观看www免费| 色综合色国产| 男人舔奶头视频| 久久99热这里只有精品18| 天堂√8在线中文| 露出奶头的视频| 国产高清视频在线观看网站| 我要看日韩黄色一级片| 禁无遮挡网站| 国产麻豆成人av免费视频| 亚洲男人的天堂狠狠| 久久精品国产鲁丝片午夜精品 | 精品乱码久久久久久99久播| 搡老妇女老女人老熟妇| 免费人成视频x8x8入口观看| 久99久视频精品免费| 日本在线视频免费播放| 免费在线观看日本一区| 日韩在线高清观看一区二区三区 | 少妇丰满av| 国产av不卡久久| 18禁在线播放成人免费| 国产中年淑女户外野战色| 欧洲精品卡2卡3卡4卡5卡区| 亚洲精华国产精华液的使用体验 | 亚洲av成人精品一区久久| 看片在线看免费视频| 九九在线视频观看精品| 香蕉av资源在线| 亚洲av.av天堂| 国产一区二区亚洲精品在线观看| 亚洲国产精品成人综合色| 精品午夜福利视频在线观看一区| 亚洲不卡免费看| 日韩一区二区视频免费看| 人人妻人人看人人澡| 国内精品美女久久久久久| 美女黄网站色视频| 成人特级av手机在线观看| 一区二区三区免费毛片| 韩国av在线不卡| 亚洲男人的天堂狠狠| 老熟妇乱子伦视频在线观看| 亚洲真实伦在线观看| 婷婷精品国产亚洲av| 亚洲国产色片| 日韩av在线大香蕉| 国内精品宾馆在线| 国产日本99.免费观看| 真人一进一出gif抽搐免费| 亚洲欧美日韩卡通动漫| 国产精品一及| 91在线观看av| 又紧又爽又黄一区二区| 亚洲avbb在线观看| 麻豆国产av国片精品| 最新在线观看一区二区三区| 免费黄网站久久成人精品| 日本在线视频免费播放| 成人美女网站在线观看视频| 啦啦啦观看免费观看视频高清| 欧美一级a爱片免费观看看| 欧美成人免费av一区二区三区| 欧美极品一区二区三区四区| 亚洲av电影不卡..在线观看| 人妻少妇偷人精品九色| 国产成人av教育| aaaaa片日本免费| 国产综合懂色| 联通29元200g的流量卡| 欧美精品啪啪一区二区三区| 97碰自拍视频| 色哟哟·www| 成人鲁丝片一二三区免费| 日韩精品中文字幕看吧| 长腿黑丝高跟| 免费看日本二区| 国产乱人伦免费视频| 美女高潮喷水抽搐中文字幕| 国产亚洲欧美98| 网址你懂的国产日韩在线| 美女黄网站色视频| 国产单亲对白刺激| 精品一区二区三区视频在线观看免费| 99九九线精品视频在线观看视频| 又爽又黄a免费视频| 成人av一区二区三区在线看| 听说在线观看完整版免费高清| 色av中文字幕| 老熟妇仑乱视频hdxx| 国产精品精品国产色婷婷| 国产单亲对白刺激| 国产免费一级a男人的天堂| 日韩强制内射视频| 日本三级黄在线观看| 欧美日韩黄片免| 综合色av麻豆| 校园春色视频在线观看| 中文字幕av成人在线电影| 免费观看人在逋| 久久精品国产亚洲av天美| 国产一级毛片七仙女欲春2| 丰满乱子伦码专区| 在线播放国产精品三级| 亚洲精品在线观看二区| 男女视频在线观看网站免费| 人人妻人人看人人澡| 久久精品久久久久久噜噜老黄 | 国内揄拍国产精品人妻在线| 亚洲va日本ⅴa欧美va伊人久久| 欧美三级亚洲精品| 久久热精品热| 91久久精品电影网| 2021天堂中文幕一二区在线观| 我的女老师完整版在线观看| 一个人免费在线观看电影| 午夜激情福利司机影院| 亚洲三级黄色毛片| 国产欧美日韩一区二区精品| 搡老妇女老女人老熟妇| 99久久精品国产国产毛片| 国产视频内射| 亚洲在线观看片| 少妇高潮的动态图| 国产午夜精品久久久久久一区二区三区 | 18禁裸乳无遮挡免费网站照片| 久99久视频精品免费| 久久久久久久久久久丰满 | 少妇丰满av| 哪里可以看免费的av片| 校园人妻丝袜中文字幕| 男插女下体视频免费在线播放| 在线看三级毛片| 观看免费一级毛片| 国产免费男女视频| 12—13女人毛片做爰片一| 一级毛片久久久久久久久女| 十八禁国产超污无遮挡网站| 亚洲乱码一区二区免费版| 久久久久国内视频| 老司机深夜福利视频在线观看| 精品乱码久久久久久99久播| 精品午夜福利视频在线观看一区| 国产精品久久久久久亚洲av鲁大| 亚洲欧美清纯卡通| 黄色配什么色好看| 九九热线精品视视频播放| 国产久久久一区二区三区| 日韩欧美 国产精品| 成人午夜高清在线视频| 可以在线观看毛片的网站| 婷婷色综合大香蕉| 少妇人妻精品综合一区二区 | 日本三级黄在线观看| 亚洲 国产 在线| 一个人观看的视频www高清免费观看| 人妻丰满熟妇av一区二区三区| 村上凉子中文字幕在线| 乱系列少妇在线播放| 亚洲经典国产精华液单| 偷拍熟女少妇极品色| 久久久久久久亚洲中文字幕| 久久精品夜夜夜夜夜久久蜜豆| bbb黄色大片| 亚洲色图av天堂| 久久久久久国产a免费观看| 亚洲美女搞黄在线观看 | 听说在线观看完整版免费高清| 精品人妻一区二区三区麻豆 | www.色视频.com| 一级黄片播放器| 精品不卡国产一区二区三区| 91在线精品国自产拍蜜月| 黄色欧美视频在线观看| 香蕉av资源在线| 韩国av在线不卡| av在线老鸭窝| 狠狠狠狠99中文字幕| 国内精品宾馆在线| 91麻豆av在线| 欧美最黄视频在线播放免费| 欧美不卡视频在线免费观看| 国产高潮美女av| 亚洲熟妇熟女久久| 夜夜爽天天搞| 51国产日韩欧美| 啦啦啦观看免费观看视频高清| 国产精品1区2区在线观看.| 人人妻,人人澡人人爽秒播| 国产高清视频在线观看网站| 日本爱情动作片www.在线观看 | 一进一出抽搐gif免费好疼| 免费人成视频x8x8入口观看| 老司机深夜福利视频在线观看| 哪里可以看免费的av片| 国产精品一区二区免费欧美| 久久久久久久久大av| 美女高潮的动态| 国产女主播在线喷水免费视频网站 | 综合色av麻豆| 国产av麻豆久久久久久久| 他把我摸到了高潮在线观看| 色av中文字幕| 97人妻精品一区二区三区麻豆| 国产精品美女特级片免费视频播放器| 国内精品美女久久久久久| 国产精品久久久久久av不卡| 又爽又黄a免费视频| 日本-黄色视频高清免费观看| 日日啪夜夜撸| 麻豆国产97在线/欧美| 嫁个100分男人电影在线观看| 精品久久久久久成人av| 亚洲精华国产精华液的使用体验 | 中文字幕免费在线视频6| 内射极品少妇av片p| 欧美日本亚洲视频在线播放| 国产成人福利小说| 精品欧美国产一区二区三| 日本在线视频免费播放| 网址你懂的国产日韩在线| 深夜a级毛片| 精品免费久久久久久久清纯| 简卡轻食公司| 成人永久免费在线观看视频| 欧美一区二区国产精品久久精品| 天堂网av新在线| 热99在线观看视频| 极品教师在线视频| 少妇人妻一区二区三区视频| 干丝袜人妻中文字幕| 两个人的视频大全免费| 亚洲欧美日韩高清专用| 亚洲电影在线观看av| 丝袜美腿在线中文| 亚洲欧美日韩东京热| 淫秽高清视频在线观看| 国产伦精品一区二区三区四那| 香蕉av资源在线| 一卡2卡三卡四卡精品乱码亚洲| 午夜免费成人在线视频| 狂野欧美白嫩少妇大欣赏| 国产精品久久久久久久电影| 久久久久九九精品影院| 国产高清不卡午夜福利| 成人无遮挡网站| 日韩,欧美,国产一区二区三区 | 在线a可以看的网站| 狠狠狠狠99中文字幕| 国产午夜精品论理片| 国产一区二区在线av高清观看| 国产在视频线在精品| eeuss影院久久| 干丝袜人妻中文字幕| 日韩欧美国产一区二区入口| 国产成人av教育| 国产女主播在线喷水免费视频网站 | 在线国产一区二区在线| 久久久久久九九精品二区国产| 国产一区二区激情短视频| 久久九九热精品免费| 又爽又黄a免费视频| 久久香蕉精品热| 精品一区二区免费观看| 一边摸一边抽搐一进一小说| 久久久久久久久久久丰满 | 91麻豆精品激情在线观看国产| 成年人黄色毛片网站| 男女那种视频在线观看| 悠悠久久av| 免费高清视频大片| 亚洲国产色片| 99精品在免费线老司机午夜| 日本与韩国留学比较| 嫩草影院入口| 免费在线观看日本一区| 婷婷精品国产亚洲av在线| 深爱激情五月婷婷| 精品久久久久久久久久久久久| 久久香蕉精品热| 国国产精品蜜臀av免费| xxxwww97欧美| netflix在线观看网站| 日韩欧美精品v在线| 国产伦人伦偷精品视频| 色视频www国产| 亚洲国产精品合色在线| 日韩中字成人| 欧美成人a在线观看| 老司机福利观看| 国产老妇女一区| 国产国拍精品亚洲av在线观看| 一边摸一边抽搐一进一小说| 99热这里只有是精品在线观看| 特级一级黄色大片| 亚洲熟妇熟女久久| 色尼玛亚洲综合影院| 亚洲成人中文字幕在线播放| 亚洲男人的天堂狠狠| 国产不卡一卡二| 91精品国产九色| 日本色播在线视频| 内地一区二区视频在线| 99热网站在线观看| 久久人妻av系列| 黄色女人牲交| 又黄又爽又刺激的免费视频.| 丰满人妻一区二区三区视频av| 久久精品国产鲁丝片午夜精品 | 精品久久久噜噜| 亚州av有码| 国产成人a区在线观看| 国产精品人妻久久久影院| 国产又黄又爽又无遮挡在线| 国产男人的电影天堂91| 真人做人爱边吃奶动态| 国产精品自产拍在线观看55亚洲| 国产精品99久久久久久久久| 18禁在线播放成人免费| 成人高潮视频无遮挡免费网站| 日日干狠狠操夜夜爽| 欧美精品啪啪一区二区三区| 最近最新免费中文字幕在线| 动漫黄色视频在线观看| 久99久视频精品免费| 亚洲 国产 在线| 99热6这里只有精品| 国产av在哪里看| 欧美丝袜亚洲另类 | 精品久久久久久久久久久久久| 久久久久久久久大av| 国产色爽女视频免费观看| 美女高潮喷水抽搐中文字幕| av专区在线播放| a级毛片a级免费在线| 色综合婷婷激情| 中文字幕熟女人妻在线| 久久久久久久久久成人| 天天躁日日操中文字幕| 亚洲第一区二区三区不卡| 99在线视频只有这里精品首页| 啪啪无遮挡十八禁网站| 国产老妇女一区| 禁无遮挡网站| 免费在线观看影片大全网站| 久久久久性生活片| eeuss影院久久| 亚洲国产精品久久男人天堂| 国产私拍福利视频在线观看| 成人一区二区视频在线观看| 久久久久久国产a免费观看| 免费av观看视频| 在线观看美女被高潮喷水网站| 搞女人的毛片| videossex国产| 亚洲电影在线观看av| 精品一区二区三区视频在线| 又粗又爽又猛毛片免费看| 99久久精品国产国产毛片| 黄色一级大片看看| 美女高潮喷水抽搐中文字幕| 极品教师在线视频| 日韩一本色道免费dvd| 夜夜爽天天搞| 日韩欧美国产在线观看| 久久欧美精品欧美久久欧美| 成年女人毛片免费观看观看9| www日本黄色视频网| 亚洲avbb在线观看| 亚洲av免费在线观看| 日韩一区二区视频免费看| 舔av片在线| 国产精品99久久久久久久久| 嫩草影院入口| 麻豆久久精品国产亚洲av| 精品人妻熟女av久视频| 亚洲乱码一区二区免费版| 午夜福利成人在线免费观看| 亚洲av.av天堂| 免费观看精品视频网站| 美女xxoo啪啪120秒动态图| 亚洲国产精品合色在线| 美女cb高潮喷水在线观看| 国产免费一级a男人的天堂| 国产中年淑女户外野战色| 美女大奶头视频| 蜜桃久久精品国产亚洲av| 在线免费观看的www视频| 成人综合一区亚洲| 美女xxoo啪啪120秒动态图| 成人国产综合亚洲| 亚洲最大成人手机在线| 亚洲真实伦在线观看| 色av中文字幕| 国产精品人妻久久久影院| 看片在线看免费视频| 观看美女的网站| 成年版毛片免费区| 给我免费播放毛片高清在线观看| 午夜福利在线在线| 日韩欧美在线二视频| 五月玫瑰六月丁香| 中文资源天堂在线| 中亚洲国语对白在线视频| 身体一侧抽搐| 国产精品,欧美在线| 乱码一卡2卡4卡精品| 国产黄a三级三级三级人| 免费一级毛片在线播放高清视频| 一级毛片久久久久久久久女| 国产高清不卡午夜福利| 国产精品美女特级片免费视频播放器| 97人妻精品一区二区三区麻豆| 久久久久精品国产欧美久久久| 久久人人爽人人爽人人片va| 特级一级黄色大片| 春色校园在线视频观看| 人人妻,人人澡人人爽秒播| 一卡2卡三卡四卡精品乱码亚洲| 精品乱码久久久久久99久播| 欧美日本视频| 成人无遮挡网站| 国内少妇人妻偷人精品xxx网站| 国产单亲对白刺激| 97超视频在线观看视频| 在线国产一区二区在线| 男女视频在线观看网站免费| 一进一出抽搐gif免费好疼| 成人鲁丝片一二三区免费| 亚洲综合色惰| 看片在线看免费视频| 两个人视频免费观看高清| 日本黄色视频三级网站网址| 99热6这里只有精品| 久久精品夜夜夜夜夜久久蜜豆| 精品久久久噜噜| 欧美一区二区亚洲| 内射极品少妇av片p| 一级毛片久久久久久久久女| 亚洲国产日韩欧美精品在线观看| 国产一区二区亚洲精品在线观看| 欧美潮喷喷水| 国产欧美日韩精品亚洲av| 国产大屁股一区二区在线视频| 一区福利在线观看| 国产精品伦人一区二区| av中文乱码字幕在线| 久9热在线精品视频| 三级国产精品欧美在线观看| 亚洲欧美日韩高清专用| 国产一级毛片七仙女欲春2| 男人和女人高潮做爰伦理| 欧美日韩黄片免| 男人和女人高潮做爰伦理| 人妻夜夜爽99麻豆av| 一本一本综合久久| 两个人的视频大全免费| 成人性生交大片免费视频hd| 99久久久亚洲精品蜜臀av| 国产真实乱freesex| 国产爱豆传媒在线观看| 国产成人aa在线观看| 中文字幕av成人在线电影| 美女 人体艺术 gogo| 婷婷精品国产亚洲av在线| 两人在一起打扑克的视频| av中文乱码字幕在线| 国产69精品久久久久777片| 久久人人精品亚洲av| 久久精品国产鲁丝片午夜精品 | 欧美激情国产日韩精品一区| 一本一本综合久久| 婷婷色综合大香蕉| 成人欧美大片| 天天躁日日操中文字幕| 日韩欧美国产一区二区入口| 又爽又黄a免费视频| 国产精品自产拍在线观看55亚洲| 国产亚洲精品久久久久久毛片| 麻豆精品久久久久久蜜桃| 日韩欧美一区二区三区在线观看| 中文字幕av在线有码专区| 中亚洲国语对白在线视频| 亚洲av中文av极速乱 | 九九热线精品视视频播放| 亚洲经典国产精华液单| 一级黄片播放器| 高清日韩中文字幕在线| 国产精品亚洲美女久久久| 亚洲最大成人手机在线| 亚洲成人中文字幕在线播放| 国产探花在线观看一区二区| 色播亚洲综合网| 91午夜精品亚洲一区二区三区 | 亚洲精品成人久久久久久| 精品99又大又爽又粗少妇毛片 | 九九爱精品视频在线观看| 国产私拍福利视频在线观看| av专区在线播放| 亚洲狠狠婷婷综合久久图片| 内射极品少妇av片p| 亚洲av第一区精品v没综合| 国产精品乱码一区二三区的特点| 国内毛片毛片毛片毛片毛片| 色5月婷婷丁香| 校园人妻丝袜中文字幕| 日韩,欧美,国产一区二区三区 | 麻豆av噜噜一区二区三区| 国产一区二区在线观看日韩| 国产精品久久电影中文字幕| 国产伦精品一区二区三区视频9| 国产精品一区二区免费欧美| 色哟哟·www| 国产午夜精品论理片| 色播亚洲综合网| 成人特级黄色片久久久久久久| 男人和女人高潮做爰伦理| 成人国产一区最新在线观看| 欧美丝袜亚洲另类 | 亚洲av不卡在线观看| 久久久成人免费电影| 黄色欧美视频在线观看| 国产精品爽爽va在线观看网站| 亚洲专区国产一区二区| 国产亚洲欧美98| 免费高清视频大片| 国语自产精品视频在线第100页| 亚洲欧美激情综合另类| 亚洲自偷自拍三级| 久久久久国产精品人妻aⅴ院| 无人区码免费观看不卡| 亚洲一级一片aⅴ在线观看| 熟妇人妻久久中文字幕3abv| 久9热在线精品视频| 99久久精品热视频| 日日摸夜夜添夜夜添av毛片 | 国产精品福利在线免费观看| 国内精品久久久久精免费| 男女视频在线观看网站免费| 最好的美女福利视频网| 大又大粗又爽又黄少妇毛片口| 色播亚洲综合网| av在线观看视频网站免费| 大又大粗又爽又黄少妇毛片口| 亚洲五月天丁香| 亚洲欧美日韩无卡精品| 99久久精品一区二区三区| videossex国产| 丰满的人妻完整版| 欧美人与善性xxx| 在线免费十八禁| 我的女老师完整版在线观看| 黄色配什么色好看| 亚洲欧美激情综合另类| 国产欧美日韩精品亚洲av|