• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于卷積神經(jīng)網(wǎng)絡(luò)的GFW加速調(diào)度算法

    2019-10-08 09:01:51宋鐵
    軟件 2019年3期
    關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)

    宋鐵

    摘? 要: 神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用使得人們更加關(guān)注神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,更高精度的要求給神經(jīng)網(wǎng)絡(luò)的訓(xùn)練帶來(lái)了困難,因此加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成為了研究的重點(diǎn)。對(duì)于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中卷積層占據(jù)了大部分的訓(xùn)練時(shí)間,所以加速卷積層的訓(xùn)練成為了加速神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。本文提出了GFW加速調(diào)度算法,GFW算法通過對(duì)不同卷積圖像的大小和卷積核的數(shù)量調(diào)用不同的卷積算法,以達(dá)到整體的最佳訓(xùn)練效果。實(shí)驗(yàn)中具體分析了9層卷積網(wǎng)絡(luò)的加速訓(xùn)練,實(shí)驗(yàn)結(jié)果顯示,相比于GEMM卷積算法,GFW算法實(shí)現(xiàn)了2.901倍的加速,相比于FFT算法GFW算法實(shí)現(xiàn)了1.467 倍的加速,相比于Winograd算法,GFW算法實(shí)現(xiàn)了1.318 倍的加速。

    關(guān)鍵詞: 卷積神經(jīng)網(wǎng)絡(luò);GEMM;FFT;Winograd算法;GFW調(diào)度算法

    【Abstract】: The wide application of neural networks makes people pay more attention to the training of neural networks. The requirement of higher precision brings difficulties to the training of neural networks. Therefore, the training of accelerated neural networks has become the focus of research. For the training of neural networks, the convolutional layer occupies most of the training time, so the training of the accelerated convolution network becomes the key to accelerate the neural network. In this paper, the GFW accelerated scheduling algorithm is proposed. The GFW algorithm calls different convolution algorithms on the size of different convolution images and the number of convolution kernels to achieve the overall optimal training effect. In the experiment, the acceleration training of the 9-layer convolutional network is analyzed in detail. The experimental results show that compared with the GEMM convolution algorithm, the GFW algorithm achieves 2.901 times acceleration; compared with the FFT algorithm, the GFW algorithm achieves 1.467 times acceleration; Compared to the Winograd algorithm, the GFW algorithm achieves a 1.318x acceleration.

    【Key words】: Convolutional neural network; GEMM; FFT; Winograd algorithm; GFW scheduling algorithm

    0? 引言

    自從深度學(xué)習(xí)被提出后,便迅速成為了研究的熱點(diǎn)。深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用使得圖像分類,語(yǔ)音識(shí)別和語(yǔ)言翻譯等領(lǐng)域取得了很大的進(jìn)步,并且在很多方面已經(jīng)超過了人類的識(shí)別能力。卷積神經(jīng)網(wǎng)絡(luò)在圖像和視頻識(shí)別,推薦系統(tǒng)和自然語(yǔ)言處理等領(lǐng)域取得了較好的效果,在本文中主要研究了卷積網(wǎng)絡(luò)訓(xùn)練與加速。

    許多算法都被提出用以加速卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,但是每個(gè)算法都有各自的優(yōu)點(diǎn)和缺點(diǎn),并且沒有一個(gè)算法可以處理所有情形的問題。在本文中,我們?cè)贕PU環(huán)境下測(cè)試了不同算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)的加速性能。根據(jù)各個(gè)算法的特點(diǎn)和適合不同的卷積輸入圖像的大小以及卷積核數(shù)量,我們對(duì)卷積神經(jīng)網(wǎng)絡(luò)中不同的卷積層使用不用的調(diào)度策略以達(dá)到對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練效果。

    1? 相關(guān)研究

    從卷積神經(jīng)網(wǎng)絡(luò)被引入到公眾中以來(lái),有很多的研究都在研究卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算與加速,但很少的研究關(guān)注卷積算法之間的不同,評(píng)估卷積算法的最佳方法是實(shí)驗(yàn)對(duì)比不同算法之間的性能差異。Mathieu等人[1-2]實(shí)驗(yàn)得出了FFT算法的性能。Chetlur等人比較了隱式GEMM,顯式GEMM和直接卷積算法之間的性能差異的工作[3]。Lavin等人分析了Winograd算法與GEMM和FFT算法相比的優(yōu)勢(shì)[4]。然而,通過這些年的發(fā)展,GPU環(huán)境中的算法實(shí)現(xiàn)已經(jīng)變得多樣化。例如,GEMM算法有三種實(shí)現(xiàn)方式。雖然這些實(shí)現(xiàn)方式執(zhí)行相同的算法,但它們的性能完全不同,因此也需要對(duì)這些卷積實(shí)現(xiàn)算法重新進(jìn)行實(shí)驗(yàn)評(píng)估。

    有許多研究比較了不同DNN框架的性能,如文獻(xiàn)[5]和[6]。有相關(guān)的工作研究了使用GPU在CUDA平臺(tái)上并行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。Pendlebury等人[7]提出了在NVIDIA CUDA平臺(tái)上使用神經(jīng)網(wǎng)絡(luò)的并行加速程序,相比于CPU其性能提升了80%。Honghoon Jang 等人[8]在多核的CPU和GPU上實(shí)現(xiàn)了基于神經(jīng)網(wǎng)路的文本檢測(cè)系統(tǒng)。這相比于CPU上執(zhí)行快15倍,相比于OpenMp的GPU執(zhí)行快了4倍。相關(guān)的神經(jīng)網(wǎng)絡(luò)并行加速庫(kù)被開發(fā)用于加速神經(jīng)的并行訓(xùn)練,如cuDNN和cuFFT等。并且被廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練中。

    本文的工作主要是實(shí)驗(yàn)分析了卷積算法GEMM、FFT和Winograd,分析卷積算法對(duì)于不同維度大小的輸入圖像以及卷積核的數(shù)量對(duì)卷積網(wǎng)絡(luò)的計(jì)算效率。據(jù)此本文提出了GFW加速算法,主要根據(jù)卷積網(wǎng)絡(luò)中不同大小的卷積特征圖和卷積核的數(shù)量調(diào)用不同的卷積算法,實(shí)現(xiàn)整個(gè)神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練效果。

    2? GFW加速調(diào)度算法

    2.1? GEMM

    。

    2.4? GFW調(diào)度算法

    對(duì)于神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練過程中,通過卷積計(jì)算和池化層后,卷積層的輸入特征圖維度大小不斷地減小,卷積核的數(shù)量也隨著卷積層的變化而變化。對(duì)于不同維度的特征圖和卷積核的數(shù)量適合不同的卷積算法,同一個(gè)神經(jīng)網(wǎng)絡(luò)使用一個(gè)卷積算法計(jì)算會(huì)造成內(nèi)存和計(jì)算資源的浪費(fèi),這樣并不能達(dá)到神經(jīng)網(wǎng)絡(luò)整體的最佳訓(xùn)練性能。對(duì)此,本文提出了GFW加速調(diào)度算法,GFW調(diào)度算法的思想是對(duì)不同的卷積層輸入特征圖維度大小卷積核的數(shù)量調(diào)度不同的卷積算法,實(shí)現(xiàn)每一層卷積層的最佳訓(xùn)練,從而提高整個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能。GFW調(diào)度算法是在GEMM、FFT和Winogd卷積算法中根據(jù)特征圖維度大小和卷積核的數(shù)量來(lái)調(diào)用相應(yīng)的卷積算法,實(shí)現(xiàn)最佳的訓(xùn)練性能。如圖1給出了GFW加速調(diào)度算法的流程圖,圖中Image_size為輸入圖像的大小,F(xiàn)ilter output為卷積核的數(shù)量,GFW是根據(jù)這兩個(gè)參數(shù)來(lái)調(diào)度相應(yīng)的卷積算法,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練效果。

    3? 實(shí)驗(yàn)結(jié)果與分析

    本實(shí)驗(yàn)完成對(duì)神經(jīng)網(wǎng)絡(luò)的加速實(shí)驗(yàn),主要在同一實(shí)驗(yàn)平臺(tái)上分別對(duì)卷積層的不同的卷積算法進(jìn)行了加速實(shí)驗(yàn)。實(shí)驗(yàn)中使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有九層卷積層,分別使用GEMM、FFT和Winograd卷積算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行加速實(shí)驗(yàn),并且與GFW加速調(diào)度算法進(jìn)行了加速對(duì)比。實(shí)驗(yàn)中對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的每一層卷積層進(jìn)行了四種卷積算法的加速實(shí)驗(yàn),從實(shí)驗(yàn)中每一層中各個(gè)算法的執(zhí)行時(shí)間可以具體分析出GFW加速調(diào)度算法的調(diào)度策略。最后,分析了每個(gè)卷積算法對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)的加速時(shí)間以及GFW加速調(diào)度算法相比其它卷積算法的加速比。

    3.1? 實(shí)驗(yàn)分析

    實(shí)驗(yàn)中對(duì)具有九層卷積層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),卷積網(wǎng)絡(luò)是由卷積層和池化層組成,輸入圖像經(jīng)過每一層的卷積和池化層后得到的特征圖都會(huì)減小,在不同卷積層的輸入特征圖的維度都是不同的。實(shí)驗(yàn)中使用的硬件平臺(tái)是NVIDIA GeForce GTX1080Ti GPU,其具有11GB的顯存,使用了CUDA 9.0版本對(duì)GPU計(jì)算資源進(jìn)行管理。實(shí)驗(yàn)中分別測(cè)試了神經(jīng)網(wǎng)絡(luò)每一層在四種卷積算法下的執(zhí)行時(shí)間,并且分析了每個(gè)卷積算法對(duì)神經(jīng)網(wǎng)絡(luò)的加速效率。

    3.2? 實(shí)驗(yàn)結(jié)果

    實(shí)驗(yàn)中首先分析了GEMM、FFT和Winograd卷積算法以及DFW加速調(diào)度算法在對(duì)九層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的加速效果。在每一層卷積層后接著池化層,輸出的特征映射圖都會(huì)相比輸入圖片減小一半,這樣神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的不同卷積層的輸入圖像維度大小不同。圖2給出了GEMM、FFT和Winograd卷積算法對(duì)神經(jīng)網(wǎng)絡(luò)中每一層的執(zhí)行時(shí)間的變化以及GFW加速調(diào)度算法對(duì)神經(jīng)網(wǎng)絡(luò)每一層的執(zhí)行效率。從圖中分析可知由于每一層卷積層的輸入圖像維度不同,因此每一層的執(zhí)行時(shí)間會(huì)隨著輸入特征圖的減小而減小。從圖中可以發(fā)現(xiàn),對(duì)于GEMM、FFT和Winograd卷積算法對(duì)于神經(jīng)網(wǎng)絡(luò)卷積層的計(jì)算時(shí)間都隨著輸入特征圖維度的減小而減小,但對(duì)于不同維度大小的輸入特征圖,三個(gè)卷積算法的計(jì)算時(shí)間是不同的。圖中黃色曲線是GFW加速調(diào)度算法在加速神經(jīng)網(wǎng)絡(luò)中每一層的時(shí)間曲線,從圖中可以分析出GFW加速調(diào)度算法始終在三條曲線的最下面,這也證明了GFW加速調(diào)度算法在對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),在對(duì)每一層進(jìn)行計(jì)算時(shí)都會(huì)調(diào)用三個(gè)算法中計(jì)算時(shí)間最短的算法,這樣可以使得神經(jīng)網(wǎng)絡(luò)的整體訓(xùn)練時(shí)間最小,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的加速 訓(xùn)練。

    從圖2分析中可知對(duì)于不同維度的輸入特征圖,卷積層的計(jì)算時(shí)間是不同的,并且對(duì)于相同維度輸入特征圖,使用不同的卷積計(jì)算算法所需要的時(shí)間也是不同的。圖3分析了神經(jīng)網(wǎng)絡(luò)中九層卷積層使用三種不同卷積算法的執(zhí)行時(shí)間,以及GFW加速調(diào)度算法加速卷積計(jì)算的執(zhí)行時(shí)間。為了便于分析與觀察,實(shí)驗(yàn)中將GFW對(duì)卷積層的計(jì)算時(shí)間進(jìn)行了歸一化處理,這樣可以清晰的分析出在不同的卷積層中GFW加速調(diào)度算法相對(duì)于其它卷積算法的加速比以及GFW的調(diào)度策略。圖中顯示W(wǎng)inograd卷積算法適合于維度較大的輸入特征圖,而GEMM算法則比較適合維度較小的輸入特征圖,F(xiàn)FT卷積算法適合于輸入特征圖維度居中的卷積計(jì)算。GFW則是根據(jù)神經(jīng)網(wǎng)絡(luò)卷積層的輸入特征圖維度大小以及卷積核的數(shù)量來(lái)調(diào)度不同的加速算法,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)最佳的加速效果。

    圖3中具體分析了神經(jīng)網(wǎng)絡(luò)中每一層卷積層使用不同卷積算法的計(jì)算效率以及加速比,并分析了GFW加速調(diào)度算法的調(diào)度策略。GFW加速調(diào)度算法實(shí)現(xiàn)每一層卷積層的調(diào)度加速?gòu)亩鴮?shí)現(xiàn)了整個(gè)神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練,圖4中給出了幾種卷積算法對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)的加速效率。圖中的三幅對(duì)比圖中分別展現(xiàn)了幾種卷積算法的計(jì)算效率,使用FFT實(shí)現(xiàn)卷積計(jì)算加速神經(jīng)網(wǎng)絡(luò)相比于使用GEMM實(shí)驗(yàn)卷積計(jì)算對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能提升了49.4%;使用Winograd算法實(shí)現(xiàn)卷積計(jì)算加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練相比于使用FFT實(shí)驗(yàn)卷積計(jì)算對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能提升了10.2%;本文提出的GFW加速調(diào)度算法對(duì)于神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練中,相比于目前加速效率最高的Winograd算法,在對(duì)神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練中性能提升了24.1%。

    圖5中直觀的展示了本文提出的GFW加速調(diào)度算法相比于GEMM、FFT和Winograd算法對(duì)神經(jīng)網(wǎng)絡(luò)的加速比。在對(duì)本文具有九層卷積層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行加速實(shí)驗(yàn)時(shí),GFW加速調(diào)度算法是根據(jù)卷積層中輸入特征圖的大小以及卷積核的數(shù)量進(jìn)行調(diào)度的加速算法,因此,在對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)加速性能較高。相比于GEMM卷積算法加速GFW調(diào)度算法取得了2.901倍的加速,相比于FFT實(shí)現(xiàn)卷積計(jì)算對(duì)神經(jīng)網(wǎng)絡(luò)的加速GFW調(diào)度算法取得了1.467的加速,相比于Winograd算法實(shí)現(xiàn)卷積計(jì)算,GFW調(diào)度算法對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實(shí)現(xiàn)了1.318倍的加速。

    4? 結(jié)束語(yǔ)

    神經(jīng)網(wǎng)絡(luò)中的卷積計(jì)算占據(jù)著神經(jīng)網(wǎng)路的大部分訓(xùn)練時(shí)間,因此,加速卷積計(jì)算的效率是加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的關(guān)鍵。本文針對(duì)卷積計(jì)算提出了GFW加速調(diào)度算法,針對(duì)神經(jīng)網(wǎng)絡(luò)中不同卷積層的輸入特征圖的大小和卷積核的數(shù)量調(diào)度相應(yīng)的卷積算法,實(shí)現(xiàn)整個(gè)神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練性能。實(shí)驗(yàn)結(jié)果顯示,GFW加速調(diào)度算法在對(duì)神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練中,相比于GEMM卷積算法實(shí)現(xiàn)了2.901倍的加速,相比于使用FFT實(shí)現(xiàn)卷積計(jì)算對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,GFW調(diào)度算法實(shí)現(xiàn)了1.467倍的加速,相比于對(duì)卷積網(wǎng)絡(luò)計(jì)算效率較高的Winograd算法,GFW調(diào)度算法在加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練中實(shí)現(xiàn)了1.318倍的加速。

    參考文獻(xiàn)

    [1]Chen T, Li M, Li Y, et al. Mxnet: A flexible and efficient machine learning library for heterogeneous distributed systems[J]. arXiv preprint arXiv: 1512. 01274, 2015.

    [2]Vasilache N, Johnson J, Mathieu M, et al. Fast convolutional nets with fbfft: A GPU performance evaluation[J]. arXiv preprint arXiv: 1412. 7580, 2014.

    [3]Chetlur S, Woolley C, Vandermersch P, et al. cudnn: Efficient primitives for deep learning[J]. arXiv preprint arXiv: 1410. 0759, 2014.

    [4]Lavin A, Gray S. Fast algorithms for convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 4013-4021.

    [5]Li X, Zhang G, Huang H H, et al. Performance analysis of gpu-based convolutional neural networks[C]//2016 45th International Conference on Parallel Processing (ICPP). IEEE, 2016: 67-76.

    [6]Kim H, Nam H, Jung W, et al. Performance analysis of CNN frameworks for GPUs[C]//2017 IEEE International Sympo sium on Performance Analysis of Systems and Software (ISPASS). IEEE, 2017: 55-64.

    [7]Pendlebury J, Xiong H, Walshe R. Artificial neural network simulation on CUDA[C]//Distributed Simulation and Real Time Applications (DS-RT), 2012 IEEE/ACM 16th Interna tional Symposium on. IEEE, 2012: 228-233.

    [8]Jang, Honghoon, Anjin Park, and Keechul Jung. "Neural network implementation using cuda and openmp. " Digital Image Computing: Techniques and Applications. IEEE, 2008.

    [9]Xu, Rui, et al. "Accelerating CNNs Using Optimized Sche du ling Strategy. " International Conference on Algorithms and Architectures for Parallel Processing. Springer, Cham, 2018.

    [10]Lu W, Yan G, Li J, et al. Flexflow: A flexible dataflow accelerator architecture for convolutional neural networ ks[C]//2017 IEEE International Symposium on High Perfor mance Computer Architecture (HPCA). IEEE, 2017: 553- 564.

    [11]Hill P, Jain A, Hill M, et al. Deftnn: Addressing bottlenecks for dnn execution on gpus via synapse vector elimination and near-compute data fission[C]//Proceedings of the 50th Ann ual IEEE/ACM International Symposium on Microarchite cture. ACM, 2017: 786-799.

    [12]Song L, Wang Y, Han Y, et al. C-brain: A deep learning accelerator that tames the diversity of cnns through adaptive data-level parallelization[C]//2016 53nd ACM/EDAC/IEEE Design Automation Conference (DAC). IEEE, 2016: 1-6.

    [13]Lin, Yu-Sheng, Wei-Chao Chen, and Shao-Yi Chien. "Unro lled memory inner-products: An abstract GPU operator for efficient vision-related computations. " Proceedings of the IEEE International Conference on Computer Vision. 2017.

    [14]盧冶, 陳瑤, 李濤, 等. 面向邊緣計(jì)算的嵌入式FPGA卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建方法[J]. 計(jì)算機(jī)研究與發(fā)展, 2018, 55(03): 551-562.

    [15]李景軍, 張宸, 曹強(qiáng). 面向訓(xùn)練階段的神經(jīng)網(wǎng)絡(luò)性能分析[J]. 計(jì)算機(jī)科學(xué)與探索, 2018, 12(10): 1645-1657.

    猜你喜歡
    卷積神經(jīng)網(wǎng)絡(luò)
    基于深度神經(jīng)網(wǎng)絡(luò)的微表情識(shí)別
    卷積神經(jīng)網(wǎng)絡(luò)中減少訓(xùn)練樣本時(shí)間方法研究
    卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型研究
    基于卷積神經(jīng)網(wǎng)絡(luò)的車輛檢索方法研究
    基于卷積神經(jīng)網(wǎng)絡(luò)溫室智能大棚監(jiān)控系統(tǒng)的研究
    基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識(shí)別算法
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    深度學(xué)習(xí)技術(shù)下的中文微博情感的分析與研究
    軟件(2016年5期)2016-08-30 06:27:49
    基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識(shí)別的算法的研究
    亚洲成人手机| 国产成人av激情在线播放| 亚洲熟妇熟女久久| 国产精品一区二区在线观看99| 日韩欧美一区二区三区在线观看 | 夫妻午夜视频| 国产单亲对白刺激| 十分钟在线观看高清视频www| 免费观看a级毛片全部| 老鸭窝网址在线观看| 亚洲精华国产精华精| 丝袜人妻中文字幕| 亚洲精品自拍成人| 1024视频免费在线观看| 国产精品成人在线| cao死你这个sao货| 热99久久久久精品小说推荐| av超薄肉色丝袜交足视频| 18禁国产床啪视频网站| 丝瓜视频免费看黄片| 亚洲专区国产一区二区| 飞空精品影院首页| 欧美av亚洲av综合av国产av| 99精品欧美一区二区三区四区| 日本精品一区二区三区蜜桃| 国产一卡二卡三卡精品| h视频一区二区三区| 一进一出好大好爽视频| 免费在线观看完整版高清| 大香蕉久久网| 国产av精品麻豆| 国产精品自产拍在线观看55亚洲 | 国产在线视频一区二区| 90打野战视频偷拍视频| 久久人妻熟女aⅴ| 满18在线观看网站| 汤姆久久久久久久影院中文字幕| svipshipincom国产片| 91精品国产国语对白视频| 又紧又爽又黄一区二区| 99久久人妻综合| 日韩视频在线欧美| www.自偷自拍.com| 亚洲专区中文字幕在线| 12—13女人毛片做爰片一| 日韩免费av在线播放| 久久人人97超碰香蕉20202| 男人舔女人的私密视频| 99久久人妻综合| 国产日韩欧美亚洲二区| 天天躁夜夜躁狠狠躁躁| 精品亚洲乱码少妇综合久久| 新久久久久国产一级毛片| 亚洲精品在线观看二区| tube8黄色片| 欧美日本中文国产一区发布| 国产熟女午夜一区二区三区| 国精品久久久久久国模美| 亚洲一区中文字幕在线| 国产成人系列免费观看| 国产成人精品无人区| 久久久国产成人免费| 久久影院123| 色老头精品视频在线观看| 久久人人97超碰香蕉20202| 欧美老熟妇乱子伦牲交| 桃红色精品国产亚洲av| av又黄又爽大尺度在线免费看| av国产精品久久久久影院| 极品少妇高潮喷水抽搐| 啦啦啦在线免费观看视频4| 丰满迷人的少妇在线观看| 高清av免费在线| 欧美精品高潮呻吟av久久| 最近最新中文字幕大全电影3 | 无人区码免费观看不卡 | 日韩视频在线欧美| 美女高潮喷水抽搐中文字幕| 精品乱码久久久久久99久播| 日韩三级视频一区二区三区| 俄罗斯特黄特色一大片| 国产成人精品久久二区二区91| 久久久久久久精品吃奶| 欧美日韩视频精品一区| 十八禁人妻一区二区| 国产欧美日韩一区二区精品| 国产成人一区二区三区免费视频网站| 久久这里只有精品19| 国产精品秋霞免费鲁丝片| av片东京热男人的天堂| 欧美精品av麻豆av| 黑人巨大精品欧美一区二区mp4| 国产又色又爽无遮挡免费看| 亚洲人成77777在线视频| 久久久久久久精品吃奶| 青草久久国产| 69精品国产乱码久久久| 国产亚洲欧美精品永久| 国产在线精品亚洲第一网站| 国产老妇伦熟女老妇高清| 国产亚洲精品第一综合不卡| 成人亚洲精品一区在线观看| 欧美亚洲 丝袜 人妻 在线| 久久久国产一区二区| 咕卡用的链子| 国产精品影院久久| 久久久久精品人妻al黑| 高清毛片免费观看视频网站 | 伊人久久大香线蕉亚洲五| 亚洲精品久久成人aⅴ小说| 成在线人永久免费视频| 国产成人精品在线电影| 免费观看a级毛片全部| 香蕉国产在线看| 自拍欧美九色日韩亚洲蝌蚪91| 99精品在免费线老司机午夜| 精品少妇一区二区三区视频日本电影| 国产不卡一卡二| 欧美日韩亚洲综合一区二区三区_| 一进一出抽搐动态| 高潮久久久久久久久久久不卡| 在线观看66精品国产| 女人高潮潮喷娇喘18禁视频| videos熟女内射| 亚洲性夜色夜夜综合| 久久香蕉激情| 国产aⅴ精品一区二区三区波| 五月天丁香电影| 18禁观看日本| 欧美激情极品国产一区二区三区| 黄片大片在线免费观看| 伦理电影免费视频| 在线观看66精品国产| 日本欧美视频一区| 亚洲国产精品一区二区三区在线| 日本vs欧美在线观看视频| 久久人妻av系列| 亚洲欧美日韩另类电影网站| 在线观看一区二区三区激情| 精品国产乱码久久久久久男人| 久久性视频一级片| 丰满迷人的少妇在线观看| 国产亚洲一区二区精品| 一区二区日韩欧美中文字幕| 欧美精品一区二区大全| 成人黄色视频免费在线看| 午夜久久久在线观看| 一本大道久久a久久精品| 黄色成人免费大全| 亚洲av成人不卡在线观看播放网| 亚洲男人天堂网一区| 精品第一国产精品| 欧美成人免费av一区二区三区 | 亚洲精品美女久久av网站| 亚洲一码二码三码区别大吗| 成人国产av品久久久| 国产野战对白在线观看| 亚洲成人国产一区在线观看| www.999成人在线观看| 老鸭窝网址在线观看| 91麻豆av在线| 午夜福利影视在线免费观看| 老熟妇仑乱视频hdxx| 欧美激情 高清一区二区三区| 大型av网站在线播放| 午夜福利影视在线免费观看| 变态另类成人亚洲欧美熟女 | 美女高潮喷水抽搐中文字幕| 亚洲五月婷婷丁香| 国产成人av教育| 人人澡人人妻人| 九色亚洲精品在线播放| videos熟女内射| 亚洲精品美女久久久久99蜜臀| 一级片免费观看大全| 大片电影免费在线观看免费| 亚洲午夜精品一区,二区,三区| 日韩视频在线欧美| 99国产精品一区二区蜜桃av | 免费av中文字幕在线| 丰满少妇做爰视频| 飞空精品影院首页| 一二三四社区在线视频社区8| 又大又爽又粗| 日韩中文字幕视频在线看片| 久久ye,这里只有精品| 美国免费a级毛片| 国产亚洲一区二区精品| av在线播放免费不卡| 99精国产麻豆久久婷婷| 人人妻人人澡人人看| 啦啦啦在线免费观看视频4| 黑人巨大精品欧美一区二区mp4| 丁香欧美五月| 精品免费久久久久久久清纯 | 美女主播在线视频| 熟女少妇亚洲综合色aaa.| 日本av手机在线免费观看| 国产精品亚洲一级av第二区| 久久精品国产亚洲av香蕉五月 | 男女边摸边吃奶| 少妇的丰满在线观看| 啦啦啦中文免费视频观看日本| 国产视频一区二区在线看| 97在线人人人人妻| 老汉色av国产亚洲站长工具| 亚洲精品自拍成人| 91大片在线观看| 国产日韩欧美视频二区| av在线播放免费不卡| 久久中文字幕一级| 最黄视频免费看| 精品国产乱子伦一区二区三区| 亚洲一区中文字幕在线| 美女午夜性视频免费| 天天添夜夜摸| 日本wwww免费看| 中文字幕最新亚洲高清| 激情在线观看视频在线高清 | 日韩欧美国产一区二区入口| 欧美日本中文国产一区发布| 成人黄色视频免费在线看| 啦啦啦视频在线资源免费观看| 纯流量卡能插随身wifi吗| 少妇被粗大的猛进出69影院| 国产有黄有色有爽视频| 免费不卡黄色视频| 啦啦啦视频在线资源免费观看| 超碰97精品在线观看| 精品亚洲成国产av| 99精国产麻豆久久婷婷| 别揉我奶头~嗯~啊~动态视频| 精品欧美一区二区三区在线| 国产精品国产高清国产av | 999久久久国产精品视频| 大香蕉久久网| 69精品国产乱码久久久| 精品国内亚洲2022精品成人 | 手机成人av网站| 热re99久久精品国产66热6| 高潮久久久久久久久久久不卡| 午夜视频精品福利| 欧美激情高清一区二区三区| 国产亚洲欧美精品永久| 亚洲熟女毛片儿| 99国产精品免费福利视频| 美女主播在线视频| 搡老熟女国产l中国老女人| av天堂在线播放| 亚洲欧美一区二区三区黑人| 成人18禁在线播放| 亚洲成人免费电影在线观看| 亚洲精品美女久久久久99蜜臀| 国产精品偷伦视频观看了| 精品国产乱子伦一区二区三区| 婷婷成人精品国产| 日韩欧美一区二区三区在线观看 | 麻豆乱淫一区二区| 一本一本久久a久久精品综合妖精| 国产黄频视频在线观看| 成人18禁在线播放| 激情视频va一区二区三区| 99在线人妻在线中文字幕 | 丰满人妻熟妇乱又伦精品不卡| 一区二区三区激情视频| 99精品欧美一区二区三区四区| 国产黄频视频在线观看| 啦啦啦视频在线资源免费观看| 午夜福利视频在线观看免费| 国产福利在线免费观看视频| 在线av久久热| 国产精品久久久久成人av| 欧美在线黄色| 欧美在线黄色| 欧美日韩中文字幕国产精品一区二区三区 | 怎么达到女性高潮| 777久久人妻少妇嫩草av网站| 国产不卡一卡二| 电影成人av| 一级毛片电影观看| 久久婷婷成人综合色麻豆| 亚洲国产看品久久| 国产日韩欧美视频二区| 99re在线观看精品视频| 亚洲一码二码三码区别大吗| 欧美另类亚洲清纯唯美| 变态另类成人亚洲欧美熟女 | 国产一卡二卡三卡精品| 一区二区三区精品91| 久久久国产一区二区| 五月天丁香电影| 日韩制服丝袜自拍偷拍| 99精国产麻豆久久婷婷| 2018国产大陆天天弄谢| 建设人人有责人人尽责人人享有的| 在线观看一区二区三区激情| 国产亚洲精品久久久久5区| 黑人猛操日本美女一级片| 日本黄色视频三级网站网址 | 大香蕉久久网| 亚洲成国产人片在线观看| 色老头精品视频在线观看| 日韩 欧美 亚洲 中文字幕| 久久免费观看电影| 熟女少妇亚洲综合色aaa.| 免费在线观看影片大全网站| 久久国产精品大桥未久av| 国产激情久久老熟女| 日韩中文字幕欧美一区二区| 久久久国产精品麻豆| 91国产中文字幕| 国产区一区二久久| 欧美另类亚洲清纯唯美| 一级a爱视频在线免费观看| 国产精品久久久av美女十八| 久久天躁狠狠躁夜夜2o2o| 国产1区2区3区精品| 国产野战对白在线观看| 亚洲黑人精品在线| 国产高清国产精品国产三级| 午夜视频精品福利| 狠狠婷婷综合久久久久久88av| 99热国产这里只有精品6| 久久ye,这里只有精品| 777久久人妻少妇嫩草av网站| 欧美日韩黄片免| 9191精品国产免费久久| 在线观看一区二区三区激情| 久久午夜亚洲精品久久| 精品卡一卡二卡四卡免费| 国产不卡一卡二| 亚洲精华国产精华精| 丰满人妻熟妇乱又伦精品不卡| 欧美日韩精品网址| 国产三级黄色录像| 亚洲成国产人片在线观看| 中文亚洲av片在线观看爽 | 老司机亚洲免费影院| 两个人免费观看高清视频| 精品国产乱码久久久久久小说| 国产日韩一区二区三区精品不卡| 亚洲精品在线美女| 国产又色又爽无遮挡免费看| 亚洲 国产 在线| 成在线人永久免费视频| 人人妻人人澡人人看| 黑人操中国人逼视频| 久久精品亚洲熟妇少妇任你| 两性午夜刺激爽爽歪歪视频在线观看 | 99riav亚洲国产免费| 18禁黄网站禁片午夜丰满| 少妇的丰满在线观看| 亚洲中文字幕日韩| 天天添夜夜摸| 日本撒尿小便嘘嘘汇集6| 亚洲av片天天在线观看| 80岁老熟妇乱子伦牲交| 老司机午夜十八禁免费视频| 国产亚洲av高清不卡| 国产免费福利视频在线观看| 50天的宝宝边吃奶边哭怎么回事| 乱人伦中国视频| 天天操日日干夜夜撸| 天堂8中文在线网| 超碰97精品在线观看| 亚洲av第一区精品v没综合| 国产免费福利视频在线观看| 黄色a级毛片大全视频| 少妇精品久久久久久久| 后天国语完整版免费观看| 成年人午夜在线观看视频| 国产午夜精品久久久久久| 2018国产大陆天天弄谢| 天天躁夜夜躁狠狠躁躁| 1024视频免费在线观看| 久久久久久久久免费视频了| 少妇精品久久久久久久| 一区在线观看完整版| 国产精品久久久久久精品电影小说| 国产三级黄色录像| 亚洲avbb在线观看| 丝瓜视频免费看黄片| 又大又爽又粗| 精品卡一卡二卡四卡免费| 一进一出好大好爽视频| 在线av久久热| 亚洲精品国产区一区二| 99国产精品一区二区蜜桃av | 免费日韩欧美在线观看| 国产精品.久久久| 亚洲人成电影免费在线| 亚洲精品自拍成人| 高清在线国产一区| 欧美人与性动交α欧美软件| 18禁国产床啪视频网站| 美女主播在线视频| 99精品久久久久人妻精品| 午夜两性在线视频| 国产深夜福利视频在线观看| 国产男女超爽视频在线观看| 午夜免费鲁丝| 涩涩av久久男人的天堂| 日本wwww免费看| 国产亚洲一区二区精品| 久久精品91无色码中文字幕| 久久精品国产综合久久久| 国产精品久久久人人做人人爽| 国产麻豆69| 少妇 在线观看| 一夜夜www| 国产1区2区3区精品| 亚洲精品在线观看二区| 亚洲人成电影观看| 真人做人爱边吃奶动态| 乱人伦中国视频| 亚洲av第一区精品v没综合| 精品国内亚洲2022精品成人 | 高清在线国产一区| 国产视频一区二区在线看| 亚洲国产看品久久| 男女下面插进去视频免费观看| 天堂动漫精品| 日本wwww免费看| 亚洲欧美激情在线| 捣出白浆h1v1| 国产极品粉嫩免费观看在线| 777久久人妻少妇嫩草av网站| 黄频高清免费视频| 国产高清国产精品国产三级| 午夜福利视频在线观看免费| 日本wwww免费看| 国产精品免费视频内射| 99精国产麻豆久久婷婷| 一级毛片精品| 亚洲av成人不卡在线观看播放网| 国产av又大| 五月天丁香电影| 亚洲熟妇熟女久久| 久久久精品94久久精品| av线在线观看网站| 欧美日韩视频精品一区| 亚洲欧美日韩另类电影网站| 精品人妻熟女毛片av久久网站| 日韩大片免费观看网站| 91字幕亚洲| 色精品久久人妻99蜜桃| 亚洲av片天天在线观看| 精品亚洲乱码少妇综合久久| 这个男人来自地球电影免费观看| 女人久久www免费人成看片| 亚洲人成电影免费在线| 女同久久另类99精品国产91| 黄频高清免费视频| 精品卡一卡二卡四卡免费| www.999成人在线观看| www.熟女人妻精品国产| 国产真人三级小视频在线观看| 日韩一卡2卡3卡4卡2021年| 中文字幕制服av| 欧美成狂野欧美在线观看| 天天躁日日躁夜夜躁夜夜| www.999成人在线观看| 人人澡人人妻人| 国产亚洲欧美在线一区二区| 丰满人妻熟妇乱又伦精品不卡| 啦啦啦免费观看视频1| 午夜久久久在线观看| 久久av网站| 免费一级毛片在线播放高清视频 | 国产片内射在线| www.999成人在线观看| 9191精品国产免费久久| 亚洲黑人精品在线| 亚洲精品国产区一区二| 色婷婷av一区二区三区视频| 久久精品aⅴ一区二区三区四区| 丰满迷人的少妇在线观看| 欧美日韩中文字幕国产精品一区二区三区 | 国产精品久久久久久精品古装| 热99re8久久精品国产| 免费少妇av软件| 欧美大码av| 女人久久www免费人成看片| 国产精品久久久久成人av| 1024视频免费在线观看| 狠狠精品人妻久久久久久综合| 一本—道久久a久久精品蜜桃钙片| 国产高清激情床上av| 亚洲精品久久午夜乱码| 天天添夜夜摸| 久热爱精品视频在线9| 久久香蕉激情| 亚洲国产欧美日韩在线播放| 十分钟在线观看高清视频www| 日韩欧美一区视频在线观看| 亚洲色图综合在线观看| 免费观看av网站的网址| 亚洲五月色婷婷综合| 麻豆国产av国片精品| 免费看a级黄色片| 日韩中文字幕视频在线看片| 欧美黄色片欧美黄色片| 欧美乱码精品一区二区三区| 亚洲一区二区三区欧美精品| www.自偷自拍.com| 国产精品免费大片| 亚洲精品美女久久久久99蜜臀| 精品久久久精品久久久| 亚洲av国产av综合av卡| 国产在线一区二区三区精| 国产精品久久电影中文字幕 | 香蕉丝袜av| 一级黄色大片毛片| 久久久精品国产亚洲av高清涩受| 国产又爽黄色视频| 国产成人av激情在线播放| 男女床上黄色一级片免费看| 黄片播放在线免费| 91精品三级在线观看| 中文字幕最新亚洲高清| 他把我摸到了高潮在线观看 | 无遮挡黄片免费观看| 免费不卡黄色视频| 日韩欧美国产一区二区入口| 黄色片一级片一级黄色片| www.自偷自拍.com| 日本撒尿小便嘘嘘汇集6| 精品亚洲成国产av| av又黄又爽大尺度在线免费看| 国产xxxxx性猛交| 亚洲国产中文字幕在线视频| 日韩欧美一区二区三区在线观看 | 啪啪无遮挡十八禁网站| 亚洲第一欧美日韩一区二区三区 | 亚洲美女黄片视频| 考比视频在线观看| 黄色a级毛片大全视频| 国产精品一区二区在线观看99| 一区二区三区国产精品乱码| 老司机影院毛片| 国产精品熟女久久久久浪| 亚洲性夜色夜夜综合| 夜夜骑夜夜射夜夜干| 亚洲欧美一区二区三区黑人| 免费日韩欧美在线观看| 大型av网站在线播放| 一级a爱视频在线免费观看| 国产精品 国内视频| 欧美成人午夜精品| 国产熟女午夜一区二区三区| 亚洲全国av大片| 亚洲人成伊人成综合网2020| 精品亚洲成国产av| 成人三级做爰电影| 久久亚洲精品不卡| 搡老乐熟女国产| 亚洲一区中文字幕在线| 电影成人av| 丝袜在线中文字幕| 操出白浆在线播放| 精品国产超薄肉色丝袜足j| 欧美变态另类bdsm刘玥| 国产高清videossex| 国产欧美日韩一区二区三| 日本av手机在线免费观看| 99精国产麻豆久久婷婷| 黄色毛片三级朝国网站| 蜜桃在线观看..| 亚洲 欧美一区二区三区| 国产三级黄色录像| 亚洲精品久久午夜乱码| 国产av精品麻豆| 亚洲欧美精品综合一区二区三区| 极品教师在线免费播放| 男女高潮啪啪啪动态图| 深夜精品福利| 91精品国产国语对白视频| 久久99一区二区三区| 一边摸一边抽搐一进一出视频| 免费看十八禁软件| 好男人电影高清在线观看| 欧美成人免费av一区二区三区 | av电影中文网址| 母亲3免费完整高清在线观看| 动漫黄色视频在线观看| 欧美日韩一级在线毛片| 老熟女久久久| 一级片'在线观看视频| 天堂动漫精品| 人人妻人人添人人爽欧美一区卜| 五月开心婷婷网| 久久精品亚洲精品国产色婷小说| 久久精品成人免费网站| 悠悠久久av| 国产97色在线日韩免费| 精品亚洲成a人片在线观看| 丰满人妻熟妇乱又伦精品不卡| 人人妻人人爽人人添夜夜欢视频| 亚洲色图综合在线观看| 国产精品香港三级国产av潘金莲| 免费av中文字幕在线| 伦理电影免费视频| 国产欧美亚洲国产| 国产一区二区 视频在线| 亚洲男人天堂网一区| 嫁个100分男人电影在线观看| 国产在线一区二区三区精| svipshipincom国产片| 19禁男女啪啪无遮挡网站| 国产在线精品亚洲第一网站| 叶爱在线成人免费视频播放| 久热爱精品视频在线9| 国产精品一区二区在线观看99| 岛国在线观看网站| 又大又爽又粗|