• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    節(jié)點實時性能自適應的集群資源分配算法*

    2022-12-02 04:46:52胡亞紅吳寅超朱正東
    國防科技大學學報 2022年6期
    關鍵詞:密集型權值內(nèi)存

    胡亞紅,吳寅超,朱正東

    (1. 浙江工業(yè)大學 計算機科學與技術學院(軟件學院), 浙江 杭州 310023; 2. 西安交通大學 計算機科學與技術學院, 陜西 西安 710049)

    Apache Spark是高性能的大數(shù)據(jù)處理框架,能夠高效地處理批數(shù)據(jù)和流式數(shù)據(jù)[1-3]。但Spark默認的資源分配算法僅匹配作業(yè)需求和節(jié)點的資源情況,不能夠保證為用戶作業(yè)分配到最優(yōu)資源。資源分配和作業(yè)調(diào)度屬于NP-hard問題[4],是當前的研究熱點。綜合考慮集群資源的異構(gòu)性、節(jié)點負載的實時變化和用戶作業(yè)不同特點的資源分配算法,能夠有效提高集群性能、縮短作業(yè)的完成時間。

    為了解決Spark在進行資源分配時未結(jié)合節(jié)點硬件性能的問題,Xu等提出了一個考慮集群資源屬性和作業(yè)特性的啟發(fā)式算法,能夠為作業(yè)分配到合適的資源[5]。

    胡亞紅等提出的基于節(jié)點優(yōu)先級的Spark動態(tài)自適應調(diào)度算法[6](Spark dynamic adaptive scheduling algorithm, SDASA)則是為了綜合處理集群的異構(gòu)性和節(jié)點的實時性能。該算法中,節(jié)點的性能使用優(yōu)先級來度量,節(jié)點的實時優(yōu)先級根據(jù)節(jié)點的資源使用情況等工作狀態(tài)進行動態(tài)計算。

    為保證所有作業(yè)都能夠在截止時間內(nèi)完成,文獻[7]介紹了一個考慮作業(yè)價值密度和完成時間限制的硬實時調(diào)度算法截止時間及價值密度感知(deadline and value density aware, DVDA)算法[7]。但DVDA算法沒有考慮集群中節(jié)點的實時資源使用狀況。

    針對電力供應受限的系統(tǒng),文獻[8]分析了常用基于價值的任務調(diào)度方法的不足,提出需要在不同的電力供應狀態(tài)下選擇不同的能源分配方案,并在此基礎上,提出了基于價值的能耗感知啟發(fā)式任務調(diào)度算法。

    為減少存儲設備異構(gòu)的集群中作業(yè)的執(zhí)行時間,文獻[9]提出的任務調(diào)度策略根據(jù)存儲類型獲得對應存儲設備的讀取速度,同時考慮數(shù)據(jù)存儲的位置,以完成任務優(yōu)先級的計算[9]。

    充分利用具有較高讀寫速度的緩存能夠縮短數(shù)據(jù)的讀寫時間,加快用戶作業(yè)的完成。文獻[10]描述了針對數(shù)據(jù)密集型任務的并行調(diào)度算法。該算法在考慮數(shù)據(jù)本地性、相關性和負載均衡的條件下,最小化任務的完成時間。此文獻對數(shù)據(jù)密集型負載進行了分析,但沒有討論其他類型負載的情況。

    啟發(fā)式算法是解決調(diào)度問題的常用算法,Yu等提出使用野草算法(invasive weed optimization,IWO)完成異構(gòu)集群中的任務調(diào)度,目標是最小化任務的完成時間。其中,IWO用于為每一個子作業(yè)分配優(yōu)先級,最早完成時間 (earliest finish time,EFT)算法則為子作業(yè)分配最優(yōu)的運行節(jié)點[11]。

    由于資源分配問題的復雜性,越來越多的研究采用了機器學習的方法。文獻[12]討論了包含CPU-GPU的異構(gòu)集群中多個任務共用GPU的任務調(diào)度問題?;贕PU上任務的細粒度劃分和任務間的關系,作者提出了基于深度強化學習和神經(jīng)協(xié)同過濾的兩階段任務調(diào)度方法,給各任務分配最合適的節(jié)點[12]。

    Hu 等在研究中發(fā)現(xiàn),為用戶作業(yè)分配過多的資源不但會增加資源間的通信開銷,使得作業(yè)的完成時間 (job completion time,JCT) 不降反增,而且還造成其他作業(yè)無法獲得足夠資源[13]。為了解決資源過度分配問題,首先利用深度神經(jīng)網(wǎng)絡(deep neural network,DNN) 尋找每個作業(yè)的最優(yōu)集群配置;在獲得作業(yè)最優(yōu)配置后,使用短作業(yè)優(yōu)化算法為作業(yè)預分配集群資源;之后使用啟發(fā)式算法以平衡多個作業(yè)之間的資源分配,從而達到批作業(yè)完成時間最短的優(yōu)化目標。

    Spark默認資源調(diào)度方法沒有充分考慮計算資源和網(wǎng)絡資源之間的均衡。如果集群用于處理網(wǎng)絡密集型作業(yè),則可能需要在節(jié)點間傳輸大量的數(shù)據(jù),從而導致集群性能下降。針對該問題,Du等提出了一種任務完成時間感知的作業(yè)調(diào)度優(yōu)化方法[14]。該算法首先進行任務完成時間的預測。再利用得到的任務執(zhí)行時間,從非本地任務調(diào)度和網(wǎng)絡的傳輸時間兩方面進行優(yōu)化。

    目前常用的集群資源分配算法沒有綜合考慮節(jié)點的實時性能和待運行作業(yè)的特點,使得一些節(jié)點的性能優(yōu)勢無法完全發(fā)揮,而部分作業(yè)的執(zhí)行時間也沒有達到最優(yōu)。下面以WordCount負載分別運行于配置不同的三個節(jié)點為例說明上述問題。節(jié)點配置如表1所示。

    表1 WordCount運行時間對比實驗配置

    節(jié)點1和節(jié)點2的區(qū)別在于磁盤的性能,節(jié)點2的I/O性能優(yōu)于節(jié)點1。節(jié)點2和節(jié)點3的CPU速度不同,節(jié)點2的CPU性能更好。眾所周知,WordCount負載對于節(jié)點的CPU性能較為敏感。對比相同的WordCount負載在3個節(jié)點的執(zhí)行時間,可以清楚地看出節(jié)點3的運行時間比節(jié)點2的長了72.11%,主要原因就是節(jié)點3的CPU性能較差。而WordCount在節(jié)點1和2的運行時間僅有2%的差別,也說明了WordCount對節(jié)點的I/O性能不敏感。因此為用戶作業(yè)選擇適合其特點的節(jié)點非常有必要。

    目前考慮節(jié)點與作業(yè)類型匹配的研究不是很多。文獻[15]考慮了節(jié)點的任務執(zhí)行特點,使用作業(yè)和節(jié)點的匹配差異程度作為資源分配的依據(jù)。該文中:作業(yè)的類型由用戶提供,分為計算密集型和內(nèi)存密集型。節(jié)點的負載由其CPU分量、內(nèi)存分量和系統(tǒng)其他分量表示。資源分配的基本思想是將CPU利用率低、內(nèi)存利用率高的節(jié)點分配給計算密集型作業(yè);將內(nèi)存利用率低的節(jié)點分配給計算密集型作業(yè)。使用該算法時,若是用戶對作業(yè)不夠了解,則其指定的作業(yè)類型會不準確。另外,節(jié)點負載的影響分量考慮得不是非常全面。它主要考慮的是CPU分量、內(nèi)存分量,其他如磁盤容量等統(tǒng)一歸屬于其他分量,因而不能對除了CPU和內(nèi)存以外的分量進行更為有效的處理。

    本文提出的節(jié)點實時性能自適應的集群資源分配算法(node real-time performance adaptive cluster resource scheduling algorithm,NPARSA) 旨在綜合考慮節(jié)點的實時處理性能優(yōu)先級和用戶作業(yè)的特點,為作業(yè)分配最適合的節(jié)點,從而縮短作業(yè)運行時間,提升集群的性能。

    1 節(jié)點性能評價及資源調(diào)度算法

    NPARSA根據(jù)用戶作業(yè)的類型自適應地進行節(jié)點優(yōu)先級評價指標權值的選擇,從而計算出各個節(jié)點處理此作業(yè)的性能優(yōu)先級。

    1.1 用戶作業(yè)類型的判定

    CPU密集型作業(yè)和內(nèi)存密集型作業(yè)是常見類型的用戶作業(yè),它們對于集群有著不同的資源需求。作業(yè)的類型可以使用運行作業(yè)需要的CPU核數(shù)和內(nèi)存數(shù)量進行判定,式(1) 給出了作業(yè)類型的判定方法。

    (1)

    作業(yè)的類型使用變量J進行判定。Mr是用戶要求為作業(yè)提供的內(nèi)存數(shù)量,而用戶要求提供給作業(yè)的CPU核數(shù)用變量Cr表示。為了選擇合理的J閾值以區(qū)分作業(yè)類型,本文進行了大量的實驗。實驗分別使用Spark默認調(diào)度算法和NPARSA運行相同的作業(yè),計算出在不同J閾值下NPARSA能夠產(chǎn)生的系統(tǒng)性能提升百分比,實驗結(jié)果見表2。

    表2 不同J閾值下集群性能提升效果

    對表2進行分析發(fā)現(xiàn),當J閾值為1.1時,NPARSA能夠得到最好的效果。因此,將作業(yè)類型J的閾值定為1.1。當一個作業(yè)的J值大于1.1時,判定該作業(yè)為內(nèi)存密集型,否則判定為CPU密集型作業(yè)。NPARSA將根據(jù)作業(yè)的類型自適應地選擇節(jié)點優(yōu)先級計算時需要的權值。

    1.2 節(jié)點性能優(yōu)先級的評價

    異構(gòu)集群中的節(jié)點性能差別較大,有些節(jié)點適合處理CPU密集型作業(yè),有些則適合運行內(nèi)存密集型作業(yè)。因此根據(jù)當前作業(yè)的類型自適應地分析節(jié)點性能很有必要。

    節(jié)點性能P由其靜態(tài)性能指標和動態(tài)性能指標表示,可以使用式 (2) 計算得到。

    P=αS+βD

    (2)

    式中:S表示節(jié)點的靜態(tài)性能指標;D表示節(jié)點的動態(tài)性能指標;α和β為對應的權值,且α+β=1。

    S=α1Cs+α2Ms+α3Sts+α4Sps

    (3)

    D=β1Cd+β2Md+β3Spd+β4Std

    (4)

    其中:節(jié)點靜態(tài)和動態(tài)性能各評價指標的權值α1+α2+α3+α4=1,β1+β2+β3+β4=1。

    1.3 節(jié)點性能優(yōu)先級影響因素權值的計算

    層次分析法 (analytic hierarchy process,AHP) 是將定量分析和定性分析結(jié)合的方法,常用于權值計算。使用AHP確定影響節(jié)點性能優(yōu)先級各因素的權值,圖1給出了節(jié)點性能優(yōu)先級評價指標體系的層次結(jié)構(gòu)模型。請專家針對CPU密集型和內(nèi)存密集型作業(yè)的特點,分別對各影響因素進行評分。這樣,NPARSA就能夠根據(jù)當前需要處理作業(yè)的類型自適應地進行節(jié)點實時性能優(yōu)先級的計算。

    圖1 節(jié)點性能優(yōu)先級評價指標體系層次結(jié)構(gòu)模型Fig.1 Hierarchical structure model for the node performance evaluation index system

    1.3.1 針對CPU密集型作業(yè)

    經(jīng)專家打分,靜態(tài)因素的四個影響因素的判斷矩陣是:

    靜態(tài)因素權值向量W=[0.113,0.641,0.073,0.173]T,計算得到對應的一致性比率(consistency ratio, CR)的取值為 0.017,通過一致性檢驗。因此各個靜態(tài)因素的權值如下:CPU核數(shù)為0.173、內(nèi)存大小為0.641、磁盤容量為0.113、CPU速度為0.073。

    動態(tài)因素的四個影響因素經(jīng)專家打分,得到的判斷矩陣為:

    動態(tài)因素權值向量W=[0.344,0.422,0.156,0.078]T,計算得到CR為0.008,也通過一致性檢驗。則各個動態(tài)因素的權值如下:CPU剩余率為0.422、內(nèi)存剩余率為0.344、磁盤讀寫速度為0.156、磁盤剩余率為0.078。

    [5]李俊林:《建立高校高層次人才跟蹤服務管理機制的研究》,《河北工業(yè)大學學報》(社會科學版)2011年第2期。

    式(2)中的靜態(tài)性能指標和動態(tài)性能指標對應的判斷矩陣為:

    因此α=0.5,β=0.5。

    1.3.2 針對內(nèi)存密集型作業(yè)

    經(jīng)專家打分,靜態(tài)因素的四個影響因素的判斷矩陣是:

    靜態(tài)因素權值向量W=[0.138,0.513,0.275,0.074]T, CR為0.003 9,通過一致性檢驗。各個靜態(tài)因素的權值如下:CPU核數(shù)為0.138、內(nèi)存大小為0.513、磁盤容量為0.275、CPU速度為0.074。

    動態(tài)因素的四個影響因素經(jīng)專家打分,構(gòu)造出的判斷矩陣為:

    動態(tài)因素權值向量W=[0.110,0.442,0.262,0.186]T,CR值為0.023,通過一致性檢驗。各個動態(tài)因素的權值如下:CPU剩余率為0.110、內(nèi)存剩余率為0.442、磁盤讀寫速度為0.262、磁盤剩余率為0.186。

    α,β取值與CPU密集型作業(yè)的計算方法相同,均為0.5。

    當需要處理的用戶作業(yè)為CPU密集型時,NPARSA使用1.3.1節(jié)給出的動靜態(tài)因素對應的權值;而當需要處理的用戶作業(yè)為內(nèi)存密集型時,NPARSA則會自適應地選擇1.3.2節(jié)給出的動靜態(tài)因素對應的權值。

    1.4 算法描述

    NPARSA運行于Spark系統(tǒng)中的Master節(jié)點。各個worker節(jié)點實時采集自身的狀態(tài)信息,Master則利用Spark的心跳機制進行信息的收集,完成各節(jié)點實時優(yōu)先級的計算。算法1給出了NPARSA的實現(xiàn)。

    算法1 節(jié)點性能自適應的資源調(diào)度算法

    2 虛擬機實驗

    首先在虛擬機上運行NPARSA,以考察其有效性。

    2.1 實驗環(huán)境和數(shù)據(jù)集

    實驗中共使用四個虛擬機節(jié)點,分別作為Spark系統(tǒng)中的主節(jié)點和從節(jié)點,節(jié)點配置見表3。

    為了構(gòu)建異構(gòu)環(huán)境,各節(jié)點的內(nèi)存容量、CPU核數(shù)或磁盤的讀寫速度有所不同。其中主節(jié)點的內(nèi)存較大;從節(jié)點2的CPU僅有1核。為了使節(jié)點的I/O性能有一定的差異,從節(jié)點3的存儲采用了HDD,而其他節(jié)點硬盤為SSD。

    本文采用的實驗數(shù)據(jù)來源于BigDataBench[16],選用了WordCount、Sort、K-means和PageRank四種常用的CPU密集型和內(nèi)存密集型負載。

    2.2 實驗結(jié)果及分析

    2.2.1 單作業(yè)實驗

    本實驗的工作負載為WordCount、Sort、K-means和PageRank。其中WordCount、K-means和PageRank要求CPU核數(shù)為4,內(nèi)存為4 GB,屬于CPU密集型負載;Sort要求CPU核數(shù)為4,內(nèi)存為8 GB,是內(nèi)存密集型負載。

    WordCount和Sort實驗中,Spark的資源調(diào)度算法分別使用Spark默認調(diào)度算法、SDASA[6]、文獻[15]描述的算法(為方便描述,稱為Difference算法)和NPARSA。實驗結(jié)果如圖2和圖3所示。

    圖2 WordCount作業(yè)完成時間比較Fig.2 Comparison of the completion time of WordCount

    圖3 Sort作業(yè)完成時間比較Fig.3 Comparison of the completion time of Sort

    從圖2可以看出,與Spark默認調(diào)度算法相比,NPARSA將WordCount作業(yè)時間平均縮短了8.33%。與NPARSA動態(tài)調(diào)整節(jié)點優(yōu)先級相同,SDASA也是結(jié)合節(jié)點的資源狀態(tài),實時調(diào)整集群中各個節(jié)點的優(yōu)先級,但是SDASA沒有考慮用戶作業(yè)類型。與SDASA相比,NPARSA將系統(tǒng)性能平均提升了3.45%。與Difference算法進行對比,當WordCount數(shù)據(jù)量為2 GB時,NPARSA性能略低于Difference算法。但隨著數(shù)據(jù)量的增加,NPARSA有著更優(yōu)的表現(xiàn),系統(tǒng)性能平均提升0.51%。

    從圖3可以看出,當運行Sort作業(yè)時,NPARSA的表現(xiàn)優(yōu)于所有的對比算法。與Spark默認算法、SDASA和Difference算法相比,使用NPARSA的作業(yè)執(zhí)行時間平均縮短了9.87%、4.88%和6.22%。

    針對K-means和PageRank負載,實驗分別在使用Spark默認調(diào)度算法、SDASA和NPARSA的Spark集群中運行。K-means負載的實驗結(jié)果如圖4所示。

    圖4 K-means作業(yè)完成時間比較Fig.4 Comparison of the completion time of K-means

    從圖4可以看出,執(zhí)行K-means作業(yè)時,與Spark默認算法相比,NPARSA將作業(yè)的執(zhí)行效率平均提升13.95%;和SDASA相比,平均提升7.85%。

    圖5給出了對PageRank負載進行的實驗結(jié)果。實驗中數(shù)據(jù)集的Page數(shù)目分別為260、270、280、290和2100。實驗結(jié)果表明,相對于Spark默認算法和SDASA,NPARSA完成作業(yè)的時間平均縮短了17.46%和6.75%。

    圖5 PageRank作業(yè)完成時間比較Fig.5 Comparison of the completion time of PageRank

    從圖2~5不難看出,無論是運行WordCount、K-means、PageRank這樣的CPU密集型作業(yè),還是Sort這類內(nèi)存密集型作業(yè),NPARSA的表現(xiàn)都較為優(yōu)秀。并且隨著作業(yè)數(shù)據(jù)量的增大,使用NPARSA能夠更加有效地縮短作業(yè)的執(zhí)行時間,提升集群效率。

    2.2.2 多作業(yè)并行實驗

    為考察當多個作業(yè)并行運算時NPARSA的性能,進行了WordCount和Sort兩類任務的并行運行實驗,圖6給出了實驗結(jié)果。

    圖6 并行運行的作業(yè)執(zhí)行時間對比Fig.6 Completion time comparison for parallel jobs

    可以看到,當多個負載并行執(zhí)行時,與Spark默認調(diào)度算法相比,NPARSA將作業(yè)的平均執(zhí)行時間縮短了10.84%;與Difference算法相比,作業(yè)平均執(zhí)行時間也減少了1.74%。

    從上述實驗結(jié)果可以看出,因為節(jié)點的實時性能是根據(jù)所要處理作業(yè)的類型計算的,NPARSA能夠給每個作業(yè)分配合適的集群資源,從而提高了集群的性能,縮短了作業(yè)的完成時間。

    2.2.3 不同節(jié)點數(shù)目實驗

    為了測試集群中節(jié)點的數(shù)目對于NPARSA性能的影響,本節(jié)修改了虛擬機實驗中的節(jié)點數(shù)目,刪除了原四節(jié)點集群中的Slave1,構(gòu)建的新集群中僅包含三個節(jié)點。在此三節(jié)點集群上使用2.2.1節(jié)描述的方式運行PageRank,得到的實驗結(jié)果如圖7所示。

    圖7 三節(jié)點集群中PageRank作業(yè)完成時間比較Fig.7 Comparison of the completion time of PageRank in the cluster with 3 nodes

    通過分析計算,在三節(jié)點集群中,NPARSA完成PageRank作業(yè)的時間比Spark默認算法和SDASA平均縮短11.71%和4.28%。在四節(jié)點集群中,完成同樣數(shù)量的PageRank作業(yè),NPARSA完成作業(yè)的時間比Spark默認算法和SDASA平均縮短17.46%和6.75%。因此可以看出,隨著集群中節(jié)點數(shù)目的增加,NPARSA的優(yōu)勢可以得到更好的體現(xiàn)。

    3 小規(guī)模物理集群實驗

    為了避免虛擬機實驗的偏差,進一步驗證NPARSA的有效性,搭建了一個小規(guī)模的物理集群,完成了PageRank負載的對比實驗。集群中有三個節(jié)點,其中一個是主節(jié)點,兩個從節(jié)點,節(jié)點的配置如表4所示。為了使集群具有異構(gòu)性,三個節(jié)點在CPU速度、核數(shù)、內(nèi)存大小和磁盤讀寫速度上配置不同。

    表4 物理集群實驗節(jié)點配置

    實驗中PageRank的Page數(shù)目分別為260、270、280、290、2100和2110。實驗運行7次,取各次運行結(jié)果的平均值作為實驗結(jié)果,如圖8所示。從圖8中可以看出,在物理集群實驗中,NPARSA仍能比Spark默認調(diào)度算法和SDASA有更為良好的表現(xiàn),其完成PageRank作業(yè)的平均時間比Spark默認算法減少了37.39%,比SDASA減少了11.93%。

    圖8 物理集群中PageRank作業(yè)完成時間比較Fig.8 Comparison of the completion time of PageRank running in a physical cluster

    4 結(jié)論

    為了給每一個用戶作業(yè)分配最適合其特點的節(jié)點,本文提出了NPARSA。NPARSA在計算節(jié)點的實時優(yōu)先級時,會根據(jù)當前作業(yè)的類型自適應地選擇節(jié)點優(yōu)先級評價體系中各指標的權值。虛擬機實驗和小規(guī)模的物理集群實驗結(jié)果均表明,與Spark默認調(diào)度算法、SDASA和Difference算法相比,NPARSA能夠減少用戶作業(yè)的執(zhí)行時間。

    為了進一步優(yōu)化NPARSA并驗證其有效性,后續(xù)的研究內(nèi)容包括:

    1) 采用深度學習的方法對更多種用戶作業(yè)的類型,如I/O密集型、網(wǎng)絡密集型等進行準確判斷,從而使算法可以更好地為更多類型的作業(yè)進行有效的資源分配。

    2)增加節(jié)點靜態(tài)和動態(tài)資源影響因素,如CPU的最大頻率、內(nèi)存的帶寬等,以便更加全面準確地衡量節(jié)點的實時性能。

    3) 在大規(guī)模的物理集群上進行實驗,進一步驗證算法的可擴展性。

    猜你喜歡
    密集型權值內(nèi)存
    一種融合時間權值和用戶行為序列的電影推薦模型
    壓痛點密集型銀質(zhì)針溫針灸治療肱骨外上髁炎的臨床觀察
    CONTENTS
    “春夏秋冬”的內(nèi)存
    當代陜西(2019年13期)2019-08-20 03:54:22
    密集型快速冷卻技術在熱軋帶鋼生產(chǎn)線的應用
    山東冶金(2019年3期)2019-07-10 00:53:56
    密集型自動化立體倉庫解析
    基于權值動量的RBM加速學習算法研究
    自動化學報(2017年7期)2017-04-18 13:41:02
    知識密集型組織的商業(yè)模式創(chuàng)新策略——以網(wǎng)絡教育組織為例
    基于內(nèi)存的地理信息訪問技術
    上網(wǎng)本為什么只有1GB?
    av有码第一页| 嫁个100分男人电影在线观看| 成人国语在线视频| 最黄视频免费看| 狂野欧美激情性xxxx| 自拍欧美九色日韩亚洲蝌蚪91| 午夜成年电影在线免费观看| 午夜免费鲁丝| 99精品在免费线老司机午夜| 美女国产高潮福利片在线看| 不卡av一区二区三区| 在线十欧美十亚洲十日本专区| 美女国产高潮福利片在线看| 99久久人妻综合| 少妇被粗大的猛进出69影院| 女人久久www免费人成看片| 精品人妻在线不人妻| 日本黄色日本黄色录像| 91麻豆精品激情在线观看国产 | 在线永久观看黄色视频| 黑丝袜美女国产一区| 日韩人妻精品一区2区三区| 最近最新免费中文字幕在线| 最新在线观看一区二区三区| 久久热在线av| 女性被躁到高潮视频| 国产一区二区三区视频了| 狠狠精品人妻久久久久久综合| 一个人免费看片子| 黄色视频不卡| 性色av乱码一区二区三区2| 中文字幕另类日韩欧美亚洲嫩草| 69精品国产乱码久久久| 久久国产精品人妻蜜桃| 国产精品国产高清国产av | 亚洲色图综合在线观看| 亚洲欧美精品综合一区二区三区| 丝袜喷水一区| 国产三级黄色录像| 男女午夜视频在线观看| 欧美变态另类bdsm刘玥| 精品少妇黑人巨大在线播放| 亚洲欧美一区二区三区黑人| 中文字幕人妻熟女乱码| 亚洲欧洲精品一区二区精品久久久| 窝窝影院91人妻| 成年人午夜在线观看视频| 丝袜在线中文字幕| 两个人免费观看高清视频| 亚洲av日韩精品久久久久久密| av网站免费在线观看视频| 欧美日韩福利视频一区二区| 精品第一国产精品| 麻豆成人av在线观看| 乱人伦中国视频| 国产不卡av网站在线观看| 免费高清在线观看日韩| 日韩大码丰满熟妇| 精品久久蜜臀av无| 啦啦啦视频在线资源免费观看| 欧美精品亚洲一区二区| 啦啦啦免费观看视频1| 捣出白浆h1v1| 汤姆久久久久久久影院中文字幕| 国产区一区二久久| 国产av国产精品国产| 夜夜骑夜夜射夜夜干| 动漫黄色视频在线观看| 国产亚洲av高清不卡| 亚洲专区字幕在线| 久久精品亚洲精品国产色婷小说| 国产99久久九九免费精品| 国产免费视频播放在线视频| 亚洲成人免费电影在线观看| 美女视频免费永久观看网站| 亚洲国产看品久久| 黑丝袜美女国产一区| 男人操女人黄网站| 国产男女内射视频| 免费在线观看视频国产中文字幕亚洲| 大型黄色视频在线免费观看| 99国产精品免费福利视频| 国产三级黄色录像| 久久精品国产亚洲av高清一级| 国产欧美日韩综合在线一区二区| 日本av手机在线免费观看| 亚洲色图av天堂| 伊人久久大香线蕉亚洲五| 在线永久观看黄色视频| 麻豆av在线久日| 老司机午夜十八禁免费视频| 少妇猛男粗大的猛烈进出视频| a级毛片黄视频| 12—13女人毛片做爰片一| 一区二区日韩欧美中文字幕| 精品免费久久久久久久清纯 | 在线永久观看黄色视频| 久久久久久久精品吃奶| av网站在线播放免费| 国产免费视频播放在线视频| 天天躁夜夜躁狠狠躁躁| 久久久国产精品麻豆| 在线观看免费日韩欧美大片| 国产人伦9x9x在线观看| 黑人巨大精品欧美一区二区mp4| 亚洲成人免费av在线播放| 国产午夜精品久久久久久| 久久免费观看电影| 欧美一级毛片孕妇| 五月天丁香电影| 十八禁高潮呻吟视频| 天堂动漫精品| 青草久久国产| 国产日韩一区二区三区精品不卡| 99国产精品99久久久久| 黄网站色视频无遮挡免费观看| 亚洲第一av免费看| 久久中文字幕一级| 18禁黄网站禁片午夜丰满| 久久热在线av| 国产精品一区二区免费欧美| 精品福利观看| 在线观看www视频免费| 啦啦啦免费观看视频1| 国产午夜精品久久久久久| 久久精品亚洲av国产电影网| 啦啦啦视频在线资源免费观看| 韩国精品一区二区三区| 少妇裸体淫交视频免费看高清 | 动漫黄色视频在线观看| 美女高潮喷水抽搐中文字幕| 欧美日韩成人在线一区二区| 操美女的视频在线观看| 香蕉久久夜色| 蜜桃国产av成人99| 亚洲男人天堂网一区| 国产精品 国内视频| 老鸭窝网址在线观看| 国产av国产精品国产| 两个人看的免费小视频| 咕卡用的链子| 久久国产亚洲av麻豆专区| 亚洲 欧美一区二区三区| 国产精品国产高清国产av | 怎么达到女性高潮| 欧美精品av麻豆av| 美女国产高潮福利片在线看| 亚洲欧美色中文字幕在线| 激情视频va一区二区三区| 成人国产一区最新在线观看| 亚洲人成77777在线视频| a在线观看视频网站| 亚洲欧洲日产国产| 777久久人妻少妇嫩草av网站| 女人高潮潮喷娇喘18禁视频| 少妇裸体淫交视频免费看高清 | 在线播放国产精品三级| 一二三四在线观看免费中文在| 久久国产精品男人的天堂亚洲| 成在线人永久免费视频| 操美女的视频在线观看| 亚洲欧美精品综合一区二区三区| 十八禁网站免费在线| 99久久国产精品久久久| 超碰成人久久| 国产又爽黄色视频| 男女免费视频国产| 午夜成年电影在线免费观看| 黑人巨大精品欧美一区二区mp4| 国产av一区二区精品久久| 国产在线视频一区二区| 精品国产乱码久久久久久男人| 久久久久久久精品吃奶| 天堂8中文在线网| 12—13女人毛片做爰片一| 99精国产麻豆久久婷婷| av网站在线播放免费| 欧美激情久久久久久爽电影 | 丝袜喷水一区| 男女床上黄色一级片免费看| 欧美日韩福利视频一区二区| 狂野欧美激情性xxxx| 精品欧美一区二区三区在线| 中文字幕av电影在线播放| 不卡一级毛片| 国产亚洲欧美在线一区二区| 精品国产一区二区久久| 精品国产国语对白av| 在线亚洲精品国产二区图片欧美| 19禁男女啪啪无遮挡网站| 久9热在线精品视频| 中文字幕最新亚洲高清| 精品亚洲成a人片在线观看| 免费观看av网站的网址| 亚洲avbb在线观看| 久久国产亚洲av麻豆专区| 中文字幕制服av| 国产亚洲欧美在线一区二区| 久久精品国产99精品国产亚洲性色 | 999久久久精品免费观看国产| 欧美午夜高清在线| 免费看十八禁软件| 色视频在线一区二区三区| 精品国产亚洲在线| 欧美激情极品国产一区二区三区| 国产熟女午夜一区二区三区| 国产成+人综合+亚洲专区| 女人高潮潮喷娇喘18禁视频| 99国产综合亚洲精品| 一本色道久久久久久精品综合| 咕卡用的链子| 两个人免费观看高清视频| 丝袜人妻中文字幕| 午夜免费鲁丝| 久久久久久久国产电影| 叶爱在线成人免费视频播放| 少妇的丰满在线观看| 欧美国产精品va在线观看不卡| 久久国产精品男人的天堂亚洲| 99国产精品一区二区蜜桃av | 久久久久久久久久久久大奶| 国产aⅴ精品一区二区三区波| 亚洲三区欧美一区| 国产免费现黄频在线看| 久久久国产一区二区| 午夜日韩欧美国产| 国产精品香港三级国产av潘金莲| 日韩人妻精品一区2区三区| 国产日韩一区二区三区精品不卡| 女人被躁到高潮嗷嗷叫费观| 免费观看人在逋| 十分钟在线观看高清视频www| 我要看黄色一级片免费的| 久久狼人影院| 亚洲一区二区三区欧美精品| 亚洲精品国产一区二区精华液| 少妇 在线观看| 欧美老熟妇乱子伦牲交| 成人黄色视频免费在线看| 免费一级毛片在线播放高清视频 | 精品福利永久在线观看| 亚洲精品国产一区二区精华液| 国产精品免费视频内射| 搡老岳熟女国产| 国产免费现黄频在线看| 精品午夜福利视频在线观看一区 | 国产欧美日韩一区二区三| 日韩大码丰满熟妇| 2018国产大陆天天弄谢| 王馨瑶露胸无遮挡在线观看| 亚洲国产毛片av蜜桃av| 纵有疾风起免费观看全集完整版| 成人18禁在线播放| 老熟妇仑乱视频hdxx| 久久久水蜜桃国产精品网| 国产一区二区在线观看av| 高清欧美精品videossex| 国产淫语在线视频| 国产色视频综合| 国产av国产精品国产| 国产在线一区二区三区精| 免费女性裸体啪啪无遮挡网站| 午夜激情久久久久久久| 国产亚洲av高清不卡| 久久久水蜜桃国产精品网| 精品久久久久久电影网| 女性被躁到高潮视频| 热99久久久久精品小说推荐| 久久亚洲真实| 久久久久精品国产欧美久久久| 美女视频免费永久观看网站| 国产精品自产拍在线观看55亚洲 | 亚洲欧洲日产国产| 天天躁夜夜躁狠狠躁躁| 一级片免费观看大全| 淫妇啪啪啪对白视频| 国产精品影院久久| 男女下面插进去视频免费观看| 久久热在线av| 亚洲精品成人av观看孕妇| 精品一品国产午夜福利视频| 亚洲成av片中文字幕在线观看| 麻豆av在线久日| 18禁黄网站禁片午夜丰满| 久久午夜综合久久蜜桃| 在线十欧美十亚洲十日本专区| 亚洲少妇的诱惑av| 男女床上黄色一级片免费看| 在线看a的网站| 久久这里只有精品19| 国产片内射在线| 成年人午夜在线观看视频| 韩国精品一区二区三区| 80岁老熟妇乱子伦牲交| 久久人妻福利社区极品人妻图片| 国产黄色免费在线视频| 性少妇av在线| 正在播放国产对白刺激| 又黄又粗又硬又大视频| 亚洲va日本ⅴa欧美va伊人久久| 午夜精品国产一区二区电影| 欧美午夜高清在线| 免费女性裸体啪啪无遮挡网站| 国产国语露脸激情在线看| 美女福利国产在线| 午夜福利视频在线观看免费| 满18在线观看网站| 欧美精品av麻豆av| 精品亚洲成a人片在线观看| 操出白浆在线播放| 成人av一区二区三区在线看| 男人操女人黄网站| 老司机靠b影院| 最近最新免费中文字幕在线| 国产精品免费视频内射| 日本a在线网址| 香蕉久久夜色| 大陆偷拍与自拍| 亚洲色图综合在线观看| 国产欧美日韩一区二区三| 精品国产乱码久久久久久小说| av电影中文网址| 精品乱码久久久久久99久播| 欧美黄色淫秽网站| 黄色成人免费大全| 国产男女超爽视频在线观看| 人成视频在线观看免费观看| 日日摸夜夜添夜夜添小说| 啦啦啦免费观看视频1| 香蕉国产在线看| 黄片播放在线免费| 久久天堂一区二区三区四区| 亚洲avbb在线观看| tube8黄色片| 日本wwww免费看| 自拍欧美九色日韩亚洲蝌蚪91| 黑人操中国人逼视频| avwww免费| 天天操日日干夜夜撸| 国产成人影院久久av| 精品国产国语对白av| 欧美av亚洲av综合av国产av| 丝袜人妻中文字幕| 精品国内亚洲2022精品成人 | 在线看a的网站| 亚洲精品久久午夜乱码| 两个人免费观看高清视频| 国产成人一区二区三区免费视频网站| 午夜两性在线视频| 国内毛片毛片毛片毛片毛片| 午夜免费鲁丝| 午夜福利乱码中文字幕| 99精品久久久久人妻精品| 99九九在线精品视频| 国产一卡二卡三卡精品| 99热网站在线观看| av片东京热男人的天堂| 亚洲成人手机| 新久久久久国产一级毛片| 欧美激情 高清一区二区三区| 十八禁网站免费在线| 亚洲成国产人片在线观看| 国产成人啪精品午夜网站| 丝瓜视频免费看黄片| 欧美激情极品国产一区二区三区| 成年人黄色毛片网站| 成人永久免费在线观看视频 | 精品国产一区二区三区四区第35| tocl精华| 久久ye,这里只有精品| 99久久人妻综合| a在线观看视频网站| 欧美乱码精品一区二区三区| 国产亚洲精品第一综合不卡| 成人黄色视频免费在线看| 亚洲成a人片在线一区二区| 我的亚洲天堂| 一边摸一边做爽爽视频免费| 极品教师在线免费播放| 我的亚洲天堂| av欧美777| 亚洲精品自拍成人| 久久精品亚洲精品国产色婷小说| 十八禁网站网址无遮挡| 可以免费在线观看a视频的电影网站| 国产日韩欧美视频二区| 成人亚洲精品一区在线观看| 久久ye,这里只有精品| 99国产极品粉嫩在线观看| 国产色视频综合| 欧美国产精品va在线观看不卡| 五月开心婷婷网| 免费av中文字幕在线| 亚洲少妇的诱惑av| 18禁美女被吸乳视频| 国产精品电影一区二区三区 | 97人妻天天添夜夜摸| 久久精品人人爽人人爽视色| 精品第一国产精品| 日韩免费av在线播放| 国产午夜精品久久久久久| 91大片在线观看| 久久精品亚洲av国产电影网| 成人永久免费在线观看视频 | 交换朋友夫妻互换小说| 久9热在线精品视频| 国产精品99久久99久久久不卡| 99精国产麻豆久久婷婷| 精品高清国产在线一区| 国产亚洲精品第一综合不卡| 精品一品国产午夜福利视频| 999久久久国产精品视频| 日本黄色日本黄色录像| 亚洲五月婷婷丁香| 成人手机av| 亚洲精品中文字幕一二三四区 | 波多野结衣一区麻豆| 中文字幕av电影在线播放| 999久久久国产精品视频| 12—13女人毛片做爰片一| 80岁老熟妇乱子伦牲交| 欧美激情极品国产一区二区三区| 国产欧美日韩综合在线一区二区| 色播在线永久视频| 国产精品1区2区在线观看. | 怎么达到女性高潮| 韩国精品一区二区三区| 亚洲欧美一区二区三区黑人| 夫妻午夜视频| 成年人午夜在线观看视频| h视频一区二区三区| 久久天躁狠狠躁夜夜2o2o| 亚洲国产欧美在线一区| 国产精品久久电影中文字幕 | 18禁裸乳无遮挡动漫免费视频| 亚洲精品久久午夜乱码| 亚洲专区国产一区二区| 久热这里只有精品99| 老司机午夜福利在线观看视频 | 青草久久国产| 激情在线观看视频在线高清 | 亚洲av成人不卡在线观看播放网| 久久中文字幕一级| a级毛片黄视频| 成人亚洲精品一区在线观看| 国产成+人综合+亚洲专区| 亚洲av日韩精品久久久久久密| 亚洲情色 制服丝袜| 亚洲中文av在线| 久久人妻av系列| 国产成人系列免费观看| 黄色丝袜av网址大全| 日韩精品免费视频一区二区三区| 亚洲第一欧美日韩一区二区三区 | 十八禁人妻一区二区| 黄色a级毛片大全视频| 色94色欧美一区二区| av国产精品久久久久影院| 成在线人永久免费视频| 亚洲欧美一区二区三区久久| 久久精品人人爽人人爽视色| 99国产精品一区二区三区| 91成年电影在线观看| 亚洲精品久久午夜乱码| 日韩欧美免费精品| 国产亚洲精品一区二区www | 免费在线观看黄色视频的| 久久婷婷成人综合色麻豆| 中文欧美无线码| 久久精品国产a三级三级三级| 男人操女人黄网站| 午夜福利视频在线观看免费| 一本色道久久久久久精品综合| 亚洲少妇的诱惑av| 国产精品免费大片| 国产真人三级小视频在线观看| 成年人黄色毛片网站| 日韩免费av在线播放| 制服诱惑二区| 亚洲精品在线观看二区| av片东京热男人的天堂| 久久精品国产亚洲av香蕉五月 | 亚洲黑人精品在线| 另类精品久久| 欧美日韩成人在线一区二区| 亚洲精品成人av观看孕妇| 69精品国产乱码久久久| 欧美 日韩 精品 国产| 国产区一区二久久| tube8黄色片| av天堂久久9| 欧美老熟妇乱子伦牲交| 国产高清videossex| 国产精品.久久久| 国产99久久九九免费精品| 欧美日韩亚洲综合一区二区三区_| 精品高清国产在线一区| 午夜福利一区二区在线看| 50天的宝宝边吃奶边哭怎么回事| 国产一区有黄有色的免费视频| 国产精品免费大片| 在线观看免费视频网站a站| 久久99热这里只频精品6学生| 美女高潮喷水抽搐中文字幕| 欧美大码av| 蜜桃在线观看..| 国产精品欧美亚洲77777| 啦啦啦 在线观看视频| av国产精品久久久久影院| 久久人妻熟女aⅴ| 午夜福利影视在线免费观看| 狠狠婷婷综合久久久久久88av| 国产精品1区2区在线观看. | 日本a在线网址| 国产成+人综合+亚洲专区| 久久久国产精品麻豆| 老司机在亚洲福利影院| 一级片免费观看大全| 三上悠亚av全集在线观看| 国产欧美日韩综合在线一区二区| 大型黄色视频在线免费观看| 亚洲欧洲日产国产| 亚洲精品一二三| 亚洲欧美一区二区三区久久| 成在线人永久免费视频| 精品少妇一区二区三区视频日本电影| 亚洲第一青青草原| 日韩中文字幕视频在线看片| 久久精品aⅴ一区二区三区四区| 亚洲 欧美一区二区三区| 黄色视频不卡| 日日夜夜操网爽| 90打野战视频偷拍视频| 亚洲欧美一区二区三区久久| 十八禁人妻一区二区| 不卡一级毛片| 欧美一级毛片孕妇| 亚洲国产毛片av蜜桃av| 国产日韩一区二区三区精品不卡| 老汉色av国产亚洲站长工具| 精品少妇内射三级| 国产亚洲精品久久久久5区| 午夜福利影视在线免费观看| 国产色视频综合| 丝袜在线中文字幕| 久久这里只有精品19| 波多野结衣av一区二区av| 日韩大片免费观看网站| 热99久久久久精品小说推荐| 国产99久久九九免费精品| 亚洲欧美一区二区三区黑人| 老熟妇乱子伦视频在线观看| 人成视频在线观看免费观看| 久久人人97超碰香蕉20202| 亚洲成a人片在线一区二区| 黄片小视频在线播放| 我的亚洲天堂| 国产福利在线免费观看视频| 一级a爱视频在线免费观看| 菩萨蛮人人尽说江南好唐韦庄| 精品亚洲成a人片在线观看| 少妇的丰满在线观看| 国产欧美日韩精品亚洲av| 高清av免费在线| 亚洲伊人色综图| 如日韩欧美国产精品一区二区三区| 欧美国产精品va在线观看不卡| 一本一本久久a久久精品综合妖精| 精品欧美一区二区三区在线| 亚洲专区国产一区二区| 99国产精品一区二区蜜桃av | 天堂动漫精品| 国产精品国产高清国产av | 99久久精品国产亚洲精品| 男女午夜视频在线观看| 天堂8中文在线网| 成人亚洲精品一区在线观看| 国产日韩欧美视频二区| av福利片在线| 久久久欧美国产精品| 淫妇啪啪啪对白视频| 天天操日日干夜夜撸| 欧美成人午夜精品| av又黄又爽大尺度在线免费看| 日韩欧美一区视频在线观看| 亚洲成人手机| 国产免费福利视频在线观看| 18禁观看日本| 一本色道久久久久久精品综合| 亚洲精品美女久久av网站| 99久久99久久久精品蜜桃| 又大又爽又粗| 韩国精品一区二区三区| 国产单亲对白刺激| 国产欧美亚洲国产| 搡老熟女国产l中国老女人| 国产黄频视频在线观看| 国产成人欧美| www.熟女人妻精品国产| 免费在线观看完整版高清| 久久久久网色| 日韩大码丰满熟妇| 啦啦啦免费观看视频1| 国产高清videossex| 51午夜福利影视在线观看| 亚洲五月色婷婷综合| 老司机午夜福利在线观看视频 | 91国产中文字幕| 国产在线观看jvid| 久久ye,这里只有精品| 精品免费久久久久久久清纯 | 国产亚洲精品第一综合不卡| 黄色怎么调成土黄色| 黄色视频,在线免费观看| 亚洲精品国产区一区二|