• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    節(jié)點實時性能自適應的集群資源分配算法*

    2022-12-02 04:46:52胡亞紅吳寅超朱正東
    國防科技大學學報 2022年6期
    關鍵詞:密集型權值內(nèi)存

    胡亞紅,吳寅超,朱正東

    (1. 浙江工業(yè)大學 計算機科學與技術學院(軟件學院), 浙江 杭州 310023; 2. 西安交通大學 計算機科學與技術學院, 陜西 西安 710049)

    Apache Spark是高性能的大數(shù)據(jù)處理框架,能夠高效地處理批數(shù)據(jù)和流式數(shù)據(jù)[1-3]。但Spark默認的資源分配算法僅匹配作業(yè)需求和節(jié)點的資源情況,不能夠保證為用戶作業(yè)分配到最優(yōu)資源。資源分配和作業(yè)調(diào)度屬于NP-hard問題[4],是當前的研究熱點。綜合考慮集群資源的異構(gòu)性、節(jié)點負載的實時變化和用戶作業(yè)不同特點的資源分配算法,能夠有效提高集群性能、縮短作業(yè)的完成時間。

    為了解決Spark在進行資源分配時未結(jié)合節(jié)點硬件性能的問題,Xu等提出了一個考慮集群資源屬性和作業(yè)特性的啟發(fā)式算法,能夠為作業(yè)分配到合適的資源[5]。

    胡亞紅等提出的基于節(jié)點優(yōu)先級的Spark動態(tài)自適應調(diào)度算法[6](Spark dynamic adaptive scheduling algorithm, SDASA)則是為了綜合處理集群的異構(gòu)性和節(jié)點的實時性能。該算法中,節(jié)點的性能使用優(yōu)先級來度量,節(jié)點的實時優(yōu)先級根據(jù)節(jié)點的資源使用情況等工作狀態(tài)進行動態(tài)計算。

    為保證所有作業(yè)都能夠在截止時間內(nèi)完成,文獻[7]介紹了一個考慮作業(yè)價值密度和完成時間限制的硬實時調(diào)度算法截止時間及價值密度感知(deadline and value density aware, DVDA)算法[7]。但DVDA算法沒有考慮集群中節(jié)點的實時資源使用狀況。

    針對電力供應受限的系統(tǒng),文獻[8]分析了常用基于價值的任務調(diào)度方法的不足,提出需要在不同的電力供應狀態(tài)下選擇不同的能源分配方案,并在此基礎上,提出了基于價值的能耗感知啟發(fā)式任務調(diào)度算法。

    為減少存儲設備異構(gòu)的集群中作業(yè)的執(zhí)行時間,文獻[9]提出的任務調(diào)度策略根據(jù)存儲類型獲得對應存儲設備的讀取速度,同時考慮數(shù)據(jù)存儲的位置,以完成任務優(yōu)先級的計算[9]。

    充分利用具有較高讀寫速度的緩存能夠縮短數(shù)據(jù)的讀寫時間,加快用戶作業(yè)的完成。文獻[10]描述了針對數(shù)據(jù)密集型任務的并行調(diào)度算法。該算法在考慮數(shù)據(jù)本地性、相關性和負載均衡的條件下,最小化任務的完成時間。此文獻對數(shù)據(jù)密集型負載進行了分析,但沒有討論其他類型負載的情況。

    啟發(fā)式算法是解決調(diào)度問題的常用算法,Yu等提出使用野草算法(invasive weed optimization,IWO)完成異構(gòu)集群中的任務調(diào)度,目標是最小化任務的完成時間。其中,IWO用于為每一個子作業(yè)分配優(yōu)先級,最早完成時間 (earliest finish time,EFT)算法則為子作業(yè)分配最優(yōu)的運行節(jié)點[11]。

    由于資源分配問題的復雜性,越來越多的研究采用了機器學習的方法。文獻[12]討論了包含CPU-GPU的異構(gòu)集群中多個任務共用GPU的任務調(diào)度問題?;贕PU上任務的細粒度劃分和任務間的關系,作者提出了基于深度強化學習和神經(jīng)協(xié)同過濾的兩階段任務調(diào)度方法,給各任務分配最合適的節(jié)點[12]。

    Hu 等在研究中發(fā)現(xiàn),為用戶作業(yè)分配過多的資源不但會增加資源間的通信開銷,使得作業(yè)的完成時間 (job completion time,JCT) 不降反增,而且還造成其他作業(yè)無法獲得足夠資源[13]。為了解決資源過度分配問題,首先利用深度神經(jīng)網(wǎng)絡(deep neural network,DNN) 尋找每個作業(yè)的最優(yōu)集群配置;在獲得作業(yè)最優(yōu)配置后,使用短作業(yè)優(yōu)化算法為作業(yè)預分配集群資源;之后使用啟發(fā)式算法以平衡多個作業(yè)之間的資源分配,從而達到批作業(yè)完成時間最短的優(yōu)化目標。

    Spark默認資源調(diào)度方法沒有充分考慮計算資源和網(wǎng)絡資源之間的均衡。如果集群用于處理網(wǎng)絡密集型作業(yè),則可能需要在節(jié)點間傳輸大量的數(shù)據(jù),從而導致集群性能下降。針對該問題,Du等提出了一種任務完成時間感知的作業(yè)調(diào)度優(yōu)化方法[14]。該算法首先進行任務完成時間的預測。再利用得到的任務執(zhí)行時間,從非本地任務調(diào)度和網(wǎng)絡的傳輸時間兩方面進行優(yōu)化。

    目前常用的集群資源分配算法沒有綜合考慮節(jié)點的實時性能和待運行作業(yè)的特點,使得一些節(jié)點的性能優(yōu)勢無法完全發(fā)揮,而部分作業(yè)的執(zhí)行時間也沒有達到最優(yōu)。下面以WordCount負載分別運行于配置不同的三個節(jié)點為例說明上述問題。節(jié)點配置如表1所示。

    表1 WordCount運行時間對比實驗配置

    節(jié)點1和節(jié)點2的區(qū)別在于磁盤的性能,節(jié)點2的I/O性能優(yōu)于節(jié)點1。節(jié)點2和節(jié)點3的CPU速度不同,節(jié)點2的CPU性能更好。眾所周知,WordCount負載對于節(jié)點的CPU性能較為敏感。對比相同的WordCount負載在3個節(jié)點的執(zhí)行時間,可以清楚地看出節(jié)點3的運行時間比節(jié)點2的長了72.11%,主要原因就是節(jié)點3的CPU性能較差。而WordCount在節(jié)點1和2的運行時間僅有2%的差別,也說明了WordCount對節(jié)點的I/O性能不敏感。因此為用戶作業(yè)選擇適合其特點的節(jié)點非常有必要。

    目前考慮節(jié)點與作業(yè)類型匹配的研究不是很多。文獻[15]考慮了節(jié)點的任務執(zhí)行特點,使用作業(yè)和節(jié)點的匹配差異程度作為資源分配的依據(jù)。該文中:作業(yè)的類型由用戶提供,分為計算密集型和內(nèi)存密集型。節(jié)點的負載由其CPU分量、內(nèi)存分量和系統(tǒng)其他分量表示。資源分配的基本思想是將CPU利用率低、內(nèi)存利用率高的節(jié)點分配給計算密集型作業(yè);將內(nèi)存利用率低的節(jié)點分配給計算密集型作業(yè)。使用該算法時,若是用戶對作業(yè)不夠了解,則其指定的作業(yè)類型會不準確。另外,節(jié)點負載的影響分量考慮得不是非常全面。它主要考慮的是CPU分量、內(nèi)存分量,其他如磁盤容量等統(tǒng)一歸屬于其他分量,因而不能對除了CPU和內(nèi)存以外的分量進行更為有效的處理。

    本文提出的節(jié)點實時性能自適應的集群資源分配算法(node real-time performance adaptive cluster resource scheduling algorithm,NPARSA) 旨在綜合考慮節(jié)點的實時處理性能優(yōu)先級和用戶作業(yè)的特點,為作業(yè)分配最適合的節(jié)點,從而縮短作業(yè)運行時間,提升集群的性能。

    1 節(jié)點性能評價及資源調(diào)度算法

    NPARSA根據(jù)用戶作業(yè)的類型自適應地進行節(jié)點優(yōu)先級評價指標權值的選擇,從而計算出各個節(jié)點處理此作業(yè)的性能優(yōu)先級。

    1.1 用戶作業(yè)類型的判定

    CPU密集型作業(yè)和內(nèi)存密集型作業(yè)是常見類型的用戶作業(yè),它們對于集群有著不同的資源需求。作業(yè)的類型可以使用運行作業(yè)需要的CPU核數(shù)和內(nèi)存數(shù)量進行判定,式(1) 給出了作業(yè)類型的判定方法。

    (1)

    作業(yè)的類型使用變量J進行判定。Mr是用戶要求為作業(yè)提供的內(nèi)存數(shù)量,而用戶要求提供給作業(yè)的CPU核數(shù)用變量Cr表示。為了選擇合理的J閾值以區(qū)分作業(yè)類型,本文進行了大量的實驗。實驗分別使用Spark默認調(diào)度算法和NPARSA運行相同的作業(yè),計算出在不同J閾值下NPARSA能夠產(chǎn)生的系統(tǒng)性能提升百分比,實驗結(jié)果見表2。

    表2 不同J閾值下集群性能提升效果

    對表2進行分析發(fā)現(xiàn),當J閾值為1.1時,NPARSA能夠得到最好的效果。因此,將作業(yè)類型J的閾值定為1.1。當一個作業(yè)的J值大于1.1時,判定該作業(yè)為內(nèi)存密集型,否則判定為CPU密集型作業(yè)。NPARSA將根據(jù)作業(yè)的類型自適應地選擇節(jié)點優(yōu)先級計算時需要的權值。

    1.2 節(jié)點性能優(yōu)先級的評價

    異構(gòu)集群中的節(jié)點性能差別較大,有些節(jié)點適合處理CPU密集型作業(yè),有些則適合運行內(nèi)存密集型作業(yè)。因此根據(jù)當前作業(yè)的類型自適應地分析節(jié)點性能很有必要。

    節(jié)點性能P由其靜態(tài)性能指標和動態(tài)性能指標表示,可以使用式 (2) 計算得到。

    P=αS+βD

    (2)

    式中:S表示節(jié)點的靜態(tài)性能指標;D表示節(jié)點的動態(tài)性能指標;α和β為對應的權值,且α+β=1。

    S=α1Cs+α2Ms+α3Sts+α4Sps

    (3)

    D=β1Cd+β2Md+β3Spd+β4Std

    (4)

    其中:節(jié)點靜態(tài)和動態(tài)性能各評價指標的權值α1+α2+α3+α4=1,β1+β2+β3+β4=1。

    1.3 節(jié)點性能優(yōu)先級影響因素權值的計算

    層次分析法 (analytic hierarchy process,AHP) 是將定量分析和定性分析結(jié)合的方法,常用于權值計算。使用AHP確定影響節(jié)點性能優(yōu)先級各因素的權值,圖1給出了節(jié)點性能優(yōu)先級評價指標體系的層次結(jié)構(gòu)模型。請專家針對CPU密集型和內(nèi)存密集型作業(yè)的特點,分別對各影響因素進行評分。這樣,NPARSA就能夠根據(jù)當前需要處理作業(yè)的類型自適應地進行節(jié)點實時性能優(yōu)先級的計算。

    圖1 節(jié)點性能優(yōu)先級評價指標體系層次結(jié)構(gòu)模型Fig.1 Hierarchical structure model for the node performance evaluation index system

    1.3.1 針對CPU密集型作業(yè)

    經(jīng)專家打分,靜態(tài)因素的四個影響因素的判斷矩陣是:

    靜態(tài)因素權值向量W=[0.113,0.641,0.073,0.173]T,計算得到對應的一致性比率(consistency ratio, CR)的取值為 0.017,通過一致性檢驗。因此各個靜態(tài)因素的權值如下:CPU核數(shù)為0.173、內(nèi)存大小為0.641、磁盤容量為0.113、CPU速度為0.073。

    動態(tài)因素的四個影響因素經(jīng)專家打分,得到的判斷矩陣為:

    動態(tài)因素權值向量W=[0.344,0.422,0.156,0.078]T,計算得到CR為0.008,也通過一致性檢驗。則各個動態(tài)因素的權值如下:CPU剩余率為0.422、內(nèi)存剩余率為0.344、磁盤讀寫速度為0.156、磁盤剩余率為0.078。

    [5]李俊林:《建立高校高層次人才跟蹤服務管理機制的研究》,《河北工業(yè)大學學報》(社會科學版)2011年第2期。

    式(2)中的靜態(tài)性能指標和動態(tài)性能指標對應的判斷矩陣為:

    因此α=0.5,β=0.5。

    1.3.2 針對內(nèi)存密集型作業(yè)

    經(jīng)專家打分,靜態(tài)因素的四個影響因素的判斷矩陣是:

    靜態(tài)因素權值向量W=[0.138,0.513,0.275,0.074]T, CR為0.003 9,通過一致性檢驗。各個靜態(tài)因素的權值如下:CPU核數(shù)為0.138、內(nèi)存大小為0.513、磁盤容量為0.275、CPU速度為0.074。

    動態(tài)因素的四個影響因素經(jīng)專家打分,構(gòu)造出的判斷矩陣為:

    動態(tài)因素權值向量W=[0.110,0.442,0.262,0.186]T,CR值為0.023,通過一致性檢驗。各個動態(tài)因素的權值如下:CPU剩余率為0.110、內(nèi)存剩余率為0.442、磁盤讀寫速度為0.262、磁盤剩余率為0.186。

    α,β取值與CPU密集型作業(yè)的計算方法相同,均為0.5。

    當需要處理的用戶作業(yè)為CPU密集型時,NPARSA使用1.3.1節(jié)給出的動靜態(tài)因素對應的權值;而當需要處理的用戶作業(yè)為內(nèi)存密集型時,NPARSA則會自適應地選擇1.3.2節(jié)給出的動靜態(tài)因素對應的權值。

    1.4 算法描述

    NPARSA運行于Spark系統(tǒng)中的Master節(jié)點。各個worker節(jié)點實時采集自身的狀態(tài)信息,Master則利用Spark的心跳機制進行信息的收集,完成各節(jié)點實時優(yōu)先級的計算。算法1給出了NPARSA的實現(xiàn)。

    算法1 節(jié)點性能自適應的資源調(diào)度算法

    2 虛擬機實驗

    首先在虛擬機上運行NPARSA,以考察其有效性。

    2.1 實驗環(huán)境和數(shù)據(jù)集

    實驗中共使用四個虛擬機節(jié)點,分別作為Spark系統(tǒng)中的主節(jié)點和從節(jié)點,節(jié)點配置見表3。

    為了構(gòu)建異構(gòu)環(huán)境,各節(jié)點的內(nèi)存容量、CPU核數(shù)或磁盤的讀寫速度有所不同。其中主節(jié)點的內(nèi)存較大;從節(jié)點2的CPU僅有1核。為了使節(jié)點的I/O性能有一定的差異,從節(jié)點3的存儲采用了HDD,而其他節(jié)點硬盤為SSD。

    本文采用的實驗數(shù)據(jù)來源于BigDataBench[16],選用了WordCount、Sort、K-means和PageRank四種常用的CPU密集型和內(nèi)存密集型負載。

    2.2 實驗結(jié)果及分析

    2.2.1 單作業(yè)實驗

    本實驗的工作負載為WordCount、Sort、K-means和PageRank。其中WordCount、K-means和PageRank要求CPU核數(shù)為4,內(nèi)存為4 GB,屬于CPU密集型負載;Sort要求CPU核數(shù)為4,內(nèi)存為8 GB,是內(nèi)存密集型負載。

    WordCount和Sort實驗中,Spark的資源調(diào)度算法分別使用Spark默認調(diào)度算法、SDASA[6]、文獻[15]描述的算法(為方便描述,稱為Difference算法)和NPARSA。實驗結(jié)果如圖2和圖3所示。

    圖2 WordCount作業(yè)完成時間比較Fig.2 Comparison of the completion time of WordCount

    圖3 Sort作業(yè)完成時間比較Fig.3 Comparison of the completion time of Sort

    從圖2可以看出,與Spark默認調(diào)度算法相比,NPARSA將WordCount作業(yè)時間平均縮短了8.33%。與NPARSA動態(tài)調(diào)整節(jié)點優(yōu)先級相同,SDASA也是結(jié)合節(jié)點的資源狀態(tài),實時調(diào)整集群中各個節(jié)點的優(yōu)先級,但是SDASA沒有考慮用戶作業(yè)類型。與SDASA相比,NPARSA將系統(tǒng)性能平均提升了3.45%。與Difference算法進行對比,當WordCount數(shù)據(jù)量為2 GB時,NPARSA性能略低于Difference算法。但隨著數(shù)據(jù)量的增加,NPARSA有著更優(yōu)的表現(xiàn),系統(tǒng)性能平均提升0.51%。

    從圖3可以看出,當運行Sort作業(yè)時,NPARSA的表現(xiàn)優(yōu)于所有的對比算法。與Spark默認算法、SDASA和Difference算法相比,使用NPARSA的作業(yè)執(zhí)行時間平均縮短了9.87%、4.88%和6.22%。

    針對K-means和PageRank負載,實驗分別在使用Spark默認調(diào)度算法、SDASA和NPARSA的Spark集群中運行。K-means負載的實驗結(jié)果如圖4所示。

    圖4 K-means作業(yè)完成時間比較Fig.4 Comparison of the completion time of K-means

    從圖4可以看出,執(zhí)行K-means作業(yè)時,與Spark默認算法相比,NPARSA將作業(yè)的執(zhí)行效率平均提升13.95%;和SDASA相比,平均提升7.85%。

    圖5給出了對PageRank負載進行的實驗結(jié)果。實驗中數(shù)據(jù)集的Page數(shù)目分別為260、270、280、290和2100。實驗結(jié)果表明,相對于Spark默認算法和SDASA,NPARSA完成作業(yè)的時間平均縮短了17.46%和6.75%。

    圖5 PageRank作業(yè)完成時間比較Fig.5 Comparison of the completion time of PageRank

    從圖2~5不難看出,無論是運行WordCount、K-means、PageRank這樣的CPU密集型作業(yè),還是Sort這類內(nèi)存密集型作業(yè),NPARSA的表現(xiàn)都較為優(yōu)秀。并且隨著作業(yè)數(shù)據(jù)量的增大,使用NPARSA能夠更加有效地縮短作業(yè)的執(zhí)行時間,提升集群效率。

    2.2.2 多作業(yè)并行實驗

    為考察當多個作業(yè)并行運算時NPARSA的性能,進行了WordCount和Sort兩類任務的并行運行實驗,圖6給出了實驗結(jié)果。

    圖6 并行運行的作業(yè)執(zhí)行時間對比Fig.6 Completion time comparison for parallel jobs

    可以看到,當多個負載并行執(zhí)行時,與Spark默認調(diào)度算法相比,NPARSA將作業(yè)的平均執(zhí)行時間縮短了10.84%;與Difference算法相比,作業(yè)平均執(zhí)行時間也減少了1.74%。

    從上述實驗結(jié)果可以看出,因為節(jié)點的實時性能是根據(jù)所要處理作業(yè)的類型計算的,NPARSA能夠給每個作業(yè)分配合適的集群資源,從而提高了集群的性能,縮短了作業(yè)的完成時間。

    2.2.3 不同節(jié)點數(shù)目實驗

    為了測試集群中節(jié)點的數(shù)目對于NPARSA性能的影響,本節(jié)修改了虛擬機實驗中的節(jié)點數(shù)目,刪除了原四節(jié)點集群中的Slave1,構(gòu)建的新集群中僅包含三個節(jié)點。在此三節(jié)點集群上使用2.2.1節(jié)描述的方式運行PageRank,得到的實驗結(jié)果如圖7所示。

    圖7 三節(jié)點集群中PageRank作業(yè)完成時間比較Fig.7 Comparison of the completion time of PageRank in the cluster with 3 nodes

    通過分析計算,在三節(jié)點集群中,NPARSA完成PageRank作業(yè)的時間比Spark默認算法和SDASA平均縮短11.71%和4.28%。在四節(jié)點集群中,完成同樣數(shù)量的PageRank作業(yè),NPARSA完成作業(yè)的時間比Spark默認算法和SDASA平均縮短17.46%和6.75%。因此可以看出,隨著集群中節(jié)點數(shù)目的增加,NPARSA的優(yōu)勢可以得到更好的體現(xiàn)。

    3 小規(guī)模物理集群實驗

    為了避免虛擬機實驗的偏差,進一步驗證NPARSA的有效性,搭建了一個小規(guī)模的物理集群,完成了PageRank負載的對比實驗。集群中有三個節(jié)點,其中一個是主節(jié)點,兩個從節(jié)點,節(jié)點的配置如表4所示。為了使集群具有異構(gòu)性,三個節(jié)點在CPU速度、核數(shù)、內(nèi)存大小和磁盤讀寫速度上配置不同。

    表4 物理集群實驗節(jié)點配置

    實驗中PageRank的Page數(shù)目分別為260、270、280、290、2100和2110。實驗運行7次,取各次運行結(jié)果的平均值作為實驗結(jié)果,如圖8所示。從圖8中可以看出,在物理集群實驗中,NPARSA仍能比Spark默認調(diào)度算法和SDASA有更為良好的表現(xiàn),其完成PageRank作業(yè)的平均時間比Spark默認算法減少了37.39%,比SDASA減少了11.93%。

    圖8 物理集群中PageRank作業(yè)完成時間比較Fig.8 Comparison of the completion time of PageRank running in a physical cluster

    4 結(jié)論

    為了給每一個用戶作業(yè)分配最適合其特點的節(jié)點,本文提出了NPARSA。NPARSA在計算節(jié)點的實時優(yōu)先級時,會根據(jù)當前作業(yè)的類型自適應地選擇節(jié)點優(yōu)先級評價體系中各指標的權值。虛擬機實驗和小規(guī)模的物理集群實驗結(jié)果均表明,與Spark默認調(diào)度算法、SDASA和Difference算法相比,NPARSA能夠減少用戶作業(yè)的執(zhí)行時間。

    為了進一步優(yōu)化NPARSA并驗證其有效性,后續(xù)的研究內(nèi)容包括:

    1) 采用深度學習的方法對更多種用戶作業(yè)的類型,如I/O密集型、網(wǎng)絡密集型等進行準確判斷,從而使算法可以更好地為更多類型的作業(yè)進行有效的資源分配。

    2)增加節(jié)點靜態(tài)和動態(tài)資源影響因素,如CPU的最大頻率、內(nèi)存的帶寬等,以便更加全面準確地衡量節(jié)點的實時性能。

    3) 在大規(guī)模的物理集群上進行實驗,進一步驗證算法的可擴展性。

    猜你喜歡
    密集型權值內(nèi)存
    一種融合時間權值和用戶行為序列的電影推薦模型
    壓痛點密集型銀質(zhì)針溫針灸治療肱骨外上髁炎的臨床觀察
    CONTENTS
    “春夏秋冬”的內(nèi)存
    當代陜西(2019年13期)2019-08-20 03:54:22
    密集型快速冷卻技術在熱軋帶鋼生產(chǎn)線的應用
    山東冶金(2019年3期)2019-07-10 00:53:56
    密集型自動化立體倉庫解析
    基于權值動量的RBM加速學習算法研究
    自動化學報(2017年7期)2017-04-18 13:41:02
    知識密集型組織的商業(yè)模式創(chuàng)新策略——以網(wǎng)絡教育組織為例
    基于內(nèi)存的地理信息訪問技術
    上網(wǎng)本為什么只有1GB?
    狂野欧美激情性xxxx在线观看| 亚洲精品乱码久久久久久按摩| 女人久久www免费人成看片 | 国产一级毛片在线| 国产真实乱freesex| 在线免费十八禁| av卡一久久| 国产黄片视频在线免费观看| 亚洲av熟女| 亚洲欧美中文字幕日韩二区| 蜜桃亚洲精品一区二区三区| 欧美成人精品欧美一级黄| 国产一级毛片在线| 又爽又黄a免费视频| 级片在线观看| 午夜免费男女啪啪视频观看| 国产伦理片在线播放av一区| 亚洲色图av天堂| 亚洲中文字幕一区二区三区有码在线看| 日产精品乱码卡一卡2卡三| 国产免费福利视频在线观看| ponron亚洲| 亚洲电影在线观看av| 22中文网久久字幕| 久久欧美精品欧美久久欧美| 色综合亚洲欧美另类图片| 亚洲最大成人av| av在线播放精品| 最近视频中文字幕2019在线8| 久久精品影院6| 久久久久久国产a免费观看| 免费大片18禁| 女人十人毛片免费观看3o分钟| 最后的刺客免费高清国语| 在现免费观看毛片| 国语对白做爰xxxⅹ性视频网站| 午夜福利在线观看吧| 少妇猛男粗大的猛烈进出视频 | 国产精品乱码一区二三区的特点| 亚洲天堂国产精品一区在线| 老司机福利观看| 国产黄片视频在线免费观看| 亚洲av福利一区| 国产一区二区三区av在线| 永久网站在线| 亚洲欧美日韩东京热| 亚洲av成人精品一区久久| 国产单亲对白刺激| 禁无遮挡网站| 亚洲av一区综合| 亚洲18禁久久av| 久久国产乱子免费精品| 国产精品一区二区性色av| 在线观看av片永久免费下载| 成人毛片60女人毛片免费| 日本免费在线观看一区| 人人妻人人看人人澡| 国产综合懂色| 超碰97精品在线观看| 国产老妇伦熟女老妇高清| 日韩av在线大香蕉| 九九热线精品视视频播放| 菩萨蛮人人尽说江南好唐韦庄 | 成人国产麻豆网| 午夜福利高清视频| 午夜福利高清视频| 天天躁夜夜躁狠狠久久av| 亚洲欧美日韩无卡精品| eeuss影院久久| 狂野欧美激情性xxxx在线观看| 午夜免费激情av| 国产亚洲最大av| 亚洲第一区二区三区不卡| 黄色一级大片看看| 免费人成在线观看视频色| 国产综合懂色| 国产av一区在线观看免费| 久久久久久久国产电影| 欧美3d第一页| 午夜爱爱视频在线播放| 能在线免费看毛片的网站| 亚洲欧美日韩卡通动漫| 乱人视频在线观看| 嫩草影院新地址| 午夜激情欧美在线| 国产又黄又爽又无遮挡在线| 欧美不卡视频在线免费观看| 国产av在哪里看| 在线免费观看的www视频| 亚洲av一区综合| 亚洲综合精品二区| 亚洲人与动物交配视频| 色视频www国产| 久久人人爽人人片av| 又爽又黄无遮挡网站| 在线播放国产精品三级| 一级爰片在线观看| 真实男女啪啪啪动态图| 一二三四中文在线观看免费高清| 男女边吃奶边做爰视频| 国产成人免费观看mmmm| eeuss影院久久| 美女大奶头视频| eeuss影院久久| 少妇被粗大猛烈的视频| 精品人妻视频免费看| 97人妻精品一区二区三区麻豆| 欧美日本亚洲视频在线播放| 纵有疾风起免费观看全集完整版 | 99在线视频只有这里精品首页| 丝袜美腿在线中文| 亚洲精品国产成人久久av| 国产精品,欧美在线| 噜噜噜噜噜久久久久久91| 亚洲综合色惰| 国产男人的电影天堂91| 国产高清视频在线观看网站| 国国产精品蜜臀av免费| 免费观看人在逋| 六月丁香七月| 久久草成人影院| 天堂影院成人在线观看| 国产探花在线观看一区二区| 亚洲国产日韩欧美精品在线观看| 国产免费又黄又爽又色| 国产91av在线免费观看| 亚洲一区高清亚洲精品| 狂野欧美白嫩少妇大欣赏| 亚洲最大成人手机在线| 久久韩国三级中文字幕| 国产精品精品国产色婷婷| АⅤ资源中文在线天堂| 亚洲欧洲国产日韩| 精品久久久久久久久亚洲| 黄片无遮挡物在线观看| 男女啪啪激烈高潮av片| 成年女人看的毛片在线观看| 国产精品一区二区在线观看99 | 国产精品嫩草影院av在线观看| 91久久精品国产一区二区成人| 亚洲av电影在线观看一区二区三区 | 日韩三级伦理在线观看| 日韩精品有码人妻一区| 只有这里有精品99| 久久热精品热| 亚洲国产高清在线一区二区三| 成年版毛片免费区| 国产精品乱码一区二三区的特点| 亚洲精华国产精华液的使用体验| 国产探花在线观看一区二区| 国产成人精品一,二区| 免费看光身美女| 一卡2卡三卡四卡精品乱码亚洲| 又爽又黄无遮挡网站| 久久99热6这里只有精品| 最近的中文字幕免费完整| 中文乱码字字幕精品一区二区三区 | 亚洲激情五月婷婷啪啪| 亚洲av日韩在线播放| 亚洲中文字幕一区二区三区有码在线看| 色网站视频免费| 亚洲av二区三区四区| 久久鲁丝午夜福利片| 搞女人的毛片| 久久久久免费精品人妻一区二区| 18+在线观看网站| 91精品一卡2卡3卡4卡| 亚洲成av人片在线播放无| 欧美变态另类bdsm刘玥| 成人欧美大片| 久久精品熟女亚洲av麻豆精品 | 亚洲国产最新在线播放| 97热精品久久久久久| 久久午夜福利片| 亚洲国产最新在线播放| 18禁裸乳无遮挡免费网站照片| 能在线免费看毛片的网站| 一级毛片我不卡| 午夜免费激情av| 午夜精品在线福利| 精品一区二区三区视频在线| 国产精品熟女久久久久浪| av女优亚洲男人天堂| av女优亚洲男人天堂| 亚洲成人久久爱视频| 最近2019中文字幕mv第一页| 一级黄片播放器| 美女高潮的动态| 如何舔出高潮| 蜜桃久久精品国产亚洲av| 直男gayav资源| videos熟女内射| 国产又黄又爽又无遮挡在线| 十八禁国产超污无遮挡网站| 久久久久久久亚洲中文字幕| 一级毛片aaaaaa免费看小| 亚洲人成网站在线观看播放| 久久久欧美国产精品| 亚洲性久久影院| 黄色一级大片看看| 成人亚洲欧美一区二区av| 九九在线视频观看精品| 国内精品美女久久久久久| 日韩人妻高清精品专区| 自拍偷自拍亚洲精品老妇| 亚洲精品成人久久久久久| 亚洲av成人精品一二三区| 免费电影在线观看免费观看| 国产高清视频在线观看网站| 男女边吃奶边做爰视频| 好男人视频免费观看在线| 国产91av在线免费观看| 精品酒店卫生间| 亚洲电影在线观看av| 亚洲精品aⅴ在线观看| 亚洲av.av天堂| 一本久久精品| 国产成人精品一,二区| 一个人看视频在线观看www免费| 精品不卡国产一区二区三区| 精品不卡国产一区二区三区| 人妻夜夜爽99麻豆av| 国产极品天堂在线| 精华霜和精华液先用哪个| 久久亚洲精品不卡| 亚洲精品色激情综合| 综合色av麻豆| 久久99热这里只频精品6学生 | 久久精品国产99精品国产亚洲性色| 亚洲人成网站在线播| 久久久久久久亚洲中文字幕| 麻豆一二三区av精品| 国产探花极品一区二区| 亚洲经典国产精华液单| 大话2 男鬼变身卡| 日本与韩国留学比较| 国产精品av视频在线免费观看| 国产成年人精品一区二区| 国产亚洲最大av| 91久久精品国产一区二区成人| 免费观看的影片在线观看| 精品人妻熟女av久视频| 超碰97精品在线观看| 级片在线观看| 亚洲人成网站在线观看播放| 亚洲国产精品合色在线| 九九在线视频观看精品| 日韩精品青青久久久久久| 久久精品久久久久久噜噜老黄 | 国产精品永久免费网站| 中文字幕久久专区| 日日摸夜夜添夜夜添av毛片| 黄色日韩在线| 一个人看的www免费观看视频| 成年女人看的毛片在线观看| 亚洲精品久久久久久婷婷小说 | 国产精品精品国产色婷婷| 18禁在线无遮挡免费观看视频| 精品欧美国产一区二区三| 欧美丝袜亚洲另类| 国产久久久一区二区三区| 中文字幕久久专区| 国产免费男女视频| 亚洲国产高清在线一区二区三| 国产精品国产三级专区第一集| 草草在线视频免费看| 国国产精品蜜臀av免费| 亚洲国产精品成人综合色| 午夜精品在线福利| 国产单亲对白刺激| 国产成人a区在线观看| 国产伦在线观看视频一区| 三级男女做爰猛烈吃奶摸视频| 亚洲激情五月婷婷啪啪| 亚洲av成人精品一二三区| 国产精品日韩av在线免费观看| 免费搜索国产男女视频| 中文乱码字字幕精品一区二区三区 | 长腿黑丝高跟| 久久6这里有精品| 1024手机看黄色片| 久久久久久久国产电影| 大又大粗又爽又黄少妇毛片口| 日本熟妇午夜| 大话2 男鬼变身卡| 亚洲精品成人久久久久久| 国产av不卡久久| 免费搜索国产男女视频| 亚洲人与动物交配视频| 久久精品国产鲁丝片午夜精品| 欧美高清成人免费视频www| 欧美区成人在线视频| 日日啪夜夜撸| 国产成人免费观看mmmm| 免费观看人在逋| 99在线视频只有这里精品首页| 国产91av在线免费观看| 看黄色毛片网站| 高清午夜精品一区二区三区| 中文欧美无线码| 亚洲国产欧洲综合997久久,| 99国产精品一区二区蜜桃av| 久久精品夜色国产| 99久久成人亚洲精品观看| 久久久久免费精品人妻一区二区| 国产精品久久久久久久电影| av免费观看日本| 成人特级av手机在线观看| 一本久久精品| 亚洲av不卡在线观看| 18+在线观看网站| 国产一级毛片七仙女欲春2| 午夜a级毛片| 免费看美女性在线毛片视频| 国产淫片久久久久久久久| 蜜桃久久精品国产亚洲av| 免费av观看视频| 麻豆久久精品国产亚洲av| 久久99热这里只有精品18| 国产精品精品国产色婷婷| 中文乱码字字幕精品一区二区三区 | 亚洲av电影在线观看一区二区三区 | 亚洲人成网站在线播| 中国美白少妇内射xxxbb| 日韩欧美 国产精品| 七月丁香在线播放| 日日摸夜夜添夜夜爱| 秋霞在线观看毛片| 亚洲av成人精品一区久久| 亚洲色图av天堂| 亚洲精品日韩av片在线观看| or卡值多少钱| 精品一区二区三区视频在线| 亚洲天堂国产精品一区在线| 伊人久久精品亚洲午夜| 亚洲真实伦在线观看| 国产成人福利小说| 美女cb高潮喷水在线观看| 亚洲图色成人| 国产精品国产高清国产av| 日本五十路高清| 变态另类丝袜制服| 2021少妇久久久久久久久久久| 日本三级黄在线观看| 久久鲁丝午夜福利片| 黄片无遮挡物在线观看| 亚洲最大成人av| 亚洲国产精品成人久久小说| 久久人妻av系列| 欧美日韩综合久久久久久| 亚洲欧洲国产日韩| 狠狠狠狠99中文字幕| 超碰97精品在线观看| 国产精品不卡视频一区二区| 欧美一区二区精品小视频在线| 日韩大片免费观看网站 | 久久草成人影院| 国产成人一区二区在线| 汤姆久久久久久久影院中文字幕 | 身体一侧抽搐| 国产精品国产三级国产av玫瑰| 国模一区二区三区四区视频| 久久久久久久国产电影| 日韩,欧美,国产一区二区三区 | 国产高清不卡午夜福利| 午夜a级毛片| 国产黄片视频在线免费观看| 三级国产精品片| 97超碰精品成人国产| 国产三级中文精品| 一边亲一边摸免费视频| 日本一二三区视频观看| 国产大屁股一区二区在线视频| 国产高清不卡午夜福利| 精品一区二区免费观看| 久久午夜福利片| 精品人妻一区二区三区麻豆| 看十八女毛片水多多多| 午夜a级毛片| 色播亚洲综合网| 亚洲欧美精品综合久久99| 亚洲最大成人中文| 黄片wwwwww| 一二三四中文在线观看免费高清| 亚洲av不卡在线观看| 九草在线视频观看| 久久精品久久久久久噜噜老黄 | 国产伦一二天堂av在线观看| 欧美日本亚洲视频在线播放| 欧美一区二区亚洲| 免费看av在线观看网站| 日本熟妇午夜| 久久久久精品久久久久真实原创| 日日干狠狠操夜夜爽| 国产91av在线免费观看| 亚洲成色77777| 高清日韩中文字幕在线| 午夜免费激情av| 精品久久久噜噜| 欧美精品一区二区大全| 麻豆国产97在线/欧美| 秋霞在线观看毛片| 国产伦一二天堂av在线观看| 成人三级黄色视频| 69av精品久久久久久| 中文字幕免费在线视频6| 免费av不卡在线播放| 在线免费观看的www视频| 午夜精品在线福利| 啦啦啦韩国在线观看视频| 中文字幕av成人在线电影| 噜噜噜噜噜久久久久久91| 色视频www国产| 特级一级黄色大片| 色噜噜av男人的天堂激情| 91久久精品国产一区二区成人| 国产在线一区二区三区精 | 成人国产麻豆网| 一本久久精品| 可以在线观看毛片的网站| 日日啪夜夜撸| 日韩成人av中文字幕在线观看| 欧美另类亚洲清纯唯美| 人体艺术视频欧美日本| 国产亚洲91精品色在线| 国产中年淑女户外野战色| 国产免费男女视频| 久久这里只有精品中国| 午夜福利视频1000在线观看| 秋霞伦理黄片| 国产精品无大码| 亚洲五月天丁香| 日韩视频在线欧美| 汤姆久久久久久久影院中文字幕 | 黄片无遮挡物在线观看| 69av精品久久久久久| 真实男女啪啪啪动态图| 午夜福利网站1000一区二区三区| 日韩强制内射视频| 午夜精品国产一区二区电影 | av免费在线看不卡| 水蜜桃什么品种好| 精品少妇黑人巨大在线播放 | 国产v大片淫在线免费观看| av天堂中文字幕网| 国产一区二区在线av高清观看| 欧美丝袜亚洲另类| 亚洲色图av天堂| 国产男人的电影天堂91| 三级国产精品片| 国产精品1区2区在线观看.| 爱豆传媒免费全集在线观看| 99热6这里只有精品| 欧美不卡视频在线免费观看| 九九久久精品国产亚洲av麻豆| 男人的好看免费观看在线视频| 国产色婷婷99| 日韩欧美精品v在线| 97热精品久久久久久| 午夜视频国产福利| 少妇被粗大猛烈的视频| 午夜精品在线福利| av在线亚洲专区| 精品久久久久久电影网 | 夜夜看夜夜爽夜夜摸| 国产视频首页在线观看| 亚洲不卡免费看| 国产爱豆传媒在线观看| 一个人免费在线观看电影| videos熟女内射| 日日啪夜夜撸| 97热精品久久久久久| 看黄色毛片网站| 国产精品av视频在线免费观看| 成人性生交大片免费视频hd| 亚洲欧美日韩东京热| 亚洲国产欧洲综合997久久,| 超碰97精品在线观看| 日本免费在线观看一区| 久久综合国产亚洲精品| 又爽又黄a免费视频| 汤姆久久久久久久影院中文字幕 | eeuss影院久久| 麻豆成人午夜福利视频| 日韩国内少妇激情av| 国产精品一区二区三区四区久久| 婷婷色av中文字幕| 亚洲自拍偷在线| 青春草国产在线视频| 久久欧美精品欧美久久欧美| 午夜爱爱视频在线播放| 22中文网久久字幕| 久久精品夜色国产| 亚洲国产高清在线一区二区三| 乱人视频在线观看| 老女人水多毛片| 日韩欧美精品v在线| 男人和女人高潮做爰伦理| 国产精品乱码一区二三区的特点| 亚洲av福利一区| 18禁动态无遮挡网站| 国内少妇人妻偷人精品xxx网站| 毛片一级片免费看久久久久| 久久久久久久久中文| www.色视频.com| 午夜激情福利司机影院| 高清午夜精品一区二区三区| 天美传媒精品一区二区| 欧美潮喷喷水| 亚洲av成人精品一二三区| 日韩一区二区三区影片| 精品熟女少妇av免费看| 亚洲欧美日韩卡通动漫| 国产在线男女| 99久久精品热视频| 国产亚洲一区二区精品| 国产免费一级a男人的天堂| 国产成人a∨麻豆精品| 尾随美女入室| 变态另类丝袜制服| 国产av一区在线观看免费| 亚洲自拍偷在线| 能在线免费观看的黄片| 小说图片视频综合网站| 搡老妇女老女人老熟妇| 秋霞伦理黄片| 亚洲一级一片aⅴ在线观看| 老司机福利观看| 日日啪夜夜撸| 日韩亚洲欧美综合| 亚洲经典国产精华液单| 免费大片18禁| 天堂av国产一区二区熟女人妻| 我的女老师完整版在线观看| 国产精品蜜桃在线观看| 亚洲精品久久久久久婷婷小说 | 在线播放国产精品三级| 91av网一区二区| 三级毛片av免费| 身体一侧抽搐| 插阴视频在线观看视频| 女人久久www免费人成看片 | 国产欧美日韩精品一区二区| 七月丁香在线播放| 亚洲久久久久久中文字幕| av播播在线观看一区| 日韩 亚洲 欧美在线| 夜夜看夜夜爽夜夜摸| 性插视频无遮挡在线免费观看| 国产免费男女视频| 国产精品爽爽va在线观看网站| 天堂网av新在线| 日韩大片免费观看网站 | 少妇熟女aⅴ在线视频| 舔av片在线| a级一级毛片免费在线观看| 国产成年人精品一区二区| 久久精品国产鲁丝片午夜精品| 五月伊人婷婷丁香| 欧美丝袜亚洲另类| 日韩一本色道免费dvd| 在现免费观看毛片| 熟女电影av网| 一边摸一边抽搐一进一小说| 欧美激情久久久久久爽电影| 免费观看人在逋| 91精品一卡2卡3卡4卡| 91久久精品国产一区二区三区| 久久精品熟女亚洲av麻豆精品 | 成人亚洲欧美一区二区av| 少妇猛男粗大的猛烈进出视频 | 少妇裸体淫交视频免费看高清| 国产又色又爽无遮挡免| 精品久久久久久久久av| 啦啦啦观看免费观看视频高清| 久久久久久久久久黄片| 中文在线观看免费www的网站| 亚洲怡红院男人天堂| 成年av动漫网址| 男女下面进入的视频免费午夜| 国产精品蜜桃在线观看| 免费观看a级毛片全部| 嘟嘟电影网在线观看| 亚洲欧美日韩无卡精品| 免费看av在线观看网站| 亚洲乱码一区二区免费版| 国产精品一二三区在线看| 2022亚洲国产成人精品| 久久人人爽人人片av| 亚洲精品久久久久久婷婷小说 | 免费观看精品视频网站| 亚洲av福利一区| 亚洲三级黄色毛片| 天堂√8在线中文| 免费人成在线观看视频色| 日本猛色少妇xxxxx猛交久久| 夜夜爽夜夜爽视频| 国产国拍精品亚洲av在线观看| 联通29元200g的流量卡| 国产黄a三级三级三级人| 国产欧美日韩精品一区二区| 日本猛色少妇xxxxx猛交久久| 国产欧美日韩精品一区二区| 色哟哟·www| 国产激情偷乱视频一区二区| 97在线视频观看| 久久久欧美国产精品| 青春草亚洲视频在线观看| 麻豆成人av视频| 91在线精品国自产拍蜜月| 精品酒店卫生间| 性插视频无遮挡在线免费观看| 欧美最新免费一区二区三区| 18禁裸乳无遮挡免费网站照片| 欧美三级亚洲精品|