• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    節(jié)點實時性能自適應的集群資源分配算法*

    2022-12-02 04:46:52胡亞紅吳寅超朱正東
    國防科技大學學報 2022年6期
    關鍵詞:密集型權值內(nèi)存

    胡亞紅,吳寅超,朱正東

    (1. 浙江工業(yè)大學 計算機科學與技術學院(軟件學院), 浙江 杭州 310023; 2. 西安交通大學 計算機科學與技術學院, 陜西 西安 710049)

    Apache Spark是高性能的大數(shù)據(jù)處理框架,能夠高效地處理批數(shù)據(jù)和流式數(shù)據(jù)[1-3]。但Spark默認的資源分配算法僅匹配作業(yè)需求和節(jié)點的資源情況,不能夠保證為用戶作業(yè)分配到最優(yōu)資源。資源分配和作業(yè)調(diào)度屬于NP-hard問題[4],是當前的研究熱點。綜合考慮集群資源的異構(gòu)性、節(jié)點負載的實時變化和用戶作業(yè)不同特點的資源分配算法,能夠有效提高集群性能、縮短作業(yè)的完成時間。

    為了解決Spark在進行資源分配時未結(jié)合節(jié)點硬件性能的問題,Xu等提出了一個考慮集群資源屬性和作業(yè)特性的啟發(fā)式算法,能夠為作業(yè)分配到合適的資源[5]。

    胡亞紅等提出的基于節(jié)點優(yōu)先級的Spark動態(tài)自適應調(diào)度算法[6](Spark dynamic adaptive scheduling algorithm, SDASA)則是為了綜合處理集群的異構(gòu)性和節(jié)點的實時性能。該算法中,節(jié)點的性能使用優(yōu)先級來度量,節(jié)點的實時優(yōu)先級根據(jù)節(jié)點的資源使用情況等工作狀態(tài)進行動態(tài)計算。

    為保證所有作業(yè)都能夠在截止時間內(nèi)完成,文獻[7]介紹了一個考慮作業(yè)價值密度和完成時間限制的硬實時調(diào)度算法截止時間及價值密度感知(deadline and value density aware, DVDA)算法[7]。但DVDA算法沒有考慮集群中節(jié)點的實時資源使用狀況。

    針對電力供應受限的系統(tǒng),文獻[8]分析了常用基于價值的任務調(diào)度方法的不足,提出需要在不同的電力供應狀態(tài)下選擇不同的能源分配方案,并在此基礎上,提出了基于價值的能耗感知啟發(fā)式任務調(diào)度算法。

    為減少存儲設備異構(gòu)的集群中作業(yè)的執(zhí)行時間,文獻[9]提出的任務調(diào)度策略根據(jù)存儲類型獲得對應存儲設備的讀取速度,同時考慮數(shù)據(jù)存儲的位置,以完成任務優(yōu)先級的計算[9]。

    充分利用具有較高讀寫速度的緩存能夠縮短數(shù)據(jù)的讀寫時間,加快用戶作業(yè)的完成。文獻[10]描述了針對數(shù)據(jù)密集型任務的并行調(diào)度算法。該算法在考慮數(shù)據(jù)本地性、相關性和負載均衡的條件下,最小化任務的完成時間。此文獻對數(shù)據(jù)密集型負載進行了分析,但沒有討論其他類型負載的情況。

    啟發(fā)式算法是解決調(diào)度問題的常用算法,Yu等提出使用野草算法(invasive weed optimization,IWO)完成異構(gòu)集群中的任務調(diào)度,目標是最小化任務的完成時間。其中,IWO用于為每一個子作業(yè)分配優(yōu)先級,最早完成時間 (earliest finish time,EFT)算法則為子作業(yè)分配最優(yōu)的運行節(jié)點[11]。

    由于資源分配問題的復雜性,越來越多的研究采用了機器學習的方法。文獻[12]討論了包含CPU-GPU的異構(gòu)集群中多個任務共用GPU的任務調(diào)度問題?;贕PU上任務的細粒度劃分和任務間的關系,作者提出了基于深度強化學習和神經(jīng)協(xié)同過濾的兩階段任務調(diào)度方法,給各任務分配最合適的節(jié)點[12]。

    Hu 等在研究中發(fā)現(xiàn),為用戶作業(yè)分配過多的資源不但會增加資源間的通信開銷,使得作業(yè)的完成時間 (job completion time,JCT) 不降反增,而且還造成其他作業(yè)無法獲得足夠資源[13]。為了解決資源過度分配問題,首先利用深度神經(jīng)網(wǎng)絡(deep neural network,DNN) 尋找每個作業(yè)的最優(yōu)集群配置;在獲得作業(yè)最優(yōu)配置后,使用短作業(yè)優(yōu)化算法為作業(yè)預分配集群資源;之后使用啟發(fā)式算法以平衡多個作業(yè)之間的資源分配,從而達到批作業(yè)完成時間最短的優(yōu)化目標。

    Spark默認資源調(diào)度方法沒有充分考慮計算資源和網(wǎng)絡資源之間的均衡。如果集群用于處理網(wǎng)絡密集型作業(yè),則可能需要在節(jié)點間傳輸大量的數(shù)據(jù),從而導致集群性能下降。針對該問題,Du等提出了一種任務完成時間感知的作業(yè)調(diào)度優(yōu)化方法[14]。該算法首先進行任務完成時間的預測。再利用得到的任務執(zhí)行時間,從非本地任務調(diào)度和網(wǎng)絡的傳輸時間兩方面進行優(yōu)化。

    目前常用的集群資源分配算法沒有綜合考慮節(jié)點的實時性能和待運行作業(yè)的特點,使得一些節(jié)點的性能優(yōu)勢無法完全發(fā)揮,而部分作業(yè)的執(zhí)行時間也沒有達到最優(yōu)。下面以WordCount負載分別運行于配置不同的三個節(jié)點為例說明上述問題。節(jié)點配置如表1所示。

    表1 WordCount運行時間對比實驗配置

    節(jié)點1和節(jié)點2的區(qū)別在于磁盤的性能,節(jié)點2的I/O性能優(yōu)于節(jié)點1。節(jié)點2和節(jié)點3的CPU速度不同,節(jié)點2的CPU性能更好。眾所周知,WordCount負載對于節(jié)點的CPU性能較為敏感。對比相同的WordCount負載在3個節(jié)點的執(zhí)行時間,可以清楚地看出節(jié)點3的運行時間比節(jié)點2的長了72.11%,主要原因就是節(jié)點3的CPU性能較差。而WordCount在節(jié)點1和2的運行時間僅有2%的差別,也說明了WordCount對節(jié)點的I/O性能不敏感。因此為用戶作業(yè)選擇適合其特點的節(jié)點非常有必要。

    目前考慮節(jié)點與作業(yè)類型匹配的研究不是很多。文獻[15]考慮了節(jié)點的任務執(zhí)行特點,使用作業(yè)和節(jié)點的匹配差異程度作為資源分配的依據(jù)。該文中:作業(yè)的類型由用戶提供,分為計算密集型和內(nèi)存密集型。節(jié)點的負載由其CPU分量、內(nèi)存分量和系統(tǒng)其他分量表示。資源分配的基本思想是將CPU利用率低、內(nèi)存利用率高的節(jié)點分配給計算密集型作業(yè);將內(nèi)存利用率低的節(jié)點分配給計算密集型作業(yè)。使用該算法時,若是用戶對作業(yè)不夠了解,則其指定的作業(yè)類型會不準確。另外,節(jié)點負載的影響分量考慮得不是非常全面。它主要考慮的是CPU分量、內(nèi)存分量,其他如磁盤容量等統(tǒng)一歸屬于其他分量,因而不能對除了CPU和內(nèi)存以外的分量進行更為有效的處理。

    本文提出的節(jié)點實時性能自適應的集群資源分配算法(node real-time performance adaptive cluster resource scheduling algorithm,NPARSA) 旨在綜合考慮節(jié)點的實時處理性能優(yōu)先級和用戶作業(yè)的特點,為作業(yè)分配最適合的節(jié)點,從而縮短作業(yè)運行時間,提升集群的性能。

    1 節(jié)點性能評價及資源調(diào)度算法

    NPARSA根據(jù)用戶作業(yè)的類型自適應地進行節(jié)點優(yōu)先級評價指標權值的選擇,從而計算出各個節(jié)點處理此作業(yè)的性能優(yōu)先級。

    1.1 用戶作業(yè)類型的判定

    CPU密集型作業(yè)和內(nèi)存密集型作業(yè)是常見類型的用戶作業(yè),它們對于集群有著不同的資源需求。作業(yè)的類型可以使用運行作業(yè)需要的CPU核數(shù)和內(nèi)存數(shù)量進行判定,式(1) 給出了作業(yè)類型的判定方法。

    (1)

    作業(yè)的類型使用變量J進行判定。Mr是用戶要求為作業(yè)提供的內(nèi)存數(shù)量,而用戶要求提供給作業(yè)的CPU核數(shù)用變量Cr表示。為了選擇合理的J閾值以區(qū)分作業(yè)類型,本文進行了大量的實驗。實驗分別使用Spark默認調(diào)度算法和NPARSA運行相同的作業(yè),計算出在不同J閾值下NPARSA能夠產(chǎn)生的系統(tǒng)性能提升百分比,實驗結(jié)果見表2。

    表2 不同J閾值下集群性能提升效果

    對表2進行分析發(fā)現(xiàn),當J閾值為1.1時,NPARSA能夠得到最好的效果。因此,將作業(yè)類型J的閾值定為1.1。當一個作業(yè)的J值大于1.1時,判定該作業(yè)為內(nèi)存密集型,否則判定為CPU密集型作業(yè)。NPARSA將根據(jù)作業(yè)的類型自適應地選擇節(jié)點優(yōu)先級計算時需要的權值。

    1.2 節(jié)點性能優(yōu)先級的評價

    異構(gòu)集群中的節(jié)點性能差別較大,有些節(jié)點適合處理CPU密集型作業(yè),有些則適合運行內(nèi)存密集型作業(yè)。因此根據(jù)當前作業(yè)的類型自適應地分析節(jié)點性能很有必要。

    節(jié)點性能P由其靜態(tài)性能指標和動態(tài)性能指標表示,可以使用式 (2) 計算得到。

    P=αS+βD

    (2)

    式中:S表示節(jié)點的靜態(tài)性能指標;D表示節(jié)點的動態(tài)性能指標;α和β為對應的權值,且α+β=1。

    S=α1Cs+α2Ms+α3Sts+α4Sps

    (3)

    D=β1Cd+β2Md+β3Spd+β4Std

    (4)

    其中:節(jié)點靜態(tài)和動態(tài)性能各評價指標的權值α1+α2+α3+α4=1,β1+β2+β3+β4=1。

    1.3 節(jié)點性能優(yōu)先級影響因素權值的計算

    層次分析法 (analytic hierarchy process,AHP) 是將定量分析和定性分析結(jié)合的方法,常用于權值計算。使用AHP確定影響節(jié)點性能優(yōu)先級各因素的權值,圖1給出了節(jié)點性能優(yōu)先級評價指標體系的層次結(jié)構(gòu)模型。請專家針對CPU密集型和內(nèi)存密集型作業(yè)的特點,分別對各影響因素進行評分。這樣,NPARSA就能夠根據(jù)當前需要處理作業(yè)的類型自適應地進行節(jié)點實時性能優(yōu)先級的計算。

    圖1 節(jié)點性能優(yōu)先級評價指標體系層次結(jié)構(gòu)模型Fig.1 Hierarchical structure model for the node performance evaluation index system

    1.3.1 針對CPU密集型作業(yè)

    經(jīng)專家打分,靜態(tài)因素的四個影響因素的判斷矩陣是:

    靜態(tài)因素權值向量W=[0.113,0.641,0.073,0.173]T,計算得到對應的一致性比率(consistency ratio, CR)的取值為 0.017,通過一致性檢驗。因此各個靜態(tài)因素的權值如下:CPU核數(shù)為0.173、內(nèi)存大小為0.641、磁盤容量為0.113、CPU速度為0.073。

    動態(tài)因素的四個影響因素經(jīng)專家打分,得到的判斷矩陣為:

    動態(tài)因素權值向量W=[0.344,0.422,0.156,0.078]T,計算得到CR為0.008,也通過一致性檢驗。則各個動態(tài)因素的權值如下:CPU剩余率為0.422、內(nèi)存剩余率為0.344、磁盤讀寫速度為0.156、磁盤剩余率為0.078。

    [5]李俊林:《建立高校高層次人才跟蹤服務管理機制的研究》,《河北工業(yè)大學學報》(社會科學版)2011年第2期。

    式(2)中的靜態(tài)性能指標和動態(tài)性能指標對應的判斷矩陣為:

    因此α=0.5,β=0.5。

    1.3.2 針對內(nèi)存密集型作業(yè)

    經(jīng)專家打分,靜態(tài)因素的四個影響因素的判斷矩陣是:

    靜態(tài)因素權值向量W=[0.138,0.513,0.275,0.074]T, CR為0.003 9,通過一致性檢驗。各個靜態(tài)因素的權值如下:CPU核數(shù)為0.138、內(nèi)存大小為0.513、磁盤容量為0.275、CPU速度為0.074。

    動態(tài)因素的四個影響因素經(jīng)專家打分,構(gòu)造出的判斷矩陣為:

    動態(tài)因素權值向量W=[0.110,0.442,0.262,0.186]T,CR值為0.023,通過一致性檢驗。各個動態(tài)因素的權值如下:CPU剩余率為0.110、內(nèi)存剩余率為0.442、磁盤讀寫速度為0.262、磁盤剩余率為0.186。

    α,β取值與CPU密集型作業(yè)的計算方法相同,均為0.5。

    當需要處理的用戶作業(yè)為CPU密集型時,NPARSA使用1.3.1節(jié)給出的動靜態(tài)因素對應的權值;而當需要處理的用戶作業(yè)為內(nèi)存密集型時,NPARSA則會自適應地選擇1.3.2節(jié)給出的動靜態(tài)因素對應的權值。

    1.4 算法描述

    NPARSA運行于Spark系統(tǒng)中的Master節(jié)點。各個worker節(jié)點實時采集自身的狀態(tài)信息,Master則利用Spark的心跳機制進行信息的收集,完成各節(jié)點實時優(yōu)先級的計算。算法1給出了NPARSA的實現(xiàn)。

    算法1 節(jié)點性能自適應的資源調(diào)度算法

    2 虛擬機實驗

    首先在虛擬機上運行NPARSA,以考察其有效性。

    2.1 實驗環(huán)境和數(shù)據(jù)集

    實驗中共使用四個虛擬機節(jié)點,分別作為Spark系統(tǒng)中的主節(jié)點和從節(jié)點,節(jié)點配置見表3。

    為了構(gòu)建異構(gòu)環(huán)境,各節(jié)點的內(nèi)存容量、CPU核數(shù)或磁盤的讀寫速度有所不同。其中主節(jié)點的內(nèi)存較大;從節(jié)點2的CPU僅有1核。為了使節(jié)點的I/O性能有一定的差異,從節(jié)點3的存儲采用了HDD,而其他節(jié)點硬盤為SSD。

    本文采用的實驗數(shù)據(jù)來源于BigDataBench[16],選用了WordCount、Sort、K-means和PageRank四種常用的CPU密集型和內(nèi)存密集型負載。

    2.2 實驗結(jié)果及分析

    2.2.1 單作業(yè)實驗

    本實驗的工作負載為WordCount、Sort、K-means和PageRank。其中WordCount、K-means和PageRank要求CPU核數(shù)為4,內(nèi)存為4 GB,屬于CPU密集型負載;Sort要求CPU核數(shù)為4,內(nèi)存為8 GB,是內(nèi)存密集型負載。

    WordCount和Sort實驗中,Spark的資源調(diào)度算法分別使用Spark默認調(diào)度算法、SDASA[6]、文獻[15]描述的算法(為方便描述,稱為Difference算法)和NPARSA。實驗結(jié)果如圖2和圖3所示。

    圖2 WordCount作業(yè)完成時間比較Fig.2 Comparison of the completion time of WordCount

    圖3 Sort作業(yè)完成時間比較Fig.3 Comparison of the completion time of Sort

    從圖2可以看出,與Spark默認調(diào)度算法相比,NPARSA將WordCount作業(yè)時間平均縮短了8.33%。與NPARSA動態(tài)調(diào)整節(jié)點優(yōu)先級相同,SDASA也是結(jié)合節(jié)點的資源狀態(tài),實時調(diào)整集群中各個節(jié)點的優(yōu)先級,但是SDASA沒有考慮用戶作業(yè)類型。與SDASA相比,NPARSA將系統(tǒng)性能平均提升了3.45%。與Difference算法進行對比,當WordCount數(shù)據(jù)量為2 GB時,NPARSA性能略低于Difference算法。但隨著數(shù)據(jù)量的增加,NPARSA有著更優(yōu)的表現(xiàn),系統(tǒng)性能平均提升0.51%。

    從圖3可以看出,當運行Sort作業(yè)時,NPARSA的表現(xiàn)優(yōu)于所有的對比算法。與Spark默認算法、SDASA和Difference算法相比,使用NPARSA的作業(yè)執(zhí)行時間平均縮短了9.87%、4.88%和6.22%。

    針對K-means和PageRank負載,實驗分別在使用Spark默認調(diào)度算法、SDASA和NPARSA的Spark集群中運行。K-means負載的實驗結(jié)果如圖4所示。

    圖4 K-means作業(yè)完成時間比較Fig.4 Comparison of the completion time of K-means

    從圖4可以看出,執(zhí)行K-means作業(yè)時,與Spark默認算法相比,NPARSA將作業(yè)的執(zhí)行效率平均提升13.95%;和SDASA相比,平均提升7.85%。

    圖5給出了對PageRank負載進行的實驗結(jié)果。實驗中數(shù)據(jù)集的Page數(shù)目分別為260、270、280、290和2100。實驗結(jié)果表明,相對于Spark默認算法和SDASA,NPARSA完成作業(yè)的時間平均縮短了17.46%和6.75%。

    圖5 PageRank作業(yè)完成時間比較Fig.5 Comparison of the completion time of PageRank

    從圖2~5不難看出,無論是運行WordCount、K-means、PageRank這樣的CPU密集型作業(yè),還是Sort這類內(nèi)存密集型作業(yè),NPARSA的表現(xiàn)都較為優(yōu)秀。并且隨著作業(yè)數(shù)據(jù)量的增大,使用NPARSA能夠更加有效地縮短作業(yè)的執(zhí)行時間,提升集群效率。

    2.2.2 多作業(yè)并行實驗

    為考察當多個作業(yè)并行運算時NPARSA的性能,進行了WordCount和Sort兩類任務的并行運行實驗,圖6給出了實驗結(jié)果。

    圖6 并行運行的作業(yè)執(zhí)行時間對比Fig.6 Completion time comparison for parallel jobs

    可以看到,當多個負載并行執(zhí)行時,與Spark默認調(diào)度算法相比,NPARSA將作業(yè)的平均執(zhí)行時間縮短了10.84%;與Difference算法相比,作業(yè)平均執(zhí)行時間也減少了1.74%。

    從上述實驗結(jié)果可以看出,因為節(jié)點的實時性能是根據(jù)所要處理作業(yè)的類型計算的,NPARSA能夠給每個作業(yè)分配合適的集群資源,從而提高了集群的性能,縮短了作業(yè)的完成時間。

    2.2.3 不同節(jié)點數(shù)目實驗

    為了測試集群中節(jié)點的數(shù)目對于NPARSA性能的影響,本節(jié)修改了虛擬機實驗中的節(jié)點數(shù)目,刪除了原四節(jié)點集群中的Slave1,構(gòu)建的新集群中僅包含三個節(jié)點。在此三節(jié)點集群上使用2.2.1節(jié)描述的方式運行PageRank,得到的實驗結(jié)果如圖7所示。

    圖7 三節(jié)點集群中PageRank作業(yè)完成時間比較Fig.7 Comparison of the completion time of PageRank in the cluster with 3 nodes

    通過分析計算,在三節(jié)點集群中,NPARSA完成PageRank作業(yè)的時間比Spark默認算法和SDASA平均縮短11.71%和4.28%。在四節(jié)點集群中,完成同樣數(shù)量的PageRank作業(yè),NPARSA完成作業(yè)的時間比Spark默認算法和SDASA平均縮短17.46%和6.75%。因此可以看出,隨著集群中節(jié)點數(shù)目的增加,NPARSA的優(yōu)勢可以得到更好的體現(xiàn)。

    3 小規(guī)模物理集群實驗

    為了避免虛擬機實驗的偏差,進一步驗證NPARSA的有效性,搭建了一個小規(guī)模的物理集群,完成了PageRank負載的對比實驗。集群中有三個節(jié)點,其中一個是主節(jié)點,兩個從節(jié)點,節(jié)點的配置如表4所示。為了使集群具有異構(gòu)性,三個節(jié)點在CPU速度、核數(shù)、內(nèi)存大小和磁盤讀寫速度上配置不同。

    表4 物理集群實驗節(jié)點配置

    實驗中PageRank的Page數(shù)目分別為260、270、280、290、2100和2110。實驗運行7次,取各次運行結(jié)果的平均值作為實驗結(jié)果,如圖8所示。從圖8中可以看出,在物理集群實驗中,NPARSA仍能比Spark默認調(diào)度算法和SDASA有更為良好的表現(xiàn),其完成PageRank作業(yè)的平均時間比Spark默認算法減少了37.39%,比SDASA減少了11.93%。

    圖8 物理集群中PageRank作業(yè)完成時間比較Fig.8 Comparison of the completion time of PageRank running in a physical cluster

    4 結(jié)論

    為了給每一個用戶作業(yè)分配最適合其特點的節(jié)點,本文提出了NPARSA。NPARSA在計算節(jié)點的實時優(yōu)先級時,會根據(jù)當前作業(yè)的類型自適應地選擇節(jié)點優(yōu)先級評價體系中各指標的權值。虛擬機實驗和小規(guī)模的物理集群實驗結(jié)果均表明,與Spark默認調(diào)度算法、SDASA和Difference算法相比,NPARSA能夠減少用戶作業(yè)的執(zhí)行時間。

    為了進一步優(yōu)化NPARSA并驗證其有效性,后續(xù)的研究內(nèi)容包括:

    1) 采用深度學習的方法對更多種用戶作業(yè)的類型,如I/O密集型、網(wǎng)絡密集型等進行準確判斷,從而使算法可以更好地為更多類型的作業(yè)進行有效的資源分配。

    2)增加節(jié)點靜態(tài)和動態(tài)資源影響因素,如CPU的最大頻率、內(nèi)存的帶寬等,以便更加全面準確地衡量節(jié)點的實時性能。

    3) 在大規(guī)模的物理集群上進行實驗,進一步驗證算法的可擴展性。

    猜你喜歡
    密集型權值內(nèi)存
    一種融合時間權值和用戶行為序列的電影推薦模型
    壓痛點密集型銀質(zhì)針溫針灸治療肱骨外上髁炎的臨床觀察
    CONTENTS
    “春夏秋冬”的內(nèi)存
    當代陜西(2019年13期)2019-08-20 03:54:22
    密集型快速冷卻技術在熱軋帶鋼生產(chǎn)線的應用
    山東冶金(2019年3期)2019-07-10 00:53:56
    密集型自動化立體倉庫解析
    基于權值動量的RBM加速學習算法研究
    自動化學報(2017年7期)2017-04-18 13:41:02
    知識密集型組織的商業(yè)模式創(chuàng)新策略——以網(wǎng)絡教育組織為例
    基于內(nèi)存的地理信息訪問技術
    上網(wǎng)本為什么只有1GB?
    在线免费观看的www视频| 亚洲精品在线观看二区| 国产日韩一区二区三区精品不卡| 欧美激情极品国产一区二区三区| 欧美精品啪啪一区二区三区| 日本 欧美在线| 一二三四在线观看免费中文在| 国产精华一区二区三区| 一区二区三区国产精品乱码| 美女午夜性视频免费| xxx96com| 最近最新免费中文字幕在线| 精品电影一区二区在线| 久久久久精品国产欧美久久久| 国产三级黄色录像| 久久国产精品影院| 国产精品久久电影中文字幕| 国产一区二区激情短视频| 国产精品1区2区在线观看.| 一进一出抽搐动态| 91av网站免费观看| 亚洲午夜理论影院| av网站免费在线观看视频| 中文字幕av电影在线播放| 久久久久久久午夜电影| 老司机靠b影院| 精品国产国语对白av| 精品午夜福利视频在线观看一区| 国产一区二区三区在线臀色熟女| 纯流量卡能插随身wifi吗| 搡老熟女国产l中国老女人| 久久草成人影院| 日韩视频一区二区在线观看| 久久久久亚洲av毛片大全| 9191精品国产免费久久| 婷婷丁香在线五月| 一区二区三区精品91| 欧美黑人欧美精品刺激| 老汉色∧v一级毛片| 热re99久久国产66热| 日本 欧美在线| 亚洲 国产 在线| 日韩大尺度精品在线看网址 | 女生性感内裤真人,穿戴方法视频| 国产一区二区三区视频了| 久久国产亚洲av麻豆专区| www国产在线视频色| 久久草成人影院| 桃红色精品国产亚洲av| 免费高清在线观看日韩| 男女下面进入的视频免费午夜 | 欧美日韩一级在线毛片| 色综合站精品国产| 久久国产乱子伦精品免费另类| www日本在线高清视频| 欧美国产日韩亚洲一区| 欧美乱妇无乱码| 色综合站精品国产| 午夜福利欧美成人| 悠悠久久av| 欧美国产精品va在线观看不卡| 日本三级黄在线观看| 欧美成狂野欧美在线观看| 制服丝袜大香蕉在线| 国产精品,欧美在线| 欧美+亚洲+日韩+国产| 一二三四在线观看免费中文在| 日韩大尺度精品在线看网址 | 少妇粗大呻吟视频| 一边摸一边抽搐一进一出视频| 中文字幕久久专区| 淫妇啪啪啪对白视频| 亚洲欧美激情综合另类| 中文字幕另类日韩欧美亚洲嫩草| 女人高潮潮喷娇喘18禁视频| 欧美日韩瑟瑟在线播放| 久久午夜综合久久蜜桃| 操美女的视频在线观看| 一夜夜www| 亚洲av成人av| 村上凉子中文字幕在线| 777久久人妻少妇嫩草av网站| 黄色毛片三级朝国网站| 人妻久久中文字幕网| 一区二区三区精品91| 亚洲九九香蕉| 宅男免费午夜| 国产三级在线视频| 夜夜看夜夜爽夜夜摸| 色综合婷婷激情| 午夜福利成人在线免费观看| 久久九九热精品免费| 一个人免费在线观看的高清视频| 亚洲国产毛片av蜜桃av| 国产精品98久久久久久宅男小说| 看黄色毛片网站| 九色国产91popny在线| 亚洲精品国产一区二区精华液| 99香蕉大伊视频| 亚洲精华国产精华精| 亚洲无线在线观看| 宅男免费午夜| 美女大奶头视频| 中文亚洲av片在线观看爽| 成人精品一区二区免费| 大码成人一级视频| 99久久精品国产亚洲精品| 18禁裸乳无遮挡免费网站照片 | 脱女人内裤的视频| www.熟女人妻精品国产| 中文字幕色久视频| 香蕉国产在线看| 久久久精品欧美日韩精品| 国产私拍福利视频在线观看| 亚洲美女黄片视频| 色哟哟哟哟哟哟| 日韩精品中文字幕看吧| 精品久久久久久久人妻蜜臀av | 中文字幕久久专区| 亚洲性夜色夜夜综合| 欧美在线黄色| 日日夜夜操网爽| 大码成人一级视频| 亚洲成av人片免费观看| 欧美日韩乱码在线| 久久久久久久久久久久大奶| 黄片小视频在线播放| 日韩成人在线观看一区二区三区| 一级黄色大片毛片| 久久久久久久久免费视频了| 中文字幕色久视频| 国产精品美女特级片免费视频播放器 | 久久精品91无色码中文字幕| 久久久久久国产a免费观看| 久久国产乱子伦精品免费另类| 99久久久亚洲精品蜜臀av| 成人国产综合亚洲| 好看av亚洲va欧美ⅴa在| 精品久久久久久久人妻蜜臀av | 亚洲av片天天在线观看| 国产精品永久免费网站| 亚洲成a人片在线一区二区| 欧美色视频一区免费| 国产成人影院久久av| 日日干狠狠操夜夜爽| 亚洲精品粉嫩美女一区| 国产精品一区二区三区四区久久 | 黄色丝袜av网址大全| 首页视频小说图片口味搜索| 久久久精品国产亚洲av高清涩受| 久久性视频一级片| 免费看十八禁软件| 久久精品成人免费网站| 一边摸一边抽搐一进一小说| а√天堂www在线а√下载| 精品久久久久久久毛片微露脸| 亚洲成av片中文字幕在线观看| 少妇被粗大的猛进出69影院| 国产xxxxx性猛交| 无人区码免费观看不卡| 精品欧美国产一区二区三| 亚洲aⅴ乱码一区二区在线播放 | 欧美久久黑人一区二区| 亚洲精品国产一区二区精华液| 亚洲第一欧美日韩一区二区三区| 最新在线观看一区二区三区| 99久久国产精品久久久| 亚洲色图 男人天堂 中文字幕| 欧美成人一区二区免费高清观看 | 精品一品国产午夜福利视频| 精品久久久久久,| 亚洲美女黄片视频| 欧美+亚洲+日韩+国产| 色哟哟哟哟哟哟| 一级a爱视频在线免费观看| 熟妇人妻久久中文字幕3abv| 在线观看舔阴道视频| 亚洲午夜理论影院| 在线国产一区二区在线| 夜夜躁狠狠躁天天躁| 日韩欧美国产在线观看| 法律面前人人平等表现在哪些方面| 十分钟在线观看高清视频www| 非洲黑人性xxxx精品又粗又长| 国产成人影院久久av| www.www免费av| 人成视频在线观看免费观看| 国产精品久久久久久人妻精品电影| 久久精品人人爽人人爽视色| videosex国产| 国产av精品麻豆| 久久中文字幕人妻熟女| 欧美日韩亚洲综合一区二区三区_| 国产一区二区在线av高清观看| 18禁国产床啪视频网站| 日本精品一区二区三区蜜桃| 99国产精品免费福利视频| 亚洲久久久国产精品| 99国产精品免费福利视频| 女性生殖器流出的白浆| 亚洲人成77777在线视频| 香蕉丝袜av| 久久精品国产亚洲av高清一级| cao死你这个sao货| 中国美女看黄片| 两性夫妻黄色片| 无人区码免费观看不卡| 在线av久久热| av在线天堂中文字幕| 免费女性裸体啪啪无遮挡网站| 最近最新中文字幕大全免费视频| 黄色视频,在线免费观看| 男人操女人黄网站| 亚洲无线在线观看| 久久久久久国产a免费观看| 亚洲av日韩精品久久久久久密| 一个人免费在线观看的高清视频| videosex国产| 国产午夜精品久久久久久| 在线观看www视频免费| 国产亚洲精品综合一区在线观看 | 精品欧美国产一区二区三| 99精品欧美一区二区三区四区| 伊人久久大香线蕉亚洲五| 婷婷精品国产亚洲av在线| 人人妻人人澡欧美一区二区 | 欧美日韩亚洲综合一区二区三区_| 久久精品国产亚洲av高清一级| 欧美在线一区亚洲| av网站免费在线观看视频| 中国美女看黄片| 久久久国产成人免费| 国产亚洲欧美98| 亚洲avbb在线观看| 国产高清videossex| 九色国产91popny在线| 脱女人内裤的视频| 免费一级毛片在线播放高清视频 | 一a级毛片在线观看| 欧美激情 高清一区二区三区| 免费高清视频大片| 亚洲精品粉嫩美女一区| 欧美激情高清一区二区三区| 黄频高清免费视频| a级毛片在线看网站| 波多野结衣一区麻豆| 首页视频小说图片口味搜索| 国产成人啪精品午夜网站| xxx96com| 中文字幕高清在线视频| 精品久久久精品久久久| 一边摸一边抽搐一进一出视频| 在线观看免费视频日本深夜| 老汉色∧v一级毛片| 午夜视频精品福利| 久久国产乱子伦精品免费另类| 久久天堂一区二区三区四区| 国产一区二区在线av高清观看| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲va日本ⅴa欧美va伊人久久| 国产精品98久久久久久宅男小说| 国产视频一区二区在线看| 老汉色∧v一级毛片| 男女午夜视频在线观看| 97人妻精品一区二区三区麻豆 | 国产av一区在线观看免费| av天堂久久9| 91老司机精品| 久久精品国产综合久久久| 手机成人av网站| 国产成人啪精品午夜网站| 精品国产一区二区久久| 国产成人一区二区三区免费视频网站| 欧美另类亚洲清纯唯美| 淫妇啪啪啪对白视频| 欧美日本视频| 国产精品一区二区精品视频观看| 自线自在国产av| 久久亚洲精品不卡| 国产亚洲欧美在线一区二区| 免费女性裸体啪啪无遮挡网站| 亚洲精华国产精华精| 波多野结衣一区麻豆| 日韩一卡2卡3卡4卡2021年| 午夜成年电影在线免费观看| 国产成人av激情在线播放| 99国产精品一区二区三区| 一区二区三区激情视频| 日本五十路高清| 成人三级黄色视频| 日本精品一区二区三区蜜桃| 日韩视频一区二区在线观看| 日韩高清综合在线| www国产在线视频色| 亚洲欧美日韩高清在线视频| 国产伦一二天堂av在线观看| 精品国产亚洲在线| 国产在线观看jvid| 亚洲久久久国产精品| 女生性感内裤真人,穿戴方法视频| 精品免费久久久久久久清纯| 国产麻豆69| 亚洲国产精品久久男人天堂| 久久 成人 亚洲| 激情视频va一区二区三区| 18禁观看日本| av在线播放免费不卡| 亚洲av美国av| www.www免费av| 后天国语完整版免费观看| 免费不卡黄色视频| 脱女人内裤的视频| 亚洲熟女毛片儿| 欧美黑人精品巨大| 免费观看人在逋| 青草久久国产| 精品久久蜜臀av无| 亚洲中文日韩欧美视频| 亚洲 欧美 日韩 在线 免费| 国产一区在线观看成人免费| 淫秽高清视频在线观看| 国产熟女午夜一区二区三区| 国产精品一区二区在线不卡| 久久久久国产精品人妻aⅴ院| 乱人伦中国视频| 午夜福利,免费看| 最近最新中文字幕大全免费视频| 美女 人体艺术 gogo| 夜夜躁狠狠躁天天躁| 97人妻天天添夜夜摸| 国产一区在线观看成人免费| 美女高潮到喷水免费观看| 久久亚洲真实| 久久久久久亚洲精品国产蜜桃av| 一级毛片女人18水好多| 亚洲最大成人中文| 欧美日韩黄片免| 人人妻人人澡欧美一区二区 | 男女之事视频高清在线观看| 免费搜索国产男女视频| 男人的好看免费观看在线视频 | av福利片在线| 老司机福利观看| 精品国内亚洲2022精品成人| 亚洲最大成人中文| 国产成人欧美| 国产高清激情床上av| 一夜夜www| 国产国语露脸激情在线看| 精品第一国产精品| 亚洲欧美激情在线| 国产精品香港三级国产av潘金莲| 制服丝袜大香蕉在线| 18禁黄网站禁片午夜丰满| 人人澡人人妻人| 国语自产精品视频在线第100页| 国产一区二区三区视频了| 欧美激情 高清一区二区三区| av在线天堂中文字幕| 久99久视频精品免费| 丰满人妻熟妇乱又伦精品不卡| 亚洲自偷自拍图片 自拍| 人人妻,人人澡人人爽秒播| 欧美日本中文国产一区发布| 给我免费播放毛片高清在线观看| 亚洲天堂国产精品一区在线| 侵犯人妻中文字幕一二三四区| 美女免费视频网站| 成在线人永久免费视频| 精品无人区乱码1区二区| 精品国产乱子伦一区二区三区| 动漫黄色视频在线观看| 丰满的人妻完整版| 电影成人av| 欧美日韩亚洲国产一区二区在线观看| 成人欧美大片| 一边摸一边做爽爽视频免费| 精品久久久久久,| 国产精品av久久久久免费| 日韩有码中文字幕| 日日爽夜夜爽网站| 精品人妻1区二区| 免费看美女性在线毛片视频| e午夜精品久久久久久久| netflix在线观看网站| 自线自在国产av| 在线天堂中文资源库| 后天国语完整版免费观看| 高潮久久久久久久久久久不卡| 久久久久久人人人人人| 两个人免费观看高清视频| 人人妻人人爽人人添夜夜欢视频| 久久精品成人免费网站| 国产精品一区二区在线不卡| 欧美不卡视频在线免费观看 | 亚洲五月婷婷丁香| 亚洲国产精品久久男人天堂| 亚洲一区中文字幕在线| 日韩精品免费视频一区二区三区| 国产成人精品久久二区二区91| 国产成人欧美在线观看| 亚洲专区字幕在线| 亚洲第一av免费看| 91成年电影在线观看| 一进一出抽搐动态| 在线观看舔阴道视频| 亚洲av成人不卡在线观看播放网| 日韩三级视频一区二区三区| 99精品久久久久人妻精品| 国产成人免费无遮挡视频| 久久婷婷成人综合色麻豆| 国产黄a三级三级三级人| 搞女人的毛片| 欧美日本亚洲视频在线播放| 满18在线观看网站| 免费久久久久久久精品成人欧美视频| 亚洲欧美日韩另类电影网站| 亚洲熟妇中文字幕五十中出| 99在线视频只有这里精品首页| 麻豆一二三区av精品| 黑人巨大精品欧美一区二区蜜桃| av在线天堂中文字幕| 欧美丝袜亚洲另类 | 91成人精品电影| 成在线人永久免费视频| 97超级碰碰碰精品色视频在线观看| 精品高清国产在线一区| 黑人巨大精品欧美一区二区蜜桃| 90打野战视频偷拍视频| 97超级碰碰碰精品色视频在线观看| 一区二区三区国产精品乱码| 婷婷精品国产亚洲av在线| 香蕉丝袜av| 日韩欧美在线二视频| 国产亚洲av高清不卡| 岛国视频午夜一区免费看| 好男人在线观看高清免费视频 | 成熟少妇高潮喷水视频| 超碰成人久久| 久热这里只有精品99| 视频在线观看一区二区三区| 精品一区二区三区av网在线观看| 少妇粗大呻吟视频| 黑丝袜美女国产一区| 亚洲一区高清亚洲精品| 777久久人妻少妇嫩草av网站| 午夜福利一区二区在线看| 国产野战对白在线观看| 国产精品 国内视频| 91老司机精品| 侵犯人妻中文字幕一二三四区| 18禁国产床啪视频网站| 午夜精品在线福利| 搡老熟女国产l中国老女人| 亚洲欧美日韩无卡精品| 91av网站免费观看| 亚洲欧洲精品一区二区精品久久久| 欧美亚洲日本最大视频资源| 免费高清在线观看日韩| 欧美中文综合在线视频| 亚洲成人免费电影在线观看| 欧美日韩中文字幕国产精品一区二区三区 | 国产黄a三级三级三级人| 久久久精品国产亚洲av高清涩受| 欧美 亚洲 国产 日韩一| 1024香蕉在线观看| 久99久视频精品免费| 欧美乱色亚洲激情| 国产蜜桃级精品一区二区三区| 亚洲色图 男人天堂 中文字幕| 看黄色毛片网站| 久久亚洲精品不卡| 国产欧美日韩综合在线一区二区| 一级毛片女人18水好多| 国产午夜福利久久久久久| 亚洲精品久久成人aⅴ小说| 精品国产乱码久久久久久男人| 无人区码免费观看不卡| 国产真人三级小视频在线观看| 亚洲黑人精品在线| 国产日韩一区二区三区精品不卡| 大型黄色视频在线免费观看| 满18在线观看网站| 淫妇啪啪啪对白视频| 久久国产乱子伦精品免费另类| 免费搜索国产男女视频| 丁香六月欧美| 99re在线观看精品视频| 真人一进一出gif抽搐免费| 欧美 亚洲 国产 日韩一| 深夜精品福利| 女人精品久久久久毛片| 一级黄色大片毛片| 久久久精品欧美日韩精品| 国产精品秋霞免费鲁丝片| www日本在线高清视频| 丰满的人妻完整版| 日韩一卡2卡3卡4卡2021年| 在线观看免费视频日本深夜| 国产成人精品在线电影| 午夜久久久在线观看| 亚洲专区中文字幕在线| 狠狠狠狠99中文字幕| 欧美一级a爱片免费观看看 | 欧美成人一区二区免费高清观看 | 窝窝影院91人妻| av欧美777| 欧美日韩一级在线毛片| 亚洲激情在线av| 一级作爱视频免费观看| 色老头精品视频在线观看| 国产欧美日韩精品亚洲av| 久久久久精品国产欧美久久久| 黄色丝袜av网址大全| 欧美一区二区精品小视频在线| av超薄肉色丝袜交足视频| 黑人操中国人逼视频| 在线永久观看黄色视频| 亚洲成国产人片在线观看| 天天躁夜夜躁狠狠躁躁| 午夜福利视频1000在线观看 | 人人妻人人爽人人添夜夜欢视频| 国产99白浆流出| 欧美日韩乱码在线| 国产99久久九九免费精品| 久久精品aⅴ一区二区三区四区| 久久久精品国产亚洲av高清涩受| 中文亚洲av片在线观看爽| 性色av乱码一区二区三区2| 精品国内亚洲2022精品成人| 国产不卡一卡二| 三级毛片av免费| 亚洲专区国产一区二区| 久久久精品欧美日韩精品| 最新美女视频免费是黄的| 国产xxxxx性猛交| 免费在线观看亚洲国产| 悠悠久久av| 男人的好看免费观看在线视频 | 岛国视频午夜一区免费看| 成年女人毛片免费观看观看9| 亚洲成人久久性| 久久九九热精品免费| 久久精品亚洲熟妇少妇任你| 亚洲无线在线观看| av天堂久久9| 国产高清激情床上av| 久久草成人影院| 女人高潮潮喷娇喘18禁视频| 欧美人与性动交α欧美精品济南到| 一边摸一边抽搐一进一出视频| 极品教师在线免费播放| 国产99久久九九免费精品| 亚洲视频免费观看视频| 性欧美人与动物交配| 神马国产精品三级电影在线观看 | 一边摸一边抽搐一进一出视频| 亚洲狠狠婷婷综合久久图片| 亚洲欧美日韩高清在线视频| 宅男免费午夜| √禁漫天堂资源中文www| 久久人人精品亚洲av| 国产成人av教育| 亚洲一区二区三区色噜噜| 欧美成人一区二区免费高清观看 | 人人澡人人妻人| 午夜福利一区二区在线看| av片东京热男人的天堂| 伊人久久大香线蕉亚洲五| 一本久久中文字幕| 又紧又爽又黄一区二区| 99国产综合亚洲精品| 午夜免费鲁丝| 久久精品国产亚洲av香蕉五月| 欧美一级毛片孕妇| 18禁观看日本| 操出白浆在线播放| 国产一区二区三区视频了| 国产亚洲av嫩草精品影院| 精品国产亚洲在线| 欧美成人一区二区免费高清观看 | 无限看片的www在线观看| 宅男免费午夜| 一进一出抽搐动态| 亚洲专区国产一区二区| av超薄肉色丝袜交足视频| 成人精品一区二区免费| 亚洲国产精品sss在线观看| 亚洲欧美激情综合另类| 日本免费一区二区三区高清不卡 | 免费无遮挡裸体视频| 久久久久久久精品吃奶| 亚洲一区中文字幕在线| 国产成人精品久久二区二区91| 欧美性长视频在线观看| 久久精品国产亚洲av高清一级| 亚洲va日本ⅴa欧美va伊人久久| 色综合站精品国产| 久久久久久久久中文| 成人亚洲精品一区在线观看| 亚洲精品av麻豆狂野| 久久久久久国产a免费观看| 中文字幕av电影在线播放| 欧美激情极品国产一区二区三区| 亚洲精品av麻豆狂野| www.999成人在线观看| 丁香六月欧美| 久久久久久大精品| 9191精品国产免费久久| 亚洲人成77777在线视频| 精品卡一卡二卡四卡免费| 国产三级黄色录像| 国产精品电影一区二区三区| 99热这里只有是精品在线观看| 欧美+亚洲+日韩+国产|