• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種適用于Docker Swarm集群的調(diào)度策略和算法

    2017-06-29 12:00:35馬曉光劉釗遠(yuǎn)
    計算機(jī)應(yīng)用與軟件 2017年5期
    關(guān)鍵詞:靜態(tài)容器集群

    馬曉光 劉釗遠(yuǎn)

    (西安郵電大學(xué)計算機(jī)學(xué)院 陜西 西安 710061)

    一種適用于Docker Swarm集群的調(diào)度策略和算法

    馬曉光 劉釗遠(yuǎn)

    (西安郵電大學(xué)計算機(jī)學(xué)院 陜西 西安 710061)

    Swarm是基于Docker容器的集群管理工具。通過分析研究Swarm整體架構(gòu)和調(diào)度策略,針對集群的資源碎片問題和負(fù)載均衡問題,提出一種靜態(tài)平衡和動態(tài)預(yù)測相結(jié)合的容器調(diào)度算法。通過測試,該算法能夠減少集群的靜態(tài)資源碎片,提高集群資源的利用率,并能維持集群的負(fù)載均衡。

    云計算 資源碎片 負(fù)載均衡 Docker容器 Swarm

    0 引 言

    Docker[1-4]自開源以來,就受到了廣泛的關(guān)注和討論,由于眾多新穎的特性以及項目本身的開放性,Docker迅速獲得包括Google、Microsoft、VMware等業(yè)界行業(yè)領(lǐng)導(dǎo)者的青睞,并對其提供支持。Docker公司隨之迎來了巨大的發(fā)展機(jī)遇,并在2014年12月發(fā)布了原生態(tài)容器集群管理工具Swarm。Swarm基于Go語言進(jìn)行開發(fā),用于管理Docker集群,使Docker集群對于用戶而言當(dāng)于一個虛擬的整體。

    Docker在云生態(tài)中占有重要地位, Swarm在云架構(gòu)PaaS(平臺及服務(wù))/IaaS(基礎(chǔ)設(shè)施及服務(wù))層中也占有重要地位。Swarm主要完成的工作是:根據(jù)調(diào)度策略將容器運行在合適的節(jié)點上,由于節(jié)點上運行容器的不同,其資源利用率也有所差別。而每個節(jié)點的資源利用率又決定了整個集群的負(fù)載情況。因此,集群調(diào)度策略的優(yōu)略就顯得尤為重要。

    不同的容器需求不同維度的資源,當(dāng)一個節(jié)點任意維度的資源耗盡時,如果有多維資源需求的容器被啟動,那么該節(jié)點將不能滿足創(chuàng)建容器的需求,也就不能運行此容器。在這種情況下,其他維度的剩余資源就被閑置了下來,而這些未被利用的資源就稱為資源碎片[5-6],這是一種極大的浪費。所以,就需要減少資源碎片的大小。同時,集群整體負(fù)載的均衡情況決定了集群在服務(wù)時的整體表現(xiàn),為了提高集群的服務(wù)質(zhì)量,需要保證整個集群的負(fù)載均衡。

    本文分析研究了Swarm的整體架構(gòu)和調(diào)度策略,提出一種靜態(tài)平衡和動態(tài)預(yù)測相結(jié)合的容器調(diào)度算法。通過測試,本算法能夠減少節(jié)點的靜態(tài)資源碎片,維持整個集群的負(fù)載均衡。

    1 Swarm集群框架與調(diào)度策略

    1.1 Swarm架構(gòu)

    Swarm采用了C/S架構(gòu),Swarm主要架構(gòu)如圖1所示。

    圖1 Swarm架構(gòu)

    Docekr Client是客戶端,負(fù)責(zé)發(fā)送指令,Swarm master是服務(wù)器端,負(fù)責(zé)管理整個集群。Swarm集群分為Swarm Node和Docker Node。

    Swarm master運行在Swarm node上,主要工作是完成調(diào)度任務(wù)和管理集群。用戶通過Swarm Client初始化集群各個模塊并管理集群,discovery模塊負(fù)責(zé)發(fā)現(xiàn)集群的節(jié)點并收集信息,scheduler模塊負(fù)責(zé)容器請求的調(diào)度任務(wù),Cluster API定義了集群接口,是實際任務(wù)的完成者,leadship是Swarm的HA(高可用性)機(jī)制。

    Docker Node是指運行Docker Daemon的節(jié)點。Docker Daemon根據(jù)Swarm master的任務(wù)啟動相應(yīng)容器。Docker Node通過Swarm Agent向管理節(jié)點注冊信息,以便管理節(jié)點在執(zhí)行任務(wù)的時候可以發(fā)現(xiàn)該節(jié)點。

    1.2 Swarm調(diào)度策略及資源碎片問題

    Swarm的scheduler模塊分為filter組件和strategy組件。filter組件通過標(biāo)簽對節(jié)點進(jìn)行過濾。用戶在創(chuàng)建集群時,需要根據(jù)節(jié)點的不同功能給與節(jié)點不同的標(biāo)簽,用戶一旦啟動容器,scheduler會根據(jù)用戶提供的標(biāo)簽,過濾出匹配標(biāo)簽的節(jié)點集合供strategy組件處理。

    strategy組件對集群提供邏輯調(diào)度功能。主要有以下三種策略:spread、binpack和random。用戶選擇的策略將會決定集群如何計算節(jié)點的權(quán)重,集群默認(rèn)使用spread策略。其中random策略用來對程序進(jìn)行測試,僅對節(jié)點進(jìn)行隨機(jī)選擇;spread和binpack策略首先計算節(jié)點的權(quán)重,然后選擇合適的節(jié)點運行容器。

    節(jié)點權(quán)重的計算策略為:首先根據(jù)用戶申請的容器配制信息計算CPU和內(nèi)存的利用率,并將其結(jié)果求和,隨后,spread策略會優(yōu)先選擇權(quán)重小的節(jié)點運行容器,而binpack會優(yōu)先選擇權(quán)重大的節(jié)點運行容器。前者的優(yōu)點是,如果節(jié)點出現(xiàn)故障,將會損失少量的容器。后者的優(yōu)點是將更多的容器運行在較少的機(jī)器上,節(jié)省物理資源。

    盡管swarm調(diào)度策略簡單而有效,但是其忽略了一個重要問題,資源碎片問題。由于不同的容器需求不同維度的資源,當(dāng)一個節(jié)點的任意維度資源耗盡時,如果有多維資源需求的容器被啟動,那么該節(jié)點將不能滿足創(chuàng)建容器的需求,也就不能運行此容器。在這種情況下,其他維度的剩余資源就被閑置了下來,而這些未被利用的資源就被稱為資源碎片,這是一種極大的浪費。所以就需要減少資源碎片的大小來提高節(jié)點的資源利用率。

    同時Swarm在計算節(jié)點優(yōu)先級時,由于計算方法的簡單,隨著集群的規(guī)模的擴(kuò)大,就會產(chǎn)生相同優(yōu)先級的節(jié)點。現(xiàn)有的容器調(diào)度策略只是對相同優(yōu)先級的節(jié)點進(jìn)行了隨機(jī)的分配,并沒有對相同優(yōu)先級節(jié)點進(jìn)行再次比較,但是,容器在運行時是動態(tài)地申請節(jié)點上的資源,這會造成在實際運行環(huán)境中,集群負(fù)載的不均衡。由于集群整體負(fù)載的均衡情況決定了集群在服務(wù)時的整體表現(xiàn),相同優(yōu)先級節(jié)點的資源負(fù)載并不相同,因此,用戶體驗也不相同,這就降低了集群提供服務(wù)的質(zhì)量。

    2 Swarm調(diào)度策略的優(yōu)化

    根據(jù)上述情況,本文提出了靜態(tài)資源平衡和動態(tài)資源預(yù)測的策略對Swarm調(diào)度策略進(jìn)行優(yōu)化。

    2.1 靜態(tài)資源平衡策略

    多維資源的存在引發(fā)了資源碎片的問題。由1.2節(jié)可知,在一個滿負(fù)載的節(jié)點上,資源碎片顯然存在,節(jié)點資源分配是否平衡則關(guān)系到資源碎片的大小。為了減小資源碎片,需要改進(jìn)Swarm現(xiàn)有調(diào)度策略,在集群分配容器時,需要度量容器分配后多維資源的平衡情況,從而選擇平衡情況最好的節(jié)點啟動容器。

    2.2 動態(tài)資源調(diào)度策略

    雖然靜態(tài)資源平衡策略考慮了靜態(tài)資源碎片的問題。但是,并沒有考慮資源動態(tài)的變化問題,容易造成集群負(fù)載不均的情況。因此,根據(jù)這種情況,需要在靜態(tài)平衡策略的基礎(chǔ)上增加動態(tài)調(diào)度策略作為補(bǔ)充。分析Swarm整體架構(gòu),其中并沒有提供動態(tài)收集節(jié)點信息的模塊,這就需要增加此模塊實現(xiàn)動態(tài)資源調(diào)度策略,修改后Swarm框架如圖2所示。

    圖2 動態(tài)資源調(diào)度框架

    首先在Swarm中添加receiver模塊,供scheduler模塊調(diào)用,receiver模塊用來接收monitor模塊傳輸?shù)墓?jié)點實時預(yù)測信息。monitor模塊運行在每個節(jié)點上,實時監(jiān)控節(jié)點多維資源的使用情況。由于每個節(jié)點資源使用情況會隨著時間產(chǎn)生不同的波動。僅僅提供當(dāng)前節(jié)點信息并不能代表節(jié)點資源的實際使用情況。所以需要研究監(jiān)控節(jié)點的變化趨勢和時間關(guān)系,可以有效地預(yù)測出未來節(jié)點的資源使用情況,完成調(diào)度功能。

    3 算法的設(shè)計與實現(xiàn)

    3.1 優(yōu)化調(diào)度算法的設(shè)計流程

    總結(jié)上述策略,本文提出靜態(tài)動態(tài)相結(jié)合和的優(yōu)化調(diào)度算法,該算法流程如圖3所示。

    圖3 優(yōu)化調(diào)度算法流程

    (1) scheduler模塊獲取申請容器的配制信息。

    (2) 靜態(tài)資源平衡算法計算靜態(tài)權(quán)值。

    (3) receiver模塊獲取monitor模塊動態(tài)預(yù)測的節(jié)點的信息。

    (4) scheduler模塊獲取receiver模塊的節(jié)點信息,計算動態(tài)權(quán)值。

    (5) scheduler模塊根據(jù)靜態(tài)權(quán)值對節(jié)點排序。

    (6) scheduler模塊對靜態(tài)權(quán)值相等的節(jié)點根據(jù)動態(tài)權(quán)值進(jìn)行二次排序。

    (7) scheduler模塊選擇權(quán)值最小的節(jié)點分配容器。

    3.2 靜態(tài)資源平衡算法

    這里通過計算CPU資源和內(nèi)存資源之間的方差來度量節(jié)點資源的平衡情況。因為方差度量了一組數(shù)據(jù)的離散程度。方差越小代表這組數(shù)據(jù)越穩(wěn)定,反之,則越不穩(wěn)定。

    靜態(tài)資源平衡算法如下:

    設(shè)節(jié)點的資源維度為D[1,2,…,d],節(jié)點已分配的資源為U[u1,u2…,ud],節(jié)點的資源總量為T[t1,t2,…,td],節(jié)點即將分配的資源為P[p1,p2,…,pd],節(jié)點的資源利用率R[r1,r2,…,rd]。

    當(dāng)用戶向集群申請一個容器。首先集群調(diào)度模塊獲取容器的配制信息,使用式(1)計算出每個節(jié)點在分配此容器后的靜態(tài)資源利用率。

    (1)

    然后使用式(2)計算每個節(jié)點的平均資源利用率:

    (2)

    最后使用式(3)計算每個節(jié)點的CPU資源和內(nèi)存資源的方差S2,方差即為節(jié)點的靜態(tài)權(quán)值:

    (3)

    3.3 動態(tài)資源調(diào)度算法

    1) 預(yù)測模型的選取

    在選取預(yù)測算法時,需要考慮預(yù)測模型是否能夠反映節(jié)點負(fù)載的真實情況,同時又要求算法應(yīng)具有較小的時間復(fù)雜度[7]。由于Swarm是基于Docker的原生態(tài)集群,其Docker輕量級和便攜性的優(yōu)勢在Swarm中體現(xiàn)的非常突出。通過綜合考量,應(yīng)該避免使用時間復(fù)雜度高的高次曲線對節(jié)點負(fù)載情況進(jìn)行模擬,以免過度消耗集群的整體資源,削弱Swarm集群的整體表現(xiàn)?;谏鲜鲈颍疚牟捎没疑P虶M(1,1)[8-9]對節(jié)點的狀態(tài)變化進(jìn)行模擬預(yù)測。

    灰色系統(tǒng)理論是鄧聚龍在1982年創(chuàng)立的一門新興橫斷學(xué)科,它以“部分信息已知,部分信息未知”的“小樣本”、“貧信息”不確定性系統(tǒng)為研究對象,主要通過對部分已知信息的生成、開發(fā),提取有價值的信息,實現(xiàn)對系統(tǒng)運行規(guī)律的正確認(rèn)識和確切描述,并據(jù)以進(jìn)行科學(xué)預(yù)測。其主要優(yōu)點包括以下幾點:需求樣本量小,樣本不需要有規(guī)律性分布,計算工作量小,定量分析結(jié)果與定性分析結(jié)果一致,預(yù)測準(zhǔn)確度高。

    2) 基于灰色模型的節(jié)點負(fù)載預(yù)測

    由于Swarm原有調(diào)度策略中只計算了CPU和內(nèi)存兩個維度的資源,因此這里假設(shè)節(jié)點的CPU利用率為Uc,內(nèi)存利用率為Um。首先通過monitor獲得節(jié)點的前n時刻的Uc={Uc(1),Uc(2),…,Uc(n)}和Um={Um(1),Um(2),…,Um(n)}后,采用GM(1,1)預(yù)測算法模擬,然后對n+1時刻的Uc和Um值進(jìn)行預(yù)測。計算方法如下:

    步驟1 設(shè)時間序列x(0)={x(0)(1),x(0)(2),…,x(0)(n)}有n個原始值,使用式(4)通過一次累加生成新的序列x(1)={x(1)(1),x(1)(2),…,x(1)(n)}:

    (4)

    根據(jù)灰色預(yù)測方法,得出GM(1,1)模型相應(yīng)的微分方程為式(5):

    (5)

    其中,α稱為發(fā)展灰數(shù);μ稱為內(nèi)生成控制灰數(shù)。

    (6)

    (7)

    Y=(x(0)(2),x(0)(3),…,x0(n))T

    (8)

    步驟3 求解微分方程,根據(jù)式(9)即可得預(yù)測模型:

    (9)

    步驟4 根據(jù)式(10)對預(yù)測模型值累減,得到預(yù)測值:

    (10)

    步驟5 精度檢驗,根據(jù)式(11)計算原始數(shù)據(jù)和預(yù)測數(shù)據(jù)的相對殘差:

    (11)

    3) 基于灰色模型的動態(tài)資源調(diào)度算法

    步驟1 獲得當(dāng)前的CPU和內(nèi)存利用率的時間序列x(0),并根據(jù)式(4)對其進(jìn)行一次累加計算,得到一次處理的數(shù)據(jù)序列x(1)。

    步驟2 根據(jù)B和Y的計算公式(式(7)和式(8)),形成B矩陣和Y矩陣。

    步驟3 對B和Y矩陣進(jìn)行矩陣運算,根據(jù)式(6)求出發(fā)展灰數(shù)α和內(nèi)生控制灰數(shù)μ。

    步驟6 根據(jù)式(11)對預(yù)測模型進(jìn)行殘差檢驗,評估模型是否達(dá)到要求。

    步驟7 對n+1時間節(jié)點的CPU和內(nèi)存預(yù)測值求和得出節(jié)點的動態(tài)權(quán)值。

    4 實驗設(shè)計及結(jié)果分析

    本實驗搭建2個Swarm集群,集群1使用Swarm1.0.1搭建,集群2使用修改后的Swarm1.01源碼包重新編譯并搭建。每個集群由3臺普通PC組成。其組成如表1所示。

    表1 集群配制

    由于實驗條件限制,現(xiàn)設(shè)計實驗如下:

    實驗一 對兩個Swarm集群申請如表2序列容器。集群1算法為Swarm原算法,集群2算法為靜態(tài)資源平衡算法。每個集群容器的運行情況如表3所示。

    表2 容器申請序列

    表3 容器運行對比結(jié)果

    圖4 集群資源碎片對比圖

    由圖4可知,集群2中的靜態(tài)資源碎片相比集群1有明顯下降,由表3可知,集群2相比集群1可以多運行一個維度為[1,2]的容器。改進(jìn)算法能夠減少靜態(tài)資源碎片,增加資源的利用率。

    實驗二 為方便計算,本文定義動態(tài)資源度量單位S=(Uc+Um)×100。每個節(jié)點的初始狀態(tài)如表4所示。

    表4 節(jié)點初始狀態(tài)

    本實驗通過在集群2上增加動態(tài)預(yù)測算法和靜態(tài)資源平衡算法作比較,表5為每個節(jié)點的運行容器的情況。本文通過模擬程序給予node1中單核滿負(fù)載,其他節(jié)點為初始狀態(tài)。同時,給予容器1、3和5號容器CPU滿載,2號容器CPU滿載并使用1GB的內(nèi)存,容器運行情況如表5所示。

    表5 容器運行對比結(jié)果

    集群負(fù)載對比情況如圖5所示。由圖5可知,靜態(tài)平衡算法會出現(xiàn)集群整體負(fù)載不均衡的情況,增加動態(tài)預(yù)測算法后,集群整體負(fù)載相對均衡。

    圖5 集群負(fù)載均衡對比圖

    總結(jié)上述實驗,優(yōu)化調(diào)度算法不僅可以減少集群的靜態(tài)資源碎片,提高資源利用率,而且可以均衡集群的動態(tài)負(fù)載。

    5 結(jié) 語

    Docker容器隨著其生態(tài)圈的完善,越來越受到大家的青睞。Swarm作為Docker的原生態(tài)集群管理工具也顯得更加重要。本文在分析Swarm集群框架和調(diào)度策略的基礎(chǔ)上,針對原有調(diào)度策略在解決靜態(tài)資源碎片問題上存在的不足,提出靜態(tài)平衡算法,并在此基礎(chǔ)上增加動態(tài)預(yù)測算法均衡集群的動態(tài)負(fù)載。實驗表明,優(yōu)化調(diào)度算法能改善集群資源碎片過多的問題,提高資源利用率,同時能夠均衡集群的動態(tài)負(fù)載。

    [1] 楊保華,戴王劍,曹亞侖.Docker技術(shù)入門與實戰(zhàn)[M].北京:機(jī)械工業(yè)出版社,2015.

    [2] 孫宏亮.Docker源碼分析[M].北京:機(jī)械工業(yè)出版社,2015.

    [3]LiuD,ZhaoL.Theresearchandimplementationofcloudcomputingplatformbasedondocker[C]//2014 11thInternationalComputerConferenceonWaveletActiveMediaTechnologyandInformationProcessing,2014:475-478.

    [4]BernsteinD.Containersandcloud:fromLXCtoDockertoKubernetes[J].IEEECloudComputing,2014,1(3):81-84.

    [5]HuangW,LiX,QianZ.Anenergyefficientvirtualmachineplacementalgorithmwithbalancedresourceutilization[C]//2013SeventhInternationalConferenceonInnovativeMobileandInternetServicesinUbiquitousComputing(IMIS),2013:313-319.

    [6]TsengHW,WuRY,ChangTS.AneffectiveVMmigrationschemeforreducingresourcefragmentsinclouddatacenters[C]//Proceedingsofthe2014ConferenceonResearchinAdaptiveandConvergentSystems,2014:320-325.

    [7] 李丹程,王曉晨,宋曉雪,等.基于OpenStack的資源負(fù)載預(yù)測方法研究[J].計算機(jī)應(yīng)用研究,2014,31(7):2178-2182.

    [8] 段峰,楊芬.灰色預(yù)測模型的研究及應(yīng)用[J].湘南學(xué)院學(xué)報,2008,29(2):17-21.

    [9] 郭正紅,馬辛華,蘭安怡.基于層次分析法權(quán)重和灰色服務(wù)器負(fù)載預(yù)測的云計算on-line遷移策略[J].計算機(jī)測量與控制,2015,23(3):1002-1004,1007.

    A SCHEDULING STRATEGY AND ALGORITHM FOR DOCKER SWARM CLUSTER

    Ma Xiaoguang Liu Zhaoyuan

    (SchoolofComputerScience,Xi’anUniversityofPostsandTelecommunications,Xi’an710061,Shaanxi,China)

    Swarm is a cluster management tool based on the Docker container. Aiming at the problem of resource fragment and load balancing of cluster, container scheduling algorithm combining static balance and dynamic prediction is proposed by analyzing the overall structure and scheduling strategy of Swarm. Through testing, the algorithm can reduce the static resource fragment of the cluster, improve the utilization rate of the cluster resource, and maintain the cluster load balance.

    Cloud computing Resource fragment Load balancing Docker container Swarm

    2016-05-18。馬曉光,碩士生,主研領(lǐng)域:計算機(jī)技術(shù)。劉釗遠(yuǎn),教授。

    TP338.8

    A

    10.3969/j.issn.1000-386x.2017.05.049

    猜你喜歡
    靜態(tài)容器集群
    Different Containers不同的容器
    靜態(tài)隨機(jī)存儲器在軌自檢算法
    難以置信的事情
    海上小型無人機(jī)集群的反制裝備需求與應(yīng)對之策研究
    一種無人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計
    電子制作(2018年11期)2018-08-04 03:25:40
    Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用
    勤快又呆萌的集群機(jī)器人
    取米
    機(jī)床靜態(tài)及動態(tài)分析
    具7μA靜態(tài)電流的2A、70V SEPIC/升壓型DC/DC轉(zhuǎn)換器
    一级毛片精品| 高清在线国产一区| 国内精品一区二区在线观看| 精品一区二区三区视频在线观看免费| av国产免费在线观看| 九九热线精品视视频播放| 啪啪无遮挡十八禁网站| 国产v大片淫在线免费观看| 天堂av国产一区二区熟女人妻| 成人特级黄色片久久久久久久| 中文字幕人成人乱码亚洲影| 一个人观看的视频www高清免费观看 | 免费在线观看亚洲国产| 国产高清三级在线| xxx96com| 国产高清三级在线| 国产激情偷乱视频一区二区| 搡老熟女国产l中国老女人| 国产av一区在线观看免费| 桃色一区二区三区在线观看| 人妻久久中文字幕网| 欧美成人免费av一区二区三区| 国产 一区 欧美 日韩| 久久久精品大字幕| 国产成人精品久久二区二区免费| 亚洲专区字幕在线| 看黄色毛片网站| 亚洲午夜精品一区,二区,三区| av天堂中文字幕网| 每晚都被弄得嗷嗷叫到高潮| 国内少妇人妻偷人精品xxx网站 | 亚洲欧美激情综合另类| 久久草成人影院| 国产精品久久电影中文字幕| 精品国内亚洲2022精品成人| 啦啦啦观看免费观看视频高清| 久久热在线av| av黄色大香蕉| svipshipincom国产片| 99热这里只有是精品50| 制服人妻中文乱码| 亚洲成a人片在线一区二区| 蜜桃久久精品国产亚洲av| 91老司机精品| 亚洲中文日韩欧美视频| 超碰成人久久| av福利片在线观看| 午夜视频精品福利| 精品人妻1区二区| 好男人电影高清在线观看| 无遮挡黄片免费观看| 国产精品久久久人人做人人爽| 亚洲精品美女久久av网站| 国产成人福利小说| 叶爱在线成人免费视频播放| a在线观看视频网站| 熟女少妇亚洲综合色aaa.| 色老头精品视频在线观看| 精华霜和精华液先用哪个| 一夜夜www| 少妇的丰满在线观看| 欧美日韩国产亚洲二区| 久久精品国产亚洲av香蕉五月| 欧美黑人巨大hd| 日韩欧美在线二视频| 白带黄色成豆腐渣| 久久久久久久久久黄片| 一进一出抽搐动态| 欧美日韩国产亚洲二区| 久久精品夜夜夜夜夜久久蜜豆| 99国产精品一区二区蜜桃av| 制服人妻中文乱码| 国产午夜福利久久久久久| 波多野结衣高清作品| 亚洲色图 男人天堂 中文字幕| 夜夜躁狠狠躁天天躁| 日本黄大片高清| 中文字幕人妻丝袜一区二区| 成人性生交大片免费视频hd| 搞女人的毛片| 日韩欧美一区二区三区在线观看| 日韩高清综合在线| 国内精品久久久久精免费| 亚洲一区二区三区色噜噜| 亚洲熟妇中文字幕五十中出| 非洲黑人性xxxx精品又粗又长| 午夜日韩欧美国产| 女人高潮潮喷娇喘18禁视频| 亚洲精品中文字幕一二三四区| 欧美一级毛片孕妇| 手机成人av网站| 国产精品av视频在线免费观看| 国模一区二区三区四区视频 | 亚洲精品色激情综合| 久久九九热精品免费| 怎么达到女性高潮| 免费看a级黄色片| 91av网站免费观看| 级片在线观看| 人妻夜夜爽99麻豆av| 亚洲精品粉嫩美女一区| 国产精品亚洲av一区麻豆| 国产免费男女视频| 精品国产美女av久久久久小说| 十八禁人妻一区二区| 高潮久久久久久久久久久不卡| 国产高潮美女av| 中文字幕熟女人妻在线| 欧美成人免费av一区二区三区| 黄色日韩在线| 久久精品影院6| 可以在线观看的亚洲视频| 人人妻人人看人人澡| 男女午夜视频在线观看| 色精品久久人妻99蜜桃| 久久精品影院6| 亚洲人成电影免费在线| 日韩国内少妇激情av| 久久精品夜夜夜夜夜久久蜜豆| 18禁裸乳无遮挡免费网站照片| 99热这里只有是精品50| 91字幕亚洲| 99国产综合亚洲精品| 国产69精品久久久久777片 | 精品一区二区三区视频在线 | 99国产极品粉嫩在线观看| 观看美女的网站| 日韩欧美在线二视频| 一区二区三区激情视频| 99国产综合亚洲精品| 一卡2卡三卡四卡精品乱码亚洲| 久久国产精品影院| 色综合站精品国产| 国产精品久久电影中文字幕| 久久精品人妻少妇| 日本 欧美在线| 亚洲在线观看片| 欧美+亚洲+日韩+国产| 免费观看人在逋| 国产精品永久免费网站| 999精品在线视频| 久久久国产精品麻豆| 成人鲁丝片一二三区免费| 亚洲午夜精品一区,二区,三区| 午夜免费观看网址| 熟女人妻精品中文字幕| 亚洲国产日韩欧美精品在线观看 | 国产精品爽爽va在线观看网站| 久久性视频一级片| 最新在线观看一区二区三区| 国产又黄又爽又无遮挡在线| 9191精品国产免费久久| 国产欧美日韩精品一区二区| 国产熟女xx| 国产爱豆传媒在线观看| 国产蜜桃级精品一区二区三区| 久久中文字幕一级| 丝袜人妻中文字幕| 桃色一区二区三区在线观看| 中文字幕久久专区| 少妇熟女aⅴ在线视频| 日本黄大片高清| 国产精品久久久人人做人人爽| 国模一区二区三区四区视频 | 一夜夜www| 级片在线观看| 在线视频色国产色| 久久久国产成人免费| 国产午夜精品论理片| 国产免费av片在线观看野外av| 1024手机看黄色片| 亚洲最大成人中文| 国产一区二区激情短视频| 欧美3d第一页| av在线蜜桃| 国产精品日韩av在线免费观看| 少妇的丰满在线观看| 国产亚洲精品久久久久久毛片| 亚洲国产欧美人成| 亚洲天堂国产精品一区在线| 精品久久久久久,| 亚洲精品久久国产高清桃花| 国产午夜精品论理片| 一进一出好大好爽视频| 久久久国产成人精品二区| 亚洲欧美精品综合一区二区三区| 麻豆国产97在线/欧美| 特大巨黑吊av在线直播| 日本黄大片高清| 制服丝袜大香蕉在线| 一本精品99久久精品77| 婷婷精品国产亚洲av在线| 久久亚洲真实| 国产午夜精品论理片| 欧美午夜高清在线| 国产成人欧美在线观看| 我的老师免费观看完整版| 亚洲国产欧洲综合997久久,| 久99久视频精品免费| 在线国产一区二区在线| 白带黄色成豆腐渣| 丰满人妻熟妇乱又伦精品不卡| 欧美日韩亚洲国产一区二区在线观看| 久久香蕉精品热| 成人特级av手机在线观看| 非洲黑人性xxxx精品又粗又长| 亚洲最大成人中文| 免费电影在线观看免费观看| 国产淫片久久久久久久久 | 精品久久久久久成人av| 亚洲人成网站在线播放欧美日韩| 男人舔奶头视频| 久久久久久久精品吃奶| 日本三级黄在线观看| 麻豆成人av在线观看| 床上黄色一级片| 国产单亲对白刺激| 激情在线观看视频在线高清| 久久这里只有精品中国| a级毛片在线看网站| 国产高清videossex| 曰老女人黄片| 国产av不卡久久| 国产亚洲欧美98| 亚洲人成网站在线播放欧美日韩| 久久久久久大精品| 精品99又大又爽又粗少妇毛片 | 欧美av亚洲av综合av国产av| 淫秽高清视频在线观看| 久99久视频精品免费| 日日夜夜操网爽| 大型黄色视频在线免费观看| 中文字幕人妻丝袜一区二区| 欧美乱妇无乱码| 两个人看的免费小视频| 精品福利观看| 欧美午夜高清在线| 欧美在线一区亚洲| 亚洲天堂国产精品一区在线| 亚洲人成网站在线播放欧美日韩| 国产精品一及| 男人的好看免费观看在线视频| 欧洲精品卡2卡3卡4卡5卡区| 午夜日韩欧美国产| 此物有八面人人有两片| 午夜福利免费观看在线| 深夜精品福利| 亚洲aⅴ乱码一区二区在线播放| 免费在线观看亚洲国产| 亚洲欧美日韩高清在线视频| 黄色成人免费大全| 欧美又色又爽又黄视频| 久久久久久国产a免费观看| 别揉我奶头~嗯~啊~动态视频| 中文字幕av在线有码专区| 免费av毛片视频| 色视频www国产| 国产一区二区三区视频了| 两个人视频免费观看高清| 一区二区三区国产精品乱码| 久久久水蜜桃国产精品网| 成人18禁在线播放| 日韩 欧美 亚洲 中文字幕| 国产精品美女特级片免费视频播放器 | 丰满的人妻完整版| 亚洲avbb在线观看| 午夜免费成人在线视频| 午夜激情福利司机影院| 国产极品精品免费视频能看的| av视频在线观看入口| 亚洲av片天天在线观看| 19禁男女啪啪无遮挡网站| 国内久久婷婷六月综合欲色啪| 亚洲真实伦在线观看| 欧美激情在线99| 啦啦啦观看免费观看视频高清| 午夜激情福利司机影院| 女人高潮潮喷娇喘18禁视频| 成人三级黄色视频| 搡老妇女老女人老熟妇| 法律面前人人平等表现在哪些方面| 曰老女人黄片| 88av欧美| 99精品久久久久人妻精品| 99国产精品99久久久久| 女人高潮潮喷娇喘18禁视频| 亚洲av第一区精品v没综合| 99久国产av精品| 一个人看的www免费观看视频| 一a级毛片在线观看| a在线观看视频网站| 久久国产精品人妻蜜桃| 亚洲国产高清在线一区二区三| 99精品欧美一区二区三区四区| 午夜精品久久久久久毛片777| 91在线观看av| 国产一区二区在线观看日韩 | 国产成人系列免费观看| bbb黄色大片| 亚洲中文字幕日韩| 国产精品久久久久久人妻精品电影| 91在线观看av| 最近视频中文字幕2019在线8| 免费观看精品视频网站| 久久精品影院6| 伦理电影免费视频| 草草在线视频免费看| 亚洲精品456在线播放app | 国内久久婷婷六月综合欲色啪| 亚洲国产精品999在线| 午夜激情福利司机影院| 亚洲av成人不卡在线观看播放网| 久99久视频精品免费| 亚洲中文字幕一区二区三区有码在线看 | 99久久精品一区二区三区| 色吧在线观看| 两个人看的免费小视频| 美女高潮喷水抽搐中文字幕| 伦理电影免费视频| 91麻豆精品激情在线观看国产| 亚洲精品456在线播放app | 99国产综合亚洲精品| 男插女下体视频免费在线播放| 精品99又大又爽又粗少妇毛片 | 草草在线视频免费看| 一本久久中文字幕| netflix在线观看网站| 色综合亚洲欧美另类图片| 在线看三级毛片| 成人欧美大片| 国产精品香港三级国产av潘金莲| 1024手机看黄色片| 国产亚洲精品av在线| 国产精品av视频在线免费观看| 毛片女人毛片| 91九色精品人成在线观看| 国内揄拍国产精品人妻在线| tocl精华| 熟妇人妻久久中文字幕3abv| 天堂动漫精品| 99久久综合精品五月天人人| 午夜福利在线观看免费完整高清在 | 国产精品野战在线观看| 老汉色av国产亚洲站长工具| 国产探花在线观看一区二区| 久久香蕉国产精品| 少妇的逼水好多| 19禁男女啪啪无遮挡网站| 最近最新中文字幕大全电影3| 黄色女人牲交| 级片在线观看| 88av欧美| 日日夜夜操网爽| 99在线人妻在线中文字幕| 亚洲av成人精品一区久久| 88av欧美| 国产欧美日韩精品一区二区| 综合色av麻豆| 无限看片的www在线观看| 黄色视频,在线免费观看| 在线观看舔阴道视频| 国产一区二区三区在线臀色熟女| 亚洲成av人片在线播放无| 久久久国产精品麻豆| 国产欧美日韩精品一区二区| or卡值多少钱| 国产午夜精品论理片| 叶爱在线成人免费视频播放| 天天一区二区日本电影三级| 欧美激情在线99| 曰老女人黄片| 99riav亚洲国产免费| 熟女电影av网| 后天国语完整版免费观看| 999精品在线视频| 真人一进一出gif抽搐免费| 国产99白浆流出| 十八禁人妻一区二区| 亚洲中文字幕日韩| 午夜精品久久久久久毛片777| 国产高潮美女av| 亚洲人成电影免费在线| 午夜免费成人在线视频| 国产v大片淫在线免费观看| av国产免费在线观看| 欧美极品一区二区三区四区| 国产蜜桃级精品一区二区三区| 黄色丝袜av网址大全| 色吧在线观看| 亚洲 欧美一区二区三区| 亚洲国产欧美人成| 国产亚洲精品一区二区www| 国产精品精品国产色婷婷| 韩国av一区二区三区四区| 免费一级毛片在线播放高清视频| 久久久水蜜桃国产精品网| 国产激情偷乱视频一区二区| 日本精品一区二区三区蜜桃| 一级毛片高清免费大全| 俄罗斯特黄特色一大片| 天天一区二区日本电影三级| 精品久久久久久久末码| 亚洲一区二区三区色噜噜| 最近在线观看免费完整版| ponron亚洲| 一进一出抽搐动态| 日韩成人在线观看一区二区三区| 欧美极品一区二区三区四区| 国产91精品成人一区二区三区| 国产又黄又爽又无遮挡在线| 变态另类丝袜制服| 好看av亚洲va欧美ⅴa在| 亚洲精品中文字幕一二三四区| 老熟妇乱子伦视频在线观看| 俺也久久电影网| 色哟哟哟哟哟哟| 成人性生交大片免费视频hd| 午夜福利18| 午夜福利成人在线免费观看| 丰满人妻一区二区三区视频av | 不卡av一区二区三区| 日韩av在线大香蕉| 亚洲精品在线美女| 狂野欧美白嫩少妇大欣赏| 亚洲精品在线观看二区| 久久久久国产一级毛片高清牌| 国产一区在线观看成人免费| 国产人伦9x9x在线观看| 国产欧美日韩精品亚洲av| 中文字幕高清在线视频| 久久香蕉国产精品| 免费观看精品视频网站| 欧美黄色片欧美黄色片| 亚洲国产精品成人综合色| 欧美成人性av电影在线观看| 精品一区二区三区av网在线观看| 国产高清激情床上av| 夜夜爽天天搞| 久久精品影院6| 校园春色视频在线观看| 日韩人妻高清精品专区| 午夜免费激情av| 国产精品一区二区三区四区免费观看 | aaaaa片日本免费| 日韩欧美 国产精品| 欧美成狂野欧美在线观看| 国产精品亚洲一级av第二区| 欧美成人性av电影在线观看| 一级毛片精品| 色吧在线观看| 真实男女啪啪啪动态图| 久久久久久久久久黄片| 久久国产精品人妻蜜桃| 国内揄拍国产精品人妻在线| 一卡2卡三卡四卡精品乱码亚洲| bbb黄色大片| 两个人看的免费小视频| 国产欧美日韩一区二区三| 国产久久久一区二区三区| 亚洲国产看品久久| 欧美黄色淫秽网站| 国产三级中文精品| 久久久色成人| 国内精品美女久久久久久| 99久久无色码亚洲精品果冻| 欧美日韩瑟瑟在线播放| 搡老岳熟女国产| 久久这里只有精品中国| 欧美3d第一页| 成人三级黄色视频| 99久国产av精品| 日本与韩国留学比较| 亚洲人与动物交配视频| 精品国产超薄肉色丝袜足j| 日韩高清综合在线| 亚洲国产精品合色在线| 久久久精品欧美日韩精品| 99热这里只有是精品50| 99热只有精品国产| 精品一区二区三区av网在线观看| 国产精品免费一区二区三区在线| 男女那种视频在线观看| 国产高清视频在线观看网站| 免费观看精品视频网站| 亚洲精品美女久久久久99蜜臀| 久久久久久久久免费视频了| 国产精品一及| 欧美另类亚洲清纯唯美| 一a级毛片在线观看| 午夜福利成人在线免费观看| 热99在线观看视频| 黄色丝袜av网址大全| 久久99热这里只有精品18| www.熟女人妻精品国产| 男女下面进入的视频免费午夜| 欧美3d第一页| 国产三级在线视频| 热99re8久久精品国产| 久久久久久九九精品二区国产| 国产精华一区二区三区| 夜夜看夜夜爽夜夜摸| 免费观看的影片在线观看| 一级黄色大片毛片| 亚洲无线在线观看| 五月玫瑰六月丁香| 校园春色视频在线观看| 巨乳人妻的诱惑在线观看| 91麻豆av在线| 啦啦啦免费观看视频1| 亚洲第一欧美日韩一区二区三区| 亚洲美女黄片视频| 欧美3d第一页| 国产高清视频在线播放一区| 国产淫片久久久久久久久 | 热99在线观看视频| 精品午夜福利视频在线观看一区| 亚洲国产精品sss在线观看| 国产69精品久久久久777片 | 国产日本99.免费观看| 欧美又色又爽又黄视频| 国产视频内射| 人人妻,人人澡人人爽秒播| 久久这里只有精品19| av天堂在线播放| 成年免费大片在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 女人被狂操c到高潮| 无遮挡黄片免费观看| 亚洲一区高清亚洲精品| 午夜影院日韩av| 91麻豆av在线| 少妇丰满av| svipshipincom国产片| 久久久成人免费电影| 国产高清videossex| 88av欧美| 国产精品野战在线观看| 国产精品爽爽va在线观看网站| 搡老熟女国产l中国老女人| 18禁美女被吸乳视频| 成年版毛片免费区| 十八禁人妻一区二区| 国产99白浆流出| 精品熟女少妇八av免费久了| 亚洲av成人不卡在线观看播放网| 两人在一起打扑克的视频| 午夜影院日韩av| 法律面前人人平等表现在哪些方面| 国产三级黄色录像| 老司机在亚洲福利影院| 非洲黑人性xxxx精品又粗又长| 久久久成人免费电影| 欧美日本视频| 黄片大片在线免费观看| 美女大奶头视频| 欧美最黄视频在线播放免费| 最近最新中文字幕大全免费视频| 麻豆久久精品国产亚洲av| 一卡2卡三卡四卡精品乱码亚洲| 国产一区二区激情短视频| 免费av不卡在线播放| 很黄的视频免费| 美女黄网站色视频| 日本熟妇午夜| 国产亚洲av嫩草精品影院| 天天躁狠狠躁夜夜躁狠狠躁| 看免费av毛片| 母亲3免费完整高清在线观看| 此物有八面人人有两片| 最近最新中文字幕大全电影3| 午夜亚洲福利在线播放| 欧美日韩黄片免| 欧美极品一区二区三区四区| 欧美性猛交黑人性爽| 一级黄色大片毛片| 国产精品亚洲av一区麻豆| 久久精品影院6| 国产精品99久久99久久久不卡| 免费在线观看亚洲国产| 亚洲精品色激情综合| 岛国在线观看网站| 国产成人一区二区三区免费视频网站| 色综合亚洲欧美另类图片| 国产成+人综合+亚洲专区| 午夜精品在线福利| 中文字幕人成人乱码亚洲影| 久久久久久久久中文| 午夜福利视频1000在线观看| 日韩 欧美 亚洲 中文字幕| 看片在线看免费视频| 亚洲精品久久国产高清桃花| 精品久久久久久,| 美女被艹到高潮喷水动态| 免费看十八禁软件| 搡老岳熟女国产| 波多野结衣巨乳人妻| 午夜福利视频1000在线观看| 国产又色又爽无遮挡免费看| 欧美高清成人免费视频www| 一本一本综合久久| 久久精品夜夜夜夜夜久久蜜豆| 在线观看舔阴道视频| 最近在线观看免费完整版| 黄色女人牲交| 一个人看视频在线观看www免费 | 真人做人爱边吃奶动态| 这个男人来自地球电影免费观看| 亚洲欧美日韩无卡精品| 麻豆一二三区av精品| 免费观看的影片在线观看| 一区福利在线观看| 国产午夜精品论理片| 在线观看免费午夜福利视频| 国产私拍福利视频在线观看| 久久久久国产精品人妻aⅴ院|