• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種適用于Docker Swarm集群的調(diào)度策略和算法

    2017-06-29 12:00:35馬曉光劉釗遠(yuǎn)
    計算機(jī)應(yīng)用與軟件 2017年5期
    關(guān)鍵詞:靜態(tài)容器集群

    馬曉光 劉釗遠(yuǎn)

    (西安郵電大學(xué)計算機(jī)學(xué)院 陜西 西安 710061)

    一種適用于Docker Swarm集群的調(diào)度策略和算法

    馬曉光 劉釗遠(yuǎn)

    (西安郵電大學(xué)計算機(jī)學(xué)院 陜西 西安 710061)

    Swarm是基于Docker容器的集群管理工具。通過分析研究Swarm整體架構(gòu)和調(diào)度策略,針對集群的資源碎片問題和負(fù)載均衡問題,提出一種靜態(tài)平衡和動態(tài)預(yù)測相結(jié)合的容器調(diào)度算法。通過測試,該算法能夠減少集群的靜態(tài)資源碎片,提高集群資源的利用率,并能維持集群的負(fù)載均衡。

    云計算 資源碎片 負(fù)載均衡 Docker容器 Swarm

    0 引 言

    Docker[1-4]自開源以來,就受到了廣泛的關(guān)注和討論,由于眾多新穎的特性以及項目本身的開放性,Docker迅速獲得包括Google、Microsoft、VMware等業(yè)界行業(yè)領(lǐng)導(dǎo)者的青睞,并對其提供支持。Docker公司隨之迎來了巨大的發(fā)展機(jī)遇,并在2014年12月發(fā)布了原生態(tài)容器集群管理工具Swarm。Swarm基于Go語言進(jìn)行開發(fā),用于管理Docker集群,使Docker集群對于用戶而言當(dāng)于一個虛擬的整體。

    Docker在云生態(tài)中占有重要地位, Swarm在云架構(gòu)PaaS(平臺及服務(wù))/IaaS(基礎(chǔ)設(shè)施及服務(wù))層中也占有重要地位。Swarm主要完成的工作是:根據(jù)調(diào)度策略將容器運行在合適的節(jié)點上,由于節(jié)點上運行容器的不同,其資源利用率也有所差別。而每個節(jié)點的資源利用率又決定了整個集群的負(fù)載情況。因此,集群調(diào)度策略的優(yōu)略就顯得尤為重要。

    不同的容器需求不同維度的資源,當(dāng)一個節(jié)點任意維度的資源耗盡時,如果有多維資源需求的容器被啟動,那么該節(jié)點將不能滿足創(chuàng)建容器的需求,也就不能運行此容器。在這種情況下,其他維度的剩余資源就被閑置了下來,而這些未被利用的資源就稱為資源碎片[5-6],這是一種極大的浪費。所以,就需要減少資源碎片的大小。同時,集群整體負(fù)載的均衡情況決定了集群在服務(wù)時的整體表現(xiàn),為了提高集群的服務(wù)質(zhì)量,需要保證整個集群的負(fù)載均衡。

    本文分析研究了Swarm的整體架構(gòu)和調(diào)度策略,提出一種靜態(tài)平衡和動態(tài)預(yù)測相結(jié)合的容器調(diào)度算法。通過測試,本算法能夠減少節(jié)點的靜態(tài)資源碎片,維持整個集群的負(fù)載均衡。

    1 Swarm集群框架與調(diào)度策略

    1.1 Swarm架構(gòu)

    Swarm采用了C/S架構(gòu),Swarm主要架構(gòu)如圖1所示。

    圖1 Swarm架構(gòu)

    Docekr Client是客戶端,負(fù)責(zé)發(fā)送指令,Swarm master是服務(wù)器端,負(fù)責(zé)管理整個集群。Swarm集群分為Swarm Node和Docker Node。

    Swarm master運行在Swarm node上,主要工作是完成調(diào)度任務(wù)和管理集群。用戶通過Swarm Client初始化集群各個模塊并管理集群,discovery模塊負(fù)責(zé)發(fā)現(xiàn)集群的節(jié)點并收集信息,scheduler模塊負(fù)責(zé)容器請求的調(diào)度任務(wù),Cluster API定義了集群接口,是實際任務(wù)的完成者,leadship是Swarm的HA(高可用性)機(jī)制。

    Docker Node是指運行Docker Daemon的節(jié)點。Docker Daemon根據(jù)Swarm master的任務(wù)啟動相應(yīng)容器。Docker Node通過Swarm Agent向管理節(jié)點注冊信息,以便管理節(jié)點在執(zhí)行任務(wù)的時候可以發(fā)現(xiàn)該節(jié)點。

    1.2 Swarm調(diào)度策略及資源碎片問題

    Swarm的scheduler模塊分為filter組件和strategy組件。filter組件通過標(biāo)簽對節(jié)點進(jìn)行過濾。用戶在創(chuàng)建集群時,需要根據(jù)節(jié)點的不同功能給與節(jié)點不同的標(biāo)簽,用戶一旦啟動容器,scheduler會根據(jù)用戶提供的標(biāo)簽,過濾出匹配標(biāo)簽的節(jié)點集合供strategy組件處理。

    strategy組件對集群提供邏輯調(diào)度功能。主要有以下三種策略:spread、binpack和random。用戶選擇的策略將會決定集群如何計算節(jié)點的權(quán)重,集群默認(rèn)使用spread策略。其中random策略用來對程序進(jìn)行測試,僅對節(jié)點進(jìn)行隨機(jī)選擇;spread和binpack策略首先計算節(jié)點的權(quán)重,然后選擇合適的節(jié)點運行容器。

    節(jié)點權(quán)重的計算策略為:首先根據(jù)用戶申請的容器配制信息計算CPU和內(nèi)存的利用率,并將其結(jié)果求和,隨后,spread策略會優(yōu)先選擇權(quán)重小的節(jié)點運行容器,而binpack會優(yōu)先選擇權(quán)重大的節(jié)點運行容器。前者的優(yōu)點是,如果節(jié)點出現(xiàn)故障,將會損失少量的容器。后者的優(yōu)點是將更多的容器運行在較少的機(jī)器上,節(jié)省物理資源。

    盡管swarm調(diào)度策略簡單而有效,但是其忽略了一個重要問題,資源碎片問題。由于不同的容器需求不同維度的資源,當(dāng)一個節(jié)點的任意維度資源耗盡時,如果有多維資源需求的容器被啟動,那么該節(jié)點將不能滿足創(chuàng)建容器的需求,也就不能運行此容器。在這種情況下,其他維度的剩余資源就被閑置了下來,而這些未被利用的資源就被稱為資源碎片,這是一種極大的浪費。所以就需要減少資源碎片的大小來提高節(jié)點的資源利用率。

    同時Swarm在計算節(jié)點優(yōu)先級時,由于計算方法的簡單,隨著集群的規(guī)模的擴(kuò)大,就會產(chǎn)生相同優(yōu)先級的節(jié)點。現(xiàn)有的容器調(diào)度策略只是對相同優(yōu)先級的節(jié)點進(jìn)行了隨機(jī)的分配,并沒有對相同優(yōu)先級節(jié)點進(jìn)行再次比較,但是,容器在運行時是動態(tài)地申請節(jié)點上的資源,這會造成在實際運行環(huán)境中,集群負(fù)載的不均衡。由于集群整體負(fù)載的均衡情況決定了集群在服務(wù)時的整體表現(xiàn),相同優(yōu)先級節(jié)點的資源負(fù)載并不相同,因此,用戶體驗也不相同,這就降低了集群提供服務(wù)的質(zhì)量。

    2 Swarm調(diào)度策略的優(yōu)化

    根據(jù)上述情況,本文提出了靜態(tài)資源平衡和動態(tài)資源預(yù)測的策略對Swarm調(diào)度策略進(jìn)行優(yōu)化。

    2.1 靜態(tài)資源平衡策略

    多維資源的存在引發(fā)了資源碎片的問題。由1.2節(jié)可知,在一個滿負(fù)載的節(jié)點上,資源碎片顯然存在,節(jié)點資源分配是否平衡則關(guān)系到資源碎片的大小。為了減小資源碎片,需要改進(jìn)Swarm現(xiàn)有調(diào)度策略,在集群分配容器時,需要度量容器分配后多維資源的平衡情況,從而選擇平衡情況最好的節(jié)點啟動容器。

    2.2 動態(tài)資源調(diào)度策略

    雖然靜態(tài)資源平衡策略考慮了靜態(tài)資源碎片的問題。但是,并沒有考慮資源動態(tài)的變化問題,容易造成集群負(fù)載不均的情況。因此,根據(jù)這種情況,需要在靜態(tài)平衡策略的基礎(chǔ)上增加動態(tài)調(diào)度策略作為補(bǔ)充。分析Swarm整體架構(gòu),其中并沒有提供動態(tài)收集節(jié)點信息的模塊,這就需要增加此模塊實現(xiàn)動態(tài)資源調(diào)度策略,修改后Swarm框架如圖2所示。

    圖2 動態(tài)資源調(diào)度框架

    首先在Swarm中添加receiver模塊,供scheduler模塊調(diào)用,receiver模塊用來接收monitor模塊傳輸?shù)墓?jié)點實時預(yù)測信息。monitor模塊運行在每個節(jié)點上,實時監(jiān)控節(jié)點多維資源的使用情況。由于每個節(jié)點資源使用情況會隨著時間產(chǎn)生不同的波動。僅僅提供當(dāng)前節(jié)點信息并不能代表節(jié)點資源的實際使用情況。所以需要研究監(jiān)控節(jié)點的變化趨勢和時間關(guān)系,可以有效地預(yù)測出未來節(jié)點的資源使用情況,完成調(diào)度功能。

    3 算法的設(shè)計與實現(xiàn)

    3.1 優(yōu)化調(diào)度算法的設(shè)計流程

    總結(jié)上述策略,本文提出靜態(tài)動態(tài)相結(jié)合和的優(yōu)化調(diào)度算法,該算法流程如圖3所示。

    圖3 優(yōu)化調(diào)度算法流程

    (1) scheduler模塊獲取申請容器的配制信息。

    (2) 靜態(tài)資源平衡算法計算靜態(tài)權(quán)值。

    (3) receiver模塊獲取monitor模塊動態(tài)預(yù)測的節(jié)點的信息。

    (4) scheduler模塊獲取receiver模塊的節(jié)點信息,計算動態(tài)權(quán)值。

    (5) scheduler模塊根據(jù)靜態(tài)權(quán)值對節(jié)點排序。

    (6) scheduler模塊對靜態(tài)權(quán)值相等的節(jié)點根據(jù)動態(tài)權(quán)值進(jìn)行二次排序。

    (7) scheduler模塊選擇權(quán)值最小的節(jié)點分配容器。

    3.2 靜態(tài)資源平衡算法

    這里通過計算CPU資源和內(nèi)存資源之間的方差來度量節(jié)點資源的平衡情況。因為方差度量了一組數(shù)據(jù)的離散程度。方差越小代表這組數(shù)據(jù)越穩(wěn)定,反之,則越不穩(wěn)定。

    靜態(tài)資源平衡算法如下:

    設(shè)節(jié)點的資源維度為D[1,2,…,d],節(jié)點已分配的資源為U[u1,u2…,ud],節(jié)點的資源總量為T[t1,t2,…,td],節(jié)點即將分配的資源為P[p1,p2,…,pd],節(jié)點的資源利用率R[r1,r2,…,rd]。

    當(dāng)用戶向集群申請一個容器。首先集群調(diào)度模塊獲取容器的配制信息,使用式(1)計算出每個節(jié)點在分配此容器后的靜態(tài)資源利用率。

    (1)

    然后使用式(2)計算每個節(jié)點的平均資源利用率:

    (2)

    最后使用式(3)計算每個節(jié)點的CPU資源和內(nèi)存資源的方差S2,方差即為節(jié)點的靜態(tài)權(quán)值:

    (3)

    3.3 動態(tài)資源調(diào)度算法

    1) 預(yù)測模型的選取

    在選取預(yù)測算法時,需要考慮預(yù)測模型是否能夠反映節(jié)點負(fù)載的真實情況,同時又要求算法應(yīng)具有較小的時間復(fù)雜度[7]。由于Swarm是基于Docker的原生態(tài)集群,其Docker輕量級和便攜性的優(yōu)勢在Swarm中體現(xiàn)的非常突出。通過綜合考量,應(yīng)該避免使用時間復(fù)雜度高的高次曲線對節(jié)點負(fù)載情況進(jìn)行模擬,以免過度消耗集群的整體資源,削弱Swarm集群的整體表現(xiàn)?;谏鲜鲈颍疚牟捎没疑P虶M(1,1)[8-9]對節(jié)點的狀態(tài)變化進(jìn)行模擬預(yù)測。

    灰色系統(tǒng)理論是鄧聚龍在1982年創(chuàng)立的一門新興橫斷學(xué)科,它以“部分信息已知,部分信息未知”的“小樣本”、“貧信息”不確定性系統(tǒng)為研究對象,主要通過對部分已知信息的生成、開發(fā),提取有價值的信息,實現(xiàn)對系統(tǒng)運行規(guī)律的正確認(rèn)識和確切描述,并據(jù)以進(jìn)行科學(xué)預(yù)測。其主要優(yōu)點包括以下幾點:需求樣本量小,樣本不需要有規(guī)律性分布,計算工作量小,定量分析結(jié)果與定性分析結(jié)果一致,預(yù)測準(zhǔn)確度高。

    2) 基于灰色模型的節(jié)點負(fù)載預(yù)測

    由于Swarm原有調(diào)度策略中只計算了CPU和內(nèi)存兩個維度的資源,因此這里假設(shè)節(jié)點的CPU利用率為Uc,內(nèi)存利用率為Um。首先通過monitor獲得節(jié)點的前n時刻的Uc={Uc(1),Uc(2),…,Uc(n)}和Um={Um(1),Um(2),…,Um(n)}后,采用GM(1,1)預(yù)測算法模擬,然后對n+1時刻的Uc和Um值進(jìn)行預(yù)測。計算方法如下:

    步驟1 設(shè)時間序列x(0)={x(0)(1),x(0)(2),…,x(0)(n)}有n個原始值,使用式(4)通過一次累加生成新的序列x(1)={x(1)(1),x(1)(2),…,x(1)(n)}:

    (4)

    根據(jù)灰色預(yù)測方法,得出GM(1,1)模型相應(yīng)的微分方程為式(5):

    (5)

    其中,α稱為發(fā)展灰數(shù);μ稱為內(nèi)生成控制灰數(shù)。

    (6)

    (7)

    Y=(x(0)(2),x(0)(3),…,x0(n))T

    (8)

    步驟3 求解微分方程,根據(jù)式(9)即可得預(yù)測模型:

    (9)

    步驟4 根據(jù)式(10)對預(yù)測模型值累減,得到預(yù)測值:

    (10)

    步驟5 精度檢驗,根據(jù)式(11)計算原始數(shù)據(jù)和預(yù)測數(shù)據(jù)的相對殘差:

    (11)

    3) 基于灰色模型的動態(tài)資源調(diào)度算法

    步驟1 獲得當(dāng)前的CPU和內(nèi)存利用率的時間序列x(0),并根據(jù)式(4)對其進(jìn)行一次累加計算,得到一次處理的數(shù)據(jù)序列x(1)。

    步驟2 根據(jù)B和Y的計算公式(式(7)和式(8)),形成B矩陣和Y矩陣。

    步驟3 對B和Y矩陣進(jìn)行矩陣運算,根據(jù)式(6)求出發(fā)展灰數(shù)α和內(nèi)生控制灰數(shù)μ。

    步驟6 根據(jù)式(11)對預(yù)測模型進(jìn)行殘差檢驗,評估模型是否達(dá)到要求。

    步驟7 對n+1時間節(jié)點的CPU和內(nèi)存預(yù)測值求和得出節(jié)點的動態(tài)權(quán)值。

    4 實驗設(shè)計及結(jié)果分析

    本實驗搭建2個Swarm集群,集群1使用Swarm1.0.1搭建,集群2使用修改后的Swarm1.01源碼包重新編譯并搭建。每個集群由3臺普通PC組成。其組成如表1所示。

    表1 集群配制

    由于實驗條件限制,現(xiàn)設(shè)計實驗如下:

    實驗一 對兩個Swarm集群申請如表2序列容器。集群1算法為Swarm原算法,集群2算法為靜態(tài)資源平衡算法。每個集群容器的運行情況如表3所示。

    表2 容器申請序列

    表3 容器運行對比結(jié)果

    圖4 集群資源碎片對比圖

    由圖4可知,集群2中的靜態(tài)資源碎片相比集群1有明顯下降,由表3可知,集群2相比集群1可以多運行一個維度為[1,2]的容器。改進(jìn)算法能夠減少靜態(tài)資源碎片,增加資源的利用率。

    實驗二 為方便計算,本文定義動態(tài)資源度量單位S=(Uc+Um)×100。每個節(jié)點的初始狀態(tài)如表4所示。

    表4 節(jié)點初始狀態(tài)

    本實驗通過在集群2上增加動態(tài)預(yù)測算法和靜態(tài)資源平衡算法作比較,表5為每個節(jié)點的運行容器的情況。本文通過模擬程序給予node1中單核滿負(fù)載,其他節(jié)點為初始狀態(tài)。同時,給予容器1、3和5號容器CPU滿載,2號容器CPU滿載并使用1GB的內(nèi)存,容器運行情況如表5所示。

    表5 容器運行對比結(jié)果

    集群負(fù)載對比情況如圖5所示。由圖5可知,靜態(tài)平衡算法會出現(xiàn)集群整體負(fù)載不均衡的情況,增加動態(tài)預(yù)測算法后,集群整體負(fù)載相對均衡。

    圖5 集群負(fù)載均衡對比圖

    總結(jié)上述實驗,優(yōu)化調(diào)度算法不僅可以減少集群的靜態(tài)資源碎片,提高資源利用率,而且可以均衡集群的動態(tài)負(fù)載。

    5 結(jié) 語

    Docker容器隨著其生態(tài)圈的完善,越來越受到大家的青睞。Swarm作為Docker的原生態(tài)集群管理工具也顯得更加重要。本文在分析Swarm集群框架和調(diào)度策略的基礎(chǔ)上,針對原有調(diào)度策略在解決靜態(tài)資源碎片問題上存在的不足,提出靜態(tài)平衡算法,并在此基礎(chǔ)上增加動態(tài)預(yù)測算法均衡集群的動態(tài)負(fù)載。實驗表明,優(yōu)化調(diào)度算法能改善集群資源碎片過多的問題,提高資源利用率,同時能夠均衡集群的動態(tài)負(fù)載。

    [1] 楊保華,戴王劍,曹亞侖.Docker技術(shù)入門與實戰(zhàn)[M].北京:機(jī)械工業(yè)出版社,2015.

    [2] 孫宏亮.Docker源碼分析[M].北京:機(jī)械工業(yè)出版社,2015.

    [3]LiuD,ZhaoL.Theresearchandimplementationofcloudcomputingplatformbasedondocker[C]//2014 11thInternationalComputerConferenceonWaveletActiveMediaTechnologyandInformationProcessing,2014:475-478.

    [4]BernsteinD.Containersandcloud:fromLXCtoDockertoKubernetes[J].IEEECloudComputing,2014,1(3):81-84.

    [5]HuangW,LiX,QianZ.Anenergyefficientvirtualmachineplacementalgorithmwithbalancedresourceutilization[C]//2013SeventhInternationalConferenceonInnovativeMobileandInternetServicesinUbiquitousComputing(IMIS),2013:313-319.

    [6]TsengHW,WuRY,ChangTS.AneffectiveVMmigrationschemeforreducingresourcefragmentsinclouddatacenters[C]//Proceedingsofthe2014ConferenceonResearchinAdaptiveandConvergentSystems,2014:320-325.

    [7] 李丹程,王曉晨,宋曉雪,等.基于OpenStack的資源負(fù)載預(yù)測方法研究[J].計算機(jī)應(yīng)用研究,2014,31(7):2178-2182.

    [8] 段峰,楊芬.灰色預(yù)測模型的研究及應(yīng)用[J].湘南學(xué)院學(xué)報,2008,29(2):17-21.

    [9] 郭正紅,馬辛華,蘭安怡.基于層次分析法權(quán)重和灰色服務(wù)器負(fù)載預(yù)測的云計算on-line遷移策略[J].計算機(jī)測量與控制,2015,23(3):1002-1004,1007.

    A SCHEDULING STRATEGY AND ALGORITHM FOR DOCKER SWARM CLUSTER

    Ma Xiaoguang Liu Zhaoyuan

    (SchoolofComputerScience,Xi’anUniversityofPostsandTelecommunications,Xi’an710061,Shaanxi,China)

    Swarm is a cluster management tool based on the Docker container. Aiming at the problem of resource fragment and load balancing of cluster, container scheduling algorithm combining static balance and dynamic prediction is proposed by analyzing the overall structure and scheduling strategy of Swarm. Through testing, the algorithm can reduce the static resource fragment of the cluster, improve the utilization rate of the cluster resource, and maintain the cluster load balance.

    Cloud computing Resource fragment Load balancing Docker container Swarm

    2016-05-18。馬曉光,碩士生,主研領(lǐng)域:計算機(jī)技術(shù)。劉釗遠(yuǎn),教授。

    TP338.8

    A

    10.3969/j.issn.1000-386x.2017.05.049

    猜你喜歡
    靜態(tài)容器集群
    Different Containers不同的容器
    靜態(tài)隨機(jī)存儲器在軌自檢算法
    難以置信的事情
    海上小型無人機(jī)集群的反制裝備需求與應(yīng)對之策研究
    一種無人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計
    電子制作(2018年11期)2018-08-04 03:25:40
    Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用
    勤快又呆萌的集群機(jī)器人
    取米
    機(jī)床靜態(tài)及動態(tài)分析
    具7μA靜態(tài)電流的2A、70V SEPIC/升壓型DC/DC轉(zhuǎn)換器
    热99国产精品久久久久久7| 如日韩欧美国产精品一区二区三区| aaaaa片日本免费| 人妻丰满熟妇av一区二区三区| 欧美不卡视频在线免费观看 | 亚洲一区二区三区欧美精品| 夫妻午夜视频| 国产精品1区2区在线观看.| 日韩成人在线观看一区二区三区| 俄罗斯特黄特色一大片| 成年女人毛片免费观看观看9| 看黄色毛片网站| 身体一侧抽搐| 99精品欧美一区二区三区四区| 人成视频在线观看免费观看| 两人在一起打扑克的视频| 女人被狂操c到高潮| 18美女黄网站色大片免费观看| 欧美+亚洲+日韩+国产| 亚洲人成电影免费在线| 久久久国产欧美日韩av| 国内久久婷婷六月综合欲色啪| 波多野结衣一区麻豆| 青草久久国产| 久久人妻av系列| 欧美精品亚洲一区二区| 国产免费av片在线观看野外av| 在线看a的网站| 久久久久久亚洲精品国产蜜桃av| 久久国产亚洲av麻豆专区| 一区二区三区激情视频| 天堂√8在线中文| 欧美精品一区二区免费开放| 黄色怎么调成土黄色| 黄网站色视频无遮挡免费观看| 91麻豆精品激情在线观看国产 | 身体一侧抽搐| 国产精品日韩av在线免费观看 | 欧美最黄视频在线播放免费 | 亚洲国产欧美一区二区综合| 久久久久精品国产欧美久久久| 亚洲av成人一区二区三| 一级毛片女人18水好多| 精品国产美女av久久久久小说| 黄色怎么调成土黄色| 国产精品久久视频播放| 不卡一级毛片| 色综合婷婷激情| 美国免费a级毛片| 女同久久另类99精品国产91| 国产乱人伦免费视频| 国产精品 国内视频| 日韩欧美三级三区| 深夜精品福利| 久久精品影院6| 亚洲精品中文字幕一二三四区| 欧美色视频一区免费| 色婷婷av一区二区三区视频| 99精品在免费线老司机午夜| 国产成+人综合+亚洲专区| 国产高清国产精品国产三级| 黑人猛操日本美女一级片| 18禁裸乳无遮挡免费网站照片 | 看黄色毛片网站| 日韩欧美国产一区二区入口| 搡老岳熟女国产| 国产精品秋霞免费鲁丝片| 久久精品影院6| 国产高清激情床上av| 精品久久久精品久久久| 国产成人一区二区三区免费视频网站| 国产三级黄色录像| 9热在线视频观看99| 午夜免费鲁丝| av国产精品久久久久影院| 日本黄色视频三级网站网址| 淫秽高清视频在线观看| 亚洲人成电影免费在线| 老司机深夜福利视频在线观看| 国产又爽黄色视频| 天天添夜夜摸| 老汉色av国产亚洲站长工具| 国产成人免费无遮挡视频| 淫妇啪啪啪对白视频| 亚洲午夜理论影院| 国产精品99久久99久久久不卡| 午夜激情av网站| 97人妻天天添夜夜摸| 身体一侧抽搐| av欧美777| 美女高潮到喷水免费观看| 日韩av在线大香蕉| 美女 人体艺术 gogo| 色婷婷av一区二区三区视频| 大型黄色视频在线免费观看| 国产成人精品久久二区二区免费| 精品一区二区三区四区五区乱码| 国产av精品麻豆| 亚洲精品一二三| 一进一出抽搐gif免费好疼 | 亚洲 国产 在线| 欧美日韩黄片免| 免费在线观看影片大全网站| 久久国产精品男人的天堂亚洲| 老汉色av国产亚洲站长工具| 交换朋友夫妻互换小说| 热99re8久久精品国产| 91大片在线观看| 欧美激情久久久久久爽电影 | 国产精品久久久av美女十八| 久久久水蜜桃国产精品网| 一夜夜www| 午夜免费激情av| 国产精品二区激情视频| 悠悠久久av| 人人妻人人添人人爽欧美一区卜| 国产熟女午夜一区二区三区| 淫秽高清视频在线观看| 欧美日韩中文字幕国产精品一区二区三区 | 男女之事视频高清在线观看| 国产激情久久老熟女| 久久香蕉精品热| 天堂动漫精品| 欧美一级毛片孕妇| 亚洲熟女毛片儿| 久久久水蜜桃国产精品网| 免费在线观看亚洲国产| 国产精品亚洲一级av第二区| 国产一区二区三区在线臀色熟女 | 亚洲男人天堂网一区| 9热在线视频观看99| 亚洲激情在线av| 在线观看日韩欧美| 黑人猛操日本美女一级片| 精品国产超薄肉色丝袜足j| 日韩成人在线观看一区二区三区| 国产一区在线观看成人免费| 亚洲第一青青草原| 91av网站免费观看| 99精品欧美一区二区三区四区| 国产一卡二卡三卡精品| 日韩精品青青久久久久久| 亚洲色图av天堂| 淫妇啪啪啪对白视频| 中文字幕色久视频| 可以免费在线观看a视频的电影网站| 日韩欧美在线二视频| 黄色怎么调成土黄色| 侵犯人妻中文字幕一二三四区| 久久人人精品亚洲av| 女性生殖器流出的白浆| 成人黄色视频免费在线看| 脱女人内裤的视频| 午夜免费成人在线视频| 国产精品爽爽va在线观看网站 | 大型黄色视频在线免费观看| a级毛片在线看网站| 看免费av毛片| 女人高潮潮喷娇喘18禁视频| 精品国产乱码久久久久久男人| 成年人黄色毛片网站| 久久久国产成人免费| 少妇裸体淫交视频免费看高清 | 色哟哟哟哟哟哟| 黑人操中国人逼视频| 一级毛片女人18水好多| 丝袜美足系列| 日韩免费av在线播放| 欧美日韩亚洲综合一区二区三区_| av网站在线播放免费| 亚洲精品在线美女| 高清黄色对白视频在线免费看| 高清在线国产一区| 色在线成人网| 麻豆国产av国片精品| 欧美人与性动交α欧美软件| 1024香蕉在线观看| 亚洲第一欧美日韩一区二区三区| 超碰97精品在线观看| 精品国产乱码久久久久久男人| 伦理电影免费视频| 人人妻,人人澡人人爽秒播| 高清黄色对白视频在线免费看| 久久国产精品人妻蜜桃| 波多野结衣av一区二区av| 久久精品91无色码中文字幕| 国产成+人综合+亚洲专区| 国产91精品成人一区二区三区| 一个人观看的视频www高清免费观看 | 中文字幕人妻熟女乱码| 欧美日韩中文字幕国产精品一区二区三区 | 伦理电影免费视频| 乱人伦中国视频| 免费人成视频x8x8入口观看| 黄色怎么调成土黄色| 久久人人精品亚洲av| 国产黄色免费在线视频| 两性午夜刺激爽爽歪歪视频在线观看 | 人人妻人人澡人人看| 757午夜福利合集在线观看| 深夜精品福利| 亚洲一区高清亚洲精品| 午夜视频精品福利| 最近最新免费中文字幕在线| 成人永久免费在线观看视频| 久久精品影院6| 欧美一级毛片孕妇| 黑人巨大精品欧美一区二区蜜桃| 18禁裸乳无遮挡免费网站照片 | 又黄又粗又硬又大视频| 人人澡人人妻人| 可以免费在线观看a视频的电影网站| 久久天躁狠狠躁夜夜2o2o| 成人免费观看视频高清| a级片在线免费高清观看视频| 国产成年人精品一区二区 | 中文字幕av电影在线播放| 国产xxxxx性猛交| 欧美精品一区二区免费开放| 午夜激情av网站| 国产亚洲欧美在线一区二区| 亚洲在线自拍视频| 天天躁狠狠躁夜夜躁狠狠躁| 黄片大片在线免费观看| 中文字幕精品免费在线观看视频| 琪琪午夜伦伦电影理论片6080| 老司机福利观看| 午夜精品国产一区二区电影| 一级片免费观看大全| 最好的美女福利视频网| 国产黄色免费在线视频| 日韩精品中文字幕看吧| 国产精品av久久久久免费| 国产人伦9x9x在线观看| 国产又爽黄色视频| 国产国语露脸激情在线看| 手机成人av网站| 免费高清视频大片| 一进一出抽搐动态| 色尼玛亚洲综合影院| 丰满迷人的少妇在线观看| 亚洲av片天天在线观看| 亚洲情色 制服丝袜| 亚洲精品国产色婷婷电影| av片东京热男人的天堂| 老司机午夜十八禁免费视频| 熟女少妇亚洲综合色aaa.| 久久精品国产综合久久久| 欧美日韩黄片免| 久久久水蜜桃国产精品网| 欧美日韩一级在线毛片| 在线观看免费高清a一片| 99久久人妻综合| 久久人妻熟女aⅴ| 99精品在免费线老司机午夜| 午夜免费观看网址| 欧美中文综合在线视频| 亚洲第一av免费看| 性欧美人与动物交配| 免费在线观看影片大全网站| a在线观看视频网站| 欧美 亚洲 国产 日韩一| 亚洲av成人av| 欧美久久黑人一区二区| 精品一品国产午夜福利视频| 亚洲第一欧美日韩一区二区三区| 人人妻,人人澡人人爽秒播| 国产色视频综合| 免费在线观看视频国产中文字幕亚洲| avwww免费| 久久99一区二区三区| 性少妇av在线| 亚洲成国产人片在线观看| 性少妇av在线| 后天国语完整版免费观看| 在线观看免费午夜福利视频| 国产成人av教育| 久久久久久久久免费视频了| 亚洲一区中文字幕在线| 村上凉子中文字幕在线| 狠狠狠狠99中文字幕| 高清av免费在线| 午夜两性在线视频| 成年人免费黄色播放视频| 日本vs欧美在线观看视频| 国产精品一区二区精品视频观看| 香蕉丝袜av| 高潮久久久久久久久久久不卡| 欧美黑人精品巨大| 国产单亲对白刺激| 亚洲精品在线观看二区| 久99久视频精品免费| 中文亚洲av片在线观看爽| 国产成人精品久久二区二区91| 男男h啪啪无遮挡| 在线免费观看的www视频| 精品久久久久久成人av| 村上凉子中文字幕在线| 国产亚洲欧美98| 亚洲专区中文字幕在线| 母亲3免费完整高清在线观看| 国产激情久久老熟女| 精品高清国产在线一区| 国产成人精品久久二区二区免费| 精品高清国产在线一区| 精品久久久精品久久久| 亚洲成人免费电影在线观看| 欧美日韩黄片免| 国产成人欧美| 91成人精品电影| 狠狠狠狠99中文字幕| 久久热在线av| ponron亚洲| 亚洲第一青青草原| 亚洲欧美激情在线| 国产一区二区三区综合在线观看| 国产麻豆69| 欧美日韩精品网址| 欧美黄色片欧美黄色片| 操美女的视频在线观看| www日本在线高清视频| 一进一出好大好爽视频| 两人在一起打扑克的视频| 国产亚洲av高清不卡| 淫秽高清视频在线观看| 精品欧美一区二区三区在线| 亚洲精品一卡2卡三卡4卡5卡| 51午夜福利影视在线观看| 精品久久久久久久久久免费视频 | 老司机午夜福利在线观看视频| 9色porny在线观看| 动漫黄色视频在线观看| av视频免费观看在线观看| 亚洲五月天丁香| 操出白浆在线播放| av有码第一页| 国产免费现黄频在线看| 色婷婷av一区二区三区视频| 黑人巨大精品欧美一区二区mp4| 午夜福利在线免费观看网站| 法律面前人人平等表现在哪些方面| ponron亚洲| 久久亚洲真实| 久久久久久久久中文| 丰满的人妻完整版| 桃色一区二区三区在线观看| 天堂俺去俺来也www色官网| 99国产综合亚洲精品| 丝袜人妻中文字幕| 视频区图区小说| 国产精品亚洲av一区麻豆| 91大片在线观看| 久久精品亚洲熟妇少妇任你| 亚洲国产看品久久| 99国产综合亚洲精品| 多毛熟女@视频| 97碰自拍视频| 久久久国产成人免费| 身体一侧抽搐| 99热国产这里只有精品6| 久久婷婷成人综合色麻豆| tocl精华| 久久香蕉精品热| 久久精品成人免费网站| 天堂俺去俺来也www色官网| 丝袜人妻中文字幕| 999久久久精品免费观看国产| 国产精品成人在线| 三上悠亚av全集在线观看| 男人操女人黄网站| 三上悠亚av全集在线观看| 国产精品av久久久久免费| 国产亚洲精品综合一区在线观看 | 91大片在线观看| 国产精品国产av在线观看| 级片在线观看| 他把我摸到了高潮在线观看| 黑人欧美特级aaaaaa片| 99精品欧美一区二区三区四区| 9色porny在线观看| 欧美日本中文国产一区发布| 免费一级毛片在线播放高清视频 | 一级作爱视频免费观看| 男人舔女人的私密视频| e午夜精品久久久久久久| 国产av在哪里看| 久久久久国内视频| 欧美最黄视频在线播放免费 | 国产高清视频在线播放一区| 国产又爽黄色视频| 亚洲久久久国产精品| 欧美日韩亚洲综合一区二区三区_| 久久九九热精品免费| 美女扒开内裤让男人捅视频| 欧美人与性动交α欧美软件| 村上凉子中文字幕在线| 青草久久国产| 一级黄色大片毛片| 最近最新免费中文字幕在线| 丰满饥渴人妻一区二区三| 欧美精品一区二区免费开放| 久久人人97超碰香蕉20202| 精品无人区乱码1区二区| 亚洲少妇的诱惑av| 精品日产1卡2卡| 久热这里只有精品99| 国产片内射在线| 免费在线观看完整版高清| 国产在线精品亚洲第一网站| 亚洲精品美女久久av网站| 久久 成人 亚洲| 久久久久久久午夜电影 | 久久久久久久精品吃奶| 女同久久另类99精品国产91| 99在线视频只有这里精品首页| 18禁观看日本| 亚洲免费av在线视频| 亚洲第一av免费看| 男女高潮啪啪啪动态图| 午夜福利,免费看| 精品国内亚洲2022精品成人| 视频区欧美日本亚洲| 久久久久久久久中文| 99国产综合亚洲精品| 757午夜福利合集在线观看| 母亲3免费完整高清在线观看| 亚洲欧美日韩另类电影网站| 国产欧美日韩一区二区精品| 女人高潮潮喷娇喘18禁视频| 婷婷丁香在线五月| 一区二区日韩欧美中文字幕| 人人澡人人妻人| 女性生殖器流出的白浆| 又黄又粗又硬又大视频| 亚洲九九香蕉| 中文字幕av电影在线播放| 国产真人三级小视频在线观看| 男人操女人黄网站| 中文字幕av电影在线播放| 久久天堂一区二区三区四区| 亚洲avbb在线观看| 亚洲国产精品999在线| 性少妇av在线| 好男人电影高清在线观看| 香蕉国产在线看| 黄网站色视频无遮挡免费观看| 母亲3免费完整高清在线观看| 亚洲va日本ⅴa欧美va伊人久久| 国产精品自产拍在线观看55亚洲| a级毛片黄视频| 黄色视频,在线免费观看| 欧美国产精品va在线观看不卡| 久久久久久久久久久久大奶| 一区二区三区激情视频| 人人妻人人澡人人看| 久久国产乱子伦精品免费另类| av网站在线播放免费| 亚洲激情在线av| 脱女人内裤的视频| 国产有黄有色有爽视频| 少妇 在线观看| 中文欧美无线码| 欧美+亚洲+日韩+国产| 在线av久久热| 国产免费av片在线观看野外av| 人人妻人人添人人爽欧美一区卜| 午夜福利免费观看在线| 色婷婷久久久亚洲欧美| 两性夫妻黄色片| 国产深夜福利视频在线观看| 成人亚洲精品av一区二区 | av国产精品久久久久影院| 99精国产麻豆久久婷婷| 欧美日韩精品网址| 欧美色视频一区免费| 精品人妻1区二区| 精品午夜福利视频在线观看一区| 欧美激情 高清一区二区三区| 久久国产亚洲av麻豆专区| 黄频高清免费视频| 亚洲中文字幕日韩| 日本撒尿小便嘘嘘汇集6| 一a级毛片在线观看| 黑人欧美特级aaaaaa片| 午夜福利在线免费观看网站| 欧美不卡视频在线免费观看 | 欧美一区二区精品小视频在线| 最新在线观看一区二区三区| 欧美午夜高清在线| 久久久久久久久中文| 交换朋友夫妻互换小说| 麻豆久久精品国产亚洲av | 欧美亚洲日本最大视频资源| 国产成人影院久久av| 午夜两性在线视频| 免费av毛片视频| 国产欧美日韩一区二区精品| 亚洲精品国产色婷婷电影| 99热只有精品国产| 精品一区二区三区av网在线观看| 亚洲男人天堂网一区| 看免费av毛片| 国产精品日韩av在线免费观看 | 欧美大码av| 一进一出好大好爽视频| 欧美中文综合在线视频| 欧美在线黄色| 成年女人毛片免费观看观看9| 在线观看一区二区三区激情| 女人精品久久久久毛片| 亚洲国产毛片av蜜桃av| 欧美另类亚洲清纯唯美| 丰满的人妻完整版| 精品第一国产精品| 欧美日本中文国产一区发布| 真人做人爱边吃奶动态| 精品国产乱码久久久久久男人| 欧美日韩国产mv在线观看视频| 久久久国产精品麻豆| 久久久久久久久中文| 国产三级黄色录像| 亚洲中文日韩欧美视频| 午夜福利免费观看在线| 91在线观看av| 亚洲狠狠婷婷综合久久图片| 精品高清国产在线一区| 成人免费观看视频高清| 在线观看免费高清a一片| 久久久久久久午夜电影 | 日本精品一区二区三区蜜桃| 久久午夜综合久久蜜桃| 在线免费观看的www视频| 亚洲在线自拍视频| 国产一区二区三区综合在线观看| 日日爽夜夜爽网站| 午夜亚洲福利在线播放| 身体一侧抽搐| 欧美日韩中文字幕国产精品一区二区三区 | 久久人妻av系列| av有码第一页| 99国产精品一区二区三区| 久久久久国内视频| 神马国产精品三级电影在线观看 | 成人永久免费在线观看视频| 18禁裸乳无遮挡免费网站照片 | 无人区码免费观看不卡| 欧美av亚洲av综合av国产av| 伦理电影免费视频| 国产精品日韩av在线免费观看 | 9热在线视频观看99| 十八禁人妻一区二区| 嫩草影视91久久| 国产成人啪精品午夜网站| 天堂√8在线中文| 热re99久久国产66热| 亚洲国产精品一区二区三区在线| 动漫黄色视频在线观看| 性少妇av在线| 国产免费av片在线观看野外av| 窝窝影院91人妻| 亚洲av第一区精品v没综合| 午夜两性在线视频| 极品人妻少妇av视频| 丁香欧美五月| 黑人欧美特级aaaaaa片| 俄罗斯特黄特色一大片| 亚洲熟女毛片儿| 老司机午夜十八禁免费视频| 国产av一区二区精品久久| 日日摸夜夜添夜夜添小说| 人成视频在线观看免费观看| 欧美日韩亚洲高清精品| 精品久久久久久成人av| 啦啦啦 在线观看视频| 美国免费a级毛片| 超色免费av| 午夜免费成人在线视频| 成人18禁高潮啪啪吃奶动态图| 亚洲狠狠婷婷综合久久图片| 亚洲五月色婷婷综合| 久久久精品国产亚洲av高清涩受| 亚洲片人在线观看| 国产1区2区3区精品| 日韩人妻精品一区2区三区| 纯流量卡能插随身wifi吗| 欧美中文综合在线视频| 国产精品九九99| 亚洲午夜精品一区,二区,三区| 久99久视频精品免费| avwww免费| 日日摸夜夜添夜夜添小说| av网站免费在线观看视频| 午夜精品国产一区二区电影| 国产亚洲欧美精品永久| 欧美日本中文国产一区发布| 一边摸一边抽搐一进一出视频| 18禁黄网站禁片午夜丰满| 国产蜜桃级精品一区二区三区| 99久久99久久久精品蜜桃| 大香蕉久久成人网| 精品久久久久久,| 怎么达到女性高潮| 高清黄色对白视频在线免费看| 亚洲成人久久性| 午夜成年电影在线免费观看| 精品久久久久久久毛片微露脸| 变态另类成人亚洲欧美熟女 | 少妇的丰满在线观看| 国产一区二区三区综合在线观看| 女性被躁到高潮视频| 久久香蕉激情| 国产高清激情床上av| 亚洲午夜理论影院| 18禁裸乳无遮挡免费网站照片 | 欧美成人免费av一区二区三区|