• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于負(fù)載不確定性的虛擬機(jī)整合方法

    2018-08-28 08:52:34李雙俐李志華喻新榮閆成雨
    計(jì)算機(jī)應(yīng)用 2018年6期
    關(guān)鍵詞:利用率服務(wù)質(zhì)量數(shù)據(jù)中心

    李雙俐,李志華,2*,喻新榮,閆成雨

    (1.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無(wú)錫214122; 2.物聯(lián)網(wǎng)應(yīng)用技術(shù)教育部工程研究中心(江南大學(xué)),江蘇無(wú)錫214122)(*通信作者電子郵箱lily_lshl@163.com)

    0 引言

    近年來(lái)伴隨著企業(yè)計(jì)算的爆炸性增長(zhǎng),用戶對(duì)云計(jì)算的需求也不斷上升。傳統(tǒng)的資源分配方式使得數(shù)據(jù)中心常處于高負(fù)載、高成本的運(yùn)營(yíng)狀況[1],因此,許多云服務(wù)提供商開(kāi)始采用虛擬化技術(shù)為用戶分配資源。虛擬化技術(shù)使得數(shù)據(jù)中心能夠快速地進(jìn)行資源分配,增加了數(shù)據(jù)中心的靈活性。然而,數(shù)據(jù)中心的資源管理也因此變得更加復(fù)雜,如何制定虛擬機(jī)的調(diào)度策略變成了合理分配數(shù)據(jù)中心資源的關(guān)鍵問(wèn)題之一。

    高效的虛擬機(jī)整合策略能合理地分配資源、降低數(shù)據(jù)中心能耗、提高服務(wù)質(zhì)量(Quality of Service,QoS)。已有的一些虛擬機(jī)整合方法[2-4]為了提高資源利用率和降低數(shù)據(jù)中心能耗,通過(guò)將低負(fù)載物理主機(jī)上的虛擬機(jī)整合到其他物理主機(jī)并關(guān)閉這些空閑物理主機(jī)的方式達(dá)到降低能耗的目的;但是,過(guò)度的虛擬機(jī)整合在應(yīng)對(duì)數(shù)據(jù)中心負(fù)載突然增加時(shí),需要額外消耗一定的時(shí)間開(kāi)啟休眠物理主機(jī)[2],此時(shí),并不能確保服務(wù)提供商與用戶簽訂的服務(wù)等級(jí)協(xié)議(Service Level Agreement,SLA),從而進(jìn)一步影響數(shù)據(jù)中心的服務(wù)質(zhì)量。

    由于虛擬機(jī)整合是一個(gè)系統(tǒng)性的問(wèn)題,文獻(xiàn)[4]將虛擬機(jī)整合問(wèn)題分成物理主機(jī)過(guò)載檢測(cè)、虛擬機(jī)選擇、虛擬機(jī)放置和物理主機(jī)收縮四個(gè)階段。虛擬機(jī)整合時(shí),首先通過(guò)物理主機(jī)過(guò)載檢測(cè)得到過(guò)載物理主機(jī)集合;然后,針對(duì)過(guò)載物理主機(jī)進(jìn)行虛擬機(jī)選擇,并將這些虛擬機(jī)遷出以緩解物理主機(jī)的過(guò)載風(fēng)險(xiǎn),遷出的虛擬機(jī)需要重新放置在合適的目標(biāo)物理主機(jī)上,繼續(xù)提供計(jì)算服務(wù);最后,對(duì)數(shù)據(jù)中心中的低負(fù)載物理主機(jī)進(jìn)行關(guān)閉,從而達(dá)到降低數(shù)據(jù)中心能耗的目的。

    虛擬機(jī)整合問(wèn)題目前已得到了廣泛研究,各種算法相繼被提出[4-9]。文獻(xiàn)[4]在物理主機(jī)過(guò)載檢測(cè)方面給出了中位數(shù)絕對(duì)偏差(Median Absolute Deviation,MAD)算法、四分位距(InterQuartile Range,IQR)算法、局部回歸(Local Regression,LR)算法;在物理主機(jī)選擇方面給出了最小遷移時(shí)間(Minimum Migration Time,MMT)算法、最大相關(guān)度(Maximum Correlation,MC)算法和隨機(jī)選擇(Random Selection,RS)算法。近年來(lái),一些以降低能耗為目標(biāo)的算法[5-6]被提出。文獻(xiàn)[5]通過(guò)對(duì) CPU 能耗模型的分析,建立了一個(gè)能耗最優(yōu)的混合整數(shù)規(guī)劃模型,并據(jù)此提出了一種虛擬機(jī)放置方法。文獻(xiàn)[6]介紹了一種基于時(shí)間序列預(yù)測(cè)和啟發(fā)式裝箱的動(dòng)態(tài)虛擬機(jī)整合算法,通過(guò)啟發(fā)式裝箱算法最大限度地減少所需物理主機(jī)數(shù)量,降低了數(shù)據(jù)中心能耗。然而,上述算法對(duì)服務(wù)質(zhì)量及資源利用率的關(guān)注不足。文獻(xiàn)[7]根據(jù)負(fù)載變化情況提出了一種彈性資源預(yù)測(cè)方法,利用輕量級(jí)信號(hào)處理和統(tǒng)計(jì)學(xué)算法實(shí)現(xiàn)資源請(qǐng)求的動(dòng)態(tài)預(yù)測(cè),但未給出具體的整合策略。文獻(xiàn)[8]提出了一種虛擬機(jī)負(fù)載負(fù)相關(guān)的虛擬機(jī)選擇算法。該算法首先將虛擬機(jī)根據(jù)負(fù)載變化負(fù)相關(guān)的原則進(jìn)行配對(duì),然后將配對(duì)的兩臺(tái)虛擬機(jī)放置在同一臺(tái)物理主機(jī)上。該算法有利于穩(wěn)定物理主機(jī)的工作負(fù)載,但缺乏對(duì)虛擬機(jī)間關(guān)聯(lián)性的考慮。文獻(xiàn)[9]在文獻(xiàn)[8]的基礎(chǔ)上增加了虛擬機(jī)配對(duì)迭代次數(shù),但同樣利用兩臺(tái)虛擬機(jī)配對(duì),忽略了虛擬機(jī)整體間的關(guān)聯(lián)。文獻(xiàn)[7-9]的實(shí)驗(yàn)結(jié)果表明基于負(fù)載的虛擬機(jī)整合算法給數(shù)據(jù)中心帶來(lái)了積極的影響。

    針對(duì)目前虛擬機(jī)整合存在的缺乏對(duì)負(fù)載穩(wěn)定性分析的問(wèn)題,本文通過(guò)分析虛擬機(jī)資源請(qǐng)求與物理主機(jī)工作負(fù)載之間的關(guān)系,確定物理主機(jī)剩余資源對(duì)虛擬機(jī)的滿足程度,擬合得到虛擬機(jī)與物理主機(jī)之間的匹配度。利用匹配度進(jìn)行虛擬機(jī)整合能夠穩(wěn)定物理主機(jī)負(fù)載,達(dá)到提高服務(wù)質(zhì)量、降低能耗的雙重目的。

    1 工作負(fù)載與虛擬機(jī)遷移

    1.1 負(fù)載分析

    通常數(shù)據(jù)中心為了降低能源消耗,在資源分配時(shí)希望能夠充分利用每臺(tái)物理主機(jī)的資源,從而避免低利用率造成的資源浪費(fèi)。然而,虛擬機(jī)對(duì)資源的請(qǐng)求過(guò)程是隨機(jī)的,對(duì)于處于高負(fù)載狀態(tài)的物理主機(jī),一旦虛擬機(jī)請(qǐng)求的資源超過(guò)了物理主機(jī)的可用資源總和就會(huì)發(fā)生過(guò)載,從而違背云服務(wù)提供者與用戶簽訂的服務(wù)水平協(xié)議,造成服務(wù)質(zhì)量下降。為了提升服務(wù)質(zhì)量,我們傾向于為物理主機(jī)預(yù)留充足的資源以避免過(guò)載,但過(guò)多的預(yù)留資源又會(huì)造成資源浪費(fèi),增加能源消耗。本文利用物理主機(jī)工作負(fù)載和虛擬機(jī)資源請(qǐng)求的變化特征進(jìn)行虛擬機(jī)整合,以期達(dá)到提高云服務(wù)質(zhì)量的同時(shí)能夠充分利用物理主機(jī)資源的目的。

    在實(shí)際情況中物理主機(jī)負(fù)載呈多峰分布,圖1(a)記錄了數(shù)據(jù)中心其中一臺(tái)物理主機(jī)一天內(nèi)的CPU負(fù)載變化情況;為了更清楚地看到其負(fù)載變化,圖1(b)選取該主機(jī)在第215~234次整合周期期間的CPU負(fù)載變化。由圖1可知,物理主機(jī)的負(fù)載變化具有隨機(jī)性。

    對(duì)于處在活動(dòng)狀態(tài)的物理主機(jī),如果運(yùn)行在其上的虛擬機(jī)在某一時(shí)段資源請(qǐng)求較高,那么此時(shí)物理主機(jī)的負(fù)載將出現(xiàn)局部峰值;而如果運(yùn)行在其上的虛擬機(jī)在某一時(shí)段資源請(qǐng)求較低,那么物理主機(jī)的負(fù)載將出現(xiàn)局部谷值。如圖1(b)所示,為了避免主機(jī)過(guò)載情況的發(fā)生,物理主機(jī)應(yīng)為波峰時(shí)段預(yù)留足夠的資源,然而,這些預(yù)留資源在波谷時(shí)段的閑置又造成了資源的浪費(fèi),這顯然是矛盾的。因此,穩(wěn)定物理主機(jī)的負(fù)載,有效避免物理主機(jī)負(fù)載出現(xiàn)較大的波動(dòng),從而減少資源的預(yù)留量,這不僅能夠提高物理主機(jī)資源利用率,同時(shí)也降低了由于物理主機(jī)負(fù)載不確定性造成的主機(jī)過(guò)載風(fēng)險(xiǎn)。

    圖1 單個(gè)物理主機(jī)CPU負(fù)載變化Fig.1 Workload changing of single physical host CPU

    1.2 虛擬機(jī)遷移

    根據(jù)工作負(fù)載的特性,在虛擬機(jī)遷移過(guò)程中如果能夠保持物理主機(jī)工作負(fù)載的穩(wěn)定,避免物理主機(jī)工作負(fù)載出現(xiàn)明顯的波動(dòng),那么就能減小物理主機(jī)的過(guò)載風(fēng)險(xiǎn),并且增加物理主機(jī)的資源利用率。

    為了穩(wěn)定物理主機(jī)負(fù)載,在虛擬機(jī)從過(guò)載物理主機(jī)上遷出時(shí),應(yīng)該選擇與物理主機(jī)匹配度低的虛擬機(jī),即被選擇的虛擬機(jī)的資源請(qǐng)求與物理主機(jī)負(fù)載在同一時(shí)段出現(xiàn)峰值。根據(jù)此規(guī)則對(duì)遷移虛擬機(jī)進(jìn)行選擇,選擇的虛擬機(jī)遷出后,能降低物理主機(jī)在負(fù)載峰值時(shí)的過(guò)載風(fēng)險(xiǎn)。在放置虛擬機(jī)到目標(biāo)物理主機(jī)上時(shí),虛擬機(jī)與物理主機(jī)的負(fù)載應(yīng)該呈現(xiàn)高匹配度,即當(dāng)物理主機(jī)負(fù)載處于高峰值時(shí)虛擬機(jī)對(duì)資源的請(qǐng)求量應(yīng)處于低谷,避免由于虛擬機(jī)的放置使物理主機(jī)負(fù)載出現(xiàn)突然變化。保證放置的虛擬機(jī)在各個(gè)時(shí)刻都能充分地利用物理主機(jī)剩余預(yù)留資源,并且能夠穩(wěn)定物理主機(jī)負(fù)載,避免由于負(fù)載出現(xiàn)較大波動(dòng)而導(dǎo)致物理主機(jī)發(fā)生新的過(guò)載。

    本文所提出的算法利用虛擬機(jī)資源請(qǐng)求擬合物理主機(jī)工作負(fù)載,并通過(guò)擬合得到的虛擬機(jī)與物理主機(jī)的負(fù)載匹配度進(jìn)行虛擬機(jī)遷移。在保證物理主機(jī)資源充分利用的同時(shí)降低其過(guò)載概率,提高服務(wù)質(zhì)量。

    2 基于負(fù)載不確定性的虛擬機(jī)整合方法

    2.1 虛擬機(jī)與物理主機(jī)匹配度估算

    為了清楚地描述擬合過(guò)程,首先對(duì)數(shù)據(jù)中心的各項(xiàng)資源進(jìn)行抽象。vmlist代表虛擬機(jī)集合。向量corhj=[…,,…,]T代表各虛擬機(jī)與物理主機(jī)hj的負(fù)載匹配度。向量b= [b1,b2,…,bi,…,bt]T代表物理主機(jī)hj的CPU剩余可用資源的歷史記錄,其中,bi代表hj在i時(shí)刻的CPU剩余可用資源。A= [vm1,vm2,…,vmi,…,vmm]代表虛擬機(jī)請(qǐng)求資源的歷史記錄矩陣,其中列向量vmi代表虛擬機(jī)vmi對(duì)CPU資源請(qǐng)求的歷史記錄。

    為了量化物理主機(jī)負(fù)載的情況,定義函數(shù) g(vmlist,hj,corhj),如式(1)所示:

    式(1)表示,若將vmlist中的虛擬機(jī)按照匹配度向量corhj放置在物理主機(jī)hj上后,物理主機(jī)負(fù)載均衡的程度。物理主機(jī)負(fù)載越平穩(wěn)則函數(shù)g的值越小。當(dāng)函數(shù)g取得最小值時(shí),可以得到虛擬機(jī)在物理主機(jī)hj上的一組最優(yōu)匹配向量corhj,如式(2)所示:

    s.t.0 corhj1

    根據(jù)式(1)及以上分析可知,求解式(2)可得到全部虛擬機(jī)對(duì)應(yīng)物理主機(jī)的匹配度corhj。將虛擬機(jī)按照匹配度降序排列的方式依次放置在物理主機(jī)hj上,直至剩余虛擬機(jī)都不能再放入hj為止。此時(shí),可以得到使物理主機(jī)負(fù)載趨于平穩(wěn)的虛擬機(jī)整合方案。

    圖2 sigmoid函數(shù)Fig.2 sigmoid function

    sigmoid函數(shù)的圖形是“S”形的,它是嚴(yán)格遞增的函數(shù),其中a是sigmoid函數(shù)的傾斜參數(shù)[10]。修改參數(shù)a就可以改變sigmoid函數(shù)的傾斜程度,變化趨勢(shì)如圖2所示。根據(jù)sigmoid函數(shù)的特性,本文中令= φ(vi),則corhj可以表示為向量形式:corhj=[φ(v1),φ(v2),…,φ(vi),…,φ(vm)]T。通過(guò)這樣的變換,式(2)轉(zhuǎn)化為式(4):

    顯然,式(4)是一個(gè)無(wú)約束優(yōu)化問(wèn)題。在此采用梯度下降法求解無(wú)約束優(yōu)化問(wèn)題,利用負(fù)梯度作為搜索方向[11],迭代公式如式(5)所示:

    其中:s-(k)代表搜索的梯度負(fù)方向;ρk代表沿梯度方向上的搜索步長(zhǎng)。對(duì)式(4)求導(dǎo)數(shù)可以得到函數(shù)g在v上的梯度公式。

    根據(jù)導(dǎo)數(shù)與梯度的關(guān)系[11],可求得函數(shù)g在v上的梯度,代表梯度向量s-(k)的一個(gè)分量,如式(6)所示:

    至此,梯度下降法可求解式(4)所示的無(wú)約束優(yōu)化問(wèn)題。利用梯度下降算法先求出向量v的值,然后根據(jù)式(3)計(jì)算可以得到虛擬機(jī)與物理主機(jī)負(fù)載匹配度向量corhj。利用梯度下降法求匹配度流程如圖3所示。

    圖3 利用梯度下降法求匹配度流程Fig.3 Flow chart of gradient descent method for computing matching degree

    2.2 物理主機(jī)過(guò)載檢測(cè)

    隨著虛擬機(jī)資源請(qǐng)求的變化,物理主機(jī)工作負(fù)載也隨之改變。對(duì)于負(fù)載較高的物理主機(jī),若虛擬機(jī)請(qǐng)求資源增加,那么將有可能出現(xiàn)虛擬機(jī)請(qǐng)求資源超過(guò)物理主機(jī)可用資源的情況,此時(shí)物理主機(jī)發(fā)生過(guò)載。對(duì)于每一臺(tái)物理主機(jī),可以根據(jù)其負(fù)載情況計(jì)算該物理主機(jī)的過(guò)載概率,通過(guò)過(guò)載概率為物理主機(jī)選擇合適的過(guò)載閾值用于新一輪的虛擬機(jī)整合,并通過(guò)整合來(lái)動(dòng)態(tài)調(diào)整物理主機(jī)負(fù)載,提高服務(wù)質(zhì)量。過(guò)載概率與過(guò)載閾值的計(jì)算如式(7)、(8)所示。

    本文將物理主機(jī)CPU利用率超過(guò)65%的概率作為物理主機(jī)的過(guò)載概率,如式(7)所示。當(dāng)物理主機(jī)CPU利用率超過(guò)65%時(shí),認(rèn)為主機(jī)存在過(guò)載風(fēng)險(xiǎn)。在一個(gè)檢測(cè)周期內(nèi)物理主機(jī)CPU利用率超過(guò)65%的次數(shù)越多則該物理主機(jī)發(fā)生過(guò)載的風(fēng)險(xiǎn)越大。式(8)通過(guò)過(guò)載概率計(jì)算過(guò)載閾值。參數(shù)s控制過(guò)載概率對(duì)過(guò)載閾值的影響,s越大則過(guò)載概率對(duì)過(guò)載閾值的影響越大;s越小則過(guò)載概率對(duì)過(guò)載閾值的影響越小。當(dāng)物理主機(jī)過(guò)載概率較大時(shí),降低其過(guò)載閾值從而降低物理主機(jī)的過(guò)載風(fēng)險(xiǎn);當(dāng)物理主機(jī)過(guò)載概率較小時(shí),則該主機(jī)過(guò)載風(fēng)險(xiǎn)較小,將其過(guò)載閾值調(diào)高,以保證物理主機(jī)資源的充分利用。

    根據(jù)以上分析,本文提出基于工作負(fù)載不確定性的過(guò)載概率估計(jì)(Workload Uncertainty-based Overload Probability Estimation,WUOPE)算法。在進(jìn)行過(guò)載檢測(cè)時(shí),當(dāng)物理主機(jī)的CPU利用率ui大于過(guò)載閾值Tiu時(shí),則判斷當(dāng)前物理主機(jī)hi過(guò)載。WUOPE算法偽代碼如下。

    算法1 基于工作負(fù)載不確定性的過(guò)載概率估計(jì)(WUOPE)算法。

    2.3 虛擬機(jī)選擇

    當(dāng)虛擬機(jī)請(qǐng)求資源超過(guò)物理主機(jī)可用資源時(shí),物理主機(jī)同樣會(huì)出現(xiàn)過(guò)載風(fēng)險(xiǎn)。為了保證云數(shù)據(jù)中心的服務(wù)質(zhì)量應(yīng)該將一部分虛擬機(jī)遷出過(guò)載主機(jī)以緩解過(guò)載風(fēng)險(xiǎn)。

    遷出虛擬機(jī)的選擇應(yīng)遵循以下兩個(gè)原則:1)遷移后應(yīng)保持物理主機(jī)負(fù)載穩(wěn)定,避免由于遷移導(dǎo)致的物理主機(jī)負(fù)載不穩(wěn)定;2)最小化遷移時(shí)間,減少由于遷移帶來(lái)服務(wù)質(zhì)量下降的影響。通過(guò)利用虛擬機(jī)請(qǐng)求資源擬合物理主機(jī)剩余可用資源可以得到虛擬機(jī)與物理主機(jī)的負(fù)載匹配度。為了穩(wěn)定物理主機(jī)負(fù)載可以優(yōu)先遷移負(fù)載匹配度小的虛擬機(jī),同時(shí)為了最小化遷移時(shí)間可以優(yōu)先遷移占用內(nèi)存小的虛擬機(jī)[12]。綜合考慮以上兩點(diǎn),本文定義虛擬機(jī)在物理主機(jī)上遷移的優(yōu)先級(jí)priority_s,計(jì)算式如式(9)所示:

    為了保持物理主機(jī)負(fù)載穩(wěn)定,本文提出了一種基于負(fù)載不確定性的最小遷移時(shí)間選擇 (Workload Uncertainty-based Minimum Migration Time Selection,WUMMT)算法。利用式(9)計(jì)算運(yùn)行在過(guò)載物理主機(jī)上的虛擬機(jī)的遷移優(yōu)先級(jí),將虛擬機(jī)按照遷移優(yōu)先級(jí)降序排列,依次將優(yōu)先級(jí)高的虛擬機(jī)遷移出物理主機(jī),直至物理主機(jī)的過(guò)載風(fēng)險(xiǎn)消除。WUMMT算法偽代碼如下。

    算法2 基于負(fù)載不確定性的最小遷移時(shí)間選擇(WUMMT)算法。

    2.4 虛擬機(jī)放置

    對(duì)于因?yàn)槲锢碇鳈C(jī)過(guò)載和收縮而遷移的虛擬機(jī)必須為其尋找合適的目標(biāo)物理主機(jī)進(jìn)行放置。在虛擬機(jī)放置時(shí)首先要保證待放置物理主機(jī)有充足的資源,然后是確保放置虛擬機(jī)后目標(biāo)主機(jī)的工作負(fù)載穩(wěn)定性。

    在選擇目標(biāo)物理主機(jī)時(shí),應(yīng)該優(yōu)先選擇具有相對(duì)較高資源使用率的物理主機(jī)作為目標(biāo)主機(jī),這樣更能充分利用物理主機(jī)的資源從而提高數(shù)據(jù)中心的資源利用率。通過(guò)式(10)計(jì)算出遷移虛擬機(jī)在目標(biāo)主機(jī)上的放置優(yōu)先級(jí):

    結(jié)合虛擬機(jī)與物理主機(jī)負(fù)載匹配度和虛擬機(jī)資源請(qǐng)求情況,本文提出一種基于負(fù)載不確定性的FFD的放置(Workload Uncertainty-based FFD allocation,WUFFD)算法。首先在正常運(yùn)行的主機(jī)中挑選資源使用率較高的主機(jī)作為目標(biāo)物理主機(jī);然后計(jì)算虛擬機(jī)的放置優(yōu)先級(jí),把高優(yōu)先級(jí)的虛擬機(jī)放置在目標(biāo)主機(jī)上,以此類推,直至遷移虛擬機(jī)放置完成或目標(biāo)主機(jī)不能再放入任何虛擬機(jī)為止。WUFFD算法偽代碼如下。

    算法3 基于負(fù)載不確定性的優(yōu)先適應(yīng)下降的放置(WUFFD)算法。

    2.5 虛擬機(jī)整合

    虛擬機(jī)整合包括主機(jī)過(guò)載檢測(cè)、虛擬機(jī)選擇、虛擬機(jī)放置和物理主機(jī)收縮四個(gè)階段。本文提出一種基于負(fù)載不確定性的虛擬機(jī)整合(Workload Uncertainty-based Virtual Machine Consolidation,WU-VMC)方法。首先,WU-VMC方法利用WUOPE方法估算物理主機(jī)的過(guò)載閾值,判斷物理主機(jī)是否存在過(guò)載風(fēng)險(xiǎn);然后,使用WUMMT方法將存在過(guò)載風(fēng)險(xiǎn)的物理主機(jī)上的一部分虛擬機(jī)遷移出物理主機(jī),從而降低物理主機(jī)的過(guò)載風(fēng)險(xiǎn);對(duì)于遷移出的虛擬機(jī)利用WUFFD方法選擇出合適的目標(biāo)主機(jī)進(jìn)行放置;最后,利用物理主機(jī)收縮方法降低能耗,將處于低使用率狀態(tài)的物理主機(jī)上的虛擬機(jī)全部遷出,并用WUFFD方法為其選擇合適的目標(biāo)主機(jī)進(jìn)行放置,利用循環(huán)檢測(cè)的方式每次選擇資源使用率最低或?yàn)椤?”的物理主機(jī)進(jìn)行收縮,關(guān)閉或休眠這些物理主機(jī)。WU-VMC算法偽代碼如下。

    算法4 基于負(fù)載不確定性的虛擬機(jī)整合(WU-VMC)算法。

    3 仿真實(shí)驗(yàn)與分析

    3.1 實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)采用 Cloudsim[14]作為仿真平臺(tái)。Cloudsim是澳大利亞墨爾本大學(xué)的云計(jì)算與分布式系統(tǒng)實(shí)驗(yàn)室推出的開(kāi)源云計(jì)算仿真軟件,可以支持大規(guī)模數(shù)據(jù)中心、云聯(lián)邦、用戶自定義資源管理策略等方面的仿真建模[15]。

    本文通過(guò)Cloudsim平臺(tái)模擬一個(gè)擁有800臺(tái)物理主機(jī)的數(shù)據(jù)中心。這些主機(jī)根據(jù)資源配置的不同分為兩類:一類是HP ProLiant ML110 G4(Intel Xeon 3040 2 Cores 1 860 MHz,4 GB);另一類是 HP ProLiant ML110 G5(Intel Xeon 3075 2 Cores 2260 MHz,4 GB)。同時(shí),模擬四種不同類型的虛擬機(jī):超強(qiáng) CPU配置的虛擬機(jī) High-CPU Medium Instance(2500 MIPS,0.85 GB)、超大型虛擬機(jī) Extra Large Instance(2000 MIPS,3.75 GB)、小 型 虛 擬 機(jī) Small Instance(1000 MIPS,1.7 GB)和微型虛擬機(jī) Micro Instance(500 MIPS,613 MB)[16]。實(shí)驗(yàn)所采用的工作數(shù)據(jù)來(lái)自文獻(xiàn)[12],即PlantLab平臺(tái)在真實(shí)環(huán)境下記錄的為期10天的CPU負(fù)載數(shù)據(jù)。表1記錄了10天中虛擬機(jī)請(qǐng)求的情況。

    3.2 評(píng)價(jià)指標(biāo)

    為了評(píng)價(jià)方法性能,本文使用文獻(xiàn)[12]提出的六種性能評(píng)價(jià)指標(biāo):服務(wù)等級(jí)協(xié)議違背率(Service Level Agreement Violations,SLAV)、能源消耗(Energy Consumption,EC)、虛擬機(jī)遷移次數(shù)(Virtual Machine Migrations,VMM)、服務(wù)質(zhì)量和能耗綜合評(píng)價(jià)指標(biāo)(Energy and SLA Violation,ESV)、由于遷移導(dǎo)致的服務(wù)下降(Performance Degradation due to Migration,PDM)、運(yùn)行時(shí)SLA違背時(shí)間(SLA violation Time per Active Host,SLATAH)。

    表1 PlantLab虛擬機(jī)請(qǐng)求情況Tab.1 Request status of virtual machine PlantLab

    SLATAH指由于活動(dòng)物理主機(jī)在運(yùn)行時(shí)CPU過(guò)載導(dǎo)致的違反服務(wù)等級(jí)協(xié)議,定義式如式(11)所示:

    PDM代表由于虛擬機(jī)遷移導(dǎo)致的服務(wù)質(zhì)量下降,定義式如式(12)所示:

    SLAV是用來(lái)評(píng)價(jià)單日內(nèi)數(shù)據(jù)中心服務(wù)質(zhì)量的綜合指標(biāo),定義式如式(13)所示:

    SLAV的值受當(dāng)日數(shù)據(jù)中心SLATAH和PDM的綜合影響。當(dāng)日數(shù)據(jù)中心的SLATAH與PDM值越低,則綜合值SLAV越小,數(shù)據(jù)中心服務(wù)質(zhì)量越高。

    EC代表數(shù)據(jù)中心一天的能源消耗。節(jié)約能源不僅能降低數(shù)據(jù)中心的運(yùn)維成本,更是建設(shè)綠色數(shù)據(jù)中心的重要途徑。同時(shí),低能耗也意味著資源的高利用率。綜合數(shù)據(jù)中心對(duì)低能耗和高服務(wù)質(zhì)量的要求,定義服務(wù)質(zhì)量和能耗綜合評(píng)價(jià)指標(biāo)ESV,表達(dá)式如公式(14)所示:

    ESV的值越低意味著當(dāng)日數(shù)據(jù)中心的能源消耗少、服務(wù)質(zhì)量高。

    虛擬機(jī)在整合過(guò)程中的遷移勢(shì)必影響數(shù)據(jù)中心的服務(wù)質(zhì)量,因此在整合過(guò)程中,遷移總量VMM的值越低虛擬機(jī)整合方法越高效。

    3.3 負(fù)載穩(wěn)定性分析

    為了驗(yàn)證WU-VMC方法的效率,本文利用Cloudsim平臺(tái)和PlantLab上10 d的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。文獻(xiàn)[4]對(duì)虛擬機(jī)整合過(guò)程進(jìn)行了深入的研究,并提出了一系列經(jīng)典整合方法。根據(jù)實(shí)驗(yàn)結(jié)果,對(duì)比分析文獻(xiàn)[4]提出的一系列整合方法與WU-VMC整合方法。

    由于負(fù)載的穩(wěn)定性對(duì)于虛擬機(jī)整合有著十分重要的影響,據(jù)此對(duì)數(shù)據(jù)中心活動(dòng)物理主機(jī)的CPU負(fù)載情況進(jìn)行記錄。物理主機(jī)負(fù)載記錄的時(shí)間間隔為5 min,24 h內(nèi)數(shù)據(jù)中心共記錄了288次物理主機(jī)負(fù)載的變化情況。

    2011年3月3日數(shù)據(jù)中心活動(dòng)物理主機(jī)平均負(fù)載變化情況如圖4所示。WU-VMC方法的CPU利用率明顯高于MAD-MMT、ST-MMT、IQR-RS三種方法。LR-MC方法的CPU利用率峰值雖然與WU-VMC方法相當(dāng),但LR-MC方法CPU利用率波動(dòng)較大容易造成資源浪費(fèi)。

    圖4 3月3日一天內(nèi)活動(dòng)物理主機(jī)平均負(fù)載變化Fig.4 Average workload change of running physical hosts in March 3rd

    活動(dòng)物理主機(jī)的負(fù)載標(biāo)準(zhǔn)差可以反映數(shù)據(jù)中心負(fù)載的穩(wěn)定性。結(jié)合圖5(a)可以看出,10 d內(nèi)WU-VMC方法的活動(dòng)物理主機(jī)CPU資源利用率標(biāo)準(zhǔn)差最小,即利用WU-VMC方法進(jìn)行虛擬機(jī)整合使得數(shù)據(jù)中心負(fù)載更穩(wěn)定;同時(shí)通過(guò)圖5(b)可以看出,10 d內(nèi)使用WU-VMC方法的數(shù)據(jù)中心活動(dòng)物理主機(jī)CPU平均利用率最高。故而,WU-VMC方法能夠穩(wěn)定數(shù)據(jù)中心工作負(fù)載,提高數(shù)據(jù)中心資源利用率。MADMMT方法與其他三種方法由于在整合過(guò)程中未充分考慮物理主機(jī)與虛擬機(jī)的負(fù)載變化情況因而出現(xiàn)了負(fù)載波動(dòng)較大、資源利用不充分等現(xiàn)象。

    3.4 整合性能分析

    利用文獻(xiàn)[12]提出的六種評(píng)價(jià)指標(biāo)對(duì)本文提出的WU-VMC方法以及文獻(xiàn)[4]提出的 MAD-MMT、LR-MC、IQRRS、ST-MMT四種方法進(jìn)行對(duì)比分析。不同方法在數(shù)據(jù)中心運(yùn)行的各項(xiàng)評(píng)價(jià)指標(biāo)如表2所示。圖6對(duì)各方法的能耗和服務(wù)等級(jí)協(xié)議違背率進(jìn)行對(duì)比。

    根據(jù)表2可以看出,由于LR-MC方法對(duì)虛擬機(jī)的過(guò)度整合導(dǎo)致其PDM值與SLATAH值最高,即由于遷移導(dǎo)致的服務(wù)質(zhì)量下降和由于過(guò)載導(dǎo)致的服務(wù)質(zhì)量下降。結(jié)合圖6(a)可知,LR-MC方法由于過(guò)度整合,數(shù)據(jù)中心開(kāi)啟的物理主機(jī)的數(shù)量下降,所以能耗比 MAD-MMT、ST-MMT方法低。MAD-MMT方法與 ST-MMT方法由于使用最小遷移時(shí)間(MMT)作為虛擬機(jī)選擇策略,所以虛擬機(jī)遷移對(duì)數(shù)據(jù)中心的服務(wù)質(zhì)量影響小,即PDM值小。IQS-RS方法的綜合評(píng)價(jià)指標(biāo)ESV值比其他方法高,故而,在五種方法中IQS-RS方法的整合效率最低。

    圖5 10 d內(nèi)活動(dòng)物理主機(jī)負(fù)載性能變化Fig.5 Workload change of running physical hosts within ten days

    圖6 不同方法性能對(duì)比Fig.6 Performance comparison of different methods

    本文所提WU-VMC方法通過(guò)穩(wěn)定物理主機(jī)負(fù)載提高資源利用率,降低物理主機(jī)過(guò)載概率。如表2所示,WU-VMC方法與其他四種方法相比,虛擬機(jī)遷移次數(shù)VMM值降低了63%~67%;由于遷移導(dǎo)致的服務(wù)質(zhì)量下降指標(biāo)PDM值降低了39%~62%;由于過(guò)載導(dǎo)致的服務(wù)質(zhì)量下降指標(biāo)SLATAH值降低了11%~41%。因此與其他四種方法相比,WU-VMC方法綜合評(píng)價(jià)指標(biāo)ESV值下降了65%~83%。

    表2 不同方法性能評(píng)價(jià)結(jié)果Tab.2 Performance evaluation rusults of different methods

    能耗和服務(wù)等級(jí)協(xié)議違背率是判斷數(shù)據(jù)中心是否高效的關(guān)鍵指標(biāo)。根據(jù)圖6可知,在五種整合方法中,WU-VMC方法的EC值和SLAV值均低于其他四種方法。綜上所述,本文所提WU-VMC方法在虛擬機(jī)整合的各個(gè)方面都有著較好結(jié)果。

    4 結(jié)語(yǔ)

    云數(shù)據(jù)中心虛擬資源調(diào)度和管理是云計(jì)算的關(guān)鍵和核心內(nèi)容之一。高效率的資源調(diào)度策略不僅能降低數(shù)據(jù)中心的能耗,而且能提高數(shù)據(jù)中心的資源利用率??紤]到物理主機(jī)當(dāng)前剩余資源對(duì)虛擬機(jī)遷移和虛擬機(jī)放置的影響,通過(guò)利用虛擬機(jī)的資源請(qǐng)求擬合物理主機(jī)工作負(fù)載,計(jì)算虛擬機(jī)與物理主機(jī)的匹配度的核心思想,系統(tǒng)研究并提出了虛擬機(jī)整合過(guò)程中的主機(jī)過(guò)載檢測(cè)、虛擬機(jī)選擇、虛擬機(jī)放置和物理主機(jī)收縮四個(gè)子算法,通過(guò)進(jìn)一步對(duì)上述四個(gè)子算法進(jìn)行融合,提出了一種基于負(fù)載不確定性的虛擬機(jī)整合(WU-VMC)方法。仿真實(shí)驗(yàn)驗(yàn)證了WU-VMC方法的有效性和高效性。然而本本文僅考慮了CPU這一單一資源的使用情況,忽略了內(nèi)存、帶寬等因素,沒(méi)有綜合考慮CPU、內(nèi)存、帶寬等因素對(duì)虛擬機(jī)整合的綜合影響,如何利用多資源約束的多目標(biāo)算法[17]進(jìn)行虛擬機(jī)整合,將是我們下一步的研究工作。

    猜你喜歡
    利用率服務(wù)質(zhì)量數(shù)據(jù)中心
    酒泉云計(jì)算大數(shù)據(jù)中心
    論如何提升博物館人性化公共服務(wù)質(zhì)量
    收藏界(2019年2期)2019-10-12 08:26:42
    化肥利用率穩(wěn)步增長(zhǎng)
    做好農(nóng)村土地流轉(zhuǎn) 提高土地利用率
    民航綠色云數(shù)據(jù)中心PUE控制
    淺議如何提高涉煙信息的利用率
    板材利用率提高之研究
    傾聽(tīng)患者心聲 提高服務(wù)質(zhì)量
    堅(jiān)持履職盡責(zé) 提升服務(wù)質(zhì)量
    基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
    a在线观看视频网站| 操美女的视频在线观看| 国产av国产精品国产| 老司机在亚洲福利影院| tube8黄色片| 亚洲av美国av| 成年人黄色毛片网站| 婷婷丁香在线五月| 无限看片的www在线观看| 999久久久国产精品视频| 国产91精品成人一区二区三区 | 日韩有码中文字幕| 免费在线观看日本一区| 老司机靠b影院| 久久天堂一区二区三区四区| 国产成人影院久久av| 欧美日韩亚洲国产一区二区在线观看 | 精品少妇黑人巨大在线播放| cao死你这个sao货| 久久久久久亚洲精品国产蜜桃av| 又黄又粗又硬又大视频| tube8黄色片| 99国产综合亚洲精品| 精品国产乱码久久久久久小说| 亚洲欧洲精品一区二区精品久久久| 久久精品亚洲熟妇少妇任你| 国产真人三级小视频在线观看| 久久中文字幕一级| 国产成人欧美在线观看 | 亚洲av成人不卡在线观看播放网| 日韩视频一区二区在线观看| av片东京热男人的天堂| 成人永久免费在线观看视频 | 欧美日韩亚洲国产一区二区在线观看 | 国产成人av激情在线播放| 国产精品1区2区在线观看. | 日韩欧美三级三区| 国产精品成人在线| 一级毛片女人18水好多| 另类精品久久| 美女高潮到喷水免费观看| 国产熟女午夜一区二区三区| 男男h啪啪无遮挡| 悠悠久久av| 亚洲,欧美精品.| 亚洲国产欧美一区二区综合| 国产人伦9x9x在线观看| 亚洲精品在线美女| 欧美激情极品国产一区二区三区| 亚洲人成伊人成综合网2020| 一本综合久久免费| 亚洲国产看品久久| 色精品久久人妻99蜜桃| 黑人欧美特级aaaaaa片| 少妇粗大呻吟视频| 露出奶头的视频| 麻豆国产av国片精品| 我的亚洲天堂| 自线自在国产av| 女性生殖器流出的白浆| 日韩大片免费观看网站| 激情在线观看视频在线高清 | 久久99一区二区三区| 18禁裸乳无遮挡动漫免费视频| 王馨瑶露胸无遮挡在线观看| 搡老岳熟女国产| 国产免费福利视频在线观看| 777米奇影视久久| 高清欧美精品videossex| 国产日韩欧美亚洲二区| 亚洲一码二码三码区别大吗| 伦理电影免费视频| 蜜桃国产av成人99| 午夜福利在线免费观看网站| 精品久久蜜臀av无| 国产精品免费视频内射| 日本黄色日本黄色录像| 老司机午夜十八禁免费视频| 夜夜骑夜夜射夜夜干| 在线观看人妻少妇| 天天操日日干夜夜撸| 国产亚洲欧美精品永久| 国产视频一区二区在线看| a级片在线免费高清观看视频| 高清毛片免费观看视频网站 | 美女主播在线视频| 美国免费a级毛片| 欧美av亚洲av综合av国产av| 这个男人来自地球电影免费观看| 亚洲精品av麻豆狂野| 久久久久久久大尺度免费视频| 欧美日本中文国产一区发布| 99热网站在线观看| 成年版毛片免费区| 十八禁网站免费在线| tocl精华| 欧美日韩国产mv在线观看视频| 男女午夜视频在线观看| 啪啪无遮挡十八禁网站| 黄色丝袜av网址大全| 又紧又爽又黄一区二区| 亚洲熟妇熟女久久| 久久久久久亚洲精品国产蜜桃av| 在线观看66精品国产| 久久久欧美国产精品| a在线观看视频网站| 久久人妻av系列| 精品一区二区三区视频在线观看免费 | netflix在线观看网站| 国产日韩欧美亚洲二区| 18在线观看网站| 丰满迷人的少妇在线观看| 丰满饥渴人妻一区二区三| 精品人妻熟女毛片av久久网站| 久久香蕉激情| 我要看黄色一级片免费的| 巨乳人妻的诱惑在线观看| 亚洲黑人精品在线| xxxhd国产人妻xxx| 国产精品久久久av美女十八| 亚洲国产欧美一区二区综合| 91精品国产国语对白视频| 韩国精品一区二区三区| cao死你这个sao货| 国产精品电影一区二区三区 | 久久人妻福利社区极品人妻图片| 久久久久精品国产欧美久久久| 亚洲精品在线美女| 51午夜福利影视在线观看| 久久久久视频综合| 不卡一级毛片| 人人妻人人澡人人爽人人夜夜| 一本—道久久a久久精品蜜桃钙片| 色婷婷久久久亚洲欧美| 考比视频在线观看| 日本一区二区免费在线视频| 97人妻天天添夜夜摸| a级片在线免费高清观看视频| 成人黄色视频免费在线看| 欧美大码av| 麻豆成人av在线观看| 国产精品二区激情视频| 国产97色在线日韩免费| 建设人人有责人人尽责人人享有的| 亚洲一码二码三码区别大吗| 人人妻人人添人人爽欧美一区卜| 亚洲国产毛片av蜜桃av| 亚洲精品自拍成人| 91精品国产国语对白视频| 国产一区有黄有色的免费视频| 欧美精品人与动牲交sv欧美| 黄色毛片三级朝国网站| 亚洲美女黄片视频| 最新的欧美精品一区二区| 看免费av毛片| 欧美精品高潮呻吟av久久| 一级片免费观看大全| 久久人人爽av亚洲精品天堂| 免费黄频网站在线观看国产| 后天国语完整版免费观看| 色播在线永久视频| kizo精华| 一本色道久久久久久精品综合| 午夜激情av网站| 欧美黑人欧美精品刺激| 久久久久视频综合| 丰满饥渴人妻一区二区三| 一个人免费在线观看的高清视频| 久久久国产一区二区| 另类精品久久| 满18在线观看网站| 高潮久久久久久久久久久不卡| 日本五十路高清| 色精品久久人妻99蜜桃| 女人爽到高潮嗷嗷叫在线视频| 成年动漫av网址| 香蕉国产在线看| 女人爽到高潮嗷嗷叫在线视频| av欧美777| 久久香蕉激情| 久久久久久久久免费视频了| 日韩成人在线观看一区二区三区| 69精品国产乱码久久久| 国产精品99久久99久久久不卡| 捣出白浆h1v1| 亚洲精品国产一区二区精华液| 亚洲成人免费电影在线观看| 肉色欧美久久久久久久蜜桃| 脱女人内裤的视频| 少妇被粗大的猛进出69影院| 久久这里只有精品19| 久久久久网色| 一个人免费在线观看的高清视频| 久久人人爽av亚洲精品天堂| 少妇精品久久久久久久| 国产精品美女特级片免费视频播放器 | 国产男女超爽视频在线观看| 久久热在线av| 日韩 欧美 亚洲 中文字幕| 亚洲熟女精品中文字幕| 亚洲色图av天堂| 国产一区二区激情短视频| 日韩中文字幕视频在线看片| 国产欧美日韩一区二区三区在线| 亚洲人成电影观看| 美国免费a级毛片| 亚洲av美国av| 可以免费在线观看a视频的电影网站| 精品国产超薄肉色丝袜足j| 国产精品av久久久久免费| 一级毛片电影观看| 日韩制服丝袜自拍偷拍| 久久午夜亚洲精品久久| 少妇 在线观看| 欧美日韩中文字幕国产精品一区二区三区 | 手机成人av网站| 国产在线免费精品| 久久午夜综合久久蜜桃| 欧美av亚洲av综合av国产av| 国产成人一区二区三区免费视频网站| 国产无遮挡羞羞视频在线观看| 国产在线视频一区二区| 老司机午夜福利在线观看视频 | 丝袜人妻中文字幕| 精品国产国语对白av| kizo精华| 亚洲国产中文字幕在线视频| 亚洲 国产 在线| 日韩人妻精品一区2区三区| 丝袜美足系列| 99精品欧美一区二区三区四区| 精品久久蜜臀av无| 午夜视频精品福利| av超薄肉色丝袜交足视频| 成人18禁高潮啪啪吃奶动态图| 99国产极品粉嫩在线观看| 色精品久久人妻99蜜桃| www日本在线高清视频| 老汉色av国产亚洲站长工具| 在线播放国产精品三级| 日韩视频在线欧美| 亚洲免费av在线视频| 妹子高潮喷水视频| 麻豆av在线久日| 午夜91福利影院| 一本一本久久a久久精品综合妖精| 亚洲伊人久久精品综合| 久久久久久久国产电影| 久久天躁狠狠躁夜夜2o2o| 黑人操中国人逼视频| 日韩欧美三级三区| 国产高清videossex| 国产精品影院久久| 女警被强在线播放| 国产无遮挡羞羞视频在线观看| 交换朋友夫妻互换小说| 咕卡用的链子| 欧美激情 高清一区二区三区| 日韩中文字幕视频在线看片| 国产亚洲精品第一综合不卡| 欧美日韩福利视频一区二区| 日本黄色视频三级网站网址 | 法律面前人人平等表现在哪些方面| 日韩制服丝袜自拍偷拍| 欧美日韩福利视频一区二区| 亚洲精品中文字幕在线视频| 久久性视频一级片| 色老头精品视频在线观看| 久久精品人人爽人人爽视色| 国产在线精品亚洲第一网站| 少妇被粗大的猛进出69影院| www.精华液| 丁香六月天网| 日韩有码中文字幕| 每晚都被弄得嗷嗷叫到高潮| 人成视频在线观看免费观看| 黑人猛操日本美女一级片| 又紧又爽又黄一区二区| 亚洲黑人精品在线| 精品国产国语对白av| 欧美av亚洲av综合av国产av| 国产麻豆69| 国产精品熟女久久久久浪| videosex国产| 人人妻人人添人人爽欧美一区卜| 人妻一区二区av| 国产激情久久老熟女| 99久久人妻综合| 久9热在线精品视频| 国产精品1区2区在线观看. | 女警被强在线播放| 久久久久久人人人人人| 欧美成狂野欧美在线观看| 黄色成人免费大全| 欧美精品一区二区大全| 国产精品熟女久久久久浪| 亚洲av电影在线进入| 久久青草综合色| 另类亚洲欧美激情| 亚洲国产中文字幕在线视频| av欧美777| 国产成人欧美在线观看 | 俄罗斯特黄特色一大片| 如日韩欧美国产精品一区二区三区| 国产精品久久久久久精品电影小说| 亚洲av电影在线进入| 啦啦啦中文免费视频观看日本| 久久天堂一区二区三区四区| 正在播放国产对白刺激| 一进一出好大好爽视频| 国产精品 欧美亚洲| 巨乳人妻的诱惑在线观看| e午夜精品久久久久久久| 中文字幕制服av| 超色免费av| 午夜激情av网站| 国产免费福利视频在线观看| www日本在线高清视频| 国内毛片毛片毛片毛片毛片| 夜夜骑夜夜射夜夜干| 免费高清在线观看日韩| 精品高清国产在线一区| 成人免费观看视频高清| 精品高清国产在线一区| 国产一区二区三区在线臀色熟女 | 国产高清国产精品国产三级| 80岁老熟妇乱子伦牲交| 亚洲欧洲日产国产| 久久久精品免费免费高清| 在线av久久热| 色在线成人网| 亚洲成a人片在线一区二区| 欧美+亚洲+日韩+国产| 久久九九热精品免费| 一二三四在线观看免费中文在| 日本a在线网址| 夜夜骑夜夜射夜夜干| 久久国产精品大桥未久av| 午夜福利视频精品| 视频区欧美日本亚洲| 亚洲精品久久午夜乱码| 亚洲男人天堂网一区| 国产成人啪精品午夜网站| 国产真人三级小视频在线观看| 亚洲成国产人片在线观看| 国产野战对白在线观看| 无人区码免费观看不卡 | av又黄又爽大尺度在线免费看| 涩涩av久久男人的天堂| 少妇的丰满在线观看| 无遮挡黄片免费观看| 极品人妻少妇av视频| av线在线观看网站| 99久久精品国产亚洲精品| 亚洲精品在线观看二区| 成人国语在线视频| 美女午夜性视频免费| av又黄又爽大尺度在线免费看| 少妇精品久久久久久久| 一级片'在线观看视频| 午夜福利视频在线观看免费| 一本—道久久a久久精品蜜桃钙片| 在线观看人妻少妇| 婷婷丁香在线五月| 日韩欧美一区视频在线观看| 熟女少妇亚洲综合色aaa.| 免费黄频网站在线观看国产| 老司机福利观看| 国产亚洲精品第一综合不卡| 精品午夜福利视频在线观看一区 | 免费不卡黄色视频| 男女午夜视频在线观看| 操美女的视频在线观看| 在线观看一区二区三区激情| 久久久久视频综合| 欧美黑人精品巨大| 欧美中文综合在线视频| 欧美黑人精品巨大| 成人18禁在线播放| 亚洲第一青青草原| 午夜免费鲁丝| 亚洲中文av在线| 国产免费视频播放在线视频| 大陆偷拍与自拍| 99九九在线精品视频| 午夜福利免费观看在线| 一区二区三区乱码不卡18| 日韩视频一区二区在线观看| 不卡av一区二区三区| 精品国产一区二区三区久久久樱花| 午夜福利影视在线免费观看| 久久久久久久精品吃奶| 欧美性长视频在线观看| 亚洲精华国产精华精| 香蕉久久夜色| 男女下面插进去视频免费观看| 欧美日韩av久久| 男女边摸边吃奶| 午夜两性在线视频| 最黄视频免费看| 亚洲专区中文字幕在线| 在线av久久热| 巨乳人妻的诱惑在线观看| 老司机午夜福利在线观看视频 | 国产区一区二久久| 美女午夜性视频免费| 法律面前人人平等表现在哪些方面| 午夜福利一区二区在线看| 高清在线国产一区| 国产欧美日韩精品亚洲av| 亚洲情色 制服丝袜| 亚洲精品美女久久av网站| 午夜福利视频精品| 性色av乱码一区二区三区2| 在线 av 中文字幕| 1024视频免费在线观看| 国产成人欧美| 久久久精品国产亚洲av高清涩受| 亚洲欧美色中文字幕在线| 亚洲精品国产一区二区精华液| 国产av一区二区精品久久| 亚洲精品国产色婷婷电影| 99精品欧美一区二区三区四区| 日日爽夜夜爽网站| 大陆偷拍与自拍| 亚洲va日本ⅴa欧美va伊人久久| 国产精品久久久久久人妻精品电影 | 久久久国产精品麻豆| 一区二区三区乱码不卡18| 久久精品国产亚洲av高清一级| 国产精品一区二区精品视频观看| 日韩大码丰满熟妇| 在线亚洲精品国产二区图片欧美| 日韩大片免费观看网站| 午夜福利一区二区在线看| 久久人人爽av亚洲精品天堂| 国产成人精品在线电影| 国产老妇伦熟女老妇高清| 狠狠狠狠99中文字幕| 九色亚洲精品在线播放| tocl精华| 丁香六月天网| 久久久精品94久久精品| 亚洲第一av免费看| 久久ye,这里只有精品| 日本精品一区二区三区蜜桃| 亚洲午夜理论影院| 久久人人爽av亚洲精品天堂| 人人妻人人爽人人添夜夜欢视频| 色综合婷婷激情| 国产有黄有色有爽视频| 亚洲专区国产一区二区| 欧美日韩一级在线毛片| 免费黄频网站在线观看国产| 久久久久精品国产欧美久久久| 一二三四社区在线视频社区8| 国产1区2区3区精品| 肉色欧美久久久久久久蜜桃| 在线观看免费视频日本深夜| 18禁黄网站禁片午夜丰满| 欧美av亚洲av综合av国产av| 搡老乐熟女国产| 久久精品aⅴ一区二区三区四区| 人人澡人人妻人| 大香蕉久久网| 欧美性长视频在线观看| 在线观看免费日韩欧美大片| 国产精品影院久久| 国产成人啪精品午夜网站| 日本精品一区二区三区蜜桃| 搡老熟女国产l中国老女人| 男女免费视频国产| 久久久久久免费高清国产稀缺| 亚洲国产av新网站| 免费黄频网站在线观看国产| 99在线人妻在线中文字幕 | 丝瓜视频免费看黄片| 国产单亲对白刺激| 少妇被粗大的猛进出69影院| 国产1区2区3区精品| 精品免费久久久久久久清纯 | 国产精品二区激情视频| 女人爽到高潮嗷嗷叫在线视频| 满18在线观看网站| 蜜桃国产av成人99| 少妇的丰满在线观看| 91麻豆精品激情在线观看国产 | 国产在线精品亚洲第一网站| 黄色视频,在线免费观看| 老司机亚洲免费影院| 久久精品91无色码中文字幕| 狠狠精品人妻久久久久久综合| 精品欧美一区二区三区在线| 亚洲成av片中文字幕在线观看| 亚洲欧美一区二区三区久久| 中国美女看黄片| 大型黄色视频在线免费观看| 国产精品久久电影中文字幕 | 51午夜福利影视在线观看| 亚洲熟女毛片儿| 人人妻人人澡人人看| 日韩 欧美 亚洲 中文字幕| 青青草视频在线视频观看| 国产成人精品在线电影| 亚洲欧美精品综合一区二区三区| 美女主播在线视频| 午夜福利欧美成人| 精品国内亚洲2022精品成人 | 这个男人来自地球电影免费观看| 伊人久久大香线蕉亚洲五| 高清av免费在线| 黄片小视频在线播放| 欧美日韩国产mv在线观看视频| 亚洲精华国产精华精| 天天躁夜夜躁狠狠躁躁| 国产激情久久老熟女| 19禁男女啪啪无遮挡网站| 女性被躁到高潮视频| 成人手机av| 蜜桃国产av成人99| 婷婷丁香在线五月| 成年人免费黄色播放视频| 在线 av 中文字幕| 国产熟女午夜一区二区三区| 精品一区二区三卡| 啦啦啦在线免费观看视频4| 亚洲一码二码三码区别大吗| 久久久久久久大尺度免费视频| 色综合欧美亚洲国产小说| av在线播放免费不卡| 国产av国产精品国产| 高清黄色对白视频在线免费看| 一级a爱视频在线免费观看| 香蕉国产在线看| 欧美精品高潮呻吟av久久| 我的亚洲天堂| 久久99一区二区三区| 成人av一区二区三区在线看| 免费久久久久久久精品成人欧美视频| 欧美日本中文国产一区发布| 激情在线观看视频在线高清 | 亚洲av成人一区二区三| 日韩大码丰满熟妇| 色在线成人网| 怎么达到女性高潮| 久久久久久久精品吃奶| 狠狠精品人妻久久久久久综合| www.精华液| 90打野战视频偷拍视频| 国产视频一区二区在线看| 国产区一区二久久| 日本精品一区二区三区蜜桃| 色婷婷久久久亚洲欧美| 精品熟女少妇八av免费久了| 久久精品国产亚洲av香蕉五月 | 亚洲成人免费av在线播放| √禁漫天堂资源中文www| 国产精品一区二区在线观看99| 九色亚洲精品在线播放| 日本vs欧美在线观看视频| 亚洲,欧美精品.| 老司机深夜福利视频在线观看| 波多野结衣一区麻豆| 久久狼人影院| 精品少妇内射三级| 欧美在线一区亚洲| 老熟女久久久| 国产高清videossex| 国产有黄有色有爽视频| 婷婷成人精品国产| 日韩中文字幕视频在线看片| 啦啦啦 在线观看视频| 9热在线视频观看99| 亚洲国产av影院在线观看| 他把我摸到了高潮在线观看 | 欧美日韩成人在线一区二区| 久久久国产欧美日韩av| 精品国内亚洲2022精品成人 | 免费在线观看黄色视频的| 国产精品久久久人人做人人爽| 搡老熟女国产l中国老女人| 国产av又大| 欧美黑人精品巨大| 精品久久久精品久久久| 波多野结衣一区麻豆| 国产主播在线观看一区二区| 在线观看舔阴道视频| 欧美亚洲 丝袜 人妻 在线| 亚洲成人免费av在线播放| 免费在线观看日本一区| 久久天躁狠狠躁夜夜2o2o| 91成人精品电影| 黄色a级毛片大全视频| 久久亚洲真实| 精品亚洲成国产av| 精品一区二区三区av网在线观看 | 美国免费a级毛片| 国产熟女午夜一区二区三区| 日韩欧美一区二区三区在线观看 | 亚洲中文字幕日韩| 老司机午夜福利在线观看视频 | 我的亚洲天堂| 亚洲国产欧美一区二区综合| 色在线成人网| 免费一级毛片在线播放高清视频 | 极品少妇高潮喷水抽搐| 国产成人av激情在线播放| 男女视频在线观看网站免费| 国产三级在线视频| 啦啦啦韩国在线观看视频| 在线观看午夜福利视频| av国产免费在线观看| 国产亚洲精品综合一区在线观看| 真人一进一出gif抽搐免费| 国产精品久久久人人做人人爽|