• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    綠色云計(jì)算環(huán)境中基于溫度感知的虛擬機(jī)遷移策略

    2020-05-01 08:27:10陽,王
    關(guān)鍵詞:能量消耗違規(guī)數(shù)據(jù)中心

    陳 陽,王 勇

    (1.安徽工程大學(xué) 現(xiàn)代教育技術(shù)中心,安徽 蕪湖 241000;2.安徽工程大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 蕪湖 241000)

    0 引 言

    為了倡導(dǎo)綠色云計(jì)算環(huán)境,近年來大規(guī)模節(jié)能的云數(shù)據(jù)中心的構(gòu)造與使用成了政府和各大IT企業(yè)越來越重視的問題,云數(shù)據(jù)中心的構(gòu)造目標(biāo)是低能量消耗、高服務(wù)質(zhì)量(quality of service,QoS)、節(jié)省物理空間和高可靠性等[1-4]。一個(gè)數(shù)據(jù)中心(data center,DC)通常配置有大量的緊密堆積在一起物理節(jié)點(diǎn)(physical machines,PM),目的是提高建筑物空間的利用率;虛擬化技術(shù)是云數(shù)據(jù)中心中最關(guān)鍵的技術(shù),虛擬化允許用戶對云資源的訪問是透明與簡單方便的, 它通過虛擬機(jī)(virtual machines,VM)的形式將應(yīng)用程序封裝起來,通過虛擬機(jī)分配策略將其分配到具體的數(shù)據(jù)中心的物理節(jié)點(diǎn)之中執(zhí)行。在應(yīng)用程序執(zhí)行過程中,利用虛擬機(jī)遷移策略來提高云資源的利用效率,節(jié)省云服務(wù)提供商的能量消耗和成本。針對虛擬機(jī)遷移策略,目前大量的文獻(xiàn)考慮的遷移因素都關(guān)注在物理主機(jī)的CPU使用效率,內(nèi)存大小,空余磁盤空間,網(wǎng)絡(luò)帶寬等方面, 把性能指標(biāo)關(guān)注在違規(guī)比率、QoS、系統(tǒng)能量消耗、虛擬機(jī)遷移次數(shù)等方面[5]。

    本文提出了一種綠色云計(jì)算環(huán)境中基于溫度感知的虛擬機(jī)遷移策略(TA-VMM),與當(dāng)前主要的遷移策略不同的是,該策略考慮的主要因素是云數(shù)據(jù)中心的物理節(jié)點(diǎn)的溫度情況和能量溫度結(jié)合情況。建立了虛擬機(jī)選擇和虛擬機(jī)分配過程中物理資源的溫度和能量的數(shù)學(xué)模型;TA-VMM由虛擬機(jī)選擇算法和虛擬機(jī)重分配算法TDR 2個(gè)部分組成。最后,在Cloudsim云計(jì)算模擬器上實(shí)現(xiàn)和測試了TA-VMM的策略。實(shí)驗(yàn)結(jié)果表明,在TA-VMM節(jié)省能量和虛擬機(jī)遷移次數(shù)方面具有較好的性能,SLA違規(guī)方面只有極小的增加。

    1 相關(guān)工作

    目前,學(xué)術(shù)界為了節(jié)省云數(shù)據(jù)中心的能量消耗,構(gòu)建綠色云計(jì)算環(huán)境,進(jìn)行了大量的研究。第1種是運(yùn)行冷凝系統(tǒng)保證物理服務(wù)器的空間不會(huì)過熱[6];第2種是通過虛擬機(jī)遷移策略和算法,即云服務(wù)提供商應(yīng)用虛擬機(jī)遷移與合并策略到公有云、私有云、混合云之中。

    第2種又主要分為3類:①早期的單純的虛擬機(jī)遷移策略,沒有采用相關(guān)智能算法進(jìn)行優(yōu)化;②貪心算法、遺傳算法等進(jìn)行優(yōu)化的虛擬機(jī)分配與遷移策略;③Anton Beloglazov博士等為團(tuán)隊(duì)開發(fā)的以Cloudsim模擬器平臺(tái)中的遷移策略為主線的虛擬機(jī)分配策略的研究。

    對于第1類相關(guān)研究, 文獻(xiàn)[7]提出了云數(shù)據(jù)中心的綠色計(jì)算的思路和減少碳泄露(carbon emission)的方法。它提出的方法都可以支持低能量消耗和減少碳泄露,實(shí)驗(yàn)結(jié)果顯示,可以減少23%的能量消耗和25%的碳泄露;文獻(xiàn)[8]提出了虛擬機(jī)遷移中一個(gè)自適應(yīng)的低能量消耗方法,使用模糊推理引擎來決定虛擬機(jī)的分配與放置,實(shí)驗(yàn)結(jié)果顯示,針對普通的能量管理算法,可以減少18%的能量消耗;文獻(xiàn)[9]提出了云數(shù)據(jù)中心中的虛擬機(jī)遷移策略,使用動(dòng)態(tài)的方式使其滿足客戶端的各種SLA應(yīng)用程序需求,實(shí)驗(yàn)結(jié)果顯示,該策略可以保證60%的物理服務(wù)器中的SLA違規(guī)忽略不計(jì),在一定程度上可以保證云數(shù)據(jù)中心的QoS服務(wù)質(zhì)量;文獻(xiàn)[10]在Anton Beloglazov博士的基礎(chǔ)上提出SLA違規(guī)算法,引入最小能量最大利用率策略,進(jìn)一步優(yōu)化虛擬機(jī)配置方法。

    對于第2類研究,文獻(xiàn)[11]從CPU維度對虛擬機(jī)的動(dòng)態(tài)配置問題進(jìn)行建模,并利用改進(jìn)的蛙跳算法進(jìn)行求解;文獻(xiàn)[12-13]提出了云計(jì)算中基于貪心算法的任務(wù)調(diào)度及改進(jìn),把改進(jìn)任務(wù)競爭時(shí)間和改進(jìn)任務(wù)執(zhí)行代價(jià)作為主要因素。實(shí)驗(yàn)結(jié)果表明,貪心算法在串行調(diào)度算法的基礎(chǔ)上可以改進(jìn)任務(wù)調(diào)度的性能,但是它們并沒有將貪心算法物理資源低能量消耗相關(guān)的算法之中;文獻(xiàn)[14-16]都提出了遺傳算法優(yōu)化的云數(shù)據(jù)中心虛擬機(jī)遷移策略,相關(guān)實(shí)驗(yàn)數(shù)據(jù)表,其性能要優(yōu)于貪心算法和無智能優(yōu)化算法等。

    對于第3類研究,文獻(xiàn)[17]分析了虛擬機(jī)遷移及其相關(guān)的動(dòng)態(tài)虛擬機(jī)合并問題,提出了自適應(yīng)的基于數(shù)據(jù)歷史分析的啟發(fā)式算法來保證低能量的消耗,實(shí)驗(yàn)結(jié)果顯示,局部規(guī)約算法(local regression algorithm)和最近時(shí)間遷移(least time migration)方法性能優(yōu)于其他常見方法;文獻(xiàn)[18]提出了能量相關(guān)的云計(jì)算的體系結(jié)構(gòu)和方法,它的主要思想是基于虛擬機(jī)的動(dòng)態(tài)合并,利用Cloudsim[19]來模擬與評測算法的性能,結(jié)果顯示,針對靜態(tài)的資源分配方法,它可以很好地降低云數(shù)據(jù)中心的能量消耗;文獻(xiàn)[20]提出了云數(shù)據(jù)中心考慮資源使用閾值邊界的虛擬機(jī)分配策略, 可以根據(jù)云端當(dāng)前工作負(fù)載的狀態(tài)來獲得資源的使用效率情況,在工作負(fù)載高于或者低于設(shè)置的閾值上界與閾值下界時(shí),該物理主機(jī)上的虛擬機(jī)將進(jìn)行遷移,放置到新的物理主機(jī)上,測試結(jié)果表明,比Cloudsim中已有的median absolute deviation(MAD)策略,static threshold(ST)策略,local regression(LR)策略,local regression robust(LRR)策略和inter quartile range(IQR)等的性能都要優(yōu)秀。

    上述這些方法的主要目的是應(yīng)用虛擬機(jī)動(dòng)態(tài)遷移技術(shù)實(shí)現(xiàn)云端服務(wù)的負(fù)載均衡和容錯(cuò),節(jié)省服務(wù)器的能量等,最終是為了改善云端的服務(wù)質(zhì)量QoS,減少SLA違規(guī), 虛擬機(jī)在遷移時(shí)考慮的物理資源使用情況的維度由早期的單一CPU利用率到現(xiàn)在的多個(gè)維度的指標(biāo),甚至后面還有硬件因素、軟件因素、網(wǎng)絡(luò)帶寬因素、網(wǎng)絡(luò)設(shè)備接口能量消耗等[21]。

    TA-VMM也是為了構(gòu)建綠色云計(jì)算環(huán)境,針對云端的多種應(yīng)用服務(wù)請求處于動(dòng)態(tài)變化情形下,提出的一種云數(shù)據(jù)中心的虛擬機(jī)動(dòng)態(tài)遷移模型, 可以認(rèn)為它是針對Cloudsim云計(jì)算模擬器進(jìn)行后續(xù)研究的虛擬機(jī)遷移策略,在資源申請時(shí)考慮的主要因素是溫度情況和能量情況,這是其他各類算法考慮較少的地方,它可以避免物理服務(wù)器嚴(yán)重的hot-spot 或者cold-spot問題。雖然文獻(xiàn)[22-24]在資源分配時(shí)也考慮了一些溫度因素,但是并沒有利用到云端的虛擬機(jī)選擇與分配之中。

    最近這幾年又有文獻(xiàn)提出采用軟件的方法來提高虛擬機(jī)分配和虛擬機(jī)放置策略的性能,還有文獻(xiàn)提出需要在虛擬機(jī)遷移過程中考慮網(wǎng)絡(luò)攻擊危險(xiǎn),保證云數(shù)據(jù)中心的可靠性。例如文獻(xiàn)[25]把虛擬機(jī)遷移過程劃分為物理主機(jī)狀態(tài)檢測、虛擬機(jī)映射、虛擬機(jī)選擇、虛擬機(jī)放置4個(gè)復(fù)雜的步驟,其中,虛擬機(jī)映射主要通過任務(wù)粒度、軟件代價(jià)等來進(jìn)行調(diào)整;虛擬機(jī)放置屬于一類經(jīng)典裝相問題,即把大量的VM放置到大量的物理節(jié)點(diǎn)之中,它提出要考慮虛擬機(jī)映射和虛擬機(jī)放置之間的相互聯(lián)系來改善性能。文獻(xiàn)[26] 提出了云數(shù)據(jù)中心基于安全檢測的虛擬機(jī)遷移策略。利用隔室技術(shù)及SIR(susceptible, infected, recovered)模型在虛擬機(jī)遷移過程將有安全威脅的虛擬機(jī)隔離出來,保證云數(shù)據(jù)中心的能量消耗與安全級別的平衡。

    2 相關(guān)概念描述

    2.1 能量消耗模型

    在TA-VMM中,物理主機(jī)的溫度做為重要因素在虛擬機(jī)選擇和分配過程中予以考慮,其工作場景為一個(gè)云數(shù)據(jù)中心有N個(gè)物理服務(wù)器節(jié)點(diǎn),云平臺(tái)上運(yùn)行著M個(gè)虛擬機(jī)。云客戶端向云數(shù)據(jù)中心申請資源的時(shí)候,存在著虛擬機(jī)遷移,虛擬機(jī)合并等事件,多個(gè)虛擬機(jī)也可以被分配到一個(gè)單獨(dú)的物理服務(wù)器節(jié)點(diǎn),我們設(shè)計(jì)了下面的能量消耗數(shù)學(xué)模型。

    物理服務(wù)器節(jié)點(diǎn)的能量消耗的主要決定因素往往包括主機(jī)的CPU使用率、內(nèi)存大小、磁盤空間大小及網(wǎng)絡(luò)接口的使用率等。在這些因素之中,CPU往往是物理主機(jī)最重要的能量消耗因素,這也是前5~8年的虛擬機(jī)遷移策略的論文主要分析的是CPU利用情況的原因所在。后期有相關(guān)文獻(xiàn)[21]表明,一個(gè)空閑的物理服務(wù)器大約也要消耗它的峰值能量的70%,所以關(guān)閉那些空閑的物理服務(wù)器在云數(shù)據(jù)中心十分重要。

    在TA-VMM中,為了計(jì)算云端的能源消耗,假設(shè)服務(wù)器是空閑的,它的能源消耗百分比是k,pfull表示服務(wù)器在完全滿負(fù)載工作時(shí)的能源消耗(峰值能量消耗),ui是當(dāng)前的物理主機(jī)i的CPU使用效率。物理主機(jī)的能量消耗為整個(gè)云服務(wù)器端的能源消耗為

    Pi=k·pfull+(1-k)pfull·ui

    (1)

    (2)

    2.2 溫度模型

    在溫度的數(shù)學(xué)模型中,TA-VMM主要參考了文獻(xiàn)[27]中的lumped RC物理服務(wù)器的溫度行為。即在時(shí)刻t的情況下,假設(shè)一個(gè)能量消耗為P的處理器的溫度可以描述為

    T(t)=P·Rth+Tamb-

    (P·Rth+Tamb-Tinit)·e-t/RthCth

    (3)

    (3)式中:Rth和Cth分別表示其等效的熱電阻和熱電容;Tamb表示環(huán)境溫度;Tinit表示初始溫度。

    2.3 物理主機(jī)過負(fù)載檢測

    由于在虛擬機(jī)遷移過程中經(jīng)常要判斷物理主機(jī)是否空閑或者超負(fù)荷,所以TA-VMM中參考了Cloudsim開發(fā)團(tuán)隊(duì)中的描述,定義了幾種物理主機(jī)超負(fù)載檢測算法。

    1)固定閾值(static threshold,THR):資源在使用過程中,采取一個(gè)固定的使用效率閾值,例如80%或者20%, 超過或小于這個(gè)范圍的情況下,虛擬機(jī)就要進(jìn)行遷移。

    2)四分差(interquartile range,IQR):設(shè)置一個(gè)資源使用的上限利用效率閾值,用來調(diào)整CPU的使用效率。

    3)絕對中位差(median absolute deviation,MAD):設(shè)置一個(gè)資源使用效率閾值,根據(jù)CPU的使用效率的中位來確定是否遷移虛擬機(jī)。

    4)局部魯棒性(local regression robust,LRR)規(guī)約:尋找一個(gè)趨勢多項(xiàng)式到最近的CPU使用效率的j個(gè)觀察值來評測下一個(gè)觀察值,最后檢測其是否滿足物理主機(jī)超負(fù)載的狀態(tài)。

    2.4 虛擬機(jī)選擇策略

    TA-VMM虛擬機(jī)遷移策略包括2個(gè)過程:虛擬機(jī)選擇和虛擬機(jī)重新分配。TA-VMM中也采用了Cloudsim中的虛擬機(jī)遷移方法作為比較性能,這些已有的策略描述如下。

    1)最大關(guān)聯(lián)(maximum correlation,MC)選擇方法:即選擇同一個(gè)物理主機(jī)上的且與CPU使用效率有最高關(guān)聯(lián)度的虛擬機(jī)作為對象。

    2)最小遷移時(shí)間(minimum migration time,MMT)選擇方法:即遷移一個(gè)在最短時(shí)間內(nèi)能夠完成的虛擬機(jī)作為選擇對象。

    3)最小使用效率(minimum utilization,MU)選擇方法:即對一個(gè)具有最小使用效率的虛擬機(jī)進(jìn)行遷移。

    4)隨機(jī)選擇(random selection,RS)策略:即在物理服務(wù)器上隨機(jī)選擇一個(gè)虛擬機(jī)進(jìn)行遷移。

    3 TA-VMM虛擬機(jī)遷移工作機(jī)制描述

    3.1 主要步驟

    TA-VMM虛擬機(jī)遷移策略的工作機(jī)制包括下面3個(gè)步驟:①判斷出目標(biāo)物理主機(jī),即哪個(gè)是超負(fù)載工作主機(jī)或者未超負(fù)載的工作主機(jī);②選擇一個(gè)虛擬機(jī)進(jìn)行遷移,該遷移一般都是從超負(fù)載的物理主機(jī)上選擇;③重新分配虛擬機(jī)到那些未超負(fù)載的物理主機(jī)之上。

    在這個(gè)過程中,可以采用不同的策略來完成超負(fù)載狀態(tài)的檢測,如果一個(gè)物理主機(jī)的CPU使用率已經(jīng)超過一個(gè)設(shè)定的閾值,那么該物理主機(jī)上的一個(gè)或者多個(gè)將必須遷移到另外一個(gè)物理主機(jī)上,這樣的目的是防止產(chǎn)生潛在的SLA違規(guī)。在虛擬機(jī)遷移結(jié)束階段,那些沒有虛擬機(jī)運(yùn)行的物理主機(jī)關(guān)閉,最終可以節(jié)約云數(shù)據(jù)中心的能量消耗。

    3.2 虛擬機(jī)選擇算法

    在TA-VMM中,只要有一個(gè)物理主機(jī)被檢測到處于超負(fù)載工作狀態(tài),其上的虛擬機(jī)將進(jìn)行遷移,在這個(gè)步驟中,本文提出了虛擬機(jī)選擇算法,該算法的目的是在超負(fù)載的物理主機(jī)上遷移一個(gè)或者多個(gè)虛擬機(jī),目的是為了使該物理節(jié)點(diǎn)在虛擬機(jī)遷移之后獲得。 這里值的計(jì)算方法為其最優(yōu)溫度和當(dāng)前溫度的距離的絕對值。在這種情況下,如果物理服務(wù)器可以控制在根據(jù)文獻(xiàn)[24]提出的最優(yōu)溫度,那么主機(jī)的能量消耗和SLA違規(guī)的值都可以保持到相對最低值, 為了最小化,虛擬機(jī)選擇算法將選擇VMj完成遷移,定義為

    MTD=|Topt-Ti|

    (4)

    (4)式中:Ti表示物理主機(jī)i的溫度;Topt表示物理主機(jī)的最優(yōu)溫度。文獻(xiàn)[24]中提到,在這個(gè)情況下,云平臺(tái)可以獲得能量消耗和SLA違規(guī)的相對平衡。

    定義這個(gè)虛擬機(jī)選擇算法為MTD, TA-VMM中MTD算法的偽代碼如算法1。算法的輸入是超負(fù)載的物理主機(jī)列表,輸出是被選擇出的虛擬機(jī)列表。

    Algorithm 1:VM Selection Policy // 虛擬機(jī)選擇策略

    輸入 Input: OverUtilizedHosts, vmList //超負(fù)載物理主機(jī)列表,虛擬機(jī)列表

    輸出 Output:VmsToMigrateList //侯選遷移虛擬機(jī)列表

    1 for each host in OverUtilizedHosts do //針對所有的超負(fù)載物理主機(jī)中的每一個(gè)物理主機(jī)。

    2 minTD=MAX //變量MAX賦值給最小溫度距離變量minTD

    3 migratableVM=NULL //可遷移的虛擬機(jī)被賦值為空

    4 for each vm in vmList do //針對所有的虛擬機(jī)列表中的每一個(gè)虛擬機(jī)。

    5 if TD< minTD then //如果溫度距離TD小于變量minTD

    6 migratableVM=vm //虛擬機(jī)被賦值為可遷移的虛擬機(jī)

    7 minTD=TD 變量TD賦值給最小溫度距離變量minTD

    8 end if //結(jié)束if循環(huán)

    9 end for //結(jié)束For循環(huán)

    10 VmsToMigrateList.add(migtatableVM) //將虛擬機(jī)加入到侯選遷移虛擬機(jī)列表

    11 end for //結(jié)束For循環(huán)

    12 return VmsToMigrateList //返回侯選遷移虛擬機(jī)列表

    3.3 虛擬機(jī)分配算法

    TA-VMM的最后一個(gè)步驟是重新分配被選擇好的虛擬機(jī)到新的合適的物理主機(jī),這種問題可以類比為一種經(jīng)典裝箱問題(bin packing problem) 。每個(gè)物理主機(jī)上的CPU作為可用資源可以類比為箱的尺寸,貨物代表了將要被分配的虛擬機(jī), 價(jià)格代表了物理主機(jī)的溫度距離比率(temperature distance ratio,TDR),即TDR是TA-VMM遷移策略中提出的一個(gè)參數(shù),下面詳細(xì)解釋TDR。

    當(dāng)前的CPU都比較先進(jìn),處理器都有自動(dòng)測量芯片溫度的功能,如果芯片處于高溫的狀態(tài),即表明它有高的能量消耗,芯片長期處于功耗大的狀態(tài)將會(huì)出現(xiàn)硬件故障,所以在TA-VMM中,我們期望遷移過來的虛擬機(jī)能夠使CPU處于低能量消耗狀態(tài)和低溫的狀態(tài),TDR定義為

    (5)

    TDR函數(shù)既利用了前面的能量模型,也考慮了溫度模型, 所以TA-VMM最后一步為參考TDR的具體值來完成虛擬機(jī)的再分配。值得注意的是,在相同CPU使用效率的情況下,一個(gè)主機(jī)如果有比較高的每秒百萬條指令(million instructions per second,MIPS) 值, 那么它消耗的能量也相對要多。在相同情況下,2個(gè)物理主機(jī)可能容納不同數(shù)量的虛擬機(jī),因此,僅僅通過簡單考慮物理主機(jī)使用效率或者能量消耗是很難有一個(gè)正確的溫度控制。所以TDR函數(shù)的設(shè)計(jì)只是將遷移那些最接近最優(yōu)溫度的虛擬機(jī)。本文采用一個(gè)修改的最佳適應(yīng)遞減算法(best fit decreasing algorithm,BFD)并實(shí)現(xiàn)[17],在TA-VMM中稱為TDR-BFD。

    在TDR-BFD中,被選擇好的虛擬機(jī)按照CPU使用效率遞減的方式排序,那些排序好的虛擬機(jī)將被分配到新的合適的物理節(jié)點(diǎn),這樣就使TDR值獲得最小的增加。

    TDR-BFD虛擬機(jī)分配算法執(zhí)行完后,虛擬機(jī)將選擇到能量和性能最優(yōu)的物理主機(jī)。TDR-BFD算法的偽代碼如Algorithm 2。算法的輸入為被選擇出的虛擬機(jī)列表,輸出為重新分配好的虛擬機(jī)列表。

    Algorithm 2: TDR Best Fit Decreasing //最好遞減虛擬機(jī)分配算法

    輸入 Input:hostList, VmsToMigrateList //物理主機(jī),侯選遷移虛擬機(jī)列表

    輸出 Output: allocation of Vms //虛擬機(jī)分配的結(jié)果

    1 VmsToMigrateList.sortDecreasingUtilization() //將侯選遷移虛擬機(jī)列表中的虛擬機(jī)按照資源利用效率排序

    2 for each vm in VmsToMigrateList do //針對侯選遷移虛擬機(jī)列表中的每一個(gè)虛擬機(jī)

    3 minTDRDiff=MAX //變量MAX賦值給最小溫度差異變量minTDRDiff

    4 allocatedHost=MULL //可分配的虛擬機(jī)被賦值為空

    5 fo reach host in hostlist do //針對所有的物理主機(jī)列表中的每一個(gè)物理主機(jī)

    6 if host has enough resources forvm then //如果該物理主機(jī)有足夠的資源容納虛擬機(jī)

    7 TDRDiff=estimateTDRDiff(host,vm) //當(dāng)前溫度差異變量TDRDiff被賦值給estimateTDRDiff函數(shù)的結(jié)果

    8 IfTDRDiff

    9 allocateHost=host //物理主機(jī)被賦值為被選中的可分配的物理主機(jī)

    10 minTDRDiff=TDRDiff //當(dāng)前的最小溫度距離差異值TDRDiff賦值給最小溫度差異變量minTDRDiff

    11 end if //結(jié)束if循環(huán)

    12 end if //結(jié)束if循環(huán)

    13 end for // 結(jié)束For循環(huán)

    14 if allocatedHost!=NULL then //如果被選中的分配的物理主機(jī)列表不為空

    15 allcation.add(vm.allocatedHost) // //將物理主機(jī)加入到被分配的物理主機(jī)列表

    16 end if //結(jié)束if循環(huán)

    17 end for //結(jié)束For循環(huán)

    18 return allocation //返回虛擬機(jī)分配的結(jié)果

    4 仿真與性能分析

    4.1 仿真環(huán)境

    Cloudsim[19]工具是Anton Beloglazov博士的研究團(tuán)隊(duì)開發(fā)的一個(gè)最常見的面向云數(shù)據(jù)中心的模擬器,上面已經(jīng)實(shí)現(xiàn)了一些虛擬機(jī)遷移策略,例如已有能量管理策略 (dynamic voltage and frequency scaling,DVFS)和無能量管理的隨機(jī)策略(no power aware policy,NPA),還有另外的單一閾值(single threshold,ST)遷移策略和最小遷移次數(shù) (minimization of migrations,MM)遷移策略。 DVFS是根據(jù)服務(wù)器處理器芯片所運(yùn)行的應(yīng)用程序?qū)τ?jì)算能力的不同需要,動(dòng)態(tài)調(diào)節(jié)芯片的運(yùn)行頻率和電壓。

    接下來開始設(shè)置Cloudsim模擬的云數(shù)據(jù)中心環(huán)境,它包括一大批空閑的HP ProLiant ML110 G4物理服務(wù)器與G4數(shù)量相同的空閑的HP ProLiant ML110 G5物理服務(wù)器,服務(wù)器的硬件組成如表1。每個(gè)物理節(jié)點(diǎn)CPU核心的計(jì)算能力相當(dāng)于1 860 MIPS或者2 660 MIPS。4個(gè)模型的虛擬機(jī)類型如表2,具有MIPS和內(nèi)存的具體值,這樣可以模擬真實(shí)的計(jì)算場景。每個(gè)虛擬機(jī)都具有100 Mbit/s的網(wǎng)絡(luò)帶寬。溫度常量參考了lumped RC溫度模型中的具體值,如表3。最優(yōu)溫度的閾值設(shè)置為343 K, 這個(gè)溫度可以達(dá)到能量消耗和SLA違規(guī)之間的平衡。

    表1 云數(shù)據(jù)中心中的物理節(jié)點(diǎn)配置Tab.1 Physical machine configuration of cloud data centers

    4.2 性能指標(biāo)

    4.2.1 SLA違規(guī)

    SLA違規(guī)值表明在客戶有服務(wù)請求的時(shí)候,CPU并沒有分配資源的情況,因此,為了云客戶端增加QoS,我們的首要目標(biāo)是減少SLA違規(guī)值。

    表2 虛擬機(jī)類型配置Tab.2 Configuration of virtual machine type

    表3 溫度常量的設(shè)置Tab.3 Setup of temperature constants

    文獻(xiàn)[17]中采用了2個(gè)方法來評價(jià)SLA違規(guī):①單活動(dòng)主機(jī)SLA違規(guī)時(shí)間(SLA violation time per active host,SLATAH); ②虛擬機(jī)遷移后的性能降低(performance degradation due to migrations,PDM)情況。

    所以最終SLA違規(guī)的具體值可以表示為

    SLAV=SLATAH·PDM

    (6)

    (6)式中:SLATAH是活動(dòng)主機(jī)的CPU具有100%的使用效率所占的比例;PDM是整個(gè)系統(tǒng)因?yàn)樘摂M機(jī)遷移后的性能降低情況。

    4.2.2 能量消耗和SLA違規(guī)聯(lián)合指標(biāo)

    本文這里保證能量消耗和QoS之間的平衡來評價(jià)整個(gè)云數(shù)據(jù)中心的性能,計(jì)算公式為

    ESV=E·SLAV

    (7)

    (7)式中:E是云數(shù)據(jù)中心的整體能量消耗;SLAV是(6)式中所表達(dá)的SLA違規(guī)情況,ESV的值正比于能量消耗E和SLAV,所以ESV越小,云數(shù)據(jù)中心系統(tǒng)性能越優(yōu)秀。

    4.3 仿真結(jié)果與性能分析

    為了體現(xiàn)TA-VMM虛擬機(jī)遷移策略的性能改進(jìn),把TA-VMM和其他能量感知的虛擬機(jī)分配機(jī)制進(jìn)行了比較,包括Cloudsim中4類虛擬機(jī)遷移策略(MC, MMT, MU 和RS),同時(shí)采取不同的虛擬機(jī)超負(fù)載檢測算法(THR, IQR, MAD 和LRR)。為了方便描述實(shí)驗(yàn)結(jié)果,只保留了這些遷移策略的最大值和最小值的數(shù)據(jù),仿真了真實(shí)情況下應(yīng)用程序訪問云數(shù)據(jù)中心的情況,隨機(jī)選擇24 h來完成工作負(fù)載的跟蹤。 在仿真過程中,有800個(gè)物理主機(jī)和1 052個(gè)虛擬機(jī)。表4~表7是各類虛擬機(jī)遷移策略和本文的TA-VMM遷移策略的比較結(jié)果。

    表4顯示了TA-VMM遷移策略與其他遷移方法的比較,能量消耗有大約30%的減少。

    表4 TA-VMM與Cloudsim中已有的遷移策略能量消耗比較(持續(xù)24 h)Tab.4 Experiment results analysis of energy consumption in TA-VMM and Cloudsim (continue 24 h) KWh

    表5 TA-VMM與Cloudsim中已有的遷移策略SLA違規(guī)比較(持續(xù)24 h)Tab.5 Experiment results analysis of SLA violation in TA-VMM and Cloudsim(continue 24 h) %

    表6 TA-VMM與Cloudsim中已有的遷移策略虛擬機(jī)遷移次數(shù)比較(持續(xù)24 h)Tab.6 Experiment results analysis of migration numbers in TA-VMM and Cloudsim(continue 24 h)

    表5中顯示了SLA違規(guī)的仿真結(jié)果,從表5中可以看出,所有的虛擬機(jī)遷移策略都可以獲得小于0.01%的SLAV值。

    表6中顯示了不同虛擬機(jī)遷移策略的虛擬機(jī)遷移次數(shù)的比較,TA-VMM的遷移次數(shù)比其他的2個(gè)策略要少50%。

    表7顯示了本文TA-VMM策略的ESV參數(shù)值也小于其他策略的38%~51.2%,當(dāng)對比活動(dòng)主機(jī)數(shù)目的時(shí)候,本文基于TDR的溫度感知機(jī)制比其他能量感知的虛擬機(jī)遷移機(jī)制也要低,具有比較高的MIPS的物理主機(jī)SLATAH比較小。分析原因是TA-VMM遷移策略在能量節(jié)省方面更容易使虛擬機(jī)到那些低能量消耗的物理主機(jī)之上。

    表7 TA-VMM與Cloudsim中已有的遷移策略ESV性能比較(持續(xù)24 h)Tab.7 Experiment results analysis of ESV in TA-VMM and Cloudsim(continue 24 h)

    然而TA-VMM策略的SLA違規(guī)值也有了一些輕微的提高,但是TA-VMM遷移策略能夠成功地定位被選擇的虛擬機(jī)到合適的物理節(jié)點(diǎn),可以達(dá)到能量消耗、最佳溫度及SLA違規(guī)之間的平衡。因?yàn)槊總€(gè)虛擬機(jī)的遷移都可以導(dǎo)致SLA違規(guī),因此,應(yīng)該在可能的情況下盡量減少虛擬機(jī)遷移的數(shù)量。

    從表6還可以看出,TA-VMM遷移策略的遷移次數(shù)比其他策略的要少,通過虛擬機(jī)重新分配,它可以保持主機(jī)一直工作,同時(shí)接近最佳溫度。物理主機(jī)的CPU整體利用效率可以一直保持在一個(gè)與最佳溫度相對應(yīng)的閾值范圍之內(nèi)。整體來說,TA-VMM遷移策略也實(shí)現(xiàn)了更好的虛擬機(jī)合并,與其他遷移策略比較起來,TA-VMM遷移策略最終在降低虛擬機(jī)遷移次數(shù)、減少能量消耗、降低SLA違規(guī)等方面體現(xiàn)了良好的性能。

    5 結(jié) 論

    本文提出綠色云計(jì)算環(huán)境下的基于溫度感知的虛擬機(jī)遷移策略TA-VMM, 它主要考慮物理主機(jī)的溫度情況作為選擇和分配虛擬機(jī)的關(guān)鍵因素。采用Cloudsim云計(jì)算的模擬器建立了TA-VMM仿真環(huán)境,測試結(jié)果表明,與Cloudsim中已經(jīng)有的遷移策略比較起來,TA-VMM可以很好地節(jié)省云數(shù)據(jù)中心的能量消耗,減少SLA違規(guī)值(保證云計(jì)算的服務(wù)質(zhì)量QoS)和虛擬機(jī)遷移次數(shù)。TA-VMM模型給構(gòu)造綠色云數(shù)據(jù)中心的企業(yè)提供了一個(gè)新的思路,溫度感知和能量感知相結(jié)合的虛擬機(jī)遷移策略在一定程度上可以更好地降低能量消耗,下一步工作將考慮將云數(shù)據(jù)中心的遷移策略利用到群智網(wǎng)絡(luò)或者移動(dòng)云計(jì)算之中[28]。

    猜你喜歡
    能量消耗違規(guī)數(shù)據(jù)中心
    太極拳連續(xù)“云手”運(yùn)動(dòng)強(qiáng)度及其能量消耗探究
    酒泉云計(jì)算大數(shù)據(jù)中心
    中年女性間歇習(xí)練太極拳的強(qiáng)度、能量消耗與間歇恢復(fù)探究分析
    違規(guī)借調(diào)的多重“算計(jì)”
    “啄木鳥”專吃“違規(guī)蟲”
    沒別的可吃
    民航綠色云數(shù)據(jù)中心PUE控制
    電子測試(2018年11期)2018-06-26 05:56:24
    違規(guī)試放存放 爆炸5死1傷
    違規(guī)逆行之后
    基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
    国精品久久久久久国模美| 超碰97精品在线观看| 亚洲精品乱久久久久久| 国产av又大| 日韩三级视频一区二区三区| 亚洲成人免费电影在线观看| 看免费av毛片| 久久久国产成人免费| 久久精品国产亚洲av香蕉五月 | 国产精品 国内视频| 18在线观看网站| 欧美人与性动交α欧美精品济南到| 十八禁人妻一区二区| 久久人妻福利社区极品人妻图片| 国产欧美日韩一区二区三区在线| 成人永久免费在线观看视频| 精品国产国语对白av| 亚洲色图综合在线观看| 日日爽夜夜爽网站| 一级毛片精品| 看免费av毛片| 高潮久久久久久久久久久不卡| 中文字幕最新亚洲高清| 久久影院123| 怎么达到女性高潮| 极品人妻少妇av视频| 亚洲av欧美aⅴ国产| 十八禁网站免费在线| 久久国产乱子伦精品免费另类| 侵犯人妻中文字幕一二三四区| 亚洲精品久久午夜乱码| 国产97色在线日韩免费| 大香蕉久久成人网| 国产午夜精品久久久久久| 久久婷婷成人综合色麻豆| 在线观看舔阴道视频| 亚洲精品国产一区二区精华液| 成年人黄色毛片网站| 黑丝袜美女国产一区| 久久精品国产清高在天天线| 亚洲全国av大片| 天天躁日日躁夜夜躁夜夜| 美女扒开内裤让男人捅视频| 69精品国产乱码久久久| 黄色视频不卡| 老熟女久久久| 黑人巨大精品欧美一区二区mp4| 久久人妻av系列| 色综合欧美亚洲国产小说| 夜夜爽天天搞| 亚洲国产精品sss在线观看 | 视频区图区小说| 男女免费视频国产| 亚洲精品美女久久久久99蜜臀| 村上凉子中文字幕在线| 飞空精品影院首页| 男女下面插进去视频免费观看| 亚洲国产毛片av蜜桃av| a级毛片黄视频| 美国免费a级毛片| av一本久久久久| 亚洲欧美激情综合另类| 中国美女看黄片| 国产伦人伦偷精品视频| 18禁国产床啪视频网站| 人人妻,人人澡人人爽秒播| 亚洲色图av天堂| 在线观看舔阴道视频| 久久午夜综合久久蜜桃| 日本撒尿小便嘘嘘汇集6| 久久九九热精品免费| 一边摸一边抽搐一进一小说 | 国产高清videossex| 美女 人体艺术 gogo| 成年人黄色毛片网站| 男女下面插进去视频免费观看| 久久久久久久午夜电影 | 亚洲成人免费av在线播放| 中文亚洲av片在线观看爽 | 精品人妻熟女毛片av久久网站| 国产真人三级小视频在线观看| 国产精品综合久久久久久久免费 | 亚洲av成人不卡在线观看播放网| 一二三四在线观看免费中文在| 看片在线看免费视频| 黑人猛操日本美女一级片| 日韩有码中文字幕| 最近最新中文字幕大全免费视频| 国产高清激情床上av| av线在线观看网站| 老汉色∧v一级毛片| 侵犯人妻中文字幕一二三四区| 欧美人与性动交α欧美软件| 精品国产乱子伦一区二区三区| 色尼玛亚洲综合影院| 国产单亲对白刺激| 午夜精品在线福利| 亚洲五月天丁香| 极品教师在线免费播放| 在线天堂中文资源库| 少妇被粗大的猛进出69影院| 久久国产乱子伦精品免费另类| 天天躁夜夜躁狠狠躁躁| 午夜两性在线视频| 美女国产高潮福利片在线看| 黑人操中国人逼视频| 免费在线观看日本一区| 国产高清国产精品国产三级| 国产国语露脸激情在线看| 黄片大片在线免费观看| 久久99一区二区三区| 免费女性裸体啪啪无遮挡网站| 日韩熟女老妇一区二区性免费视频| 亚洲视频免费观看视频| 午夜福利视频在线观看免费| 自线自在国产av| 999精品在线视频| 欧美日韩av久久| 无限看片的www在线观看| 无限看片的www在线观看| 国产1区2区3区精品| 成人影院久久| 欧美另类亚洲清纯唯美| 中文字幕色久视频| 老司机午夜十八禁免费视频| 欧美人与性动交α欧美精品济南到| 久久精品亚洲av国产电影网| 交换朋友夫妻互换小说| 叶爱在线成人免费视频播放| 欧美激情极品国产一区二区三区| 欧美黑人欧美精品刺激| 亚洲男人天堂网一区| 老汉色av国产亚洲站长工具| 男女床上黄色一级片免费看| 黑丝袜美女国产一区| 露出奶头的视频| 亚洲熟妇中文字幕五十中出 | av在线播放免费不卡| 婷婷精品国产亚洲av在线 | 两性夫妻黄色片| 一级,二级,三级黄色视频| 亚洲av熟女| 最近最新中文字幕大全免费视频| 亚洲片人在线观看| 9热在线视频观看99| 欧美精品啪啪一区二区三区| netflix在线观看网站| 91精品国产国语对白视频| 精品国产乱子伦一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 欧美丝袜亚洲另类 | 久久精品亚洲精品国产色婷小说| 亚洲欧美一区二区三区久久| 美国免费a级毛片| 国产99久久九九免费精品| 国产99久久九九免费精品| 一级毛片女人18水好多| 一级毛片女人18水好多| 两个人看的免费小视频| 正在播放国产对白刺激| 黄色丝袜av网址大全| 免费不卡黄色视频| 成人黄色视频免费在线看| 亚洲精华国产精华精| 久久99一区二区三区| 黄频高清免费视频| 天天添夜夜摸| 亚洲九九香蕉| 欧美日韩乱码在线| 久久人妻熟女aⅴ| 亚洲av第一区精品v没综合| av有码第一页| 91精品三级在线观看| 亚洲成av片中文字幕在线观看| 精品乱码久久久久久99久播| 欧美黄色片欧美黄色片| 亚洲久久久国产精品| 一二三四社区在线视频社区8| 成人亚洲精品一区在线观看| 精品国产一区二区三区久久久樱花| 亚洲九九香蕉| 在线看a的网站| 亚洲av欧美aⅴ国产| 午夜福利在线观看吧| 桃红色精品国产亚洲av| 国产精品偷伦视频观看了| 日韩大码丰满熟妇| 如日韩欧美国产精品一区二区三区| 大香蕉久久成人网| 黄片大片在线免费观看| 一级作爱视频免费观看| 精品一区二区三区四区五区乱码| 1024香蕉在线观看| 久久性视频一级片| 制服诱惑二区| 视频区图区小说| 亚洲一区高清亚洲精品| 女人被狂操c到高潮| 亚洲精品乱久久久久久| 国产成人啪精品午夜网站| 欧美国产精品一级二级三级| 中文字幕最新亚洲高清| 亚洲精品久久午夜乱码| 亚洲中文日韩欧美视频| 一级黄色大片毛片| 亚洲五月色婷婷综合| 欧美亚洲日本最大视频资源| 亚洲全国av大片| 人人妻,人人澡人人爽秒播| 欧美精品高潮呻吟av久久| 亚洲精品久久成人aⅴ小说| 久久精品国产清高在天天线| 一二三四社区在线视频社区8| 国产免费现黄频在线看| 亚洲一码二码三码区别大吗| 一边摸一边抽搐一进一小说 | 色综合婷婷激情| 热99国产精品久久久久久7| 又紧又爽又黄一区二区| 一进一出抽搐gif免费好疼 | 精品卡一卡二卡四卡免费| 老司机深夜福利视频在线观看| 国产精品免费视频内射| 新久久久久国产一级毛片| 午夜影院日韩av| 在线永久观看黄色视频| 在线天堂中文资源库| 天堂中文最新版在线下载| 成人手机av| 日本vs欧美在线观看视频| √禁漫天堂资源中文www| 欧美最黄视频在线播放免费 | 99久久精品国产亚洲精品| 成人三级做爰电影| 男男h啪啪无遮挡| 美国免费a级毛片| 777久久人妻少妇嫩草av网站| 身体一侧抽搐| 国产男靠女视频免费网站| 精品乱码久久久久久99久播| 女性生殖器流出的白浆| 中文字幕另类日韩欧美亚洲嫩草| 中国美女看黄片| 国产国语露脸激情在线看| 免费av中文字幕在线| 欧美一级毛片孕妇| x7x7x7水蜜桃| 男人操女人黄网站| 欧美成人免费av一区二区三区 | 久久精品亚洲精品国产色婷小说| 午夜激情av网站| 老汉色∧v一级毛片| 国产xxxxx性猛交| 国产91精品成人一区二区三区| 一本一本久久a久久精品综合妖精| 国产精品.久久久| 久久亚洲真实| 黄色片一级片一级黄色片| 欧美黄色淫秽网站| 久久人妻av系列| 91九色精品人成在线观看| 国产精品免费视频内射| 少妇粗大呻吟视频| avwww免费| 国产精品.久久久| av超薄肉色丝袜交足视频| 欧美日韩成人在线一区二区| 免费在线观看亚洲国产| 国内久久婷婷六月综合欲色啪| 欧美精品亚洲一区二区| 老熟妇仑乱视频hdxx| avwww免费| 成人免费观看视频高清| 日韩人妻精品一区2区三区| 成年人黄色毛片网站| 热99re8久久精品国产| 亚洲avbb在线观看| 真人做人爱边吃奶动态| 日本黄色视频三级网站网址 | 亚洲色图 男人天堂 中文字幕| 免费久久久久久久精品成人欧美视频| 精品国产国语对白av| 超碰97精品在线观看| 午夜免费成人在线视频| 亚洲第一青青草原| 亚洲一码二码三码区别大吗| 日本vs欧美在线观看视频| 91老司机精品| 岛国在线观看网站| 亚洲av成人不卡在线观看播放网| 80岁老熟妇乱子伦牲交| 精品免费久久久久久久清纯 | 亚洲色图av天堂| 一进一出抽搐gif免费好疼 | 精品人妻1区二区| 黄片小视频在线播放| 满18在线观看网站| 欧美日韩一级在线毛片| 国产精品 欧美亚洲| 精品卡一卡二卡四卡免费| 亚洲精品成人av观看孕妇| 亚洲 国产 在线| 国产av一区二区精品久久| 色94色欧美一区二区| 制服诱惑二区| 黄色丝袜av网址大全| 国产在视频线精品| 动漫黄色视频在线观看| 精品亚洲成a人片在线观看| 国产精品免费一区二区三区在线 | 别揉我奶头~嗯~啊~动态视频| www.精华液| 咕卡用的链子| 国产99白浆流出| 精品人妻在线不人妻| 叶爱在线成人免费视频播放| 亚洲熟女精品中文字幕| 欧美精品av麻豆av| 亚洲va日本ⅴa欧美va伊人久久| 老熟妇仑乱视频hdxx| 一本一本久久a久久精品综合妖精| 成人黄色视频免费在线看| 在线播放国产精品三级| 色播在线永久视频| 国产亚洲精品久久久久久毛片 | 久久久精品国产亚洲av高清涩受| 精品久久久久久久久久免费视频 | 人人妻人人澡人人看| 欧美最黄视频在线播放免费 | 夜夜夜夜夜久久久久| 亚洲精品乱久久久久久| 黑人操中国人逼视频| 婷婷精品国产亚洲av在线 | 亚洲va日本ⅴa欧美va伊人久久| 国产91精品成人一区二区三区| av福利片在线| 久久久久国产精品人妻aⅴ院 | 久久久国产成人精品二区 | 九色亚洲精品在线播放| 久热这里只有精品99| 国产精品久久久久久人妻精品电影| 精品久久蜜臀av无| 岛国在线观看网站| 精品视频人人做人人爽| av视频免费观看在线观看| 国产一区二区激情短视频| av超薄肉色丝袜交足视频| 两人在一起打扑克的视频| 亚洲精品久久午夜乱码| 麻豆乱淫一区二区| 国产蜜桃级精品一区二区三区 | 久久久久久亚洲精品国产蜜桃av| 久久久久国产一级毛片高清牌| 91老司机精品| 国产一区二区三区视频了| 一进一出好大好爽视频| 狠狠狠狠99中文字幕| 精品熟女少妇八av免费久了| 精品一区二区三区av网在线观看| 韩国精品一区二区三区| 中文字幕另类日韩欧美亚洲嫩草| 国产片内射在线| 黑人巨大精品欧美一区二区mp4| 亚洲熟妇中文字幕五十中出 | tocl精华| 免费一级毛片在线播放高清视频 | 18禁裸乳无遮挡动漫免费视频| 国产精品国产高清国产av | 久久国产精品人妻蜜桃| 悠悠久久av| 国产有黄有色有爽视频| 18禁裸乳无遮挡动漫免费视频| 午夜激情av网站| 黄色女人牲交| 中文欧美无线码| 啦啦啦视频在线资源免费观看| 亚洲美女黄片视频| 国产精品久久久久久人妻精品电影| 9色porny在线观看| 中文字幕制服av| 香蕉丝袜av| 男女高潮啪啪啪动态图| 国产亚洲一区二区精品| 五月开心婷婷网| 久久久国产成人精品二区 | 欧美乱色亚洲激情| 久久精品熟女亚洲av麻豆精品| 1024视频免费在线观看| 免费观看精品视频网站| 91字幕亚洲| 亚洲av欧美aⅴ国产| 伦理电影免费视频| 亚洲一区中文字幕在线| 一二三四社区在线视频社区8| 女性生殖器流出的白浆| av网站免费在线观看视频| 免费在线观看黄色视频的| aaaaa片日本免费| 女人爽到高潮嗷嗷叫在线视频| 中文字幕制服av| 精品免费久久久久久久清纯 | 12—13女人毛片做爰片一| 成年人免费黄色播放视频| 国产区一区二久久| 97人妻天天添夜夜摸| 国产精品国产av在线观看| 中文欧美无线码| 韩国av一区二区三区四区| 国产主播在线观看一区二区| 香蕉国产在线看| 无限看片的www在线观看| 欧美激情 高清一区二区三区| 国产欧美日韩综合在线一区二区| 亚洲自偷自拍图片 自拍| 热99久久久久精品小说推荐| 视频区图区小说| 亚洲自偷自拍图片 自拍| 99在线人妻在线中文字幕 | 身体一侧抽搐| 午夜亚洲福利在线播放| 亚洲精品国产色婷婷电影| 久久久精品区二区三区| 黄色视频,在线免费观看| 可以免费在线观看a视频的电影网站| 水蜜桃什么品种好| 啦啦啦 在线观看视频| 大码成人一级视频| 黄色成人免费大全| 国产高清激情床上av| 久久九九热精品免费| 在线观看免费高清a一片| 国产成人系列免费观看| 18禁裸乳无遮挡免费网站照片 | 精品无人区乱码1区二区| 亚洲国产精品合色在线| 亚洲成av片中文字幕在线观看| 日本撒尿小便嘘嘘汇集6| 亚洲午夜精品一区,二区,三区| 黄色视频不卡| 国产精品免费大片| 国产无遮挡羞羞视频在线观看| 亚洲中文av在线| 欧美日韩亚洲国产一区二区在线观看 | 日韩大码丰满熟妇| 日日爽夜夜爽网站| 午夜福利欧美成人| 欧美精品一区二区免费开放| cao死你这个sao货| 18禁裸乳无遮挡动漫免费视频| 999久久久精品免费观看国产| 亚洲一码二码三码区别大吗| 国产激情欧美一区二区| 国产精品久久久av美女十八| 国产精品偷伦视频观看了| 好看av亚洲va欧美ⅴa在| 男女床上黄色一级片免费看| 亚洲一区高清亚洲精品| 国产精品亚洲一级av第二区| 国产欧美亚洲国产| e午夜精品久久久久久久| 亚洲专区国产一区二区| 亚洲人成77777在线视频| 高清在线国产一区| 999久久久国产精品视频| 99国产精品一区二区蜜桃av | 黄网站色视频无遮挡免费观看| 日韩欧美三级三区| 亚洲综合色网址| 老熟女久久久| 一区二区三区精品91| 亚洲va日本ⅴa欧美va伊人久久| 黄色视频不卡| 黑人猛操日本美女一级片| ponron亚洲| 交换朋友夫妻互换小说| 午夜91福利影院| 国产免费av片在线观看野外av| 国产97色在线日韩免费| 在线观看www视频免费| 狠狠狠狠99中文字幕| 免费在线观看日本一区| 一区福利在线观看| 高清毛片免费观看视频网站 | 中文字幕人妻丝袜制服| 人妻丰满熟妇av一区二区三区 | 一本一本久久a久久精品综合妖精| 69精品国产乱码久久久| av电影中文网址| 1024香蕉在线观看| 一进一出抽搐动态| 在线观看66精品国产| 日韩三级视频一区二区三区| av一本久久久久| 韩国精品一区二区三区| 久久精品亚洲av国产电影网| 亚洲国产精品合色在线| 人人妻人人澡人人爽人人夜夜| 欧美久久黑人一区二区| 美女午夜性视频免费| 黄色片一级片一级黄色片| 一边摸一边做爽爽视频免费| а√天堂www在线а√下载 | 国产精品二区激情视频| 熟女少妇亚洲综合色aaa.| 日韩制服丝袜自拍偷拍| 别揉我奶头~嗯~啊~动态视频| 国产精品99久久99久久久不卡| 一个人免费在线观看的高清视频| 久久午夜综合久久蜜桃| 国产真人三级小视频在线观看| 黄色片一级片一级黄色片| 成年版毛片免费区| 中文字幕人妻丝袜制服| 50天的宝宝边吃奶边哭怎么回事| 日韩精品免费视频一区二区三区| 精品无人区乱码1区二区| 国产亚洲一区二区精品| 男女下面插进去视频免费观看| 男男h啪啪无遮挡| 亚洲成av片中文字幕在线观看| 国产精品欧美亚洲77777| videos熟女内射| 99热国产这里只有精品6| 建设人人有责人人尽责人人享有的| 满18在线观看网站| 日韩免费高清中文字幕av| 精品人妻熟女毛片av久久网站| 午夜成年电影在线免费观看| 亚洲美女黄片视频| 国产国语露脸激情在线看| 成人特级黄色片久久久久久久| 国产精品久久视频播放| 在线十欧美十亚洲十日本专区| 女性生殖器流出的白浆| 久久久久久久久免费视频了| av在线播放免费不卡| 女人精品久久久久毛片| 亚洲专区中文字幕在线| 在线观看免费日韩欧美大片| 老司机深夜福利视频在线观看| 亚洲精品国产精品久久久不卡| xxx96com| 精品一品国产午夜福利视频| 在线av久久热| 日韩欧美国产一区二区入口| 一区在线观看完整版| 国产视频一区二区在线看| 亚洲人成77777在线视频| 免费观看精品视频网站| 国产精品免费一区二区三区在线 | 窝窝影院91人妻| 国产精品久久久人人做人人爽| 成人三级做爰电影| 丁香欧美五月| 首页视频小说图片口味搜索| 老熟女久久久| bbb黄色大片| 少妇粗大呻吟视频| 久9热在线精品视频| 在线观看www视频免费| a在线观看视频网站| 亚洲五月色婷婷综合| 国产精品久久久久久人妻精品电影| 色婷婷久久久亚洲欧美| 日韩欧美免费精品| 精品卡一卡二卡四卡免费| 国产精品.久久久| 亚洲成人手机| 日韩熟女老妇一区二区性免费视频| 99精品在免费线老司机午夜| 天堂动漫精品| 看免费av毛片| 国产欧美亚洲国产| 啦啦啦视频在线资源免费观看| 亚洲精品粉嫩美女一区| 欧美最黄视频在线播放免费 | 麻豆成人av在线观看| 51午夜福利影视在线观看| 国产在视频线精品| 精品国产一区二区三区久久久樱花| 中文字幕高清在线视频| 国产精品自产拍在线观看55亚洲 | 国产午夜精品久久久久久| 国产精品电影一区二区三区 | xxxhd国产人妻xxx| 十八禁网站免费在线| 脱女人内裤的视频| 19禁男女啪啪无遮挡网站| 成人精品一区二区免费| 午夜福利在线免费观看网站| 欧美日韩国产mv在线观看视频| 久久国产精品大桥未久av| 9191精品国产免费久久| 露出奶头的视频| 国产成+人综合+亚洲专区| 欧美日韩乱码在线| 久久久久国产精品人妻aⅴ院 | 亚洲专区字幕在线| 免费女性裸体啪啪无遮挡网站| 国产精品久久久久成人av| 满18在线观看网站| 一二三四在线观看免费中文在| 一边摸一边抽搐一进一小说 | 十八禁人妻一区二区| 亚洲五月色婷婷综合| 在线观看午夜福利视频| 一级a爱视频在线免费观看| 久久九九热精品免费| 精品国产超薄肉色丝袜足j| 大香蕉久久成人网| 不卡一级毛片| 69精品国产乱码久久久| 丝袜在线中文字幕| av片东京热男人的天堂| 午夜福利乱码中文字幕|