• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種虛擬機(jī)監(jiān)控器的時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制

    2014-06-07 05:53:26趙玉艷陳海寶趙生慧
    計(jì)算機(jī)工程 2014年11期
    關(guān)鍵詞:調(diào)整機(jī)制監(jiān)控器密集型

    趙玉艷,陳海寶,2,趙生慧

    (1.滁州學(xué)院計(jì)算機(jī)與信息工程學(xué)院,安徽滁州239000;2.華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,武漢430074)

    一種虛擬機(jī)監(jiān)控器的時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制

    趙玉艷1,陳海寶1,2,趙生慧1

    (1.滁州學(xué)院計(jì)算機(jī)與信息工程學(xué)院,安徽滁州239000;2.華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,武漢430074)

    在同一物理主機(jī)甚至同一CPU/core上,虛擬化技術(shù)使得多個(gè)虛擬機(jī)能夠以公平共享物理資源的方式運(yùn)行。然而,隨著共享同一CPU/core的虛擬機(jī)數(shù)量的增多,每個(gè)虛擬機(jī)所經(jīng)歷的物理CPU/core訪問延遲也在顯著增加,造成異構(gòu)型應(yīng)用(運(yùn)行過程中既有網(wǎng)絡(luò)I/O需求,也有計(jì)算需求)在性能方面的負(fù)面影響。為解決上述問題,引入一種應(yīng)用類型感知的虛擬機(jī)管理器時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制。該機(jī)制可以根據(jù)虛擬機(jī)中應(yīng)用的類型動(dòng)態(tài)調(diào)整虛擬機(jī)的時(shí)間片長度。實(shí)驗(yàn)結(jié)果表明,與Xen Credit調(diào)度機(jī)制相比,時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制可使異構(gòu)型應(yīng)用(Nginx Web服務(wù)器)具有更好的響應(yīng)能力和吞吐能力。

    應(yīng)用類型驅(qū)動(dòng);虛擬機(jī)監(jiān)控器;動(dòng)態(tài)時(shí)間片;虛擬化;異構(gòu)型應(yīng)用

    1 概述

    云計(jì)算模式可以顯著降低用戶的投資以及運(yùn)營成本,因?yàn)橛脩艨梢院唵蔚匾园词褂酶顿M(fèi)的模式租用云資源來托管和運(yùn)行應(yīng)用。支持云托管的一項(xiàng)關(guān)鍵技術(shù)是虛擬機(jī)合并,也就是利用虛擬化技術(shù)將單臺物理機(jī)劃分為多個(gè)虛擬機(jī),每個(gè)虛擬機(jī)被分配來運(yùn)行客戶的應(yīng)用。盡管每個(gè)虛擬機(jī)通常被分配至少一個(gè)虛擬核(例如文獻(xiàn)[1]中的VCPU),但是虛擬核和物理核之間的映射并不總是一對一的。例如,在商業(yè)云平臺Amazon EC2[2]中,其計(jì)算實(shí)例是以EC2計(jì)算單元(ECU)為單位進(jìn)行分配。分配了一個(gè)計(jì)算單元(ECU)的EC2實(shí)例(虛擬機(jī))的計(jì)算能力粗略地等同于一臺配置了1 GHz CPU的物理機(jī)器。在一個(gè)配備了3 GHz CPU的物理機(jī)中,可能會有3個(gè)虛擬機(jī)共享一個(gè)物理CPU。在這樣的情況下,虛擬機(jī)監(jiān)控器(Virtual Machine Monitor,VMM)的CPU調(diào)度器(例如Xen默認(rèn)的Credit調(diào)度器)以輪轉(zhuǎn)的方式調(diào)度可運(yùn)行的虛擬機(jī),每個(gè)虛擬機(jī)被準(zhǔn)許獲得相同數(shù)量的物理CPU時(shí)間來確保共享CPU的虛擬機(jī)之間的公平性。然而,文獻(xiàn)[3]通過實(shí)驗(yàn)指出CPU在多個(gè)虛擬機(jī)之間共享會對網(wǎng)絡(luò)I/O處理延遲敏感的應(yīng)用產(chǎn)生明顯負(fù)面影響。一個(gè)需要處理網(wǎng)絡(luò)I/O事件的虛擬機(jī)必須等到它訪問物理CPU時(shí)才可以處理這個(gè)I/O事件。而在這種情況下,CPU訪問延遲趨向于每個(gè)虛擬機(jī)所分得默認(rèn)物理CPU時(shí)間片的倍數(shù)(例如Xen中的30 ms),并且不能對虛擬機(jī)中的應(yīng)用隱藏這樣的延遲。這種影響非常不利于單純的網(wǎng)絡(luò)I/O密集型應(yīng)用(如只支持對靜態(tài)頁面訪問的Web服務(wù)器。需要指出,在這種場景中,CPU大部分時(shí)間都處于空閑狀態(tài)),同時(shí)這種影響也不利于既包含網(wǎng)絡(luò)I/O部分,也包含計(jì)算部分的異構(gòu)型應(yīng)用。與單純I/O密集型應(yīng)用相比,異構(gòu)型應(yīng)用需要消耗相對多的CPU時(shí)間來完成計(jì)算任務(wù)。為避免產(chǎn)生歧義,現(xiàn)約定如下:術(shù)語“異構(gòu)型應(yīng)用”在本文中特指這樣一類應(yīng)用,在它們運(yùn)行的過程中即對網(wǎng)絡(luò)I/O有需求,也對計(jì)算有需求。例如,支持動(dòng)態(tài)頁面訪問的Web服務(wù)器,相對于靜態(tài)頁面訪問來說,一個(gè)Web服務(wù)器在收到客戶的動(dòng)態(tài)頁面請求后,它需要通過一定的計(jì)算量來處理這個(gè)請求,在得到請求的結(jié)果后,對客戶進(jìn)行響應(yīng),在這種情況下,支持動(dòng)態(tài)頁面訪問的Web服務(wù)器就是一個(gè)異構(gòu)型應(yīng)用。

    如果對共享CPU的虛擬機(jī)使用默認(rèn)的CPU時(shí)間片,運(yùn)行著Web服務(wù)器的虛擬機(jī)可能不會及時(shí)地訪問物理CPU來處理和響應(yīng)請求。為了避免通信處理延遲所造成的影響,一種方法是選擇使用一個(gè)獨(dú)占物理CPU的虛擬機(jī)。然而,這可能會導(dǎo)致較高的成本,因此,它并不是成本敏感型客戶的首選。本文關(guān)注于緩解共享CPU的虛擬機(jī)(例如EC2中的小型或者微型計(jì)算實(shí)例)所受到的網(wǎng)絡(luò)I/O處理延遲影響,并針對上述問題,引入應(yīng)用類型感知的虛擬機(jī)監(jiān)控器時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制以提高應(yīng)用性能。

    2 相關(guān)研究

    虛擬機(jī)管理器的I/O性能優(yōu)化是一個(gè)熱點(diǎn)研究領(lǐng)域。例如,文獻(xiàn)[4]通過修改客戶操作系統(tǒng)優(yōu)化KVM(一種開源的虛擬機(jī)管理器)的I/O性能。文獻(xiàn)[5]對Xen的I/O虛擬化驅(qū)動(dòng)進(jìn)行了研究。緩解網(wǎng)絡(luò)I/O處理延遲的一個(gè)途徑是修改虛擬機(jī)監(jiān)控器(VMM)的CPU調(diào)度器,讓網(wǎng)絡(luò)I/O密集型虛擬機(jī)(運(yùn)行網(wǎng)絡(luò)I/O密集型應(yīng)用的虛擬機(jī))的優(yōu)先級高于CPU密集型虛擬機(jī)(運(yùn)行CPU密集型應(yīng)用的虛擬機(jī))。例如,文獻(xiàn)[6]在面對運(yùn)行網(wǎng)絡(luò)I/O密集型應(yīng)用的虛擬機(jī)和運(yùn)行CPU密集型應(yīng)用的虛擬機(jī)時(shí),優(yōu)先調(diào)度前者。然而,這種方法在CPU份額分配上引入了短期的不公平。類似地,文獻(xiàn)[7]使用了局部加速來幫助I/O密集型虛擬機(jī)搶占一個(gè)運(yùn)行中的虛擬機(jī)以響應(yīng)到來的I/O事件,但是它很難進(jìn)行配置來保持共享CPU的虛擬機(jī)之間的公平性,因此,并不適用于建立在虛擬化技術(shù)之上的云計(jì)算系統(tǒng)。文獻(xiàn)[8]擴(kuò)展了Xen的Credit調(diào)度器來支持軟實(shí)時(shí)應(yīng)用,但是它可能給運(yùn)行延遲敏感型應(yīng)用的虛擬機(jī)更多的CPU時(shí)間,從而打破了虛擬機(jī)之間的公平性。Xen的Credit調(diào)度器[9]使用了BOOST機(jī)制通過臨時(shí)加速I/O密集型應(yīng)用虛擬機(jī)(設(shè)置一個(gè)高的優(yōu)先級)來縮短I/O響應(yīng)時(shí)間。盡管這個(gè)機(jī)制對于單純I/O密集型虛擬機(jī)非常有效,但是在異構(gòu)型應(yīng)用運(yùn)行于虛擬機(jī)的情況下,一旦一個(gè)虛擬機(jī)通過BOOST機(jī)制獲得調(diào)度來處理I/O請求,工作負(fù)荷中的計(jì)算密集部分會消耗它在當(dāng)前調(diào)度周期中的CPU份額(Xen中的術(shù)語是Credits)。因?yàn)镃redit調(diào)度器在虛擬機(jī)間是CPU公平的,當(dāng)異構(gòu)型應(yīng)用的計(jì)算密集部分消耗完虛擬機(jī)所分得的CPU份額后,BOOST機(jī)制在當(dāng)前調(diào)度周期的后面部分中就會失去作用,從而導(dǎo)致高的I/O處理延遲。

    針對BOOST機(jī)制在處理異構(gòu)型應(yīng)用時(shí)所面臨的問題,本文提出一種基于時(shí)間片的動(dòng)態(tài)調(diào)整機(jī)制來提高這類異構(gòu)型應(yīng)用的性能。

    3 時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制

    本節(jié)首先以一個(gè)例子來分析虛擬機(jī)共享CPU對異構(gòu)應(yīng)用I/O處理延遲的負(fù)面影響,然后用一個(gè)實(shí)驗(yàn)進(jìn)行驗(yàn)證,最后引入時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制。

    3.1 CPU共享問題的分析及驗(yàn)證

    在這個(gè)例子中,有3個(gè)單核虛擬機(jī)(VM1, VM2和VM3)共享一個(gè)物理CPU核,VM1和VM2運(yùn)行計(jì)算密集型應(yīng)用,而VM3運(yùn)行著一個(gè)異構(gòu)型應(yīng)用。VM3中的應(yīng)用等待客戶請求的到來,然后以數(shù)據(jù)或控制信息響應(yīng)這個(gè)請求。假設(shè)虛擬機(jī)監(jiān)控器(VMM)中的CPU調(diào)度器使用一個(gè)被許多商業(yè)虛擬機(jī)平臺采用的按比例分享的調(diào)度策略(例如,用在 Amazon EC2,RackSpace和GoGrid商業(yè)云中的Xen)。如圖1所示,一個(gè)目的地是VM3的請求發(fā)送到物理機(jī)后,它首先被緩存在VM3之外(例如,在虛擬機(jī)監(jiān)控器中或者在特權(quán)驅(qū)動(dòng)器域中),一直等到 VM3被調(diào)度。當(dāng)VM3被調(diào)度后,它會處理這個(gè)請求并產(chǎn)生響應(yīng)。如果CPU的時(shí)間片是30 ms,請求的響應(yīng)延遲可以高達(dá)60 ms。而這樣一個(gè)高延遲影響了 VM3中應(yīng)用的響應(yīng)性以及請求處理率。

    圖1 默認(rèn)調(diào)度時(shí)間片示意圖

    為了展示延遲問題,設(shè)計(jì)了如下實(shí)驗(yàn),在一臺物理機(jī)(IBM System x3650:Intel Xeon E5530,32 GB RAM,500 GB Disk)上安裝Xen4.2,并使用默認(rèn)的Credit調(diào)度器。每臺虛擬機(jī)都運(yùn)行了開源軟件lookbusy[10],用以保證虛擬機(jī)的CPU在實(shí)驗(yàn)期間處于忙碌狀態(tài)。不失一般性,本文實(shí)驗(yàn)使用虛擬機(jī)中運(yùn)行的lookbusy和網(wǎng)絡(luò)連通性探測命令ping合成了一個(gè)異構(gòu)型應(yīng)用。然后,分別在3種情況下(1臺單核虛擬機(jī)獨(dú)占一個(gè)物理核;2臺單核虛擬機(jī)共享一個(gè)物理核;3臺單核虛擬機(jī)共享一個(gè)物理核),從另外一臺物理機(jī)上使用ping命令測試一個(gè)虛擬機(jī)的數(shù)據(jù)包往返時(shí)間RTT(Round-Trip Time)。

    圖2展示了ping一臺虛擬機(jī)時(shí)RTT的累積分布函數(shù)(CDF)。實(shí)驗(yàn)結(jié)果清晰地表明ping RTT隨著共享CPU的虛擬機(jī)數(shù)量增加而增加。

    圖2 ping RTT的累計(jì)分布函數(shù)

    3.2 機(jī)制和算法

    由2.1節(jié)可知,對于異構(gòu)型應(yīng)用,如果將調(diào)度時(shí)間片減小,虛擬機(jī)可以更頻繁地訪問物理CPU,相應(yīng)的I/O處理延遲也隨之降低。然而,對于計(jì)算密集型應(yīng)用來說,降低調(diào)度時(shí)間片會增加上下文切換的次數(shù),從而會帶來一定應(yīng)用性能上的開銷。也就是說,對于運(yùn)行了計(jì)算密集型應(yīng)用的虛擬機(jī),并不適合于縮短它們的時(shí)間片。

    為了解決上述問題,本文基于Credit調(diào)度器提出了一種應(yīng)用感知的動(dòng)態(tài)時(shí)間片調(diào)整機(jī)制,根據(jù)運(yùn)行在虛擬機(jī)中應(yīng)用的類型來動(dòng)態(tài)調(diào)整此虛擬機(jī)的調(diào)度時(shí)間片,從而達(dá)到提高應(yīng)用性能的目的,如Web服務(wù)器的連接率和響應(yīng)時(shí)間。

    (1)動(dòng)態(tài)調(diào)整機(jī)制:動(dòng)態(tài)調(diào)整機(jī)制的思路簡述如下。首先,系統(tǒng)中只存在2種長度的時(shí)間片,一種是默認(rèn)時(shí)間片(也就是Credit調(diào)度器中采用的30 ms);另一種是短時(shí)間片。在本文中,短時(shí)間的長度是一個(gè)經(jīng)驗(yàn)值,由管理員根據(jù)系統(tǒng)的實(shí)際情況設(shè)置(第3節(jié)的實(shí)驗(yàn)部分將比較短時(shí)間片被設(shè)置為不同的長度時(shí),對應(yīng)用性能的影響)。其次,系統(tǒng)在開始運(yùn)行時(shí),所有虛擬機(jī)都使用默認(rèn)的時(shí)間片長度。如果虛擬機(jī)運(yùn)行著同構(gòu)型應(yīng)用(如單純的網(wǎng)絡(luò)I/O密集型應(yīng)用或者單純計(jì)算密集型應(yīng)用),則繼續(xù)用默認(rèn)的時(shí)間片。因?yàn)樵谀J(rèn)時(shí)間片下,Xen Credit調(diào)度器能夠有效保證單純計(jì)算密集型應(yīng)用的性能,同時(shí)其BOOST機(jī)制也能保證單純網(wǎng)絡(luò)I/O密集型應(yīng)用的性能[11]。而如果虛擬機(jī)中運(yùn)行著異構(gòu)型應(yīng)用,系統(tǒng)則把此虛擬機(jī)的時(shí)間片調(diào)整為短時(shí)間片。

    (2)應(yīng)用類型推斷算法:在實(shí)現(xiàn)時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制之前,調(diào)度器需要獲取運(yùn)行在虛擬機(jī)中的應(yīng)用類型,由于虛擬機(jī)管理器和虛擬機(jī)之間存在著語義鴻溝的問題,虛擬機(jī)管理器并不能直接獲取虛擬機(jī)內(nèi)部運(yùn)行應(yīng)用的信息(如應(yīng)用類型)。消除語義鴻溝一般采用的是侵入式方法:在虛擬機(jī)操作系統(tǒng)內(nèi)核中增加一個(gè)超級調(diào)用,通過這個(gè)超級調(diào)用來向虛擬機(jī)管理器傳遞虛擬機(jī)內(nèi)部應(yīng)用的類型信息。本文采用一種非侵入式的方法,即不需要修改虛擬機(jī)操作系統(tǒng)內(nèi)核,VMM只需監(jiān)控一些信息從而推斷出應(yīng)用的類型。

    本文的設(shè)計(jì)包括一個(gè)監(jiān)控器用來分析和推斷運(yùn)行在虛擬機(jī)中的應(yīng)用類型以及一個(gè)時(shí)間片調(diào)整算法。圖3顯示了調(diào)度器的框架,它可以監(jiān)控虛擬機(jī)的行為以及動(dòng)態(tài)調(diào)整時(shí)間片。

    圖3 調(diào)度器框架

    行為監(jiān)控器被周期性調(diào)用以監(jiān)控每個(gè)虛擬機(jī)數(shù)據(jù)包接收頻率(在一個(gè)監(jiān)控間隔內(nèi)每個(gè)虛擬機(jī)接收數(shù)據(jù)包的數(shù)量)以及虛擬機(jī)的VCPU利用率。其中,數(shù)據(jù)包接收頻率用來推斷運(yùn)行在虛擬機(jī)上的應(yīng)用是否為網(wǎng)絡(luò)I/O密集型應(yīng)用,虛擬機(jī)的VCPU利用率則用來推斷運(yùn)行的是否為計(jì)算密集型應(yīng)用。將VCPU利用率和數(shù)據(jù)包接收頻率結(jié)合起來,則可用來推斷虛擬機(jī)中運(yùn)行的是否為異構(gòu)型應(yīng)用。

    類型推斷算法如下:

    為了避免因監(jiān)控?cái)?shù)據(jù)短暫變化所引起的類型變化,算法在進(jìn)行類型推斷時(shí)考慮了每臺虛擬機(jī)在N個(gè)監(jiān)控周期的數(shù)據(jù)包接收頻率以及VCPU利用率,N在本文中設(shè)置為5。在虛擬機(jī)的生命周期中,根據(jù)行為監(jiān)控的反饋信息,每個(gè)虛擬機(jī)的類型可以變化。因?yàn)殡S著監(jiān)控頻率的增加,監(jiān)控開銷也會增加,所以文中采用的監(jiān)控間隔為1 s。

    3.3 原型實(shí)現(xiàn)

    本工作以Xen4.2中的Credit調(diào)度器為基礎(chǔ)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。

    在Credit調(diào)度器的源代碼(sched_credit.c文件)中通過添加程序段實(shí)現(xiàn)監(jiān)控虛擬機(jī)VCPU利用率的功能。程序段首先統(tǒng)計(jì)每個(gè)虛擬機(jī)在一個(gè)監(jiān)控周期內(nèi)獲得的物理CPU時(shí)間(也就是虛擬機(jī)中每個(gè)VCPU在一個(gè)監(jiān)控周期中占用物理 CPU時(shí)間之和),然后利用下面的公式計(jì)算虛擬機(jī)的VCPU利用率:Utilization=100×cpuTime/(T×VCPUsNum),其中,cpuTime是虛擬機(jī)在一個(gè)監(jiān)控周期內(nèi)總共獲得的物理CPU時(shí)間;T是在一個(gè)監(jiān)控周期應(yīng)獲得的物理CPU時(shí)間;VCPUsNum是虛擬機(jī)的VCPU數(shù)量。

    在監(jiān)控虛擬機(jī)數(shù)據(jù)包接收量方面,首先在特權(quán)域dom0的網(wǎng)絡(luò)后端設(shè)備(netback)源代碼(netback.c)中添加程序段,監(jiān)控虛擬機(jī)的數(shù)據(jù)包接收數(shù)量并將相應(yīng)信息寫入 dom0和虛擬機(jī)監(jiān)控器(Virtual Machine Monitor,VMM)之間的共享內(nèi)存頁(shared info page),然后,虛擬機(jī)管理器在需要時(shí)可以從共享內(nèi)存頁中讀取該信息。

    獲取以上2個(gè)參數(shù)值后,類型推斷算法根據(jù)系統(tǒng)設(shè)定的閾值判斷每個(gè)虛擬機(jī)中運(yùn)行應(yīng)用的類型。本文設(shè)定的虛擬機(jī)VCPU利用率閾值為50%,包接收率的閾值設(shè)置為每秒30個(gè)數(shù)據(jù)包。在實(shí)際應(yīng)用中,系統(tǒng)管理員可以根據(jù)系統(tǒng)的運(yùn)行情況修改上面2個(gè)閾值。

    為了實(shí)現(xiàn)時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制,在Credit調(diào)度器的源代碼中添加了如下的控制邏輯:(1)在虛擬機(jī)結(jié)構(gòu)體csched_dom中添加3個(gè)變量:分別是tslice_ ms,tick_period_ms,ticks_per_tslice。其中,tslice_ms表示時(shí)間片的長度;tick_period_ms表示Credit值的記賬周期;ticks_per_tslice表示每個(gè)時(shí)間片包含記賬周期的數(shù)量,這3個(gè)變量的關(guān)系是:第一個(gè)變量的值等于后 2個(gè)變量值的乘積,即 tslice_ms=tick_ period_ms×ticks_per_tslice。(2)根據(jù)類型算法得到的應(yīng)用類型,在3個(gè)變量中設(shè)置相應(yīng)的值。例如,如果應(yīng)用類型是異構(gòu)型,那么將tslice_ms設(shè)置為短時(shí)間片,如12(單位是ms),tick_period_ms和tick_ period_ms則分別對應(yīng)的設(shè)置為4(單位是毫秒)和3。如果應(yīng)用類型是同構(gòu)型,3個(gè)變量設(shè)置為系統(tǒng)的默認(rèn)值。(3)csched_schedule函數(shù)開始執(zhí)行的時(shí)候,從虛擬機(jī)結(jié)構(gòu)體csched_dom中讀取tslice_ms的值,同時(shí)將 csched_tick函數(shù) (作用是定時(shí)扣除 Credit值)中定時(shí)器的定時(shí)周期設(shè)置為tick_period_ms。

    另外,由于并未修改Xen Credit調(diào)度器的CPU時(shí)間分配和消耗機(jī)制,因此繼承了Credit調(diào)度器的CPU公平性保證策略,也就是能夠保證物理CPU時(shí)間在虛擬機(jī)之間得到公平共享。

    4 實(shí)驗(yàn)與分析

    本文實(shí)驗(yàn)的目的是測試動(dòng)態(tài)時(shí)間片機(jī)制對異構(gòu)型應(yīng)用的性能影響。在實(shí)驗(yàn)中,依次將動(dòng)態(tài)調(diào)節(jié)機(jī)制中的小時(shí)間片設(shè)定為24 ms,18 ms,12 ms,6 ms, 3 ms。然后在每種時(shí)間片下執(zhí)行一遍實(shí)驗(yàn),最后將每種時(shí)間片下的性能數(shù)據(jù)與默認(rèn)時(shí)間片(30 ms)下的性能數(shù)據(jù)進(jìn)行比較。

    4.1 實(shí)驗(yàn)環(huán)境設(shè)置

    物理服務(wù)器(IBM System x3650:Intel Xeon E5530, 32 GB RAM,500 GB Disk)運(yùn)行了4個(gè)共享同一物理核的單核虛擬機(jī)(VM1,VM2,VM3和VM4)。為了保證CPU分配的公平性,在實(shí)驗(yàn)開始前利用Xen的控制端命令“xm sched-credit-d‘vmName'-w 256-c 25”,將每個(gè)虛擬機(jī)的weight值設(shè)置為默認(rèn)值(256),cap值設(shè)置為25,也就是每個(gè)虛擬機(jī)最多獲得25%的CPU時(shí)間。虛擬機(jī)VM1運(yùn)行了Nginx和lookbusy合成的一個(gè)異構(gòu)型應(yīng)用;虛擬機(jī)VM4運(yùn)行了網(wǎng)絡(luò)I/O密集型應(yīng)用(Nginx);為了增大對VM1和VM4中應(yīng)用的干擾,從而能夠更清晰地體現(xiàn)出本文所提機(jī)制的優(yōu)勢,在剩余的2個(gè)虛擬機(jī)(VM2和VM3)中分別運(yùn)行了計(jì)算密集型應(yīng)用(lookbusy)。2臺客戶端機(jī)器分別同時(shí)使用Httperf[12]產(chǎn)生對VM1和VM4中一個(gè)4 KB靜態(tài)Web頁面的請求,以測量VM1和VM4中Web服務(wù)器的性能。

    實(shí)驗(yàn)中使用Nginx Web服務(wù)器的靜態(tài)頁面查詢和lookbusy來合成一個(gè)異構(gòu)型應(yīng)用,使其既有網(wǎng)絡(luò)I/O密集型部分,也有計(jì)算密集型部分。其中, Nginx對網(wǎng)絡(luò)I/O處理延遲非常敏感,網(wǎng)絡(luò)I/O處理延遲會影響Nginx服務(wù)器的響應(yīng)時(shí)間和請求處理的吞吐量。Lookbusy用來產(chǎn)生CPU負(fù)載(使虛擬機(jī)的VCPU利用率保持在50%)。

    為了進(jìn)行比較,將并發(fā)連接請求率從每秒100個(gè)逐漸增加到每秒500個(gè),步長為100,然后在每種連接請求率下分別測試了不同方法(默認(rèn)時(shí)間片和小時(shí)間片)下的Web服務(wù)器響應(yīng)時(shí)間和連接率等2個(gè)指標(biāo)。

    4.2 結(jié)果分析

    圖4和圖5分別展示了VM1的響應(yīng)時(shí)間和連接率。

    圖4 VM1中不同連接請求率下的響應(yīng)時(shí)間對比

    圖5 VM1中不同時(shí)間片下的連接率對比

    從圖4中可以看到,隨著連接請求率的增加,默認(rèn)時(shí)間片(30 ms)下的Web服務(wù)器響應(yīng)時(shí)間從每秒100個(gè)連接下的3.4 ms迅速升高到每秒500個(gè)連接下的79.9 ms。相比較而言,小時(shí)間片下的Web服務(wù)器響應(yīng)時(shí)間則有明顯優(yōu)勢,尤其是在3 ms的短時(shí)間片下,響應(yīng)時(shí)間只從0.6 ms(每秒100個(gè)連接)升高到1.1 ms(每秒500個(gè)連接)。

    從圖5中的數(shù)據(jù)可以得到3個(gè)信息:(1)相對于默認(rèn)時(shí)間片(30 ms)而言,隨著連接請求率的增加,小時(shí)間片在連接率方面的優(yōu)勢逐漸體現(xiàn)出來。(2)連接請求率在不大于每秒300個(gè)時(shí),默認(rèn)時(shí)間片和短時(shí)間片在連接率方面性能相同,這主要是因?yàn)?連接請求率沒有超出各種時(shí)間片下的服務(wù)器處理能力。當(dāng)超出服務(wù)器處理能力后,也就是,連接請求率大于每秒300個(gè)時(shí),不同時(shí)間片下的性能差距才體現(xiàn)出來。(3)在18 ms,12 ms,6 ms和3 ms等4種短時(shí)間片下連接率等于連接請求率(4種短時(shí)間下的數(shù)據(jù)重疊在一起),這表明系統(tǒng)在分別采用上述4種短時(shí)間片下,連接請求率并未超出服務(wù)器的處理能力;同時(shí)也表明在時(shí)間片為18 ms時(shí),服務(wù)器已經(jīng)能夠有效地處理客戶端發(fā)來的請求,因此,不需要進(jìn)一步將時(shí)間片設(shè)置得更小。

    因?yàn)閂M2和VM3中運(yùn)行的是計(jì)算密集型應(yīng)用,本文所提動(dòng)態(tài)機(jī)制并不會調(diào)節(jié)它們的時(shí)間片長度,也就是它們所運(yùn)行的計(jì)算密集型應(yīng)用性能與默認(rèn)環(huán)境下的性能相當(dāng)。此外,由于VM4中運(yùn)行的是單純的網(wǎng)絡(luò)I/O密集型應(yīng)用,動(dòng)態(tài)時(shí)間片調(diào)整機(jī)制也不改變它的時(shí)間片長度。在BOOST機(jī)制的作用下,其Web服務(wù)器的性能(請求連接率和響應(yīng)時(shí)間)同樣與默認(rèn)環(huán)境下的性能相當(dāng)。因此,此處省略了VM2,VM3和VM4的性能對比圖。

    以上的實(shí)驗(yàn)結(jié)果表明,與默認(rèn)時(shí)間片相比,短時(shí)間片能夠有效提高虛擬機(jī)中異構(gòu)型應(yīng)用的性能。

    5 結(jié)束語

    本文設(shè)計(jì)了一個(gè)應(yīng)用類型感知的虛擬機(jī)管理器動(dòng)態(tài)時(shí)間片調(diào)整機(jī)制,并在Xen Credit調(diào)度器基礎(chǔ)之上實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。本文基于以下思想:對于運(yùn)行異構(gòu)型應(yīng)用的虛擬機(jī),將其默認(rèn)時(shí)間片(如Xen Credit調(diào)度器中默認(rèn)的30 ms)分成多個(gè)小時(shí)間片(如10個(gè)3 ms的時(shí)間片),從而達(dá)到在一個(gè)調(diào)度周期中多次對其調(diào)度的目的。也就是說,相對于默認(rèn)時(shí)間片的虛擬機(jī),短時(shí)間片虛擬機(jī)可以更頻繁地訪問物理CPU來處理I/O事件。原型系統(tǒng)的實(shí)驗(yàn)結(jié)果表明,在Web應(yīng)用的響應(yīng)時(shí)間和連接率方面優(yōu)于Xen Credit調(diào)度器。

    目前原型系統(tǒng)采用的短時(shí)間片長度是由系統(tǒng)管理員根據(jù)經(jīng)驗(yàn)提前設(shè)定的,系統(tǒng)根據(jù)虛擬機(jī)的應(yīng)用類型,動(dòng)態(tài)地在指定的短時(shí)間片和默認(rèn)時(shí)間片之間進(jìn)行切換。因此,下一步的研究工作就是設(shè)計(jì)一種無需系統(tǒng)管理員干涉的短時(shí)間設(shè)定機(jī)制,并且考慮如何將動(dòng)態(tài)時(shí)間片與CPU運(yùn)行隊(duì)列的動(dòng)態(tài)優(yōu)先級結(jié)合起來,進(jìn)一步提升此類應(yīng)用的性能。

    [1] 薛海峰,卿斯?jié)h,張煥國.XEN虛擬機(jī)分析[J].系統(tǒng)仿真學(xué)報(bào),2008,19(23):5556-5558.

    [2] 亞馬遜公司.AWS產(chǎn)品與解決方案[EB/OL].[2014-03-01.]http://aws.amazon.com/cn/ec2.

    [3] Xu C,Gamage S,Kompella R,et al.vTurbo:Accelerating Virtual Machine I/O Processing Using Designated Turbo-SlicedCore[C]//ProceedingsofUSENIX Annual Technical Conference.[S.l.]:USENIX Press,2013: 243-254.

    [4] 張彬彬,汪小林,楊 亮,等.修改客戶操作系統(tǒng)優(yōu)化KVM虛擬機(jī)的I/O性能[J].計(jì)算機(jī)學(xué)報(bào),2010,33(12): 2312-2320.

    [5] 胡冷非,李小勇.基于Xen的I/O準(zhǔn)虛擬化驅(qū)動(dòng)研究[J].計(jì)算機(jī)工程,2009,35(23):258-262.

    [6] Govindan S,Nath A R,Das A,et al.Communication-aware CPU SchedulingforConsolidated Xen-based Hosting Platforms[C]//Proceedings of the 3rd Interna-tional Conference on Virtual Execution Environments.[S.l.]: ACM Press,2007:126-136.

    [7] Kim H,Lim H,Jeong J,et al.Task-aware Virtual Machine Scheduling for I/O Performance[C]//Proceedings of ACM InternationalConference on VirtualExecution Environments.[S.l.]:ACM Press,2009:101-110.

    [8] Lee M,Krishnakumar A S,Krishnan P,et al.Supporting Soft Real-time Tasks in the Xen Hypervisor[C]// Proceedings of the 6th International Conference on VirtualExecution Environments.Pittsburgh,USA:[s.n.],2010:97-108.

    [9] Xen Project Advisory Board.Xen Credit Scheduler[EB/ OL].[2014-03-01].http://wiki.xen.org/wiki/Credit_ Scheduler,

    [10] Devin Carraway.A Synthetic Load Generator[EB/OL].[2014-03-01].http://www.devin.com/lookbusy/.

    [11] Gamage S,Kangarlou A,Kompella R R,et al.vSlicer: Latency-aware Virtual Machine Scheduling via Differentiated-frequency CPU Slicing[C]//Proceedings of the 21st International Symposium on High-performance Parallel and Distributed Computing.[S.l.]:ACM Press,2012: 3-14.

    [12] HP Inc.A Tool for Measuring Web Server Performance[EB/OL].[2014-03-01].http://www.hpl.hp.com/ research/linux/httperf/.

    編輯 顧逸斐

    A Dynamic Time Slice Adjusting Mechanism of Virtual Machine Monitor

    ZHAO Yuyan1,CHEN Haibao1,2,ZHAO Shenghui1
    (1.School of Computer and Information Engineering,Chuzhou University,Chuzhou 239000,China;
    2.School of Computer Science and Technology,Huazhong University of Science and Technology,Wuhan 430074,China)

    Multiple Virtual Machines(VMs)can be hosted in the same CPU core with virtualization technologies,in a fair share manner of the physical resources among the VMs.However,as the number of VMs sharing the same core/CPU increase,the CPU access latency perceived by each VM also increases,which translates into longer network I/O processing latency experienced by heterogeneous application including both network I/O and computation.To mitigate such impact,an application type driven dynamic time slice adjusting mechanism is presented.The evaluation of a prototype in Xen shows that,compared with Credit scheduler of Xen,this mechanism improves the connection rate and response time of Nginx Web server.

    application type driven;Virtual Machine Monitor(VMM);dynamic time slice;virtualization;heterogeneous application

    1000-3428(2014)11-0031-05

    A

    TP393.09

    10.3969/j.issn.1000-3428.2014.11.006

    安徽省自然科學(xué)基金資助面上項(xiàng)目(1408085MF126);安徽省教育廳自然科學(xué)研究基金資助重大項(xiàng)目(KJ2011ZD06);滁州學(xué)院優(yōu)秀青年人才基金資助重點(diǎn)項(xiàng)目(2013RC006);滁州學(xué)院科研啟動(dòng)基金資助項(xiàng)目(2014qd016)。

    趙玉艷(1982-),女,講師、碩士,主研方向:數(shù)據(jù)挖掘,云計(jì)算;陳海寶,講師、博士研究生;趙生慧,教授、博士。

    2014-03-07

    2014-04-24E-mail:zhyy@chzu.edu.cn

    中文引用格式:趙玉艷,陳海寶,趙生慧.一種虛擬機(jī)監(jiān)控器的時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制[J].計(jì)算機(jī)工程,2014, 40(11):31-35.

    英文引用格式:Zhao Yuyan,Chen Haibao,Zhao Shenghui.A Dynamic Time Slice Adjusting Mechanism of Virtual Machine Monitor[J].Computer Engineering,2014,40(11):31-35.

    猜你喜歡
    調(diào)整機(jī)制監(jiān)控器密集型
    歐盟理事會就碳邊界調(diào)整機(jī)制達(dá)成協(xié)議
    壓痛點(diǎn)密集型銀質(zhì)針溫針灸治療肱骨外上髁炎的臨床觀察
    關(guān)于MK10 型下滑儀近場監(jiān)控參數(shù)超標(biāo)的故障檢修
    參透并購交易價(jià)格調(diào)整機(jī)制
    中國外匯(2019年9期)2019-07-13 05:46:20
    密集型快速冷卻技術(shù)在熱軋帶鋼生產(chǎn)線的應(yīng)用
    山東冶金(2019年3期)2019-07-10 00:53:56
    密集型自動(dòng)化立體倉庫解析
    一種自動(dòng)監(jiān)控系統(tǒng)的輸液監(jiān)控器的設(shè)計(jì)
    電子制作(2017年22期)2017-02-02 07:10:09
    知識密集型組織的商業(yè)模式創(chuàng)新策略——以網(wǎng)絡(luò)教育組織為例
    美國失業(yè)保險(xiǎn)待遇調(diào)整機(jī)制分析及對中國的啟示
    關(guān)于壓機(jī)雙聯(lián)閥安全監(jiān)控器的研究
    99热这里只有精品一区| 亚洲美女搞黄在线观看| 男女边摸边吃奶| 久久久久网色| 人人妻人人爽人人添夜夜欢视频 | 亚洲色图av天堂| 美女主播在线视频| 乱码一卡2卡4卡精品| 久久影院123| 伦理电影大哥的女人| 中文乱码字字幕精品一区二区三区| 国产国拍精品亚洲av在线观看| 久久久久久九九精品二区国产| 精品少妇黑人巨大在线播放| 在线观看人妻少妇| 亚洲精品久久午夜乱码| av播播在线观看一区| 狂野欧美激情性bbbbbb| 一区二区av电影网| 国产伦理片在线播放av一区| 青春草国产在线视频| 国产av国产精品国产| 一级毛片aaaaaa免费看小| 亚洲精品成人av观看孕妇| 精品熟女少妇av免费看| 亚洲精品成人av观看孕妇| 深夜a级毛片| 欧美+日韩+精品| 晚上一个人看的免费电影| 最后的刺客免费高清国语| 黄色配什么色好看| 欧美精品亚洲一区二区| 国产高清国产精品国产三级 | 久久99蜜桃精品久久| 成人高潮视频无遮挡免费网站| 久久久色成人| 一本色道久久久久久精品综合| 乱码一卡2卡4卡精品| 亚洲国产最新在线播放| 亚洲自偷自拍三级| 亚洲精品亚洲一区二区| 国产精品一区二区在线观看99| av黄色大香蕉| 国产片特级美女逼逼视频| 91在线精品国自产拍蜜月| 久久精品国产自在天天线| 亚洲经典国产精华液单| 18禁裸乳无遮挡免费网站照片| 国产免费福利视频在线观看| 大又大粗又爽又黄少妇毛片口| 欧美bdsm另类| 老师上课跳d突然被开到最大视频| 人人妻人人添人人爽欧美一区卜 | 亚洲欧美成人精品一区二区| 国产免费视频播放在线视频| 91久久精品电影网| 国产探花极品一区二区| 纯流量卡能插随身wifi吗| av卡一久久| 22中文网久久字幕| 欧美老熟妇乱子伦牲交| 亚洲av不卡在线观看| 亚洲综合精品二区| 只有这里有精品99| 欧美日本视频| 在线亚洲精品国产二区图片欧美 | 国产午夜精品久久久久久一区二区三区| 国产在线视频一区二区| 国产精品蜜桃在线观看| 久久 成人 亚洲| 国产精品免费大片| 国产精品秋霞免费鲁丝片| 国产日韩欧美亚洲二区| 一级片'在线观看视频| 国产免费一级a男人的天堂| 丝瓜视频免费看黄片| 97精品久久久久久久久久精品| 亚洲成人手机| 亚洲欧洲日产国产| 日韩精品有码人妻一区| 亚洲av中文av极速乱| h日本视频在线播放| 久久久久久久国产电影| 精品人妻熟女av久视频| 一区二区三区乱码不卡18| 黄色怎么调成土黄色| 有码 亚洲区| 欧美日韩一区二区视频在线观看视频在线| 国产精品国产av在线观看| 国产欧美日韩一区二区三区在线 | 十八禁网站网址无遮挡 | videossex国产| 亚洲欧美日韩无卡精品| 免费观看无遮挡的男女| 国产精品熟女久久久久浪| 日韩成人伦理影院| 99热网站在线观看| 久久久久精品性色| 插逼视频在线观看| 国产亚洲精品久久久com| 免费看光身美女| 成人影院久久| 国产精品久久久久久久久免| 欧美日韩视频精品一区| 高清毛片免费看| 国产精品三级大全| 精品一区二区三卡| 国产精品女同一区二区软件| 国产美女午夜福利| 免费观看在线日韩| 亚洲国产成人一精品久久久| 一级毛片电影观看| 人妻夜夜爽99麻豆av| 久久精品国产亚洲网站| 亚洲中文av在线| 亚洲美女视频黄频| 青春草国产在线视频| 亚洲精品日韩在线中文字幕| 国产精品国产av在线观看| av不卡在线播放| 一级毛片我不卡| 午夜免费鲁丝| 久久精品久久久久久噜噜老黄| 欧美区成人在线视频| 亚洲欧美一区二区三区黑人 | 亚洲最大成人中文| 18禁裸乳无遮挡免费网站照片| 伦精品一区二区三区| 久久久色成人| 国产精品国产三级国产av玫瑰| 性高湖久久久久久久久免费观看| 天堂中文最新版在线下载| 精品一区二区三区视频在线| 亚洲电影在线观看av| 在线观看免费高清a一片| 交换朋友夫妻互换小说| 亚洲精品色激情综合| 亚洲精品456在线播放app| 亚洲成人中文字幕在线播放| 免费人成在线观看视频色| 18禁裸乳无遮挡免费网站照片| av免费观看日本| 美女高潮的动态| 国产成人免费观看mmmm| www.av在线官网国产| 精品亚洲成国产av| 97超视频在线观看视频| 免费av不卡在线播放| 国产色爽女视频免费观看| 欧美精品国产亚洲| 亚洲欧美一区二区三区黑人 | 99九九线精品视频在线观看视频| 久久ye,这里只有精品| 日本免费在线观看一区| 国产成人午夜福利电影在线观看| 久久精品国产a三级三级三级| 日本爱情动作片www.在线观看| 亚洲av成人精品一二三区| 99re6热这里在线精品视频| av黄色大香蕉| 插阴视频在线观看视频| 久久ye,这里只有精品| 色网站视频免费| 亚洲精品国产av蜜桃| 久久精品久久精品一区二区三区| 熟女电影av网| 成人一区二区视频在线观看| 丰满人妻一区二区三区视频av| 熟女av电影| 久久国产亚洲av麻豆专区| 国产精品秋霞免费鲁丝片| 日韩一本色道免费dvd| 黄色日韩在线| videos熟女内射| 亚洲欧美一区二区三区国产| 国产视频首页在线观看| 婷婷色综合大香蕉| 精品视频人人做人人爽| 中文字幕亚洲精品专区| 日本欧美国产在线视频| 精品久久国产蜜桃| 免费看日本二区| 在线观看国产h片| 七月丁香在线播放| 亚洲精品久久久久久婷婷小说| 国产一区二区三区综合在线观看 | 少妇丰满av| 在线观看一区二区三区激情| 国产成人精品婷婷| 亚洲精品,欧美精品| 欧美xxⅹ黑人| 下体分泌物呈黄色| 久久久久国产精品人妻一区二区| 狂野欧美激情性xxxx在线观看| 中文欧美无线码| 国产精品久久久久久久电影| 如何舔出高潮| 2021少妇久久久久久久久久久| 少妇的逼好多水| 99热国产这里只有精品6| 在线天堂最新版资源| 亚洲精品一区蜜桃| 欧美成人精品欧美一级黄| 少妇人妻 视频| 亚洲天堂av无毛| 国产精品国产av在线观看| 秋霞伦理黄片| 国产免费又黄又爽又色| 国产日韩欧美在线精品| 极品少妇高潮喷水抽搐| 国产视频内射| av不卡在线播放| av国产精品久久久久影院| 啦啦啦中文免费视频观看日本| 夫妻午夜视频| 国产一区二区三区av在线| 汤姆久久久久久久影院中文字幕| 精品99又大又爽又粗少妇毛片| 久热久热在线精品观看| 男的添女的下面高潮视频| 国产成人精品久久久久久| 久久精品国产鲁丝片午夜精品| 国产精品99久久99久久久不卡 | 一级片'在线观看视频| av福利片在线观看| 性色av一级| 最近的中文字幕免费完整| 国产片特级美女逼逼视频| 国产黄频视频在线观看| 国产在线免费精品| 日本欧美国产在线视频| 丰满迷人的少妇在线观看| 五月玫瑰六月丁香| 国产极品天堂在线| 亚洲国产高清在线一区二区三| 三级经典国产精品| 99re6热这里在线精品视频| 狂野欧美白嫩少妇大欣赏| 精品久久国产蜜桃| 肉色欧美久久久久久久蜜桃| 免费观看在线日韩| 香蕉精品网在线| 六月丁香七月| 久久久久精品久久久久真实原创| 亚洲伊人久久精品综合| 国产精品.久久久| av福利片在线观看| 国产乱来视频区| 成人影院久久| 三级经典国产精品| 国产精品蜜桃在线观看| 日韩 亚洲 欧美在线| 嫩草影院新地址| 国产熟女欧美一区二区| 久久国产精品男人的天堂亚洲 | 国产深夜福利视频在线观看| 熟女人妻精品中文字幕| 国产男女内射视频| 久久人人爽人人爽人人片va| 国产 一区精品| 一级毛片黄色毛片免费观看视频| 欧美最新免费一区二区三区| 99视频精品全部免费 在线| 夫妻性生交免费视频一级片| 久久久久国产网址| av福利片在线观看| 三级经典国产精品| 一区二区三区精品91| 少妇 在线观看| 国产人妻一区二区三区在| 亚洲人与动物交配视频| 男人和女人高潮做爰伦理| 51国产日韩欧美| 麻豆成人午夜福利视频| 水蜜桃什么品种好| 成人二区视频| 国产91av在线免费观看| 一个人免费看片子| 18+在线观看网站| 网址你懂的国产日韩在线| 亚洲国产高清在线一区二区三| 午夜福利网站1000一区二区三区| 欧美bdsm另类| 亚洲自偷自拍三级| 狂野欧美激情性xxxx在线观看| 亚洲aⅴ乱码一区二区在线播放| 啦啦啦在线观看免费高清www| 精品一区在线观看国产| 欧美性感艳星| 亚洲色图综合在线观看| 春色校园在线视频观看| 中文乱码字字幕精品一区二区三区| 久久久久国产精品人妻一区二区| 亚洲欧美日韩卡通动漫| 能在线免费看毛片的网站| 51国产日韩欧美| 欧美极品一区二区三区四区| 中文字幕人妻熟人妻熟丝袜美| 97在线人人人人妻| tube8黄色片| 涩涩av久久男人的天堂| 免费黄网站久久成人精品| tube8黄色片| 免费看不卡的av| 欧美日本视频| 国产色爽女视频免费观看| 国产色婷婷99| 亚洲欧美成人精品一区二区| 99国产精品免费福利视频| 99精国产麻豆久久婷婷| 亚洲经典国产精华液单| 亚洲,欧美,日韩| 欧美老熟妇乱子伦牲交| 久久久久久久久久久免费av| 久久久久久久久久人人人人人人| 国产精品一区二区三区四区免费观看| 精品国产一区二区三区久久久樱花 | 男女免费视频国产| 欧美精品一区二区免费开放| 国产精品人妻久久久影院| 免费观看a级毛片全部| 日日撸夜夜添| 菩萨蛮人人尽说江南好唐韦庄| av又黄又爽大尺度在线免费看| 国产男人的电影天堂91| 日本av手机在线免费观看| 黑人高潮一二区| 国产男女内射视频| 超碰av人人做人人爽久久| 久久ye,这里只有精品| 亚洲成人手机| 国产精品一二三区在线看| 青春草国产在线视频| 国产精品一区www在线观看| 青春草国产在线视频| 欧美成人午夜免费资源| 国产 一区 欧美 日韩| 熟女av电影| 国产精品不卡视频一区二区| 少妇高潮的动态图| 十八禁网站网址无遮挡 | 免费在线观看成人毛片| 日本一二三区视频观看| 久久国内精品自在自线图片| 国产精品国产三级国产专区5o| 国产大屁股一区二区在线视频| 精品久久久久久久久av| 国产免费视频播放在线视频| 啦啦啦视频在线资源免费观看| 久久久久精品性色| 中文字幕免费在线视频6| 免费黄色在线免费观看| 久久久久久久大尺度免费视频| 在线观看人妻少妇| 国产精品久久久久久久久免| 精品一区二区三卡| 性高湖久久久久久久久免费观看| 美女脱内裤让男人舔精品视频| 国产一区二区三区av在线| 日韩一本色道免费dvd| 亚洲欧美成人综合另类久久久| av在线app专区| 纯流量卡能插随身wifi吗| 国产黄色视频一区二区在线观看| 免费看日本二区| 国产成人精品一,二区| 精品亚洲成国产av| 十八禁网站网址无遮挡 | 国产精品av视频在线免费观看| 亚洲国产av新网站| 国产亚洲5aaaaa淫片| 国产精品一区二区性色av| 欧美人与善性xxx| 久久久久久久久久人人人人人人| 欧美日韩一区二区视频在线观看视频在线| 五月伊人婷婷丁香| 一级a做视频免费观看| 精品少妇久久久久久888优播| av女优亚洲男人天堂| 少妇熟女欧美另类| 91精品国产九色| 亚洲性久久影院| 国产爱豆传媒在线观看| 亚洲自偷自拍三级| av卡一久久| 欧美一区二区亚洲| 亚洲一级一片aⅴ在线观看| 亚洲国产av新网站| 午夜福利视频精品| 蜜桃亚洲精品一区二区三区| 日韩电影二区| 日韩欧美 国产精品| 在线观看免费日韩欧美大片 | 91久久精品国产一区二区成人| 国产亚洲5aaaaa淫片| 99视频精品全部免费 在线| 你懂的网址亚洲精品在线观看| 亚洲经典国产精华液单| 永久网站在线| 国产极品天堂在线| 亚洲av成人精品一二三区| 深夜a级毛片| 一级毛片 在线播放| 精品一区在线观看国产| 免费观看的影片在线观看| 干丝袜人妻中文字幕| tube8黄色片| 精品酒店卫生间| 91久久精品电影网| 观看av在线不卡| 麻豆国产97在线/欧美| 国产 精品1| 精品亚洲成国产av| 一个人看视频在线观看www免费| 成人亚洲欧美一区二区av| 国产男女超爽视频在线观看| www.色视频.com| 在线观看美女被高潮喷水网站| 一区二区三区乱码不卡18| 国产精品国产三级国产专区5o| 少妇精品久久久久久久| 内射极品少妇av片p| 成年美女黄网站色视频大全免费 | 少妇人妻 视频| 深夜a级毛片| 日本av手机在线免费观看| 欧美xxxx性猛交bbbb| 少妇的逼水好多| 高清午夜精品一区二区三区| 欧美日韩在线观看h| 天美传媒精品一区二区| 国产片特级美女逼逼视频| 久久这里有精品视频免费| 免费观看在线日韩| 97在线视频观看| 高清欧美精品videossex| 嘟嘟电影网在线观看| 国产黄片美女视频| 国产精品偷伦视频观看了| 久久国产亚洲av麻豆专区| 尾随美女入室| av国产免费在线观看| 一区二区三区乱码不卡18| 夜夜爽夜夜爽视频| 少妇人妻久久综合中文| 精品人妻熟女av久视频| 在线精品无人区一区二区三 | 五月伊人婷婷丁香| 春色校园在线视频观看| 精品一品国产午夜福利视频| 精华霜和精华液先用哪个| 97在线视频观看| 男人添女人高潮全过程视频| 亚洲综合色惰| 美女cb高潮喷水在线观看| 97超碰精品成人国产| 久久精品人妻少妇| 久久 成人 亚洲| 久久精品国产亚洲av天美| 国产男女超爽视频在线观看| 亚洲美女视频黄频| av卡一久久| 联通29元200g的流量卡| 人人妻人人爽人人添夜夜欢视频 | 黄色怎么调成土黄色| videos熟女内射| 人妻夜夜爽99麻豆av| 日本爱情动作片www.在线观看| 最近的中文字幕免费完整| 亚洲色图av天堂| 亚洲av男天堂| 青春草国产在线视频| 老师上课跳d突然被开到最大视频| 亚洲av国产av综合av卡| 丰满乱子伦码专区| 中文字幕制服av| 看十八女毛片水多多多| 一级片'在线观看视频| 在线免费十八禁| 女人久久www免费人成看片| 久久久成人免费电影| 最近的中文字幕免费完整| 免费人成在线观看视频色| 在线观看一区二区三区| 能在线免费看毛片的网站| 国产又色又爽无遮挡免| 日本av免费视频播放| 久久久色成人| 久久久欧美国产精品| 七月丁香在线播放| 大香蕉97超碰在线| 人妻制服诱惑在线中文字幕| 日本wwww免费看| 国产无遮挡羞羞视频在线观看| 成人毛片60女人毛片免费| 一区二区三区四区激情视频| 熟女电影av网| 在线观看三级黄色| 如何舔出高潮| 久久毛片免费看一区二区三区| 日韩制服骚丝袜av| 亚洲内射少妇av| 久久精品国产鲁丝片午夜精品| 大陆偷拍与自拍| 校园人妻丝袜中文字幕| 久久久精品免费免费高清| 欧美精品一区二区免费开放| 女性被躁到高潮视频| 熟女av电影| 午夜激情久久久久久久| 久久人人爽人人片av| 美女脱内裤让男人舔精品视频| 在线观看三级黄色| 亚洲精品乱码久久久v下载方式| 精品国产露脸久久av麻豆| 美女福利国产在线 | 国产一区二区三区综合在线观看 | 一区二区三区精品91| 久久综合国产亚洲精品| 人妻 亚洲 视频| 亚洲美女黄色视频免费看| 天堂俺去俺来也www色官网| av福利片在线观看| av又黄又爽大尺度在线免费看| 亚洲av成人精品一区久久| 永久免费av网站大全| 大片免费播放器 马上看| 又爽又黄a免费视频| 3wmmmm亚洲av在线观看| 青青草视频在线视频观看| 久热这里只有精品99| 亚洲av中文av极速乱| 久久精品国产亚洲网站| 日本与韩国留学比较| 91久久精品国产一区二区成人| 久久亚洲国产成人精品v| 免费不卡的大黄色大毛片视频在线观看| 亚洲精品456在线播放app| 亚洲真实伦在线观看| 毛片女人毛片| 国产白丝娇喘喷水9色精品| 日韩三级伦理在线观看| 国产爽快片一区二区三区| 国产女主播在线喷水免费视频网站| 日本一二三区视频观看| 国产熟女欧美一区二区| 久久 成人 亚洲| 国产av精品麻豆| 色婷婷久久久亚洲欧美| 欧美最新免费一区二区三区| 久久久久人妻精品一区果冻| 久久久久网色| 久久久久久久亚洲中文字幕| 91aial.com中文字幕在线观看| 国产片特级美女逼逼视频| 五月开心婷婷网| 男女国产视频网站| 国产精品不卡视频一区二区| 黄色怎么调成土黄色| 秋霞伦理黄片| 日本vs欧美在线观看视频 | 久久久久久久亚洲中文字幕| av又黄又爽大尺度在线免费看| 成年人午夜在线观看视频| 国内少妇人妻偷人精品xxx网站| 2018国产大陆天天弄谢| 亚洲av成人精品一区久久| 亚洲美女黄色视频免费看| 如何舔出高潮| 久久久亚洲精品成人影院| 最近2019中文字幕mv第一页| 久久女婷五月综合色啪小说| 伦理电影免费视频| 日韩电影二区| 国产免费一区二区三区四区乱码| 久久99蜜桃精品久久| 女的被弄到高潮叫床怎么办| 国国产精品蜜臀av免费| 少妇人妻久久综合中文| 亚洲第一av免费看| 少妇猛男粗大的猛烈进出视频| 亚洲av国产av综合av卡| 一级av片app| 色哟哟·www| 成人亚洲精品一区在线观看 | 精品久久久久久久末码| 国产极品天堂在线| 在线观看一区二区三区激情| 97在线视频观看| 在线天堂最新版资源| 成年免费大片在线观看| 欧美bdsm另类| 日韩在线高清观看一区二区三区| 国国产精品蜜臀av免费| 九九在线视频观看精品| 成人二区视频| 日韩制服骚丝袜av| 国产精品99久久久久久久久| 麻豆成人午夜福利视频| 国产精品成人在线| 久久精品熟女亚洲av麻豆精品| 高清av免费在线| 国产成人一区二区在线| a 毛片基地| 午夜福利高清视频| 中文在线观看免费www的网站| 最近中文字幕高清免费大全6| 插逼视频在线观看| 女的被弄到高潮叫床怎么办| 一级毛片电影观看| 人妻制服诱惑在线中文字幕| 一级黄片播放器| 这个男人来自地球电影免费观看 | 97超视频在线观看视频| 精品视频人人做人人爽|