• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云計(jì)算中虛擬機(jī)磁盤遷移時(shí)機(jī)優(yōu)化策略

    2014-12-23 01:25:38黃黎明李先鋒
    關(guān)鍵詞:優(yōu)化設(shè)備

    陳 睦,黃黎明,李先鋒

    (上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院 信息管理部,上海200092)

    0 引 言

    虛擬化技術(shù)是目前多種新興網(wǎng)絡(luò)計(jì)算模式的基礎(chǔ)支撐技術(shù),為用戶提供了高可用性、動(dòng)態(tài)、可擴(kuò)展、可按需分配的邏輯資源。利用虛擬機(jī)遷移技術(shù),實(shí)現(xiàn)服務(wù)器集群中各服務(wù)器的動(dòng)態(tài)負(fù)載均衡,使得整個(gè)系統(tǒng)中資源的合理利用。

    虛擬機(jī)遷移的研究主要有虛擬機(jī)內(nèi)存的遷移算法研究以及虛擬機(jī)外設(shè)的遷移方法研究。針對(duì)虛擬機(jī)遷移的停機(jī)時(shí)間和遷移總時(shí)間可以設(shè)計(jì)出以下遷移方法[1-3]: “停止—拷貝”算法,“預(yù)拷貝”算法, “后拷貝”算法,以及 “懶惰拷貝”算法。網(wǎng)絡(luò)掛起/恢復(fù)ISR (internet suspend/re-sume)系統(tǒng)[4]通過(guò)分布式存儲(chǔ)器在不同的時(shí)空重現(xiàn)用戶執(zhí)行環(huán)境。Collective項(xiàng)目使用寫時(shí)復(fù)制技術(shù)[5],通過(guò)增量傳輸機(jī)制遷移虛擬機(jī)。Luo等提出了通過(guò)預(yù)拷貝算法來(lái)增量地同步虛擬機(jī)的鏡像數(shù)據(jù)以實(shí)現(xiàn)透明的遷移[6,7]。Bradford等實(shí)現(xiàn)了在數(shù)據(jù)塊級(jí)別的預(yù)拷貝算法以及寫操作扼殺的機(jī)制來(lái)遷移虛擬機(jī)的鏡像文件以實(shí)現(xiàn)在廣域網(wǎng)中的遷移[8]。針對(duì)集群環(huán)境下的虛擬機(jī)遷移,劉詩(shī)海等提出基于gSOAP的內(nèi)部角色通信的遷移方法[9]。

    雖然上述解決方案都能在特定情況下取得不錯(cuò)的效果,但是對(duì)虛擬機(jī)遷移過(guò)程中遷移量最大的磁盤的細(xì)節(jié)問(wèn)題考慮不足,直接導(dǎo)致磁盤遷移的效率低下。為了提升磁盤的遷移效率,本文以Qcow2磁盤格式為例,從更細(xì)粒度的資源管理方式入手對(duì)磁盤的遷移進(jìn)行優(yōu)化,提出了一種磁盤遷移時(shí)機(jī)優(yōu)化策略,從而避免遷移過(guò)程中無(wú)謂的數(shù)據(jù)傳輸,從而達(dá)到減小數(shù)據(jù)傳輸量和總體遷移耗時(shí)的效果。

    Qcow2 (qemu copy on write 2)[10]是 一 種 虛 擬 磁 盤 格式,正如其名 “寫時(shí)拷貝”,Qcow2格式的磁盤是由多個(gè)磁盤以鏈?zhǔn)浇Y(jié)構(gòu)構(gòu)成的一個(gè)整體,任意兩個(gè)相鄰磁盤中,被依賴的叫基礎(chǔ)磁盤,另一塊叫增量磁盤。在遷移Qcow2磁盤時(shí),如果遷入遷出兩端有共同的基礎(chǔ)磁盤,則可以只遷增量磁盤,否則,遷移將涉及基礎(chǔ)磁盤的部分內(nèi)容。本文的剩余部分安排如下:第二節(jié)介紹Qcow2 磁盤布局以及Qcow2磁盤的遷移流程。第三節(jié)講述Qcow2 遷移設(shè)計(jì)思路,并講述本文提出的Qcow2設(shè)備帶外遷移算法,然后通過(guò)第四節(jié)的實(shí)驗(yàn)來(lái)驗(yàn)證該算法的優(yōu)點(diǎn)。第五節(jié)對(duì)本文的主要內(nèi)容進(jìn)行總結(jié)。

    1 Qcow2磁盤布局及遷移流程

    1.1 Qcow2磁盤布局

    以磁盤為單位的角度看,Qcow2將多塊磁盤組織為鏈?zhǔn)浇Y(jié)構(gòu),通過(guò)維護(hù)存儲(chǔ)設(shè)備邏輯地址與Qcow2實(shí)際地址的映射關(guān)系,對(duì)外提供邏輯虛擬磁盤。此結(jié)構(gòu)可以使得上層虛擬機(jī)設(shè)備對(duì)數(shù)據(jù)存儲(chǔ)的管理粒度更細(xì),不再只是以一個(gè)整體設(shè)備為單位與客戶機(jī)操作系統(tǒng)提供服務(wù),而可以通過(guò)一定的元數(shù)據(jù)組織映射方式為虛擬機(jī)提供存儲(chǔ)支持,不同虛擬磁盤中的各數(shù)據(jù)塊間產(chǎn)生了依賴關(guān)系,從而使得存儲(chǔ)設(shè)備組織數(shù)據(jù)從設(shè)備級(jí)的粒度降低到數(shù)據(jù)塊的粒度。

    Qcow2帶來(lái)了靈活的數(shù)據(jù)存儲(chǔ)組織方式,由于虛擬機(jī)系統(tǒng)保存快照的操作要求對(duì)數(shù)據(jù)采用寫前拷貝的方式,Qcow2細(xì)粒度的存儲(chǔ)組織形式為其提供了良好的支持。此外,由于鏈?zhǔn)酱鎯?chǔ)特性,多個(gè)虛擬磁盤可共享一個(gè)基礎(chǔ)磁盤,因此Qcow2格式可節(jié)省大量存儲(chǔ)空間。同時(shí),即使是該增量磁盤的內(nèi)容加以修改,其容量也不會(huì)大于基礎(chǔ)磁盤的大小。

    下面介紹單個(gè)Qcow2磁盤內(nèi)部的磁盤布局,如圖1所示。Qcow2將單個(gè)虛擬磁盤按固定大小,劃分成多個(gè)磁盤塊,即整個(gè)磁盤是由大量磁盤塊按序整齊排列構(gòu)成。無(wú)論是Qcow2的元數(shù)據(jù)還是數(shù)據(jù)均存儲(chǔ)在這些磁盤塊當(dāng)中。

    其元數(shù)據(jù)主要可劃分為4分部:

    屬性塊 (Header):位于第一個(gè)磁盤塊,保存了該Qcow2的基本屬性,如磁盤魔數(shù)、版本、存儲(chǔ)容量、塊大小等,也可據(jù)此獲得其它元數(shù)據(jù)塊的位置與長(zhǎng)度信息。

    快照塊 (Snapshot):?jiǎn)蝹€(gè)Qcow2磁盤內(nèi)部可進(jìn)行快照保存,該塊存放了相應(yīng)快照的基本屬性信息,包括快照的名稱,映射塊地址,保存時(shí)間等。

    圖1 Qcow2磁盤布局

    映射塊 (L1,L2):維護(hù)存儲(chǔ)邏輯地址與Qcow2 實(shí)際存儲(chǔ)地址映射關(guān)系。在給定設(shè)備邏輯地址的情況下,可通過(guò)映射塊中的映射表項(xiàng)進(jìn)行二級(jí)映射查找,從而獲得所需數(shù)據(jù)塊的實(shí)際地址。

    Qcow2磁盤運(yùn)行的核心環(huán)節(jié)是將設(shè)備的邏輯地址映射為設(shè)備內(nèi)部實(shí)際地址的過(guò)程。在單個(gè)Qcow2磁盤內(nèi)部,元數(shù)據(jù)部分設(shè)計(jì)了二級(jí)映射表,其中一級(jí)映射表是由多個(gè)連續(xù)的L1塊構(gòu)成。映射表中的表項(xiàng)從第一個(gè)L1塊的起始處順序存儲(chǔ),每一個(gè)表項(xiàng)負(fù)責(zé)相應(yīng)的邏輯地址范圍的轉(zhuǎn)換,該地址范圍可由屬性塊中的CLUSTER_BITS 計(jì)算得到。所有表項(xiàng)長(zhǎng)度固定且相等,記錄了一個(gè)二級(jí)映射表的地址,每個(gè)二級(jí)映射表由一個(gè)單獨(dú)的L2塊構(gòu)成,與一級(jí)映射表類似,表項(xiàng)依然以固定長(zhǎng)度從L2塊起始處順序存儲(chǔ),每個(gè)表項(xiàng)負(fù)責(zé)相應(yīng)邏輯地址范圍的轉(zhuǎn)換,其存儲(chǔ)內(nèi)容為所請(qǐng)求邏輯地址在Qcow2設(shè)備中的實(shí)際地址。至此,完成了邏輯地址到Qcow2層物理地址的映射,單磁盤Qcow2二層尋址如圖2所示。

    圖2 單磁盤Qcow2二層尋址

    在多個(gè)Qcow2磁盤的鏈?zhǔn)酱鎯?chǔ)中,可能出現(xiàn)邏輯地址在當(dāng)前磁盤無(wú)法找到有效映射表項(xiàng)的情形,由此需跨越至基礎(chǔ)磁盤進(jìn)行映射,其對(duì)于讀請(qǐng)求和寫請(qǐng)求中的處理方式有異。在讀請(qǐng)求中,遇到無(wú)效的映射表項(xiàng)時(shí),該請(qǐng)求被直接轉(zhuǎn)至基礎(chǔ)磁盤,從而將對(duì)增量磁盤的讀請(qǐng)求轉(zhuǎn)化為對(duì)基礎(chǔ)磁盤的讀請(qǐng)求,如果基礎(chǔ)磁盤依然無(wú)法完成映射,則可繼續(xù)向依賴的基礎(chǔ)磁盤轉(zhuǎn)發(fā)讀請(qǐng)求,如此迭代進(jìn)行。在寫請(qǐng)求中,遇到無(wú)效表項(xiàng)的情況,首先在增量磁盤分配數(shù)據(jù)塊,然后根據(jù)其邏輯地址在映射塊中構(gòu)建映射表項(xiàng),Qcow2多磁盤尋址示意圖如圖3所示。

    圖3 Qcow2多磁盤尋址

    1.2 Qcow2磁盤的遷移流程

    由于Qcow2磁盤獨(dú)特的鏈?zhǔn)浇Y(jié)構(gòu),QEMU 遷移分為兩種模式:獨(dú)立遷移模式和共享遷移模式。獨(dú)立遷移模式適用于遷入遷出兩端沒(méi)有相同基礎(chǔ)磁盤的情形,將遷出端磁盤鏈上被遷移客戶機(jī)依賴的所有數(shù)據(jù)塊發(fā)送至遷入端,在遷出端形成一個(gè)獨(dú)立的磁盤,該磁盤不依賴任何其它磁盤。共享遷移適用于遷移兩端具有相同基礎(chǔ)磁盤的情形,該模式只對(duì)增量磁盤進(jìn)行遷移,增量磁盤存儲(chǔ)容量較基礎(chǔ)磁盤越小。

    圖4是Qcow2增量磁盤作為塊設(shè)備在QEMU 中的遷移流程。QEMU 塊設(shè)備遷移是在通用設(shè)備層進(jìn)行的,以設(shè)備數(shù)據(jù)為遷移對(duì)象,而非設(shè)備本身,即其遷移時(shí)并不傳輸存儲(chǔ)設(shè)備層的任何元數(shù)據(jù),只傳輸上層軟件需要的邏輯層數(shù)據(jù)內(nèi)容。

    圖4 基于Qcow2磁盤數(shù)據(jù)的遷移

    QEMU 塊遷移采用了 “存—傳—取”的模式,在遷移Qcow2磁盤時(shí),其 “存”的行為是通過(guò)向QEMU 通用塊設(shè)備層發(fā)送讀請(qǐng)求,該請(qǐng)求通過(guò)Qcow2的設(shè)備驅(qū)動(dòng)再逐層轉(zhuǎn)發(fā),最終獲得請(qǐng)求地址的數(shù)據(jù),這一系列過(guò)程中,Qcow2磁盤中所有元數(shù)據(jù)都只服務(wù)于Qcow2的設(shè)備驅(qū)動(dòng),而未被通用塊設(shè)備層甚至更高層的應(yīng)用感知。隨后,在 “傳”的環(huán)節(jié)中,其傳輸對(duì)象也是讀請(qǐng)求獲得的數(shù)據(jù),即只對(duì)應(yīng)用層有意義的磁盤存儲(chǔ)內(nèi)容。在 “取”的環(huán)節(jié)中,遷入端會(huì)將收到的數(shù)據(jù)打包成寫請(qǐng)求向通用設(shè)備層下發(fā),繼而通過(guò)Qcow2 設(shè)備驅(qū)動(dòng)完成寫請(qǐng)求。遷移最終的結(jié)果是,在Qcow2設(shè)備層以上的層次來(lái)看,遷移兩端的數(shù)據(jù)是完全一致的,但在Qcow2存儲(chǔ)設(shè)備內(nèi)部,其元數(shù)據(jù)幾乎不可能完全相同。

    在通用設(shè)備層遷移的好處體現(xiàn)在兩個(gè)方面:①通用設(shè)備層對(duì)遷移流程的控制,使各種格式的虛擬磁盤驅(qū)動(dòng)無(wú)須考慮遷移的實(shí)現(xiàn),減輕了磁盤驅(qū)動(dòng)的開(kāi)發(fā)壓力,避免每個(gè)磁盤驅(qū)動(dòng)實(shí)現(xiàn)遷移接口;②通用設(shè)備層遷移的兼容性較好,遷入端和遷出端無(wú)需具備相同的虛擬磁盤格式,因?yàn)橥ㄓ迷O(shè)備層負(fù)責(zé)了遷移的邏輯控制,而各驅(qū)動(dòng)實(shí)現(xiàn)了相同的設(shè)備讀寫接口,這樣不管底層設(shè)備是否異構(gòu),遷入和遷出兩端便可以通用設(shè)備層進(jìn)行數(shù)據(jù)交互。

    2 Qcow2設(shè)備帶外遷移算法

    2.1 Qcow2遷移設(shè)計(jì)思路

    在通用設(shè)備層進(jìn)行遷移是一種優(yōu)雅的方法,屏蔽了底層設(shè)備的細(xì)節(jié),為不同虛擬存儲(chǔ)設(shè)備提供了通用的數(shù)據(jù)遷移接口[11],但由此造成了對(duì)磁盤格式特點(diǎn)的忽視,這在面對(duì)Qcow2獨(dú)立模式遷移時(shí)尤其明顯:

    (1)作為動(dòng)態(tài)映射磁盤格式,Qcow2具有的一項(xiàng)重要功能便是壓縮。在遷移過(guò)程中,基于數(shù)據(jù)內(nèi)容的遷移會(huì)首先在遷出端Qcow2驅(qū)動(dòng)層為通用設(shè)備層解壓縮,將解壓縮的內(nèi)容傳輸?shù)竭w入端后可能會(huì)對(duì)該數(shù)據(jù)進(jìn)行壓縮后再存儲(chǔ)。反復(fù)進(jìn)行的壓縮和解壓縮造成大量無(wú)謂的系統(tǒng)開(kāi)銷。

    (2)通用設(shè)備層的遷移是面向數(shù)據(jù)的,即將遷移行為轉(zhuǎn)化為多個(gè)讀寫請(qǐng)求,每個(gè)讀寫請(qǐng)求向相應(yīng)的設(shè)備驅(qū)動(dòng)轉(zhuǎn)發(fā),在Qcow2中,其L2 數(shù)據(jù)塊不會(huì)全部?jī)?chǔ)存在內(nèi)存中,因此這些讀寫請(qǐng)求的下發(fā)不僅使得內(nèi)存讀寫更為頻繁,也因讀寫L2數(shù)據(jù)塊而增加了物理讀寫請(qǐng)求的發(fā)出頻率。

    (3)對(duì)于Qcow2而言,其二級(jí)地址映射模式通常將邏輯上地址連續(xù)的內(nèi)容存儲(chǔ)在非連續(xù)的實(shí)際物理地址中,這在增量磁盤中體現(xiàn)得更為明顯,因此,遷移中大量的順序讀寫邏輯地址的請(qǐng)求在Qcow2設(shè)備層經(jīng)二級(jí)地址映射后很可能體現(xiàn)為物理設(shè)備上的隨機(jī)讀寫請(qǐng)求,從而降低讀寫效率。

    鑒于上述考慮,本文針對(duì)Qcow2 設(shè)備的獨(dú)立遷移模式[12]進(jìn)行優(yōu)化,將基礎(chǔ)磁盤與增量磁盤遷移內(nèi)容分離,對(duì)基礎(chǔ)磁盤的數(shù)據(jù)內(nèi)容直接進(jìn)行設(shè)備層遷移,從而避免遷移兩端在遷移基礎(chǔ)磁盤數(shù)據(jù)時(shí)由壓縮引起的無(wú)謂系統(tǒng)開(kāi)銷,減少遷移時(shí)讀寫流程中的多次尋址,減少順序請(qǐng)求轉(zhuǎn)為隨機(jī)請(qǐng)求的發(fā)生次數(shù),最終提高遷移速度,基于Qcow2磁盤設(shè)備的遷移如圖5所示。

    圖5 基于Qcow2磁盤設(shè)備的遷移

    QEMU 的通用設(shè)備層遷移不區(qū)分?jǐn)?shù)據(jù)來(lái)源,遷移數(shù)據(jù)既可能來(lái)自基礎(chǔ)磁盤,也可能來(lái)自增量磁盤,客觀上造成了基礎(chǔ)磁盤和增量磁盤兩部分?jǐn)?shù)據(jù)的交替?zhèn)鬏?,因此,?duì)基礎(chǔ)磁盤采用基于設(shè)備的遷移可以分別將基礎(chǔ)磁盤和增量磁盤數(shù)據(jù)傳輸時(shí)機(jī)進(jìn)行集中,實(shí)現(xiàn)Qcow2磁盤遷移時(shí)機(jī)進(jìn)行優(yōu)化。

    基礎(chǔ)磁盤遷移時(shí)機(jī)優(yōu)化體現(xiàn)在該磁盤內(nèi)容的遷移不依賴整個(gè)遷移進(jìn)程中Qcow2驅(qū)動(dòng)對(duì)讀請(qǐng)求的處理,而是忽略Qcow2的存儲(chǔ)與管理細(xì)節(jié),直接在遷移開(kāi)始階段以設(shè)備形式遷移,從而使得基礎(chǔ)磁盤數(shù)據(jù)傳輸不會(huì)被增量磁盤數(shù)據(jù)傳輸中斷。Qcow2磁盤的寫請(qǐng)求處理為寫時(shí)拷貝模式:對(duì)于客戶機(jī)下發(fā)的寫請(qǐng)求,新的數(shù)據(jù)只會(huì)更新到增量鏡像,在虛擬機(jī)的整個(gè)運(yùn)行過(guò)程中,虛擬機(jī)不會(huì)對(duì)基礎(chǔ)鏡像造成任何改變。這樣的特性使得Qcow2的基礎(chǔ)磁盤遷移在數(shù)據(jù)一致性方面的問(wèn)題被大大簡(jiǎn)化,以虛擬設(shè)備整體的形式發(fā)送到遷入端,基礎(chǔ)磁盤遷移前后,遷入遷出兩端上該磁盤文件完全相同。

    增量磁盤遷移時(shí)機(jī)的集中主要體現(xiàn)在處理遷移造成的讀寫請(qǐng)求時(shí),增量磁盤與基礎(chǔ)磁盤的鏈?zhǔn)疥P(guān)系被割裂,從而使得增量磁盤的數(shù)據(jù)傳輸不會(huì)被基礎(chǔ)磁盤數(shù)據(jù)傳輸中斷。在基礎(chǔ)磁盤遷移完成后,由于其所有數(shù)據(jù)已被傳至遷入端,增量磁盤在處理由遷移造成的讀請(qǐng)求時(shí)應(yīng)當(dāng)避免再去基礎(chǔ)磁盤查取數(shù)據(jù)。這需要修改Qcow2驅(qū)動(dòng)層,使其識(shí)別遷移造成的讀請(qǐng)求,并返回約定的已遷移標(biāo)識(shí)。

    通過(guò)基礎(chǔ)和增量磁盤遷移時(shí)機(jī)的集中完成了Qcow2遷移時(shí)機(jī)的優(yōu)化,該優(yōu)化較傳統(tǒng)方法的優(yōu)勢(shì)主要體現(xiàn)在:①基礎(chǔ)磁盤的遷移對(duì)物理存儲(chǔ)來(lái)講是一個(gè)文件的傳輸,因此這部分遷移造成的讀寫請(qǐng)求無(wú)需經(jīng)過(guò)Qcow2的驅(qū)動(dòng),避免了Qcow2的尋址過(guò)程。②Qcow2本身具有壓縮特性,由于其較大的數(shù)據(jù)量而占用了網(wǎng)絡(luò)資源,在遷入端看來(lái),基于Qcow2設(shè)備的遷移辦法可避免對(duì)數(shù)據(jù)的無(wú)謂解壓縮與壓縮,達(dá)到加速遷移的目的。

    2.2 Qcow2設(shè)備帶外遷移算法

    作為一種虛擬設(shè)備,Qcow2基礎(chǔ)磁盤在宿主機(jī)看來(lái)是一個(gè)普通文件,在整個(gè)遷移過(guò)程中,該文件內(nèi)容不會(huì)發(fā)生任何變化。因此,可將該設(shè)備的遷移以帶外遠(yuǎn)程文件拷貝的形式實(shí)現(xiàn)。依賴現(xiàn)有的遠(yuǎn)程文件拷貝 (remote file copy,RCP)協(xié)議[13],通過(guò)在遷移兩端物理機(jī)建立傳輸文件的連接,即可完成基礎(chǔ)磁盤的整體設(shè)備遷移,磁盤遷移時(shí)機(jī)優(yōu)化流程如圖6所示。

    圖6 磁盤遷移時(shí)機(jī)優(yōu)化流程

    以設(shè)備整體形式對(duì)基礎(chǔ)磁盤進(jìn)行遷移,與QEMU 原有的遷移辦法完全兼容。從遷出端看,其對(duì)增量鏡像讀請(qǐng)求如果可以在增量鏡像找到地址,則發(fā)送增量鏡像內(nèi)的數(shù)據(jù),否則在基礎(chǔ)鏡像映射地址發(fā)送基礎(chǔ)鏡像內(nèi)的數(shù)據(jù)。從遷入端看,其對(duì)Qcow2磁盤不存在讀請(qǐng)求操作,其通過(guò)增量鏡像獲取的數(shù)據(jù)打包成寫請(qǐng)求后,與普通寫請(qǐng)求完全相同,只是對(duì)基礎(chǔ)鏡像的更新操作,Qcow2驅(qū)動(dòng)可確保該請(qǐng)求正確完成。所以,基礎(chǔ)磁盤整體遷移并未對(duì)QEMU 原有的遷移流程造成影響,因此,在基礎(chǔ)磁盤整體遷移后,再按QEMU 原有的遷移流程進(jìn)行增量磁盤的遷移從設(shè)計(jì)邏輯來(lái)講是完全可行的。

    具體到QEMU 虛擬機(jī)遷移的流程,基礎(chǔ)磁盤整體遷移的體現(xiàn)在開(kāi)始階段和迭代階段:

    開(kāi)始階段:為了在實(shí)現(xiàn)上保持與QEMU 原有遷移流程的兼容,基礎(chǔ)磁盤遷移可以看作是增量遷移進(jìn)行數(shù)據(jù)內(nèi)容傳輸前期的參數(shù)設(shè)定階段,因此,可在遷移開(kāi)始階段對(duì)基礎(chǔ)磁盤遷移,其具體實(shí)現(xiàn)形式為從遷出端向遷入端發(fā)送基礎(chǔ)磁盤文件,本文選擇RCP協(xié)議進(jìn)行。

    迭代階段:該階段中基礎(chǔ)磁盤遷移已經(jīng)完成,正在進(jìn)行增量磁盤遷移。此處需要關(guān)注增量磁盤的讀請(qǐng)求。按照Qcow2的驅(qū)動(dòng)實(shí)現(xiàn),其讀請(qǐng)求應(yīng)當(dāng)在增量磁盤內(nèi)無(wú)法完成地址映射時(shí)轉(zhuǎn)而向基礎(chǔ)磁盤發(fā)送讀請(qǐng)求。但在基礎(chǔ)磁盤整體遷移后,如果該讀請(qǐng)求并非客戶機(jī)下發(fā),而是由遷移模塊向通用設(shè)備層下發(fā)的,那么其獲得的數(shù)據(jù)則將通過(guò)遷移連接發(fā)送至遷入端,而這些數(shù)據(jù)已經(jīng)在開(kāi)始階的基礎(chǔ)磁盤整體遷移過(guò)程中遷移完成,這樣就失去了整體遷移的意義。因此,對(duì)于此階段的讀請(qǐng)求,應(yīng)添加標(biāo)志位對(duì)于讀請(qǐng)求的來(lái)源加以區(qū)分。Qcow2 驅(qū)動(dòng)中的讀函數(shù)為qcow2_co_readv,其中有一項(xiàng)整型參數(shù)表示扇區(qū)個(gè)數(shù),因扇區(qū)個(gè)數(shù)不可能為負(fù),所以將該整型最高位用來(lái)區(qū)分該讀請(qǐng)求的來(lái)源,在遷移模塊下發(fā)讀請(qǐng)求時(shí),將此參數(shù)最高位置為1,在客戶機(jī)發(fā)送讀請(qǐng)求時(shí),該參數(shù)正常。進(jìn)入到qcow2_co_readv函數(shù)內(nèi)時(shí),對(duì)此參數(shù)最高位進(jìn)行判斷,并標(biāo)記目前請(qǐng)求是否為遷移模塊的請(qǐng)求,如果是,則在地址映射遇到結(jié)果為未分配塊時(shí)停止該請(qǐng)求向基礎(chǔ)磁盤的轉(zhuǎn)發(fā),其它地址映射結(jié)果的處理流程不變。如果不是,則按QEMU 原有正常流程處理。

    3 Qcow2遷移時(shí)機(jī)優(yōu)化實(shí)驗(yàn)

    本實(shí)驗(yàn)硬件設(shè)備由三臺(tái)配置相同的物理機(jī)組在成:CPU 為Intel(R)Xeon (R)X5650 2.67GHz,六核十二線程,內(nèi)存32G,硬盤1T 容量7200rpm 32MB緩存,千兆以太網(wǎng)互聯(lián)。

    本節(jié)測(cè)試了5個(gè)不同大小的增量磁盤在磁盤遷移時(shí)機(jī)優(yōu)化前后的表現(xiàn),它們有共同的基礎(chǔ)磁盤,大小為812MB,該磁盤對(duì)外提供2GB的邏輯磁盤地址。實(shí)驗(yàn)結(jié)果如圖7。

    圖7 空載下不同增量磁盤遷移優(yōu)化前后對(duì)比

    從圖7可以看出,優(yōu)化前,遷移耗時(shí)對(duì)增量磁盤大小的變化并不敏感,甚至在增量磁盤較大時(shí),遷移時(shí)間還輕微地縮短了。這是因?yàn)樵谕ㄓ脡K設(shè)備層遷移數(shù)據(jù)時(shí),遷移對(duì)象是Qcow2對(duì)外呈現(xiàn)的邏輯磁盤的數(shù)據(jù),遷移時(shí)間主要由邏輯磁盤空間大小決定,與Qcow2內(nèi)部如何組織磁盤鏈?zhǔn)浇Y(jié)構(gòu)無(wú)關(guān),無(wú)論增量磁盤大小如何變化,其對(duì)外提供的邏輯空間大小是不變的,因此遷移的時(shí)間基本恒定。至于在增量磁盤增大時(shí)出現(xiàn)的遷移時(shí)間輕微下降,是因?yàn)橄噍^于增量磁盤較小的情況,遷移的大部分?jǐn)?shù)據(jù)只依靠增量磁盤完成,而無(wú)需再去基礎(chǔ)磁盤查取,從而減小了開(kāi)銷。

    下面再來(lái)分析優(yōu)化后的情況。優(yōu)化后增量磁盤大小直接影響著遷移時(shí)間,甚至在某些極端條件下,優(yōu)化后的效果輕微弱于優(yōu)化前的系統(tǒng)表現(xiàn)。這是因?yàn)閮?yōu)化后,遷移時(shí)間由兩部分構(gòu)成:基礎(chǔ)磁盤遷移時(shí)間和增量磁盤遷移時(shí)間,基礎(chǔ)磁盤遷移時(shí)間由基礎(chǔ)磁盤的大小決定。在基礎(chǔ)磁盤不變的情況下,隨著增量磁盤的增長(zhǎng),遷移時(shí)間逐漸變長(zhǎng)。

    由于優(yōu)化的效果體現(xiàn)在優(yōu)化前后遷移時(shí)間的差值,結(jié)合上述分析,優(yōu)化效果主要由邏輯磁盤大小與虛擬磁盤(包括基礎(chǔ)磁盤與增量磁盤)大小的差值決定。結(jié)合Qcow2格式的特點(diǎn),此差值的兩個(gè)主要決定因素是:邏輯磁盤空間與基礎(chǔ)磁盤空間的比值和基礎(chǔ)磁盤與增量磁盤的邏輯空間重疊表示量。其中,前者對(duì)優(yōu)化效果起正面作用,因?yàn)閴嚎s比越高,基礎(chǔ)磁盤越小,時(shí)間差值越大。后者對(duì)優(yōu)化效果起負(fù)面作用,基礎(chǔ)磁盤與增量磁盤重疊表示邏輯磁盤空間,意味著一個(gè)邏輯數(shù)據(jù)塊占用了兩個(gè)塊的虛擬磁盤空間,使得虛擬磁盤增大,減小優(yōu)化前后遷移時(shí)間差值,這種數(shù)據(jù)重疊表示是由虛擬機(jī)對(duì)增量磁盤寫操作導(dǎo)致基礎(chǔ)磁盤相應(yīng)數(shù)據(jù)塊失效引起的。

    在系統(tǒng)實(shí)際運(yùn)行情況下,基礎(chǔ)磁盤通常扮演著虛擬電氣的角色,只安裝操作系統(tǒng)和用戶定制的應(yīng)用程序。這使其具有兩個(gè)顯著特點(diǎn):大量邏輯磁盤空間空閑,使得邏輯磁盤與基礎(chǔ)磁盤空間比值很高;系統(tǒng)運(yùn)行時(shí),對(duì)基礎(chǔ)磁盤表示的邏輯數(shù)據(jù)塊寫請(qǐng)求非常少,以致基礎(chǔ)磁盤與增量磁盤重疊表示的邏輯空間非常少。內(nèi)核編譯負(fù)載下不同增量磁盤遷移優(yōu)化前后對(duì)比如圖8所示。

    圖8 內(nèi)核編譯負(fù)載下不同增量磁盤遷移優(yōu)化前后對(duì)比

    本文對(duì)虛擬機(jī)有負(fù)載情形下的優(yōu)化效果進(jìn)行測(cè)試,在有負(fù)載鏡像中,由于安裝了Linux源碼樹(shù),基礎(chǔ)磁盤增大到1.3GB,對(duì)外提供邏輯磁盤空間依舊為2GB。從圖7中可以看出,基礎(chǔ)磁盤的增大使得每個(gè)增量磁盤的遷移時(shí)間都相應(yīng)增加。但對(duì)于Qcow2的應(yīng)用環(huán)境來(lái)講,邏輯空間與基礎(chǔ)磁盤與大小比值通常較為懸殊,至少為數(shù)倍,多的甚至達(dá)數(shù)十倍,圖9實(shí)驗(yàn)描述了基礎(chǔ)磁盤大小為695MB,增量磁盤大小為1300MB 時(shí),不同邏輯空間大小下的磁盤優(yōu)化情況,可以發(fā)現(xiàn)物理空間一定的情況下,邏輯空間越大,優(yōu)化效果越好。

    圖9 不同邏輯磁盤遷移優(yōu)化前后對(duì)比

    綜上,在系統(tǒng)正常使用狀態(tài)下,虛擬磁盤總大小通常小于邏輯磁盤空間大小,該優(yōu)化可以帶來(lái)正面效果。在極端條件下,即用戶將所有邏輯磁盤空間都耗盡時(shí),也只造成了微弱的負(fù)面效果,這也是該技術(shù)優(yōu)化的最壞情況。因此,在絕大部分情況下,該優(yōu)化技術(shù)可以有效加速遷移。

    4 結(jié)束語(yǔ)

    針對(duì)虛擬機(jī)遷移中虛擬磁盤遷移效率低下的問(wèn)題,本文以qcow2磁盤格式為例,從更細(xì)粒度的資源管理方式入手,提出了一種qcow2 設(shè)備帶外遷移算法。首先闡述qcow2磁盤布局以及其遷移過(guò)程,然后針對(duì)Qcow2設(shè)備的獨(dú)立遷移模式進(jìn)行優(yōu)化,針對(duì)qcow2格式磁盤自壓縮的的特點(diǎn),分離基礎(chǔ)磁盤和增量磁盤的遷移階段,對(duì)基礎(chǔ)磁盤直接遷移,不對(duì)增量磁盤進(jìn)行解壓縮,避免了因解壓縮和壓縮帶來(lái)不必要的系統(tǒng)開(kāi)銷,同時(shí)降低遷移的數(shù)據(jù)量,縮短遷移延時(shí)。實(shí)驗(yàn)結(jié)果表明,相對(duì)與優(yōu)化前,虛擬磁盤的遷移時(shí)間可以降低25%-55%左右。

    [1]LU Xiaohu,LI Qin.Research and implementation on migration of virtual machine including Vm-disk [J].Computer Science,2009,36 (7):256-261 (in Chinese).[呂小虎,李沁.虛擬機(jī)磁盤遷移技術(shù)研究與實(shí)現(xiàn) [J].計(jì)算機(jī)科學(xué),2009,36(7):256-261.]

    [2]Jie Zheng,Tze Sing Eugene Ng,Kunwadee Sripanidkulchai.Workload-aware live storage migration for clouds [C]//Proceedings of the 7th International Conference on Virtual Execution Environments.New York:ACM,2011:133-144.

    [3]Hines M R,Gopalan K.Post-copy based live virtual machine migration using adaptive pre-paging and dynamic self-ballooning[C]//Proc Fifth International Conf Virtual Execution Environments.New York:ACM,2009:51-60.

    [4]Satyanarayanan M,Gilbert B,Toups M,et al.Pervasive personal computing in an internet suspend/resume system [J].IEEE Internet Computing,2007,11 (2):16-25.

    [5]Bogdan Nicolae,F(xiàn)ranck Cappello.A hybrid local storage transfer scheme for live migration of I/O intensive workloads[C]//Proceedings of the 21st International Symposium on High-Performance Parallel and Distributed Computing.New York:ACM,2012:85-96.

    [6]Luo Y,Zhang B,Wang X,et al.Live and incremental wholesystem migration of virtual machines using block-bitmap[C]//Proc IEEE International Conf Cluster Computing.Washington DC, USA:IEEE Computer Society,2008:99-106.

    [7]ZHANG Binbin,LUO Yingwei, WANG Xiaolin,et al.Whole-system live migration mechanism for virtual machines[J].Acta Electronica Sinica,2009,37 (4):894-899 (in Chinese).[張彬彬,羅英偉,汪小林,等.虛擬機(jī)全系統(tǒng)在線遷移 [J].電子學(xué)報(bào),2009,37 (4):894-899.]

    [8]Bradford R,Kotsovinos E,F(xiàn)eldmann A,et al.Live wide-area migration of virtual machines including local persistent state.[C]//Proc Third ACM Conf Virtual Execution Environments.New York:ACM Press,2007:169-179.

    [9]LIU Shihai,SUN Yuqing,SHI Weiqi,et al.Rapid migration method of virtual machine for extensible cluster environment[J].Journal of Southeast University (Natural Science Edition),2011,41 (3):468-472 (in Chinese).[劉詩(shī)海,孫宇清,石維琪,等.面向可擴(kuò)展集群環(huán)境的快速虛擬機(jī)遷移方法[J].東南大學(xué)學(xué)報(bào):自然科學(xué)版,2011,41 (3):468-472.]

    [10]McLoughlin M.The QCOW2image format [DB/OL].https://people.gnome.org/~markmc/qcow-image-format.html,2008.

    [11]REN Qingdong,LI Tianyang,YUAN Man,et al.Generalized data migration tool based on metadata-driven [J].Journal of Daqing Petroleum Institute,2011,35 (1):76-80 (in Chinese).[任慶東,李天陽(yáng),袁滿,等.基于元數(shù)據(jù)驅(qū)動(dòng)的通用數(shù)據(jù)遷移工具 [J].大慶石油學(xué)院學(xué)報(bào),2011,35 (1):76-80.]

    [12]LIU Pengcheng,CHEN Rong.Cloud computing-oriented live migration framework for virtual machine[J].Computer Engineering,2010,36 (5):37-39 (in Chinese). [劉鵬程,陳榕.面向云計(jì)算的虛擬機(jī)動(dòng)態(tài)遷移框架 [J].計(jì)算機(jī)工程,2010,36 (5):37-39.]

    [13]JIANG Nan,SHU Yantai,KANG Yang.A cross-layer method to improve receiver-centric transport protocol in WLAN [J].Control &Automation,2008,24 (18):56-58(in Chinese). [姜楠,舒炎泰,康楊.一種RCP 協(xié)議在WLAN 下的跨層改進(jìn)方法 [J].微計(jì)算機(jī)信息,2008,24(18):56-58.]

    猜你喜歡
    優(yōu)化設(shè)備
    諧響應(yīng)分析在設(shè)備減振中的應(yīng)用
    超限高層建筑結(jié)構(gòu)設(shè)計(jì)與優(yōu)化思考
    民用建筑防煙排煙設(shè)計(jì)優(yōu)化探討
    關(guān)于優(yōu)化消防安全告知承諾的一些思考
    一道優(yōu)化題的幾何解法
    由“形”啟“數(shù)”優(yōu)化運(yùn)算——以2021年解析幾何高考題為例
    基于VB6.0+Access2010開(kāi)發(fā)的設(shè)備管理信息系統(tǒng)
    基于MPU6050簡(jiǎn)單控制設(shè)備
    電子制作(2018年11期)2018-08-04 03:26:08
    500kV輸變電設(shè)備運(yùn)行維護(hù)探討
    如何在設(shè)備采購(gòu)中節(jié)省成本
    久久人人爽人人片av| 久久国内精品自在自线图片| av在线天堂中文字幕| 少妇猛男粗大的猛烈进出视频 | 国产美女午夜福利| 五月天丁香电影| 一级黄片播放器| 干丝袜人妻中文字幕| 国产老妇伦熟女老妇高清| 高清欧美精品videossex| 在线观看美女被高潮喷水网站| 亚洲自偷自拍三级| 天美传媒精品一区二区| 五月伊人婷婷丁香| 神马国产精品三级电影在线观看| 国产免费福利视频在线观看| 两个人的视频大全免费| 亚洲精品乱码久久久久久按摩| 日韩人妻高清精品专区| 中文天堂在线官网| 婷婷色麻豆天堂久久| 精品人妻视频免费看| 美女大奶头视频| 日韩不卡一区二区三区视频在线| 国产一区亚洲一区在线观看| 日本免费a在线| 免费黄色在线免费观看| 国产成人一区二区在线| 亚洲精品自拍成人| 青青草视频在线视频观看| 国产中年淑女户外野战色| 欧美97在线视频| 日本-黄色视频高清免费观看| 男人舔女人下体高潮全视频| 好男人视频免费观看在线| 中文字幕免费在线视频6| 国产伦在线观看视频一区| 亚洲av中文av极速乱| 男女边吃奶边做爰视频| 狂野欧美白嫩少妇大欣赏| 成人欧美大片| 国产极品天堂在线| 日本爱情动作片www.在线观看| 麻豆av噜噜一区二区三区| 午夜免费观看性视频| 人妻夜夜爽99麻豆av| 中文精品一卡2卡3卡4更新| 大香蕉97超碰在线| 亚洲av中文字字幕乱码综合| 亚洲乱码一区二区免费版| 舔av片在线| 人妻系列 视频| 欧美日本视频| 91av网一区二区| 嫩草影院精品99| 久久精品国产亚洲网站| 国产午夜精品论理片| 日日啪夜夜撸| 欧美一区二区亚洲| 女的被弄到高潮叫床怎么办| 国产老妇女一区| 最新中文字幕久久久久| 一级毛片我不卡| 精品久久久久久久久久久久久| 久久久久久久久久久免费av| 97超视频在线观看视频| 好男人在线观看高清免费视频| 亚洲在线自拍视频| 大话2 男鬼变身卡| 久久久精品欧美日韩精品| 国产乱来视频区| 尾随美女入室| 亚洲乱码一区二区免费版| 搡老妇女老女人老熟妇| 亚洲国产精品国产精品| 1000部很黄的大片| 国产成人精品婷婷| 青春草国产在线视频| 欧美人与善性xxx| 国产三级在线视频| 日韩av在线大香蕉| 日本一本二区三区精品| 国产黄色免费在线视频| 一个人免费在线观看电影| 成年免费大片在线观看| 熟妇人妻久久中文字幕3abv| 少妇丰满av| 久久6这里有精品| 99久国产av精品| 亚洲,欧美,日韩| 久久99蜜桃精品久久| 日本av手机在线免费观看| 中文字幕制服av| 欧美不卡视频在线免费观看| 亚洲av.av天堂| 六月丁香七月| 欧美一级a爱片免费观看看| 亚洲电影在线观看av| 国产国拍精品亚洲av在线观看| 亚洲最大成人手机在线| 天堂av国产一区二区熟女人妻| 日韩欧美 国产精品| 久久久精品94久久精品| 欧美成人精品欧美一级黄| 国产白丝娇喘喷水9色精品| 精品国产三级普通话版| 亚洲欧美清纯卡通| 天堂网av新在线| 亚洲欧美一区二区三区黑人 | 国产午夜精品一二区理论片| 永久网站在线| 我的女老师完整版在线观看| 国产精品久久久久久av不卡| 99热全是精品| 久久久久国产网址| 国产成人精品婷婷| 免费看日本二区| 99久久九九国产精品国产免费| 黄片wwwwww| 欧美zozozo另类| av黄色大香蕉| av网站免费在线观看视频 | 亚洲在线观看片| 国产午夜福利久久久久久| 国产黄a三级三级三级人| 97精品久久久久久久久久精品| 麻豆成人av视频| 最新中文字幕久久久久| 国产精品熟女久久久久浪| 可以在线观看毛片的网站| 久久久午夜欧美精品| 中国国产av一级| 色视频www国产| 熟妇人妻久久中文字幕3abv| 亚州av有码| 亚洲最大成人手机在线| 国产激情偷乱视频一区二区| 在线观看一区二区三区| 国产淫片久久久久久久久| 久久精品国产亚洲av天美| 18+在线观看网站| 精品午夜福利在线看| 天堂√8在线中文| 亚洲欧美日韩卡通动漫| 少妇熟女欧美另类| 18+在线观看网站| 日韩人妻高清精品专区| 五月伊人婷婷丁香| 99九九线精品视频在线观看视频| 国产精品嫩草影院av在线观看| 中文字幕人妻熟人妻熟丝袜美| 国产毛片a区久久久久| 亚洲精品,欧美精品| 淫秽高清视频在线观看| 国产精品国产三级国产专区5o| 精品久久久久久久久久久久久| 精品不卡国产一区二区三区| 看非洲黑人一级黄片| 日本爱情动作片www.在线观看| 亚洲精品中文字幕在线视频 | 国产激情偷乱视频一区二区| 肉色欧美久久久久久久蜜桃 | 国产成年人精品一区二区| 丝袜美腿在线中文| 一级黄片播放器| 十八禁国产超污无遮挡网站| 天天一区二区日本电影三级| 欧美精品一区二区大全| 日韩大片免费观看网站| 色播亚洲综合网| 免费看av在线观看网站| 青春草视频在线免费观看| 精品国产一区二区三区久久久樱花 | 国产精品一区二区性色av| 亚洲综合色惰| 欧美激情在线99| 免费看日本二区| 91狼人影院| 久久热精品热| 五月玫瑰六月丁香| 69人妻影院| 国产精品嫩草影院av在线观看| 内地一区二区视频在线| 美女被艹到高潮喷水动态| 欧美不卡视频在线免费观看| 久久热精品热| 国产成人91sexporn| 免费观看性生交大片5| 韩国av在线不卡| 欧美一级a爱片免费观看看| 白带黄色成豆腐渣| 国产 一区精品| 国产精品三级大全| 亚洲精品国产av成人精品| 九九爱精品视频在线观看| 国产伦一二天堂av在线观看| av播播在线观看一区| 午夜老司机福利剧场| 免费人成在线观看视频色| 只有这里有精品99| 亚洲精品日本国产第一区| 不卡视频在线观看欧美| 又粗又硬又长又爽又黄的视频| 麻豆av噜噜一区二区三区| 老司机影院毛片| 国产视频首页在线观看| 色尼玛亚洲综合影院| 午夜日本视频在线| 亚洲av免费高清在线观看| 欧美高清成人免费视频www| 精品国产三级普通话版| 麻豆乱淫一区二区| 麻豆久久精品国产亚洲av| 久久99热这里只频精品6学生| 十八禁国产超污无遮挡网站| av国产免费在线观看| 老司机影院成人| 成人高潮视频无遮挡免费网站| av又黄又爽大尺度在线免费看| 美女高潮的动态| 久久久久久久久久人人人人人人| 国产黄色小视频在线观看| 天堂网av新在线| 街头女战士在线观看网站| 亚洲精品国产av成人精品| 久久久久久久久久成人| 在线免费观看的www视频| 又爽又黄无遮挡网站| av在线蜜桃| 视频中文字幕在线观看| 国产又色又爽无遮挡免| 亚洲自偷自拍三级| 99热这里只有精品一区| 一区二区三区高清视频在线| 亚洲精品国产av成人精品| 搞女人的毛片| 乱人视频在线观看| 男女那种视频在线观看| av国产免费在线观看| 久99久视频精品免费| av福利片在线观看| 女人十人毛片免费观看3o分钟| 国产在视频线在精品| 国产精品国产三级专区第一集| 97热精品久久久久久| 小蜜桃在线观看免费完整版高清| 国产精品一及| 精品久久久久久成人av| 国产午夜精品久久久久久一区二区三区| 亚洲国产最新在线播放| 亚洲色图av天堂| 91久久精品国产一区二区三区| 久久精品国产亚洲av天美| 亚洲精品亚洲一区二区| 美女cb高潮喷水在线观看| 91狼人影院| 亚洲精品乱久久久久久| 特大巨黑吊av在线直播| 街头女战士在线观看网站| 亚洲精品日本国产第一区| 国产黄片美女视频| 免费观看无遮挡的男女| 搞女人的毛片| 久久综合国产亚洲精品| 91精品一卡2卡3卡4卡| 国产欧美另类精品又又久久亚洲欧美| 日韩欧美国产在线观看| 九九久久精品国产亚洲av麻豆| 水蜜桃什么品种好| 国产免费一级a男人的天堂| 女人十人毛片免费观看3o分钟| 亚洲精品国产av蜜桃| 亚洲欧美成人精品一区二区| 午夜福利成人在线免费观看| 熟妇人妻久久中文字幕3abv| 日韩伦理黄色片| 国产精品麻豆人妻色哟哟久久 | 成人国产麻豆网| 亚洲aⅴ乱码一区二区在线播放| 丝瓜视频免费看黄片| 美女脱内裤让男人舔精品视频| 日本猛色少妇xxxxx猛交久久| 国产视频内射| 人人妻人人澡人人爽人人夜夜 | 麻豆av噜噜一区二区三区| 天天一区二区日本电影三级| 亚洲怡红院男人天堂| 一本一本综合久久| 久久亚洲国产成人精品v| 国产伦精品一区二区三区视频9| 午夜免费激情av| 亚洲av中文字字幕乱码综合| 免费观看a级毛片全部| 欧美日韩国产mv在线观看视频 | 好男人在线观看高清免费视频| 人妻一区二区av| 少妇被粗大猛烈的视频| 淫秽高清视频在线观看| 男人和女人高潮做爰伦理| 国产综合懂色| 一级毛片黄色毛片免费观看视频| 一级片'在线观看视频| 免费黄色在线免费观看| 国产精品99久久久久久久久| 亚洲乱码一区二区免费版| 日韩强制内射视频| 午夜激情欧美在线| 91精品一卡2卡3卡4卡| 国产成人免费观看mmmm| 水蜜桃什么品种好| 日韩成人伦理影院| 色综合亚洲欧美另类图片| 在线免费观看不下载黄p国产| 亚洲经典国产精华液单| 免费电影在线观看免费观看| 97精品久久久久久久久久精品| 三级经典国产精品| 午夜激情久久久久久久| 美女高潮的动态| h日本视频在线播放| 亚洲国产精品专区欧美| 高清欧美精品videossex| 精品一区二区三卡| 亚洲激情五月婷婷啪啪| 久久精品久久精品一区二区三区| 狠狠精品人妻久久久久久综合| 免费观看av网站的网址| 综合色av麻豆| 国产黄色视频一区二区在线观看| 亚洲最大成人中文| 亚洲av成人精品一二三区| 日韩亚洲欧美综合| 天堂网av新在线| 亚洲精品乱码久久久久久按摩| 日日干狠狠操夜夜爽| 久久久a久久爽久久v久久| 在线观看av片永久免费下载| 噜噜噜噜噜久久久久久91| 亚洲久久久久久中文字幕| 国产精品国产三级专区第一集| 最近2019中文字幕mv第一页| 亚洲精品自拍成人| 99热这里只有是精品在线观看| 男的添女的下面高潮视频| 99久国产av精品国产电影| 人体艺术视频欧美日本| 国产亚洲av嫩草精品影院| 国产熟女欧美一区二区| 18禁裸乳无遮挡免费网站照片| 亚洲成色77777| 欧美成人a在线观看| 亚洲最大成人中文| 国产成人a∨麻豆精品| 久久鲁丝午夜福利片| 最近中文字幕高清免费大全6| 内射极品少妇av片p| 91久久精品国产一区二区三区| 大又大粗又爽又黄少妇毛片口| 欧美bdsm另类| 久久久久久久国产电影| 日本wwww免费看| 蜜桃久久精品国产亚洲av| 少妇被粗大猛烈的视频| 欧美极品一区二区三区四区| 搡女人真爽免费视频火全软件| 九九爱精品视频在线观看| 五月伊人婷婷丁香| 日本三级黄在线观看| 草草在线视频免费看| 亚洲美女搞黄在线观看| 99久久中文字幕三级久久日本| 丝瓜视频免费看黄片| 国产伦精品一区二区三区视频9| 蜜桃亚洲精品一区二区三区| 亚洲成人精品中文字幕电影| 嘟嘟电影网在线观看| 欧美日韩精品成人综合77777| 久久精品久久久久久久性| 久久99蜜桃精品久久| 婷婷色av中文字幕| 免费播放大片免费观看视频在线观看| av黄色大香蕉| 国产 亚洲一区二区三区 | 国产精品国产三级国产专区5o| 蜜臀久久99精品久久宅男| 久久人人爽人人片av| 亚洲真实伦在线观看| 日本黄色片子视频| 国产精品福利在线免费观看| 女人被狂操c到高潮| 亚洲精品日韩av片在线观看| 国产精品伦人一区二区| 久久99蜜桃精品久久| 99久国产av精品国产电影| 国产成人精品福利久久| 午夜老司机福利剧场| 十八禁网站网址无遮挡 | 免费黄频网站在线观看国产| 一边亲一边摸免费视频| 在线播放无遮挡| 嫩草影院精品99| 麻豆成人av视频| 久久精品久久精品一区二区三区| av天堂中文字幕网| 一区二区三区乱码不卡18| 国产午夜福利久久久久久| 麻豆成人午夜福利视频| 日韩av不卡免费在线播放| 国产中年淑女户外野战色| 亚洲av中文av极速乱| 日本黄色片子视频| av免费观看日本| 内地一区二区视频在线| 国产精品久久久久久精品电影| 国产色爽女视频免费观看| 美女黄网站色视频| 80岁老熟妇乱子伦牲交| 美女xxoo啪啪120秒动态图| 国产伦一二天堂av在线观看| 在线观看免费高清a一片| 亚洲成色77777| 春色校园在线视频观看| 国产免费一级a男人的天堂| 成人av在线播放网站| 亚洲精品亚洲一区二区| 色视频www国产| 亚洲欧美日韩无卡精品| 99久久人妻综合| 免费电影在线观看免费观看| 国产伦精品一区二区三区四那| 国产精品日韩av在线免费观看| 亚洲欧美成人精品一区二区| 日韩av在线大香蕉| 欧美xxⅹ黑人| 一级黄片播放器| 国产精品福利在线免费观看| 女的被弄到高潮叫床怎么办| 美女黄网站色视频| 中文字幕av在线有码专区| 超碰av人人做人人爽久久| 国产精品99久久久久久久久| 免费观看性生交大片5| av福利片在线观看| 久久久久精品性色| 精品人妻视频免费看| 一夜夜www| 亚洲av二区三区四区| 亚洲婷婷狠狠爱综合网| 欧美精品一区二区大全| 超碰97精品在线观看| 日本wwww免费看| 日韩视频在线欧美| 在线免费十八禁| 免费观看av网站的网址| 亚洲精品成人av观看孕妇| 日本午夜av视频| 成人二区视频| 日韩av在线免费看完整版不卡| 男人和女人高潮做爰伦理| 国产午夜精品一二区理论片| 国产一区亚洲一区在线观看| 亚洲av在线观看美女高潮| 免费观看a级毛片全部| 婷婷色av中文字幕| 国产精品无大码| 99热6这里只有精品| 永久免费av网站大全| 69av精品久久久久久| 天天一区二区日本电影三级| 少妇裸体淫交视频免费看高清| 精品国内亚洲2022精品成人| 亚洲美女视频黄频| 99热全是精品| 色网站视频免费| 观看美女的网站| 又爽又黄a免费视频| 亚洲精品日韩在线中文字幕| 亚洲va在线va天堂va国产| 国产成人freesex在线| 欧美性猛交╳xxx乱大交人| 免费av观看视频| 色哟哟·www| 中文字幕久久专区| 国产一区亚洲一区在线观看| 国产高清三级在线| 精品久久久久久电影网| 久久久久久久久久久丰满| 男人舔女人下体高潮全视频| 欧美极品一区二区三区四区| eeuss影院久久| 婷婷色av中文字幕| 哪个播放器可以免费观看大片| 97精品久久久久久久久久精品| 亚洲激情五月婷婷啪啪| 日本欧美国产在线视频| 成人高潮视频无遮挡免费网站| 美女xxoo啪啪120秒动态图| 天堂网av新在线| 日韩大片免费观看网站| 国产 一区 欧美 日韩| 最新中文字幕久久久久| 99久国产av精品| 久久99蜜桃精品久久| 三级国产精品片| 久久久午夜欧美精品| 五月天丁香电影| 免费av不卡在线播放| 乱人视频在线观看| 日韩欧美一区视频在线观看 | 精品久久久噜噜| 亚洲av成人精品一二三区| 青春草国产在线视频| 一区二区三区高清视频在线| 精品欧美国产一区二区三| 午夜福利高清视频| 国产人妻一区二区三区在| 国产午夜福利久久久久久| 午夜福利在线观看吧| 国产精品一区二区三区四区免费观看| 少妇裸体淫交视频免费看高清| 99久久精品一区二区三区| 国产精品一区二区三区四区久久| 又爽又黄a免费视频| 九九久久精品国产亚洲av麻豆| 久久久久久久国产电影| 搡女人真爽免费视频火全软件| 亚洲精品一区蜜桃| 99久久中文字幕三级久久日本| 尤物成人国产欧美一区二区三区| 在线观看一区二区三区| 成年av动漫网址| 久久精品久久久久久噜噜老黄| 韩国高清视频一区二区三区| 中文字幕av成人在线电影| 麻豆成人午夜福利视频| 日韩一本色道免费dvd| 国产淫片久久久久久久久| 亚洲电影在线观看av| 午夜老司机福利剧场| 精品国产露脸久久av麻豆 | 国产在线一区二区三区精| 欧美日韩精品成人综合77777| 欧美成人精品欧美一级黄| 亚洲怡红院男人天堂| 丝袜喷水一区| 国产黄a三级三级三级人| 亚洲精品一二三| 日本爱情动作片www.在线观看| 白带黄色成豆腐渣| 婷婷色综合www| 久久热精品热| 秋霞在线观看毛片| 精品人妻视频免费看| 亚洲av不卡在线观看| 26uuu在线亚洲综合色| 高清毛片免费看| 国产 亚洲一区二区三区 | 亚洲国产精品国产精品| 国产 亚洲一区二区三区 | 丝袜喷水一区| av免费在线看不卡| 国产成人a区在线观看| 久久这里只有精品中国| 色尼玛亚洲综合影院| www.色视频.com| 久久精品国产鲁丝片午夜精品| 亚洲av.av天堂| 99热这里只有是精品50| 色综合站精品国产| 久久亚洲国产成人精品v| 国产黄片视频在线免费观看| 成人亚洲精品一区在线观看 | 欧美不卡视频在线免费观看| videos熟女内射| 五月伊人婷婷丁香| 一级av片app| 精品久久久久久久久亚洲| 亚洲美女搞黄在线观看| 精品人妻视频免费看| 内地一区二区视频在线| 日日撸夜夜添| 日韩电影二区| 成人午夜高清在线视频| 国产午夜福利久久久久久| 久久99热6这里只有精品| 男女下面进入的视频免费午夜| 又黄又爽又刺激的免费视频.| 床上黄色一级片| 九草在线视频观看| 国产淫片久久久久久久久| 国产亚洲5aaaaa淫片| 亚洲精品一区蜜桃| a级毛片免费高清观看在线播放| 成人高潮视频无遮挡免费网站| 最后的刺客免费高清国语| 精品一区二区三区人妻视频| 少妇人妻精品综合一区二区| 久久精品夜夜夜夜夜久久蜜豆| 久久精品国产鲁丝片午夜精品| 一级a做视频免费观看| 久久久久免费精品人妻一区二区| 男女视频在线观看网站免费| 亚洲国产高清在线一区二区三| 麻豆乱淫一区二区| 日本wwww免费看| 一级毛片aaaaaa免费看小| 国产黄色小视频在线观看| 亚洲第一区二区三区不卡| 国产精品美女特级片免费视频播放器| 街头女战士在线观看网站| 在线观看人妻少妇| 青春草亚洲视频在线观看| 老司机影院毛片| 亚洲精品成人av观看孕妇| 色综合亚洲欧美另类图片|