• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云計算中虛擬機磁盤遷移時機優(yōu)化策略

    2014-12-23 01:25:38黃黎明李先鋒
    計算機工程與設(shè)計 2014年2期
    關(guān)鍵詞:優(yōu)化設(shè)備

    陳 睦,黃黎明,李先鋒

    (上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院 信息管理部,上海200092)

    0 引 言

    虛擬化技術(shù)是目前多種新興網(wǎng)絡(luò)計算模式的基礎(chǔ)支撐技術(shù),為用戶提供了高可用性、動態(tài)、可擴展、可按需分配的邏輯資源。利用虛擬機遷移技術(shù),實現(xiàn)服務(wù)器集群中各服務(wù)器的動態(tài)負載均衡,使得整個系統(tǒng)中資源的合理利用。

    虛擬機遷移的研究主要有虛擬機內(nèi)存的遷移算法研究以及虛擬機外設(shè)的遷移方法研究。針對虛擬機遷移的停機時間和遷移總時間可以設(shè)計出以下遷移方法[1-3]: “停止—拷貝”算法,“預(yù)拷貝”算法, “后拷貝”算法,以及 “懶惰拷貝”算法。網(wǎng)絡(luò)掛起/恢復(fù)ISR (internet suspend/re-sume)系統(tǒng)[4]通過分布式存儲器在不同的時空重現(xiàn)用戶執(zhí)行環(huán)境。Collective項目使用寫時復(fù)制技術(shù)[5],通過增量傳輸機制遷移虛擬機。Luo等提出了通過預(yù)拷貝算法來增量地同步虛擬機的鏡像數(shù)據(jù)以實現(xiàn)透明的遷移[6,7]。Bradford等實現(xiàn)了在數(shù)據(jù)塊級別的預(yù)拷貝算法以及寫操作扼殺的機制來遷移虛擬機的鏡像文件以實現(xiàn)在廣域網(wǎng)中的遷移[8]。針對集群環(huán)境下的虛擬機遷移,劉詩海等提出基于gSOAP的內(nèi)部角色通信的遷移方法[9]。

    雖然上述解決方案都能在特定情況下取得不錯的效果,但是對虛擬機遷移過程中遷移量最大的磁盤的細節(jié)問題考慮不足,直接導(dǎo)致磁盤遷移的效率低下。為了提升磁盤的遷移效率,本文以Qcow2磁盤格式為例,從更細粒度的資源管理方式入手對磁盤的遷移進行優(yōu)化,提出了一種磁盤遷移時機優(yōu)化策略,從而避免遷移過程中無謂的數(shù)據(jù)傳輸,從而達到減小數(shù)據(jù)傳輸量和總體遷移耗時的效果。

    Qcow2 (qemu copy on write 2)[10]是 一 種 虛 擬 磁 盤 格式,正如其名 “寫時拷貝”,Qcow2格式的磁盤是由多個磁盤以鏈?zhǔn)浇Y(jié)構(gòu)構(gòu)成的一個整體,任意兩個相鄰磁盤中,被依賴的叫基礎(chǔ)磁盤,另一塊叫增量磁盤。在遷移Qcow2磁盤時,如果遷入遷出兩端有共同的基礎(chǔ)磁盤,則可以只遷增量磁盤,否則,遷移將涉及基礎(chǔ)磁盤的部分內(nèi)容。本文的剩余部分安排如下:第二節(jié)介紹Qcow2 磁盤布局以及Qcow2磁盤的遷移流程。第三節(jié)講述Qcow2 遷移設(shè)計思路,并講述本文提出的Qcow2設(shè)備帶外遷移算法,然后通過第四節(jié)的實驗來驗證該算法的優(yōu)點。第五節(jié)對本文的主要內(nèi)容進行總結(jié)。

    1 Qcow2磁盤布局及遷移流程

    1.1 Qcow2磁盤布局

    以磁盤為單位的角度看,Qcow2將多塊磁盤組織為鏈?zhǔn)浇Y(jié)構(gòu),通過維護存儲設(shè)備邏輯地址與Qcow2實際地址的映射關(guān)系,對外提供邏輯虛擬磁盤。此結(jié)構(gòu)可以使得上層虛擬機設(shè)備對數(shù)據(jù)存儲的管理粒度更細,不再只是以一個整體設(shè)備為單位與客戶機操作系統(tǒng)提供服務(wù),而可以通過一定的元數(shù)據(jù)組織映射方式為虛擬機提供存儲支持,不同虛擬磁盤中的各數(shù)據(jù)塊間產(chǎn)生了依賴關(guān)系,從而使得存儲設(shè)備組織數(shù)據(jù)從設(shè)備級的粒度降低到數(shù)據(jù)塊的粒度。

    Qcow2帶來了靈活的數(shù)據(jù)存儲組織方式,由于虛擬機系統(tǒng)保存快照的操作要求對數(shù)據(jù)采用寫前拷貝的方式,Qcow2細粒度的存儲組織形式為其提供了良好的支持。此外,由于鏈?zhǔn)酱鎯μ匦?,多個虛擬磁盤可共享一個基礎(chǔ)磁盤,因此Qcow2格式可節(jié)省大量存儲空間。同時,即使是該增量磁盤的內(nèi)容加以修改,其容量也不會大于基礎(chǔ)磁盤的大小。

    下面介紹單個Qcow2磁盤內(nèi)部的磁盤布局,如圖1所示。Qcow2將單個虛擬磁盤按固定大小,劃分成多個磁盤塊,即整個磁盤是由大量磁盤塊按序整齊排列構(gòu)成。無論是Qcow2的元數(shù)據(jù)還是數(shù)據(jù)均存儲在這些磁盤塊當(dāng)中。

    其元數(shù)據(jù)主要可劃分為4分部:

    屬性塊 (Header):位于第一個磁盤塊,保存了該Qcow2的基本屬性,如磁盤魔數(shù)、版本、存儲容量、塊大小等,也可據(jù)此獲得其它元數(shù)據(jù)塊的位置與長度信息。

    快照塊 (Snapshot):單個Qcow2磁盤內(nèi)部可進行快照保存,該塊存放了相應(yīng)快照的基本屬性信息,包括快照的名稱,映射塊地址,保存時間等。

    圖1 Qcow2磁盤布局

    映射塊 (L1,L2):維護存儲邏輯地址與Qcow2 實際存儲地址映射關(guān)系。在給定設(shè)備邏輯地址的情況下,可通過映射塊中的映射表項進行二級映射查找,從而獲得所需數(shù)據(jù)塊的實際地址。

    Qcow2磁盤運行的核心環(huán)節(jié)是將設(shè)備的邏輯地址映射為設(shè)備內(nèi)部實際地址的過程。在單個Qcow2磁盤內(nèi)部,元數(shù)據(jù)部分設(shè)計了二級映射表,其中一級映射表是由多個連續(xù)的L1塊構(gòu)成。映射表中的表項從第一個L1塊的起始處順序存儲,每一個表項負責(zé)相應(yīng)的邏輯地址范圍的轉(zhuǎn)換,該地址范圍可由屬性塊中的CLUSTER_BITS 計算得到。所有表項長度固定且相等,記錄了一個二級映射表的地址,每個二級映射表由一個單獨的L2塊構(gòu)成,與一級映射表類似,表項依然以固定長度從L2塊起始處順序存儲,每個表項負責(zé)相應(yīng)邏輯地址范圍的轉(zhuǎn)換,其存儲內(nèi)容為所請求邏輯地址在Qcow2設(shè)備中的實際地址。至此,完成了邏輯地址到Qcow2層物理地址的映射,單磁盤Qcow2二層尋址如圖2所示。

    圖2 單磁盤Qcow2二層尋址

    在多個Qcow2磁盤的鏈?zhǔn)酱鎯χ?,可能出現(xiàn)邏輯地址在當(dāng)前磁盤無法找到有效映射表項的情形,由此需跨越至基礎(chǔ)磁盤進行映射,其對于讀請求和寫請求中的處理方式有異。在讀請求中,遇到無效的映射表項時,該請求被直接轉(zhuǎn)至基礎(chǔ)磁盤,從而將對增量磁盤的讀請求轉(zhuǎn)化為對基礎(chǔ)磁盤的讀請求,如果基礎(chǔ)磁盤依然無法完成映射,則可繼續(xù)向依賴的基礎(chǔ)磁盤轉(zhuǎn)發(fā)讀請求,如此迭代進行。在寫請求中,遇到無效表項的情況,首先在增量磁盤分配數(shù)據(jù)塊,然后根據(jù)其邏輯地址在映射塊中構(gòu)建映射表項,Qcow2多磁盤尋址示意圖如圖3所示。

    圖3 Qcow2多磁盤尋址

    1.2 Qcow2磁盤的遷移流程

    由于Qcow2磁盤獨特的鏈?zhǔn)浇Y(jié)構(gòu),QEMU 遷移分為兩種模式:獨立遷移模式和共享遷移模式。獨立遷移模式適用于遷入遷出兩端沒有相同基礎(chǔ)磁盤的情形,將遷出端磁盤鏈上被遷移客戶機依賴的所有數(shù)據(jù)塊發(fā)送至遷入端,在遷出端形成一個獨立的磁盤,該磁盤不依賴任何其它磁盤。共享遷移適用于遷移兩端具有相同基礎(chǔ)磁盤的情形,該模式只對增量磁盤進行遷移,增量磁盤存儲容量較基礎(chǔ)磁盤越小。

    圖4是Qcow2增量磁盤作為塊設(shè)備在QEMU 中的遷移流程。QEMU 塊設(shè)備遷移是在通用設(shè)備層進行的,以設(shè)備數(shù)據(jù)為遷移對象,而非設(shè)備本身,即其遷移時并不傳輸存儲設(shè)備層的任何元數(shù)據(jù),只傳輸上層軟件需要的邏輯層數(shù)據(jù)內(nèi)容。

    圖4 基于Qcow2磁盤數(shù)據(jù)的遷移

    QEMU 塊遷移采用了 “存—傳—取”的模式,在遷移Qcow2磁盤時,其 “存”的行為是通過向QEMU 通用塊設(shè)備層發(fā)送讀請求,該請求通過Qcow2的設(shè)備驅(qū)動再逐層轉(zhuǎn)發(fā),最終獲得請求地址的數(shù)據(jù),這一系列過程中,Qcow2磁盤中所有元數(shù)據(jù)都只服務(wù)于Qcow2的設(shè)備驅(qū)動,而未被通用塊設(shè)備層甚至更高層的應(yīng)用感知。隨后,在 “傳”的環(huán)節(jié)中,其傳輸對象也是讀請求獲得的數(shù)據(jù),即只對應(yīng)用層有意義的磁盤存儲內(nèi)容。在 “取”的環(huán)節(jié)中,遷入端會將收到的數(shù)據(jù)打包成寫請求向通用設(shè)備層下發(fā),繼而通過Qcow2 設(shè)備驅(qū)動完成寫請求。遷移最終的結(jié)果是,在Qcow2設(shè)備層以上的層次來看,遷移兩端的數(shù)據(jù)是完全一致的,但在Qcow2存儲設(shè)備內(nèi)部,其元數(shù)據(jù)幾乎不可能完全相同。

    在通用設(shè)備層遷移的好處體現(xiàn)在兩個方面:①通用設(shè)備層對遷移流程的控制,使各種格式的虛擬磁盤驅(qū)動無須考慮遷移的實現(xiàn),減輕了磁盤驅(qū)動的開發(fā)壓力,避免每個磁盤驅(qū)動實現(xiàn)遷移接口;②通用設(shè)備層遷移的兼容性較好,遷入端和遷出端無需具備相同的虛擬磁盤格式,因為通用設(shè)備層負責(zé)了遷移的邏輯控制,而各驅(qū)動實現(xiàn)了相同的設(shè)備讀寫接口,這樣不管底層設(shè)備是否異構(gòu),遷入和遷出兩端便可以通用設(shè)備層進行數(shù)據(jù)交互。

    2 Qcow2設(shè)備帶外遷移算法

    2.1 Qcow2遷移設(shè)計思路

    在通用設(shè)備層進行遷移是一種優(yōu)雅的方法,屏蔽了底層設(shè)備的細節(jié),為不同虛擬存儲設(shè)備提供了通用的數(shù)據(jù)遷移接口[11],但由此造成了對磁盤格式特點的忽視,這在面對Qcow2獨立模式遷移時尤其明顯:

    (1)作為動態(tài)映射磁盤格式,Qcow2具有的一項重要功能便是壓縮。在遷移過程中,基于數(shù)據(jù)內(nèi)容的遷移會首先在遷出端Qcow2驅(qū)動層為通用設(shè)備層解壓縮,將解壓縮的內(nèi)容傳輸?shù)竭w入端后可能會對該數(shù)據(jù)進行壓縮后再存儲。反復(fù)進行的壓縮和解壓縮造成大量無謂的系統(tǒng)開銷。

    (2)通用設(shè)備層的遷移是面向數(shù)據(jù)的,即將遷移行為轉(zhuǎn)化為多個讀寫請求,每個讀寫請求向相應(yīng)的設(shè)備驅(qū)動轉(zhuǎn)發(fā),在Qcow2中,其L2 數(shù)據(jù)塊不會全部儲存在內(nèi)存中,因此這些讀寫請求的下發(fā)不僅使得內(nèi)存讀寫更為頻繁,也因讀寫L2數(shù)據(jù)塊而增加了物理讀寫請求的發(fā)出頻率。

    (3)對于Qcow2而言,其二級地址映射模式通常將邏輯上地址連續(xù)的內(nèi)容存儲在非連續(xù)的實際物理地址中,這在增量磁盤中體現(xiàn)得更為明顯,因此,遷移中大量的順序讀寫邏輯地址的請求在Qcow2設(shè)備層經(jīng)二級地址映射后很可能體現(xiàn)為物理設(shè)備上的隨機讀寫請求,從而降低讀寫效率。

    鑒于上述考慮,本文針對Qcow2 設(shè)備的獨立遷移模式[12]進行優(yōu)化,將基礎(chǔ)磁盤與增量磁盤遷移內(nèi)容分離,對基礎(chǔ)磁盤的數(shù)據(jù)內(nèi)容直接進行設(shè)備層遷移,從而避免遷移兩端在遷移基礎(chǔ)磁盤數(shù)據(jù)時由壓縮引起的無謂系統(tǒng)開銷,減少遷移時讀寫流程中的多次尋址,減少順序請求轉(zhuǎn)為隨機請求的發(fā)生次數(shù),最終提高遷移速度,基于Qcow2磁盤設(shè)備的遷移如圖5所示。

    圖5 基于Qcow2磁盤設(shè)備的遷移

    QEMU 的通用設(shè)備層遷移不區(qū)分數(shù)據(jù)來源,遷移數(shù)據(jù)既可能來自基礎(chǔ)磁盤,也可能來自增量磁盤,客觀上造成了基礎(chǔ)磁盤和增量磁盤兩部分數(shù)據(jù)的交替?zhèn)鬏?,因此,對基礎(chǔ)磁盤采用基于設(shè)備的遷移可以分別將基礎(chǔ)磁盤和增量磁盤數(shù)據(jù)傳輸時機進行集中,實現(xiàn)Qcow2磁盤遷移時機進行優(yōu)化。

    基礎(chǔ)磁盤遷移時機優(yōu)化體現(xiàn)在該磁盤內(nèi)容的遷移不依賴整個遷移進程中Qcow2驅(qū)動對讀請求的處理,而是忽略Qcow2的存儲與管理細節(jié),直接在遷移開始階段以設(shè)備形式遷移,從而使得基礎(chǔ)磁盤數(shù)據(jù)傳輸不會被增量磁盤數(shù)據(jù)傳輸中斷。Qcow2磁盤的寫請求處理為寫時拷貝模式:對于客戶機下發(fā)的寫請求,新的數(shù)據(jù)只會更新到增量鏡像,在虛擬機的整個運行過程中,虛擬機不會對基礎(chǔ)鏡像造成任何改變。這樣的特性使得Qcow2的基礎(chǔ)磁盤遷移在數(shù)據(jù)一致性方面的問題被大大簡化,以虛擬設(shè)備整體的形式發(fā)送到遷入端,基礎(chǔ)磁盤遷移前后,遷入遷出兩端上該磁盤文件完全相同。

    增量磁盤遷移時機的集中主要體現(xiàn)在處理遷移造成的讀寫請求時,增量磁盤與基礎(chǔ)磁盤的鏈?zhǔn)疥P(guān)系被割裂,從而使得增量磁盤的數(shù)據(jù)傳輸不會被基礎(chǔ)磁盤數(shù)據(jù)傳輸中斷。在基礎(chǔ)磁盤遷移完成后,由于其所有數(shù)據(jù)已被傳至遷入端,增量磁盤在處理由遷移造成的讀請求時應(yīng)當(dāng)避免再去基礎(chǔ)磁盤查取數(shù)據(jù)。這需要修改Qcow2驅(qū)動層,使其識別遷移造成的讀請求,并返回約定的已遷移標(biāo)識。

    通過基礎(chǔ)和增量磁盤遷移時機的集中完成了Qcow2遷移時機的優(yōu)化,該優(yōu)化較傳統(tǒng)方法的優(yōu)勢主要體現(xiàn)在:①基礎(chǔ)磁盤的遷移對物理存儲來講是一個文件的傳輸,因此這部分遷移造成的讀寫請求無需經(jīng)過Qcow2的驅(qū)動,避免了Qcow2的尋址過程。②Qcow2本身具有壓縮特性,由于其較大的數(shù)據(jù)量而占用了網(wǎng)絡(luò)資源,在遷入端看來,基于Qcow2設(shè)備的遷移辦法可避免對數(shù)據(jù)的無謂解壓縮與壓縮,達到加速遷移的目的。

    2.2 Qcow2設(shè)備帶外遷移算法

    作為一種虛擬設(shè)備,Qcow2基礎(chǔ)磁盤在宿主機看來是一個普通文件,在整個遷移過程中,該文件內(nèi)容不會發(fā)生任何變化。因此,可將該設(shè)備的遷移以帶外遠程文件拷貝的形式實現(xiàn)。依賴現(xiàn)有的遠程文件拷貝 (remote file copy,RCP)協(xié)議[13],通過在遷移兩端物理機建立傳輸文件的連接,即可完成基礎(chǔ)磁盤的整體設(shè)備遷移,磁盤遷移時機優(yōu)化流程如圖6所示。

    圖6 磁盤遷移時機優(yōu)化流程

    以設(shè)備整體形式對基礎(chǔ)磁盤進行遷移,與QEMU 原有的遷移辦法完全兼容。從遷出端看,其對增量鏡像讀請求如果可以在增量鏡像找到地址,則發(fā)送增量鏡像內(nèi)的數(shù)據(jù),否則在基礎(chǔ)鏡像映射地址發(fā)送基礎(chǔ)鏡像內(nèi)的數(shù)據(jù)。從遷入端看,其對Qcow2磁盤不存在讀請求操作,其通過增量鏡像獲取的數(shù)據(jù)打包成寫請求后,與普通寫請求完全相同,只是對基礎(chǔ)鏡像的更新操作,Qcow2驅(qū)動可確保該請求正確完成。所以,基礎(chǔ)磁盤整體遷移并未對QEMU 原有的遷移流程造成影響,因此,在基礎(chǔ)磁盤整體遷移后,再按QEMU 原有的遷移流程進行增量磁盤的遷移從設(shè)計邏輯來講是完全可行的。

    具體到QEMU 虛擬機遷移的流程,基礎(chǔ)磁盤整體遷移的體現(xiàn)在開始階段和迭代階段:

    開始階段:為了在實現(xiàn)上保持與QEMU 原有遷移流程的兼容,基礎(chǔ)磁盤遷移可以看作是增量遷移進行數(shù)據(jù)內(nèi)容傳輸前期的參數(shù)設(shè)定階段,因此,可在遷移開始階段對基礎(chǔ)磁盤遷移,其具體實現(xiàn)形式為從遷出端向遷入端發(fā)送基礎(chǔ)磁盤文件,本文選擇RCP協(xié)議進行。

    迭代階段:該階段中基礎(chǔ)磁盤遷移已經(jīng)完成,正在進行增量磁盤遷移。此處需要關(guān)注增量磁盤的讀請求。按照Qcow2的驅(qū)動實現(xiàn),其讀請求應(yīng)當(dāng)在增量磁盤內(nèi)無法完成地址映射時轉(zhuǎn)而向基礎(chǔ)磁盤發(fā)送讀請求。但在基礎(chǔ)磁盤整體遷移后,如果該讀請求并非客戶機下發(fā),而是由遷移模塊向通用設(shè)備層下發(fā)的,那么其獲得的數(shù)據(jù)則將通過遷移連接發(fā)送至遷入端,而這些數(shù)據(jù)已經(jīng)在開始階的基礎(chǔ)磁盤整體遷移過程中遷移完成,這樣就失去了整體遷移的意義。因此,對于此階段的讀請求,應(yīng)添加標(biāo)志位對于讀請求的來源加以區(qū)分。Qcow2 驅(qū)動中的讀函數(shù)為qcow2_co_readv,其中有一項整型參數(shù)表示扇區(qū)個數(shù),因扇區(qū)個數(shù)不可能為負,所以將該整型最高位用來區(qū)分該讀請求的來源,在遷移模塊下發(fā)讀請求時,將此參數(shù)最高位置為1,在客戶機發(fā)送讀請求時,該參數(shù)正常。進入到qcow2_co_readv函數(shù)內(nèi)時,對此參數(shù)最高位進行判斷,并標(biāo)記目前請求是否為遷移模塊的請求,如果是,則在地址映射遇到結(jié)果為未分配塊時停止該請求向基礎(chǔ)磁盤的轉(zhuǎn)發(fā),其它地址映射結(jié)果的處理流程不變。如果不是,則按QEMU 原有正常流程處理。

    3 Qcow2遷移時機優(yōu)化實驗

    本實驗硬件設(shè)備由三臺配置相同的物理機組在成:CPU 為Intel(R)Xeon (R)X5650 2.67GHz,六核十二線程,內(nèi)存32G,硬盤1T 容量7200rpm 32MB緩存,千兆以太網(wǎng)互聯(lián)。

    本節(jié)測試了5個不同大小的增量磁盤在磁盤遷移時機優(yōu)化前后的表現(xiàn),它們有共同的基礎(chǔ)磁盤,大小為812MB,該磁盤對外提供2GB的邏輯磁盤地址。實驗結(jié)果如圖7。

    圖7 空載下不同增量磁盤遷移優(yōu)化前后對比

    從圖7可以看出,優(yōu)化前,遷移耗時對增量磁盤大小的變化并不敏感,甚至在增量磁盤較大時,遷移時間還輕微地縮短了。這是因為在通用塊設(shè)備層遷移數(shù)據(jù)時,遷移對象是Qcow2對外呈現(xiàn)的邏輯磁盤的數(shù)據(jù),遷移時間主要由邏輯磁盤空間大小決定,與Qcow2內(nèi)部如何組織磁盤鏈?zhǔn)浇Y(jié)構(gòu)無關(guān),無論增量磁盤大小如何變化,其對外提供的邏輯空間大小是不變的,因此遷移的時間基本恒定。至于在增量磁盤增大時出現(xiàn)的遷移時間輕微下降,是因為相較于增量磁盤較小的情況,遷移的大部分數(shù)據(jù)只依靠增量磁盤完成,而無需再去基礎(chǔ)磁盤查取,從而減小了開銷。

    下面再來分析優(yōu)化后的情況。優(yōu)化后增量磁盤大小直接影響著遷移時間,甚至在某些極端條件下,優(yōu)化后的效果輕微弱于優(yōu)化前的系統(tǒng)表現(xiàn)。這是因為優(yōu)化后,遷移時間由兩部分構(gòu)成:基礎(chǔ)磁盤遷移時間和增量磁盤遷移時間,基礎(chǔ)磁盤遷移時間由基礎(chǔ)磁盤的大小決定。在基礎(chǔ)磁盤不變的情況下,隨著增量磁盤的增長,遷移時間逐漸變長。

    由于優(yōu)化的效果體現(xiàn)在優(yōu)化前后遷移時間的差值,結(jié)合上述分析,優(yōu)化效果主要由邏輯磁盤大小與虛擬磁盤(包括基礎(chǔ)磁盤與增量磁盤)大小的差值決定。結(jié)合Qcow2格式的特點,此差值的兩個主要決定因素是:邏輯磁盤空間與基礎(chǔ)磁盤空間的比值和基礎(chǔ)磁盤與增量磁盤的邏輯空間重疊表示量。其中,前者對優(yōu)化效果起正面作用,因為壓縮比越高,基礎(chǔ)磁盤越小,時間差值越大。后者對優(yōu)化效果起負面作用,基礎(chǔ)磁盤與增量磁盤重疊表示邏輯磁盤空間,意味著一個邏輯數(shù)據(jù)塊占用了兩個塊的虛擬磁盤空間,使得虛擬磁盤增大,減小優(yōu)化前后遷移時間差值,這種數(shù)據(jù)重疊表示是由虛擬機對增量磁盤寫操作導(dǎo)致基礎(chǔ)磁盤相應(yīng)數(shù)據(jù)塊失效引起的。

    在系統(tǒng)實際運行情況下,基礎(chǔ)磁盤通常扮演著虛擬電氣的角色,只安裝操作系統(tǒng)和用戶定制的應(yīng)用程序。這使其具有兩個顯著特點:大量邏輯磁盤空間空閑,使得邏輯磁盤與基礎(chǔ)磁盤空間比值很高;系統(tǒng)運行時,對基礎(chǔ)磁盤表示的邏輯數(shù)據(jù)塊寫請求非常少,以致基礎(chǔ)磁盤與增量磁盤重疊表示的邏輯空間非常少。內(nèi)核編譯負載下不同增量磁盤遷移優(yōu)化前后對比如圖8所示。

    圖8 內(nèi)核編譯負載下不同增量磁盤遷移優(yōu)化前后對比

    本文對虛擬機有負載情形下的優(yōu)化效果進行測試,在有負載鏡像中,由于安裝了Linux源碼樹,基礎(chǔ)磁盤增大到1.3GB,對外提供邏輯磁盤空間依舊為2GB。從圖7中可以看出,基礎(chǔ)磁盤的增大使得每個增量磁盤的遷移時間都相應(yīng)增加。但對于Qcow2的應(yīng)用環(huán)境來講,邏輯空間與基礎(chǔ)磁盤與大小比值通常較為懸殊,至少為數(shù)倍,多的甚至達數(shù)十倍,圖9實驗描述了基礎(chǔ)磁盤大小為695MB,增量磁盤大小為1300MB 時,不同邏輯空間大小下的磁盤優(yōu)化情況,可以發(fā)現(xiàn)物理空間一定的情況下,邏輯空間越大,優(yōu)化效果越好。

    圖9 不同邏輯磁盤遷移優(yōu)化前后對比

    綜上,在系統(tǒng)正常使用狀態(tài)下,虛擬磁盤總大小通常小于邏輯磁盤空間大小,該優(yōu)化可以帶來正面效果。在極端條件下,即用戶將所有邏輯磁盤空間都耗盡時,也只造成了微弱的負面效果,這也是該技術(shù)優(yōu)化的最壞情況。因此,在絕大部分情況下,該優(yōu)化技術(shù)可以有效加速遷移。

    4 結(jié)束語

    針對虛擬機遷移中虛擬磁盤遷移效率低下的問題,本文以qcow2磁盤格式為例,從更細粒度的資源管理方式入手,提出了一種qcow2 設(shè)備帶外遷移算法。首先闡述qcow2磁盤布局以及其遷移過程,然后針對Qcow2設(shè)備的獨立遷移模式進行優(yōu)化,針對qcow2格式磁盤自壓縮的的特點,分離基礎(chǔ)磁盤和增量磁盤的遷移階段,對基礎(chǔ)磁盤直接遷移,不對增量磁盤進行解壓縮,避免了因解壓縮和壓縮帶來不必要的系統(tǒng)開銷,同時降低遷移的數(shù)據(jù)量,縮短遷移延時。實驗結(jié)果表明,相對與優(yōu)化前,虛擬磁盤的遷移時間可以降低25%-55%左右。

    [1]LU Xiaohu,LI Qin.Research and implementation on migration of virtual machine including Vm-disk [J].Computer Science,2009,36 (7):256-261 (in Chinese).[呂小虎,李沁.虛擬機磁盤遷移技術(shù)研究與實現(xiàn) [J].計算機科學(xué),2009,36(7):256-261.]

    [2]Jie Zheng,Tze Sing Eugene Ng,Kunwadee Sripanidkulchai.Workload-aware live storage migration for clouds [C]//Proceedings of the 7th International Conference on Virtual Execution Environments.New York:ACM,2011:133-144.

    [3]Hines M R,Gopalan K.Post-copy based live virtual machine migration using adaptive pre-paging and dynamic self-ballooning[C]//Proc Fifth International Conf Virtual Execution Environments.New York:ACM,2009:51-60.

    [4]Satyanarayanan M,Gilbert B,Toups M,et al.Pervasive personal computing in an internet suspend/resume system [J].IEEE Internet Computing,2007,11 (2):16-25.

    [5]Bogdan Nicolae,F(xiàn)ranck Cappello.A hybrid local storage transfer scheme for live migration of I/O intensive workloads[C]//Proceedings of the 21st International Symposium on High-Performance Parallel and Distributed Computing.New York:ACM,2012:85-96.

    [6]Luo Y,Zhang B,Wang X,et al.Live and incremental wholesystem migration of virtual machines using block-bitmap[C]//Proc IEEE International Conf Cluster Computing.Washington DC, USA:IEEE Computer Society,2008:99-106.

    [7]ZHANG Binbin,LUO Yingwei, WANG Xiaolin,et al.Whole-system live migration mechanism for virtual machines[J].Acta Electronica Sinica,2009,37 (4):894-899 (in Chinese).[張彬彬,羅英偉,汪小林,等.虛擬機全系統(tǒng)在線遷移 [J].電子學(xué)報,2009,37 (4):894-899.]

    [8]Bradford R,Kotsovinos E,F(xiàn)eldmann A,et al.Live wide-area migration of virtual machines including local persistent state.[C]//Proc Third ACM Conf Virtual Execution Environments.New York:ACM Press,2007:169-179.

    [9]LIU Shihai,SUN Yuqing,SHI Weiqi,et al.Rapid migration method of virtual machine for extensible cluster environment[J].Journal of Southeast University (Natural Science Edition),2011,41 (3):468-472 (in Chinese).[劉詩海,孫宇清,石維琪,等.面向可擴展集群環(huán)境的快速虛擬機遷移方法[J].東南大學(xué)學(xué)報:自然科學(xué)版,2011,41 (3):468-472.]

    [10]McLoughlin M.The QCOW2image format [DB/OL].https://people.gnome.org/~markmc/qcow-image-format.html,2008.

    [11]REN Qingdong,LI Tianyang,YUAN Man,et al.Generalized data migration tool based on metadata-driven [J].Journal of Daqing Petroleum Institute,2011,35 (1):76-80 (in Chinese).[任慶東,李天陽,袁滿,等.基于元數(shù)據(jù)驅(qū)動的通用數(shù)據(jù)遷移工具 [J].大慶石油學(xué)院學(xué)報,2011,35 (1):76-80.]

    [12]LIU Pengcheng,CHEN Rong.Cloud computing-oriented live migration framework for virtual machine[J].Computer Engineering,2010,36 (5):37-39 (in Chinese). [劉鵬程,陳榕.面向云計算的虛擬機動態(tài)遷移框架 [J].計算機工程,2010,36 (5):37-39.]

    [13]JIANG Nan,SHU Yantai,KANG Yang.A cross-layer method to improve receiver-centric transport protocol in WLAN [J].Control &Automation,2008,24 (18):56-58(in Chinese). [姜楠,舒炎泰,康楊.一種RCP 協(xié)議在WLAN 下的跨層改進方法 [J].微計算機信息,2008,24(18):56-58.]

    猜你喜歡
    優(yōu)化設(shè)備
    諧響應(yīng)分析在設(shè)備減振中的應(yīng)用
    超限高層建筑結(jié)構(gòu)設(shè)計與優(yōu)化思考
    民用建筑防煙排煙設(shè)計優(yōu)化探討
    關(guān)于優(yōu)化消防安全告知承諾的一些思考
    一道優(yōu)化題的幾何解法
    由“形”啟“數(shù)”優(yōu)化運算——以2021年解析幾何高考題為例
    基于VB6.0+Access2010開發(fā)的設(shè)備管理信息系統(tǒng)
    基于MPU6050簡單控制設(shè)備
    電子制作(2018年11期)2018-08-04 03:26:08
    500kV輸變電設(shè)備運行維護探討
    如何在設(shè)備采購中節(jié)省成本
    亚洲内射少妇av| 日本午夜av视频| 桃花免费在线播放| 嫩草影院入口| 国产乱人偷精品视频| 国产午夜精品一二区理论片| 在线观看av片永久免费下载| 国产精品国产三级国产av玫瑰| 啦啦啦中文免费视频观看日本| 国产日韩欧美视频二区| 久久av网站| 男女边摸边吃奶| 自拍欧美九色日韩亚洲蝌蚪91 | 国产色婷婷99| 欧美xxⅹ黑人| 日韩中文字幕视频在线看片| 好男人视频免费观看在线| 丝袜在线中文字幕| 国产探花极品一区二区| 欧美日韩视频精品一区| 欧美国产精品一级二级三级 | 欧美成人午夜免费资源| 午夜免费男女啪啪视频观看| 国产成人精品无人区| 少妇人妻一区二区三区视频| 午夜久久久在线观看| 黄色怎么调成土黄色| 王馨瑶露胸无遮挡在线观看| 少妇熟女欧美另类| 成年av动漫网址| 中文字幕久久专区| 黄色一级大片看看| 91午夜精品亚洲一区二区三区| 亚洲欧美精品自产自拍| 2022亚洲国产成人精品| 97超视频在线观看视频| 一区二区三区免费毛片| 一级av片app| 国产美女午夜福利| tube8黄色片| 国产老妇伦熟女老妇高清| 狂野欧美激情性bbbbbb| 久久人人爽人人片av| 在线免费观看不下载黄p国产| 极品教师在线视频| 欧美精品亚洲一区二区| 9色porny在线观看| 狂野欧美激情性xxxx在线观看| 精华霜和精华液先用哪个| 亚洲国产精品一区二区三区在线| 国产av精品麻豆| 成年人免费黄色播放视频 | 国产高清有码在线观看视频| 视频中文字幕在线观看| 国产精品一区二区在线不卡| 最近最新中文字幕免费大全7| 日韩av不卡免费在线播放| 国产免费福利视频在线观看| av天堂中文字幕网| 黑丝袜美女国产一区| 国产欧美亚洲国产| 日韩视频在线欧美| 精品亚洲成国产av| 亚洲国产成人一精品久久久| 国产精品伦人一区二区| 亚洲人与动物交配视频| 国产精品嫩草影院av在线观看| 免费观看性生交大片5| 观看美女的网站| 久久人人爽av亚洲精品天堂| 中文字幕av电影在线播放| 黄色毛片三级朝国网站 | 国产精品一区www在线观看| 国产精品一区二区在线不卡| 久久久精品94久久精品| 男女国产视频网站| 精品国产一区二区久久| 99久久精品热视频| freevideosex欧美| 日韩欧美一区视频在线观看 | 欧美日本中文国产一区发布| 麻豆成人av视频| h日本视频在线播放| 国产精品一区二区在线观看99| 国产熟女欧美一区二区| 这个男人来自地球电影免费观看 | 久久99热这里只频精品6学生| 午夜福利视频精品| 国模一区二区三区四区视频| 91精品伊人久久大香线蕉| 久久午夜福利片| 老司机亚洲免费影院| 亚洲av免费高清在线观看| 亚洲国产精品成人久久小说| 麻豆成人午夜福利视频| 欧美 日韩 精品 国产| 新久久久久国产一级毛片| 国产午夜精品一二区理论片| 国产男女超爽视频在线观看| 亚洲第一区二区三区不卡| 日日啪夜夜撸| 少妇被粗大猛烈的视频| 欧美日韩精品成人综合77777| 日本与韩国留学比较| 中文欧美无线码| 蜜臀久久99精品久久宅男| 欧美bdsm另类| 午夜激情久久久久久久| 久久97久久精品| 18禁在线播放成人免费| 亚洲,一卡二卡三卡| 美女cb高潮喷水在线观看| av女优亚洲男人天堂| 日韩亚洲欧美综合| 色婷婷久久久亚洲欧美| 最近的中文字幕免费完整| 亚洲欧美一区二区三区国产| 少妇 在线观看| 国产精品久久久久久久久免| 精品亚洲成a人片在线观看| 一级爰片在线观看| 欧美高清成人免费视频www| 大香蕉久久网| 熟女电影av网| 天天操日日干夜夜撸| 久久免费观看电影| 自拍偷自拍亚洲精品老妇| 精品国产乱码久久久久久小说| 99热网站在线观看| 午夜久久久在线观看| 18禁在线播放成人免费| 天美传媒精品一区二区| 自拍欧美九色日韩亚洲蝌蚪91 | 国语对白做爰xxxⅹ性视频网站| 国产乱来视频区| 国产精品99久久99久久久不卡 | 国产av码专区亚洲av| 一区二区三区精品91| 日韩制服骚丝袜av| 只有这里有精品99| 美女主播在线视频| av福利片在线观看| 赤兔流量卡办理| 精品人妻熟女毛片av久久网站| 18+在线观看网站| 人人妻人人看人人澡| 国产伦在线观看视频一区| 80岁老熟妇乱子伦牲交| 亚洲,欧美,日韩| 欧美日本中文国产一区发布| 国产女主播在线喷水免费视频网站| 一区在线观看完整版| 亚洲欧美成人综合另类久久久| 少妇的逼好多水| 一区二区三区四区激情视频| 一本久久精品| 99久久精品国产国产毛片| 麻豆精品久久久久久蜜桃| 亚洲精品456在线播放app| 久久精品国产鲁丝片午夜精品| 国产毛片在线视频| 伦理电影大哥的女人| 夫妻性生交免费视频一级片| 亚洲电影在线观看av| 少妇人妻一区二区三区视频| 七月丁香在线播放| 狂野欧美激情性xxxx在线观看| 国产高清有码在线观看视频| 国语对白做爰xxxⅹ性视频网站| 曰老女人黄片| 青春草国产在线视频| 99热6这里只有精品| 狠狠精品人妻久久久久久综合| 欧美精品高潮呻吟av久久| 纯流量卡能插随身wifi吗| 国产日韩欧美在线精品| 国产伦精品一区二区三区四那| 91精品一卡2卡3卡4卡| 国产成人精品福利久久| 国产欧美日韩精品一区二区| 成人二区视频| 一级爰片在线观看| 国产成人freesex在线| 伊人久久精品亚洲午夜| 国产免费福利视频在线观看| 国产午夜精品久久久久久一区二区三区| 在线观看三级黄色| 少妇猛男粗大的猛烈进出视频| av不卡在线播放| 亚洲精品成人av观看孕妇| 内地一区二区视频在线| av黄色大香蕉| av线在线观看网站| 国产一区有黄有色的免费视频| tube8黄色片| 久久国产精品男人的天堂亚洲 | 乱人伦中国视频| 男人添女人高潮全过程视频| 亚洲精品久久久久久婷婷小说| 久久午夜综合久久蜜桃| 亚洲av不卡在线观看| 欧美最新免费一区二区三区| 精品久久久久久电影网| 国产淫片久久久久久久久| 成人午夜精彩视频在线观看| 如日韩欧美国产精品一区二区三区 | 久久99热6这里只有精品| 国产精品不卡视频一区二区| 亚洲真实伦在线观看| 久久人人爽av亚洲精品天堂| 国产69精品久久久久777片| 亚洲欧美成人精品一区二区| 精品久久久久久电影网| 国产成人aa在线观看| 欧美+日韩+精品| 亚洲欧美成人综合另类久久久| 午夜老司机福利剧场| 中文字幕人妻熟人妻熟丝袜美| 国产av码专区亚洲av| 黑人高潮一二区| 国产精品久久久久久精品电影小说| 另类亚洲欧美激情| 亚洲真实伦在线观看| 搡老乐熟女国产| 在线亚洲精品国产二区图片欧美 | 中文欧美无线码| 国产综合精华液| 国产精品一区www在线观看| 能在线免费看毛片的网站| 亚洲精品第二区| 婷婷色麻豆天堂久久| 成人亚洲欧美一区二区av| 性高湖久久久久久久久免费观看| 精品国产一区二区久久| 亚洲国产精品专区欧美| 国产伦精品一区二区三区视频9| 边亲边吃奶的免费视频| 精品国产乱码久久久久久小说| 国产亚洲午夜精品一区二区久久| 免费观看无遮挡的男女| 久久人人爽人人片av| 老女人水多毛片| 国产在线免费精品| 全区人妻精品视频| 天天躁夜夜躁狠狠久久av| 欧美日韩视频精品一区| 噜噜噜噜噜久久久久久91| 夜夜骑夜夜射夜夜干| 色视频www国产| 韩国av在线不卡| 国产免费又黄又爽又色| 亚洲av二区三区四区| 18+在线观看网站| 亚洲欧美精品自产自拍| 国产一区二区在线观看日韩| 国产视频首页在线观看| 午夜91福利影院| 黄色视频在线播放观看不卡| av线在线观看网站| 久久精品国产亚洲av涩爱| 男女免费视频国产| 国产一区二区三区av在线| 免费久久久久久久精品成人欧美视频 | 国产爽快片一区二区三区| 国产成人freesex在线| 看非洲黑人一级黄片| 观看美女的网站| 亚洲国产最新在线播放| 性色av一级| 午夜免费男女啪啪视频观看| 男女啪啪激烈高潮av片| 97超视频在线观看视频| videossex国产| 老女人水多毛片| 精品熟女少妇av免费看| 日日撸夜夜添| 91精品伊人久久大香线蕉| 久热久热在线精品观看| 国产精品国产av在线观看| 国产免费一级a男人的天堂| 男女边吃奶边做爰视频| 欧美精品亚洲一区二区| 国产免费又黄又爽又色| 中国美白少妇内射xxxbb| 交换朋友夫妻互换小说| 国内少妇人妻偷人精品xxx网站| 亚洲美女黄色视频免费看| 亚州av有码| 好男人视频免费观看在线| 亚洲精品成人av观看孕妇| 老女人水多毛片| .国产精品久久| 一区在线观看完整版| 亚洲av电影在线观看一区二区三区| 欧美丝袜亚洲另类| 大又大粗又爽又黄少妇毛片口| 精品少妇黑人巨大在线播放| 亚洲欧美精品专区久久| 七月丁香在线播放| 亚洲高清免费不卡视频| 纯流量卡能插随身wifi吗| 一个人看视频在线观看www免费| 欧美xxⅹ黑人| 街头女战士在线观看网站| 欧美精品人与动牲交sv欧美| 人人妻人人澡人人看| 中文精品一卡2卡3卡4更新| 噜噜噜噜噜久久久久久91| 亚洲欧美清纯卡通| 亚洲av免费高清在线观看| 女的被弄到高潮叫床怎么办| 大片电影免费在线观看免费| 91精品伊人久久大香线蕉| 99久国产av精品国产电影| 99久久人妻综合| 久久亚洲国产成人精品v| 成人毛片a级毛片在线播放| 成人影院久久| 麻豆成人午夜福利视频| 男人添女人高潮全过程视频| 女人久久www免费人成看片| 男女边摸边吃奶| 高清av免费在线| 中文乱码字字幕精品一区二区三区| 蜜桃久久精品国产亚洲av| 人人妻人人爽人人添夜夜欢视频 | a级毛片在线看网站| 亚洲欧洲日产国产| 黄色视频在线播放观看不卡| 尾随美女入室| 日韩中文字幕视频在线看片| 国产一级毛片在线| 亚洲精品乱码久久久久久按摩| 好男人视频免费观看在线| 午夜视频国产福利| 成人黄色视频免费在线看| 欧美 亚洲 国产 日韩一| 内射极品少妇av片p| 99久久精品热视频| 韩国高清视频一区二区三区| 国产精品久久久久久久电影| 亚洲色图综合在线观看| 亚洲丝袜综合中文字幕| 美女国产视频在线观看| 国产淫片久久久久久久久| av有码第一页| 成人18禁高潮啪啪吃奶动态图 | 又爽又黄a免费视频| 精品亚洲成a人片在线观看| av.在线天堂| √禁漫天堂资源中文www| 麻豆精品久久久久久蜜桃| 国产一区二区三区综合在线观看 | 制服丝袜香蕉在线| 99久久精品热视频| 亚洲,一卡二卡三卡| 国产精品蜜桃在线观看| www.av在线官网国产| 午夜日本视频在线| 国产日韩一区二区三区精品不卡 | 亚洲精品视频女| 欧美少妇被猛烈插入视频| 国产黄色视频一区二区在线观看| 少妇精品久久久久久久| 精品熟女少妇av免费看| 成人黄色视频免费在线看| 午夜老司机福利剧场| 一个人看视频在线观看www免费| 中文精品一卡2卡3卡4更新| 亚洲人成网站在线播| 亚洲激情五月婷婷啪啪| 亚洲欧美日韩另类电影网站| 中文欧美无线码| 成人二区视频| 国产欧美日韩综合在线一区二区 | 日韩av不卡免费在线播放| 下体分泌物呈黄色| 日日啪夜夜撸| 丝袜在线中文字幕| 一区二区av电影网| 一个人免费看片子| 国产男女内射视频| 日韩成人伦理影院| 国产精品秋霞免费鲁丝片| 国产日韩欧美视频二区| 亚洲av欧美aⅴ国产| 日韩免费高清中文字幕av| 国产精品一区二区三区四区免费观看| 在线观看国产h片| 日韩电影二区| 一本色道久久久久久精品综合| 18禁动态无遮挡网站| 日韩av在线免费看完整版不卡| 日本av手机在线免费观看| h视频一区二区三区| 国产一区二区在线观看av| 另类精品久久| 亚洲精品视频女| 2021少妇久久久久久久久久久| 午夜免费观看性视频| 日韩大片免费观看网站| 乱人伦中国视频| 欧美日韩精品成人综合77777| 秋霞在线观看毛片| 三级国产精品欧美在线观看| 精品久久久精品久久久| 亚洲久久久国产精品| 国产永久视频网站| 国产精品三级大全| 乱人伦中国视频| 亚洲精品日韩av片在线观看| 韩国高清视频一区二区三区| 哪个播放器可以免费观看大片| 日韩 亚洲 欧美在线| 日本免费在线观看一区| 国内揄拍国产精品人妻在线| 极品教师在线视频| av播播在线观看一区| 简卡轻食公司| 亚洲第一区二区三区不卡| 国模一区二区三区四区视频| 国产午夜精品一二区理论片| 国产成人精品婷婷| 观看免费一级毛片| 久久免费观看电影| 9色porny在线观看| 内地一区二区视频在线| 欧美日韩精品成人综合77777| 国产亚洲一区二区精品| 国产精品偷伦视频观看了| 亚洲av免费高清在线观看| 夫妻性生交免费视频一级片| 精品卡一卡二卡四卡免费| av视频免费观看在线观看| 国产精品女同一区二区软件| 午夜视频国产福利| 日本av手机在线免费观看| 国产精品人妻久久久久久| 久久久久久久久大av| 久久久久久久久久久丰满| 精品久久久久久久久亚洲| 婷婷色av中文字幕| 中文欧美无线码| 丝袜脚勾引网站| 肉色欧美久久久久久久蜜桃| 一区二区三区乱码不卡18| 黑丝袜美女国产一区| 精品少妇内射三级| 国产成人精品福利久久| 免费不卡的大黄色大毛片视频在线观看| 在线观看www视频免费| 亚洲精品乱码久久久久久按摩| 人妻少妇偷人精品九色| 男女啪啪激烈高潮av片| 少妇 在线观看| av网站免费在线观看视频| 99久久精品国产国产毛片| 国产精品.久久久| 国产综合精华液| 欧美+日韩+精品| 青青草视频在线视频观看| 人妻一区二区av| 我要看日韩黄色一级片| 国产精品国产av在线观看| 一级毛片电影观看| 少妇的逼水好多| 成人18禁高潮啪啪吃奶动态图 | 麻豆乱淫一区二区| 91午夜精品亚洲一区二区三区| 国产成人aa在线观看| 天天躁夜夜躁狠狠久久av| 国产精品99久久99久久久不卡 | 又黄又爽又刺激的免费视频.| 精品国产一区二区久久| 国产无遮挡羞羞视频在线观看| 免费人妻精品一区二区三区视频| 久久99热6这里只有精品| av在线观看视频网站免费| 天堂俺去俺来也www色官网| freevideosex欧美| 久久精品国产亚洲网站| 这个男人来自地球电影免费观看 | 国产男人的电影天堂91| 99热这里只有是精品50| 大码成人一级视频| 国产精品久久久久久av不卡| 性高湖久久久久久久久免费观看| av不卡在线播放| 亚洲欧美精品自产自拍| 久久久久精品性色| 午夜日本视频在线| 免费在线观看成人毛片| 这个男人来自地球电影免费观看 | 18禁裸乳无遮挡动漫免费视频| 免费看日本二区| 少妇丰满av| 老熟女久久久| 极品人妻少妇av视频| 精品亚洲成a人片在线观看| 成人国产av品久久久| 国产精品无大码| 国产黄色视频一区二区在线观看| 国产黄色免费在线视频| 久久久久久久久久久丰满| 精品久久国产蜜桃| 人妻 亚洲 视频| 欧美精品国产亚洲| 高清毛片免费看| 久久狼人影院| 十分钟在线观看高清视频www | 欧美老熟妇乱子伦牲交| 亚洲av福利一区| 国产一区有黄有色的免费视频| 最近最新中文字幕免费大全7| 91成人精品电影| 久久久久视频综合| 欧美精品高潮呻吟av久久| xxx大片免费视频| 免费人成在线观看视频色| 国产成人精品婷婷| 精品一品国产午夜福利视频| 精品久久久久久久久av| 精品视频人人做人人爽| 夫妻午夜视频| 97超碰精品成人国产| 18禁在线播放成人免费| 人人妻人人爽人人添夜夜欢视频 | 中文字幕制服av| 久久久久精品久久久久真实原创| 亚洲精品一区蜜桃| 一本色道久久久久久精品综合| 久久久a久久爽久久v久久| 在线观看三级黄色| 一级毛片aaaaaa免费看小| 精品一区在线观看国产| 国产成人午夜福利电影在线观看| 美女xxoo啪啪120秒动态图| 精品少妇黑人巨大在线播放| 久久 成人 亚洲| 久久鲁丝午夜福利片| 亚洲综合精品二区| 国产精品无大码| 精品久久久噜噜| 91在线精品国自产拍蜜月| 男女免费视频国产| 国产欧美日韩一区二区三区在线 | 欧美xxxx性猛交bbbb| 日本wwww免费看| 免费看不卡的av| 精品久久久精品久久久| 91aial.com中文字幕在线观看| 国产成人精品一,二区| 免费观看性生交大片5| 纵有疾风起免费观看全集完整版| 中文字幕制服av| 免费av中文字幕在线| 久久久久久久久久人人人人人人| 国产精品一二三区在线看| 爱豆传媒免费全集在线观看| 日本黄色日本黄色录像| 曰老女人黄片| 亚洲怡红院男人天堂| 亚洲精品一二三| 免费观看的影片在线观看| 深夜a级毛片| 国产成人精品一,二区| 国精品久久久久久国模美| 精品人妻偷拍中文字幕| 亚洲图色成人| av天堂久久9| 国产精品久久久久久久电影| 极品教师在线视频| 免费av中文字幕在线| 人体艺术视频欧美日本| 免费看av在线观看网站| 2018国产大陆天天弄谢| 国产精品一区二区在线观看99| 秋霞在线观看毛片| 久久久久视频综合| 国产精品一区二区三区四区免费观看| 少妇人妻精品综合一区二区| av免费在线看不卡| 国产一区二区三区综合在线观看 | 2021少妇久久久久久久久久久| 精品久久久久久久久亚洲| 少妇被粗大的猛进出69影院 | 亚洲综合色惰| 99国产精品免费福利视频| 久久久久网色| 99久久精品热视频| 欧美+日韩+精品| a 毛片基地| 桃花免费在线播放| 人妻制服诱惑在线中文字幕| 少妇人妻精品综合一区二区| 97超视频在线观看视频| 欧美激情极品国产一区二区三区 | 亚洲国产色片| 国产精品秋霞免费鲁丝片| 人人妻人人爽人人添夜夜欢视频 | 夜夜看夜夜爽夜夜摸| 亚洲av不卡在线观看| 久久ye,这里只有精品| 久久人妻熟女aⅴ| 蜜桃久久精品国产亚洲av| 99九九线精品视频在线观看视频| 成人毛片60女人毛片免费| 亚洲国产精品国产精品| 国产综合精华液| 日韩人妻高清精品专区| 国产色爽女视频免费观看| 高清不卡的av网站| 亚洲真实伦在线观看| 亚洲丝袜综合中文字幕| 插阴视频在线观看视频|