• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    塊備份數(shù)據(jù)多版本融合方法

    2011-08-10 01:51:16王樹鵬吳廣君吳志剛云曉春
    通信學(xué)報(bào) 2011年12期
    關(guān)鍵詞:融合

    王樹鵬,吳廣君,吳志剛,云曉春

    (1.中國(guó)科學(xué)院 計(jì)算技術(shù)研究所,北京 100190;2. 災(zāi)備技術(shù)國(guó)家工程實(shí)驗(yàn)室,北京 100876;3. 北京郵電大學(xué) 網(wǎng)絡(luò)技術(shù)研究院,北京 100876)

    1 引言

    各種災(zāi)難事件、突發(fā)事件通常會(huì)引起數(shù)據(jù)的丟失或者不可訪問,為企業(yè)、部門甚至個(gè)人都會(huì)帶來巨大的經(jīng)濟(jì)損失[1,2]。國(guó)標(biāo)GB/T 20988-2007《信息安全技術(shù) 信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》中將災(zāi)難定義為:由于人為或自然等原因,造成信息系統(tǒng)運(yùn)行嚴(yán)重故障或癱瘓,使信息系統(tǒng)支持的業(yè)務(wù)功能停頓或服務(wù)水平不可接受。根據(jù)上述標(biāo)準(zhǔn),典型的災(zāi)難事件包括自然災(zāi)害,如火災(zāi)、洪水、地震、颶風(fēng)等;人為錯(cuò)誤,如管理員誤操作、病毒攻擊等。數(shù)據(jù)的備份和恢復(fù)技術(shù)便成為數(shù)據(jù)安保,恢復(fù)癱瘓系統(tǒng)的最后一道防線。

    多版本塊數(shù)據(jù)備份技術(shù)通常在邏輯卷層次或磁盤驅(qū)動(dòng)器層次實(shí)現(xiàn)與應(yīng)用無關(guān)的數(shù)據(jù)復(fù)制,支持任意歷史版本的數(shù)據(jù)恢復(fù)。常見的備份技術(shù)如圖 1所示,隨著數(shù)據(jù)復(fù)制時(shí)間粒度的提高,數(shù)據(jù)保護(hù)性能會(huì)越好。目前通常使用在線數(shù)據(jù)復(fù)制技術(shù)支持細(xì)粒度多版本數(shù)據(jù)的備份與恢復(fù)。在線數(shù)據(jù)復(fù)制技術(shù)主要包括以COW(copy-on-write)技術(shù)為代表的寫時(shí)舊版本數(shù)據(jù)復(fù)制技術(shù)和 ROW (redirect-on-write)技術(shù)為代表的寫時(shí)新版本數(shù)據(jù)復(fù)制技術(shù)。COW 技術(shù)在發(fā)生寫操作時(shí)首先復(fù)制出舊版本數(shù)據(jù),按序存儲(chǔ)各個(gè)歷史版本序列。在數(shù)據(jù)恢復(fù)時(shí)從當(dāng)前時(shí)間點(diǎn)開始依次恢復(fù)之前版本的備份數(shù)據(jù),實(shí)現(xiàn)歷史狀態(tài)的回滾。這類技術(shù)廣泛存在于多版本文件系統(tǒng)中,如Elephant[3], Ext3cow[4],CVFS[5]等。但是COW技術(shù)具有如下2個(gè)缺點(diǎn)。1) COW具有明顯的寫延遲。COW 技術(shù)需要把原始系統(tǒng)中的一次寫操作變?yōu)樽x舊數(shù)據(jù),存儲(chǔ)舊數(shù)據(jù),最后執(zhí)行寫入的3次操作。盡管舊版本數(shù)據(jù)的轉(zhuǎn)存,新版本數(shù)據(jù)的寫入可以并發(fā)執(zhí)行[6],但是仍然具有明顯的延遲。2) COW無法實(shí)現(xiàn)系統(tǒng)級(jí)別的全量恢復(fù),僅能恢復(fù)由于誤操作導(dǎo)致的局部數(shù)據(jù)污染[7]。ROW技術(shù)直接復(fù)制寫數(shù)據(jù)流或數(shù)據(jù)塊,寫入到新分配的存儲(chǔ)空間。ROW技術(shù)可以應(yīng)用在數(shù)據(jù)復(fù)制頻率較高的場(chǎng)合,如CDP(continuous data protection)等。結(jié)合快照備份數(shù)據(jù),ROW技術(shù)可以實(shí)現(xiàn)系統(tǒng)級(jí)別的全量恢復(fù),但是隨著數(shù)據(jù)復(fù)制頻率的增加和數(shù)據(jù)保存時(shí)間的延長(zhǎng),備份數(shù)據(jù)版本數(shù)目會(huì)不斷增長(zhǎng),形成版本之間相互依賴的版本鏈條,使得數(shù)據(jù)管理越來越復(fù)雜,直接影響著數(shù)據(jù)的可恢復(fù)性和恢復(fù)效率。

    圖1 數(shù)據(jù)保護(hù)技術(shù)的分類

    文獻(xiàn)[8~10]中通過專用系統(tǒng)或硬件實(shí)現(xiàn)增量備份數(shù)據(jù)版本序列的管理,但是無法管理分離存儲(chǔ)的備份數(shù)據(jù)。為了提高備份數(shù)據(jù)管理效率,降低數(shù)據(jù)備份恢復(fù)成本,目前迫切需要建立獨(dú)立于主端系統(tǒng)的第三方備份數(shù)據(jù)管理中心[11]。TRAP[12,13]把實(shí)時(shí)復(fù)制的更新數(shù)據(jù)塊單獨(dú)保存在 CDP數(shù)據(jù)盤中,實(shí)現(xiàn)持續(xù)數(shù)據(jù)保護(hù)。但是TRAP在檢索目標(biāo)版本數(shù)據(jù)時(shí)通過按序掃描版本序列,檢索時(shí)間隨著版本序列長(zhǎng)度線性增長(zhǎng)。文獻(xiàn)[14]和文獻(xiàn)[15]在定長(zhǎng)的版本序列中插入全量鏡像數(shù)據(jù)或快照數(shù)據(jù),加速版本鏈的檢索過程。但是頻繁的產(chǎn)生系統(tǒng)級(jí)別的鏡像數(shù)據(jù)或全量快照數(shù)據(jù)不僅增加主端系統(tǒng)的備份負(fù)擔(dān),而且產(chǎn)生的周期備份數(shù)據(jù)與已經(jīng)存儲(chǔ)的版本序列存在版本冗余現(xiàn)象:即內(nèi)容相同的數(shù)據(jù)塊保存在多個(gè)版本中。如何利用存儲(chǔ)端存儲(chǔ)的備份數(shù)據(jù)版本序列構(gòu)建出任意歷史時(shí)間點(diǎn)的全量快照備份數(shù)據(jù),是提高細(xì)粒度多版本條件下備份系統(tǒng)效率的主要途徑。

    本文基于上述背景,提出塊備份數(shù)據(jù)多版本融合方法,通過版本序列的融合構(gòu)建出任意歷史時(shí)間點(diǎn)的全量快照備份數(shù)據(jù),避免主端系統(tǒng)頻繁產(chǎn)生快照備份數(shù)據(jù)而降低系統(tǒng)性能。在具體實(shí)現(xiàn)中,本文結(jié)合塊備份數(shù)據(jù)的分布特點(diǎn),以版本序列中邏輯地址連續(xù)的數(shù)據(jù)塊,作為版本融合單位,降低了版本融合帶來的計(jì)算負(fù)擔(dān);最后文章給出了版本融合技術(shù)在多版本備份數(shù)據(jù)管理中的應(yīng)用案例和性能分析。

    2 塊備份數(shù)據(jù)版本融合原理

    多版本塊備份數(shù)據(jù)是通過加載在主端的備份代理結(jié)合在線數(shù)據(jù)復(fù)制技術(shù)而產(chǎn)生的。塊數(shù)據(jù)復(fù)制技術(shù)本質(zhì)是復(fù)制一定時(shí)間保護(hù)粒度(T),邏輯地址空間(x)內(nèi)的變化的數(shù)據(jù),可使用寫密度函數(shù) wT(x)抽象表達(dá)二者關(guān)系,如式(1)所示。由寫密度函數(shù)產(chǎn)生的數(shù)據(jù)量(d)可以表示為式(2),其中,Length是每個(gè)邏輯地址單元對(duì)應(yīng)的數(shù)據(jù)塊長(zhǎng)度。式(3)和式(4)進(jìn)一步給出在整個(gè)邏輯地址空間和備份數(shù)據(jù)生命周期內(nèi)產(chǎn)生的備份數(shù)據(jù)總量,公式具體含義在文獻(xiàn)[16]中有詳細(xì)分析。

    其中,[0, N]表示一個(gè)邏輯卷的地址空間;[0, H]表示備份數(shù)據(jù)的生命周期,超過生命周期的備份數(shù)據(jù)直接刪除或做進(jìn)一步的歸檔處理。

    通過式(4)和式(5)可以得出,在備份數(shù)據(jù)生命周期內(nèi),備份數(shù)據(jù)量的版本序列長(zhǎng)度(M)隨著數(shù)據(jù)復(fù)制時(shí)間粒度的減小(T)而增加。

    為了進(jìn)一步描述多版本序列與主端系統(tǒng)之間的對(duì)應(yīng)關(guān)系,引入 Markov轉(zhuǎn)換過程表示。如圖 2所示,給出了在一定數(shù)據(jù)復(fù)制頻率下主端的數(shù)據(jù)狀態(tài)和備份數(shù)據(jù)版本序列之間的狀態(tài)轉(zhuǎn)換關(guān)系。其中,D表示主端的數(shù)據(jù)狀態(tài),Δ表示增量備份數(shù)據(jù)。不同版本的數(shù)據(jù)狀態(tài)使用版本號(hào)i進(jìn)行區(qū)分,Di表示版本號(hào)為i數(shù)據(jù)狀態(tài)。版本序列和數(shù)據(jù)狀態(tài)之間通過版本號(hào)進(jìn)行關(guān)聯(lián),如由數(shù)據(jù)狀態(tài)Di產(chǎn)生更新數(shù)據(jù)Δi,i+1后變化到數(shù)據(jù)狀態(tài)Di+1。

    圖2 基于Markov過程的數(shù)據(jù)狀態(tài)轉(zhuǎn)換過程

    利用Markov過程中的狀態(tài)轉(zhuǎn)換可以表示多版本條件下,數(shù)據(jù)恢復(fù)過程中目標(biāo)版本的檢索過程,比如要恢復(fù)早期數(shù)據(jù)狀態(tài),需要利用某一個(gè)版本的數(shù)據(jù)狀態(tài)點(diǎn)作為起點(diǎn),結(jié)合增量備份數(shù)據(jù)版本序列轉(zhuǎn)換到目標(biāo)版本數(shù)據(jù)狀態(tài)。傳統(tǒng)方法是通過數(shù)據(jù)備份產(chǎn)生數(shù)據(jù)狀態(tài)點(diǎn),并結(jié)合增量備份數(shù)據(jù)版本序列實(shí)現(xiàn)數(shù)據(jù)狀態(tài)轉(zhuǎn)換;一種更優(yōu)化的方法是通過把多個(gè)增量版本序列融合,利用產(chǎn)生的融合版本加快狀態(tài)之間轉(zhuǎn)換。如圖D1到D4的狀態(tài)轉(zhuǎn)換可以通過Δ1,2+Δ2,3+Δ3,4版本之間的融合,實(shí)現(xiàn)數(shù)據(jù)狀態(tài)之間的轉(zhuǎn)換。塊備份數(shù)據(jù)版本融合過程可以形式化定義為

    定義1 版本融合。設(shè) 2個(gè)相鄰版本的塊備份數(shù)據(jù) Δi={(x, d)|x∈Ni, d∈D};Δi+1={(x', d')|x'∈Ni+1, d'∈D'};其中,N表示塊數(shù)據(jù)的邏輯地址空間,D, D'表示邏輯地址空間內(nèi)的數(shù)據(jù),把Δi與Δi+1合并成一個(gè)新融合版本Δ′,構(gòu)成Δ′的數(shù)據(jù)塊集合可以表示為式(6),這一過程稱為版本融合。

    版本融合的基本思想是根據(jù)塊備份數(shù)據(jù)邏輯地址的相對(duì)關(guān)系,通過塊數(shù)據(jù)的替換產(chǎn)生新版本的備份數(shù)據(jù)。版本融合可以在相鄰的多個(gè)版本構(gòu)成的版本序列依次使用,于是得出如下引理。

    引理 1 多版本塊備份數(shù)據(jù)構(gòu)成的版本序列中,可以把版本相鄰的序列,融合成一個(gè)版本,這一過程可以通過式(7)表示。

    根據(jù)版本融合定義,容易證明上述定理,具體的證明過程不再詳述。利用定理1可以把一個(gè)增量備份數(shù)據(jù)版本序列融合為一個(gè)版本,進(jìn)而縮短版本鏈的長(zhǎng)度,加快版本鏈的檢索過程。

    3 塊備份數(shù)據(jù)版本融合算法

    文獻(xiàn)[17]中分析了磁盤數(shù)據(jù)局部訪問特性,由此產(chǎn)生的備份數(shù)據(jù)版本序列是由一系列邏輯地址相對(duì)連續(xù)的數(shù)據(jù)塊集合構(gòu)成,本文根據(jù)數(shù)據(jù)塊分布的特征提出一種變長(zhǎng)數(shù)據(jù)塊版本融合方法。在變長(zhǎng)數(shù)據(jù)塊版本融合操作中,需要根據(jù) 2個(gè)版本數(shù)據(jù)塊的相對(duì)關(guān)系進(jìn)行匹配。設(shè)新版本中,數(shù)據(jù)塊r的一個(gè)連續(xù)邏輯地址空間為[a, b], a≤b;舊版本中,數(shù)據(jù)塊R的一個(gè)連續(xù)邏輯地址空間為[A, B],A≤B;則數(shù)據(jù)塊r與R的匹配關(guān)系可以描述成如下6種情況。

    定義 2 左獨(dú)立。if(b<A),則新版本數(shù)據(jù)塊 r相對(duì)于舊版本R左獨(dú)立,如圖3中的①,簡(jiǎn)稱左獨(dú)立,記為L(zhǎng)eft-Independent。

    圖3 r和R的6種區(qū)間匹配關(guān)系

    定義 3 左重疊。if(a<A and b≥A and b≤B),則稱新版本數(shù)據(jù)塊 r相對(duì)于舊版本數(shù)據(jù)塊 R左重疊,如圖 3中的②,簡(jiǎn)稱左重疊,記為 Left-Overlapping;

    定義 4 包含。if(a>A and b<B),則稱新版本數(shù)據(jù)塊r包含于舊版本數(shù)據(jù)塊R中,如圖3中的③,簡(jiǎn)稱包含,記為Included;

    定義 5 右重疊。if(a≥A and a≤B and b>B),則稱新版本數(shù)據(jù)塊 r相對(duì)于舊版本數(shù)據(jù)塊 R右重疊,如圖 3中的④,簡(jiǎn)稱右重疊,記為Right-Overlapping;

    定義 6 右獨(dú)立。if(a>B),則稱新版本數(shù)據(jù)塊r相對(duì)于舊版本數(shù)據(jù)塊R右獨(dú)立,如圖3中的⑤,簡(jiǎn)稱右獨(dú)立,記為Right-Independent;

    定義 7 覆蓋。if(a≤A and b≥B),則稱新版本數(shù)據(jù)塊r相對(duì)于舊版本數(shù)據(jù)塊R滿足覆蓋關(guān)系,如圖3中的⑥,簡(jiǎn)稱覆蓋,記為Overlapping。

    在系統(tǒng)軟件和磁盤調(diào)度算法中通常使用起始地址加數(shù)據(jù)長(zhǎng)度記錄RAW Data的分布,但是所記錄的數(shù)據(jù)塊之間都滿足獨(dú)立的關(guān)系,如圖3中的①和⑤所示,r全部在R的左側(cè)或右側(cè)。在版本融合過程中 2個(gè)數(shù)據(jù)塊會(huì)發(fā)生重疊情況,如Left-Overlapping、Included以及 Right-Overlapping等情況,需要進(jìn)行預(yù)處理,把舊版本數(shù)據(jù)塊進(jìn)行分割,分割后的子區(qū)間滿足獨(dú)立或覆蓋的關(guān)系。數(shù)據(jù)塊區(qū)間分割方法包括如下2種方法。

    定義 8 區(qū)間疊加。在滿足Overlapping關(guān)系條件下,即r覆蓋R時(shí),R中任意一點(diǎn)在r中都有與之對(duì)應(yīng)的部分,使用r替代R的過程稱為區(qū)間疊加,記為:r+R;

    定義 9 區(qū)間分割。在區(qū)間關(guān)系左重疊,包含以及右重疊等條件下,把R進(jìn)行分割,產(chǎn)生的區(qū)間子項(xiàng) Ra、Rb、Rc,其中,r與 Ra具有 Right-Independent的區(qū)間關(guān)系;r與 Rb具有 Overlapping關(guān)系,r與Rc具有Left-Independent的區(qū)間關(guān)系,把這一過程稱為區(qū)間分割,記為:R/r。

    結(jié)合上述基本定義和描述,可以給出變長(zhǎng)數(shù)據(jù)塊版本融合基本算法描述。設(shè)每個(gè)版本內(nèi)的數(shù)據(jù)塊集合記為F。多次復(fù)制過程中產(chǎn)生的版本序列記為:{F1, F2, …, Fn},版本融合算法如下所示。

    算法1 版本融合算法:VersionMerge (Fr, FR)

    輸入:Fr, FR

    輸出:Ft

    Fr表示新版本數(shù)據(jù)塊集合;FR表示舊版本數(shù)據(jù)塊集合;Ft表示融合后的數(shù)據(jù)塊集合;假設(shè)FR, Fr集合內(nèi)的所有數(shù)據(jù)塊都是按照邏輯地址遞增的順序排列;

    VersionMerge (Fr, FR){

    1) i=1, k=1;//i為Fr內(nèi)的數(shù)據(jù)塊的標(biāo)示;k為FR內(nèi)的數(shù)據(jù)塊標(biāo)示;

    2) for(each ri∈Fr, Rk∈FR){

    3) if(Frand FR都沒有結(jié)束){

    4) switch(compare(ri, Rk);) {

    5) case Left-Independent:

    6) add rito Ft;i++;break;

    7) case Left-Overlapping or Included or Right-Overlapping:

    8) Rk/ ri→Ra,Rb,Rc;

    9) if(Ra≠NULL) add Rato Ft;

    10) if(Rb≠NULL) {

    11) ri/Rb→ra, rb, rc;

    12) if(ra≠NULL) add rato Ft;

    13) if(rb≠NULL) add rbto Ft;

    14) if(rc≠NULL) rc→ri;}

    15) if(Rc≠NULL) Rc→Rk;

    16) break;

    17) case Right-Independent:

    18) add Rkto Ft;

    19) k++;break;

    20) case Overlapping:

    21) k++;break;}}}

    22) if (Fr尚未處理結(jié)束) 把Fr沒有處理的部分直接加入到Ft中;

    23) if (FR尚未處理結(jié)束) 把FR沒有處理的部分直接加入到Ft中;

    24) return Ft;}

    算法1給出2個(gè)版本融合的具體實(shí)現(xiàn)過程,在變長(zhǎng)數(shù)據(jù)塊分割算法中, 具有重疊關(guān)系的數(shù)據(jù)塊可能會(huì)被頻繁分割處理,這部分?jǐn)?shù)據(jù)塊的長(zhǎng)度在融合版本中會(huì)逐漸趨近于磁盤寫操作的最小分配單元,如sector長(zhǎng)度。版本融合過程使用算符“⊕”表示,也稱為版本的疊加,算法1可以表示為Ft=Fr⊕ FR。

    4 版本融合在多版本備份數(shù)據(jù)管理中的應(yīng)用

    4.1 基于版本融合的快照檢索方法

    快照備份數(shù)據(jù)描述一個(gè)時(shí)間點(diǎn)的瞬時(shí)數(shù)據(jù)鏡像,對(duì)保證數(shù)據(jù)的可恢復(fù)性,加快多版本檢索過程具有重要意義。結(jié)合算法 1,在備份數(shù)據(jù)版本序列中,從目標(biāo)版本開始, 逆序融合每個(gè)版本, 直到最近的全量備份數(shù)據(jù)為止, 這一過程可以使用算法 2表示,記為SnapshotSearch (i, S)。

    算法 2在版本序列中循環(huán)利用版本融合算法,獲取時(shí)間點(diǎn)為 i的全量快照備份數(shù)據(jù), 可以使用式(8)表達(dá)這一檢索過程。

    算法2 快照融合算法: SnapshotSearch(i, S)

    i:待檢快照版本號(hào);S: 版本序列;Fi:第i個(gè)版本;FVFullSnapshot: 結(jié)果快照數(shù)據(jù)塊集合;

    輸入:i, S(1≤i≤n)

    輸出:FVFullSnapshot

    版本序列的融合操作可以在備份系統(tǒng)空閑時(shí)發(fā)起,并保存融合后的結(jié)果版本加速后期的版本檢索過程?;诎姹救诤?,可以進(jìn)一步實(shí)現(xiàn)多版本序列的刪除操作。對(duì)于超過備份數(shù)據(jù)生命周期的版本序列可以利用版本融合技術(shù),融合成一個(gè)新版本的備份數(shù)據(jù),起到版本序列刪除的作用。

    4.2 多版本差異恢復(fù)模式

    備份數(shù)據(jù)主要用于數(shù)據(jù)恢復(fù)。根據(jù)第2部分的分析,以ROW技術(shù)為代表的分離存儲(chǔ)系統(tǒng)中,數(shù)據(jù)恢復(fù)過程通常選擇距離目標(biāo)時(shí)間點(diǎn)最近的全量數(shù)據(jù)作為數(shù)據(jù)的一致性狀態(tài),然后再結(jié)合更新數(shù)據(jù)版本序列,逐次前向恢復(fù)到目標(biāo)時(shí)間點(diǎn)。在分離存儲(chǔ)的備份系統(tǒng)中,需要恢復(fù)的數(shù)據(jù)量是影響恢復(fù)效率的主要因素。利用版本融合技術(shù),結(jié)合算法2可以直接計(jì)算出版本序列中目標(biāo)時(shí)間點(diǎn)的全量快照數(shù)據(jù),結(jié)合校驗(yàn)技術(shù)可以快速判斷當(dāng)前的主端系統(tǒng)的數(shù)據(jù)狀態(tài)與歷史數(shù)據(jù)狀態(tài)實(shí)際發(fā)生變化的數(shù)據(jù),通過僅恢復(fù)變化數(shù)據(jù)提高恢復(fù)效率。這一數(shù)據(jù)恢復(fù)過程稱為多版本差異恢復(fù),記為 Diffdo,利用算法3表示。

    算法3 多版本差異恢復(fù)過程:Diffdo(T)

    T:待恢復(fù)的版本號(hào),1Tn≤≤;

    1) 存儲(chǔ)端根據(jù)算法2,計(jì)算版本號(hào)為T的全量快照數(shù)據(jù)FVFullSnapshot(T):

    FVFullSnapshot(T)=FT⊕FT-1⊕…⊕F1

    2) 存儲(chǔ)端根據(jù) FVFullSnapshot(T)計(jì)算快照數(shù)據(jù)的校驗(yàn)文件:CheckFile(T),并發(fā)送到主端;CheckFile(T)包括校驗(yàn)規(guī)則和校驗(yàn)值:

    Check(FVFullSnapshot(T)) →CheckFile(T)

    3) 主端根據(jù)CheckFile(T)計(jì)算本地磁盤當(dāng)前數(shù)據(jù)塊的校驗(yàn)值,并與 CheckFile(T)中對(duì)應(yīng)的校驗(yàn)值比對(duì),記錄校驗(yàn)不一致的數(shù)據(jù)塊對(duì)應(yīng)的邏輯地址,生成CheckErrorFile(T),并發(fā)送到存儲(chǔ)端:

    CheckFile(T)→CheckErrorFile(T)

    4) 存儲(chǔ)端根據(jù)CheckErrorFile(T)和FVFullSnapshot(T)檢索備份數(shù)據(jù),計(jì)算差異恢復(fù)索引文件DiffdoLog(T),并根據(jù)DiffdoLog(T)進(jìn)行差異數(shù)據(jù)恢復(fù):

    CheckErrorFile(T)+FVFullSnapshot(T)→DiffdoLog(T)

    Diffdo利用版本融合技術(shù),構(gòu)建版本序列中目標(biāo)時(shí)間點(diǎn)的全量快照數(shù)據(jù),可以直接與主端系統(tǒng)當(dāng)前數(shù)據(jù)狀態(tài)進(jìn)行比對(duì),只恢復(fù)實(shí)際發(fā)生變化的數(shù)據(jù)塊,通過減少恢復(fù)數(shù)據(jù)量提高恢復(fù)效率。

    5 實(shí)驗(yàn)與結(jié)果分析

    本文采用標(biāo)準(zhǔn) trace和具體備份系統(tǒng)相結(jié)合的方法展開實(shí)驗(yàn)分析。首先利用HP cello99 trace分析在持續(xù)數(shù)據(jù)保護(hù)背景下使用版本融合技術(shù)和定期產(chǎn)生快照備份數(shù)據(jù) 2種技術(shù)產(chǎn)生的備份數(shù)據(jù)量比較。然后結(jié)合具體系統(tǒng),給出版本融合技術(shù)在多版本備份數(shù)據(jù)管理中的效率分析。

    5.1 版本融合后產(chǎn)生的數(shù)據(jù)量分析

    Cello99 trace是HP實(shí)驗(yàn)室記錄UNIX服務(wù)器全年的磁盤I/O trace。實(shí)驗(yàn)中選取cello99-03-03的I/O trace進(jìn)行分析。本文回放連續(xù)24h的磁盤I/O操作,分析2種技術(shù)產(chǎn)生的備份數(shù)據(jù)量關(guān)系。圖4中給出了實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)中選取每次寫操作作為一個(gè)版本,快照周期選取版本序列長(zhǎng)度為:40、80、120、160、200產(chǎn)生快照備份數(shù)據(jù)。實(shí)驗(yàn)結(jié)束時(shí),使用版本融合技術(shù)比周期快照技術(shù)少產(chǎn)生備份數(shù)據(jù)量43.4%左右。實(shí)驗(yàn)中進(jìn)一步發(fā)現(xiàn)隨著快照周期內(nèi)版本序列長(zhǎng)度的增加產(chǎn)生的快照備份數(shù)據(jù)量會(huì)有所減少,這一現(xiàn)象主要是由于磁盤具有寫局部性造成的,一個(gè)快照周期內(nèi)邏輯地址相同的數(shù)據(jù)塊會(huì)發(fā)生重復(fù)寫操作,如果能夠統(tǒng)計(jì)重復(fù)寫的比率,進(jìn)而控制融合版本序列的長(zhǎng)度,會(huì)進(jìn)一步提高版本融合的效率。

    圖4 版本融合技術(shù)產(chǎn)生的備份數(shù)據(jù)量比較

    5.2 變長(zhǎng)數(shù)據(jù)塊索引技術(shù)效率分析

    本文進(jìn)一步通過實(shí)際的數(shù)據(jù)備份恢復(fù)系統(tǒng)分析版本融合具體的性能。備份系統(tǒng)中主端選取 XP操作系統(tǒng)的PC機(jī),具體配置為Intel(R) Core(TM)2 CPU 1.8GHz/1.79GHz, 1GB內(nèi)存,NTFS文件系統(tǒng),目標(biāo)邏輯卷為20GB。存儲(chǔ)端由4臺(tái)存儲(chǔ)服務(wù)器構(gòu)成的存儲(chǔ)集群,具體配置為Inter(R) Core(TM)2 Duo CPU2.2GHz/2.19GHz,1GB 內(nèi)存;Realtek 100M(2);Inter(R) Core(TM)2 Duo CPU 2.2GHz/2.19GHz,2GB內(nèi)存,Realtek 100M(2)。實(shí)驗(yàn)中利用磁盤過濾驅(qū)動(dòng)技術(shù),監(jiān)控主端目標(biāo)邏輯卷,產(chǎn)生周期性的增量備份數(shù)據(jù)。備份周期為10~30min,共產(chǎn)生50個(gè)版本的備份數(shù)據(jù)。

    圖5給出了定長(zhǎng)數(shù)據(jù)塊與變長(zhǎng)數(shù)據(jù)塊在多版本數(shù)據(jù)管理中的索引量比較。索引數(shù)據(jù)量直接與數(shù)據(jù)塊的分割方式有關(guān),版本融合技術(shù)中以邏輯地址連續(xù)的數(shù)據(jù)塊作為多版本管理單位,可以比靜態(tài)數(shù)據(jù)塊多版本管理方法減少 2~3個(gè)數(shù)量級(jí)的索引數(shù)據(jù)量,為降低版本融合計(jì)算復(fù)雜度提供基礎(chǔ)。圖6給出了利用變長(zhǎng)數(shù)據(jù)塊融合方法檢索全量快照備份數(shù)據(jù)的時(shí)間消耗。變長(zhǎng)數(shù)據(jù)塊版本融合的時(shí)間消耗明顯低于定長(zhǎng)數(shù)據(jù)塊多版本管理方法。

    圖5 索引數(shù)據(jù)量的比較

    圖6 全量快照檢索時(shí)間比較(圖中使用雙y軸,靜態(tài)分割4kB的索引技術(shù)使用左側(cè)的y軸,另外3種技術(shù)使用右側(cè)的y軸)

    5.3 數(shù)據(jù)恢復(fù)效率分析

    備份數(shù)據(jù)恢復(fù)效率通常使用RTO(recovery time objective)表示[18]。在分離存儲(chǔ)模式下,數(shù)據(jù)恢復(fù)時(shí)間消耗主要包括從發(fā)生數(shù)據(jù)丟失一直到業(yè)務(wù)重新啟動(dòng)的時(shí)間間隔,可以表示為

    T檢測(cè):表示從災(zāi)難發(fā)生到檢測(cè)到數(shù)據(jù)丟失的時(shí)間;

    T檢索:表示在存儲(chǔ)端按照一定的恢復(fù)模式, 檢索待恢復(fù)備份數(shù)據(jù)的時(shí)間;

    T傳輸:表示備份數(shù)據(jù)由存儲(chǔ)端傳輸?shù)街鞫说臄?shù)據(jù)傳輸時(shí)間;

    T重啟:表示數(shù)據(jù)成功恢復(fù)后, 重新啟動(dòng)業(yè)務(wù)的時(shí)間;

    T檢測(cè)、T重啟與具體的業(yè)務(wù)相關(guān),在本文中忽略不計(jì),于是RTO可以表示為

    T檢索與存儲(chǔ)端的備份數(shù)據(jù)組織方式有關(guān),T傳輸與待恢復(fù)的備份數(shù)據(jù)量和傳輸帶寬相關(guān),在傳輸帶寬一定的條件下,T傳輸由恢復(fù)數(shù)據(jù)量決定。為了進(jìn)一步描述T檢索和T傳輸?shù)南鄬?duì)關(guān)系,引入檢索時(shí)間占有率因子α,如式(11)所示:

    α表示在存儲(chǔ)端檢索備份數(shù)據(jù)的時(shí)間占全部數(shù)據(jù)恢復(fù)時(shí)間的比率;α主要由備份數(shù)據(jù)的索引結(jié)構(gòu)和版本序列的組織方式?jīng)Q定。α值越大表示存儲(chǔ)端的計(jì)算開銷越大。

    本文主要比較Redo,Diffdo的恢復(fù)效率,同時(shí)也測(cè)試了 COW 數(shù)據(jù)復(fù)制下通常使用的回滾恢復(fù)(Undo)效率,3種恢復(fù)方式的具體含義如下:

    Undo:是指通過回滾方式, 陸續(xù)恢復(fù)前一個(gè)版本數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)恢復(fù);

    Redo:是指首先恢復(fù)到距離目標(biāo)時(shí)間點(diǎn)最近的全量數(shù)據(jù),通過恢復(fù)全鏡像數(shù)據(jù)和更新數(shù)據(jù)版本序列實(shí)現(xiàn)數(shù)據(jù)恢復(fù);

    Diffdo:是指本文提出的基于多版本管理技術(shù)的差異恢復(fù)模式。

    圖7給出了不同恢復(fù)模式下恢復(fù)效率的比較。不同恢復(fù)模式下,需要恢復(fù)的數(shù)據(jù)量以及備份數(shù)據(jù)的檢索方式不同,導(dǎo)致α有很大的差別。實(shí)驗(yàn)中首先選取傳輸帶寬為2MB/s,在Redo恢復(fù)模式下,由于恢復(fù)的數(shù)據(jù)量大,RTO值最大。Undo恢復(fù)模式由于只恢復(fù)變化的數(shù)據(jù),恢復(fù)的數(shù)據(jù)量少,RTO值最小。Diffdo恢復(fù)的數(shù)據(jù)量與Undo相同,但是由于引入了數(shù)據(jù)校驗(yàn)過程,RTO值介于二者之間。在實(shí)驗(yàn)環(huán)境下,Diffdo模式的RTO值是Redo恢復(fù)模式的1/4到1/5左右。圖8中進(jìn)一步給出不同恢復(fù)模式下檢索時(shí)間的占有率情況分析。Redo模式下,數(shù)據(jù)傳輸時(shí)間占RTO的主要部分,α值很小,占1%左右;但是在Undo和Diffdo恢復(fù)模式下需要檢索全量快照α值較大。由于Diffdo增加了數(shù)據(jù)的校驗(yàn)過程,α值最大。根據(jù)實(shí)驗(yàn)結(jié)果可以得出,Diffdo可實(shí)現(xiàn)基于時(shí)間點(diǎn)的完整數(shù)據(jù)恢復(fù),是一種適用于低帶寬,大數(shù)據(jù)量的數(shù)據(jù)恢復(fù)場(chǎng)合。

    6 結(jié)束語(yǔ)

    在增量備份數(shù)據(jù)版本序列中利用版本融合技術(shù)可以計(jì)算出目標(biāo)版本全量快照數(shù)據(jù),避免通過備份產(chǎn)生全量快照數(shù)據(jù)。為了降低版本融合的計(jì)算負(fù)擔(dān),本文以邏輯地址連續(xù)的數(shù)據(jù)塊作為版本融合單位,可加快版本的融合過程。利用版本融合技術(shù)可以實(shí)現(xiàn)多種有現(xiàn)實(shí)意義的具體應(yīng)用,如快照檢索,多版本差異恢復(fù)等操作。但是版本融合技術(shù)是建立在所有版本數(shù)據(jù)的正確性得到保證的條件下實(shí)現(xiàn)的,否則任意一個(gè)版本數(shù)據(jù)出現(xiàn)錯(cuò)誤都會(huì)擴(kuò)散到融合版本中,為此確保備份數(shù)據(jù)的可靠性,成為進(jìn)一步研究的主要方向。

    [1] MCKNIGHT J, ASARO T, BABINEAU B. Digital Archiving:End-user Survey and Market Forecast 2006–2010[R]. The Enterprise Strategy Group, 2006.

    [2] KEETON K, SANTOS C, BEYER D. Designing for disasters[A].Proceedings of 3rd Conference on File and Storage Technologies[C].USENIX Association, 2004. 59-72.

    [3] SANTRY D S, FREELY M J, HUCHINSON N C, et al. Deciding when to forget in the elephant file system[J]. Operating Systems Review, 1999, 33(5): 110-123.

    [4] PETERSON Z, BURNS R C. Ext3cow: a time-shifting file system for regulatory compliance[J]. ACM Transactions on Storage, 2005, 1(2):190-212.

    [5] SOULES C A, GOODSON G R, STRUNK J D, et al. Metadata efficiency in versioning file systems[A]. Proceedings of the 2nd Usenix Conference on File and Storage Technologies (Fast'03)[C]. Usenix Association, 2003. 43-58.

    [6] LIU J N, YANG T M, LI Z H. TSPSCDP: a time-stamp continuous data protection approach based on pipeline strategy[A]. Japan-China Joint Workshop on Frontier of Computer Science and Technology(FCST '08)[C]. 2008. 96-102.

    [7] XIAO W J, YANG Q. Can we really recover data if storage subsystem fails?[A]. Proceedings of the 28th International Conference on Distributed Computing Systems (ICDCS 2008)[C]. Beijing: China,2008.597-604.

    [8] HITZ D, LAU D, MALCOLM M. File system design for an NFS file server appliance[A]. Proceedings of the USENIX Winter Technical Conference[C]. USENIX Association, 1994. 235-245.

    [9] PATTERSON H, MANLEY S, FEDERWISCH M. SnapMirror (R):file system based asynchronous mirroring for disaster recovery[A].Proceedings of the Conference on File and Storage Technologies(Fast'02)[C]. Usenix Association , 2002. 117-129.

    [10] FLOURIS M D, BILAS A. Clotho: transparent data versioning at the block I/O level[A]. Proceedings of the 21st IEEE Conference on Mass Storage Systems and Technologies/12th NASA Goddard Conference on Mass Storage Systems and Technologies (MSST’04)[C]. IEEE Computer Society, 2004.315-328

    [11] 楊朝紅, 宮云戰(zhàn), 桑偉前等. 基于主從異步復(fù)制技術(shù)的容災(zāi)實(shí)時(shí)系統(tǒng)研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)研究與發(fā)展, 2003, 40(7): 1104-1109.YANG Z H, GONG Y Z, SANG W Q, et al. A primary-backup lazy replication system for disaster tolerance[J]. Journal of Computer Research and Development, 2003, 40(7): 1104-1109.

    [12] YANG Q, XIAO W J, REN J. TRAP-array: a disk array architecture providing timely recovery to any point-in-time[A]. Proceedings of the 33rd Annual International Symposium on Computer Architecture(ISCA’06:)[C]. 2006. 289-300.

    [13] XIAO W J, REN J, YANG Q. A case for continuous data protection at block level in disk array storages[J]. IEEE Transactions on Parallel and Distributed Systems, 2009, 20(6): 898-911.

    [14] AGUILERA M K, KIMBERLY K, MERCHANT A, et al. Improving recoverability in multi-tier storage systems[A]. Proceedings of the 37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks(DSN '07)[C]. 2007. 677-686.

    [15] 李旭, 謝長(zhǎng)生, 楊靖. 一種改進(jìn)的塊級(jí)連續(xù)數(shù)據(jù)保護(hù)機(jī)制[J]. 計(jì)算機(jī)研究與發(fā)展, 2009, 46(5): 762-769.LI X, XIE C S, YANG J, et al. An improved block-level continuous data protection mechanism[J]. Journal of Computer Research and Development, 2009,46(5): 762-769.

    [16] 吳廣君, 云曉春, 方濱興. HCSIM: 一種長(zhǎng)期高頻Block-Level快照索引技術(shù)[J]. 計(jì)算機(jī)學(xué)報(bào), 2009, 32(10): 2080-2090.WU G J, YUN X C, FANG B X, et al. HCSIM: an indexing method for long-lived frequent block-level snapshot[J]. Chinese Journal of Computers, 2009, 32(10): 2080-2090.

    [17] RUEMMLER C, WILKES J. Unix disk access patterns[A]. Proceedings of the Winter 1993 Usenix Conference[C]. USENIX Association,1993. 405-420.

    [18] KEETON K, SANTOS C, BEYER D, et al. Designing for disasters[A].Proceedings of the 3rd USENIX Conference on File and Storage Technologies[C]. USENIX Association, 2004.59-72.

    猜你喜歡
    融合
    一次函數(shù)“四融合”
    兩個(gè)壓縮體融合為一個(gè)壓縮體的充分必要條件
    村企黨建聯(lián)建融合共贏
    融合菜
    寬窄融合便攜箱TPFS500
    寬窄融合便攜箱IPFS500
    從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
    寬窄融合便攜箱IPFS500
    《融合》
    “四心融合”架起頤養(yǎng)“幸福橋”
    女性生殖器流出的白浆| 亚洲欧美日韩另类电影网站| 人人妻人人添人人爽欧美一区卜| 69精品国产乱码久久久| 久久热精品热| 人人妻人人澡人人爽人人夜夜| 久久狼人影院| 日本av手机在线免费观看| 极品人妻少妇av视频| 亚洲精品,欧美精品| 中文字幕人妻丝袜制服| 看十八女毛片水多多多| 亚洲精华国产精华液的使用体验| 18禁观看日本| 国产精品久久久久久精品古装| 亚洲欧美清纯卡通| 午夜免费鲁丝| 人人妻人人添人人爽欧美一区卜| 中文精品一卡2卡3卡4更新| 国产成人91sexporn| 久久精品国产自在天天线| 久久热精品热| 大话2 男鬼变身卡| 国产精品一区二区在线观看99| 成人午夜精彩视频在线观看| 日韩视频在线欧美| 精品久久久噜噜| 亚洲精品一区蜜桃| 亚洲人成网站在线播| 少妇 在线观看| 2021少妇久久久久久久久久久| 免费大片18禁| 亚洲欧洲日产国产| av又黄又爽大尺度在线免费看| 日韩精品有码人妻一区| 街头女战士在线观看网站| 国产女主播在线喷水免费视频网站| 久久精品人人爽人人爽视色| 欧美日本中文国产一区发布| 伦精品一区二区三区| 秋霞伦理黄片| 秋霞伦理黄片| 两个人免费观看高清视频| 秋霞伦理黄片| 在线观看免费视频网站a站| 日本欧美视频一区| 91精品国产九色| 久久人人爽人人片av| 王馨瑶露胸无遮挡在线观看| 丰满乱子伦码专区| 亚洲欧洲国产日韩| 日本av免费视频播放| 视频在线观看一区二区三区| 国产免费福利视频在线观看| 免费av不卡在线播放| 99久久精品一区二区三区| 日韩成人伦理影院| 99国产精品免费福利视频| 亚洲丝袜综合中文字幕| 国产精品99久久久久久久久| 欧美+日韩+精品| 久久鲁丝午夜福利片| 91精品三级在线观看| 精品人妻熟女毛片av久久网站| 亚洲精品日韩av片在线观看| 波野结衣二区三区在线| 在线观看免费视频网站a站| 久久亚洲国产成人精品v| 色5月婷婷丁香| 免费黄频网站在线观看国产| 国产色爽女视频免费观看| 国产在线一区二区三区精| 精品久久久噜噜| 新久久久久国产一级毛片| 久久久欧美国产精品| 看十八女毛片水多多多| 欧美xxⅹ黑人| 亚洲精品,欧美精品| 日日撸夜夜添| 亚洲精品乱久久久久久| 久久久久久伊人网av| 国产男女内射视频| 视频中文字幕在线观看| 啦啦啦视频在线资源免费观看| 久久青草综合色| 亚洲婷婷狠狠爱综合网| 综合色丁香网| 久久人人爽av亚洲精品天堂| 九色成人免费人妻av| 亚洲欧美日韩卡通动漫| 日日摸夜夜添夜夜爱| 女性被躁到高潮视频| 水蜜桃什么品种好| 伊人久久精品亚洲午夜| 精品亚洲成a人片在线观看| 久久久a久久爽久久v久久| 久久精品国产亚洲av天美| 狠狠精品人妻久久久久久综合| 女的被弄到高潮叫床怎么办| 91精品国产九色| 婷婷色av中文字幕| 亚洲精品国产av蜜桃| 中文字幕免费在线视频6| 99久久精品一区二区三区| 国产视频内射| 久久久久久久国产电影| 亚洲精品乱码久久久v下载方式| 亚洲精品456在线播放app| 91精品国产九色| 99热这里只有精品一区| av线在线观看网站| 亚洲av成人精品一区久久| 人妻 亚洲 视频| 麻豆成人av视频| 色94色欧美一区二区| 国产av码专区亚洲av| 国产成人精品无人区| 18在线观看网站| 日韩中字成人| 欧美日韩精品成人综合77777| 五月伊人婷婷丁香| 日本wwww免费看| 日韩三级伦理在线观看| 日韩av免费高清视频| 制服人妻中文乱码| 久久99热这里只频精品6学生| 亚洲精品av麻豆狂野| 最近手机中文字幕大全| 久久久久精品性色| 日本黄色片子视频| 婷婷成人精品国产| 老熟女久久久| 国产色爽女视频免费观看| 精品久久久噜噜| 国产又色又爽无遮挡免| 成年人免费黄色播放视频| 成人免费观看视频高清| 在线天堂最新版资源| 寂寞人妻少妇视频99o| 亚洲精品自拍成人| 欧美人与性动交α欧美精品济南到 | 大片电影免费在线观看免费| 多毛熟女@视频| 校园人妻丝袜中文字幕| 国产成人a∨麻豆精品| av不卡在线播放| 狂野欧美激情性bbbbbb| 香蕉精品网在线| 亚洲人成网站在线播| 精品亚洲成a人片在线观看| 欧美变态另类bdsm刘玥| 国产精品一区二区三区四区免费观看| 国产成人精品在线电影| 91久久精品电影网| 欧美日韩成人在线一区二区| 精品一区二区免费观看| 久久久久久伊人网av| 啦啦啦在线观看免费高清www| 一级a做视频免费观看| 观看美女的网站| 亚洲高清免费不卡视频| 亚洲国产精品成人久久小说| 亚洲精品第二区| 欧美成人精品欧美一级黄| 国产精品麻豆人妻色哟哟久久| 日韩精品免费视频一区二区三区 | 久久久久久久精品精品| 午夜福利影视在线免费观看| 少妇熟女欧美另类| 亚洲精品乱码久久久v下载方式| 久久久a久久爽久久v久久| 亚洲久久久国产精品| 99精国产麻豆久久婷婷| 男女啪啪激烈高潮av片| 亚洲精品视频女| 美女主播在线视频| 爱豆传媒免费全集在线观看| 成人影院久久| 精品久久久精品久久久| 久久99热6这里只有精品| 秋霞在线观看毛片| 熟妇人妻不卡中文字幕| av视频免费观看在线观看| 女人久久www免费人成看片| 寂寞人妻少妇视频99o| 国产熟女午夜一区二区三区 | 国产 精品1| 免费黄网站久久成人精品| 大又大粗又爽又黄少妇毛片口| 日日摸夜夜添夜夜添av毛片| 国产熟女欧美一区二区| 亚洲精品视频女| 色吧在线观看| 久久ye,这里只有精品| 春色校园在线视频观看| 久久人人爽人人片av| av线在线观看网站| av视频免费观看在线观看| videosex国产| 两个人的视频大全免费| 成人国产麻豆网| 亚洲av福利一区| 人人妻人人添人人爽欧美一区卜| 一区二区三区免费毛片| a级毛片黄视频| 黄色视频在线播放观看不卡| 亚洲精品日本国产第一区| 美女视频免费永久观看网站| 日韩精品免费视频一区二区三区 | 曰老女人黄片| 老熟女久久久| 国产精品99久久久久久久久| 美女脱内裤让男人舔精品视频| 日韩一本色道免费dvd| 亚洲国产av影院在线观看| 狂野欧美激情性xxxx在线观看| 免费观看无遮挡的男女| 亚洲国产欧美日韩在线播放| 亚洲国产日韩一区二区| 边亲边吃奶的免费视频| av福利片在线| 尾随美女入室| 国产成人午夜福利电影在线观看| 国产成人精品久久久久久| 国产成人免费观看mmmm| 丝袜美足系列| 丝瓜视频免费看黄片| 久久精品人人爽人人爽视色| 国产欧美日韩综合在线一区二区| av国产精品久久久久影院| 亚洲美女搞黄在线观看| 在线天堂最新版资源| 亚洲av.av天堂| 草草在线视频免费看| 免费av不卡在线播放| 亚洲av欧美aⅴ国产| 99热国产这里只有精品6| 成人18禁高潮啪啪吃奶动态图 | 91精品国产国语对白视频| 人妻系列 视频| 亚洲第一av免费看| 成人免费观看视频高清| 免费观看a级毛片全部| 日本猛色少妇xxxxx猛交久久| 免费观看性生交大片5| 建设人人有责人人尽责人人享有的| 黑人巨大精品欧美一区二区蜜桃 | 男女无遮挡免费网站观看| 国产白丝娇喘喷水9色精品| 亚洲激情五月婷婷啪啪| 亚洲精品色激情综合| 午夜福利视频精品| 另类精品久久| 另类亚洲欧美激情| 欧美xxⅹ黑人| 99热网站在线观看| 成人漫画全彩无遮挡| 日韩 亚洲 欧美在线| 亚洲不卡免费看| 亚洲久久久国产精品| 亚洲精品久久久久久婷婷小说| 免费不卡的大黄色大毛片视频在线观看| 国产精品一区二区在线不卡| 人妻少妇偷人精品九色| 亚洲精品乱码久久久v下载方式| 国产精品人妻久久久久久| 国产男女超爽视频在线观看| 亚洲色图 男人天堂 中文字幕 | .国产精品久久| av网站免费在线观看视频| 久久人人爽人人爽人人片va| 午夜福利视频精品| 亚洲av不卡在线观看| 夜夜爽夜夜爽视频| 免费观看在线日韩| 少妇人妻 视频| 国产综合精华液| 国产视频内射| a级片在线免费高清观看视频| 国产精品久久久久久久电影| 成人国产麻豆网| 制服人妻中文乱码| 青春草国产在线视频| 日韩一区二区视频免费看| 熟女电影av网| 国产伦精品一区二区三区视频9| 18禁在线播放成人免费| 亚洲精品日本国产第一区| 丝袜喷水一区| 国产成人91sexporn| 校园人妻丝袜中文字幕| 日韩 亚洲 欧美在线| 成人综合一区亚洲| videosex国产| 亚洲国产av影院在线观看| 国精品久久久久久国模美| 晚上一个人看的免费电影| 亚洲,欧美,日韩| 久久久久久久久久久久大奶| 大码成人一级视频| 王馨瑶露胸无遮挡在线观看| 纯流量卡能插随身wifi吗| 五月开心婷婷网| 少妇丰满av| 视频中文字幕在线观看| 婷婷色av中文字幕| 一个人看视频在线观看www免费| 边亲边吃奶的免费视频| 有码 亚洲区| 在现免费观看毛片| 久久精品国产亚洲av天美| 国产在线视频一区二区| 精品久久久久久久久亚洲| 91久久精品国产一区二区成人| 99热这里只有是精品在线观看| 一区二区日韩欧美中文字幕 | 久久久久久久国产电影| 麻豆成人av视频| 哪个播放器可以免费观看大片| 视频区图区小说| 激情五月婷婷亚洲| 简卡轻食公司| 欧美97在线视频| 22中文网久久字幕| 一本色道久久久久久精品综合| 美女福利国产在线| av黄色大香蕉| 国产成人精品在线电影| 亚洲综合色惰| 国模一区二区三区四区视频| 内地一区二区视频在线| 黄色一级大片看看| 最黄视频免费看| 黄片播放在线免费| 中文字幕免费在线视频6| 亚洲中文av在线| 色婷婷av一区二区三区视频| 99久久精品国产国产毛片| 国产亚洲av片在线观看秒播厂| 女人久久www免费人成看片| 色婷婷av一区二区三区视频| 一级毛片我不卡| 在线观看一区二区三区激情| 成人毛片60女人毛片免费| 国产精品欧美亚洲77777| 国产乱来视频区| 99国产精品免费福利视频| 国产极品粉嫩免费观看在线 | 国产乱来视频区| 99国产精品免费福利视频| 一区二区av电影网| 国内精品宾馆在线| 国产成人精品一,二区| 免费观看在线日韩| 自拍欧美九色日韩亚洲蝌蚪91| 99久国产av精品国产电影| 午夜免费观看性视频| 国产黄频视频在线观看| 日本av手机在线免费观看| 国产欧美日韩一区二区三区在线 | 男女高潮啪啪啪动态图| 热re99久久精品国产66热6| 国产精品一区二区三区四区免费观看| 少妇丰满av| 最近中文字幕高清免费大全6| 美女视频免费永久观看网站| 国产白丝娇喘喷水9色精品| 日韩伦理黄色片| 能在线免费看毛片的网站| 日本欧美视频一区| 亚洲精品视频女| 视频中文字幕在线观看| 九九爱精品视频在线观看| 伦理电影大哥的女人| 精品久久久久久电影网| 中文乱码字字幕精品一区二区三区| 久久久久久久亚洲中文字幕| 纵有疾风起免费观看全集完整版| 欧美少妇被猛烈插入视频| 国产无遮挡羞羞视频在线观看| 伊人久久精品亚洲午夜| 日韩精品有码人妻一区| 99久久综合免费| 久久狼人影院| 91aial.com中文字幕在线观看| 中文字幕av电影在线播放| 丝袜喷水一区| 超色免费av| 卡戴珊不雅视频在线播放| 午夜福利视频在线观看免费| 国产免费一级a男人的天堂| 欧美国产精品一级二级三级| 国产精品蜜桃在线观看| 高清午夜精品一区二区三区| 午夜久久久在线观看| 秋霞在线观看毛片| 女性生殖器流出的白浆| 亚洲精品色激情综合| 丰满饥渴人妻一区二区三| 伦理电影大哥的女人| 日韩制服骚丝袜av| 国产老妇伦熟女老妇高清| a级片在线免费高清观看视频| 午夜av观看不卡| 午夜福利影视在线免费观看| 人妻 亚洲 视频| 国产一区二区在线观看日韩| 性色avwww在线观看| 精品一品国产午夜福利视频| 哪个播放器可以免费观看大片| 亚洲婷婷狠狠爱综合网| 大又大粗又爽又黄少妇毛片口| 亚洲精品乱码久久久久久按摩| 在线观看美女被高潮喷水网站| 18禁观看日本| 边亲边吃奶的免费视频| 国产精品女同一区二区软件| 国产爽快片一区二区三区| 亚洲欧美一区二区三区黑人 | 久久久国产欧美日韩av| 久久久久久久久久久久大奶| 一区二区三区四区激情视频| 精品一区二区三卡| 国产熟女午夜一区二区三区 | videosex国产| 在线观看三级黄色| 国产一级毛片在线| 亚洲欧美精品自产自拍| 欧美日韩视频高清一区二区三区二| 啦啦啦啦在线视频资源| 久久久久国产网址| 国产男人的电影天堂91| 最近的中文字幕免费完整| 日韩熟女老妇一区二区性免费视频| av免费在线看不卡| 国产亚洲一区二区精品| 插逼视频在线观看| 欧美少妇被猛烈插入视频| 国产欧美日韩一区二区三区在线 | 中文字幕av电影在线播放| 精品久久久噜噜| 午夜日本视频在线| 日韩欧美精品免费久久| 精品人妻在线不人妻| 26uuu在线亚洲综合色| 简卡轻食公司| 国产一区二区三区综合在线观看 | 搡女人真爽免费视频火全软件| 99久国产av精品国产电影| 亚洲国产日韩一区二区| 国产成人精品婷婷| 狠狠精品人妻久久久久久综合| 人妻夜夜爽99麻豆av| 亚洲色图综合在线观看| 亚洲丝袜综合中文字幕| 亚洲美女视频黄频| 秋霞在线观看毛片| 在线观看一区二区三区激情| 91aial.com中文字幕在线观看| av国产久精品久网站免费入址| 成年女人在线观看亚洲视频| 大话2 男鬼变身卡| 久久人人爽av亚洲精品天堂| 国产深夜福利视频在线观看| 汤姆久久久久久久影院中文字幕| 久久韩国三级中文字幕| 成年女人在线观看亚洲视频| 精品国产一区二区久久| 狂野欧美白嫩少妇大欣赏| 成人亚洲精品一区在线观看| 久久午夜综合久久蜜桃| 精品亚洲乱码少妇综合久久| 2022亚洲国产成人精品| 久久国内精品自在自线图片| 国产不卡av网站在线观看| 中国三级夫妇交换| 久热久热在线精品观看| 亚洲av日韩在线播放| 丝袜美足系列| 尾随美女入室| 一本色道久久久久久精品综合| 99热这里只有是精品在线观看| 欧美日韩综合久久久久久| 国产精品一区二区在线不卡| 中文字幕久久专区| 亚洲怡红院男人天堂| 韩国高清视频一区二区三区| 高清黄色对白视频在线免费看| 黄色怎么调成土黄色| 亚洲第一av免费看| 亚洲综合色惰| a级毛色黄片| 国产成人精品久久久久久| 国产成人a∨麻豆精品| 亚洲,欧美,日韩| 国产男人的电影天堂91| 晚上一个人看的免费电影| 18在线观看网站| 五月天丁香电影| 国产高清不卡午夜福利| 在线观看国产h片| 少妇精品久久久久久久| 日韩伦理黄色片| 青春草国产在线视频| 永久免费av网站大全| 一级毛片我不卡| 人妻制服诱惑在线中文字幕| 免费久久久久久久精品成人欧美视频 | 永久网站在线| 久久97久久精品| 国产精品人妻久久久久久| 国产精品国产三级国产av玫瑰| 超碰97精品在线观看| 天天操日日干夜夜撸| 美女cb高潮喷水在线观看| 亚洲精品美女久久av网站| 伦理电影免费视频| h视频一区二区三区| 18禁裸乳无遮挡动漫免费视频| 欧美 日韩 精品 国产| 免费人妻精品一区二区三区视频| 免费观看的影片在线观看| www.av在线官网国产| 黑人欧美特级aaaaaa片| 考比视频在线观看| 久久久国产一区二区| 极品少妇高潮喷水抽搐| 亚洲av成人精品一二三区| 亚洲av综合色区一区| 男女啪啪激烈高潮av片| 免费观看的影片在线观看| 不卡视频在线观看欧美| 国产精品欧美亚洲77777| 又黄又爽又刺激的免费视频.| 欧美日韩精品成人综合77777| 欧美精品亚洲一区二区| 国产成人精品无人区| 午夜福利影视在线免费观看| 久久久久久久久久久免费av| 中文字幕av电影在线播放| 精品少妇黑人巨大在线播放| 精品一区在线观看国产| 亚洲精品久久成人aⅴ小说 | 黄片播放在线免费| 午夜免费男女啪啪视频观看| 免费久久久久久久精品成人欧美视频 | 汤姆久久久久久久影院中文字幕| av不卡在线播放| 午夜福利在线观看免费完整高清在| 午夜福利影视在线免费观看| 亚洲国产精品一区二区三区在线| 国产精品久久久久成人av| 精品国产露脸久久av麻豆| 最后的刺客免费高清国语| 欧美最新免费一区二区三区| 观看美女的网站| 亚洲欧美成人精品一区二区| 男女高潮啪啪啪动态图| 日韩欧美一区视频在线观看| 精品午夜福利在线看| av在线app专区| 一级毛片 在线播放| 涩涩av久久男人的天堂| 国产成人免费观看mmmm| 丝瓜视频免费看黄片| 最新中文字幕久久久久| 国产无遮挡羞羞视频在线观看| 日韩一本色道免费dvd| 一本一本综合久久| 国产成人精品久久久久久| 2021少妇久久久久久久久久久| 亚洲av二区三区四区| 亚洲色图综合在线观看| 亚洲精品美女久久av网站| 人人妻人人添人人爽欧美一区卜| 热99久久久久精品小说推荐| 日韩强制内射视频| 久久婷婷青草| 有码 亚洲区| 天天影视国产精品| 国产男人的电影天堂91| 亚洲少妇的诱惑av| 一本色道久久久久久精品综合| 日日啪夜夜爽| 我的女老师完整版在线观看| 18禁观看日本| 又大又黄又爽视频免费| 国产爽快片一区二区三区| 亚洲美女视频黄频| 97在线人人人人妻| 亚洲一级一片aⅴ在线观看| 亚洲精品一区蜜桃| 亚洲一级一片aⅴ在线观看| 在线亚洲精品国产二区图片欧美 | 人妻少妇偷人精品九色| 成人毛片60女人毛片免费| a级毛片黄视频| 永久免费av网站大全| 欧美日韩av久久| 日韩av不卡免费在线播放| 99热全是精品| 如日韩欧美国产精品一区二区三区 | 国产成人a∨麻豆精品| 亚洲成色77777| 大香蕉97超碰在线| 亚洲欧美精品自产自拍| 亚洲欧美中文字幕日韩二区| 亚洲精品久久久久久婷婷小说| 九色亚洲精品在线播放| 这个男人来自地球电影免费观看 | 午夜福利,免费看| 久久影院123| 欧美人与善性xxx| 青春草亚洲视频在线观看| 欧美激情国产日韩精品一区|