• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    塊備份數(shù)據(jù)多版本融合方法

    2011-08-10 01:51:16王樹鵬吳廣君吳志剛云曉春
    通信學(xué)報(bào) 2011年12期
    關(guān)鍵詞:融合

    王樹鵬,吳廣君,吳志剛,云曉春

    (1.中國科學(xué)院 計(jì)算技術(shù)研究所,北京 100190;2. 災(zāi)備技術(shù)國家工程實(shí)驗(yàn)室,北京 100876;3. 北京郵電大學(xué) 網(wǎng)絡(luò)技術(shù)研究院,北京 100876)

    1 引言

    各種災(zāi)難事件、突發(fā)事件通常會(huì)引起數(shù)據(jù)的丟失或者不可訪問,為企業(yè)、部門甚至個(gè)人都會(huì)帶來巨大的經(jīng)濟(jì)損失[1,2]。國標(biāo)GB/T 20988-2007《信息安全技術(shù) 信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》中將災(zāi)難定義為:由于人為或自然等原因,造成信息系統(tǒng)運(yùn)行嚴(yán)重故障或癱瘓,使信息系統(tǒng)支持的業(yè)務(wù)功能停頓或服務(wù)水平不可接受。根據(jù)上述標(biāo)準(zhǔn),典型的災(zāi)難事件包括自然災(zāi)害,如火災(zāi)、洪水、地震、颶風(fēng)等;人為錯(cuò)誤,如管理員誤操作、病毒攻擊等。數(shù)據(jù)的備份和恢復(fù)技術(shù)便成為數(shù)據(jù)安保,恢復(fù)癱瘓系統(tǒng)的最后一道防線。

    多版本塊數(shù)據(jù)備份技術(shù)通常在邏輯卷層次或磁盤驅(qū)動(dòng)器層次實(shí)現(xiàn)與應(yīng)用無關(guān)的數(shù)據(jù)復(fù)制,支持任意歷史版本的數(shù)據(jù)恢復(fù)。常見的備份技術(shù)如圖 1所示,隨著數(shù)據(jù)復(fù)制時(shí)間粒度的提高,數(shù)據(jù)保護(hù)性能會(huì)越好。目前通常使用在線數(shù)據(jù)復(fù)制技術(shù)支持細(xì)粒度多版本數(shù)據(jù)的備份與恢復(fù)。在線數(shù)據(jù)復(fù)制技術(shù)主要包括以COW(copy-on-write)技術(shù)為代表的寫時(shí)舊版本數(shù)據(jù)復(fù)制技術(shù)和 ROW (redirect-on-write)技術(shù)為代表的寫時(shí)新版本數(shù)據(jù)復(fù)制技術(shù)。COW 技術(shù)在發(fā)生寫操作時(shí)首先復(fù)制出舊版本數(shù)據(jù),按序存儲(chǔ)各個(gè)歷史版本序列。在數(shù)據(jù)恢復(fù)時(shí)從當(dāng)前時(shí)間點(diǎn)開始依次恢復(fù)之前版本的備份數(shù)據(jù),實(shí)現(xiàn)歷史狀態(tài)的回滾。這類技術(shù)廣泛存在于多版本文件系統(tǒng)中,如Elephant[3], Ext3cow[4],CVFS[5]等。但是COW技術(shù)具有如下2個(gè)缺點(diǎn)。1) COW具有明顯的寫延遲。COW 技術(shù)需要把原始系統(tǒng)中的一次寫操作變?yōu)樽x舊數(shù)據(jù),存儲(chǔ)舊數(shù)據(jù),最后執(zhí)行寫入的3次操作。盡管舊版本數(shù)據(jù)的轉(zhuǎn)存,新版本數(shù)據(jù)的寫入可以并發(fā)執(zhí)行[6],但是仍然具有明顯的延遲。2) COW無法實(shí)現(xiàn)系統(tǒng)級(jí)別的全量恢復(fù),僅能恢復(fù)由于誤操作導(dǎo)致的局部數(shù)據(jù)污染[7]。ROW技術(shù)直接復(fù)制寫數(shù)據(jù)流或數(shù)據(jù)塊,寫入到新分配的存儲(chǔ)空間。ROW技術(shù)可以應(yīng)用在數(shù)據(jù)復(fù)制頻率較高的場(chǎng)合,如CDP(continuous data protection)等。結(jié)合快照備份數(shù)據(jù),ROW技術(shù)可以實(shí)現(xiàn)系統(tǒng)級(jí)別的全量恢復(fù),但是隨著數(shù)據(jù)復(fù)制頻率的增加和數(shù)據(jù)保存時(shí)間的延長(zhǎng),備份數(shù)據(jù)版本數(shù)目會(huì)不斷增長(zhǎng),形成版本之間相互依賴的版本鏈條,使得數(shù)據(jù)管理越來越復(fù)雜,直接影響著數(shù)據(jù)的可恢復(fù)性和恢復(fù)效率。

    圖1 數(shù)據(jù)保護(hù)技術(shù)的分類

    文獻(xiàn)[8~10]中通過專用系統(tǒng)或硬件實(shí)現(xiàn)增量備份數(shù)據(jù)版本序列的管理,但是無法管理分離存儲(chǔ)的備份數(shù)據(jù)。為了提高備份數(shù)據(jù)管理效率,降低數(shù)據(jù)備份恢復(fù)成本,目前迫切需要建立獨(dú)立于主端系統(tǒng)的第三方備份數(shù)據(jù)管理中心[11]。TRAP[12,13]把實(shí)時(shí)復(fù)制的更新數(shù)據(jù)塊單獨(dú)保存在 CDP數(shù)據(jù)盤中,實(shí)現(xiàn)持續(xù)數(shù)據(jù)保護(hù)。但是TRAP在檢索目標(biāo)版本數(shù)據(jù)時(shí)通過按序掃描版本序列,檢索時(shí)間隨著版本序列長(zhǎng)度線性增長(zhǎng)。文獻(xiàn)[14]和文獻(xiàn)[15]在定長(zhǎng)的版本序列中插入全量鏡像數(shù)據(jù)或快照數(shù)據(jù),加速版本鏈的檢索過程。但是頻繁的產(chǎn)生系統(tǒng)級(jí)別的鏡像數(shù)據(jù)或全量快照數(shù)據(jù)不僅增加主端系統(tǒng)的備份負(fù)擔(dān),而且產(chǎn)生的周期備份數(shù)據(jù)與已經(jīng)存儲(chǔ)的版本序列存在版本冗余現(xiàn)象:即內(nèi)容相同的數(shù)據(jù)塊保存在多個(gè)版本中。如何利用存儲(chǔ)端存儲(chǔ)的備份數(shù)據(jù)版本序列構(gòu)建出任意歷史時(shí)間點(diǎn)的全量快照備份數(shù)據(jù),是提高細(xì)粒度多版本條件下備份系統(tǒng)效率的主要途徑。

    本文基于上述背景,提出塊備份數(shù)據(jù)多版本融合方法,通過版本序列的融合構(gòu)建出任意歷史時(shí)間點(diǎn)的全量快照備份數(shù)據(jù),避免主端系統(tǒng)頻繁產(chǎn)生快照備份數(shù)據(jù)而降低系統(tǒng)性能。在具體實(shí)現(xiàn)中,本文結(jié)合塊備份數(shù)據(jù)的分布特點(diǎn),以版本序列中邏輯地址連續(xù)的數(shù)據(jù)塊,作為版本融合單位,降低了版本融合帶來的計(jì)算負(fù)擔(dān);最后文章給出了版本融合技術(shù)在多版本備份數(shù)據(jù)管理中的應(yīng)用案例和性能分析。

    2 塊備份數(shù)據(jù)版本融合原理

    多版本塊備份數(shù)據(jù)是通過加載在主端的備份代理結(jié)合在線數(shù)據(jù)復(fù)制技術(shù)而產(chǎn)生的。塊數(shù)據(jù)復(fù)制技術(shù)本質(zhì)是復(fù)制一定時(shí)間保護(hù)粒度(T),邏輯地址空間(x)內(nèi)的變化的數(shù)據(jù),可使用寫密度函數(shù) wT(x)抽象表達(dá)二者關(guān)系,如式(1)所示。由寫密度函數(shù)產(chǎn)生的數(shù)據(jù)量(d)可以表示為式(2),其中,Length是每個(gè)邏輯地址單元對(duì)應(yīng)的數(shù)據(jù)塊長(zhǎng)度。式(3)和式(4)進(jìn)一步給出在整個(gè)邏輯地址空間和備份數(shù)據(jù)生命周期內(nèi)產(chǎn)生的備份數(shù)據(jù)總量,公式具體含義在文獻(xiàn)[16]中有詳細(xì)分析。

    其中,[0, N]表示一個(gè)邏輯卷的地址空間;[0, H]表示備份數(shù)據(jù)的生命周期,超過生命周期的備份數(shù)據(jù)直接刪除或做進(jìn)一步的歸檔處理。

    通過式(4)和式(5)可以得出,在備份數(shù)據(jù)生命周期內(nèi),備份數(shù)據(jù)量的版本序列長(zhǎng)度(M)隨著數(shù)據(jù)復(fù)制時(shí)間粒度的減小(T)而增加。

    為了進(jìn)一步描述多版本序列與主端系統(tǒng)之間的對(duì)應(yīng)關(guān)系,引入 Markov轉(zhuǎn)換過程表示。如圖 2所示,給出了在一定數(shù)據(jù)復(fù)制頻率下主端的數(shù)據(jù)狀態(tài)和備份數(shù)據(jù)版本序列之間的狀態(tài)轉(zhuǎn)換關(guān)系。其中,D表示主端的數(shù)據(jù)狀態(tài),Δ表示增量備份數(shù)據(jù)。不同版本的數(shù)據(jù)狀態(tài)使用版本號(hào)i進(jìn)行區(qū)分,Di表示版本號(hào)為i數(shù)據(jù)狀態(tài)。版本序列和數(shù)據(jù)狀態(tài)之間通過版本號(hào)進(jìn)行關(guān)聯(lián),如由數(shù)據(jù)狀態(tài)Di產(chǎn)生更新數(shù)據(jù)Δi,i+1后變化到數(shù)據(jù)狀態(tài)Di+1。

    圖2 基于Markov過程的數(shù)據(jù)狀態(tài)轉(zhuǎn)換過程

    利用Markov過程中的狀態(tài)轉(zhuǎn)換可以表示多版本條件下,數(shù)據(jù)恢復(fù)過程中目標(biāo)版本的檢索過程,比如要恢復(fù)早期數(shù)據(jù)狀態(tài),需要利用某一個(gè)版本的數(shù)據(jù)狀態(tài)點(diǎn)作為起點(diǎn),結(jié)合增量備份數(shù)據(jù)版本序列轉(zhuǎn)換到目標(biāo)版本數(shù)據(jù)狀態(tài)。傳統(tǒng)方法是通過數(shù)據(jù)備份產(chǎn)生數(shù)據(jù)狀態(tài)點(diǎn),并結(jié)合增量備份數(shù)據(jù)版本序列實(shí)現(xiàn)數(shù)據(jù)狀態(tài)轉(zhuǎn)換;一種更優(yōu)化的方法是通過把多個(gè)增量版本序列融合,利用產(chǎn)生的融合版本加快狀態(tài)之間轉(zhuǎn)換。如圖D1到D4的狀態(tài)轉(zhuǎn)換可以通過Δ1,2+Δ2,3+Δ3,4版本之間的融合,實(shí)現(xiàn)數(shù)據(jù)狀態(tài)之間的轉(zhuǎn)換。塊備份數(shù)據(jù)版本融合過程可以形式化定義為

    定義1 版本融合。設(shè) 2個(gè)相鄰版本的塊備份數(shù)據(jù) Δi={(x, d)|x∈Ni, d∈D};Δi+1={(x', d')|x'∈Ni+1, d'∈D'};其中,N表示塊數(shù)據(jù)的邏輯地址空間,D, D'表示邏輯地址空間內(nèi)的數(shù)據(jù),把Δi與Δi+1合并成一個(gè)新融合版本Δ′,構(gòu)成Δ′的數(shù)據(jù)塊集合可以表示為式(6),這一過程稱為版本融合。

    版本融合的基本思想是根據(jù)塊備份數(shù)據(jù)邏輯地址的相對(duì)關(guān)系,通過塊數(shù)據(jù)的替換產(chǎn)生新版本的備份數(shù)據(jù)。版本融合可以在相鄰的多個(gè)版本構(gòu)成的版本序列依次使用,于是得出如下引理。

    引理 1 多版本塊備份數(shù)據(jù)構(gòu)成的版本序列中,可以把版本相鄰的序列,融合成一個(gè)版本,這一過程可以通過式(7)表示。

    根據(jù)版本融合定義,容易證明上述定理,具體的證明過程不再詳述。利用定理1可以把一個(gè)增量備份數(shù)據(jù)版本序列融合為一個(gè)版本,進(jìn)而縮短版本鏈的長(zhǎng)度,加快版本鏈的檢索過程。

    3 塊備份數(shù)據(jù)版本融合算法

    文獻(xiàn)[17]中分析了磁盤數(shù)據(jù)局部訪問特性,由此產(chǎn)生的備份數(shù)據(jù)版本序列是由一系列邏輯地址相對(duì)連續(xù)的數(shù)據(jù)塊集合構(gòu)成,本文根據(jù)數(shù)據(jù)塊分布的特征提出一種變長(zhǎng)數(shù)據(jù)塊版本融合方法。在變長(zhǎng)數(shù)據(jù)塊版本融合操作中,需要根據(jù) 2個(gè)版本數(shù)據(jù)塊的相對(duì)關(guān)系進(jìn)行匹配。設(shè)新版本中,數(shù)據(jù)塊r的一個(gè)連續(xù)邏輯地址空間為[a, b], a≤b;舊版本中,數(shù)據(jù)塊R的一個(gè)連續(xù)邏輯地址空間為[A, B],A≤B;則數(shù)據(jù)塊r與R的匹配關(guān)系可以描述成如下6種情況。

    定義 2 左獨(dú)立。if(b<A),則新版本數(shù)據(jù)塊 r相對(duì)于舊版本R左獨(dú)立,如圖3中的①,簡(jiǎn)稱左獨(dú)立,記為L(zhǎng)eft-Independent。

    圖3 r和R的6種區(qū)間匹配關(guān)系

    定義 3 左重疊。if(a<A and b≥A and b≤B),則稱新版本數(shù)據(jù)塊 r相對(duì)于舊版本數(shù)據(jù)塊 R左重疊,如圖 3中的②,簡(jiǎn)稱左重疊,記為 Left-Overlapping;

    定義 4 包含。if(a>A and b<B),則稱新版本數(shù)據(jù)塊r包含于舊版本數(shù)據(jù)塊R中,如圖3中的③,簡(jiǎn)稱包含,記為Included;

    定義 5 右重疊。if(a≥A and a≤B and b>B),則稱新版本數(shù)據(jù)塊 r相對(duì)于舊版本數(shù)據(jù)塊 R右重疊,如圖 3中的④,簡(jiǎn)稱右重疊,記為Right-Overlapping;

    定義 6 右獨(dú)立。if(a>B),則稱新版本數(shù)據(jù)塊r相對(duì)于舊版本數(shù)據(jù)塊R右獨(dú)立,如圖3中的⑤,簡(jiǎn)稱右獨(dú)立,記為Right-Independent;

    定義 7 覆蓋。if(a≤A and b≥B),則稱新版本數(shù)據(jù)塊r相對(duì)于舊版本數(shù)據(jù)塊R滿足覆蓋關(guān)系,如圖3中的⑥,簡(jiǎn)稱覆蓋,記為Overlapping。

    在系統(tǒng)軟件和磁盤調(diào)度算法中通常使用起始地址加數(shù)據(jù)長(zhǎng)度記錄RAW Data的分布,但是所記錄的數(shù)據(jù)塊之間都滿足獨(dú)立的關(guān)系,如圖3中的①和⑤所示,r全部在R的左側(cè)或右側(cè)。在版本融合過程中 2個(gè)數(shù)據(jù)塊會(huì)發(fā)生重疊情況,如Left-Overlapping、Included以及 Right-Overlapping等情況,需要進(jìn)行預(yù)處理,把舊版本數(shù)據(jù)塊進(jìn)行分割,分割后的子區(qū)間滿足獨(dú)立或覆蓋的關(guān)系。數(shù)據(jù)塊區(qū)間分割方法包括如下2種方法。

    定義 8 區(qū)間疊加。在滿足Overlapping關(guān)系條件下,即r覆蓋R時(shí),R中任意一點(diǎn)在r中都有與之對(duì)應(yīng)的部分,使用r替代R的過程稱為區(qū)間疊加,記為:r+R;

    定義 9 區(qū)間分割。在區(qū)間關(guān)系左重疊,包含以及右重疊等條件下,把R進(jìn)行分割,產(chǎn)生的區(qū)間子項(xiàng) Ra、Rb、Rc,其中,r與 Ra具有 Right-Independent的區(qū)間關(guān)系;r與 Rb具有 Overlapping關(guān)系,r與Rc具有Left-Independent的區(qū)間關(guān)系,把這一過程稱為區(qū)間分割,記為:R/r。

    結(jié)合上述基本定義和描述,可以給出變長(zhǎng)數(shù)據(jù)塊版本融合基本算法描述。設(shè)每個(gè)版本內(nèi)的數(shù)據(jù)塊集合記為F。多次復(fù)制過程中產(chǎn)生的版本序列記為:{F1, F2, …, Fn},版本融合算法如下所示。

    算法1 版本融合算法:VersionMerge (Fr, FR)

    輸入:Fr, FR

    輸出:Ft

    Fr表示新版本數(shù)據(jù)塊集合;FR表示舊版本數(shù)據(jù)塊集合;Ft表示融合后的數(shù)據(jù)塊集合;假設(shè)FR, Fr集合內(nèi)的所有數(shù)據(jù)塊都是按照邏輯地址遞增的順序排列;

    VersionMerge (Fr, FR){

    1) i=1, k=1;//i為Fr內(nèi)的數(shù)據(jù)塊的標(biāo)示;k為FR內(nèi)的數(shù)據(jù)塊標(biāo)示;

    2) for(each ri∈Fr, Rk∈FR){

    3) if(Frand FR都沒有結(jié)束){

    4) switch(compare(ri, Rk);) {

    5) case Left-Independent:

    6) add rito Ft;i++;break;

    7) case Left-Overlapping or Included or Right-Overlapping:

    8) Rk/ ri→Ra,Rb,Rc;

    9) if(Ra≠NULL) add Rato Ft;

    10) if(Rb≠NULL) {

    11) ri/Rb→ra, rb, rc;

    12) if(ra≠NULL) add rato Ft;

    13) if(rb≠NULL) add rbto Ft;

    14) if(rc≠NULL) rc→ri;}

    15) if(Rc≠NULL) Rc→Rk;

    16) break;

    17) case Right-Independent:

    18) add Rkto Ft;

    19) k++;break;

    20) case Overlapping:

    21) k++;break;}}}

    22) if (Fr尚未處理結(jié)束) 把Fr沒有處理的部分直接加入到Ft中;

    23) if (FR尚未處理結(jié)束) 把FR沒有處理的部分直接加入到Ft中;

    24) return Ft;}

    算法1給出2個(gè)版本融合的具體實(shí)現(xiàn)過程,在變長(zhǎng)數(shù)據(jù)塊分割算法中, 具有重疊關(guān)系的數(shù)據(jù)塊可能會(huì)被頻繁分割處理,這部分?jǐn)?shù)據(jù)塊的長(zhǎng)度在融合版本中會(huì)逐漸趨近于磁盤寫操作的最小分配單元,如sector長(zhǎng)度。版本融合過程使用算符“⊕”表示,也稱為版本的疊加,算法1可以表示為Ft=Fr⊕ FR。

    4 版本融合在多版本備份數(shù)據(jù)管理中的應(yīng)用

    4.1 基于版本融合的快照檢索方法

    快照備份數(shù)據(jù)描述一個(gè)時(shí)間點(diǎn)的瞬時(shí)數(shù)據(jù)鏡像,對(duì)保證數(shù)據(jù)的可恢復(fù)性,加快多版本檢索過程具有重要意義。結(jié)合算法 1,在備份數(shù)據(jù)版本序列中,從目標(biāo)版本開始, 逆序融合每個(gè)版本, 直到最近的全量備份數(shù)據(jù)為止, 這一過程可以使用算法 2表示,記為SnapshotSearch (i, S)。

    算法 2在版本序列中循環(huán)利用版本融合算法,獲取時(shí)間點(diǎn)為 i的全量快照備份數(shù)據(jù), 可以使用式(8)表達(dá)這一檢索過程。

    算法2 快照融合算法: SnapshotSearch(i, S)

    i:待檢快照版本號(hào);S: 版本序列;Fi:第i個(gè)版本;FVFullSnapshot: 結(jié)果快照數(shù)據(jù)塊集合;

    輸入:i, S(1≤i≤n)

    輸出:FVFullSnapshot

    版本序列的融合操作可以在備份系統(tǒng)空閑時(shí)發(fā)起,并保存融合后的結(jié)果版本加速后期的版本檢索過程。基于版本融合,可以進(jìn)一步實(shí)現(xiàn)多版本序列的刪除操作。對(duì)于超過備份數(shù)據(jù)生命周期的版本序列可以利用版本融合技術(shù),融合成一個(gè)新版本的備份數(shù)據(jù),起到版本序列刪除的作用。

    4.2 多版本差異恢復(fù)模式

    備份數(shù)據(jù)主要用于數(shù)據(jù)恢復(fù)。根據(jù)第2部分的分析,以ROW技術(shù)為代表的分離存儲(chǔ)系統(tǒng)中,數(shù)據(jù)恢復(fù)過程通常選擇距離目標(biāo)時(shí)間點(diǎn)最近的全量數(shù)據(jù)作為數(shù)據(jù)的一致性狀態(tài),然后再結(jié)合更新數(shù)據(jù)版本序列,逐次前向恢復(fù)到目標(biāo)時(shí)間點(diǎn)。在分離存儲(chǔ)的備份系統(tǒng)中,需要恢復(fù)的數(shù)據(jù)量是影響恢復(fù)效率的主要因素。利用版本融合技術(shù),結(jié)合算法2可以直接計(jì)算出版本序列中目標(biāo)時(shí)間點(diǎn)的全量快照數(shù)據(jù),結(jié)合校驗(yàn)技術(shù)可以快速判斷當(dāng)前的主端系統(tǒng)的數(shù)據(jù)狀態(tài)與歷史數(shù)據(jù)狀態(tài)實(shí)際發(fā)生變化的數(shù)據(jù),通過僅恢復(fù)變化數(shù)據(jù)提高恢復(fù)效率。這一數(shù)據(jù)恢復(fù)過程稱為多版本差異恢復(fù),記為 Diffdo,利用算法3表示。

    算法3 多版本差異恢復(fù)過程:Diffdo(T)

    T:待恢復(fù)的版本號(hào),1Tn≤≤;

    1) 存儲(chǔ)端根據(jù)算法2,計(jì)算版本號(hào)為T的全量快照數(shù)據(jù)FVFullSnapshot(T):

    FVFullSnapshot(T)=FT⊕FT-1⊕…⊕F1

    2) 存儲(chǔ)端根據(jù) FVFullSnapshot(T)計(jì)算快照數(shù)據(jù)的校驗(yàn)文件:CheckFile(T),并發(fā)送到主端;CheckFile(T)包括校驗(yàn)規(guī)則和校驗(yàn)值:

    Check(FVFullSnapshot(T)) →CheckFile(T)

    3) 主端根據(jù)CheckFile(T)計(jì)算本地磁盤當(dāng)前數(shù)據(jù)塊的校驗(yàn)值,并與 CheckFile(T)中對(duì)應(yīng)的校驗(yàn)值比對(duì),記錄校驗(yàn)不一致的數(shù)據(jù)塊對(duì)應(yīng)的邏輯地址,生成CheckErrorFile(T),并發(fā)送到存儲(chǔ)端:

    CheckFile(T)→CheckErrorFile(T)

    4) 存儲(chǔ)端根據(jù)CheckErrorFile(T)和FVFullSnapshot(T)檢索備份數(shù)據(jù),計(jì)算差異恢復(fù)索引文件DiffdoLog(T),并根據(jù)DiffdoLog(T)進(jìn)行差異數(shù)據(jù)恢復(fù):

    CheckErrorFile(T)+FVFullSnapshot(T)→DiffdoLog(T)

    Diffdo利用版本融合技術(shù),構(gòu)建版本序列中目標(biāo)時(shí)間點(diǎn)的全量快照數(shù)據(jù),可以直接與主端系統(tǒng)當(dāng)前數(shù)據(jù)狀態(tài)進(jìn)行比對(duì),只恢復(fù)實(shí)際發(fā)生變化的數(shù)據(jù)塊,通過減少恢復(fù)數(shù)據(jù)量提高恢復(fù)效率。

    5 實(shí)驗(yàn)與結(jié)果分析

    本文采用標(biāo)準(zhǔn) trace和具體備份系統(tǒng)相結(jié)合的方法展開實(shí)驗(yàn)分析。首先利用HP cello99 trace分析在持續(xù)數(shù)據(jù)保護(hù)背景下使用版本融合技術(shù)和定期產(chǎn)生快照備份數(shù)據(jù) 2種技術(shù)產(chǎn)生的備份數(shù)據(jù)量比較。然后結(jié)合具體系統(tǒng),給出版本融合技術(shù)在多版本備份數(shù)據(jù)管理中的效率分析。

    5.1 版本融合后產(chǎn)生的數(shù)據(jù)量分析

    Cello99 trace是HP實(shí)驗(yàn)室記錄UNIX服務(wù)器全年的磁盤I/O trace。實(shí)驗(yàn)中選取cello99-03-03的I/O trace進(jìn)行分析。本文回放連續(xù)24h的磁盤I/O操作,分析2種技術(shù)產(chǎn)生的備份數(shù)據(jù)量關(guān)系。圖4中給出了實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)中選取每次寫操作作為一個(gè)版本,快照周期選取版本序列長(zhǎng)度為:40、80、120、160、200產(chǎn)生快照備份數(shù)據(jù)。實(shí)驗(yàn)結(jié)束時(shí),使用版本融合技術(shù)比周期快照技術(shù)少產(chǎn)生備份數(shù)據(jù)量43.4%左右。實(shí)驗(yàn)中進(jìn)一步發(fā)現(xiàn)隨著快照周期內(nèi)版本序列長(zhǎng)度的增加產(chǎn)生的快照備份數(shù)據(jù)量會(huì)有所減少,這一現(xiàn)象主要是由于磁盤具有寫局部性造成的,一個(gè)快照周期內(nèi)邏輯地址相同的數(shù)據(jù)塊會(huì)發(fā)生重復(fù)寫操作,如果能夠統(tǒng)計(jì)重復(fù)寫的比率,進(jìn)而控制融合版本序列的長(zhǎng)度,會(huì)進(jìn)一步提高版本融合的效率。

    圖4 版本融合技術(shù)產(chǎn)生的備份數(shù)據(jù)量比較

    5.2 變長(zhǎng)數(shù)據(jù)塊索引技術(shù)效率分析

    本文進(jìn)一步通過實(shí)際的數(shù)據(jù)備份恢復(fù)系統(tǒng)分析版本融合具體的性能。備份系統(tǒng)中主端選取 XP操作系統(tǒng)的PC機(jī),具體配置為Intel(R) Core(TM)2 CPU 1.8GHz/1.79GHz, 1GB內(nèi)存,NTFS文件系統(tǒng),目標(biāo)邏輯卷為20GB。存儲(chǔ)端由4臺(tái)存儲(chǔ)服務(wù)器構(gòu)成的存儲(chǔ)集群,具體配置為Inter(R) Core(TM)2 Duo CPU2.2GHz/2.19GHz,1GB 內(nèi)存;Realtek 100M(2);Inter(R) Core(TM)2 Duo CPU 2.2GHz/2.19GHz,2GB內(nèi)存,Realtek 100M(2)。實(shí)驗(yàn)中利用磁盤過濾驅(qū)動(dòng)技術(shù),監(jiān)控主端目標(biāo)邏輯卷,產(chǎn)生周期性的增量備份數(shù)據(jù)。備份周期為10~30min,共產(chǎn)生50個(gè)版本的備份數(shù)據(jù)。

    圖5給出了定長(zhǎng)數(shù)據(jù)塊與變長(zhǎng)數(shù)據(jù)塊在多版本數(shù)據(jù)管理中的索引量比較。索引數(shù)據(jù)量直接與數(shù)據(jù)塊的分割方式有關(guān),版本融合技術(shù)中以邏輯地址連續(xù)的數(shù)據(jù)塊作為多版本管理單位,可以比靜態(tài)數(shù)據(jù)塊多版本管理方法減少 2~3個(gè)數(shù)量級(jí)的索引數(shù)據(jù)量,為降低版本融合計(jì)算復(fù)雜度提供基礎(chǔ)。圖6給出了利用變長(zhǎng)數(shù)據(jù)塊融合方法檢索全量快照備份數(shù)據(jù)的時(shí)間消耗。變長(zhǎng)數(shù)據(jù)塊版本融合的時(shí)間消耗明顯低于定長(zhǎng)數(shù)據(jù)塊多版本管理方法。

    圖5 索引數(shù)據(jù)量的比較

    圖6 全量快照檢索時(shí)間比較(圖中使用雙y軸,靜態(tài)分割4kB的索引技術(shù)使用左側(cè)的y軸,另外3種技術(shù)使用右側(cè)的y軸)

    5.3 數(shù)據(jù)恢復(fù)效率分析

    備份數(shù)據(jù)恢復(fù)效率通常使用RTO(recovery time objective)表示[18]。在分離存儲(chǔ)模式下,數(shù)據(jù)恢復(fù)時(shí)間消耗主要包括從發(fā)生數(shù)據(jù)丟失一直到業(yè)務(wù)重新啟動(dòng)的時(shí)間間隔,可以表示為

    T檢測(cè):表示從災(zāi)難發(fā)生到檢測(cè)到數(shù)據(jù)丟失的時(shí)間;

    T檢索:表示在存儲(chǔ)端按照一定的恢復(fù)模式, 檢索待恢復(fù)備份數(shù)據(jù)的時(shí)間;

    T傳輸:表示備份數(shù)據(jù)由存儲(chǔ)端傳輸?shù)街鞫说臄?shù)據(jù)傳輸時(shí)間;

    T重啟:表示數(shù)據(jù)成功恢復(fù)后, 重新啟動(dòng)業(yè)務(wù)的時(shí)間;

    T檢測(cè)、T重啟與具體的業(yè)務(wù)相關(guān),在本文中忽略不計(jì),于是RTO可以表示為

    T檢索與存儲(chǔ)端的備份數(shù)據(jù)組織方式有關(guān),T傳輸與待恢復(fù)的備份數(shù)據(jù)量和傳輸帶寬相關(guān),在傳輸帶寬一定的條件下,T傳輸由恢復(fù)數(shù)據(jù)量決定。為了進(jìn)一步描述T檢索和T傳輸?shù)南鄬?duì)關(guān)系,引入檢索時(shí)間占有率因子α,如式(11)所示:

    α表示在存儲(chǔ)端檢索備份數(shù)據(jù)的時(shí)間占全部數(shù)據(jù)恢復(fù)時(shí)間的比率;α主要由備份數(shù)據(jù)的索引結(jié)構(gòu)和版本序列的組織方式?jīng)Q定。α值越大表示存儲(chǔ)端的計(jì)算開銷越大。

    本文主要比較Redo,Diffdo的恢復(fù)效率,同時(shí)也測(cè)試了 COW 數(shù)據(jù)復(fù)制下通常使用的回滾恢復(fù)(Undo)效率,3種恢復(fù)方式的具體含義如下:

    Undo:是指通過回滾方式, 陸續(xù)恢復(fù)前一個(gè)版本數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)恢復(fù);

    Redo:是指首先恢復(fù)到距離目標(biāo)時(shí)間點(diǎn)最近的全量數(shù)據(jù),通過恢復(fù)全鏡像數(shù)據(jù)和更新數(shù)據(jù)版本序列實(shí)現(xiàn)數(shù)據(jù)恢復(fù);

    Diffdo:是指本文提出的基于多版本管理技術(shù)的差異恢復(fù)模式。

    圖7給出了不同恢復(fù)模式下恢復(fù)效率的比較。不同恢復(fù)模式下,需要恢復(fù)的數(shù)據(jù)量以及備份數(shù)據(jù)的檢索方式不同,導(dǎo)致α有很大的差別。實(shí)驗(yàn)中首先選取傳輸帶寬為2MB/s,在Redo恢復(fù)模式下,由于恢復(fù)的數(shù)據(jù)量大,RTO值最大。Undo恢復(fù)模式由于只恢復(fù)變化的數(shù)據(jù),恢復(fù)的數(shù)據(jù)量少,RTO值最小。Diffdo恢復(fù)的數(shù)據(jù)量與Undo相同,但是由于引入了數(shù)據(jù)校驗(yàn)過程,RTO值介于二者之間。在實(shí)驗(yàn)環(huán)境下,Diffdo模式的RTO值是Redo恢復(fù)模式的1/4到1/5左右。圖8中進(jìn)一步給出不同恢復(fù)模式下檢索時(shí)間的占有率情況分析。Redo模式下,數(shù)據(jù)傳輸時(shí)間占RTO的主要部分,α值很小,占1%左右;但是在Undo和Diffdo恢復(fù)模式下需要檢索全量快照α值較大。由于Diffdo增加了數(shù)據(jù)的校驗(yàn)過程,α值最大。根據(jù)實(shí)驗(yàn)結(jié)果可以得出,Diffdo可實(shí)現(xiàn)基于時(shí)間點(diǎn)的完整數(shù)據(jù)恢復(fù),是一種適用于低帶寬,大數(shù)據(jù)量的數(shù)據(jù)恢復(fù)場(chǎng)合。

    6 結(jié)束語

    在增量備份數(shù)據(jù)版本序列中利用版本融合技術(shù)可以計(jì)算出目標(biāo)版本全量快照數(shù)據(jù),避免通過備份產(chǎn)生全量快照數(shù)據(jù)。為了降低版本融合的計(jì)算負(fù)擔(dān),本文以邏輯地址連續(xù)的數(shù)據(jù)塊作為版本融合單位,可加快版本的融合過程。利用版本融合技術(shù)可以實(shí)現(xiàn)多種有現(xiàn)實(shí)意義的具體應(yīng)用,如快照檢索,多版本差異恢復(fù)等操作。但是版本融合技術(shù)是建立在所有版本數(shù)據(jù)的正確性得到保證的條件下實(shí)現(xiàn)的,否則任意一個(gè)版本數(shù)據(jù)出現(xiàn)錯(cuò)誤都會(huì)擴(kuò)散到融合版本中,為此確保備份數(shù)據(jù)的可靠性,成為進(jìn)一步研究的主要方向。

    [1] MCKNIGHT J, ASARO T, BABINEAU B. Digital Archiving:End-user Survey and Market Forecast 2006–2010[R]. The Enterprise Strategy Group, 2006.

    [2] KEETON K, SANTOS C, BEYER D. Designing for disasters[A].Proceedings of 3rd Conference on File and Storage Technologies[C].USENIX Association, 2004. 59-72.

    [3] SANTRY D S, FREELY M J, HUCHINSON N C, et al. Deciding when to forget in the elephant file system[J]. Operating Systems Review, 1999, 33(5): 110-123.

    [4] PETERSON Z, BURNS R C. Ext3cow: a time-shifting file system for regulatory compliance[J]. ACM Transactions on Storage, 2005, 1(2):190-212.

    [5] SOULES C A, GOODSON G R, STRUNK J D, et al. Metadata efficiency in versioning file systems[A]. Proceedings of the 2nd Usenix Conference on File and Storage Technologies (Fast'03)[C]. Usenix Association, 2003. 43-58.

    [6] LIU J N, YANG T M, LI Z H. TSPSCDP: a time-stamp continuous data protection approach based on pipeline strategy[A]. Japan-China Joint Workshop on Frontier of Computer Science and Technology(FCST '08)[C]. 2008. 96-102.

    [7] XIAO W J, YANG Q. Can we really recover data if storage subsystem fails?[A]. Proceedings of the 28th International Conference on Distributed Computing Systems (ICDCS 2008)[C]. Beijing: China,2008.597-604.

    [8] HITZ D, LAU D, MALCOLM M. File system design for an NFS file server appliance[A]. Proceedings of the USENIX Winter Technical Conference[C]. USENIX Association, 1994. 235-245.

    [9] PATTERSON H, MANLEY S, FEDERWISCH M. SnapMirror (R):file system based asynchronous mirroring for disaster recovery[A].Proceedings of the Conference on File and Storage Technologies(Fast'02)[C]. Usenix Association , 2002. 117-129.

    [10] FLOURIS M D, BILAS A. Clotho: transparent data versioning at the block I/O level[A]. Proceedings of the 21st IEEE Conference on Mass Storage Systems and Technologies/12th NASA Goddard Conference on Mass Storage Systems and Technologies (MSST’04)[C]. IEEE Computer Society, 2004.315-328

    [11] 楊朝紅, 宮云戰(zhàn), 桑偉前等. 基于主從異步復(fù)制技術(shù)的容災(zāi)實(shí)時(shí)系統(tǒng)研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)研究與發(fā)展, 2003, 40(7): 1104-1109.YANG Z H, GONG Y Z, SANG W Q, et al. A primary-backup lazy replication system for disaster tolerance[J]. Journal of Computer Research and Development, 2003, 40(7): 1104-1109.

    [12] YANG Q, XIAO W J, REN J. TRAP-array: a disk array architecture providing timely recovery to any point-in-time[A]. Proceedings of the 33rd Annual International Symposium on Computer Architecture(ISCA’06:)[C]. 2006. 289-300.

    [13] XIAO W J, REN J, YANG Q. A case for continuous data protection at block level in disk array storages[J]. IEEE Transactions on Parallel and Distributed Systems, 2009, 20(6): 898-911.

    [14] AGUILERA M K, KIMBERLY K, MERCHANT A, et al. Improving recoverability in multi-tier storage systems[A]. Proceedings of the 37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks(DSN '07)[C]. 2007. 677-686.

    [15] 李旭, 謝長(zhǎng)生, 楊靖. 一種改進(jìn)的塊級(jí)連續(xù)數(shù)據(jù)保護(hù)機(jī)制[J]. 計(jì)算機(jī)研究與發(fā)展, 2009, 46(5): 762-769.LI X, XIE C S, YANG J, et al. An improved block-level continuous data protection mechanism[J]. Journal of Computer Research and Development, 2009,46(5): 762-769.

    [16] 吳廣君, 云曉春, 方濱興. HCSIM: 一種長(zhǎng)期高頻Block-Level快照索引技術(shù)[J]. 計(jì)算機(jī)學(xué)報(bào), 2009, 32(10): 2080-2090.WU G J, YUN X C, FANG B X, et al. HCSIM: an indexing method for long-lived frequent block-level snapshot[J]. Chinese Journal of Computers, 2009, 32(10): 2080-2090.

    [17] RUEMMLER C, WILKES J. Unix disk access patterns[A]. Proceedings of the Winter 1993 Usenix Conference[C]. USENIX Association,1993. 405-420.

    [18] KEETON K, SANTOS C, BEYER D, et al. Designing for disasters[A].Proceedings of the 3rd USENIX Conference on File and Storage Technologies[C]. USENIX Association, 2004.59-72.

    猜你喜歡
    融合
    一次函數(shù)“四融合”
    兩個(gè)壓縮體融合為一個(gè)壓縮體的充分必要條件
    村企黨建聯(lián)建融合共贏
    融合菜
    寬窄融合便攜箱TPFS500
    寬窄融合便攜箱IPFS500
    從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
    寬窄融合便攜箱IPFS500
    《融合》
    “四心融合”架起頤養(yǎng)“幸福橋”
    福利中國(2015年4期)2015-01-03 08:03:38
    99热国产这里只有精品6| 久久精品国产亚洲av涩爱| 一区二区三区激情视频| 色婷婷久久久亚洲欧美| 久久精品国产综合久久久| 99久久99久久久精品蜜桃| 日韩免费高清中文字幕av| 亚洲国产欧美网| av卡一久久| 中文字幕精品免费在线观看视频| av电影中文网址| 日日摸夜夜添夜夜爱| 亚洲五月色婷婷综合| av在线app专区| 男人爽女人下面视频在线观看| 两个人看的免费小视频| 亚洲 欧美一区二区三区| 日韩欧美精品免费久久| 毛片一级片免费看久久久久| 超碰成人久久| 麻豆精品久久久久久蜜桃| 老司机影院成人| 日本欧美国产在线视频| 黄色视频在线播放观看不卡| 老汉色∧v一级毛片| 久久久久久人人人人人| 精品亚洲成国产av| 国产色婷婷99| 精品少妇黑人巨大在线播放| 波野结衣二区三区在线| 51午夜福利影视在线观看| 电影成人av| 国产 一区精品| 亚洲伊人久久精品综合| 亚洲国产中文字幕在线视频| 国产精品人妻久久久影院| 亚洲欧美成人综合另类久久久| 99香蕉大伊视频| e午夜精品久久久久久久| 欧美另类一区| xxxhd国产人妻xxx| 热re99久久国产66热| 亚洲精品中文字幕在线视频| 亚洲精品第二区| 久久精品国产综合久久久| 国产精品久久久久成人av| 亚洲国产最新在线播放| 亚洲精品日本国产第一区| 国产日韩欧美视频二区| 老熟女久久久| 国产av一区二区精品久久| 午夜免费男女啪啪视频观看| 19禁男女啪啪无遮挡网站| 久久99一区二区三区| 亚洲熟女精品中文字幕| e午夜精品久久久久久久| 男女国产视频网站| 午夜福利视频精品| 人妻人人澡人人爽人人| 国产精品一区二区精品视频观看| 国产精品久久久久久久久免| 欧美精品高潮呻吟av久久| 尾随美女入室| 精品国产一区二区三区久久久樱花| 日韩av不卡免费在线播放| 国产极品粉嫩免费观看在线| xxx大片免费视频| 亚洲国产精品一区三区| 丰满少妇做爰视频| 少妇 在线观看| 国产日韩欧美亚洲二区| 亚洲精华国产精华液的使用体验| 成人亚洲精品一区在线观看| 人成视频在线观看免费观看| 宅男免费午夜| 夫妻午夜视频| 少妇被粗大猛烈的视频| 国产精品香港三级国产av潘金莲 | 亚洲国产欧美日韩在线播放| 国产日韩欧美亚洲二区| 深夜精品福利| 满18在线观看网站| 日韩精品有码人妻一区| 成人影院久久| 日韩欧美精品免费久久| 国产精品一二三区在线看| 91成人精品电影| av在线老鸭窝| 国产又爽黄色视频| 日韩欧美一区视频在线观看| 国产精品国产av在线观看| 另类亚洲欧美激情| 亚洲精品美女久久av网站| 国产一区二区激情短视频 | 飞空精品影院首页| 免费少妇av软件| 久热这里只有精品99| 久久精品人人爽人人爽视色| 交换朋友夫妻互换小说| av片东京热男人的天堂| 一边亲一边摸免费视频| a 毛片基地| 在线观看一区二区三区激情| 亚洲人成电影观看| 免费观看性生交大片5| 熟妇人妻不卡中文字幕| 伊人亚洲综合成人网| 丰满乱子伦码专区| 久久久久久免费高清国产稀缺| 99国产精品免费福利视频| 操出白浆在线播放| 国产老妇伦熟女老妇高清| 人妻 亚洲 视频| 亚洲人成电影观看| 丰满少妇做爰视频| 国产精品国产av在线观看| 黄片无遮挡物在线观看| 欧美乱码精品一区二区三区| 日韩一区二区视频免费看| 亚洲人成电影观看| 丰满少妇做爰视频| 久久亚洲国产成人精品v| 国产精品一国产av| xxxhd国产人妻xxx| 制服人妻中文乱码| 丁香六月欧美| av女优亚洲男人天堂| 天天躁夜夜躁狠狠躁躁| 国产深夜福利视频在线观看| 黄片小视频在线播放| 狠狠婷婷综合久久久久久88av| 亚洲精品日韩在线中文字幕| 久久久精品国产亚洲av高清涩受| 免费久久久久久久精品成人欧美视频| 久久99热这里只频精品6学生| 中文字幕精品免费在线观看视频| 蜜桃国产av成人99| 久久天堂一区二区三区四区| 亚洲欧美精品自产自拍| 日本一区二区免费在线视频| 人妻人人澡人人爽人人| 亚洲国产精品999| 操出白浆在线播放| 欧美日韩av久久| 国产精品二区激情视频| 少妇的丰满在线观看| 九色亚洲精品在线播放| 色94色欧美一区二区| 成年女人毛片免费观看观看9 | 飞空精品影院首页| av有码第一页| 亚洲av福利一区| 日韩一区二区三区影片| 国产免费现黄频在线看| 美女扒开内裤让男人捅视频| 尾随美女入室| 欧美亚洲 丝袜 人妻 在线| av天堂久久9| 999久久久国产精品视频| 在线天堂最新版资源| 色综合欧美亚洲国产小说| 一级黄片播放器| 啦啦啦 在线观看视频| 一级毛片 在线播放| 国产精品一区二区精品视频观看| videosex国产| 一级片'在线观看视频| 国产乱来视频区| 国产一区二区激情短视频 | 在线观看免费午夜福利视频| 97人妻天天添夜夜摸| 欧美日本中文国产一区发布| av网站在线播放免费| 在线观看www视频免费| 波野结衣二区三区在线| 亚洲一级一片aⅴ在线观看| 精品少妇一区二区三区视频日本电影 | 国产精品.久久久| 亚洲成国产人片在线观看| 一级黄片播放器| 国产免费现黄频在线看| 精品第一国产精品| 亚洲精品一区蜜桃| 久久性视频一级片| 曰老女人黄片| 国产高清不卡午夜福利| 国产激情久久老熟女| 亚洲精品中文字幕在线视频| 一级毛片黄色毛片免费观看视频| 性少妇av在线| 欧美少妇被猛烈插入视频| 最近手机中文字幕大全| 国产爽快片一区二区三区| 中文字幕人妻丝袜一区二区 | 色婷婷久久久亚洲欧美| 国产淫语在线视频| 久久久久久久久久久免费av| 亚洲精品,欧美精品| 一级毛片电影观看| 久久久久网色| 久久狼人影院| 亚洲av日韩在线播放| 国产97色在线日韩免费| 一二三四中文在线观看免费高清| 欧美 日韩 精品 国产| 精品少妇黑人巨大在线播放| 香蕉国产在线看| 黑人欧美特级aaaaaa片| 一边摸一边做爽爽视频免费| 免费看不卡的av| 日韩一本色道免费dvd| 一级毛片电影观看| 侵犯人妻中文字幕一二三四区| 搡老岳熟女国产| 精品国产乱码久久久久久男人| 女人精品久久久久毛片| 国产精品免费视频内射| 国产成人午夜福利电影在线观看| 麻豆av在线久日| 美女扒开内裤让男人捅视频| 亚洲精品日本国产第一区| 青春草视频在线免费观看| 欧美在线一区亚洲| √禁漫天堂资源中文www| 欧美日韩精品网址| 免费看不卡的av| 汤姆久久久久久久影院中文字幕| 欧美精品av麻豆av| 韩国av在线不卡| 熟女av电影| 汤姆久久久久久久影院中文字幕| 国产精品免费大片| 欧美日韩av久久| 人妻 亚洲 视频| 日韩一本色道免费dvd| 国产视频首页在线观看| 国产亚洲av高清不卡| 亚洲精华国产精华液的使用体验| 只有这里有精品99| 亚洲精品av麻豆狂野| 中文字幕制服av| 成人免费观看视频高清| 国产成人91sexporn| 夜夜骑夜夜射夜夜干| 欧美97在线视频| 亚洲七黄色美女视频| 熟女少妇亚洲综合色aaa.| 亚洲欧美中文字幕日韩二区| 精品一品国产午夜福利视频| 日韩人妻精品一区2区三区| 国产精品欧美亚洲77777| 久热爱精品视频在线9| 久久天堂一区二区三区四区| 成人手机av| 9色porny在线观看| 国产无遮挡羞羞视频在线观看| 精品少妇黑人巨大在线播放| 国产欧美日韩综合在线一区二区| 亚洲 欧美一区二区三区| 免费黄网站久久成人精品| 99精国产麻豆久久婷婷| 爱豆传媒免费全集在线观看| 欧美日韩精品网址| 亚洲精华国产精华液的使用体验| 欧美日韩成人在线一区二区| 国产亚洲最大av| av卡一久久| 亚洲av成人不卡在线观看播放网 | 亚洲精品日本国产第一区| avwww免费| 男女下面插进去视频免费观看| 亚洲精品乱久久久久久| 国产精品嫩草影院av在线观看| 免费少妇av软件| 亚洲av日韩在线播放| 国产精品欧美亚洲77777| 在线免费观看不下载黄p国产| 考比视频在线观看| 一区二区三区精品91| 国产精品欧美亚洲77777| 国产一级毛片在线| 免费女性裸体啪啪无遮挡网站| 久久99热这里只频精品6学生| 欧美变态另类bdsm刘玥| 各种免费的搞黄视频| 伊人久久大香线蕉亚洲五| 国产精品偷伦视频观看了| a 毛片基地| 你懂的网址亚洲精品在线观看| 中文字幕av电影在线播放| 欧美老熟妇乱子伦牲交| av网站在线播放免费| 在现免费观看毛片| 国产成人午夜福利电影在线观看| 母亲3免费完整高清在线观看| 成人三级做爰电影| 97精品久久久久久久久久精品| 宅男免费午夜| 如日韩欧美国产精品一区二区三区| 国产日韩一区二区三区精品不卡| 久久久久久人人人人人| 国产成人精品福利久久| 99热国产这里只有精品6| 日日爽夜夜爽网站| 老熟女久久久| 欧美日韩亚洲综合一区二区三区_| 亚洲综合色网址| 下体分泌物呈黄色| 欧美日韩亚洲综合一区二区三区_| 日日爽夜夜爽网站| 国产成人精品福利久久| 夫妻午夜视频| 国产精品香港三级国产av潘金莲 | 一级毛片我不卡| 啦啦啦 在线观看视频| 精品第一国产精品| 久久久欧美国产精品| 在线观看三级黄色| 亚洲国产毛片av蜜桃av| 亚洲一级一片aⅴ在线观看| 日韩制服丝袜自拍偷拍| 日韩不卡一区二区三区视频在线| 超碰97精品在线观看| 亚洲av中文av极速乱| 老司机亚洲免费影院| 欧美日韩综合久久久久久| 国产av国产精品国产| 99re6热这里在线精品视频| 久久午夜综合久久蜜桃| 少妇被粗大的猛进出69影院| 亚洲欧洲精品一区二区精品久久久 | 成人免费观看视频高清| 热re99久久国产66热| www.av在线官网国产| 综合色丁香网| 欧美日本中文国产一区发布| 亚洲精品av麻豆狂野| 精品少妇黑人巨大在线播放| av国产精品久久久久影院| 国产成人一区二区在线| 国产一区亚洲一区在线观看| 日韩免费高清中文字幕av| 国产99久久九九免费精品| 精品亚洲成国产av| 日韩大码丰满熟妇| 欧美日韩视频高清一区二区三区二| 国产乱人偷精品视频| 这个男人来自地球电影免费观看 | 免费在线观看完整版高清| 成人国产av品久久久| 在线观看一区二区三区激情| 街头女战士在线观看网站| 一本久久精品| 亚洲在久久综合| 美女扒开内裤让男人捅视频| 久久久久久人妻| 午夜日本视频在线| 午夜91福利影院| 欧美黄色片欧美黄色片| 久久久久视频综合| 飞空精品影院首页| 久久久久久久久久久久大奶| 亚洲婷婷狠狠爱综合网| 黄片小视频在线播放| 精品午夜福利在线看| 久久久久久久大尺度免费视频| 亚洲一码二码三码区别大吗| 中文字幕av电影在线播放| 80岁老熟妇乱子伦牲交| 性少妇av在线| 久久久久久免费高清国产稀缺| 最近最新中文字幕大全免费视频 | 久久久久精品性色| 看十八女毛片水多多多| 国产亚洲最大av| 波多野结衣av一区二区av| 国产 一区精品| 国产 精品1| 中文字幕另类日韩欧美亚洲嫩草| 久久久久人妻精品一区果冻| 欧美av亚洲av综合av国产av | www.自偷自拍.com| 亚洲精品久久久久久婷婷小说| 国语对白做爰xxxⅹ性视频网站| 亚洲在久久综合| 国产亚洲午夜精品一区二区久久| 极品少妇高潮喷水抽搐| 一区在线观看完整版| 国产精品免费视频内射| 国产熟女欧美一区二区| 天美传媒精品一区二区| 一区福利在线观看| 99久久精品国产亚洲精品| 999精品在线视频| 美女大奶头黄色视频| 亚洲国产最新在线播放| 国产在线视频一区二区| svipshipincom国产片| 丝袜喷水一区| 美女主播在线视频| 麻豆乱淫一区二区| 国产成人精品久久久久久| 久久国产亚洲av麻豆专区| 黄片小视频在线播放| 精品一区在线观看国产| 国产日韩欧美在线精品| 精品久久久久久电影网| 亚洲欧美激情在线| 国产av精品麻豆| 人人澡人人妻人| 熟女av电影| 最近中文字幕高清免费大全6| 国产在线免费精品| 日韩免费高清中文字幕av| 亚洲国产精品一区二区三区在线| 亚洲欧美日韩另类电影网站| 香蕉国产在线看| 18禁观看日本| 男人操女人黄网站| 免费黄色在线免费观看| 香蕉丝袜av| 黄色怎么调成土黄色| 国产一卡二卡三卡精品 | 精品一品国产午夜福利视频| 亚洲av电影在线观看一区二区三区| 午夜福利,免费看| 久久精品久久精品一区二区三区| 99国产综合亚洲精品| 老司机影院成人| 日韩av不卡免费在线播放| 在线观看www视频免费| 日韩伦理黄色片| 人人妻,人人澡人人爽秒播 | 亚洲av电影在线观看一区二区三区| 亚洲国产精品999| 啦啦啦中文免费视频观看日本| 亚洲人成77777在线视频| 国产精品久久久久成人av| 美女大奶头黄色视频| 天堂俺去俺来也www色官网| 男人操女人黄网站| 精品亚洲成a人片在线观看| 亚洲综合色网址| 免费看不卡的av| 国产99久久九九免费精品| 夫妻性生交免费视频一级片| 久久久久精品性色| 亚洲色图 男人天堂 中文字幕| 韩国精品一区二区三区| av网站在线播放免费| 宅男免费午夜| 大片免费播放器 马上看| 免费观看人在逋| 一二三四在线观看免费中文在| 青草久久国产| 精品人妻一区二区三区麻豆| 国产精品 欧美亚洲| 99国产精品免费福利视频| 99久久99久久久精品蜜桃| 80岁老熟妇乱子伦牲交| 人人妻人人添人人爽欧美一区卜| 亚洲人成77777在线视频| 在线 av 中文字幕| 美女脱内裤让男人舔精品视频| 欧美乱码精品一区二区三区| 中文字幕精品免费在线观看视频| kizo精华| 高清av免费在线| 晚上一个人看的免费电影| 欧美激情极品国产一区二区三区| 男女高潮啪啪啪动态图| 波多野结衣av一区二区av| 国产一区二区在线观看av| 欧美日韩亚洲高清精品| 婷婷色麻豆天堂久久| 国产精品一区二区精品视频观看| 欧美xxⅹ黑人| 夜夜骑夜夜射夜夜干| 美女脱内裤让男人舔精品视频| 国产1区2区3区精品| 国产欧美亚洲国产| 综合色丁香网| 不卡视频在线观看欧美| 亚洲欧洲日产国产| 日韩电影二区| 777米奇影视久久| 午夜福利视频在线观看免费| 日本wwww免费看| 99久久人妻综合| 亚洲欧美成人综合另类久久久| 久久久久久久国产电影| 午夜av观看不卡| 欧美亚洲日本最大视频资源| 亚洲精品,欧美精品| 亚洲熟女毛片儿| 亚洲精品视频女| 少妇人妻精品综合一区二区| 日韩人妻精品一区2区三区| 中文乱码字字幕精品一区二区三区| videosex国产| 亚洲精品av麻豆狂野| 黄色视频不卡| 日日摸夜夜添夜夜爱| 岛国毛片在线播放| 亚洲 欧美一区二区三区| 19禁男女啪啪无遮挡网站| 国产99久久九九免费精品| 国产在线视频一区二区| 久久99热这里只频精品6学生| 十八禁网站网址无遮挡| 久久综合国产亚洲精品| 人人妻人人爽人人添夜夜欢视频| 国产一区二区 视频在线| 国产伦理片在线播放av一区| 精品第一国产精品| 亚洲成av片中文字幕在线观看| 欧美久久黑人一区二区| 国产一卡二卡三卡精品 | 我要看黄色一级片免费的| 欧美激情高清一区二区三区 | 国产av码专区亚洲av| 欧美 亚洲 国产 日韩一| 叶爱在线成人免费视频播放| 人妻人人澡人人爽人人| 肉色欧美久久久久久久蜜桃| 99久久99久久久精品蜜桃| 国产免费现黄频在线看| 99久久综合免费| 欧美日韩亚洲综合一区二区三区_| 亚洲精品国产av成人精品| 国产熟女欧美一区二区| netflix在线观看网站| 色网站视频免费| 一本大道久久a久久精品| 黄频高清免费视频| 国产老妇伦熟女老妇高清| 一级,二级,三级黄色视频| 一级a爱视频在线免费观看| 视频在线观看一区二区三区| 激情视频va一区二区三区| 中文字幕人妻熟女乱码| 国产乱人偷精品视频| 亚洲成国产人片在线观看| 日韩 欧美 亚洲 中文字幕| 欧美少妇被猛烈插入视频| 宅男免费午夜| 亚洲精品久久午夜乱码| 伦理电影大哥的女人| 天天躁日日躁夜夜躁夜夜| 欧美xxⅹ黑人| 亚洲精品成人av观看孕妇| 国产精品偷伦视频观看了| 黄色 视频免费看| 久久这里只有精品19| 丁香六月天网| 2018国产大陆天天弄谢| 国产不卡av网站在线观看| 亚洲国产精品一区三区| 日韩,欧美,国产一区二区三区| 午夜日韩欧美国产| 制服丝袜香蕉在线| 一边摸一边抽搐一进一出视频| 午夜日本视频在线| 飞空精品影院首页| 亚洲免费av在线视频| 久久精品aⅴ一区二区三区四区| 激情五月婷婷亚洲| 不卡视频在线观看欧美| 国产免费一区二区三区四区乱码| 欧美日韩亚洲综合一区二区三区_| 色婷婷久久久亚洲欧美| 1024视频免费在线观看| 晚上一个人看的免费电影| 日日撸夜夜添| 久热这里只有精品99| 久久人人爽av亚洲精品天堂| 看免费成人av毛片| 国产成人a∨麻豆精品| 成人亚洲欧美一区二区av| 丝袜美足系列| 精品免费久久久久久久清纯 | 久久99热这里只频精品6学生| 亚洲av电影在线进入| 不卡av一区二区三区| 久久免费观看电影| 啦啦啦啦在线视频资源| 欧美日韩福利视频一区二区| 十八禁高潮呻吟视频| xxx大片免费视频| 亚洲欧美成人精品一区二区| 免费观看性生交大片5| 国产av精品麻豆| a 毛片基地| 午夜av观看不卡| av在线app专区| 夫妻午夜视频| 久久久久精品人妻al黑| 欧美乱码精品一区二区三区| 交换朋友夫妻互换小说| 热re99久久精品国产66热6| 日韩一卡2卡3卡4卡2021年| 国产免费又黄又爽又色| 男女国产视频网站| 成年人免费黄色播放视频| 99九九在线精品视频| 永久免费av网站大全| 久久久久久免费高清国产稀缺| 日韩一卡2卡3卡4卡2021年| 一区福利在线观看| 人人妻人人添人人爽欧美一区卜| 老司机影院毛片| 最近2019中文字幕mv第一页| 大香蕉久久成人网| 亚洲专区中文字幕在线 | 女人高潮潮喷娇喘18禁视频|