• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于卷的快照技術(shù)研究

    2014-08-08 11:20江乾榮
    移動通信 2014年7期
    關(guān)鍵詞:快照單機備份

    【摘要】隨著計算機和信息技術(shù)的不斷發(fā)展,人類每日產(chǎn)生的信息量正以指數(shù)的級別增加。面對海量的數(shù)據(jù),如何快速存儲數(shù)據(jù)并保證數(shù)據(jù)的安全成為當(dāng)今社會的重要考驗。首先闡述了快照技術(shù)的現(xiàn)狀,并介紹了當(dāng)前主流的快照技術(shù),然后詳細(xì)介紹了基于卷的快照技術(shù),最后分析了該技術(shù)的應(yīng)用前景。該技術(shù)提高了時間和空間的利用率,有較好的應(yīng)用價值。

    【關(guān)鍵詞】快照創(chuàng)建卷寫時復(fù)制克隆存儲備份

    中圖分類號:TP31文獻(xiàn)標(biāo)識碼:A文章編號:1006-1010(2014)-07-0069-04

    1 背景

    隨著計算機技術(shù)的不斷發(fā)展,人們的信息化水平得到了空前的提高。在當(dāng)今時代,新聞、多媒體、航天技術(shù)、生物技術(shù)、電子圖書館、電子商務(wù)等大量數(shù)據(jù)業(yè)務(wù)的涌現(xiàn),對計算機存儲及信息的安全提出了嚴(yán)峻的考驗。有數(shù)據(jù)表明,現(xiàn)在每年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前所有年代的數(shù)據(jù)量之和。另外黑客、病毒等因素還時時威脅著數(shù)據(jù)的安全,所以如何合理地存儲數(shù)據(jù),以及數(shù)據(jù)的安全顯得尤為重要。

    然而存儲技術(shù)的發(fā)展卻沒能完全跟上時代的步伐,雖然現(xiàn)在云存儲被炒得很火,但真正成熟的解決方案卻很少,在企業(yè)的存儲上,重要的數(shù)據(jù)還是依靠昂貴的磁陣來存儲。在數(shù)據(jù)備份方面還是一直采用數(shù)據(jù)復(fù)制、備份、恢復(fù)等技術(shù)來保護(hù)數(shù)據(jù)的安全,定期對數(shù)據(jù)進(jìn)行備份和復(fù)制。由于備份過程會影響性能,并且非常耗時,一般會選擇在系統(tǒng)較輕松的夜間進(jìn)行。

    顯然,這種數(shù)據(jù)存儲方式存在非常嚴(yán)重的不足。在備份期間,企業(yè)需要暫停對外的服務(wù),隨著業(yè)務(wù)的發(fā)展,這個時間可能會越來越長。但現(xiàn)在許多應(yīng)用,如銀行、網(wǎng)上支付等,都要求24小時不間斷營業(yè),短暫的間斷可能會帶來巨大的損失。另外,傳統(tǒng)的數(shù)據(jù)分享方式帶來了巨大的存儲浪費,例如同樣一份數(shù)據(jù),每個用戶都會備份一份。而快照技術(shù)則可以彌補這些不足,因此處在不斷的發(fā)展之中。

    2 當(dāng)前主流技術(shù)

    (1)鏡像分享

    顧名思義,鏡像分享需要一個完整的物理鏡像,同一份數(shù)據(jù)需寫在兩個設(shè)備上。當(dāng)需要創(chuàng)建快照時,停止鏡像卷的寫操作,鏡像被保存為一個快照。當(dāng)需要新的快照時,需要重新準(zhǔn)備一個物理卷,并與源數(shù)據(jù)進(jìn)行數(shù)據(jù)同步。

    優(yōu)點:有完整的物理備份,安全;窗口時間小,基本不會影響使用。

    缺點:每個備份都需要完整的物理設(shè)備,成本高;需要完整的數(shù)據(jù)同步后才能創(chuàng)建快照,不夠靈活。

    (2)寫時復(fù)制

    寫時復(fù)制在創(chuàng)建快照的時候,并不會發(fā)生真實的數(shù)據(jù)拷貝,而僅僅是復(fù)制當(dāng)前卷的元數(shù)據(jù),因為元數(shù)據(jù)非常小,所以整個過程幾乎在一瞬間完成。當(dāng)原始卷有數(shù)據(jù)修改時,首先將這塊數(shù)據(jù)讀出來,寫入給快照預(yù)留的空間,然后再將新的數(shù)據(jù)寫入原始卷。因為在寫數(shù)據(jù)時才會對數(shù)據(jù)進(jìn)行備份,因而得名。

    優(yōu)點:創(chuàng)建快照快,不需要完整的物理設(shè)備,成本小。

    缺點:沒有完整的物理備份,有風(fēng)險。

    (3)指針重映射

    指針重映射與寫時復(fù)制基本類似,創(chuàng)建快照時也不會發(fā)生數(shù)據(jù)拷貝。區(qū)別在于當(dāng)發(fā)生數(shù)據(jù)改變時,系統(tǒng)直接將新的數(shù)據(jù)寫入新分配的空間,并將數(shù)據(jù)的指針指向新分配的區(qū)域。而原來的數(shù)據(jù)空間作為快照空間被保存下來。與寫時復(fù)制相比,指針重映射加快了寫操作,每次寫少了一次IO操作。

    (4)日志文件

    日志文件是指對文件系統(tǒng)的每一次寫操作都寫上日志,當(dāng)系統(tǒng)出現(xiàn)故障時,可以通過日志來恢復(fù)信息。這種技術(shù)主要用于ext3等本地文件系統(tǒng)中,有時也用于分布式系統(tǒng)的主備同步機制上。

    (5)克隆快照

    克隆快照可以理解為鏡像分享和寫時復(fù)制的結(jié)合。首先利用寫時復(fù)制創(chuàng)建一個快照,然后在后臺啟動一個進(jìn)程,將快照復(fù)制到一個獨立的設(shè)備,以保證數(shù)據(jù)的安全。

    3 基于分布式的快照

    前面講了很多的快照技術(shù),各有其優(yōu)缺點。這里介紹的快照技術(shù)與寫時復(fù)制比較相似,但使用上更靈活,能適用于很多場景。

    在大多數(shù)企業(yè),都會有一個知識庫,所有的人都可以從上面取資料,但是不能修改,如果要修改必須重新拷貝一份至本地。但大多數(shù)人都有一個習(xí)慣,即使不修改,也會拷貝一份至本地磁盤,以便隨時查看。這樣,一份文檔可能在公司里存在幾千甚至幾萬份,公司給員工都配備了大容量的硬盤,結(jié)果還是不夠用,那么有沒有辦法能夠?qū)⑦@些數(shù)據(jù)只保存一份而又能滿足隨時修改的需求呢?

    再來看另外一個場景,公司每個人的電腦都要裝操作系統(tǒng),而對于操作系統(tǒng)里面的文件,大部分都是用不著修改的。以Windows 7為例計算,假設(shè)一個系統(tǒng)占據(jù)10G,一個公司共有1 000名員工,那么僅系統(tǒng)占的空間就是10T,有什么辦法能節(jié)省空間呢?

    3.1卷的創(chuàng)建

    快照的核心是卷的管理,所有的快照都是基于卷來創(chuàng)建的。這里講的卷與傳統(tǒng)意義上的卷是有區(qū)別的:卷既可以是單機的,也可以是分布式的;卷是寫時分配的,即在創(chuàng)建卷時是不會分配任何空間的,只有在真正寫數(shù)據(jù)時才會分配空間。

    假設(shè)有一個存儲單元,其容量是1T,需要在上面創(chuàng)建一個10G的卷,將塊大小設(shè)置為512k,那么得到的是一個如圖1所示的卷:

    圖1存儲單元創(chuàng)建卷示意圖

    塊的大小可以根據(jù)業(yè)務(wù)的需要而定,對于存儲大文件的系統(tǒng),可以將塊盡量設(shè)的大一點。例如HDFS默認(rèn)的塊大小是64M,如果是存儲小文件,可以考慮將塊設(shè)小一點。一般情況下推薦用512k或1M。當(dāng)然也可以用一些合并技術(shù)來解決數(shù)據(jù)冗余的問題。

    寫時分配也是一個很重要的概念,業(yè)界很多系統(tǒng)都使用了這個技術(shù),例如前段時間打得火熱的網(wǎng)盤大戰(zhàn),騰訊、百度、360分別將其提供的免費容量提升至T級別,其實除了極個別用戶,大部分都只使用少部分空間,企業(yè)并不需要為這一措施購買大量的存儲。

    創(chuàng)建卷后就可以在卷上創(chuàng)建文件系統(tǒng)或?qū)憯?shù)據(jù)了,每個邏輯塊所對應(yīng)的磁盤位置通過一定的算法進(jìn)行定位。

    3.2快照的創(chuàng)建

    在創(chuàng)建快照前有必要介紹一下快照與卷的關(guān)系,所有的快照都是在卷上創(chuàng)建的,快照是只讀的,卷是可寫的。可以基于快照創(chuàng)建卷,所有基于快照創(chuàng)建的卷上都保留有快照上所有數(shù)據(jù)。其關(guān)系如圖2所示:

    圖2快照與卷的關(guān)系

    對于卷和快照的操作主要包含以下三個方面:

    ◆創(chuàng)建卷(圖2左側(cè));

    ◆基于當(dāng)前卷創(chuàng)建快照(圖2中間);

    ◆基于快照創(chuàng)建卷(圖2右側(cè))。

    為了更好地定位到每個卷對應(yīng)的數(shù)據(jù)及位置,這里定義了一組KEY:

    KEY(volum_id, branch_id, snap_id, block_id)

    volum_id:如果卷或快照具有同一個根節(jié)點,那他們就具有相同的volum_id;

    branch_id:每基于快照創(chuàng)建一個卷,那么這個卷就產(chǎn)生一個新的branck_id;

    snap_id:在同一個分支下,snap_id遞增,例如圖3中間,快照1的snap_id是0,卷1的sna_id是1;

    block_id:如圖1,每個塊對應(yīng)一個block_id,并遞增。

    有了上面這組KEY,就可以很方便地對數(shù)據(jù)進(jìn)行操作了。

    圖3讀數(shù)據(jù)操作

    3.3讀數(shù)據(jù)

    邏輯卷上的每一個塊,都有一個對應(yīng)的KEY,KEY上面記錄了這個塊上是否有數(shù)據(jù),有數(shù)據(jù)的話,記錄數(shù)據(jù)存放的位置。如圖3所示,塊1、2、4、5、7、9上是有數(shù)據(jù)的,其中7、9所對應(yīng)的KEY分別為(0,0,0,6)、(0,0,0,8)。

    endprint

    假如此時有請求過來需要訪問塊7的數(shù)據(jù),塊7的KEY是(0,0,1,6),檢查發(fā)現(xiàn)其上沒有數(shù)據(jù),于是尋找其父節(jié)點,找到7,7上有數(shù)據(jù),于是將數(shù)據(jù)讀出。如果請求的是塊6的數(shù)據(jù),發(fā)現(xiàn)上面沒有數(shù)據(jù),向上尋找父節(jié)點6,也沒有數(shù)據(jù),再向上尋找,直到找到根節(jié)點為止,此處6已經(jīng)是根節(jié)點,所以認(rèn)為塊6是空的。

    由此可以看到,卷1上本身是沒有數(shù)據(jù)的,但是通過父節(jié)點可以讀到數(shù)據(jù)。這同樣適用于卷2,卷1和卷2共享數(shù)據(jù)卻互不干擾。

    3.4寫數(shù)據(jù)

    假如收到一個請求,需要修改塊1(0,0,1,0)的數(shù)據(jù),首先按讀數(shù)據(jù)的步驟,將塊1(0,0,0,0)的數(shù)據(jù)讀至內(nèi)存,將需要修改的部分修改,然后再將修改后的數(shù)據(jù)寫入塊1。如果寫的數(shù)據(jù)是一個完整的塊,那么無需執(zhí)行讀動作,直接將數(shù)據(jù)寫入塊1即可。第三種情況,如果需要修改塊3(0,0,1,2),執(zhí)行讀動作時,發(fā)現(xiàn)這個塊上沒有數(shù)據(jù),那么無需修改,直接將數(shù)據(jù)寫入塊3即可,如圖4所示:

    圖4寫數(shù)據(jù)操作

    卷2也可以執(zhí)行同樣的操作,其修改的數(shù)據(jù)保存在自己的邏輯空間里,然后通過一定的算法映射到磁盤的某個位置。

    3.5分析

    對于這一套快照機制,其有如下顯著的特點:

    (1)創(chuàng)建快照非常快,基本不會對系統(tǒng)有任何的負(fù)擔(dān);

    (2)可以根據(jù)快照讀取全量的數(shù)據(jù);

    (3)非常方便數(shù)據(jù)共享,只需基于某快照創(chuàng)建一個卷給用戶使用,就可以讓該用戶擁有這份數(shù)據(jù),關(guān)鍵是用戶并不需要將數(shù)據(jù)拷貝至本地再做備份;

    (4)對于快照和卷的數(shù)量沒有限制,理論上可以無限創(chuàng)建;

    (5)由于是基于邏輯的方式創(chuàng)建卷,所以只需簡單的邏輯就可以實現(xiàn)卷的動態(tài)擴縮容。

    這套機制當(dāng)然也有缺點:數(shù)據(jù)并沒有做到真正意義上的容災(zāi),如果系統(tǒng)出現(xiàn)故障,那么所有數(shù)據(jù)可能丟失,當(dāng)然,想要高的可靠性就還需要其它特征來支持,例如多副本、集群化管理等。

    4 基于卷的快照技術(shù)應(yīng)用

    4.1單機應(yīng)用

    對于單機來說,可以設(shè)計一套類似于LVM的卷管理軟件來取代LVM,在未創(chuàng)建快照時可以提供與LVM等同的功能,創(chuàng)建快照后可以為多用戶提供靈活的需求。如圖5所示:

    圖5快照技術(shù)在單機上的應(yīng)用

    4.2分布式應(yīng)用

    對于分布式來說,其與單機的要求類似,單臺機器并不用太關(guān)心其它機器上數(shù)據(jù)分布情況。當(dāng)用戶要求創(chuàng)建卷時,系統(tǒng)會根據(jù)一定的規(guī)則選擇一個節(jié)點或一臺主機,如果有副本則選擇多個節(jié)點或主機,然后這個卷上的所有操作都會發(fā)送至這個節(jié)點,與單機處理模式一樣。只是有多副本時還需要考慮數(shù)據(jù)一致性的問題。

    4.3應(yīng)用前景

    (1)虛擬機

    現(xiàn)在很多公司在計劃虛擬機,采用虛擬機除了可以讓資源得到統(tǒng)一管理、減少PC的采購、信息安全外,還有一個很重要的點就是節(jié)省資源,這是當(dāng)前大部分系統(tǒng)都不具備的功能。假設(shè)某公司要搭建一個虛擬機系統(tǒng),公司總共有1萬人,按照每個人40G系統(tǒng)盤、200G數(shù)據(jù)盤來計劃,不包含副本的情況下,需要2 400T的存儲空間。采用上述快照方案后,首先創(chuàng)建一個卷用來卷操作系統(tǒng),然后創(chuàng)建快照,再基于這個快照創(chuàng)建1萬個卷。這需要的空間為2 000T+40G。節(jié)省了16.7%的資源,如果再加上資源共享部分,能節(jié)省的空間更多。

    (2)網(wǎng)盤

    網(wǎng)盤是當(dāng)前非常流行的一個應(yīng)用,廠商動不動就給用戶提供上G甚至T級的空間,如果用戶上百萬或千萬,那這個存儲需求是驚人的。但其實真正用到這么大的空間的是少數(shù),大部分用戶只是用到了其中一小部分,這樣采用使用時分配的原則,可以節(jié)省大量的資源。

    (3)企業(yè)資料共享

    說到企業(yè)的資料共享,基本每個企業(yè)都有一個龐大的資料庫,往往是存放在一個共享主機上,員工通過網(wǎng)絡(luò)訪問,這樣不僅會造成高峰期的網(wǎng)絡(luò)阻塞,并且同樣的文檔在每個用戶的機器上都會存在一份,特別是對于大型的軟件,例如Office、Oracle等,造成重復(fù)存放,浪費大量的空間。這時可以考慮上面的方案,使用快照軟件創(chuàng)建一個卷,然后將資料放到這個卷上,創(chuàng)建快照,基于這個快照創(chuàng)建任意多的卷,給每個員工一個可用的卷,員工直接將卷掛載在本地當(dāng)本地磁盤使用。這樣給每個員工的數(shù)據(jù)磁盤可以大大減小。當(dāng)然,這里還會涉及到信息管理的問題。

    (4)數(shù)據(jù)備份與恢復(fù)

    除了上面的應(yīng)用,基于卷的快照技術(shù)還有備份與恢復(fù)、隨時備份、隨時恢復(fù)的功能。

    5 總結(jié)

    快照技術(shù)自發(fā)明以來,一直在不斷的發(fā)展,人們對其進(jìn)行了大量的改進(jìn),時間和空間的利用率都得到了不同程度的提高。而基于卷的快照管理是在當(dāng)前快照技術(shù)基礎(chǔ)上對時間和空間利用的改進(jìn),如果能合理地利用,其價值將不可限量。

    近年來,存儲的發(fā)展日新月異,不斷有新產(chǎn)品問世。隨著人類技術(shù)的積累,未來還會有更多的快照技術(shù)問世,能有效地解決當(dāng)前存在的時間、性能、安全性方面的問題,為數(shù)據(jù)存儲和備份領(lǐng)域提供長足的發(fā)展。

    參考文獻(xiàn):

    [1] 劉愛貴. 快照(Snapshot)技術(shù)發(fā)展綜述[EB/OL]. (2009-08-28). http://blog.csdn.net/liuaigui/article/details/4494555.

    [2] 李中,王剛,劉璟. 一種在存儲子系統(tǒng)中實現(xiàn)連續(xù)時間點快照的技術(shù)[J]. 計算機工程與應(yīng)用, 2004(9).

    [3] 李亮. 一種基于持續(xù)數(shù)據(jù)保護(hù)的鏡像系統(tǒng)的研究與實現(xiàn)[D]. 長沙: 國防科學(xué)技術(shù)大學(xué), 2010.

    [4] 袁曉銘. 磁盤陣列系統(tǒng)的快照技術(shù)研究[D]. 武漢: 華中科技大學(xué), 2007.

    [5] 海杰. 設(shè)備層多版本快照的設(shè)計與實現(xiàn)[D]. 武漢: 華中科技大學(xué), 2008.★

    作者簡介

    江乾榮:系統(tǒng)架構(gòu)師,學(xué)士畢業(yè)于湖南大學(xué),現(xiàn)任職于中國移動(深圳)有限公司,主要從事云存儲和云計算的研究工作。

    endprint

    假如此時有請求過來需要訪問塊7的數(shù)據(jù),塊7的KEY是(0,0,1,6),檢查發(fā)現(xiàn)其上沒有數(shù)據(jù),于是尋找其父節(jié)點,找到7,7上有數(shù)據(jù),于是將數(shù)據(jù)讀出。如果請求的是塊6的數(shù)據(jù),發(fā)現(xiàn)上面沒有數(shù)據(jù),向上尋找父節(jié)點6,也沒有數(shù)據(jù),再向上尋找,直到找到根節(jié)點為止,此處6已經(jīng)是根節(jié)點,所以認(rèn)為塊6是空的。

    由此可以看到,卷1上本身是沒有數(shù)據(jù)的,但是通過父節(jié)點可以讀到數(shù)據(jù)。這同樣適用于卷2,卷1和卷2共享數(shù)據(jù)卻互不干擾。

    3.4寫數(shù)據(jù)

    假如收到一個請求,需要修改塊1(0,0,1,0)的數(shù)據(jù),首先按讀數(shù)據(jù)的步驟,將塊1(0,0,0,0)的數(shù)據(jù)讀至內(nèi)存,將需要修改的部分修改,然后再將修改后的數(shù)據(jù)寫入塊1。如果寫的數(shù)據(jù)是一個完整的塊,那么無需執(zhí)行讀動作,直接將數(shù)據(jù)寫入塊1即可。第三種情況,如果需要修改塊3(0,0,1,2),執(zhí)行讀動作時,發(fā)現(xiàn)這個塊上沒有數(shù)據(jù),那么無需修改,直接將數(shù)據(jù)寫入塊3即可,如圖4所示:

    圖4寫數(shù)據(jù)操作

    卷2也可以執(zhí)行同樣的操作,其修改的數(shù)據(jù)保存在自己的邏輯空間里,然后通過一定的算法映射到磁盤的某個位置。

    3.5分析

    對于這一套快照機制,其有如下顯著的特點:

    (1)創(chuàng)建快照非???,基本不會對系統(tǒng)有任何的負(fù)擔(dān);

    (2)可以根據(jù)快照讀取全量的數(shù)據(jù);

    (3)非常方便數(shù)據(jù)共享,只需基于某快照創(chuàng)建一個卷給用戶使用,就可以讓該用戶擁有這份數(shù)據(jù),關(guān)鍵是用戶并不需要將數(shù)據(jù)拷貝至本地再做備份;

    (4)對于快照和卷的數(shù)量沒有限制,理論上可以無限創(chuàng)建;

    (5)由于是基于邏輯的方式創(chuàng)建卷,所以只需簡單的邏輯就可以實現(xiàn)卷的動態(tài)擴縮容。

    這套機制當(dāng)然也有缺點:數(shù)據(jù)并沒有做到真正意義上的容災(zāi),如果系統(tǒng)出現(xiàn)故障,那么所有數(shù)據(jù)可能丟失,當(dāng)然,想要高的可靠性就還需要其它特征來支持,例如多副本、集群化管理等。

    4 基于卷的快照技術(shù)應(yīng)用

    4.1單機應(yīng)用

    對于單機來說,可以設(shè)計一套類似于LVM的卷管理軟件來取代LVM,在未創(chuàng)建快照時可以提供與LVM等同的功能,創(chuàng)建快照后可以為多用戶提供靈活的需求。如圖5所示:

    圖5快照技術(shù)在單機上的應(yīng)用

    4.2分布式應(yīng)用

    對于分布式來說,其與單機的要求類似,單臺機器并不用太關(guān)心其它機器上數(shù)據(jù)分布情況。當(dāng)用戶要求創(chuàng)建卷時,系統(tǒng)會根據(jù)一定的規(guī)則選擇一個節(jié)點或一臺主機,如果有副本則選擇多個節(jié)點或主機,然后這個卷上的所有操作都會發(fā)送至這個節(jié)點,與單機處理模式一樣。只是有多副本時還需要考慮數(shù)據(jù)一致性的問題。

    4.3應(yīng)用前景

    (1)虛擬機

    現(xiàn)在很多公司在計劃虛擬機,采用虛擬機除了可以讓資源得到統(tǒng)一管理、減少PC的采購、信息安全外,還有一個很重要的點就是節(jié)省資源,這是當(dāng)前大部分系統(tǒng)都不具備的功能。假設(shè)某公司要搭建一個虛擬機系統(tǒng),公司總共有1萬人,按照每個人40G系統(tǒng)盤、200G數(shù)據(jù)盤來計劃,不包含副本的情況下,需要2 400T的存儲空間。采用上述快照方案后,首先創(chuàng)建一個卷用來卷操作系統(tǒng),然后創(chuàng)建快照,再基于這個快照創(chuàng)建1萬個卷。這需要的空間為2 000T+40G。節(jié)省了16.7%的資源,如果再加上資源共享部分,能節(jié)省的空間更多。

    (2)網(wǎng)盤

    網(wǎng)盤是當(dāng)前非常流行的一個應(yīng)用,廠商動不動就給用戶提供上G甚至T級的空間,如果用戶上百萬或千萬,那這個存儲需求是驚人的。但其實真正用到這么大的空間的是少數(shù),大部分用戶只是用到了其中一小部分,這樣采用使用時分配的原則,可以節(jié)省大量的資源。

    (3)企業(yè)資料共享

    說到企業(yè)的資料共享,基本每個企業(yè)都有一個龐大的資料庫,往往是存放在一個共享主機上,員工通過網(wǎng)絡(luò)訪問,這樣不僅會造成高峰期的網(wǎng)絡(luò)阻塞,并且同樣的文檔在每個用戶的機器上都會存在一份,特別是對于大型的軟件,例如Office、Oracle等,造成重復(fù)存放,浪費大量的空間。這時可以考慮上面的方案,使用快照軟件創(chuàng)建一個卷,然后將資料放到這個卷上,創(chuàng)建快照,基于這個快照創(chuàng)建任意多的卷,給每個員工一個可用的卷,員工直接將卷掛載在本地當(dāng)本地磁盤使用。這樣給每個員工的數(shù)據(jù)磁盤可以大大減小。當(dāng)然,這里還會涉及到信息管理的問題。

    (4)數(shù)據(jù)備份與恢復(fù)

    除了上面的應(yīng)用,基于卷的快照技術(shù)還有備份與恢復(fù)、隨時備份、隨時恢復(fù)的功能。

    5 總結(jié)

    快照技術(shù)自發(fā)明以來,一直在不斷的發(fā)展,人們對其進(jìn)行了大量的改進(jìn),時間和空間的利用率都得到了不同程度的提高。而基于卷的快照管理是在當(dāng)前快照技術(shù)基礎(chǔ)上對時間和空間利用的改進(jìn),如果能合理地利用,其價值將不可限量。

    近年來,存儲的發(fā)展日新月異,不斷有新產(chǎn)品問世。隨著人類技術(shù)的積累,未來還會有更多的快照技術(shù)問世,能有效地解決當(dāng)前存在的時間、性能、安全性方面的問題,為數(shù)據(jù)存儲和備份領(lǐng)域提供長足的發(fā)展。

    參考文獻(xiàn):

    [1] 劉愛貴. 快照(Snapshot)技術(shù)發(fā)展綜述[EB/OL]. (2009-08-28). http://blog.csdn.net/liuaigui/article/details/4494555.

    [2] 李中,王剛,劉璟. 一種在存儲子系統(tǒng)中實現(xiàn)連續(xù)時間點快照的技術(shù)[J]. 計算機工程與應(yīng)用, 2004(9).

    [3] 李亮. 一種基于持續(xù)數(shù)據(jù)保護(hù)的鏡像系統(tǒng)的研究與實現(xiàn)[D]. 長沙: 國防科學(xué)技術(shù)大學(xué), 2010.

    [4] 袁曉銘. 磁盤陣列系統(tǒng)的快照技術(shù)研究[D]. 武漢: 華中科技大學(xué), 2007.

    [5] 海杰. 設(shè)備層多版本快照的設(shè)計與實現(xiàn)[D]. 武漢: 華中科技大學(xué), 2008.★

    作者簡介

    江乾榮:系統(tǒng)架構(gòu)師,學(xué)士畢業(yè)于湖南大學(xué),現(xiàn)任職于中國移動(深圳)有限公司,主要從事云存儲和云計算的研究工作。

    endprint

    假如此時有請求過來需要訪問塊7的數(shù)據(jù),塊7的KEY是(0,0,1,6),檢查發(fā)現(xiàn)其上沒有數(shù)據(jù),于是尋找其父節(jié)點,找到7,7上有數(shù)據(jù),于是將數(shù)據(jù)讀出。如果請求的是塊6的數(shù)據(jù),發(fā)現(xiàn)上面沒有數(shù)據(jù),向上尋找父節(jié)點6,也沒有數(shù)據(jù),再向上尋找,直到找到根節(jié)點為止,此處6已經(jīng)是根節(jié)點,所以認(rèn)為塊6是空的。

    由此可以看到,卷1上本身是沒有數(shù)據(jù)的,但是通過父節(jié)點可以讀到數(shù)據(jù)。這同樣適用于卷2,卷1和卷2共享數(shù)據(jù)卻互不干擾。

    3.4寫數(shù)據(jù)

    假如收到一個請求,需要修改塊1(0,0,1,0)的數(shù)據(jù),首先按讀數(shù)據(jù)的步驟,將塊1(0,0,0,0)的數(shù)據(jù)讀至內(nèi)存,將需要修改的部分修改,然后再將修改后的數(shù)據(jù)寫入塊1。如果寫的數(shù)據(jù)是一個完整的塊,那么無需執(zhí)行讀動作,直接將數(shù)據(jù)寫入塊1即可。第三種情況,如果需要修改塊3(0,0,1,2),執(zhí)行讀動作時,發(fā)現(xiàn)這個塊上沒有數(shù)據(jù),那么無需修改,直接將數(shù)據(jù)寫入塊3即可,如圖4所示:

    圖4寫數(shù)據(jù)操作

    卷2也可以執(zhí)行同樣的操作,其修改的數(shù)據(jù)保存在自己的邏輯空間里,然后通過一定的算法映射到磁盤的某個位置。

    3.5分析

    對于這一套快照機制,其有如下顯著的特點:

    (1)創(chuàng)建快照非常快,基本不會對系統(tǒng)有任何的負(fù)擔(dān);

    (2)可以根據(jù)快照讀取全量的數(shù)據(jù);

    (3)非常方便數(shù)據(jù)共享,只需基于某快照創(chuàng)建一個卷給用戶使用,就可以讓該用戶擁有這份數(shù)據(jù),關(guān)鍵是用戶并不需要將數(shù)據(jù)拷貝至本地再做備份;

    (4)對于快照和卷的數(shù)量沒有限制,理論上可以無限創(chuàng)建;

    (5)由于是基于邏輯的方式創(chuàng)建卷,所以只需簡單的邏輯就可以實現(xiàn)卷的動態(tài)擴縮容。

    這套機制當(dāng)然也有缺點:數(shù)據(jù)并沒有做到真正意義上的容災(zāi),如果系統(tǒng)出現(xiàn)故障,那么所有數(shù)據(jù)可能丟失,當(dāng)然,想要高的可靠性就還需要其它特征來支持,例如多副本、集群化管理等。

    4 基于卷的快照技術(shù)應(yīng)用

    4.1單機應(yīng)用

    對于單機來說,可以設(shè)計一套類似于LVM的卷管理軟件來取代LVM,在未創(chuàng)建快照時可以提供與LVM等同的功能,創(chuàng)建快照后可以為多用戶提供靈活的需求。如圖5所示:

    圖5快照技術(shù)在單機上的應(yīng)用

    4.2分布式應(yīng)用

    對于分布式來說,其與單機的要求類似,單臺機器并不用太關(guān)心其它機器上數(shù)據(jù)分布情況。當(dāng)用戶要求創(chuàng)建卷時,系統(tǒng)會根據(jù)一定的規(guī)則選擇一個節(jié)點或一臺主機,如果有副本則選擇多個節(jié)點或主機,然后這個卷上的所有操作都會發(fā)送至這個節(jié)點,與單機處理模式一樣。只是有多副本時還需要考慮數(shù)據(jù)一致性的問題。

    4.3應(yīng)用前景

    (1)虛擬機

    現(xiàn)在很多公司在計劃虛擬機,采用虛擬機除了可以讓資源得到統(tǒng)一管理、減少PC的采購、信息安全外,還有一個很重要的點就是節(jié)省資源,這是當(dāng)前大部分系統(tǒng)都不具備的功能。假設(shè)某公司要搭建一個虛擬機系統(tǒng),公司總共有1萬人,按照每個人40G系統(tǒng)盤、200G數(shù)據(jù)盤來計劃,不包含副本的情況下,需要2 400T的存儲空間。采用上述快照方案后,首先創(chuàng)建一個卷用來卷操作系統(tǒng),然后創(chuàng)建快照,再基于這個快照創(chuàng)建1萬個卷。這需要的空間為2 000T+40G。節(jié)省了16.7%的資源,如果再加上資源共享部分,能節(jié)省的空間更多。

    (2)網(wǎng)盤

    網(wǎng)盤是當(dāng)前非常流行的一個應(yīng)用,廠商動不動就給用戶提供上G甚至T級的空間,如果用戶上百萬或千萬,那這個存儲需求是驚人的。但其實真正用到這么大的空間的是少數(shù),大部分用戶只是用到了其中一小部分,這樣采用使用時分配的原則,可以節(jié)省大量的資源。

    (3)企業(yè)資料共享

    說到企業(yè)的資料共享,基本每個企業(yè)都有一個龐大的資料庫,往往是存放在一個共享主機上,員工通過網(wǎng)絡(luò)訪問,這樣不僅會造成高峰期的網(wǎng)絡(luò)阻塞,并且同樣的文檔在每個用戶的機器上都會存在一份,特別是對于大型的軟件,例如Office、Oracle等,造成重復(fù)存放,浪費大量的空間。這時可以考慮上面的方案,使用快照軟件創(chuàng)建一個卷,然后將資料放到這個卷上,創(chuàng)建快照,基于這個快照創(chuàng)建任意多的卷,給每個員工一個可用的卷,員工直接將卷掛載在本地當(dāng)本地磁盤使用。這樣給每個員工的數(shù)據(jù)磁盤可以大大減小。當(dāng)然,這里還會涉及到信息管理的問題。

    (4)數(shù)據(jù)備份與恢復(fù)

    除了上面的應(yīng)用,基于卷的快照技術(shù)還有備份與恢復(fù)、隨時備份、隨時恢復(fù)的功能。

    5 總結(jié)

    快照技術(shù)自發(fā)明以來,一直在不斷的發(fā)展,人們對其進(jìn)行了大量的改進(jìn),時間和空間的利用率都得到了不同程度的提高。而基于卷的快照管理是在當(dāng)前快照技術(shù)基礎(chǔ)上對時間和空間利用的改進(jìn),如果能合理地利用,其價值將不可限量。

    近年來,存儲的發(fā)展日新月異,不斷有新產(chǎn)品問世。隨著人類技術(shù)的積累,未來還會有更多的快照技術(shù)問世,能有效地解決當(dāng)前存在的時間、性能、安全性方面的問題,為數(shù)據(jù)存儲和備份領(lǐng)域提供長足的發(fā)展。

    參考文獻(xiàn):

    [1] 劉愛貴. 快照(Snapshot)技術(shù)發(fā)展綜述[EB/OL]. (2009-08-28). http://blog.csdn.net/liuaigui/article/details/4494555.

    [2] 李中,王剛,劉璟. 一種在存儲子系統(tǒng)中實現(xiàn)連續(xù)時間點快照的技術(shù)[J]. 計算機工程與應(yīng)用, 2004(9).

    [3] 李亮. 一種基于持續(xù)數(shù)據(jù)保護(hù)的鏡像系統(tǒng)的研究與實現(xiàn)[D]. 長沙: 國防科學(xué)技術(shù)大學(xué), 2010.

    [4] 袁曉銘. 磁盤陣列系統(tǒng)的快照技術(shù)研究[D]. 武漢: 華中科技大學(xué), 2007.

    [5] 海杰. 設(shè)備層多版本快照的設(shè)計與實現(xiàn)[D]. 武漢: 華中科技大學(xué), 2008.★

    作者簡介

    江乾榮:系統(tǒng)架構(gòu)師,學(xué)士畢業(yè)于湖南大學(xué),現(xiàn)任職于中國移動(深圳)有限公司,主要從事云存儲和云計算的研究工作。

    endprint

    猜你喜歡
    快照單機備份
    EMC存儲快照功能分析
    熱連軋單機架粗軋機中間坯側(cè)彎廢鋼成因及對策
    創(chuàng)建vSphere 備份任務(wù)
    宇航通用單機訂單式管理模式構(gòu)建與實踐
    創(chuàng)建磁盤組備份快照
    舊瓶裝新酒天宮二號從備份變實驗室
    數(shù)據(jù)恢復(fù)的快照策略
    一張“快照”搞定人體安檢
    筑路機械單機核算的思考與研究
    出版原圖數(shù)據(jù)庫遷移與備份恢復(fù)
    一级作爱视频免费观看| 午夜免费成人在线视频| 精品国产美女av久久久久小说| 啦啦啦 在线观看视频| 18禁裸乳无遮挡免费网站照片 | 搡老乐熟女国产| 黑人欧美特级aaaaaa片| 搡老熟女国产l中国老女人| 97人妻天天添夜夜摸| 久久精品亚洲精品国产色婷小说| 国产精品久久久久成人av| 美女国产高潮福利片在线看| 一区二区三区激情视频| 人人妻,人人澡人人爽秒播| 午夜福利乱码中文字幕| 久久香蕉国产精品| 啪啪无遮挡十八禁网站| 亚洲色图 男人天堂 中文字幕| 狂野欧美激情性xxxx| av国产精品久久久久影院| 丁香六月欧美| 成人永久免费在线观看视频| 最新在线观看一区二区三区| 91麻豆av在线| 亚洲精品久久午夜乱码| 亚洲av成人一区二区三| 岛国在线观看网站| 老司机靠b影院| 精品一品国产午夜福利视频| 亚洲精品国产色婷婷电影| 精品久久久久久电影网| 亚洲精品乱久久久久久| 男女高潮啪啪啪动态图| 久久人人爽av亚洲精品天堂| 热re99久久国产66热| 国产精品免费视频内射| 宅男免费午夜| 1024视频免费在线观看| 久久国产精品人妻蜜桃| 亚洲国产欧美日韩在线播放| 90打野战视频偷拍视频| 欧美色视频一区免费| 可以免费在线观看a视频的电影网站| 黄片播放在线免费| 悠悠久久av| 99re6热这里在线精品视频| 超色免费av| 国产人伦9x9x在线观看| 亚洲专区国产一区二区| 国产不卡av网站在线观看| 高清黄色对白视频在线免费看| x7x7x7水蜜桃| 免费在线观看视频国产中文字幕亚洲| 99re在线观看精品视频| 1024视频免费在线观看| 午夜免费鲁丝| 日韩制服丝袜自拍偷拍| 精品免费久久久久久久清纯 | 亚洲国产欧美日韩在线播放| 国产日韩欧美亚洲二区| 老司机影院毛片| 无人区码免费观看不卡| 日韩免费高清中文字幕av| 精品人妻1区二区| 国产一区二区激情短视频| 操出白浆在线播放| 精品国产国语对白av| 婷婷精品国产亚洲av在线 | 99国产精品一区二区三区| 女人被躁到高潮嗷嗷叫费观| 黑丝袜美女国产一区| 美女 人体艺术 gogo| 9色porny在线观看| 麻豆成人av在线观看| 欧美日韩亚洲高清精品| 国产成人系列免费观看| 一二三四社区在线视频社区8| 精品福利永久在线观看| 操出白浆在线播放| 亚洲欧美一区二区三区久久| 亚洲国产看品久久| 欧美日韩成人在线一区二区| 久久人人爽av亚洲精品天堂| www.自偷自拍.com| 国产成人精品久久二区二区91| 色综合欧美亚洲国产小说| 老司机亚洲免费影院| 精品一区二区三卡| 国产精品 国内视频| 久久久精品国产亚洲av高清涩受| xxxhd国产人妻xxx| 涩涩av久久男人的天堂| 老鸭窝网址在线观看| www.熟女人妻精品国产| 亚洲精品中文字幕在线视频| 亚洲精品粉嫩美女一区| 69av精品久久久久久| 亚洲成a人片在线一区二区| 国产亚洲精品一区二区www | 久久人妻av系列| 激情视频va一区二区三区| 99精品欧美一区二区三区四区| 18在线观看网站| 日韩一卡2卡3卡4卡2021年| 正在播放国产对白刺激| 脱女人内裤的视频| 亚洲中文字幕日韩| 国产真人三级小视频在线观看| 欧美激情 高清一区二区三区| 亚洲精华国产精华精| 成人黄色视频免费在线看| 国产单亲对白刺激| 久久 成人 亚洲| 黑人巨大精品欧美一区二区mp4| 久久精品国产a三级三级三级| 国产精品久久久人人做人人爽| 成年人免费黄色播放视频| 高清黄色对白视频在线免费看| 亚洲成a人片在线一区二区| 欧美人与性动交α欧美软件| 欧美老熟妇乱子伦牲交| 国产麻豆69| 久久精品亚洲精品国产色婷小说| 美女午夜性视频免费| 亚洲精品美女久久久久99蜜臀| 欧美色视频一区免费| 午夜成年电影在线免费观看| 水蜜桃什么品种好| 亚洲精品国产精品久久久不卡| 中国美女看黄片| 国产亚洲欧美精品永久| 免费观看精品视频网站| 欧美av亚洲av综合av国产av| 国产av又大| 亚洲av成人一区二区三| 黄色女人牲交| 91国产中文字幕| 少妇猛男粗大的猛烈进出视频| 欧美性长视频在线观看| 久久天堂一区二区三区四区| 无人区码免费观看不卡| 亚洲色图av天堂| 99热只有精品国产| 女人精品久久久久毛片| 曰老女人黄片| 国产精品九九99| 欧美丝袜亚洲另类 | xxx96com| 在线视频色国产色| 1024视频免费在线观看| av国产精品久久久久影院| 日韩免费av在线播放| 叶爱在线成人免费视频播放| 久久人妻av系列| 亚洲全国av大片| 国产亚洲精品久久久久5区| 国产精品久久电影中文字幕 | 欧美精品人与动牲交sv欧美| 丰满迷人的少妇在线观看| 国产高清视频在线播放一区| 国产精品久久久久久人妻精品电影| 中文字幕最新亚洲高清| 男人舔女人的私密视频| 国产精品 国内视频| 免费观看精品视频网站| 一级a爱片免费观看的视频| 中国美女看黄片| 丁香六月欧美| 日韩欧美一区二区三区在线观看 | 亚洲欧美日韩另类电影网站| 视频区欧美日本亚洲| 精品欧美一区二区三区在线| 国产欧美日韩一区二区三区在线| 精品免费久久久久久久清纯 | 国产精品一区二区在线观看99| 国产成人免费观看mmmm| 999久久久精品免费观看国产| 视频区欧美日本亚洲| av网站在线播放免费| 在线观看66精品国产| 啦啦啦 在线观看视频| 两人在一起打扑克的视频| 757午夜福利合集在线观看| 国产精品国产av在线观看| 99精品久久久久人妻精品| 欧美人与性动交α欧美软件| 99热只有精品国产| 成熟少妇高潮喷水视频| 国产精品久久久久久精品古装| 国产av精品麻豆| 国产高清videossex| 亚洲全国av大片| 大型av网站在线播放| 50天的宝宝边吃奶边哭怎么回事| 日韩精品免费视频一区二区三区| 国产熟女午夜一区二区三区| av免费在线观看网站| 国产三级黄色录像| 国产日韩一区二区三区精品不卡| 午夜免费成人在线视频| 大香蕉久久成人网| 天天躁日日躁夜夜躁夜夜| 久久精品国产亚洲av香蕉五月 | 日本欧美视频一区| 免费观看a级毛片全部| 国产精品乱码一区二三区的特点 | av视频免费观看在线观看| 一级作爱视频免费观看| 欧美激情久久久久久爽电影 | 在线永久观看黄色视频| 成年女人毛片免费观看观看9 | 欧美精品人与动牲交sv欧美| 国产亚洲精品一区二区www | www日本在线高清视频| 欧美黑人欧美精品刺激| 精品久久蜜臀av无| 大型黄色视频在线免费观看| 色精品久久人妻99蜜桃| 在线国产一区二区在线| 精品人妻在线不人妻| 国产极品粉嫩免费观看在线| 日韩中文字幕欧美一区二区| 亚洲一码二码三码区别大吗| 91在线观看av| 亚洲中文av在线| 午夜成年电影在线免费观看| 午夜影院日韩av| 久久性视频一级片| 777久久人妻少妇嫩草av网站| 欧美激情极品国产一区二区三区| 男女高潮啪啪啪动态图| 国产亚洲精品第一综合不卡| 国产精华一区二区三区| 高清欧美精品videossex| 亚洲成av片中文字幕在线观看| 久久久久视频综合| www.自偷自拍.com| 国产熟女午夜一区二区三区| 亚洲成人免费电影在线观看| 亚洲国产欧美一区二区综合| 欧美人与性动交α欧美软件| 午夜福利在线免费观看网站| 免费观看精品视频网站| 国产精品免费一区二区三区在线 | 大型黄色视频在线免费观看| 欧美乱妇无乱码| 久久精品亚洲熟妇少妇任你| 精品久久久久久久毛片微露脸| 久久久久精品国产欧美久久久| 精品人妻1区二区| 成人手机av| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲成人免费电影在线观看| 夜夜爽天天搞| av不卡在线播放| 捣出白浆h1v1| 在线播放国产精品三级| 午夜影院日韩av| 午夜精品久久久久久毛片777| 手机成人av网站| 国产一区二区三区在线臀色熟女 | 婷婷成人精品国产| 久久天躁狠狠躁夜夜2o2o| 亚洲一区二区三区不卡视频| 色94色欧美一区二区| 91大片在线观看| 久久国产精品男人的天堂亚洲| 久99久视频精品免费| 麻豆乱淫一区二区| 午夜福利在线观看吧| 成人永久免费在线观看视频| 久久国产精品大桥未久av| 人人澡人人妻人| 国产不卡一卡二| 免费不卡黄色视频| 好男人电影高清在线观看| 桃红色精品国产亚洲av| 黑人巨大精品欧美一区二区mp4| 18禁美女被吸乳视频| 精品高清国产在线一区| 国产一区二区激情短视频| 久久影院123| 黑人操中国人逼视频| 国产一卡二卡三卡精品| 高清在线国产一区| 亚洲精品久久成人aⅴ小说| 亚洲欧美激情综合另类| 99久久人妻综合| 久久午夜亚洲精品久久| 国产精品1区2区在线观看. | 成人影院久久| av视频免费观看在线观看| 国产成人免费观看mmmm| 十八禁高潮呻吟视频| 欧美色视频一区免费| 少妇 在线观看| 男女免费视频国产| 亚洲va日本ⅴa欧美va伊人久久| 午夜福利在线免费观看网站| 国产成人精品久久二区二区免费| 国产一区二区激情短视频| 国产在线精品亚洲第一网站| 黄片小视频在线播放| 色综合欧美亚洲国产小说| av线在线观看网站| 国产国语露脸激情在线看| 精品国产超薄肉色丝袜足j| 亚洲一码二码三码区别大吗| 两性午夜刺激爽爽歪歪视频在线观看 | 狠狠狠狠99中文字幕| 国产成人精品久久二区二区免费| 人人妻人人爽人人添夜夜欢视频| 欧美大码av| 午夜福利乱码中文字幕| 免费久久久久久久精品成人欧美视频| 国产精品香港三级国产av潘金莲| 精品午夜福利视频在线观看一区| 国产深夜福利视频在线观看| 欧美色视频一区免费| 午夜两性在线视频| 超色免费av| 水蜜桃什么品种好| 啪啪无遮挡十八禁网站| 天天躁日日躁夜夜躁夜夜| 国产午夜精品久久久久久| 国产成人av激情在线播放| 欧美黑人精品巨大| 欧美另类亚洲清纯唯美| 国产不卡一卡二| 精品久久蜜臀av无| 美女午夜性视频免费| 国产成人免费观看mmmm| 精品人妻1区二区| 中文字幕人妻熟女乱码| 国产精品综合久久久久久久免费 | 欧美黑人精品巨大| svipshipincom国产片| 一级a爱片免费观看的视频| 国产97色在线日韩免费| 久久国产乱子伦精品免费另类| 欧美色视频一区免费| 麻豆乱淫一区二区| 久久性视频一级片| 久久婷婷成人综合色麻豆| 91国产中文字幕| 亚洲欧美激情在线| 亚洲一区二区三区欧美精品| 亚洲成人免费电影在线观看| 两性夫妻黄色片| 一区二区三区激情视频| 欧美日韩视频精品一区| 老司机靠b影院| 两性夫妻黄色片| 日韩中文字幕欧美一区二区| 午夜精品在线福利| 老汉色∧v一级毛片| 午夜精品在线福利| 老熟妇仑乱视频hdxx| 在线观看日韩欧美| 成人国产一区最新在线观看| 国产麻豆69| 丝瓜视频免费看黄片| 99久久国产精品久久久| 欧美+亚洲+日韩+国产| 视频区图区小说| 久久久久久人人人人人| 日本wwww免费看| 日韩欧美国产一区二区入口| 操美女的视频在线观看| 色在线成人网| 亚洲第一欧美日韩一区二区三区| 色在线成人网| 校园春色视频在线观看| 热99久久久久精品小说推荐| 制服人妻中文乱码| 一本一本久久a久久精品综合妖精| 国产aⅴ精品一区二区三区波| 两个人免费观看高清视频| 免费久久久久久久精品成人欧美视频| 欧美午夜高清在线| 人人妻人人添人人爽欧美一区卜| 19禁男女啪啪无遮挡网站| 日日夜夜操网爽| 1024香蕉在线观看| 狂野欧美激情性xxxx| 一进一出抽搐gif免费好疼 | 欧美日韩亚洲综合一区二区三区_| 亚洲一区高清亚洲精品| 国产精品亚洲一级av第二区| 欧美日韩中文字幕国产精品一区二区三区 | 午夜成年电影在线免费观看| 午夜视频精品福利| 香蕉国产在线看| 午夜两性在线视频| 狠狠婷婷综合久久久久久88av| 亚洲欧洲精品一区二区精品久久久| 亚洲欧美色中文字幕在线| 欧美丝袜亚洲另类 | 黑人巨大精品欧美一区二区蜜桃| 色婷婷av一区二区三区视频| 美女午夜性视频免费| 高清av免费在线| 久久精品aⅴ一区二区三区四区| 黑人猛操日本美女一级片| 亚洲视频免费观看视频| 一级毛片女人18水好多| 亚洲人成77777在线视频| 香蕉久久夜色| 天天操日日干夜夜撸| 亚洲色图av天堂| 国产黄色免费在线视频| 身体一侧抽搐| 精品久久久久久电影网| 久久国产精品男人的天堂亚洲| 美女扒开内裤让男人捅视频| 亚洲视频免费观看视频| 亚洲色图综合在线观看| 成年人免费黄色播放视频| 亚洲中文日韩欧美视频| 日本a在线网址| 老熟妇乱子伦视频在线观看| 亚洲五月婷婷丁香| 男人舔女人的私密视频| 女人被狂操c到高潮| 国产真人三级小视频在线观看| 夫妻午夜视频| 日本精品一区二区三区蜜桃| e午夜精品久久久久久久| 亚洲精品在线美女| 黄色片一级片一级黄色片| 国产亚洲一区二区精品| 一进一出抽搐动态| 丁香欧美五月| 午夜福利,免费看| 国产激情欧美一区二区| 叶爱在线成人免费视频播放| 欧美日韩精品网址| 欧美精品一区二区免费开放| av线在线观看网站| 成熟少妇高潮喷水视频| 精品乱码久久久久久99久播| 中文字幕高清在线视频| 满18在线观看网站| 日本黄色视频三级网站网址 | 欧美av亚洲av综合av国产av| 大码成人一级视频| 欧美老熟妇乱子伦牲交| 成人精品一区二区免费| 亚洲七黄色美女视频| 黄色成人免费大全| 久久香蕉激情| 乱人伦中国视频| 久久久久视频综合| 国产欧美日韩一区二区三| 怎么达到女性高潮| 亚洲九九香蕉| 侵犯人妻中文字幕一二三四区| 在线观看免费日韩欧美大片| 老熟女久久久| 大码成人一级视频| 亚洲,欧美精品.| 久久 成人 亚洲| 黄频高清免费视频| 国产视频一区二区在线看| 久久香蕉激情| 亚洲欧美色中文字幕在线| 多毛熟女@视频| 午夜免费观看网址| 看黄色毛片网站| 男女之事视频高清在线观看| 中文亚洲av片在线观看爽 | 亚洲国产毛片av蜜桃av| www.熟女人妻精品国产| 五月开心婷婷网| 欧美性长视频在线观看| 在线观看免费日韩欧美大片| 午夜免费成人在线视频| 色尼玛亚洲综合影院| 亚洲精品美女久久久久99蜜臀| 9191精品国产免费久久| 老鸭窝网址在线观看| 美女视频免费永久观看网站| 久久久国产成人精品二区 | 欧美亚洲 丝袜 人妻 在线| 纯流量卡能插随身wifi吗| 中文字幕色久视频| 亚洲成人国产一区在线观看| 亚洲中文日韩欧美视频| 久久久久久久久久久久大奶| 丝袜在线中文字幕| 精品一区二区三区四区五区乱码| 老熟女久久久| av片东京热男人的天堂| 老司机亚洲免费影院| 国产精品久久久av美女十八| 无人区码免费观看不卡| 中文字幕精品免费在线观看视频| 亚洲国产精品一区二区三区在线| 丝袜美足系列| 99精品欧美一区二区三区四区| 看免费av毛片| 国产欧美日韩精品亚洲av| 欧美最黄视频在线播放免费 | 大片电影免费在线观看免费| 99国产极品粉嫩在线观看| 国产麻豆69| 国产在线观看jvid| 色婷婷av一区二区三区视频| 日韩成人在线观看一区二区三区| 精品欧美一区二区三区在线| 老司机靠b影院| 大香蕉久久成人网| 在线观看66精品国产| 一边摸一边抽搐一进一小说 | 视频在线观看一区二区三区| 精品少妇一区二区三区视频日本电影| 这个男人来自地球电影免费观看| 不卡一级毛片| 久久久国产成人免费| 久久婷婷成人综合色麻豆| 交换朋友夫妻互换小说| 国产精品国产高清国产av | 亚洲国产精品合色在线| 中文字幕人妻丝袜制服| 亚洲一区二区三区不卡视频| 国产男女超爽视频在线观看| 男男h啪啪无遮挡| 久久久久久久午夜电影 | 无限看片的www在线观看| 亚洲性夜色夜夜综合| 好看av亚洲va欧美ⅴa在| 日韩欧美免费精品| 99国产精品一区二区三区| 满18在线观看网站| 欧美不卡视频在线免费观看 | 大香蕉久久网| 成人精品一区二区免费| 黑丝袜美女国产一区| 又黄又粗又硬又大视频| 久久精品国产亚洲av高清一级| 老熟妇乱子伦视频在线观看| 日本一区二区免费在线视频| 人妻 亚洲 视频| 看片在线看免费视频| 亚洲aⅴ乱码一区二区在线播放 | 天天添夜夜摸| 成人特级黄色片久久久久久久| 欧美丝袜亚洲另类 | 成年动漫av网址| 啦啦啦在线免费观看视频4| 亚洲欧美一区二区三区黑人| 久久久久久免费高清国产稀缺| 首页视频小说图片口味搜索| 一本一本久久a久久精品综合妖精| 国产在视频线精品| 欧美乱妇无乱码| 国产成人系列免费观看| 人妻丰满熟妇av一区二区三区 | 女人爽到高潮嗷嗷叫在线视频| 高清毛片免费观看视频网站 | 久久精品国产清高在天天线| 香蕉久久夜色| 后天国语完整版免费观看| 亚洲国产看品久久| 91精品国产国语对白视频| 1024视频免费在线观看| videos熟女内射| 黄色a级毛片大全视频| 亚洲一码二码三码区别大吗| 91字幕亚洲| 国产精品永久免费网站| 精品久久久久久久毛片微露脸| 亚洲熟女毛片儿| 亚洲第一欧美日韩一区二区三区| 日韩三级视频一区二区三区| 黄色成人免费大全| 十分钟在线观看高清视频www| 亚洲久久久国产精品| 色老头精品视频在线观看| 国产极品粉嫩免费观看在线| 热99久久久久精品小说推荐| 高清欧美精品videossex| 久久久国产成人免费| 一区二区日韩欧美中文字幕| 午夜91福利影院| 如日韩欧美国产精品一区二区三区| 国产又爽黄色视频| 91精品国产国语对白视频| 最新的欧美精品一区二区| 日韩成人在线观看一区二区三区| 国产99久久九九免费精品| 色精品久久人妻99蜜桃| 午夜福利视频在线观看免费| 国产精品电影一区二区三区 | 999久久久国产精品视频| 正在播放国产对白刺激| 久久人妻熟女aⅴ| 国产高清视频在线播放一区| 黄色丝袜av网址大全| 免费观看人在逋| 每晚都被弄得嗷嗷叫到高潮| av一本久久久久| 免费观看人在逋| 天天躁夜夜躁狠狠躁躁| 最近最新中文字幕大全电影3 | 久久精品国产综合久久久| 欧美成狂野欧美在线观看| 久久亚洲精品不卡| 搡老熟女国产l中国老女人| 国产熟女午夜一区二区三区| 精品国产美女av久久久久小说| 超碰成人久久| 久久久精品国产亚洲av高清涩受| 一本一本久久a久久精品综合妖精| 老熟妇乱子伦视频在线观看|