• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    容災(zāi)備份技術(shù)、產(chǎn)品和應(yīng)用現(xiàn)狀的分析與研究

    2014-07-18 02:41:08王浩銘穆道生周勇
    電腦知識(shí)與技術(shù) 2014年13期

    王浩銘 穆道生 周勇

    摘要:該文首先結(jié)合不同應(yīng)用背景給出了容災(zāi)備份技術(shù)的系統(tǒng)結(jié)構(gòu),對(duì)位于該系統(tǒng)結(jié)構(gòu)中不同層次的容災(zāi)備份技術(shù)進(jìn)行了詳細(xì)的闡述,其次分析了本地容災(zāi)、異地容災(zāi)、數(shù)據(jù)容災(zāi)和應(yīng)用容災(zāi)方案的工作原理和各自特點(diǎn),最后給出對(duì)應(yīng)的產(chǎn)品和方案并完成對(duì)不同容災(zāi)備份方法的分析與比較。

    關(guān)鍵詞: 容災(zāi)備份; SAN; ISCSI; RAID; 災(zāi)難檢測(cè)

    中圖分類號(hào):TP302.8 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2014)13-2914-05

    Analysis and Research of Disaster Backup Technology, Product and Application

    WANG Hao-ming,MU Dao-sheng,ZHOU Yong

    (Equipment Academy, Beijing 101416, China)

    Abstract:Firstly,a system structure of disaster tolerance technology was put forward combining with different application background and disaster backup technology of different levels of the system structure was detailed introduced in this paper. Secondly,the working principle and the characteristics of local disaster tolerant plan,remote disaster tolerant plan,data disaster tolerance plan and application disaster tolerance plan were analyzed. Finally, the corresponding products and solutions of different disaster backup method were put forward and compared.

    Key words:disaster recovery and backup; SAN; ISCSI; RAID; disaster detection

    1 概述

    計(jì)算機(jī)技術(shù)的發(fā)展可以分為三個(gè)方向:第一個(gè)方向圍繞計(jì)算處理技術(shù)展開,推動(dòng)計(jì)算機(jī)技術(shù)的普及應(yīng)用;第二個(gè)方向圍繞信息傳輸技術(shù)展開,推動(dòng)信息數(shù)字化時(shí)代的到來(lái);第三個(gè)方向圍繞信息存儲(chǔ)技術(shù)展開,逐漸提升信息的安全性和高可用性。近年來(lái)隨著社會(huì)對(duì)信息的依賴程度日益加深,對(duì)第三個(gè)方向也就是信息存儲(chǔ)方向容災(zāi)備份技術(shù)的研究逐漸成為研究的熱點(diǎn)。容災(zāi)備份是保護(hù)IT系統(tǒng)中重要數(shù)據(jù)和保障系統(tǒng)業(yè)務(wù)連續(xù)性所做的冗余工作,按照距離分為本地和異地容災(zāi),按照功能分為數(shù)據(jù)級(jí)容災(zāi)和應(yīng)用級(jí)容災(zāi)。該文介紹并分析不同應(yīng)用背景下的容災(zāi)備份技術(shù),同時(shí)例舉出所對(duì)應(yīng)的市場(chǎng)產(chǎn)品和解決方案[1]。

    2 容災(zāi)備份技術(shù)的體系結(jié)構(gòu)

    本文從容災(zāi)備份不同的應(yīng)用背景,將容災(zāi)系統(tǒng)分為本地?cái)?shù)據(jù)容災(zāi)、本地應(yīng)用容災(zāi)、異地?cái)?shù)據(jù)容災(zāi)和異地應(yīng)用容災(zāi)[2]。提出容災(zāi)備份技術(shù)體系結(jié)構(gòu),如圖1所示。

    圖1 容災(zāi)備份技術(shù)體系結(jié)構(gòu)

    3 本地容災(zāi)

    本地容災(zāi)適用于區(qū)域范圍小、容災(zāi)級(jí)別并不很高的環(huán)境,通過(guò)對(duì)業(yè)務(wù)系統(tǒng)的有效冗余和對(duì)失效點(diǎn)的切換來(lái)實(shí)現(xiàn)。包括兩方面內(nèi)容,一方面通過(guò)各個(gè)環(huán)節(jié)要素自身的可靠性來(lái)實(shí)現(xiàn)本地?cái)?shù)據(jù)容災(zāi),另一方面通過(guò)生產(chǎn)中心冗余系統(tǒng)實(shí)現(xiàn)本地應(yīng)用容災(zāi)。

    3.1本地?cái)?shù)據(jù)容災(zāi)技術(shù)

    RAID[3](磁盤陣列)提出將若干磁盤條紋化組成一組虛擬的整體存儲(chǔ)空間,從而可以執(zhí)行磁盤并行I/O操作,提高存儲(chǔ)性能。一般分為六種結(jié)構(gòu)分別是RAID0~5,RAID0在存儲(chǔ)性能上得到提升,沒有容災(zāi)作用;RAID1即鏡像技術(shù),通過(guò)額外數(shù)據(jù)拷貝達(dá)到容災(zāi)的效果。工作原理如圖2所示:生產(chǎn)系統(tǒng)發(fā)出數(shù)據(jù)寫命令,并傳給鏡像系統(tǒng),鏡像系統(tǒng)執(zhí)行數(shù)據(jù)鏡像任務(wù),拷貝數(shù)據(jù)到介質(zhì),鏡像技術(shù)也可以利用互聯(lián)技術(shù)如SAN等達(dá)到遠(yuǎn)程鏡像目的;RAID2利用海明碼糾錯(cuò)布局,在RAID1的基礎(chǔ)上增加一個(gè)校驗(yàn)盤起到容災(zāi)目的,存儲(chǔ)粒度為bit,;RAID3~5利用校驗(yàn)布局,當(dāng)一個(gè)磁盤發(fā)生故障可以通過(guò)磁盤之間的校驗(yàn)關(guān)系還原失效磁盤數(shù)據(jù)。

    圖2 鏡像技術(shù)示意圖

    3.1.1 網(wǎng)絡(luò)存儲(chǔ)技術(shù)

    傳統(tǒng)存儲(chǔ)方式為DAS(Direct-Attached Storage)方式,即服務(wù)器直接與存儲(chǔ)設(shè)備連接,這種方式已經(jīng)難以滿足擴(kuò)展性和高可用性的需求,因此網(wǎng)絡(luò)存儲(chǔ)技術(shù)得到迅速的發(fā)展,包括NAS(Network-Attached Storage),SAN(Storage Area Network)和基于IP的存儲(chǔ)。

    NAS是以網(wǎng)絡(luò)文件服務(wù)器為模型,利用以太網(wǎng)的數(shù)據(jù)訪問(wèn)技術(shù)。用戶可以直接使用它預(yù)先配置好存儲(chǔ)空間和進(jìn)行網(wǎng)絡(luò)文件訪問(wèn)。NAS訪問(wèn)速度優(yōu)于DAS,而且NAS發(fā)生故障并不影響主服務(wù)器的其他操作,具有一定容災(zāi)能力。NAS的結(jié)構(gòu)如圖3所示,擁有異構(gòu)型強(qiáng),利用現(xiàn)有LAN網(wǎng)絡(luò)資源節(jié)約預(yù)算,易安裝和廣泛的連接性等優(yōu)點(diǎn)。不足之處是文件訪問(wèn)速度不能滿足在線處理,可擴(kuò)展性差,數(shù)據(jù)備份占用LAN帶寬等。

    圖3 NAS機(jī)構(gòu)示意圖

    SAN一種利用FC(Fibre Channel)等高速互聯(lián)協(xié)議連接起來(lái)的, 可以在服務(wù)器和存儲(chǔ)系統(tǒng)之間, 或者在存儲(chǔ)系統(tǒng)之間直接傳送數(shù)據(jù)的網(wǎng)絡(luò)。SAN如圖4所示,在原有LAN的基礎(chǔ)上建立一個(gè)專用的存儲(chǔ)網(wǎng)絡(luò),分離了存儲(chǔ)和傳輸避免網(wǎng)絡(luò)擁塞。獨(dú)特的結(jié)構(gòu)設(shè)計(jì)和專用協(xié)議是SAN具有高速存取,良好擴(kuò)展性等優(yōu)點(diǎn)。但是利用FC協(xié)議傳輸?shù)腇C-SAN也存在局限性,包括FC協(xié)議下不同廠商設(shè)備互操作性較差,系統(tǒng)構(gòu)建費(fèi)用昂貴,存儲(chǔ)系統(tǒng)異構(gòu)兼容困難等,嚴(yán)重阻礙了SAN的發(fā)展。當(dāng)傳統(tǒng)FC-SAN發(fā)展遇到瓶頸是,通過(guò)IP網(wǎng)絡(luò)協(xié)議完成SAN互聯(lián)成為研究熱,這一部分將在互聯(lián)技術(shù)詳細(xì)講解[4]。

    3.1.2快照技術(shù)

    快照技術(shù)[5](Snapshot)是指關(guān)于指定數(shù)據(jù)集合的可用拷貝,它包括相應(yīng)數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)(的映像),能夠進(jìn)行在線數(shù)據(jù)備份與恢復(fù),為存儲(chǔ)用戶提供了另外一個(gè)數(shù)據(jù)訪問(wèn)通道??煺盏膶?shí)現(xiàn)層次一般是在卷管理層和物理層,分為第一次復(fù)寫時(shí)復(fù)制和I/0重定向兩種方式??煺胀ǔM瓿杀镜卮鎯?chǔ)系統(tǒng)信息備份到本地磁帶庫(kù)的功能,完成以數(shù)據(jù)快速?gòu)?fù)制過(guò)程。

    3.2本地應(yīng)用容災(zāi)技術(shù)

    當(dāng)災(zāi)難發(fā)生時(shí),本地?cái)?shù)據(jù)容災(zāi)技術(shù)雖然保證了數(shù)據(jù)的安全性,但是不可避免會(huì)造成系統(tǒng)應(yīng)用的暫停,在這一點(diǎn)上已經(jīng)不能滿足人們對(duì)重要業(yè)務(wù)提供連續(xù)不間斷服務(wù)的需求,因此需要本地應(yīng)用容災(zāi)技術(shù)提高信息系統(tǒng)的高可用性,消除單點(diǎn)故障,當(dāng)發(fā)生災(zāi)難時(shí)可以在用戶不可察覺的最短時(shí)間迅速接管業(yè)務(wù),確保服務(wù)連續(xù)性。本地應(yīng)用容災(zāi)技術(shù)主要通過(guò)配置多機(jī)環(huán)境來(lái)達(dá)到高可用性,分為雙機(jī)熱備份技術(shù)和本地集群技術(shù)。

    3.2.1雙機(jī)熱備份

    雙機(jī)熱備份技術(shù)是指在本地服務(wù)系統(tǒng)中,采用兩臺(tái)服務(wù)器進(jìn)行冗余容錯(cuò),并分為主從服務(wù)器。通常情況下,主服務(wù)器提供服務(wù),而從服務(wù)器與主服務(wù)器保持一致的工作狀態(tài)但是并不提供服務(wù),當(dāng)主服務(wù)器發(fā)生宕機(jī),從服務(wù)器迅速向系統(tǒng)提供服務(wù)。在具體應(yīng)用中,也可以選擇雙服務(wù)器互為備份同時(shí)向外輸出服務(wù)。

    3.2.2本地集群

    本地集群技術(shù)是由三個(gè)以上獨(dú)立的計(jì)算機(jī)系統(tǒng)構(gòu)成的一個(gè)相互協(xié)調(diào)的群組,作為一個(gè)整體對(duì)外提供服務(wù)。集群系統(tǒng)的其處理能力、I/O性能和高可用性都有大幅提升。集群中每一臺(tái)服務(wù)器稱為一個(gè)節(jié)點(diǎn),當(dāng)其中某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí),集群會(huì)利用基于IP重定向的應(yīng)用遷移技術(shù)將此節(jié)點(diǎn)業(yè)務(wù)轉(zhuǎn)移到其他服務(wù)器執(zhí)行,具體執(zhí)行過(guò)程將在本文后續(xù)給出。

    3.3本地容災(zāi)產(chǎn)品介紹與方案分析

    鼎聯(lián)公司研發(fā)的Lander Cluster多節(jié)點(diǎn)集群一備多和多機(jī)互備模式容災(zāi)解決方案,是利用高可用集群軟件對(duì)系統(tǒng)和數(shù)據(jù)進(jìn)行重新規(guī)劃,將數(shù)據(jù)庫(kù)、文件系統(tǒng)存放在系統(tǒng)盤上。利用集群軟件對(duì)存儲(chǔ)資源進(jìn)行控制,當(dāng)遇到系統(tǒng)故障,則將故障點(diǎn)交給規(guī)定備援服務(wù)器工作,PTO恢復(fù)時(shí)間目標(biāo)系統(tǒng)恢復(fù)時(shí)間在幾十秒。

    飛康公司CDP(Continue Date Protection)實(shí)時(shí)備份方案,利用飛康IPStor存儲(chǔ)虛擬化平臺(tái)和多時(shí)間點(diǎn)自動(dòng)連續(xù)快照技術(shù),實(shí)現(xiàn)I/O級(jí)別的備份粒度和分鐘級(jí)恢復(fù)數(shù)據(jù),而且極少占用主機(jī)和網(wǎng)絡(luò)資源。

    智網(wǎng)科技業(yè)務(wù)應(yīng)急系統(tǒng),利用差異快照技術(shù),IP-SAN存儲(chǔ)技術(shù)和內(nèi)置虛擬化平臺(tái)完成數(shù)據(jù)在線復(fù)制,應(yīng)急系統(tǒng)自動(dòng)化去主機(jī)信息實(shí)分鐘級(jí)別現(xiàn)應(yīng)急接管業(yè)務(wù) ,是一種高性價(jià)比應(yīng)用容災(zāi)手段,方案局限性在于RPO恢復(fù)點(diǎn)目標(biāo)較大。

    本地容災(zāi)可以有效解決單點(diǎn)故障問(wèn)題,但是它的局限性在于不能避免大規(guī)模毀滅性的災(zāi)難,如地震、火災(zāi)、洪水戰(zhàn)爭(zhēng)等。單純的本地容災(zāi)不能全面地保障業(yè)務(wù)連續(xù),此時(shí)異地容災(zāi)技術(shù)成為全面容災(zāi)方案的主要手段,下面對(duì)異地容災(zāi)技術(shù)進(jìn)行闡述。

    4 異地容災(zāi)

    異地容災(zāi)是指生產(chǎn)中心與備份中心在設(shè)計(jì)保持一定物理距離,通過(guò)遠(yuǎn)程容災(zāi)技術(shù)保障數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性,在技術(shù)上分為兩個(gè)層次:異地?cái)?shù)據(jù)容災(zāi)和異地應(yīng)用容災(zāi)。

    4.1異地?cái)?shù)據(jù)容災(zāi)技術(shù)

    異地?cái)?shù)據(jù)容災(zāi)技術(shù)指將本地系統(tǒng)的數(shù)據(jù)在線備份到異地?cái)?shù)據(jù)系統(tǒng)保存,當(dāng)本地發(fā)生災(zāi)難時(shí),異地?cái)?shù)據(jù)可以用來(lái)完成數(shù)據(jù)重構(gòu),起到保護(hù)業(yè)務(wù)數(shù)據(jù)作用,但是不可避免的會(huì)發(fā)生業(yè)務(wù)暫停。異地?cái)?shù)據(jù)容災(zāi)技術(shù)有虛擬存儲(chǔ)技術(shù)和互聯(lián)技術(shù)。

    4.1.1互聯(lián)技術(shù)

    IP存儲(chǔ)技術(shù)作為主要互聯(lián)技術(shù)[6],通過(guò)IP網(wǎng)絡(luò)完成類似SAN的塊級(jí)數(shù)據(jù)傳輸, 分為通過(guò)IP網(wǎng)絡(luò)進(jìn)行FC-SAN互聯(lián)和直接構(gòu)建以IP網(wǎng)絡(luò)協(xié)議為傳輸協(xié)議的IP-SAN兩種方式。與傳統(tǒng)總線協(xié)議SCSI相比IP網(wǎng)絡(luò)存儲(chǔ)協(xié)議FCIP(Fibre Channel over IP)、IFCP(Internet Fibre Channel)和ISCSI(Internet SCSI)具有如下優(yōu)點(diǎn):主機(jī)與外設(shè)分離提高安全性、實(shí)現(xiàn)了資源靈活配置和使用、實(shí)現(xiàn)高性能I/O。FCIP和IFCP是利用網(wǎng)絡(luò)將FC-SAN互聯(lián)的協(xié)議,在IP網(wǎng)絡(luò)和FC-SAN銜接處需要進(jìn)行協(xié)議轉(zhuǎn)換,增加系統(tǒng)復(fù)雜性。

    而ISCSI定義了總線協(xié)議SCSI到IP上傳輸?shù)挠成洌喈?dāng)于在IP網(wǎng)絡(luò)上傳輸SCSI協(xié)議,從而達(dá)到通過(guò)網(wǎng)絡(luò)進(jìn)行I/O操作的目的。如圖5所示,ISCSI可以在IP網(wǎng)絡(luò)上創(chuàng)建一個(gè)共享存儲(chǔ)環(huán)境,利用發(fā)達(dá)的IP網(wǎng)絡(luò)線路作為傳輸通道節(jié)約成本并克服了FC-SAN傳輸距離的限制,將I/O操作從局域網(wǎng)擴(kuò)展到廣域網(wǎng)。

    圖5 ISCSI協(xié)議結(jié)構(gòu)示意圖

    4.1.2虛擬存儲(chǔ)

    存儲(chǔ)體系從DAS發(fā)展到NAS、SAN甚至到IP存儲(chǔ),ISCSI協(xié)議將從總線連接擴(kuò)展到網(wǎng)絡(luò)連接,規(guī)模變得越來(lái)越大,結(jié)構(gòu)變得越來(lái)越復(fù)雜,不得不面臨存儲(chǔ)子系統(tǒng)的異構(gòu)共存問(wèn)題,而虛擬存儲(chǔ)技術(shù)正是高效管理大規(guī)模存儲(chǔ)系統(tǒng)的有效手段。虛擬存儲(chǔ)將不同存儲(chǔ)介質(zhì)和不同結(jié)構(gòu)的存儲(chǔ)子系統(tǒng)通過(guò)軟硬件手段統(tǒng)一到用戶存儲(chǔ)應(yīng)用的技術(shù),可以實(shí)現(xiàn)存儲(chǔ)管理自動(dòng)化與智能化,從而提高存儲(chǔ)效率、節(jié)約成本。

    虛擬化[7]實(shí)現(xiàn)需要在存儲(chǔ)系統(tǒng)中加入一個(gè)新的虛擬化層,根據(jù)虛擬化層的位置可以劃分為在服務(wù)器端、在存儲(chǔ)設(shè)備端和存儲(chǔ)網(wǎng)絡(luò)上的虛擬化:

    基于服務(wù)器的虛擬化將虛擬化層放在SAN中的服務(wù)器上,通過(guò)改造操作系統(tǒng)或者添加映射虛擬化層來(lái)實(shí)現(xiàn)。這種方法不需要特殊硬件,以軟件模塊的形式將虛擬化層嵌入到應(yīng)用服務(wù)器操作系統(tǒng)中,不足之處在于受SAN軟硬件環(huán)境制約,軟件模塊需要具備嵌入不同操作平臺(tái)的能力。另外此虛擬化方法是通過(guò)多服務(wù)器分布式操作實(shí)現(xiàn)的,任何一個(gè)服務(wù)器的不當(dāng)操作會(huì)影響數(shù)據(jù)資源的完整性。

    基于存儲(chǔ)設(shè)備虛擬化將虛擬化層放在存儲(chǔ)設(shè)備的控制器中,這種虛擬方式充分考慮存儲(chǔ)設(shè)備的物理特性,從虛擬化存儲(chǔ)中解放應(yīng)用服務(wù)器,達(dá)到很高的存儲(chǔ)性能。但是這種方法局限于存儲(chǔ)設(shè)備的同構(gòu)環(huán)境,而且價(jià)格高昂,系統(tǒng)調(diào)試管理權(quán)限必須交給存儲(chǔ)設(shè)備廠商。

    存儲(chǔ)網(wǎng)絡(luò)上的虛擬化通過(guò)網(wǎng)絡(luò)智能路由器、交換機(jī),或者增加專用服務(wù)器等方案來(lái)實(shí)現(xiàn),這種技術(shù)是目前虛擬化技術(shù)的主流。

    1) 基于交換機(jī)的虛擬化將虛擬化曾直接放置于交換機(jī),通過(guò)改造或添加中間件的代碼使交換機(jī)同時(shí)完成交換功能和虛擬化功能,為了提高交換機(jī)的性能普遍采用緩存技術(shù)和優(yōu)化的緩存調(diào)度算法。

    2) 基于存儲(chǔ)路由器的虛擬化是隨著SAN存儲(chǔ)路由技術(shù)發(fā)展起來(lái)的,與存儲(chǔ)網(wǎng)絡(luò)中的交換機(jī)相似,具有路由功能和虛擬化功能,通過(guò)完成協(xié)議轉(zhuǎn)換連接不同存儲(chǔ)網(wǎng)絡(luò)。這種方法不需要增加服務(wù)器軟件模塊,減少主機(jī)負(fù)載和復(fù)雜度,而且通過(guò)網(wǎng)絡(luò)中多點(diǎn)路由器還可以解決單點(diǎn)失效問(wèn)題。不足之處在于路由器投資較大。

    3) 基于專用服務(wù)器的虛擬化方式是在SAN中采用一臺(tái)元數(shù)據(jù)服務(wù)器,只負(fù)責(zé)提供存儲(chǔ)虛擬化。當(dāng)應(yīng)用服務(wù)器所需數(shù)據(jù)不在本地存儲(chǔ)空間中,向?qū)S锰摂M存儲(chǔ)服務(wù)器發(fā)出申請(qǐng),專用服務(wù)器將所需數(shù)據(jù)相關(guān)信息發(fā)送給該應(yīng)用服務(wù)器,且在此服務(wù)下次訪問(wèn)同樣數(shù)據(jù)時(shí)無(wú)須申請(qǐng)便可直接存取,大大提高性能。

    4.2 異地應(yīng)用容災(zāi)

    一套完備的容災(zāi)系統(tǒng)除了要提供異地?cái)?shù)據(jù)級(jí)保護(hù),還需要完成業(yè)務(wù)的異地轉(zhuǎn)移提供應(yīng)用級(jí)的容災(zāi),這樣才能保證業(yè)務(wù)高可用和連續(xù)性。應(yīng)用容災(zāi)的目的是保證業(yè)務(wù)的無(wú)縫遷移,使用戶察覺不到產(chǎn)生服務(wù)系統(tǒng)的位置變化。應(yīng)用級(jí)的容災(zāi)是在數(shù)據(jù)級(jí)的基礎(chǔ)上增加對(duì)整個(gè)業(yè)務(wù)的備份,相關(guān)技術(shù)包括:失效檢測(cè)技術(shù)和服務(wù)遷移技術(shù)。

    4.2.1失效檢測(cè)技術(shù)

    失效檢測(cè)表現(xiàn)一種未雨綢繆的主動(dòng)性而不是災(zāi)難發(fā)生后“亡羊補(bǔ)牢”的被動(dòng)性,目前主要災(zāi)難檢測(cè)方法有心跳技術(shù)和檢查點(diǎn)技術(shù)。心跳技術(shù)是系統(tǒng)各個(gè)重要節(jié)點(diǎn)每隔一段時(shí)間都要向外廣播自身的狀態(tài),如果周期內(nèi)節(jié)點(diǎn)廣播消失則證明此節(jié)點(diǎn)失效。檢查點(diǎn)技術(shù)為主動(dòng)檢測(cè)手段,是每隔一段時(shí)間會(huì)對(duì)系統(tǒng)重要節(jié)點(diǎn)進(jìn)行檢測(cè),若周期內(nèi)被檢測(cè)節(jié)點(diǎn)沒有響應(yīng),則認(rèn)為檢測(cè)節(jié)點(diǎn)失效。兩種方法都存在周期問(wèn)題,如果周期太頻繁,會(huì)影響系統(tǒng)性能,占用系統(tǒng)資源;如果間隔時(shí)間過(guò)長(zhǎng),檢測(cè)不靈敏,增加容災(zāi)難度和任務(wù)量。

    4.2.2系統(tǒng)遷移技術(shù)

    系統(tǒng)遷移技術(shù)[8]是保證災(zāi)難發(fā)生時(shí)實(shí)現(xiàn)系統(tǒng)透明的遷移,利用備用系統(tǒng)透明的代替生產(chǎn)系統(tǒng),以保證業(yè)務(wù)連續(xù)性。系統(tǒng)遷移技術(shù)主要分為基于DNS的遷移、基于IP重定向遷移和基于集群的遷移。

    基于DNS遷移技術(shù)利用動(dòng)態(tài)域名解析系統(tǒng)完成業(yè)務(wù)遷移,實(shí)時(shí)性較差;

    基于IP重定向遷移技術(shù)利用重定向設(shè)備實(shí)現(xiàn)容災(zāi)自動(dòng)切換,智能性較高其,原理如圖6所示。

    圖6 IP重定向示意圖

    基于集群遷移技術(shù)指集群中任意節(jié)點(diǎn)出現(xiàn)故障,這個(gè)節(jié)點(diǎn)服務(wù)器的業(yè)務(wù)將由另一臺(tái)服務(wù)器承擔(dān),保證業(yè)務(wù)連續(xù)性,且成本較低。

    4.3 異地容災(zāi)產(chǎn)品與分方案析

    4.3.1 異地?cái)?shù)據(jù)級(jí)容災(zāi)產(chǎn)品與方案

    VERTIAS利用卷管理器將數(shù)據(jù)以異步或是同步方式通過(guò)IP網(wǎng)絡(luò)復(fù)制到遠(yuǎn)程系統(tǒng),無(wú)須復(fù)雜硬件和專用線路,復(fù)制過(guò)程占用主機(jī)性能。

    IBM利用ESS企業(yè)存儲(chǔ)服務(wù)器和PPRC(Peer to Peer Remote Copy)點(diǎn)對(duì)點(diǎn)遠(yuǎn)程復(fù)制技術(shù)的數(shù)據(jù)容災(zāi)方案。PPRC以存儲(chǔ)為基礎(chǔ),提供實(shí)時(shí)、同步與應(yīng)用無(wú)關(guān)的數(shù)據(jù)容災(zāi)方案。通過(guò)專用ESCON通道完成本地ESS存儲(chǔ)服務(wù)器到異地ESS的數(shù)據(jù)傳輸。

    西北工業(yè)大學(xué)李戰(zhàn)懷等人建立一個(gè)基于Linux平臺(tái)的數(shù)據(jù)容災(zāi)系統(tǒng)——DDT(Data DisasterTolerance System on Linux)。DDT系統(tǒng)通過(guò)Linux內(nèi)核嵌入遠(yuǎn)程實(shí)時(shí)復(fù)制和災(zāi)難恢復(fù)機(jī)制,實(shí)現(xiàn)用戶數(shù)據(jù)的動(dòng)態(tài)復(fù)制和災(zāi)難恢復(fù),并結(jié)合快照備份機(jī)制,實(shí)現(xiàn)很高的數(shù)據(jù)容災(zāi)能力。

    四川李濤等人實(shí)現(xiàn)基于Internet的跨平臺(tái)遠(yuǎn)程容災(zāi)系統(tǒng),并提出一種基于Internet的大型文件鏡像模型,具有同步異步切換功能,能夠適應(yīng)多種網(wǎng)絡(luò)狀況,具有良好容錯(cuò)能力和較強(qiáng)實(shí)時(shí)性。

    這些模型和系統(tǒng)融合了SAN、NAS、鏡像、RAID、集群等技術(shù)實(shí)現(xiàn)不同形式的復(fù)制過(guò)程。主要區(qū)別在于所使用的數(shù)據(jù)傳輸技術(shù)不同。

    4.3.2異地應(yīng)用級(jí)容災(zāi)產(chǎn)品與方案

    浪潮公司研發(fā)的HA Cluster集群應(yīng)用容災(zāi)設(shè)計(jì)方案,通過(guò)任意熱備服務(wù)器接管宕機(jī)服務(wù)器,集群熱備服務(wù)器不是固定的,而是根據(jù)服務(wù)器設(shè)定的優(yōu)先級(jí)和互斥性決定的。方案中在軟件設(shè)計(jì)上用Heart Beat作為信息交換樞紐,實(shí)現(xiàn)全面監(jiān)控和失效監(jiān)測(cè)。在監(jiān)測(cè)環(huán)節(jié)引入“浮動(dòng)IP”概念,避免失效切換引起的目標(biāo)服務(wù)器的切換。

    數(shù)騰公司研發(fā)的CDAP持續(xù)數(shù)據(jù)應(yīng)用保障設(shè)備可以提供實(shí)時(shí)容災(zāi)25臺(tái)本地或異地服務(wù)器,產(chǎn)品基于底層卷完成實(shí)時(shí)數(shù)據(jù)備份,結(jié)合虛擬化技術(shù)和專業(yè)的遷移工具實(shí)現(xiàn)多點(diǎn)容災(zāi)和接管業(yè)務(wù),具有一定的硬件結(jié)構(gòu)一體化性和系統(tǒng)兼容性。

    5 結(jié)束語(yǔ)

    現(xiàn)有容災(zāi)備份手段存在運(yùn)維負(fù)擔(dān)大、技術(shù)要求高、兼容性差、應(yīng)急演練難度大等問(wèn)題,為解決信息系統(tǒng)面臨越來(lái)越多的人為或自然不確定因素威脅,需要進(jìn)一步對(duì)容災(zāi)備份技術(shù)深入研究。目前,隨著前沿容災(zāi)技術(shù)如持續(xù)數(shù)據(jù)保護(hù)CDP、多點(diǎn)恢復(fù)等技術(shù)不斷發(fā)展,將會(huì)構(gòu)建更加安全、可靠的數(shù)據(jù)容災(zāi)系統(tǒng)。

    參考文獻(xiàn):

    [1] 劉衛(wèi)平.網(wǎng)絡(luò)存儲(chǔ)中的數(shù)據(jù)容錯(cuò)與容災(zāi)技術(shù)研究[D].西北工業(yè)大學(xué), 2006.

    [2] 劉曉潔,趙奎,曾金全,等.容災(zāi)抗毀系統(tǒng)研究[C].全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集 (下冊(cè)), 2007, 687.

    [3] 陳華英.磁盤陣列 RAID 可靠性分析[J].電子科技大學(xué)學(xué)報(bào),2006,35(3):403-405.

    [4] Sacks D.Demystifying Storage Networking DAS, SAN, NAS, NAS Gateways, Fibre Channel, and iSCSI[J]. IBM Storage Networking, 2001: 3-11.

    [5] 袁曉銘,林安.幾種主流快照技術(shù)的分析比較[J].微處理機(jī), 2008,29(1):127-130.

    [6] 李瓊,郭御風(fēng),劉光明,等.I/O 互聯(lián)技術(shù)及體系結(jié)構(gòu)的研究與發(fā)展[J].計(jì)算機(jī)工程,2006,32(12): 93-95.

    [7] 吳松,金海.存儲(chǔ)虛擬化研究[J].小型微型計(jì)算機(jī)系統(tǒng), 2003, 24(4): 728-732.

    [8] 張曉,張羽.遠(yuǎn)程數(shù)據(jù)庫(kù)遷移技術(shù)研究[J].計(jì)算機(jī)應(yīng)用研究, 2005, 22(4): 106-108.

    虛擬化[7]實(shí)現(xiàn)需要在存儲(chǔ)系統(tǒng)中加入一個(gè)新的虛擬化層,根據(jù)虛擬化層的位置可以劃分為在服務(wù)器端、在存儲(chǔ)設(shè)備端和存儲(chǔ)網(wǎng)絡(luò)上的虛擬化:

    基于服務(wù)器的虛擬化將虛擬化層放在SAN中的服務(wù)器上,通過(guò)改造操作系統(tǒng)或者添加映射虛擬化層來(lái)實(shí)現(xiàn)。這種方法不需要特殊硬件,以軟件模塊的形式將虛擬化層嵌入到應(yīng)用服務(wù)器操作系統(tǒng)中,不足之處在于受SAN軟硬件環(huán)境制約,軟件模塊需要具備嵌入不同操作平臺(tái)的能力。另外此虛擬化方法是通過(guò)多服務(wù)器分布式操作實(shí)現(xiàn)的,任何一個(gè)服務(wù)器的不當(dāng)操作會(huì)影響數(shù)據(jù)資源的完整性。

    基于存儲(chǔ)設(shè)備虛擬化將虛擬化層放在存儲(chǔ)設(shè)備的控制器中,這種虛擬方式充分考慮存儲(chǔ)設(shè)備的物理特性,從虛擬化存儲(chǔ)中解放應(yīng)用服務(wù)器,達(dá)到很高的存儲(chǔ)性能。但是這種方法局限于存儲(chǔ)設(shè)備的同構(gòu)環(huán)境,而且價(jià)格高昂,系統(tǒng)調(diào)試管理權(quán)限必須交給存儲(chǔ)設(shè)備廠商。

    存儲(chǔ)網(wǎng)絡(luò)上的虛擬化通過(guò)網(wǎng)絡(luò)智能路由器、交換機(jī),或者增加專用服務(wù)器等方案來(lái)實(shí)現(xiàn),這種技術(shù)是目前虛擬化技術(shù)的主流。

    1) 基于交換機(jī)的虛擬化將虛擬化曾直接放置于交換機(jī),通過(guò)改造或添加中間件的代碼使交換機(jī)同時(shí)完成交換功能和虛擬化功能,為了提高交換機(jī)的性能普遍采用緩存技術(shù)和優(yōu)化的緩存調(diào)度算法。

    2) 基于存儲(chǔ)路由器的虛擬化是隨著SAN存儲(chǔ)路由技術(shù)發(fā)展起來(lái)的,與存儲(chǔ)網(wǎng)絡(luò)中的交換機(jī)相似,具有路由功能和虛擬化功能,通過(guò)完成協(xié)議轉(zhuǎn)換連接不同存儲(chǔ)網(wǎng)絡(luò)。這種方法不需要增加服務(wù)器軟件模塊,減少主機(jī)負(fù)載和復(fù)雜度,而且通過(guò)網(wǎng)絡(luò)中多點(diǎn)路由器還可以解決單點(diǎn)失效問(wèn)題。不足之處在于路由器投資較大。

    3) 基于專用服務(wù)器的虛擬化方式是在SAN中采用一臺(tái)元數(shù)據(jù)服務(wù)器,只負(fù)責(zé)提供存儲(chǔ)虛擬化。當(dāng)應(yīng)用服務(wù)器所需數(shù)據(jù)不在本地存儲(chǔ)空間中,向?qū)S锰摂M存儲(chǔ)服務(wù)器發(fā)出申請(qǐng),專用服務(wù)器將所需數(shù)據(jù)相關(guān)信息發(fā)送給該應(yīng)用服務(wù)器,且在此服務(wù)下次訪問(wèn)同樣數(shù)據(jù)時(shí)無(wú)須申請(qǐng)便可直接存取,大大提高性能。

    4.2 異地應(yīng)用容災(zāi)

    一套完備的容災(zāi)系統(tǒng)除了要提供異地?cái)?shù)據(jù)級(jí)保護(hù),還需要完成業(yè)務(wù)的異地轉(zhuǎn)移提供應(yīng)用級(jí)的容災(zāi),這樣才能保證業(yè)務(wù)高可用和連續(xù)性。應(yīng)用容災(zāi)的目的是保證業(yè)務(wù)的無(wú)縫遷移,使用戶察覺不到產(chǎn)生服務(wù)系統(tǒng)的位置變化。應(yīng)用級(jí)的容災(zāi)是在數(shù)據(jù)級(jí)的基礎(chǔ)上增加對(duì)整個(gè)業(yè)務(wù)的備份,相關(guān)技術(shù)包括:失效檢測(cè)技術(shù)和服務(wù)遷移技術(shù)。

    4.2.1失效檢測(cè)技術(shù)

    失效檢測(cè)表現(xiàn)一種未雨綢繆的主動(dòng)性而不是災(zāi)難發(fā)生后“亡羊補(bǔ)牢”的被動(dòng)性,目前主要災(zāi)難檢測(cè)方法有心跳技術(shù)和檢查點(diǎn)技術(shù)。心跳技術(shù)是系統(tǒng)各個(gè)重要節(jié)點(diǎn)每隔一段時(shí)間都要向外廣播自身的狀態(tài),如果周期內(nèi)節(jié)點(diǎn)廣播消失則證明此節(jié)點(diǎn)失效。檢查點(diǎn)技術(shù)為主動(dòng)檢測(cè)手段,是每隔一段時(shí)間會(huì)對(duì)系統(tǒng)重要節(jié)點(diǎn)進(jìn)行檢測(cè),若周期內(nèi)被檢測(cè)節(jié)點(diǎn)沒有響應(yīng),則認(rèn)為檢測(cè)節(jié)點(diǎn)失效。兩種方法都存在周期問(wèn)題,如果周期太頻繁,會(huì)影響系統(tǒng)性能,占用系統(tǒng)資源;如果間隔時(shí)間過(guò)長(zhǎng),檢測(cè)不靈敏,增加容災(zāi)難度和任務(wù)量。

    4.2.2系統(tǒng)遷移技術(shù)

    系統(tǒng)遷移技術(shù)[8]是保證災(zāi)難發(fā)生時(shí)實(shí)現(xiàn)系統(tǒng)透明的遷移,利用備用系統(tǒng)透明的代替生產(chǎn)系統(tǒng),以保證業(yè)務(wù)連續(xù)性。系統(tǒng)遷移技術(shù)主要分為基于DNS的遷移、基于IP重定向遷移和基于集群的遷移。

    基于DNS遷移技術(shù)利用動(dòng)態(tài)域名解析系統(tǒng)完成業(yè)務(wù)遷移,實(shí)時(shí)性較差;

    基于IP重定向遷移技術(shù)利用重定向設(shè)備實(shí)現(xiàn)容災(zāi)自動(dòng)切換,智能性較高其,原理如圖6所示。

    圖6 IP重定向示意圖

    基于集群遷移技術(shù)指集群中任意節(jié)點(diǎn)出現(xiàn)故障,這個(gè)節(jié)點(diǎn)服務(wù)器的業(yè)務(wù)將由另一臺(tái)服務(wù)器承擔(dān),保證業(yè)務(wù)連續(xù)性,且成本較低。

    4.3 異地容災(zāi)產(chǎn)品與分方案析

    4.3.1 異地?cái)?shù)據(jù)級(jí)容災(zāi)產(chǎn)品與方案

    VERTIAS利用卷管理器將數(shù)據(jù)以異步或是同步方式通過(guò)IP網(wǎng)絡(luò)復(fù)制到遠(yuǎn)程系統(tǒng),無(wú)須復(fù)雜硬件和專用線路,復(fù)制過(guò)程占用主機(jī)性能。

    IBM利用ESS企業(yè)存儲(chǔ)服務(wù)器和PPRC(Peer to Peer Remote Copy)點(diǎn)對(duì)點(diǎn)遠(yuǎn)程復(fù)制技術(shù)的數(shù)據(jù)容災(zāi)方案。PPRC以存儲(chǔ)為基礎(chǔ),提供實(shí)時(shí)、同步與應(yīng)用無(wú)關(guān)的數(shù)據(jù)容災(zāi)方案。通過(guò)專用ESCON通道完成本地ESS存儲(chǔ)服務(wù)器到異地ESS的數(shù)據(jù)傳輸。

    西北工業(yè)大學(xué)李戰(zhàn)懷等人建立一個(gè)基于Linux平臺(tái)的數(shù)據(jù)容災(zāi)系統(tǒng)——DDT(Data DisasterTolerance System on Linux)。DDT系統(tǒng)通過(guò)Linux內(nèi)核嵌入遠(yuǎn)程實(shí)時(shí)復(fù)制和災(zāi)難恢復(fù)機(jī)制,實(shí)現(xiàn)用戶數(shù)據(jù)的動(dòng)態(tài)復(fù)制和災(zāi)難恢復(fù),并結(jié)合快照備份機(jī)制,實(shí)現(xiàn)很高的數(shù)據(jù)容災(zāi)能力。

    四川李濤等人實(shí)現(xiàn)基于Internet的跨平臺(tái)遠(yuǎn)程容災(zāi)系統(tǒng),并提出一種基于Internet的大型文件鏡像模型,具有同步異步切換功能,能夠適應(yīng)多種網(wǎng)絡(luò)狀況,具有良好容錯(cuò)能力和較強(qiáng)實(shí)時(shí)性。

    這些模型和系統(tǒng)融合了SAN、NAS、鏡像、RAID、集群等技術(shù)實(shí)現(xiàn)不同形式的復(fù)制過(guò)程。主要區(qū)別在于所使用的數(shù)據(jù)傳輸技術(shù)不同。

    4.3.2異地應(yīng)用級(jí)容災(zāi)產(chǎn)品與方案

    浪潮公司研發(fā)的HA Cluster集群應(yīng)用容災(zāi)設(shè)計(jì)方案,通過(guò)任意熱備服務(wù)器接管宕機(jī)服務(wù)器,集群熱備服務(wù)器不是固定的,而是根據(jù)服務(wù)器設(shè)定的優(yōu)先級(jí)和互斥性決定的。方案中在軟件設(shè)計(jì)上用Heart Beat作為信息交換樞紐,實(shí)現(xiàn)全面監(jiān)控和失效監(jiān)測(cè)。在監(jiān)測(cè)環(huán)節(jié)引入“浮動(dòng)IP”概念,避免失效切換引起的目標(biāo)服務(wù)器的切換。

    數(shù)騰公司研發(fā)的CDAP持續(xù)數(shù)據(jù)應(yīng)用保障設(shè)備可以提供實(shí)時(shí)容災(zāi)25臺(tái)本地或異地服務(wù)器,產(chǎn)品基于底層卷完成實(shí)時(shí)數(shù)據(jù)備份,結(jié)合虛擬化技術(shù)和專業(yè)的遷移工具實(shí)現(xiàn)多點(diǎn)容災(zāi)和接管業(yè)務(wù),具有一定的硬件結(jié)構(gòu)一體化性和系統(tǒng)兼容性。

    5 結(jié)束語(yǔ)

    現(xiàn)有容災(zāi)備份手段存在運(yùn)維負(fù)擔(dān)大、技術(shù)要求高、兼容性差、應(yīng)急演練難度大等問(wèn)題,為解決信息系統(tǒng)面臨越來(lái)越多的人為或自然不確定因素威脅,需要進(jìn)一步對(duì)容災(zāi)備份技術(shù)深入研究。目前,隨著前沿容災(zāi)技術(shù)如持續(xù)數(shù)據(jù)保護(hù)CDP、多點(diǎn)恢復(fù)等技術(shù)不斷發(fā)展,將會(huì)構(gòu)建更加安全、可靠的數(shù)據(jù)容災(zāi)系統(tǒng)。

    參考文獻(xiàn):

    [1] 劉衛(wèi)平.網(wǎng)絡(luò)存儲(chǔ)中的數(shù)據(jù)容錯(cuò)與容災(zāi)技術(shù)研究[D].西北工業(yè)大學(xué), 2006.

    [2] 劉曉潔,趙奎,曾金全,等.容災(zāi)抗毀系統(tǒng)研究[C].全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集 (下冊(cè)), 2007, 687.

    [3] 陳華英.磁盤陣列 RAID 可靠性分析[J].電子科技大學(xué)學(xué)報(bào),2006,35(3):403-405.

    [4] Sacks D.Demystifying Storage Networking DAS, SAN, NAS, NAS Gateways, Fibre Channel, and iSCSI[J]. IBM Storage Networking, 2001: 3-11.

    [5] 袁曉銘,林安.幾種主流快照技術(shù)的分析比較[J].微處理機(jī), 2008,29(1):127-130.

    [6] 李瓊,郭御風(fēng),劉光明,等.I/O 互聯(lián)技術(shù)及體系結(jié)構(gòu)的研究與發(fā)展[J].計(jì)算機(jī)工程,2006,32(12): 93-95.

    [7] 吳松,金海.存儲(chǔ)虛擬化研究[J].小型微型計(jì)算機(jī)系統(tǒng), 2003, 24(4): 728-732.

    [8] 張曉,張羽.遠(yuǎn)程數(shù)據(jù)庫(kù)遷移技術(shù)研究[J].計(jì)算機(jī)應(yīng)用研究, 2005, 22(4): 106-108.

    虛擬化[7]實(shí)現(xiàn)需要在存儲(chǔ)系統(tǒng)中加入一個(gè)新的虛擬化層,根據(jù)虛擬化層的位置可以劃分為在服務(wù)器端、在存儲(chǔ)設(shè)備端和存儲(chǔ)網(wǎng)絡(luò)上的虛擬化:

    基于服務(wù)器的虛擬化將虛擬化層放在SAN中的服務(wù)器上,通過(guò)改造操作系統(tǒng)或者添加映射虛擬化層來(lái)實(shí)現(xiàn)。這種方法不需要特殊硬件,以軟件模塊的形式將虛擬化層嵌入到應(yīng)用服務(wù)器操作系統(tǒng)中,不足之處在于受SAN軟硬件環(huán)境制約,軟件模塊需要具備嵌入不同操作平臺(tái)的能力。另外此虛擬化方法是通過(guò)多服務(wù)器分布式操作實(shí)現(xiàn)的,任何一個(gè)服務(wù)器的不當(dāng)操作會(huì)影響數(shù)據(jù)資源的完整性。

    基于存儲(chǔ)設(shè)備虛擬化將虛擬化層放在存儲(chǔ)設(shè)備的控制器中,這種虛擬方式充分考慮存儲(chǔ)設(shè)備的物理特性,從虛擬化存儲(chǔ)中解放應(yīng)用服務(wù)器,達(dá)到很高的存儲(chǔ)性能。但是這種方法局限于存儲(chǔ)設(shè)備的同構(gòu)環(huán)境,而且價(jià)格高昂,系統(tǒng)調(diào)試管理權(quán)限必須交給存儲(chǔ)設(shè)備廠商。

    存儲(chǔ)網(wǎng)絡(luò)上的虛擬化通過(guò)網(wǎng)絡(luò)智能路由器、交換機(jī),或者增加專用服務(wù)器等方案來(lái)實(shí)現(xiàn),這種技術(shù)是目前虛擬化技術(shù)的主流。

    1) 基于交換機(jī)的虛擬化將虛擬化曾直接放置于交換機(jī),通過(guò)改造或添加中間件的代碼使交換機(jī)同時(shí)完成交換功能和虛擬化功能,為了提高交換機(jī)的性能普遍采用緩存技術(shù)和優(yōu)化的緩存調(diào)度算法。

    2) 基于存儲(chǔ)路由器的虛擬化是隨著SAN存儲(chǔ)路由技術(shù)發(fā)展起來(lái)的,與存儲(chǔ)網(wǎng)絡(luò)中的交換機(jī)相似,具有路由功能和虛擬化功能,通過(guò)完成協(xié)議轉(zhuǎn)換連接不同存儲(chǔ)網(wǎng)絡(luò)。這種方法不需要增加服務(wù)器軟件模塊,減少主機(jī)負(fù)載和復(fù)雜度,而且通過(guò)網(wǎng)絡(luò)中多點(diǎn)路由器還可以解決單點(diǎn)失效問(wèn)題。不足之處在于路由器投資較大。

    3) 基于專用服務(wù)器的虛擬化方式是在SAN中采用一臺(tái)元數(shù)據(jù)服務(wù)器,只負(fù)責(zé)提供存儲(chǔ)虛擬化。當(dāng)應(yīng)用服務(wù)器所需數(shù)據(jù)不在本地存儲(chǔ)空間中,向?qū)S锰摂M存儲(chǔ)服務(wù)器發(fā)出申請(qǐng),專用服務(wù)器將所需數(shù)據(jù)相關(guān)信息發(fā)送給該應(yīng)用服務(wù)器,且在此服務(wù)下次訪問(wèn)同樣數(shù)據(jù)時(shí)無(wú)須申請(qǐng)便可直接存取,大大提高性能。

    4.2 異地應(yīng)用容災(zāi)

    一套完備的容災(zāi)系統(tǒng)除了要提供異地?cái)?shù)據(jù)級(jí)保護(hù),還需要完成業(yè)務(wù)的異地轉(zhuǎn)移提供應(yīng)用級(jí)的容災(zāi),這樣才能保證業(yè)務(wù)高可用和連續(xù)性。應(yīng)用容災(zāi)的目的是保證業(yè)務(wù)的無(wú)縫遷移,使用戶察覺不到產(chǎn)生服務(wù)系統(tǒng)的位置變化。應(yīng)用級(jí)的容災(zāi)是在數(shù)據(jù)級(jí)的基礎(chǔ)上增加對(duì)整個(gè)業(yè)務(wù)的備份,相關(guān)技術(shù)包括:失效檢測(cè)技術(shù)和服務(wù)遷移技術(shù)。

    4.2.1失效檢測(cè)技術(shù)

    失效檢測(cè)表現(xiàn)一種未雨綢繆的主動(dòng)性而不是災(zāi)難發(fā)生后“亡羊補(bǔ)牢”的被動(dòng)性,目前主要災(zāi)難檢測(cè)方法有心跳技術(shù)和檢查點(diǎn)技術(shù)。心跳技術(shù)是系統(tǒng)各個(gè)重要節(jié)點(diǎn)每隔一段時(shí)間都要向外廣播自身的狀態(tài),如果周期內(nèi)節(jié)點(diǎn)廣播消失則證明此節(jié)點(diǎn)失效。檢查點(diǎn)技術(shù)為主動(dòng)檢測(cè)手段,是每隔一段時(shí)間會(huì)對(duì)系統(tǒng)重要節(jié)點(diǎn)進(jìn)行檢測(cè),若周期內(nèi)被檢測(cè)節(jié)點(diǎn)沒有響應(yīng),則認(rèn)為檢測(cè)節(jié)點(diǎn)失效。兩種方法都存在周期問(wèn)題,如果周期太頻繁,會(huì)影響系統(tǒng)性能,占用系統(tǒng)資源;如果間隔時(shí)間過(guò)長(zhǎng),檢測(cè)不靈敏,增加容災(zāi)難度和任務(wù)量。

    4.2.2系統(tǒng)遷移技術(shù)

    系統(tǒng)遷移技術(shù)[8]是保證災(zāi)難發(fā)生時(shí)實(shí)現(xiàn)系統(tǒng)透明的遷移,利用備用系統(tǒng)透明的代替生產(chǎn)系統(tǒng),以保證業(yè)務(wù)連續(xù)性。系統(tǒng)遷移技術(shù)主要分為基于DNS的遷移、基于IP重定向遷移和基于集群的遷移。

    基于DNS遷移技術(shù)利用動(dòng)態(tài)域名解析系統(tǒng)完成業(yè)務(wù)遷移,實(shí)時(shí)性較差;

    基于IP重定向遷移技術(shù)利用重定向設(shè)備實(shí)現(xiàn)容災(zāi)自動(dòng)切換,智能性較高其,原理如圖6所示。

    圖6 IP重定向示意圖

    基于集群遷移技術(shù)指集群中任意節(jié)點(diǎn)出現(xiàn)故障,這個(gè)節(jié)點(diǎn)服務(wù)器的業(yè)務(wù)將由另一臺(tái)服務(wù)器承擔(dān),保證業(yè)務(wù)連續(xù)性,且成本較低。

    4.3 異地容災(zāi)產(chǎn)品與分方案析

    4.3.1 異地?cái)?shù)據(jù)級(jí)容災(zāi)產(chǎn)品與方案

    VERTIAS利用卷管理器將數(shù)據(jù)以異步或是同步方式通過(guò)IP網(wǎng)絡(luò)復(fù)制到遠(yuǎn)程系統(tǒng),無(wú)須復(fù)雜硬件和專用線路,復(fù)制過(guò)程占用主機(jī)性能。

    IBM利用ESS企業(yè)存儲(chǔ)服務(wù)器和PPRC(Peer to Peer Remote Copy)點(diǎn)對(duì)點(diǎn)遠(yuǎn)程復(fù)制技術(shù)的數(shù)據(jù)容災(zāi)方案。PPRC以存儲(chǔ)為基礎(chǔ),提供實(shí)時(shí)、同步與應(yīng)用無(wú)關(guān)的數(shù)據(jù)容災(zāi)方案。通過(guò)專用ESCON通道完成本地ESS存儲(chǔ)服務(wù)器到異地ESS的數(shù)據(jù)傳輸。

    西北工業(yè)大學(xué)李戰(zhàn)懷等人建立一個(gè)基于Linux平臺(tái)的數(shù)據(jù)容災(zāi)系統(tǒng)——DDT(Data DisasterTolerance System on Linux)。DDT系統(tǒng)通過(guò)Linux內(nèi)核嵌入遠(yuǎn)程實(shí)時(shí)復(fù)制和災(zāi)難恢復(fù)機(jī)制,實(shí)現(xiàn)用戶數(shù)據(jù)的動(dòng)態(tài)復(fù)制和災(zāi)難恢復(fù),并結(jié)合快照備份機(jī)制,實(shí)現(xiàn)很高的數(shù)據(jù)容災(zāi)能力。

    四川李濤等人實(shí)現(xiàn)基于Internet的跨平臺(tái)遠(yuǎn)程容災(zāi)系統(tǒng),并提出一種基于Internet的大型文件鏡像模型,具有同步異步切換功能,能夠適應(yīng)多種網(wǎng)絡(luò)狀況,具有良好容錯(cuò)能力和較強(qiáng)實(shí)時(shí)性。

    這些模型和系統(tǒng)融合了SAN、NAS、鏡像、RAID、集群等技術(shù)實(shí)現(xiàn)不同形式的復(fù)制過(guò)程。主要區(qū)別在于所使用的數(shù)據(jù)傳輸技術(shù)不同。

    4.3.2異地應(yīng)用級(jí)容災(zāi)產(chǎn)品與方案

    浪潮公司研發(fā)的HA Cluster集群應(yīng)用容災(zāi)設(shè)計(jì)方案,通過(guò)任意熱備服務(wù)器接管宕機(jī)服務(wù)器,集群熱備服務(wù)器不是固定的,而是根據(jù)服務(wù)器設(shè)定的優(yōu)先級(jí)和互斥性決定的。方案中在軟件設(shè)計(jì)上用Heart Beat作為信息交換樞紐,實(shí)現(xiàn)全面監(jiān)控和失效監(jiān)測(cè)。在監(jiān)測(cè)環(huán)節(jié)引入“浮動(dòng)IP”概念,避免失效切換引起的目標(biāo)服務(wù)器的切換。

    數(shù)騰公司研發(fā)的CDAP持續(xù)數(shù)據(jù)應(yīng)用保障設(shè)備可以提供實(shí)時(shí)容災(zāi)25臺(tái)本地或異地服務(wù)器,產(chǎn)品基于底層卷完成實(shí)時(shí)數(shù)據(jù)備份,結(jié)合虛擬化技術(shù)和專業(yè)的遷移工具實(shí)現(xiàn)多點(diǎn)容災(zāi)和接管業(yè)務(wù),具有一定的硬件結(jié)構(gòu)一體化性和系統(tǒng)兼容性。

    5 結(jié)束語(yǔ)

    現(xiàn)有容災(zāi)備份手段存在運(yùn)維負(fù)擔(dān)大、技術(shù)要求高、兼容性差、應(yīng)急演練難度大等問(wèn)題,為解決信息系統(tǒng)面臨越來(lái)越多的人為或自然不確定因素威脅,需要進(jìn)一步對(duì)容災(zāi)備份技術(shù)深入研究。目前,隨著前沿容災(zāi)技術(shù)如持續(xù)數(shù)據(jù)保護(hù)CDP、多點(diǎn)恢復(fù)等技術(shù)不斷發(fā)展,將會(huì)構(gòu)建更加安全、可靠的數(shù)據(jù)容災(zāi)系統(tǒng)。

    參考文獻(xiàn):

    [1] 劉衛(wèi)平.網(wǎng)絡(luò)存儲(chǔ)中的數(shù)據(jù)容錯(cuò)與容災(zāi)技術(shù)研究[D].西北工業(yè)大學(xué), 2006.

    [2] 劉曉潔,趙奎,曾金全,等.容災(zāi)抗毀系統(tǒng)研究[C].全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集 (下冊(cè)), 2007, 687.

    [3] 陳華英.磁盤陣列 RAID 可靠性分析[J].電子科技大學(xué)學(xué)報(bào),2006,35(3):403-405.

    [4] Sacks D.Demystifying Storage Networking DAS, SAN, NAS, NAS Gateways, Fibre Channel, and iSCSI[J]. IBM Storage Networking, 2001: 3-11.

    [5] 袁曉銘,林安.幾種主流快照技術(shù)的分析比較[J].微處理機(jī), 2008,29(1):127-130.

    [6] 李瓊,郭御風(fēng),劉光明,等.I/O 互聯(lián)技術(shù)及體系結(jié)構(gòu)的研究與發(fā)展[J].計(jì)算機(jī)工程,2006,32(12): 93-95.

    [7] 吳松,金海.存儲(chǔ)虛擬化研究[J].小型微型計(jì)算機(jī)系統(tǒng), 2003, 24(4): 728-732.

    [8] 張曉,張羽.遠(yuǎn)程數(shù)據(jù)庫(kù)遷移技術(shù)研究[J].計(jì)算機(jī)應(yīng)用研究, 2005, 22(4): 106-108.

    午夜福利在线观看吧| 久久久久久久久久久丰满| 99久久中文字幕三级久久日本| 99视频精品全部免费 在线| 国产毛片a区久久久久| 欧洲精品卡2卡3卡4卡5卡区| av女优亚洲男人天堂| 日本免费a在线| 日韩中字成人| 婷婷亚洲欧美| 色尼玛亚洲综合影院| 插阴视频在线观看视频| eeuss影院久久| 九草在线视频观看| 欧美色欧美亚洲另类二区| 18禁在线播放成人免费| 久久久久久九九精品二区国产| 精品久久久久久成人av| 日韩av在线大香蕉| 日本色播在线视频| 日韩国内少妇激情av| 直男gayav资源| 国产精品久久视频播放| 精品久久久久久久久亚洲| 久久久久免费精品人妻一区二区| 青春草国产在线视频 | 欧美色视频一区免费| 久久亚洲精品不卡| 麻豆一二三区av精品| 99热这里只有是精品在线观看| 国产亚洲91精品色在线| 寂寞人妻少妇视频99o| 美女被艹到高潮喷水动态| 国产精华一区二区三区| 精品国产三级普通话版| 中文字幕精品亚洲无线码一区| 哪里可以看免费的av片| 日产精品乱码卡一卡2卡三| 看黄色毛片网站| 中文字幕精品亚洲无线码一区| 国产精品女同一区二区软件| 国产亚洲精品久久久com| 悠悠久久av| 国产精品日韩av在线免费观看| 晚上一个人看的免费电影| 久久精品综合一区二区三区| 成人永久免费在线观看视频| 亚洲精品影视一区二区三区av| 国产高清激情床上av| 婷婷亚洲欧美| 国产高清三级在线| 亚洲欧美中文字幕日韩二区| 亚洲欧洲日产国产| av免费观看日本| 美女脱内裤让男人舔精品视频 | 国产精品国产三级国产av玫瑰| 内射极品少妇av片p| av女优亚洲男人天堂| 国产精品一区二区三区四区久久| 成人特级黄色片久久久久久久| 午夜精品国产一区二区电影 | 亚洲在久久综合| 人妻久久中文字幕网| 国产高清有码在线观看视频| 2022亚洲国产成人精品| 午夜免费男女啪啪视频观看| 99riav亚洲国产免费| 淫秽高清视频在线观看| eeuss影院久久| 国产精品不卡视频一区二区| 亚洲欧美日韩高清专用| 亚洲欧美成人综合另类久久久 | av在线亚洲专区| 成人鲁丝片一二三区免费| 欧美zozozo另类| 午夜福利在线观看免费完整高清在 | 国产69精品久久久久777片| 亚洲av免费在线观看| 夜夜看夜夜爽夜夜摸| 久久精品国产99精品国产亚洲性色| 亚洲va在线va天堂va国产| 自拍偷自拍亚洲精品老妇| 亚洲色图av天堂| .国产精品久久| 久99久视频精品免费| 日韩一本色道免费dvd| 亚洲欧美日韩高清在线视频| 日韩欧美国产在线观看| 丝袜喷水一区| 国产欧美日韩精品一区二区| 亚洲天堂国产精品一区在线| 精品日产1卡2卡| 国产成人aa在线观看| 丝袜美腿在线中文| 精品午夜福利在线看| 久久精品夜夜夜夜夜久久蜜豆| 黄片无遮挡物在线观看| 国产爱豆传媒在线观看| 美女脱内裤让男人舔精品视频 | 波野结衣二区三区在线| 大型黄色视频在线免费观看| 成人国产麻豆网| 欧美性猛交╳xxx乱大交人| 色播亚洲综合网| 一级毛片电影观看 | 啦啦啦韩国在线观看视频| 欧美最新免费一区二区三区| 久久人人爽人人片av| 亚洲国产精品成人综合色| 国产不卡一卡二| 内地一区二区视频在线| ponron亚洲| 中文字幕熟女人妻在线| 成年av动漫网址| 热99在线观看视频| 国产精品.久久久| 亚洲不卡免费看| 日韩亚洲欧美综合| 精品午夜福利在线看| 男人舔奶头视频| kizo精华| 亚洲欧美日韩高清在线视频| 国产伦精品一区二区三区四那| 别揉我奶头 嗯啊视频| 激情 狠狠 欧美| 亚洲综合色惰| 1000部很黄的大片| 国产午夜精品一二区理论片| 蜜桃亚洲精品一区二区三区| 国产人妻一区二区三区在| 久久久久久久久久成人| 久久精品国产鲁丝片午夜精品| 精品无人区乱码1区二区| 毛片女人毛片| 亚洲aⅴ乱码一区二区在线播放| 欧美性感艳星| 国产一区二区三区在线臀色熟女| 99在线人妻在线中文字幕| 天堂√8在线中文| 亚洲内射少妇av| 丝袜美腿在线中文| 国内精品宾馆在线| 国产成人aa在线观看| 国产人妻一区二区三区在| 蜜桃久久精品国产亚洲av| 啦啦啦观看免费观看视频高清| 久久久久国产网址| 人妻夜夜爽99麻豆av| 国内揄拍国产精品人妻在线| 欧美一区二区国产精品久久精品| 欧美成人免费av一区二区三区| .国产精品久久| 丰满人妻一区二区三区视频av| 麻豆国产av国片精品| 国产激情偷乱视频一区二区| av天堂在线播放| 天美传媒精品一区二区| 国产精品麻豆人妻色哟哟久久 | 精品久久久久久久末码| 亚洲一区高清亚洲精品| 人人妻人人澡人人爽人人夜夜 | 99久久人妻综合| 网址你懂的国产日韩在线| 22中文网久久字幕| 国产精品三级大全| 麻豆av噜噜一区二区三区| 看免费成人av毛片| 国产精品av视频在线免费观看| 最后的刺客免费高清国语| 亚洲av成人精品一区久久| 国产爱豆传媒在线观看| 少妇猛男粗大的猛烈进出视频 | 国产高清视频在线观看网站| 女人被狂操c到高潮| 婷婷亚洲欧美| 97在线视频观看| 嘟嘟电影网在线观看| 伦理电影大哥的女人| 精品国产三级普通话版| 国产人妻一区二区三区在| 色5月婷婷丁香| 亚洲国产精品sss在线观看| 18禁在线无遮挡免费观看视频| 国产高清三级在线| 国产高潮美女av| 欧美一区二区亚洲| 中文在线观看免费www的网站| 国产精品一区二区性色av| 国产蜜桃级精品一区二区三区| 六月丁香七月| 麻豆国产av国片精品| 精品国产三级普通话版| 97在线视频观看| 给我免费播放毛片高清在线观看| 久久久国产成人精品二区| 日韩一区二区视频免费看| 亚洲av二区三区四区| 边亲边吃奶的免费视频| 日日撸夜夜添| 黄色视频,在线免费观看| 一本一本综合久久| 欧美极品一区二区三区四区| 99精品在免费线老司机午夜| 国产毛片a区久久久久| 亚洲av中文av极速乱| 国产精品一区二区三区四区久久| 久久久色成人| 欧美高清成人免费视频www| 26uuu在线亚洲综合色| 一本久久精品| 少妇的逼水好多| 欧美日本亚洲视频在线播放| 欧美成人一区二区免费高清观看| 国产av麻豆久久久久久久| 欧美日韩在线观看h| 精品久久久久久久末码| 91狼人影院| 国产色婷婷99| 亚洲一区二区三区色噜噜| 黄色视频,在线免费观看| 日本在线视频免费播放| 99久久久亚洲精品蜜臀av| 亚洲av第一区精品v没综合| 亚洲图色成人| 日韩欧美 国产精品| 青青草视频在线视频观看| 亚洲av电影不卡..在线观看| 亚洲精品亚洲一区二区| 能在线免费看毛片的网站| 少妇的逼水好多| 搡女人真爽免费视频火全软件| 高清毛片免费观看视频网站| 91狼人影院| 亚洲一级一片aⅴ在线观看| 免费在线观看成人毛片| 变态另类成人亚洲欧美熟女| 综合色丁香网| 国产精品麻豆人妻色哟哟久久 | 日韩欧美国产在线观看| 国产精品不卡视频一区二区| 极品教师在线视频| 麻豆一二三区av精品| 看十八女毛片水多多多| 欧美日韩综合久久久久久| 国产精品福利在线免费观看| 欧美精品国产亚洲| 国产黄色小视频在线观看| 一本久久中文字幕| 搡老妇女老女人老熟妇| 亚洲熟妇中文字幕五十中出| 国产伦精品一区二区三区视频9| 国产私拍福利视频在线观看| or卡值多少钱| 搡老妇女老女人老熟妇| 欧美zozozo另类| 国产真实乱freesex| 麻豆av噜噜一区二区三区| 亚洲天堂国产精品一区在线| 国产av麻豆久久久久久久| 99久久九九国产精品国产免费| 波多野结衣高清无吗| 亚洲av.av天堂| 夜夜爽天天搞| 亚洲精品456在线播放app| 欧美日韩国产亚洲二区| 久久欧美精品欧美久久欧美| 狂野欧美激情性xxxx在线观看| 给我免费播放毛片高清在线观看| 国产成人a区在线观看| 身体一侧抽搐| 久久韩国三级中文字幕| 99久久精品一区二区三区| 搡女人真爽免费视频火全软件| 美女 人体艺术 gogo| 国产精品1区2区在线观看.| 成年女人永久免费观看视频| 又爽又黄a免费视频| 午夜福利在线在线| 最近手机中文字幕大全| 中国美白少妇内射xxxbb| 精品午夜福利在线看| 极品教师在线视频| 日韩人妻高清精品专区| 一区二区三区免费毛片| 日本熟妇午夜| 深爱激情五月婷婷| 久久精品国产鲁丝片午夜精品| 2021天堂中文幕一二区在线观| 久久国内精品自在自线图片| 色5月婷婷丁香| 欧美精品国产亚洲| 国产综合懂色| 国产 一区精品| 国产亚洲精品久久久com| 岛国毛片在线播放| 一个人免费在线观看电影| 中文字幕久久专区| 久久婷婷人人爽人人干人人爱| 国产亚洲欧美98| av福利片在线观看| 青青草视频在线视频观看| 成人一区二区视频在线观看| 免费av毛片视频| 美女cb高潮喷水在线观看| 亚洲av中文字字幕乱码综合| 2021天堂中文幕一二区在线观| 我要搜黄色片| 老司机福利观看| 亚洲丝袜综合中文字幕| 日本熟妇午夜| 2022亚洲国产成人精品| 久久久久久久久大av| 亚洲av熟女| 精品人妻熟女av久视频| 亚洲美女搞黄在线观看| 亚洲人成网站高清观看| 搞女人的毛片| 欧美激情国产日韩精品一区| 国产亚洲精品久久久久久毛片| 国产极品天堂在线| 亚洲精品成人久久久久久| 精品午夜福利在线看| 亚洲国产精品成人综合色| 少妇熟女欧美另类| 久久人人爽人人片av| 美女高潮的动态| 观看免费一级毛片| 97超碰精品成人国产| 日本五十路高清| 免费看美女性在线毛片视频| 成年免费大片在线观看| 国产精品电影一区二区三区| 国产白丝娇喘喷水9色精品| 免费看a级黄色片| 草草在线视频免费看| 国产成年人精品一区二区| 成人漫画全彩无遮挡| 日本爱情动作片www.在线观看| 精品无人区乱码1区二区| 极品教师在线视频| 男女那种视频在线观看| 又黄又爽又刺激的免费视频.| 人妻制服诱惑在线中文字幕| 日韩一本色道免费dvd| 日韩三级伦理在线观看| 好男人视频免费观看在线| 在线免费十八禁| 看免费成人av毛片| 亚洲成人中文字幕在线播放| 国产视频首页在线观看| 可以在线观看的亚洲视频| 成人综合一区亚洲| 亚洲第一区二区三区不卡| 国产精品人妻久久久影院| 国产精品久久久久久精品电影小说 | 99久国产av精品国产电影| 天堂av国产一区二区熟女人妻| 国产三级在线视频| 卡戴珊不雅视频在线播放| 精品日产1卡2卡| 日本免费一区二区三区高清不卡| 成人性生交大片免费视频hd| 久久久久久九九精品二区国产| 插阴视频在线观看视频| 高清午夜精品一区二区三区 | 国产老妇女一区| 亚洲av一区综合| 亚洲人成网站在线观看播放| 欧美性猛交黑人性爽| 亚洲丝袜综合中文字幕| 91久久精品国产一区二区三区| 波多野结衣巨乳人妻| 国产精品三级大全| 美女被艹到高潮喷水动态| 亚洲精品日韩av片在线观看| 久久韩国三级中文字幕| 天堂影院成人在线观看| 不卡视频在线观看欧美| 精品不卡国产一区二区三区| 国产午夜精品论理片| 成人特级黄色片久久久久久久| 夫妻性生交免费视频一级片| 免费观看在线日韩| 亚洲一级一片aⅴ在线观看| 欧美性感艳星| 国产亚洲av嫩草精品影院| 插阴视频在线观看视频| 国产视频内射| 国产在线精品亚洲第一网站| 久久久久国产网址| 97人妻精品一区二区三区麻豆| 成年女人永久免费观看视频| 99久久精品国产国产毛片| 精品久久久久久久久久久久久| 永久网站在线| 91久久精品国产一区二区三区| 国产精品久久久久久久久免| 国产精品1区2区在线观看.| 我的女老师完整版在线观看| 精品无人区乱码1区二区| 国产毛片a区久久久久| 69av精品久久久久久| 欧美变态另类bdsm刘玥| 中文字幕熟女人妻在线| 午夜久久久久精精品| 爱豆传媒免费全集在线观看| 老司机福利观看| 久久精品夜夜夜夜夜久久蜜豆| 成年免费大片在线观看| 最新中文字幕久久久久| 成年免费大片在线观看| 神马国产精品三级电影在线观看| 免费搜索国产男女视频| 观看免费一级毛片| 寂寞人妻少妇视频99o| 免费看a级黄色片| 国产精品三级大全| 嫩草影院新地址| 99久久精品国产国产毛片| 最近的中文字幕免费完整| 日韩一区二区视频免费看| 日本成人三级电影网站| 欧美最新免费一区二区三区| 寂寞人妻少妇视频99o| 国产av在哪里看| 少妇被粗大猛烈的视频| 综合色丁香网| 人妻久久中文字幕网| 亚洲国产日韩欧美精品在线观看| 精品人妻偷拍中文字幕| 日韩三级伦理在线观看| 成人无遮挡网站| 精品日产1卡2卡| 看黄色毛片网站| 久久精品人妻少妇| 精品免费久久久久久久清纯| 亚洲人与动物交配视频| 亚洲丝袜综合中文字幕| 12—13女人毛片做爰片一| 爱豆传媒免费全集在线观看| 久久久久九九精品影院| 又爽又黄无遮挡网站| 国内精品一区二区在线观看| 99久久久亚洲精品蜜臀av| 日韩精品有码人妻一区| 黑人高潮一二区| 观看美女的网站| 国产亚洲欧美98| 欧美不卡视频在线免费观看| 久久亚洲精品不卡| 99riav亚洲国产免费| 如何舔出高潮| 九草在线视频观看| 亚洲一级一片aⅴ在线观看| 日韩亚洲欧美综合| 久久精品国产鲁丝片午夜精品| 欧美最新免费一区二区三区| 边亲边吃奶的免费视频| 亚洲熟妇中文字幕五十中出| 99久国产av精品| 欧美人与善性xxx| 村上凉子中文字幕在线| 麻豆成人午夜福利视频| 成年女人看的毛片在线观看| 噜噜噜噜噜久久久久久91| av专区在线播放| 精品久久国产蜜桃| 成人美女网站在线观看视频| 国产一区二区亚洲精品在线观看| 真实男女啪啪啪动态图| 26uuu在线亚洲综合色| 国产成人影院久久av| ponron亚洲| 欧美一区二区亚洲| 婷婷亚洲欧美| 一边摸一边抽搐一进一小说| 久久亚洲国产成人精品v| 色吧在线观看| 欧美高清性xxxxhd video| 亚洲自拍偷在线| 亚洲第一电影网av| 亚洲综合色惰| 看片在线看免费视频| 久久精品国产清高在天天线| av专区在线播放| 国产亚洲91精品色在线| 欧美+日韩+精品| 国产精品久久视频播放| 日本成人三级电影网站| 热99re8久久精品国产| .国产精品久久| 国产老妇伦熟女老妇高清| 国产精品不卡视频一区二区| 夜夜爽天天搞| 婷婷精品国产亚洲av| 国产成人影院久久av| 国产毛片a区久久久久| 免费搜索国产男女视频| 亚洲无线观看免费| 一个人观看的视频www高清免费观看| 两性午夜刺激爽爽歪歪视频在线观看| 观看美女的网站| 欧美变态另类bdsm刘玥| 亚洲av一区综合| 人体艺术视频欧美日本| 18禁在线无遮挡免费观看视频| 国内精品美女久久久久久| 午夜老司机福利剧场| 边亲边吃奶的免费视频| 国产美女午夜福利| 久久精品国产自在天天线| 欧美极品一区二区三区四区| 久久欧美精品欧美久久欧美| 国产中年淑女户外野战色| 欧美日韩综合久久久久久| 三级毛片av免费| 亚洲精品自拍成人| 欧美成人精品欧美一级黄| 久久精品国产自在天天线| 国产精品美女特级片免费视频播放器| 一进一出抽搐gif免费好疼| 能在线免费观看的黄片| 成人三级黄色视频| 成年免费大片在线观看| 美女黄网站色视频| 国产精品蜜桃在线观看 | 国产av在哪里看| 国产精品久久电影中文字幕| 国产精品久久久久久精品电影| 麻豆一二三区av精品| 日韩强制内射视频| 欧美最新免费一区二区三区| 一个人观看的视频www高清免费观看| 成人毛片60女人毛片免费| 精品人妻熟女av久视频| 国内精品美女久久久久久| 亚洲va在线va天堂va国产| 又粗又爽又猛毛片免费看| 在线观看午夜福利视频| 波野结衣二区三区在线| 午夜激情欧美在线| 美女大奶头视频| 亚洲图色成人| 噜噜噜噜噜久久久久久91| 午夜精品一区二区三区免费看| 菩萨蛮人人尽说江南好唐韦庄 | 欧美潮喷喷水| 我的女老师完整版在线观看| 直男gayav资源| 美女黄网站色视频| 国产成人午夜福利电影在线观看| 成人特级av手机在线观看| 亚洲无线观看免费| 偷拍熟女少妇极品色| 国产精品国产高清国产av| 人妻少妇偷人精品九色| 在线观看av片永久免费下载| 别揉我奶头 嗯啊视频| 99热网站在线观看| 波多野结衣巨乳人妻| 激情 狠狠 欧美| 看十八女毛片水多多多| 国产中年淑女户外野战色| 日韩欧美精品v在线| 黄色欧美视频在线观看| 成年女人永久免费观看视频| 免费av不卡在线播放| 97热精品久久久久久| 大型黄色视频在线免费观看| 国产中年淑女户外野战色| 亚洲精品日韩在线中文字幕 | 亚洲精品日韩在线中文字幕 | 看非洲黑人一级黄片| 中文字幕久久专区| 波多野结衣高清作品| 成人一区二区视频在线观看| 69av精品久久久久久| 亚洲在久久综合| 一本一本综合久久| 亚洲成人久久性| 国产久久久一区二区三区| 我的女老师完整版在线观看| 内射极品少妇av片p| 嫩草影院入口| 亚洲精品日韩在线中文字幕 | 精品一区二区三区人妻视频| 99热全是精品| 97人妻精品一区二区三区麻豆| 99精品在免费线老司机午夜| 成人漫画全彩无遮挡| 国内精品美女久久久久久| 午夜激情福利司机影院| 边亲边吃奶的免费视频| 日本在线视频免费播放| 亚洲欧美日韩无卡精品| 别揉我奶头 嗯啊视频| 99热网站在线观看| 搞女人的毛片| 免费人成视频x8x8入口观看| 亚洲精品久久久久久婷婷小说 | 日韩高清综合在线| 日韩人妻高清精品专区| 麻豆av噜噜一区二区三区| 又粗又硬又长又爽又黄的视频 | 国产成人精品久久久久久| 精品无人区乱码1区二区| 国产一区二区三区av在线 | 五月玫瑰六月丁香| 麻豆成人av视频| 六月丁香七月| 国产午夜精品久久久久久一区二区三区| 亚洲一区高清亚洲精品| 国产一区二区在线av高清观看| 看黄色毛片网站| 日本欧美国产在线视频|