• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    “雙活”數(shù)據(jù)中心的設(shè)計(jì)實(shí)現(xiàn)

    2016-11-20 03:12:34樊昊
    電信科學(xué) 2016年1期
    關(guān)鍵詞:容災(zāi)網(wǎng)關(guān)備份

    樊昊

    (中國電信股份有限公司泰州分公司,江蘇 泰州 225300)

    “雙活”數(shù)據(jù)中心的設(shè)計(jì)實(shí)現(xiàn)

    樊昊

    (中國電信股份有限公司泰州分公司,江蘇 泰州 225300)

    隨著傳統(tǒng)數(shù)據(jù)中心向云數(shù)據(jù)中心的轉(zhuǎn)變,政府、金融行業(yè)等的信息系統(tǒng)容災(zāi)備份成為確保業(yè)務(wù)連續(xù)性和數(shù)據(jù)可用性的重要手段。雙活或多活的數(shù)據(jù)中心可以提升系統(tǒng)的可用性、提高設(shè)備利用率,成為未來數(shù)據(jù)中心建設(shè)的發(fā)展趨勢(shì)。雙活數(shù)據(jù)中心的實(shí)現(xiàn)涉及網(wǎng)絡(luò)、虛擬化、存儲(chǔ)等技術(shù),從這些層面介紹了數(shù)據(jù)中心實(shí)現(xiàn)雙活的相關(guān)技術(shù),并通過在政務(wù)數(shù)據(jù)中心的實(shí)踐,驗(yàn)證了這一技術(shù)的有效性。

    數(shù)據(jù)中心;雙活;虛擬化;云計(jì)算

    1 引言

    近年來,隨著云計(jì)算和大數(shù)據(jù)的發(fā)展,數(shù)據(jù)中心成為政府、企業(yè)等處理其數(shù)據(jù)、信息的系統(tǒng)中心。信息系統(tǒng)作為政府、企業(yè)從事多項(xiàng)業(yè)務(wù)的基石,其數(shù)據(jù)完整性和可用性是業(yè)務(wù)持續(xù)運(yùn)行的基礎(chǔ)。尤其是涉及民生的政務(wù)系統(tǒng)、金融系統(tǒng)等,絕對(duì)的零數(shù)據(jù)丟失和數(shù)據(jù)完整性要求也是其最典型特征,依賴于常規(guī)的備份系統(tǒng)已經(jīng)難以滿足零數(shù)據(jù)丟失保障的要求。在高數(shù)據(jù)完整性的基礎(chǔ)之上,一些業(yè)務(wù)具有非常高的業(yè)務(wù)連續(xù)性需求,基本保證7×24 h不間斷運(yùn)行。

    針對(duì)大型數(shù)據(jù)中心所面臨單點(diǎn)運(yùn)行風(fēng)險(xiǎn),需要設(shè)計(jì)一套支持零數(shù)據(jù)丟失和業(yè)務(wù)連續(xù)性保障的業(yè)務(wù)連續(xù)性計(jì)劃來加以支撐。主、備數(shù)據(jù)中心間的存儲(chǔ)復(fù)制、數(shù)據(jù)庫復(fù)制、持續(xù)數(shù)據(jù)保護(hù)和多樣化恢復(fù)等手段都應(yīng)該成為數(shù)據(jù)中心業(yè)務(wù)連續(xù)性計(jì)劃的必要組成部分來共同完成業(yè)務(wù)連續(xù)性計(jì)劃目標(biāo)。

    災(zāi)難突發(fā)時(shí)如何保障政府、企業(yè)核心業(yè)務(wù)7×24 h的業(yè)務(wù)連續(xù)性,成為業(yè)界關(guān)注的問題。如何確保數(shù)據(jù)中心在重大災(zāi)難打擊之下繼續(xù)生存,提高業(yè)務(wù)連續(xù)性,是數(shù)據(jù)中心建設(shè)和持續(xù)發(fā)展的基礎(chǔ)性工作。出于業(yè)務(wù)容災(zāi)備份的考慮,一般都會(huì)建設(shè)2個(gè)及以上的數(shù)據(jù)中心:主數(shù)據(jù)中心用于承擔(dān)用戶的業(yè)務(wù),備份數(shù)據(jù)中心用于備份主數(shù)據(jù)中心的數(shù)據(jù)、配置、業(yè)務(wù)等。主備數(shù)據(jù)中心之間主要包括冷備份、熱備份以及雙活3種備份方式。

    冷備份方式:主數(shù)據(jù)中心承擔(dān)業(yè)務(wù),備用數(shù)據(jù)中心不對(duì)主數(shù)據(jù)中心進(jìn)行實(shí)時(shí)備份,而是采用周期性或不定期的方式進(jìn)行備份。一旦主數(shù)據(jù)中心發(fā)生阻斷,業(yè)務(wù)隨之中斷,數(shù)據(jù)中心業(yè)務(wù)恢復(fù)的時(shí)間難以保證。由此可見,冷備份技術(shù)并不是一種真正意義上的災(zāi)備技術(shù),無法適應(yīng)數(shù)據(jù)中心高要求的發(fā)展。

    熱備份方式:主數(shù)據(jù)中心承擔(dān)和響應(yīng)用戶的業(yè)務(wù),備數(shù)據(jù)中心對(duì)主數(shù)據(jù)中心進(jìn)行實(shí)時(shí)的備份。當(dāng)主數(shù)據(jù)中心發(fā)生阻斷時(shí),業(yè)務(wù)從主數(shù)據(jù)中心切換至備數(shù)據(jù)中心,備數(shù)據(jù)中心自動(dòng)接管主數(shù)據(jù)中心的業(yè)務(wù),從而保證業(yè)務(wù)不會(huì)中斷。熱備份方式可以自動(dòng)感知數(shù)據(jù)中心故障并且保證在規(guī)定的RTO(recover time objective,即災(zāi)難發(fā)生后,信息系統(tǒng)從停頓到恢復(fù)正常的時(shí)間要求)時(shí)間內(nèi),應(yīng)用業(yè)務(wù)實(shí)現(xiàn)自動(dòng)切換。

    圖1 雙活數(shù)據(jù)中心拓?fù)?/p>

    雙活方式:由于熱備份方式在通常情況下,備數(shù)據(jù)中心并不承擔(dān)業(yè)務(wù),這對(duì)數(shù)據(jù)中心的建設(shè)投資帶來巨大的壓力,且勢(shì)必造成很大的資源浪費(fèi)。采用雙活的方式,多個(gè)數(shù)據(jù)中心不再有主備之分,同時(shí)承擔(dān)業(yè)務(wù)并在線運(yùn)行。此時(shí),數(shù)據(jù)中心之間互為備份,并且進(jìn)行實(shí)時(shí)備份。如果一個(gè)數(shù)據(jù)中心發(fā)生阻斷,另外一個(gè)數(shù)據(jù)中心仍在正常運(yùn)行,并將承擔(dān)所有業(yè)務(wù)。對(duì)用戶來說是不可感知的,業(yè)務(wù)幾乎不受影響。雙活技術(shù)可采用多種故障檢測(cè)的方式:ICMP monitor、TCP monitor、HTTP monitor、FTP monitor等。還可以實(shí)時(shí)檢測(cè)服務(wù)器的運(yùn)行狀態(tài)、服務(wù)器負(fù)載均衡的情況,即使在沒有故障的時(shí)候也可以根據(jù)應(yīng)用業(yè)務(wù)量在多個(gè)數(shù)據(jù)中心之間調(diào)整。這樣就充分利用了資源,從而避免一個(gè)數(shù)據(jù)中心常年處于閑置狀態(tài)而造成浪費(fèi)。且通過細(xì)致的資源整合,雙活數(shù)據(jù)中心可以提供雙倍的服務(wù)能力。

    2 基礎(chǔ)平臺(tái)設(shè)計(jì)方案

    2.1 設(shè)計(jì)目標(biāo)

    圖1是雙活數(shù)據(jù)中心整體方案的拓?fù)洹?/p>

    為了實(shí)現(xiàn)雙活數(shù)據(jù)中心的設(shè)計(jì),需考慮以下幾個(gè)方面。

    容災(zāi)半徑:是指數(shù)據(jù)中心之間的直線距離,是衡量容災(zāi)方案所能承受的災(zāi)難影響范圍的一個(gè)指標(biāo)。不同災(zāi)難的影響范圍是不同的,而距離也會(huì)影響到容災(zāi)技術(shù)的選擇,如圖2所示。

    圖2 數(shù)據(jù)中心容災(zāi)半徑的選擇

    網(wǎng)絡(luò)層:將實(shí)現(xiàn)雙活的數(shù)據(jù)中心之間的網(wǎng)絡(luò)高速互聯(lián),形成統(tǒng)一網(wǎng)絡(luò),保障數(shù)據(jù)復(fù)制時(shí)效性,同時(shí)保障數(shù)據(jù)庫業(yè)務(wù)、中間件業(yè)務(wù)等系統(tǒng)的訪問順利切換。采用網(wǎng)絡(luò)設(shè)備虛擬化、大二層網(wǎng)絡(luò)等技術(shù),保障網(wǎng)絡(luò)系統(tǒng)的冗余。雙中心采用全局負(fù)載均衡,可以同時(shí)提供業(yè)務(wù)訪問能力。同時(shí)配置安全設(shè)備,保障網(wǎng)絡(luò)安全性。

    數(shù)據(jù)存儲(chǔ)層:采用虛擬化存儲(chǔ)網(wǎng)關(guān)對(duì)異構(gòu)存儲(chǔ)平臺(tái)進(jìn)行存儲(chǔ)虛擬化整合,建設(shè)統(tǒng)一的虛擬化存儲(chǔ)平臺(tái),實(shí)現(xiàn)兩中心的數(shù)據(jù)底層存儲(chǔ)復(fù)制。

    數(shù)據(jù)庫層:采用高端的x86服務(wù)器,利用主機(jī)虛擬化技術(shù),建設(shè)虛擬化服務(wù)器集群,打造高可靠的核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫。兩中心數(shù)據(jù)庫可采用GoldenGate等數(shù)據(jù)庫復(fù)制技術(shù),提供業(yè)務(wù)級(jí)數(shù)據(jù)安全復(fù)制,復(fù)制級(jí)別達(dá)到秒級(jí)、亞秒級(jí)。建議采用數(shù)據(jù)庫讀寫分離技術(shù)進(jìn)行應(yīng)用部署,提高業(yè)務(wù)保障級(jí)別。

    應(yīng)用層:采用服務(wù)器虛擬化技術(shù),建設(shè)虛擬化應(yīng)用服務(wù)器集群,部署中間件和業(yè)務(wù)系統(tǒng),提供應(yīng)用業(yè)務(wù)支撐。采用負(fù)載均衡設(shè)備或者應(yīng)用中間件集群進(jìn)行負(fù)載均衡設(shè)計(jì)。

    2.2 網(wǎng)絡(luò)資源池

    數(shù)據(jù)中心網(wǎng)絡(luò)核心設(shè)備作為整個(gè)網(wǎng)絡(luò)的核心節(jié)點(diǎn),要求設(shè)備可以長時(shí)間不間斷運(yùn)行,考慮足夠的冗余性和安全性。且單板可以熱插拔,便于對(duì)設(shè)備進(jìn)行維護(hù)時(shí)保證業(yè)務(wù)不間斷地運(yùn)行。同時(shí)該設(shè)備還能夠提供高密度的接入,便于接入交換機(jī)、匯聚交換機(jī)的接入。兩個(gè)數(shù)據(jù)中心分別采用2臺(tái)高端的數(shù)據(jù)中心交換機(jī)作為核心交換機(jī),雙機(jī)通過萬兆以太網(wǎng)鏈路進(jìn)行互聯(lián),并采用網(wǎng)絡(luò)虛擬化技術(shù)對(duì)同一層面的設(shè)備進(jìn)行橫向整合,將兩臺(tái)設(shè)備虛擬為一臺(tái)設(shè)備,統(tǒng)一轉(zhuǎn)發(fā)、統(tǒng)一管理,并實(shí)現(xiàn)跨設(shè)備的鏈路捆綁。該方式不會(huì)引入環(huán)路,無需部署STP和VRRP等協(xié)議,極大地簡化網(wǎng)絡(luò)協(xié)議的部署,縮短設(shè)備和鏈路收斂時(shí)間(毫秒級(jí))。鏈路采用負(fù)載分擔(dān)方式工作,資源利用率得到極大的提升。

    網(wǎng)絡(luò)雙活是數(shù)據(jù)中心雙活的基礎(chǔ)。雙活數(shù)據(jù)中心需要將同一個(gè)網(wǎng)絡(luò)擴(kuò)展到多個(gè)數(shù)據(jù)中心,在不同數(shù)據(jù)中心之間可以通過大二層網(wǎng)絡(luò)連接,實(shí)現(xiàn)服務(wù)器和應(yīng)用的虛擬化數(shù)據(jù)中心互聯(lián),如圖3所示。目前,常見的大二層網(wǎng)絡(luò)技術(shù)有IRF、TRILL、SPB、EVI等。另外,VMware、微軟等廠商提出了包括VxLAN、NvGRE在內(nèi)的overlay技術(shù)解決方案,在虛擬化層的vSwitch中將二層數(shù)據(jù)封裝在UDP、GRE報(bào)文中,在物理網(wǎng)絡(luò)拓?fù)渖蠘?gòu)建一層虛擬化網(wǎng)絡(luò)層,從而擺脫對(duì)網(wǎng)絡(luò)設(shè)備層的二層、三層限制。

    圖3 數(shù)據(jù)中心通過二層互聯(lián)

    2.3 存儲(chǔ)資源池

    存儲(chǔ)虛擬化技術(shù)是將底層存儲(chǔ)設(shè)備進(jìn)行抽象化統(tǒng)一管理,向服務(wù)器層屏蔽存儲(chǔ)設(shè)備硬件的特殊性,而只保留其統(tǒng)一的邏輯特性,從而實(shí)現(xiàn)了存儲(chǔ)系統(tǒng)的集中、統(tǒng)一、方便的管理。

    與傳統(tǒng)存儲(chǔ)相比,虛擬化存儲(chǔ)的優(yōu)點(diǎn)主要體現(xiàn)在:磁盤利用率高,傳統(tǒng)存儲(chǔ)技術(shù)的磁盤利用率一般只有30%~70%,而采用虛擬化技術(shù)后的磁盤利用率高達(dá)70%~90%;存儲(chǔ)靈活,可以適應(yīng)不同廠商、不同類別的異構(gòu)存儲(chǔ)平臺(tái),為存儲(chǔ)資源管理提供了更好的靈活性;管理方便,提供了一個(gè)大容量存儲(chǔ)系統(tǒng)集中管理的手段,避免了由于存儲(chǔ)設(shè)備擴(kuò)充所帶來的管理方面的麻煩;性能更好,虛擬化存儲(chǔ)系統(tǒng)可以很好地進(jìn)行負(fù)載均衡,把每一次數(shù)據(jù)訪問所需的帶寬合理地分配到各個(gè)存儲(chǔ)模塊上,提高了系統(tǒng)的整體訪問帶寬。

    存儲(chǔ)資源池采用SAN架構(gòu)技術(shù)構(gòu)建,按照功能分為虛擬化平臺(tái)存儲(chǔ)資源池、數(shù)據(jù)庫平臺(tái)存儲(chǔ)資源池。通過部署存儲(chǔ)虛擬化網(wǎng)關(guān),對(duì)不同廠商的存儲(chǔ)設(shè)備進(jìn)行整合,將數(shù)據(jù)中心存儲(chǔ)虛擬化,實(shí)現(xiàn)異構(gòu)存儲(chǔ)資源池化。存儲(chǔ)虛擬化網(wǎng)關(guān)部署充分考慮到數(shù)據(jù)中心雙活需求,業(yè)務(wù)系統(tǒng)數(shù)據(jù)在幾個(gè)數(shù)據(jù)中心各配置一套,并通過光纖直連、DWDM等設(shè)備直連或WAN等方式實(shí)現(xiàn)連接。采用分布式存儲(chǔ)方式,建立統(tǒng)一的存儲(chǔ)虛擬化資源池,實(shí)現(xiàn)存儲(chǔ)雙活,保障系統(tǒng)數(shù)據(jù)不丟失,如圖4所示。

    圖4 存儲(chǔ)虛擬化網(wǎng)關(guān)部署拓?fù)?/p>

    2.4 計(jì)算資源池

    通過服務(wù)器虛擬化技術(shù)將服務(wù)器物理資源抽象成邏輯資源,讓一臺(tái)服務(wù)器變成幾臺(tái)甚至上百臺(tái)相互隔離的虛擬服務(wù)器,不再受限于物理上的界限,而是讓CPU、內(nèi)存、磁盤、I/O等硬件變成可以動(dòng)態(tài)管理的“資源池”,從而提高資源的利用率,簡化系統(tǒng)管理,實(shí)現(xiàn)服務(wù)器資源池化的整合,提供了更好的可遷移性,讓計(jì)算資源對(duì)業(yè)務(wù)的變化更具適應(yīng)力,如圖5所示。每個(gè)用戶都可以在他們的虛擬機(jī)上運(yùn)行程序、存儲(chǔ)數(shù)據(jù),甚至虛擬機(jī)崩潰也不會(huì)影響系統(tǒng)本身和其他的系統(tǒng)用戶。所以,虛擬機(jī)模型不僅允許資源共享,而且實(shí)現(xiàn)了系統(tǒng)資源的保護(hù)。目前,可選擇的虛擬化主要產(chǎn)品包括VMware vSphere、Citrix XenServer、Oracle VM Server for x86 等。

    圖5 虛擬硬件技術(shù)結(jié)構(gòu)

    不同數(shù)據(jù)中心的虛擬化主機(jī)按業(yè)務(wù)分組組成負(fù)載模式,共同承擔(dān)保證業(yè)務(wù)訪問,實(shí)現(xiàn)兩中心虛擬機(jī)遷移及HA切換等。此外,計(jì)算資源池還要預(yù)留一部分資源,供計(jì)劃內(nèi)維護(hù)業(yè)務(wù)系統(tǒng)時(shí)的資源遷移以及非計(jì)劃內(nèi)意外宕機(jī)等情況,建議每個(gè)虛擬化集群預(yù)留30%的資源池容量。

    3 業(yè)務(wù)容災(zāi)方案

    3.1 業(yè)務(wù)容災(zāi)目標(biāo)

    應(yīng)用級(jí)容災(zāi)從流程上實(shí)現(xiàn)了全業(yè)務(wù)的連續(xù)性需求。在容災(zāi)切換時(shí),除了切換核心的數(shù)據(jù)庫數(shù)據(jù)外,還包含IP地址、中間件服務(wù)、用戶級(jí)業(yè)務(wù)的切換。

    在進(jìn)行容災(zāi)設(shè)計(jì)時(shí),應(yīng)針對(duì)數(shù)據(jù)中心業(yè)務(wù)承接情況給出容災(zāi)的合理化建議,分類實(shí)現(xiàn)容災(zāi)備份系統(tǒng)。以某數(shù)據(jù)中心為例:對(duì)于核心數(shù)據(jù)庫業(yè)務(wù),提供實(shí)時(shí)數(shù)據(jù)保護(hù),實(shí)現(xiàn)實(shí)時(shí)應(yīng)用級(jí)容災(zāi),數(shù)據(jù)庫讀寫分離,分別部署于兩中心;對(duì)于非核心業(yè)務(wù),實(shí)現(xiàn)應(yīng)用級(jí)容災(zāi),數(shù)據(jù)近似零丟失,應(yīng)用業(yè)務(wù)可在兩中心切換,切換時(shí)間取決于業(yè)務(wù)大小,基本在30 min內(nèi)實(shí)現(xiàn)切換。

    3.2 數(shù)據(jù)中心入口選擇

    數(shù)據(jù)中心可選擇多運(yùn)營商接入,通過部署鏈路負(fù)載均衡設(shè)備,用來實(shí)現(xiàn)多廣域網(wǎng)線路選路和冗余備份,使用戶可以通過最快線路訪問數(shù)據(jù)中心內(nèi)部業(yè)務(wù)系統(tǒng),加快了數(shù)據(jù)中心訪問速度。同時(shí),當(dāng)任何一條線路出現(xiàn)故障,用戶依然可以通過另一條廣域網(wǎng)線路訪問數(shù)據(jù)中心服務(wù)器,提高了數(shù)據(jù)中心的可靠性。

    通過全局負(fù)載均衡設(shè)備的智能DNS功能,可以實(shí)現(xiàn)兩數(shù)據(jù)中心的災(zāi)備功能。當(dāng)?shù)谝簧a(chǎn)中心的所有服務(wù)器出現(xiàn)故障或受到攻擊而不能提供服務(wù)時(shí),全局負(fù)載均衡設(shè)備會(huì)引導(dǎo)用戶(自動(dòng)或人工)去第二生產(chǎn)中心訪問業(yè)務(wù)。

    3.3 核心數(shù)據(jù)庫業(yè)務(wù)容災(zāi)

    核心數(shù)據(jù)庫業(yè)務(wù)中業(yè)務(wù)復(fù)雜,訪問量大,包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)重要程度高,要求當(dāng)生產(chǎn)中心發(fā)生嚴(yán)重災(zāi)難時(shí),能實(shí)時(shí)接管并提供應(yīng)用服務(wù),保障業(yè)務(wù)連續(xù)性。

    (1)非結(jié)構(gòu)化數(shù)據(jù)

    非結(jié)構(gòu)化數(shù)據(jù)一般為大量的不同格式的圖片、文檔、音視頻文件等,存放于光纖磁盤陣列上。對(duì)于非結(jié)構(gòu)化數(shù)據(jù),只要數(shù)據(jù)能完整的復(fù)制到災(zāi)備中心,通過相應(yīng)的文件系統(tǒng)格式,就可以進(jìn)行訪問。因此,將非結(jié)構(gòu)化數(shù)據(jù)通過虛擬化存儲(chǔ)網(wǎng)關(guān)進(jìn)行存儲(chǔ)整合后,實(shí)現(xiàn)統(tǒng)一存儲(chǔ)虛擬化,兩中心數(shù)據(jù)完全一致,為上層應(yīng)用提供透明訪問。

    (2)結(jié)構(gòu)化數(shù)據(jù)

    Oracle RAC集群或使用專業(yè)的數(shù)據(jù)庫復(fù)制軟件進(jìn)行異構(gòu)的數(shù)據(jù)庫復(fù)制,是常用的業(yè)務(wù)連續(xù)性解決方案,可實(shí)現(xiàn)數(shù)據(jù)庫層的雙活。

    Oracle RAC可以實(shí)現(xiàn)多節(jié)點(diǎn)多活,并可在節(jié)點(diǎn)之間負(fù)載均衡,從而保證數(shù)據(jù)的唯一性;而支持異構(gòu)的數(shù)據(jù)庫復(fù)制技術(shù),可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)之間實(shí)現(xiàn)大量數(shù)據(jù)的數(shù)據(jù)捕捉、轉(zhuǎn)換和投遞,打破了原來硬件及操作系統(tǒng)等方面的限制,避免了引入過多種類的軟硬件產(chǎn)品,降低了運(yùn)營維護(hù)的復(fù)雜度和投入,有利于災(zāi)備系統(tǒng)的恢復(fù)和切換。

    以數(shù)據(jù)庫復(fù)制軟件GoldenGate為例,由于數(shù)據(jù)庫文件在不同的業(yè)務(wù)平臺(tái)下,數(shù)據(jù)文件和參數(shù)會(huì)有一些區(qū)別,只有實(shí)現(xiàn)兩端數(shù)據(jù)一致性保障,才能確保核心數(shù)據(jù)的安全。GoldenGate可以從數(shù)據(jù)庫的日志中解析數(shù)據(jù)的變化(數(shù)據(jù)量只有日志的1/4左右),然后將數(shù)據(jù)轉(zhuǎn)化為自己的格式,直接通過TCP/IP網(wǎng)絡(luò)傳輸,無需依賴于數(shù)據(jù)庫自身的傳遞方式,而且可以通過很高的壓縮比率對(duì)數(shù)據(jù)進(jìn)行壓縮,大大降低帶寬需求。在目標(biāo)端,可以通過交易重組、分批加載等技術(shù)手段,大大加快數(shù)據(jù)投遞的速度和效率,降低目標(biāo)系統(tǒng)的資源占用,可以在秒級(jí)實(shí)現(xiàn)大量數(shù)據(jù)的復(fù)制。

    此外,采用數(shù)據(jù)庫讀寫分離技術(shù),將讀寫數(shù)據(jù)流分別分擔(dān)于兩中心,進(jìn)行業(yè)務(wù)負(fù)載均衡。當(dāng)數(shù)據(jù)寫操作發(fā)生問題時(shí),不影響數(shù)據(jù)讀操作,且可以用分離的數(shù)據(jù)庫接管主業(yè)務(wù)系統(tǒng)。

    3.4 非核心業(yè)務(wù)容災(zāi)

    非核心業(yè)務(wù)完全承載于數(shù)據(jù)中心的云平臺(tái),全部進(jìn)行業(yè)務(wù)虛擬化。同時(shí)采用基于存儲(chǔ)網(wǎng)關(guān)的統(tǒng)一存儲(chǔ)虛擬化進(jìn)行設(shè)計(jì)。數(shù)據(jù)中心之間通過大二層網(wǎng)絡(luò)互聯(lián),使虛擬機(jī)可以在數(shù)據(jù)中心之間進(jìn)行快速遷移和HA切換。

    4 政務(wù)數(shù)據(jù)中心的雙活實(shí)踐

    隨著政府信息化建設(shè)的不斷推進(jìn),尤其是國家提出建設(shè)智慧城市后,智慧交通、智慧醫(yī)療、智慧教育等平臺(tái)紛紛上馬。各地政府為解決過去電子政務(wù)基礎(chǔ)資源分散、資源難以共享、重復(fù)投資建設(shè)、資源浪費(fèi)等問題,陸續(xù)開始了政務(wù)云數(shù)據(jù)中心的建設(shè),以實(shí)現(xiàn)政務(wù)基礎(chǔ)資源的整合和共享。整合后的政務(wù)數(shù)據(jù)中心具有“大集中”、“虛擬化”、“云計(jì)算”等特征,通過災(zāi)備能夠提供業(yè)務(wù)連續(xù)性,保證各類政務(wù)業(yè)務(wù)的持續(xù)運(yùn)行。

    4.1 方案概述

    某市政府在對(duì)其數(shù)據(jù)中心進(jìn)行資源整合的同時(shí),在兩個(gè)數(shù)據(jù)中心引入了災(zāi)備能力。災(zāi)備選用 “同城雙中心”方案,根據(jù)數(shù)據(jù)中心的業(yè)務(wù)情況,將應(yīng)用的備份分為主備應(yīng)用以及雙活應(yīng)用。拓?fù)涫疽馊鐖D6所示。

    兩個(gè)數(shù)據(jù)中心不是同期建設(shè),因此規(guī)劃和部署了不同網(wǎng)段的IP地址:第一數(shù)據(jù)中心規(guī)劃了10.0.0.0/16網(wǎng)段的IP地址,第二數(shù)據(jù)中心規(guī)劃了20.0.0.0/16網(wǎng)段的IP地址。

    在兩個(gè)數(shù)據(jù)中心增加VxLAN網(wǎng)關(guān)設(shè)備,通過VxLAN技術(shù)在兩個(gè)數(shù)據(jù)中心實(shí)現(xiàn)二層互通。雙中心完成大二層互通后,形成跨越兩個(gè)數(shù)據(jù)中心的統(tǒng)一資源池,虛擬機(jī)可以在雙中心間進(jìn)行遷移。此外,通過IP地址和VLAN的規(guī)劃,將資源池劃分為兩級(jí):一級(jí)資源池的應(yīng)用采用雙活方式進(jìn)行備份,二級(jí)資源池的應(yīng)用采用主備方式進(jìn)行備份。

    進(jìn)行整合的初期,為了保證數(shù)據(jù)中心訪問流量流向在改造實(shí)施后仍與改造前相同,暫時(shí)不在雙中心對(duì)業(yè)務(wù)進(jìn)行負(fù)載均衡。在雙中心的資源池網(wǎng)關(guān)設(shè)備上針對(duì)不同的IP地址段啟用VRRP。通過調(diào)整VRRP優(yōu)先級(jí)以及發(fā)布路由的優(yōu)先級(jí),使外網(wǎng)與10.0.0.0/16網(wǎng)段的交互流量均經(jīng)過第一數(shù)據(jù)中心,外網(wǎng)與20.0.0.0/16網(wǎng)段的交互流量均經(jīng)過第二數(shù)據(jù)中心。即正常情況下,兩個(gè)數(shù)據(jù)中心的二層互通鏈路不承載外網(wǎng)訪問業(yè)務(wù)流量。

    4.2 資源池故障測(cè)試

    當(dāng)?shù)谝粩?shù)據(jù)中心資源池中的虛擬機(jī)出現(xiàn)故障時(shí),通過高可用性、容錯(cuò)等備份技術(shù),虛擬機(jī)被自動(dòng)移動(dòng)至第二數(shù)據(jù)中心,其IP地址不發(fā)生變化。用戶訪問該主機(jī)時(shí),仍從第一數(shù)據(jù)中心的外網(wǎng)入口進(jìn)入,并經(jīng)由雙中心之間的二層互聯(lián),訪問到位于第二數(shù)據(jù)中心的備用主機(jī)。

    在兩個(gè)數(shù)據(jù)中心現(xiàn)有的資源池搭建測(cè)試環(huán)境,具體硬件配置見表1。

    圖6 政務(wù)數(shù)據(jù)中心整合示意

    表1 資源池配置

    通過部署VMware HA進(jìn)行資源池故障恢復(fù)測(cè)試,測(cè)試環(huán)境虛擬機(jī)配置見表2。

    表2 測(cè)試虛擬機(jī)配置

    在兩個(gè)數(shù)據(jù)中心的統(tǒng)一資源池上創(chuàng)建兩個(gè)測(cè)試集群節(jié)點(diǎn),并啟用HA。在集群上創(chuàng)建一臺(tái)配置為2.4 GHz處理器、2 GB內(nèi)存的Windows 2003 Server企業(yè)版虛擬機(jī),用于故障切換測(cè)試。測(cè)試時(shí)關(guān)停一個(gè)集群節(jié)點(diǎn),通過ping工具測(cè)試驗(yàn)證主機(jī)的可用性,業(yè)務(wù)整體恢復(fù)時(shí)間約為1 min 45 s。

    通常,VMware HA的業(yè)務(wù)中斷時(shí)間主要由HA心跳檢測(cè)時(shí)間、虛擬機(jī)系統(tǒng)啟動(dòng)時(shí)間以及應(yīng)用啟動(dòng)時(shí)間組成,這個(gè)時(shí)間一般在3 min以內(nèi)。因此,測(cè)試結(jié)果是正常的。

    4.3 網(wǎng)絡(luò)出口故障測(cè)試

    當(dāng)?shù)谝粩?shù)據(jù)中心網(wǎng)絡(luò)出口設(shè)備發(fā)生災(zāi)害(停電、出口阻斷等)時(shí),10.0.0.0/16網(wǎng)段在第一數(shù)據(jù)中心的網(wǎng)關(guān)失效,路由也隨即撤銷。第二數(shù)據(jù)中心檢測(cè)到第一數(shù)據(jù)中心網(wǎng)關(guān)不可用后,將其網(wǎng)關(guān)切換成VRRP主用狀態(tài),且路由同時(shí)生效。此時(shí),訪問10.0.0.0/16網(wǎng)段的流量從第二數(shù)據(jù)中心網(wǎng)關(guān)進(jìn)入,并經(jīng)由雙中心之間的二層互聯(lián),訪問位于第一數(shù)據(jù)中心的資源池。

    由于資源池并未受到故障影響,因此,該場(chǎng)景下的業(yè)務(wù)恢復(fù)時(shí)間主要受制于VRRP設(shè)置的發(fā)送通告報(bào)文定時(shí)器時(shí)間。測(cè)試中,將第一數(shù)據(jù)中心網(wǎng)關(guān)子接口關(guān)閉來模擬故障,使用ping工具測(cè)試驗(yàn)證主機(jī)的可用性,業(yè)務(wù)恢復(fù)時(shí)間可達(dá)到秒級(jí)。通過部署快速檢測(cè)協(xié)議,加快VRRP觸發(fā)故障倒換,可以進(jìn)一步縮短業(yè)務(wù)恢復(fù)時(shí)間。

    4.4 Web應(yīng)用故障測(cè)試

    用戶通過域名訪問位于第一數(shù)據(jù)中心Web應(yīng)用時(shí),部署在兩個(gè)數(shù)據(jù)中心的任意一個(gè)F5解析出主用地址為10.X.100.100,備用地址為20.X.100.100。當(dāng)?shù)谝粩?shù)據(jù)中心發(fā)生單點(diǎn)故障導(dǎo)致主用Web服務(wù)器不可用時(shí),主用IP地址不可用,并由F5調(diào)度到20.X.100.100提供服務(wù)。測(cè)試中,通過關(guān)停Web測(cè)試服務(wù)器虛擬機(jī)模擬故障,由于備用主機(jī)已經(jīng)處于“存活”狀態(tài),因此用戶幾乎不會(huì)感知到Web應(yīng)用故障。

    5 結(jié)束語

    數(shù)據(jù)中心是支撐云計(jì)算、大數(shù)據(jù)發(fā)展的基礎(chǔ),本文介紹了一種“雙活”數(shù)據(jù)中心的實(shí)現(xiàn)方案。通過雙活技術(shù),可以搭建一個(gè)高可靠性的信息化平臺(tái)。數(shù)據(jù)中心中信息系統(tǒng)雙活的實(shí)現(xiàn)方式還有很多,結(jié)合數(shù)據(jù)中心各類信息系統(tǒng)的具體需求來進(jìn)行方案設(shè)計(jì)尤為重要。此外,真正的實(shí)現(xiàn)數(shù)據(jù)中心各類信息系統(tǒng)的連續(xù)運(yùn)行,一套完善的運(yùn)維管理制度和流程、維護(hù)管理人才的培養(yǎng)和儲(chǔ)備也是必不可少的。

    [1]史晨陽,壽弘宇.面向未來的同城雙活中心網(wǎng)絡(luò)架構(gòu)建設(shè)[J].金融電子化,2014(3):52-54.SHI C Y,SHOU H Y.The construction of future oriented network architecture for double-live data center [J].Financial Computerizing,2014(3):52-54.

    [2]李宏偉,肖偉.存儲(chǔ)虛擬化技術(shù)在雙活數(shù)據(jù)中心中的應(yīng)用[J].郵電設(shè)計(jì)技術(shù),2013(9):9-13.LI H W,XIAO W.The application of storage virtualization technology to double-live data center[J].Designing Techniques of Posts and Telecommunications,2013(9):9-13.

    [3]朱明明,夏寅賁,徐小飛.基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)研究[J].郵電設(shè)計(jì)技術(shù),2014(3):23-29.ZHU M M,XIA Y B,XU X F.Research on data center network based on SDN [J].Designing Techniques of Posts and Telecommunications,2014(3):23-29.

    An implementation of the “active-active” data center

    FAN Hao
    Taizhou Branch of China Telecom Co.,Ltd.,Taizhou 225300,China

    With the transition of the traditional data center to cloud data center,government and financial industry's information system disaster recovery and backup becomes an important means to ensure services continuity and data availability.Active-active data center can enhance system availability and improve the utilization of equipment,becoming the future trend of data center construction.Active-active data center involves networking,virtualization,storage technology.These related technologies to achieve active-active in the data center were described,and the effectiveness of the technology was verified by the implementation of the governmental data center.

    data center,active-active,virtualization,cloud computing

    TP311

    A

    10.11959/j.issn.1000-0801.2016029

    2015-05-27;

    2015-10-30

    樊昊(1979-),男,中國電信股份有限公司泰州分公司網(wǎng)絡(luò)操作維護(hù)中心工程師,主要研究方向?yàn)榇笮虸P城域網(wǎng)組織、優(yōu)化以及數(shù)據(jù)中心的設(shè)計(jì)規(guī)劃。

    猜你喜歡
    容災(zāi)網(wǎng)關(guān)備份
    “備份”25年:鄧清明圓夢(mèng)
    基于改進(jìn)RPS技術(shù)的IPSEC VPN網(wǎng)關(guān)設(shè)計(jì)
    關(guān)于建筑企業(yè)容災(zāi)備份系統(tǒng)方案的探討
    電子制作(2017年10期)2017-04-18 07:22:47
    基于中興軟交換的電力通信網(wǎng)絡(luò)容災(zāi)系統(tǒng)建設(shè)
    基于數(shù)據(jù)容災(zāi)技術(shù)在企業(yè)信息系統(tǒng)中的應(yīng)用研究
    LTE Small Cell網(wǎng)關(guān)及虛擬網(wǎng)關(guān)技術(shù)研究
    淺析數(shù)據(jù)的備份策略
    科技視界(2015年6期)2015-08-15 00:54:11
    應(yīng)對(duì)氣候變化需要打通“網(wǎng)關(guān)”
    太陽能(2015年7期)2015-04-12 06:49:50
    一種實(shí)時(shí)高效的伺服控制網(wǎng)關(guān)設(shè)計(jì)
    出版原圖數(shù)據(jù)庫遷移與備份恢復(fù)
    干丝袜人妻中文字幕| 伦精品一区二区三区| 久久久国产成人精品二区| 一夜夜www| www.色视频.com| 国产一级毛片七仙女欲春2| 窝窝影院91人妻| 欧美3d第一页| 天天躁日日操中文字幕| 亚洲一级一片aⅴ在线观看| 两个人的视频大全免费| 大又大粗又爽又黄少妇毛片口| 精品无人区乱码1区二区| 免费观看人在逋| 国产蜜桃级精品一区二区三区| 亚洲第一区二区三区不卡| 赤兔流量卡办理| 人妻久久中文字幕网| 春色校园在线视频观看| a级毛片免费高清观看在线播放| 国产真实伦视频高清在线观看 | 色哟哟·www| 日韩欧美精品v在线| 免费av不卡在线播放| 国产精品电影一区二区三区| 免费看av在线观看网站| 日本 欧美在线| 国产欧美日韩精品亚洲av| 国内揄拍国产精品人妻在线| 免费电影在线观看免费观看| 亚洲国产欧洲综合997久久,| 久久中文看片网| 日韩欧美三级三区| 久久中文看片网| 美女高潮喷水抽搐中文字幕| 日韩欧美三级三区| 国产黄a三级三级三级人| 最近视频中文字幕2019在线8| 日本欧美国产在线视频| 国产久久久一区二区三区| 亚洲无线观看免费| 此物有八面人人有两片| 床上黄色一级片| 欧美性猛交黑人性爽| 一进一出好大好爽视频| 亚洲性夜色夜夜综合| 在线观看美女被高潮喷水网站| 国产精品av视频在线免费观看| 一个人免费在线观看电影| 亚洲av.av天堂| 亚洲欧美日韩无卡精品| 人妻夜夜爽99麻豆av| 看十八女毛片水多多多| 国产精品不卡视频一区二区| 高清在线国产一区| 欧美丝袜亚洲另类 | 国产精品98久久久久久宅男小说| av福利片在线观看| a级一级毛片免费在线观看| 国产在视频线在精品| 久久精品国产99精品国产亚洲性色| 麻豆国产av国片精品| 毛片一级片免费看久久久久 | av在线亚洲专区| 1000部很黄的大片| 波多野结衣高清无吗| 不卡一级毛片| 99视频精品全部免费 在线| 黄色配什么色好看| 欧美潮喷喷水| 91精品国产九色| 热99re8久久精品国产| 男人和女人高潮做爰伦理| 亚洲黑人精品在线| 久久人人爽人人爽人人片va| 九九久久精品国产亚洲av麻豆| 亚洲 国产 在线| 我的老师免费观看完整版| 亚洲人成网站在线播放欧美日韩| 国产毛片a区久久久久| 色5月婷婷丁香| 99久久精品一区二区三区| 国产精品1区2区在线观看.| avwww免费| 嫩草影院新地址| 色精品久久人妻99蜜桃| 一级av片app| 亚洲精华国产精华液的使用体验 | 麻豆成人午夜福利视频| 亚洲第一电影网av| 中文资源天堂在线| 永久网站在线| 亚洲成人中文字幕在线播放| 免费不卡的大黄色大毛片视频在线观看 | 色播亚洲综合网| 国产精品人妻久久久影院| 欧美日韩乱码在线| 少妇人妻精品综合一区二区 | 日韩精品中文字幕看吧| 久久久久久九九精品二区国产| 不卡一级毛片| 黄色配什么色好看| 免费观看精品视频网站| 免费在线观看成人毛片| 好男人在线观看高清免费视频| 嫩草影院入口| 欧美日韩乱码在线| 欧美日韩中文字幕国产精品一区二区三区| 波多野结衣高清作品| 性插视频无遮挡在线免费观看| 色哟哟哟哟哟哟| 午夜日韩欧美国产| 一级黄色大片毛片| 久久久久久久久久成人| 国产中年淑女户外野战色| 中国美女看黄片| 一进一出抽搐gif免费好疼| 一个人看的www免费观看视频| 特级一级黄色大片| 欧美高清成人免费视频www| 大又大粗又爽又黄少妇毛片口| 99久久成人亚洲精品观看| 欧美成人免费av一区二区三区| 精品免费久久久久久久清纯| 国产精品美女特级片免费视频播放器| 一边摸一边抽搐一进一小说| 岛国在线免费视频观看| 国内毛片毛片毛片毛片毛片| 亚洲av日韩精品久久久久久密| 国产精品一区二区三区四区久久| www.色视频.com| 一区福利在线观看| 精华霜和精华液先用哪个| 日本与韩国留学比较| 亚洲av中文av极速乱 | 欧美黑人欧美精品刺激| 久久久久久久久大av| 久久亚洲精品不卡| 国产不卡一卡二| 亚洲欧美日韩无卡精品| 午夜福利在线在线| 嫩草影视91久久| 亚洲专区中文字幕在线| 成人av一区二区三区在线看| 午夜福利在线观看免费完整高清在 | 国产av在哪里看| 国产三级中文精品| 精品人妻偷拍中文字幕| 一进一出抽搐gif免费好疼| 色哟哟哟哟哟哟| 国产一级毛片七仙女欲春2| av.在线天堂| 女同久久另类99精品国产91| 欧美日韩国产亚洲二区| 国产成人一区二区在线| 在线播放无遮挡| 欧美日本视频| 久久久久免费精品人妻一区二区| 国产亚洲精品av在线| 亚洲成av人片在线播放无| 成人美女网站在线观看视频| 亚洲在线自拍视频| 天堂网av新在线| 啦啦啦观看免费观看视频高清| 欧美精品啪啪一区二区三区| 在线观看av片永久免费下载| 深夜精品福利| 国内精品宾馆在线| 国产精品野战在线观看| 22中文网久久字幕| 琪琪午夜伦伦电影理论片6080| 亚洲欧美日韩高清专用| 三级毛片av免费| 男人狂女人下面高潮的视频| 亚洲久久久久久中文字幕| 又黄又爽又免费观看的视频| 熟妇人妻久久中文字幕3abv| 国产探花极品一区二区| 天天一区二区日本电影三级| 免费无遮挡裸体视频| 日韩精品中文字幕看吧| 黄色配什么色好看| 成年女人看的毛片在线观看| 一区二区三区高清视频在线| 久久久久久九九精品二区国产| 亚洲真实伦在线观看| 精华霜和精华液先用哪个| 国产免费av片在线观看野外av| 国产精品人妻久久久影院| 亚洲av日韩精品久久久久久密| 日韩欧美免费精品| 日本 欧美在线| 1024手机看黄色片| 啦啦啦啦在线视频资源| 直男gayav资源| 国产色婷婷99| 中文资源天堂在线| 精品福利观看| 麻豆久久精品国产亚洲av| 婷婷精品国产亚洲av在线| 成人三级黄色视频| 99热网站在线观看| 有码 亚洲区| 男女之事视频高清在线观看| 国产精品久久视频播放| 别揉我奶头~嗯~啊~动态视频| 欧美3d第一页| 级片在线观看| 赤兔流量卡办理| 国产毛片a区久久久久| 日本-黄色视频高清免费观看| 日韩欧美国产一区二区入口| 少妇被粗大猛烈的视频| 亚洲av美国av| 欧美性猛交╳xxx乱大交人| 性插视频无遮挡在线免费观看| 国产欧美日韩一区二区精品| 啦啦啦啦在线视频资源| 亚洲天堂国产精品一区在线| 精品久久久久久久人妻蜜臀av| 亚洲国产精品合色在线| 永久网站在线| 精品久久久久久,| 99久久中文字幕三级久久日本| 色哟哟·www| 国产精品爽爽va在线观看网站| 成人特级av手机在线观看| 狠狠狠狠99中文字幕| 日本欧美国产在线视频| 女人被狂操c到高潮| 成人永久免费在线观看视频| 国产精品99久久久久久久久| 成人高潮视频无遮挡免费网站| 变态另类成人亚洲欧美熟女| av福利片在线观看| .国产精品久久| 亚洲国产高清在线一区二区三| 22中文网久久字幕| 此物有八面人人有两片| 91av网一区二区| 免费电影在线观看免费观看| 亚洲国产欧美人成| 欧美在线一区亚洲| 久久久色成人| 久久久国产成人精品二区| 久久久久精品国产欧美久久久| 欧美最黄视频在线播放免费| 欧美绝顶高潮抽搐喷水| 在线免费观看的www视频| 深爱激情五月婷婷| 性插视频无遮挡在线免费观看| 最近在线观看免费完整版| 国产美女午夜福利| 成人二区视频| 亚洲第一电影网av| 99热精品在线国产| 国产伦一二天堂av在线观看| h日本视频在线播放| 不卡一级毛片| av中文乱码字幕在线| 亚洲美女视频黄频| 变态另类丝袜制服| 最近中文字幕高清免费大全6 | 最新在线观看一区二区三区| 国产中年淑女户外野战色| 久久草成人影院| 亚洲在线观看片| 熟妇人妻久久中文字幕3abv| 国产熟女欧美一区二区| 99国产极品粉嫩在线观看| eeuss影院久久| 国产精品一区二区三区四区久久| 日韩欧美免费精品| 亚洲va在线va天堂va国产| 午夜激情欧美在线| 国产日本99.免费观看| 精品久久久久久成人av| 国内精品久久久久精免费| 伦理电影大哥的女人| 久久欧美精品欧美久久欧美| 国产精品av视频在线免费观看| 91久久精品国产一区二区三区| 午夜激情欧美在线| 日日夜夜操网爽| 欧美一区二区精品小视频在线| 天堂动漫精品| 国产淫片久久久久久久久| 啦啦啦韩国在线观看视频| 老熟妇仑乱视频hdxx| 男女边吃奶边做爰视频| 午夜福利视频1000在线观看| 欧美一级a爱片免费观看看| 麻豆久久精品国产亚洲av| 一进一出好大好爽视频| 欧美zozozo另类| 欧美3d第一页| 真人做人爱边吃奶动态| 动漫黄色视频在线观看| 亚洲一级一片aⅴ在线观看| 在线观看午夜福利视频| 日本三级黄在线观看| 伦理电影大哥的女人| 国产不卡一卡二| 国产高清有码在线观看视频| 精品午夜福利视频在线观看一区| 尾随美女入室| 2021天堂中文幕一二区在线观| 我要搜黄色片| 99热这里只有是精品50| www日本黄色视频网| 女人十人毛片免费观看3o分钟| 又爽又黄无遮挡网站| 色综合婷婷激情| 22中文网久久字幕| 国产高清视频在线观看网站| 午夜免费激情av| 日韩欧美国产在线观看| 国产男靠女视频免费网站| 桃红色精品国产亚洲av| 欧美绝顶高潮抽搐喷水| 亚洲自偷自拍三级| 日本一二三区视频观看| 国产精品永久免费网站| 欧美不卡视频在线免费观看| 国产 一区精品| 国产精品女同一区二区软件 | 女同久久另类99精品国产91| 久久精品久久久久久噜噜老黄 | 性色avwww在线观看| 久久精品国产亚洲av天美| 99久久九九国产精品国产免费| 日本色播在线视频| 欧美日韩乱码在线| 夜夜夜夜夜久久久久| 日本成人三级电影网站| 亚洲无线在线观看| 亚洲精品乱码久久久v下载方式| 日本五十路高清| 性色avwww在线观看| 搡老熟女国产l中国老女人| 欧美最黄视频在线播放免费| 99久久久亚洲精品蜜臀av| 国产精品av视频在线免费观看| 男女边吃奶边做爰视频| 精品久久久久久久久久久久久| 深夜a级毛片| 嫁个100分男人电影在线观看| 免费看光身美女| 少妇的逼好多水| 国产av一区在线观看免费| 伊人久久精品亚洲午夜| 国产精品,欧美在线| 久久久色成人| 欧美日本视频| 人人妻,人人澡人人爽秒播| 久久久精品欧美日韩精品| 免费黄网站久久成人精品| 亚洲在线观看片| 久久人人精品亚洲av| 有码 亚洲区| 麻豆成人午夜福利视频| 免费人成在线观看视频色| 亚洲av五月六月丁香网| 午夜a级毛片| 一夜夜www| 99热这里只有精品一区| 又粗又爽又猛毛片免费看| 精品久久久久久久久av| 成熟少妇高潮喷水视频| 久久久久免费精品人妻一区二区| 亚洲美女视频黄频| 国产精品久久视频播放| 欧美+日韩+精品| 91麻豆精品激情在线观看国产| 国内精品久久久久久久电影| 99热精品在线国产| 欧美日韩精品成人综合77777| 精品久久久久久久末码| 99精品在免费线老司机午夜| 最新中文字幕久久久久| 午夜福利在线观看吧| 久久久久免费精品人妻一区二区| 草草在线视频免费看| 亚洲av免费高清在线观看| 亚洲天堂国产精品一区在线| 免费观看在线日韩| 国产精品无大码| 午夜福利视频1000在线观看| 男女那种视频在线观看| 色噜噜av男人的天堂激情| 久久精品国产亚洲网站| 国产亚洲精品久久久久久毛片| 国产精品三级大全| 久久久色成人| a级一级毛片免费在线观看| 美女高潮喷水抽搐中文字幕| 男人狂女人下面高潮的视频| 22中文网久久字幕| 国产亚洲av嫩草精品影院| 不卡视频在线观看欧美| 成年女人永久免费观看视频| 精品久久久久久成人av| 精品一区二区三区视频在线观看免费| 国产男人的电影天堂91| 最新在线观看一区二区三区| ponron亚洲| 亚洲狠狠婷婷综合久久图片| 国产色爽女视频免费观看| 村上凉子中文字幕在线| 成人性生交大片免费视频hd| 欧美日韩综合久久久久久 | 99久国产av精品| 久久欧美精品欧美久久欧美| 日本一二三区视频观看| 成人高潮视频无遮挡免费网站| 久久久精品欧美日韩精品| 91麻豆av在线| 午夜免费成人在线视频| 亚洲国产色片| 国产高清不卡午夜福利| 日韩av在线大香蕉| 午夜免费男女啪啪视频观看 | 噜噜噜噜噜久久久久久91| 国产色爽女视频免费观看| www日本黄色视频网| 麻豆国产av国片精品| av在线亚洲专区| 国产精品爽爽va在线观看网站| 免费人成在线观看视频色| 久久久久久久久大av| 亚洲av不卡在线观看| 日韩欧美精品v在线| 春色校园在线视频观看| av.在线天堂| 亚洲精品久久国产高清桃花| 国产伦在线观看视频一区| 亚洲精品粉嫩美女一区| 亚洲av成人精品一区久久| 美女高潮喷水抽搐中文字幕| 成熟少妇高潮喷水视频| 亚洲精品日韩av片在线观看| 午夜激情欧美在线| 欧美一区二区精品小视频在线| 禁无遮挡网站| 黄色日韩在线| 岛国在线免费视频观看| 久久久久免费精品人妻一区二区| 长腿黑丝高跟| 观看免费一级毛片| 国产高清激情床上av| 成人亚洲精品av一区二区| 国产精品福利在线免费观看| 一进一出抽搐动态| 悠悠久久av| 男人的好看免费观看在线视频| 在线a可以看的网站| 性插视频无遮挡在线免费观看| 看免费成人av毛片| 国产黄色小视频在线观看| 国产伦精品一区二区三区四那| 精品国产三级普通话版| 欧美中文日本在线观看视频| 村上凉子中文字幕在线| 久久久久国内视频| 精品久久久久久久人妻蜜臀av| 高清日韩中文字幕在线| 国产精品美女特级片免费视频播放器| 久久久久免费精品人妻一区二区| 精品日产1卡2卡| 国产精品不卡视频一区二区| 美女高潮喷水抽搐中文字幕| 免费观看人在逋| 国产久久久一区二区三区| 亚洲成人精品中文字幕电影| 在线看三级毛片| 国产男靠女视频免费网站| 久久99热6这里只有精品| 人人妻人人澡欧美一区二区| 成人午夜高清在线视频| 国产白丝娇喘喷水9色精品| 嫩草影院精品99| 免费一级毛片在线播放高清视频| 亚洲精品色激情综合| 精品久久久噜噜| 久久这里只有精品中国| 久久久久久久久久久丰满 | 日本爱情动作片www.在线观看 | 免费av不卡在线播放| 亚洲av第一区精品v没综合| 亚洲va日本ⅴa欧美va伊人久久| 美女xxoo啪啪120秒动态图| 一个人看视频在线观看www免费| 亚洲国产精品sss在线观看| 国产精品自产拍在线观看55亚洲| 又爽又黄a免费视频| 黄色女人牲交| 免费黄网站久久成人精品| 精品国产三级普通话版| 亚洲久久久久久中文字幕| 久久精品国产清高在天天线| 乱码一卡2卡4卡精品| 久久婷婷人人爽人人干人人爱| 国产又黄又爽又无遮挡在线| 亚洲av成人av| 精品久久久久久久人妻蜜臀av| 露出奶头的视频| 国产精品亚洲美女久久久| 亚洲av一区综合| 国产探花极品一区二区| 99久久无色码亚洲精品果冻| 亚洲成人免费电影在线观看| 久久久久九九精品影院| 中文亚洲av片在线观看爽| 99久久精品国产国产毛片| 动漫黄色视频在线观看| 99在线视频只有这里精品首页| 国产免费一级a男人的天堂| 99久久精品国产国产毛片| 日本-黄色视频高清免费观看| 久9热在线精品视频| 国内少妇人妻偷人精品xxx网站| 国产日本99.免费观看| 国产 一区精品| 成熟少妇高潮喷水视频| 国产 一区精品| 精品99又大又爽又粗少妇毛片 | 人妻少妇偷人精品九色| 亚洲无线观看免费| 亚洲七黄色美女视频| 欧美激情久久久久久爽电影| 舔av片在线| 色综合婷婷激情| 欧美性猛交黑人性爽| 黄色欧美视频在线观看| 亚洲av美国av| 欧美国产日韩亚洲一区| eeuss影院久久| 黄色丝袜av网址大全| 99久久中文字幕三级久久日本| 亚洲久久久久久中文字幕| 国产一区二区三区av在线 | www.色视频.com| 真人一进一出gif抽搐免费| 变态另类成人亚洲欧美熟女| 一区二区三区乱码不卡18| 亚洲第一区二区三区不卡| 天堂8中文在线网| 欧美高清成人免费视频www| 色视频在线一区二区三区| 一个人看视频在线观看www免费| a级毛片免费高清观看在线播放| 青春草视频在线免费观看| 色哟哟·www| 联通29元200g的流量卡| 日韩强制内射视频| 亚洲最大成人中文| 能在线免费看毛片的网站| 两个人的视频大全免费| 久久久久性生活片| 91久久精品电影网| 韩国高清视频一区二区三区| 中国美白少妇内射xxxbb| tube8黄色片| 亚洲怡红院男人天堂| 成年av动漫网址| 久久久久精品久久久久真实原创| 国产v大片淫在线免费观看| 七月丁香在线播放| 小蜜桃在线观看免费完整版高清| 伦理电影免费视频| 亚洲精品一二三| 黄色怎么调成土黄色| 成人亚洲欧美一区二区av| 一本一本综合久久| 制服丝袜香蕉在线| 久久99热6这里只有精品| 日本wwww免费看| av专区在线播放| 一区二区三区四区激情视频| 亚洲电影在线观看av| 久久久久国产精品人妻一区二区| 婷婷色综合大香蕉| 中文字幕人妻熟人妻熟丝袜美| 97在线视频观看| 国产精品一区二区三区四区免费观看| 亚洲av免费高清在线观看| 国产黄频视频在线观看| 亚洲av不卡在线观看| 亚洲真实伦在线观看| 嘟嘟电影网在线观看| 色吧在线观看| 亚洲国产精品999| 91在线精品国自产拍蜜月| 大香蕉久久网| 好男人视频免费观看在线| 三级经典国产精品| 亚洲精品日本国产第一区| 91久久精品电影网| 久久精品久久久久久久性| 成人黄色视频免费在线看| 内地一区二区视频在线| 日产精品乱码卡一卡2卡三| 久久精品久久久久久久性| 欧美日韩精品成人综合77777| 国产中年淑女户外野战色| 国内少妇人妻偷人精品xxx网站| 欧美3d第一页| 久久久久视频综合| 国产黄片美女视频| 国产精品人妻久久久久久| 日韩三级伦理在线观看| 精品酒店卫生间| 人妻少妇偷人精品九色| 七月丁香在线播放| 黄色配什么色好看|