• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    “雙活”數(shù)據(jù)中心的設(shè)計(jì)實(shí)現(xiàn)

    2016-11-20 03:12:34樊昊
    電信科學(xué) 2016年1期
    關(guān)鍵詞:容災(zāi)網(wǎng)關(guān)備份

    樊昊

    (中國電信股份有限公司泰州分公司,江蘇 泰州 225300)

    “雙活”數(shù)據(jù)中心的設(shè)計(jì)實(shí)現(xiàn)

    樊昊

    (中國電信股份有限公司泰州分公司,江蘇 泰州 225300)

    隨著傳統(tǒng)數(shù)據(jù)中心向云數(shù)據(jù)中心的轉(zhuǎn)變,政府、金融行業(yè)等的信息系統(tǒng)容災(zāi)備份成為確保業(yè)務(wù)連續(xù)性和數(shù)據(jù)可用性的重要手段。雙活或多活的數(shù)據(jù)中心可以提升系統(tǒng)的可用性、提高設(shè)備利用率,成為未來數(shù)據(jù)中心建設(shè)的發(fā)展趨勢(shì)。雙活數(shù)據(jù)中心的實(shí)現(xiàn)涉及網(wǎng)絡(luò)、虛擬化、存儲(chǔ)等技術(shù),從這些層面介紹了數(shù)據(jù)中心實(shí)現(xiàn)雙活的相關(guān)技術(shù),并通過在政務(wù)數(shù)據(jù)中心的實(shí)踐,驗(yàn)證了這一技術(shù)的有效性。

    數(shù)據(jù)中心;雙活;虛擬化;云計(jì)算

    1 引言

    近年來,隨著云計(jì)算和大數(shù)據(jù)的發(fā)展,數(shù)據(jù)中心成為政府、企業(yè)等處理其數(shù)據(jù)、信息的系統(tǒng)中心。信息系統(tǒng)作為政府、企業(yè)從事多項(xiàng)業(yè)務(wù)的基石,其數(shù)據(jù)完整性和可用性是業(yè)務(wù)持續(xù)運(yùn)行的基礎(chǔ)。尤其是涉及民生的政務(wù)系統(tǒng)、金融系統(tǒng)等,絕對(duì)的零數(shù)據(jù)丟失和數(shù)據(jù)完整性要求也是其最典型特征,依賴于常規(guī)的備份系統(tǒng)已經(jīng)難以滿足零數(shù)據(jù)丟失保障的要求。在高數(shù)據(jù)完整性的基礎(chǔ)之上,一些業(yè)務(wù)具有非常高的業(yè)務(wù)連續(xù)性需求,基本保證7×24 h不間斷運(yùn)行。

    針對(duì)大型數(shù)據(jù)中心所面臨單點(diǎn)運(yùn)行風(fēng)險(xiǎn),需要設(shè)計(jì)一套支持零數(shù)據(jù)丟失和業(yè)務(wù)連續(xù)性保障的業(yè)務(wù)連續(xù)性計(jì)劃來加以支撐。主、備數(shù)據(jù)中心間的存儲(chǔ)復(fù)制、數(shù)據(jù)庫復(fù)制、持續(xù)數(shù)據(jù)保護(hù)和多樣化恢復(fù)等手段都應(yīng)該成為數(shù)據(jù)中心業(yè)務(wù)連續(xù)性計(jì)劃的必要組成部分來共同完成業(yè)務(wù)連續(xù)性計(jì)劃目標(biāo)。

    災(zāi)難突發(fā)時(shí)如何保障政府、企業(yè)核心業(yè)務(wù)7×24 h的業(yè)務(wù)連續(xù)性,成為業(yè)界關(guān)注的問題。如何確保數(shù)據(jù)中心在重大災(zāi)難打擊之下繼續(xù)生存,提高業(yè)務(wù)連續(xù)性,是數(shù)據(jù)中心建設(shè)和持續(xù)發(fā)展的基礎(chǔ)性工作。出于業(yè)務(wù)容災(zāi)備份的考慮,一般都會(huì)建設(shè)2個(gè)及以上的數(shù)據(jù)中心:主數(shù)據(jù)中心用于承擔(dān)用戶的業(yè)務(wù),備份數(shù)據(jù)中心用于備份主數(shù)據(jù)中心的數(shù)據(jù)、配置、業(yè)務(wù)等。主備數(shù)據(jù)中心之間主要包括冷備份、熱備份以及雙活3種備份方式。

    冷備份方式:主數(shù)據(jù)中心承擔(dān)業(yè)務(wù),備用數(shù)據(jù)中心不對(duì)主數(shù)據(jù)中心進(jìn)行實(shí)時(shí)備份,而是采用周期性或不定期的方式進(jìn)行備份。一旦主數(shù)據(jù)中心發(fā)生阻斷,業(yè)務(wù)隨之中斷,數(shù)據(jù)中心業(yè)務(wù)恢復(fù)的時(shí)間難以保證。由此可見,冷備份技術(shù)并不是一種真正意義上的災(zāi)備技術(shù),無法適應(yīng)數(shù)據(jù)中心高要求的發(fā)展。

    熱備份方式:主數(shù)據(jù)中心承擔(dān)和響應(yīng)用戶的業(yè)務(wù),備數(shù)據(jù)中心對(duì)主數(shù)據(jù)中心進(jìn)行實(shí)時(shí)的備份。當(dāng)主數(shù)據(jù)中心發(fā)生阻斷時(shí),業(yè)務(wù)從主數(shù)據(jù)中心切換至備數(shù)據(jù)中心,備數(shù)據(jù)中心自動(dòng)接管主數(shù)據(jù)中心的業(yè)務(wù),從而保證業(yè)務(wù)不會(huì)中斷。熱備份方式可以自動(dòng)感知數(shù)據(jù)中心故障并且保證在規(guī)定的RTO(recover time objective,即災(zāi)難發(fā)生后,信息系統(tǒng)從停頓到恢復(fù)正常的時(shí)間要求)時(shí)間內(nèi),應(yīng)用業(yè)務(wù)實(shí)現(xiàn)自動(dòng)切換。

    圖1 雙活數(shù)據(jù)中心拓?fù)?/p>

    雙活方式:由于熱備份方式在通常情況下,備數(shù)據(jù)中心并不承擔(dān)業(yè)務(wù),這對(duì)數(shù)據(jù)中心的建設(shè)投資帶來巨大的壓力,且勢(shì)必造成很大的資源浪費(fèi)。采用雙活的方式,多個(gè)數(shù)據(jù)中心不再有主備之分,同時(shí)承擔(dān)業(yè)務(wù)并在線運(yùn)行。此時(shí),數(shù)據(jù)中心之間互為備份,并且進(jìn)行實(shí)時(shí)備份。如果一個(gè)數(shù)據(jù)中心發(fā)生阻斷,另外一個(gè)數(shù)據(jù)中心仍在正常運(yùn)行,并將承擔(dān)所有業(yè)務(wù)。對(duì)用戶來說是不可感知的,業(yè)務(wù)幾乎不受影響。雙活技術(shù)可采用多種故障檢測(cè)的方式:ICMP monitor、TCP monitor、HTTP monitor、FTP monitor等。還可以實(shí)時(shí)檢測(cè)服務(wù)器的運(yùn)行狀態(tài)、服務(wù)器負(fù)載均衡的情況,即使在沒有故障的時(shí)候也可以根據(jù)應(yīng)用業(yè)務(wù)量在多個(gè)數(shù)據(jù)中心之間調(diào)整。這樣就充分利用了資源,從而避免一個(gè)數(shù)據(jù)中心常年處于閑置狀態(tài)而造成浪費(fèi)。且通過細(xì)致的資源整合,雙活數(shù)據(jù)中心可以提供雙倍的服務(wù)能力。

    2 基礎(chǔ)平臺(tái)設(shè)計(jì)方案

    2.1 設(shè)計(jì)目標(biāo)

    圖1是雙活數(shù)據(jù)中心整體方案的拓?fù)洹?/p>

    為了實(shí)現(xiàn)雙活數(shù)據(jù)中心的設(shè)計(jì),需考慮以下幾個(gè)方面。

    容災(zāi)半徑:是指數(shù)據(jù)中心之間的直線距離,是衡量容災(zāi)方案所能承受的災(zāi)難影響范圍的一個(gè)指標(biāo)。不同災(zāi)難的影響范圍是不同的,而距離也會(huì)影響到容災(zāi)技術(shù)的選擇,如圖2所示。

    圖2 數(shù)據(jù)中心容災(zāi)半徑的選擇

    網(wǎng)絡(luò)層:將實(shí)現(xiàn)雙活的數(shù)據(jù)中心之間的網(wǎng)絡(luò)高速互聯(lián),形成統(tǒng)一網(wǎng)絡(luò),保障數(shù)據(jù)復(fù)制時(shí)效性,同時(shí)保障數(shù)據(jù)庫業(yè)務(wù)、中間件業(yè)務(wù)等系統(tǒng)的訪問順利切換。采用網(wǎng)絡(luò)設(shè)備虛擬化、大二層網(wǎng)絡(luò)等技術(shù),保障網(wǎng)絡(luò)系統(tǒng)的冗余。雙中心采用全局負(fù)載均衡,可以同時(shí)提供業(yè)務(wù)訪問能力。同時(shí)配置安全設(shè)備,保障網(wǎng)絡(luò)安全性。

    數(shù)據(jù)存儲(chǔ)層:采用虛擬化存儲(chǔ)網(wǎng)關(guān)對(duì)異構(gòu)存儲(chǔ)平臺(tái)進(jìn)行存儲(chǔ)虛擬化整合,建設(shè)統(tǒng)一的虛擬化存儲(chǔ)平臺(tái),實(shí)現(xiàn)兩中心的數(shù)據(jù)底層存儲(chǔ)復(fù)制。

    數(shù)據(jù)庫層:采用高端的x86服務(wù)器,利用主機(jī)虛擬化技術(shù),建設(shè)虛擬化服務(wù)器集群,打造高可靠的核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫。兩中心數(shù)據(jù)庫可采用GoldenGate等數(shù)據(jù)庫復(fù)制技術(shù),提供業(yè)務(wù)級(jí)數(shù)據(jù)安全復(fù)制,復(fù)制級(jí)別達(dá)到秒級(jí)、亞秒級(jí)。建議采用數(shù)據(jù)庫讀寫分離技術(shù)進(jìn)行應(yīng)用部署,提高業(yè)務(wù)保障級(jí)別。

    應(yīng)用層:采用服務(wù)器虛擬化技術(shù),建設(shè)虛擬化應(yīng)用服務(wù)器集群,部署中間件和業(yè)務(wù)系統(tǒng),提供應(yīng)用業(yè)務(wù)支撐。采用負(fù)載均衡設(shè)備或者應(yīng)用中間件集群進(jìn)行負(fù)載均衡設(shè)計(jì)。

    2.2 網(wǎng)絡(luò)資源池

    數(shù)據(jù)中心網(wǎng)絡(luò)核心設(shè)備作為整個(gè)網(wǎng)絡(luò)的核心節(jié)點(diǎn),要求設(shè)備可以長時(shí)間不間斷運(yùn)行,考慮足夠的冗余性和安全性。且單板可以熱插拔,便于對(duì)設(shè)備進(jìn)行維護(hù)時(shí)保證業(yè)務(wù)不間斷地運(yùn)行。同時(shí)該設(shè)備還能夠提供高密度的接入,便于接入交換機(jī)、匯聚交換機(jī)的接入。兩個(gè)數(shù)據(jù)中心分別采用2臺(tái)高端的數(shù)據(jù)中心交換機(jī)作為核心交換機(jī),雙機(jī)通過萬兆以太網(wǎng)鏈路進(jìn)行互聯(lián),并采用網(wǎng)絡(luò)虛擬化技術(shù)對(duì)同一層面的設(shè)備進(jìn)行橫向整合,將兩臺(tái)設(shè)備虛擬為一臺(tái)設(shè)備,統(tǒng)一轉(zhuǎn)發(fā)、統(tǒng)一管理,并實(shí)現(xiàn)跨設(shè)備的鏈路捆綁。該方式不會(huì)引入環(huán)路,無需部署STP和VRRP等協(xié)議,極大地簡化網(wǎng)絡(luò)協(xié)議的部署,縮短設(shè)備和鏈路收斂時(shí)間(毫秒級(jí))。鏈路采用負(fù)載分擔(dān)方式工作,資源利用率得到極大的提升。

    網(wǎng)絡(luò)雙活是數(shù)據(jù)中心雙活的基礎(chǔ)。雙活數(shù)據(jù)中心需要將同一個(gè)網(wǎng)絡(luò)擴(kuò)展到多個(gè)數(shù)據(jù)中心,在不同數(shù)據(jù)中心之間可以通過大二層網(wǎng)絡(luò)連接,實(shí)現(xiàn)服務(wù)器和應(yīng)用的虛擬化數(shù)據(jù)中心互聯(lián),如圖3所示。目前,常見的大二層網(wǎng)絡(luò)技術(shù)有IRF、TRILL、SPB、EVI等。另外,VMware、微軟等廠商提出了包括VxLAN、NvGRE在內(nèi)的overlay技術(shù)解決方案,在虛擬化層的vSwitch中將二層數(shù)據(jù)封裝在UDP、GRE報(bào)文中,在物理網(wǎng)絡(luò)拓?fù)渖蠘?gòu)建一層虛擬化網(wǎng)絡(luò)層,從而擺脫對(duì)網(wǎng)絡(luò)設(shè)備層的二層、三層限制。

    圖3 數(shù)據(jù)中心通過二層互聯(lián)

    2.3 存儲(chǔ)資源池

    存儲(chǔ)虛擬化技術(shù)是將底層存儲(chǔ)設(shè)備進(jìn)行抽象化統(tǒng)一管理,向服務(wù)器層屏蔽存儲(chǔ)設(shè)備硬件的特殊性,而只保留其統(tǒng)一的邏輯特性,從而實(shí)現(xiàn)了存儲(chǔ)系統(tǒng)的集中、統(tǒng)一、方便的管理。

    與傳統(tǒng)存儲(chǔ)相比,虛擬化存儲(chǔ)的優(yōu)點(diǎn)主要體現(xiàn)在:磁盤利用率高,傳統(tǒng)存儲(chǔ)技術(shù)的磁盤利用率一般只有30%~70%,而采用虛擬化技術(shù)后的磁盤利用率高達(dá)70%~90%;存儲(chǔ)靈活,可以適應(yīng)不同廠商、不同類別的異構(gòu)存儲(chǔ)平臺(tái),為存儲(chǔ)資源管理提供了更好的靈活性;管理方便,提供了一個(gè)大容量存儲(chǔ)系統(tǒng)集中管理的手段,避免了由于存儲(chǔ)設(shè)備擴(kuò)充所帶來的管理方面的麻煩;性能更好,虛擬化存儲(chǔ)系統(tǒng)可以很好地進(jìn)行負(fù)載均衡,把每一次數(shù)據(jù)訪問所需的帶寬合理地分配到各個(gè)存儲(chǔ)模塊上,提高了系統(tǒng)的整體訪問帶寬。

    存儲(chǔ)資源池采用SAN架構(gòu)技術(shù)構(gòu)建,按照功能分為虛擬化平臺(tái)存儲(chǔ)資源池、數(shù)據(jù)庫平臺(tái)存儲(chǔ)資源池。通過部署存儲(chǔ)虛擬化網(wǎng)關(guān),對(duì)不同廠商的存儲(chǔ)設(shè)備進(jìn)行整合,將數(shù)據(jù)中心存儲(chǔ)虛擬化,實(shí)現(xiàn)異構(gòu)存儲(chǔ)資源池化。存儲(chǔ)虛擬化網(wǎng)關(guān)部署充分考慮到數(shù)據(jù)中心雙活需求,業(yè)務(wù)系統(tǒng)數(shù)據(jù)在幾個(gè)數(shù)據(jù)中心各配置一套,并通過光纖直連、DWDM等設(shè)備直連或WAN等方式實(shí)現(xiàn)連接。采用分布式存儲(chǔ)方式,建立統(tǒng)一的存儲(chǔ)虛擬化資源池,實(shí)現(xiàn)存儲(chǔ)雙活,保障系統(tǒng)數(shù)據(jù)不丟失,如圖4所示。

    圖4 存儲(chǔ)虛擬化網(wǎng)關(guān)部署拓?fù)?/p>

    2.4 計(jì)算資源池

    通過服務(wù)器虛擬化技術(shù)將服務(wù)器物理資源抽象成邏輯資源,讓一臺(tái)服務(wù)器變成幾臺(tái)甚至上百臺(tái)相互隔離的虛擬服務(wù)器,不再受限于物理上的界限,而是讓CPU、內(nèi)存、磁盤、I/O等硬件變成可以動(dòng)態(tài)管理的“資源池”,從而提高資源的利用率,簡化系統(tǒng)管理,實(shí)現(xiàn)服務(wù)器資源池化的整合,提供了更好的可遷移性,讓計(jì)算資源對(duì)業(yè)務(wù)的變化更具適應(yīng)力,如圖5所示。每個(gè)用戶都可以在他們的虛擬機(jī)上運(yùn)行程序、存儲(chǔ)數(shù)據(jù),甚至虛擬機(jī)崩潰也不會(huì)影響系統(tǒng)本身和其他的系統(tǒng)用戶。所以,虛擬機(jī)模型不僅允許資源共享,而且實(shí)現(xiàn)了系統(tǒng)資源的保護(hù)。目前,可選擇的虛擬化主要產(chǎn)品包括VMware vSphere、Citrix XenServer、Oracle VM Server for x86 等。

    圖5 虛擬硬件技術(shù)結(jié)構(gòu)

    不同數(shù)據(jù)中心的虛擬化主機(jī)按業(yè)務(wù)分組組成負(fù)載模式,共同承擔(dān)保證業(yè)務(wù)訪問,實(shí)現(xiàn)兩中心虛擬機(jī)遷移及HA切換等。此外,計(jì)算資源池還要預(yù)留一部分資源,供計(jì)劃內(nèi)維護(hù)業(yè)務(wù)系統(tǒng)時(shí)的資源遷移以及非計(jì)劃內(nèi)意外宕機(jī)等情況,建議每個(gè)虛擬化集群預(yù)留30%的資源池容量。

    3 業(yè)務(wù)容災(zāi)方案

    3.1 業(yè)務(wù)容災(zāi)目標(biāo)

    應(yīng)用級(jí)容災(zāi)從流程上實(shí)現(xiàn)了全業(yè)務(wù)的連續(xù)性需求。在容災(zāi)切換時(shí),除了切換核心的數(shù)據(jù)庫數(shù)據(jù)外,還包含IP地址、中間件服務(wù)、用戶級(jí)業(yè)務(wù)的切換。

    在進(jìn)行容災(zāi)設(shè)計(jì)時(shí),應(yīng)針對(duì)數(shù)據(jù)中心業(yè)務(wù)承接情況給出容災(zāi)的合理化建議,分類實(shí)現(xiàn)容災(zāi)備份系統(tǒng)。以某數(shù)據(jù)中心為例:對(duì)于核心數(shù)據(jù)庫業(yè)務(wù),提供實(shí)時(shí)數(shù)據(jù)保護(hù),實(shí)現(xiàn)實(shí)時(shí)應(yīng)用級(jí)容災(zāi),數(shù)據(jù)庫讀寫分離,分別部署于兩中心;對(duì)于非核心業(yè)務(wù),實(shí)現(xiàn)應(yīng)用級(jí)容災(zāi),數(shù)據(jù)近似零丟失,應(yīng)用業(yè)務(wù)可在兩中心切換,切換時(shí)間取決于業(yè)務(wù)大小,基本在30 min內(nèi)實(shí)現(xiàn)切換。

    3.2 數(shù)據(jù)中心入口選擇

    數(shù)據(jù)中心可選擇多運(yùn)營商接入,通過部署鏈路負(fù)載均衡設(shè)備,用來實(shí)現(xiàn)多廣域網(wǎng)線路選路和冗余備份,使用戶可以通過最快線路訪問數(shù)據(jù)中心內(nèi)部業(yè)務(wù)系統(tǒng),加快了數(shù)據(jù)中心訪問速度。同時(shí),當(dāng)任何一條線路出現(xiàn)故障,用戶依然可以通過另一條廣域網(wǎng)線路訪問數(shù)據(jù)中心服務(wù)器,提高了數(shù)據(jù)中心的可靠性。

    通過全局負(fù)載均衡設(shè)備的智能DNS功能,可以實(shí)現(xiàn)兩數(shù)據(jù)中心的災(zāi)備功能。當(dāng)?shù)谝簧a(chǎn)中心的所有服務(wù)器出現(xiàn)故障或受到攻擊而不能提供服務(wù)時(shí),全局負(fù)載均衡設(shè)備會(huì)引導(dǎo)用戶(自動(dòng)或人工)去第二生產(chǎn)中心訪問業(yè)務(wù)。

    3.3 核心數(shù)據(jù)庫業(yè)務(wù)容災(zāi)

    核心數(shù)據(jù)庫業(yè)務(wù)中業(yè)務(wù)復(fù)雜,訪問量大,包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)重要程度高,要求當(dāng)生產(chǎn)中心發(fā)生嚴(yán)重災(zāi)難時(shí),能實(shí)時(shí)接管并提供應(yīng)用服務(wù),保障業(yè)務(wù)連續(xù)性。

    (1)非結(jié)構(gòu)化數(shù)據(jù)

    非結(jié)構(gòu)化數(shù)據(jù)一般為大量的不同格式的圖片、文檔、音視頻文件等,存放于光纖磁盤陣列上。對(duì)于非結(jié)構(gòu)化數(shù)據(jù),只要數(shù)據(jù)能完整的復(fù)制到災(zāi)備中心,通過相應(yīng)的文件系統(tǒng)格式,就可以進(jìn)行訪問。因此,將非結(jié)構(gòu)化數(shù)據(jù)通過虛擬化存儲(chǔ)網(wǎng)關(guān)進(jìn)行存儲(chǔ)整合后,實(shí)現(xiàn)統(tǒng)一存儲(chǔ)虛擬化,兩中心數(shù)據(jù)完全一致,為上層應(yīng)用提供透明訪問。

    (2)結(jié)構(gòu)化數(shù)據(jù)

    Oracle RAC集群或使用專業(yè)的數(shù)據(jù)庫復(fù)制軟件進(jìn)行異構(gòu)的數(shù)據(jù)庫復(fù)制,是常用的業(yè)務(wù)連續(xù)性解決方案,可實(shí)現(xiàn)數(shù)據(jù)庫層的雙活。

    Oracle RAC可以實(shí)現(xiàn)多節(jié)點(diǎn)多活,并可在節(jié)點(diǎn)之間負(fù)載均衡,從而保證數(shù)據(jù)的唯一性;而支持異構(gòu)的數(shù)據(jù)庫復(fù)制技術(shù),可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)之間實(shí)現(xiàn)大量數(shù)據(jù)的數(shù)據(jù)捕捉、轉(zhuǎn)換和投遞,打破了原來硬件及操作系統(tǒng)等方面的限制,避免了引入過多種類的軟硬件產(chǎn)品,降低了運(yùn)營維護(hù)的復(fù)雜度和投入,有利于災(zāi)備系統(tǒng)的恢復(fù)和切換。

    以數(shù)據(jù)庫復(fù)制軟件GoldenGate為例,由于數(shù)據(jù)庫文件在不同的業(yè)務(wù)平臺(tái)下,數(shù)據(jù)文件和參數(shù)會(huì)有一些區(qū)別,只有實(shí)現(xiàn)兩端數(shù)據(jù)一致性保障,才能確保核心數(shù)據(jù)的安全。GoldenGate可以從數(shù)據(jù)庫的日志中解析數(shù)據(jù)的變化(數(shù)據(jù)量只有日志的1/4左右),然后將數(shù)據(jù)轉(zhuǎn)化為自己的格式,直接通過TCP/IP網(wǎng)絡(luò)傳輸,無需依賴于數(shù)據(jù)庫自身的傳遞方式,而且可以通過很高的壓縮比率對(duì)數(shù)據(jù)進(jìn)行壓縮,大大降低帶寬需求。在目標(biāo)端,可以通過交易重組、分批加載等技術(shù)手段,大大加快數(shù)據(jù)投遞的速度和效率,降低目標(biāo)系統(tǒng)的資源占用,可以在秒級(jí)實(shí)現(xiàn)大量數(shù)據(jù)的復(fù)制。

    此外,采用數(shù)據(jù)庫讀寫分離技術(shù),將讀寫數(shù)據(jù)流分別分擔(dān)于兩中心,進(jìn)行業(yè)務(wù)負(fù)載均衡。當(dāng)數(shù)據(jù)寫操作發(fā)生問題時(shí),不影響數(shù)據(jù)讀操作,且可以用分離的數(shù)據(jù)庫接管主業(yè)務(wù)系統(tǒng)。

    3.4 非核心業(yè)務(wù)容災(zāi)

    非核心業(yè)務(wù)完全承載于數(shù)據(jù)中心的云平臺(tái),全部進(jìn)行業(yè)務(wù)虛擬化。同時(shí)采用基于存儲(chǔ)網(wǎng)關(guān)的統(tǒng)一存儲(chǔ)虛擬化進(jìn)行設(shè)計(jì)。數(shù)據(jù)中心之間通過大二層網(wǎng)絡(luò)互聯(lián),使虛擬機(jī)可以在數(shù)據(jù)中心之間進(jìn)行快速遷移和HA切換。

    4 政務(wù)數(shù)據(jù)中心的雙活實(shí)踐

    隨著政府信息化建設(shè)的不斷推進(jìn),尤其是國家提出建設(shè)智慧城市后,智慧交通、智慧醫(yī)療、智慧教育等平臺(tái)紛紛上馬。各地政府為解決過去電子政務(wù)基礎(chǔ)資源分散、資源難以共享、重復(fù)投資建設(shè)、資源浪費(fèi)等問題,陸續(xù)開始了政務(wù)云數(shù)據(jù)中心的建設(shè),以實(shí)現(xiàn)政務(wù)基礎(chǔ)資源的整合和共享。整合后的政務(wù)數(shù)據(jù)中心具有“大集中”、“虛擬化”、“云計(jì)算”等特征,通過災(zāi)備能夠提供業(yè)務(wù)連續(xù)性,保證各類政務(wù)業(yè)務(wù)的持續(xù)運(yùn)行。

    4.1 方案概述

    某市政府在對(duì)其數(shù)據(jù)中心進(jìn)行資源整合的同時(shí),在兩個(gè)數(shù)據(jù)中心引入了災(zāi)備能力。災(zāi)備選用 “同城雙中心”方案,根據(jù)數(shù)據(jù)中心的業(yè)務(wù)情況,將應(yīng)用的備份分為主備應(yīng)用以及雙活應(yīng)用。拓?fù)涫疽馊鐖D6所示。

    兩個(gè)數(shù)據(jù)中心不是同期建設(shè),因此規(guī)劃和部署了不同網(wǎng)段的IP地址:第一數(shù)據(jù)中心規(guī)劃了10.0.0.0/16網(wǎng)段的IP地址,第二數(shù)據(jù)中心規(guī)劃了20.0.0.0/16網(wǎng)段的IP地址。

    在兩個(gè)數(shù)據(jù)中心增加VxLAN網(wǎng)關(guān)設(shè)備,通過VxLAN技術(shù)在兩個(gè)數(shù)據(jù)中心實(shí)現(xiàn)二層互通。雙中心完成大二層互通后,形成跨越兩個(gè)數(shù)據(jù)中心的統(tǒng)一資源池,虛擬機(jī)可以在雙中心間進(jìn)行遷移。此外,通過IP地址和VLAN的規(guī)劃,將資源池劃分為兩級(jí):一級(jí)資源池的應(yīng)用采用雙活方式進(jìn)行備份,二級(jí)資源池的應(yīng)用采用主備方式進(jìn)行備份。

    進(jìn)行整合的初期,為了保證數(shù)據(jù)中心訪問流量流向在改造實(shí)施后仍與改造前相同,暫時(shí)不在雙中心對(duì)業(yè)務(wù)進(jìn)行負(fù)載均衡。在雙中心的資源池網(wǎng)關(guān)設(shè)備上針對(duì)不同的IP地址段啟用VRRP。通過調(diào)整VRRP優(yōu)先級(jí)以及發(fā)布路由的優(yōu)先級(jí),使外網(wǎng)與10.0.0.0/16網(wǎng)段的交互流量均經(jīng)過第一數(shù)據(jù)中心,外網(wǎng)與20.0.0.0/16網(wǎng)段的交互流量均經(jīng)過第二數(shù)據(jù)中心。即正常情況下,兩個(gè)數(shù)據(jù)中心的二層互通鏈路不承載外網(wǎng)訪問業(yè)務(wù)流量。

    4.2 資源池故障測(cè)試

    當(dāng)?shù)谝粩?shù)據(jù)中心資源池中的虛擬機(jī)出現(xiàn)故障時(shí),通過高可用性、容錯(cuò)等備份技術(shù),虛擬機(jī)被自動(dòng)移動(dòng)至第二數(shù)據(jù)中心,其IP地址不發(fā)生變化。用戶訪問該主機(jī)時(shí),仍從第一數(shù)據(jù)中心的外網(wǎng)入口進(jìn)入,并經(jīng)由雙中心之間的二層互聯(lián),訪問到位于第二數(shù)據(jù)中心的備用主機(jī)。

    在兩個(gè)數(shù)據(jù)中心現(xiàn)有的資源池搭建測(cè)試環(huán)境,具體硬件配置見表1。

    圖6 政務(wù)數(shù)據(jù)中心整合示意

    表1 資源池配置

    通過部署VMware HA進(jìn)行資源池故障恢復(fù)測(cè)試,測(cè)試環(huán)境虛擬機(jī)配置見表2。

    表2 測(cè)試虛擬機(jī)配置

    在兩個(gè)數(shù)據(jù)中心的統(tǒng)一資源池上創(chuàng)建兩個(gè)測(cè)試集群節(jié)點(diǎn),并啟用HA。在集群上創(chuàng)建一臺(tái)配置為2.4 GHz處理器、2 GB內(nèi)存的Windows 2003 Server企業(yè)版虛擬機(jī),用于故障切換測(cè)試。測(cè)試時(shí)關(guān)停一個(gè)集群節(jié)點(diǎn),通過ping工具測(cè)試驗(yàn)證主機(jī)的可用性,業(yè)務(wù)整體恢復(fù)時(shí)間約為1 min 45 s。

    通常,VMware HA的業(yè)務(wù)中斷時(shí)間主要由HA心跳檢測(cè)時(shí)間、虛擬機(jī)系統(tǒng)啟動(dòng)時(shí)間以及應(yīng)用啟動(dòng)時(shí)間組成,這個(gè)時(shí)間一般在3 min以內(nèi)。因此,測(cè)試結(jié)果是正常的。

    4.3 網(wǎng)絡(luò)出口故障測(cè)試

    當(dāng)?shù)谝粩?shù)據(jù)中心網(wǎng)絡(luò)出口設(shè)備發(fā)生災(zāi)害(停電、出口阻斷等)時(shí),10.0.0.0/16網(wǎng)段在第一數(shù)據(jù)中心的網(wǎng)關(guān)失效,路由也隨即撤銷。第二數(shù)據(jù)中心檢測(cè)到第一數(shù)據(jù)中心網(wǎng)關(guān)不可用后,將其網(wǎng)關(guān)切換成VRRP主用狀態(tài),且路由同時(shí)生效。此時(shí),訪問10.0.0.0/16網(wǎng)段的流量從第二數(shù)據(jù)中心網(wǎng)關(guān)進(jìn)入,并經(jīng)由雙中心之間的二層互聯(lián),訪問位于第一數(shù)據(jù)中心的資源池。

    由于資源池并未受到故障影響,因此,該場(chǎng)景下的業(yè)務(wù)恢復(fù)時(shí)間主要受制于VRRP設(shè)置的發(fā)送通告報(bào)文定時(shí)器時(shí)間。測(cè)試中,將第一數(shù)據(jù)中心網(wǎng)關(guān)子接口關(guān)閉來模擬故障,使用ping工具測(cè)試驗(yàn)證主機(jī)的可用性,業(yè)務(wù)恢復(fù)時(shí)間可達(dá)到秒級(jí)。通過部署快速檢測(cè)協(xié)議,加快VRRP觸發(fā)故障倒換,可以進(jìn)一步縮短業(yè)務(wù)恢復(fù)時(shí)間。

    4.4 Web應(yīng)用故障測(cè)試

    用戶通過域名訪問位于第一數(shù)據(jù)中心Web應(yīng)用時(shí),部署在兩個(gè)數(shù)據(jù)中心的任意一個(gè)F5解析出主用地址為10.X.100.100,備用地址為20.X.100.100。當(dāng)?shù)谝粩?shù)據(jù)中心發(fā)生單點(diǎn)故障導(dǎo)致主用Web服務(wù)器不可用時(shí),主用IP地址不可用,并由F5調(diào)度到20.X.100.100提供服務(wù)。測(cè)試中,通過關(guān)停Web測(cè)試服務(wù)器虛擬機(jī)模擬故障,由于備用主機(jī)已經(jīng)處于“存活”狀態(tài),因此用戶幾乎不會(huì)感知到Web應(yīng)用故障。

    5 結(jié)束語

    數(shù)據(jù)中心是支撐云計(jì)算、大數(shù)據(jù)發(fā)展的基礎(chǔ),本文介紹了一種“雙活”數(shù)據(jù)中心的實(shí)現(xiàn)方案。通過雙活技術(shù),可以搭建一個(gè)高可靠性的信息化平臺(tái)。數(shù)據(jù)中心中信息系統(tǒng)雙活的實(shí)現(xiàn)方式還有很多,結(jié)合數(shù)據(jù)中心各類信息系統(tǒng)的具體需求來進(jìn)行方案設(shè)計(jì)尤為重要。此外,真正的實(shí)現(xiàn)數(shù)據(jù)中心各類信息系統(tǒng)的連續(xù)運(yùn)行,一套完善的運(yùn)維管理制度和流程、維護(hù)管理人才的培養(yǎng)和儲(chǔ)備也是必不可少的。

    [1]史晨陽,壽弘宇.面向未來的同城雙活中心網(wǎng)絡(luò)架構(gòu)建設(shè)[J].金融電子化,2014(3):52-54.SHI C Y,SHOU H Y.The construction of future oriented network architecture for double-live data center [J].Financial Computerizing,2014(3):52-54.

    [2]李宏偉,肖偉.存儲(chǔ)虛擬化技術(shù)在雙活數(shù)據(jù)中心中的應(yīng)用[J].郵電設(shè)計(jì)技術(shù),2013(9):9-13.LI H W,XIAO W.The application of storage virtualization technology to double-live data center[J].Designing Techniques of Posts and Telecommunications,2013(9):9-13.

    [3]朱明明,夏寅賁,徐小飛.基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)研究[J].郵電設(shè)計(jì)技術(shù),2014(3):23-29.ZHU M M,XIA Y B,XU X F.Research on data center network based on SDN [J].Designing Techniques of Posts and Telecommunications,2014(3):23-29.

    An implementation of the “active-active” data center

    FAN Hao
    Taizhou Branch of China Telecom Co.,Ltd.,Taizhou 225300,China

    With the transition of the traditional data center to cloud data center,government and financial industry's information system disaster recovery and backup becomes an important means to ensure services continuity and data availability.Active-active data center can enhance system availability and improve the utilization of equipment,becoming the future trend of data center construction.Active-active data center involves networking,virtualization,storage technology.These related technologies to achieve active-active in the data center were described,and the effectiveness of the technology was verified by the implementation of the governmental data center.

    data center,active-active,virtualization,cloud computing

    TP311

    A

    10.11959/j.issn.1000-0801.2016029

    2015-05-27;

    2015-10-30

    樊昊(1979-),男,中國電信股份有限公司泰州分公司網(wǎng)絡(luò)操作維護(hù)中心工程師,主要研究方向?yàn)榇笮虸P城域網(wǎng)組織、優(yōu)化以及數(shù)據(jù)中心的設(shè)計(jì)規(guī)劃。

    猜你喜歡
    容災(zāi)網(wǎng)關(guān)備份
    “備份”25年:鄧清明圓夢(mèng)
    基于改進(jìn)RPS技術(shù)的IPSEC VPN網(wǎng)關(guān)設(shè)計(jì)
    關(guān)于建筑企業(yè)容災(zāi)備份系統(tǒng)方案的探討
    電子制作(2017年10期)2017-04-18 07:22:47
    基于中興軟交換的電力通信網(wǎng)絡(luò)容災(zāi)系統(tǒng)建設(shè)
    基于數(shù)據(jù)容災(zāi)技術(shù)在企業(yè)信息系統(tǒng)中的應(yīng)用研究
    LTE Small Cell網(wǎng)關(guān)及虛擬網(wǎng)關(guān)技術(shù)研究
    淺析數(shù)據(jù)的備份策略
    科技視界(2015年6期)2015-08-15 00:54:11
    應(yīng)對(duì)氣候變化需要打通“網(wǎng)關(guān)”
    太陽能(2015年7期)2015-04-12 06:49:50
    一種實(shí)時(shí)高效的伺服控制網(wǎng)關(guān)設(shè)計(jì)
    出版原圖數(shù)據(jù)庫遷移與備份恢復(fù)
    午夜影院日韩av| 麻豆av在线久日| 国产一区二区在线av高清观看| 精品国产乱码久久久久久男人| 亚洲av熟女| 在线观看免费午夜福利视频| 桃色一区二区三区在线观看| 人妻丰满熟妇av一区二区三区| 欧美乱码精品一区二区三区| 夜夜看夜夜爽夜夜摸| 波多野结衣高清无吗| av视频免费观看在线观看| 欧美日本中文国产一区发布| 欧美激情 高清一区二区三区| 日韩欧美三级三区| 久久久久久大精品| 日韩欧美免费精品| 午夜福利在线观看吧| av福利片在线| 欧美色欧美亚洲另类二区 | 久久人人精品亚洲av| 99在线人妻在线中文字幕| 黄片大片在线免费观看| 久久久国产成人精品二区| 久久久国产成人精品二区| 成人三级黄色视频| 久久久久久人人人人人| 久久精品aⅴ一区二区三区四区| 亚洲熟妇熟女久久| 极品教师在线免费播放| 丝袜美腿诱惑在线| 久久香蕉国产精品| 男女床上黄色一级片免费看| 成人免费观看视频高清| 日本a在线网址| 18禁裸乳无遮挡免费网站照片 | 天堂√8在线中文| 久久久精品欧美日韩精品| 亚洲久久久国产精品| 国产亚洲精品久久久久5区| 亚洲精品久久国产高清桃花| 国产成人一区二区三区免费视频网站| 搡老熟女国产l中国老女人| 乱人伦中国视频| 久久久久久久午夜电影| 免费在线观看亚洲国产| 老司机深夜福利视频在线观看| 最好的美女福利视频网| 久久人妻福利社区极品人妻图片| 国产区一区二久久| 少妇熟女aⅴ在线视频| 精品久久久久久,| 俄罗斯特黄特色一大片| 在线av久久热| 亚洲色图av天堂| 欧美黑人精品巨大| 91国产中文字幕| 两个人看的免费小视频| 丝袜在线中文字幕| or卡值多少钱| 国产区一区二久久| 亚洲色图av天堂| 精品人妻在线不人妻| 男女下面插进去视频免费观看| 国产色视频综合| av福利片在线| 青草久久国产| 久久久久久久久免费视频了| 制服人妻中文乱码| 看免费av毛片| 国产1区2区3区精品| 亚洲色图综合在线观看| 亚洲av片天天在线观看| 一边摸一边抽搐一进一出视频| 国产99白浆流出| 国产野战对白在线观看| 国产精品久久久人人做人人爽| 一个人观看的视频www高清免费观看 | or卡值多少钱| 国产激情久久老熟女| 99国产精品一区二区三区| 日韩成人在线观看一区二区三区| 狠狠狠狠99中文字幕| 99久久综合精品五月天人人| 日韩中文字幕欧美一区二区| 90打野战视频偷拍视频| 色综合欧美亚洲国产小说| 欧美激情久久久久久爽电影 | 国产成人av激情在线播放| 精品一区二区三区视频在线观看免费| 成人免费观看视频高清| 一卡2卡三卡四卡精品乱码亚洲| 亚洲午夜精品一区,二区,三区| 在线观看免费视频网站a站| 母亲3免费完整高清在线观看| 亚洲精品国产一区二区精华液| 中文字幕最新亚洲高清| 侵犯人妻中文字幕一二三四区| 婷婷精品国产亚洲av在线| 十八禁网站免费在线| 一区二区三区精品91| 国产成人av激情在线播放| 国产高清视频在线播放一区| 久久人妻熟女aⅴ| 可以免费在线观看a视频的电影网站| 日韩国内少妇激情av| 国产又色又爽无遮挡免费看| 国产欧美日韩一区二区精品| 久久精品亚洲精品国产色婷小说| 宅男免费午夜| 很黄的视频免费| 亚洲专区字幕在线| 国产一卡二卡三卡精品| 精品国产一区二区久久| 久久精品亚洲精品国产色婷小说| 18禁国产床啪视频网站| 99在线视频只有这里精品首页| 日日爽夜夜爽网站| 日本欧美视频一区| 久久香蕉激情| 91九色精品人成在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 99riav亚洲国产免费| 50天的宝宝边吃奶边哭怎么回事| 国产av在哪里看| 精品免费久久久久久久清纯| 久久热在线av| 大型黄色视频在线免费观看| 夜夜爽天天搞| 日日爽夜夜爽网站| 亚洲欧美日韩无卡精品| 久久亚洲真实| 脱女人内裤的视频| 99re在线观看精品视频| 一区在线观看完整版| 精品久久久久久久人妻蜜臀av | 操出白浆在线播放| 日韩国内少妇激情av| 国产精品久久久久久精品电影 | 中文字幕久久专区| 一级a爱片免费观看的视频| 视频在线观看一区二区三区| 中文字幕久久专区| 久久久国产欧美日韩av| 高清毛片免费观看视频网站| 91在线观看av| 亚洲男人天堂网一区| 中文字幕人妻熟女乱码| 日韩精品中文字幕看吧| 欧美黑人欧美精品刺激| 亚洲第一欧美日韩一区二区三区| 精品一区二区三区视频在线观看免费| 久久人妻熟女aⅴ| 日韩欧美国产在线观看| av天堂在线播放| 亚洲七黄色美女视频| 中文字幕最新亚洲高清| 午夜福利18| 亚洲国产欧美一区二区综合| 麻豆一二三区av精品| 亚洲国产精品999在线| 中亚洲国语对白在线视频| 精品国产乱子伦一区二区三区| 人人妻,人人澡人人爽秒播| 亚洲国产精品成人综合色| 最近最新中文字幕大全电影3 | 国产真人三级小视频在线观看| 电影成人av| 自拍欧美九色日韩亚洲蝌蚪91| 99久久99久久久精品蜜桃| 国产亚洲精品一区二区www| 久久久国产精品麻豆| x7x7x7水蜜桃| 精品国产国语对白av| 黑人巨大精品欧美一区二区mp4| 欧美黑人欧美精品刺激| 免费在线观看黄色视频的| 九色国产91popny在线| 色婷婷久久久亚洲欧美| 久久久久亚洲av毛片大全| 亚洲狠狠婷婷综合久久图片| 亚洲五月婷婷丁香| 婷婷丁香在线五月| 国产亚洲精品av在线| 亚洲 国产 在线| 国产精品日韩av在线免费观看 | 国产精品亚洲美女久久久| 成人国产一区最新在线观看| 91麻豆精品激情在线观看国产| a级毛片在线看网站| 亚洲在线自拍视频| 国产在线观看jvid| 两性夫妻黄色片| 亚洲专区字幕在线| 女生性感内裤真人,穿戴方法视频| 中文字幕色久视频| 亚洲成人久久性| 久久精品国产亚洲av高清一级| 50天的宝宝边吃奶边哭怎么回事| 男人舔女人下体高潮全视频| 国产精品秋霞免费鲁丝片| 亚洲午夜精品一区,二区,三区| 免费高清视频大片| 亚洲精品国产色婷婷电影| 自线自在国产av| av网站免费在线观看视频| 成人欧美大片| 国产免费av片在线观看野外av| 国产极品粉嫩免费观看在线| 一边摸一边做爽爽视频免费| 狠狠狠狠99中文字幕| 看免费av毛片| 宅男免费午夜| 午夜久久久在线观看| 国产高清视频在线播放一区| 十八禁人妻一区二区| 亚洲午夜理论影院| svipshipincom国产片| 久久精品91蜜桃| 中文字幕另类日韩欧美亚洲嫩草| 可以在线观看毛片的网站| 99re在线观看精品视频| 最新在线观看一区二区三区| 一区二区三区高清视频在线| 在线观看免费日韩欧美大片| 亚洲一区中文字幕在线| 国产精品爽爽va在线观看网站 | 亚洲中文日韩欧美视频| 亚洲av美国av| 大码成人一级视频| 午夜两性在线视频| 欧美老熟妇乱子伦牲交| 淫妇啪啪啪对白视频| 又大又爽又粗| 亚洲人成电影免费在线| 在线国产一区二区在线| 搡老熟女国产l中国老女人| 欧美绝顶高潮抽搐喷水| 国产精品乱码一区二三区的特点 | 亚洲成人精品中文字幕电影| 乱人伦中国视频| 国产黄a三级三级三级人| 一本久久中文字幕| 最近最新中文字幕大全电影3 | 怎么达到女性高潮| 久久久久久免费高清国产稀缺| 欧美黑人欧美精品刺激| 香蕉国产在线看| 亚洲 欧美一区二区三区| 999久久久国产精品视频| videosex国产| www国产在线视频色| av免费在线观看网站| 午夜免费成人在线视频| 纯流量卡能插随身wifi吗| 久久婷婷人人爽人人干人人爱 | 免费在线观看黄色视频的| 亚洲国产日韩欧美精品在线观看 | 中文字幕高清在线视频| 日本免费一区二区三区高清不卡 | 丝袜美足系列| 亚洲美女黄片视频| 两个人视频免费观看高清| 精品欧美一区二区三区在线| 成人特级黄色片久久久久久久| 国产亚洲精品久久久久5区| 精品国内亚洲2022精品成人| 久久婷婷人人爽人人干人人爱 | 亚洲视频免费观看视频| 精品日产1卡2卡| 好男人电影高清在线观看| 久久精品成人免费网站| 成人永久免费在线观看视频| 国产成人精品在线电影| 国产精品 欧美亚洲| 国产野战对白在线观看| 日本撒尿小便嘘嘘汇集6| 亚洲精品国产区一区二| 国产色视频综合| 777久久人妻少妇嫩草av网站| 叶爱在线成人免费视频播放| 9191精品国产免费久久| 亚洲精品美女久久av网站| 人妻久久中文字幕网| 身体一侧抽搐| 91麻豆精品激情在线观看国产| 亚洲第一av免费看| 国产私拍福利视频在线观看| 国产精品亚洲一级av第二区| 男人舔女人下体高潮全视频| 久久久国产成人免费| 真人做人爱边吃奶动态| 最好的美女福利视频网| 天天添夜夜摸| 欧美乱妇无乱码| 亚洲av成人一区二区三| 亚洲少妇的诱惑av| 18美女黄网站色大片免费观看| 黄色毛片三级朝国网站| 大型黄色视频在线免费观看| 91av网站免费观看| 正在播放国产对白刺激| 欧美一区二区精品小视频在线| 制服丝袜大香蕉在线| 国产成人啪精品午夜网站| 一边摸一边抽搐一进一出视频| 午夜福利一区二区在线看| 午夜亚洲福利在线播放| www.精华液| 亚洲成人免费电影在线观看| 黄色视频不卡| 97超级碰碰碰精品色视频在线观看| 国产成+人综合+亚洲专区| 一a级毛片在线观看| 又大又爽又粗| 久久影院123| 久久国产精品男人的天堂亚洲| 性少妇av在线| 成人av一区二区三区在线看| 一区在线观看完整版| 精品不卡国产一区二区三区| 1024视频免费在线观看| 一级a爱视频在线免费观看| 亚洲欧美一区二区三区黑人| 国产精品乱码一区二三区的特点 | 亚洲 欧美一区二区三区| 久久天堂一区二区三区四区| 久久伊人香网站| 搡老岳熟女国产| 日本vs欧美在线观看视频| 亚洲 国产 在线| 别揉我奶头~嗯~啊~动态视频| 妹子高潮喷水视频| 成年人黄色毛片网站| 国产亚洲av高清不卡| 最近最新免费中文字幕在线| 久热爱精品视频在线9| 夜夜爽天天搞| 又紧又爽又黄一区二区| 免费看十八禁软件| 成人特级黄色片久久久久久久| 中国美女看黄片| av免费在线观看网站| 久久亚洲真实| 女同久久另类99精品国产91| 视频在线观看一区二区三区| 成人特级黄色片久久久久久久| 丝袜人妻中文字幕| 国产午夜福利久久久久久| 免费看十八禁软件| 一区二区三区激情视频| 丝袜人妻中文字幕| 国产一区二区在线av高清观看| 久久影院123| 国产高清激情床上av| 国产亚洲欧美精品永久| 国产不卡一卡二| 婷婷丁香在线五月| 国产高清激情床上av| 成人三级做爰电影| 午夜福利一区二区在线看| 多毛熟女@视频| 久久精品国产亚洲av香蕉五月| 国产精品 欧美亚洲| 国产高清激情床上av| 亚洲男人的天堂狠狠| 日本 av在线| 亚洲男人的天堂狠狠| 欧美一区二区精品小视频在线| 大型av网站在线播放| 99在线人妻在线中文字幕| 亚洲精品中文字幕一二三四区| 成人18禁在线播放| 99久久久亚洲精品蜜臀av| 中文字幕另类日韩欧美亚洲嫩草| 最近最新中文字幕大全电影3 | 色综合婷婷激情| 国产精品久久久久久精品电影 | 免费久久久久久久精品成人欧美视频| 两个人免费观看高清视频| 免费久久久久久久精品成人欧美视频| 色综合亚洲欧美另类图片| 久久伊人香网站| 国产蜜桃级精品一区二区三区| 色尼玛亚洲综合影院| 欧美黑人精品巨大| 精品第一国产精品| 99在线人妻在线中文字幕| 日日摸夜夜添夜夜添小说| 女性生殖器流出的白浆| 一本综合久久免费| cao死你这个sao货| 久久香蕉精品热| 午夜免费激情av| 亚洲中文字幕一区二区三区有码在线看 | 咕卡用的链子| 国产精品精品国产色婷婷| 国产精品亚洲美女久久久| 51午夜福利影视在线观看| 天天一区二区日本电影三级 | 国产成人欧美| 精品无人区乱码1区二区| 久久人人精品亚洲av| 欧美一级毛片孕妇| 国产精品久久久人人做人人爽| 国产aⅴ精品一区二区三区波| 欧美老熟妇乱子伦牲交| 一级毛片精品| 久久人妻福利社区极品人妻图片| 欧美不卡视频在线免费观看 | 99国产精品一区二区蜜桃av| 国产亚洲av高清不卡| 欧美成狂野欧美在线观看| 悠悠久久av| 午夜老司机福利片| 一级a爱片免费观看的视频| 美女扒开内裤让男人捅视频| 国产91精品成人一区二区三区| 久久久久久久久免费视频了| videosex国产| 国产精品乱码一区二三区的特点 | 悠悠久久av| 成年人黄色毛片网站| 在线十欧美十亚洲十日本专区| 91精品三级在线观看| 国产高清videossex| 日韩欧美一区视频在线观看| 国产精品一区二区在线不卡| 长腿黑丝高跟| 欧美日本视频| 男女下面插进去视频免费观看| 侵犯人妻中文字幕一二三四区| 给我免费播放毛片高清在线观看| 久久久久久人人人人人| 久久久国产成人精品二区| 在线观看免费视频网站a站| 欧美大码av| 19禁男女啪啪无遮挡网站| 欧美乱码精品一区二区三区| 久久亚洲真实| 免费在线观看影片大全网站| 亚洲成a人片在线一区二区| 中文字幕人成人乱码亚洲影| 国产亚洲精品综合一区在线观看 | 中文字幕人妻丝袜一区二区| 亚洲av片天天在线观看| 69av精品久久久久久| 国产精品亚洲一级av第二区| 久久久国产成人免费| 国产av在哪里看| 校园春色视频在线观看| 日本精品一区二区三区蜜桃| 久久久久久久久中文| 亚洲欧美一区二区三区黑人| 黄网站色视频无遮挡免费观看| 别揉我奶头~嗯~啊~动态视频| 人人妻人人澡欧美一区二区 | 天堂动漫精品| 好看av亚洲va欧美ⅴa在| 性色av乱码一区二区三区2| 国产精品98久久久久久宅男小说| 午夜精品在线福利| 免费看a级黄色片| 久久精品国产99精品国产亚洲性色 | 亚洲欧美一区二区三区黑人| 亚洲熟女毛片儿| 人人妻人人澡人人看| 丁香欧美五月| 国产精品一区二区免费欧美| 午夜福利免费观看在线| 岛国在线观看网站| 给我免费播放毛片高清在线观看| 最好的美女福利视频网| 亚洲精品国产色婷婷电影| 19禁男女啪啪无遮挡网站| 国产免费男女视频| 这个男人来自地球电影免费观看| 久久人人97超碰香蕉20202| 久久精品国产99精品国产亚洲性色 | 久久天躁狠狠躁夜夜2o2o| 亚洲国产欧美日韩在线播放| 中文字幕色久视频| 亚洲,欧美精品.| 亚洲国产欧美网| 亚洲黑人精品在线| 亚洲一区二区三区色噜噜| 国内精品久久久久久久电影| 国产av一区二区精品久久| 日韩大尺度精品在线看网址 | 亚洲中文字幕日韩| 日韩一卡2卡3卡4卡2021年| 一a级毛片在线观看| 淫妇啪啪啪对白视频| 极品教师在线免费播放| 国产视频一区二区在线看| 精品国产一区二区久久| 一区二区日韩欧美中文字幕| 日日摸夜夜添夜夜添小说| 狠狠狠狠99中文字幕| 国产午夜福利久久久久久| 女人精品久久久久毛片| 国产精品,欧美在线| 国产成人精品久久二区二区免费| 一个人观看的视频www高清免费观看 | 亚洲精品美女久久av网站| 国产免费男女视频| 两性夫妻黄色片| 国产野战对白在线观看| 九色国产91popny在线| 黄色视频,在线免费观看| 又紧又爽又黄一区二区| 极品人妻少妇av视频| 亚洲精品久久成人aⅴ小说| 国产激情欧美一区二区| 日日干狠狠操夜夜爽| 精品国产超薄肉色丝袜足j| 亚洲免费av在线视频| 欧美午夜高清在线| 9191精品国产免费久久| a在线观看视频网站| 午夜免费成人在线视频| 国产aⅴ精品一区二区三区波| 日韩视频一区二区在线观看| 国产视频一区二区在线看| 极品人妻少妇av视频| 一进一出好大好爽视频| 韩国av一区二区三区四区| 18禁裸乳无遮挡免费网站照片 | 亚洲人成电影免费在线| 日韩精品免费视频一区二区三区| 精品国产乱子伦一区二区三区| 性色av乱码一区二区三区2| 妹子高潮喷水视频| 大码成人一级视频| 久久久水蜜桃国产精品网| 欧美国产精品va在线观看不卡| 给我免费播放毛片高清在线观看| 在线视频色国产色| 日韩大尺度精品在线看网址 | 妹子高潮喷水视频| 久久久久国产一级毛片高清牌| 美女大奶头视频| www.精华液| 免费在线观看完整版高清| 欧美最黄视频在线播放免费| 免费人成视频x8x8入口观看| 在线十欧美十亚洲十日本专区| 亚洲国产精品成人综合色| 亚洲五月色婷婷综合| 午夜福利在线观看吧| 国产精品1区2区在线观看.| 亚洲五月天丁香| 曰老女人黄片| 久久亚洲真实| 侵犯人妻中文字幕一二三四区| 青草久久国产| 老司机靠b影院| 午夜精品在线福利| 欧美 亚洲 国产 日韩一| 亚洲精品国产精品久久久不卡| 成熟少妇高潮喷水视频| 男女午夜视频在线观看| 人成视频在线观看免费观看| 欧美日本视频| 俄罗斯特黄特色一大片| 天天一区二区日本电影三级 | 色婷婷久久久亚洲欧美| 电影成人av| 亚洲熟女毛片儿| 国产熟女午夜一区二区三区| 18禁观看日本| 夜夜夜夜夜久久久久| 99re在线观看精品视频| 亚洲天堂国产精品一区在线| 午夜福利,免费看| 高潮久久久久久久久久久不卡| 国产精品九九99| 成人永久免费在线观看视频| 日本 欧美在线| 亚洲精品国产区一区二| 精品一区二区三区四区五区乱码| 国产成人系列免费观看| 久久国产精品人妻蜜桃| 国产精品日韩av在线免费观看 | 欧美成狂野欧美在线观看| 亚洲国产看品久久| 亚洲中文日韩欧美视频| 在线观看免费日韩欧美大片| 99re在线观看精品视频| 色综合婷婷激情| 亚洲成av人片免费观看| 午夜a级毛片| 91九色精品人成在线观看| 国产欧美日韩一区二区精品| 国产av一区二区精品久久| 一本大道久久a久久精品| 亚洲人成电影免费在线| 1024香蕉在线观看| 欧美精品啪啪一区二区三区| 美女 人体艺术 gogo| 亚洲av美国av| 亚洲色图av天堂| 亚洲免费av在线视频| 啦啦啦 在线观看视频| 少妇 在线观看| 老司机午夜福利在线观看视频| 成人免费观看视频高清| 激情视频va一区二区三区| 欧美日韩亚洲国产一区二区在线观看| 精品久久久久久久毛片微露脸| 国产一区二区三区视频了| 日本在线视频免费播放| 国产伦人伦偷精品视频| 大型黄色视频在线免费观看| 9色porny在线观看|