• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    市級氣象數(shù)據(jù)級雙活系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

    2022-01-09 05:19:48胡利軍姚浩立
    關(guān)鍵詞:存儲系統(tǒng)備份虛擬化

    胡利軍,楊 豪,姚浩立

    (1.寧波市氣象網(wǎng)絡(luò)與裝備保障中心,浙江 寧波 315012;2.浙江省氣象信息網(wǎng)絡(luò)中心,浙江 杭州 310017)

    0 引 言

    隨著IT新技術(shù)的蓬勃發(fā)展和大數(shù)據(jù)技術(shù)在各行各業(yè)的廣泛應(yīng)用,數(shù)據(jù)中心已成為不可或缺的重要工具[1],而雙活數(shù)據(jù)中心技術(shù)也因而逐漸得到應(yīng)用,大量的數(shù)據(jù)也因?yàn)樵跇I(yè)務(wù)上得到充分使用成為寶貴的財(cái)富。經(jīng)過多年氣象現(xiàn)代化項(xiàng)目的建設(shè),寧波氣象事業(yè)得到了長足的發(fā)展,數(shù)據(jù)中心的規(guī)模經(jīng)過多年積累也初見規(guī)模。由于經(jīng)歷了十多年來分批次擴(kuò)充建設(shè),市級數(shù)據(jù)中心內(nèi)各種架構(gòu)的服務(wù)器、各種型號的存儲也數(shù)量眾多,繼之而來的是管理難度的增大,資源的煙囪化使用。各類計(jì)算資源、存儲資源使用率低下,而多種資料使用不及時(shí)、不充分,這也是傳統(tǒng)的數(shù)據(jù)中心存在的弊端。當(dāng)發(fā)生故障時(shí),處理技術(shù)不足、響應(yīng)時(shí)間過長,業(yè)務(wù)運(yùn)行的連續(xù)性得不到保障,數(shù)據(jù)應(yīng)用的可靠性也有待改進(jìn),大量的數(shù)據(jù)因系統(tǒng)架構(gòu)的不同存放在不同的地方,數(shù)據(jù)因使用不便得不到充分地應(yīng)用。業(yè)務(wù)運(yùn)行中,在保障業(yè)務(wù)運(yùn)行連續(xù)性的同時(shí),充分考慮數(shù)據(jù)的高可用性,避免大量數(shù)據(jù)閑置在各服務(wù)器、數(shù)據(jù)庫中,形成信息資源的孤島。

    為了使信息資源的可用性更高,同時(shí)保障數(shù)據(jù)使用的安全性,必須加強(qiáng)資源、數(shù)據(jù)的統(tǒng)一管理。為了確保數(shù)據(jù)中心數(shù)據(jù)的安全、業(yè)務(wù)的連續(xù)性,各種各樣的數(shù)據(jù)災(zāi)備技術(shù)在各個(gè)行業(yè)得到廣泛應(yīng)用。例如,劉坤燦[2]提出了基于區(qū)塊鏈的數(shù)據(jù)災(zāi)備網(wǎng)絡(luò),使用成熟的身份認(rèn)證體系,構(gòu)建弱中心化的交易系統(tǒng),組建高冗余度的災(zāi)備網(wǎng)絡(luò)。劉周[3]提出了云災(zāi)備的技術(shù)架構(gòu),災(zāi)備架構(gòu)模式分成生產(chǎn)在云上、生產(chǎn)在云下或者混合架構(gòu)幾種模式。楊涌[4]介紹了一種基于DHT的云災(zāi)備模型,應(yīng)用于廣域網(wǎng)的通用型數(shù)據(jù)級災(zāi)備解決方案。張正欣[5]從數(shù)據(jù)中心的功能及特征入手,研究了容災(zāi)恢復(fù)技術(shù)指標(biāo)和容災(zāi)系統(tǒng)的組成,并分析了數(shù)據(jù)容災(zāi)中心的建設(shè)模式。

    根據(jù)中國氣象局《氣象業(yè)務(wù)技術(shù)體制重點(diǎn)改革實(shí)施方案(2020-2022年)》文件精神,構(gòu)建以氣象大數(shù)據(jù)云平臺為“云”、氣象業(yè)務(wù)系統(tǒng)為“端”的氣象業(yè)務(wù)技術(shù)體制,實(shí)現(xiàn)氣象大數(shù)據(jù)全集統(tǒng)籌管理,形成“一朵云、兩級部署、四級應(yīng)用”的業(yè)務(wù)格局。而浙江省的氣象大數(shù)據(jù)云平臺是全國氣象大數(shù)據(jù)平臺的一個(gè)省級節(jié)點(diǎn),部署在內(nèi)網(wǎng)核心業(yè)務(wù)區(qū),支撐著全省的氣象業(yè)務(wù)系統(tǒng),并逐漸集聚來自市、縣兩級的各類氣象數(shù)據(jù)。以寧波市級氣象部門為例,氣象常規(guī)監(jiān)測數(shù)據(jù)生產(chǎn)數(shù)據(jù)庫、主要業(yè)務(wù)平臺都開始逐漸往省級數(shù)據(jù)中心集聚。寧波市各類氣象觀測站網(wǎng)觀測數(shù)據(jù)已經(jīng)或即將直接往省級數(shù)據(jù)中心中心端傳輸,進(jìn)入氣象大數(shù)據(jù)云平臺,現(xiàn)有核心業(yè)務(wù)應(yīng)用同樣將融入云平臺。

    因此在數(shù)據(jù)災(zāi)備設(shè)計(jì)上修改了原定的兩地三備的異地災(zāi)備方案,改成了基于虛擬化、備份一體機(jī)等技術(shù)來實(shí)現(xiàn)市級氣象數(shù)據(jù)中心應(yīng)用數(shù)據(jù)庫、主要業(yè)務(wù)系統(tǒng)平臺本地雙活。對市級氣象部門的業(yè)務(wù)系統(tǒng)、虛擬機(jī)、數(shù)據(jù)庫等提供本地備份保護(hù),不斷提高現(xiàn)有IT設(shè)備的利用率、數(shù)據(jù)使用的安全性和業(yè)務(wù)運(yùn)行的持續(xù)性,增強(qiáng)系統(tǒng)的抗風(fēng)險(xiǎn)能力。

    1 系統(tǒng)設(shè)計(jì)方案

    建設(shè)的寧波市級氣象監(jiān)測預(yù)報(bào)預(yù)警支撐系統(tǒng)用于支撐寧波市、縣兩級氣象業(yè)務(wù)部門主要的業(yè)務(wù)運(yùn)行,主要由虛擬化計(jì)算系統(tǒng)、FC數(shù)據(jù)存儲系統(tǒng)、備份系統(tǒng)三部分組成。虛擬化計(jì)算系統(tǒng)、存儲系統(tǒng),通過安裝vMware虛擬化軟件,構(gòu)建了多個(gè)服務(wù)器節(jié)點(diǎn)和一套共享存儲組成的虛擬化群集。兩臺存儲使用存儲虛擬化技術(shù)、陣列雙活Hypermetro技術(shù)經(jīng)大二層網(wǎng)絡(luò)構(gòu)成虛擬化的雙活存儲,邏輯上形成一臺存儲,在相連的上層應(yīng)用服務(wù)器系統(tǒng)寫入數(shù)據(jù)時(shí),相同的數(shù)據(jù)會同時(shí)存在兩個(gè)存儲中。

    虛擬化計(jì)算和數(shù)據(jù)存儲系統(tǒng)主要用來承載來自內(nèi)部網(wǎng)絡(luò)的各個(gè)業(yè)務(wù)系統(tǒng)。虛擬化計(jì)算系統(tǒng)采用共享資源池集群的方式,通過HA可以監(jiān)控vSphere主機(jī)和虛擬機(jī),實(shí)現(xiàn)虛擬機(jī)資源的管理。存儲系統(tǒng)中的磁盤陣列主要用于存儲各個(gè)業(yè)務(wù)部門各類業(yè)務(wù)系統(tǒng)中產(chǎn)生的大量數(shù)據(jù),確保數(shù)據(jù)在使用、保存時(shí)的安全性和穩(wěn)定性,同時(shí)為業(yè)務(wù)的高可用性提供基礎(chǔ)支撐[6-7]。

    備份系統(tǒng)由兩臺型號為HUAWEI 2288H V5災(zāi)備一體機(jī)組成,在災(zāi)備一體機(jī)中安裝AnyBackup軟件,通過2臺萬兆交換機(jī)、2臺存儲交換機(jī)與刀片服務(wù)器和磁盤陣列的FC及iSCSI網(wǎng)絡(luò)相連。虛擬機(jī)采用網(wǎng)絡(luò)萬兆劃分VLAN的方式通過三層接口接入氣象業(yè)務(wù)網(wǎng)絡(luò)。數(shù)據(jù)的存儲功能在本系統(tǒng)中主要是由磁盤陣列來完成,存儲的實(shí)現(xiàn)主要由以下硬件組成,分別為8臺虛擬化服務(wù)器,2臺可擴(kuò)展的磁盤陣列(各含兩個(gè)擴(kuò)展柜),2臺萬兆交換機(jī)(利舊)組成。其中24口的萬兆網(wǎng)絡(luò)交換機(jī)將磁盤陣列與各虛擬化服務(wù)器和2臺災(zāi)備服務(wù)器連接起來,磁盤陣列上萬兆端口進(jìn)行了捆綁以達(dá)到擴(kuò)充網(wǎng)絡(luò)帶寬和端口故障冗余的目的。8臺虛擬化服務(wù)器和2臺備份服務(wù)器均放置于市級氣象部門數(shù)據(jù)中心,VMware vSphere 6.7虛擬化平臺部署在虛擬化服務(wù)器上,采用VMware vCenter軟件進(jìn)行集中管理,使用基于vMotion技術(shù)的VMware HA技術(shù)實(shí)現(xiàn)虛擬化平臺的高可用性[8-9]。

    系統(tǒng)結(jié)構(gòu)框圖如圖1所示。

    圖1 系統(tǒng)結(jié)構(gòu)框圖

    2 監(jiān)測預(yù)報(bào)預(yù)警支撐系統(tǒng)

    2.1 虛擬化計(jì)算系統(tǒng)

    通過光纖互聯(lián),選用硬件網(wǎng)絡(luò)虛擬化或VMware軟件網(wǎng)絡(luò)虛擬化技術(shù)來實(shí)現(xiàn)對新建監(jiān)測預(yù)報(bào)預(yù)警支撐系統(tǒng)與原有虛擬業(yè)務(wù)系統(tǒng)的虛擬群集[10-11]。2臺備份恢復(fù)存儲使用存儲虛擬化、陣列雙活等技術(shù)[12],邏輯上形成一臺存儲,與虛擬化群集配合工作。當(dāng)原有業(yè)務(wù)系統(tǒng)發(fā)生災(zāi)難性故障后,業(yè)務(wù)系統(tǒng)虛擬機(jī)基于VMware HA技術(shù),可自動飄移至新建服務(wù)器和存儲上,基于虛擬化網(wǎng)絡(luò)特性,服務(wù)器群集的網(wǎng)絡(luò)配置相同,虛擬機(jī)不必更改任何參數(shù)即可繼續(xù)正常運(yùn)行,從而保障了業(yè)務(wù)連續(xù)性。

    2.2 FC數(shù)據(jù)存儲系統(tǒng)

    新建存儲系統(tǒng)使用2臺華為OceanStor 5310 V5,和原有的萬兆交換機(jī)集群、2臺華為存儲交換機(jī)組成兼具FC和iSCSI功能的全能磁盤陣列。萬兆網(wǎng)絡(luò)交換機(jī)相關(guān)端口進(jìn)行了ETH-TRUNK配置,ETH-TRUNK口與存儲上的萬兆口相連。磁盤陣列雙控的FC光纖與原有華為SNS2124存儲交換相連。采用RAID2.0+塊虛擬化架構(gòu)[13-14],在傳統(tǒng)RAID技術(shù)的基礎(chǔ)上進(jìn)行改進(jìn),實(shí)現(xiàn)存儲系統(tǒng)負(fù)載均衡和性能的提升。使用硬盤的塊虛擬化技術(shù),將磁盤陣列硬盤域內(nèi)的硬盤劃分成固定大小的CHUNK,按照RAID級別組成CHG(CHUNK Group)。當(dāng)陣列硬盤故障時(shí),CHG進(jìn)行重構(gòu)。

    2.3 備份系統(tǒng)

    采用一體化設(shè)備,對接VMware底層備份接口,支持VMware CBT備份,自動發(fā)現(xiàn)劃分的業(yè)務(wù)虛擬機(jī),從而對目標(biāo)虛擬機(jī)進(jìn)行整機(jī)備份;支持各種數(shù)據(jù)庫備份、系統(tǒng)文件備份等,當(dāng)發(fā)生存儲故障、數(shù)據(jù)丟失、人為操作失誤損壞數(shù)據(jù)等情況時(shí),可以快速恢復(fù)備份數(shù)據(jù),從而保障業(yè)務(wù)數(shù)據(jù)安全。

    2.3.1 數(shù)據(jù)庫數(shù)據(jù)保護(hù)

    數(shù)據(jù)庫在業(yè)務(wù)應(yīng)用中起到了靈魂核心的作用,很多單位、企業(yè)數(shù)據(jù)中心數(shù)據(jù)備份時(shí)都面臨著備份數(shù)據(jù)量增長快、備份流程措施比較復(fù)雜等問題。在寧波氣象業(yè)務(wù)上應(yīng)用到的主要有Oracle、MySQL、SQL Server等三種類型的數(shù)據(jù)庫,在業(yè)務(wù)應(yīng)用中做好數(shù)據(jù)的備份。一般情況下,數(shù)據(jù)庫有自帶的備份恢復(fù)功能,通常依賴于腳本執(zhí)行,在實(shí)際操作中存在一定的難度,在數(shù)據(jù)量大的情況下備份需要很長的時(shí)間。因而在設(shè)計(jì)和實(shí)現(xiàn)時(shí),采用了AnyBackup Express 7.0數(shù)據(jù)庫備份方式,如圖2所示。

    圖2 數(shù)據(jù)庫備份流程

    實(shí)施方案中,管理控制臺同時(shí)連接源生產(chǎn)數(shù)據(jù)庫服務(wù)器和備份介質(zhì)服務(wù)器,并發(fā)送提取和備份數(shù)據(jù)等控制信息,管理數(shù)據(jù)備份的執(zhí)行任務(wù)。在源數(shù)據(jù)庫生產(chǎn)服務(wù)器上安裝AnyBackup Express 客戶端并管理識別數(shù)據(jù)庫數(shù)據(jù),先通過備份API讀取數(shù)據(jù)庫數(shù)據(jù),然后傳輸備份數(shù)據(jù)到服務(wù)器集群。Oracle數(shù)據(jù)庫與AnyBackup、存儲間采用多通道并行讀取數(shù)據(jù)的方式,通過開辟多個(gè)RMAN(Recovery Manager) Channel來獲取數(shù)據(jù)[15],從而使讀取速度最大化。SQL Server與AnyBackup間的數(shù)據(jù)傳輸采用數(shù)據(jù)庫高級壓縮的方式,有效地減少數(shù)據(jù)的占用空間。

    2.3.2 VMware虛擬化平臺保護(hù)

    VMware虛擬化平臺備份接口采取調(diào)用VADP(Vstorage APIS for Data Protection)方式。虛擬化平臺通過代理客戶端進(jìn)行連接實(shí)現(xiàn)數(shù)據(jù)的并發(fā)備份,可以避免虛擬機(jī)資源的耗用。并發(fā)的運(yùn)行機(jī)制,無論在備份或恢復(fù)時(shí)都提升了工作的效率。同時(shí)虛擬機(jī)在數(shù)據(jù)源發(fā)生變化時(shí),不需要人工增加或者刪除變化的數(shù)據(jù)源,就可實(shí)現(xiàn)數(shù)據(jù)的自動備份,在一定程度上降低了運(yùn)維的難度。VMware數(shù)據(jù)并發(fā)備份流程如圖3所示。

    圖3 VMware并發(fā)數(shù)據(jù)備份流程

    虛擬磁盤傳輸模式分SAN模式、NBD和NBD-SS傳輸模式、Hot-Add傳輸模式等,在SAN傳輸模式下,VADP API從vCenter或ESXi上獲取VMFS LUN信息,從VMDK所在的 FC SAN中讀取數(shù)據(jù),備份讀取速度快;NBD和NBD-SS傳輸方式使用網(wǎng)絡(luò)塊NBD驅(qū)動程序協(xié)議的未加密或經(jīng)過加密通過局域網(wǎng)絡(luò)的傳輸,傳輸速度比SAN方式慢;Hot-Add[16]傳輸模式是利用ESXi的SCSI HotAdd特性將虛擬機(jī)VMDK掛載在虛擬機(jī)上進(jìn)行讀取的方式,適用于SCSI模式的虛擬磁盤。

    3 異構(gòu)虛擬化和負(fù)載均衡部署

    2006年開始,寧波市級氣象部門就相繼使用了多種型號的存儲設(shè)備,有DELL CX700、DELL AX4-5、EMC VNX5500、EMC Isilon NL400、IBM B3700等型號存儲設(shè)備,既有FC SAN存儲,也有NAS存儲,主要用于高性能計(jì)算機(jī)模式運(yùn)算、綜合業(yè)務(wù)產(chǎn)生、虛擬平臺服務(wù)器,以及通過各種渠道接收到的各類數(shù)據(jù)的存儲。由于存儲產(chǎn)品型號不一,個(gè)別老舊設(shè)備在本次項(xiàng)目實(shí)施中逐步淘汰。采用新購的華為OceanStor V5存儲,通過內(nèi)置異構(gòu)虛擬化功能和多重融合技術(shù),實(shí)現(xiàn)存儲的異構(gòu)虛擬化和負(fù)載均衡。

    3.1 異構(gòu)虛擬化

    對不同廠商、不同型號的存儲系統(tǒng)通過一定的技術(shù)進(jìn)行統(tǒng)一管理,實(shí)現(xiàn)異構(gòu)存儲的合理使用,改變不同存儲分散管理、數(shù)據(jù)備份遷移麻煩的弊端。異構(gòu)虛擬化特性(SmartVirtualization)在管理不同存儲系統(tǒng)時(shí),都能當(dāng)作本地存儲資源進(jìn)行統(tǒng)一管理。在提供存儲資源利舊的同時(shí),兼顧使用便利性,在用戶都不需要關(guān)注不同存儲系統(tǒng)間差異的情況下,按需求完成不同型號存儲系統(tǒng)間的數(shù)據(jù)實(shí)時(shí)在線遷移。

    新設(shè)計(jì)的存儲系統(tǒng)采用華為OceanStor V5設(shè)備,通過異構(gòu)虛擬化特性將其他品牌型號的存儲設(shè)備上數(shù)據(jù)卷(LUN)映射到本存儲系統(tǒng),托管成數(shù)據(jù)卷和元數(shù)據(jù)卷,從而建立一種對應(yīng)關(guān)系,業(yè)務(wù)應(yīng)用系統(tǒng)通過讀寫新建存儲系統(tǒng)上的數(shù)據(jù)卷和元數(shù)據(jù)卷從而完成異構(gòu)存儲的使用。不同存儲間的連接通過FC連接,異構(gòu)虛擬化特性配合使用智能LUN遷移特性(SmartMigration),可以實(shí)現(xiàn)原有異構(gòu)存儲數(shù)據(jù)的遷入和冷數(shù)據(jù)(使用率低的數(shù)據(jù))的遷出。

    3.2 負(fù)載均衡

    在業(yè)務(wù)應(yīng)用過程中,負(fù)載均衡能起到有效的流量分?jǐn)?,利用更多的資源,實(shí)現(xiàn)數(shù)據(jù)中心更高的訪問效率。寧波市級氣象業(yè)務(wù)中使用的存儲分光纖存儲和文件存儲,分SAN負(fù)載均衡和NAS負(fù)載均衡兩種。在默認(rèn)的情況下,系統(tǒng)新購的華為OceanStor V5存儲系統(tǒng)自帶負(fù)載均衡的功能,會將不同LUN均衡分配到不同的控制器和LUN空間,實(shí)現(xiàn)SAN負(fù)載均衡,達(dá)到業(yè)務(wù)應(yīng)用和硬盤使用相對均衡;內(nèi)置DNS負(fù)載均衡特性[17],通過域名訪問存儲陣列的NAS業(yè)務(wù),根據(jù)每個(gè)控制器的業(yè)務(wù)負(fù)載將主機(jī)客戶端連接分發(fā)給配置在不同節(jié)點(diǎn)、不同端口上的業(yè)務(wù)IP進(jìn)行處理,從而提升系統(tǒng)的性能和可靠性。

    為保證支撐系統(tǒng)業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全,提升存儲數(shù)據(jù)服務(wù)效率,采用的備份恢復(fù)存儲OceanStor V5具有多重融合技術(shù),包括閃存融合、SAN與NAS融合、存儲資源池融合等。SAN與NAS融合技術(shù)可以同時(shí)確保數(shù)據(jù)庫和文件高可用性,實(shí)現(xiàn)一體雙活,保證服務(wù)的性能。

    4 關(guān)鍵技術(shù)

    4.1 VMware High Availability(HA)虛擬化技術(shù)

    2011年開始,寧波市級氣象業(yè)務(wù)系統(tǒng)就使用了思科的UCS統(tǒng)一集成系統(tǒng),利用HA虛擬化技術(shù),高效地集約了服務(wù)器計(jì)算資源,減輕了業(yè)務(wù)運(yùn)行成本,提高了資源管理的便捷性。

    目前主流的虛擬化技術(shù)分三類,VMware、Citrix和Microsoft等,三類虛擬化技術(shù)都支持Windows、Linux的操作系統(tǒng),以及物理資源的動態(tài)調(diào)整。寧波市級氣象業(yè)務(wù)中大都是使用VMware虛擬化技術(shù),計(jì)算資源的虛擬化中把一臺物理服務(wù)器分成N臺虛擬服務(wù)器,一旦某臺虛機(jī)發(fā)生操作系統(tǒng)故障,業(yè)務(wù)可自動從一臺物理機(jī)切換到另外一臺物理機(jī)的虛機(jī)上,不會造成業(yè)務(wù)的中斷,實(shí)現(xiàn)實(shí)時(shí)遷移的功能。在萬兆光纖連接情況下,虛擬機(jī)的切換可在很短時(shí)間內(nèi)完成。構(gòu)建出的HA集群,通過管理平臺可以進(jìn)行虛擬化分配、調(diào)度、監(jiān)控、分析等業(yè)務(wù)操作[18],計(jì)算資源可在任意一臺主機(jī)上運(yùn)行,當(dāng)有一臺最多兩臺主機(jī)故障時(shí),所有虛擬機(jī)會遷移至最后一臺主機(jī),直至故障主機(jī)恢復(fù)正常,實(shí)現(xiàn)不重啟情況下虛擬機(jī)的無障礙切換。當(dāng)虛擬機(jī)在兩臺物理服務(wù)器間漂移時(shí),虛擬機(jī)通過保留自己的網(wǎng)絡(luò)標(biāo)識和連接,從而實(shí)現(xiàn)無縫的遷移過程。在高速的光纖網(wǎng)絡(luò)中虛擬機(jī)在物理服務(wù)器間的切換如圖4所示。

    圖4 虛擬機(jī)無縫切換

    寧波市級氣象部門數(shù)據(jù)中心機(jī)房新舊虛擬化服務(wù)群集通過VMware NSX虛擬網(wǎng)絡(luò)組成新的群集系統(tǒng),所有的虛擬機(jī)共享同一個(gè)虛擬二層網(wǎng)絡(luò),群集后端共享新建的虛擬存儲。從而實(shí)現(xiàn)新舊虛擬化服務(wù)群集系統(tǒng)中任何一個(gè)故障時(shí),確保業(yè)務(wù)連續(xù)性得到保障。

    4.2 一體機(jī)災(zāi)備技術(shù)

    在數(shù)據(jù)層級保護(hù)中,采用了AnyBackup Express多重?cái)?shù)據(jù)保護(hù)方式,與傳統(tǒng)備份單點(diǎn)模式相比,優(yōu)勢明顯。

    (1)針對操作系統(tǒng)、虛擬化平臺、數(shù)據(jù)庫全方位的保護(hù)。對寧波氣象部門目前使用的Windows、Linux等操作系統(tǒng),Oracle、SQL Server數(shù)據(jù)庫,VMware虛擬化平臺實(shí)現(xiàn)虛擬、物理上的統(tǒng)一集中管理運(yùn)維,在一定程度上簡化了管理的復(fù)雜度,減輕了運(yùn)維成本的投入。

    (2)多重?cái)?shù)據(jù)保護(hù)技術(shù),即使在面對指數(shù)級、爆炸式增長的業(yè)務(wù)數(shù)據(jù)時(shí),也可以提供并行重刪、永久增量備份、并發(fā)備份、CBT變化數(shù)據(jù)塊跟蹤、多通道備份等技術(shù),提供更高效的數(shù)據(jù)保護(hù)性能,從容面對PB級數(shù)據(jù)保護(hù)[19]。與傳統(tǒng)的周期性“完全備份+增量備份”策略不同,采用的“永久增量技術(shù)”,大幅度縮減數(shù)據(jù)備份時(shí)間,同時(shí)節(jié)省大量的存儲空間。

    (3)采用Scale-Out架構(gòu),可以根據(jù)氣象業(yè)務(wù)的發(fā)展,對集群的節(jié)點(diǎn)進(jìn)行擴(kuò)展,滿足業(yè)務(wù)的需求;同時(shí)不需要停止在線的備份業(yè)務(wù),靈活滿足業(yè)務(wù)需求,確保備份業(yè)務(wù)連續(xù)性。

    4.3 存儲雙活技術(shù)

    在數(shù)據(jù)中心部署的兩套存儲陣列可以根據(jù)需要放在異地或同一個(gè)機(jī)房。在存儲層實(shí)現(xiàn)雙活,需要達(dá)到兩個(gè)目標(biāo),兩套存儲陣列間的數(shù)據(jù)完全一致,始終保持同步數(shù)據(jù)狀態(tài);同時(shí)兩個(gè)站點(diǎn)的存儲均可以實(shí)時(shí)被同一套業(yè)務(wù)系統(tǒng)訪問[20],在發(fā)生異常時(shí)可以實(shí)時(shí)自動切換,保持業(yè)務(wù)訪問的連續(xù)性。陣列雙活(HyperMetro)屬于陣列級的A/A雙活技術(shù),可以使來自兩套存儲陣列的兩個(gè)LUN數(shù)據(jù)實(shí)時(shí)保持同步,并同時(shí)提供來自業(yè)務(wù)系統(tǒng)的讀寫操作。

    監(jiān)測預(yù)報(bào)預(yù)警支撐系統(tǒng)中的OceanStor5310 V5存儲系統(tǒng)同時(shí)支持SAN雙活(HyperMetro For Block)和NAS雙活(HyperMetro For File),HyperMetro技術(shù)既支持FC組網(wǎng),也支持IP組網(wǎng)方式,借助目前數(shù)據(jù)中心先進(jìn)的系統(tǒng)組網(wǎng)技術(shù)使得存儲系統(tǒng)的雙活性能進(jìn)一步優(yōu)化。陣列雙活如圖5所示。

    圖5 陣列雙活示意圖

    主要技術(shù)特點(diǎn)在于:兩套存儲可以實(shí)現(xiàn)真正的A/A雙活(Active-Active),同時(shí)支持業(yè)務(wù)讀寫,實(shí)現(xiàn)業(yè)務(wù)負(fù)載的分擔(dān)部署和數(shù)據(jù)中心業(yè)務(wù)的負(fù)載均衡;免網(wǎng)關(guān)雙活方案避免了額外網(wǎng)關(guān)設(shè)備引入的時(shí)延,提高性能;Fastwrite特性優(yōu)化存儲傳輸協(xié)議,縮短了數(shù)據(jù)同步的延時(shí),提升了雙活方案性能;粒子仲裁方式,減少主機(jī)和存儲資源預(yù)留,使業(yè)務(wù)負(fù)載更加均衡。

    5 結(jié)束語

    通過市級氣象數(shù)據(jù)級災(zāi)備系統(tǒng)的部署,增強(qiáng)了數(shù)據(jù)中心數(shù)據(jù)的處理能力和存儲能力,滿足了未來幾年氣象業(yè)務(wù)的發(fā)展需求,增強(qiáng)了關(guān)鍵業(yè)務(wù)數(shù)據(jù)的容災(zāi)能力。通過虛擬化技術(shù)實(shí)現(xiàn)了新、舊業(yè)務(wù)系統(tǒng)的虛擬集群;采用OceanStor V5存儲系統(tǒng)自帶負(fù)載均衡的功能,實(shí)現(xiàn)了不同存儲間的數(shù)據(jù)同步和負(fù)載均衡,提升了系統(tǒng)的性能和可靠性;通過陣列雙活Hypermetro技術(shù)實(shí)現(xiàn)了存儲系統(tǒng)的雙活;通過采用一體化設(shè)備AnyBackup方式實(shí)現(xiàn)了數(shù)據(jù)庫數(shù)據(jù)層級的保護(hù);通過異構(gòu)虛擬化功能,可以充分地利用原先其他型號的存儲設(shè)備,進(jìn)行統(tǒng)一管理,消除數(shù)據(jù)上的孤島和數(shù)據(jù)的實(shí)時(shí)遷移,縮短遷移時(shí)間。

    雙活系統(tǒng)于2020年9月完成建設(shè)并投入業(yè)務(wù)運(yùn)行,至今未出現(xiàn)過業(yè)務(wù)中斷或發(fā)生故障情況,系統(tǒng)應(yīng)用在寧波市級氣象數(shù)據(jù)中心效果明顯,主要價(jià)值體現(xiàn)在:①計(jì)算存儲資源的按需調(diào)配,可以根據(jù)各業(yè)務(wù)單位業(yè)務(wù)的需要通過管理平臺對資源進(jìn)行調(diào)配,提高了計(jì)算資源、存儲資源的利用率。②資源的充分利舊,通過統(tǒng)一的平臺管理異構(gòu)系統(tǒng),對老舊系統(tǒng)進(jìn)行了資源的充分利用。③服務(wù)器和存儲資源的統(tǒng)一管理,通過統(tǒng)一的平臺對所有服務(wù)器資源和存儲資源進(jìn)行管理,提高了系統(tǒng)的管理效率。④應(yīng)用的高可用和數(shù)據(jù)的在線安全保護(hù),避免了因單設(shè)備或虛擬機(jī)故障導(dǎo)致業(yè)務(wù)中斷,確保了數(shù)據(jù)的在線安全保護(hù),實(shí)現(xiàn)了業(yè)務(wù)的高可用性和連續(xù)性。

    猜你喜歡
    存儲系統(tǒng)備份虛擬化
    “備份”25年:鄧清明圓夢
    分布式存儲系統(tǒng)在企業(yè)檔案管理中的應(yīng)用
    哈爾濱軸承(2020年2期)2020-11-06 09:22:36
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    天河超算存儲系統(tǒng)在美創(chuàng)佳績
    對基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    電子測試(2017年11期)2017-12-15 08:57:56
    存儲虛擬化還有優(yōu)勢嗎?
    華為震撼發(fā)布新一代OceanStor 18000 V3系列高端存儲系統(tǒng)
    淺析數(shù)據(jù)的備份策略
    科技視界(2015年6期)2015-08-15 00:54:11
    一種基于STM32的具有斷電保護(hù)機(jī)制的采集存儲系統(tǒng)設(shè)計(jì)
    国产精品乱码一区二三区的特点 | 黄频高清免费视频| 亚洲色图综合在线观看| 女人被狂操c到高潮| av天堂久久9| svipshipincom国产片| 精品久久久久久电影网| 久久性视频一级片| 一级,二级,三级黄色视频| 嫩草影院精品99| 亚洲aⅴ乱码一区二区在线播放 | 亚洲精华国产精华精| 日韩欧美三级三区| 国产精品国产av在线观看| 亚洲成人精品中文字幕电影 | www.www免费av| 午夜福利在线观看吧| 色精品久久人妻99蜜桃| 麻豆av在线久日| а√天堂www在线а√下载| 欧美激情极品国产一区二区三区| 亚洲成人精品中文字幕电影 | 日本精品一区二区三区蜜桃| 国产精品一区二区精品视频观看| 91在线观看av| 亚洲国产中文字幕在线视频| 十分钟在线观看高清视频www| 国产国语露脸激情在线看| 久久性视频一级片| 国产成人精品久久二区二区91| 国产免费现黄频在线看| 精品人妻在线不人妻| 男人舔女人的私密视频| 国产精品国产高清国产av| 精品国产乱子伦一区二区三区| 欧美精品啪啪一区二区三区| av中文乱码字幕在线| 日韩免费高清中文字幕av| 可以在线观看毛片的网站| 老司机亚洲免费影院| 成年人免费黄色播放视频| 精品久久久久久久毛片微露脸| 露出奶头的视频| 久久亚洲真实| 麻豆av在线久日| 国产亚洲精品久久久久5区| 成在线人永久免费视频| 久久精品成人免费网站| 精品国产一区二区久久| 精品久久久久久成人av| 丝袜美足系列| 黄网站色视频无遮挡免费观看| 日本免费一区二区三区高清不卡 | 日本 av在线| 国产欧美日韩精品亚洲av| 婷婷六月久久综合丁香| 99国产综合亚洲精品| 免费搜索国产男女视频| 满18在线观看网站| 日本免费a在线| 免费女性裸体啪啪无遮挡网站| 国产有黄有色有爽视频| 亚洲aⅴ乱码一区二区在线播放 | 香蕉久久夜色| 超碰成人久久| 亚洲熟女毛片儿| 激情视频va一区二区三区| 精品人妻1区二区| 日韩 欧美 亚洲 中文字幕| 80岁老熟妇乱子伦牲交| 黄色 视频免费看| 天天躁夜夜躁狠狠躁躁| 大型黄色视频在线免费观看| 欧美av亚洲av综合av国产av| 男女下面进入的视频免费午夜 | 亚洲欧美激情综合另类| 高清在线国产一区| 色播在线永久视频| 在线观看66精品国产| 日本免费一区二区三区高清不卡 | 国产黄a三级三级三级人| 久久99一区二区三区| 麻豆国产av国片精品| 久久久国产一区二区| 可以在线观看毛片的网站| 国产乱人伦免费视频| 日韩精品青青久久久久久| 国产免费av片在线观看野外av| 一个人免费在线观看的高清视频| a级毛片在线看网站| 无人区码免费观看不卡| svipshipincom国产片| netflix在线观看网站| 麻豆成人av在线观看| 久久人人精品亚洲av| 欧美午夜高清在线| 亚洲熟妇中文字幕五十中出 | 国产97色在线日韩免费| 自拍欧美九色日韩亚洲蝌蚪91| 精品一区二区三区av网在线观看| 久久精品亚洲熟妇少妇任你| 老熟妇仑乱视频hdxx| 黄色女人牲交| 欧美激情高清一区二区三区| 午夜免费激情av| 成人三级做爰电影| 在线观看免费高清a一片| 变态另类成人亚洲欧美熟女 | 亚洲,欧美精品.| 免费女性裸体啪啪无遮挡网站| 真人一进一出gif抽搐免费| 中文字幕色久视频| 脱女人内裤的视频| 国产精品99久久99久久久不卡| 妹子高潮喷水视频| 天天躁狠狠躁夜夜躁狠狠躁| 19禁男女啪啪无遮挡网站| 亚洲精华国产精华精| bbb黄色大片| 色婷婷久久久亚洲欧美| 欧美日韩黄片免| 亚洲国产精品sss在线观看 | 97超级碰碰碰精品色视频在线观看| 人人澡人人妻人| 国产精品国产高清国产av| 亚洲av成人不卡在线观看播放网| 亚洲视频免费观看视频| 免费观看人在逋| 人人妻人人澡人人看| 久久午夜综合久久蜜桃| 超碰成人久久| 久久久久亚洲av毛片大全| 99精品欧美一区二区三区四区| 午夜亚洲福利在线播放| 一区在线观看完整版| 亚洲人成电影观看| 波多野结衣一区麻豆| 日韩大码丰满熟妇| 中出人妻视频一区二区| 男男h啪啪无遮挡| 精品一区二区三区视频在线观看免费 | 国产精品乱码一区二三区的特点 | 久久亚洲精品不卡| 极品教师在线免费播放| av福利片在线| xxx96com| 少妇 在线观看| 国产又色又爽无遮挡免费看| 91成年电影在线观看| 国产av又大| 国产高清国产精品国产三级| 欧美性长视频在线观看| 婷婷精品国产亚洲av在线| 91精品三级在线观看| 最近最新免费中文字幕在线| 老司机午夜十八禁免费视频| 人妻丰满熟妇av一区二区三区| 欧美精品亚洲一区二区| 亚洲国产毛片av蜜桃av| 成人亚洲精品一区在线观看| 香蕉国产在线看| 成人18禁在线播放| 欧美激情久久久久久爽电影 | 国产av一区二区精品久久| 少妇裸体淫交视频免费看高清 | 久久久久国产一级毛片高清牌| 免费一级毛片在线播放高清视频 | 国产男靠女视频免费网站| 一二三四社区在线视频社区8| 麻豆av在线久日| 校园春色视频在线观看| 亚洲va日本ⅴa欧美va伊人久久| 久久欧美精品欧美久久欧美| 国产黄a三级三级三级人| 亚洲人成电影观看| 亚洲精品国产色婷婷电影| 精品福利观看| 国产又爽黄色视频| 91av网站免费观看| 亚洲欧美激情综合另类| 日日爽夜夜爽网站| 亚洲熟女毛片儿| av在线播放免费不卡| 久久中文字幕人妻熟女| 精品无人区乱码1区二区| 啦啦啦在线免费观看视频4| 热re99久久精品国产66热6| 男人舔女人下体高潮全视频| 午夜亚洲福利在线播放| 99久久精品国产亚洲精品| 黄片播放在线免费| 一级黄色大片毛片| 国产精品久久久人人做人人爽| 亚洲一码二码三码区别大吗| 精品久久蜜臀av无| 国产亚洲精品一区二区www| 欧美+亚洲+日韩+国产| 久久香蕉国产精品| 国产精品美女特级片免费视频播放器 | 丰满的人妻完整版| 亚洲一区二区三区欧美精品| 久久久久精品国产欧美久久久| 欧美日韩av久久| 成人三级黄色视频| 欧美成人性av电影在线观看| av网站在线播放免费| a级毛片黄视频| 国产主播在线观看一区二区| 久久天躁狠狠躁夜夜2o2o| 成人影院久久| 日本黄色视频三级网站网址| 天堂动漫精品| 午夜精品久久久久久毛片777| xxxhd国产人妻xxx| 久久久久久人人人人人| 90打野战视频偷拍视频| 国产区一区二久久| 国产精品久久久久成人av| 国产xxxxx性猛交| cao死你这个sao货| 成人18禁在线播放| 中文亚洲av片在线观看爽| 天堂动漫精品| 无人区码免费观看不卡| 美国免费a级毛片| 在线视频色国产色| 大型av网站在线播放| 欧美中文综合在线视频| 亚洲精品成人av观看孕妇| 日韩欧美一区视频在线观看| 99国产精品一区二区蜜桃av| 成人三级做爰电影| 久久国产精品影院| 精品乱码久久久久久99久播| 久久精品亚洲av国产电影网| 丰满人妻熟妇乱又伦精品不卡| 亚洲欧美日韩另类电影网站| 久久精品国产清高在天天线| tocl精华| 在线国产一区二区在线| 91成人精品电影| 大型av网站在线播放| 天堂影院成人在线观看| 在线观看66精品国产| 天堂动漫精品| 久久久精品国产亚洲av高清涩受| 看片在线看免费视频| 欧美精品一区二区免费开放| 一进一出抽搐gif免费好疼 | 亚洲熟妇中文字幕五十中出 | 欧美在线一区亚洲| 国产精品成人在线| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲精品国产一区二区精华液| 一级毛片高清免费大全| 岛国在线观看网站| 亚洲精品久久成人aⅴ小说| 成在线人永久免费视频| 99riav亚洲国产免费| 亚洲精品国产色婷婷电影| 美女福利国产在线| 亚洲专区国产一区二区| 精品一品国产午夜福利视频| 欧美日韩中文字幕国产精品一区二区三区 | 精品久久蜜臀av无| 可以在线观看毛片的网站| av天堂在线播放| 美女高潮喷水抽搐中文字幕| 日韩av在线大香蕉| 正在播放国产对白刺激| 岛国在线观看网站| 亚洲专区国产一区二区| 亚洲精品美女久久久久99蜜臀| 一个人观看的视频www高清免费观看 | 99国产精品一区二区蜜桃av| 亚洲欧美激情综合另类| 757午夜福利合集在线观看| 每晚都被弄得嗷嗷叫到高潮| 免费看a级黄色片| 久久中文看片网| 一级,二级,三级黄色视频| 十八禁人妻一区二区| 电影成人av| 性欧美人与动物交配| 久久 成人 亚洲| 波多野结衣av一区二区av| 亚洲性夜色夜夜综合| 亚洲aⅴ乱码一区二区在线播放 | 夜夜夜夜夜久久久久| 亚洲情色 制服丝袜| 日韩精品青青久久久久久| 天堂√8在线中文| 国产av又大| 欧美乱码精品一区二区三区| 欧美日韩亚洲高清精品| 人人妻人人爽人人添夜夜欢视频| 99久久国产精品久久久| 国产精品电影一区二区三区| 国产无遮挡羞羞视频在线观看| 久久香蕉国产精品| 在线观看免费日韩欧美大片| 免费av中文字幕在线| 悠悠久久av| 99在线人妻在线中文字幕| 亚洲成国产人片在线观看| 免费在线观看日本一区| 黑人巨大精品欧美一区二区mp4| 亚洲熟妇熟女久久| 真人一进一出gif抽搐免费| 美国免费a级毛片| 99国产极品粉嫩在线观看| 午夜免费观看网址| bbb黄色大片| 久久 成人 亚洲| 亚洲精品国产区一区二| av视频免费观看在线观看| 久久精品91无色码中文字幕| 高潮久久久久久久久久久不卡| 少妇 在线观看| 另类亚洲欧美激情| 欧美人与性动交α欧美精品济南到| 久久午夜综合久久蜜桃| 两性午夜刺激爽爽歪歪视频在线观看 | 日韩欧美在线二视频| 啦啦啦在线免费观看视频4| 不卡av一区二区三区| 自线自在国产av| 嫩草影院精品99| 久久久久精品国产欧美久久久| 亚洲五月色婷婷综合| 欧美激情极品国产一区二区三区| 久久九九热精品免费| 法律面前人人平等表现在哪些方面| 免费在线观看影片大全网站| 日本精品一区二区三区蜜桃| 国产成人欧美在线观看| 欧美 亚洲 国产 日韩一| 欧美在线黄色| 91国产中文字幕| 91老司机精品| 亚洲欧美精品综合一区二区三区| 在线天堂中文资源库| 国产av又大| 99精国产麻豆久久婷婷| 午夜精品久久久久久毛片777| 免费日韩欧美在线观看| 成人三级黄色视频| 日韩欧美免费精品| 91大片在线观看| 亚洲一区二区三区色噜噜 | 午夜福利免费观看在线| 91国产中文字幕| 黑人欧美特级aaaaaa片| 波多野结衣av一区二区av| 日本免费a在线| 精品久久久久久久久久免费视频 | 无限看片的www在线观看| 人人妻人人爽人人添夜夜欢视频| 一区二区三区精品91| 日本三级黄在线观看| 精品电影一区二区在线| 亚洲中文av在线| 亚洲男人的天堂狠狠| 免费日韩欧美在线观看| 日韩精品免费视频一区二区三区| 国产熟女午夜一区二区三区| xxx96com| 在线观看www视频免费| 琪琪午夜伦伦电影理论片6080| 操出白浆在线播放| 亚洲av五月六月丁香网| 亚洲精品久久成人aⅴ小说| 一个人观看的视频www高清免费观看 | 久久亚洲真实| √禁漫天堂资源中文www| 免费日韩欧美在线观看| 岛国视频午夜一区免费看| 久久九九热精品免费| 精品久久久精品久久久| 国产又爽黄色视频| 最近最新免费中文字幕在线| 美女福利国产在线| 三上悠亚av全集在线观看| 日韩欧美三级三区| 色综合欧美亚洲国产小说| 欧美精品亚洲一区二区| 视频区欧美日本亚洲| 日韩一卡2卡3卡4卡2021年| 免费在线观看日本一区| 精品久久久久久,| 欧美黄色片欧美黄色片| 久久精品亚洲av国产电影网| 成人国语在线视频| 又紧又爽又黄一区二区| 欧美激情 高清一区二区三区| 交换朋友夫妻互换小说| 最新美女视频免费是黄的| 男人舔女人的私密视频| 91国产中文字幕| 一级毛片精品| 亚洲成人国产一区在线观看| 亚洲色图 男人天堂 中文字幕| 日日夜夜操网爽| 日韩欧美一区视频在线观看| 欧美人与性动交α欧美精品济南到| 9热在线视频观看99| 精品久久久久久,| 精品福利永久在线观看| 夫妻午夜视频| 亚洲精品在线美女| 国产免费av片在线观看野外av| 香蕉国产在线看| 国产片内射在线| 一本大道久久a久久精品| 亚洲美女黄片视频| 又大又爽又粗| 脱女人内裤的视频| 欧美日本亚洲视频在线播放| 成人手机av| 亚洲情色 制服丝袜| 侵犯人妻中文字幕一二三四区| 大陆偷拍与自拍| 久久这里只有精品19| 中文亚洲av片在线观看爽| 欧美激情极品国产一区二区三区| 午夜老司机福利片| 在线观看66精品国产| 亚洲精品国产精品久久久不卡| 黄色片一级片一级黄色片| 精品国产亚洲在线| 国产精品日韩av在线免费观看 | 999久久久精品免费观看国产| 露出奶头的视频| 久久久久国产一级毛片高清牌| 国产精品久久久久成人av| 久久精品aⅴ一区二区三区四区| 久久精品成人免费网站| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲精品国产区一区二| 岛国视频午夜一区免费看| 母亲3免费完整高清在线观看| 真人一进一出gif抽搐免费| 一本大道久久a久久精品| 国产高清激情床上av| 一级毛片女人18水好多| 亚洲国产精品合色在线| 国产精品久久久av美女十八| 免费搜索国产男女视频| 色播在线永久视频| 欧美在线黄色| 精品乱码久久久久久99久播| 大香蕉久久成人网| 成人黄色视频免费在线看| 日韩欧美在线二视频| 丝袜在线中文字幕| 69av精品久久久久久| 淫妇啪啪啪对白视频| 免费在线观看影片大全网站| 一级a爱片免费观看的视频| 久久久久久久久久久久大奶| 一本综合久久免费| 美女午夜性视频免费| 精品久久久久久电影网| 一级a爱视频在线免费观看| 中文字幕人妻丝袜制服| www.熟女人妻精品国产| 欧美日韩精品网址| 国产精品爽爽va在线观看网站 | 99精品久久久久人妻精品| 多毛熟女@视频| 久久久久亚洲av毛片大全| 久久精品人人爽人人爽视色| 亚洲人成伊人成综合网2020| 亚洲午夜精品一区,二区,三区| 在线永久观看黄色视频| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美一区二区精品小视频在线| 制服诱惑二区| 村上凉子中文字幕在线| 日本撒尿小便嘘嘘汇集6| 国产精品久久久av美女十八| 女人被狂操c到高潮| 一区福利在线观看| 性欧美人与动物交配| av欧美777| 在线观看免费午夜福利视频| 国产精品久久久av美女十八| 欧美成狂野欧美在线观看| 12—13女人毛片做爰片一| 亚洲精华国产精华精| 黄色 视频免费看| 精品国产乱码久久久久久男人| 不卡av一区二区三区| 这个男人来自地球电影免费观看| 欧美日韩精品网址| 国产色视频综合| 久久欧美精品欧美久久欧美| 国产亚洲欧美精品永久| 天天影视国产精品| 欧美久久黑人一区二区| 国产一区二区三区在线臀色熟女 | 精品一品国产午夜福利视频| 黄色怎么调成土黄色| 一个人免费在线观看的高清视频| 91精品国产国语对白视频| 51午夜福利影视在线观看| 欧美日韩精品网址| 欧美成人性av电影在线观看| 久久婷婷成人综合色麻豆| 国产亚洲欧美98| 久久欧美精品欧美久久欧美| 久久伊人香网站| av在线播放免费不卡| 成人18禁高潮啪啪吃奶动态图| 欧美老熟妇乱子伦牲交| 免费一级毛片在线播放高清视频 | 精品久久蜜臀av无| 日本五十路高清| 美女扒开内裤让男人捅视频| 天堂√8在线中文| 高清欧美精品videossex| 中国美女看黄片| 欧美国产精品va在线观看不卡| 一区二区三区精品91| 国产熟女xx| 国产精品 国内视频| 国产熟女xx| а√天堂www在线а√下载| 少妇 在线观看| 在线看a的网站| 黄色成人免费大全| 十八禁人妻一区二区| 好男人电影高清在线观看| 后天国语完整版免费观看| 精品人妻1区二区| 嫁个100分男人电影在线观看| 久久久久久人人人人人| av超薄肉色丝袜交足视频| 亚洲精品一卡2卡三卡4卡5卡| 99在线视频只有这里精品首页| 激情视频va一区二区三区| av福利片在线| 日韩免费av在线播放| 精品午夜福利视频在线观看一区| 波多野结衣av一区二区av| 精品第一国产精品| av视频免费观看在线观看| 搡老乐熟女国产| 女人被躁到高潮嗷嗷叫费观| 91麻豆av在线| 在线天堂中文资源库| 可以在线观看毛片的网站| av网站免费在线观看视频| 欧美精品亚洲一区二区| 国产成人av教育| 悠悠久久av| 精品熟女少妇八av免费久了| 无遮挡黄片免费观看| 中文字幕色久视频| 19禁男女啪啪无遮挡网站| 亚洲精品久久午夜乱码| 香蕉丝袜av| 妹子高潮喷水视频| 欧美精品一区二区免费开放| 亚洲成人免费av在线播放| 自拍欧美九色日韩亚洲蝌蚪91| 天堂√8在线中文| 99精品在免费线老司机午夜| 电影成人av| 亚洲全国av大片| 国产精品秋霞免费鲁丝片| 欧美老熟妇乱子伦牲交| 两个人看的免费小视频| 国产亚洲欧美在线一区二区| 国产精品一区二区精品视频观看| 在线观看午夜福利视频| 久久欧美精品欧美久久欧美| 国产97色在线日韩免费| 黄片小视频在线播放| 久久午夜综合久久蜜桃| 国产一区二区三区综合在线观看| 亚洲一区中文字幕在线| 久久精品成人免费网站| 天天躁狠狠躁夜夜躁狠狠躁| 午夜福利在线观看吧| 日本免费一区二区三区高清不卡 | 国产成人av激情在线播放| 精品一区二区三卡| 窝窝影院91人妻| 美女高潮到喷水免费观看| 亚洲五月色婷婷综合| 最新在线观看一区二区三区| 久热这里只有精品99| 国产1区2区3区精品| 琪琪午夜伦伦电影理论片6080| 少妇 在线观看| 国产成人影院久久av| 啦啦啦免费观看视频1| 看片在线看免费视频| 中文字幕另类日韩欧美亚洲嫩草| 亚洲精品中文字幕在线视频| 在线观看免费日韩欧美大片| 国产男靠女视频免费网站| 91老司机精品| 国产亚洲欧美在线一区二区| 夜夜看夜夜爽夜夜摸 | 高清欧美精品videossex| 国产av精品麻豆| 亚洲熟女毛片儿| 别揉我奶头~嗯~啊~动态视频| 在线观看一区二区三区| 级片在线观看| 色综合站精品国产| 亚洲五月色婷婷综合| 成人手机av|