• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)據(jù)中心業(yè)務(wù)可用性分級(jí)研究

    2017-05-22 07:03:13雷鳴劉芹封鐸劉玲
    電信科學(xué) 2017年4期
    關(guān)鍵詞:可用性子系統(tǒng)數(shù)據(jù)中心

    雷鳴,劉芹,封鐸,劉玲

    (中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司,北京100080)

    數(shù)據(jù)中心業(yè)務(wù)可用性分級(jí)研究

    雷鳴,劉芹,封鐸,劉玲

    (中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司,北京100080)

    通過(guò)分析國(guó)內(nèi)外數(shù)據(jù)中心分級(jí)現(xiàn)狀及承載在數(shù)據(jù)中心內(nèi)業(yè)務(wù)系統(tǒng)的可用性,提出業(yè)務(wù)可用性分級(jí)建議以及業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的需求及配置建議,從而讓數(shù)據(jù)中心基礎(chǔ)設(shè)施的配置更加合理化,進(jìn)一步降低數(shù)據(jù)中心的建設(shè)成本。

    數(shù)據(jù)中心;分級(jí);可用性

    1 引言

    數(shù)據(jù)中心(data center)通常是指在一個(gè)物理空間內(nèi)實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的集中處理、存儲(chǔ)、傳輸、交換、管理,一般含有計(jì)算機(jī)設(shè)備、服務(wù)器設(shè)備、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備等關(guān)鍵設(shè)備。數(shù)據(jù)中心的基礎(chǔ)設(shè)施(data center infrastructure)是指為確保數(shù)據(jù)中心的關(guān)鍵設(shè)備和裝置能安全、穩(wěn)定和可靠運(yùn)行而設(shè)計(jì)配置的基礎(chǔ)工程,也稱機(jī)房工程(facility site engineering),數(shù)據(jù)中心機(jī)房工程的建設(shè)不僅要為數(shù)據(jù)中心中的系統(tǒng)設(shè)備運(yùn)營(yíng)管理和數(shù)據(jù)信息安全提供保障環(huán)境,還要為工作人員創(chuàng)造健康適宜的工作環(huán)境。

    近幾年隨著“互聯(lián)網(wǎng)+”、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等新技術(shù)與應(yīng)用的飛速增長(zhǎng),對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)和服務(wù)需求大幅度增加,與此相關(guān)的大型建設(shè)投資項(xiàng)目也逐步增多,如何優(yōu)化數(shù)據(jù)中心基礎(chǔ)設(shè)施配置也越來(lái)越重要。數(shù)據(jù)中心承載業(yè)務(wù)的可用性需求是數(shù)據(jù)中心面向服務(wù)設(shè)計(jì)的基礎(chǔ),對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施資源配置起決定性影響,業(yè)界通過(guò)對(duì)與其上部署業(yè)務(wù)可用性相匹配的基礎(chǔ)設(shè)施(電源配電、暖通空調(diào)以及其他的相關(guān)系統(tǒng))進(jìn)行等級(jí)劃分,滿足業(yè)務(wù)系統(tǒng)可用性需求。本文主要通過(guò)對(duì)數(shù)據(jù)中心承載業(yè)務(wù)可用性分級(jí)的研究,探討其對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)的影響。

    2 數(shù)據(jù)中心分級(jí)現(xiàn)狀

    2.1 數(shù)據(jù)中心分級(jí)概念

    數(shù)據(jù)中心構(gòu)建設(shè)計(jì)非常復(fù)雜,集建筑、結(jié)構(gòu)、電氣、暖通空調(diào)、給排水、消防、網(wǎng)絡(luò)、智能化等多個(gè)專業(yè)技術(shù)于一體。為了更好地區(qū)分不同數(shù)據(jù)中心的安全及可靠性,給管理者、運(yùn)營(yíng)人員及客戶更清晰的數(shù)據(jù)中心定位,數(shù)據(jù)中心的等級(jí)劃分就成為數(shù)據(jù)中心建設(shè)的一個(gè)重要問(wèn)題。目前國(guó)際及國(guó)內(nèi)都有相關(guān)的標(biāo)準(zhǔn)或規(guī)范對(duì)數(shù)據(jù)中心的等級(jí)進(jìn)行劃分,這些等級(jí)劃分主要基于數(shù)據(jù)中心的基礎(chǔ)設(shè)施層面,對(duì)不同等級(jí)的數(shù)據(jù)中心提出了不同的要求。通常數(shù)據(jù)中心等級(jí)劃分考慮的基礎(chǔ)設(shè)施主要包括建筑結(jié)構(gòu)、電源保障、空調(diào)系統(tǒng)等幾個(gè)方面。

    2.2 數(shù)據(jù)中心分級(jí)的國(guó)際標(biāo)準(zhǔn)

    TIA-942等級(jí)劃分及Uptime等級(jí)劃分是目前國(guó)際上影響力最大的數(shù)據(jù)中心分級(jí)標(biāo)準(zhǔn)。

    (1)TIA-942分級(jí)

    美國(guó)通信工業(yè)協(xié)會(huì)(Telecommunications Industry Association,TIA)發(fā)布的NSI/TIA-942-2005《Telecommunications Infrastructure Standard for Data Centers(數(shù)據(jù)中心的通信基礎(chǔ)設(shè)施標(biāo)準(zhǔn))》,是國(guó)際上第一部較為全面的、以數(shù)據(jù)中心為對(duì)象的技術(shù)規(guī)范標(biāo)準(zhǔn),該標(biāo)準(zhǔn)規(guī)范了數(shù)據(jù)中心機(jī)房場(chǎng)地、供電、冷卻、安防、地面承載、接地、電氣保護(hù)以及其他工程和建筑上需要滿足的條件,為數(shù)據(jù)中心機(jī)房的設(shè)計(jì)和安裝提供要求和指南,已成為通信與信息行業(yè)建設(shè)數(shù)據(jù)中心的國(guó)際標(biāo)準(zhǔn)。

    該標(biāo)準(zhǔn)將數(shù)據(jù)中心分為4個(gè)等級(jí)。

    · T1級(jí):最基本的數(shù)據(jù)中心,即基礎(chǔ)設(shè)施沒(méi)有冗余部件。

    · T2級(jí):部件冗余,即關(guān)鍵設(shè)備冗余配置。

    · T3級(jí):可在線維修,即有多余的備用組成部分。

    · T4級(jí):故障容錯(cuò),使數(shù)據(jù)中心具有維持意外故障發(fā)生或者運(yùn)行錯(cuò)誤時(shí),不發(fā)生運(yùn)行中斷的能力。

    (2)Uptime分級(jí)

    Uptime組織成立于1993年,是全球公認(rèn)的數(shù)據(jù)中心標(biāo)準(zhǔn)組織和第三方認(rèn)證機(jī)構(gòu)。由于TIA-942涉及的一系列標(biāo)準(zhǔn)頒布于不同時(shí)間,內(nèi)容多有相互覆蓋,為使這些標(biāo)準(zhǔn)更易于落實(shí),并具備可執(zhí)行性,Uptime組織將上述國(guó)際標(biāo)準(zhǔn)中涉及的信息機(jī)房可用性的內(nèi)容進(jìn)行研究、歸納、整合,形成一套連貫的技術(shù)標(biāo)準(zhǔn)。基于這樣的具有可執(zhí)行性的標(biāo)準(zhǔn),定義出數(shù)據(jù)中心的可用性等級(jí)(以 TierⅠ、Tier Ⅱ、Tier Ⅲ、Tier Ⅳ等級(jí)命名)以及與之配套的等級(jí)認(rèn)證程序。

    目前Uptime等級(jí)認(rèn)證是數(shù)據(jù)中心業(yè)界最知名、權(quán)威的認(rèn)證,在全球范圍得到了高度的認(rèn)可。

    TIA-942與Uptime的分級(jí)基本一致,但在細(xì)節(jié)上有所區(qū)別。

    從根本上來(lái)說(shuō),TIA-942是對(duì)數(shù)據(jù)中心的規(guī)范性標(biāo)準(zhǔn),對(duì)數(shù)據(jù)中心各方面進(jìn)行規(guī)定和要求,并提出相應(yīng)的分級(jí)標(biāo)準(zhǔn),但僅作為指導(dǎo),并不作為認(rèn)證的依據(jù);而Uptime是從認(rèn)證角度出發(fā),更多地考慮了可操作性,更加全面和靈活。

    2.3 數(shù)據(jù)中心分級(jí)的國(guó)內(nèi)標(biāo)準(zhǔn)

    目前涉及數(shù)據(jù)中心分級(jí)的國(guó)內(nèi)標(biāo)準(zhǔn)主要有:GB 50174《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》、YD 5193《互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)工程設(shè)計(jì)規(guī)范》及YD/T 2441《互聯(lián)網(wǎng)數(shù)據(jù)中心技術(shù)及分級(jí)分類標(biāo)準(zhǔn)》3部標(biāo)準(zhǔn)。

    (1)GB 50174《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》

    該規(guī)范目前正在修訂,是在數(shù)據(jù)中心分級(jí)相關(guān)的規(guī)范中影響最大、規(guī)定最為全面的一部規(guī)范。其主要將數(shù)據(jù)中心分為A、B、C 3類,并對(duì)每一級(jí)別數(shù)據(jù)中心的基礎(chǔ)設(shè)施進(jìn)行了不同的要求,設(shè)計(jì)時(shí)應(yīng)根據(jù)數(shù)據(jù)中心的使用性質(zhì)、數(shù)據(jù)丟失或網(wǎng)絡(luò)中斷在經(jīng)濟(jì)或社會(huì)上造成的損失或影響程度確定所屬級(jí)別。

    符合下列情況之一的數(shù)據(jù)中心應(yīng)為A級(jí):

    · 電子信息系統(tǒng)運(yùn)行中斷將造成重大的經(jīng)濟(jì)損失;

    · 電子信息系統(tǒng)運(yùn)行中斷將造成公共場(chǎng)所秩序嚴(yán)重混亂。

    符合下列情況之一的數(shù)據(jù)中心應(yīng)為B級(jí):

    · 電子信息系統(tǒng)運(yùn)行中斷將造成較大的經(jīng)濟(jì)損失;

    · 電子信息系統(tǒng)運(yùn)行中斷將造成公共場(chǎng)所秩序混亂。

    不屬于A 級(jí)或B 級(jí)的數(shù)據(jù)中心應(yīng)為C級(jí)。

    在同城或異地建立的災(zāi)備數(shù)據(jù)中心,設(shè)計(jì)時(shí)宜與主用數(shù)據(jù)中心等級(jí)相同。

    (2)YD 5193《互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)工程設(shè)計(jì)規(guī)范》

    該規(guī)范對(duì)于IDC的分級(jí)要求如下。

    · IDC應(yīng)根據(jù)運(yùn)營(yíng)需要分為不同級(jí)別,可劃分為A、B、C 3級(jí),不同級(jí)別對(duì)外可在可靠性、綠色節(jié)能、安全性、服務(wù)質(zhì)量和服務(wù)水平等方面予以區(qū)別,對(duì)內(nèi)可在各子系統(tǒng)技術(shù)要求方面有所區(qū)別。

    · IDC內(nèi)所裝業(yè)務(wù)系統(tǒng)的運(yùn)行中斷將造成重大損失的,IDC應(yīng)為A級(jí);IDC內(nèi)所裝業(yè)務(wù)系統(tǒng)的運(yùn)行中斷將造成較大損失的,IDC應(yīng)為B級(jí);不屬于A級(jí)或B級(jí)的IDC應(yīng)為C級(jí)。設(shè)計(jì)時(shí)應(yīng)根據(jù)IDC的業(yè)務(wù)需求確定所屬級(jí)別。

    · 一個(gè)IDC內(nèi)的不同部分可根據(jù)業(yè)務(wù)需求按不同的標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì)。

    該規(guī)范主要從 IDC承載的業(yè)務(wù)系統(tǒng)的重要性,即:中斷運(yùn)行是否會(huì)造成重大損失進(jìn)行等級(jí)劃分,并且對(duì)各級(jí)別對(duì)應(yīng)的機(jī)房、機(jī)架、電源、空調(diào)、送風(fēng)、網(wǎng)絡(luò)架構(gòu)、服務(wù)質(zhì)量等進(jìn)行了描述,A級(jí)IDC網(wǎng)絡(luò)可用性大于或等于99.99%;B級(jí)IDC網(wǎng)絡(luò)可用性大于或等于99.9%;C級(jí)IDC網(wǎng)絡(luò)可用性大于或等于99.5%。

    (3)YD/T 2441《互聯(lián)網(wǎng)數(shù)據(jù)中心技術(shù)及分級(jí)分類標(biāo)準(zhǔn)》

    本標(biāo)準(zhǔn)從綠色節(jié)能、可靠性和安全性3個(gè)方面提出了對(duì)IDC分級(jí)分類的技術(shù)要求。

    綠色節(jié)能部分按照能源效率、節(jié)能技術(shù)和綠色管理3個(gè)方面的具體項(xiàng)目進(jìn)行打分,并根據(jù)總分得到該IDC對(duì)應(yīng)的等級(jí)Green1~Green5,簡(jiǎn)稱G1~G5,其中G1為最低等級(jí),G5為最高等級(jí)。

    可靠性部分按照機(jī)房位置選擇、環(huán)境要求、建筑與結(jié)構(gòu)、空氣調(diào)節(jié)、電氣技術(shù)、電子信息設(shè)備供電電源質(zhì)量要求、機(jī)房布線、環(huán)境和設(shè)備監(jiān)控系統(tǒng)、安全防范系統(tǒng)、給水排水、消防、網(wǎng)絡(luò)結(jié)構(gòu)、機(jī)架要求和服務(wù)質(zhì)量共14個(gè)方面的具體指標(biāo)和要求,得出IDC的可靠性方面的等級(jí) Reliability1~Reliability3,簡(jiǎn)稱R1~R3,其中R1為最低等級(jí),R3為最高等級(jí);R3級(jí)IDC的業(yè)務(wù)可用性大于或等于99.95%;R2級(jí)IDC的業(yè)務(wù)可用性大于或等于99.9%;R3級(jí)IDC的業(yè)務(wù)可用性大于或等于99.5%。

    根據(jù)YDB 116《互聯(lián)網(wǎng)數(shù)據(jù)中心安全防護(hù)要求》和YDB 117《互聯(lián)網(wǎng)數(shù)據(jù)中心安全防護(hù)檢測(cè)要求》的要求,IDC的安全等級(jí)劃分為Security1~Security5,簡(jiǎn)稱S1~S5,其中S1為最低等級(jí),S5為最高等級(jí)。

    2.4 現(xiàn)階段數(shù)據(jù)中心的分級(jí)標(biāo)準(zhǔn)應(yīng)用情況

    目前數(shù)據(jù)中心分級(jí)標(biāo)準(zhǔn)中,以Uptime為主流,這是因?yàn)閁ptime不僅從實(shí)際的可操作性及便利性角度出發(fā),對(duì)數(shù)據(jù)中心進(jìn)行了合理、細(xì)致的等級(jí)劃分,并且有一套完整的認(rèn)證體系,因此在世界范圍內(nèi)得到廣泛的認(rèn)可及應(yīng)用。

    國(guó)內(nèi)數(shù)據(jù)中心的等級(jí)劃分基本以 GB 50174《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》為依據(jù),國(guó)內(nèi)數(shù)據(jù)中心的劃分基本與Uptime分級(jí)標(biāo)準(zhǔn)對(duì)應(yīng):C級(jí)數(shù)據(jù)中心基本對(duì)應(yīng)Uptime Tier I,B級(jí)數(shù)據(jù)中心基本對(duì)應(yīng)Uptime Tier Ⅱ,而A級(jí)數(shù)據(jù)中心基本對(duì)應(yīng)Uptime Tier Ⅲ和Tier Ⅳ,但在細(xì)節(jié)上又有所區(qū)別。

    3 業(yè)務(wù)可用性分級(jí)分析

    數(shù)據(jù)中心承載的業(yè)務(wù)種類多種多樣,按照應(yīng)用類型可以分為網(wǎng)絡(luò)系統(tǒng)、支撐系統(tǒng)、業(yè)務(wù)系統(tǒng)、安全系統(tǒng)等。業(yè)務(wù)具有需求多樣性特點(diǎn),各種業(yè)務(wù)特點(diǎn)不同,對(duì)及時(shí)、安全、可靠等方面的要求各不相同,如圖1所示。

    圖1 業(yè)務(wù)系統(tǒng)需求示例

    業(yè)務(wù)分級(jí)可以從不同的維度來(lái)劃分,如可以從維護(hù)、管理、業(yè)務(wù)等方面進(jìn)行劃分。從維護(hù)角度來(lái)看,可根據(jù)運(yùn)維人員的技術(shù)資質(zhì)、運(yùn)行監(jiān)控系統(tǒng)功能、運(yùn)維流程等劃分為不同級(jí)別;從管理角度來(lái)看,可根據(jù)客戶服務(wù)內(nèi)容、流程和客服指標(biāo)等劃分為不同級(jí)別;從業(yè)務(wù)角度來(lái)看,可根據(jù)業(yè)務(wù)功能、性能、可用性等劃分為不同等級(jí),其中業(yè)務(wù)可用性對(duì)基礎(chǔ)設(shè)施資源配置起決定性影響。

    3.1 業(yè)務(wù)可用性概念

    可用性是在某個(gè)考察時(shí)間,系統(tǒng)能夠正常運(yùn)行的概率或時(shí)間占有率期望值。一般用來(lái)衡量應(yīng)用系統(tǒng)可用性的標(biāo)準(zhǔn),即X個(gè)9,X=3, 4, 5。X個(gè)9表示應(yīng)用系統(tǒng)在1年時(shí)間內(nèi)運(yùn)行,系統(tǒng)可以正常使用時(shí)間與總時(shí)間(1年)之比,如下計(jì)算可以看出不同可用性級(jí)別的差異。業(yè)務(wù)分級(jí)示意如圖2所示。

    圖2 業(yè)務(wù)分級(jí)示意

    · 3個(gè)9:(1?99.9%)×365×24=8.76 h,表示該應(yīng)用系統(tǒng)在連續(xù)運(yùn)行1年時(shí)間里最多可能的業(yè)務(wù)中斷時(shí)間是8.76 h。

    · 4個(gè)9:(1?99.99%)×365×24=0.876 h=52.6 min,表示該應(yīng)用系統(tǒng)在連續(xù)運(yùn)行1年時(shí)間里最多可能的業(yè)務(wù)中斷時(shí)間是52.6 min。

    · 5個(gè)9:(1?99.999%)×365×24×60=5.26 min,表示該應(yīng)用系統(tǒng)在連續(xù)運(yùn)行1年時(shí)間里最多可能的業(yè)務(wù)中斷時(shí)間是5.26 min。

    目前一般業(yè)務(wù)系統(tǒng)的可用性都只考慮3~5個(gè)9。

    3.2 電商網(wǎng)站業(yè)務(wù)分級(jí)

    對(duì)于電商網(wǎng)站,用戶體驗(yàn)是第一位的,系統(tǒng)穩(wěn)定運(yùn)行是保證用戶良好體驗(yàn)的基礎(chǔ)。在資源有限的條件下,采取對(duì)系統(tǒng)進(jìn)行級(jí)別劃分的方式,對(duì)高級(jí)別系統(tǒng)保持重點(diǎn)關(guān)注,在設(shè)計(jì)、部署、監(jiān)控等方面確保高級(jí)別系統(tǒng)具備良好的伸縮性、頑健性和敏感度,能夠應(yīng)對(duì)電商業(yè)務(wù)中不確定的極限峰值沖擊。

    例如某電商網(wǎng)站基于可能對(duì)用戶產(chǎn)生影響的程度與敏感度,將所有應(yīng)用系統(tǒng)分為三級(jí),簡(jiǎn)單描述見(jiàn)表1。

    表1 某電商網(wǎng)站應(yīng)用系統(tǒng)等級(jí)劃分標(biāo)準(zhǔn)

    依此標(biāo)準(zhǔn),某電商網(wǎng)站的一級(jí)系統(tǒng)主要包括賣(mài)場(chǎng)系統(tǒng)、商品詳情、價(jià)格系統(tǒng)、庫(kù)存系統(tǒng)、促銷(xiāo)系統(tǒng)、購(gòu)物車(chē)、交易系統(tǒng)、支付系統(tǒng)、會(huì)員系統(tǒng)等。二級(jí)系統(tǒng)則包括商品信息系統(tǒng)、訂單系統(tǒng)、ERP(enterprise resource planning,企業(yè)資源計(jì)劃)、倉(cāng)儲(chǔ)系統(tǒng)、物流與干線運(yùn)輸系統(tǒng)等。三級(jí)系統(tǒng)主要包括結(jié)算系統(tǒng)、報(bào)表系統(tǒng)以及運(yùn)營(yíng)、活動(dòng)管理類系統(tǒng)。

    3.3 IDC業(yè)務(wù)可用性分級(jí)

    從行業(yè)層面來(lái)看,目前業(yè)內(nèi)對(duì) IDC分級(jí)沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。從企業(yè)層面來(lái)看,社會(huì)IDC普遍沒(méi)有IDC等級(jí)管理機(jī)制;運(yùn)營(yíng)商企業(yè)自行設(shè)置企業(yè)內(nèi)部IDC分級(jí)標(biāo)準(zhǔn),逐步實(shí)現(xiàn)了IDC分級(jí)管理。按照地理位置、硬件設(shè)施、網(wǎng)絡(luò)條件、服務(wù)水平、人員配備等因素,將全國(guó)的IDC分為4~5個(gè)不同等級(jí),在每個(gè)等級(jí)中提供了不同的服務(wù)承諾,從而面向政府、企業(yè)和零散客戶等提供不同業(yè)務(wù)的需要。

    3.4 公有云業(yè)務(wù)可用性分級(jí)

    公有云針對(duì)企業(yè)客戶(大型企業(yè)、互聯(lián)網(wǎng)企業(yè)、中小企業(yè))和個(gè)人客戶(MM開(kāi)發(fā)者、個(gè)人)提供服務(wù),不同客戶的需求是多樣化的。公眾服務(wù)云目標(biāo)用戶分析見(jiàn)表2。

    表2 公眾服務(wù)云目標(biāo)用戶分析

    根據(jù)公有云業(yè)務(wù)的可用度劃分,可將不同公有云業(yè)務(wù)分為高、中和低3個(gè)等級(jí):A級(jí)為高等級(jí),業(yè)務(wù)可用度為99.99%;B級(jí)為中等級(jí),業(yè)務(wù)可用度為 99.9%;C級(jí)為低等級(jí),業(yè)務(wù)可用度為99.5%。

    4 業(yè)務(wù)可用性分級(jí)對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的影響及配置建議

    數(shù)據(jù)中心由許多復(fù)雜而龐大的系統(tǒng)組成,如電力、空調(diào)、通信,數(shù)據(jù)中心作為承載業(yè)務(wù)的重要IT基礎(chǔ)設(shè)施,承擔(dān)著穩(wěn)定運(yùn)行和業(yè)務(wù)創(chuàng)新的重任。在對(duì)業(yè)務(wù)進(jìn)行可用性分級(jí)的前提下,根據(jù)不同等級(jí)的業(yè)務(wù),對(duì)數(shù)據(jù)中心提出了不同的要求。

    數(shù)據(jù)中心可以簡(jiǎn)單認(rèn)為由兩個(gè)層面組成:IT層面和機(jī)房設(shè)施層面。其中基礎(chǔ)設(shè)施包括電源和機(jī)房環(huán)境(機(jī)房、空調(diào)、消防等)資源;業(yè)務(wù)系統(tǒng)包括網(wǎng)絡(luò)資源、計(jì)算資源和存儲(chǔ)資源等,將各種資源簡(jiǎn)化為串聯(lián)關(guān)系,具體如圖3所示。

    圖3 業(yè)務(wù)系統(tǒng)組成示意

    對(duì)于每類業(yè)務(wù)來(lái)說(shuō),可將機(jī)房電源系統(tǒng)、機(jī)房環(huán)境和業(yè)務(wù)系統(tǒng)等簡(jiǎn)化抽象為串聯(lián)關(guān)系的計(jì)算模型,采用AGREE算法進(jìn)行可用度指標(biāo)分配,這個(gè)方法是美國(guó)電子設(shè)備可用性顧問(wèn)團(tuán)(AGREE)首先提出的。在該方法中假設(shè)設(shè)備的故障時(shí)間符合指數(shù)分布,系統(tǒng)由k個(gè)子系統(tǒng)組成,現(xiàn)在要由系統(tǒng)的可用性指標(biāo)值確定各子系統(tǒng)相應(yīng)的可用性指標(biāo)值。

    第 i個(gè)子系統(tǒng)的復(fù)雜度與其組成單元數(shù)量、技術(shù)水平有關(guān),用iλ表示,若給不出確切的統(tǒng)計(jì)數(shù)值,還可用經(jīng)驗(yàn)評(píng)分法確定之。第 i個(gè)子系統(tǒng)的重要度是引起系統(tǒng)故障的某子系統(tǒng)的故障概率與該子系統(tǒng)的故障概率之比。若給不出確切的統(tǒng)計(jì)數(shù)值,還可用經(jīng)驗(yàn)評(píng)分法確定之。若某子系統(tǒng)的所有故障均導(dǎo)致系統(tǒng)發(fā)生故障,則此時(shí)該子系統(tǒng)的重要度Wi=1。

    其中,ti為第 i個(gè)子系統(tǒng)的任務(wù)時(shí)間,mi為第i個(gè)子系統(tǒng)的平均無(wú)故障工作時(shí)間。

    考慮子系統(tǒng)的重要度之后,把系統(tǒng)變成一個(gè)等效的串聯(lián)系統(tǒng) 則可用度RS可以表示成:

    將式(4)代入式(3),則系統(tǒng)可用度 RS可表示成:

    考慮子系統(tǒng)復(fù)雜度之后,采用對(duì)比等分配方法,有式(6)成立:

    因此第i個(gè)子系統(tǒng)平均無(wú)故障時(shí)間為:

    根據(jù)式(7)求出某子系統(tǒng)的平均無(wú)故障工作時(shí)間,再代入式(2)便求得子系統(tǒng)的可用度分配值。

    該算法的核心思想為可用度指標(biāo)不是均勻分配給各子系統(tǒng),而是根據(jù)各子系統(tǒng)的復(fù)雜性、重要性等因素進(jìn)行加權(quán):復(fù)雜度高的子系統(tǒng)分配的指標(biāo)低,復(fù)雜度低的子系統(tǒng)分配的指標(biāo)高;重要度高的子系統(tǒng)分配的指標(biāo)高,重要度低的子系統(tǒng)分配的指標(biāo)低。

    針對(duì)上述可進(jìn)行業(yè)務(wù)分級(jí)的 IDC、公有云等業(yè)務(wù),通過(guò)該算法可以得出基礎(chǔ)設(shè)施的可用性指標(biāo),進(jìn)而得出基礎(chǔ)設(shè)施的配置要求,從而更好地滿足不同等級(jí)業(yè)務(wù)的需求。

    如對(duì)于高等級(jí)的業(yè)務(wù)來(lái)說(shuō),對(duì)數(shù)據(jù)中心的可用性提出了較高的要求,可以通過(guò)設(shè)備的可靠性、合理的規(guī)劃和良好的組織管理來(lái)提升數(shù)據(jù)中心基礎(chǔ)設(shè)施的高可用性,可著重從建筑結(jié)構(gòu)、電氣系統(tǒng)、空調(diào)系統(tǒng)、綜合布線等角度采取相應(yīng)的技術(shù)設(shè)施提供高可用性。

    5 結(jié)束語(yǔ)

    通過(guò)分析國(guó)內(nèi)外數(shù)據(jù)中心分級(jí)標(biāo)準(zhǔn)來(lái)看,國(guó)際上數(shù)據(jù)中心分級(jí)大多以Uptime分級(jí)作為公認(rèn)的標(biāo)準(zhǔn);國(guó)內(nèi)比較權(quán)威的是GB 50174《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》,但需要注意的是,國(guó)標(biāo)編制過(guò)程中有國(guó)內(nèi)互聯(lián)網(wǎng)企業(yè)參與,有些等級(jí)的要求更多地向互聯(lián)網(wǎng)企業(yè)傾斜,運(yùn)營(yíng)商需要結(jié)合自身需求來(lái)選擇建設(shè)規(guī)范標(biāo)準(zhǔn)。目前主流運(yùn)營(yíng)商或者互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)中心都是按照 Uptime Tier Ⅲ+或 GB 50174的A級(jí)標(biāo)準(zhǔn)來(lái)建設(shè)的,而按照這個(gè)等級(jí)建設(shè)數(shù)據(jù)中心需要巨大投資。

    針對(duì)數(shù)據(jù)中心承載的各類業(yè)務(wù)系統(tǒng),尤其是互聯(lián)網(wǎng)應(yīng)用、IDC和公有云業(yè)務(wù)等,考慮到業(yè)務(wù)在安全性、重要性等方面有所差異,建議可考慮根據(jù)可用性進(jìn)行分類、分級(jí),為用戶提供不同等級(jí)的服務(wù),同時(shí)也可以對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的配置進(jìn)行相應(yīng)調(diào)整,對(duì)可用性指標(biāo)要求低的業(yè)務(wù)系統(tǒng),適當(dāng)降低建設(shè)標(biāo)準(zhǔn),從而降低建設(shè)成本。

    隨著云計(jì)算和大數(shù)據(jù)技術(shù)的引入,對(duì)業(yè)務(wù)連續(xù)性衡量的標(biāo)準(zhǔn)已經(jīng)從單純 IT 領(lǐng)域的容災(zāi)備份上升到了保障業(yè)務(wù)持續(xù)運(yùn)行的層面。在成本允許的情況下,建議對(duì)非強(qiáng)一致性的業(yè)務(wù)應(yīng)用進(jìn)行分布式架構(gòu)改造,不僅可以實(shí)現(xiàn)業(yè)務(wù)規(guī)模的負(fù)載均衡,有利于業(yè)務(wù)規(guī)模的擴(kuò)展,也同樣起到了災(zāi)備作用,保證了業(yè)務(wù)的連續(xù)性,降低了災(zāi)備成本。對(duì)于實(shí)現(xiàn)同城多活數(shù)據(jù)中心,包括傳統(tǒng)的“兩地三中心”(裸光纖距離不超過(guò) 40 km的情況下),在原有基礎(chǔ)設(shè)施基礎(chǔ)上可以適當(dāng)考慮降低建設(shè)標(biāo)準(zhǔn)。

    [1] 工業(yè)和信息化部. 數(shù)據(jù)中心設(shè)計(jì)規(guī)范: GB 50174 [S]. 2015. Ministry of Industry and Information Technology. Design specification of data center: GB 50174 [S]. 2015.

    [2] 工業(yè)和信息化部. 互聯(lián)網(wǎng)數(shù)據(jù)中心技術(shù)及分級(jí)分類標(biāo)準(zhǔn): YD/T 2441[S]. 2013. Ministry of Industry and Information Technology. Technology and classification criteria of internet data center: YD/T 2441[S]. 2013.

    [3] 工業(yè)和信息化部. 互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)工程設(shè)計(jì)規(guī)范: YD 5193[S]. 2014. Ministry of Industry and Information Technology. Engineering design specification of internet data center(IDC): YD 5193[S]. 2014.

    [4] 宋保維, 李彩霞, 毛少勇, 等. 并聯(lián)系統(tǒng)可靠性分配的模糊層次分析法[J]. 火力與指揮控制, 2009, 34(12): 151-153. SONG B W, LI C X, MAO S Y, et al. Fuzzy hierarchical analysis for reliability allocation of parallel system[J]. Fire Control and Command Control, 2009, 34(12): 151-153.

    [5] 郝曉峰. 復(fù)雜機(jī)械系統(tǒng)可靠性分配最優(yōu)分配方法的研究[D].沈陽(yáng): 東北大學(xué), 2008. HAO X F. Research on optimal assignment method for reliability assignment of complex mechanical system[D]. Shenyang: Northeastern University, 2008.

    [6] 李丹, 劉方明, 郭得科, 等. 軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)理論與關(guān)鍵技術(shù)[J]. 電信科學(xué), 2014, 30(6): 48-59. LI D, LIU F M, GUO D K, et al. Fundamental theory and key technology of software defined cloud data center network[J]. Telecommunications Science, 2014, 30(6): 48-59.

    [7] 孫振正, 龔靖, 段勇, 等. 面向下一代數(shù)據(jù)中心的軟件定義存儲(chǔ)技術(shù)研究[J]. 電信科學(xué), 2014, 30(1): 39-43. SUN Z Z, GONG J, DUAN Y, et al. Research on software defined storage technology for the next-generation data center[J]. Telecommunications Science, 2014, 30(1): 39-43.

    [8] 辛晃, 易興輝, 陳震宇. 基于 Hadoop+MPP架構(gòu)的電信運(yùn)營(yíng)商網(wǎng)絡(luò)數(shù)據(jù)共享平臺(tái)研究[J].電信科學(xué), 2014, 30(4): 135-145. XIN H, YI X H, CHEN Z Y. Design of telecom operators’ network data sharing platform based on Hadoop+MPP architecture[J]. Telecommunications Science, 2014, 30(4): 135-145.

    雷鳴(1973?),女,中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司高級(jí)工程師,主要從事云計(jì)算、IDC領(lǐng)域的規(guī)劃、咨詢、設(shè)計(jì)等工作。

    劉芹(1977?),女,中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司高級(jí)工程師,主要從事業(yè)務(wù)網(wǎng)、云計(jì)算領(lǐng)域的規(guī)劃、咨詢、設(shè)計(jì)等工作。

    封鐸(1973?),男,中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司高級(jí)工程師,主要從事支撐網(wǎng)、云計(jì)算領(lǐng)域的規(guī)劃、咨詢、設(shè)計(jì)等工作。

    劉玲(1982?),女,中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司高級(jí)工程師,主要從事業(yè)務(wù)網(wǎng)、云計(jì)算領(lǐng)域的規(guī)劃、咨詢、設(shè)計(jì)等工作。

    Research on the availability grading of business systems in the data center

    LEI Ming, LIU Qin, FENG Duo, LIU Ling
    China Mobile Group Design Institute Co., Ltd., Beijing 100080, China

    By analyzing the grading status of data centers at home and abroad and the availability of business systems in the data center, business availability grading recommendations, and business system requirements and configuration recommendations for the data center infrastructure were proposed, thus making the data center infrastructure more rational and reducing the cost of data center.

    data center, grading, availability

    TN915.02

    A

    10.11959/j.issn.1000?0801.2017079

    2017?01?13;

    2017?03?22

    猜你喜歡
    可用性子系統(tǒng)數(shù)據(jù)中心
    基于文獻(xiàn)計(jì)量學(xué)的界面設(shè)計(jì)可用性中外對(duì)比研究
    包裝工程(2023年24期)2023-12-27 09:18:26
    不對(duì)中轉(zhuǎn)子系統(tǒng)耦合動(dòng)力學(xué)特性研究
    酒泉云計(jì)算大數(shù)據(jù)中心
    基于輻射傳輸模型的GOCI晨昏時(shí)段數(shù)據(jù)的可用性分析
    GSM-R基站子系統(tǒng)同步方案研究
    駝峰測(cè)長(zhǎng)設(shè)備在線監(jiān)測(cè)子系統(tǒng)的設(shè)計(jì)與應(yīng)用
    民航綠色云數(shù)據(jù)中心PUE控制
    基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
    空客A320模擬機(jī)FD1+2可用性的討論
    河南科技(2015年7期)2015-03-11 16:23:13
    黔西南州烤煙化學(xué)成分可用性評(píng)價(jià)
    作物研究(2014年6期)2014-03-01 03:39:04
    婷婷丁香在线五月| 岛国视频午夜一区免费看| 亚洲七黄色美女视频| 一进一出抽搐动态| 两个人看的免费小视频| 在线观看66精品国产| 丁香欧美五月| 日本a在线网址| 老司机午夜十八禁免费视频| 韩国av一区二区三区四区| 999久久久精品免费观看国产| 午夜a级毛片| 国产高清有码在线观看视频 | 国产一区二区三区综合在线观看| 亚洲成av人片免费观看| xxx96com| 老汉色∧v一级毛片| 亚洲视频免费观看视频| www.www免费av| 国产精品久久电影中文字幕| 黑人巨大精品欧美一区二区蜜桃| 女性生殖器流出的白浆| 99在线视频只有这里精品首页| 午夜久久久久精精品| 国产99久久九九免费精品| 搡老熟女国产l中国老女人| 777久久人妻少妇嫩草av网站| 久久精品91蜜桃| 他把我摸到了高潮在线观看| 嫁个100分男人电影在线观看| 精品日产1卡2卡| 国产亚洲精品综合一区在线观看 | 少妇 在线观看| 神马国产精品三级电影在线观看 | 亚洲视频免费观看视频| 久久久久九九精品影院| 日本三级黄在线观看| 女性被躁到高潮视频| 日韩成人在线观看一区二区三区| 欧美成人性av电影在线观看| 日韩欧美在线二视频| 天天一区二区日本电影三级 | 天堂影院成人在线观看| 一边摸一边做爽爽视频免费| 男女床上黄色一级片免费看| av福利片在线| 91在线观看av| 亚洲国产精品999在线| 天天添夜夜摸| 中出人妻视频一区二区| 99国产精品一区二区三区| 亚洲国产精品sss在线观看| 国产精品精品国产色婷婷| 操美女的视频在线观看| 欧美国产精品va在线观看不卡| 村上凉子中文字幕在线| 99国产综合亚洲精品| x7x7x7水蜜桃| 亚洲va日本ⅴa欧美va伊人久久| 91成人精品电影| 黄色视频,在线免费观看| 久久久精品国产亚洲av高清涩受| 欧美乱色亚洲激情| 村上凉子中文字幕在线| 免费女性裸体啪啪无遮挡网站| 国产亚洲欧美98| 韩国av一区二区三区四区| 亚洲少妇的诱惑av| 日日干狠狠操夜夜爽| 老司机午夜福利在线观看视频| 又黄又粗又硬又大视频| 一级a爱片免费观看的视频| 亚洲av第一区精品v没综合| 91麻豆av在线| 一二三四在线观看免费中文在| 婷婷六月久久综合丁香| 国产亚洲av嫩草精品影院| 国内精品久久久久精免费| 不卡一级毛片| 国产一区二区在线av高清观看| 99香蕉大伊视频| 啦啦啦韩国在线观看视频| 女人被躁到高潮嗷嗷叫费观| 大陆偷拍与自拍| e午夜精品久久久久久久| av电影中文网址| ponron亚洲| 日韩成人在线观看一区二区三区| 日韩欧美三级三区| 亚洲狠狠婷婷综合久久图片| 国产亚洲精品久久久久5区| 国产熟女午夜一区二区三区| 午夜久久久久精精品| 午夜免费鲁丝| 一本大道久久a久久精品| 亚洲精品在线观看二区| 极品教师在线免费播放| 熟女少妇亚洲综合色aaa.| 亚洲色图av天堂| 男女做爰动态图高潮gif福利片 | av免费在线观看网站| 久久精品国产清高在天天线| 99精品久久久久人妻精品| 窝窝影院91人妻| 天天躁夜夜躁狠狠躁躁| 一夜夜www| 亚洲国产中文字幕在线视频| 国产99白浆流出| 琪琪午夜伦伦电影理论片6080| 无人区码免费观看不卡| 无限看片的www在线观看| 成人三级黄色视频| 日韩高清综合在线| 日日摸夜夜添夜夜添小说| 欧美一区二区精品小视频在线| 琪琪午夜伦伦电影理论片6080| aaaaa片日本免费| 又黄又粗又硬又大视频| 欧美激情 高清一区二区三区| 两性夫妻黄色片| 久久青草综合色| 久久人人97超碰香蕉20202| 一个人免费在线观看的高清视频| 亚洲av电影不卡..在线观看| 亚洲 欧美 日韩 在线 免费| 久久中文字幕人妻熟女| 久久午夜综合久久蜜桃| 国产精品影院久久| 亚洲av第一区精品v没综合| 欧美国产日韩亚洲一区| 国产成人欧美| 午夜亚洲福利在线播放| 91老司机精品| 91成人精品电影| 母亲3免费完整高清在线观看| av天堂久久9| 色哟哟哟哟哟哟| or卡值多少钱| 伦理电影免费视频| 12—13女人毛片做爰片一| 国产一区二区三区在线臀色熟女| 伦理电影免费视频| 韩国精品一区二区三区| 母亲3免费完整高清在线观看| 久久人人爽av亚洲精品天堂| 成人三级黄色视频| 制服诱惑二区| 欧美绝顶高潮抽搐喷水| 午夜免费观看网址| 最新在线观看一区二区三区| 久久香蕉精品热| www.999成人在线观看| 美女 人体艺术 gogo| 一级作爱视频免费观看| 午夜日韩欧美国产| 久久婷婷人人爽人人干人人爱 | 久久久国产欧美日韩av| 啪啪无遮挡十八禁网站| 热re99久久国产66热| 午夜福利欧美成人| 午夜免费激情av| 一级毛片精品| 一区福利在线观看| 欧美乱妇无乱码| 中文字幕高清在线视频| 午夜a级毛片| 国产欧美日韩一区二区精品| 手机成人av网站| 欧美黄色片欧美黄色片| 久久久久久亚洲精品国产蜜桃av| 亚洲中文字幕日韩| 制服丝袜大香蕉在线| 成人三级做爰电影| 日本免费一区二区三区高清不卡 | 国产精品亚洲一级av第二区| 黄色视频,在线免费观看| 法律面前人人平等表现在哪些方面| 激情视频va一区二区三区| 亚洲无线在线观看| 亚洲av电影不卡..在线观看| 黑人巨大精品欧美一区二区蜜桃| a在线观看视频网站| 国产成人精品久久二区二区免费| 久久中文看片网| 国产极品粉嫩免费观看在线| 国产精品1区2区在线观看.| 国产欧美日韩精品亚洲av| 国产成人欧美在线观看| 悠悠久久av| 欧美日韩亚洲综合一区二区三区_| 久久伊人香网站| 成人av一区二区三区在线看| 夜夜爽天天搞| netflix在线观看网站| 在线观看免费视频网站a站| 午夜精品在线福利| 国产精品一区二区精品视频观看| 久久久精品欧美日韩精品| 午夜久久久在线观看| 一进一出抽搐gif免费好疼| 中文字幕另类日韩欧美亚洲嫩草| 中文字幕久久专区| 国产真人三级小视频在线观看| 如日韩欧美国产精品一区二区三区| 成人永久免费在线观看视频| АⅤ资源中文在线天堂| 色av中文字幕| 免费看a级黄色片| 欧美成人一区二区免费高清观看 | 国产成人精品无人区| 淫妇啪啪啪对白视频| 色在线成人网| 亚洲人成电影免费在线| 女同久久另类99精品国产91| 两个人视频免费观看高清| 91老司机精品| av在线播放免费不卡| 日韩有码中文字幕| 欧美激情久久久久久爽电影 | 国产免费男女视频| 19禁男女啪啪无遮挡网站| 久久久久国产一级毛片高清牌| 激情视频va一区二区三区| 性色av乱码一区二区三区2| xxx96com| 国产蜜桃级精品一区二区三区| 午夜老司机福利片| 亚洲欧美激情在线| 亚洲国产精品成人综合色| 麻豆一二三区av精品| av视频免费观看在线观看| bbb黄色大片| 97人妻天天添夜夜摸| 女生性感内裤真人,穿戴方法视频| 色av中文字幕| 自线自在国产av| 在线观看午夜福利视频| 欧美国产精品va在线观看不卡| 变态另类丝袜制服| 亚洲avbb在线观看| 亚洲专区中文字幕在线| 91国产中文字幕| 看黄色毛片网站| 村上凉子中文字幕在线| 免费高清在线观看日韩| 99riav亚洲国产免费| 国产精品 欧美亚洲| 午夜激情av网站| 日韩欧美三级三区| 日本撒尿小便嘘嘘汇集6| 午夜日韩欧美国产| 午夜视频精品福利| 99国产综合亚洲精品| 黄色a级毛片大全视频| 男人舔女人下体高潮全视频| www国产在线视频色| ponron亚洲| 亚洲精品久久国产高清桃花| 欧美日韩精品网址| 中文字幕另类日韩欧美亚洲嫩草| 国产亚洲精品综合一区在线观看 | av欧美777| 国产国语露脸激情在线看| 国产精品1区2区在线观看.| 亚洲九九香蕉| 精品高清国产在线一区| 国产午夜精品久久久久久| 正在播放国产对白刺激| 在线观看一区二区三区| 欧美丝袜亚洲另类 | 夜夜夜夜夜久久久久| 久久精品91蜜桃| 69av精品久久久久久| 精品高清国产在线一区| 深夜精品福利| www.熟女人妻精品国产| 欧美黑人精品巨大| 国产97色在线日韩免费| 黑人巨大精品欧美一区二区蜜桃| 在线观看日韩欧美| 免费在线观看影片大全网站| 制服诱惑二区| 精品少妇一区二区三区视频日本电影| 日本a在线网址| 亚洲av片天天在线观看| 19禁男女啪啪无遮挡网站| 制服人妻中文乱码| 亚洲激情在线av| 欧美一级毛片孕妇| 亚洲第一av免费看| 欧美中文日本在线观看视频| 国产av在哪里看| 欧美人与性动交α欧美精品济南到| 一级a爱视频在线免费观看| 91av网站免费观看| 在线国产一区二区在线| 人人妻人人爽人人添夜夜欢视频| 9色porny在线观看| 欧美黄色片欧美黄色片| 国产日韩一区二区三区精品不卡| 18禁国产床啪视频网站| 成人18禁在线播放| 午夜a级毛片| 欧美中文日本在线观看视频| 波多野结衣av一区二区av| 99久久国产精品久久久| www.自偷自拍.com| 免费在线观看黄色视频的| 亚洲自拍偷在线| 后天国语完整版免费观看| 久久国产精品影院| 久久精品成人免费网站| 国产精品99久久99久久久不卡| 国内毛片毛片毛片毛片毛片| 国产精品亚洲美女久久久| 成人亚洲精品一区在线观看| 看黄色毛片网站| 变态另类丝袜制服| 久久人人爽av亚洲精品天堂| 日本精品一区二区三区蜜桃| 制服人妻中文乱码| 99热只有精品国产| 久久久久久久久免费视频了| 欧美激情 高清一区二区三区| √禁漫天堂资源中文www| 啦啦啦免费观看视频1| aaaaa片日本免费| 男人舔女人的私密视频| 日韩有码中文字幕| 伊人久久大香线蕉亚洲五| 如日韩欧美国产精品一区二区三区| 国产亚洲av高清不卡| 一级片免费观看大全| 日韩国内少妇激情av| 国产精品av久久久久免费| 中文字幕高清在线视频| 久久久精品欧美日韩精品| 黄色毛片三级朝国网站| 午夜福利免费观看在线| 中文字幕高清在线视频| 亚洲性夜色夜夜综合| 看片在线看免费视频| 国产黄a三级三级三级人| 午夜久久久久精精品| 涩涩av久久男人的天堂| 母亲3免费完整高清在线观看| 级片在线观看| 97人妻天天添夜夜摸| 午夜福利,免费看| 中文字幕色久视频| 18禁观看日本| 国产精品精品国产色婷婷| 欧美国产日韩亚洲一区| 啦啦啦免费观看视频1| 老司机午夜福利在线观看视频| 国产三级在线视频| 老司机午夜福利在线观看视频| 波多野结衣av一区二区av| 欧美黄色淫秽网站| 欧美av亚洲av综合av国产av| av片东京热男人的天堂| 嫩草影视91久久| 在线观看日韩欧美| 免费在线观看影片大全网站| 好男人在线观看高清免费视频| 国产极品精品免费视频能看的| 男插女下体视频免费在线播放| 精品不卡国产一区二区三区| 久久国内精品自在自线图片| 亚洲中文字幕一区二区三区有码在线看| 亚洲精品久久国产高清桃花| 精品一区二区三区视频在线观看免费| 亚洲国产色片| 国产乱人视频| 非洲黑人性xxxx精品又粗又长| 国产精品久久久久久亚洲av鲁大| 麻豆av噜噜一区二区三区| 国产精品福利在线免费观看| 特大巨黑吊av在线直播| 男女下面进入的视频免费午夜| 校园春色视频在线观看| 免费av毛片视频| 直男gayav资源| 男女做爰动态图高潮gif福利片| 国产久久久一区二区三区| 久久99热这里只有精品18| 日韩欧美国产在线观看| 国产欧美日韩精品亚洲av| 99精品在免费线老司机午夜| 中文字幕熟女人妻在线| 伊人久久精品亚洲午夜| 男女视频在线观看网站免费| 亚洲成人免费电影在线观看| 国产精品嫩草影院av在线观看 | 免费搜索国产男女视频| 变态另类成人亚洲欧美熟女| 久久午夜亚洲精品久久| 亚洲 国产 在线| 久久精品国产亚洲网站| 搡老岳熟女国产| 中文字幕免费在线视频6| 国产伦精品一区二区三区视频9| 日本三级黄在线观看| 久久久久久伊人网av| 十八禁国产超污无遮挡网站| 亚洲国产欧美人成| 欧美+日韩+精品| 男女之事视频高清在线观看| 99久久九九国产精品国产免费| 91久久精品国产一区二区成人| 成年版毛片免费区| 午夜福利视频1000在线观看| 日韩人妻高清精品专区| 国产视频内射| 久久精品夜夜夜夜夜久久蜜豆| 高清在线国产一区| 亚洲av美国av| 亚洲中文日韩欧美视频| 日韩欧美免费精品| 欧美激情久久久久久爽电影| 高清毛片免费观看视频网站| 两个人的视频大全免费| 97超级碰碰碰精品色视频在线观看| 国产真实伦视频高清在线观看 | 亚洲精品色激情综合| 欧美潮喷喷水| 我要搜黄色片| 免费av不卡在线播放| 禁无遮挡网站| 此物有八面人人有两片| 男人狂女人下面高潮的视频| 他把我摸到了高潮在线观看| 免费人成在线观看视频色| 淫秽高清视频在线观看| 又黄又爽又免费观看的视频| 美女cb高潮喷水在线观看| 一区二区三区高清视频在线| aaaaa片日本免费| 精华霜和精华液先用哪个| 日本三级黄在线观看| 亚洲av美国av| 亚洲精华国产精华液的使用体验 | 久久久久久国产a免费观看| 日日摸夜夜添夜夜添av毛片 | 日韩中文字幕欧美一区二区| 18禁黄网站禁片午夜丰满| 久久久色成人| 成人国产一区最新在线观看| 又爽又黄无遮挡网站| 热99在线观看视频| 亚洲三级黄色毛片| 国产精品女同一区二区软件 | 久久久国产成人免费| 日韩一本色道免费dvd| 国产视频内射| 久久精品国产亚洲av香蕉五月| 乱码一卡2卡4卡精品| 亚洲精品粉嫩美女一区| 久久精品国产亚洲av涩爱 | 日本免费a在线| 成人国产综合亚洲| 久久午夜亚洲精品久久| 欧美日本亚洲视频在线播放| 国产精品永久免费网站| 国产一区二区激情短视频| 欧美人与善性xxx| 一区二区三区免费毛片| 国产高潮美女av| aaaaa片日本免费| 一a级毛片在线观看| 国产精品一区二区免费欧美| 最近视频中文字幕2019在线8| 国产精品乱码一区二三区的特点| 午夜福利视频1000在线观看| 人人妻,人人澡人人爽秒播| 亚洲av电影不卡..在线观看| 天堂动漫精品| 日日摸夜夜添夜夜添av毛片 | 老熟妇仑乱视频hdxx| 久久久国产成人精品二区| 国产主播在线观看一区二区| 成人一区二区视频在线观看| 国内毛片毛片毛片毛片毛片| 99视频精品全部免费 在线| 熟女人妻精品中文字幕| 欧美bdsm另类| 国产成人a区在线观看| 最近视频中文字幕2019在线8| 亚洲av五月六月丁香网| 午夜精品久久久久久毛片777| 日本五十路高清| 成熟少妇高潮喷水视频| 长腿黑丝高跟| 欧美精品啪啪一区二区三区| 久久久色成人| 97人妻精品一区二区三区麻豆| 国产大屁股一区二区在线视频| 欧美一区二区国产精品久久精品| 伦理电影大哥的女人| 麻豆国产av国片精品| 国产真实伦视频高清在线观看 | 淫秽高清视频在线观看| 网址你懂的国产日韩在线| av女优亚洲男人天堂| 搡老岳熟女国产| 国产欧美日韩一区二区精品| 深夜a级毛片| 国产在视频线在精品| 亚洲无线在线观看| 亚洲精品一卡2卡三卡4卡5卡| 麻豆国产av国片精品| 亚洲国产精品sss在线观看| 国产 一区 欧美 日韩| 国产一区二区在线av高清观看| 欧美激情国产日韩精品一区| 日本一二三区视频观看| 午夜福利18| av黄色大香蕉| 黄色视频,在线免费观看| 又紧又爽又黄一区二区| 欧美xxxx性猛交bbbb| 3wmmmm亚洲av在线观看| 国产精品电影一区二区三区| 亚洲aⅴ乱码一区二区在线播放| 国产免费一级a男人的天堂| 美女高潮的动态| 国产精品,欧美在线| 色综合婷婷激情| 99久久无色码亚洲精品果冻| 成人av一区二区三区在线看| 亚洲av电影不卡..在线观看| 国产精品三级大全| 国产乱人伦免费视频| 午夜精品久久久久久毛片777| 3wmmmm亚洲av在线观看| 成人欧美大片| 亚洲aⅴ乱码一区二区在线播放| 成人av一区二区三区在线看| 精品久久久久久成人av| 丰满乱子伦码专区| 亚洲av二区三区四区| 少妇人妻精品综合一区二区 | 小说图片视频综合网站| aaaaa片日本免费| 国产私拍福利视频在线观看| 国产成人一区二区在线| 一本一本综合久久| 久久精品国产自在天天线| 国产av麻豆久久久久久久| 一个人观看的视频www高清免费观看| 精品人妻偷拍中文字幕| 久久精品国产鲁丝片午夜精品 | 变态另类成人亚洲欧美熟女| aaaaa片日本免费| 久久中文看片网| 欧美绝顶高潮抽搐喷水| 久久久国产成人免费| 在线观看一区二区三区| 小蜜桃在线观看免费完整版高清| 在线观看午夜福利视频| 色在线成人网| 淫妇啪啪啪对白视频| 日日干狠狠操夜夜爽| 国内少妇人妻偷人精品xxx网站| 日韩欧美在线二视频| 国产一区二区三区在线臀色熟女| 亚洲中文字幕日韩| 老司机午夜福利在线观看视频| 日韩精品有码人妻一区| 九色国产91popny在线| 天堂动漫精品| 99久久精品一区二区三区| 国产一区二区三区在线臀色熟女| 人人妻人人看人人澡| 91久久精品国产一区二区三区| a级一级毛片免费在线观看| 床上黄色一级片| 在线国产一区二区在线| 国产伦人伦偷精品视频| 欧美激情久久久久久爽电影| 在线观看午夜福利视频| 亚洲成人久久性| 国产视频内射| 男人舔女人下体高潮全视频| 一本精品99久久精品77| 九色成人免费人妻av| 中文资源天堂在线| 久久6这里有精品| 欧美区成人在线视频| 国产淫片久久久久久久久| av在线观看视频网站免费| 欧美极品一区二区三区四区| 国产精品一及| 免费一级毛片在线播放高清视频| 国产一区二区三区在线臀色熟女| 国内精品一区二区在线观看| 在线观看午夜福利视频| 一区二区三区高清视频在线| 麻豆av噜噜一区二区三区| 久久亚洲精品不卡| 精品久久久噜噜| a级毛片免费高清观看在线播放| 国产探花极品一区二区| 天天躁日日操中文字幕| 999久久久精品免费观看国产| 亚洲av不卡在线观看| 日韩强制内射视频| 999久久久精品免费观看国产| 蜜桃久久精品国产亚洲av| 美女xxoo啪啪120秒动态图| 国产一级毛片七仙女欲春2| 亚洲不卡免费看| 18禁在线播放成人免费| 成人毛片a级毛片在线播放| 天堂影院成人在线观看|