• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云數(shù)據(jù)中心演進(jìn)思路剖析

    2011-06-11 11:03:50宏,陳
    電信科學(xué) 2011年10期
    關(guān)鍵詞:虛擬化數(shù)據(jù)中心服務(wù)器

    唐 宏,陳 楠

    (中國(guó)電信股份有限公司廣東研究院 廣州 510630)

    近年來,云計(jì)算在學(xué)術(shù)界和產(chǎn)業(yè)界均獲得高速發(fā)展。云計(jì)算基于互聯(lián)網(wǎng)的業(yè)務(wù)模式促使新型數(shù)據(jù)中心的出現(xiàn),利用云計(jì)算技術(shù)可以有效解決目前數(shù)據(jù)中心普遍存在的資源利用率低、能耗過高、基礎(chǔ)資源出租類業(yè)務(wù)比重過大等問題。新一代云數(shù)據(jù)中心逐漸獲得了業(yè)界的認(rèn)可與探索實(shí)踐。本文首先對(duì)云數(shù)據(jù)中心的概念進(jìn)行辨析,然后在分析云數(shù)據(jù)中心關(guān)鍵技術(shù)的基礎(chǔ)上,從網(wǎng)絡(luò)架構(gòu)、基礎(chǔ)設(shè)施、資源管理、服務(wù)提供、運(yùn)營(yíng)維護(hù)、規(guī)劃建設(shè)和綠色節(jié)能等角度分析了云數(shù)據(jù)中心的特點(diǎn)與發(fā)展趨勢(shì),最后給出傳統(tǒng)IDC運(yùn)營(yíng)商的應(yīng)對(duì)策略。

    1 云數(shù)據(jù)中心內(nèi)涵

    云計(jì)算是一種將池化的集群計(jì)算能力通過互聯(lián)網(wǎng)向內(nèi)外部用戶提供按需服務(wù)的互聯(lián)網(wǎng)新業(yè)務(wù),是傳統(tǒng)IT領(lǐng)域和通信領(lǐng)域技術(shù)進(jìn)步、需求推動(dòng)和商業(yè)模式變化共同促進(jìn)的結(jié)果,具有以網(wǎng)絡(luò)為中心、以服務(wù)為提供方式、高擴(kuò)展高可靠性、資源池化與透明化等4個(gè)特點(diǎn),云計(jì)算的出現(xiàn),使IT資源具備了可運(yùn)營(yíng)的條件。數(shù)據(jù)中心是云計(jì)算生態(tài)系統(tǒng)中的重要一環(huán),在云計(jì)算模式下,信息的存儲(chǔ)、處理、傳遞等功能均由網(wǎng)絡(luò)側(cè)完成,實(shí)際上由數(shù)據(jù)中心承擔(dān)。由于傳統(tǒng)數(shù)據(jù)中心存在資源利用率低、自動(dòng)化程度低、能耗過高等一系列問題,無法有效承載云計(jì)算業(yè)務(wù),因此基于云計(jì)算技術(shù)的新一代數(shù)據(jù)中心應(yīng)運(yùn)而生。

    云數(shù)據(jù)中心是指以客戶為中心、以服務(wù)為導(dǎo)向,基于高效、低能耗的IT與網(wǎng)絡(luò)基礎(chǔ)架構(gòu),利用云計(jì)算技術(shù),自動(dòng)化地按需提供各類云計(jì)算服務(wù)的新一代數(shù)據(jù)中心。云數(shù)據(jù)中心是傳統(tǒng)數(shù)據(jù)中心的升級(jí),是新一代數(shù)據(jù)中心的演進(jìn)方向。云數(shù)據(jù)中心具有以下5個(gè)特點(diǎn)。

    (1)資源池化

    云數(shù)據(jù)中心內(nèi)的IT資源和網(wǎng)絡(luò)資源將構(gòu)成統(tǒng)一的資源池,實(shí)現(xiàn)物理資源與邏輯資源的去耦合,用戶僅需對(duì)邏輯資源進(jìn)行相關(guān)操作而無需關(guān)注底層實(shí)際物理設(shè)備。

    (2)高效智能

    基于虛擬化、分布式計(jì)算等技術(shù),利用低成本的集群設(shè)備實(shí)現(xiàn)高效廉價(jià)的信息承載、存儲(chǔ)與處理,同時(shí)通過管理平臺(tái)實(shí)現(xiàn)自動(dòng)化的資源監(jiān)控、部署與調(diào)度以及業(yè)務(wù)生命周期的智能管理。

    (3)面向服務(wù)

    整體架構(gòu)以服務(wù)為導(dǎo)向,通過松耦合的方式實(shí)現(xiàn)多服務(wù)的綜合承載與提供,云數(shù)據(jù)中心由提供資源變成提供服務(wù),用戶通過服務(wù)目錄選擇相關(guān)的服務(wù),對(duì)底層實(shí)際資源透明。

    (4)按需供給

    底層基礎(chǔ)架構(gòu)在資源池化的基礎(chǔ)上根據(jù)實(shí)際需求實(shí)現(xiàn)資源的動(dòng)態(tài)伸縮,并提供完備的、細(xì)顆粒的計(jì)費(fèi)功能,云數(shù)據(jù)中心還將根據(jù)上層應(yīng)用的發(fā)展趨勢(shì),實(shí)現(xiàn)對(duì)底層物理設(shè)備的智能容量規(guī)劃。

    (5)綠色低碳

    通過模塊化的設(shè)計(jì)以及虛擬化等綠色節(jié)能技術(shù),降低云數(shù)據(jù)中心的設(shè)備投入成本以及運(yùn)營(yíng)維護(hù)成本,實(shí)現(xiàn)低PUE值的綠色低碳運(yùn)營(yíng)。

    云數(shù)據(jù)中心率先在Google、Facebook等互聯(lián)網(wǎng)公司的自有業(yè)務(wù)中獲得成功應(yīng)用,并成為這些企業(yè)的核心競(jìng)爭(zhēng)力之一,同時(shí)亞馬遜、微軟等業(yè)界巨頭也正嘗試(初期實(shí)踐)利用云數(shù)據(jù)中心向公眾提供包括IaaS、PaaS和SaaS在內(nèi)的云計(jì)算服務(wù)。

    2 云數(shù)據(jù)中心關(guān)鍵技術(shù)

    2.1 虛擬化技術(shù)

    虛擬化技術(shù)的本質(zhì)是實(shí)現(xiàn)底層物理設(shè)備與邏輯資源的去耦合。通常所指的虛擬化即服務(wù)器虛擬化,可以在相同的一套硬件上運(yùn)行彼此獨(dú)立的操作系統(tǒng)和應(yīng)用軟件。服務(wù)器虛擬化具有同質(zhì)、高效、資源受控的特點(diǎn)。虛擬化后的虛擬機(jī)可以根據(jù)需求彈性增加或減少其分配的硬件資源,提高資源配置的靈活性,同時(shí)可以在單一物理服務(wù)器上運(yùn)行多個(gè)虛擬機(jī),提高了資源利用率,降低了能耗。通過服務(wù)器虛擬化可以將整個(gè)系統(tǒng)(包括硬件配置、操作系統(tǒng)以及應(yīng)用等)封裝在文件里,實(shí)現(xiàn)(虛擬機(jī))系統(tǒng)的快速部署、軟件發(fā)布和系統(tǒng)備份,同時(shí)在業(yè)務(wù)不中斷的情況下,實(shí)現(xiàn)在不同物理服務(wù)器上的動(dòng)態(tài)遷移,增強(qiáng)系統(tǒng)的可靠性和擴(kuò)展性。

    除服務(wù)器虛擬化外,虛擬化技術(shù)還包括存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化。存儲(chǔ)虛擬化是指通過對(duì)存儲(chǔ)(子)系統(tǒng)或存儲(chǔ)服務(wù)的內(nèi)部功能進(jìn)行抽象、隱藏或隔離,使存儲(chǔ)或數(shù)據(jù)的管理與應(yīng)用、服務(wù)器、網(wǎng)絡(luò)資源的管理分離,從而實(shí)現(xiàn)應(yīng)用和網(wǎng)絡(luò)的獨(dú)立管理。存儲(chǔ)虛擬化可以在系統(tǒng)的多個(gè)層面實(shí)現(xiàn),如建立類似于HSM(分級(jí)存儲(chǔ)管理)的系統(tǒng),同時(shí),存儲(chǔ)虛擬化技術(shù)的出現(xiàn)解決了系統(tǒng)異構(gòu)的問題。網(wǎng)絡(luò)虛擬化的狹義概念是傳統(tǒng)虛擬專用網(wǎng)絡(luò),通過VPN或者VLAN的方式在公共網(wǎng)絡(luò)上建立虛擬專用網(wǎng)。近年,計(jì)算虛擬化“多對(duì)一”的特征對(duì)網(wǎng)絡(luò)提出了與底層虛擬機(jī)相適配、互感知的新要求,充實(shí)了網(wǎng)絡(luò)虛擬化的概念。傳統(tǒng)網(wǎng)絡(luò)逐步具備了虛擬交換機(jī)、虛擬網(wǎng)卡、虛擬化動(dòng)態(tài)感知以及大二層網(wǎng)絡(luò)等特點(diǎn)。

    2.2 分布式計(jì)算技術(shù)

    分布式計(jì)算技術(shù)使幾個(gè)物理上獨(dú)立的組件作為一個(gè)單獨(dú)的系統(tǒng)協(xié)同工作,這些組件可能指多個(gè)CPU或者網(wǎng)絡(luò)中的多臺(tái)計(jì)算機(jī)。大型分布式系統(tǒng)通常會(huì)面臨如何把應(yīng)用程序分割成若干個(gè)可并行處理的功能模塊以及如何解決各功能模塊間協(xié)同工作的問題。這類系統(tǒng)可能采用以C/S結(jié)構(gòu)為基礎(chǔ)的3層或多層分布式對(duì)象體系結(jié)構(gòu),把表示邏輯、業(yè)務(wù)邏輯和數(shù)據(jù)邏輯分布在不同的機(jī)器上,也可能采用Web體系結(jié)構(gòu)?;贑/S架構(gòu)的分布式系統(tǒng)可借助CORBA、EJB、DCOM等中間件技術(shù)解決各模塊間的協(xié)同工作問題;基于Web體系架構(gòu)(或稱Web Service的分布式系統(tǒng)),則通過基于標(biāo)準(zhǔn)的Internet協(xié)議支持不同平臺(tái)和不同應(yīng)用程序之間的通信。對(duì)于數(shù)據(jù)密集型問題,可以采用分割數(shù)據(jù)的分布式計(jì)算模型,把需要進(jìn)行大量計(jì)算的數(shù)據(jù)分割成小塊,由網(wǎng)絡(luò)上的多臺(tái)計(jì)算機(jī)分別進(jìn)行計(jì)算,然后對(duì)結(jié)果進(jìn)行組合得出數(shù)據(jù)結(jié)論。MapReduce是分割數(shù)據(jù)型分布式計(jì)算模型的典范,在云計(jì)算領(lǐng)域被廣泛采用。

    2.3 運(yùn)營(yíng)管理技術(shù)

    運(yùn)營(yíng)管理技術(shù)是云數(shù)據(jù)中心運(yùn)營(yíng)管理平臺(tái)所涉及的一系列技術(shù)的泛稱。

    典型云計(jì)算運(yùn)營(yíng)管理系統(tǒng)如圖1所示,一般包括資產(chǎn)管理、資源封裝、資源部署調(diào)度、資源監(jiān)控、模板管理、服務(wù)目錄管理、服務(wù)實(shí)例管理、服務(wù)門戶、計(jì)費(fèi)、報(bào)表等模塊。

    資產(chǎn)管理實(shí)現(xiàn)對(duì)云承載平臺(tái)中的物理設(shè)備及硬件進(jìn)行統(tǒng)一信息管理與資源信息查詢。資源封裝實(shí)現(xiàn)對(duì)物理資源、虛擬層及專業(yè)管理層的統(tǒng)一管理,屏蔽底層硬件及虛擬化異構(gòu),整合系統(tǒng)中所有可用資源,對(duì)資源的生命周期和資源信息進(jìn)行綜合管理。資源部署調(diào)度實(shí)現(xiàn)對(duì)物理網(wǎng)元、虛擬資源生命周期和資源信息的動(dòng)態(tài)、彈性、按需的流程化、自動(dòng)化調(diào)度,按照策略自動(dòng)進(jìn)行資源部署以及流程操作,根據(jù)應(yīng)用、服務(wù)的負(fù)載情況,動(dòng)態(tài)分配物理和邏輯資源。資源監(jiān)控實(shí)現(xiàn)對(duì)各類物理資源和虛擬資源定時(shí)的、統(tǒng)一的、具有多層次多顆粒度的集中監(jiān)測(cè),為達(dá)到閾值的項(xiàng)目顯示告警。模板管理實(shí)現(xiàn)從創(chuàng)建、發(fā)布、激活、掛起、撤銷到刪除的模板生命周期管理以及快速部署。服務(wù)目錄是指對(duì)服務(wù)整個(gè)生命周期及服務(wù)配置進(jìn)行管理。服務(wù)實(shí)例管理通過執(zhí)行服務(wù)目錄定義的服務(wù)實(shí)例申請(qǐng)、變更、終止等服務(wù)請(qǐng)求處理流程,對(duì)服務(wù)實(shí)例的生命周期進(jìn)行管理。服務(wù)門戶提供用戶、服務(wù)設(shè)計(jì)人員、服務(wù)審批人員及維護(hù)人員的入口。計(jì)費(fèi)網(wǎng)關(guān)對(duì)資源服務(wù)使用量原始信息進(jìn)行收集,生成滿足BSS系統(tǒng)格式要求的賬單,通過外部接口輸出到BSS系統(tǒng)。報(bào)表管理將云計(jì)算系統(tǒng)中的資產(chǎn)情況、資源使用情況、服務(wù)模板、服務(wù)實(shí)例、監(jiān)控信息、性能報(bào)告、用戶信息等信息形成統(tǒng)計(jì)報(bào)表。

    3 云數(shù)據(jù)中心的關(guān)鍵問題

    3.1 云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

    構(gòu)建高集中度、高可靠性、低成本的云數(shù)據(jù)中心是運(yùn)營(yíng)商和企業(yè)的迫切需求[1]。整體來說,網(wǎng)絡(luò)架構(gòu)應(yīng)滿足以下3個(gè)條件。

    ·業(yè)務(wù)系統(tǒng)和數(shù)據(jù)集中化,網(wǎng)絡(luò)與業(yè)務(wù)管理的集約化和扁平化。

    ·高效的資源利用率。

    ·存儲(chǔ)和網(wǎng)絡(luò)設(shè)備具備更高的可靠性。

    換言之,云數(shù)據(jù)中心的網(wǎng)絡(luò)應(yīng)具備扁平化、融合化、動(dòng)態(tài)感知和高速化的特點(diǎn)。虛擬化技術(shù)在云數(shù)據(jù)中心內(nèi)的應(yīng)用需要一個(gè)超大型的二層互聯(lián)網(wǎng)絡(luò)作為基礎(chǔ),通過超大型二層網(wǎng)絡(luò)減少二層環(huán)路,實(shí)現(xiàn)快速故障收斂,提高鏈路利用率,簡(jiǎn)化管理,減少設(shè)備配置量,并且能夠根據(jù)實(shí)際情況實(shí)現(xiàn)端口的彈性擴(kuò)容,以滿足新一代IDC靈活提供業(yè)務(wù)的需求;同時(shí),可實(shí)現(xiàn)虛擬計(jì)算資源的在線遷移和調(diào)度以及業(yè)務(wù)的動(dòng)態(tài)擴(kuò)展。相關(guān)主要技術(shù)概述見表1。

    目前IETF和IEEE等標(biāo)準(zhǔn)化組織正在進(jìn)行大二層網(wǎng)絡(luò)方面的研究,處于草案階段的TRILL(transparent interconnection of lots of links,多鏈路透明互聯(lián))協(xié)議[2]及 SPB(short path bridging)協(xié)議正嘗試解決網(wǎng)絡(luò)的二層透明環(huán)境部署問題。傳統(tǒng)數(shù)據(jù)中心存在異構(gòu)業(yè)務(wù)網(wǎng)絡(luò) (以太網(wǎng))和存儲(chǔ)網(wǎng)絡(luò)(SAN),兩者無法替代,由此帶來了成本、擴(kuò)展性、管理等諸多問題。

    隨著無損以太網(wǎng)和FcoE[3]的出現(xiàn),新一代基于萬兆的無損以太網(wǎng)將融合數(shù)據(jù)中心的存儲(chǔ)網(wǎng)絡(luò)形成全業(yè)務(wù)的統(tǒng)一交換,數(shù)據(jù)中心原本異構(gòu)的網(wǎng)絡(luò)形態(tài)將合并到一套網(wǎng)絡(luò),實(shí)現(xiàn)了網(wǎng)絡(luò)管理合并,簡(jiǎn)化了網(wǎng)絡(luò)管理,降低了成本。傳統(tǒng)的網(wǎng)絡(luò)交換機(jī)通過一個(gè)物理端口感知與之連接的服務(wù)器,而集成了虛擬技術(shù)的網(wǎng)絡(luò)設(shè)備能夠通過一個(gè)虛擬端口實(shí)現(xiàn)對(duì)其連接服務(wù)器內(nèi)的單個(gè)虛擬機(jī)的動(dòng)態(tài)感知以及對(duì)每個(gè)虛擬機(jī)相關(guān)的網(wǎng)絡(luò)流量的感知,從而將單個(gè)虛擬機(jī)屬性擴(kuò)展到整個(gè)網(wǎng)絡(luò),當(dāng)虛擬機(jī)在整個(gè)網(wǎng)絡(luò)遷移時(shí),交換機(jī)能夠追蹤這種遷移,并確保網(wǎng)絡(luò)設(shè)置與虛擬機(jī)實(shí)現(xiàn)同步遷移。網(wǎng)絡(luò)對(duì)虛擬化的動(dòng)態(tài)感知不僅使得管理簡(jiǎn)化,同時(shí)網(wǎng)絡(luò)性能也會(huì)提升,架構(gòu)也更合理,目前IEEE的802.1Qbg EVB(edge virtual bridging)和IEEE 802.1Qbh BPE(bridge port extension)小組[4]正在進(jìn)行此方面的研究。

    圖1 典型云計(jì)算運(yùn)營(yíng)管理系統(tǒng)

    在云數(shù)據(jù)中心中,物理交換機(jī)與物理服務(wù)器之間的鏈路中同時(shí)傳輸來自多個(gè)虛擬機(jī)的數(shù)據(jù)。另外,除了業(yè)務(wù)數(shù)據(jù)流量,鏈路中還增加了虛擬機(jī)運(yùn)行時(shí)所需要的系統(tǒng)流量。高密度的虛擬機(jī)數(shù)量使單位空間和單位網(wǎng)絡(luò)接口劇增,必將驅(qū)動(dòng)服務(wù)器I/O向10 G發(fā)展并達(dá)到10 Gbit/s線速,接入層的高性能吞吐必然驅(qū)動(dòng)云計(jì)算網(wǎng)絡(luò)架構(gòu)支持更高性能,云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)將推動(dòng)基礎(chǔ)網(wǎng)絡(luò)快速進(jìn)入超高速時(shí)代。

    3.2 云數(shù)據(jù)中心的基礎(chǔ)設(shè)施

    云數(shù)據(jù)中心的基礎(chǔ)設(shè)施包括網(wǎng)絡(luò)設(shè)備、IT設(shè)備 (服務(wù)器、存儲(chǔ)等)以及制冷、動(dòng)力、UPS等配套設(shè)備。對(duì)于網(wǎng)絡(luò)設(shè)備而言,由于網(wǎng)絡(luò)流量增大,單臺(tái)設(shè)備應(yīng)具備更高的處理能力,同時(shí)多臺(tái)設(shè)備在邏輯上應(yīng)虛擬成一臺(tái)設(shè)備,即在不占用設(shè)備接口的情況下,靈活地把多臺(tái)設(shè)備堆疊/集群構(gòu)成一臺(tái)設(shè)備,以提供高可靠、無環(huán)路、大容量的數(shù)據(jù)中心網(wǎng)絡(luò),在提高線路利用率的同時(shí),保證了可靠性,降低了運(yùn)維復(fù)雜性[1]。在設(shè)備選擇上,應(yīng)選擇單機(jī)容量較大,同時(shí)支持堆疊技術(shù)與虛擬化感知技術(shù)的網(wǎng)絡(luò)設(shè)備。對(duì)于IT設(shè)備而言,隨著PC服務(wù)器虛擬化技術(shù)的流行與普及,基于x86架構(gòu)的服務(wù)器集群將成為主流計(jì)算設(shè)備。由于單臺(tái)物理服務(wù)器將承載多臺(tái)虛擬機(jī),因此云數(shù)據(jù)中心的服務(wù)器應(yīng)具備更多的內(nèi)存與I/O帶寬,同時(shí)還應(yīng)考慮實(shí)際的應(yīng)用模型對(duì)服務(wù)器CPU、內(nèi)存、I/O、硬盤等器件以及布局與外型規(guī)格進(jìn)行定制。現(xiàn)階段服務(wù)器虛擬化技術(shù)動(dòng)態(tài)遷移等功能必須基于后端存儲(chǔ)網(wǎng)絡(luò)的解決方案,故需根據(jù)業(yè)務(wù)需求(如支持虛擬機(jī)動(dòng)態(tài)遷移功能)、性能、成本等因素,選擇SAN存儲(chǔ)或分布式存儲(chǔ)方式。

    云計(jì)算促使IT和CT的界限日趨模糊,業(yè)界出現(xiàn)了以Vblock為代表的整合計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和管理功能的一體化基礎(chǔ)設(shè)施垂直解決方案,在行業(yè)客戶中獲得了一定應(yīng)用,被認(rèn)為是基礎(chǔ)設(shè)施的發(fā)展趨勢(shì)之一。同時(shí),整合通風(fēng)、制冷等配套設(shè)備的集裝箱式數(shù)據(jù)中心解決方案也逐漸走進(jìn)人們的視線,該方案以其模塊化、便捷化的特點(diǎn)吸引了業(yè)界的關(guān)注。從整體上說,這類垂直一體化的解決方案,一方面簡(jiǎn)化了底層基礎(chǔ)設(shè)施的配置與管理難度,降低了運(yùn)行維護(hù)環(huán)境的要求,但另一方面,其在兼容性與擴(kuò)展性上存在一定限制,標(biāo)準(zhǔn)化程度較低,容易出現(xiàn)提供商“鎖定”的情況,應(yīng)慎重選擇。

    3.3 服務(wù)提供

    傳統(tǒng)IDC業(yè)務(wù)以帶寬、機(jī)架等基礎(chǔ)資源出租為主,在云數(shù)據(jù)中心模式下,將實(shí)現(xiàn)從資源出租向服務(wù)提供的轉(zhuǎn)變。用戶不再關(guān)注某類具體資源或硬件的情況,而是通過統(tǒng)一的門戶,在服務(wù)目錄中選擇相應(yīng)的服務(wù),在一定SLA的保障下,使用邏輯資源與上層應(yīng)用。

    虛擬主機(jī)與云存儲(chǔ)將代替機(jī)架與帶寬出租等資源性業(yè)務(wù)成為云數(shù)據(jù)中心的基礎(chǔ)服務(wù)(業(yè)務(wù)),基于該類服務(wù)還可實(shí)現(xiàn)包括網(wǎng)絡(luò)加速優(yōu)化、數(shù)據(jù)庫(kù)中間件、解決方案等一系列的增值服務(wù) (業(yè)務(wù))。以亞馬遜的AWS為例,EC2和EBS、S3分別是其虛擬主機(jī)與云存儲(chǔ)服務(wù),基于該服務(wù),衍生出 CloudFront(網(wǎng)絡(luò)加速)、Elastic Load Balancing(動(dòng)態(tài)負(fù)載均衡)、SimpleDB(簡(jiǎn)單數(shù)據(jù)庫(kù))、Relational Database Service(關(guān)系數(shù)據(jù)庫(kù))、Simple Email Service(簡(jiǎn)單郵件服務(wù))等增值服務(wù)。云數(shù)據(jù)中心將提供顆粒度更細(xì)的計(jì)費(fèi)單元。以虛擬主機(jī)服務(wù)(業(yè)務(wù))為例,用戶既可以選擇傳統(tǒng)的包月或包年模式,也可以根據(jù)實(shí)際的使用時(shí)間(精確到小時(shí)級(jí))付費(fèi)。

    表1 相關(guān)主要網(wǎng)絡(luò)技術(shù)概述

    3.4 運(yùn)營(yíng)維護(hù)

    首先,云數(shù)據(jù)中心將改變傳統(tǒng)的運(yùn)營(yíng)維護(hù)模式。云數(shù)據(jù)中心的部署模式要求實(shí)現(xiàn)各地資源的統(tǒng)一管理,對(duì)于運(yùn)營(yíng)維護(hù)而言,意味著必須實(shí)現(xiàn)集中維護(hù)和分層分權(quán)的管理。由于云數(shù)據(jù)中心將統(tǒng)一承載各類虛擬機(jī)甚至各類應(yīng)用系統(tǒng),因此資源承載平臺(tái)將通過維護(hù)實(shí)體實(shí)現(xiàn)資源的統(tǒng)一監(jiān)控、管理與調(diào)度。云數(shù)據(jù)中心各節(jié)點(diǎn)與管理平臺(tái)(中心)之間將呈現(xiàn)層級(jí)關(guān)系,通過權(quán)限的劃分,實(shí)現(xiàn)各數(shù)據(jù)中心間的一體化以及維護(hù)操作的集中化。

    其次,虛擬化技術(shù)的廣泛應(yīng)用將打破傳統(tǒng)維護(hù)角色的界限,并引入新的維護(hù)角色。傳統(tǒng)數(shù)據(jù)中心所定義的網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)管理員等角色在云數(shù)據(jù)中心中將出現(xiàn)角色交叉,服務(wù)器管理員須參與部分網(wǎng)絡(luò)和存儲(chǔ)的配置管理與維護(hù),網(wǎng)絡(luò)管理員也需要參與服務(wù)器端的管理與維護(hù),在網(wǎng)絡(luò)融合的情況下,還需要綜合考慮存儲(chǔ)的配置、管理與維護(hù)。同時(shí),隨著虛擬化(Hypervisor)層的出現(xiàn),將定義新的虛擬化管理員負(fù)責(zé)Hypervisor的維護(hù)與管理。另外,云數(shù)據(jù)中心以服務(wù)為提供方式也使得運(yùn)營(yíng)維護(hù)中必須定義相關(guān)的角色從事服務(wù)(實(shí)例)的運(yùn)營(yíng)維護(hù)。

    最后,云數(shù)據(jù)中心IT資源可運(yùn)營(yíng)與以服務(wù)為提供方式的特點(diǎn),將改變運(yùn)營(yíng)維護(hù)流程與對(duì)象。由于利用資源池實(shí)現(xiàn)了IT基礎(chǔ)設(shè)施的統(tǒng)一承載,因此必須增加對(duì)資源池生命周期的管理,同時(shí)各類服務(wù)、服務(wù)實(shí)例、鏡像等對(duì)象的生命周期管理也應(yīng)納入相應(yīng)的運(yùn)營(yíng)維護(hù)流程。

    3.5 規(guī)劃建設(shè)

    云數(shù)據(jù)中心的規(guī)劃建設(shè)應(yīng)基于分級(jí)管理體制,整體上由總部統(tǒng)籌管理,在各區(qū)域設(shè)置地方分支機(jī)構(gòu),各分支機(jī)構(gòu)在總部統(tǒng)籌的基礎(chǔ)上開展云數(shù)據(jù)中心的規(guī)劃建設(shè)。

    在云數(shù)據(jù)中心中,IT資源以資源池的方式對(duì)外提供。IT資源部署如圖2所示。資源池一般劃分為若干專業(yè)域,專業(yè)域由多個(gè)集群構(gòu)成,每個(gè)專業(yè)域承載一類業(yè)務(wù)。集群是最小的管理單元。集群由若干臺(tái)中高端服務(wù)器與后端存儲(chǔ)組成,集群內(nèi)的虛擬機(jī)具備熱遷移的條件。服務(wù)器的配置應(yīng)以集群為單位進(jìn)行統(tǒng)一,以便于采購(gòu)、建設(shè)和運(yùn)維管理。集群內(nèi)服務(wù)器根據(jù)承載的應(yīng)用(虛擬機(jī))特點(diǎn)優(yōu)化配置,總體來說,應(yīng)選用支持硬件虛擬化功能的CPU、內(nèi)存和網(wǎng)卡。在同集群內(nèi),應(yīng)選用同一款虛擬化軟件。后端存儲(chǔ)應(yīng)根據(jù)具體應(yīng)用需求,綜合考慮性能、價(jià)格等因素,分級(jí)使用本地存儲(chǔ)、FC SAN存儲(chǔ)和IP SAN存儲(chǔ),兼顧資源池的存儲(chǔ)I/O能力和共享存儲(chǔ)能力。

    圖2 IT資源部署示意

    對(duì)于網(wǎng)絡(luò)資源,應(yīng)分為業(yè)務(wù)網(wǎng)絡(luò)、虛擬網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)等進(jìn)行部署與規(guī)劃。業(yè)務(wù)網(wǎng)絡(luò)的部署和管理配置應(yīng)盡量減少?gòu)椥再Y源平臺(tái)對(duì)網(wǎng)絡(luò)的依賴,減少業(yè)務(wù)開展和運(yùn)營(yíng)時(shí)上層業(yè)務(wù)和下層網(wǎng)絡(luò)之間的配置聯(lián)動(dòng)。從安全隔離和性能角度出發(fā),應(yīng)將業(yè)務(wù)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)分離。虛擬服務(wù)器的網(wǎng)絡(luò)接入控制點(diǎn)應(yīng)設(shè)置在虛擬網(wǎng)絡(luò)中,而不是傳統(tǒng)的接入交換機(jī)上,并提供 VLAN、限速、QoS、ACL、防 IP/MAC地址更改、策略遷移和復(fù)制等功能。由于各種存儲(chǔ)產(chǎn)品各具優(yōu)劣勢(shì),分別覆蓋不同的應(yīng)用場(chǎng)景,應(yīng)結(jié)合具體應(yīng)用需求,綜合考慮性能、價(jià)格等因素選擇存儲(chǔ)產(chǎn)品。管理網(wǎng)絡(luò)應(yīng)與外網(wǎng)隔離,并以IDC機(jī)房為基本單元,根據(jù)業(yè)務(wù)的擴(kuò)展和管理系統(tǒng)的架構(gòu)需求,逐步擴(kuò)展。

    3.6 綠色節(jié)能

    云數(shù)據(jù)中心相對(duì)于傳統(tǒng)IDC更加綠色節(jié)能,具體體現(xiàn)在芯片、物理設(shè)備、虛擬設(shè)備、機(jī)柜、數(shù)據(jù)中心等多個(gè)層級(jí)。在芯片級(jí),低功耗的CPU、內(nèi)存、硬盤、SSD(固態(tài)硬盤)等低功耗節(jié)能組件的使用,能有效降低設(shè)備的能耗。在物理設(shè)備級(jí),高轉(zhuǎn)換效率電源模塊的使用提高了電源轉(zhuǎn)換效率,同時(shí)優(yōu)化的散熱風(fēng)道也使得設(shè)備散熱效率提高。在虛擬設(shè)備級(jí),虛擬化技術(shù)的應(yīng)用實(shí)現(xiàn)了資源共享,提高了單臺(tái)設(shè)備利用率,由于虛擬機(jī)具備動(dòng)態(tài)遷移的功能,故可通過關(guān)閉利用率較低的設(shè)備并將應(yīng)用集中到部分物理服務(wù)器上,從而進(jìn)一步降低能耗。在機(jī)柜級(jí),通過提高機(jī)柜計(jì)算、存儲(chǔ)密度以及對(duì)IT設(shè)備用電功耗進(jìn)行精細(xì)化管理,利用數(shù)據(jù)分析實(shí)現(xiàn)機(jī)柜級(jí)功耗的峰值控制,在性能和功耗之間取得平衡點(diǎn),并可通過高壓直流供電提高電源轉(zhuǎn)換效率并降低能耗。在數(shù)據(jù)中心級(jí),通過對(duì)設(shè)備用電及環(huán)境溫濕度數(shù)據(jù)的分析診斷調(diào)整機(jī)房布局,動(dòng)態(tài)優(yōu)化送風(fēng)、除濕和制冷機(jī)制降低能耗,使用新興配電和冷卻技術(shù)降低數(shù)據(jù)中心的PUE值,在合適應(yīng)用場(chǎng)景還可以利用模塊化數(shù)據(jù)中心、集裝箱數(shù)據(jù)中心,通過水冷、冷媒等散熱方式降低機(jī)房的PUE值。

    4 傳統(tǒng)IDC運(yùn)營(yíng)商應(yīng)對(duì)策略

    傳統(tǒng)IDC向云數(shù)據(jù)中心演進(jìn)是一個(gè)漸變的過程,而不是一場(chǎng)一蹴而就的變革。云數(shù)據(jù)中心業(yè)務(wù)必將對(duì)傳統(tǒng)IDC業(yè)務(wù)產(chǎn)生較大沖擊,對(duì)于傳統(tǒng)IDC運(yùn)營(yíng)商而言,如何平衡兩者間的關(guān)系實(shí)現(xiàn)IDC業(yè)務(wù)的平滑升級(jí),是必須面對(duì)的一大難題。目前云數(shù)據(jù)中心是利用功能相對(duì)單一的平臺(tái)滿足規(guī)模用戶的需求,兼容性和標(biāo)準(zhǔn)化程度較低,同時(shí),云數(shù)據(jù)中心業(yè)務(wù)模式被市場(chǎng)廣泛接受,商業(yè)模式趨于成熟也需要一定過程?,F(xiàn)階段建議IDC運(yùn)營(yíng)商應(yīng)通過試點(diǎn)的方式逐步探索云IDC業(yè)務(wù)的商業(yè)模式與市場(chǎng)接受度,積累運(yùn)營(yíng)、維護(hù)、建設(shè)經(jīng)驗(yàn),培育客戶群,同時(shí)在內(nèi)部建立相適配的管理體制與流程,提高運(yùn)營(yíng)能力,揚(yáng)長(zhǎng)避短,有效聚焦客戶需求場(chǎng)景,利用“云計(jì)算”技術(shù)成熟度包線的主流技術(shù)手段,分階段實(shí)現(xiàn)傳統(tǒng)IDC業(yè)務(wù)向云數(shù)據(jù)中心業(yè)務(wù)的升級(jí),降低技術(shù)和時(shí)間風(fēng)險(xiǎn)。

    在設(shè)計(jì)云數(shù)據(jù)中心業(yè)務(wù)時(shí),應(yīng)充分考慮網(wǎng)絡(luò)因素?;跇I(yè)務(wù)/資源/能力需求自動(dòng)快速適配云數(shù)據(jù)中心離不開網(wǎng)絡(luò)支持,網(wǎng)絡(luò)覆蓋、帶寬供給能力和自動(dòng)調(diào)配水平制約著云數(shù)據(jù)中心業(yè)務(wù)的執(zhí)行。國(guó)外領(lǐng)先IDC運(yùn)營(yíng)商紛紛將云計(jì)算與網(wǎng)絡(luò)能力深度整合。利用網(wǎng)絡(luò)VPN技術(shù)不但可以幫助客戶實(shí)現(xiàn)云集成服務(wù),而且可有效提升客戶云應(yīng)用體驗(yàn)和接入安全性。IDC運(yùn)營(yíng)商應(yīng)當(dāng)將自身IDC/IaaS資源與VPN結(jié)合,實(shí)現(xiàn)協(xié)同推廣,使VPN客戶更容易訪問云資源,同時(shí)將業(yè)務(wù)領(lǐng)域拓展到傳統(tǒng)范疇之外。

    5 結(jié)束語(yǔ)

    云數(shù)據(jù)中心是近期業(yè)界關(guān)注的焦點(diǎn),本文通過對(duì)云數(shù)據(jù)中心概念的辨析,總結(jié)歸納了云數(shù)據(jù)中心資源池化、高效智能、面向服務(wù)、按需供給、綠色低碳等5個(gè)特點(diǎn),并在分析云數(shù)據(jù)中心涉及的虛擬化、分布式計(jì)算、運(yùn)營(yíng)管理等核心技術(shù)的基礎(chǔ)上,針對(duì)云數(shù)據(jù)中心架構(gòu)、基礎(chǔ)設(shè)施、服務(wù)提供、規(guī)劃建設(shè)、運(yùn)營(yíng)維護(hù)、綠色節(jié)能等核心問題進(jìn)行闡述,最后結(jié)合傳統(tǒng)IDC運(yùn)營(yíng)商的實(shí)際情況提出云數(shù)據(jù)中心的應(yīng)對(duì)策略。

    云計(jì)算正重新定義網(wǎng)絡(luò)與IT邊界,產(chǎn)業(yè)鏈價(jià)值正在向內(nèi)容/應(yīng)用提供商聚集,更多IT廠商涉足運(yùn)營(yíng),云數(shù)據(jù)中心逐漸成為各方爭(zhēng)奪的焦點(diǎn)之一,市場(chǎng)前景被廣泛看好。產(chǎn)業(yè)鏈各方應(yīng)攜手共同促進(jìn)商業(yè)模式的成熟、市場(chǎng)接受程度以及標(biāo)準(zhǔn)化和兼容性的提高,使云數(shù)據(jù)中心早日規(guī)模應(yīng)用,加快社會(huì)信息化進(jìn)程。

    1 潘灝濤,張雪江.數(shù)字能源——虛擬化造就新一代數(shù)據(jù)中心.華為技術(shù),2009,43(8)

    2 IETF RFC 5556.Transparent interconnection of lots of links(TRILL),2009

    3 Inter National Committee for Information Technology Standards.Information technology-fibre channel-backbone-6(FC-BB-6),1994

    猜你喜歡
    虛擬化數(shù)據(jù)中心服務(wù)器
    酒泉云計(jì)算大數(shù)據(jù)中心
    通信控制服務(wù)器(CCS)維護(hù)終端的設(shè)計(jì)與實(shí)現(xiàn)
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    民航綠色云數(shù)據(jù)中心PUE控制
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    得形忘意的服務(wù)器標(biāo)準(zhǔn)
    計(jì)算機(jī)網(wǎng)絡(luò)安全服務(wù)器入侵與防御
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
    色综合欧美亚洲国产小说| 在线观看日韩欧美| 午夜免费成人在线视频| 777久久人妻少妇嫩草av网站| 热re99久久国产66热| 国产av一区在线观看免费| 黄色片一级片一级黄色片| 国产成人精品无人区| 国产精品av久久久久免费| 男人舔女人下体高潮全视频| 亚洲全国av大片| 欧美不卡视频在线免费观看 | 久久天躁狠狠躁夜夜2o2o| 亚洲精品美女久久久久99蜜臀| 久久天堂一区二区三区四区| 美女午夜性视频免费| 999久久久国产精品视频| 黄网站色视频无遮挡免费观看| 日韩国内少妇激情av| 精品久久久久久成人av| 1024手机看黄色片| 亚洲五月天丁香| 19禁男女啪啪无遮挡网站| 精品乱码久久久久久99久播| 18禁黄网站禁片免费观看直播| 免费在线观看影片大全网站| 一级黄色大片毛片| 午夜日韩欧美国产| 窝窝影院91人妻| 91大片在线观看| 午夜久久久在线观看| 国产区一区二久久| 国产真实乱freesex| 精品久久久久久久末码| 久久久水蜜桃国产精品网| 亚洲第一青青草原| 免费av毛片视频| 久久99热这里只有精品18| 日韩成人在线观看一区二区三区| 一边摸一边做爽爽视频免费| 精品欧美国产一区二区三| 国产麻豆成人av免费视频| 亚洲国产精品sss在线观看| 亚洲成av片中文字幕在线观看| 国产精品1区2区在线观看.| 成人18禁高潮啪啪吃奶动态图| 亚洲avbb在线观看| aaaaa片日本免费| 日韩欧美在线二视频| 欧美久久黑人一区二区| 午夜激情福利司机影院| 两性夫妻黄色片| 欧美成人一区二区免费高清观看 | 欧美中文综合在线视频| 国产亚洲欧美98| 精品无人区乱码1区二区| 91大片在线观看| 色综合欧美亚洲国产小说| 熟女少妇亚洲综合色aaa.| 国产亚洲欧美精品永久| 美女扒开内裤让男人捅视频| 美女扒开内裤让男人捅视频| av片东京热男人的天堂| 国产精品美女特级片免费视频播放器 | 国产一区在线观看成人免费| 精品国产亚洲在线| 亚洲一区中文字幕在线| 精品高清国产在线一区| 99国产精品99久久久久| 91老司机精品| 色尼玛亚洲综合影院| 欧洲精品卡2卡3卡4卡5卡区| 97人妻精品一区二区三区麻豆 | 一边摸一边做爽爽视频免费| 国产黄片美女视频| 国产熟女xx| 亚洲国产精品合色在线| 国语自产精品视频在线第100页| 中文字幕精品免费在线观看视频| 日韩大尺度精品在线看网址| 99精品在免费线老司机午夜| 久久伊人香网站| 正在播放国产对白刺激| 国产久久久一区二区三区| 一本精品99久久精品77| 午夜日韩欧美国产| 亚洲国产欧美网| 国产伦在线观看视频一区| 一本大道久久a久久精品| 757午夜福利合集在线观看| 在线观看免费视频日本深夜| 亚洲色图av天堂| 美女国产高潮福利片在线看| www日本在线高清视频| 欧美日韩精品网址| 国产精品乱码一区二三区的特点| 亚洲五月色婷婷综合| 91九色精品人成在线观看| 国产激情欧美一区二区| 国产精品亚洲美女久久久| 91在线观看av| 国产精品亚洲美女久久久| 女性被躁到高潮视频| 成年版毛片免费区| 国产男靠女视频免费网站| 在线十欧美十亚洲十日本专区| 亚洲最大成人中文| 侵犯人妻中文字幕一二三四区| 黑人巨大精品欧美一区二区mp4| 亚洲 欧美 日韩 在线 免费| 女人高潮潮喷娇喘18禁视频| 国内揄拍国产精品人妻在线 | 99热只有精品国产| 成在线人永久免费视频| 亚洲国产精品成人综合色| 亚洲五月天丁香| av超薄肉色丝袜交足视频| 久9热在线精品视频| 国产精品亚洲av一区麻豆| 成年免费大片在线观看| svipshipincom国产片| 精品一区二区三区av网在线观看| 99国产精品99久久久久| 欧美精品亚洲一区二区| 悠悠久久av| 美女午夜性视频免费| 一进一出好大好爽视频| 日韩欧美三级三区| 日韩视频一区二区在线观看| 69av精品久久久久久| 国产欧美日韩一区二区精品| 色综合欧美亚洲国产小说| 精品久久久久久久人妻蜜臀av| 老司机在亚洲福利影院| 黄色 视频免费看| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲av美国av| 听说在线观看完整版免费高清| 丝袜人妻中文字幕| av福利片在线| 精品久久久久久成人av| 久久久久久久久免费视频了| 日韩大尺度精品在线看网址| 日韩精品中文字幕看吧| 日韩中文字幕欧美一区二区| 91字幕亚洲| 精华霜和精华液先用哪个| 国产精品一区二区三区四区久久 | 久久午夜亚洲精品久久| 在线av久久热| 高清在线国产一区| 中文字幕高清在线视频| 国产精品免费视频内射| 久久精品人妻少妇| 亚洲第一av免费看| 一区二区日韩欧美中文字幕| 久久久国产精品麻豆| 最近最新中文字幕大全免费视频| 久久性视频一级片| 午夜老司机福利片| 亚洲欧洲精品一区二区精品久久久| 精品国产国语对白av| 婷婷精品国产亚洲av| www.自偷自拍.com| 一区二区日韩欧美中文字幕| 极品教师在线免费播放| 又大又爽又粗| 免费看日本二区| 啦啦啦韩国在线观看视频| 精品福利观看| 男人舔女人的私密视频| 18禁国产床啪视频网站| 亚洲一码二码三码区别大吗| 99在线视频只有这里精品首页| 熟女少妇亚洲综合色aaa.| 亚洲国产日韩欧美精品在线观看 | 999久久久国产精品视频| 久久99热这里只有精品18| or卡值多少钱| 免费搜索国产男女视频| 欧美日韩一级在线毛片| 欧美中文综合在线视频| 久久青草综合色| www日本在线高清视频| 成人国产一区最新在线观看| 国产真人三级小视频在线观看| 在线天堂中文资源库| 国产精品精品国产色婷婷| 欧美色视频一区免费| 欧美中文综合在线视频| 香蕉久久夜色| 国产爱豆传媒在线观看 | 免费看a级黄色片| 99精品欧美一区二区三区四区| 亚洲欧美一区二区三区黑人| 男人操女人黄网站| 亚洲av电影不卡..在线观看| 精品久久久久久久人妻蜜臀av| 国产精品乱码一区二三区的特点| 久久久久久九九精品二区国产 | 老司机靠b影院| 亚洲国产精品999在线| 国产精品九九99| 亚洲成人久久爱视频| 国产成人av激情在线播放| 久久婷婷成人综合色麻豆| 午夜福利一区二区在线看| 精品免费久久久久久久清纯| 一级作爱视频免费观看| 日韩欧美在线二视频| 国产色视频综合| 中国美女看黄片| 国产区一区二久久| 日韩大尺度精品在线看网址| 女同久久另类99精品国产91| 18禁国产床啪视频网站| 99riav亚洲国产免费| 欧美成人免费av一区二区三区| 久久 成人 亚洲| 每晚都被弄得嗷嗷叫到高潮| 一进一出好大好爽视频| 久久精品国产亚洲av高清一级| 99在线视频只有这里精品首页| 国产人伦9x9x在线观看| 老熟妇乱子伦视频在线观看| 村上凉子中文字幕在线| 久久久久久国产a免费观看| 大香蕉久久成人网| 日本三级黄在线观看| 激情在线观看视频在线高清| 精品国产一区二区三区四区第35| 精品国产乱码久久久久久男人| 中国美女看黄片| 国产激情久久老熟女| 女人爽到高潮嗷嗷叫在线视频| 亚洲一区二区三区色噜噜| 久久精品aⅴ一区二区三区四区| 亚洲av第一区精品v没综合| 首页视频小说图片口味搜索| 久久国产亚洲av麻豆专区| 每晚都被弄得嗷嗷叫到高潮| 免费电影在线观看免费观看| 丝袜人妻中文字幕| 日本三级黄在线观看| 国产精品99久久99久久久不卡| 亚洲国产毛片av蜜桃av| 亚洲一码二码三码区别大吗| 国产成人啪精品午夜网站| 欧美日韩瑟瑟在线播放| 欧美av亚洲av综合av国产av| 成人免费观看视频高清| 精品熟女少妇八av免费久了| 亚洲中文日韩欧美视频| 12—13女人毛片做爰片一| 变态另类丝袜制服| 中文字幕人妻熟女乱码| 久久热在线av| 中文亚洲av片在线观看爽| 18禁国产床啪视频网站| 嫁个100分男人电影在线观看| www.精华液| 免费无遮挡裸体视频| 人人妻人人澡欧美一区二区| 色综合站精品国产| 18禁裸乳无遮挡免费网站照片 | 欧美精品啪啪一区二区三区| 美女免费视频网站| or卡值多少钱| 人人妻人人澡人人看| 国产精品电影一区二区三区| 999久久久国产精品视频| 19禁男女啪啪无遮挡网站| 国产欧美日韩一区二区精品| 国产精品电影一区二区三区| 一进一出抽搐gif免费好疼| 久久中文看片网| 俺也久久电影网| 高清在线国产一区| 精品不卡国产一区二区三区| 草草在线视频免费看| 国产成人精品无人区| 欧洲精品卡2卡3卡4卡5卡区| 国产黄片美女视频| 91麻豆精品激情在线观看国产| 免费看十八禁软件| 亚洲avbb在线观看| 亚洲精品一卡2卡三卡4卡5卡| 男女下面进入的视频免费午夜 | 十分钟在线观看高清视频www| 日日摸夜夜添夜夜添小说| 日韩欧美 国产精品| 亚洲精品国产精品久久久不卡| 好男人在线观看高清免费视频 | 精华霜和精华液先用哪个| 国产成人精品久久二区二区91| 亚洲avbb在线观看| 白带黄色成豆腐渣| 男女下面进入的视频免费午夜 | 精品日产1卡2卡| 免费无遮挡裸体视频| 久久婷婷人人爽人人干人人爱| 亚洲精品久久国产高清桃花| 国内久久婷婷六月综合欲色啪| 婷婷精品国产亚洲av| 日韩精品免费视频一区二区三区| 麻豆av在线久日| 亚洲天堂国产精品一区在线| 欧美不卡视频在线免费观看 | 日韩精品青青久久久久久| 亚洲国产欧洲综合997久久, | 久久久久久九九精品二区国产 | av在线天堂中文字幕| 非洲黑人性xxxx精品又粗又长| 久久 成人 亚洲| 91字幕亚洲| 精品久久久久久久毛片微露脸| 国产v大片淫在线免费观看| 欧美日韩精品网址| 1024香蕉在线观看| 一本一本综合久久| 国产精品电影一区二区三区| 日韩成人在线观看一区二区三区| 亚洲av日韩精品久久久久久密| 女人被狂操c到高潮| 香蕉久久夜色| 婷婷六月久久综合丁香| 久久性视频一级片| 50天的宝宝边吃奶边哭怎么回事| 不卡一级毛片| 88av欧美| 国产极品粉嫩免费观看在线| 国产亚洲精品av在线| 亚洲国产精品sss在线观看| 亚洲一码二码三码区别大吗| 在线国产一区二区在线| 亚洲国产精品合色在线| 国产又爽黄色视频| 男女之事视频高清在线观看| 老司机福利观看| 国产视频一区二区在线看| 久久亚洲精品不卡| 日本 欧美在线| 成人18禁高潮啪啪吃奶动态图| 精品国产亚洲在线| 亚洲无线在线观看| 亚洲成a人片在线一区二区| 一本大道久久a久久精品| av在线播放免费不卡| 一级片免费观看大全| 日本三级黄在线观看| 身体一侧抽搐| 一个人免费在线观看的高清视频| 久久久久久亚洲精品国产蜜桃av| e午夜精品久久久久久久| 国产精品九九99| 无人区码免费观看不卡| 国产亚洲精品综合一区在线观看 | 国产伦在线观看视频一区| 国内揄拍国产精品人妻在线 | 精品久久久久久久久久久久久 | 国产精品香港三级国产av潘金莲| 久久久久久久精品吃奶| 伦理电影免费视频| 久久久久久九九精品二区国产 | 久久久久久大精品| 国产精品亚洲av一区麻豆| 久热爱精品视频在线9| 嫩草影院精品99| 成人18禁在线播放| 欧美日韩黄片免| 成人免费观看视频高清| 欧美一级毛片孕妇| 亚洲av成人一区二区三| 亚洲人成网站在线播放欧美日韩| 国产亚洲av高清不卡| 在线观看免费视频日本深夜| 又黄又粗又硬又大视频| 国产免费男女视频| 国产伦在线观看视频一区| 在线十欧美十亚洲十日本专区| 国产精品综合久久久久久久免费| 日韩欧美三级三区| 18禁黄网站禁片午夜丰满| 日本熟妇午夜| 国产欧美日韩一区二区三| 欧美色欧美亚洲另类二区| 久久精品91蜜桃| 丝袜美腿诱惑在线| 国产成人啪精品午夜网站| 午夜视频精品福利| 制服丝袜大香蕉在线| 人妻丰满熟妇av一区二区三区| 国产在线观看jvid| 麻豆国产av国片精品| 亚洲自偷自拍图片 自拍| 国产av不卡久久| 亚洲avbb在线观看| 国产高清视频在线播放一区| cao死你这个sao货| 色综合婷婷激情| 免费av毛片视频| 欧美丝袜亚洲另类 | 亚洲精品中文字幕在线视频| 国产一区二区激情短视频| 国产激情久久老熟女| 成人av一区二区三区在线看| 51午夜福利影视在线观看| 欧美一级a爱片免费观看看 | 午夜影院日韩av| 亚洲五月婷婷丁香| 欧美日本视频| 日韩欧美一区二区三区在线观看| 国产成人一区二区三区免费视频网站| 久热爱精品视频在线9| 久久久久久大精品| 亚洲第一电影网av| 91字幕亚洲| 欧美成狂野欧美在线观看| 美国免费a级毛片| 亚洲久久久国产精品| 99热这里只有精品一区 | 国产成人影院久久av| 美国免费a级毛片| 99在线人妻在线中文字幕| 亚洲av电影不卡..在线观看| 好男人电影高清在线观看| 中亚洲国语对白在线视频| 国产亚洲精品av在线| 亚洲精品美女久久av网站| 99热这里只有精品一区 | av视频在线观看入口| 成人精品一区二区免费| 国产精品久久久久久精品电影 | av中文乱码字幕在线| 99riav亚洲国产免费| 不卡av一区二区三区| 亚洲欧美激情综合另类| 一本精品99久久精品77| 久久精品人妻少妇| 国产精品久久视频播放| 国产成人精品久久二区二区免费| 久久亚洲精品不卡| 欧美色欧美亚洲另类二区| 在线观看免费视频日本深夜| 精品免费久久久久久久清纯| 欧美一级a爱片免费观看看 | 日韩成人在线观看一区二区三区| 又大又爽又粗| 亚洲午夜精品一区,二区,三区| 久久中文字幕人妻熟女| 脱女人内裤的视频| 免费av毛片视频| 在线av久久热| 12—13女人毛片做爰片一| 亚洲五月天丁香| 超碰成人久久| 亚洲人成77777在线视频| 久久久久久久久免费视频了| 久久人人精品亚洲av| 久久午夜亚洲精品久久| 黄色成人免费大全| av在线天堂中文字幕| 亚洲av中文字字幕乱码综合 | 人妻久久中文字幕网| 人人妻,人人澡人人爽秒播| 18禁裸乳无遮挡免费网站照片 | 一区福利在线观看| 在线av久久热| 波多野结衣高清无吗| 国产av又大| 日本成人三级电影网站| 免费观看人在逋| netflix在线观看网站| 亚洲av美国av| 久久午夜综合久久蜜桃| 男女做爰动态图高潮gif福利片| 久久久国产成人精品二区| 一区二区三区高清视频在线| 大香蕉久久成人网| 国产精品99久久99久久久不卡| 搡老妇女老女人老熟妇| 国产亚洲精品综合一区在线观看 | 一二三四社区在线视频社区8| 在线播放国产精品三级| 欧美在线黄色| 国产亚洲欧美98| 免费看a级黄色片| 中文字幕精品亚洲无线码一区 | 亚洲av成人av| 日本三级黄在线观看| 久久国产精品男人的天堂亚洲| 夜夜夜夜夜久久久久| av中文乱码字幕在线| 热99re8久久精品国产| 国产午夜福利久久久久久| www.www免费av| 婷婷亚洲欧美| 中文字幕另类日韩欧美亚洲嫩草| 免费一级毛片在线播放高清视频| 精品国产美女av久久久久小说| 成熟少妇高潮喷水视频| 精品人妻1区二区| 很黄的视频免费| 男人舔奶头视频| 操出白浆在线播放| 黄色 视频免费看| 国产亚洲av嫩草精品影院| 91老司机精品| 国产真人三级小视频在线观看| 在线看三级毛片| 亚洲精品在线观看二区| 国产国语露脸激情在线看| 亚洲中文字幕一区二区三区有码在线看 | 在线观看免费日韩欧美大片| 变态另类成人亚洲欧美熟女| 成人午夜高清在线视频 | 久久中文字幕人妻熟女| 亚洲av片天天在线观看| 美女高潮到喷水免费观看| 麻豆一二三区av精品| 亚洲精品国产精品久久久不卡| 免费在线观看日本一区| 久久精品影院6| 国产激情偷乱视频一区二区| 亚洲中文av在线| 亚洲中文日韩欧美视频| 成人亚洲精品一区在线观看| 色综合婷婷激情| 亚洲狠狠婷婷综合久久图片| 国产成人精品久久二区二区免费| 19禁男女啪啪无遮挡网站| 国产成人精品久久二区二区免费| 听说在线观看完整版免费高清| 亚洲午夜理论影院| 99国产综合亚洲精品| 精品国产国语对白av| 99国产综合亚洲精品| 亚洲av成人一区二区三| 视频区欧美日本亚洲| 色综合婷婷激情| 天天添夜夜摸| 成人精品一区二区免费| 90打野战视频偷拍视频| 波多野结衣巨乳人妻| 黑丝袜美女国产一区| 好看av亚洲va欧美ⅴa在| 免费看美女性在线毛片视频| 熟妇人妻久久中文字幕3abv| 免费女性裸体啪啪无遮挡网站| 免费在线观看视频国产中文字幕亚洲| 久久久久久大精品| 真人做人爱边吃奶动态| 国产精品九九99| 99国产精品99久久久久| 成在线人永久免费视频| 香蕉久久夜色| 黄频高清免费视频| 中文字幕精品免费在线观看视频| 满18在线观看网站| 少妇熟女aⅴ在线视频| 欧美在线一区亚洲| 亚洲专区国产一区二区| 中亚洲国语对白在线视频| 一级黄色大片毛片| 在线观看午夜福利视频| 久久香蕉精品热| 香蕉国产在线看| 男人舔女人的私密视频| 成年免费大片在线观看| 2021天堂中文幕一二区在线观 | 黄网站色视频无遮挡免费观看| 久久性视频一级片| 老汉色∧v一级毛片| 久99久视频精品免费| 黄色 视频免费看| bbb黄色大片| 91成人精品电影| 性欧美人与动物交配| 一a级毛片在线观看| 国产久久久一区二区三区| 欧美午夜高清在线| 怎么达到女性高潮| 美女高潮到喷水免费观看| 亚洲国产日韩欧美精品在线观看 | 长腿黑丝高跟| 久久国产亚洲av麻豆专区| 亚洲av电影在线进入| 欧美乱色亚洲激情| 一个人观看的视频www高清免费观看 | 精品国产亚洲在线| 亚洲一卡2卡3卡4卡5卡精品中文| 男人舔奶头视频| 免费看日本二区| 草草在线视频免费看| 亚洲欧洲精品一区二区精品久久久| 国产成年人精品一区二区| 国产1区2区3区精品| 国内毛片毛片毛片毛片毛片| 亚洲自偷自拍图片 自拍| 男女视频在线观看网站免费 | 日韩欧美 国产精品| 亚洲欧美激情综合另类| 啦啦啦免费观看视频1| 国产精品 欧美亚洲| 国产私拍福利视频在线观看| 啦啦啦韩国在线观看视频| 黑丝袜美女国产一区| 少妇熟女aⅴ在线视频| 免费看十八禁软件| 亚洲成人久久性| e午夜精品久久久久久久| 日韩 欧美 亚洲 中文字幕| 伦理电影免费视频| 免费高清视频大片| 黑人操中国人逼视频|