• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    NFV硬件資源池規(guī)劃建設(shè)重點

    2018-07-03 08:33:12沈蕾王芳吳麗華
    電信科學(xué) 2018年6期
    關(guān)鍵詞:磁盤陣列網(wǎng)元機架

    沈蕾,王芳,吳麗華

    ?

    NFV硬件資源池規(guī)劃建設(shè)重點

    沈蕾,王芳,吳麗華

    (中國移動通信集團設(shè)計院有限公司,北京 100080)

    目前各大運營商均陸續(xù)商用部署NFV,NFV軟硬件解耦后,硬件、軟件需要分別規(guī)劃建設(shè)。硬件資源池及機房基礎(chǔ)設(shè)施是部署虛擬層及虛擬化網(wǎng)元的前提和基礎(chǔ),基于NFV部署初期建設(shè)需求,分析了硬件資源池及機房基礎(chǔ)設(shè)施規(guī)劃建設(shè)應(yīng)重點考慮的因素,闡述了計算、存儲、網(wǎng)絡(luò)設(shè)備配置要求,對比了刀片與機架服務(wù)器、磁陣與分布式存儲、增強二層與SDN組網(wǎng)等硬件及網(wǎng)絡(luò)配置,研究了硬件配置模式及重點考慮因素,分析了不同場景下的硬件冗余要求,得出了NFV硬件資源池規(guī)劃建設(shè)重點需求。

    硬件資源池;計算;存儲;網(wǎng)絡(luò);數(shù)據(jù)中心

    1 引言

    網(wǎng)絡(luò)功能虛擬化(network function virtualization,NFV)是將傳統(tǒng)電信設(shè)備功能通過軟件實現(xiàn),運行于通用硬件設(shè)備之上,并采用虛擬化技術(shù)實現(xiàn)業(yè)務(wù)敏捷迭代、網(wǎng)絡(luò)演進(jìn)支撐、整體成本降低的目標(biāo),是應(yīng)對移動互聯(lián)網(wǎng)時代業(yè)務(wù)快速變化的有效手段,是向5G演進(jìn)的基礎(chǔ)性技術(shù)和重要網(wǎng)絡(luò)基礎(chǔ)。

    NFV軟硬件解耦背景下,硬件采用IT通用硬件,并且與軟件分別規(guī)劃建設(shè)。硬件及機房基礎(chǔ)設(shè)施是部署虛擬層及虛擬化網(wǎng)元的前提和基礎(chǔ),本文將基于NFV部署初期建設(shè)需求,分析硬件及機房基礎(chǔ)設(shè)施規(guī)劃建設(shè)應(yīng)重點考慮的因素。

    2 硬件資源池配置重點考慮因素

    NFV建設(shè)初期實現(xiàn)軟硬件解耦下,硬件資源池主要包括計算、存儲、網(wǎng)絡(luò)資源,可提供的主要硬件資源如下。

    ? 計算類:虛擬化服務(wù)器。

    ? 存儲類:磁盤陣列、分布式存儲。

    ? 網(wǎng)絡(luò)類:TOR(top of rack,架頂交換機)、EOR(end of row)。

    后續(xù)隨著VNF類型的增加,硬件資源池還將提供存儲類服務(wù)器、轉(zhuǎn)發(fā)類服務(wù)器、數(shù)據(jù)庫服務(wù)器、安全設(shè)備等硬件資源。未來三層解耦后,資源池還應(yīng)統(tǒng)籌考慮虛擬層、部分中間件、數(shù)據(jù)庫、操作系統(tǒng)等資源需求。

    2.1 計算資源配置重點考慮因素

    服務(wù)器配置一般需要考慮以下因素:服務(wù)器選型、網(wǎng)元側(cè)服務(wù)器需求和資源冗余因素。

    2.1.1 服務(wù)器選型

    服務(wù)器選型需考慮服務(wù)器形態(tài)和服務(wù)器規(guī)格,具體如下。

    (1)服務(wù)器形態(tài)

    通用x86 COTS服務(wù)器主流形態(tài)有刀片式、機架式和多節(jié)點服務(wù)器等。從規(guī)劃、運營維護(以下簡稱運維)角度,服務(wù)器形態(tài)應(yīng)盡量少,以減小規(guī)劃運維復(fù)雜度。服務(wù)器選型應(yīng)首先明確服務(wù)器形態(tài)。

    現(xiàn)階段多節(jié)點服務(wù)器尚未得到充分的驗證。NFV建設(shè)初期,綜合考慮標(biāo)準(zhǔn)化程度、資源共享粒度等因素,建議優(yōu)選機架式服務(wù)器。刀片、機架服務(wù)器主要對比見表1。

    表1 刀片、機架服務(wù)器主要對比

    (2)服務(wù)器規(guī)格

    服務(wù)器規(guī)格需要考慮的因素較多,主要應(yīng)考慮CPU性能及核數(shù)、內(nèi)存容量、硬盤容量、網(wǎng)卡配置、擴展能力等性能及功能因素。

    ? 在控制面網(wǎng)元及業(yè)務(wù)平臺虛擬化場景下,對內(nèi)存及計算性能需求較高,對網(wǎng)卡隔離要求較高,并需支持VT-x、超線程等功能。

    ? 面向大容量存儲的網(wǎng)元,對服務(wù)器的硬盤配置要求較高。

    ? 面向轉(zhuǎn)發(fā)面網(wǎng)元,對服務(wù)器網(wǎng)卡處理能力有較高需求,可能需要配置25 Gbit/s或40 Gbit/s網(wǎng)卡,并需支持網(wǎng)卡直通SR-IOV等功能。

    2.1.2 網(wǎng)元側(cè)計算資源需求

    軟件、硬件解耦后,硬件資源池與VNF項目獨立建設(shè),網(wǎng)元側(cè)與硬件資源池側(cè)應(yīng)有效銜接、合理分工、避免重復(fù)冗余。網(wǎng)元側(cè)提交計算資源需求時,應(yīng)基于硬件資源池可提供的資源類型提供資源需求,并重點考慮以下因素。

    ? 網(wǎng)元自身利用率要求,可延續(xù)現(xiàn)網(wǎng)物理網(wǎng)元利用率要求。

    ? 網(wǎng)元內(nèi)部容災(zāi)備份要求,如所有業(yè)務(wù)模塊均應(yīng)采用+或+方式部署。

    ? 跨安全域部署要求,當(dāng)單個網(wǎng)元部署在多個安全域時,如有CMNet連接需求的業(yè)務(wù)平臺,應(yīng)區(qū)分安全域并分別提交各域資源需求。

    ? 跨AZ(availability zone,可用區(qū))部署要求,當(dāng)單個網(wǎng)元跨AZ部署時,如MANO等管理類網(wǎng)元,應(yīng)區(qū)分AZ并分別提交各AZ資源需求。

    ? 在二層解耦場景(虛擬層與VNF未解耦)下,硬件資源池側(cè)還需考慮虛擬層資源消耗需求,一般單服務(wù)器需要為Hypervisor+ OVS預(yù)留4核左右的資源。

    ? 硬件資源池側(cè)還需結(jié)合網(wǎng)元之間備份要求,將有容災(zāi)備份關(guān)系的網(wǎng)元部署在不同的硬件資源池。

    2.1.3 資源冗余因素

    服務(wù)器資源冗余需要綜合考慮以下因素。

    (1)服務(wù)器故障因素

    為保障業(yè)務(wù)可用性,服務(wù)器出現(xiàn)故障后,資源池內(nèi)應(yīng)有足夠的冗余資源保障虛擬機由故障主機遷移至可用主機。

    (2)資源碎片因素

    資源池一定程度上實現(xiàn)了資源共享,但多個因素均可造成資源碎片,一般服務(wù)器數(shù)量越多、資源可共享的范圍越大,資源碎片越??;服務(wù)器分組越多、資源共享范圍越小,資源碎片越大。

    資源碎片需主要考慮以下因素。

    ? 多VIM劃分因素:單個硬件資源池如部署多個廠商的VIM,多個廠商服務(wù)器資源獨立、無法共享。

    ? 多HA(host aggregate,主機組)劃分因素:HA劃分可包含多個維度,如按安全域、硬件規(guī)格、虛擬層參數(shù)、其他運維策略等,各HA資源獨立、無法共享。

    ? VM反親和部署因素:有容災(zāi)備份關(guān)系的VM要求反親和性,具有反親和性要求的VM應(yīng)部署在不同的服務(wù)器或不同的AZ,無法共享。

    ? 部分VM規(guī)格較大:當(dāng)部分VM規(guī)格較大,超出物理機剩余可用核數(shù)時,則不能部署在剩余核數(shù)較少的物理機。

    資源碎片同時也和VIM資源部署算法以及可靠性有一定關(guān)系。一般來說,VM資源部署越分散,可靠性越高,單個服務(wù)器故障不影響網(wǎng)元整體性能;VM資源分布越集中,則單個服務(wù)器出現(xiàn)故障,將造成一定性能損失。

    (3)彈性伸縮預(yù)留

    彈性伸縮(auto scaling)是虛擬化的優(yōu)勢之一,可根據(jù)業(yè)務(wù)需求和彈性策略,自動調(diào)整彈性計算資源。

    (4)升級等遷移預(yù)留

    當(dāng)硬件非熱插拔更換部件、VNF軟件、虛擬層軟件非在線升級時,都可能涉及虛擬資源需要從一部分物理機遷移至另一部分物理機,需要考慮該部分預(yù)留。

    缺陷分析時需要計算一些分析指標(biāo),使分析結(jié)果得到定量描述,以便進(jìn)行直觀地對比。度量分析指標(biāo)能夠為定量分析缺陷提供基礎(chǔ)。對軟件產(chǎn)品發(fā)布后缺陷分析而言,分析指標(biāo)主要包括:

    綜合考慮硬件故障、資源碎片、彈性擴容、遷移等預(yù)留需求及投資效益,服務(wù)器冗余系數(shù)建議取值在30%~40%,推薦值見表2。

    2.2 存儲資源配置重點考慮因素

    存儲配置一般需要考慮以下因素:存儲技術(shù)選型、網(wǎng)元側(cè)資源存儲需求和資源冗余因素。

    表2 服務(wù)器冗余系數(shù)推薦值

    2.2.1 存儲技術(shù)選型

    (1)磁盤陣列與分布式存儲對比

    磁盤陣列(redundant arrays of independent disk,RAID),把多塊獨立的硬盤(物理硬盤)按不同的方式組合起來形成一個硬盤組(邏輯硬盤),從而提供比單個硬盤更高的存儲性能和數(shù)據(jù)備份。

    不同的磁陣組成和讀寫方式構(gòu)成了不同的RAID級別。磁盤陣列可提供的RADI級別包括RAID0、RAID1、RAID3、RAID5和RADI10等,具體見表3。

    表3 主要RAID方式對比

    分布式存儲通過分布式存儲軟件實現(xiàn)將數(shù)據(jù)存儲在不同的服務(wù)器硬盤上,將分散在不同服務(wù)器的存儲資源構(gòu)成一個虛擬的存儲設(shè)備。與集中的磁盤陣列不同,分布式存儲通過在服務(wù)器上加載分布式存儲軟件,數(shù)據(jù)通過分布式存儲算法計算出對應(yīng)的主、副本硬盤,副本數(shù)據(jù)通過主硬盤相關(guān)進(jìn)程將數(shù)據(jù)復(fù)制到副本硬盤中,如圖1所示。

    圖1 分布式存儲原理示意

    分布式存儲的核心是分布式存儲軟件與存儲設(shè)備相結(jié)合,通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。與傳統(tǒng)的磁盤陣列存儲方式相比,分布式存儲不僅是一個硬件,還是一個由網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、分布式存儲軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的存儲系統(tǒng)。各部分以存儲設(shè)備為核心,通過分布式存儲軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。

    表4 磁陣與存儲服務(wù)器對比

    從功能、性能、可靠性、管理和可擴展性等方面看,磁盤陣列和分布式存儲均可以滿足NFV硬件資源池需求,見表4。

    分布式存儲適用于大容量、高IOPS(input/ output operations per second,每秒進(jìn)行讀寫次數(shù))需求場景,NFV資源池的存儲數(shù)據(jù)主要為讀寫要求不高、安全性要求高、數(shù)據(jù)存儲量需求不高的數(shù)據(jù)(包括用戶數(shù)據(jù)、話單數(shù)據(jù)、報表數(shù)據(jù)等)。對于基于存儲型服務(wù)器架構(gòu)的分布式架構(gòu),與傳統(tǒng)磁盤陣列存儲方式相比,在存儲容量較小場景下,其優(yōu)勢并不能得到充分發(fā)揮。

    未來,隨著數(shù)據(jù)存儲量的不斷增長以及資源池規(guī)模的不斷擴大,分布式存儲優(yōu)勢可充分顯現(xiàn),可考慮引入計算、存儲融合架構(gòu)的分布式存儲,進(jìn)一步發(fā)揮其簡單、快速部署的優(yōu)勢,解決傳統(tǒng)集中式存儲方式的單點故障問題。

    (2)磁盤陣列規(guī)格

    磁盤陣列規(guī)格要考慮的因素較多,在性能方面應(yīng)主要考慮以下因素。

    ? 控制器數(shù)量及IOPS、緩存大小等。

    ? 硬盤容量(如900 GB、1 200 GB等)、硬盤轉(zhuǎn)速(如高速、低速或固態(tài)硬盤)。

    ? 前端接口、后端接口數(shù)量、類型、速率等因素。

    在控制面網(wǎng)元及業(yè)務(wù)平臺虛擬化場景下,存儲容量及IOPS等性能需求一般不高,部分管理類網(wǎng)元有高IOPS需求,一般中端磁盤陣列即可滿足業(yè)務(wù)需求。

    在功能方面,需結(jié)合業(yè)務(wù)、組網(wǎng)需求,按需選擇是否支持負(fù)載均衡、自動精簡配置、分層存儲、快照、克隆、鏡像、同步、異步遠(yuǎn)程復(fù)制、存儲虛擬化、存儲在線遷移、支持多租戶等功能。

    2.2.2 網(wǎng)元側(cè)資源存儲需求

    網(wǎng)元側(cè)提交存儲資源需求時,應(yīng)基于硬件資源池可提供的資源類型提供資源需求,并重點考慮以下因素。

    ? 網(wǎng)元有效存儲容量需求,應(yīng)結(jié)合網(wǎng)元利用率考慮有效容量需求。

    ? 結(jié)合硬件資源池可提供的資源類型,在磁盤陣列場景下,網(wǎng)元側(cè)應(yīng)提交RAID方式需求;在分布式存儲場景下,網(wǎng)元側(cè)應(yīng)提交副本數(shù)量需求。

    ? IOPS及讀寫比例需求。

    ? 存儲介質(zhì)要求,如使用服務(wù)器本地硬盤或外接磁盤陣列、分布式存儲等。

    ? 跨AZ部署要求,當(dāng)單個網(wǎng)元跨AZ部署時,如MANO等管理類網(wǎng)元,應(yīng)區(qū)分AZ并分別提交各AZ存儲資源需求。

    2.2.3 資源冗余因素

    存儲資源配置,主要應(yīng)考慮以下冗余因素。

    (1)對于集中塊存儲,需要考慮RADI利用率,常用RAID利用率如下。

    ? RAID10的存儲空間利用率為/2,取50%。

    ? RAID5的存儲空間利用率為(?1)/,一般取75%。

    ? RAID6的存儲空間利用率為(?2)/,一般取60%。

    對于分布式存儲,則需要結(jié)合副本數(shù)量(一般2~4個不等),考慮存儲容量需求。

    (2)對于存儲容量配置,還需考慮存儲廠商與網(wǎng)元側(cè)存儲容量換算單位差異,以1 TB機械硬盤來計算,1 TB實際容量為1×1 000×1 000× 1 000×1 000/1 024/1 024/1 024=931 GB空間,單位差異系數(shù)約為8%。

    (3)對于磁盤陣列,還需考慮熱備盤需求及磁盤陣列自身元數(shù)據(jù)等開銷,可取10%~15%的冗余。

    2.3 網(wǎng)絡(luò)資源配置重點考慮因素

    網(wǎng)絡(luò)設(shè)備配置一般需要考慮以下因素:組網(wǎng)架構(gòu)及組網(wǎng)技術(shù)、網(wǎng)元側(cè)網(wǎng)絡(luò)資源需求和資源冗余因素。

    2.3.1 組網(wǎng)技術(shù)

    NFV資源池規(guī)劃建設(shè)首先應(yīng)明確組網(wǎng)技術(shù)選擇,不同的組網(wǎng)技術(shù)對組網(wǎng)架構(gòu)、設(shè)備選型均有不同要求。

    面向未來網(wǎng)絡(luò)演進(jìn),應(yīng)采用SDN組網(wǎng)實現(xiàn)網(wǎng)絡(luò)自動化配置、增強網(wǎng)絡(luò)服務(wù)化能力及橫向擴展能力。但目前NFV場景下,SDN控制器北向與VIM接口以及南向與轉(zhuǎn)發(fā)設(shè)備之間的接口尚未標(biāo)準(zhǔn)化。如由VIM廠商統(tǒng)一提供SDN軟硬件設(shè)備,則造成了軟硬件的耦合,不滿足NFV現(xiàn)階段軟硬件解耦要求。

    現(xiàn)階段NFV仍可考慮采用方案較為成熟的增強二層組網(wǎng)技術(shù),目前該技術(shù)較為成熟,廠商支持情況較好,支持異廠商組網(wǎng)。能有效規(guī)避二層環(huán)路,無需啟用STP,當(dāng)網(wǎng)絡(luò)中出現(xiàn)設(shè)備或鏈路級故障,可以快速收斂故障點實現(xiàn)電信級可靠性保護。后續(xù)應(yīng)推動SDN接口標(biāo)準(zhǔn)化,并向SDN組網(wǎng)演進(jìn)。

    網(wǎng)絡(luò)設(shè)備選型方面,需結(jié)合交換機性能、功能,在性能方面,主要考慮線速轉(zhuǎn)發(fā)端口數(shù)需求。規(guī)格建議見表5。

    表5 網(wǎng)絡(luò)設(shè)備規(guī)格建議

    2.3.2 網(wǎng)元側(cè)網(wǎng)絡(luò)資源需求

    網(wǎng)元側(cè)提交網(wǎng)絡(luò)資源需求時,應(yīng)重點考慮以下與硬件資源池協(xié)同因素。

    (1)網(wǎng)元側(cè)提供計算、存儲資源需求,硬件資源池側(cè)基于多網(wǎng)絡(luò)、多網(wǎng)元需求,統(tǒng)籌考慮資源池網(wǎng)絡(luò)設(shè)備端口及規(guī)格需求。

    (2)網(wǎng)元側(cè)提供南北流量需求,南北流量既網(wǎng)元對外接口流量,虛擬化網(wǎng)元的對外接口流量及承載原則,與原有物理網(wǎng)元保持一致;新增網(wǎng)元如MANO,應(yīng)提交南北流量及承載要求。

    (3)網(wǎng)元側(cè)提供東西流量需求,東西流量既網(wǎng)元內(nèi)部多個VM之間的流量,資源池側(cè)應(yīng)結(jié)合網(wǎng)元東西、南北流量及組網(wǎng)架構(gòu),統(tǒng)籌考慮網(wǎng)絡(luò)設(shè)備上行、下行鏈路收斂比需求。

    2.3.3 資源冗余因素

    網(wǎng)絡(luò)設(shè)備冗余配置主要考慮以下因素。

    ? 考慮高可靠性,網(wǎng)絡(luò)設(shè)備應(yīng)成對配置。

    ? 硬件分區(qū)要求,結(jié)合服務(wù)器、磁陣硬件分區(qū)要求分別部署TOR、成對EOR分別部署在兩個分區(qū)。

    ? 各類端口可建議考慮20%的冗余。

    ? 對于框式網(wǎng)絡(luò)設(shè)備,其業(yè)務(wù)板卡應(yīng)成對配置,至同一臺/對設(shè)備的多條鏈路應(yīng)分配到不同板卡的端口上,提高網(wǎng)絡(luò)可靠性。

    3 機房及基礎(chǔ)設(shè)施配套重點考慮因素

    3.1 機房布局

    未來網(wǎng)絡(luò)布局將由現(xiàn)有“以網(wǎng)元為中心”向“以數(shù)據(jù)中心為中心”轉(zhuǎn)型,機房整體布局應(yīng)面向未來、長遠(yuǎn)規(guī)劃,按照滿足5~10年業(yè)務(wù)發(fā)展需求,提前規(guī)劃建設(shè)數(shù)據(jù)中心機房基礎(chǔ)設(shè)施。

    初期應(yīng)主要滿足控制面網(wǎng)元集中建設(shè)需求,結(jié)合運營商組網(wǎng)策略,可選擇全國集中、大區(qū)集中、省集中等方式。為滿足網(wǎng)元地理容災(zāi)要求,全國/每大區(qū)/每省應(yīng)選擇兩個或以上互為地理容災(zāi)的局址部署硬件資源池,互為地理容災(zāi)的局址應(yīng)具備不同方向的市電和傳送。后續(xù)應(yīng)考慮轉(zhuǎn)發(fā)面等網(wǎng)元對地市及以下層面機房的需求。

    NFV機房面積及機架數(shù)除考慮NFV資源池需求外,應(yīng)統(tǒng)籌考慮周邊安全管控、信令監(jiān)測等系統(tǒng)對機房的需求。NFV機房還應(yīng)具備虛擬化網(wǎng)元相關(guān)的承載、傳輸?shù)染W(wǎng)絡(luò)資源。

    3.2 機房環(huán)境及工藝

    機房環(huán)境和工藝應(yīng)滿足IT硬件裝機需求,主要考慮以下因素。

    (1)散熱要求

    傳統(tǒng)專用硬件長期工作溫度一般在+5℃~ +40℃,IT硬件長期工作溫度范圍一般在+10℃~+35℃,進(jìn)風(fēng)口溫度一般要求在25±2℃(23℃~27℃);對于高保障、高密度的IT設(shè)備,進(jìn)風(fēng)口溫度可適當(dāng)調(diào)低。

    (2)送風(fēng)方式

    傳統(tǒng)專用硬件一般采用前進(jìn)后出送風(fēng)方式,IT硬件長期以前進(jìn)后出送風(fēng)為主,部分網(wǎng)絡(luò)設(shè)備有前進(jìn)側(cè)出、左右送風(fēng)等多種送風(fēng)方式,需要考慮送風(fēng)方式和散熱方式的匹配。

    (3)承重

    應(yīng)綜合考慮機架重量、設(shè)備重量,并結(jié)合單位機架占地面積,換算為機房承重要求。磁盤陣列等較重的設(shè)備應(yīng)安裝在承重較好的柱子列。

    (4)走線槽道

    部分NFV服務(wù)器網(wǎng)卡數(shù)量較多,造成服務(wù)器線纜較多。以單機架安裝約14臺服務(wù)器、2臺業(yè)務(wù)/存儲/管理TOR、1臺硬件管理TOR估算,單個機架約需布放236條尾纖+26條網(wǎng)線,需要綜合考慮尾纖槽道及尾纖下線槽的規(guī)格及數(shù)量。

    ? 單個機架內(nèi),服務(wù)器共需出線14×12(6個10GE口)條單芯尾纖+14×1(硬件管理GE口)條網(wǎng)線,其中約14×4+14×1可終結(jié)在機柜內(nèi)部,仍有14×8=112條尾纖需要連接至其他機架TOR。

    ? 其他機架約有26臺設(shè)備,需連接至本機架TOR,共需約26×4+26×1=104條尾纖+26條網(wǎng)線。

    ? TOR互聯(lián)及上聯(lián)約需20條單芯尾纖。

    ? 本機架出入線口共需布放約236條單芯尾纖+26條網(wǎng)線。

    數(shù)據(jù)中心裝機條件能較好滿足IT硬件裝機需求,應(yīng)優(yōu)選省級/省內(nèi)數(shù)據(jù)中心機房,對于無數(shù)據(jù)中心機房或數(shù)據(jù)中心機房暫不具備裝機條件的省份,應(yīng)選擇傳統(tǒng)通信機房進(jìn)行DC化改造。

    3.3 設(shè)備供電

    IT硬件供電方式應(yīng)與機房供電方式相匹配。為滿足IT設(shè)備較高密度部署需求、降低機房使用成本,建議優(yōu)選單機架功耗5 kW及以上機架,不建議選擇單機架功耗3 kW以下機架。

    3.4 機架配置

    新增機架應(yīng)采用19英寸標(biāo)準(zhǔn)機架(600 mm寬),機架深度需滿足IT設(shè)備安裝需求,建議不小于1 000 mm深(不含水冷前門及熱板背板深度),并結(jié)合機房具體條件,合理規(guī)劃機架尺寸。

    為縮短線纜走線長度、盡量減少出機架線纜數(shù)量,服務(wù)器應(yīng)與TOR共機架部署,鄰近的服務(wù)器機架應(yīng)共用業(yè)務(wù)、存儲、管理、硬件管理接入TOR,成對配置的TOR應(yīng)部署在不同的機架。不建議服務(wù)器與磁盤陣列、核心層及以上網(wǎng)絡(luò)設(shè)備共用機架。

    磁盤陣列、核心層及以上網(wǎng)絡(luò)設(shè)備,應(yīng)結(jié)合設(shè)備滿配功耗和單機架功耗實際情況,選擇是否共用機架。當(dāng)單機架功耗大于磁盤陣列、核心層及以上網(wǎng)絡(luò)設(shè)備滿配功耗時,可共用機架。

    4 結(jié)束語

    NFV硬件資源池及機房基礎(chǔ)設(shè)施是虛擬層及虛擬化網(wǎng)元部署的前提和基礎(chǔ),本文基于NFV部署初期建設(shè)需求,綜合考慮電信網(wǎng)元業(yè)務(wù)需求、解耦模式、容災(zāi)要求等特點,從計算、存儲、網(wǎng)絡(luò)、機房資源等多層面,深入分析規(guī)劃建設(shè)重點考慮因素,為后續(xù)中國移動NFV商用部署提出了方案及建議。

    [1] 孫振正, 龔靖, 段勇, 等. 面向下一代數(shù)據(jù)中心的軟件定義存儲技術(shù)研究[J]. 電信科學(xué), 2014, 30(1): 39-43.

    SUN Z Z, GONG J, DUAN Y, et al. Research on software defined storage technology for the next-generation data center [J]. Telecommunications Science, 2014, 30(1): 39-43.

    [2] 顧戎, 王瑞雪, 李晨, 等. 云數(shù)據(jù)中心SDN/NFV組網(wǎng)方案、測試及問題分析[J]. 電信科學(xué), 2016, 32(1): 126-130.

    GU R, WANG R X, LI C, et al. Analysis on network scheme and resolution test of SDN/NFV technology co-deployed in cloud datacenter [J]. Telecommunications Science, 2016, 32(1): 126-130.

    [3] 李晨, 段曉東, 陳煒, 等. SDN和NFV的思考與實踐[J]. 電信科學(xué), 2014, 30(8): 23-27.

    LI C, DUAN X D, CHEN W, et al. Thoughts and practices about SDN and NFV [J]. Telecommunications Science, 2014, 30(8): 23-27.

    [4] ETSI. Network functions virtualisation whitepaper#3[S]. 2015.

    [5] ETSI. Network functions virtualisation (NFV); usecases: GS NFV 001 [S]. 2015.

    [6] ETSI. Network Functions Virtualisation (NFV); architectural framework: GS NFV 002[S]. 2015.

    Key point of NFV hardware resource pool planning and construction

    SHEN Lei, WANG Fang, WU Lihua

    China Mobile Group Design Institute Co., Ltd., Beijing 100080, China

    Major operators have been deploying NFV in succession, after hardware and software decoupling of NFV, hardware and software need to be separately planned and constructed. Based on the initial construction requirements of NFV deployment, the key factors were analyzed which should be considered in the planning and construction of the hardware resource pool and the machine room infrastructure. The calculation, storage, network equipment matching requirements were expounded. And the blade and rack service was compared.The hardware and network configuration of two layers and SDN networks were enhanced by the hardware, magnetic array and distributed storage. The hardware configuration mode and key considerations were studied.The hardware redundancy requirements under dif scenes were analyzed, and the key requirements of the NFV hardware pool planning and construction were obtained.

    hardware resource pool, computing, storage, network, data center

    TP393

    A

    10.11959/j.issn.1000?0801.2018201

    沈蕾(1980?),女,中國移動通信集團設(shè)計院有限公司高級工程師,主要研究方向為NFV、網(wǎng)絡(luò)能力開放、數(shù)字化業(yè)務(wù)和未來網(wǎng)絡(luò)規(guī)劃。

    王芳(1982?),女,中國移動通信集團設(shè)計院有限公司高級工程師,主要從事核心網(wǎng)及互聯(lián)網(wǎng)領(lǐng)域的方案設(shè)計和規(guī)劃咨詢工作。

    吳麗華(1982?),女,中國移動通信集團設(shè)計院有限公司高級工程師,主要從事NFV、IMS網(wǎng)絡(luò)、RCS、物聯(lián)網(wǎng)等方案設(shè)計和咨詢工作。

    2018?04?06;

    2018?06?08

    猜你喜歡
    磁盤陣列網(wǎng)元機架
    別忽略它的存在!“意大利新一代架皇”BAS Accordeon(雅歌頓)XL4 2.0發(fā)燒機架
    一種全網(wǎng)時鐘同步管理方法
    更換磁盤陣列磁盤
    熱軋拉矯機機架加工討論
    光網(wǎng)絡(luò)設(shè)備ECC常見問題解決思路剖析
    中國新通信(2014年5期)2014-10-17 01:49:03
    電視播出機房磁盤陣列預(yù)防性維護
    Java EE平臺在綜合網(wǎng)元管理系統(tǒng)中的應(yīng)用研究
    S1字節(jié)和SDH網(wǎng)絡(luò)時鐘保護倒換原理
    雙機架平整機板形控制算法及其應(yīng)用
    上海金屬(2013年6期)2013-12-20 07:58:02
    提高機架輥壽命的改進(jìn)措施
    軸承(2010年2期)2010-07-28 02:25:46
    精品一区二区三区视频在线| 免费av观看视频| 麻豆成人午夜福利视频| 十八禁网站免费在线| 国产乱人视频| 国产黄片美女视频| 婷婷丁香在线五月| 色播亚洲综合网| 亚洲,欧美精品.| 国产高清激情床上av| 黄片小视频在线播放| 亚洲av免费在线观看| 午夜福利免费观看在线| 我要搜黄色片| 日韩av在线大香蕉| 欧美zozozo另类| 亚洲性夜色夜夜综合| 露出奶头的视频| 久久精品国产清高在天天线| avwww免费| 神马国产精品三级电影在线观看| 亚洲乱码一区二区免费版| 亚洲综合色惰| 噜噜噜噜噜久久久久久91| 嫩草影院新地址| 国产成人av教育| 国产成人影院久久av| 欧美中文日本在线观看视频| 欧美日韩亚洲国产一区二区在线观看| 亚洲欧美精品综合久久99| 日韩欧美国产在线观看| 成人美女网站在线观看视频| 亚洲中文日韩欧美视频| 精品福利观看| 12—13女人毛片做爰片一| 亚洲精品一区av在线观看| 男人舔女人下体高潮全视频| 国产一区二区在线观看日韩| 久久久久国产精品人妻aⅴ院| 热99re8久久精品国产| а√天堂www在线а√下载| 色吧在线观看| 久久久成人免费电影| 国产精品综合久久久久久久免费| 少妇人妻一区二区三区视频| 国产精品99久久久久久久久| 内射极品少妇av片p| 精品99又大又爽又粗少妇毛片 | 一进一出好大好爽视频| 99久久久亚洲精品蜜臀av| 国产爱豆传媒在线观看| 欧美精品啪啪一区二区三区| 亚洲天堂国产精品一区在线| 别揉我奶头~嗯~啊~动态视频| 听说在线观看完整版免费高清| 国产精品久久久久久精品电影| 日韩免费av在线播放| 亚洲欧美日韩东京热| 亚洲人成网站高清观看| av在线老鸭窝| 日本三级黄在线观看| av女优亚洲男人天堂| 18禁在线播放成人免费| 国产私拍福利视频在线观看| 国内少妇人妻偷人精品xxx网站| 老司机深夜福利视频在线观看| 乱码一卡2卡4卡精品| 国产视频内射| 男人的好看免费观看在线视频| av女优亚洲男人天堂| 老鸭窝网址在线观看| 综合色av麻豆| www.色视频.com| av在线观看视频网站免费| 2021天堂中文幕一二区在线观| 亚洲av二区三区四区| 赤兔流量卡办理| 国产精品永久免费网站| 亚洲人成电影免费在线| 色视频www国产| 久久性视频一级片| 日韩欧美免费精品| 免费电影在线观看免费观看| 亚洲精品一区av在线观看| 亚洲真实伦在线观看| 亚洲一区二区三区色噜噜| 天天一区二区日本电影三级| 国产精品电影一区二区三区| 亚洲美女搞黄在线观看 | 999久久久精品免费观看国产| 色5月婷婷丁香| 久久久精品大字幕| 国产v大片淫在线免费观看| 久久久国产成人精品二区| 日本一二三区视频观看| 一区二区三区四区激情视频 | 99在线视频只有这里精品首页| 91在线精品国自产拍蜜月| 亚洲精品粉嫩美女一区| 日本 av在线| 日韩免费av在线播放| 亚洲自拍偷在线| 午夜福利高清视频| 国产白丝娇喘喷水9色精品| 看片在线看免费视频| 国产又黄又爽又无遮挡在线| 中文字幕久久专区| 午夜久久久久精精品| 久久久久性生活片| 国产精品嫩草影院av在线观看 | 变态另类丝袜制服| 久久婷婷人人爽人人干人人爱| 2021天堂中文幕一二区在线观| 久久精品91蜜桃| 少妇高潮的动态图| 在线十欧美十亚洲十日本专区| 欧美高清成人免费视频www| 真实男女啪啪啪动态图| 亚洲久久久久久中文字幕| 欧美xxxx性猛交bbbb| 简卡轻食公司| 麻豆国产av国片精品| 午夜福利在线观看吧| 久久6这里有精品| 亚洲性夜色夜夜综合| 女生性感内裤真人,穿戴方法视频| 亚洲精品色激情综合| 丰满的人妻完整版| 久久人人精品亚洲av| 久久精品人妻少妇| 黄色一级大片看看| 夜夜躁狠狠躁天天躁| 高清在线国产一区| 欧美成人免费av一区二区三区| 欧美3d第一页| 中文字幕精品亚洲无线码一区| 免费在线观看日本一区| 又爽又黄a免费视频| 蜜桃久久精品国产亚洲av| 91麻豆av在线| 成年免费大片在线观看| 国产精品伦人一区二区| 免费av观看视频| 国产乱人伦免费视频| 欧美日韩综合久久久久久 | 99热这里只有精品一区| 内地一区二区视频在线| 亚洲天堂国产精品一区在线| 亚洲欧美日韩高清在线视频| 窝窝影院91人妻| 人人妻人人看人人澡| 国产伦在线观看视频一区| 婷婷亚洲欧美| 亚洲成人免费电影在线观看| 夜夜看夜夜爽夜夜摸| 在线观看av片永久免费下载| 色在线成人网| 婷婷六月久久综合丁香| 丰满人妻一区二区三区视频av| 国产伦精品一区二区三区视频9| 91麻豆精品激情在线观看国产| 久久中文看片网| 国产国拍精品亚洲av在线观看| 琪琪午夜伦伦电影理论片6080| 偷拍熟女少妇极品色| 亚洲精品影视一区二区三区av| 午夜免费激情av| 熟女人妻精品中文字幕| 色视频www国产| 国内久久婷婷六月综合欲色啪| av在线老鸭窝| 天堂av国产一区二区熟女人妻| 久久久久久久久久成人| 一个人看的www免费观看视频| 九九在线视频观看精品| 亚洲 国产 在线| 久久人人精品亚洲av| 草草在线视频免费看| 黄片小视频在线播放| 女生性感内裤真人,穿戴方法视频| 嫩草影院精品99| 欧美成人一区二区免费高清观看| 久久午夜亚洲精品久久| 三级毛片av免费| 欧美中文日本在线观看视频| 亚洲精品乱码久久久v下载方式| 精品久久久久久久久久久久久| 国产伦精品一区二区三区四那| 9191精品国产免费久久| 老熟妇乱子伦视频在线观看| 国内精品美女久久久久久| 久久久久亚洲av毛片大全| av国产免费在线观看| 美女黄网站色视频| 国产精品自产拍在线观看55亚洲| 淫秽高清视频在线观看| 女人十人毛片免费观看3o分钟| 欧美成狂野欧美在线观看| 久久久久性生活片| 亚洲欧美日韩高清在线视频| 亚洲,欧美,日韩| 国产亚洲精品久久久久久毛片| 亚洲av成人不卡在线观看播放网| 婷婷色综合大香蕉| 国产成年人精品一区二区| 美女xxoo啪啪120秒动态图 | 国产免费男女视频| 在线观看66精品国产| 一区二区三区高清视频在线| 少妇被粗大猛烈的视频| 久久精品影院6| 一夜夜www| 在现免费观看毛片| 亚洲欧美精品综合久久99| 男女那种视频在线观看| 国产免费男女视频| 日本黄大片高清| 日韩欧美精品v在线| 一区福利在线观看| 久久中文看片网| 一个人免费在线观看的高清视频| 久久久久久久精品吃奶| 国产欧美日韩一区二区精品| 两人在一起打扑克的视频| 日本三级黄在线观看| 中文字幕av在线有码专区| 亚洲av二区三区四区| 一区二区三区高清视频在线| 午夜a级毛片| 中文字幕熟女人妻在线| 一本久久中文字幕| 老司机午夜福利在线观看视频| 欧美日韩亚洲国产一区二区在线观看| 国产欧美日韩精品一区二区| 国产精品一区二区三区四区免费观看 | 最近中文字幕高清免费大全6 | 91午夜精品亚洲一区二区三区 | 午夜a级毛片| 琪琪午夜伦伦电影理论片6080| 欧美zozozo另类| bbb黄色大片| 亚洲第一电影网av| 91在线观看av| 日韩中文字幕欧美一区二区| 日韩欧美精品v在线| 床上黄色一级片| 国产精品久久视频播放| 97超级碰碰碰精品色视频在线观看| 国产高清三级在线| 99国产精品一区二区三区| 国产爱豆传媒在线观看| 亚洲精品成人久久久久久| 性插视频无遮挡在线免费观看| 直男gayav资源| 亚洲精品在线美女| 亚洲av日韩精品久久久久久密| 欧美3d第一页| 成年版毛片免费区| 一进一出好大好爽视频| 国产精品嫩草影院av在线观看 | 国产精品久久电影中文字幕| 一区二区三区激情视频| 婷婷色综合大香蕉| 久久亚洲真实| 国产精品野战在线观看| 午夜福利18| 最近视频中文字幕2019在线8| 欧美色欧美亚洲另类二区| 啦啦啦观看免费观看视频高清| 欧美日韩国产亚洲二区| 成人特级黄色片久久久久久久| 午夜影院日韩av| 免费高清视频大片| 久久亚洲真实| 久久国产精品人妻蜜桃| 天天一区二区日本电影三级| 欧美三级亚洲精品| 婷婷色综合大香蕉| 露出奶头的视频| 久久99热6这里只有精品| 欧美不卡视频在线免费观看| 哪里可以看免费的av片| 欧美3d第一页| 一个人看的www免费观看视频| 欧美黑人欧美精品刺激| aaaaa片日本免费| 一个人看的www免费观看视频| 亚洲av免费在线观看| 很黄的视频免费| 久久久久免费精品人妻一区二区| 亚洲精品一区av在线观看| 男女做爰动态图高潮gif福利片| 久久午夜福利片| 中文字幕久久专区| 2021天堂中文幕一二区在线观| 超碰av人人做人人爽久久| 在线播放国产精品三级| 久久久久久九九精品二区国产| 一个人免费在线观看的高清视频| 两人在一起打扑克的视频| 欧美高清成人免费视频www| 亚洲成人免费电影在线观看| avwww免费| 亚洲av一区综合| 欧美日韩福利视频一区二区| 久久久久精品国产欧美久久久| 欧美日韩国产亚洲二区| 在线观看av片永久免费下载| 亚洲,欧美精品.| 午夜亚洲福利在线播放| 男女视频在线观看网站免费| 免费在线观看成人毛片| 国产伦一二天堂av在线观看| av中文乱码字幕在线| 一级毛片久久久久久久久女| 特大巨黑吊av在线直播| 少妇高潮的动态图| 国产男靠女视频免费网站| 最新中文字幕久久久久| 少妇的逼好多水| 在线观看午夜福利视频| 日本三级黄在线观看| 在线十欧美十亚洲十日本专区| 国产乱人视频| 免费人成视频x8x8入口观看| 九色国产91popny在线| 色哟哟哟哟哟哟| 国产亚洲欧美在线一区二区| 色综合欧美亚洲国产小说| 久久精品国产亚洲av涩爱 | 国产综合懂色| 国产精品亚洲美女久久久| 悠悠久久av| 丰满的人妻完整版| 性色av乱码一区二区三区2| 久久久国产成人免费| 亚洲美女搞黄在线观看 | 亚洲自拍偷在线| 久久精品影院6| 一边摸一边抽搐一进一小说| 老司机午夜福利在线观看视频| 亚洲av中文字字幕乱码综合| 亚洲中文字幕日韩| 少妇丰满av| 偷拍熟女少妇极品色| 久99久视频精品免费| 黄色丝袜av网址大全| 内射极品少妇av片p| 又粗又爽又猛毛片免费看| 国产成年人精品一区二区| 最后的刺客免费高清国语| 色av中文字幕| 欧美+日韩+精品| 高潮久久久久久久久久久不卡| 波多野结衣高清无吗| 哪里可以看免费的av片| 男人的好看免费观看在线视频| 久久精品国产亚洲av天美| 天天一区二区日本电影三级| av欧美777| 亚洲最大成人手机在线| 在线播放无遮挡| 久久中文看片网| a在线观看视频网站| 高潮久久久久久久久久久不卡| 日韩中文字幕欧美一区二区| 天美传媒精品一区二区| 日本在线视频免费播放| 亚洲av二区三区四区| 国内揄拍国产精品人妻在线| 久久久久久久精品吃奶| 精品午夜福利视频在线观看一区| 欧美+日韩+精品| 精品人妻1区二区| 久久精品综合一区二区三区| 老鸭窝网址在线观看| 国产真实乱freesex| 直男gayav资源| 国产成人a区在线观看| 亚洲 欧美 日韩 在线 免费| 亚洲,欧美精品.| 男人的好看免费观看在线视频| 老女人水多毛片| 国产极品精品免费视频能看的| 欧美黄色片欧美黄色片| 日本一二三区视频观看| 男女那种视频在线观看| 亚洲第一区二区三区不卡| 精品午夜福利在线看| 麻豆国产av国片精品| 欧美最黄视频在线播放免费| 国内精品美女久久久久久| 天堂√8在线中文| 国产美女午夜福利| 波多野结衣巨乳人妻| 日韩欧美国产一区二区入口| 乱人视频在线观看| 国产精品亚洲av一区麻豆| 国产探花极品一区二区| 婷婷色综合大香蕉| 免费搜索国产男女视频| 亚洲精品乱码久久久v下载方式| av福利片在线观看| 色吧在线观看| 亚洲av免费高清在线观看| 怎么达到女性高潮| 国产乱人视频| 深爱激情五月婷婷| 色综合欧美亚洲国产小说| 婷婷亚洲欧美| 久久精品国产清高在天天线| 久久九九热精品免费| 国产精品电影一区二区三区| 嫩草影视91久久| 偷拍熟女少妇极品色| 色av中文字幕| 国产老妇女一区| 亚洲熟妇中文字幕五十中出| 亚洲人与动物交配视频| 一本综合久久免费| 在线观看一区二区三区| 日韩高清综合在线| 午夜精品一区二区三区免费看| 国产爱豆传媒在线观看| 俄罗斯特黄特色一大片| 人妻久久中文字幕网| 女同久久另类99精品国产91| 欧美精品国产亚洲| 亚洲人成伊人成综合网2020| 国产亚洲精品综合一区在线观看| 亚洲精品日韩av片在线观看| 性插视频无遮挡在线免费观看| 精品久久久久久久久久免费视频| 日韩欧美 国产精品| 国产精品自产拍在线观看55亚洲| 亚洲第一欧美日韩一区二区三区| 亚洲av二区三区四区| 亚洲国产欧洲综合997久久,| 精品欧美国产一区二区三| 十八禁国产超污无遮挡网站| 国产精品综合久久久久久久免费| 黄色视频,在线免费观看| 亚洲av电影不卡..在线观看| 午夜两性在线视频| 国产成人福利小说| 国产精品伦人一区二区| 欧美日韩综合久久久久久 | 一个人看视频在线观看www免费| 亚洲美女视频黄频| 禁无遮挡网站| 欧美高清成人免费视频www| 日韩中字成人| 男插女下体视频免费在线播放| 窝窝影院91人妻| 亚洲精品日韩av片在线观看| 亚洲精品久久国产高清桃花| 免费观看精品视频网站| 国产三级在线视频| 欧美xxxx黑人xx丫x性爽| 日韩大尺度精品在线看网址| 2021天堂中文幕一二区在线观| 亚洲精华国产精华精| 日日夜夜操网爽| 婷婷色综合大香蕉| 欧美成狂野欧美在线观看| 99久久99久久久精品蜜桃| av欧美777| 一级作爱视频免费观看| 91狼人影院| 丰满乱子伦码专区| 亚洲精品456在线播放app | 99久久九九国产精品国产免费| 日本精品一区二区三区蜜桃| aaaaa片日本免费| 神马国产精品三级电影在线观看| 国产精品女同一区二区软件 | 成熟少妇高潮喷水视频| 日韩中文字幕欧美一区二区| 嫩草影院精品99| 中文在线观看免费www的网站| 国产爱豆传媒在线观看| 91久久精品国产一区二区成人| 怎么达到女性高潮| 美女免费视频网站| 精品欧美国产一区二区三| 在线播放无遮挡| 宅男免费午夜| 色视频www国产| 一区二区三区激情视频| 国产精品女同一区二区软件 | 直男gayav资源| 久久欧美精品欧美久久欧美| 色精品久久人妻99蜜桃| 中文字幕av在线有码专区| 国产蜜桃级精品一区二区三区| 在线免费观看不下载黄p国产 | 国产精品国产高清国产av| 深夜a级毛片| 亚洲国产精品成人综合色| 免费人成在线观看视频色| av国产免费在线观看| 日本一二三区视频观看| 国产 一区 欧美 日韩| 好男人电影高清在线观看| 一级毛片久久久久久久久女| 色视频www国产| 日韩中文字幕欧美一区二区| 观看美女的网站| 啦啦啦观看免费观看视频高清| 国产一区二区在线观看日韩| 可以在线观看的亚洲视频| 亚洲经典国产精华液单 | av在线老鸭窝| av国产免费在线观看| 精品人妻熟女av久视频| av天堂中文字幕网| 亚洲av一区综合| 搞女人的毛片| 国产一区二区亚洲精品在线观看| 精品午夜福利视频在线观看一区| 久久精品夜夜夜夜夜久久蜜豆| 日韩欧美在线二视频| 亚洲av免费在线观看| 国产伦精品一区二区三区四那| 听说在线观看完整版免费高清| 亚洲一区二区三区不卡视频| 亚洲av熟女| 久久香蕉精品热| 欧美日韩福利视频一区二区| 日韩欧美 国产精品| 三级毛片av免费| 我的老师免费观看完整版| 久久久国产成人免费| 国产精品久久久久久亚洲av鲁大| 极品教师在线视频| 九九久久精品国产亚洲av麻豆| 亚洲天堂国产精品一区在线| 国产国拍精品亚洲av在线观看| 91九色精品人成在线观看| 欧美激情在线99| 欧美最新免费一区二区三区 | 美女被艹到高潮喷水动态| 免费电影在线观看免费观看| 亚洲avbb在线观看| 午夜影院日韩av| 国产麻豆成人av免费视频| 欧美区成人在线视频| 亚洲aⅴ乱码一区二区在线播放| 中文字幕av在线有码专区| 五月玫瑰六月丁香| 内地一区二区视频在线| 日韩成人在线观看一区二区三区| 亚洲成人久久爱视频| 国产午夜福利久久久久久| 久久午夜福利片| 成人国产综合亚洲| 免费大片18禁| 亚洲av中文字字幕乱码综合| 亚洲18禁久久av| 中文字幕人妻熟人妻熟丝袜美| 一a级毛片在线观看| 成年免费大片在线观看| 日韩精品青青久久久久久| 久久久色成人| 国产亚洲精品久久久久久毛片| 丝袜美腿在线中文| 天天一区二区日本电影三级| 91在线精品国自产拍蜜月| 婷婷精品国产亚洲av| 午夜老司机福利剧场| 日本黄大片高清| 欧美xxxx性猛交bbbb| 精品人妻1区二区| 如何舔出高潮| 一a级毛片在线观看| 国产精品久久电影中文字幕| 成人国产一区最新在线观看| 一级av片app| 亚洲乱码一区二区免费版| 黄色丝袜av网址大全| 天堂√8在线中文| 久久久久久久久久成人| 欧美成人一区二区免费高清观看| 身体一侧抽搐| 一进一出抽搐动态| 日本五十路高清| 国产单亲对白刺激| 99久久精品热视频| 中文字幕免费在线视频6| 久久国产乱子免费精品| 国产成人欧美在线观看| 国产午夜精品久久久久久一区二区三区 | 少妇裸体淫交视频免费看高清| 9191精品国产免费久久| 国产精品爽爽va在线观看网站| 午夜视频国产福利| 成人特级av手机在线观看| 午夜视频国产福利| 欧美一区二区国产精品久久精品| 国产伦精品一区二区三区四那| 精品久久国产蜜桃| 国产激情偷乱视频一区二区| 国产亚洲欧美在线一区二区| 波多野结衣巨乳人妻| 九九热线精品视视频播放| 国产精品人妻久久久久久| 我要看日韩黄色一级片| 中文资源天堂在线| 我要搜黄色片| 亚洲最大成人中文| 免费人成视频x8x8入口观看| 白带黄色成豆腐渣| 欧美成人一区二区免费高清观看| 欧美区成人在线视频| 午夜福利视频1000在线观看|