• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)研究

    2021-11-03 12:51:01馮佩
    現(xiàn)代信息科技 2021年8期
    關(guān)鍵詞:網(wǎng)絡(luò)協(xié)議

    DOI:10.19850/j.cnki.2096-4706.2021.08.019

    摘? 要:數(shù)據(jù)中心承擔(dān)著現(xiàn)代社會(huì)的信息服務(wù),然而當(dāng)前基于傳統(tǒng)網(wǎng)卡的數(shù)據(jù)中心面臨著嚴(yán)重的性能瓶頸,難以適應(yīng)高效數(shù)據(jù)傳輸處理需求。通過(guò)結(jié)合以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)和多端口智能網(wǎng)卡的優(yōu)點(diǎn),提出了基于多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN架構(gòu)設(shè)計(jì),并以MPS-Cube為例介紹其構(gòu)造和路由過(guò)程。該類網(wǎng)絡(luò)設(shè)計(jì)能夠充分利用多端口智能網(wǎng)卡的可編程性,實(shí)現(xiàn)智能化的網(wǎng)絡(luò)協(xié)議處理和網(wǎng)絡(luò)功能卸載,從而提升網(wǎng)絡(luò)吞吐量。

    關(guān)鍵詞:智能網(wǎng)卡;數(shù)據(jù)中心網(wǎng)絡(luò);可編程性;網(wǎng)絡(luò)協(xié)議

    中圖分類號(hào):TP308? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2096-4706(2021)08-0064-04

    Research on Data Center Network Design Based on Server Multiport Intelligent Network Interface Controller

    FENG Pei

    (Xian Kedagaoxin University,Xian? 710109,China)

    Abstract:Data center undertakes the information service of modern society. However,the current data centers based on the traditional network interface controller are facing serious performance bottleneck,which is difficult to meet the needs of efficient data transmission and processing. By combining the advantages of server centered data center network and multiport intelligent network interface controller,the architecture design of data center network MPS-DCN based on multiport intelligent network interface controller is proposed,and its structure and routing process are introduced by taking MPS-Cube as an example. This kind of network design can make full use of the programmability of multiport intelligent network interface controller to realize intelligent network protocol processing and network function unloading,so as to improve the network throughput.

    Keywords:intelligent network interface controller;data center network;programmability;network protocol

    0? 引? 言

    隨著現(xiàn)代化信息技術(shù)的發(fā)展,數(shù)據(jù)中心(Data Center)已成為當(dāng)前社會(huì)信息基礎(chǔ)設(shè)施的核心組成部分,為公司的生產(chǎn)經(jīng)營(yíng)和人們的社會(huì)生產(chǎn)生活提供高效和彈性的基礎(chǔ)信息服務(wù)。數(shù)據(jù)中心網(wǎng)絡(luò)(Data Center Network,DCN)通過(guò)高速交換機(jī)連接大量服務(wù)器為海量用戶提供高效的即時(shí)服務(wù),是數(shù)據(jù)中心實(shí)現(xiàn)其服務(wù)功能的物理基礎(chǔ)[1-5]

    然而,隨著后摩爾時(shí)代到來(lái),傳統(tǒng)的網(wǎng)卡和交換機(jī)越來(lái)越難以滿足數(shù)據(jù)中心網(wǎng)絡(luò)高效的數(shù)據(jù)傳輸需求,高性能服務(wù)器越來(lái)越多地參與到網(wǎng)絡(luò)的數(shù)據(jù)傳輸和處理過(guò)程中,這嚴(yán)重浪費(fèi)了服務(wù)器CPU的計(jì)算能力,進(jìn)而導(dǎo)致了數(shù)據(jù)中心的計(jì)算和網(wǎng)絡(luò)服務(wù)性能降低。

    隨著智能網(wǎng)卡(Smart Network Interface Card,SNIC)技術(shù)的發(fā)展,其可編程性受到了學(xué)界和業(yè)界越來(lái)越多的關(guān)注[6-7]。智能網(wǎng)卡SNIC通過(guò)可編程性實(shí)現(xiàn)智能化的網(wǎng)絡(luò)協(xié)議處理和網(wǎng)絡(luò)功能卸載,能夠滿足數(shù)據(jù)中心網(wǎng)絡(luò)高效靈活的數(shù)據(jù)傳輸需求。通過(guò)在數(shù)據(jù)中心網(wǎng)絡(luò)中部署多端口智能網(wǎng)卡不但能夠提高網(wǎng)絡(luò)吞吐量,而且可以根據(jù)網(wǎng)絡(luò)負(fù)載和應(yīng)用層數(shù)據(jù)流量?jī)A斜調(diào)整相應(yīng)的數(shù)據(jù)調(diào)度策略?;诙喽丝谥悄芫W(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)(Multi-Port SNIC Data Center Network,MPS-DCN)具有良好的網(wǎng)絡(luò)虛擬化功能,能夠?yàn)樵朴?jì)算供應(yīng)商提供更高效的網(wǎng)絡(luò)彈性以滿足不同用戶的網(wǎng)絡(luò)傳輸服務(wù)需求?;诙喽丝诰W(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)通過(guò)解耦服務(wù)器的網(wǎng)絡(luò)功能,從而使得高性能服務(wù)器能夠?qū)W⒂谟?jì)算密集型的核心功能,進(jìn)而提高數(shù)據(jù)中心網(wǎng)絡(luò)的服務(wù)能力。文中以MPS-Cube為例介紹基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)造和路由過(guò)程。

    1? 數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展現(xiàn)狀

    自2008年計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域的頂級(jí)會(huì)議SIGCOMM提出FatTree[1]和DCell[2]結(jié)構(gòu)以來(lái),云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計(jì)一直是業(yè)界和學(xué)界研究的熱點(diǎn)。根據(jù)轉(zhuǎn)發(fā)設(shè)備的不同,其發(fā)展出以交換機(jī)為中心的(Switch-Centric)數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)和以服務(wù)器為中心的(Server-Centric)數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)兩個(gè)并行方向,并且這兩個(gè)方向在各自領(lǐng)域內(nèi)都產(chǎn)生了突破性的進(jìn)展。

    1.1? 以交換機(jī)為中心的數(shù)據(jù)中心網(wǎng)絡(luò)

    在以交換機(jī)為中心的數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)中,交換機(jī)承擔(dān)網(wǎng)絡(luò)數(shù)據(jù)的路由轉(zhuǎn)發(fā)功能,而服務(wù)器則作為數(shù)據(jù)存儲(chǔ)和計(jì)算的功能節(jié)點(diǎn)不參與數(shù)據(jù)轉(zhuǎn)發(fā)任務(wù)。

    以交換機(jī)為中心的數(shù)據(jù)中心網(wǎng)絡(luò)典型網(wǎng)絡(luò)結(jié)構(gòu)FatTree和Elastic Tree[5],這兩種網(wǎng)絡(luò)結(jié)構(gòu)都是通過(guò)基于Clos結(jié)構(gòu)部署的交換機(jī)來(lái)連接服務(wù)器。FatTree的特點(diǎn)是部署大量的交換機(jī),交換機(jī)網(wǎng)絡(luò)之間形成大量冗余路徑為服務(wù)器提供超額網(wǎng)絡(luò)帶寬訂購(gòu)服務(wù);Elastic Tree則從節(jié)約能源的角度根據(jù)網(wǎng)絡(luò)應(yīng)用需求適時(shí)調(diào)整FatTree中活動(dòng)交換機(jī)的數(shù)量,從而達(dá)到網(wǎng)絡(luò)節(jié)能的目的。FatTree網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,其中圓圈表示服務(wù)器,矩形框表示交換機(jī)。

    以交換機(jī)為中心的數(shù)據(jù)中心網(wǎng)絡(luò)逐步發(fā)展出軟件定義網(wǎng)絡(luò)(Software Define Network,SDN)技術(shù)和SDN交換機(jī),SDN技術(shù)通過(guò)將交換機(jī)的控制面與數(shù)據(jù)面進(jìn)行邏輯分離,從而允許用戶通過(guò)交換機(jī)控制器的可編程接口根據(jù)數(shù)據(jù)傳輸需求重新定義網(wǎng)絡(luò)傳輸調(diào)度功能,從而實(shí)現(xiàn)對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)流量的實(shí)時(shí)智能控制。

    1.2? 以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)

    在以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)中,服務(wù)器不僅需要承擔(dān)數(shù)據(jù)的計(jì)算和存儲(chǔ)功能,還需要承擔(dān)數(shù)據(jù)的路由轉(zhuǎn)發(fā)功能,這類網(wǎng)絡(luò)中的交換機(jī)一般只作為服務(wù)器之間的網(wǎng)絡(luò)連接部件。

    以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)典型代表是微軟研究院提出的DCell[2]、BCube[3]和CamCube[4]網(wǎng)絡(luò),前兩類網(wǎng)絡(luò)采用了普通迷你型交換機(jī),而CamCube網(wǎng)絡(luò)則僅采用多端口服務(wù)器進(jìn)行網(wǎng)絡(luò)互聯(lián)。在DCell網(wǎng)絡(luò)結(jié)構(gòu)中,最底層通過(guò)n臺(tái)服務(wù)器連接一個(gè)n端口迷你交換機(jī)組成DCell0網(wǎng)絡(luò),而高層的DCell網(wǎng)絡(luò)結(jié)構(gòu)則由低層網(wǎng)絡(luò)采取完全圖互聯(lián)的方式構(gòu)成。BCube網(wǎng)絡(luò)的基本拓?fù)浣Y(jié)構(gòu)采用了超立方體結(jié)構(gòu),而CamCube網(wǎng)絡(luò)采用了3-DTorus結(jié)構(gòu)。BCube網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,圖中的每個(gè)服務(wù)器均裝備有2個(gè)端口的網(wǎng)卡。

    以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)逐步發(fā)展出智能網(wǎng)卡SNIC和網(wǎng)絡(luò)功能卸載技術(shù)。通過(guò)利用智能網(wǎng)卡的可編程性實(shí)現(xiàn)靈活的網(wǎng)絡(luò)協(xié)議卸載功能,不但能夠解耦服務(wù)器CPU的網(wǎng)絡(luò)處理負(fù)荷,而且能夠根據(jù)應(yīng)用層需求優(yōu)化網(wǎng)絡(luò)調(diào)度策略,是解決當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)瓶頸問(wèn)題的關(guān)鍵技術(shù)。

    2? 智能網(wǎng)卡研究發(fā)展現(xiàn)狀

    傳統(tǒng)服務(wù)器的網(wǎng)卡通常采用固件寫(xiě)入的方式支持固定類型的網(wǎng)絡(luò),這類網(wǎng)絡(luò)通常是標(biāo)準(zhǔn)的以太網(wǎng)或者Infiniband網(wǎng)絡(luò)。傳統(tǒng)網(wǎng)卡能夠支持的網(wǎng)絡(luò)協(xié)議在出廠時(shí)已寫(xiě)入網(wǎng)卡固件,一般在出廠后不可以進(jìn)行更改。在網(wǎng)絡(luò)路由過(guò)程中,傳統(tǒng)網(wǎng)卡根據(jù)已寫(xiě)入的網(wǎng)絡(luò)協(xié)議棧以固定模式執(zhí)行數(shù)據(jù)的復(fù)制轉(zhuǎn)發(fā)功能,其過(guò)程需要CPU中斷當(dāng)前操作進(jìn)行參與,這嚴(yán)重降低了CPU數(shù)據(jù)處理性能。

    智能網(wǎng)卡SNIC的出現(xiàn)解耦了服務(wù)器CPU處理網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)任務(wù)的功能,從而將CPU從頻繁的網(wǎng)絡(luò)任務(wù)處理中解放出來(lái),有效地提升了網(wǎng)絡(luò)數(shù)據(jù)處理效率。Mellanox公司給智能網(wǎng)卡SNIC定義是“能夠加載CPU通用功能的網(wǎng)絡(luò)接口卡”,而Netronome公司從功能角度將智能網(wǎng)卡SNIC定義為“能夠?qū)崿F(xiàn)網(wǎng)絡(luò)數(shù)據(jù)平面的各類功能,并能夠根據(jù)應(yīng)用需要靈活地調(diào)整數(shù)據(jù)平面,能夠無(wú)縫兼容當(dāng)前傳統(tǒng)網(wǎng)卡鏈接生態(tài)”[7]。

    從當(dāng)前通用智能網(wǎng)卡SNIC配備的核心處理器來(lái)看,常見(jiàn)的智能網(wǎng)卡架構(gòu)設(shè)計(jì)可分為兩種類型,基于可編程門(mén)陣列(Field Programmable Gate Array,F(xiàn)PGA)的智能網(wǎng)卡和基于多核處理器(Multi-core Processors,MP)的智能網(wǎng)卡。FPGA智能網(wǎng)卡由微軟亞洲研究院的Catapult提出,是為可重構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)的,能夠大幅提高規(guī)模性網(wǎng)絡(luò)的數(shù)據(jù)吞吐量,其在微軟數(shù)據(jù)中心中得到了部署;MP智能網(wǎng)卡則使用片上多核系統(tǒng)(Multi-core System on Chip,SoC)來(lái)實(shí)現(xiàn)網(wǎng)卡的可編程性,其多核性可兼容通用處理器和網(wǎng)絡(luò)處理器,具有低造價(jià)和高兼容性的特點(diǎn)。

    3? 基于多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)

    在本節(jié)中,首先闡述基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN設(shè)計(jì)動(dòng)機(jī),然后給出MPS-DCN的設(shè)計(jì)方案,最后對(duì)MPS-DCN的其他性能特點(diǎn)進(jìn)行分析。

    3.1? 設(shè)計(jì)動(dòng)機(jī)

    基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN的設(shè)計(jì)動(dòng)機(jī)來(lái)源于以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)和智能網(wǎng)卡在網(wǎng)絡(luò)功能卸載方面的優(yōu)異性能。

    在當(dāng)前以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)中,服務(wù)器承擔(dān)數(shù)據(jù)的路由轉(zhuǎn)發(fā)功能,但其數(shù)據(jù)轉(zhuǎn)發(fā)需要CPU中斷當(dāng)前任務(wù)進(jìn)行參與,而采用智能網(wǎng)卡進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)則可以將CPU參與的網(wǎng)絡(luò)功能卸載到智能網(wǎng)卡上,由智能網(wǎng)卡根據(jù)應(yīng)用需求執(zhí)行數(shù)據(jù)路由轉(zhuǎn)發(fā)處理任務(wù)。采用智能網(wǎng)卡進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)不但能夠解耦服務(wù)器CPU的網(wǎng)絡(luò)負(fù)荷,而且能夠提升網(wǎng)絡(luò)轉(zhuǎn)發(fā)效率降低網(wǎng)絡(luò)傳輸延遲。因此,通過(guò)將智能網(wǎng)卡和以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)相結(jié)合進(jìn)行新型數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)具有廣闊的設(shè)計(jì)空間和優(yōu)化網(wǎng)絡(luò)性能的現(xiàn)實(shí)意義。

    3.2? 設(shè)計(jì)方案

    下面分別從數(shù)據(jù)中心網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)和路由設(shè)計(jì)兩個(gè)方面描述基于多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN的方案。

    3.2.1? 架構(gòu)設(shè)計(jì)

    基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN設(shè)計(jì)中,直接采用多端口智能網(wǎng)卡替換基于多端口服務(wù)器的數(shù)據(jù)中心網(wǎng)絡(luò)中的傳統(tǒng)網(wǎng)卡,即可構(gòu)成基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

    以超立方體數(shù)據(jù)中心網(wǎng)絡(luò)CamCube[4]結(jié)構(gòu)為例,原網(wǎng)絡(luò)中采用6端口的傳統(tǒng)網(wǎng)卡,而在MPS-DCN設(shè)計(jì)中直接使用多端口智能網(wǎng)絡(luò)接口卡SNIC將傳統(tǒng)網(wǎng)卡NIC形成新型數(shù)據(jù)中心網(wǎng)絡(luò)體系結(jié)構(gòu)MPS-Cube網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。圖中省略了下兩層服務(wù)器和控制器的邏輯聯(lián)系;服務(wù)器的編號(hào)表示其邏輯位置,該網(wǎng)絡(luò)特點(diǎn)是物理位置和邏輯位置一致。相對(duì)于CamCube網(wǎng)絡(luò)結(jié)構(gòu),MPS-Cube采用多端口智能網(wǎng)卡能夠在邏輯上配置軟件定義網(wǎng)絡(luò)控制器(SDN Controller),使用SDN控制器可以根據(jù)當(dāng)前網(wǎng)絡(luò)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)高效的數(shù)據(jù)調(diào)度。

    在基于多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)中,多端口服務(wù)器的CPU不再需要承擔(dān)網(wǎng)絡(luò)相關(guān)功能,數(shù)據(jù)的路由轉(zhuǎn)發(fā)、網(wǎng)絡(luò)狀態(tài)探測(cè)和數(shù)據(jù)封裝加速等任務(wù)均由多端口智能網(wǎng)卡承擔(dān)。由于多端口智能網(wǎng)卡具有遠(yuǎn)程直接存儲(chǔ)器存?。≧emote Direct Memory Access,RDMA)功能,因此可以直接訪問(wèn)服務(wù)器存儲(chǔ)區(qū)中的數(shù)據(jù),而不需要服務(wù)器CPU中斷當(dāng)前任務(wù)進(jìn)行干預(yù)。

    3.2.2? 路由設(shè)計(jì)

    由于多端口智能網(wǎng)卡能夠兼容標(biāo)準(zhǔn)以太網(wǎng)和Infiniband網(wǎng)絡(luò),因此基于多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)可以采用原有標(biāo)準(zhǔn)的TCP/IP協(xié)議體系完成數(shù)據(jù)路由過(guò)程?;诜?wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN可以直接部署傳統(tǒng)的開(kāi)放式最短路徑優(yōu)先(Open Shortest Path First,OSPF)和等價(jià)多路徑路由(Equal-Cost Multipath Routing,ECMP)等協(xié)議,并可兼容基于IPv6的各類組播和廣播等數(shù)據(jù)傳輸模式。上述傳統(tǒng)網(wǎng)絡(luò)協(xié)議主要基于靜態(tài)路由過(guò)程,難以根據(jù)當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)流量?jī)A斜狀態(tài)實(shí)時(shí)調(diào)整網(wǎng)絡(luò)傳輸調(diào)度策略。

    在MPS-Cube網(wǎng)絡(luò)結(jié)構(gòu)中,服務(wù)器的邏輯位置與其物理位置一致,因此服務(wù)器之間可以采用基于位置的路由策略。使用src代表數(shù)據(jù)源服務(wù)器,dst代表目的服務(wù)器,則可采用逐位變化的方式得出src到dst的路由路徑。例如src=000,dst=222,則src到dst之間的路徑可表示為path1=(000,002,022,222),path2=(000,002,202,222),path3=(000,020,220,222),path4=(000,020,022,222),path5=(000,200,220,222),path6=(000,200,202,222)。部署多端口智能網(wǎng)卡SNIC的數(shù)據(jù)中心網(wǎng)絡(luò)兼容該靜態(tài)路由策略,并能夠根據(jù)網(wǎng)絡(luò)當(dāng)前的實(shí)時(shí)負(fù)載進(jìn)行路由調(diào)度,以充分發(fā)揮多端口智能網(wǎng)卡的優(yōu)勢(shì),滿足用戶定制化的路由調(diào)度需求。

    基于多端口智能網(wǎng)卡的MPS-Cube網(wǎng)絡(luò)能夠支持網(wǎng)絡(luò)的軟件定義屬性,從而支持網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)過(guò)程中控制平面和數(shù)據(jù)平面的解耦分離,控制器根據(jù)網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)動(dòng)態(tài)優(yōu)化網(wǎng)絡(luò)傳輸調(diào)度機(jī)制以提高網(wǎng)絡(luò)吞吐量。MPS-Cube網(wǎng)絡(luò)可以在服務(wù)器和鏈路負(fù)荷較大時(shí),根據(jù)全局網(wǎng)絡(luò)狀態(tài)和待傳輸數(shù)據(jù)量動(dòng)態(tài)規(guī)劃數(shù)據(jù)傳輸路徑。以圖3的網(wǎng)絡(luò)結(jié)構(gòu)為例,src=000代表數(shù)據(jù)源服務(wù)器,dst=222代表目的服務(wù)器。當(dāng)前網(wǎng)絡(luò)中服務(wù)器200和鏈路(000,002)負(fù)荷較大時(shí),源服務(wù)器則通過(guò)path3=(000,020,220,222),path4=(000,020,022,222)進(jìn)行數(shù)據(jù)傳輸。

    當(dāng)網(wǎng)絡(luò)中鏈路和服務(wù)器負(fù)荷均較大時(shí),控制器可以通過(guò)對(duì)待傳輸數(shù)據(jù)依據(jù)可用鏈路容量進(jìn)行分組多路徑傳輸,以充分利用網(wǎng)絡(luò)資源,提升網(wǎng)絡(luò)吞吐量。由于多端口智能網(wǎng)卡具有可編程特性,因此能夠支持?jǐn)?shù)據(jù)中心網(wǎng)絡(luò)的可重構(gòu)性,從而使得基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN能夠應(yīng)對(duì)呈指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)中心東西向網(wǎng)絡(luò)流量和因多樣化網(wǎng)絡(luò)應(yīng)用導(dǎo)致的流量?jī)A斜問(wèn)題。

    3.3? 其他特點(diǎn)

    基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN設(shè)計(jì)在實(shí)現(xiàn)傳統(tǒng)網(wǎng)卡功能基礎(chǔ)上,還能夠?qū)崿F(xiàn)以下智能網(wǎng)卡特有的功能:(1)智能化網(wǎng)絡(luò)協(xié)議處理:智能網(wǎng)卡支持遠(yuǎn)程直接數(shù)據(jù)存取RDMA協(xié)議和各類型的網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)膮f(xié)議。通過(guò)RDMA協(xié)議能夠?qū)崿F(xiàn)智能網(wǎng)卡到存儲(chǔ)器的數(shù)據(jù)直接存取,從而降低服務(wù)器CPU的中斷頻率,提高網(wǎng)絡(luò)輸入輸出吞吐量。各類型網(wǎng)絡(luò)傳輸協(xié)議能夠?yàn)榛诜?wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)提供更低的數(shù)據(jù)傳輸延遲,更大的網(wǎng)絡(luò)帶寬適應(yīng)性。(2)智能化網(wǎng)絡(luò)功能卸載:智能網(wǎng)卡能夠卸載SDN協(xié)議,并能夠?qū)崿F(xiàn)網(wǎng)絡(luò)功能虛擬化(Network Function Virtualization,NFV),從而實(shí)現(xiàn)基于軟件的細(xì)粒度網(wǎng)絡(luò)資源調(diào)度和網(wǎng)絡(luò)切片功能。通過(guò)SDN協(xié)議和NFV協(xié)議,基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)能夠支持網(wǎng)絡(luò)資源池細(xì)粒度的彈性分配,因而能夠從更大程度上支持?jǐn)?shù)據(jù)中心網(wǎng)絡(luò)功能的按需分配。

    4? 結(jié)? 論

    通過(guò)對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展和智能網(wǎng)卡的功能分析,結(jié)合以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和多端口智能網(wǎng)卡的優(yōu)點(diǎn),提出了基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN設(shè)計(jì)方案。文章討論了MPS-DCN的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)構(gòu)造和數(shù)據(jù)路由轉(zhuǎn)發(fā)方案,并分析了其與傳統(tǒng)網(wǎng)絡(luò)協(xié)議的兼容性。結(jié)論顯示,基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN設(shè)計(jì)方案具有以服務(wù)器為中心的數(shù)據(jù)中心網(wǎng)絡(luò)和多端口智能網(wǎng)卡的雙重優(yōu)點(diǎn)。MPS-DCN在傳統(tǒng)網(wǎng)絡(luò)架構(gòu)和協(xié)議的基礎(chǔ)上,能夠充分利用多端口智能網(wǎng)卡的可編程性實(shí)現(xiàn)智能化的網(wǎng)絡(luò)協(xié)議處理和網(wǎng)絡(luò)功能卸載,從而降低服務(wù)器的網(wǎng)絡(luò)負(fù)載,能夠有效提升網(wǎng)絡(luò)吞吐量。

    上述優(yōu)點(diǎn)使基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN設(shè)計(jì)具有優(yōu)化網(wǎng)絡(luò)性能的現(xiàn)實(shí)意義。然而,由于智能網(wǎng)卡的設(shè)計(jì)尚未形成統(tǒng)一規(guī)范化的標(biāo)準(zhǔn),因此基于服務(wù)器多端口智能網(wǎng)卡的數(shù)據(jù)中心網(wǎng)絡(luò)MPS-DCN設(shè)計(jì)還需要進(jìn)行標(biāo)準(zhǔn)化的探索和嘗試才能推向市場(chǎng)應(yīng)用。

    參考文獻(xiàn):

    [1] AL-FARES M,LOUKISSAS A,VAHDAT A. A scalable,commodity data center network architecture [C]//SIGCOMM '08:Proceedings of the ACM SIGCOMM 2008 conference on data communication.New York:Association for Computing Machinery:2008:63-74.

    [2] GUO C,WU H,TAN K,et al. DCell:a scalable and fault-tolerant network structure for data centers [C]//SIGCOMM '08:Proceedings of the ACM SIGCOMM 2008 conference on Data communication.New York:Association for Computing Machinery:2008:75–86.

    [3] GUO C,LU G,LI D,et al. BCube:a high performance,server-centric network architecture for modular data centers [C]//SIGCOMM '09:Proceedings of the ACM SIGCOMM 2009 conference on Data communication. New York:Association for Computing Machinery:2009:63–74.

    [4] ABU-LIBDEH H,COSTA P,ROWSTRON A,et al. Symbiotic routing in future data centers [C]//Proceedings of the ACM SIGCOMM 2010 conference. New York:Association for Computing Machinery:2010:51-62.

    [5] HELLER B,SEETHARAMAN S,MAHADEVAN P,et al. ElasticTree:Saving energy in data center networks [C]//NSDI'10:Proceedings of the 7th USENIX conference on Networked systems design and implementation.San Jose:USENIX Association,2010:17.

    [6] 張登科,王興偉,何強(qiáng),等.可重構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)研究綜述 [J].計(jì)算機(jī)科學(xué),2021,48(3):246-258.

    [7] 馬瀟瀟,楊帆,王展,等.智能網(wǎng)卡綜述 [J].計(jì)算機(jī)研究與發(fā)展,2021:1-20.

    作者簡(jiǎn)介:馮佩(1985—),女,漢族,陜西西安人,工程師,碩士,研究方向:計(jì)算機(jī)網(wǎng)絡(luò)、并行計(jì)算、數(shù)據(jù)庫(kù)應(yīng)用、移動(dòng)終端軟件等。

    收稿日期:2021-03-08

    基金項(xiàng)目:陜西省教育廳專項(xiàng)科學(xué)研究計(jì)劃(20JK0779)

    猜你喜歡
    網(wǎng)絡(luò)協(xié)議
    計(jì)算機(jī)網(wǎng)絡(luò)理論下的傳播研究結(jié)構(gòu)模型:Communication一詞的兩種翻譯
    一種藍(lán)牙多跳網(wǎng)絡(luò)協(xié)議的設(shè)計(jì)與研究
    電子制作(2018年17期)2018-09-28 01:56:52
    嵌入式協(xié)議棧的TCP/IP設(shè)計(jì)與實(shí)現(xiàn)
    寬帶數(shù)據(jù)鏈網(wǎng)絡(luò)協(xié)議的分析
    基于載波技術(shù)的多點(diǎn)溫度測(cè)量系統(tǒng)設(shè)計(jì)
    基于DPI技術(shù)的語(yǔ)音視頻流量監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    關(guān)于天基傳輸網(wǎng)絡(luò)體系結(jié)構(gòu)的討論
    基于Packet Tracer的綜合實(shí)驗(yàn)平臺(tái)研究
    芻議局域網(wǎng)中網(wǎng)絡(luò)協(xié)議的添加與配置
    科技資訊(2015年10期)2015-06-29 18:17:23
    ZigBee無(wú)線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)的低功耗分析
    可以免费在线观看a视频的电影网站 | 国产欧美日韩一区二区三区在线| 日韩在线高清观看一区二区三区| 国产福利在线免费观看视频| 国产麻豆69| 亚洲综合色网址| 日韩欧美精品免费久久| 女的被弄到高潮叫床怎么办| 欧美激情极品国产一区二区三区| 哪个播放器可以免费观看大片| 日韩av免费高清视频| 亚洲婷婷狠狠爱综合网| 婷婷成人精品国产| 欧美黄色片欧美黄色片| 一级片免费观看大全| 在线观看三级黄色| 色播在线永久视频| 国产深夜福利视频在线观看| 国产探花极品一区二区| 国产精品无大码| 搡老乐熟女国产| 九色亚洲精品在线播放| 精品国产一区二区三区四区第35| 亚洲一码二码三码区别大吗| 国产一区亚洲一区在线观看| 9热在线视频观看99| 国产精品久久久av美女十八| 国产成人精品久久二区二区91 | 亚洲欧洲精品一区二区精品久久久 | 少妇猛男粗大的猛烈进出视频| 婷婷色av中文字幕| 高清视频免费观看一区二区| 国产熟女午夜一区二区三区| 卡戴珊不雅视频在线播放| 婷婷成人精品国产| 捣出白浆h1v1| 精品久久久久久电影网| 精品国产国语对白av| 亚洲精品国产av蜜桃| 久久精品国产亚洲av涩爱| 亚洲人成电影观看| 搡老乐熟女国产| 欧美成人午夜精品| 亚洲精华国产精华液的使用体验| 国产精品成人在线| 久久热在线av| 久久久久久人人人人人| 国产免费又黄又爽又色| 免费少妇av软件| 亚洲欧美中文字幕日韩二区| 日韩人妻精品一区2区三区| 国产一区二区三区综合在线观看| 精品酒店卫生间| 精品国产露脸久久av麻豆| 免费观看在线日韩| 亚洲激情五月婷婷啪啪| 国产精品一国产av| 日韩中字成人| 国产成人精品婷婷| av一本久久久久| 国产综合精华液| 国产1区2区3区精品| 欧美 亚洲 国产 日韩一| 最近2019中文字幕mv第一页| 亚洲,欧美,日韩| 午夜av观看不卡| 天美传媒精品一区二区| 女人被躁到高潮嗷嗷叫费观| 黑丝袜美女国产一区| 菩萨蛮人人尽说江南好唐韦庄| 嫩草影院入口| 美女午夜性视频免费| 男女免费视频国产| 日韩av免费高清视频| 欧美精品亚洲一区二区| 国产午夜精品一二区理论片| 国产 一区精品| 日韩成人av中文字幕在线观看| 国产精品久久久久久久久免| 国产在线免费精品| 亚洲美女视频黄频| 日韩免费高清中文字幕av| 一个人免费看片子| 亚洲精品aⅴ在线观看| 欧美中文综合在线视频| 久久久久国产精品人妻一区二区| 国产在线视频一区二区| 日韩不卡一区二区三区视频在线| av不卡在线播放| 巨乳人妻的诱惑在线观看| 99国产综合亚洲精品| 街头女战士在线观看网站| 久久99一区二区三区| 国产欧美日韩一区二区三区在线| 国产成人精品一,二区| 黑丝袜美女国产一区| 青草久久国产| 美女国产视频在线观看| 日本av手机在线免费观看| 超碰成人久久| 三级国产精品片| 国产精品一二三区在线看| 欧美 日韩 精品 国产| 免费少妇av软件| 97在线人人人人妻| 国产伦理片在线播放av一区| 欧美激情极品国产一区二区三区| 国产av精品麻豆| 婷婷色麻豆天堂久久| 男女啪啪激烈高潮av片| 国产熟女午夜一区二区三区| 激情五月婷婷亚洲| 国产精品久久久久成人av| 久久国产精品男人的天堂亚洲| 欧美xxⅹ黑人| 校园人妻丝袜中文字幕| 国产欧美日韩一区二区三区在线| 丝袜美腿诱惑在线| 日韩av免费高清视频| 精品少妇一区二区三区视频日本电影 | 日韩 亚洲 欧美在线| 热99久久久久精品小说推荐| 最黄视频免费看| 嫩草影院入口| 国产精品国产av在线观看| 久久精品亚洲av国产电影网| 日韩欧美精品免费久久| 久热这里只有精品99| 欧美亚洲 丝袜 人妻 在线| 天美传媒精品一区二区| 国产在线一区二区三区精| 亚洲欧美精品自产自拍| 欧美中文综合在线视频| 国产一级毛片在线| 色网站视频免费| 亚洲精品国产一区二区精华液| 久久久久网色| 黄色配什么色好看| 日日撸夜夜添| 热re99久久精品国产66热6| 黄色配什么色好看| 亚洲国产欧美在线一区| 亚洲三区欧美一区| 性高湖久久久久久久久免费观看| 一本—道久久a久久精品蜜桃钙片| 男人爽女人下面视频在线观看| 国产av一区二区精品久久| 香蕉国产在线看| 9191精品国产免费久久| 日韩精品免费视频一区二区三区| 又大又黄又爽视频免费| 国产精品嫩草影院av在线观看| 亚洲人成网站在线观看播放| 国产一区二区在线观看av| 成年人午夜在线观看视频| 久久毛片免费看一区二区三区| 成人黄色视频免费在线看| 午夜日韩欧美国产| 成年女人在线观看亚洲视频| 日韩精品有码人妻一区| 男人爽女人下面视频在线观看| 人妻一区二区av| 成人国产麻豆网| 在现免费观看毛片| 亚洲,欧美,日韩| av片东京热男人的天堂| 亚洲欧美精品综合一区二区三区 | www.熟女人妻精品国产| 中文字幕制服av| 黄频高清免费视频| 亚洲av电影在线观看一区二区三区| 在线亚洲精品国产二区图片欧美| 一级,二级,三级黄色视频| 亚洲精品久久午夜乱码| 久久久a久久爽久久v久久| 日韩一本色道免费dvd| 亚洲 欧美一区二区三区| 国产亚洲精品第一综合不卡| 亚洲精品日韩在线中文字幕| 美国免费a级毛片| 午夜福利一区二区在线看| 久久久国产欧美日韩av| 国产精品国产三级专区第一集| 日日摸夜夜添夜夜爱| 国产日韩欧美在线精品| 免费人妻精品一区二区三区视频| 亚洲av免费高清在线观看| 亚洲,欧美,日韩| 日韩大片免费观看网站| 精品国产超薄肉色丝袜足j| 成人亚洲精品一区在线观看| 美女xxoo啪啪120秒动态图| 自线自在国产av| 美女大奶头黄色视频| 啦啦啦中文免费视频观看日本| 国产一区有黄有色的免费视频| 国产黄频视频在线观看| 天天躁日日躁夜夜躁夜夜| 另类亚洲欧美激情| 亚洲色图 男人天堂 中文字幕| 亚洲欧美清纯卡通| 欧美+日韩+精品| 一本色道久久久久久精品综合| a 毛片基地| 看免费成人av毛片| www.精华液| 欧美 日韩 精品 国产| 国产免费福利视频在线观看| 啦啦啦中文免费视频观看日本| 美女午夜性视频免费| 日本色播在线视频| 美女国产高潮福利片在线看| 欧美最新免费一区二区三区| 色视频在线一区二区三区| 午夜福利视频在线观看免费| 少妇被粗大猛烈的视频| 丝袜脚勾引网站| 久久鲁丝午夜福利片| 亚洲国产欧美在线一区| 999久久久国产精品视频| 亚洲一码二码三码区别大吗| 欧美日韩国产mv在线观看视频| 亚洲人成网站在线观看播放| xxx大片免费视频| 如何舔出高潮| 国产精品国产三级专区第一集| 一区二区三区乱码不卡18| 1024香蕉在线观看| 中国三级夫妇交换| 久热久热在线精品观看| 亚洲av欧美aⅴ国产| 啦啦啦视频在线资源免费观看| 在线观看免费视频网站a站| 如日韩欧美国产精品一区二区三区| 国产成人av激情在线播放| 精品国产国语对白av| 夫妻午夜视频| 2021少妇久久久久久久久久久| 久久久久国产精品人妻一区二区| 免费大片黄手机在线观看| 亚洲内射少妇av| 国产精品国产三级国产专区5o| 深夜精品福利| 最新中文字幕久久久久| 日日摸夜夜添夜夜爱| 精品亚洲乱码少妇综合久久| 亚洲一区二区三区欧美精品| 老司机亚洲免费影院| 在线天堂中文资源库| 欧美另类一区| 国产成人精品一,二区| 精品国产乱码久久久久久小说| 人妻少妇偷人精品九色| 女人久久www免费人成看片| 国产男女内射视频| 亚洲国产成人一精品久久久| 一区福利在线观看| 国产日韩欧美视频二区| 亚洲精华国产精华液的使用体验| 这个男人来自地球电影免费观看 | 国产福利在线免费观看视频| 国产男女内射视频| 日韩中文字幕欧美一区二区 | av在线播放精品| 九色亚洲精品在线播放| 国产不卡av网站在线观看| 天天操日日干夜夜撸| 在线观看免费日韩欧美大片| 色吧在线观看| 少妇猛男粗大的猛烈进出视频| 国产精品熟女久久久久浪| 一级爰片在线观看| 精品福利永久在线观看| 欧美日韩亚洲国产一区二区在线观看 | 免费观看性生交大片5| 另类精品久久| 1024视频免费在线观看| 久久久久网色| 制服丝袜香蕉在线| 王馨瑶露胸无遮挡在线观看| 欧美激情极品国产一区二区三区| 久久久久久久精品精品| 午夜免费男女啪啪视频观看| 国产精品欧美亚洲77777| 一个人免费看片子| 亚洲伊人久久精品综合| 晚上一个人看的免费电影| 亚洲av中文av极速乱| 欧美日韩国产mv在线观看视频| 不卡视频在线观看欧美| 激情五月婷婷亚洲| 日韩精品免费视频一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91| 飞空精品影院首页| 成人手机av| 777久久人妻少妇嫩草av网站| 欧美日韩综合久久久久久| 最近中文字幕高清免费大全6| 成人午夜精彩视频在线观看| 在线观看三级黄色| 欧美精品高潮呻吟av久久| 国产精品秋霞免费鲁丝片| 热re99久久精品国产66热6| 日韩人妻精品一区2区三区| 超碰成人久久| 日本-黄色视频高清免费观看| 色播在线永久视频| 看十八女毛片水多多多| 久久99热这里只频精品6学生| av视频免费观看在线观看| 亚洲国产欧美在线一区| 国产精品麻豆人妻色哟哟久久| 又大又黄又爽视频免费| 中文字幕亚洲精品专区| 五月伊人婷婷丁香| 超碰97精品在线观看| 2022亚洲国产成人精品| 日韩 亚洲 欧美在线| 国产精品av久久久久免费| 久久 成人 亚洲| 国产探花极品一区二区| 黄色怎么调成土黄色| 18+在线观看网站| www.精华液| 精品亚洲乱码少妇综合久久| 国产国语露脸激情在线看| 妹子高潮喷水视频| 日本av免费视频播放| 少妇熟女欧美另类| 这个男人来自地球电影免费观看 | 久热这里只有精品99| 中文精品一卡2卡3卡4更新| av在线app专区| 日本wwww免费看| 欧美 日韩 精品 国产| 中文欧美无线码| 国产乱来视频区| 国产精品 国内视频| 99久国产av精品国产电影| 99国产综合亚洲精品| 大片免费播放器 马上看| 黄色配什么色好看| 久久国产亚洲av麻豆专区| 亚洲欧美成人精品一区二区| 制服人妻中文乱码| 国产伦理片在线播放av一区| 日韩成人av中文字幕在线观看| 久久av网站| 精品一区在线观看国产| 午夜免费男女啪啪视频观看| 成人18禁高潮啪啪吃奶动态图| 久久这里有精品视频免费| 高清av免费在线| 亚洲三级黄色毛片| 欧美日韩亚洲国产一区二区在线观看 | 亚洲国产精品一区三区| 国产成人一区二区在线| 久久久久久久精品精品| www.av在线官网国产| 看免费av毛片| 国产一区二区激情短视频 | 精品福利永久在线观看| 国产黄色视频一区二区在线观看| 国产黄色免费在线视频| 秋霞在线观看毛片| 免费人妻精品一区二区三区视频| 999精品在线视频| 国产精品国产三级专区第一集| 2021少妇久久久久久久久久久| 亚洲精品美女久久久久99蜜臀 | 中文字幕人妻熟女乱码| 精品久久久精品久久久| 赤兔流量卡办理| xxx大片免费视频| 伊人久久国产一区二区| 黄片无遮挡物在线观看| 王馨瑶露胸无遮挡在线观看| 亚洲国产看品久久| 青草久久国产| 午夜福利影视在线免费观看| 亚洲,欧美,日韩| 国产亚洲欧美精品永久| 三上悠亚av全集在线观看| 国产精品 国内视频| 卡戴珊不雅视频在线播放| 亚洲国产看品久久| 亚洲欧洲国产日韩| 777久久人妻少妇嫩草av网站| 看十八女毛片水多多多| 欧美少妇被猛烈插入视频| 国产欧美日韩一区二区三区在线| 国产女主播在线喷水免费视频网站| 日日摸夜夜添夜夜爱| 久热这里只有精品99| 午夜av观看不卡| 下体分泌物呈黄色| 久久女婷五月综合色啪小说| 丰满乱子伦码专区| 亚洲图色成人| 2022亚洲国产成人精品| 日韩免费高清中文字幕av| 久久精品国产亚洲av涩爱| 欧美精品国产亚洲| 亚洲国产精品国产精品| 波多野结衣一区麻豆| 麻豆精品久久久久久蜜桃| 国产免费福利视频在线观看| 美女主播在线视频| 免费播放大片免费观看视频在线观看| 99久国产av精品国产电影| 亚洲,欧美,日韩| 大片电影免费在线观看免费| 婷婷色av中文字幕| 精品福利永久在线观看| 9191精品国产免费久久| 1024香蕉在线观看| xxx大片免费视频| 免费黄网站久久成人精品| freevideosex欧美| 欧美人与性动交α欧美软件| 欧美日本中文国产一区发布| 亚洲欧洲精品一区二区精品久久久 | 日本色播在线视频| 国产黄色视频一区二区在线观看| 国产熟女欧美一区二区| 黄色怎么调成土黄色| 考比视频在线观看| 一级毛片电影观看| 久久久久精品人妻al黑| 欧美日韩国产mv在线观看视频| 寂寞人妻少妇视频99o| 黄色视频在线播放观看不卡| 国产一区二区三区av在线| 亚洲国产成人一精品久久久| 一本色道久久久久久精品综合| 国产精品香港三级国产av潘金莲 | 少妇的丰满在线观看| 丝袜美腿诱惑在线| 老司机影院成人| 午夜日本视频在线| 亚洲国产欧美日韩在线播放| 国产成人91sexporn| 亚洲第一av免费看| 中国国产av一级| 国产在线免费精品| 亚洲四区av| 视频在线观看一区二区三区| 女的被弄到高潮叫床怎么办| 亚洲一级一片aⅴ在线观看| 一区福利在线观看| 校园人妻丝袜中文字幕| 精品国产露脸久久av麻豆| 丝袜脚勾引网站| 青草久久国产| 97在线人人人人妻| 欧美另类一区| 国产在线免费精品| 亚洲av免费高清在线观看| 亚洲精品视频女| 超碰97精品在线观看| 亚洲国产av新网站| 久久狼人影院| 久久人人爽av亚洲精品天堂| 国产高清不卡午夜福利| 欧美日韩精品网址| 五月伊人婷婷丁香| 国产精品久久久av美女十八| 亚洲av电影在线观看一区二区三区| 国产成人精品福利久久| 国产精品嫩草影院av在线观看| 国产极品天堂在线| 99久久人妻综合| 大片电影免费在线观看免费| 亚洲久久久国产精品| 好男人视频免费观看在线| 高清黄色对白视频在线免费看| 日韩一区二区三区影片| 成人国产麻豆网| 国产免费又黄又爽又色| 欧美日韩视频高清一区二区三区二| 女人久久www免费人成看片| 99久国产av精品国产电影| 国产极品天堂在线| 亚洲国产精品国产精品| www.熟女人妻精品国产| 性高湖久久久久久久久免费观看| 美女国产高潮福利片在线看| 一区在线观看完整版| av在线播放精品| 精品国产乱码久久久久久男人| 97精品久久久久久久久久精品| 日本午夜av视频| 亚洲国产毛片av蜜桃av| av天堂久久9| 国产免费现黄频在线看| 水蜜桃什么品种好| 日韩精品有码人妻一区| 亚洲精品久久成人aⅴ小说| 色视频在线一区二区三区| 精品国产露脸久久av麻豆| 侵犯人妻中文字幕一二三四区| 久久精品久久久久久噜噜老黄| 久久国产精品男人的天堂亚洲| 9色porny在线观看| 日本免费在线观看一区| 丝袜脚勾引网站| 观看av在线不卡| 丝袜喷水一区| 高清av免费在线| 亚洲国产毛片av蜜桃av| 青草久久国产| 日韩大片免费观看网站| 国产欧美日韩一区二区三区在线| 在线观看免费日韩欧美大片| 啦啦啦啦在线视频资源| 制服诱惑二区| 女的被弄到高潮叫床怎么办| 最新中文字幕久久久久| 久久精品国产鲁丝片午夜精品| 中国三级夫妇交换| 午夜福利视频在线观看免费| 国产成人精品婷婷| av视频免费观看在线观看| 亚洲情色 制服丝袜| 亚洲精品美女久久av网站| 国产精品欧美亚洲77777| 午夜免费男女啪啪视频观看| 久久久久人妻精品一区果冻| 亚洲,欧美精品.| 久久99热这里只频精品6学生| 欧美+日韩+精品| 日本av手机在线免费观看| 国产在线免费精品| 国产1区2区3区精品| 亚洲人成77777在线视频| 黄片播放在线免费| 国产xxxxx性猛交| 亚洲av福利一区| 亚洲第一av免费看| 久久青草综合色| 天天操日日干夜夜撸| 亚洲精品国产av蜜桃| 欧美中文综合在线视频| 久久精品人人爽人人爽视色| 亚洲欧美日韩另类电影网站| av免费在线看不卡| kizo精华| 免费观看无遮挡的男女| 欧美最新免费一区二区三区| 一级毛片我不卡| 一个人免费看片子| 99re6热这里在线精品视频| av国产精品久久久久影院| 欧美+日韩+精品| 久久99热这里只频精品6学生| 中文字幕人妻丝袜一区二区 | 人妻久久中文字幕网| 男女做爰动态图高潮gif福利片 | 一进一出抽搐动态| 久久人人97超碰香蕉20202| 国产麻豆69| 美女大奶头视频| 免费久久久久久久精品成人欧美视频| 男人舔女人下体高潮全视频| www.精华液| 1024香蕉在线观看| 黄色a级毛片大全视频| 亚洲av日韩精品久久久久久密| 91在线观看av| 日韩欧美免费精品| 久久久久国产精品人妻aⅴ院| a级毛片在线看网站| 久久香蕉精品热| 欧美日韩福利视频一区二区| 最好的美女福利视频网| 亚洲男人的天堂狠狠| 亚洲第一青青草原| 中文字幕高清在线视频| 中文字幕人妻丝袜制服| 亚洲精品一卡2卡三卡4卡5卡| 大香蕉久久成人网| 国产男靠女视频免费网站| 国产精品一区二区免费欧美| 高清黄色对白视频在线免费看| 久久人人97超碰香蕉20202| 国产精品一区二区在线不卡| 日本免费a在线| 国产成人欧美| 国产精品永久免费网站| 国产精品av久久久久免费| 老汉色∧v一级毛片| 精品久久蜜臀av无| 精品国产美女av久久久久小说| 欧美最黄视频在线播放免费 | 麻豆一二三区av精品| 国产成人影院久久av| 巨乳人妻的诱惑在线观看| 一级毛片高清免费大全| 99riav亚洲国产免费| 欧美在线黄色| 中文字幕最新亚洲高清| 啦啦啦 在线观看视频| 国产免费男女视频| 日韩高清综合在线| 好男人电影高清在线观看| 性色av乱码一区二区三区2| 国产片内射在线| 99热只有精品国产| 免费一级毛片在线播放高清视频 | 黄色视频不卡| 国产免费男女视频| 丝袜人妻中文字幕| 欧美+亚洲+日韩+国产| 色综合欧美亚洲国产小说| 99热只有精品国产|