• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    支持多個(gè)網(wǎng)絡(luò)功能共存的可編程數(shù)據(jù)平面虛擬化

    2023-11-18 08:49:12李子勇胡宇翔田裴金川
    電子與信息學(xué)報(bào) 2023年10期
    關(guān)鍵詞:管理程序流水線數(shù)據(jù)包

    李子勇 胡宇翔田 樂(lè) 裴金川

    (解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué) 鄭州 450002)

    1 引言

    隨著網(wǎng)絡(luò)技術(shù)的深入發(fā)展和各種新型網(wǎng)絡(luò)業(yè)務(wù)的大量涌現(xiàn),尤其是工業(yè)互聯(lián)網(wǎng)、自動(dòng)駕駛、全息通信、物聯(lián)網(wǎng)等新型服務(wù)模式的興起,當(dāng)前互聯(lián)網(wǎng)在高效性、安全性、移動(dòng)性、可擴(kuò)展性等方面正在遭受著難以克服的挑戰(zhàn)[1]。面對(duì)萬(wàn)物互聯(lián)的時(shí)代,未來(lái)將會(huì)有海量差異化的通信主體接入網(wǎng)絡(luò),因此,未來(lái)網(wǎng)絡(luò)應(yīng)支持多樣化的標(biāo)識(shí)表達(dá)。同時(shí),由于多元化通信主體的接入和各種異構(gòu)化網(wǎng)絡(luò)的互聯(lián)互通。未來(lái)網(wǎng)絡(luò)應(yīng)支持多種網(wǎng)絡(luò)協(xié)議體系共存和多樣化的尋址路由能力。然而,當(dāng)前互聯(lián)網(wǎng)采用以IP/TCP為核心的“盡力而為”的傳輸模式,難以提供海量和差異化服務(wù),且多種協(xié)議體系共存又面臨兼容問(wèn)題,已難以滿足萬(wàn)戶互聯(lián)的多元化服務(wù)需求[2]。

    針對(duì)當(dāng)前互聯(lián)網(wǎng)體系架構(gòu)存在的缺陷與不足,近年來(lái),以IPv4/IPv6標(biāo)識(shí)過(guò)渡[3]、內(nèi)容標(biāo)識(shí)[4]、身份標(biāo)識(shí)[5]、地理位置標(biāo)識(shí)[6]等多樣化的尋址與路由技術(shù)紛紛被提出,并在部分場(chǎng)景得到運(yùn)用。為了應(yīng)對(duì)未來(lái)時(shí)變且多元化的網(wǎng)絡(luò)需求,我國(guó)鄔江興院士提出了“多模態(tài)網(wǎng)絡(luò)[7]”的概念,指出未來(lái)網(wǎng)絡(luò)應(yīng)支持多種網(wǎng)絡(luò)技術(shù)體系以“網(wǎng)絡(luò)模態(tài)”的形式協(xié)同發(fā)展,每一種網(wǎng)絡(luò)技術(shù)體系或網(wǎng)絡(luò)模態(tài)可針對(duì)一種服務(wù)模式或用網(wǎng)需求,運(yùn)行自定義的報(bào)文格式、尋址與路由協(xié)議,支持多樣化的數(shù)據(jù)平面處理邏輯。多模態(tài)網(wǎng)絡(luò)要求底層網(wǎng)絡(luò)設(shè)備能同時(shí)支持多種網(wǎng)絡(luò)模態(tài)的共存并實(shí)現(xiàn)不同網(wǎng)絡(luò)模態(tài)之間的隔離,且具備較高的轉(zhuǎn)發(fā)性能和靈活可編程能力。網(wǎng)絡(luò)虛擬化可實(shí)現(xiàn)在同一網(wǎng)絡(luò)基礎(chǔ)設(shè)施中運(yùn)行多個(gè)虛擬網(wǎng)絡(luò)以適應(yīng)多元化的網(wǎng)絡(luò)需求,然而,當(dāng)前網(wǎng)絡(luò)虛擬化主要通過(guò)虛擬機(jī)或容器技術(shù)實(shí)現(xiàn)了多個(gè)虛擬網(wǎng)絡(luò)功能在同一網(wǎng)絡(luò)設(shè)備上靈活高效的部署,但其導(dǎo)致了較大的I/O開(kāi)銷,嚴(yán)重降低了網(wǎng)絡(luò)吞吐量[8]。隨著可編程數(shù)據(jù)平面的深入研究,尤其是可編程協(xié)議無(wú)關(guān)報(bào)文處理語(yǔ)言P4的出現(xiàn),網(wǎng)絡(luò)運(yùn)營(yíng)商能夠自定義新的網(wǎng)絡(luò)協(xié)議和數(shù)據(jù)平面處理邏輯[9]。然而,當(dāng)前可編程數(shù)據(jù)平面提供了獨(dú)占的數(shù)據(jù)平面抽象,難以同時(shí)支持多個(gè)網(wǎng)絡(luò)環(huán)境[10],且相互嵌套的P 4程序會(huì)引發(fā)新的問(wèn)題,如多個(gè)P4程序之間邏輯沖突,或一個(gè)程序消耗超過(guò)公平份額的資源導(dǎo)致資源沖突等。

    針對(duì)以上問(wèn)題,本文提出了一種支持并行流水線的虛擬化可編程數(shù)據(jù)平面結(jié)構(gòu)(V ir tua lized P4-based Programm able Data Plane architecture w ith Parallel Pipeline,VirtP6),支持多個(gè)網(wǎng)絡(luò)功能在同一物理數(shù)據(jù)平面上并行運(yùn)行。VirtP6可實(shí)現(xiàn)以下目標(biāo):(1)高性能:虛擬化的網(wǎng)絡(luò)功能保持較高的數(shù)據(jù)包轉(zhuǎn)發(fā)性能,具有較低的虛擬化開(kāi)銷;(2)隔離性:每個(gè)虛擬網(wǎng)絡(luò)功能都在彼此隔離的環(huán)境中運(yùn)行,尤其是數(shù)據(jù)平面所需的寄存器、流表資源彼此隔離,每個(gè)虛擬網(wǎng)絡(luò)功能都按照預(yù)先分配的資源轉(zhuǎn)發(fā)數(shù)據(jù)包,避免彼此搶占資源。(3)可擴(kuò)展性:支持多個(gè)虛擬網(wǎng)絡(luò)功能動(dòng)態(tài)添加和移除,且虛擬網(wǎng)絡(luò)功能的數(shù)量對(duì)物理數(shù)據(jù)平面的轉(zhuǎn)發(fā)性能影響較小。本文的主要貢獻(xiàn)如下:

    (1)提出一種虛擬化可編程數(shù)據(jù)平面結(jié)構(gòu)VirtP6,在物理資源平臺(tái)與虛擬網(wǎng)絡(luò)功能之間引入管理程序,以支持并行的數(shù)據(jù)包處理流水線,實(shí)現(xiàn)了可編程數(shù)據(jù)平面的虛擬化。

    (2)設(shè)計(jì)相應(yīng)的解析與隔離機(jī)制實(shí)現(xiàn)了同一設(shè)備上不同虛擬網(wǎng)絡(luò)功能之間的資源隔離、流量隔離和訪問(wèn)隔離。

    (3)在BM v2軟件交換機(jī)上實(shí)現(xiàn)了V irtP6原型,并對(duì)VirtP6的整體性能進(jìn)行了評(píng)估。仿真結(jié)果表明:VirtP6有效降低了虛擬化開(kāi)銷,將延遲減少了68%,吞吐量提高了75%,實(shí)現(xiàn)了接近NativeP4的性能,具有良好的隔離性和擴(kuò)展性。

    2 相關(guān)工作

    目前的網(wǎng)絡(luò)虛擬化技術(shù)主要采用主機(jī)虛擬化技術(shù)。主機(jī)虛擬化技術(shù)可以分為:完全虛擬化、半虛擬化和操作系統(tǒng)虛擬化。完全虛擬化通過(guò)在底層硬件和上層操作系統(tǒng)之間構(gòu)建一層虛擬中間層hypervisor,負(fù)責(zé)為不同操作系統(tǒng)管理底層物理資源,如VMware,KVM,但該方案引入了較大虛擬化開(kāi)銷,嚴(yán)重降低了網(wǎng)絡(luò)性能[11]。以XEN和UM L為代表的半虛擬化通過(guò)修改內(nèi)核允許一部分虛擬機(jī)指令直接操作系統(tǒng)平臺(tái),提高了系統(tǒng)性能,但其實(shí)現(xiàn)較為復(fù)雜。操作系統(tǒng)虛擬化是一種輕量級(jí)的虛擬化技術(shù),通過(guò)創(chuàng)建多個(gè)“容器”來(lái)承載多個(gè)數(shù)據(jù)平面功能,并預(yù)先為“容器”分配固定資源來(lái)實(shí)現(xiàn)物理資源的隔離[12]?;谥鳈C(jī)的網(wǎng)絡(luò)虛擬化技術(shù)支持多個(gè)虛擬網(wǎng)絡(luò)高效靈活的部署,但其導(dǎo)致了較大的I/O開(kāi)銷,嚴(yán)重降低了網(wǎng)絡(luò)吞吐量,隨著網(wǎng)絡(luò)帶寬和端口速度的不斷增加,主機(jī)虛擬化技術(shù)難以滿足網(wǎng)絡(luò)高性能需求[13]。

    可編程數(shù)據(jù)平面允許網(wǎng)絡(luò)管理員以可編程的方式在硬件交換機(jī)中添加新的網(wǎng)絡(luò)協(xié)議和定制數(shù)據(jù)包的處理邏輯,大大提高了網(wǎng)絡(luò)設(shè)備的可編程能力。許多研究嘗試將虛擬化技術(shù)引入可編程數(shù)據(jù)平面以解決網(wǎng)絡(luò)虛擬化的問(wèn)題。Hancock等人[14]通過(guò)在動(dòng)作匹配表中獨(dú)立編譯P4程序?qū)崿F(xiàn)了虛擬化可編程數(shù)據(jù)平面Hyper4。但Hyper4使用大量數(shù)據(jù)包再循環(huán)操作,造成了較大的性能損失。Zhang等人[15]通過(guò)快速解析、控制流排序和動(dòng)態(tài)階段映射技術(shù),使得多個(gè)P4處理邏輯可動(dòng)態(tài)映射到不同的匹配動(dòng)作階段,實(shí)現(xiàn)了數(shù)據(jù)平面的完全虛擬化,但其未實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化所需要的隔離要求。Zhou等人[16]提出了一種基于P4的模塊化編程架構(gòu)ClickP4,通過(guò)將單個(gè)P4程序分解為多個(gè)可重用網(wǎng)絡(luò)功能,并通過(guò)動(dòng)態(tài)編排為P4編程提供了更高的靈活性。Stoyanov等人[17]提出了一種多租戶可編程交換機(jī)架構(gòu)MTPSA,可在單個(gè)可編程交換機(jī)上為不同的租戶運(yùn)行不同的P4程序,并給出了隔離租戶的建議。但MTPSA沒(méi)有考慮訪問(wèn)隔離,這同樣存在安全威脅。Saquetti等人[18]通過(guò)改進(jìn)NetFPGA架構(gòu)提出了一種用于數(shù)據(jù)平面虛擬化的可重構(gòu)架構(gòu)P4VBox,實(shí)現(xiàn)了多個(gè)虛擬數(shù)據(jù)平面功能的并行執(zhí)行和在線配置,實(shí)驗(yàn)表明,與HyPer4,HyperVDP相比,P4VBox將帶寬提高了2倍,延遲減少了6倍,但P4VBox僅限于FPGA硬件,且缺乏靈活的資源調(diào)度能力。

    3 VirtP6整體架構(gòu)

    圖1所示為V irtP6整體架構(gòu),V irtP6在物理資源平臺(tái)和多個(gè)虛擬網(wǎng)絡(luò)功能之間引入VirtP6管理程序。VirtP6管理程序負(fù)責(zé)管理并行運(yùn)行的多個(gè)虛擬網(wǎng)絡(luò)功能,協(xié)調(diào)各個(gè)虛擬網(wǎng)絡(luò)功能共享硬件資源,同時(shí),也實(shí)施各個(gè)虛擬網(wǎng)絡(luò)功能之間的隔離。在VirtP6管理程序上,每個(gè)虛擬網(wǎng)絡(luò)功能聚焦于不同的網(wǎng)絡(luò)場(chǎng)景,在相互隔離的網(wǎng)絡(luò)環(huán)境里運(yùn)行不同的協(xié)議與路由等功能。本文主要考慮4個(gè)設(shè)計(jì)原則來(lái)實(shí)施V irtP6管理程序:并行流水線結(jié)構(gòu)、資源隔離、流量隔離、訪問(wèn)隔離。其中,VirtP6管理程序的關(guān)鍵在于如何同時(shí)支持多個(gè)虛擬網(wǎng)絡(luò)功能,為了解決該問(wèn)題,本文改變了可編程數(shù)據(jù)平面的單一流水線處理結(jié)構(gòu),引入并行流水線結(jié)構(gòu),使VirtP6管理程序可同時(shí)支持多個(gè)并行流水線運(yùn)行。VirtP6管理程序可在物理數(shù)據(jù)平面上編譯多個(gè)P4程序,并虛擬出多個(gè)網(wǎng)絡(luò)功能。同時(shí),為了防止多個(gè)虛擬網(wǎng)絡(luò)功能在同一物理設(shè)備上共存時(shí)導(dǎo)致資源競(jìng)爭(zhēng),通過(guò)設(shè)計(jì)合理的解析和隔離機(jī)制,可為每個(gè)虛擬網(wǎng)絡(luò)功能提供資源隔離、流量隔離、訪問(wèn)隔離。VirtP6在實(shí)現(xiàn)可編程數(shù)據(jù)平面虛擬化的同時(shí)可保持較低的虛擬化開(kāi)銷,實(shí)現(xiàn)了較高的轉(zhuǎn)發(fā)性能。

    圖1 VirtP6整體架構(gòu)

    4 設(shè)計(jì)細(xì)節(jié)

    本節(jié)將詳細(xì)介紹VirtP6的設(shè)計(jì)細(xì)節(jié)以支持多種虛擬網(wǎng)絡(luò)功能的共存,同時(shí)滿足多種虛擬網(wǎng)絡(luò)功能之間的隔離。

    4.1 虛擬化可編程數(shù)據(jù)平面處理模型

    圖2所示為協(xié)議無(wú)關(guān)的交換機(jī)架構(gòu)(P rotocol Independent Sw itch A rchitecture,PISA)。PISA架構(gòu)通過(guò)可編程的解析器、匹配動(dòng)作單元和逆解析器組成流水線,來(lái)實(shí)現(xiàn)數(shù)據(jù)包處理邏輯的可編程,其中流量管理器部署在入口流水線和出口流水線之間[19]。管理員可以按照P4語(yǔ)法規(guī)范編寫相應(yīng)的P4程序來(lái)定義數(shù)據(jù)包的解析/逆解析、控制流以及相應(yīng)的匹配動(dòng)作單元,并通過(guò)標(biāo)準(zhǔn)的P 4編譯器將P4程序編譯到具體的硬件位置上,從而達(dá)到自定義數(shù)據(jù)平面網(wǎng)絡(luò)功能的目的。

    圖2 協(xié)議無(wú)關(guān)的交換架構(gòu)(PISA架構(gòu))

    為了解決當(dāng)前可編程數(shù)據(jù)平面存在的獨(dú)占數(shù)據(jù)平面抽象問(wèn)題,同時(shí),最大限度地保留數(shù)據(jù)平面的可編程能力,本文分析可編程數(shù)據(jù)平面的組成結(jié)構(gòu),考慮對(duì)其部分組件進(jìn)行虛擬化。由于流量管理器的不可編程特性,這里考慮只對(duì)其解析器、匹配動(dòng)作單元、逆解析器進(jìn)行虛擬化,而保留流量管理器作為共享模塊。在處理數(shù)據(jù)包時(shí),解析器需要逐層解析數(shù)據(jù)包頭以得到所有的匹配項(xiàng),最終根據(jù)不同的匹配項(xiàng)執(zhí)行相應(yīng)的動(dòng)作。當(dāng)多個(gè)虛擬網(wǎng)絡(luò)功能共存時(shí),不同的網(wǎng)絡(luò)功能可能操作獨(dú)有的包頭結(jié)構(gòu)和處理動(dòng)作,這種“解析-匹配/動(dòng)作”分離的方式不利于可編程數(shù)據(jù)平面的虛擬化。如圖3所示為虛擬化可編程數(shù)據(jù)平面處理模型。該模型假設(shè)基于“解析-匹配/動(dòng)作-逆解析”的流水線結(jié)構(gòu)可以被部分虛擬化,并組合成多條并行的流水線,同時(shí)保留其余“解析-匹配/動(dòng)作-逆解析”組件作為共享流水線。具體地,以流量管理器為界,該處理模型將共享流水線分為兩部分:入口階段和出口階段,入口階段鏈接到多個(gè)并行的流水線,每個(gè)并行的流水線的末端鏈接到出口階段。由于不采用集中的解析、匹配動(dòng)作、逆解析操作,該處理模型將“解析-匹配動(dòng)作-逆解析”組件分布到數(shù)據(jù)包處理的不同階段,可避免1次解析所有數(shù)據(jù)包頭,做到“解析-匹配/動(dòng)作”同步進(jìn)行。因此,基于該模型,V irtP6改變了PISA架構(gòu)的單一流水線結(jié)構(gòu),可在同一數(shù)據(jù)平面上承載多個(gè)不同的網(wǎng)絡(luò)功能,每個(gè)網(wǎng)絡(luò)功能彼此隔離,運(yùn)行在一個(gè)單獨(dú)的網(wǎng)絡(luò)環(huán)境中。

    圖3 虛擬化可編程數(shù)據(jù)平面處理模型

    4.2 VirtP6的具體實(shí)現(xiàn)

    VirtP6的實(shí)現(xiàn)包含兩部分:共享流水線和虛擬出的并行流水線。共享流水線充當(dāng)類似Hypervisor的管理器(這里稱之為VirtP6管理程序),可訪問(wèn)每個(gè)并行的流水線,負(fù)責(zé)將進(jìn)入的數(shù)據(jù)包分發(fā)到不同的并行流水線來(lái)處理。每個(gè)并行的流水線是完整的“解析-匹配/動(dòng)作-逆解析”的數(shù)據(jù)包處理流水線,可承載多個(gè)具有不同網(wǎng)絡(luò)功能的P 4程序。如圖4為V irtP6的具體實(shí)現(xiàn)結(jié)構(gòu)。下面對(duì)VirtP6管理程序和并行的網(wǎng)絡(luò)功能流水線的作用進(jìn)行說(shuō)明:

    圖4 VirtP6的具體實(shí)現(xiàn)結(jié)構(gòu)

    VirtP6管理程序:VirtP6管理程序不執(zhí)行具體的數(shù)據(jù)包的轉(zhuǎn)發(fā)功能,僅負(fù)責(zé)將傳入的數(shù)據(jù)包分發(fā)到不同的流水線處理。VirtP6的入口階段負(fù)責(zé)解析數(shù)據(jù)包的外層標(biāo)簽,調(diào)用不同的網(wǎng)絡(luò)功能流水線來(lái)處理數(shù)據(jù)包,其出口階段接受來(lái)自經(jīng)過(guò)網(wǎng)絡(luò)功能流水線處理后的數(shù)據(jù)包,對(duì)其進(jìn)行逆解析,重新封裝數(shù)據(jù)包外層標(biāo)簽,并送往相應(yīng)的物理端口。同時(shí),VirtP6管理程序也負(fù)責(zé)管理和配置各流水線,實(shí)施各個(gè)流水線的帶寬分配、路由決策、擁塞控制等。

    網(wǎng)絡(luò)功能流水線:每個(gè)并行的流水線可運(yùn)行不同的網(wǎng)絡(luò)功能,對(duì)外提供訪問(wèn)接口,供VirtP6管理程序調(diào)用,并支持動(dòng)態(tài)獨(dú)立編譯。每個(gè)流水線運(yùn)行在獨(dú)立的運(yùn)行環(huán)境中,維護(hù)特定的流表、寄存器、計(jì)數(shù)器等存儲(chǔ)資源,彼此之間不能互相訪問(wèn)。

    本文根據(jù)BM v2軟件交換機(jī)v1model.P4原型[20]對(duì)VirtP6管理程序和網(wǎng)絡(luò)功能流水線的結(jié)構(gòu)體進(jìn)行了重新定義,VirtP6管理程序和網(wǎng)絡(luò)功能流水線的結(jié)構(gòu)體如算法1和算法2所示,與v1model.P4相比,VirtP6管理程序增加了元數(shù)據(jù)定義virtual_function_id,用來(lái)指示每個(gè)虛擬網(wǎng)絡(luò)功能的標(biāo)識(shí)符,定義了動(dòng)作函數(shù)select_function(.)用于獲取每一個(gè)數(shù)據(jù)包所屬的虛擬網(wǎng)絡(luò)功能ID,VirtP6管理程序通過(guò)解析+匹配表的方式為每個(gè)進(jìn)入的數(shù)據(jù)包添加元數(shù)據(jù)標(biāo)識(shí)virtual_function_id。為了在同一數(shù)據(jù)平面支持多個(gè)網(wǎng)絡(luò)功能共存,V irtP6管理程序利用extern擴(kuò)展來(lái)添加網(wǎng)絡(luò)功能流水線Virtual_Function_Pipeline(.),擴(kuò)展的網(wǎng)絡(luò)功能流水線位于VirtP6管理程序的入口流水線Ingress_Pipeline和出口流水線Egress_Pipeline之間。當(dāng)數(shù)據(jù)包進(jìn)入VirtP6管理程序,Ingress_Pipeline會(huì)解析數(shù)據(jù)包頭,通過(guò)匹配得到其virtual_function_id,并利用ex tern功能調(diào)用對(duì)應(yīng)的虛擬網(wǎng)絡(luò)功能V irtua l_Function_Pipeline來(lái)處理數(shù)據(jù)包,待處理完畢后,Egress_Pipeline將對(duì)數(shù)據(jù)包完成逆解析,并根據(jù)V irtual_Function_Pipeline的處理結(jié)果從相應(yīng)的端口轉(zhuǎn)發(fā)。與完整的v1model.P4定義的流水線相比,網(wǎng)絡(luò)功能流水線對(duì)其進(jìn)行了簡(jiǎn)化,V irtual_Function_Pipeline不再區(qū)分Ingress_Pipeline和Egress_Pipeline,將其統(tǒng)一為單一流水線VF_Pipeline。可以看出,V irtP6管理程序不參與每一個(gè)虛擬網(wǎng)絡(luò)功能的協(xié)議解析和匹配動(dòng)作邏輯,只負(fù)責(zé)數(shù)據(jù)包的分發(fā),而網(wǎng)絡(luò)功能流水線被設(shè)計(jì)為VirtP6管理程序的extern函數(shù),只關(guān)注本身的功能開(kāi)發(fā)。因此,VirtP6在不降低網(wǎng)絡(luò)功能的可編程能力的同時(shí),實(shí)現(xiàn)了在同一數(shù)據(jù)平面上支持多個(gè)網(wǎng)絡(luò)功能共存。

    算法1 VirtP6管理程序結(jié)構(gòu)體

    4.3 網(wǎng)絡(luò)功能隔離機(jī)制

    V irtP6允許多個(gè)虛擬網(wǎng)絡(luò)功能運(yùn)行在單個(gè)網(wǎng)絡(luò)設(shè)備中,網(wǎng)絡(luò)運(yùn)行過(guò)程中,若沒(méi)有相應(yīng)的隔離機(jī)制保證多個(gè)網(wǎng)絡(luò)功能間的資源隔離,極易導(dǎo)致資源搶占,影響傳輸性能。因此,當(dāng)多個(gè)虛擬網(wǎng)絡(luò)功能共存于同一網(wǎng)絡(luò)設(shè)備中時(shí),需要滿足以下隔離需求:(1)資源隔離;(2)流量隔離;(3)訪問(wèn)隔離。如圖5所示,下面分析VirtP6在滿足網(wǎng)絡(luò)功能隔離性方面的設(shè)計(jì)細(xì)節(jié)。

    圖5 網(wǎng)絡(luò)功能隔離機(jī)制

    資源隔離:VirtP6管理程序可接受多個(gè)承載不同網(wǎng)絡(luò)功能流水線的P4程序作為輸入。編譯器在編譯時(shí)會(huì)對(duì)每個(gè)P4程序進(jìn)行實(shí)例化,分配網(wǎng)絡(luò)功能ID,將其所需邏輯處理單元、流表、寄存器、計(jì)數(shù)器等資源限制在單獨(dú)的操作空間內(nèi),彼此之間不能訪問(wèn),實(shí)現(xiàn)了資源隔離。

    流量隔離:除了資源隔離外,在運(yùn)行過(guò)程中,還需要實(shí)施流量隔離。V irtP6通過(guò)解析-匹配表的方式為每個(gè)數(shù)據(jù)包指定其所屬的網(wǎng)絡(luò)功能流水線ID,并將數(shù)據(jù)包送入對(duì)應(yīng)的流水線處理,不同的流量只會(huì)被其所屬的流水線處理,而不會(huì)暴露給其它流水線,實(shí)現(xiàn)了流量隔離。同時(shí),當(dāng)添加、遷移或移除流水線時(shí),只需要在VirtP6管理程序中修改相應(yīng)的流表項(xiàng)即可,而不需要修改VirtP6管理程序。

    訪問(wèn)隔離:當(dāng)多個(gè)網(wǎng)絡(luò)功能流水線并行運(yùn)行時(shí),若不能有效地實(shí)施訪問(wèn)隔離,則非法用戶可能會(huì)惡意修改任一網(wǎng)絡(luò)功能流水線的運(yùn)行邏輯或數(shù)據(jù)。受Flow Visor[21]啟發(fā),本文通過(guò)改進(jìn)P4Run tim e[22]協(xié)議對(duì)網(wǎng)絡(luò)功能流水線實(shí)施訪問(wèn)控制。P4Runtime API允許多個(gè)用戶作為gRPC客戶端同時(shí)接入交換機(jī)gRPC服務(wù)器,gRPC服務(wù)器會(huì)預(yù)先明確每個(gè)用戶的角色配置ID。當(dāng)每個(gè)網(wǎng)絡(luò)功能流水線向控制器發(fā)起請(qǐng)求消息(如packet-in)時(shí),gRPC服務(wù)器則根據(jù)其流水線ID將請(qǐng)求消息發(fā)往對(duì)應(yīng)的用戶處理;待用戶處理完成后,gRPC服務(wù)器則根據(jù)角色I(xiàn)D將控制消息(如packet-out)發(fā)送到相應(yīng)的流水線實(shí)施管理決策。每個(gè)用戶只能訪問(wèn)其所屬網(wǎng)絡(luò)功能的流表、寄存器、計(jì)數(shù)器等資源,對(duì)其他網(wǎng)絡(luò)功能無(wú)權(quán)訪問(wèn),實(shí)現(xiàn)了訪問(wèn)隔離。

    5 性能分析

    本實(shí)驗(yàn)將從4個(gè)維度對(duì)所提VirtP6的性能進(jìn)行分析:(1)以吞吐量、時(shí)延、匹配動(dòng)作表數(shù)量作為指標(biāo),對(duì)其性能開(kāi)銷進(jìn)行評(píng)估;(2)對(duì)V irtP6的流量隔離性能分析;(3)對(duì)V irtP 6的可擴(kuò)展性分析;(4)以V irtP6原型系統(tǒng)搭建網(wǎng)絡(luò)拓?fù)浞治鼍W(wǎng)絡(luò)服務(wù)性能。

    實(shí)驗(yàn)環(huán)境介紹:本文在BM v2[20]軟件交換機(jī)的基礎(chǔ)上,通過(guò)重新定義VirtP6管理程序和網(wǎng)絡(luò)功能流水線結(jié)構(gòu)體,實(shí)現(xiàn)了VirtP6原型設(shè)計(jì)。實(shí)驗(yàn)在網(wǎng)絡(luò)仿真平臺(tái)M ininet[23]上進(jìn)行測(cè)試,數(shù)據(jù)平面交換機(jī)部署均為V irtP 6原型系統(tǒng)。虛擬機(jī)為Ubun tu Server16.04,搭載Intel Core i7-3770 3.40 GHz處理器,8GB內(nèi)存。實(shí)驗(yàn)結(jié)果通過(guò)分別測(cè)試VirtP6交換機(jī)上的轉(zhuǎn)發(fā)性能和運(yùn)行在其上面的網(wǎng)絡(luò)功能的轉(zhuǎn)發(fā)性能來(lái)評(píng)估VirtP6的性能開(kāi)銷、流量隔離和組網(wǎng)運(yùn)行性能。

    對(duì)比方案:為了對(duì)比VirtP6的性能,在這里與原生可編程數(shù)據(jù)平面NativeP4[19]、可編程數(shù)據(jù)平面虛擬化方案HyperP4[14]進(jìn)行對(duì)比,(1)NativeP4:基于原生P4的可編程數(shù)據(jù)平面,不支持多個(gè)虛擬網(wǎng)絡(luò)功能的并行操作。作為基準(zhǔn)對(duì)比方案,NativeP4無(wú)虛擬化開(kāi)銷,當(dāng)需要部署多個(gè)虛擬網(wǎng)絡(luò)功能時(shí),多個(gè)虛擬網(wǎng)絡(luò)功能程序需要整合到一個(gè)P 4程序中。(2)HyperP4:一種P4數(shù)據(jù)平面虛擬化方案,在硬件和P4程序之間添加類似Hypervisor的管理程序,其大量的重新提交和再循環(huán)操作實(shí)現(xiàn)不同數(shù)據(jù)包結(jié)構(gòu)的逐層解析,將不同的網(wǎng)絡(luò)功能轉(zhuǎn)化為不同表項(xiàng)的組合,可在單個(gè)可編程數(shù)據(jù)平面上虛擬化多個(gè)虛擬網(wǎng)絡(luò)功能。

    5.1 性能開(kāi)銷

    V irtP6通過(guò)設(shè)計(jì)并行流水線處理結(jié)構(gòu)實(shí)現(xiàn)了多種虛擬網(wǎng)絡(luò)功能在同一網(wǎng)絡(luò)設(shè)備上運(yùn)行,相較于NativeP4的單一流水線結(jié)構(gòu),VirtP6增加了外層包頭解析與分發(fā)處理開(kāi)銷。為了量化V irtP6處理開(kāi)銷,本實(shí)驗(yàn)比較V irtP6,HyperP4和NativeP4的轉(zhuǎn)發(fā)時(shí)延和吞吐量,結(jié)果如圖6所示。

    圖6 時(shí)延和吞吐量對(duì)比

    從圖6(a)和圖6(b)可以看出,相較于NativeP4單一處理流水線結(jié)構(gòu),HyperP4實(shí)現(xiàn)了虛擬化的同時(shí)卻導(dǎo)致了3~4倍的時(shí)延,吞吐量也降低了76%,具有較大的虛擬化開(kāi)銷。這是因?yàn)镠yperP4需要通過(guò)多次重提交操作來(lái)逐層解析數(shù)據(jù)包,且需要為每個(gè)數(shù)據(jù)流動(dòng)作分配一個(gè)流水線,因此,其產(chǎn)生較大的虛擬化開(kāi)銷,嚴(yán)重降低了轉(zhuǎn)發(fā)性能。與HyperP4相比,VirtP6大大降低了虛擬化開(kāi)銷,將延遲減少了68%,吞吐量提高了75%,實(shí)現(xiàn)了接近NativeP4的性能。由于V irtP6采用相互隔離的并行流水線結(jié)構(gòu),采用統(tǒng)一的包頭描述內(nèi)部協(xié)議,避免了數(shù)據(jù)包的逐層解析,有效降低了HyperP4導(dǎo)致的虛擬化開(kāi)銷。

    5.2 隔離性

    隔離性是指多個(gè)虛擬網(wǎng)絡(luò)功能在同一網(wǎng)絡(luò)設(shè)備上運(yùn)行,相互獨(dú)立,性能互不影響,即一個(gè)虛擬網(wǎng)絡(luò)功能流量的增加或減少,不會(huì)影響其他虛擬網(wǎng)絡(luò)功能的轉(zhuǎn)發(fā)性能。為了驗(yàn)證VirtP6的隔離性能,我們進(jìn)行帶寬隔離實(shí)驗(yàn),實(shí)驗(yàn)拓?fù)淙鐖D7所示。實(shí)驗(yàn)過(guò)程中,由主機(jī)產(chǎn)生兩種業(yè)務(wù)流在共享鏈路上競(jìng)爭(zhēng)帶寬,共享鏈路帶寬為200 Mbit/s,在兩個(gè)交換機(jī)上均部署關(guān)于IPv4和IPv6標(biāo)識(shí)的轉(zhuǎn)發(fā)功能(2條流水線)。實(shí)驗(yàn)過(guò)程中,在主機(jī)h3和h4之間生成IPv6標(biāo)識(shí)的TCP流,在主機(jī)h1和h2生成IPv4標(biāo)識(shí)的以全鏈路帶寬(200 M bit/s)恒定速率發(fā)送的UDP業(yè)務(wù)流。實(shí)驗(yàn)分別比較在VirtP6管理程序中不啟用和啟用帶寬隔離時(shí)兩種業(yè)務(wù)流的轉(zhuǎn)發(fā)性能,啟用帶寬隔離時(shí),可通過(guò)VirtP6管理程序?yàn)椴煌摂M網(wǎng)絡(luò)功能指定帶寬分配IPv4網(wǎng)絡(luò):50 Mbit/s,IPv6網(wǎng)絡(luò):150 Mbit/s。實(shí)驗(yàn)結(jié)果如圖8所示,可以看出,在0~50 s時(shí),未啟用帶寬分配時(shí),IPv4網(wǎng)絡(luò)幾乎消耗完所有鏈路帶寬,IPv6網(wǎng)絡(luò)只消耗2%的帶寬,在啟用帶寬分配后,即使IPv4網(wǎng)絡(luò)的流量很大,也只能消耗25%的帶寬,通過(guò)為IPv6網(wǎng)絡(luò)分配了固定的帶寬,保證了其轉(zhuǎn)發(fā)性能。因此,VirtP6可為不同的虛擬網(wǎng)絡(luò)提供了良好的隔離性能。

    圖7 實(shí)驗(yàn)拓?fù)?/p>

    圖8 隔離性能

    5.3 可擴(kuò)展性

    可擴(kuò)展性是用來(lái)衡量交換機(jī)上部署的虛擬網(wǎng)絡(luò)功能的數(shù)量對(duì)其轉(zhuǎn)發(fā)性能的影響,可通過(guò)測(cè)量交換機(jī)的吞吐量和時(shí)延作為評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)驗(yàn)過(guò)程中,在交換機(jī)上部署不同數(shù)量的虛擬網(wǎng)絡(luò)功能,每個(gè)虛擬網(wǎng)絡(luò)功能的帶寬平均分配,且每個(gè)虛擬網(wǎng)絡(luò)功能以全帶寬發(fā)送數(shù)據(jù),比較交換機(jī)上的轉(zhuǎn)發(fā)時(shí)延和吞吐量。實(shí)驗(yàn)結(jié)果如圖9所示,可以看出,當(dāng)虛擬網(wǎng)絡(luò)功能數(shù)量從1個(gè)增加到15個(gè),V irtP6的平均數(shù)據(jù)包時(shí)延和吞吐量無(wú)明顯變化。因此,本文提出的VirtP6采用并行流水線結(jié)構(gòu)可有效承載不同的虛擬網(wǎng)絡(luò),具有良好的可擴(kuò)展性。

    圖9 交換機(jī)轉(zhuǎn)發(fā)性能隨流水線的數(shù)量變化

    5.4 網(wǎng)絡(luò)適用性

    VirtP6的目標(biāo)是實(shí)現(xiàn)多種虛擬網(wǎng)絡(luò)在同一網(wǎng)絡(luò)基礎(chǔ)設(shè)施上共存,以促進(jìn)新興網(wǎng)絡(luò)技術(shù)體制在現(xiàn)有網(wǎng)絡(luò)架構(gòu)上增量部署。為了對(duì)所提VirtP6的網(wǎng)絡(luò)適用性進(jìn)行評(píng)估,本實(shí)驗(yàn)使用M ininet仿真器構(gòu)建網(wǎng)絡(luò)平臺(tái),網(wǎng)絡(luò)拓?fù)淙鐖D10所示,這里選取IPv4,IPv6和身份標(biāo)識(shí)3種網(wǎng)絡(luò),實(shí)驗(yàn)分別在h1與h2,h3與h4,h5與h6之間采用IPv4,IPv6,身份標(biāo)識(shí)等尋址與路由方式進(jìn)行通信,每個(gè)虛擬網(wǎng)絡(luò)的帶寬分配分別為100 M bit/s,60 M bit/s和40 M bit/s。如圖11所示為3個(gè)虛擬網(wǎng)絡(luò)的平均吞吐量和往返時(shí)間。從圖11可以看出,IPv4,IPv6和身份標(biāo)識(shí)網(wǎng)絡(luò)在時(shí)延性能上保持較小差異,平均RTT分別為4.43 m s,4.51 m s和4.42 m s,其平均吞吐量分別為89.9 M bit/s,58.7 M bit/s和38 M bit/s,每個(gè)虛擬網(wǎng)絡(luò)基本按照預(yù)先分配的帶寬轉(zhuǎn)發(fā)數(shù)據(jù)包,雖然總帶寬不到200 Mbit/s,這是因?yàn)閂irtP6實(shí)現(xiàn)多個(gè)虛擬網(wǎng)絡(luò)共存的同時(shí)仍存在較小的虛擬化開(kāi)銷。因此,本文所提出的VirtP6可實(shí)現(xiàn)多個(gè)虛擬網(wǎng)絡(luò)在同一物理設(shè)施上共存,并實(shí)現(xiàn)了良好的性能隔離。

    圖11 不同虛擬網(wǎng)絡(luò)的轉(zhuǎn)發(fā)性能

    6 結(jié)束語(yǔ)

    針對(duì)當(dāng)前可編程數(shù)據(jù)平面提供獨(dú)占的數(shù)據(jù)平面抽象難以同時(shí)支持多個(gè)虛擬網(wǎng)絡(luò)的問(wèn)題,本文提出了一種基于并行流水線的虛擬化可編程數(shù)據(jù)平面結(jié)構(gòu)VirtP6。VirtP6改變了可編程數(shù)據(jù)平面單一的流水線結(jié)構(gòu),并在物理資源平臺(tái)和多個(gè)虛擬網(wǎng)絡(luò)功能之間引入管理程序,以支持多個(gè)虛擬網(wǎng)絡(luò)功能的并行運(yùn)行,實(shí)現(xiàn)了可編程數(shù)據(jù)平面的虛擬化,并滿足不同虛擬網(wǎng)絡(luò)功能之間的資源隔離、流量隔離、訪問(wèn)隔離要求。最后,在BM v2軟件交換機(jī)上實(shí)現(xiàn)了VirtP6原型,并從虛擬化開(kāi)銷、隔離性、擴(kuò)展性和網(wǎng)絡(luò)適用性方面對(duì)VirtP6的性能進(jìn)行了評(píng)估。實(shí)驗(yàn)結(jié)果表明,VirtP6大大減少了虛擬化開(kāi)銷,具有良好的隔離性和擴(kuò)展性。本文的下一步工作將對(duì)VirtP6添加更多的資源管理策略,以滿足不同虛擬網(wǎng)絡(luò)的服務(wù)質(zhì)量要求,并在硬件平臺(tái)上實(shí)現(xiàn)VirtP6原型。

    猜你喜歡
    管理程序流水線數(shù)據(jù)包
    Gen Z Migrant Workers Are Leaving the Assembly Line
    軍事保密管理程序法治化及其對(duì)軍民協(xié)同創(chuàng)新發(fā)展的促進(jìn)研究
    流水線
    SmartSniff
    關(guān)于EPC總承包項(xiàng)目設(shè)計(jì)管理程序文件的研究
    報(bào)廢汽車拆解半自動(dòng)流水線研究
    基于Libpcap的網(wǎng)絡(luò)數(shù)據(jù)包捕獲器的設(shè)計(jì)與實(shí)現(xiàn)
    SIMATIC IPC3000 SMART在汽車流水線領(lǐng)域的應(yīng)用
    FMC移動(dòng)性管理程序
    河南科技(2014年24期)2014-02-27 14:19:26
    視覺(jué)注意的數(shù)據(jù)包優(yōu)先級(jí)排序策略研究
    av网站免费在线观看视频 | 精品久久久久久久久亚洲| 99久久九九国产精品国产免费| 久久精品国产亚洲av涩爱| 国产伦理片在线播放av一区| 80岁老熟妇乱子伦牲交| 九九在线视频观看精品| 日韩欧美 国产精品| 久久久午夜欧美精品| 永久免费av网站大全| 国产一级毛片七仙女欲春2| 日韩精品青青久久久久久| 91久久精品电影网| 久久久久久九九精品二区国产| 亚洲乱码一区二区免费版| av免费观看日本| 久久99蜜桃精品久久| 欧美bdsm另类| 婷婷六月久久综合丁香| 精品久久久久久久久av| 日韩欧美三级三区| 日韩大片免费观看网站| 欧美bdsm另类| 亚洲欧洲国产日韩| 日韩制服骚丝袜av| 爱豆传媒免费全集在线观看| 免费看a级黄色片| 免费看a级黄色片| 男人舔女人下体高潮全视频| 久久精品夜夜夜夜夜久久蜜豆| 亚洲自拍偷在线| 3wmmmm亚洲av在线观看| 日韩av在线免费看完整版不卡| 91午夜精品亚洲一区二区三区| 婷婷色麻豆天堂久久| 亚洲第一区二区三区不卡| 人体艺术视频欧美日本| 国产精品1区2区在线观看.| 精品熟女少妇av免费看| 欧美区成人在线视频| 国产精品一区二区在线观看99 | 精品熟女少妇av免费看| 我的老师免费观看完整版| 国产免费福利视频在线观看| 美女脱内裤让男人舔精品视频| 亚洲成人av在线免费| 伊人久久精品亚洲午夜| 人人妻人人澡人人爽人人夜夜 | av免费观看日本| 草草在线视频免费看| 色吧在线观看| 亚洲av免费在线观看| 午夜激情久久久久久久| 亚洲精品国产成人久久av| 一二三四中文在线观看免费高清| 能在线免费看毛片的网站| 男女视频在线观看网站免费| 午夜福利视频精品| 国产黄片视频在线免费观看| 日韩av免费高清视频| 日韩大片免费观看网站| 国产成人精品婷婷| 又粗又硬又长又爽又黄的视频| 国产成人福利小说| 国产精品久久久久久精品电影| 国产精品人妻久久久影院| 一级毛片 在线播放| 国产精品无大码| 男人舔女人下体高潮全视频| 国产一区二区亚洲精品在线观看| 成人漫画全彩无遮挡| 亚洲国产精品成人综合色| 国产亚洲av嫩草精品影院| 在线免费观看不下载黄p国产| 极品教师在线视频| 中文在线观看免费www的网站| 久久精品国产鲁丝片午夜精品| 国产日韩欧美在线精品| 久久久欧美国产精品| 女人久久www免费人成看片| 看十八女毛片水多多多| 欧美区成人在线视频| 亚洲精品视频女| 97人妻精品一区二区三区麻豆| 婷婷六月久久综合丁香| 又粗又硬又长又爽又黄的视频| 亚洲精品国产成人久久av| 狂野欧美激情性xxxx在线观看| 激情 狠狠 欧美| 国精品久久久久久国模美| 国产av国产精品国产| 在线观看免费高清a一片| 国产免费视频播放在线视频 | 免费av观看视频| 国产一区二区三区综合在线观看 | 又大又黄又爽视频免费| 久久久亚洲精品成人影院| 亚洲精品日韩在线中文字幕| 久久精品夜夜夜夜夜久久蜜豆| 国产一区二区在线观看日韩| 菩萨蛮人人尽说江南好唐韦庄| 国国产精品蜜臀av免费| 免费观看无遮挡的男女| 2021少妇久久久久久久久久久| 国产精品伦人一区二区| 夜夜爽夜夜爽视频| 久久精品国产亚洲av涩爱| 国产黄片美女视频| 免费看日本二区| 最近最新中文字幕大全电影3| 观看美女的网站| 卡戴珊不雅视频在线播放| 久久99热这里只频精品6学生| 久久99精品国语久久久| 青春草视频在线免费观看| 国产精品久久视频播放| 免费不卡的大黄色大毛片视频在线观看 | 特大巨黑吊av在线直播| 亚洲不卡免费看| 久久久精品免费免费高清| 波野结衣二区三区在线| 2021天堂中文幕一二区在线观| 亚洲av中文av极速乱| 亚洲综合色惰| 免费观看性生交大片5| 水蜜桃什么品种好| 老女人水多毛片| 黄色配什么色好看| 神马国产精品三级电影在线观看| 色吧在线观看| 在线观看免费高清a一片| 三级国产精品片| 大又大粗又爽又黄少妇毛片口| 九草在线视频观看| 午夜福利在线在线| 中文精品一卡2卡3卡4更新| 性插视频无遮挡在线免费观看| 青春草国产在线视频| 免费观看精品视频网站| 欧美区成人在线视频| 3wmmmm亚洲av在线观看| 成人漫画全彩无遮挡| 国产人妻一区二区三区在| 极品少妇高潮喷水抽搐| 国产探花极品一区二区| 亚洲av国产av综合av卡| 国产男人的电影天堂91| 欧美成人一区二区免费高清观看| 欧美成人精品欧美一级黄| 久久久久久久久中文| av在线蜜桃| 美女国产视频在线观看| 久久97久久精品| 啦啦啦啦在线视频资源| 成人欧美大片| 亚洲欧美一区二区三区黑人 | 亚洲精品国产成人久久av| 久久97久久精品| 超碰av人人做人人爽久久| 中文乱码字字幕精品一区二区三区 | 91精品国产九色| 国产精品不卡视频一区二区| 欧美精品一区二区大全| 国产精品人妻久久久影院| 成人无遮挡网站| 中文字幕免费在线视频6| 高清视频免费观看一区二区 | 97精品久久久久久久久久精品| 男女那种视频在线观看| 黄色日韩在线| 久久精品国产自在天天线| 视频中文字幕在线观看| 99热全是精品| 80岁老熟妇乱子伦牲交| 中文字幕制服av| 亚洲四区av| 午夜爱爱视频在线播放| 最后的刺客免费高清国语| 国产乱人偷精品视频| 久久久久久久久久久免费av| 精品国产露脸久久av麻豆 | 免费电影在线观看免费观看| 亚洲精品影视一区二区三区av| 嘟嘟电影网在线观看| 日韩在线高清观看一区二区三区| 久久久久久九九精品二区国产| 亚洲国产欧美在线一区| 97热精品久久久久久| 中文字幕亚洲精品专区| 不卡视频在线观看欧美| 国产午夜精品久久久久久一区二区三区| 精品一区在线观看国产| 日韩 亚洲 欧美在线| 成人欧美大片| 中文天堂在线官网| 少妇的逼好多水| 亚洲国产精品成人久久小说| 夜夜爽夜夜爽视频| 成人毛片60女人毛片免费| 97超视频在线观看视频| 综合色丁香网| 国产精品综合久久久久久久免费| 黄色日韩在线| 日韩制服骚丝袜av| 亚洲va在线va天堂va国产| 免费看av在线观看网站| 男女那种视频在线观看| 国产免费福利视频在线观看| 最新中文字幕久久久久| 听说在线观看完整版免费高清| 99热全是精品| 亚洲,欧美,日韩| 国产午夜福利久久久久久| 国产 亚洲一区二区三区 | 亚洲精品色激情综合| 欧美日韩国产mv在线观看视频 | 亚洲国产成人一精品久久久| 美女被艹到高潮喷水动态| 免费观看av网站的网址| 免费播放大片免费观看视频在线观看| 日本爱情动作片www.在线观看| 女人被狂操c到高潮| 色5月婷婷丁香| 成人毛片a级毛片在线播放| 精品午夜福利在线看| 亚洲国产最新在线播放| 日日啪夜夜爽| 免费无遮挡裸体视频| eeuss影院久久| 国产一区亚洲一区在线观看| 你懂的网址亚洲精品在线观看| 日韩欧美精品v在线| 午夜福利网站1000一区二区三区| 极品少妇高潮喷水抽搐| 免费av不卡在线播放| 搡女人真爽免费视频火全软件| 欧美激情在线99| 欧美成人午夜免费资源| 亚洲成色77777| 美女国产视频在线观看| 日本一二三区视频观看| av在线老鸭窝| 亚洲精品aⅴ在线观看| 久久久国产一区二区| 亚洲成人久久爱视频| 看黄色毛片网站| 蜜臀久久99精品久久宅男| 观看美女的网站| 久久久久久久国产电影| 国产精品一区二区在线观看99 | 国产综合精华液| 免费看日本二区| 天天一区二区日本电影三级| 国产av码专区亚洲av| 国产大屁股一区二区在线视频| 国产毛片a区久久久久| 美女主播在线视频| 日韩av免费高清视频| 一个人观看的视频www高清免费观看| 非洲黑人性xxxx精品又粗又长| 国产精品一区www在线观看| 校园人妻丝袜中文字幕| 成人鲁丝片一二三区免费| 黄色配什么色好看| 成人国产麻豆网| 午夜免费激情av| 天堂网av新在线| 我的老师免费观看完整版| 91久久精品国产一区二区三区| 韩国高清视频一区二区三区| 国产一区二区三区综合在线观看 | 亚洲国产最新在线播放| 99热这里只有是精品50| 成人毛片a级毛片在线播放| 少妇丰满av| 伊人久久精品亚洲午夜| 免费看a级黄色片| 搡老乐熟女国产| 非洲黑人性xxxx精品又粗又长| 中国美白少妇内射xxxbb| 男女边摸边吃奶| 亚洲最大成人av| 成人二区视频| 国产精品1区2区在线观看.| 久久99热这里只有精品18| 免费观看性生交大片5| 国产成人a∨麻豆精品| 欧美zozozo另类| 国产久久久一区二区三区| av.在线天堂| 97在线视频观看| 久久草成人影院| 国产精品一区二区在线观看99 | 亚洲国产精品成人综合色| 丝袜喷水一区| 中文字幕av成人在线电影| 超碰av人人做人人爽久久| 精品99又大又爽又粗少妇毛片| 精品国产一区二区三区久久久樱花 | videossex国产| 亚洲三级黄色毛片| 亚洲成人av在线免费| 国产毛片a区久久久久| www.色视频.com| 国产片特级美女逼逼视频| 久久久久免费精品人妻一区二区| 黄片wwwwww| 久久久久九九精品影院| 波多野结衣巨乳人妻| 亚洲精品成人久久久久久| 精品久久久精品久久久| 80岁老熟妇乱子伦牲交| 亚洲精品,欧美精品| 午夜福利在线观看免费完整高清在| 精品熟女少妇av免费看| 日韩大片免费观看网站| 国产精品一区www在线观看| kizo精华| 日本与韩国留学比较| 国产黄片视频在线免费观看| 色尼玛亚洲综合影院| 精品国产一区二区三区久久久樱花 | 精品午夜福利在线看| 成人无遮挡网站| 国产日韩欧美在线精品| 麻豆成人av视频| 伦精品一区二区三区| 亚洲精品成人久久久久久| 欧美xxxx黑人xx丫x性爽| 国产色婷婷99| 街头女战士在线观看网站| 最近中文字幕2019免费版| 夜夜爽夜夜爽视频| 日韩精品青青久久久久久| 久久久国产一区二区| 麻豆精品久久久久久蜜桃| 人人妻人人看人人澡| 精品人妻视频免费看| 久久久久久国产a免费观看| 亚洲怡红院男人天堂| 老司机影院成人| 中文字幕av在线有码专区| 91久久精品电影网| 免费无遮挡裸体视频| 九九久久精品国产亚洲av麻豆| 一级二级三级毛片免费看| 综合色av麻豆| 特大巨黑吊av在线直播| 最近中文字幕2019免费版| 一级a做视频免费观看| 在线免费观看不下载黄p国产| 亚洲人成网站在线观看播放| 最新中文字幕久久久久| 日韩强制内射视频| 99热6这里只有精品| 国产成人午夜福利电影在线观看| 1000部很黄的大片| 国产不卡一卡二| 国产精品精品国产色婷婷| 国产美女午夜福利| 国产成人一区二区在线| 五月玫瑰六月丁香| 久99久视频精品免费| 看免费成人av毛片| 有码 亚洲区| 一本一本综合久久| 99久久九九国产精品国产免费| 夫妻午夜视频| 美女高潮的动态| 特级一级黄色大片| 亚洲,欧美,日韩| 成人国产麻豆网| 亚洲精品日本国产第一区| 亚洲欧美日韩东京热| 只有这里有精品99| 热99在线观看视频| 水蜜桃什么品种好| 久久久久久久久久成人| 男女下面进入的视频免费午夜| 在线免费十八禁| 欧美变态另类bdsm刘玥| 国产不卡一卡二| 亚洲国产色片| 老女人水多毛片| 国产精品福利在线免费观看| 欧美激情在线99| 国产日韩欧美在线精品| 精品国产三级普通话版| 午夜激情欧美在线| 麻豆久久精品国产亚洲av| 视频中文字幕在线观看| 日韩视频在线欧美| 久久久午夜欧美精品| 久久久午夜欧美精品| 高清av免费在线| 成人性生交大片免费视频hd| 亚洲av在线观看美女高潮| 男的添女的下面高潮视频| 一边亲一边摸免费视频| 久久久久网色| 麻豆成人av视频| 婷婷六月久久综合丁香| 欧美zozozo另类| 在线观看美女被高潮喷水网站| 一级av片app| h日本视频在线播放| 久久久久久久久久黄片| 在现免费观看毛片| 国产精品人妻久久久久久| 美女大奶头视频| 色播亚洲综合网| 十八禁国产超污无遮挡网站| 免费在线观看成人毛片| 一级毛片aaaaaa免费看小| 国产真实伦视频高清在线观看| 好男人在线观看高清免费视频| 亚洲在久久综合| 国产亚洲午夜精品一区二区久久 | 国产一区亚洲一区在线观看| 成人二区视频| 中文天堂在线官网| 天天躁日日躁夜夜躁夜夜| 欧美老熟妇乱子伦牲交| 可以免费在线观看a视频的电影网站 | 亚洲欧美清纯卡通| 涩涩av久久男人的天堂| 成年美女黄网站色视频大全免费| 成人18禁高潮啪啪吃奶动态图| 久久精品国产鲁丝片午夜精品| 美女脱内裤让男人舔精品视频| 两个人看的免费小视频| 精品亚洲成a人片在线观看| 亚洲av国产av综合av卡| 成人影院久久| 久久久久人妻精品一区果冻| 国产av国产精品国产| 亚洲欧美清纯卡通| 99久久人妻综合| 狠狠婷婷综合久久久久久88av| 亚洲av福利一区| 亚洲婷婷狠狠爱综合网| 天美传媒精品一区二区| 18禁动态无遮挡网站| 亚洲一码二码三码区别大吗| 欧美国产精品一级二级三级| 日韩中文字幕欧美一区二区 | 波野结衣二区三区在线| www.精华液| 一区二区三区激情视频| 老司机影院毛片| 日本猛色少妇xxxxx猛交久久| 国产无遮挡羞羞视频在线观看| 只有这里有精品99| 国产精品偷伦视频观看了| 婷婷色麻豆天堂久久| 久久人人爽av亚洲精品天堂| 妹子高潮喷水视频| 久久久久久久久久久久大奶| 咕卡用的链子| 性高湖久久久久久久久免费观看| 久久午夜综合久久蜜桃| videos熟女内射| 成人手机av| 香蕉国产在线看| 热re99久久国产66热| 国产毛片在线视频| av片东京热男人的天堂| 狂野欧美激情性bbbbbb| 国产在线免费精品| 青青草视频在线视频观看| 狠狠精品人妻久久久久久综合| 成人毛片a级毛片在线播放| 亚洲av电影在线观看一区二区三区| 日本猛色少妇xxxxx猛交久久| 亚洲综合色网址| 精品99又大又爽又粗少妇毛片| 欧美精品一区二区大全| 免费日韩欧美在线观看| 亚洲成色77777| 欧美国产精品一级二级三级| av在线app专区| av网站免费在线观看视频| 老鸭窝网址在线观看| 中国国产av一级| 久久 成人 亚洲| 亚洲人成网站在线观看播放| 亚洲精品乱久久久久久| 少妇 在线观看| 日本免费在线观看一区| 在线观看美女被高潮喷水网站| 麻豆乱淫一区二区| 男人添女人高潮全过程视频| 亚洲美女视频黄频| 亚洲精品在线美女| 人成视频在线观看免费观看| 性色avwww在线观看| 国产精品.久久久| 精品第一国产精品| 亚洲三级黄色毛片| 亚洲av男天堂| 三级国产精品片| 亚洲一码二码三码区别大吗| 嫩草影院入口| 捣出白浆h1v1| 久久午夜综合久久蜜桃| 免费少妇av软件| 一本—道久久a久久精品蜜桃钙片| 人妻少妇偷人精品九色| 一二三四中文在线观看免费高清| 黑人巨大精品欧美一区二区蜜桃| 成人黄色视频免费在线看| 一级黄片播放器| 婷婷色麻豆天堂久久| 人妻少妇偷人精品九色| 欧美日韩一区二区视频在线观看视频在线| 精品卡一卡二卡四卡免费| 午夜福利在线免费观看网站| 精品少妇内射三级| 亚洲国产精品999| 男女国产视频网站| 男女无遮挡免费网站观看| 精品久久蜜臀av无| 麻豆av在线久日| 亚洲精品第二区| 波野结衣二区三区在线| 黑人猛操日本美女一级片| h视频一区二区三区| 爱豆传媒免费全集在线观看| 老女人水多毛片| 99久久中文字幕三级久久日本| 国产日韩欧美亚洲二区| 免费播放大片免费观看视频在线观看| 国产精品国产三级国产专区5o| 一区二区三区精品91| 亚洲成人一二三区av| 2022亚洲国产成人精品| 在线免费观看不下载黄p国产| freevideosex欧美| 亚洲欧美日韩另类电影网站| 亚洲精品久久久久久婷婷小说| 人妻系列 视频| 黄片无遮挡物在线观看| 黄色 视频免费看| 欧美日韩精品成人综合77777| 国产欧美日韩一区二区三区在线| 观看av在线不卡| www.自偷自拍.com| av免费在线看不卡| 亚洲国产毛片av蜜桃av| 啦啦啦在线观看免费高清www| 国产精品香港三级国产av潘金莲 | 999精品在线视频| 欧美日韩一级在线毛片| 久久精品国产亚洲av天美| 99热网站在线观看| 天天影视国产精品| √禁漫天堂资源中文www| 国产不卡av网站在线观看| 啦啦啦在线免费观看视频4| 黄色一级大片看看| videossex国产| 精品国产乱码久久久久久男人| 色婷婷久久久亚洲欧美| 久久久久久久久久久久大奶| 一边摸一边做爽爽视频免费| 两性夫妻黄色片| 纯流量卡能插随身wifi吗| 国产精品秋霞免费鲁丝片| 国产亚洲av片在线观看秒播厂| 中国三级夫妇交换| 青春草视频在线免费观看| 国产片内射在线| 亚洲久久久国产精品| 国产免费视频播放在线视频| 亚洲成人av在线免费| 国产精品嫩草影院av在线观看| 久久免费观看电影| 建设人人有责人人尽责人人享有的| 日本午夜av视频| 精品亚洲乱码少妇综合久久| 国产一区二区在线观看av| 天天影视国产精品| 精品一区在线观看国产| 伦精品一区二区三区| 免费观看无遮挡的男女| 欧美日韩综合久久久久久| 免费日韩欧美在线观看| 天天躁夜夜躁狠狠久久av| 亚洲av综合色区一区| 一区二区av电影网| 午夜影院在线不卡| 免费av中文字幕在线| 热99国产精品久久久久久7| 日韩,欧美,国产一区二区三区| 国产一区二区 视频在线| 欧美激情极品国产一区二区三区| 少妇猛男粗大的猛烈进出视频| 波野结衣二区三区在线| 日韩免费高清中文字幕av| av.在线天堂| 欧美日韩av久久| 天天躁夜夜躁狠狠躁躁| 日韩伦理黄色片| 亚洲美女搞黄在线观看| 日韩大片免费观看网站| 日韩精品免费视频一区二区三区| 国产一区亚洲一区在线观看| 好男人视频免费观看在线| 久久久久久久久久人人人人人人| 最近手机中文字幕大全| 成人毛片a级毛片在线播放| 久久人人爽人人片av| 国产精品一国产av| a级毛片黄视频| 亚洲精品一二三|