• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    NFV中單節(jié)點(diǎn)啟發(fā)式資源分配方法

    2020-06-09 07:21:08暢海峰楊雅婷
    計算機(jī)工程與應(yīng)用 2020年11期
    關(guān)鍵詞:占用率資源分配實例

    暢海峰,嵩 天,楊雅婷

    北京理工大學(xué) 計算機(jī)學(xué)院,北京100081

    1 引言

    網(wǎng)絡(luò)功能虛擬化[1](Network Functions Virtualization,NFV)的目標(biāo)在于:使用基于x86 的通用標(biāo)準(zhǔn)服務(wù)器代替?zhèn)鹘y(tǒng)網(wǎng)絡(luò)中的專用電信網(wǎng)元設(shè)備,通過虛擬化技術(shù)實現(xiàn)軟硬件解耦,使網(wǎng)絡(luò)功能不再依賴于專用硬件。

    然而,與傳統(tǒng)專用電信設(shè)備相比,將網(wǎng)絡(luò)功能(Network Functions,NFs)以軟件形式部署在虛擬環(huán)境中會導(dǎo)致網(wǎng)絡(luò)功能報文處理能力下降。虛擬化技術(shù)的固有性能損失會直接影響NFs性能。此外,基于通用設(shè)備的軟件NFs 與專用電信設(shè)備之間的報文處理能力仍存在較大差距。DPDK[2](Intel Data Plane Development Kit)是Intel 提供的數(shù)據(jù)平面開發(fā)工具集,專注于網(wǎng)絡(luò)數(shù)據(jù)包的高性能處理,已在很多場景中被用來加速虛擬網(wǎng)絡(luò)功能。

    NFV使用通用標(biāo)準(zhǔn)服務(wù)器作為統(tǒng)一計算平臺,在有限物理資源條件下,如何在合理分配資源的前提下部署虛擬網(wǎng)絡(luò)功能(Virtual Network Function,VNF),以滿足用戶各種業(yè)務(wù)需求,是網(wǎng)絡(luò)功能發(fā)展過程中重要的挑戰(zhàn)之一。現(xiàn)有網(wǎng)絡(luò)功能虛擬化資源分配的相關(guān)研究多數(shù)是從編排層面提出部署方案,決定VNFs 的物理部署位置。本文則考慮實際部署環(huán)節(jié),針對單物理節(jié)點(diǎn)部署多VNFs場景,采用DPDK加速虛擬網(wǎng)絡(luò)功能,并研究網(wǎng)絡(luò)功能虛擬化中的單節(jié)點(diǎn)資源分配問題(NFV Single Node Resource Allocation,NFV-SNRA)。

    2 網(wǎng)絡(luò)功能虛擬化發(fā)展現(xiàn)狀

    NFV將網(wǎng)絡(luò)功能從專用網(wǎng)元設(shè)備中抽象出來,以軟件形式實現(xiàn),并部署在通用標(biāo)準(zhǔn)服務(wù)器上,從而實現(xiàn)網(wǎng)絡(luò)功能的靈活部署。NFV架構(gòu)[3]由三部分構(gòu)成:網(wǎng)絡(luò)服務(wù)、網(wǎng)絡(luò)功能虛擬化基礎(chǔ)設(shè)施(Network Functions Virtualization Infrastructure,NFVI)以及網(wǎng)絡(luò)功能虛擬化管理和協(xié)調(diào)控制器。

    運(yùn)營商通過軟件方式定制網(wǎng)絡(luò)功能,通過組織一系列VNFs 實現(xiàn)特定的網(wǎng)絡(luò)服務(wù),從而更靈活快速地部署新服務(wù)。NFV 架構(gòu)使用通用標(biāo)準(zhǔn)服務(wù)器作為統(tǒng)一計算平臺,運(yùn)營商能夠更靈活高效地利用虛擬化基礎(chǔ)設(shè)施物理資源[4]。

    2.1 網(wǎng)絡(luò)功能虛擬化面臨的挑戰(zhàn)

    目前NFV已被學(xué)術(shù)界廣泛接受,具有美好的前景,但NFV技術(shù)整體上仍處于起步階段,在性能、資源分配等方均面臨挑戰(zhàn)。

    2.1.1 性能

    VNFs通常運(yùn)行在虛擬環(huán)境中,相較宿主設(shè)備,虛擬設(shè)備(例如,虛擬磁盤、虛擬網(wǎng)卡)的訪問性能明顯下降。Passthrough 技術(shù)可以支持虛擬機(jī)直接訪問外圍設(shè)備,提高虛擬機(jī)對外圍設(shè)備的訪問性能。但該技術(shù)下,設(shè)備以獨(dú)占方式分配給某個客戶域,無法在多客戶域之間共享。SR-IOV[5](Single Root I/O Virtualization)規(guī)范定義了一個標(biāo)準(zhǔn)化的硬件虛擬化機(jī)制,原生地支持多客戶機(jī)共享物理設(shè)備,使設(shè)備資源得到充分利用。

    網(wǎng)絡(luò)I/O 能力是VNF 性能的核心關(guān)鍵。傳統(tǒng)模式中,Linux 內(nèi)核態(tài)網(wǎng)卡驅(qū)動基于異步中斷模式處理網(wǎng)絡(luò)讀寫事件。DPDK 則采用用戶態(tài)網(wǎng)卡驅(qū)動基于輪詢(PMD)或者輪詢中斷混雜模式處理網(wǎng)絡(luò)讀寫事件。相較中斷方式,輪詢方式避免了上下文切換造成的性能損失。另一方面,用戶態(tài)PMD 驅(qū)動將網(wǎng)卡設(shè)備直接映射到用戶空間,通過旁路Linux內(nèi)核網(wǎng)絡(luò)協(xié)議棧,減少內(nèi)存拷貝次數(shù),進(jìn)而提升報文轉(zhuǎn)發(fā)能力。

    Passthrough 技術(shù)、SR-IOV 技術(shù)以及DPDK 從多個不同方面縮小了基于通用設(shè)備的VNF與專用電信設(shè)備之間的性能差距。

    2.1.2 資源分配

    網(wǎng)絡(luò)功能虛擬化資源分配問題[6-9](Network Functions Virtualization Resource Allocation,NFV-RA)一直是NFV發(fā)展過程中的研究熱點(diǎn)之一。相關(guān)研究以QoS、利潤最高、容錯、負(fù)載平衡、節(jié)省能源等為目標(biāo),同時考慮性能、能耗、安全等多方面因素,解決構(gòu)建虛擬網(wǎng)絡(luò)功能鏈[10-12]、部署虛擬網(wǎng)絡(luò)功能[13-15]、調(diào)度虛擬網(wǎng)絡(luò)功能[16]等方面的資源分配問題。

    其中,部署虛擬網(wǎng)絡(luò)功能階段解決如何將VNFs 映射到NFVI 中的物理節(jié)點(diǎn),虛擬網(wǎng)絡(luò)功能部署問題已被證明是NP 難問題。在網(wǎng)絡(luò)規(guī)模較小時,使用線性規(guī)劃能夠得到最優(yōu)解。但網(wǎng)絡(luò)規(guī)模越大,線性規(guī)劃模型越復(fù)雜,無法在可接受時間內(nèi)得到全局最優(yōu)解。使用啟發(fā)式算法或元啟發(fā)式算法能夠在線性時間內(nèi)得到近似最優(yōu)解。

    2.2 相關(guān)工作

    為解決網(wǎng)絡(luò)功能部署和編排問題,Chi 等[17]提出一種基于3-tire 樹形結(jié)構(gòu)的VNF 部署和流量調(diào)度算法。Cohen等[18]對VNF部署問題進(jìn)行線性約束建模,提出一種近似最優(yōu)的部署算法;Sang 等[19]將VNF 部署問題規(guī)約為集合覆蓋問題,基于貪心算法提出一種可驗證的高效部署方案。段通等[20]考慮硬件加速資源,提出一套VNF硬件加速資源編排機(jī)制。然而,上述研究都是從編排和部署方案層面分析NFV 資源分配問題,卻鮮有涉及VNF 具體部署環(huán)節(jié),即對于部署到同一個物理節(jié)點(diǎn)上的所有VNFs,如何更高效地共享該節(jié)點(diǎn)的物理資源。畢軍等[21]考慮VNF并行加速,根據(jù)網(wǎng)絡(luò)功能之間的依賴性,提出一個高性能編排框架,但仍屬于編排設(shè)計層面,未解決具體的節(jié)點(diǎn)資源分配問題。

    本文考慮實際部署環(huán)節(jié),針對單物理節(jié)點(diǎn)部署多VNFs場景,使用DPDK加速虛擬網(wǎng)絡(luò)功能,研究虛擬網(wǎng)絡(luò)功能的資源分配問題,使用最少的物理資源滿足所有VNFs性能需求。

    3 DPDK性能測試與分析

    通過實驗深入分析DPDK 對虛擬網(wǎng)絡(luò)功能的加速效果,測試內(nèi)核協(xié)議棧方式和DPDK方式的網(wǎng)絡(luò)包轉(zhuǎn)發(fā)性能及CPU資源消耗情況。

    基于2 臺配備有兩塊Intel?Xeon?E3-1220 v3 @3.10 GHz CPU,32 GB 內(nèi)存和一塊雙端口Intel?82599 10 Gbit網(wǎng)卡的服務(wù)器組成實驗平臺,進(jìn)行性能測試。虛擬機(jī)以Passthrough 方式獲得網(wǎng)卡的訪問權(quán)限。內(nèi)核協(xié)議棧發(fā)包程序采用Linux 內(nèi)核發(fā)包模塊pktgen,內(nèi)核協(xié)議棧收包程序基于libpcap實現(xiàn);DPDK收發(fā)包程序基于DPDK-16.11.3實現(xiàn)。

    圖1(a)為普通虛擬網(wǎng)絡(luò)功能配置結(jié)構(gòu),圖1(b)為經(jīng)過Passthrough、DPDK加速后的虛擬網(wǎng)絡(luò)功能配置結(jié)構(gòu)。普通配置結(jié)構(gòu)中,物理網(wǎng)卡和虛擬網(wǎng)卡均由Linux內(nèi)核驅(qū)動控制;后者以Passthrough方式將網(wǎng)卡直接分配給虛擬機(jī),并通過DPDK用戶態(tài)驅(qū)動將網(wǎng)卡直接映射到用戶空間。

    3.1 轉(zhuǎn)發(fā)性能測試

    網(wǎng)絡(luò)包發(fā)送測試結(jié)果如圖2所示。

    圖1 (a) 普通配置

    圖1 (b) 經(jīng)Passthrough和DPDK加速的配置

    圖2 不同包長的網(wǎng)絡(luò)包發(fā)送性能

    對比虛擬機(jī)中DPDK 和pktgen 的網(wǎng)絡(luò)包速發(fā)送速率。不同包長情況下,pktgen 發(fā)送速率均處于較低水平;而DPDK發(fā)送速率在不同包長情況下變化顯著。包長越小,pktgen與DPDK的性能差距越明顯。發(fā)送64 B小包時,DPDK 網(wǎng)絡(luò)包發(fā)送速率為pktgen 的7.7 倍。發(fā)送1 500 B 大包時,DPDK 發(fā)送速率提升約2.5%。實驗結(jié)果表明,在虛擬機(jī)中,包長越小,DPDK對網(wǎng)絡(luò)包發(fā)送性能提升越大,當(dāng)包長達(dá)到最大時,二者性能間幾乎不存在差距。

    對比物理機(jī)中DPDK 的網(wǎng)絡(luò)包發(fā)送速率與10 Gb鏈路的理論帶寬值。物理機(jī)中DPDK 的發(fā)送速率接近10 Gb鏈路的理論帶寬。最差情況是發(fā)送64 B小包,此時DPDK的發(fā)送速率為10 Gb鏈路理論帶寬的97.2%。實驗結(jié)果表明,物理機(jī)中DPDK 的發(fā)送速度幾乎達(dá)到10 Gb鏈路的理論帶寬。

    圖3 顯示libpcap 與DPDK 在不同環(huán)境、不同包長情況下的網(wǎng)絡(luò)包接收速率。與圖2 中規(guī)律相似,相較libpcap,DPDK 處理小包的優(yōu)勢明顯。在虛擬機(jī)中,DPDK接收64 B小包速率是libpcap的18倍。

    圖3 不同包長的網(wǎng)絡(luò)包接收性能

    上述實驗結(jié)果表明,DPDK能夠顯著提升虛擬網(wǎng)絡(luò)功能的網(wǎng)絡(luò)包轉(zhuǎn)發(fā)性能。

    3.2 CPU資源消耗測試

    測試pktgen和DPDK的CPU資源消耗情況,對比在虛擬環(huán)境中不同包長、不同發(fā)送速率情況下,兩種方式的CPU占用率。

    如圖4所示,pktgen的CPU占用率隨發(fā)送速率增加而升高,當(dāng)發(fā)送速率超過9.95 kp/s 時,其CPU 占用率為100%;DPDK的CPU占用率始終為100%。

    圖4 pktgen和DPDK的CPU占用率

    綜上,DPDK 能夠更好地處理高負(fù)載網(wǎng)絡(luò),但在處理低負(fù)載網(wǎng)絡(luò)時,CPU 有效利用率低?;谝陨习l(fā)現(xiàn),針對不同網(wǎng)絡(luò)負(fù)載大小,采用不同方式(Linux 內(nèi)核或DPDK)實現(xiàn)的VNF 實例。負(fù)載較低時,采用傳統(tǒng)基于Linux內(nèi)核實現(xiàn)的實例,使用較低CPU資源即可滿足網(wǎng)絡(luò)負(fù)載;負(fù)載較高時,傳統(tǒng)方式VNF實例的CPU占用率升高,并發(fā)生頻繁丟包,此時切換采用基于DPDK 實現(xiàn)的VNF實例。

    4 啟發(fā)式資源分配方法

    針對單物理節(jié)點(diǎn)部署多VNFs場景,如圖5所示,在考慮利用DPDK加速虛擬網(wǎng)絡(luò)功能的基礎(chǔ)上,提出一種基于貪心算法的啟發(fā)式資源分配方法,保證虛擬網(wǎng)絡(luò)功能性能的同時,降低CPU資源消耗。

    圖5 單節(jié)點(diǎn)部署多個VNFs

    針對網(wǎng)絡(luò)流量負(fù)載的潮汐現(xiàn)象,提出一種基于網(wǎng)絡(luò)負(fù)載的VNF 實例自動切換方案,根據(jù)實時網(wǎng)絡(luò)負(fù)載自動切換VNF實例,滿足網(wǎng)絡(luò)負(fù)載需求的同時,降低CPU計算資源消耗。

    4.1 基于貪心算法的虛擬資源分配方法

    DPDK 能顯著提升VNF 的轉(zhuǎn)發(fā)性能,其CPU 親和性特點(diǎn)要求特定任務(wù)只在特定CPU 核上運(yùn)行。然而,普通部署方法中,虛擬CPU 核與物理CPU 核之間的對應(yīng)關(guān)系具有不確定性,這導(dǎo)致DPDK特定任務(wù)實際綁定的物理CPU 核不固定,違背了DPDK 的CPU 親和性原則,從而造成性能損失。

    基于上述發(fā)現(xiàn),提出一種基于貪心算法的啟發(fā)式資源分配算法,確定虛擬CPU與物理CPU的對應(yīng)關(guān)系,并在保證虛擬網(wǎng)絡(luò)功能性能需求的同時,將CPU 資源占用降低到最小。

    4.1.1 問題描述

    NFV-SNRA問題相關(guān)定義如下:

    (1)F={f1,f2,…,fm} ,F(xiàn) 表示部署在一個物理節(jié)點(diǎn)上的所有虛擬網(wǎng)絡(luò)功能集合。|F|=m ,表示該物理節(jié)點(diǎn)共部署m 個虛擬網(wǎng)絡(luò)功能。

    (2)R={r1,r2,…,rn},R 表示物理節(jié)點(diǎn)各CPU 核的計算資源量,可用CPU核數(shù)為n 個。

    (5)Xij表示是否將虛擬網(wǎng)絡(luò)功能fj部署在CPU核i 上,1表示是,0表示否。

    (6)L={l1,l2,…,ln},L 表示一個可行解,li表示CPU核i 上部署的虛擬網(wǎng)絡(luò)功能集合。

    (7)E(i)表示CPU 核i 上是否部署了虛擬網(wǎng)絡(luò)功能。若CPU 核i 沒有被分配給任何虛擬網(wǎng)絡(luò)功能,則E(i)為0;否則為1,表示CPU 核i 上至少部署了一個虛擬網(wǎng)絡(luò)功能。

    NFV-SNRA 所解決的問題是,在滿足所有VNF 需求的前提下占用最少CPU資源,形式化描述如下:

    目標(biāo):

    滿足:

    其中,公式(3)表示,部署在CPU核i 上所有虛擬網(wǎng)絡(luò)功能的CPU 需求量之和不超過該CPU 核的CPU 資源量。公式(4)表示,所有虛擬網(wǎng)絡(luò)功能都應(yīng)得到資源分配,即滿足所有虛擬網(wǎng)絡(luò)功能的CPU資源需求。目標(biāo)是使用最少CPU核。

    4.1.2 困難性分析

    集合覆蓋問題是一個經(jīng)典NP 難問題,通過將集合覆蓋問題規(guī)約到NFV-SNRA 問題,證明NFV-SNRA 問題是NP難類型。

    集合覆蓋問題中,集合U={e1,e2,…,em}共有m 個元素,Φ={u1,u2,…,un}是集合U 的n 個子集,Φ 中所有子集的并集等于集合U 。其目標(biāo)是使用最少子集ui,使其并集等于U 。

    以下證明NFV-SNRA是NP難問題。

    證明 給定一個集合覆蓋問題實例(U,Φ),構(gòu)造一個NFV-SNRA問題實例(F,S,C)。對集合U 中的每個元素ej,構(gòu)造一個虛擬網(wǎng)絡(luò)功能fj。對Φ 中的每個子集ui,構(gòu)造一個VNF集合li,表示在CPU核i 上部署集合li中的所有VNFs。集合S 表示CPU 核負(fù)載情況,si表示CPU 核i 當(dāng)前可用資源量。NFV-SNRA 問題的目標(biāo)是,使用最少CPU 核滿足所有VNFs 需求,即使用最少集合li覆蓋所有fj。這與集合覆蓋問題使用最少子集ui覆蓋U 中所有元素ej的目標(biāo)一致。由此證明,NFV-SNRA是NP難問題。

    4.1.3 基于貪心算法的啟發(fā)式資源分配算法

    對于集合覆蓋問題,貪心算法能夠在多項式時間內(nèi)得到近似最優(yōu)解,本節(jié)提出一種基于貪心算法的啟發(fā)式資源分配算法。

    假設(shè),某物理節(jié)點(diǎn)需部署m 個虛擬網(wǎng)絡(luò)功能,用集合F 表示。物理節(jié)點(diǎn)當(dāng)前CPU 負(fù)載為S0。各虛擬網(wǎng)絡(luò)功能的最大CPU 占用率為C0。集合L 表示CPU 資源分配方案,初始值為空。集合U 表示未被分配的虛擬網(wǎng)絡(luò)功能集合,初始值為F。

    基于貪心算法,每次選擇包含未分配VNFs 最多的集合,直到所有VNFs都得到資源分配。

    算法1 VNF-SNRA啟發(fā)式資源分配算法

    輸入:虛擬網(wǎng)絡(luò)功能集F、虛擬網(wǎng)絡(luò)功能最大CPU 占用率C0、物理節(jié)點(diǎn)CPU核負(fù)載情況S0。

    輸出:VNF資源分配方案L。

    1. 令集合Φ 為集合F 的所有子集集合。

    2. 對于Φ 中的元素uk,若所有CPU核si都無法滿足uk中所有VNFs的CPU需求之和,則將uk從Φ 中移除。

    3.令U 為未分配的VNFs 集合。初始化U=F。令li∈L,i=1,2,…,n 為空集。

    4. while U ≠? do

    5. 選擇元素個數(shù)最多的子集u*,依據(jù)S0判斷是否存在CPU 核能夠滿足u*中所有VNFs 的需求,若存在一個或多個滿足需求的CPU核,選擇數(shù)值最小的核i*。

    6. 令li*=u*,更新

    7. 更新集合Φ,刪除Φ中所有包含子集u*中元素的子集。

    8.更新集合U ,移除子集u*所包含的所有元素。

    9.end while

    4.2 基于網(wǎng)絡(luò)負(fù)載的VNF實例自動切換方案

    由3.2節(jié)實驗結(jié)果可知,網(wǎng)絡(luò)負(fù)載較低時,傳統(tǒng)方式在保證VNF性能的同時,消耗CPU資源更少,但隨著網(wǎng)絡(luò)負(fù)載升高,傳統(tǒng)方式將消耗更多CPU資源,同時會產(chǎn)生可靠性問題,例如頻繁丟包;而DPDK 能更加可靠地處理高負(fù)載網(wǎng)絡(luò),但在網(wǎng)絡(luò)負(fù)載較低時,CPU 有效利用率低。

    綜上所述,考慮到網(wǎng)絡(luò)功能流量負(fù)載的潮汐現(xiàn)象,提出一種基于網(wǎng)絡(luò)負(fù)載的VNF實例自動切換方案。網(wǎng)絡(luò)負(fù)載較低時,采用基于Linux 內(nèi)核方式的VNF 實例,以較少CPU資源處理低負(fù)載網(wǎng)絡(luò)。當(dāng)網(wǎng)絡(luò)負(fù)載超過一定閾值時,使用DPDK方式的VNF實例,高速處理網(wǎng)絡(luò)包?;诰W(wǎng)絡(luò)負(fù)載的VNF實例自動切換方案相關(guān)定義如下:(1)Ht={},表示t 時刻虛擬網(wǎng)絡(luò)功能fj的網(wǎng)絡(luò)負(fù)載。

    (2)H*={} ,表示虛擬網(wǎng)絡(luò)功能fj的實例切換閾值。

    切換VNF 實例后,該VNF 對應(yīng)的CPU 資源需求量隨之改變。更新集合C 后,根據(jù)算法1 對該節(jié)點(diǎn)的VNFs重新進(jìn)行資源分配。

    5 實驗與評估

    對單物理節(jié)點(diǎn)部署多VNFs 進(jìn)行模擬實驗,評估資源分配算法和自動切換方案的效果?;趦膳_配備有兩塊Intel?Xeon?E3-1220 v3@3.10 GHz CPU,32 GB內(nèi)存,一塊雙端口Intel?82599 10 Gbit網(wǎng)卡和一塊四端口Intel?I350 1 Gbit網(wǎng)卡的服務(wù)器組成實驗平臺,進(jìn)行模擬實驗。服務(wù)器運(yùn)行環(huán)境為CentOS7,使用KVM 虛擬化技術(shù)運(yùn)行VNF。

    5.1 資源分配算法評估

    在單節(jié)點(diǎn)啟發(fā)式資源分配算法實驗中,以一個物理節(jié)點(diǎn)部署6個VNF為例,每個VNF實例分別部署在獨(dú)立的虛擬機(jī)中。每個虛擬機(jī)分配4個CPU核,以Passthrough方式訪問網(wǎng)卡端口,其中VNF1和VNF2對應(yīng)萬兆網(wǎng)口,VNF3~VNF6 對應(yīng)千兆網(wǎng)口。以網(wǎng)絡(luò)包發(fā)送速率作為VNF性能測量指標(biāo)。

    實驗采用普通部署方法和算法1兩種方式進(jìn)行VNFs部署。對兩種不同的部署方法,分別進(jìn)行10次實驗,每次實驗持續(xù)10 min,記錄VNFs實例的網(wǎng)絡(luò)包發(fā)送速率,取10次實驗數(shù)據(jù)的平均值。

    實驗結(jié)果如圖6 所示,使用啟發(fā)式資源分配算法,VNF1的性能提高了30%,VNF2、VNF3和VNF4的性能提高了10%。普通部署方法中,由宿主操作系統(tǒng)決定虛擬CPU與物理CPU的綁定關(guān)系,但這種綁定并不固定,在綁定關(guān)系發(fā)生變化時,會產(chǎn)生上下文切換、cache 失效,從而造成性能損失。VNF5 和VNF6 的性能略有下降,但都不超過3%。需要說明的一點(diǎn)是,凡是完成部署的VNFs 實例,分配給VNFs 實例的CPU 資源總能滿足其當(dāng)前所需。

    圖6 兩種部署方案的VNF網(wǎng)絡(luò)包發(fā)送性能

    5.2 VNF實例自動切換方案評估

    在VNF 實例自動切換方案實驗中,發(fā)送端使用基于DPDK-16.11.3 實現(xiàn)的發(fā)包工具,模擬潮汐規(guī)律產(chǎn)生網(wǎng)絡(luò)流量,發(fā)送流量從100~600 kp/s潮汐變化,如圖7所示。接收端使用基于libpcap 和DPDK 實現(xiàn)的收包工具模擬VNF 實例,記錄虛擬網(wǎng)絡(luò)功能實例的網(wǎng)絡(luò)包接收速率、丟包率以及CPU占用率。

    圖7 發(fā)送端發(fā)送潮汐流量

    分別進(jìn)行以下三組實驗:

    (1)VNF實例全部采用libpcap方式實現(xiàn);

    (2)VNF實例全部采用DPDK方式實現(xiàn);

    (3)VNF實例根據(jù)流量負(fù)載自動切換。

    如表1 所示,數(shù)據(jù)包長為1 500 B 時,libpcap的最大接收速率為287 656 p/s,僅為10 Gb 鏈路理論帶寬的35.0%;當(dāng)數(shù)據(jù)包長為64 B 時,libpcap 的最大接收速率756 550 p/s 僅為10 Gb 鏈路理論帶寬的5.1%。本實驗以300 kp/s 作為切換閾值,確保VNF 實例能夠處理300 kp/s 以上的高速網(wǎng)絡(luò)。切換閾值可以根據(jù)具體場景、具體目標(biāo)進(jìn)行設(shè)置。

    表1 libpcap網(wǎng)絡(luò)包接收性能

    圖8 顯示接收端使用libpcap 方式VNF 實例的收包情況,負(fù)載為500~600 kp/s區(qū)間時,平均丟包率為16.9%;負(fù)載為100~200 kp/s區(qū)間時,平均丟包率為1.7%。

    圖8 接收端使用libpcap實現(xiàn)的VNF實例

    圖9 顯示接收端使用DPDK 方式VNF 實例的收包情況,在實驗期間均未發(fā)生網(wǎng)絡(luò)包丟失。

    圖9 接收端使用DPDK實現(xiàn)的VNF實例

    圖10 顯示接收端基于網(wǎng)絡(luò)負(fù)載自動切換VNF實例的收包情況。實驗中,切換閾值設(shè)為300 kp/s。網(wǎng)絡(luò)負(fù)載在100~200 kp/s區(qū)間時,采用libpcap方式實現(xiàn)的VNF實例;負(fù)載在500~600 kp/s 區(qū)間時,采用DPDK 方式實現(xiàn)的VNF 實例。實驗結(jié)果顯示,在高負(fù)載區(qū)間內(nèi)未發(fā)生網(wǎng)絡(luò)包丟失。

    圖10 接收端自動切換VNF實例

    圖11 為三種方式的CPU資源消耗情況。libpcap方式下,CPU 占用率隨網(wǎng)絡(luò)負(fù)載線性變化。DPDK 方式下,CPU 占用率始終為100%。自動切換方式下,使用libpcap方式VNF 實例時,CPU 占用率較低,使用DPDK方式VNF實例時,CPU占用率為100%。

    圖11 三種方式的CPU占用率

    基于上述實驗結(jié)果,得出以下結(jié)論:

    (1)網(wǎng)絡(luò)負(fù)載較高時,libpcap方式的VNF實例會消耗更多CPU資源,且伴隨頻繁丟包現(xiàn)象。

    (2)DPDK 方式實現(xiàn)的VNF 實例CPU 占用率始終為100%,在網(wǎng)絡(luò)負(fù)載較低時浪費(fèi)CPU資源。

    (3)自動切換方案在網(wǎng)絡(luò)負(fù)載較低時采用libpcap方式的VNF 實例,以較低CPU 資源消耗處理低負(fù)載網(wǎng)絡(luò);網(wǎng)絡(luò)負(fù)載較高時,采用DPDK 方式的VNF 實例,以較高CPU資源消耗高效處理高網(wǎng)絡(luò)負(fù)載,相較libpcap,性能提升了20%。

    綜上所述,本文所提基于網(wǎng)絡(luò)負(fù)載的VNF 實例自動切換方案能夠在保證VNF 報文處理性能的同時,降低CPU資源消耗。

    6 結(jié)語

    首先分析了NFV技術(shù)在性能和資源分配方面遇到的挑戰(zhàn)。然后,通過實驗測試了DPDK 對VNF 的加速效果及對CPU 資源的利用情況。實驗結(jié)果顯示,在虛擬環(huán)境中使用DPDK,網(wǎng)絡(luò)包接收速率是傳統(tǒng)方法的18倍,網(wǎng)絡(luò)包發(fā)送速率是傳統(tǒng)方法的7.7倍。

    在此基礎(chǔ)上,針對單物理節(jié)點(diǎn)部署多VNFs場景,提出了一種基于貪心算法的啟發(fā)式資源分配算法。實驗結(jié)果顯示,所提算法能夠顯著提升VNF實例性能,提升10%~30%。

    考慮到網(wǎng)絡(luò)負(fù)載的潮汐現(xiàn)象,提出了一種基于網(wǎng)絡(luò)負(fù)載的VNF 實例自動切換方案。實驗結(jié)果顯示,該方案能夠在保證VNF 報文處理性能的同時,降低CPU 資源消耗,在高網(wǎng)絡(luò)負(fù)載情況下,VNF性能較普通方式提高了20%。

    總的來說,本文以高效利用物理節(jié)點(diǎn)CPU 計算資源為優(yōu)化目標(biāo)進(jìn)行方法設(shè)計。在未來的工作中,將會引入存儲資源、帶寬資源等其他資源因素,進(jìn)行更全面的資源分配研究。

    猜你喜歡
    占用率資源分配實例
    新研究揭示新冠疫情對資源分配的影響 精讀
    英語文摘(2020年10期)2020-11-26 08:12:20
    降低CE設(shè)備子接口占用率的研究與應(yīng)用
    魅力中國(2019年6期)2019-07-21 07:12:10
    一種基于價格競爭的D2D通信資源分配算法
    基于排隊論的區(qū)域路內(nèi)停車最優(yōu)泊位占用率研究
    完形填空Ⅱ
    完形填空Ⅰ
    OFDMA系統(tǒng)中容量最大化的資源分配算法
    阿朗CDMA尋呼信道瘦身增效優(yōu)化
    小而強(qiáng)大的音樂播放器.AirPlay
    動態(tài)規(guī)劃在資源分配中的應(yīng)用
    国产精品美女特级片免费视频播放器| av中文乱码字幕在线| 亚洲激情五月婷婷啪啪| 又粗又爽又猛毛片免费看| 夜夜看夜夜爽夜夜摸| 精品不卡国产一区二区三区| 成年女人看的毛片在线观看| 日本-黄色视频高清免费观看| 又黄又爽又免费观看的视频| 又爽又黄a免费视频| 亚洲欧美清纯卡通| 欧美zozozo另类| а√天堂www在线а√下载| а√天堂www在线а√下载| 少妇猛男粗大的猛烈进出视频 | 国产精品人妻久久久久久| 成人综合一区亚洲| 真人做人爱边吃奶动态| 国产成人a区在线观看| 内地一区二区视频在线| 蜜桃久久精品国产亚洲av| 一卡2卡三卡四卡精品乱码亚洲| 极品教师在线视频| 免费黄网站久久成人精品| 亚洲人成网站在线播| 欧洲精品卡2卡3卡4卡5卡区| 久久精品国产亚洲av天美| 天堂影院成人在线观看| 天堂网av新在线| 成人欧美大片| 久久亚洲国产成人精品v| 国产精品99久久久久久久久| 伦理电影大哥的女人| 国产视频一区二区在线看| av在线蜜桃| 亚洲激情五月婷婷啪啪| 无遮挡黄片免费观看| 亚洲精品成人久久久久久| 91麻豆精品激情在线观看国产| 久久中文看片网| 亚洲自偷自拍三级| 长腿黑丝高跟| 变态另类丝袜制服| 丰满乱子伦码专区| 噜噜噜噜噜久久久久久91| 美女xxoo啪啪120秒动态图| 欧美激情在线99| 免费搜索国产男女视频| 午夜福利在线观看吧| 在现免费观看毛片| 国产黄色视频一区二区在线观看 | 久久欧美精品欧美久久欧美| av中文乱码字幕在线| 日本 av在线| 深夜精品福利| 亚洲国产欧美人成| 亚洲国产精品久久男人天堂| 国产精品永久免费网站| 午夜精品一区二区三区免费看| 国产在线精品亚洲第一网站| 99久久精品一区二区三区| 精品少妇黑人巨大在线播放 | 春色校园在线视频观看| 国产黄色视频一区二区在线观看 | 日日撸夜夜添| 99热只有精品国产| 国产男人的电影天堂91| 国产一区二区三区在线臀色熟女| 久久6这里有精品| 狂野欧美白嫩少妇大欣赏| 成年av动漫网址| 在线国产一区二区在线| 国产精品亚洲一级av第二区| 国产精品无大码| 99热只有精品国产| 五月玫瑰六月丁香| a级毛片免费高清观看在线播放| 偷拍熟女少妇极品色| 久久综合国产亚洲精品| 一区二区三区免费毛片| 精品欧美国产一区二区三| 在线看三级毛片| 亚洲精品乱码久久久v下载方式| 久久人妻av系列| 亚洲精华国产精华液的使用体验 | 一个人看视频在线观看www免费| 国产精品国产高清国产av| 亚洲专区国产一区二区| 三级国产精品欧美在线观看| 欧美一区二区精品小视频在线| 亚洲乱码一区二区免费版| 最新中文字幕久久久久| 国产精品人妻久久久影院| 色综合站精品国产| 女人十人毛片免费观看3o分钟| 午夜福利在线观看吧| 久久久国产成人免费| 99久国产av精品| 精品人妻一区二区三区麻豆 | 1000部很黄的大片| 国产av在哪里看| 久久精品国产亚洲av香蕉五月| 91久久精品国产一区二区三区| av视频在线观看入口| 给我免费播放毛片高清在线观看| 国产精品嫩草影院av在线观看| 韩国av在线不卡| 亚洲国产精品国产精品| 99精品在免费线老司机午夜| 亚洲欧美日韩东京热| 99视频精品全部免费 在线| 国内少妇人妻偷人精品xxx网站| www.色视频.com| 日本爱情动作片www.在线观看 | 精品一区二区三区视频在线观看免费| 日韩精品青青久久久久久| 搡女人真爽免费视频火全软件 | 男插女下体视频免费在线播放| 亚洲人与动物交配视频| 午夜福利成人在线免费观看| 国产又黄又爽又无遮挡在线| a级一级毛片免费在线观看| 伊人久久精品亚洲午夜| 国产视频一区二区在线看| 午夜福利在线在线| 日日撸夜夜添| 欧美性猛交黑人性爽| 午夜福利在线观看吧| 亚洲国产色片| 成熟少妇高潮喷水视频| 免费人成在线观看视频色| 婷婷亚洲欧美| 日日摸夜夜添夜夜添小说| 亚洲成a人片在线一区二区| 久久久久久九九精品二区国产| 高清午夜精品一区二区三区 | 午夜免费男女啪啪视频观看 | 欧美一区二区亚洲| 俺也久久电影网| 性欧美人与动物交配| 午夜视频国产福利| 人人妻人人澡人人爽人人夜夜 | 一级黄色大片毛片| 男女啪啪激烈高潮av片| 亚洲精品色激情综合| 乱人视频在线观看| 99在线视频只有这里精品首页| 亚洲美女搞黄在线观看 | 国产成年人精品一区二区| 日韩一本色道免费dvd| 久久精品夜夜夜夜夜久久蜜豆| 一夜夜www| 最近2019中文字幕mv第一页| 免费一级毛片在线播放高清视频| 欧美区成人在线视频| 国产精品亚洲一级av第二区| 欧美xxxx性猛交bbbb| 91精品国产九色| 国产综合懂色| 国产精品野战在线观看| 日韩国内少妇激情av| 亚洲欧美精品自产自拍| 国产不卡一卡二| 成人漫画全彩无遮挡| 久久久久国内视频| 亚洲成人久久爱视频| 精品日产1卡2卡| 国产在线男女| 在线a可以看的网站| 久久久久久九九精品二区国产| 亚洲成人中文字幕在线播放| 亚洲av成人av| 99国产精品一区二区蜜桃av| 亚洲国产色片| 国内久久婷婷六月综合欲色啪| 小蜜桃在线观看免费完整版高清| 变态另类成人亚洲欧美熟女| 中文亚洲av片在线观看爽| 波野结衣二区三区在线| 精品人妻偷拍中文字幕| 草草在线视频免费看| 99国产极品粉嫩在线观看| 国产一区二区三区av在线 | 亚洲天堂国产精品一区在线| av在线亚洲专区| 身体一侧抽搐| 亚洲欧美成人综合另类久久久 | 国内精品一区二区在线观看| 日本免费一区二区三区高清不卡| 草草在线视频免费看| 日本免费a在线| 国产人妻一区二区三区在| 色av中文字幕| 中文字幕av在线有码专区| 亚洲国产高清在线一区二区三| 欧美又色又爽又黄视频| 日本精品一区二区三区蜜桃| 校园人妻丝袜中文字幕| 人妻少妇偷人精品九色| 国产大屁股一区二区在线视频| 内射极品少妇av片p| 国产乱人视频| 欧美精品国产亚洲| 亚洲欧美清纯卡通| 中文字幕免费在线视频6| 国产亚洲精品av在线| 亚洲精品亚洲一区二区| 天堂动漫精品| 午夜老司机福利剧场| 欧美另类亚洲清纯唯美| 天天一区二区日本电影三级| 无遮挡黄片免费观看| 免费看美女性在线毛片视频| 亚洲国产色片| 中文字幕人妻熟人妻熟丝袜美| 少妇熟女aⅴ在线视频| 村上凉子中文字幕在线| 亚洲内射少妇av| 亚洲精品456在线播放app| 亚洲国产日韩欧美精品在线观看| 一区二区三区高清视频在线| 亚洲熟妇中文字幕五十中出| 日韩高清综合在线| 欧洲精品卡2卡3卡4卡5卡区| 日韩国内少妇激情av| 午夜影院日韩av| 俄罗斯特黄特色一大片| 99热6这里只有精品| 看片在线看免费视频| 三级国产精品欧美在线观看| 少妇的逼好多水| 久久国内精品自在自线图片| 蜜桃久久精品国产亚洲av| 搞女人的毛片| 亚洲自拍偷在线| 俄罗斯特黄特色一大片| 黄色视频,在线免费观看| 美女 人体艺术 gogo| 赤兔流量卡办理| 日韩av不卡免费在线播放| 九色成人免费人妻av| 在线免费观看不下载黄p国产| 久久久久久久久中文| 成人综合一区亚洲| 久久久精品大字幕| 波野结衣二区三区在线| 男女做爰动态图高潮gif福利片| 午夜老司机福利剧场| 久久久精品大字幕| ponron亚洲| 久久婷婷人人爽人人干人人爱| 嫩草影院入口| 日本一本二区三区精品| 国产高潮美女av| 中国国产av一级| 非洲黑人性xxxx精品又粗又长| 亚洲性久久影院| 最新中文字幕久久久久| 18禁在线无遮挡免费观看视频 | 国产三级中文精品| 亚洲性夜色夜夜综合| 精品日产1卡2卡| 三级男女做爰猛烈吃奶摸视频| 亚洲av.av天堂| 最后的刺客免费高清国语| 久久精品夜色国产| 在现免费观看毛片| 久久久欧美国产精品| 99热网站在线观看| 精品无人区乱码1区二区| 国产黄片美女视频| 国产成年人精品一区二区| 男人和女人高潮做爰伦理| 日韩av在线大香蕉| 欧美3d第一页| 网址你懂的国产日韩在线| 国产亚洲91精品色在线| 精品无人区乱码1区二区| 亚洲欧美成人精品一区二区| 美女大奶头视频| 18禁在线无遮挡免费观看视频 | 亚洲真实伦在线观看| 欧美zozozo另类| 又爽又黄a免费视频| 99久久久亚洲精品蜜臀av| 欧美性猛交╳xxx乱大交人| 免费黄网站久久成人精品| 日本-黄色视频高清免费观看| 成人特级av手机在线观看| aaaaa片日本免费| 国产在线男女| 97碰自拍视频| 日本爱情动作片www.在线观看 | 美女黄网站色视频| 最近2019中文字幕mv第一页| 日韩在线高清观看一区二区三区| www日本黄色视频网| 久久久久国内视频| 国产又黄又爽又无遮挡在线| 不卡视频在线观看欧美| 色综合亚洲欧美另类图片| 亚洲国产色片| 精品少妇黑人巨大在线播放 | 黄色一级大片看看| 久久久久久久久大av| 麻豆成人午夜福利视频| 欧美人与善性xxx| 久久久久久伊人网av| 51国产日韩欧美| 婷婷亚洲欧美| 亚洲熟妇熟女久久| 99久国产av精品| 永久网站在线| 日本免费a在线| 又黄又爽又刺激的免费视频.| 日日啪夜夜撸| 天天躁日日操中文字幕| 成人欧美大片| avwww免费| 秋霞在线观看毛片| 熟女电影av网| 日韩强制内射视频| 日本在线视频免费播放| 日韩一本色道免费dvd| 丝袜美腿在线中文| 99精品在免费线老司机午夜| 精华霜和精华液先用哪个| 最近手机中文字幕大全| 国产亚洲精品综合一区在线观看| 久久精品久久久久久噜噜老黄 | 国产伦精品一区二区三区视频9| 欧美色视频一区免费| 亚洲人成网站在线观看播放| 看非洲黑人一级黄片| 国产欧美日韩一区二区精品| 国产精品99久久久久久久久| 久久久久久久久久黄片| 夜夜夜夜夜久久久久| 高清午夜精品一区二区三区 | 性色avwww在线观看| 中文字幕av在线有码专区| 九九久久精品国产亚洲av麻豆| 国产美女午夜福利| 网址你懂的国产日韩在线| 国产精品日韩av在线免费观看| 中文在线观看免费www的网站| 国产午夜精品久久久久久一区二区三区 | 热99在线观看视频| 午夜精品在线福利| 国产伦精品一区二区三区四那| 久久人人精品亚洲av| 高清毛片免费观看视频网站| 成人欧美大片| 国产午夜精品久久久久久一区二区三区 | 在线观看午夜福利视频| 日日摸夜夜添夜夜添av毛片| www.色视频.com| 国产亚洲欧美98| 欧美三级亚洲精品| 欧美一区二区亚洲| 国产成人a区在线观看| 精品人妻视频免费看| 久久九九热精品免费| 两性午夜刺激爽爽歪歪视频在线观看| 搡女人真爽免费视频火全软件 | 成人精品一区二区免费| 日本 av在线| 国产精品一区www在线观看| 老熟妇乱子伦视频在线观看| 少妇的逼好多水| 晚上一个人看的免费电影| 两个人的视频大全免费| 一个人观看的视频www高清免费观看| 国产亚洲精品av在线| 中国国产av一级| 亚洲无线观看免费| 日日干狠狠操夜夜爽| 日韩,欧美,国产一区二区三区 | 国产精品精品国产色婷婷| 中国美白少妇内射xxxbb| 欧美性感艳星| 久久鲁丝午夜福利片| 两个人视频免费观看高清| 黄色一级大片看看| 最后的刺客免费高清国语| 成人特级黄色片久久久久久久| 高清毛片免费观看视频网站| 两个人的视频大全免费| 99热全是精品| 五月伊人婷婷丁香| av黄色大香蕉| 亚洲av成人av| 97超碰精品成人国产| 免费大片18禁| 日韩精品中文字幕看吧| 午夜老司机福利剧场| 久久精品91蜜桃| 精品欧美国产一区二区三| 悠悠久久av| 51国产日韩欧美| 亚洲真实伦在线观看| 又爽又黄无遮挡网站| 日韩中字成人| 国产综合懂色| 国产一区二区亚洲精品在线观看| 日韩成人伦理影院| 久久6这里有精品| 国产黄片美女视频| 午夜精品在线福利| 波多野结衣高清无吗| 美女高潮的动态| 五月伊人婷婷丁香| 中文在线观看免费www的网站| 国产成年人精品一区二区| 美女被艹到高潮喷水动态| 淫秽高清视频在线观看| 少妇熟女aⅴ在线视频| 欧美成人a在线观看| 高清午夜精品一区二区三区 | 国产伦精品一区二区三区四那| 国产精品爽爽va在线观看网站| av在线亚洲专区| 女人十人毛片免费观看3o分钟| 国语自产精品视频在线第100页| 午夜老司机福利剧场| 寂寞人妻少妇视频99o| 午夜爱爱视频在线播放| 日韩欧美精品v在线| 成年av动漫网址| 日日撸夜夜添| a级一级毛片免费在线观看| 黄色视频,在线免费观看| 天天一区二区日本电影三级| 性色avwww在线观看| 99久久久亚洲精品蜜臀av| 秋霞在线观看毛片| 久久精品久久久久久噜噜老黄 | 国产精品久久电影中文字幕| 亚洲精品色激情综合| 天堂av国产一区二区熟女人妻| 偷拍熟女少妇极品色| 婷婷亚洲欧美| 美女cb高潮喷水在线观看| 欧美区成人在线视频| 一个人观看的视频www高清免费观看| 亚洲丝袜综合中文字幕| 色尼玛亚洲综合影院| 国内揄拍国产精品人妻在线| 欧美成人免费av一区二区三区| av在线观看视频网站免费| 国产黄色视频一区二区在线观看 | 男人狂女人下面高潮的视频| 97人妻精品一区二区三区麻豆| 美女被艹到高潮喷水动态| 久久人人精品亚洲av| 午夜激情福利司机影院| 国产女主播在线喷水免费视频网站 | 日本a在线网址| 天堂影院成人在线观看| 免费电影在线观看免费观看| 丝袜喷水一区| eeuss影院久久| 欧美高清性xxxxhd video| 久久精品夜夜夜夜夜久久蜜豆| 亚洲图色成人| 一a级毛片在线观看| 久久午夜亚洲精品久久| 亚洲第一区二区三区不卡| 国产亚洲av嫩草精品影院| 天天一区二区日本电影三级| 成人午夜高清在线视频| 亚洲欧美成人精品一区二区| 我要看日韩黄色一级片| 欧美人与善性xxx| 超碰av人人做人人爽久久| 日日摸夜夜添夜夜添av毛片| 男女边吃奶边做爰视频| 精品久久久久久久人妻蜜臀av| 久久久精品94久久精品| 国产大屁股一区二区在线视频| 99久久中文字幕三级久久日本| 男人狂女人下面高潮的视频| 午夜福利18| 色av中文字幕| www日本黄色视频网| 夜夜看夜夜爽夜夜摸| 嫩草影院入口| 亚洲国产高清在线一区二区三| 给我免费播放毛片高清在线观看| 人妻夜夜爽99麻豆av| 美女 人体艺术 gogo| 日韩人妻高清精品专区| 一本久久中文字幕| 精品一区二区三区人妻视频| 国产精华一区二区三区| 麻豆久久精品国产亚洲av| 日韩 亚洲 欧美在线| 神马国产精品三级电影在线观看| 国产黄色视频一区二区在线观看 | 男女那种视频在线观看| 美女黄网站色视频| 真实男女啪啪啪动态图| 国产男人的电影天堂91| 免费一级毛片在线播放高清视频| 精品久久国产蜜桃| 精品国内亚洲2022精品成人| 国产欧美日韩精品亚洲av| 日日摸夜夜添夜夜添小说| 中文字幕熟女人妻在线| 内射极品少妇av片p| av卡一久久| av天堂中文字幕网| 久久久久九九精品影院| 国产高潮美女av| 久99久视频精品免费| 成人av一区二区三区在线看| 1024手机看黄色片| 日韩一本色道免费dvd| 国产69精品久久久久777片| 色噜噜av男人的天堂激情| 亚洲国产精品久久男人天堂| 国产精品av视频在线免费观看| 免费黄网站久久成人精品| 丰满人妻一区二区三区视频av| 亚洲欧美日韩高清在线视频| 十八禁网站免费在线| 丝袜喷水一区| 男女边吃奶边做爰视频| 91在线观看av| 18禁在线播放成人免费| 久久鲁丝午夜福利片| 国模一区二区三区四区视频| 国产视频一区二区在线看| 日韩欧美精品免费久久| 国产极品精品免费视频能看的| 一本一本综合久久| 不卡一级毛片| 欧美xxxx性猛交bbbb| 18禁黄网站禁片免费观看直播| 亚洲国产精品国产精品| 99久久中文字幕三级久久日本| 51国产日韩欧美| av在线观看视频网站免费| 99久国产av精品| 精品国产三级普通话版| 亚洲国产精品国产精品| 精品午夜福利在线看| a级一级毛片免费在线观看| a级毛片a级免费在线| 国产亚洲精品av在线| 超碰av人人做人人爽久久| 看免费成人av毛片| 18禁在线无遮挡免费观看视频 | 18禁在线无遮挡免费观看视频 | 国内精品宾馆在线| 一进一出抽搐gif免费好疼| aaaaa片日本免费| 亚洲精品日韩av片在线观看| 欧洲精品卡2卡3卡4卡5卡区| 99久久中文字幕三级久久日本| 久久久精品大字幕| 久久久久久大精品| 久久久久久久久久成人| 一个人观看的视频www高清免费观看| 国产高清不卡午夜福利| 久久九九热精品免费| 精品人妻偷拍中文字幕| 99热全是精品| www日本黄色视频网| 尤物成人国产欧美一区二区三区| 黑人高潮一二区| 少妇的逼水好多| 一个人免费在线观看电影| 亚洲av二区三区四区| 99热6这里只有精品| 国产精品国产三级国产av玫瑰| 免费看光身美女| 能在线免费观看的黄片| 亚洲综合色惰| 一个人看视频在线观看www免费| 麻豆成人午夜福利视频| 久久99热这里只有精品18| 国产亚洲精品av在线| 一本一本综合久久| 亚洲欧美成人综合另类久久久 | 啦啦啦韩国在线观看视频| 天天躁日日操中文字幕| 2021天堂中文幕一二区在线观| 黄色欧美视频在线观看| 毛片一级片免费看久久久久| 波多野结衣高清无吗| 亚洲人成网站高清观看| 国产高清有码在线观看视频| 亚洲激情五月婷婷啪啪| 亚洲天堂国产精品一区在线| 69人妻影院| 亚洲精品亚洲一区二区| 日本一本二区三区精品| 亚洲aⅴ乱码一区二区在线播放| 神马国产精品三级电影在线观看| 久久久久久久亚洲中文字幕| 亚洲欧美日韩卡通动漫| 亚洲精品在线观看二区| 成人综合一区亚洲| 国产精品久久视频播放| 精品人妻视频免费看| 国产激情偷乱视频一区二区| 亚洲va在线va天堂va国产| 黄片wwwwww| 亚洲精华国产精华液的使用体验 | 国产 一区 欧美 日韩| 亚洲av熟女| 国产av在哪里看| 成人一区二区视频在线观看| 性色avwww在线观看|