• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    兩段式虛擬網(wǎng)絡(luò)功能硬件加速資源部署機(jī)制

    2018-10-16 08:23:50范宏偉胡宇翔蘭巨龍
    計(jì)算機(jī)應(yīng)用 2018年9期
    關(guān)鍵詞:部署流量節(jié)點(diǎn)

    范宏偉,胡宇翔,蘭巨龍

    (國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心,鄭州 450002)

    0 引言

    軟件定義網(wǎng)絡(luò)(Software Defined Networking, SDN)將控制和數(shù)據(jù)平面分離,通過開放網(wǎng)絡(luò)控制接口,實(shí)現(xiàn)上層應(yīng)用對網(wǎng)絡(luò)的管控。網(wǎng)絡(luò)功能虛擬化(Network Function Virtualization, NFV)通過虛擬化技術(shù),將虛擬網(wǎng)絡(luò)功能(Virtual Network Function, VNF)運(yùn)行在虛擬機(jī)(Virtual Machine, VM)或者容器中,按需實(shí)現(xiàn)網(wǎng)絡(luò)功能的動態(tài)靈活部署[1]。相比傳統(tǒng)網(wǎng)絡(luò),SDN/NFV架構(gòu)符合未來信息產(chǎn)業(yè)的發(fā)展需求,得到了學(xué)術(shù)界和運(yùn)營商的重點(diǎn)發(fā)展和推動。然而,基于軟件實(shí)現(xiàn)的VNF,在數(shù)據(jù)轉(zhuǎn)發(fā)、處理上的性能遠(yuǎn)落后于傳統(tǒng)網(wǎng)絡(luò)硬件設(shè)備,無法滿足線速要求到達(dá)40~100 Gb/s網(wǎng)絡(luò)功能的業(yè)務(wù)需求。VNF的性能瓶頸限制了SDN/NFV架構(gòu)的進(jìn)一步發(fā)展[2-3]。

    為此,針對VNF數(shù)據(jù)處理的加速機(jī)制成為學(xué)術(shù)界的研究熱點(diǎn)。當(dāng)前VNF的主要加速機(jī)制是將部分網(wǎng)絡(luò)功能卸載到硬件中,利用硬件的高性能提升VNF的吞吐量和減少時(shí)延。根據(jù)承載VNF的加速硬件種類,可以將現(xiàn)有的研究歸納為兩個(gè)方向。一是利用SDN交換機(jī)的硬件處理能力,以表項(xiàng)形式實(shí)現(xiàn)對VNF數(shù)據(jù)處理的加速。文獻(xiàn)[4]利用OpenFlow交換機(jī)承載無狀態(tài)網(wǎng)絡(luò)功能,實(shí)現(xiàn)了對大量數(shù)據(jù)包的快速處理,提高了網(wǎng)絡(luò)功能的性能。文獻(xiàn)[5]通過在交換機(jī)中引入狀態(tài)表,實(shí)現(xiàn)了SDN交換機(jī)對有狀態(tài)網(wǎng)絡(luò)功能的加速,極大提升了轉(zhuǎn)發(fā)效率。方向二則是利用服務(wù)器端的智能網(wǎng)卡、網(wǎng)絡(luò)處理器(Network Processer, NP)、圖形處理器(Graphics Processing Unit, GPU)[6-7]和現(xiàn)場可編程門陣列(Field-Programmable Gate Array, FPGA)[8-9]等可編程硬件,將相對固化的數(shù)據(jù)處理功能卸載到硬件加速單元中,而軟件完成復(fù)雜多變的邏輯任務(wù),將兩者結(jié)合從而提升VNF處理性能。文獻(xiàn)[6]利用GPU的大規(guī)模并行處理能力,結(jié)合定制的流處理程序,實(shí)現(xiàn)對網(wǎng)絡(luò)功能加速的有效支持。文獻(xiàn)[9]根據(jù)VNF的加速需求,靈活改變FPGA的邏輯功能,實(shí)現(xiàn)與CPU細(xì)粒度分工合作,提升VNF的吞吐量,降低了處理時(shí)延。

    在SDN/NFV架構(gòu)中,網(wǎng)絡(luò)中的業(yè)務(wù)流量要按順序經(jīng)過多個(gè)、不同類型VNF的處理,構(gòu)成“服務(wù)鏈”,服務(wù)鏈中的網(wǎng)絡(luò)功能分布式地運(yùn)行在網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)之中,并受限于各節(jié)點(diǎn)內(nèi)的物理資源[10-11]。從目前對VNF加速機(jī)制的研究來看,僅限于單節(jié)點(diǎn)內(nèi)加速架構(gòu)的設(shè)計(jì),缺乏對全網(wǎng)硬件加速資源的統(tǒng)一管理和部署研究,難以滿足服務(wù)鏈中位于不同節(jié)點(diǎn)內(nèi)VNF的加速需求。因此,當(dāng)SDN/NFV架構(gòu)引入VNF硬件加速資源后,如何最優(yōu)地部署這些加速資源到各網(wǎng)絡(luò)節(jié)點(diǎn)中,以實(shí)現(xiàn)對服務(wù)鏈的加速處理,是亟待解決的問題。

    為了實(shí)現(xiàn)VNF硬件加速資源到全網(wǎng)節(jié)點(diǎn)的最優(yōu)部署,本文將服務(wù)器端的加速卡和轉(zhuǎn)發(fā)節(jié)點(diǎn)內(nèi)的加速表項(xiàng)進(jìn)行統(tǒng)一管理,提出了兩段式加速資源部署模型,在不引入額外開銷的情況下,部署在各節(jié)點(diǎn)中的加速資源最大限度滿足VNF的加速需求。首先,提出了VNF加速資源的統(tǒng)一管理架構(gòu),以實(shí)現(xiàn)對全網(wǎng)硬件加速資源的統(tǒng)一管控;然后,對VNF加速資源的部署問題進(jìn)行數(shù)學(xué)建模,并分析加速資源對服務(wù)鏈映射的影響,提出了加速資源部署算法的性能指標(biāo);其次,設(shè)計(jì)了基于拓?fù)鋭莺凸?jié)點(diǎn)協(xié)作的兩段式加速資源部署算法,對問題進(jìn)行求解;最后,對算法進(jìn)行了仿真驗(yàn)證,證明了算法的有效性。

    1 VNF硬件加速資源統(tǒng)一管理架構(gòu)

    針對當(dāng)前SDN/NFV架構(gòu)中存在的加速資源部署問題,本文提出了VNF硬件加速資源在現(xiàn)有SDN/NFV架構(gòu)中的統(tǒng)一管理架構(gòu)(Uniform Hardware Acceleration Management architecture, UHAM),總體結(jié)構(gòu)如圖1所示。結(jié)合華為提出的硬件資源統(tǒng)一抽象概念[12],不論是服務(wù)器端的加速卡,還是轉(zhuǎn)發(fā)設(shè)備內(nèi)的加速表項(xiàng),并沒有引入新的物理資源種類,都屬于NFV標(biāo)準(zhǔn)架構(gòu)基礎(chǔ)設(shè)施(NFV Infrastructure, NFVI)中的計(jì)算資源和網(wǎng)絡(luò)資源。因此,對于VNF硬件加速資源,仍由虛擬化的基礎(chǔ)設(shè)施管理模塊(Virtual Infrastructure Manager, VIM)負(fù)責(zé)管理和分配,在降低管理開銷的同時(shí),隱藏了引入加速資源的復(fù)雜性。在VIM倉庫清單要包含硬件加速資源的能力和特性信息,并與虛擬資源之間進(jìn)行關(guān)聯(lián)。VNF管理器(VNF Manager, VNFM)負(fù)責(zé)VNF實(shí)例的生命周期管理,通過讀取VNF的描述(VNF Description, VNFD)模板,與VIM模塊進(jìn)行信息交互,將NFVI資源按需求分配給相應(yīng)的VNF。在引入硬件加速資源后,VNFD內(nèi)對于虛擬資源的需求可以根據(jù)通用物理資源、硬件加速資源之間的特性進(jìn)行細(xì)化,上傳多個(gè)相應(yīng)的VNF模板,以支持多種類型的硬件加速資源。

    編排器(NFV Orchestrator, NFVO)負(fù)責(zé)NFVI資源的編排和網(wǎng)絡(luò)服務(wù)生命周期的管理。SDN控制器通過標(biāo)準(zhǔn)的南向接口與整個(gè)NFV服務(wù)管理和編排模塊進(jìn)行連接,根據(jù)網(wǎng)絡(luò)拓?fù)浜筒呗砸筮M(jìn)行路由規(guī)劃,控制轉(zhuǎn)發(fā)節(jié)點(diǎn)內(nèi)的轉(zhuǎn)發(fā)表項(xiàng)(Forwarding Table, FT)和加速表項(xiàng)(Acceleration Table, AT)。當(dāng)SDN交換機(jī)承載網(wǎng)絡(luò)功能時(shí),為避免引起控制器的負(fù)載和表項(xiàng)之間的沖突,在UHAM架構(gòu)中,引入了主從控制器模式來解決該問題。其中,主控制器負(fù)責(zé)管理和下發(fā)流量轉(zhuǎn)發(fā)規(guī)則,而從控制器負(fù)責(zé)管理和下發(fā)VNF加速功能表項(xiàng),實(shí)現(xiàn)二者的分離。此外,從控制器與VIM模塊進(jìn)行交互,實(shí)現(xiàn)對轉(zhuǎn)發(fā)節(jié)點(diǎn)內(nèi)硬件加速資源的管理,結(jié)合服務(wù)器端加速卡資源信息,從而實(shí)現(xiàn)對全網(wǎng)內(nèi)加速資源的統(tǒng)一管理。

    圖1 VNF硬件加速資源統(tǒng)一管理架構(gòu)

    2 問題建模

    基于UHAM架構(gòu),本文重點(diǎn)研究在SDN/NFV架構(gòu)中統(tǒng)一管理VNF硬件加速資源后,如何優(yōu)化部署硬件加速資源到網(wǎng)絡(luò)節(jié)點(diǎn)中,在不引入額外開銷的情況下,提升硬件加速資源對VNF的承載效率。首先,定義本文所要解決的硬件加速資源部署問題。

    定義1 VNF硬件加速資源的部署問題(VNF hardware acceleration resource deployment problem)。網(wǎng)絡(luò)中節(jié)點(diǎn)資源和鏈路連接都已確定,在用戶服務(wù)鏈請求未知的情況下,運(yùn)營商如何將VNF硬件加速資源,包括轉(zhuǎn)發(fā)設(shè)備端和服務(wù)器端兩類資源,合理地部署到各網(wǎng)絡(luò)節(jié)點(diǎn)中,實(shí)現(xiàn)按一定策略完成服務(wù)鏈的映射后,部署在網(wǎng)絡(luò)節(jié)點(diǎn)內(nèi)的硬件加速資源能最優(yōu)承載有加速需求的網(wǎng)絡(luò)功能,最大化所部署加速資源的使用效率。

    2.1 符號描述

    1)網(wǎng)絡(luò)拓?fù)?。如圖2所示,網(wǎng)絡(luò)拓?fù)浔硎緸橐粋€(gè)無向帶權(quán)圖G=(S,L),其中,S和L分別代表轉(zhuǎn)發(fā)節(jié)點(diǎn)集和鏈路集合。鏈路L的資源屬性是帶寬容量B(lu,v)(其中,u,v∈S,lu,v∈L)。用N表示服務(wù)器節(jié)點(diǎn)集合,其物理資源屬性(CPU、內(nèi)存、硬盤等)表示為R;服務(wù)器節(jié)點(diǎn)n與轉(zhuǎn)發(fā)節(jié)點(diǎn)s的連接關(guān)系用η(n,s)∈{0,1}(n∈N,s∈S)表示,若η(n,s)為1,則假定服務(wù)節(jié)點(diǎn)n和轉(zhuǎn)發(fā)節(jié)點(diǎn)s之間相連,且鏈路帶寬為轉(zhuǎn)發(fā)節(jié)點(diǎn)s與相鄰轉(zhuǎn)發(fā)節(jié)點(diǎn)的鏈路帶寬之和,而且假定服務(wù)器節(jié)點(diǎn)最多與一個(gè)轉(zhuǎn)發(fā)節(jié)點(diǎn)相連。

    圖2 網(wǎng)絡(luò)拓?fù)涫疽鈭D

    3)網(wǎng)絡(luò)功能。服務(wù)鏈根據(jù)資源(計(jì)算、存儲和網(wǎng)絡(luò))需求和VNF間的順序約束將網(wǎng)絡(luò)功能映射到網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)中。F=(f1,f2, …,fp)表示網(wǎng)絡(luò)中存在的網(wǎng)絡(luò)功能實(shí)例集合,網(wǎng)絡(luò)功能fj∈F(j=1,2,…,p)處理的數(shù)據(jù)流量為dj。網(wǎng)絡(luò)功能fj對不同類型加速資源的開銷用CHk(fj)(k=0,1,…,q)表示。γ(fj,Hk)∈{0,1}(j=1,2,…,p,k=0,1,…,q)表示網(wǎng)絡(luò)功能fj與節(jié)點(diǎn)內(nèi)硬件資源Hk之間的承載關(guān)系。

    2.2 評價(jià)指標(biāo)

    服務(wù)器端存在多種類型的加速資源卡,而且彼此之間承載的網(wǎng)絡(luò)功能類型有一定的重合,存在相似性,為服務(wù)端加速資源的部署問題求解帶來一定的困擾。為簡化模型,本文假設(shè)服務(wù)器端的加速資源卡均為FPGA加速卡,即:

    假設(shè)1H=(H0,H1),其中H1為FPGA加速卡。因?yàn)?,相比FPGA,GPU加速需要對數(shù)據(jù)進(jìn)行格式化處理,耗時(shí)過長,難以滿足對時(shí)延敏感的網(wǎng)絡(luò)功能需求,而且能耗相對較高;而NP的適用領(lǐng)域相對受限,無法同F(xiàn)PGA可以為任何網(wǎng)絡(luò)功能重構(gòu)硬件邏輯。由于FPGA對VNF承載的可擴(kuò)展性最強(qiáng),能夠加速報(bào)文轉(zhuǎn)發(fā)、加解密和視頻轉(zhuǎn)碼等幾乎所有領(lǐng)域內(nèi)的VNF,可以替代其他類型的加速卡,而且該假設(shè)并未改變該問題的性質(zhì)和求解方法,而僅僅是簡化了問題的復(fù)雜度。

    VNF硬件加速資源優(yōu)化部署主要是為了實(shí)現(xiàn):當(dāng)運(yùn)營商考慮加速資源影響服務(wù)鏈映射策略時(shí),部署到各節(jié)點(diǎn)的加速資源的類型和數(shù)量,與網(wǎng)絡(luò)中原有的物理資源(計(jì)算、網(wǎng)絡(luò)、存儲)相適應(yīng),硬件加速資源能夠盡可能承載網(wǎng)絡(luò)功能,同時(shí)不引入額外開銷(傳輸時(shí)延等)和避免加速資源閑置造成的浪費(fèi)。因此,為較好地刻畫加速資源在全網(wǎng)節(jié)點(diǎn)內(nèi)的部署情況,現(xiàn)提出加速資源承載的流量和加速資源的利用率兩個(gè)評價(jià)指標(biāo)來描述加速資源的使用效率,其定義如下。

    定義2 加速資源承載的流量。網(wǎng)絡(luò)中被硬件加速資源處理的總的數(shù)據(jù)流量,如下所示:

    (1)

    定義3 加速資源的利用率:網(wǎng)絡(luò)中處于加載狀態(tài)下的單位加速資源處理的數(shù)據(jù)流量,如下所示:

    (2)

    其中,r0+r1=1,r是兩類加速資源的權(quán)重調(diào)節(jié)系數(shù),對兩類加速資源進(jìn)行統(tǒng)一。加速資源承載的DH表示由加速資源處理的流量,當(dāng)網(wǎng)絡(luò)內(nèi)各節(jié)點(diǎn)部署的加速資源足夠多時(shí),網(wǎng)絡(luò)中映射固定數(shù)目的服務(wù)鏈時(shí),DH將為定值,此時(shí)所有VNF的加速需求都能被滿足,但在部署有限加速資源的情況下,DH越大,則證明加速資源部署結(jié)果越合理,能夠滿足服務(wù)鏈的加速需求;而加速資源的利用率QH越大,表示單位加速資源處理的業(yè)務(wù)流量越接近加速后網(wǎng)絡(luò)功能的吞吐量上限,處于高負(fù)載狀態(tài),實(shí)現(xiàn)了對加速資源的高效利用。

    為避免引入額外開銷和加速資源部署位置對服務(wù)鏈映射的影響,在評價(jià)加速資源部署策略時(shí),服務(wù)鏈的映射策略中應(yīng)不考慮加速資源這一因素,將有加速需求的網(wǎng)絡(luò)功能以“未知狀態(tài)”下映射到網(wǎng)絡(luò)節(jié)點(diǎn)中。完成服務(wù)鏈映射后,根據(jù)流量的傳輸路徑,位于該路徑節(jié)點(diǎn)內(nèi)的加速資源盡可能承載有加速需求的網(wǎng)絡(luò)功能,計(jì)算加速資源承載的流量DH和利用率QH,作為加速資源部署算法的評價(jià)指標(biāo),判斷部署策略的合理性。

    3 兩段式加速資源部署算法

    為實(shí)現(xiàn)加速資源的優(yōu)化部署,要根據(jù)兩類加速資源各自的特性,來確定部署的策略和算法。服務(wù)器端FPGA加速卡能承載服務(wù)鏈中復(fù)雜的VNF,具有更高的靈活性,但成本和功耗開銷相對較大;轉(zhuǎn)發(fā)節(jié)點(diǎn)內(nèi)的加速資源,能夠承載無狀態(tài)網(wǎng)絡(luò)功能或者輕量級有狀態(tài)功能,對承載的功能類型限制較大,但網(wǎng)絡(luò)中轉(zhuǎn)發(fā)節(jié)點(diǎn)的數(shù)量較多,而且配置的加速表項(xiàng)容量更大。因此,有加速需求的網(wǎng)絡(luò)功能可以優(yōu)先由轉(zhuǎn)發(fā)節(jié)點(diǎn)內(nèi)的加速資源進(jìn)行承載,當(dāng)超出轉(zhuǎn)發(fā)節(jié)點(diǎn)加速資源的承載能力時(shí),再由服務(wù)節(jié)點(diǎn)的加速卡進(jìn)行承載,來發(fā)揮加速資源的最大效用。

    基于以上分析,本文針對全網(wǎng)加速資源部署問題,提出一種兩段式加速資源部署(Two-stage Acceleration Resource Deployment, TARD)算法。TARD算法在分析兩類加速資源不同特點(diǎn)的基礎(chǔ)上,考慮交換設(shè)備的物理屬性和拓?fù)湮恢茫赃m應(yīng)轉(zhuǎn)發(fā)節(jié)點(diǎn)承載的流量為目標(biāo),利用拓?fù)鋭輀13]思想量化部署的加速資源;增強(qiáng)轉(zhuǎn)發(fā)節(jié)點(diǎn)和服務(wù)節(jié)點(diǎn)間加速資源的協(xié)作性,提高加速資源利用率,盡可能多地承載網(wǎng)絡(luò)功能。TARD算法分為兩個(gè)階段,算法流程如圖3所示:第一階段利用基于拓?fù)鋭莸募铀儋Y源部署算法將轉(zhuǎn)發(fā)節(jié)點(diǎn)的加速表項(xiàng)資源部署到相應(yīng)轉(zhuǎn)發(fā)節(jié)點(diǎn);第二階段結(jié)合轉(zhuǎn)發(fā)節(jié)點(diǎn)加速資源的部署情況,利用節(jié)點(diǎn)協(xié)作思想將服務(wù)端加速卡配置到服務(wù)節(jié)點(diǎn)內(nèi),完成VNF硬件加速資源的部署。

    圖3 TARD算法流程

    3.1 基于拓?fù)鋭莸募铀儋Y源部署算法

    在引入硬件加速資源前,轉(zhuǎn)發(fā)節(jié)點(diǎn)負(fù)責(zé)服務(wù)鏈內(nèi)網(wǎng)絡(luò)功能的連接,引導(dǎo)流量轉(zhuǎn)發(fā)到正確的服務(wù)節(jié)點(diǎn)中。因此,傳統(tǒng)的服務(wù)鏈部署策略中對轉(zhuǎn)發(fā)節(jié)點(diǎn)的選擇,主要考慮轉(zhuǎn)發(fā)節(jié)點(diǎn)自身的固有屬性(位置、帶寬、度數(shù)等)。為不引入額外的開銷,提高硬件加速資源的利用率,轉(zhuǎn)發(fā)節(jié)點(diǎn)是否所部署加速資源以及具體的數(shù)量,要與轉(zhuǎn)發(fā)節(jié)點(diǎn)在服務(wù)鏈映射中所承載的流量相適應(yīng)。本節(jié)通過分析轉(zhuǎn)發(fā)節(jié)點(diǎn)影響服務(wù)鏈映射時(shí)的屬性內(nèi)容,并引入拓?fù)鋭莘椒?,分析轉(zhuǎn)發(fā)節(jié)點(diǎn)間的相互作用,通過轉(zhuǎn)發(fā)節(jié)點(diǎn)的改進(jìn)拓?fù)鋭輥砹炕铀儋Y源的部署數(shù)量。

    在數(shù)據(jù)場理論中,物理系統(tǒng)被視為包含s個(gè)節(jié)點(diǎn)并相互作用的網(wǎng)絡(luò)。該系統(tǒng)中每個(gè)節(jié)點(diǎn)的周圍都存在一個(gè)空間上的虛擬場,該場會作用于場內(nèi)的任何節(jié)點(diǎn)。網(wǎng)絡(luò)中任何一個(gè)節(jié)點(diǎn)都將與其他節(jié)點(diǎn)相互作用,形成整個(gè)拓?fù)渖系囊粋€(gè)場,定義為拓?fù)鋭輬?。根?jù)數(shù)據(jù)場中勢函數(shù)定義,場中任意節(jié)點(diǎn)si的拓?fù)鋭菘梢杂筛咚购瘮?shù)表示為:

    (3)

    其中:mj為節(jié)點(diǎn)的質(zhì)量,di, j為節(jié)點(diǎn)間距離,σ為影響因子,表示節(jié)點(diǎn)的影響力,用于控制節(jié)點(diǎn)拓?fù)鋭輬鲎饔梅秶?/p>

    根據(jù)以上數(shù)據(jù)場理論,將拓?fù)鋭莘椒☉?yīng)用于由轉(zhuǎn)發(fā)節(jié)點(diǎn)組成的網(wǎng)絡(luò)拓?fù)渲?,用來描繪轉(zhuǎn)發(fā)節(jié)點(diǎn)在服務(wù)鏈部署時(shí)的影響力,從而確定加速資源部署數(shù)量。由于在服務(wù)鏈部署中對于轉(zhuǎn)發(fā)節(jié)點(diǎn)屬性的選擇具有多樣性和特殊性,對拓?fù)鋭莘椒ㄟM(jìn)行了改進(jìn),將轉(zhuǎn)發(fā)節(jié)點(diǎn)的拓?fù)鋭荻x如下:

    (4)

    其中:mj1和mj2分別表示轉(zhuǎn)發(fā)節(jié)點(diǎn)的度數(shù)和該節(jié)點(diǎn)到相鄰轉(zhuǎn)發(fā)節(jié)點(diǎn)的帶寬和,M1和M2表示各自屬性的權(quán)重,其值由熵權(quán)法確定,統(tǒng)一兩個(gè)屬性的數(shù)量級;di, j表示節(jié)點(diǎn)si和sj之間最短距離的跳數(shù);be(j)表示轉(zhuǎn)發(fā)節(jié)點(diǎn)的介數(shù)中心度,衡量節(jié)點(diǎn)的作用范圍。度數(shù)和帶寬和是轉(zhuǎn)發(fā)節(jié)點(diǎn)承載服務(wù)鏈能力的約束表示;介數(shù)中心度表示網(wǎng)絡(luò)中經(jīng)過該節(jié)點(diǎn)的所有點(diǎn)與點(diǎn)之間的最短路徑數(shù)目。在服務(wù)鏈映射過程中,不同網(wǎng)絡(luò)功能之間的流量大都選擇節(jié)點(diǎn)間的最短路徑進(jìn)行轉(zhuǎn)發(fā),因此介數(shù)中心度反映了服務(wù)鏈映射中對轉(zhuǎn)發(fā)節(jié)點(diǎn)的偏好。

    轉(zhuǎn)發(fā)節(jié)點(diǎn)的加速資源部署數(shù)量與拓?fù)鋭葜g的關(guān)系可以表示為:

    (5)

    算法1 基于拓?fù)鋭莸霓D(zhuǎn)發(fā)節(jié)點(diǎn)加速資源部署算法。

    輸入:轉(zhuǎn)發(fā)節(jié)點(diǎn)所組網(wǎng)絡(luò)的鄰接矩陣,其中,兩個(gè)節(jié)點(diǎn)相連為1,不相連為∞;

    步驟1 確定網(wǎng)絡(luò)中各轉(zhuǎn)發(fā)節(jié)點(diǎn)的兩個(gè)固有屬性:轉(zhuǎn)發(fā)節(jié)點(diǎn)的度數(shù)m1和帶寬總和m2;

    步驟2 用Floyd算法求節(jié)點(diǎn)的路徑矩陣和距離矩陣,算出各節(jié)點(diǎn)間的距離和節(jié)點(diǎn)的介數(shù);

    步驟3 根據(jù)熵權(quán)法計(jì)算權(quán)重M1和M2,得到各節(jié)點(diǎn)的質(zhì)量m=M1×m1+M2×m2;

    步驟4 根據(jù)式(4)、(5)計(jì)算各節(jié)點(diǎn)的拓?fù)鋭莺图铀儋Y源部署數(shù)量;

    3.2 基于節(jié)點(diǎn)協(xié)作的加速資源部署算法

    對于服務(wù)器端加速資源的部署,當(dāng)服務(wù)節(jié)點(diǎn)內(nèi)加速資源恰好滿足節(jié)點(diǎn)內(nèi)工作時(shí)的VNF加速需求,表明加速資源部署數(shù)量的合理性。在NFV環(huán)境下,服務(wù)節(jié)點(diǎn)間相互同構(gòu),在用戶請求到達(dá)和服務(wù)鏈映射完成的情況下,每個(gè)服務(wù)節(jié)點(diǎn)內(nèi)運(yùn)行的VNF類型和數(shù)量可以認(rèn)為是均勻分布,即服務(wù)節(jié)點(diǎn)內(nèi)VNF對加速資源的需求開銷與節(jié)點(diǎn)內(nèi)運(yùn)行的VNF總量成比例的,而服務(wù)節(jié)點(diǎn)本身的物理資源R(CPU、內(nèi)存、硬盤)限制了節(jié)點(diǎn)內(nèi)部署網(wǎng)絡(luò)功能的最大數(shù)量,也就反映了節(jié)點(diǎn)內(nèi)VNF對加速資源的需求數(shù)量。因此,服務(wù)節(jié)點(diǎn)內(nèi)加速資源的部署數(shù)量與節(jié)點(diǎn)內(nèi)物理資源R直接相關(guān)。

    在SDN/NFV架構(gòu)中,服務(wù)器端加速資源與轉(zhuǎn)發(fā)節(jié)點(diǎn)加速資源共同協(xié)作完成對服務(wù)鏈的加速。因此除了節(jié)點(diǎn)內(nèi)物理資源R對服務(wù)器端加速資源部署的影響,還要考慮兩類加速資源間協(xié)作關(guān)系,保證加速資源整體部署的合理性。根據(jù)上述對兩種加速資源對網(wǎng)絡(luò)功能承載的設(shè)定,服務(wù)節(jié)點(diǎn)內(nèi)有加速需求的VNF,優(yōu)先由服務(wù)鏈流量傳輸路徑中,與服務(wù)節(jié)點(diǎn)相鄰近的轉(zhuǎn)發(fā)節(jié)點(diǎn)內(nèi)的加速資源承載。換句話說,服務(wù)節(jié)點(diǎn)與部署有加速資源的交換節(jié)點(diǎn)越近,節(jié)點(diǎn)內(nèi)有加速需求的網(wǎng)絡(luò)功能被轉(zhuǎn)發(fā)節(jié)點(diǎn)承載的可能性越大,相應(yīng)地,可以據(jù)此減少服務(wù)節(jié)點(diǎn)內(nèi)部署的加速資源數(shù)量。所以,服務(wù)節(jié)點(diǎn)內(nèi)加速資源的部署數(shù)量還與部署有加速資源的轉(zhuǎn)發(fā)節(jié)點(diǎn)距離有關(guān)。

    綜合以上兩點(diǎn)分析,服務(wù)節(jié)點(diǎn)內(nèi)加速資源與流量轉(zhuǎn)發(fā)路徑中轉(zhuǎn)發(fā)節(jié)點(diǎn)內(nèi)加速資源共同協(xié)作,完成對服務(wù)鏈的加速處理,對服務(wù)節(jié)點(diǎn)內(nèi)加速資源部署數(shù)量可以定義如下:

    (6)

    dsj(ni)=|ni-sj|B

    (7)

    算法2 基于節(jié)點(diǎn)協(xié)作的服務(wù)節(jié)點(diǎn)加速資源部署算法。

    輸入:各服務(wù)節(jié)點(diǎn)內(nèi)配置的物理資源R,以及轉(zhuǎn)發(fā)節(jié)點(diǎn)和服務(wù)節(jié)點(diǎn)所組網(wǎng)絡(luò)的鄰接矩陣。其中,兩個(gè)節(jié)點(diǎn)相連為鏈路帶寬值,不相連為0;

    步驟1 根據(jù)算法1,確定網(wǎng)絡(luò)中各轉(zhuǎn)發(fā)節(jié)點(diǎn)內(nèi)加速資源部署數(shù)量;

    步驟2 用Floyd算法求各服務(wù)節(jié)點(diǎn)與轉(zhuǎn)發(fā)節(jié)點(diǎn)間的最短距離;

    步驟3 根據(jù)式(6)、(7)計(jì)算各服務(wù)節(jié)點(diǎn)的加速資源部署數(shù)量;

    在TARD算法的階段1和2,都需要Floyd算法求解節(jié)點(diǎn)間的最短路徑,需要O(n3)的時(shí)間,若網(wǎng)絡(luò)為疏松圖,則時(shí)間復(fù)雜度可降為O(n2logn+nm)[14],其中n和m分別代表網(wǎng)絡(luò)拓?fù)渲泄?jié)點(diǎn)與鏈路數(shù)目。

    4 實(shí)驗(yàn)結(jié)果及分析

    為了評估TARD部署算法的有效性,首先TARD算法完成加速資源到各節(jié)點(diǎn)內(nèi)的部署,然后利用基于貪婪算法(Greedy)和禁忌搜素(Tabu Search)的服務(wù)鏈映射算法[15]完成網(wǎng)絡(luò)功能的映射,部署到各節(jié)點(diǎn)內(nèi)的加速資源盡可能承載網(wǎng)絡(luò)功能,計(jì)算加速資源承載的流量和利用率,作為評價(jià)指標(biāo)。因?yàn)槟壳皼]有其他的加速資源部署算法,本章只能與考慮節(jié)點(diǎn)單一屬性的加速資源部署算法(Single-attribute Acceleration Resource Deployment algorithm, SARD)和均勻分配的加速資源部署算法(Uniform Acceleration Resource Deployment algorithm, UARD)進(jìn)行比較。其中:考慮節(jié)點(diǎn)單一屬性的部署算法(SARD)是指,對轉(zhuǎn)發(fā)節(jié)點(diǎn)加速資源只考慮度數(shù)、帶寬或者介數(shù)中心度,而服務(wù)節(jié)點(diǎn)加速資源只考慮物理資源R;均勻部署算法(UARD)是指將全部的轉(zhuǎn)發(fā)節(jié)點(diǎn)加速資源和服務(wù)節(jié)點(diǎn)加速資源平均分配到兩類節(jié)點(diǎn)內(nèi)。

    4.1 實(shí)驗(yàn)環(huán)境

    采用如圖4所示的網(wǎng)絡(luò)拓?fù)鋄16],網(wǎng)絡(luò)中有13個(gè)轉(zhuǎn)發(fā)節(jié)點(diǎn)、6個(gè)服務(wù)節(jié)點(diǎn),轉(zhuǎn)發(fā)節(jié)點(diǎn)之間的鏈路帶寬和服務(wù)節(jié)點(diǎn)內(nèi)的物理資源,根據(jù)表1的參數(shù)設(shè)置隨機(jī)生成。仿真平臺采用Matlab R2015a搭建,計(jì)算機(jī)處理器為Intel Core i5-3450、3.10 GHz,8 GB RAM。

    圖4 仿真網(wǎng)絡(luò)拓?fù)?/p>

    參數(shù)最小值最大值服務(wù)節(jié)點(diǎn)資源R6001000鏈路帶寬B/(Mb·s-1)300500

    設(shè)網(wǎng)絡(luò)有10種功能,其中4種功能需要加速,即γ=1,而有3種功能可以被兩類加速資源承載,1種功能只能被服務(wù)器端加速卡承載。各類功能傳統(tǒng)的物理開銷和加速開銷以及加速后的吞吐量,根據(jù)表2的參數(shù)設(shè)置隨機(jī)生成。每條服務(wù)鏈由10類功能中多個(gè)VNF組成,數(shù)量服從3~5的均勻分布,而服務(wù)鏈的源節(jié)點(diǎn)和目的節(jié)點(diǎn),隨機(jī)從13個(gè)轉(zhuǎn)發(fā)節(jié)點(diǎn)中選取。每條服務(wù)鏈的數(shù)據(jù)流量服從[3,5] Mb/s的隨機(jī)分布。根據(jù)網(wǎng)絡(luò)功能對兩類加速資源的開銷,設(shè)定轉(zhuǎn)發(fā)節(jié)點(diǎn)加速資源可部署的總量為800,部署加速資源節(jié)點(diǎn)拓?fù)鋭莸淖畹烷T限Qmin設(shè)定為0,服務(wù)節(jié)點(diǎn)加速資源可部署的總量為135。設(shè)定算法性能指標(biāo)的參數(shù),r0為0.75,r1為0.25。仿真平臺用Matlab R2015a搭建,在PC機(jī)上(Intel Core CPU i5-3450 3.10 GHz,8 GB RAM)運(yùn)行。

    當(dāng)?shù)讓泳W(wǎng)絡(luò)的資源確定后,分別利用Greedy和TS算法將不同服務(wù)鏈數(shù)目成功映射到網(wǎng)絡(luò)中,要求每條服務(wù)鏈中的網(wǎng)絡(luò)功能映射到不同的服務(wù)節(jié)點(diǎn)內(nèi)。其中,Greedy算法根據(jù)策略的不同可以分為GFP(Greedy Fast Processing)算法和GLL(Greedy Least Loaded)算法?;谪澙匪惴ǖ腉FP算法是指,在鏈路帶寬約束下,對每條服務(wù)鏈,依次搜索確定有足夠的剩余資源能夠承載網(wǎng)絡(luò)功能的服務(wù)器節(jié)點(diǎn),當(dāng)有多個(gè)服務(wù)節(jié)點(diǎn)均滿足要求時(shí),選取相距較近的服務(wù)節(jié)點(diǎn)進(jìn)行承載,此時(shí),從源節(jié)點(diǎn)到最后一個(gè)所選服務(wù)器的路徑也隨之確定;然后,計(jì)算出一條從最后一個(gè)所選服務(wù)節(jié)點(diǎn)到目的節(jié)點(diǎn)的(最短)路徑,依次完成每條服務(wù)鏈的部署;基于貪婪算法的GLL算法與GFP思想類似,從選取距離最近的服務(wù)節(jié)點(diǎn),換為選取剩余資源最大的服務(wù)節(jié)點(diǎn);TS算法設(shè)定服務(wù)節(jié)點(diǎn)負(fù)載均衡為全局優(yōu)化目標(biāo),通過多次搜索完成不同數(shù)目服務(wù)鏈到網(wǎng)絡(luò)中的映射。每種服務(wù)鏈數(shù)目重復(fù)仿真50次,得到不同服務(wù)鏈映射算法下,TARD算法和要比較的加速資源部署算法的平均性能指標(biāo)。

    表2 VNF參數(shù)

    4.2 性能分析

    圖5分別表示利用GFP、GLL和TS算法映射不同數(shù)目服務(wù)鏈情況下,不同部署算法下的加速資源承載流量。從圖中可以看出,隨著服務(wù)鏈數(shù)目的增大,加速資源承載的流量不斷增大,但不同算法的流量的數(shù)值和增長幅度不同。在三種的服務(wù)鏈映射算法和不同服務(wù)鏈數(shù)目下,TARD算法的加速資源承載的流量最大,相比其他部署算法承載流量的平均值,能夠提升38.4%、41.4%和30.4%。隨著服務(wù)鏈數(shù)目的進(jìn)一步增大,尤其是在TS映射算法下,加速資源承載的總流量增長速度開始放緩,已經(jīng)接近所部署加速資源承載的流量上限。均勻部署算法沒有考慮節(jié)點(diǎn)間彼此的差異性,部署的加速資源與節(jié)點(diǎn)本身的屬性不相適應(yīng),性能指標(biāo)最差。只考慮節(jié)點(diǎn)單一屬性主要考慮節(jié)點(diǎn)本身的屬性,沒有考慮服務(wù)鏈部署時(shí)的路徑選取,以及兩類加速資源間相互影響。隨著服務(wù)鏈數(shù)目的增加,加速資源承載的總流量較低,是因?yàn)椴糠旨铀儋Y源部署不合理造成的。TARD算法的部署方法綜合考慮節(jié)點(diǎn)資源對服務(wù)鏈部署時(shí)的影響和兩類加速資源間的相互作用,增加了加速資源部署的合理性。因此,TARD算法的加速資源配置策略更加合理,能夠負(fù)載更多的業(yè)務(wù)流量。

    圖6分別表示GFP、GLL和TS算法部署不同數(shù)目服務(wù)鏈情況下,不同部署算法的加速資源利用率。從圖中可以看出,隨著服務(wù)鏈數(shù)目的增大,加速資源的使用效率不斷增大,但不同算法的加速資源使用效率的上升速度和幅度不同。在相同條件下,相比其他算法利用率的平均值,TARD算法的加速資源使用率最高,提升了10.9%、8.3%和14.5%。由于TARD算法部署的加速資源與節(jié)點(diǎn)的傳統(tǒng)物理資源相適應(yīng),在較少的服務(wù)鏈數(shù)目時(shí),就已經(jīng)實(shí)現(xiàn)對使用狀態(tài)下加速資源的復(fù)用,使得加速資源利用率達(dá)到較高的標(biāo)準(zhǔn);隨著服務(wù)鏈數(shù)目的增加,加速資源的利用率進(jìn)一步提高,接近滿載狀態(tài),因此上升速度和幅度相對有限。

    圖5 加速資源承載的流量對比

    圖6 加速資源的利用率對比

    圖7表示不同服務(wù)鏈映射算法下的TARD性能指標(biāo)。從圖中可以看出,相較于GFP算法和GLL算法,不論是加速資源承載的流量,還是加速資源的利用率,使用TS算法映射服務(wù)鏈時(shí),TARD算法的性能指標(biāo)達(dá)到最高。TS算法通過反復(fù)迭代計(jì)算得到的服務(wù)鏈映射方案更優(yōu),節(jié)點(diǎn)的物理資源與部署的網(wǎng)絡(luò)功能更加契合,同樣,節(jié)點(diǎn)內(nèi)部署的加速資源與網(wǎng)絡(luò)功能的加速需求更加匹配。因此,在相同的條件下,當(dāng)服務(wù)鏈映射算法更優(yōu)時(shí),TARD算法的性能指標(biāo)能進(jìn)一步提高。

    5 結(jié)語

    VNF加速資源能夠提升網(wǎng)絡(luò)功能的數(shù)據(jù)處理速率,從而滿足高速率轉(zhuǎn)發(fā)的業(yè)務(wù)需求,推動了SDN和NFV的進(jìn)一步發(fā)展。本文在所提VNF加速資源統(tǒng)一管理平臺的基礎(chǔ)上,研究了全網(wǎng)范圍內(nèi)如何將VNF加速資源合理部署到各轉(zhuǎn)發(fā)節(jié)點(diǎn)和服務(wù)節(jié)點(diǎn)問題。首先,通過分析VNF加速資源對服務(wù)鏈部署的影響,構(gòu)建了VNF加速資源部署模型,提出了加速資源部署算法的性能評價(jià)指標(biāo);然后,針對該問題提出了兩段式加速資源部署算法,對轉(zhuǎn)發(fā)節(jié)點(diǎn)和服務(wù)節(jié)點(diǎn)內(nèi)的加速資源部署問題進(jìn)行了求解,并對算法進(jìn)行了性能仿真。仿真實(shí)驗(yàn)證明,所提算法能夠保證加速資源承載更多的業(yè)務(wù)流量,同時(shí)提高加速資源的利用率。在SDN/NFV架構(gòu)中完成硬件加速資源的部署后,如何高效編排加速資源從而實(shí)現(xiàn)服務(wù)鏈的最優(yōu)承載,目前缺乏相關(guān)研究,設(shè)計(jì)加速資源編排機(jī)制將是下一步的研究方向和目標(biāo)。

    [7] YI X, DUAN J, WU C. GPUNFV: a GPU-accelerated NFV system [C]// APNet ’17: Proceedings of the 1st Asia-Pacific Workshop on Networking. New York: ACM, 2017: 85-91.

    [8] GE X, LIU Y, DU D H C, et al. OpenANFV: accelerating network function virtualization with a consolidated framework in openstack [C]// SIGCOMM ’14: Proceedings of the 2014 ACM Conference on SIGCOMM. New York: ACM, 2014: 353-354.

    [9] LI B, TAN K, LUO L, et al. ClickNP: highly flexible and high performance network processing with reconfigurable hardware [C]// SIGCOMM ’16: Proceedings of the 2016 ACM SIGCOMM Conference. New York: ACM, 2016: 1-14.

    [10] DWARAKI A, WOLF T. Adaptive service-chain routing for virtual network functions in software-defined networks [C]// HotMiddlebox ’16: Proceedings of the 2016 Workshop on Hot Topics in Middleboxes and Network Function Virtualization. New York: ACM, 2016: 32-37.

    [11] 劉彩霞,盧干強(qiáng),湯紅波,等.一種基于Viterbi算法的虛擬網(wǎng)絡(luò)功能自適應(yīng)部署方法[J].電子與信息學(xué)報(bào),2016,38(11):2922-2930.(LIU C X, LU G Q, TANG H B, et al. Adaptive deployment method for virtualized network function based on viterbi algorithm [J]. Journal of Electronics and Information Technology, 2016, 38(11): 2922-2930.)

    [12] BRONSTEIN Z, ROCH E, XIA J, et al. Uniform handling and abstraction of NFV hardware accelerators [J]. IEEE Network, 2015, 29(3): 22-29.

    [13] 李德毅,劉常昱,杜鹢,等.不確定性人工智能[J].軟件學(xué)報(bào),2004,15(11):1583-1594.(LI D Y, LIU C Y, DU Y, et al. Artificial intelligence with uncertainty [J]. Journal of Software, 2004, 15(11): 1583-1594.)

    [14] CORMEN T T, LEISERSON C E, RIVEST R L. Introduction to algorithms [J]. Resonance, 2009, 1(9): 14-24.

    [15] MIJUMBI R, SERRAT J, GORRICHO J L, et al. Design and evaluation of algorithms for mapping and scheduling of virtual network functions [C]// NetSoft ’15: Proceedings of the 2015 1st IEEE Conference on Network Softwarization. Piscataway, NJ: IEEE, 2015: 1-9.

    [16] FENG H, LLORCA J, TULINO A M, et al. Approximation algorithms for the NFV service distribution problem [C]// IEEE INFOCOM ’17: Proceedings of the 2017 IEEE Conference on Computer Communications. Piscataway, NJ: IEEE, 2017:1-9.

    猜你喜歡
    部署流量節(jié)點(diǎn)
    CM節(jié)點(diǎn)控制在船舶上的應(yīng)用
    冰墩墩背后的流量密碼
    玩具世界(2022年2期)2022-06-15 07:35:36
    一種基于Kubernetes的Web應(yīng)用部署與配置系統(tǒng)
    張曉明:流量決定勝負(fù)!三大流量高地裂變無限可能!
    Analysis of the characteristics of electronic equipment usage distance for common users
    晉城:安排部署 統(tǒng)防統(tǒng)治
    基于AutoCAD的門窗節(jié)點(diǎn)圖快速構(gòu)建
    尋找書業(yè)新流量
    出版人(2020年4期)2020-11-14 08:34:26
    部署
    部署“薩德”意欲何為?
    太空探索(2016年9期)2016-07-12 10:00:02
    成人av一区二区三区在线看| 狂野欧美激情性xxxx| 久久久久久久午夜电影 | 9191精品国产免费久久| 国产激情久久老熟女| 亚洲精品美女久久av网站| 成人特级黄色片久久久久久久| 国产成人精品久久二区二区免费| 欧美另类亚洲清纯唯美| 欧美成狂野欧美在线观看| 国产精品香港三级国产av潘金莲| 18禁观看日本| 91九色精品人成在线观看| 男男h啪啪无遮挡| 人妻丰满熟妇av一区二区三区 | 午夜福利在线观看吧| 亚洲成人免费av在线播放| 一本综合久久免费| 黄色a级毛片大全视频| 久久香蕉激情| 51午夜福利影视在线观看| 老汉色av国产亚洲站长工具| 国产一区在线观看成人免费| 亚洲全国av大片| 久久精品亚洲熟妇少妇任你| 欧美精品av麻豆av| 国产黄色免费在线视频| 好看av亚洲va欧美ⅴa在| 国产精品亚洲av一区麻豆| 51午夜福利影视在线观看| 国产亚洲一区二区精品| 午夜老司机福利片| 国产精品久久久久久人妻精品电影| 久久中文看片网| 丝瓜视频免费看黄片| 又紧又爽又黄一区二区| 黄色毛片三级朝国网站| 大码成人一级视频| 日韩有码中文字幕| 夜夜爽天天搞| 老司机影院毛片| 亚洲av熟女| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲三区欧美一区| 久久久久久免费高清国产稀缺| a级毛片黄视频| 精品高清国产在线一区| av天堂久久9| 国产亚洲欧美精品永久| 美女 人体艺术 gogo| 丝袜人妻中文字幕| 狠狠婷婷综合久久久久久88av| 亚洲精品美女久久久久99蜜臀| tube8黄色片| 日韩免费av在线播放| 欧美成人午夜精品| 免费在线观看视频国产中文字幕亚洲| 亚洲色图综合在线观看| 99精品在免费线老司机午夜| 国产精品 欧美亚洲| 亚洲欧美激情综合另类| 91国产中文字幕| 欧美在线一区亚洲| 久久久久久久午夜电影 | 午夜免费成人在线视频| 亚洲三区欧美一区| 国产精品国产高清国产av | 91成人精品电影| 精品国产超薄肉色丝袜足j| 亚洲一区中文字幕在线| av国产精品久久久久影院| 国产精品一区二区在线不卡| 女人精品久久久久毛片| 99精品久久久久人妻精品| 日韩人妻精品一区2区三区| 99国产综合亚洲精品| 午夜福利免费观看在线| 久久久久精品人妻al黑| 搡老岳熟女国产| 91字幕亚洲| 国产精品综合久久久久久久免费 | 成人特级黄色片久久久久久久| 好看av亚洲va欧美ⅴa在| 久久午夜综合久久蜜桃| 国内毛片毛片毛片毛片毛片| 91麻豆精品激情在线观看国产 | 少妇 在线观看| 又黄又粗又硬又大视频| 亚洲国产中文字幕在线视频| 一进一出抽搐动态| 亚洲av日韩在线播放| 午夜福利免费观看在线| 人妻一区二区av| 欧美激情极品国产一区二区三区| 五月开心婷婷网| 丁香欧美五月| 一进一出抽搐gif免费好疼 | 免费观看精品视频网站| 国产高清videossex| 欧美一级毛片孕妇| 久久精品亚洲av国产电影网| 高清黄色对白视频在线免费看| av有码第一页| 久久中文看片网| 日韩精品免费视频一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 欧美日韩av久久| 黑人操中国人逼视频| 正在播放国产对白刺激| 女人被狂操c到高潮| 亚洲熟女精品中文字幕| 亚洲aⅴ乱码一区二区在线播放 | 一级作爱视频免费观看| 天天操日日干夜夜撸| 亚洲av日韩精品久久久久久密| 1024香蕉在线观看| 在线观看一区二区三区激情| 亚洲 国产 在线| 久久久精品区二区三区| 国产精品1区2区在线观看. | 亚洲五月色婷婷综合| 亚洲av成人一区二区三| 黑人欧美特级aaaaaa片| 国产精品久久电影中文字幕 | 国产日韩一区二区三区精品不卡| 久久久久视频综合| 狂野欧美激情性xxxx| 两人在一起打扑克的视频| 极品人妻少妇av视频| 精品无人区乱码1区二区| 99热国产这里只有精品6| 精品熟女少妇八av免费久了| 亚洲一卡2卡3卡4卡5卡精品中文| 91国产中文字幕| 十八禁人妻一区二区| 99国产精品一区二区蜜桃av | 真人做人爱边吃奶动态| 一级毛片女人18水好多| 精品第一国产精品| 久久热在线av| 亚洲情色 制服丝袜| 国产片内射在线| 正在播放国产对白刺激| 久久ye,这里只有精品| 国产成人啪精品午夜网站| 中出人妻视频一区二区| 成年女人毛片免费观看观看9 | 国产人伦9x9x在线观看| 亚洲欧洲精品一区二区精品久久久| 国产精品欧美亚洲77777| 国产aⅴ精品一区二区三区波| 精品午夜福利视频在线观看一区| 高清av免费在线| 国产精品永久免费网站| 高清在线国产一区| 高清在线国产一区| 精品第一国产精品| 精品一区二区三区av网在线观看| 久久国产亚洲av麻豆专区| 男男h啪啪无遮挡| 美国免费a级毛片| www日本在线高清视频| 亚洲国产精品合色在线| 欧美日韩精品网址| 亚洲专区国产一区二区| 国产精品1区2区在线观看. | 日本欧美视频一区| avwww免费| 国产欧美日韩一区二区三| 国产欧美日韩一区二区三| 欧美黑人欧美精品刺激| 日本wwww免费看| 高清黄色对白视频在线免费看| 久久亚洲真实| 这个男人来自地球电影免费观看| 一区二区三区精品91| 国产av又大| 一区在线观看完整版| 一进一出抽搐动态| 欧美人与性动交α欧美精品济南到| 亚洲色图 男人天堂 中文字幕| 青草久久国产| 可以免费在线观看a视频的电影网站| 免费观看精品视频网站| 亚洲精品av麻豆狂野| 夜夜躁狠狠躁天天躁| 国产99久久九九免费精品| 亚洲情色 制服丝袜| 久久人妻av系列| 怎么达到女性高潮| 日日摸夜夜添夜夜添小说| 看片在线看免费视频| 日日摸夜夜添夜夜添小说| 香蕉久久夜色| 亚洲国产精品合色在线| 中文亚洲av片在线观看爽 | 男女之事视频高清在线观看| 亚洲性夜色夜夜综合| 亚洲av日韩在线播放| 亚洲精华国产精华精| 大香蕉久久成人网| 成年人黄色毛片网站| 国产精品成人在线| 欧美日韩福利视频一区二区| 在线av久久热| 精品久久蜜臀av无| 久久ye,这里只有精品| 黄色a级毛片大全视频| 欧美乱码精品一区二区三区| 激情视频va一区二区三区| 久久人人97超碰香蕉20202| videos熟女内射| 国产淫语在线视频| av在线播放免费不卡| 国产欧美日韩一区二区三| 亚洲成人国产一区在线观看| 99re6热这里在线精品视频| 亚洲av电影在线进入| 男女下面插进去视频免费观看| 麻豆av在线久日| 免费观看a级毛片全部| 十分钟在线观看高清视频www| 久久久久国产一级毛片高清牌| 午夜久久久在线观看| av天堂久久9| xxxhd国产人妻xxx| av电影中文网址| 欧美不卡视频在线免费观看 | 亚洲欧美色中文字幕在线| 午夜影院日韩av| 精品人妻1区二区| av在线播放免费不卡| 深夜精品福利| 俄罗斯特黄特色一大片| 午夜福利在线观看吧| 在线观看免费午夜福利视频| 久久久精品国产亚洲av高清涩受| 五月开心婷婷网| 午夜免费成人在线视频| 少妇的丰满在线观看| 亚洲精品在线美女| 欧美中文综合在线视频| 一本大道久久a久久精品| 女性被躁到高潮视频| 超碰成人久久| 天天躁日日躁夜夜躁夜夜| 亚洲色图av天堂| 自线自在国产av| 少妇被粗大的猛进出69影院| 成人免费观看视频高清| 人成视频在线观看免费观看| 后天国语完整版免费观看| 高清av免费在线| 啦啦啦视频在线资源免费观看| 欧美激情久久久久久爽电影 | 1024视频免费在线观看| 麻豆国产av国片精品| 色综合欧美亚洲国产小说| 国产成人啪精品午夜网站| 日日爽夜夜爽网站| 成人永久免费在线观看视频| 建设人人有责人人尽责人人享有的| 婷婷精品国产亚洲av在线 | 老司机福利观看| 精品一区二区三区av网在线观看| 无限看片的www在线观看| 精品国产超薄肉色丝袜足j| 午夜影院日韩av| 人妻一区二区av| 性色av乱码一区二区三区2| 午夜91福利影院| 国产深夜福利视频在线观看| 国产一区二区三区在线臀色熟女 | 男人操女人黄网站| 一级片'在线观看视频| 一本综合久久免费| 老汉色∧v一级毛片| 国产又色又爽无遮挡免费看| 成年人免费黄色播放视频| 免费人成视频x8x8入口观看| 很黄的视频免费| 国产精品一区二区免费欧美| 亚洲成人免费电影在线观看| 国产又色又爽无遮挡免费看| 亚洲av日韩精品久久久久久密| 在线观看午夜福利视频| 夜夜夜夜夜久久久久| 国产99久久九九免费精品| 国产精品98久久久久久宅男小说| 伊人久久大香线蕉亚洲五| 久热这里只有精品99| 99精国产麻豆久久婷婷| 大香蕉久久成人网| 亚洲avbb在线观看| 9191精品国产免费久久| 精品国产亚洲在线| 国产不卡一卡二| 人人妻人人澡人人爽人人夜夜| 欧美成狂野欧美在线观看| 777米奇影视久久| 亚洲国产欧美网| 欧美亚洲日本最大视频资源| 国产高清激情床上av| 成在线人永久免费视频| 香蕉国产在线看| svipshipincom国产片| 天天躁日日躁夜夜躁夜夜| 悠悠久久av| 黄片小视频在线播放| 亚洲aⅴ乱码一区二区在线播放 | 午夜精品国产一区二区电影| 午夜福利一区二区在线看| 俄罗斯特黄特色一大片| 久久久国产成人免费| 伦理电影免费视频| 欧美 亚洲 国产 日韩一| 黑人巨大精品欧美一区二区蜜桃| 国产欧美日韩一区二区三| 交换朋友夫妻互换小说| e午夜精品久久久久久久| 久久青草综合色| 黄网站色视频无遮挡免费观看| 午夜福利欧美成人| 欧美日韩中文字幕国产精品一区二区三区 | 欧美在线黄色| 露出奶头的视频| 美女 人体艺术 gogo| 中文字幕av电影在线播放| 超碰97精品在线观看| 亚洲,欧美精品.| 又大又爽又粗| 丰满人妻熟妇乱又伦精品不卡| 美女国产高潮福利片在线看| 午夜影院日韩av| 99精国产麻豆久久婷婷| 精品熟女少妇八av免费久了| 亚洲精品久久午夜乱码| 久久久精品区二区三区| 午夜福利乱码中文字幕| 亚洲av欧美aⅴ国产| 国产亚洲欧美精品永久| 色婷婷久久久亚洲欧美| 精品久久久久久,| 国产亚洲精品久久久久5区| 成人国语在线视频| 亚洲自偷自拍图片 自拍| 国产野战对白在线观看| 免费观看人在逋| 最新在线观看一区二区三区| 久久精品国产综合久久久| 午夜免费成人在线视频| 黄色视频不卡| 大香蕉久久成人网| 成年女人毛片免费观看观看9 | 高清毛片免费观看视频网站 | 欧美最黄视频在线播放免费 | 热99国产精品久久久久久7| 日韩中文字幕欧美一区二区| 欧美日韩亚洲高清精品| 国产男靠女视频免费网站| 午夜福利乱码中文字幕| 日韩熟女老妇一区二区性免费视频| 亚洲av第一区精品v没综合| 亚洲精华国产精华精| x7x7x7水蜜桃| 欧美另类亚洲清纯唯美| 丁香六月欧美| 在线观看66精品国产| 亚洲精品在线观看二区| 午夜福利一区二区在线看| 欧美日韩中文字幕国产精品一区二区三区 | 欧美丝袜亚洲另类 | 国产精品 国内视频| 日本一区二区免费在线视频| 成人18禁在线播放| 国产亚洲精品一区二区www | 欧美av亚洲av综合av国产av| 日本精品一区二区三区蜜桃| 人成视频在线观看免费观看| 男男h啪啪无遮挡| 中文字幕制服av| 亚洲,欧美精品.| 男人操女人黄网站| 国产日韩一区二区三区精品不卡| 亚洲一区中文字幕在线| 国产精品综合久久久久久久免费 | 黄片大片在线免费观看| 免费在线观看亚洲国产| 色尼玛亚洲综合影院| 91精品国产国语对白视频| 成年人午夜在线观看视频| 欧美日韩黄片免| 村上凉子中文字幕在线| 亚洲九九香蕉| 国产色视频综合| 99久久国产精品久久久| 性少妇av在线| 国产欧美日韩一区二区精品| √禁漫天堂资源中文www| 亚洲欧美一区二区三区久久| 侵犯人妻中文字幕一二三四区| 中文字幕制服av| 久久久久久久国产电影| 精品亚洲成a人片在线观看| 国产91精品成人一区二区三区| 国产av精品麻豆| 人人妻人人澡人人看| 国产成人啪精品午夜网站| 91在线观看av| 身体一侧抽搐| 久久精品熟女亚洲av麻豆精品| 少妇裸体淫交视频免费看高清 | 18禁观看日本| 国产蜜桃级精品一区二区三区 | 亚洲少妇的诱惑av| 十八禁网站免费在线| 嫁个100分男人电影在线观看| 亚洲一区高清亚洲精品| 久久影院123| 日韩中文字幕欧美一区二区| 亚洲第一青青草原| 丝袜人妻中文字幕| 欧美日韩福利视频一区二区| 国产精品免费大片| 久久人人爽av亚洲精品天堂| 亚洲精品av麻豆狂野| 欧美日韩亚洲高清精品| www.999成人在线观看| 亚洲人成电影观看| av一本久久久久| 中文亚洲av片在线观看爽 | av网站免费在线观看视频| 久久午夜亚洲精品久久| 婷婷丁香在线五月| 黄色怎么调成土黄色| 亚洲精品在线美女| 一进一出好大好爽视频| 桃红色精品国产亚洲av| 18禁黄网站禁片午夜丰满| netflix在线观看网站| 极品少妇高潮喷水抽搐| 亚洲精品美女久久av网站| 国产欧美日韩一区二区精品| 人妻丰满熟妇av一区二区三区 | 91麻豆av在线| 999久久久精品免费观看国产| 黄色视频不卡| 精品国产一区二区久久| 国产精品98久久久久久宅男小说| avwww免费| 国产精品 国内视频| 高清av免费在线| 热re99久久精品国产66热6| 一二三四社区在线视频社区8| 欧美成狂野欧美在线观看| 真人做人爱边吃奶动态| 中出人妻视频一区二区| 老司机午夜福利在线观看视频| √禁漫天堂资源中文www| 丰满饥渴人妻一区二区三| 久久久精品免费免费高清| 国产成人精品久久二区二区91| 99久久综合精品五月天人人| 男男h啪啪无遮挡| 中文字幕制服av| 黄色成人免费大全| 新久久久久国产一级毛片| 捣出白浆h1v1| 又大又爽又粗| 久久久国产一区二区| 欧美乱码精品一区二区三区| 久久久久久免费高清国产稀缺| 日韩三级视频一区二区三区| 黄片大片在线免费观看| 搡老乐熟女国产| 国产精品98久久久久久宅男小说| 成年动漫av网址| 国产一区二区三区在线臀色熟女 | 亚洲精品在线观看二区| 久久天堂一区二区三区四区| 高清视频免费观看一区二区| 欧美日本中文国产一区发布| 国产蜜桃级精品一区二区三区 | 村上凉子中文字幕在线| 国产蜜桃级精品一区二区三区 | 国产又爽黄色视频| 国产av精品麻豆| 国产97色在线日韩免费| 无限看片的www在线观看| 日韩 欧美 亚洲 中文字幕| 欧美精品人与动牲交sv欧美| 搡老乐熟女国产| 成人av一区二区三区在线看| 91成年电影在线观看| 黄色片一级片一级黄色片| 久久青草综合色| 午夜精品国产一区二区电影| 国产午夜精品久久久久久| aaaaa片日本免费| 午夜福利影视在线免费观看| 80岁老熟妇乱子伦牲交| 99riav亚洲国产免费| 黄色a级毛片大全视频| 老司机靠b影院| 国产蜜桃级精品一区二区三区 | 99久久99久久久精品蜜桃| 亚洲少妇的诱惑av| 欧美精品人与动牲交sv欧美| 热re99久久国产66热| 亚洲第一av免费看| a在线观看视频网站| 免费观看精品视频网站| 日韩欧美一区二区三区在线观看 | 久久精品aⅴ一区二区三区四区| 夜夜爽天天搞| 怎么达到女性高潮| 国产精品久久久av美女十八| 国产黄色免费在线视频| 看免费av毛片| 国产在线一区二区三区精| 久久性视频一级片| 亚洲中文日韩欧美视频| 91成人精品电影| 一级,二级,三级黄色视频| 一区二区三区国产精品乱码| 国产精品香港三级国产av潘金莲| 中文欧美无线码| 9191精品国产免费久久| 亚洲av美国av| 欧美一级毛片孕妇| 在线观看免费视频日本深夜| 天堂动漫精品| 亚洲一卡2卡3卡4卡5卡精品中文| 国产日韩一区二区三区精品不卡| 欧美成人午夜精品| 99精品欧美一区二区三区四区| 后天国语完整版免费观看| 亚洲成人手机| 午夜福利乱码中文字幕| 在线观看免费日韩欧美大片| 国产精品永久免费网站| 国产高清视频在线播放一区| 国产欧美日韩精品亚洲av| 中文字幕人妻熟女乱码| 女人爽到高潮嗷嗷叫在线视频| 日韩欧美国产一区二区入口| 亚洲精品中文字幕一二三四区| 最近最新中文字幕大全电影3 | 又黄又爽又免费观看的视频| 国产主播在线观看一区二区| 高清毛片免费观看视频网站 | 亚洲色图综合在线观看| 大型黄色视频在线免费观看| 丝袜美腿诱惑在线| 高清在线国产一区| 欧美乱色亚洲激情| 亚洲伊人色综图| 精品免费久久久久久久清纯 | 亚洲国产精品合色在线| 18禁国产床啪视频网站| 很黄的视频免费| 国产亚洲精品久久久久久毛片 | 满18在线观看网站| av一本久久久久| 亚洲av成人不卡在线观看播放网| 国内毛片毛片毛片毛片毛片| 国产精品免费大片| 悠悠久久av| 99国产综合亚洲精品| 丰满人妻熟妇乱又伦精品不卡| 18禁观看日本| 午夜福利免费观看在线| 法律面前人人平等表现在哪些方面| 日韩中文字幕欧美一区二区| 国产男女超爽视频在线观看| svipshipincom国产片| 久久精品国产a三级三级三级| 国产不卡av网站在线观看| 麻豆国产av国片精品| netflix在线观看网站| 国产精品香港三级国产av潘金莲| 久久中文字幕一级| 777米奇影视久久| 国产无遮挡羞羞视频在线观看| 亚洲一区二区三区欧美精品| 亚洲av片天天在线观看| 欧美老熟妇乱子伦牲交| 十分钟在线观看高清视频www| 老司机亚洲免费影院| 国产一区二区三区综合在线观看| 夜夜夜夜夜久久久久| 亚洲美女黄片视频| 在线观看免费午夜福利视频| 午夜精品国产一区二区电影| av网站免费在线观看视频| netflix在线观看网站| 老司机影院毛片| 精品一区二区三区av网在线观看| 日韩 欧美 亚洲 中文字幕| 精品欧美一区二区三区在线| 国产深夜福利视频在线观看| 久久九九热精品免费| 欧美亚洲日本最大视频资源| 亚洲五月天丁香| 欧美性长视频在线观看| 久久99一区二区三区| 王馨瑶露胸无遮挡在线观看| 高清视频免费观看一区二区| 中文字幕最新亚洲高清| 精品一区二区三卡| 大香蕉久久成人网| 黄色成人免费大全| 中文字幕另类日韩欧美亚洲嫩草| 午夜免费鲁丝| 一a级毛片在线观看|