• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    SDN數(shù)據(jù)中心網(wǎng)絡(luò)基于流表項(xiàng)轉(zhuǎn)換的流表調(diào)度優(yōu)化

    2017-10-18 01:04:38王敢甫吳京京王文濤
    關(guān)鍵詞:流表表項(xiàng)概率模型

    唐 菀,王敢甫,吳京京,王文濤

    (1 中南民族大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院, 武漢 430074;2 武漢烽火信息集成技術(shù)有限公司 IT事業(yè)部,武漢 430074)

    SDN數(shù)據(jù)中心網(wǎng)絡(luò)基于流表項(xiàng)轉(zhuǎn)換的流表調(diào)度優(yōu)化

    唐 菀1,王敢甫2,吳京京1,王文濤1

    (1 中南民族大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院, 武漢 430074;2 武漢烽火信息集成技術(shù)有限公司 IT事業(yè)部,武漢 430074)

    針對(duì)基于軟件定義網(wǎng)絡(luò)(SDN)架構(gòu)的數(shù)據(jù)中心網(wǎng)絡(luò)中,SDN交換機(jī)流表資源的有限性導(dǎo)致的流表溢出或控制器擁塞等問題,引入空閑流表資源代價(jià)的概念描述了網(wǎng)絡(luò)資源的利用率,并分析了空閑流表資源量與重復(fù)下發(fā)的流表項(xiàng)數(shù)量之間的關(guān)系,提出了一個(gè)基于流表超時(shí)機(jī)制的流表調(diào)度策略,依據(jù)流表項(xiàng)生存時(shí)間和匹配計(jì)數(shù)來進(jìn)行靜態(tài)流表項(xiàng)和動(dòng)態(tài)流表項(xiàng)之間的實(shí)時(shí)轉(zhuǎn)換.在Fat-tree拓?fù)銼DN數(shù)據(jù)中心網(wǎng)絡(luò)仿真實(shí)驗(yàn)中,對(duì)該機(jī)制對(duì)流表資源優(yōu)化的有效性進(jìn)行了驗(yàn)證.

    軟件定義網(wǎng)絡(luò);數(shù)據(jù)中心網(wǎng)絡(luò);資源代價(jià);流表調(diào)度

    AbstractThe resource limitation of the flowtable in OpenFlow switches causes the problem of flowtable overflow or controller congestion in the SDN-based datacenter network. To address the issue, in this paper, the concept of Free Entries Cost is introduced for describing the utilization efficiency of network resources, and the relationship between the numbers of free flowtable resources and that of the flowentries being forwarded repeatedly is analyzed. Then, a flowtable scheduling strategy based on the flowtable timeout mechanism is proposed, which can do real-time conversion between static and dynamic flowentries according to the survival time and the count of the flowentry matching. Via the simulation platform of SDN-based datacenter network with the Fat-tree topology, the availability of the proposed mechanism for optimizing the usage of flowtables is verified.

    Keywordssoftware-defined networking; datacenter network; resource cost; flowtable scheduling

    近年來,軟件定義網(wǎng)絡(luò)(SDN)的發(fā)展與數(shù)據(jù)中心的聯(lián)系越來越緊密[1].SDN通過分離控制平面與數(shù)據(jù)平面及提供控制層北向編程接口(API),給云數(shù)據(jù)中心網(wǎng)絡(luò)的管理提供了新的手段和途徑.數(shù)據(jù)中心網(wǎng)絡(luò)每秒會(huì)產(chǎn)生幾十萬(wàn)條流甚至更多,數(shù)據(jù)中心內(nèi)的流量占數(shù)據(jù)中心總流量的80%左右[2],數(shù)據(jù)中心流量已經(jīng)由“南北”為主轉(zhuǎn)變?yōu)椤皷|西”為主.對(duì)于OpenFlow交換機(jī),SDN網(wǎng)絡(luò)提供基于流的細(xì)粒度控制,網(wǎng)絡(luò)中的每一條數(shù)據(jù)流可能對(duì)應(yīng)不止一條流表項(xiàng),加上不同服務(wù)器之間豐富且頻繁的交互,需要控制器下發(fā)大量的流表項(xiàng)來維持通信.當(dāng)突發(fā)流很多時(shí),容易導(dǎo)致控制器過載.并且流表大小受TCAM(Ternary Content Addressable Memory)限制,過多的流表項(xiàng)可能會(huì)由于流表資源不足引起流表溢出.此外,在新的流到達(dá)時(shí)必然會(huì)產(chǎn)生新舊流表項(xiàng)的替換,延長(zhǎng)了流表項(xiàng)的下發(fā)所需時(shí)間,導(dǎo)致更長(zhǎng)的網(wǎng)絡(luò)延時(shí).

    為了解決流表容量有限而導(dǎo)致的控制器擁塞和流表資源溢出問題,OpenFlow協(xié)議引入了多流表形式,通過基于流水線的流表查找來解決指數(shù)級(jí)增加的流表項(xiàng)數(shù).學(xué)術(shù)界則主要從幾個(gè)方面來解決:(1)針對(duì)SDN架構(gòu)存在的缺陷,擴(kuò)展SDN架構(gòu)的軟件和硬件功能[3];(2)認(rèn)為流表項(xiàng)的數(shù)據(jù)結(jié)構(gòu)過于繁雜是造成流表資源不足主要原因,從而通過改進(jìn)流表項(xiàng)數(shù)據(jù)結(jié)構(gòu)來解決[4];(3)使用統(tǒng)計(jì)或數(shù)學(xué)模型來預(yù)測(cè)網(wǎng)絡(luò)資源使用[5];(4)根據(jù)網(wǎng)絡(luò)資源使用情況,改進(jìn)流表超時(shí)機(jī)制,動(dòng)態(tài)設(shè)置流表項(xiàng)的超時(shí)時(shí)間[6].

    在當(dāng)前通過停滯等待超時(shí)時(shí)間idle-timeout(簡(jiǎn)稱停滯超時(shí)時(shí)間或超時(shí)時(shí)間)調(diào)控流表資源的工作中,還沒有對(duì)控制器資源和流表資源與idle-timeout關(guān)系的深入研究與探討,且大部分側(cè)重于如何減少流表資源的使用來保證其不溢出.其實(shí),要保證流表不溢出,只需要設(shè)置很小的超時(shí)時(shí)間,但考慮在減少流表資源使用時(shí)對(duì)控制器的負(fù)載增加的研究也不多見.因此,本文綜合這兩個(gè)方面提出“空閑流表資源代價(jià)”的概念,用來評(píng)價(jià)相關(guān)算法或策略對(duì)idle-timeout的調(diào)控是否有效.此外,在不同的數(shù)據(jù)中心網(wǎng)絡(luò)流量特性下,研究流表項(xiàng)的超時(shí)設(shè)置對(duì)流表資源和控制器資源的影響,提出流表項(xiàng)的動(dòng)靜態(tài)轉(zhuǎn)換機(jī)制,從而改善流表溢出時(shí)控制器資源與流表資源之間的調(diào)度問題.

    1 停滯超時(shí)時(shí)間對(duì)流表資源的影響

    1.1流表資源問題描述

    當(dāng)前流表項(xiàng)在流表中存活的時(shí)間一般為固定值或永久存在,東西向流量中的業(yè)務(wù)種類豐富,每一個(gè)流產(chǎn)生周期并不一致,如圖1,流表項(xiàng)的idle-timeout即為流匹配完畢后該流表項(xiàng)能繼續(xù)存在于流表中的時(shí)間.如果idle-timeout設(shè)置過短,對(duì)于數(shù)據(jù)間隔時(shí)間(T_interval)比較長(zhǎng)的流,就會(huì)導(dǎo)致交換機(jī)頻繁向控制器發(fā)送Packet_in消息,控制器會(huì)頻繁重復(fù)下發(fā)此流表項(xiàng),浪費(fèi)控制器資源;如果idle-timeout設(shè)置過長(zhǎng),對(duì)于數(shù)據(jù)間隔時(shí)間比較短的流,流表項(xiàng)可能在流匹配結(jié)束后在流表中繼續(xù)存在,成為無(wú)效流表項(xiàng),占用流表資源,并且由于流表的匹配機(jī)制,無(wú)效流表項(xiàng)會(huì)延長(zhǎng)流匹配的過程.所以,為了減小此類問題所產(chǎn)生的影響,平衡控制器資源與流表資源的使用,必須要對(duì)SDN網(wǎng)絡(luò)的流表資源進(jìn)行優(yōu)化.

    (a) idle-timeout設(shè)置過短

    (b) idle-timeout設(shè)置過長(zhǎng)圖1 停滯等待超時(shí)時(shí)間設(shè)置示例 Fig.1 Examples for idle-timeout setting

    1.2空閑流表資源代價(jià)

    SDN網(wǎng)絡(luò)流表項(xiàng)的idle-timeout設(shè)置是否合理,取決于是否能最大限度地節(jié)省流表資源,同時(shí)沒有帶來更多的控制器資源消耗,這里所說的控制器資源的消耗指重復(fù)流表項(xiàng)的下發(fā).如果流表資源的不足,加上控制器需要對(duì)同一條流表項(xiàng)不斷地重新下發(fā),必然大量消耗控制器的資源.

    空閑流表資源是指交換機(jī)中節(jié)約的流表資源(一般以流表項(xiàng)的條目數(shù)多少來衡量).本文提出“空閑流表資源代價(jià)”,表示一條空閑的流表項(xiàng)導(dǎo)致被重復(fù)下發(fā)流表項(xiàng)的次數(shù),用于評(píng)估流表資源和控制器資源的使用效率,進(jìn)而判斷idle-timeout的設(shè)置是否合理.為了更簡(jiǎn)單討論問題,下面對(duì)問題進(jìn)行抽象,建立一個(gè)簡(jiǎn)單數(shù)學(xué)模型來描述空閑流表項(xiàng)資源與重復(fù)流表項(xiàng)數(shù)量之間的聯(lián)系.

    對(duì)一個(gè)SDN網(wǎng)絡(luò)中的流量作如下假設(shè)(圖示見圖2):

    圖2 流的特征參數(shù)示意Fig.2 Characteristic parameters of flows

    ① 取某一段通信時(shí)長(zhǎng)為T,設(shè)這段時(shí)間內(nèi)有n條不同的流{f1,f2,…,fn}傳輸,對(duì)應(yīng)著n條流表項(xiàng);

    ② 網(wǎng)絡(luò)中的每一條流具有這樣的特征參數(shù),如流fi:{ti,ci},i∈{1, …,n},其中ti為流fi的時(shí)間間隔特征,表示流fi每次消失后到再次出現(xiàn)所經(jīng)歷的時(shí)間段,ci表示fi每次出現(xiàn)后所持續(xù)的時(shí)間;

    ③ 所有流的時(shí)間間隔特征為{t1,t2,…,tn}(其中t1≤t2≤ … ≤tn),與之對(duì)應(yīng)的流持續(xù)時(shí)間為{c1,c2,…,cn};

    ④ 控制器默認(rèn)設(shè)置的idle-timeout為Tout,ti-1≤Tout≤ti,i∈{1,…,n}.

    可得,在時(shí)間T內(nèi)重復(fù)下發(fā)的流表項(xiàng)數(shù)量為:

    (1)

    所有下發(fā)的流表項(xiàng)在交換機(jī)上存在的總時(shí)間為:

    把TotalTime歸一化到流表資源的占用數(shù)量上,并計(jì)算出空閑的流表項(xiàng)資源數(shù)量:

    化簡(jiǎn)可得:

    (2)

    根據(jù)定義,空閑流表資源代價(jià)可表示為:

    (3)

    由式(1)和式(2)可以看出,重復(fù)下發(fā)的流表項(xiàng)數(shù)量Countre_flowentries與空閑的流表項(xiàng)資源數(shù)量FreeEntries都與超時(shí)時(shí)間Tout密切相關(guān).

    1.3停滯超時(shí)時(shí)間的合理設(shè)置

    本節(jié)將通過實(shí)驗(yàn)來分析不同流量場(chǎng)景下,空閑流表資源代價(jià)與超時(shí)時(shí)間idle-timeout的關(guān)系.

    1.3.1 仿真網(wǎng)絡(luò)及相關(guān)設(shè)置

    本文采用仿真軟件搭建網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境,在一臺(tái)PC機(jī)上的VMware工作站中安裝Ubantu14.04LTS虛擬機(jī),并在其中安裝OpenDaylight和Mininet.SDN控制器使用OpenDayLight的Lithium-SR2版本[7],OpenFlow交換機(jī)以及服務(wù)器結(jié)點(diǎn)(本文也稱之為主機(jī)結(jié)點(diǎn))的模擬用Mininet實(shí)現(xiàn).使用Mininet模擬的交換機(jī)是OpenvSwitch2.3.1版本,北向接口采用OpenFlow1.3.0協(xié)議.詳細(xì)軟硬件環(huán)境分別見表1和表2.

    表1 硬件環(huán)境

    表2 軟件仿真工具Tab.2 Simulation software

    實(shí)驗(yàn)網(wǎng)絡(luò)拓?fù)洳捎脭?shù)據(jù)中心網(wǎng)絡(luò)研究中常用、目前工業(yè)界應(yīng)用最廣泛的Fat-tree[8-10]結(jié)構(gòu).如圖3,每個(gè)交換機(jī)都連接到OpenDayLight控制器,網(wǎng)絡(luò)中交換機(jī)分為核心層、匯聚層和邊緣層.虛線框內(nèi)由匯聚層和邊緣層的交換機(jī)組成一個(gè)Pod,共有4個(gè)Pod,每個(gè)邊緣交換機(jī)連接2臺(tái)服務(wù)器.在本文實(shí)驗(yàn)中進(jìn)行流表資源調(diào)控的交換機(jī)是核心交換機(jī)S4,流表容量為160條流表項(xiàng).

    為了流量模擬的準(zhǔn)確性和全面性,本文參考文獻(xiàn)[11]模擬了數(shù)據(jù)中心兩種常見的流量模型:平均概率模型和選擇概率模型.平均概率模型是指主機(jī)向網(wǎng)絡(luò)中的另一任意主機(jī)以等概率發(fā)送數(shù)據(jù)包,不同主機(jī)之間為隨機(jī)通信,從而使流量在網(wǎng)絡(luò)間均勻分布,這種流量模型在實(shí)際中并不多,主要是為了理論實(shí)驗(yàn);選擇概率模型是指在網(wǎng)絡(luò)中少數(shù)的主機(jī)間會(huì)有比較大的概率互相發(fā)送數(shù)據(jù)包,而其他主機(jī)之間則是隨機(jī)通信,使網(wǎng)絡(luò)流具有明顯的局部性,這種流量模型則是為了模擬實(shí)際的數(shù)據(jù)中心流量模型.

    本文實(shí)驗(yàn)只關(guān)注流的數(shù)據(jù)間隔時(shí)間以及在不同的流量模型和不同idle-timeout的設(shè)置下,虛擬交換機(jī)OpenvSwitch的流表項(xiàng)數(shù)量變化.因此,本文中虛擬主機(jī)之間通過Iperf[12]產(chǎn)生帶寬1Mbps的流量,每0.2 s會(huì)根據(jù)指定的流量模型產(chǎn)生并發(fā)送一條流數(shù)據(jù),每次流持續(xù)發(fā)送時(shí)間為6 s.

    圖3 仿真實(shí)驗(yàn)網(wǎng)絡(luò)的Fat-tree架構(gòu)Fig.3 Fat-tree Architecture of the simulation network

    1.3.2 實(shí)驗(yàn)結(jié)果與分析

    首先基于實(shí)驗(yàn)來分析停滯等待超時(shí)時(shí)間idle-timeout對(duì)流表資源的影響.控制器下發(fā)具有默認(rèn)固定idle-timeout值的流表項(xiàng),通信時(shí)長(zhǎng)T為360 s,每隔1 s記錄交換機(jī)上流表項(xiàng)的數(shù)量,最后取流表項(xiàng)數(shù)量的平均值來表示這段時(shí)間內(nèi)流表資源的使用情況,稱為平均流表項(xiàng)數(shù)量,實(shí)驗(yàn)結(jié)果在圖4~6中給出.

    圖4 不同流量模型下流表資源占用統(tǒng)計(jì)Fig.4 Flowtable resource overhead under different traffic models

    圖4中橫坐標(biāo)表示交換機(jī)流表的idle-timeout值(說明:后面其他結(jié)果圖中的橫坐標(biāo)均同樣含義),縱坐標(biāo)表示在沒有任何其他資源調(diào)度程序調(diào)控時(shí),交換機(jī)上在這段時(shí)間內(nèi)的平均流表項(xiàng)數(shù)量,即流表資源的使用情況.可以看到:(1)兩種流量模型下流表資源的使用量隨idle-timeout的增加而增加;(2)不同特性的流量占用流表情況不同,其中主機(jī)之間通信完全隨機(jī)的平均概率模型下,對(duì)流表資源的占用會(huì)更高.

    因?yàn)榭刂破髯钪饕墓δ芫褪歉鶕?jù)實(shí)時(shí)網(wǎng)絡(luò)信息進(jìn)行計(jì)算,產(chǎn)生并下發(fā)針對(duì)某一條流的流表項(xiàng),所以本文用控制器重復(fù)下發(fā)的流表項(xiàng)數(shù)量來表示對(duì)控制器資源的影響程度.從idle-timeout的設(shè)置上來看,只要某一條流的數(shù)據(jù)間隔時(shí)間大于idle-timeout的設(shè)置,就必然會(huì)帶來針對(duì)此流表項(xiàng)的重復(fù)下發(fā).

    圖5 不同流量模型下流表項(xiàng)重復(fù)下發(fā)數(shù)量統(tǒng)計(jì)Fig.5 Numbers of repeated-forwarding flowentries under different traffic models

    圖5通過流表項(xiàng)重復(fù)下發(fā)的情況,反映idle-timeout對(duì)控制器資源的影響.在選擇概率模型下,重復(fù)下發(fā)的流表項(xiàng)數(shù)量是隨著交換機(jī)流表idle-timeout的增加而逐漸減少;而在平均概率模型下,在一定idle-timeout設(shè)置的時(shí)間范圍內(nèi),重復(fù)下發(fā)的流表項(xiàng)數(shù)量隨著idle-timeout的增加變化不大.但是在實(shí)際的數(shù)據(jù)中心網(wǎng)絡(luò)中,由于流量很大,并且時(shí)有不同,所有流量全部產(chǎn)生的最短時(shí)間很難統(tǒng)計(jì).因此,idle-timeout的時(shí)間設(shè)置也不可能那么長(zhǎng),所以本實(shí)驗(yàn)的設(shè)計(jì)仍然符合數(shù)據(jù)中心網(wǎng)絡(luò)的特點(diǎn).

    圖6 不同流量模型下的空閑流表資源利用情況Fig.6 Usage of free flowtable resource under different traffic models

    圖6展示的是基于空閑流表資源代價(jià)來評(píng)價(jià)交換機(jī)流表的idle-timeout對(duì)空閑流表利用的影響.在平均概率模型下,空閑流表資源代價(jià)基本分布在6到11之間,呈現(xiàn)遞增趨勢(shì).在選擇概率模型下,空閑流表資源代價(jià)總體上比平均概率模型的要小,且隨著idle-timeout的增加而呈現(xiàn)遞減的趨勢(shì).實(shí)驗(yàn)結(jié)果表明,為了充分利用空閑流表資源,不同流量模型下對(duì)idle-timeout的設(shè)置應(yīng)該不同:在網(wǎng)絡(luò)流量具有平均概率特性時(shí),idle-timeout設(shè)置一個(gè)低值;而當(dāng)流量特性是選擇概率時(shí),則應(yīng)該設(shè)置較高的idle-timeout.

    在上述實(shí)驗(yàn)中的平均概率模型下突發(fā)流全部是隨機(jī)的,而選擇概率模型下網(wǎng)絡(luò)中的流大部分為頻繁流,本文注意到:對(duì)隨機(jī)性的流設(shè)置較小的idle-timeout值,對(duì)持續(xù)性的流設(shè)置較長(zhǎng)的idle-timeout值,都能降低空閑流表資源代價(jià),這也是本文后面流表項(xiàng)的動(dòng)靜態(tài)轉(zhuǎn)換機(jī)制提出的基礎(chǔ).

    2 動(dòng)態(tài)流表項(xiàng)與靜態(tài)流表項(xiàng)的相互轉(zhuǎn)換機(jī)制

    實(shí)際的SDN交換機(jī)上的流表項(xiàng)可以永久存在,也可以設(shè)置其超時(shí)時(shí)間.基于前面實(shí)驗(yàn)數(shù)據(jù)的分析結(jié)果,本節(jié)提出一個(gè)動(dòng)態(tài)和靜態(tài)流表項(xiàng)相互轉(zhuǎn)換機(jī)制(Exchange of Static and Dynamic flowentries,ESD),對(duì)流表資源的使用進(jìn)行優(yōu)化調(diào)度.

    2.1動(dòng)靜態(tài)流表項(xiàng)轉(zhuǎn)換機(jī)制

    OpenFlow協(xié)議采用兩種方式設(shè)定流表項(xiàng)的存活時(shí)間,一種是停滯等待超時(shí)時(shí)間idle-timeout方式,表示在此超時(shí)時(shí)間內(nèi)如果沒有任何數(shù)據(jù)包匹配,則在超時(shí)時(shí)間到達(dá)時(shí)自動(dòng)刪除流表項(xiàng),若流表項(xiàng)的idle-timeout值設(shè)置為零,則表示此值域?qū)α鞅眄?xiàng)的存活時(shí)間不起作用,實(shí)際上對(duì)應(yīng)的是同一條流的數(shù)據(jù)間隔時(shí)間.另一種是硬超時(shí)時(shí)間hard-timeout方式,表示在此超時(shí)時(shí)間內(nèi)不管有沒有數(shù)據(jù)包匹配,只要硬超時(shí)時(shí)間到達(dá),則自動(dòng)刪除流表項(xiàng),若流表項(xiàng)的hard-timeout值設(shè)置為零,則表示此值域?qū)α鞅眄?xiàng)的存活時(shí)間不起作用,實(shí)際上對(duì)應(yīng)的是同一條流的數(shù)據(jù)持續(xù)時(shí)間.因?yàn)闃O易產(chǎn)生流匹配過程中流表項(xiàng)丟失的問題,hard-timeout方式并不適合進(jìn)行調(diào)控.因此,本文采用設(shè)置idle-timeout方式,根據(jù)SDN數(shù)據(jù)中心的流量特性來動(dòng)態(tài)設(shè)定合理的idle-timeout的值.

    本文中所指的動(dòng)態(tài)流表項(xiàng)是idle-timeout值不為零而hard-timeout為零的流表項(xiàng),此情況下流表項(xiàng)存活時(shí)間(Duration)只受idle-timeout值影響;靜態(tài)流表項(xiàng)指的是idle-timeout和hard-timeout均為零的流表項(xiàng),此種情況下流表項(xiàng)的存活時(shí)間為無(wú)窮大.在ESD機(jī)制中,對(duì)于持續(xù)性的流,設(shè)置這些流對(duì)應(yīng)的流表項(xiàng)為永久存在的靜態(tài)流表項(xiàng),以減少流表項(xiàng)的重復(fù)下發(fā);對(duì)于間歇或偶爾出現(xiàn)的流的流表項(xiàng),則設(shè)置為有超時(shí)時(shí)間的動(dòng)態(tài)流表項(xiàng),從而減少不必要的流表占用.最終通過這種動(dòng)態(tài)流表項(xiàng)與靜態(tài)流表項(xiàng)的互相轉(zhuǎn)化,來降低空閑流表資源代價(jià).

    在SDN應(yīng)用層面,ESD機(jī)制使用控制器OpenDayLight的北向REST API,實(shí)時(shí)獲取流表項(xiàng)的匹配包數(shù)量、生存時(shí)間等統(tǒng)計(jì)信息,動(dòng)態(tài)調(diào)整流表項(xiàng)的idle-timeout值,把流表項(xiàng)區(qū)分為動(dòng)靜態(tài)流表項(xiàng).靜態(tài)流表項(xiàng)是表示在交換機(jī)上一直存在,但在觸發(fā)某一條件時(shí)可被轉(zhuǎn)變?yōu)閯?dòng)態(tài)的流表項(xiàng).動(dòng)態(tài)流表項(xiàng)的idle-timeout值會(huì)設(shè)置為用戶允許的值,并在超時(shí)時(shí)間達(dá)到后,如果沒有被匹配則會(huì)被刪除.ESD具體流程如圖7,其中包匹配狀況的監(jiān)測(cè)時(shí)間周期idle-timeout′等于idle-timeout和流持續(xù)時(shí)間之和.ESD只專注于idle-timeout的值,對(duì)hard-timeout一直設(shè)為0(表示此域值無(wú)效).

    圖7 ESD機(jī)制工作流程Fig.7 Working process of ESD mechanism

    當(dāng)一條靜態(tài)流表項(xiàng)在允許的時(shí)間內(nèi)沒有匹配到任何數(shù)據(jù)包,那么就會(huì)被轉(zhuǎn)化為動(dòng)態(tài)流表項(xiàng).實(shí)際上靜態(tài)流表項(xiàng)對(duì)應(yīng)的就是網(wǎng)絡(luò)中長(zhǎng)時(shí)間持續(xù)的流,比如頻繁通信的某兩臺(tái)主機(jī),而動(dòng)態(tài)流表項(xiàng)對(duì)應(yīng)的是網(wǎng)絡(luò)中的隨機(jī)流量.ESD會(huì)對(duì)誤轉(zhuǎn)為靜態(tài)的流表項(xiàng)重新轉(zhuǎn)換為動(dòng)態(tài)流表項(xiàng),實(shí)際上是延長(zhǎng)了可能是頻繁流的流表項(xiàng)在流表上的存在時(shí)間,以此換來流表項(xiàng)重復(fù)下發(fā)數(shù)量的下降.

    2.2 ESD有效性驗(yàn)證

    為了驗(yàn)證ESD的有效性,是否能更好地協(xié)調(diào)流表資源和控制器資源即具有更低的流表空閑資源代價(jià),本文基于1.3.1節(jié)的實(shí)驗(yàn)環(huán)境進(jìn)行ESD與沒有調(diào)控情況的對(duì)比試驗(yàn),分別在平均概率模型和選擇概率模型下比較了平均流表數(shù)量、流表項(xiàng)重復(fù)下發(fā)數(shù)量、空閑流表資源代價(jià)的變化,各項(xiàng)結(jié)果在圖8~11中分別給出.

    圖8 流表項(xiàng)重復(fù)下發(fā)數(shù)量比較(平均概率流量)Fig.8 Comparison of the numbers of repeated-forwarding flowentries(average-probability traffic)

    圖9 空閑流表資源代價(jià)的比較(平均概率模型)Fig.9 Comparison of Free Entries Cost (average-probability traffic)

    圖10 流表項(xiàng)重復(fù)下發(fā)數(shù)量比較(選擇概率模型)Fig.10 Comparison of the numbers of repeated-forwarding flowentries (selective-probability traffic)

    圖8和圖9中,當(dāng)流量為平均概率特性時(shí),ESD的重復(fù)流表項(xiàng)下發(fā)的數(shù)量和空閑流表資源代價(jià)比沒有ESD調(diào)控時(shí)要低很多,表示ESD減少了多余流表項(xiàng)的重發(fā),從而降低對(duì)流表資源和控制器資源的消耗.圖10和圖11中,選擇概率模型的情況與平均概率模型的相似.在采用ESD機(jī)制后,重復(fù)流表項(xiàng)下發(fā)的數(shù)量和空閑流表資源代價(jià)降低很多而且相對(duì)平穩(wěn).對(duì)于流量具有平均概率特性的數(shù)據(jù)中心網(wǎng)絡(luò),采用ESD機(jī)制時(shí)設(shè)置較小的idle-timeout,而對(duì)于選擇概率情況則設(shè)置較大的idle-timeout,將更好保證資源的使用.

    綜合以上結(jié)果可知,不管網(wǎng)絡(luò)的流量是具有平均概率特性還是選擇概率特性,根據(jù)空閑流表資源代價(jià)的定義,ESD機(jī)制都能有效地降低流表空閑資源代價(jià),對(duì)協(xié)調(diào)流表資源和控制器資源是有效的.

    圖11 空閑流表資源代價(jià)的比較(選擇概率模型)Fig.11 Comparison of Free Entries Cost (selective-probability traffic)

    3 總結(jié)

    本文研究如何在SDN數(shù)據(jù)中心網(wǎng)絡(luò)中合理設(shè)置停滯等待超時(shí)時(shí)間idle-timeout,以達(dá)到合理使用控制器資源和交換機(jī)的流表資源的問題.具體做了以下工作:基于不同的流量模型,分析并研究了SDN數(shù)據(jù)中心網(wǎng)絡(luò)中OpenFlow交換機(jī)的流表項(xiàng)數(shù)和控制器資源使用與idle-timeout值的關(guān)系;引出空閑流表資源代價(jià)的概念,基于仿真實(shí)驗(yàn)結(jié)果,發(fā)現(xiàn)一定程度增加持續(xù)性流的idle-timeout值和減少隨機(jī)性流的idle-timeout值,會(huì)降低空閑流表資源代價(jià);最后提出了一個(gè)基于動(dòng)靜態(tài)流表項(xiàng)轉(zhuǎn)換的流表調(diào)度機(jī)制ESD,對(duì)流表資源和控制器資源的使用進(jìn)行優(yōu)化,并對(duì)其可行性與有效性進(jìn)行了驗(yàn)證.下一步工作將研究ESD中idle-timeout值的設(shè)置方案,并進(jìn)行ESD對(duì)其他拓?fù)浣Y(jié)構(gòu)的SDN數(shù)據(jù)中心網(wǎng)絡(luò)的有效性驗(yàn)證.

    [1] 王蒙蒙, 劉建偉, 陳 杰,等. 軟件定義網(wǎng)絡(luò):安全模型、機(jī)制及研究進(jìn)展[J]. 軟件學(xué)報(bào), 2016, 27(4):969-992.

    [2] 鄧 罡, 龔正虎, 王 宏. 現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)特征研究[J]. 計(jì)算機(jī)研究與發(fā)展, 2014, 51(2): 395-407.

    [3] Yu M, Rexford J, Freedman M J, et al. Scalable flow-based networking with DIFANE[J]. ACM SIGCOMM Computer Communication Review, 2011, 41(4):351-362.

    [4] Banerjee S, and Kannan K. Tag-In-Tag: Efficient flow table management in SDN switches[C]// IEEE. International Conference on Network and Service Management. Rio de Janeiro: IEEE, 2014:109-117.

    [5] Zhou B, Gao W, Wu C, et al. AdaFlow: adaptive control to improve availability of openflow forwarding for burst quantity of flows[C]// V. C. M. Leung et. al. (Eds.) TridentCom 2014, LNICST 137.Guangzhou: Springer, 2014:406-415.

    [6] Zhu H, Fan H, Luo X, et al. Intelligent timeout master: dynamic timeout for SDN-based data centers[C]// IEEE. IFIP/IEEE International Symposium on Integrated Network Management (IM). Ottawa: IEEE, 2015:734-737

    [7] Linux Foundation. OpenDayLight[EB/OL]. [2016-02-20]. http://www.opendaylight.org/.

    [8] Al-Fares M, Loukissas A, and Vahdat A. A scalable, commodity data center network architecture[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(4):63-74.

    [9] 丁澤柳. 數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)涮接慬J]. 中興通訊技術(shù), 2012, 18(4): 7-10.

    [10] 趙 哲, 胡瑩瑩. 如何在三種典型的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浼軜?gòu)中進(jìn)行取舍[J]. 數(shù)字通信世界, 2016, (5):56-58.

    [11] 張 歌.兩種常用流量模型運(yùn)用mininet的實(shí)現(xiàn)[EB/OL]. [2015-04-28]. http://www. sdnlab.com/11079.html.

    [12] NLANR/DAST. Iperf [EB/OL]. [2016-02-20]. https://iperf.fr/.

    FlowtableSchedulingOptimizationbasedonFlowentryConversioninSDN-basedDatacenterNetworks

    TangWan,WangGanfu,WuJingjing,WangWentao

    (1 School of Computer Science, South-Central University for Nationalities, Wuhan 430074, China;2 IT Business Unit,Wuhan FiberHome Informtion Integration Technologies Co.,Ltd.,Wuhan 430074,China)

    TP393

    A

    1672-4321(2017)03-0111-07

    2017-06-08

    唐 菀 (1974-),女,教授,博士,研究方向:光/無(wú)線網(wǎng)絡(luò)協(xié)議、軟件定義網(wǎng)絡(luò)、網(wǎng)絡(luò)安全,E-mail: tangwan@scuec.edu.cn

    國(guó)家自然科學(xué)基金資助項(xiàng)目(61103248)

    猜你喜歡
    流表表項(xiàng)概率模型
    一種改進(jìn)的TCAM路由表項(xiàng)管理算法及實(shí)現(xiàn)
    在精彩交匯中,理解兩個(gè)概率模型
    基于Holt 雙參數(shù)指數(shù)平滑法的SDN 交換機(jī)流表超時(shí)優(yōu)化策略*
    基于時(shí)序與集合的SDN流表更新策略
    基于ARMA模型預(yù)測(cè)的交換機(jī)流表更新算法
    基于緩存策略的OpenFlow流表存儲(chǔ)優(yōu)化方案研究
    簡(jiǎn)析yangUI流表控制
    軟件定義網(wǎng)絡(luò)中一種兩步式多級(jí)流表構(gòu)建算法
    基于停車服務(wù)效率的選擇概率模型及停車量仿真研究
    一類概率模型的探究與應(yīng)用
    日韩av在线免费看完整版不卡| 2018国产大陆天天弄谢| 激情五月婷婷亚洲| 亚洲国产最新在线播放| 老汉色∧v一级毛片| 水蜜桃什么品种好| 国产一区有黄有色的免费视频| 考比视频在线观看| 久久久久久久国产电影| 男女床上黄色一级片免费看| 女人久久www免费人成看片| 久久久亚洲精品成人影院| 一区二区av电影网| 亚洲,一卡二卡三卡| a级毛片黄视频| 美女视频免费永久观看网站| 久久精品aⅴ一区二区三区四区| 免费观看人在逋| 日本av免费视频播放| 免费不卡黄色视频| 欧美日韩国产mv在线观看视频| 欧美 日韩 精品 国产| 亚洲第一青青草原| 日韩av不卡免费在线播放| 精品久久蜜臀av无| 亚洲国产最新在线播放| 国产亚洲av片在线观看秒播厂| 黄色视频不卡| 一区二区av电影网| 亚洲成人手机| 狠狠精品人妻久久久久久综合| 深夜精品福利| 亚洲五月婷婷丁香| 色视频在线一区二区三区| 亚洲精品一卡2卡三卡4卡5卡 | 中文字幕制服av| 99re6热这里在线精品视频| 1024视频免费在线观看| 国产男人的电影天堂91| 在现免费观看毛片| 一边摸一边做爽爽视频免费| 亚洲国产av新网站| 亚洲精品美女久久av网站| 久久久久精品人妻al黑| 美女主播在线视频| 久久99热这里只频精品6学生| 亚洲成人免费电影在线观看 | 777米奇影视久久| 最近手机中文字幕大全| 精品国产一区二区三区四区第35| 中文字幕另类日韩欧美亚洲嫩草| 婷婷丁香在线五月| 午夜福利影视在线免费观看| 亚洲成人免费av在线播放| 最近中文字幕2019免费版| 亚洲av成人精品一二三区| 亚洲色图综合在线观看| 极品少妇高潮喷水抽搐| 天天添夜夜摸| av网站在线播放免费| 老司机影院成人| 精品一区二区三卡| 亚洲激情五月婷婷啪啪| 我的亚洲天堂| 国产无遮挡羞羞视频在线观看| 深夜精品福利| 午夜老司机福利片| 热99国产精品久久久久久7| 国产日韩欧美在线精品| 亚洲黑人精品在线| 国产高清国产精品国产三级| 婷婷色av中文字幕| 在线天堂中文资源库| 中文字幕人妻熟女乱码| 一区二区三区四区激情视频| www.自偷自拍.com| 亚洲欧美精品自产自拍| 久久久精品94久久精品| 一区二区三区激情视频| 国产成人精品在线电影| 婷婷丁香在线五月| 九色亚洲精品在线播放| 国产91精品成人一区二区三区 | 19禁男女啪啪无遮挡网站| 中文字幕人妻熟女乱码| 欧美日韩国产mv在线观看视频| 精品亚洲乱码少妇综合久久| 免费观看av网站的网址| 欧美国产精品一级二级三级| 超碰97精品在线观看| 男女床上黄色一级片免费看| 亚洲色图 男人天堂 中文字幕| 脱女人内裤的视频| 日本五十路高清| 你懂的网址亚洲精品在线观看| 中文字幕色久视频| 久热爱精品视频在线9| 80岁老熟妇乱子伦牲交| 亚洲熟女精品中文字幕| 午夜日韩欧美国产| 国产一区有黄有色的免费视频| 欧美xxⅹ黑人| svipshipincom国产片| 少妇 在线观看| 黄片小视频在线播放| 波多野结衣一区麻豆| 黄色毛片三级朝国网站| 精品久久久精品久久久| 精品国产一区二区三区四区第35| 免费看十八禁软件| 久久国产亚洲av麻豆专区| av天堂在线播放| 成人亚洲欧美一区二区av| 国产精品亚洲av一区麻豆| 国产老妇伦熟女老妇高清| 欧美黑人精品巨大| 欧美日韩视频精品一区| 91精品国产国语对白视频| 亚洲国产精品国产精品| 天天躁夜夜躁狠狠久久av| 制服人妻中文乱码| 飞空精品影院首页| 日本a在线网址| 亚洲欧洲日产国产| 国产精品国产三级国产专区5o| 国产又色又爽无遮挡免| 观看av在线不卡| 91精品国产国语对白视频| 97在线人人人人妻| 日韩大码丰满熟妇| 久久国产亚洲av麻豆专区| 精品人妻一区二区三区麻豆| 欧美日韩亚洲综合一区二区三区_| 午夜激情久久久久久久| 建设人人有责人人尽责人人享有的| 捣出白浆h1v1| 国产精品亚洲av一区麻豆| a 毛片基地| 人妻一区二区av| 99热国产这里只有精品6| 一区二区三区乱码不卡18| 亚洲国产看品久久| 又大又爽又粗| 黄色毛片三级朝国网站| 午夜福利乱码中文字幕| 国产国语露脸激情在线看| 又黄又粗又硬又大视频| 尾随美女入室| 99热网站在线观看| 久久国产精品影院| 天天添夜夜摸| 亚洲av电影在线观看一区二区三区| 晚上一个人看的免费电影| 国产男女超爽视频在线观看| 夫妻午夜视频| 成人国产一区最新在线观看 | 亚洲精品第二区| 一二三四社区在线视频社区8| 一区二区av电影网| 一级黄色大片毛片| 啦啦啦 在线观看视频| 国产欧美日韩综合在线一区二区| 久久综合国产亚洲精品| 男人操女人黄网站| 精品福利永久在线观看| 亚洲国产av新网站| 国产高清videossex| 看免费av毛片| av国产久精品久网站免费入址| 日韩精品免费视频一区二区三区| 大话2 男鬼变身卡| av网站在线播放免费| av天堂久久9| 亚洲国产精品一区二区三区在线| 色94色欧美一区二区| 国产在线一区二区三区精| 尾随美女入室| 九色亚洲精品在线播放| 男的添女的下面高潮视频| 可以免费在线观看a视频的电影网站| 久久性视频一级片| 制服人妻中文乱码| 午夜激情av网站| 少妇精品久久久久久久| 国产精品一区二区在线观看99| 别揉我奶头~嗯~啊~动态视频 | 久久精品人人爽人人爽视色| 伊人亚洲综合成人网| 欧美大码av| 韩国精品一区二区三区| 超色免费av| 午夜日韩欧美国产| 国产免费又黄又爽又色| 久9热在线精品视频| 又黄又粗又硬又大视频| 十八禁网站网址无遮挡| 可以免费在线观看a视频的电影网站| 亚洲成人免费电影在线观看 | 成年人午夜在线观看视频| 亚洲成人国产一区在线观看 | 日韩精品免费视频一区二区三区| 亚洲色图 男人天堂 中文字幕| 一本综合久久免费| 成年人免费黄色播放视频| 亚洲国产av影院在线观看| 亚洲欧美一区二区三区国产| 99国产综合亚洲精品| 国产亚洲午夜精品一区二区久久| 男女午夜视频在线观看| 老鸭窝网址在线观看| 日日摸夜夜添夜夜爱| 国产免费又黄又爽又色| 视频区图区小说| 亚洲中文日韩欧美视频| 国产精品国产三级国产专区5o| 我要看黄色一级片免费的| 每晚都被弄得嗷嗷叫到高潮| 视频区欧美日本亚洲| 亚洲av男天堂| 欧美 亚洲 国产 日韩一| 国产xxxxx性猛交| 国产成人精品在线电影| 两人在一起打扑克的视频| 一边摸一边抽搐一进一出视频| 美女午夜性视频免费| 国产伦人伦偷精品视频| 成人三级做爰电影| 老司机影院成人| 亚洲国产毛片av蜜桃av| 一区二区三区精品91| 一级毛片我不卡| 国产欧美日韩一区二区三 | 午夜免费男女啪啪视频观看| 极品人妻少妇av视频| 高潮久久久久久久久久久不卡| 午夜福利视频在线观看免费| 精品熟女少妇八av免费久了| 久久久精品区二区三区| 一级,二级,三级黄色视频| 丝袜美足系列| 亚洲国产日韩一区二区| av天堂久久9| 男女午夜视频在线观看| 日本午夜av视频| 老司机在亚洲福利影院| 黄频高清免费视频| 久久99热这里只频精品6学生| 日韩 欧美 亚洲 中文字幕| 日本一区二区免费在线视频| 超碰97精品在线观看| 大型av网站在线播放| 真人做人爱边吃奶动态| kizo精华| 久久久精品94久久精品| 青春草视频在线免费观看| 99热国产这里只有精品6| 国产精品免费视频内射| 国产成人精品久久久久久| 黄色毛片三级朝国网站| 久久久久精品人妻al黑| 两个人看的免费小视频| 国产精品国产av在线观看| 亚洲精品乱久久久久久| 十八禁高潮呻吟视频| 中文欧美无线码| 丝袜脚勾引网站| 大陆偷拍与自拍| 欧美日韩视频高清一区二区三区二| 久久精品熟女亚洲av麻豆精品| 亚洲av成人精品一二三区| 亚洲三区欧美一区| 免费看十八禁软件| 丰满少妇做爰视频| 80岁老熟妇乱子伦牲交| 最新在线观看一区二区三区 | 中文字幕人妻丝袜一区二区| 最新在线观看一区二区三区 | 汤姆久久久久久久影院中文字幕| a级毛片黄视频| 99精国产麻豆久久婷婷| 国产免费视频播放在线视频| 宅男免费午夜| 国产视频首页在线观看| 考比视频在线观看| 国产成人啪精品午夜网站| 91成人精品电影| 亚洲人成电影免费在线| 欧美 日韩 精品 国产| 国产黄色免费在线视频| 国产精品熟女久久久久浪| 久久女婷五月综合色啪小说| 99国产精品99久久久久| 大香蕉久久网| 日日摸夜夜添夜夜爱| 欧美黄色片欧美黄色片| 成人18禁高潮啪啪吃奶动态图| 欧美97在线视频| 色婷婷av一区二区三区视频| 三上悠亚av全集在线观看| 大香蕉久久成人网| 日韩中文字幕欧美一区二区 | 老司机靠b影院| 久久精品成人免费网站| 老司机在亚洲福利影院| 国产精品久久久久久人妻精品电影 | 欧美在线一区亚洲| 五月天丁香电影| 丝袜美腿诱惑在线| 美国免费a级毛片| 成人亚洲精品一区在线观看| 男男h啪啪无遮挡| 精品少妇黑人巨大在线播放| 色视频在线一区二区三区| 免费看不卡的av| 国产精品免费大片| 一区福利在线观看| 免费久久久久久久精品成人欧美视频| 日韩电影二区| 午夜久久久在线观看| 亚洲欧美色中文字幕在线| 日本vs欧美在线观看视频| 999久久久国产精品视频| 午夜av观看不卡| 麻豆乱淫一区二区| 久久久亚洲精品成人影院| 久久久久网色| av网站免费在线观看视频| 欧美性长视频在线观看| 亚洲国产精品一区二区三区在线| 老司机影院成人| 叶爱在线成人免费视频播放| 午夜福利影视在线免费观看| 免费观看av网站的网址| av电影中文网址| 午夜福利在线免费观看网站| 久久精品国产综合久久久| 视频区欧美日本亚洲| 国产av国产精品国产| 99国产精品免费福利视频| av天堂久久9| av视频免费观看在线观看| 婷婷丁香在线五月| 欧美97在线视频| 爱豆传媒免费全集在线观看| 日本欧美视频一区| 一边亲一边摸免费视频| 久久久精品免费免费高清| 国产精品人妻久久久影院| tube8黄色片| 成人国语在线视频| 搡老岳熟女国产| 一本色道久久久久久精品综合| 亚洲精品一区蜜桃| 日韩一卡2卡3卡4卡2021年| 欧美+亚洲+日韩+国产| 国产极品粉嫩免费观看在线| av线在线观看网站| 日本av免费视频播放| 妹子高潮喷水视频| 别揉我奶头~嗯~啊~动态视频 | 精品人妻熟女毛片av久久网站| 9色porny在线观看| 国产在线视频一区二区| 真人做人爱边吃奶动态| 久久国产精品大桥未久av| av国产久精品久网站免费入址| 亚洲av电影在线进入| 丝袜美足系列| 欧美激情高清一区二区三区| 一级毛片我不卡| 精品国产一区二区三区久久久樱花| 午夜91福利影院| 久久国产精品大桥未久av| 91精品伊人久久大香线蕉| 女性生殖器流出的白浆| 欧美乱码精品一区二区三区| 日本a在线网址| 国产精品熟女久久久久浪| 天堂中文最新版在线下载| 99国产精品一区二区三区| 最近中文字幕2019免费版| 人妻人人澡人人爽人人| 最近最新中文字幕大全免费视频 | 成年人黄色毛片网站| 亚洲av综合色区一区| 香蕉国产在线看| 国产一级毛片在线| 午夜老司机福利片| 无遮挡黄片免费观看| 日韩中文字幕视频在线看片| 午夜免费观看性视频| 黑人猛操日本美女一级片| 亚洲人成网站在线观看播放| 久久久久久久久免费视频了| 国产在线免费精品| 天天躁日日躁夜夜躁夜夜| 免费观看人在逋| 热99国产精品久久久久久7| 国产成人精品久久二区二区91| 曰老女人黄片| 嫁个100分男人电影在线观看 | 色婷婷av一区二区三区视频| 天天影视国产精品| www.熟女人妻精品国产| 亚洲成av片中文字幕在线观看| 亚洲精品久久午夜乱码| 亚洲av日韩精品久久久久久密 | 日韩视频在线欧美| 欧美亚洲 丝袜 人妻 在线| 在线观看免费日韩欧美大片| 中文字幕高清在线视频| 亚洲视频免费观看视频| 成年女人毛片免费观看观看9 | 国产成人av教育| 久热爱精品视频在线9| 狠狠婷婷综合久久久久久88av| 午夜免费鲁丝| 另类亚洲欧美激情| 亚洲综合色网址| 18禁观看日本| 成人手机av| 九色亚洲精品在线播放| 免费观看av网站的网址| 久久热在线av| 亚洲 国产 在线| 国产精品一国产av| 9热在线视频观看99| 考比视频在线观看| 国产97色在线日韩免费| 亚洲精品国产区一区二| 欧美xxⅹ黑人| 啦啦啦视频在线资源免费观看| 久久亚洲国产成人精品v| 欧美日韩亚洲国产一区二区在线观看 | 日本猛色少妇xxxxx猛交久久| 久久久国产欧美日韩av| 极品人妻少妇av视频| 午夜精品国产一区二区电影| 日韩人妻精品一区2区三区| 国产精品熟女久久久久浪| 免费高清在线观看日韩| 国精品久久久久久国模美| 国产不卡av网站在线观看| 91麻豆av在线| 免费少妇av软件| 首页视频小说图片口味搜索 | 国产精品秋霞免费鲁丝片| 欧美亚洲日本最大视频资源| 免费人妻精品一区二区三区视频| 曰老女人黄片| 久久人妻福利社区极品人妻图片 | 日本黄色日本黄色录像| av天堂久久9| 精品一品国产午夜福利视频| 久久久精品国产亚洲av高清涩受| 色婷婷久久久亚洲欧美| 一区福利在线观看| 99久久精品国产亚洲精品| 午夜视频精品福利| 精品一区二区三区四区五区乱码 | 亚洲美女黄色视频免费看| 亚洲专区中文字幕在线| 18禁裸乳无遮挡动漫免费视频| 精品一区二区三卡| 在线观看国产h片| 精品人妻熟女毛片av久久网站| 大片免费播放器 马上看| 亚洲七黄色美女视频| 秋霞在线观看毛片| 欧美日韩一级在线毛片| 久久久国产欧美日韩av| 一级毛片电影观看| 国产一区二区三区综合在线观看| 久久精品久久精品一区二区三区| 亚洲国产精品999| 伦理电影免费视频| 男女无遮挡免费网站观看| 99热网站在线观看| 18禁观看日本| 99精国产麻豆久久婷婷| 青青草视频在线视频观看| 国产精品国产av在线观看| 一级片'在线观看视频| 久久久精品区二区三区| 人成视频在线观看免费观看| 不卡av一区二区三区| 久久中文字幕一级| 高潮久久久久久久久久久不卡| 久久久精品免费免费高清| 欧美中文综合在线视频| 久久国产精品男人的天堂亚洲| 久久99精品国语久久久| 一级黄色大片毛片| 男女边摸边吃奶| 老司机在亚洲福利影院| 天天躁夜夜躁狠狠久久av| 久热爱精品视频在线9| 亚洲精品日韩在线中文字幕| 不卡av一区二区三区| 五月开心婷婷网| 久久国产亚洲av麻豆专区| 捣出白浆h1v1| 午夜免费鲁丝| 亚洲精品美女久久av网站| 久久国产亚洲av麻豆专区| 视频区欧美日本亚洲| 国产av国产精品国产| 九草在线视频观看| 啦啦啦在线免费观看视频4| 在线精品无人区一区二区三| 男女高潮啪啪啪动态图| 另类亚洲欧美激情| 国产片内射在线| 在线观看一区二区三区激情| 亚洲国产欧美在线一区| 精品视频人人做人人爽| 国产成人啪精品午夜网站| 两个人免费观看高清视频| 2018国产大陆天天弄谢| 一个人免费看片子| 日韩大片免费观看网站| 黄色 视频免费看| 亚洲天堂av无毛| 亚洲精品国产区一区二| 交换朋友夫妻互换小说| 97人妻天天添夜夜摸| 国产福利在线免费观看视频| 欧美精品啪啪一区二区三区 | 乱人伦中国视频| 日韩一卡2卡3卡4卡2021年| 极品少妇高潮喷水抽搐| 国产精品亚洲av一区麻豆| 亚洲第一av免费看| 菩萨蛮人人尽说江南好唐韦庄| 美女视频免费永久观看网站| 肉色欧美久久久久久久蜜桃| 最近手机中文字幕大全| 久久久国产精品麻豆| 中文字幕高清在线视频| 色94色欧美一区二区| 中文字幕av电影在线播放| 国产精品二区激情视频| 国产高清国产精品国产三级| 18禁国产床啪视频网站| 制服人妻中文乱码| 精品亚洲成国产av| 国产成人91sexporn| 成年av动漫网址| 久久精品久久久久久噜噜老黄| 狠狠精品人妻久久久久久综合| 国产熟女午夜一区二区三区| 午夜视频精品福利| 国产欧美日韩综合在线一区二区| 男人舔女人的私密视频| 黄色片一级片一级黄色片| 亚洲 国产 在线| 精品一区二区三区四区五区乱码 | 汤姆久久久久久久影院中文字幕| 极品少妇高潮喷水抽搐| 国产视频首页在线观看| 99国产综合亚洲精品| 99国产精品一区二区三区| 国产成人影院久久av| 91成人精品电影| 精品一区二区三区av网在线观看 | av在线app专区| 国产日韩一区二区三区精品不卡| 免费观看人在逋| 国产精品久久久久久精品古装| 亚洲国产欧美在线一区| 国产欧美亚洲国产| 丝袜脚勾引网站| 一区二区av电影网| 国产不卡av网站在线观看| 精品久久久精品久久久| 两性夫妻黄色片| 国产xxxxx性猛交| 高清不卡的av网站| 久久久亚洲精品成人影院| 亚洲精品一区蜜桃| 国产一区二区 视频在线| 国产伦人伦偷精品视频| 晚上一个人看的免费电影| 国产成人啪精品午夜网站| 啦啦啦 在线观看视频| 亚洲精品日本国产第一区| 最黄视频免费看| 女人高潮潮喷娇喘18禁视频| 在线看a的网站| 亚洲国产欧美日韩在线播放| 国产精品免费大片| 亚洲成色77777| 亚洲成人免费电影在线观看 | 国产午夜精品一二区理论片| 热re99久久国产66热| 亚洲黑人精品在线| 人人妻,人人澡人人爽秒播 | 国产免费又黄又爽又色| 亚洲情色 制服丝袜| 日本a在线网址| 久久人人97超碰香蕉20202| 久久影院123| 久久人妻熟女aⅴ| 狠狠精品人妻久久久久久综合| 中文字幕最新亚洲高清| 亚洲欧美精品自产自拍| 久久人人97超碰香蕉20202| 久久国产精品人妻蜜桃| 99国产精品一区二区蜜桃av | 国产麻豆69| h视频一区二区三区| 色播在线永久视频| 男女边摸边吃奶| 欧美精品高潮呻吟av久久| 国产av国产精品国产|