• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于SDN的網(wǎng)絡(luò)試驗床綜述

    2018-07-30 09:45:32黃韜劉江張晨魏亮劉韻潔
    通信學(xué)報 2018年6期
    關(guān)鍵詞:用戶

    黃韜,劉江,張晨,魏亮,劉韻潔

    1 引言

    近年來,SDN得到了學(xué)術(shù)界和工業(yè)界的矚目。SDN的基本理念是將控制平面與轉(zhuǎn)發(fā)平面分離,賦予網(wǎng)絡(luò)可編程的能力。SDN的控制器也被稱為網(wǎng)絡(luò)操作系統(tǒng)(NOS, network operating system),承載了從底層物理設(shè)備中剝離出來的控制功能,能夠在遠(yuǎn)端集中地對網(wǎng)絡(luò)進(jìn)行控制與管理。SDN的特征使新型網(wǎng)絡(luò)業(yè)務(wù)能夠得到敏捷部署,新的網(wǎng)絡(luò)管控功能、策略也能夠在不依賴設(shè)備廠商的情況下迅速得到實(shí)現(xiàn)。OpenFlow協(xié)議[1]是目前用于控制器與網(wǎng)絡(luò)設(shè)備之間的標(biāo)準(zhǔn)化控制的主流協(xié)議之一。

    研究者常使用仿真(simulation)、模擬(emulation)平臺或試驗床(testbed)來評估新的網(wǎng)絡(luò)設(shè)計、算法的性能。由于試驗床中往往承載著更多真實(shí)的網(wǎng)絡(luò)流量和網(wǎng)絡(luò)設(shè)備,因此,相比于simulation和emulation平臺,使用試驗床進(jìn)行的網(wǎng)絡(luò)創(chuàng)新試驗更有說服力。為了支持 SDN及其他網(wǎng)絡(luò)技術(shù)的研究,許多大規(guī)模試驗床開始使用 SDN虛擬化技術(shù)進(jìn)行搭建。其核心思路是在統(tǒng)一的物理基礎(chǔ)設(shè)施上,利用網(wǎng)絡(luò)切片技術(shù)[2-4]透明地向不同試驗者提供相互隔離的網(wǎng)絡(luò)資源。同時,結(jié)合OpenStack等云管理平臺,網(wǎng)絡(luò)研究者可以根據(jù)自己的實(shí)際需求向試驗床動態(tài)申請?zhí)摂M化的網(wǎng)絡(luò)切片資源。此外,試驗床的控制框架可以支持管理者集中管理大多數(shù)設(shè)備和試驗項目。

    許多國家都在基于SDN技術(shù)構(gòu)建大規(guī)模網(wǎng)絡(luò)試驗床,其中大部分都是基于OpenFlow協(xié)議搭建的,這些SDN試驗床吸引了許多研究者在其上部署自己的網(wǎng)絡(luò)業(yè)務(wù),或驗證網(wǎng)絡(luò)本身的一些創(chuàng)新性試驗。通過全球科研者的努力,SDN試驗床對未來網(wǎng)絡(luò)體系架構(gòu)和關(guān)鍵技術(shù)的創(chuàng)新做出了積極的貢獻(xiàn)。

    本文將對 SDN試驗床的設(shè)計進(jìn)行概述,并從設(shè)計目標(biāo)、關(guān)鍵技術(shù)、網(wǎng)絡(luò)部署和特色應(yīng)用4個方面詳細(xì)介紹一些大規(guī)模 SDN試驗床的具體實(shí)現(xiàn),包括 GENI OpenFlow 項目[5]、OFELIA[6]、RISE[7]、韓國的OF@TEIN[8]以及作者在SDN網(wǎng)絡(luò)創(chuàng)新試驗平臺方面的嘗試。此外,本文還將討論大規(guī)模SDN試驗床中所面臨的挑戰(zhàn)。

    2 SDN試驗床概述

    本節(jié)將從3個角度對SDN試驗床進(jìn)行概述,分別是 SDN試驗床相比傳統(tǒng)網(wǎng)絡(luò)試驗床的優(yōu)勢、大規(guī)模SDN試驗床的設(shè)計原則以及大規(guī)模SDN試驗床的關(guān)鍵技術(shù)。

    2.1 SDN試驗床相比傳統(tǒng)網(wǎng)絡(luò)試驗床的優(yōu)勢

    傳統(tǒng)的網(wǎng)絡(luò)試驗床通常缺少自動化能力和靈活性,而 SDN提供了一個能改變傳統(tǒng)網(wǎng)絡(luò)試驗床工作方式的技術(shù)路線。采用 SDN系統(tǒng)架構(gòu),特別是利用OpenFlow協(xié)議來搭建網(wǎng)絡(luò)試驗床,能有效解決傳統(tǒng)試驗床靈活性差和無法自動化部署的問題,為新型協(xié)議和業(yè)務(wù)等試驗提供便捷性。SDN帶來的優(yōu)勢主要在于以下4個方面。

    1) 易部署

    在非 SDN試驗床中,試驗床的搭建需要管理者手動配置繁多的網(wǎng)絡(luò)設(shè)備,這一過程煩瑣、耗時,且容易發(fā)生配置方面的錯誤。SDN向管理者提供了可編程的接口,使試驗的搭建過程變得更加簡單,SDN試驗床能自動化地完成試驗環(huán)境的部署。

    2) 控制優(yōu)化

    傳統(tǒng)的網(wǎng)絡(luò)設(shè)備采取分布式的流量轉(zhuǎn)發(fā)邏輯,缺少全局的網(wǎng)絡(luò)視圖,導(dǎo)致轉(zhuǎn)發(fā)策略無法達(dá)到全局最優(yōu)。SDN分離了網(wǎng)絡(luò)設(shè)備中的控制邏輯和轉(zhuǎn)發(fā)邏輯,集中式的 SDN控制器擁有全局的網(wǎng)絡(luò)視圖,因此,SDN應(yīng)用能夠通過全局信息制訂策略來提高網(wǎng)絡(luò)資源的利用率。

    3) 更靈活的網(wǎng)絡(luò)虛擬化

    網(wǎng)絡(luò)虛擬化技術(shù)是網(wǎng)絡(luò)試驗床中的核心技術(shù)。傳統(tǒng)的網(wǎng)絡(luò)試驗床通常采取分布式配置的方式來實(shí)現(xiàn)虛擬化?;?SDN的虛擬平臺能降低虛擬化的復(fù)雜性并避免操作錯誤,還能通過先進(jìn)的自動化算法來提高試驗床中網(wǎng)絡(luò)虛擬化的靈活性、可用性和資源利用率。

    4) 新型協(xié)議和業(yè)務(wù)試驗便捷化

    對新型協(xié)議和業(yè)務(wù)的試驗是試驗床的一個重要指標(biāo)。傳統(tǒng)的網(wǎng)絡(luò)試驗床常常受已部署的物理網(wǎng)絡(luò)設(shè)備的硬件限制,只能支持OSI中某幾層的試驗。而 SDN將網(wǎng)絡(luò)各層的特征抽取出來,在流表的匹配域中進(jìn)行識別,根據(jù)試驗者的需求,可以更加便捷地支持網(wǎng)絡(luò)各層新型協(xié)議和業(yè)務(wù)的試驗。

    2.2 大規(guī)模SDN試驗床的設(shè)計原則

    當(dāng) SDN試驗床規(guī)模變大時,則需要考慮更多理論與實(shí)踐的因素,其中比較重要的包含以下4條設(shè)計原則。

    1) 自動化

    在傳統(tǒng)的試驗床中進(jìn)行試驗需要許多人工配置,這一過程十分復(fù)雜且會隨著網(wǎng)絡(luò)規(guī)模擴(kuò)大增加出錯的可能性。SDN開放了網(wǎng)絡(luò)的可編程能力,同時,計算機(jī)虛擬化技術(shù)能夠提供虛擬機(jī)接口的編排和部署能力。通過結(jié)合上述2種技術(shù),SDN試驗床能提供完全自動化配置的網(wǎng)絡(luò)試驗環(huán)境。

    2) 靈活性

    能夠支持試驗環(huán)境的變化是網(wǎng)絡(luò)研究的重要需求之一,例如,當(dāng)研究一種新的防環(huán)算法的性能時,研究者需要在不同規(guī)模的網(wǎng)絡(luò)環(huán)境中進(jìn)行試驗對比。因此 SDN試驗床應(yīng)該提供足夠的靈活性,讓研究者能夠按需改變試驗環(huán)境中網(wǎng)絡(luò)設(shè)備的數(shù)量以及調(diào)整設(shè)備間的鏈路帶寬。

    3) 可擴(kuò)展性

    相較于傳統(tǒng)網(wǎng)絡(luò),SDN集中控制的特點(diǎn)給其帶來了許多優(yōu)點(diǎn),但同時也帶來了可擴(kuò)展性的問題。特別是當(dāng) SDN試驗床在國家級或跨國范圍內(nèi)進(jìn)行部署時,可擴(kuò)展性會成為一個重要的影響因素。因此,需要在架構(gòu)設(shè)計時充分地考慮集中控制與分布(甚至異構(gòu))部署的權(quán)衡關(guān)系。

    4) 安全性

    安全在所有 IT架構(gòu)中都是至關(guān)重要的。對于SDN試驗床來說,不同的網(wǎng)絡(luò)試驗共享相同的物理基礎(chǔ)設(shè)施,安全性的保障主要涉及了認(rèn)證、授權(quán)、計費(fèi)(AAA, authentication authorization accounting)的安全管理和切片技術(shù)中的流量隔離技術(shù)。

    綜合以上設(shè)計要素,SDN試驗床可以被認(rèn)為是“為網(wǎng)絡(luò)研究者設(shè)計的云網(wǎng)一體化平臺”,為進(jìn)行網(wǎng)絡(luò)研究的租戶提供了計算、存儲以及網(wǎng)絡(luò)資源,這些資源的集合通常被稱為“切片”。

    2.3 大規(guī)模SDN試驗床的關(guān)鍵技術(shù)

    部署大規(guī)模SDN試驗床包含了多項關(guān)鍵技術(shù),本文計劃首先重點(diǎn)研究管理技術(shù)、組網(wǎng)技術(shù)與切片技術(shù)這3項關(guān)鍵技術(shù),因為它們是完成試驗床設(shè)計目標(biāo)的核心關(guān)鍵和基礎(chǔ)。

    1) 管理技術(shù)

    本文所闡述的管理技術(shù)不局限于 SDN的管理(如OF-CONFIG和OVSDB協(xié)議等),還包含了虛擬機(jī)資源管理以及試驗的運(yùn)行狀態(tài)管理。這些管理技術(shù)的集合構(gòu)成了試驗床的“控制框架”。

    在控制框架下,用戶通過前端網(wǎng)頁與試驗床資源進(jìn)行交互,在前端上提交資源申請,描述試驗所需拓?fù)渑c設(shè)備參數(shù),控制框架會操作底層物理資源,例如虛擬機(jī)和網(wǎng)絡(luò)設(shè)備等,分配給對應(yīng)的虛網(wǎng)切片。虛擬機(jī)的控制依賴于服務(wù)器虛擬化技術(shù)[9-10],網(wǎng)絡(luò)設(shè)備的控制依賴于網(wǎng)絡(luò)虛擬化技術(shù),協(xié)同管理技術(shù)通過調(diào)用這2項技術(shù)的API來創(chuàng)建和管理虛網(wǎng)切片。當(dāng)用戶申請的試驗切片被激活后,相關(guān)的數(shù)據(jù)會被收集和分析。當(dāng)試驗結(jié)束后,相關(guān)的切片資源將被重新釋放。

    管理技術(shù)將支撐整個試驗生命周期。除此之外,還會涉及與安全相關(guān)的AAA機(jī)制、與跨區(qū)域擴(kuò)展性相關(guān)的互聯(lián)機(jī)制。

    2) 組網(wǎng)技術(shù)

    數(shù)據(jù)平面的組網(wǎng)技術(shù)解決了如何在物理和邏輯上連接SDN交換機(jī)的問題。在一個純SDN域內(nèi),交換機(jī)能夠通過銅線或光纖直接相連。而在數(shù)據(jù)層需要跨越傳統(tǒng)網(wǎng)絡(luò)時,交換機(jī)則需要通過標(biāo)簽技術(shù)(如MPLS[11])或隧道技術(shù)(如GRE[12])連接。

    管理/控制平面的組網(wǎng)技術(shù)解決了如何連接管理/控制網(wǎng)元的問題。管理模塊包括實(shí)現(xiàn)管理功能的軟件,控制模塊包括虛擬化平臺以及試驗用戶所用的SDN控制器。管理/控制平面組網(wǎng)技術(shù)主要關(guān)心連通問題,通常3層的IP可達(dá)性就可以滿足要求。

    3) 切片技術(shù)

    SDN試驗床中網(wǎng)絡(luò)虛擬化平臺使用切片技術(shù)來隔離不同試驗的流量。由于 SDN采用了集中式架構(gòu),因此,虛擬化功能通常以應(yīng)用的形式被集成在 SDN控制平臺中[13-14]。在許多數(shù)據(jù)中心中,網(wǎng)絡(luò)虛擬化功能負(fù)責(zé)管理全網(wǎng)的轉(zhuǎn)發(fā)邏輯虛擬化,保證網(wǎng)絡(luò)連通基礎(chǔ)上不同虛網(wǎng)流量間的隔離,數(shù)據(jù)中心的用戶不需要知道網(wǎng)絡(luò)底層數(shù)據(jù)分組轉(zhuǎn)發(fā)的細(xì)節(jié)。然而,在 SDN試驗床中,虛擬化的場景需求與數(shù)據(jù)中心虛擬化有所不同,即為了進(jìn)行網(wǎng)絡(luò)本身的創(chuàng)新,試驗床的用戶往往需要控制試驗網(wǎng)中的數(shù)據(jù)分組轉(zhuǎn)發(fā)機(jī)制,而不僅僅是在試驗網(wǎng)上運(yùn)行業(yè)務(wù)應(yīng)用,因此,他們需要擁有自己的 SDN控制器和網(wǎng)絡(luò)控制邏輯。因此,SDN試驗床的切片技術(shù)需要協(xié)同不同用戶的控制器以保證虛網(wǎng)間的流量隔離,并使每個用戶控制器都察覺不到其他虛網(wǎng)切片及控制器的存在。

    為了實(shí)現(xiàn)以上目標(biāo),SDN試驗床的虛擬化平臺也可以在通用SDN控制器平臺外部獨(dú)立實(shí)現(xiàn)[15-19]。一種典型的方案是基于OpenFlow協(xié)議實(shí)現(xiàn),以代理的形式位于 OpenFlow交換機(jī)和用戶控制器之間,通過修改OpenFlow消息和利用數(shù)據(jù)分組中的用戶標(biāo)簽對控制信令(如 PacketIn、FlowMod等)進(jìn)行分流,并隔離數(shù)據(jù)平面上不同試驗切片的流量。

    3 國內(nèi)外SDN試驗床介紹

    當(dāng)前,全球已經(jīng)有多個建設(shè)運(yùn)行的 SDN試驗床,本文將介紹5個典型的大規(guī)模SDN試驗床,每個試驗床都將從4個方面進(jìn)行詳細(xì)介紹:試驗床的設(shè)計目標(biāo)與項目進(jìn)展情況、試驗床的關(guān)鍵技術(shù)、試驗床的網(wǎng)絡(luò)部署情況、試驗床的特色應(yīng)用。

    3.1 GENI OpenFlow試驗床

    3.1.1 設(shè)計目標(biāo)與項目進(jìn)展

    GENI由美國國家自然基金(NSF)贊助,通過使用網(wǎng)絡(luò)虛擬化技術(shù)來進(jìn)行大規(guī)模的網(wǎng)絡(luò)創(chuàng)新性試驗,后期由于OpenFlow等SDN技術(shù)的提出,GENI重點(diǎn)關(guān)注了基于OpenFlow的試驗床。GENI采用螺旋上升的發(fā)展方式,在最初2個階段,構(gòu)建了點(diǎn)到點(diǎn)的發(fā)展模型,并且向可進(jìn)行連續(xù)試驗的方向演進(jìn)。在第3個階段,GENI引進(jìn)了OpenFlow技術(shù),并且將OpenFlow交換機(jī)部署到校園網(wǎng)絡(luò)試驗環(huán)境中。目前,GENI已經(jīng)處于第6個階段。現(xiàn)階段主要目標(biāo)為以下幾點(diǎn)。1) 以更好的工具和服務(wù)吸引更多的試驗;2) 通過部署更多的GENI服務(wù)器機(jī)架吸引更多學(xué)校對 GENI進(jìn)行支持,從而增大GENI的規(guī)模;3) 完善GENI的測量與監(jiān)測工具。

    目前,OpenFlow已經(jīng)成為GENI重點(diǎn)支持的技術(shù)之一。通過OpenFlow技術(shù)可以給用戶提供大規(guī)模網(wǎng)絡(luò)試驗的真實(shí)環(huán)境,這其中包括GENI的切片和可編程性的核心概念。通過 GENI中 OpenFlow交換機(jī)提供的可編程特性,網(wǎng)絡(luò)管理者可以自行定義網(wǎng)絡(luò)轉(zhuǎn)發(fā)的規(guī)則。另外,GENI OpenFlow是開放的,用戶可以通過門戶網(wǎng)站申請自己的試驗切片。

    3.1.2 關(guān)鍵技術(shù)

    1) 管理技術(shù)

    GENI試驗網(wǎng)管理的核心是被稱為控制框架的GCF(GENI control framework),GCF包含4個部分:GMOC、Clearinghouse、Research Tools和Aggregates,其關(guān)系如圖1所示。

    圖1 GCF組件示意

    Aggregates用于給試驗者提供資源,不同的Aggregates提供不同類型的資源,如計算資源、網(wǎng)絡(luò)資源等。

    Research Tools主要用于試驗者對GENI資源的管理和控制。例如,資源預(yù)留工具用于繪制試驗拓?fù)湟约肮芾砬衅?,測量工具用于測量統(tǒng)計數(shù)據(jù),而監(jiān)測工具可以監(jiān)測資源的使用情況。

    GMOC目前有2個功能:一個是對GENI基礎(chǔ)設(shè)施的健康情況進(jìn)行維護(hù);另一個是作為GENI用戶操作試驗切片的入口。

    Clearinghouse將試驗切片、GENI Aggregates和GMOC聯(lián)合起來,同時提供認(rèn)證和授權(quán)服務(wù)。

    GENI控制框架定義了一系列的互聯(lián)接口,其中Clearinghouse API是 Clearinghouse與 Tools/Aggregates之間的接口。GENI Aggregates Manager API明確了Tools和Aggregates之間的接口,使GENI Aggregates可以為切片分配資源。GENI AM API是SFA(slice federation architecture)的接口,用來將不同試驗床的資源編排為一個切片,SFA已經(jīng)應(yīng)用于PlanetLab、ProtoGENI、ExoGENI、InstaGENI和GENI OpenFlow等多個項目中。

    2) 組網(wǎng)技術(shù)

    GENI根據(jù)試驗者的需求和現(xiàn)有的網(wǎng)絡(luò)資源來提供多種組網(wǎng)操作。GENI OpenFlow試驗床由控制平面和數(shù)據(jù)平面組成。控制平面主要負(fù)責(zé)對數(shù)據(jù)平面中運(yùn)行的試驗進(jìn)行配置和控制。用戶可以通過Internet或隧道進(jìn)行SSH連接,以接入自己的試驗切片,控制平面上承載的是控制和監(jiān)測數(shù)據(jù)的管理流量。

    數(shù)據(jù)平面上同時運(yùn)行著多個試驗切片。GENI試驗床數(shù)據(jù)平面的組網(wǎng)技術(shù)主要包括以下幾種。

    ① 全局 VLAN。這是一種最直接的方式。經(jīng)過協(xié)商,所有的網(wǎng)絡(luò)都擁有全局唯一的VLAN ID。

    ② VLAN轉(zhuǎn)譯。當(dāng)不同網(wǎng)絡(luò)使用互相重疊的VLAN方案時,VLAN轉(zhuǎn)譯可以解決它們之間的沖突問題,使不同VLAN ID的網(wǎng)絡(luò)可以加入同一個試驗中,且試驗中的VLAN ID在每個網(wǎng)絡(luò)的邊緣進(jìn)行轉(zhuǎn)譯。

    ③ L2隧道。在經(jīng)過運(yùn)營商網(wǎng)絡(luò)時,GENI通常使用Q-in-Q方法建立隧道,某些情況下也會使用MPLS技術(shù)。

    ④ 光纖連接。該方法可以為數(shù)據(jù)平面提供更高的吞吐量。因此,GENI在很多場景下直接使用光纖來連通校園網(wǎng),并在骨干部分借助了Internet2和NLR的光纖網(wǎng)絡(luò)。

    3) 切片技術(shù)

    傳統(tǒng)網(wǎng)絡(luò)使用VLAN來實(shí)現(xiàn)基本的策略虛擬化,但是在GENI中,為了能夠提供更加靈活的虛擬化方案,GENI使用了基于OpenFlow的網(wǎng)絡(luò)虛擬化平臺。網(wǎng)絡(luò)虛擬化平臺是控制器和交換機(jī)間的透明代理,允許多個用戶的控制器管理同一臺物理OpenFlow交換機(jī)。下面是GENI使用的典型方案。

    ① FlowVisor

    FlowVisor是一款支持切片技術(shù)的軟件平臺。在這個平臺上,不同的試驗者都可以從底層網(wǎng)絡(luò)基礎(chǔ)設(shè)施中獲得他們自己獨(dú)立的切片,并且用他們自己的SDN控制器對切片進(jìn)行控制。最初從斯坦福大學(xué)發(fā)展起來的FlowVisor現(xiàn)在已經(jīng)廣泛應(yīng)用在了試驗網(wǎng)絡(luò)中。

    圖2顯示了FlowVisor的實(shí)現(xiàn)框架。通過XML-RPC模塊,F(xiàn)lowVisor可以向用戶提供Web服務(wù)。Poll Loop模塊定期監(jiān)聽FlowVisor事件。FVClassifier模塊維持與物理OpenFlow交換設(shè)備的連接、處理I/O請求和記錄OpenFlow交換機(jī)端口、性能方面的信息。每一個FVClassifier模塊對應(yīng)一個OpenFlow交換設(shè)備。OFSwitchAccessor模塊幫助FVClassifier模塊接入物理交換機(jī)并和FlowVisor相連,然后將來自交換機(jī)的OpenFlow消息分發(fā)到正確的切片中。FVSlicer模塊維持與控制器的連接,并管理OpenFlow會話和處理控制器發(fā)出的信號。Flowspace數(shù)據(jù)庫使用OpenFlow 12元組存儲來自不同切片的匹配信息。當(dāng)來自一個物理OpenFlow交換設(shè)備的流到達(dá)Flowspace數(shù)據(jù)庫時,OpenFlow消息會先根據(jù)切片規(guī)則被送到FVSlicer模塊,然后再送至對應(yīng)的控制器。

    圖2 FlowVisor實(shí)現(xiàn)框架

    FlowVisor的核心規(guī)則是將上行消息映射給不同用戶的控制器,并過濾下行消息,從而正確地轉(zhuǎn)發(fā)流量,并保證不同切片流量的隔離。利用FlowVisor,各個切片可以共同使用OpenFlow硬件資源,這些資源主要包括網(wǎng)絡(luò)拓?fù)?、鏈路帶寬、設(shè)備CPU以及轉(zhuǎn)發(fā)表。FlowVisor對切片使用的策略語言進(jìn)行了規(guī)定,通過FlowVisor,每一個切片都可以控制一系列的流,構(gòu)成流空間Flowspace,并且每一個切片使用它自己的控制器對其試驗網(wǎng)絡(luò)進(jìn)行管理。

    然而,F(xiàn)lowVisor存在一些架構(gòu)機(jī)制上的缺陷。例如,不同試驗切片的流空間不允許重疊,這將導(dǎo)致試驗切片地址空間不能按需分配。另外,F(xiàn)lowVisor只能為用戶提供規(guī)模有限的拓?fù)?,該拓?fù)渲荒苁俏锢硗負(fù)涞囊粋€子集。

    ② OpenVirteX

    OpenVirteX(OVX)由ON.Lab開發(fā),可以將一個物理SDN基礎(chǔ)設(shè)備虛擬化成多個SDN虛擬子設(shè)備。其核心是一個網(wǎng)絡(luò)嵌入模塊,用戶可以基于該模塊利用OVX定制試驗網(wǎng)絡(luò)拓?fù)?,并部署控制器,如圖3所示。首先,嵌入模塊從用戶側(cè)收到虛擬試驗網(wǎng)絡(luò)的信息,如拓?fù)浜偷刂?;然后,網(wǎng)絡(luò)嵌入模塊將生成一張?zhí)摂M網(wǎng)映射到實(shí)際設(shè)備的映射表,并將它發(fā)送給OVX;接下來,OVX記錄映射信息,并且在物理基礎(chǔ)設(shè)施之上實(shí)例化試驗網(wǎng)絡(luò)切片。當(dāng)用戶想要變更網(wǎng)絡(luò)時,OVX也支持在不中斷試驗流量的情況下更改試驗切片拓?fù)洹?/p>

    圖3 OpenVirtex架構(gòu)

    與FlowVisor相比,OVX根據(jù)接入點(diǎn)信息(例如DPID和端口ID)對切片主機(jī)進(jìn)行辨識,并給每一個切片分配一個獨(dú)立的租戶ID。這種方法雖欠缺靈活性,但相比Flowspace的方法更具有實(shí)際意義。OVX在入口交換機(jī)重寫數(shù)據(jù)分組的MAC地址來攜帶租戶ID,并且在出口交換機(jī)中將MAC地址寫回,因此OVX可以給每一個用戶提供完整的地址空間,供用戶使用。如果用戶的控制器也需要修改MAC地址,那么OVX會將新的MAC地址記錄下來,并據(jù)此在出口交換機(jī)將新的MAC地址寫回。除此之外,OVX還允許租戶任意配置拓?fù)?,而不受物理拓?fù)湎拗啤?/p>

    3.1.3 網(wǎng)絡(luò)部署

    本節(jié)將從校園網(wǎng)和骨干網(wǎng)2個方面介紹GENI OpenFlow的網(wǎng)絡(luò)部署,通過協(xié)調(diào)多個校園網(wǎng)和骨干網(wǎng)資源,研究者可以實(shí)施大規(guī)模的網(wǎng)絡(luò)試驗。

    1) 校園網(wǎng)絡(luò)部署

    OpenFlow網(wǎng)絡(luò)最先部署在高校的校園網(wǎng)絡(luò)中,包括普林斯頓大學(xué)、斯坦福大學(xué)、克萊姆森大學(xué)和佐治亞理工學(xué)院等。園區(qū)級的OpenFlow網(wǎng)絡(luò)大多進(jìn)行了混合部署,包括生產(chǎn)網(wǎng)絡(luò)、試驗網(wǎng)絡(luò)和測試網(wǎng)絡(luò),這些網(wǎng)絡(luò)都是基于FlowVisor來實(shí)現(xiàn)隔離的。

    2) 骨干網(wǎng)絡(luò)部署

    GENI OpenFlow網(wǎng)絡(luò)的核心部分由Internet2和NLR網(wǎng)絡(luò)中互聯(lián)的OpenFlow交換機(jī)組成。圖4展示了GENI OpenFlow骨干網(wǎng)的部署情況[20]:GENI與NLR網(wǎng)絡(luò)通過HP6600交換機(jī)和NetFPGA交換機(jī)進(jìn)行連接,與Internet2的連接也是通過OpenFlow交換機(jī)實(shí)現(xiàn)的。

    目前,有3個骨干互聯(lián)VLAN(3715、3716和3717)運(yùn)行在核心網(wǎng)中的5臺交換機(jī)上。這5臺交換機(jī)分別位于圖4所示的5個城市中。VLAN3715和3716在拓?fù)渖铣尸F(xiàn)一個截斷環(huán)型分布,從而預(yù)防突發(fā)環(huán)路的出現(xiàn),VLAN3717為環(huán)型拓?fù)洹C總€截斷環(huán)型VLAN的截斷處都位于2個不同的鏈路之間。這3個VLAN在核心網(wǎng)中不是互聯(lián)的,因此,它們的范圍不應(yīng)該超越骨干網(wǎng)進(jìn)入校園網(wǎng)絡(luò)。

    3.1.4 特色應(yīng)用

    在 GENI上進(jìn)行了多項未來網(wǎng)絡(luò)體系架構(gòu)試驗,如MobilityFirst的原型設(shè)計試驗。MobilityFirst架構(gòu)不需要任何特殊的網(wǎng)關(guān)或代理,就可以提供對移動設(shè)備的完全支持和各種服務(wù),包括對無線鏈路斷開重連的穩(wěn)定支持。GEC12會議上展示了MobilityFirst架構(gòu)的概念驗證原型,GEC15會議上展示了MobilityFirst在OpenFlow交換機(jī)上實(shí)現(xiàn)相應(yīng)的功能。

    3.2 OFELIA

    3.2.1 設(shè)計目標(biāo)與項目進(jìn)展

    歐盟 FP7項目組在 2010年秋季開始部署OFELIA,其主要的設(shè)計目標(biāo)是建立一個多層次、多區(qū)域、分布式的未來網(wǎng)絡(luò)試驗床,以同時容納生產(chǎn)型流量和試驗型流量。OFELIA部署的第一周期分為了3個階段,第1階段完成了底層基礎(chǔ)設(shè)施部署,包括 OpenFlow交換機(jī)和虛擬化服務(wù)器;第 2階段完成了不同區(qū)域的連接,并將 SDN試驗擴(kuò)展到了無線和光通信領(lǐng)域;第3階段完成控制框架開發(fā),提供了與外部 Internet設(shè)施和其他試驗床的互操作能力。OFELIA目前不再對外開放,只對FP7內(nèi)部成員開放。

    圖4 GENI骨干網(wǎng)部署情況

    3.2.2 關(guān)鍵技術(shù)

    1) 管理技術(shù)

    為了支持虛網(wǎng)用戶能對底層物理設(shè)施進(jìn)行管理,并允許用戶接入自己的試驗,OFELIA開發(fā)了自己的控制框架[21]OCF(OFELIA control framework)。OCF主要負(fù)責(zé)資源分配、試驗床的自動化管理,以及試驗切片的生命周期管理。圖5為OCF的設(shè)計框架,支持通過基于切片的聯(lián)合架構(gòu)SFA與其他試驗床聯(lián)合,整個架構(gòu)分為門戶、Clearinghouse以及資源管理層3層。

    圖5 OCF設(shè)計框架

    OCF的門戶負(fù)責(zé)向用戶提供管理切片的相關(guān)操作,方便管理員對系統(tǒng)進(jìn)行管理。Clearinghouse負(fù)責(zé)同步用戶在不同區(qū)域內(nèi)的試驗賬戶信息,通過部署輕量級LDAP服務(wù)器來提供統(tǒng)一的認(rèn)證服務(wù)。Clearinghouse的功能可以在AMsoil中以開發(fā)插件的形式進(jìn)行擴(kuò)展,其中,AMsoil是一個輕量級的可部署插件的框架,用于創(chuàng)建和管理試驗床的資源。

    資源管理層中最基本的模塊是虛擬機(jī)管理模塊和 OpenFlow管理模塊。虛擬機(jī)管理模塊 AM(aggregate manager)將資源管理模塊的接口綁定在Clearinghouse層上,并負(fù)責(zé)為試驗切片分配虛擬機(jī)。OpenFlow管理模塊是一個基于Opt-in管理器[22]的OpenFlow工具,負(fù)責(zé)試驗網(wǎng)絡(luò)切片規(guī)則的管理和配置。

    2) 組網(wǎng)技術(shù)

    為了更為可靠地管控整個試驗網(wǎng)絡(luò),OFELIA還設(shè)計了2個帶外網(wǎng)絡(luò)用于控制與管理。目前,所有OFELIA平臺的各個區(qū)域以hub-spoke拓?fù)溥B接。OFELIA hub位于比利時,用來中繼不同區(qū)域的試驗流量和控制流量。

    OFELIA數(shù)據(jù)平面跨越所有的OFELIA區(qū)域,試驗流量可以跨越歐洲不同的國家和區(qū)域,各個網(wǎng)絡(luò)區(qū)域通過比利時 iMinds的OFELIA hub[6]來連接。如圖 6所示,OFELIA中運(yùn)行了超過 25個來自不同供應(yīng)商的 OpenFlow交換機(jī)。試驗網(wǎng)中的服務(wù)器通常與多個交換機(jī)相連,為網(wǎng)絡(luò)試驗的部署提供了一個穩(wěn)定的環(huán)境。數(shù)據(jù)平面通過GEANT骨干網(wǎng)[23]的1 Gbit/s二層專用線路連接,利用OpenvSwitch[24]在公共網(wǎng)絡(luò)上搭建的L2隧道作為冗余線路。在管理網(wǎng)和試驗網(wǎng)中,專用線路和隧道以網(wǎng)格狀拓?fù)洳渴?,同時起到了冗余容錯的作用。

    圖6 OFELIA數(shù)據(jù)平面和控制平面組網(wǎng)示意

    OFELIA中不同區(qū)域的控制網(wǎng)絡(luò)為每個區(qū)域分配了私有的IP網(wǎng)段,控制網(wǎng)絡(luò)使用OSPF協(xié)議根據(jù)私有地址進(jìn)行路由。所有區(qū)域的控制網(wǎng)絡(luò)都連接到OFELIA hub,其中部分網(wǎng)絡(luò)作為冗余備份以保證控制網(wǎng)絡(luò)穩(wěn)定運(yùn)行。這些連接由GEANT的專用線路或基于Internet的L3隧道實(shí)現(xiàn)。每個區(qū)域都提供了一些自動化的服務(wù),如LDAP和DNS。OFELIA向用戶提供了控制網(wǎng)絡(luò)的遠(yuǎn)程接入服務(wù),可通過遠(yuǎn)程VPN連接到試驗切片。

    OFELIA管理網(wǎng)絡(luò)用于監(jiān)控和管理各個項目以及切片資源。實(shí)際上,管理網(wǎng)絡(luò)并不是必需的,有些區(qū)域可以直接使用控制網(wǎng)絡(luò)來實(shí)現(xiàn)這些管理功能。

    3) 切片技術(shù)

    OFELIA曾使用FlowVisor來劃分切片,然而FlowVisor存在許多局限性,因此,OFELIA項目的研究人員開發(fā)了VeRTIGO來改善FlowVisor的缺陷。圖7描述了VeRTIGO的架構(gòu)以及VeRTIGO各模塊間的交互。其中,Web UI接受用戶試驗網(wǎng)絡(luò)切片的請求,VT Planner執(zhí)行高效的算法[25],將虛網(wǎng)請求映射到實(shí)際物理資源。Storage是用戶記錄映射策略和流統(tǒng)計數(shù)據(jù)的數(shù)據(jù)庫。當(dāng)切片申請被接受后,以下4個模塊對OpenFlow通道進(jìn)行虛擬化:Classifier根據(jù)流的分組頭信息對異步的OpenFlow消息(如PacketIn)進(jìn)行分類,Node Virtualizer根據(jù)用戶的需求實(shí)例化邏輯交換機(jī),實(shí)現(xiàn)物理交換機(jī)到邏輯交換機(jī)間的switch ID的轉(zhuǎn)換,Port Mapper實(shí)現(xiàn)物理交換機(jī)到邏輯交換機(jī)間的Port ID的轉(zhuǎn)換,Internal Contoller負(fù)責(zé)下發(fā)流表項。

    圖7 VeRTIGO設(shè)計架構(gòu)

    3.2.3 網(wǎng)絡(luò)部署

    OFELIA項目從2010年9月開始啟動,最初分別在 iMinds、布里斯托爾大學(xué)、ETHZ、i2CAT和TUB這 5個區(qū)域建立了試驗床,到目前為止,OFELIA的規(guī)模已經(jīng)發(fā)展超過10個區(qū)域,如圖8所示。OFELIA的第一個建設(shè)階段持續(xù)了3年。第一個階段完成后,OFELIA已經(jīng)建設(shè)成了一個可編程、可擴(kuò)展、協(xié)議無關(guān)且能快速部署網(wǎng)絡(luò)創(chuàng)新的真實(shí)網(wǎng)絡(luò)試驗環(huán)境。目前OFELIA是一個可管控、盡力而為的服務(wù)提供商。基于 OpenFlow協(xié)議,OFELIA允許試驗部署在多層次、多區(qū)域的網(wǎng)絡(luò)上,為未來網(wǎng)絡(luò)的技術(shù)創(chuàng)新提供了真實(shí)的試驗環(huán)境。

    圖8 OFELIA部署情況

    3.2.4 特色應(yīng)用

    在OFELIA上實(shí)施的基于SDN和OpenFlow的ICN架構(gòu)試驗,不僅能夠支持現(xiàn)有的CCNx應(yīng)用程序,還能夠支持所有基于CCN/NDN的ICN協(xié)議,可拓展性非常強(qiáng)。

    3.3 RISE

    3.3.1 設(shè)計目標(biāo)和項目進(jìn)展

    2009年以來,日本信息通信研究機(jī)構(gòu)NICT一直在 JGN-X[26]上開發(fā)用于大規(guī)模網(wǎng)絡(luò)試驗研究的基礎(chǔ)設(shè)施(RISE),其目標(biāo)是為網(wǎng)絡(luò)研究者提供一個多租戶、大規(guī)模的環(huán)境,用于驗證 SDN試驗。RISE向公眾開放,而且被授權(quán)的用戶可以自己決定所獲取RISE資源的試驗要求[27]。至今為止,RISE已經(jīng)更新了3個版本。

    RISE 1.0發(fā)布于2009年,其OpenFlow交換機(jī)之間使用 Q-in-Q[28]傳送用戶數(shù)據(jù)分組,不支持切片,試驗用戶需要占用整個OpenFlow網(wǎng)絡(luò),也無法向用戶提供虛擬機(jī)。2011年11月,RISE 2.0發(fā)布,相比RISE1.0有了3個主要的改進(jìn):物理基礎(chǔ)設(shè)施可以由多用戶共享;用偽線(Pseudo-Wire)技術(shù)替代Q-in-Q實(shí)現(xiàn)站點(diǎn)互聯(lián);可以向用戶提供虛擬機(jī)。不過RISE2.0仍然存在以下2個問題:并發(fā)用戶容量?。坏讓泳W(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)不靈活。為了解決這些問題,NICT于2014年在RISE 3.0中設(shè)計出分層的OpenFlow網(wǎng)絡(luò),包括用戶切片層、拓?fù)涮摂M化層以及物理路徑層。

    3.3.2 關(guān)鍵技術(shù)

    1) 管理技術(shù)

    RISE旨在按照用戶要求提供定制的可自動部署的SDN試驗。RISE3.0中發(fā)展起來的RISE編排器[29]可以幫助RISE管理員管理網(wǎng)絡(luò)和用戶試驗。

    RISE中通過瀏覽器和用戶進(jìn)行交互,使用RESTful應(yīng)用編程接口接收試驗配置和監(jiān)視試驗狀態(tài)。項目管理器管理所有的底層資源和上層試驗并指導(dǎo)相關(guān)管理模塊提供虛擬服務(wù)器和虛擬機(jī)。通過發(fā)送和接收幀,RISE編排器可以知道物理網(wǎng)絡(luò)和用戶預(yù)配置的試驗網(wǎng)絡(luò)的全部拓?fù)湫畔ⅲ撔畔⒖捎糜诠芾砦锢鞳penFlow交換機(jī)中的流表項,用戶可以方便、快捷地使用RISE編排器定制試驗。

    2) 組網(wǎng)技術(shù)

    JGN-X是一個基于VLAN的網(wǎng)絡(luò)試驗床,RISE起初在JGN-X中使用Q-in-Q運(yùn)行覆蓋網(wǎng)絡(luò),然而使用Q-in-Q技術(shù)導(dǎo)致了很多問題。自RISE2.0之后,人們一致認(rèn)為 EoMPLS技術(shù)是最適合管理 JGN-X中OpenFlow網(wǎng)絡(luò)的技術(shù)。

    Q-in-Q隧道技術(shù)中,內(nèi)部標(biāo)簽被稱之為用戶VLAN標(biāo)簽(C-VLAN),它用于本地且對運(yùn)營商網(wǎng)絡(luò)透明。外部標(biāo)簽被稱之為運(yùn)營商 VLAN標(biāo)簽(S-VLAN),在運(yùn)營商網(wǎng)絡(luò)唯一地標(biāo)識一個用戶。RISE1.0中使用Q-in-Q隧道,當(dāng)一個帶有C-VLAN標(biāo)簽的數(shù)據(jù)分組到達(dá)JGN-X網(wǎng)絡(luò),在入口設(shè)備上加入一個S-VLAN來穿越JGN-X網(wǎng)絡(luò),并在出口設(shè)備處移除S-VLAN。當(dāng)使用Q-in-Q時,RISE用戶的物理地址不得不暴露給JGN-X交換機(jī),因此,當(dāng)用戶網(wǎng)絡(luò)連接大量設(shè)備時,這些可能會導(dǎo)致JGN-X交換機(jī)的MAC表項溢出。

    MPLS是一種可以封裝多種網(wǎng)絡(luò)協(xié)議的高性能通信組網(wǎng)機(jī)制,EoMPLS部署在運(yùn)營商的網(wǎng)絡(luò)邊緣,維護(hù)以太網(wǎng)VLAN標(biāo)簽和MPLS標(biāo)簽之間用于隧道技術(shù)的映射關(guān)系。RISE2.0采用EoMPLS的偽線技術(shù),用來替代Q-in-Q,因為轉(zhuǎn)發(fā)依賴于MPLS標(biāo)簽而不是物理地址,解決了JGN-X交換機(jī)MAC表項溢出的問題。除此之外,一個MPLS標(biāo)簽比VLAN標(biāo)簽更長,使RISE的組網(wǎng)擴(kuò)展性更好。

    3) 切片技術(shù)

    在RISE1.0中,用戶請求在RISE上進(jìn)行試驗時,直到試驗完成前,將會一直占用整個OpenFlow資源,即RISE1.0是基于時間進(jìn)行切片的,沒有遵照多租戶的初始設(shè)計目標(biāo)。RISE2.0可以同時提供16個虛擬交換機(jī)實(shí)例,為了區(qū)分不同切片的流量,用戶虛擬機(jī)使用特定的VLAN標(biāo)簽來發(fā)分組,所以VLAN字段必須對用戶的控制器隱藏。雖然 RISE2.0在一定程度上實(shí)現(xiàn)了網(wǎng)絡(luò)切片,但16個切片數(shù)量是不可拓展的,而且該方法也不夠靈活,因為每個切片的拓?fù)涫怯晒潭ǖ腏GN-X拓?fù)錄Q定的。

    在 RISE3.0中,為了得到更多的、靈活的切片,RISE網(wǎng)絡(luò)和JGN-X網(wǎng)絡(luò)之間嵌入了拓?fù)涮摂M化層[30]。如圖9所示,拓?fù)涮摂M化層通過物理地址重寫將“邏輯路徑”映射至JGN-X網(wǎng)絡(luò),從而從JGN-X網(wǎng)絡(luò)中分離出用戶OpenFlow網(wǎng)絡(luò)的拓?fù)洹;谶@種方法,切片的規(guī)模拓展了2~3倍,最大數(shù)量可以超過 50個。然而,使用物理地址重寫依然有一些缺點(diǎn),例如,地址重寫將會給網(wǎng)絡(luò)排錯帶來麻煩,分組重寫也會帶來更多開銷。

    圖9 RISE通過改寫MAC地址來實(shí)現(xiàn)網(wǎng)絡(luò)切片

    3.3.3 網(wǎng)絡(luò)部署

    至今為止,RISE有10個日本站點(diǎn)和3個其他地區(qū)站點(diǎn)[31](分別為洛杉磯、曼谷和新加坡),它們都被稱之為 EVN,如圖 10所示。EVN之上是OpenFlow網(wǎng)絡(luò)和 OpenFlow交換機(jī),所有的OpenFlow網(wǎng)絡(luò)都是建立在EVN之上的邏輯(虛擬)網(wǎng)絡(luò),東京作為拓?fù)渲行闹甭?lián)洛杉磯、曼谷和新加坡。雖然物理的部署不是一個全網(wǎng)狀拓?fù)?,但是用戶可以通過拓?fù)涮摂M化層請求多樣化的拓?fù)鋪磉M(jìn)行試驗。

    3.3.4 特色應(yīng)用

    RISE上的Snow Festive應(yīng)用實(shí)現(xiàn)了世界上第一例在長距離IP網(wǎng)絡(luò)情況下的8K視頻流傳輸,成功支持了IP網(wǎng)絡(luò)下速度超過36 Gbit/s的4K/8K無壓縮傳輸和速度在1 Gbit/s以內(nèi)的HD/4K壓縮視頻流傳輸。

    圖10 RISE部署情況

    3.4 OF@TEIN

    3.4.1 設(shè)計目標(biāo)和項目進(jìn)展

    OF@TEIN發(fā)起于2012年,由韓國政府通過國家信息社會局贊助。它的目標(biāo)是在 TEIN4(trans-eurasia information network 4)上逐漸建立起支持OpenFlow的SDN試驗床。OF@TEIN由韓國大學(xué)和國際合作機(jī)構(gòu)聯(lián)合執(zhí)行,由韓國光州科技學(xué)會牽頭。OF@TEIN的設(shè)計側(cè)重于3個任務(wù):設(shè)計SmartX機(jī)架并進(jìn)行驗證、多站點(diǎn)部署和互聯(lián)、開發(fā)一些有用的SDN工具。OF@TEIN目前不再對公眾開放。

    3.4.2 關(guān)鍵技術(shù)

    1) 管理技術(shù)

    參考 OFELIA管理技術(shù),OF@TEIN開發(fā)了OF@TEIN Portal,可以通過試驗用戶界面創(chuàng)造切片和監(jiān)視試驗狀態(tài)。通過前端接口,SmartX機(jī)架和網(wǎng)絡(luò)資源可以被聚合起來為試驗提供所需資源。OF@TEIN還建立了 SmartX自動中心用來管理基礎(chǔ)設(shè)施。

    2) 組網(wǎng)技術(shù)

    OF@TEIN網(wǎng)絡(luò)通過具有 OpenFlow感知封裝器功能的 NVGRE隧道技術(shù)實(shí)現(xiàn)站點(diǎn)互聯(lián)[32]。在OF@TEIN的每一個站點(diǎn)內(nèi)已經(jīng)設(shè)計、開發(fā)和部署了各種類型的SmartX 機(jī)架,這些機(jī)架要么是包含連接到虛擬機(jī)服務(wù)器的 OpenvSwitch,要么是包含連接到虛擬機(jī)服務(wù)器的OpenFlow數(shù)據(jù)平面設(shè)備。這些站點(diǎn)中,跨廣域網(wǎng)互聯(lián)的數(shù)據(jù)平面由 SmartX機(jī)架中的隧道封裝節(jié)點(diǎn)實(shí)施。

    OF@TEIN的控制和管理網(wǎng)絡(luò)被設(shè)計成一個帶外的覆蓋網(wǎng)絡(luò),除了使用OpenFlow控制隧道轉(zhuǎn)發(fā)之外,OF@TEIN管理員還可以通過OVSDB協(xié)議遠(yuǎn)程管理隧道[33],這增強(qiáng)了站點(diǎn)間組網(wǎng)的自動化能力。

    3) 切片技術(shù)

    OF@TEIN使用FlowVisor進(jìn)行基于VLAN的切片。用戶的Flowspace包括switch ID和Port ID,流量在入口交換機(jī)處被標(biāo)記上切片的VLAN,沿途交換機(jī)發(fā)送PacketIn消息時會攜帶該VLAN標(biāo)識,F(xiàn)lowVisor通過該標(biāo)識在不同試驗用戶的控制器間進(jìn)行分流,在出口交換機(jī)處該 VLAN標(biāo)識會被剝離掉。

    3.4.3 網(wǎng)絡(luò)部署

    如圖11所示,OF@TEIN[34]通過TEIN4國際網(wǎng)絡(luò)將分布在7個國家(韓國、印度尼西亞、馬來西亞、泰國、越南、菲律賓以及巴基斯坦)的 12個站點(diǎn)連接起來。在圖 11中,實(shí)線和虛線分別表示主要路徑和次要路徑。

    圖11 OF@TEIN部署情況

    3.4.4 特色應(yīng)用

    在OF@TEIN上進(jìn)行的原型媒體分發(fā)試驗定義了清晰的實(shí)驗生命周期,基于 SDN和資源預(yù)留技術(shù),擴(kuò)展了基于工作流的實(shí)驗控制策略,同時更好地發(fā)揮了DevOps工具在實(shí)驗生命周期各階段提供自動部署的能力。

    3.5 C-Lab試驗床

    3.5.1 設(shè)計目標(biāo)和項目進(jìn)展

    2012年開始,北京郵電大學(xué)和江蘇省未來網(wǎng)絡(luò)創(chuàng)新研究院聯(lián)合構(gòu)建了一個基于SDN的試驗網(wǎng)—— 計算存儲網(wǎng)絡(luò)協(xié)同管控的虛擬化網(wǎng)絡(luò)試驗平臺(C-Lab)。

    C-Lab的主要目標(biāo)是為了支撐國家級“未來網(wǎng)絡(luò)試驗設(shè)施(CENI)”項目的建設(shè),服務(wù)下一代網(wǎng)絡(luò)體系架構(gòu)和關(guān)鍵技術(shù)的研究,支持創(chuàng)新型網(wǎng)絡(luò)體系架構(gòu)和關(guān)鍵技術(shù)的試驗驗證,如服務(wù)定制網(wǎng)絡(luò)SCN(service customized networking)、應(yīng)用驅(qū)動網(wǎng)絡(luò)AND(application driving network)、超融合網(wǎng)絡(luò)、物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、4K/8K/AR/VR、云計算等。CENI的核心技術(shù)主要包括可擴(kuò)展的網(wǎng)絡(luò)操作系統(tǒng)、網(wǎng)絡(luò)虛擬化平臺、可編程芯片、轉(zhuǎn)發(fā)設(shè)備以及網(wǎng)絡(luò)安全技術(shù)等。目前,CENI項目已經(jīng)正式立項啟動,包含IPv6、可編程網(wǎng)絡(luò)、SDN等多條技術(shù)路線,C-Lab的相關(guān)成果將為CENI項目中構(gòu)建一個端到端SDN試驗網(wǎng)提供有力支撐。

    C-Lab平臺項目的發(fā)展分2期進(jìn)行,一期是基礎(chǔ)平臺構(gòu)建,重點(diǎn)完成基礎(chǔ)試驗網(wǎng)絡(luò)建設(shè),完成光網(wǎng)絡(luò)融合、無線網(wǎng)絡(luò)接入、業(yè)務(wù)應(yīng)用等幾個方面的建設(shè)與初步應(yīng)用試驗示范,實(shí)現(xiàn)內(nèi)部開放運(yùn)行;二期在第一期基礎(chǔ)上進(jìn)一步擴(kuò)大網(wǎng)絡(luò)規(guī)模,實(shí)現(xiàn)虛網(wǎng)之間的高效隔離,同時增加網(wǎng)絡(luò)管理、網(wǎng)絡(luò)測量、網(wǎng)絡(luò)安全、云計算、物聯(lián)網(wǎng)、應(yīng)用工具等方面的建設(shè),進(jìn)行了更大規(guī)模的測試試驗與應(yīng)用示范,正式上線開放運(yùn)行。

    目前,C-Lab平臺通過解決網(wǎng)絡(luò)虛擬化標(biāo)識、資源映射、計算存儲融合等問題,已經(jīng)支持了一批網(wǎng)絡(luò)領(lǐng)域基金項目的成果試驗驗證,促進(jìn)了科研成果更加接近實(shí)際應(yīng)用環(huán)境,加快了科研成果的產(chǎn)業(yè)化速度,取得了階段性的成果。

    3.5.2 關(guān)鍵技術(shù)

    1) 管理技術(shù)

    C-Lab研發(fā)了試驗平臺的控制框架CCF,通過CCF管理平臺,可以對底層各種網(wǎng)絡(luò)資源進(jìn)行調(diào)度與整合,并對平臺的參數(shù)進(jìn)行設(shè)置,以便試驗用戶的相關(guān)操作。一個C-Lab試驗的生命周期包括3個階段:設(shè)計、執(zhí)行和完成。第1個階段,用戶登錄CCF門戶并根據(jù)自己的需求設(shè)計他們的試驗,負(fù)責(zé)虛擬化的CNVP模塊調(diào)用底層可用資源來創(chuàng)建虛擬網(wǎng)絡(luò)切片。第2個階段,用戶登錄創(chuàng)建的控制器節(jié)點(diǎn)和虛擬機(jī)節(jié)點(diǎn)進(jìn)行試驗。第3個階段,用戶完成試驗,獲取數(shù)據(jù)并釋放資源。此外,隨著跨域組網(wǎng)、多域協(xié)同管控、多功能試驗網(wǎng)元等需求的出現(xiàn),C-Lab還繼續(xù)研發(fā)了SDN跨域虛網(wǎng)通信、網(wǎng)絡(luò)服務(wù)編排以及虛擬網(wǎng)元管理技術(shù),進(jìn)一步豐富了管控平面功能。

    2) 組網(wǎng)技術(shù)

    考慮到試驗平臺的可擴(kuò)展性、設(shè)備性價比、協(xié)議支持靈活性等因素,C-Lab試驗平臺初期建設(shè)采用了部署更加靈活的Open vSwitch方案,即通過在多網(wǎng)卡服務(wù)器上安裝 Open vSwitch,以實(shí)現(xiàn)OpenFlow交換機(jī)功能。初期采用這種方式可以按需創(chuàng)建虛擬交換節(jié)點(diǎn)、動態(tài)更改網(wǎng)絡(luò)拓?fù)湟约芭渲镁W(wǎng)絡(luò)資源,方便試驗者進(jìn)行各種試驗以及對OpenFlow技術(shù)的探索和使用。

    隨著 SDN產(chǎn)業(yè)的發(fā)展,同時為了增加試驗平臺的設(shè)備多樣性,C-Lab逐步引入了支持OpenFlow的商用 SDN設(shè)備作為網(wǎng)絡(luò)核心節(jié)點(diǎn)。在保證設(shè)備靈活性、協(xié)議支持度以及流表匹配功能等基本特征的基礎(chǔ)上,根據(jù)不同的業(yè)務(wù)需求分別部署在匯聚和出口位置。

    3) 切片技術(shù)

    C-Lab借鑒了GENI中FlowVisor的虛擬化切片方案,并在此基礎(chǔ)上應(yīng)用了團(tuán)隊研發(fā)的基于 SDN的高效隔離的網(wǎng)絡(luò)虛擬化技術(shù)—— CNVP技術(shù)。CNVP針對當(dāng)前網(wǎng)絡(luò)虛擬化技術(shù)依賴于分布式協(xié)議、效率低的問題,基于軟件定義網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)了集中式高效率的網(wǎng)絡(luò)虛擬化系統(tǒng),重點(diǎn)攻克了其中的3個關(guān)鍵問題:基于SDN集中代理節(jié)點(diǎn)上下行信令實(shí)時處理的虛擬化切片技術(shù)、基于 SDN的虛擬化流規(guī)則沖突的檢測與隔離技術(shù)以及低時延高資源利用率聯(lián)合優(yōu)化的虛擬網(wǎng)絡(luò)映射算法。

    3.5.3 網(wǎng)絡(luò)部署

    C-Lab總體為分級分域結(jié)構(gòu),在每個域部署一個控制器,從而共同組成基礎(chǔ)控制平面,提供虛擬化網(wǎng)絡(luò)切片服務(wù),域間部署超級控制器管理跨域流量。目前,北京郵電大學(xué)已建成30多個核心節(jié)點(diǎn)和部分接入節(jié)點(diǎn),覆蓋北京郵電大學(xué)新科研樓、網(wǎng)絡(luò)中心、主樓、教三樓等區(qū)域,并與江蘇省未來網(wǎng)絡(luò)創(chuàng)新研究院、華南理工大學(xué)、華中科技大學(xué)、西安交通大學(xué)、重慶郵電大學(xué)等網(wǎng)絡(luò)節(jié)點(diǎn)通過隧道實(shí)現(xiàn)了互聯(lián)。

    3.5.4 特色應(yīng)用

    在 C-Lab 上運(yùn)行著國內(nèi)多個高校和研究機(jī)構(gòu)的關(guān)于未來網(wǎng)絡(luò)架構(gòu)和關(guān)鍵技術(shù)的研究,例如,面向服務(wù)的未來網(wǎng)絡(luò)體系架構(gòu)、ONOS控制器故障檢測模塊、內(nèi)容中心網(wǎng)絡(luò)等。

    4 技術(shù)挑戰(zhàn)與研究展望

    4.1 切片技術(shù)

    SDN試驗床的網(wǎng)絡(luò)切片機(jī)制能夠?qū)υ囼灤驳奈锢碣Y源進(jìn)行切分并重新整合分配給不同的用戶,這對于網(wǎng)絡(luò)的動態(tài)靈活性和資源利用率提升具有重要意義。

    基于流空間和基于固定標(biāo)簽是目前常用的2種切片標(biāo)識思路。在基于流空間中,基于 OpenFlow v1.0開發(fā)的第一代SDN切片工具FlowVisor作為透明代理位于 SDN控制器和底層交換機(jī)之間。FlowVisor利用了OpenFlow v1.0中的12元組進(jìn)行切片,但仍存在不少局限性,比如虛網(wǎng)和物理網(wǎng)絡(luò)沒有完全解耦,虛網(wǎng)拓?fù)涫芟抻谖锢硗負(fù)?,基于流空間的切片標(biāo)識方式也無法做到地址虛擬化。在基于固定標(biāo)簽中,VLAN標(biāo)簽通常被用作切片標(biāo)識,GENI、OFELIA和RISE都有用到VLAN標(biāo)簽,但VLAN標(biāo)簽有限的位數(shù)只能容納不超過4 096張?zhí)摼W(wǎng),有可能不滿足現(xiàn)實(shí)需求。

    后續(xù)的多個研究方案就 FlowVisor在切片標(biāo)識、鏈路虛擬化、節(jié)點(diǎn)虛擬化上的局限性做出了針對性的改進(jìn)。例如,OVX利用改寫MAC地址的方式來實(shí)現(xiàn)地址虛擬化,同時也避免了使用VLAN標(biāo)簽而導(dǎo)致的虛網(wǎng)容量瓶頸。OFELIA中的 VeRTIGO使用了鏈路虛擬化技術(shù)來解耦虛網(wǎng)拓?fù)渑c物理拓?fù)洹?/p>

    切片技術(shù)領(lǐng)域仍然有許多問題值得進(jìn)一步研究。目前,切片方案大多重點(diǎn)關(guān)注數(shù)據(jù)層面的地址虛擬化和拓?fù)涮摂M化,對控制層的性能隔離研究較少。在網(wǎng)絡(luò)虛擬化場景中,虛網(wǎng)的控制流量一般會經(jīng)過切片工具,若缺少好的隔離機(jī)制,虛網(wǎng)的性能同樣會受到影響。此外,切片技術(shù)可以結(jié)合先進(jìn)的虛擬化映射算法來提供更加靈活的虛擬化方案[35-37]。同時,當(dāng)試驗床的規(guī)模進(jìn)一步增長時,切片工具的擴(kuò)展性可能會成為性能瓶頸,如何設(shè)計滿足大規(guī)模網(wǎng)絡(luò)切片需求的虛擬化系統(tǒng)也是一個重點(diǎn)的研究方向。

    4.2 光和無線設(shè)備的兼容

    為了支持在不同網(wǎng)絡(luò)域多樣化的研究,SDN試驗床在數(shù)據(jù)平面不應(yīng)該僅僅是基于 SDN交換機(jī),而且應(yīng)該支持 SDN無線和光設(shè)備,并且應(yīng)該仔細(xì)考慮現(xiàn)存IP或電路域設(shè)備的兼容性,各類型異構(gòu)設(shè)備都應(yīng)該能以某種方式互聯(lián)、控制和管理。

    許多 SDN試驗床已經(jīng)在研究這個問題。GENI將SDN引入WiMAX并實(shí)現(xiàn)了軟件定義無線接入的原型系統(tǒng)。通過將GMPLS整合到OpenFlow控制器中,OFELIA支持了對光交換的控制。為了拓展OpenFlow試驗床能力,RISE也致力于為試驗床提供不同的接入方式。

    當(dāng)前,多種類設(shè)備組網(wǎng)技術(shù)可以歸類為以下2種。第一種是在相應(yīng)的網(wǎng)絡(luò)域拓展 SDN南向協(xié)議,比如 OpenFlow;第二種是兼容當(dāng)前控制和管理技術(shù),如SNMP和GMPLS,將其作為SDN控制器和 SDN轉(zhuǎn)發(fā)設(shè)備的翻譯器。除此之外,控制上的相關(guān)協(xié)議應(yīng)用也需要統(tǒng)一的控制,例如,Alien是OFELIA的一個子項目,它提出了硬件抽象層,用于多種設(shè)備組網(wǎng)的系統(tǒng)查詢。

    4.3 安全性

    SDN技術(shù)帶來了網(wǎng)絡(luò)的可編程性,與此同時也導(dǎo)致了一些安全漏洞,這將直接威脅基于 SDN的網(wǎng)絡(luò)試驗床的穩(wěn)定性:在網(wǎng)絡(luò)試驗床上并發(fā)運(yùn)行的試驗數(shù)量眾多,而且網(wǎng)絡(luò)試驗環(huán)境處于動態(tài)變化之中,如果沒有可靠的安全機(jī)制確保試驗的正常運(yùn)行,當(dāng)試驗環(huán)境受到惡意或無意的攻擊時,這些并行的網(wǎng)絡(luò)試驗一定會互相干擾,從而導(dǎo)致試驗數(shù)據(jù)的失真,甚至導(dǎo)致系統(tǒng)的崩潰。因此,試驗床必須采取有效的安全機(jī)制,保證試驗環(huán)境之間的獨(dú)立性以及試驗資源調(diào)度的合理性。目前,因為控制平面與數(shù)據(jù)平面相對隔離,SDN在網(wǎng)絡(luò)安全方面有一定的特殊性,針對這種特殊架構(gòu)的SDN安全解決方案仍在不斷研究中,并成為了一個重要的方向。

    4.4 可靠性

    網(wǎng)絡(luò)正在向虛擬化和軟件化發(fā)展,這種趨勢下,應(yīng)用具有低成本、高控制精度和部署靈活的優(yōu)勢。然而,在這種軟件定義的網(wǎng)絡(luò)環(huán)境下,試驗床系統(tǒng)的可靠性問題比較復(fù)雜。例如,傳統(tǒng)的故障檢測機(jī)制使用心跳機(jī)制,即遠(yuǎn)程節(jié)點(diǎn)在足夠長的時間內(nèi)沒有心跳則顯示出錯。然而 SDN試驗床在控制平面和數(shù)據(jù)平面之間引入虛擬控制平面,以實(shí)現(xiàn)虛擬資源向物理資源的映射,由于SDN網(wǎng)絡(luò)的控制/數(shù)據(jù)/虛擬化多元網(wǎng)絡(luò)域問題,實(shí)現(xiàn)可靠的軟件體系的試驗床變得更加困難。目前,盡管在各個網(wǎng)絡(luò)域如OpenFlow交換節(jié)點(diǎn)、數(shù)據(jù)平面鏈路層以及控制器集群,都有一些對于故障恢復(fù)的研究,但是在針對分離網(wǎng)絡(luò)域的失敗檢測和故障恢復(fù)的統(tǒng)一管理方面仍有很大的研究空間。

    5 結(jié)束語

    本文對全球 SDN試驗床的研究和建設(shè)進(jìn)行了綜述性介紹。首先討論了 SDN試驗床相比傳統(tǒng)網(wǎng)絡(luò)試驗床的優(yōu)勢以及大規(guī)模 SDN試驗床的基本設(shè)計原則;其次從項目目標(biāo)與進(jìn)展情況、關(guān)鍵技術(shù)、網(wǎng)絡(luò)部署和特色應(yīng)用4個方面對已有的網(wǎng)絡(luò)試驗床項目進(jìn)行了深入分析;最后介紹了該領(lǐng)域面臨的挑戰(zhàn)和未來可行的研究方向。

    基于 SDN技術(shù)構(gòu)建網(wǎng)絡(luò)試驗床是一個仍在發(fā)展完善中的技術(shù)方向,不僅有利于對網(wǎng)絡(luò)技術(shù)創(chuàng)新進(jìn)行驗證,也為基于新網(wǎng)絡(luò)技術(shù)進(jìn)行網(wǎng)絡(luò)建設(shè)、網(wǎng)絡(luò)運(yùn)營和網(wǎng)絡(luò)管理提供了一定的借鑒和參考,有助于未來網(wǎng)絡(luò)能夠更快更好的發(fā)展。

    猜你喜歡
    用戶
    雅閣國內(nèi)用戶交付突破300萬輛
    車主之友(2022年4期)2022-08-27 00:58:26
    您撥打的用戶已戀愛,請稍后再哭
    關(guān)注用戶
    商用汽車(2016年11期)2016-12-19 01:20:16
    關(guān)注用戶
    商用汽車(2016年5期)2016-11-28 09:55:15
    兩新黨建新媒體用戶與全網(wǎng)新媒體用戶之間有何差別
    關(guān)注用戶
    商用汽車(2016年6期)2016-06-29 09:18:54
    關(guān)注用戶
    商用汽車(2016年4期)2016-05-09 01:23:12
    挖掘用戶需求尖端科技應(yīng)用
    Camera360:拍出5億用戶
    100萬用戶
    99热精品在线国产| 欧美一级a爱片免费观看看| av视频在线观看入口| 免费在线观看影片大全网站| 伊人久久精品亚洲午夜| 蜜桃久久精品国产亚洲av| 久久精品91无色码中文字幕| 国产男靠女视频免费网站| 变态另类成人亚洲欧美熟女| 日韩大尺度精品在线看网址| 免费人成视频x8x8入口观看| 日本a在线网址| 深夜精品福利| 日韩欧美精品v在线| 一级毛片高清免费大全| 熟女人妻精品中文字幕| 岛国在线免费视频观看| 久久精品夜夜夜夜夜久久蜜豆| 老汉色∧v一级毛片| 黄色日韩在线| 搡老熟女国产l中国老女人| 国产色爽女视频免费观看| 高清在线国产一区| 熟女人妻精品中文字幕| 99riav亚洲国产免费| 欧美日韩中文字幕国产精品一区二区三区| 热99在线观看视频| 两个人的视频大全免费| 久久久久国产精品人妻aⅴ院| 夜夜夜夜夜久久久久| 久久亚洲真实| 九色成人免费人妻av| 精华霜和精华液先用哪个| 小说图片视频综合网站| 国产欧美日韩精品一区二区| 99久国产av精品| 亚洲成人久久爱视频| 免费观看人在逋| 国产成人福利小说| 国产一区二区在线观看日韩 | 精品一区二区三区av网在线观看| 桃色一区二区三区在线观看| 精品熟女少妇八av免费久了| 少妇人妻精品综合一区二区 | 男女之事视频高清在线观看| 在线观看一区二区三区| 身体一侧抽搐| 99视频精品全部免费 在线| 国产精品野战在线观看| 国产精品久久电影中文字幕| 18美女黄网站色大片免费观看| 最近最新中文字幕大全免费视频| 国产私拍福利视频在线观看| 九九久久精品国产亚洲av麻豆| 久久人人精品亚洲av| 又粗又爽又猛毛片免费看| 一本综合久久免费| 国产成人啪精品午夜网站| 19禁男女啪啪无遮挡网站| 美女免费视频网站| 亚洲精品在线观看二区| 精品人妻1区二区| 色哟哟哟哟哟哟| 99视频精品全部免费 在线| 国产乱人伦免费视频| 久久精品91蜜桃| 两性午夜刺激爽爽歪歪视频在线观看| 国产综合懂色| 国产精品久久电影中文字幕| x7x7x7水蜜桃| 国产亚洲欧美98| 日韩欧美精品免费久久 | 久久久久久久久中文| 又爽又黄无遮挡网站| 天天躁日日操中文字幕| 九九久久精品国产亚洲av麻豆| 精品国产超薄肉色丝袜足j| 亚洲精品乱码久久久v下载方式 | 少妇的逼水好多| 国产色爽女视频免费观看| 亚洲av电影不卡..在线观看| 美女高潮的动态| 亚洲av免费高清在线观看| 俄罗斯特黄特色一大片| 国产高清视频在线观看网站| 国产真人三级小视频在线观看| 国产精品久久久久久久电影 | 草草在线视频免费看| 欧美+亚洲+日韩+国产| 成年版毛片免费区| 日日摸夜夜添夜夜添小说| 亚洲不卡免费看| 亚洲第一欧美日韩一区二区三区| 亚洲人成伊人成综合网2020| 免费观看的影片在线观看| 丝袜美腿在线中文| 超碰av人人做人人爽久久 | 99久久无色码亚洲精品果冻| 欧美性感艳星| 成年女人永久免费观看视频| 高清日韩中文字幕在线| 亚洲美女视频黄频| 国产一区在线观看成人免费| 国产一区二区亚洲精品在线观看| 久久久成人免费电影| 18禁黄网站禁片免费观看直播| 日韩精品青青久久久久久| 91久久精品电影网| 每晚都被弄得嗷嗷叫到高潮| 亚洲中文字幕一区二区三区有码在线看| 成熟少妇高潮喷水视频| 老司机福利观看| 欧美丝袜亚洲另类 | 真人做人爱边吃奶动态| 日本在线视频免费播放| 制服人妻中文乱码| 一级毛片女人18水好多| 淫妇啪啪啪对白视频| 十八禁网站免费在线| 国产伦人伦偷精品视频| 99在线视频只有这里精品首页| 欧洲精品卡2卡3卡4卡5卡区| 中文字幕av在线有码专区| 色综合婷婷激情| 亚洲精品久久国产高清桃花| 久久久久国内视频| 亚洲人成网站在线播| 欧美另类亚洲清纯唯美| svipshipincom国产片| 日本一本二区三区精品| 精品人妻一区二区三区麻豆 | 热99re8久久精品国产| 一卡2卡三卡四卡精品乱码亚洲| 美女被艹到高潮喷水动态| 亚洲成人免费电影在线观看| 国产午夜福利久久久久久| 男女那种视频在线观看| 尤物成人国产欧美一区二区三区| 亚洲精品色激情综合| 高清日韩中文字幕在线| 欧美午夜高清在线| 亚洲国产欧洲综合997久久,| 成人特级av手机在线观看| 90打野战视频偷拍视频| a级毛片a级免费在线| 欧美性感艳星| 99久久无色码亚洲精品果冻| 免费看十八禁软件| 国产精华一区二区三区| 麻豆成人午夜福利视频| 成人性生交大片免费视频hd| 成人性生交大片免费视频hd| 亚洲男人的天堂狠狠| 久久伊人香网站| 免费观看精品视频网站| 一区二区三区国产精品乱码| 韩国av一区二区三区四区| 久久精品亚洲精品国产色婷小说| 欧美绝顶高潮抽搐喷水| 国产精品国产高清国产av| 黄色成人免费大全| 不卡一级毛片| 国产一区二区三区视频了| 亚洲国产高清在线一区二区三| 在线观看免费视频日本深夜| 三级国产精品欧美在线观看| 亚洲av成人不卡在线观看播放网| av中文乱码字幕在线| 午夜视频国产福利| 特级一级黄色大片| 成人三级黄色视频| 久久久久久久精品吃奶| 欧美极品一区二区三区四区| 白带黄色成豆腐渣| 18禁国产床啪视频网站| 一本久久中文字幕| 成人一区二区视频在线观看| 国产高清视频在线播放一区| 99热只有精品国产| 禁无遮挡网站| 高清在线国产一区| 日本成人三级电影网站| 少妇人妻一区二区三区视频| 久久6这里有精品| 天堂网av新在线| 天天一区二区日本电影三级| 美女大奶头视频| 嫩草影院精品99| 久久精品国产99精品国产亚洲性色| 18+在线观看网站| 精品不卡国产一区二区三区| 成人性生交大片免费视频hd| 亚洲国产精品久久男人天堂| 免费一级毛片在线播放高清视频| 免费无遮挡裸体视频| 亚洲 国产 在线| 国产一区二区三区视频了| 男女午夜视频在线观看| av欧美777| 俄罗斯特黄特色一大片| 日韩欧美精品免费久久 | 国产精品免费一区二区三区在线| 亚洲精品影视一区二区三区av| 亚洲男人的天堂狠狠| 日韩国内少妇激情av| 国产精品影院久久| 乱人视频在线观看| 一级黄片播放器| 国内精品久久久久精免费| 婷婷精品国产亚洲av| av国产免费在线观看| 露出奶头的视频| a在线观看视频网站| 99精品久久久久人妻精品| 成人鲁丝片一二三区免费| 日韩欧美国产在线观看| 久久精品国产综合久久久| 一进一出抽搐gif免费好疼| 高清日韩中文字幕在线| 亚洲精品美女久久久久99蜜臀| 51午夜福利影视在线观看| 免费看美女性在线毛片视频| 国产精品 国内视频| 中文字幕精品亚洲无线码一区| 校园春色视频在线观看| 亚洲第一欧美日韩一区二区三区| 黑人欧美特级aaaaaa片| 国产精品一区二区三区四区免费观看 | 18禁黄网站禁片免费观看直播| 琪琪午夜伦伦电影理论片6080| 国产精品嫩草影院av在线观看 | 国产精品98久久久久久宅男小说| 精品久久久久久,| 美女黄网站色视频| 夜夜爽天天搞| 国产中年淑女户外野战色| 制服人妻中文乱码| 天天一区二区日本电影三级| 亚洲成人久久性| 国产真实伦视频高清在线观看 | 91麻豆av在线| 啦啦啦观看免费观看视频高清| 国产熟女xx| 老司机在亚洲福利影院| 亚洲专区中文字幕在线| 美女大奶头视频| 亚洲国产欧洲综合997久久,| 日本a在线网址| 综合色av麻豆| 精品乱码久久久久久99久播| 人人妻人人澡欧美一区二区| 变态另类成人亚洲欧美熟女| 91九色精品人成在线观看| av黄色大香蕉| 国产亚洲欧美98| 一级作爱视频免费观看| 91久久精品国产一区二区成人 | 宅男免费午夜| 2021天堂中文幕一二区在线观| 在线观看免费视频日本深夜| 岛国在线观看网站| 丁香六月欧美| 国产在视频线在精品| 老司机午夜福利在线观看视频| 欧美色视频一区免费| 久久6这里有精品| 亚洲狠狠婷婷综合久久图片| 国产精品一区二区三区四区久久| 日韩欧美三级三区| 18禁美女被吸乳视频| 国产真实乱freesex| 亚洲精品乱码久久久v下载方式 | 久久久久久久久久黄片| 超碰av人人做人人爽久久 | 国产综合懂色| 色老头精品视频在线观看| 国内少妇人妻偷人精品xxx网站| 精品国产美女av久久久久小说| 日本免费a在线| 国产成人aa在线观看| 最近最新中文字幕大全电影3| 亚洲一区二区三区不卡视频| 色哟哟哟哟哟哟| 五月伊人婷婷丁香| 丰满乱子伦码专区| 欧美成人一区二区免费高清观看| av片东京热男人的天堂| 国产aⅴ精品一区二区三区波| 特级一级黄色大片| 国产精品综合久久久久久久免费| 热99在线观看视频| 午夜亚洲福利在线播放| 黄色片一级片一级黄色片| 男女那种视频在线观看| 久久精品亚洲精品国产色婷小说| 12—13女人毛片做爰片一| 18禁国产床啪视频网站| 精品免费久久久久久久清纯| 99热6这里只有精品| 免费在线观看日本一区| 亚洲专区国产一区二区| 村上凉子中文字幕在线| 国产精品日韩av在线免费观看| 高清毛片免费观看视频网站| 免费在线观看日本一区| 一级毛片高清免费大全| 精品不卡国产一区二区三区| 少妇人妻一区二区三区视频| 国产精品三级大全| 国产精华一区二区三区| 一卡2卡三卡四卡精品乱码亚洲| 9191精品国产免费久久| 欧美日韩黄片免| 久久精品夜夜夜夜夜久久蜜豆| 国内毛片毛片毛片毛片毛片| 国产欧美日韩一区二区精品| 高清在线国产一区| 搞女人的毛片| 97碰自拍视频| 十八禁网站免费在线| 级片在线观看| 婷婷亚洲欧美| 国产真实伦视频高清在线观看 | 日韩欧美在线二视频| 国产伦在线观看视频一区| 欧美一区二区精品小视频在线| 日本精品一区二区三区蜜桃| 日韩亚洲欧美综合| 精品久久久久久久人妻蜜臀av| 久久久久亚洲av毛片大全| 日本精品一区二区三区蜜桃| 色精品久久人妻99蜜桃| av片东京热男人的天堂| 99久久精品一区二区三区| 午夜两性在线视频| 一a级毛片在线观看| 欧美性猛交╳xxx乱大交人| tocl精华| 怎么达到女性高潮| 欧美日韩综合久久久久久 | 露出奶头的视频| xxxwww97欧美| 亚洲国产精品合色在线| 亚洲美女视频黄频| 色精品久久人妻99蜜桃| 久久人妻av系列| h日本视频在线播放| 男女床上黄色一级片免费看| www国产在线视频色| 国产乱人视频| 成人午夜高清在线视频| 一级毛片女人18水好多| 成人国产综合亚洲| 亚洲片人在线观看| 国产精华一区二区三区| 老司机深夜福利视频在线观看| 男女做爰动态图高潮gif福利片| 欧美成狂野欧美在线观看| 欧美高清成人免费视频www| 国产不卡一卡二| 久久九九热精品免费| 欧美高清成人免费视频www| 热99在线观看视频| 国产美女午夜福利| 免费无遮挡裸体视频| 波多野结衣高清作品| 免费看日本二区| 国产精品亚洲一级av第二区| 99国产综合亚洲精品| 国产成人啪精品午夜网站| 91字幕亚洲| 亚洲精华国产精华精| 少妇的逼水好多| 国产伦精品一区二区三区视频9 | 蜜桃久久精品国产亚洲av| 一区二区三区高清视频在线| 观看美女的网站| 国内精品久久久久精免费| 免费看a级黄色片| 十八禁人妻一区二区| 国产亚洲精品综合一区在线观看| 精品国产三级普通话版| 亚洲人与动物交配视频| 婷婷亚洲欧美| 久久久精品欧美日韩精品| 一本精品99久久精品77| 午夜福利在线在线| 欧美激情在线99| 99热精品在线国产| avwww免费| x7x7x7水蜜桃| 亚洲人成网站在线播放欧美日韩| 亚洲国产欧洲综合997久久,| 色综合欧美亚洲国产小说| 亚洲专区中文字幕在线| 中亚洲国语对白在线视频| 在线国产一区二区在线| 黄片小视频在线播放| 国内精品久久久久久久电影| 在线a可以看的网站| 欧美一区二区亚洲| 天堂网av新在线| 国产精品香港三级国产av潘金莲| 午夜激情欧美在线| 99视频精品全部免费 在线| 最近视频中文字幕2019在线8| 国产又黄又爽又无遮挡在线| 少妇人妻一区二区三区视频| 国产真实乱freesex| 变态另类成人亚洲欧美熟女| 欧美性猛交╳xxx乱大交人| 最近最新中文字幕大全电影3| 欧美在线黄色| 国内精品久久久久久久电影| 日韩中文字幕欧美一区二区| 亚洲欧美日韩卡通动漫| 窝窝影院91人妻| 他把我摸到了高潮在线观看| 两人在一起打扑克的视频| 在线天堂最新版资源| 精品免费久久久久久久清纯| 99久久精品一区二区三区| 国产私拍福利视频在线观看| 亚洲一区高清亚洲精品| 一区二区三区激情视频| 天美传媒精品一区二区| 亚洲av中文字字幕乱码综合| 美女黄网站色视频| 欧美成人免费av一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 一区二区三区免费毛片| 亚洲va日本ⅴa欧美va伊人久久| 亚洲国产欧美人成| 久久伊人香网站| 人人妻,人人澡人人爽秒播| 中国美女看黄片| 国产成+人综合+亚洲专区| 麻豆国产97在线/欧美| 欧美国产日韩亚洲一区| 国产黄色小视频在线观看| 亚洲成人免费电影在线观看| 欧美性感艳星| 国产探花在线观看一区二区| 色吧在线观看| 人妻久久中文字幕网| 日韩精品青青久久久久久| 青草久久国产| av福利片在线观看| 免费无遮挡裸体视频| 露出奶头的视频| 国产探花在线观看一区二区| www.色视频.com| 欧洲精品卡2卡3卡4卡5卡区| av中文乱码字幕在线| 最近在线观看免费完整版| 国产精品99久久99久久久不卡| 国产精品女同一区二区软件 | 亚洲内射少妇av| 黄色丝袜av网址大全| 亚洲美女黄片视频| 好男人在线观看高清免费视频| 欧美不卡视频在线免费观看| 国产精品爽爽va在线观看网站| 亚洲欧美日韩高清在线视频| 九九久久精品国产亚洲av麻豆| 老司机午夜福利在线观看视频| 午夜免费成人在线视频| 亚洲国产色片| 动漫黄色视频在线观看| 久久精品91无色码中文字幕| 国产精品一区二区三区四区免费观看 | 久久精品人妻少妇| 给我免费播放毛片高清在线观看| 国产精品99久久久久久久久| 嫩草影院精品99| 国产精品野战在线观看| 国产精品免费一区二区三区在线| 欧美成人免费av一区二区三区| 精品人妻1区二区| 女警被强在线播放| 亚洲一区二区三区色噜噜| 欧美成狂野欧美在线观看| 亚洲中文字幕日韩| av视频在线观看入口| 成人永久免费在线观看视频| 精品久久久久久久毛片微露脸| 国产色婷婷99| 欧美黄色片欧美黄色片| 欧美极品一区二区三区四区| 日韩成人在线观看一区二区三区| 午夜激情欧美在线| 国产乱人视频| 午夜精品久久久久久毛片777| 午夜福利在线观看免费完整高清在 | 成年版毛片免费区| 天堂√8在线中文| 亚洲欧美日韩高清专用| 亚洲人成网站在线播放欧美日韩| 两个人视频免费观看高清| 久久久精品大字幕| 国产精品一及| 精品无人区乱码1区二区| 国内精品一区二区在线观看| 亚洲狠狠婷婷综合久久图片| 国产在线精品亚洲第一网站| 国产三级中文精品| 午夜精品在线福利| 日本黄色视频三级网站网址| 久久性视频一级片| 亚洲中文字幕日韩| 一边摸一边抽搐一进一小说| 欧美不卡视频在线免费观看| 欧美在线一区亚洲| 免费看光身美女| 日韩欧美免费精品| 一本综合久久免费| 欧美性猛交╳xxx乱大交人| 午夜视频国产福利| 国产一区二区亚洲精品在线观看| 一级毛片女人18水好多| 国产av不卡久久| 99精品在免费线老司机午夜| 99精品欧美一区二区三区四区| 制服人妻中文乱码| 美女黄网站色视频| xxx96com| 岛国视频午夜一区免费看| xxx96com| 88av欧美| 怎么达到女性高潮| 一二三四社区在线视频社区8| 亚洲av成人精品一区久久| 宅男免费午夜| 国产又黄又爽又无遮挡在线| 国产精品一及| 国产色爽女视频免费观看| 日韩欧美三级三区| 精品久久久久久久久久免费视频| 欧美黄色片欧美黄色片| 淫妇啪啪啪对白视频| 国产精品一及| 亚洲av成人精品一区久久| 长腿黑丝高跟| 国产伦精品一区二区三区四那| 亚洲国产欧洲综合997久久,| 尤物成人国产欧美一区二区三区| 色综合亚洲欧美另类图片| 亚洲第一电影网av| 精品国产三级普通话版| 国内久久婷婷六月综合欲色啪| 久久这里只有精品中国| 欧美国产日韩亚洲一区| 国产免费av片在线观看野外av| 制服人妻中文乱码| 91麻豆精品激情在线观看国产| 真实男女啪啪啪动态图| 88av欧美| 国产伦精品一区二区三区四那| 久久久国产精品麻豆| 国产亚洲精品一区二区www| а√天堂www在线а√下载| 少妇熟女aⅴ在线视频| 少妇裸体淫交视频免费看高清| 一个人看视频在线观看www免费 | 在线播放无遮挡| 欧美性猛交╳xxx乱大交人| 成人高潮视频无遮挡免费网站| 亚洲国产精品成人综合色| 日本成人三级电影网站| 美女cb高潮喷水在线观看| 精品国产超薄肉色丝袜足j| 好男人在线观看高清免费视频| 国产爱豆传媒在线观看| xxxwww97欧美| 国产一区在线观看成人免费| www.熟女人妻精品国产| 97超视频在线观看视频| 欧美最黄视频在线播放免费| 国产三级黄色录像| 久久久久免费精品人妻一区二区| 观看美女的网站| 国产精品一区二区三区四区免费观看 | 草草在线视频免费看| 国产av一区在线观看免费| 国产精品免费一区二区三区在线| 午夜精品一区二区三区免费看| 长腿黑丝高跟| 天堂av国产一区二区熟女人妻| 国产精品自产拍在线观看55亚洲| 内射极品少妇av片p| 夜夜爽天天搞| 精品一区二区三区视频在线观看免费| 欧美色视频一区免费| 国产三级中文精品| 国产单亲对白刺激| 在线观看一区二区三区| 制服人妻中文乱码| 床上黄色一级片| 成人永久免费在线观看视频| 欧美zozozo另类| 99视频精品全部免费 在线| 亚洲人成电影免费在线| 此物有八面人人有两片| 久久草成人影院| 免费av毛片视频| 可以在线观看毛片的网站| 18禁在线播放成人免费| 精品福利观看| 男插女下体视频免费在线播放| 好男人电影高清在线观看| 国产精品亚洲av一区麻豆| 久久精品国产亚洲av香蕉五月| 怎么达到女性高潮| 亚洲性夜色夜夜综合| 757午夜福利合集在线观看|