• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    SDN技術(shù)現(xiàn)狀和未來前景分析

    2014-11-04 08:17:55劉漢江毛宇陳文華
    移動通信 2014年18期
    關(guān)鍵詞:商用廠家交換機(jī)

    劉漢江 毛宇 陳文華

    通過介紹SDN技術(shù)的起源、定義和流派,討論了該技術(shù)在國內(nèi)外的商用發(fā)展情況和產(chǎn)業(yè)鏈現(xiàn)狀,分析了SDN技術(shù)的價(jià)值、未來發(fā)展趨勢及大規(guī)模商用可能遇到的阻力,并提出了將其進(jìn)行運(yùn)營商全網(wǎng)應(yīng)用的構(gòu)想。

    Firstly, the origin, definition and genre of SDN technology are briefly introduced. Secondly, the commercial development and industry chain situation of this technology at home and abroad are discussed. Then, the value, future development trend and the possible resistance in large-scale commercial application of SDN technology are analyzed. Lastly, the idea of applying SDN technology to the whole network of the operators is put forward.

    SDN OpenFlow I2RS Overlay

    1 SDN的起源、定義和流派

    軟件定義網(wǎng)絡(luò)(SDN)是由美國斯坦福大學(xué)Clean Slate研究組提出的一種新型網(wǎng)絡(luò)創(chuàng)新架構(gòu),它將控制平面和轉(zhuǎn)發(fā)平面進(jìn)行分離,轉(zhuǎn)發(fā)平面由受控的轉(zhuǎn)發(fā)設(shè)備組成,轉(zhuǎn)發(fā)方式及業(yè)務(wù)邏輯由運(yùn)行在控制面板上的控制應(yīng)用決定,這種邏輯上的集中控制實(shí)現(xiàn)了網(wǎng)絡(luò)流量的靈活控制,為核心網(wǎng)絡(luò)及應(yīng)用創(chuàng)新提供了良好的平臺。

    圖1為軟件定義網(wǎng)絡(luò)(SDN)的邏輯架構(gòu),它由基礎(chǔ)設(shè)施層、控制層、應(yīng)用層組成,其中基礎(chǔ)設(shè)施層主要為轉(zhuǎn)發(fā)設(shè)備,實(shí)現(xiàn)轉(zhuǎn)發(fā)功能;控制層由SDN控制軟件組成,可通過標(biāo)準(zhǔn)化協(xié)議與下層進(jìn)行通信,實(shí)現(xiàn)對基礎(chǔ)設(shè)施層的控制;應(yīng)用層不同的應(yīng)用邏輯可通過控制層開放的API管理能力控制設(shè)備的報(bào)文轉(zhuǎn)發(fā)功能。

    當(dāng)前的SDN技術(shù)主要有3大流派,包括ONF定義的OpenFlow、IETF定義的I2RS、IT廠家主導(dǎo)的Overlay。其中基于OpenFlow的SDN,其控制和轉(zhuǎn)發(fā)分離從包幀底層開始,轉(zhuǎn)發(fā)層由OpenFlow交換機(jī)組成,控制層由安裝在計(jì)算設(shè)備上的SDN控制器軟件組成,使用OpenFlow協(xié)議與下層進(jìn)行通信,通過流表控制轉(zhuǎn)發(fā)平面的行為,從而實(shí)現(xiàn)各種類型的網(wǎng)絡(luò)功能。I2RS主要由設(shè)備廠商主導(dǎo),在網(wǎng)絡(luò)設(shè)備上提供專用接口供用戶開發(fā)應(yīng)用。Overlay由虛擬化廠家主導(dǎo),主要作用于通用X86服務(wù)器范圍,基于隧道技術(shù)和疊加網(wǎng)絡(luò)實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化。

    這幾大流派的SDN技術(shù)雖然定義不同,實(shí)現(xiàn)方式不同,但其核心理念是一致的,即軟件定義網(wǎng)絡(luò)+應(yīng)用驅(qū)動網(wǎng)絡(luò),從原有的網(wǎng)絡(luò)設(shè)備水平開放發(fā)展到面向業(yè)務(wù)的垂直開放和軟件可編程,實(shí)質(zhì)上是網(wǎng)絡(luò)IT化。其中由設(shè)備廠商主導(dǎo)的Overlay方式比較成熟,已有成型的解決方案,基于開放網(wǎng)絡(luò)協(xié)議的OpenFlow是目前業(yè)界普遍認(rèn)可的標(biāo)準(zhǔn)化南向接口,已有成功的應(yīng)用案例,是未來的發(fā)展方向。

    2 SDN的國內(nèi)外發(fā)展現(xiàn)狀

    自SDN技術(shù)出現(xiàn)以來,科研院校、設(shè)備廠商、互聯(lián)網(wǎng)企業(yè)、IT服務(wù)商以及電信運(yùn)營商等都在積極研究,不斷探索和嘗試,推進(jìn)其商用進(jìn)程。目前SDN主要應(yīng)用于企業(yè)內(nèi)部組網(wǎng)或數(shù)據(jù)中心組網(wǎng)。

    2.1 互聯(lián)網(wǎng)企業(yè)

    以谷歌、亞馬遜、雅虎、微軟、Facebook為代表的國際互聯(lián)網(wǎng)公司和百度、騰訊、新浪、阿里巴巴為代表的國內(nèi)互聯(lián)網(wǎng)企業(yè)都在進(jìn)行SDN技術(shù)應(yīng)用的積極探索。

    谷歌構(gòu)建的B4網(wǎng)絡(luò)無疑是當(dāng)前最著名、最有影響力的SDN技術(shù)應(yīng)用案例。圖2為谷歌B4 WAN的示意圖,上層為中心流量工程(TE)服務(wù)器;中間層為網(wǎng)絡(luò)控制服務(wù)器(NCS),其上運(yùn)行OpenFlow Controller(OFC)集群,OFC根據(jù)上層TE的規(guī)則向下層交換機(jī)下發(fā)流表;下層為定制的交換機(jī)硬件,運(yùn)行OpenFlow Agent(OFA),接受OpenFlow Controller(OFC)的控制,根據(jù)OFC下發(fā)的流表轉(zhuǎn)發(fā)流量。谷歌基于OpenFlow理念搭建的數(shù)據(jù)中心WAN網(wǎng)絡(luò)可通過編程實(shí)現(xiàn)自動創(chuàng)建和重新配置其遍布全球的數(shù)據(jù)中心之間的連接,通過周密的流量工程和優(yōu)先次序的工作方式(即根據(jù)網(wǎng)絡(luò)狀況動態(tài)改變流量路徑,保護(hù)高優(yōu)先級流量),使其資源利用率從30%提升到了90%以上,極大地節(jié)省了成本。谷歌B4網(wǎng)絡(luò)的成功使神秘且充滿學(xué)院派氣質(zhì)的SDN技術(shù)走上了商用的道路。

    今年4月,騰訊在第二屆中國SDN/NFV大會上提出了構(gòu)建邊緣智能網(wǎng)絡(luò)的概念,該網(wǎng)絡(luò)基于Overlay的SDN實(shí)現(xiàn)方式,將虛擬網(wǎng)絡(luò)與物理網(wǎng)絡(luò)解耦,虛擬機(jī)通過開源OF交換機(jī)OVS接入網(wǎng)絡(luò),OVS根據(jù)上層的分布式控制器(Apollo)下發(fā)的流表轉(zhuǎn)發(fā)流量,虛擬網(wǎng)絡(luò)之間使用VXLAN標(biāo)簽實(shí)現(xiàn)用戶隔離。這種使用OVS+VXLAN+SDN構(gòu)建的虛擬大二層網(wǎng)絡(luò)可實(shí)現(xiàn)虛機(jī)跨網(wǎng)遷移、虛擬二層網(wǎng)絡(luò)彈性伸縮、多租戶安全隔離、業(yè)務(wù)靈活擴(kuò)展、流量智能調(diào)度等,能有效提高數(shù)據(jù)中心間的帶寬利用率,減小故障收斂時(shí)間,從而提升用戶體驗(yàn)。

    2.2 電信運(yùn)營商

    許多國內(nèi)外電信運(yùn)營商對SDN技術(shù)的研究非常積極,一些全球領(lǐng)先的電信運(yùn)營企業(yè)已經(jīng)走在了項(xiàng)目測試和試商用的道路上。

    日本NTT是較早進(jìn)行SDN技術(shù)研究的運(yùn)營商之一,研發(fā)了一款虛擬網(wǎng)絡(luò)控制器,用于多個(gè)數(shù)據(jù)中心的統(tǒng)一服務(wù)和按需配置,已部署到其位于歐洲、美國和日本的數(shù)據(jù)中心。NTT創(chuàng)新架構(gòu)中心經(jīng)理Tatsuo Mori在今年5月召開的全球SDN技術(shù)大會中提到他們正在嘗試虛擬化云數(shù)據(jù)中心內(nèi)和數(shù)據(jù)中心間的路由器和交換機(jī),開發(fā)控制器來配置MPLS VPN和數(shù)據(jù)中心VLAN邊緣路由器,為企業(yè)客戶提供自動化、加速配置變更的服務(wù)。Tatsuo Mori還表示今后會將SDN技術(shù)擴(kuò)展到網(wǎng)絡(luò)的所有層面。作為ONF董事會成員之一,NTT負(fù)責(zé)研發(fā)的開源控制器RYU可支持與OpenStack結(jié)合使用,這對于推動全球SDN的發(fā)展具有非常重大的意義。endprint

    國內(nèi)三大運(yùn)營商中國移動、中國電信和中國聯(lián)通也開展了SDN的研究。中國移動已經(jīng)在國內(nèi)、北美兩地開展了2次大規(guī)模的測試,針對7個(gè)廠家的控制器、10個(gè)廠家的OpenFlow交換機(jī)搭建測試環(huán)境,進(jìn)行OpenFlow標(biāo)準(zhǔn)、功能、性能、SDN應(yīng)用等測試,驗(yàn)證標(biāo)準(zhǔn)及產(chǎn)品成熟度并聯(lián)合芯片廠家(盛科)研發(fā)了Super PTN芯片,成功演示了基于OpenFlow的SDN化PTN原型系統(tǒng)。

    中國電信在SDN的標(biāo)準(zhǔn)立項(xiàng)和商用部署方面都做出了一些貢獻(xiàn)。在標(biāo)準(zhǔn)立項(xiàng)方面,在ITU-T的SG13組的Y.FNsdn項(xiàng)目和Y.FNsdn-fm等項(xiàng)目中,中國電信主導(dǎo)就現(xiàn)有網(wǎng)絡(luò)中引入SDN的需求和架構(gòu)進(jìn)行研究,在國內(nèi)牽頭完成了基于SDN的IP RAN網(wǎng)絡(luò)技術(shù)行業(yè)標(biāo)準(zhǔn)。在應(yīng)用方面,北京電信與華為于今年4月合作完成了SDN的商用部署,將SDN技術(shù)成功應(yīng)用于IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)網(wǎng)絡(luò),并發(fā)布了一系列基于SDN的IDC新業(yè)務(wù)。

    中國聯(lián)通也基于“沃云”開展了小規(guī)模的SDN應(yīng)用試點(diǎn)工作,試點(diǎn)著重在功能驗(yàn)證、設(shè)備測試方面。

    2.3 設(shè)備廠商

    目前主流設(shè)備廠商都可以提供SDN交換機(jī),部分IT廠家也已宣稱有SDN交換機(jī)產(chǎn)品和解決方案。Bigswitch等新興公司不僅推出了支持OpenFlow的交換機(jī),還提供了運(yùn)行在標(biāo)準(zhǔn)硬件(白牌交換機(jī))上的開源軟件(Switch Light),用戶可以自行搭建和管理SDN虛擬交換機(jī)。

    目前的OF交換機(jī)仍然主要使用ASIC芯片,通過ACL實(shí)現(xiàn),但對OF協(xié)議的支持程度有限,主要表現(xiàn)在流表寬度受限、流表容量小、不支持某些字段的修改行動等。少數(shù)廠家推出了基于FPGA(現(xiàn)場可編程門陣列,如NEC)或者NPU(網(wǎng)絡(luò)處理器,如華為)的OF交換機(jī),但價(jià)格非常昂貴。ONF的FAWG(Forwarding Abstraction Work Group,轉(zhuǎn)發(fā)抽象工作組)提出了NDM/TTP方案,期望可以解決上述問題。由于需求量不足,芯片廠家在開發(fā)新的OF專用芯片上持觀望態(tài)度,作為折中方案,broadcom開發(fā)了一套工具支持對通用ASIC芯片進(jìn)行編程,使其支持OpenFlow協(xié)議。

    控制器的發(fā)展相對比較迅速,NEC、華為、IBM、Bigswitch、華三、中興等多個(gè)廠家已發(fā)布了商用版本的控制器。Opendaylight、floodlight、ryu等控制器開源項(xiàng)目進(jìn)展較快,在一定程度上推動了商用控制器的發(fā)展。

    但是,由于各廠商對SDN標(biāo)準(zhǔn)的不同理解,其控制器和交換機(jī)產(chǎn)品對SDN標(biāo)準(zhǔn)的支持程度也各不相同,可能會出現(xiàn)部分交換機(jī)只能和固定的控制器互通的現(xiàn)象。因此,需要促進(jìn)SDN協(xié)議的更新和完善,推動SDN產(chǎn)業(yè)的發(fā)展。

    3 SDN未來前景分析

    3.1 SDN的價(jià)值

    對互聯(lián)網(wǎng)企業(yè)而言,傳統(tǒng)網(wǎng)絡(luò)昂貴的專業(yè)設(shè)備被通用的SDN交換機(jī)和服務(wù)器所取代,能夠有效降低其組網(wǎng)成本?;ヂ?lián)網(wǎng)企業(yè)的網(wǎng)絡(luò)結(jié)構(gòu)相對簡單,流量流向相對單一,不需要各種協(xié)議來實(shí)現(xiàn)復(fù)雜的網(wǎng)絡(luò)功能,基于企業(yè)內(nèi)一流的IT團(tuán)隊(duì)及強(qiáng)大的開發(fā)力量能夠?qū)DN技術(shù)轉(zhuǎn)化為生產(chǎn)力。因此互聯(lián)網(wǎng)企業(yè)成為SDN應(yīng)用的先行者,并在實(shí)際網(wǎng)絡(luò)部署中取得了很好的效果。

    電信運(yùn)營商期望能夠通過SDN技術(shù),使用標(biāo)準(zhǔn)化的轉(zhuǎn)發(fā)設(shè)備以降低網(wǎng)絡(luò)建設(shè)和維護(hù)成本,實(shí)現(xiàn)多廠商設(shè)備網(wǎng)絡(luò)環(huán)境集中高效控制。通過軟件應(yīng)用的開發(fā)實(shí)現(xiàn)新業(yè)務(wù)的快速部署,促進(jìn)網(wǎng)絡(luò)和業(yè)務(wù)創(chuàng)新。同時(shí)SDN技術(shù)也為運(yùn)營商創(chuàng)新了商業(yè)模式,通過業(yè)務(wù)與流量的緊耦合為流量經(jīng)營提供了技術(shù)手段。

    3.2 SDN發(fā)展趨勢分析

    SDN是引領(lǐng)新一輪網(wǎng)絡(luò)變革的關(guān)鍵技術(shù)。全球權(quán)威咨詢公司Infonetics Research對SDN商用進(jìn)程做出了預(yù)判:2013年大量SDN PoC測試;2014年運(yùn)營商實(shí)驗(yàn)室技術(shù)成熟,某些領(lǐng)域開始試商用;2015年運(yùn)營商許多領(lǐng)域試商用,部分轉(zhuǎn)為商用部署;2016年SDN開始全球廣泛商用部署;2017年至2020年,SDN開始成為網(wǎng)絡(luò)基礎(chǔ)架構(gòu),并將經(jīng)歷一個(gè)長期的演進(jìn)和轉(zhuǎn)型過程。

    從近兩年SDN的發(fā)展情況來看,Infonetics的預(yù)判基本準(zhǔn)確。目前SDN的應(yīng)用嘗試和商用部署主要集中于數(shù)據(jù)中心領(lǐng)域。網(wǎng)絡(luò)配置周期長、管理復(fù)雜、業(yè)務(wù)遷移困難、業(yè)務(wù)質(zhì)量和可靠性難以保障等因素成為推動數(shù)據(jù)中心從傳統(tǒng)方式向SDN部署的動力。國內(nèi)運(yùn)營商的主流觀點(diǎn)是SDN技術(shù)將首選在小范圍、相對獨(dú)立的網(wǎng)絡(luò)內(nèi)應(yīng)用,如園區(qū)網(wǎng)、企業(yè)網(wǎng)數(shù)據(jù)中心內(nèi)、運(yùn)營商網(wǎng)絡(luò)的業(yè)務(wù)邊緣等。

    3.3 運(yùn)營商全網(wǎng)部署的阻力

    雖然國內(nèi)外運(yùn)營商都給予了SDN很大關(guān)注,但是要實(shí)現(xiàn)全網(wǎng)部署還有很多挑戰(zhàn)和難題。對運(yùn)營商而言,SDN的價(jià)值之一在于能否降低網(wǎng)絡(luò)的運(yùn)營成本、為其帶來額外的業(yè)務(wù)收入,而全網(wǎng)部署SDN需要大量更換現(xiàn)有路由器設(shè)備。因此如何實(shí)現(xiàn)平滑演進(jìn),保護(hù)現(xiàn)有資產(chǎn)是SDN在運(yùn)營商網(wǎng)絡(luò)中大規(guī)模應(yīng)用需要解決的問題。

    控制器是困擾運(yùn)營商的另外一個(gè)問題。在SDN網(wǎng)絡(luò)中,控制器在邏輯上是集中的,類似于核心網(wǎng)的網(wǎng)元,其重要性不言而喻。由于控制器和實(shí)現(xiàn)網(wǎng)絡(luò)功能的應(yīng)用本身是軟件,與通信設(shè)備非常高的標(biāo)準(zhǔn)化程度相比,它們是定制化的、無標(biāo)準(zhǔn)可遵循的,且需要迭代開發(fā)不斷更新。與互聯(lián)網(wǎng)公司強(qiáng)大的開發(fā)能力相比,運(yùn)營商長期依賴設(shè)備廠家的研發(fā),開發(fā)技術(shù)能力較弱。因此運(yùn)營商有理由擔(dān)心在采用SDN技術(shù)構(gòu)建網(wǎng)絡(luò)后會被控制器或應(yīng)用的開發(fā)廠家“綁架”,從而付出更高昂的成本。

    4 商用的構(gòu)想

    雖然已經(jīng)出現(xiàn)很多SDN在數(shù)據(jù)中心商用部署的案例,但尚無SDN在大規(guī)模網(wǎng)絡(luò)中部署的成功經(jīng)驗(yàn),運(yùn)營商將來應(yīng)該采用何種方式組網(wǎng),控制器應(yīng)該如何構(gòu)建是實(shí)現(xiàn)SDN全網(wǎng)部署需要解決的難題。

    基于OpenFlow的SDN技術(shù)進(jìn)一步延續(xù)和深化了控制轉(zhuǎn)發(fā)分離的架構(gòu),OpenFlow交換機(jī)由控制器下發(fā)的流表控制,既可以按照傳統(tǒng)路由方式匹配轉(zhuǎn)發(fā),也可以基于MAC、IP、TCP/UDP端口號、VLAN或MPLS匹配轉(zhuǎn)發(fā)并執(zhí)行多種指令,在控制器軟件的作用下可靈活實(shí)現(xiàn)各種功能,是較適合運(yùn)營商網(wǎng)絡(luò)的一種SDN方式。在大規(guī)模部署的情況下,多個(gè)控制器如果采用對等分布,將會面臨控制器間如何協(xié)同工作、控制器應(yīng)用靈活性不足和開發(fā)部署困難的問題。因此采用一對核心控制器(一主一備)進(jìn)行全局邏輯控制,其余控制器作為前置節(jié)點(diǎn)進(jìn)行底層功能控制的兩極系統(tǒng)架構(gòu)更為合理,如圖3所示。這種集中分布式網(wǎng)絡(luò)控制系統(tǒng)有利于高層應(yīng)用的靈活開發(fā)和業(yè)務(wù)的快速部署,能夠降低系統(tǒng)整體性能擴(kuò)展的難度。

    圖4為運(yùn)營商級基于OpenFlow的SDN網(wǎng)絡(luò)軟件控制運(yùn)營平臺功能框架。轉(zhuǎn)發(fā)層主要由OF交換機(jī)組成,負(fù)責(zé)訪問控制、傳統(tǒng)IP路由轉(zhuǎn)發(fā)、MPLS轉(zhuǎn)發(fā)、特定流轉(zhuǎn)發(fā)和NAT轉(zhuǎn)換等,通過OpenFlow協(xié)議與控制器建立連接,根據(jù)控制器下發(fā)的流表執(zhí)行相應(yīng)的行為。上層為控制層,主要進(jìn)行網(wǎng)絡(luò)控制和業(yè)務(wù)控制,具備OpenFlow驅(qū)動、拓?fù)渥詣影l(fā)現(xiàn)和維護(hù)、收集流量數(shù)據(jù)等基本功能以及MME移動性管理、特定流網(wǎng)絡(luò)策略控制、匯聚流LSP拓?fù)淇刂茙捁芾?、流量工程、兼容傳統(tǒng)IP路由計(jì)算等網(wǎng)絡(luò)功能,還能提供UDB統(tǒng)一鑒權(quán)、IMS通信控制、應(yīng)用匯聚、業(yè)務(wù)感知、應(yīng)用流感知、業(yè)務(wù)計(jì)費(fèi)、開放API等能力。

    參考文獻(xiàn):

    [1] ONF White Paper. Software-Defined Networking: The New Norm for Networks[S]. 2012.

    [2] ONF. OpenFlow Switch Specification Version 1.3.1[S]. 2012.

    [3] 孟娟. 谷歌SDN部署經(jīng)驗(yàn):如何漸進(jìn)部署到現(xiàn)有數(shù)據(jù)中心[EB/OL]. (2013-10-17). http://network.51cto.com/art/201310/413394.htm.

    [4] SDN聯(lián)合播報(bào). SDN商用進(jìn)程的一些思考[EB/OL]. (2014-07-15). http://www.sdnap.com/sdn-study/4677.html.

    [5] 陳文華. 基于SDN技術(shù)的互聯(lián)網(wǎng)發(fā)展與運(yùn)營探討[J]. 廣東通信技術(shù), 2013(12).endprint

    國內(nèi)三大運(yùn)營商中國移動、中國電信和中國聯(lián)通也開展了SDN的研究。中國移動已經(jīng)在國內(nèi)、北美兩地開展了2次大規(guī)模的測試,針對7個(gè)廠家的控制器、10個(gè)廠家的OpenFlow交換機(jī)搭建測試環(huán)境,進(jìn)行OpenFlow標(biāo)準(zhǔn)、功能、性能、SDN應(yīng)用等測試,驗(yàn)證標(biāo)準(zhǔn)及產(chǎn)品成熟度并聯(lián)合芯片廠家(盛科)研發(fā)了Super PTN芯片,成功演示了基于OpenFlow的SDN化PTN原型系統(tǒng)。

    中國電信在SDN的標(biāo)準(zhǔn)立項(xiàng)和商用部署方面都做出了一些貢獻(xiàn)。在標(biāo)準(zhǔn)立項(xiàng)方面,在ITU-T的SG13組的Y.FNsdn項(xiàng)目和Y.FNsdn-fm等項(xiàng)目中,中國電信主導(dǎo)就現(xiàn)有網(wǎng)絡(luò)中引入SDN的需求和架構(gòu)進(jìn)行研究,在國內(nèi)牽頭完成了基于SDN的IP RAN網(wǎng)絡(luò)技術(shù)行業(yè)標(biāo)準(zhǔn)。在應(yīng)用方面,北京電信與華為于今年4月合作完成了SDN的商用部署,將SDN技術(shù)成功應(yīng)用于IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)網(wǎng)絡(luò),并發(fā)布了一系列基于SDN的IDC新業(yè)務(wù)。

    中國聯(lián)通也基于“沃云”開展了小規(guī)模的SDN應(yīng)用試點(diǎn)工作,試點(diǎn)著重在功能驗(yàn)證、設(shè)備測試方面。

    2.3 設(shè)備廠商

    目前主流設(shè)備廠商都可以提供SDN交換機(jī),部分IT廠家也已宣稱有SDN交換機(jī)產(chǎn)品和解決方案。Bigswitch等新興公司不僅推出了支持OpenFlow的交換機(jī),還提供了運(yùn)行在標(biāo)準(zhǔn)硬件(白牌交換機(jī))上的開源軟件(Switch Light),用戶可以自行搭建和管理SDN虛擬交換機(jī)。

    目前的OF交換機(jī)仍然主要使用ASIC芯片,通過ACL實(shí)現(xiàn),但對OF協(xié)議的支持程度有限,主要表現(xiàn)在流表寬度受限、流表容量小、不支持某些字段的修改行動等。少數(shù)廠家推出了基于FPGA(現(xiàn)場可編程門陣列,如NEC)或者NPU(網(wǎng)絡(luò)處理器,如華為)的OF交換機(jī),但價(jià)格非常昂貴。ONF的FAWG(Forwarding Abstraction Work Group,轉(zhuǎn)發(fā)抽象工作組)提出了NDM/TTP方案,期望可以解決上述問題。由于需求量不足,芯片廠家在開發(fā)新的OF專用芯片上持觀望態(tài)度,作為折中方案,broadcom開發(fā)了一套工具支持對通用ASIC芯片進(jìn)行編程,使其支持OpenFlow協(xié)議。

    控制器的發(fā)展相對比較迅速,NEC、華為、IBM、Bigswitch、華三、中興等多個(gè)廠家已發(fā)布了商用版本的控制器。Opendaylight、floodlight、ryu等控制器開源項(xiàng)目進(jìn)展較快,在一定程度上推動了商用控制器的發(fā)展。

    但是,由于各廠商對SDN標(biāo)準(zhǔn)的不同理解,其控制器和交換機(jī)產(chǎn)品對SDN標(biāo)準(zhǔn)的支持程度也各不相同,可能會出現(xiàn)部分交換機(jī)只能和固定的控制器互通的現(xiàn)象。因此,需要促進(jìn)SDN協(xié)議的更新和完善,推動SDN產(chǎn)業(yè)的發(fā)展。

    3 SDN未來前景分析

    3.1 SDN的價(jià)值

    對互聯(lián)網(wǎng)企業(yè)而言,傳統(tǒng)網(wǎng)絡(luò)昂貴的專業(yè)設(shè)備被通用的SDN交換機(jī)和服務(wù)器所取代,能夠有效降低其組網(wǎng)成本?;ヂ?lián)網(wǎng)企業(yè)的網(wǎng)絡(luò)結(jié)構(gòu)相對簡單,流量流向相對單一,不需要各種協(xié)議來實(shí)現(xiàn)復(fù)雜的網(wǎng)絡(luò)功能,基于企業(yè)內(nèi)一流的IT團(tuán)隊(duì)及強(qiáng)大的開發(fā)力量能夠?qū)DN技術(shù)轉(zhuǎn)化為生產(chǎn)力。因此互聯(lián)網(wǎng)企業(yè)成為SDN應(yīng)用的先行者,并在實(shí)際網(wǎng)絡(luò)部署中取得了很好的效果。

    電信運(yùn)營商期望能夠通過SDN技術(shù),使用標(biāo)準(zhǔn)化的轉(zhuǎn)發(fā)設(shè)備以降低網(wǎng)絡(luò)建設(shè)和維護(hù)成本,實(shí)現(xiàn)多廠商設(shè)備網(wǎng)絡(luò)環(huán)境集中高效控制。通過軟件應(yīng)用的開發(fā)實(shí)現(xiàn)新業(yè)務(wù)的快速部署,促進(jìn)網(wǎng)絡(luò)和業(yè)務(wù)創(chuàng)新。同時(shí)SDN技術(shù)也為運(yùn)營商創(chuàng)新了商業(yè)模式,通過業(yè)務(wù)與流量的緊耦合為流量經(jīng)營提供了技術(shù)手段。

    3.2 SDN發(fā)展趨勢分析

    SDN是引領(lǐng)新一輪網(wǎng)絡(luò)變革的關(guān)鍵技術(shù)。全球權(quán)威咨詢公司Infonetics Research對SDN商用進(jìn)程做出了預(yù)判:2013年大量SDN PoC測試;2014年運(yùn)營商實(shí)驗(yàn)室技術(shù)成熟,某些領(lǐng)域開始試商用;2015年運(yùn)營商許多領(lǐng)域試商用,部分轉(zhuǎn)為商用部署;2016年SDN開始全球廣泛商用部署;2017年至2020年,SDN開始成為網(wǎng)絡(luò)基礎(chǔ)架構(gòu),并將經(jīng)歷一個(gè)長期的演進(jìn)和轉(zhuǎn)型過程。

    從近兩年SDN的發(fā)展情況來看,Infonetics的預(yù)判基本準(zhǔn)確。目前SDN的應(yīng)用嘗試和商用部署主要集中于數(shù)據(jù)中心領(lǐng)域。網(wǎng)絡(luò)配置周期長、管理復(fù)雜、業(yè)務(wù)遷移困難、業(yè)務(wù)質(zhì)量和可靠性難以保障等因素成為推動數(shù)據(jù)中心從傳統(tǒng)方式向SDN部署的動力。國內(nèi)運(yùn)營商的主流觀點(diǎn)是SDN技術(shù)將首選在小范圍、相對獨(dú)立的網(wǎng)絡(luò)內(nèi)應(yīng)用,如園區(qū)網(wǎng)、企業(yè)網(wǎng)數(shù)據(jù)中心內(nèi)、運(yùn)營商網(wǎng)絡(luò)的業(yè)務(wù)邊緣等。

    3.3 運(yùn)營商全網(wǎng)部署的阻力

    雖然國內(nèi)外運(yùn)營商都給予了SDN很大關(guān)注,但是要實(shí)現(xiàn)全網(wǎng)部署還有很多挑戰(zhàn)和難題。對運(yùn)營商而言,SDN的價(jià)值之一在于能否降低網(wǎng)絡(luò)的運(yùn)營成本、為其帶來額外的業(yè)務(wù)收入,而全網(wǎng)部署SDN需要大量更換現(xiàn)有路由器設(shè)備。因此如何實(shí)現(xiàn)平滑演進(jìn),保護(hù)現(xiàn)有資產(chǎn)是SDN在運(yùn)營商網(wǎng)絡(luò)中大規(guī)模應(yīng)用需要解決的問題。

    控制器是困擾運(yùn)營商的另外一個(gè)問題。在SDN網(wǎng)絡(luò)中,控制器在邏輯上是集中的,類似于核心網(wǎng)的網(wǎng)元,其重要性不言而喻。由于控制器和實(shí)現(xiàn)網(wǎng)絡(luò)功能的應(yīng)用本身是軟件,與通信設(shè)備非常高的標(biāo)準(zhǔn)化程度相比,它們是定制化的、無標(biāo)準(zhǔn)可遵循的,且需要迭代開發(fā)不斷更新。與互聯(lián)網(wǎng)公司強(qiáng)大的開發(fā)能力相比,運(yùn)營商長期依賴設(shè)備廠家的研發(fā),開發(fā)技術(shù)能力較弱。因此運(yùn)營商有理由擔(dān)心在采用SDN技術(shù)構(gòu)建網(wǎng)絡(luò)后會被控制器或應(yīng)用的開發(fā)廠家“綁架”,從而付出更高昂的成本。

    4 商用的構(gòu)想

    雖然已經(jīng)出現(xiàn)很多SDN在數(shù)據(jù)中心商用部署的案例,但尚無SDN在大規(guī)模網(wǎng)絡(luò)中部署的成功經(jīng)驗(yàn),運(yùn)營商將來應(yīng)該采用何種方式組網(wǎng),控制器應(yīng)該如何構(gòu)建是實(shí)現(xiàn)SDN全網(wǎng)部署需要解決的難題。

    基于OpenFlow的SDN技術(shù)進(jìn)一步延續(xù)和深化了控制轉(zhuǎn)發(fā)分離的架構(gòu),OpenFlow交換機(jī)由控制器下發(fā)的流表控制,既可以按照傳統(tǒng)路由方式匹配轉(zhuǎn)發(fā),也可以基于MAC、IP、TCP/UDP端口號、VLAN或MPLS匹配轉(zhuǎn)發(fā)并執(zhí)行多種指令,在控制器軟件的作用下可靈活實(shí)現(xiàn)各種功能,是較適合運(yùn)營商網(wǎng)絡(luò)的一種SDN方式。在大規(guī)模部署的情況下,多個(gè)控制器如果采用對等分布,將會面臨控制器間如何協(xié)同工作、控制器應(yīng)用靈活性不足和開發(fā)部署困難的問題。因此采用一對核心控制器(一主一備)進(jìn)行全局邏輯控制,其余控制器作為前置節(jié)點(diǎn)進(jìn)行底層功能控制的兩極系統(tǒng)架構(gòu)更為合理,如圖3所示。這種集中分布式網(wǎng)絡(luò)控制系統(tǒng)有利于高層應(yīng)用的靈活開發(fā)和業(yè)務(wù)的快速部署,能夠降低系統(tǒng)整體性能擴(kuò)展的難度。

    圖4為運(yùn)營商級基于OpenFlow的SDN網(wǎng)絡(luò)軟件控制運(yùn)營平臺功能框架。轉(zhuǎn)發(fā)層主要由OF交換機(jī)組成,負(fù)責(zé)訪問控制、傳統(tǒng)IP路由轉(zhuǎn)發(fā)、MPLS轉(zhuǎn)發(fā)、特定流轉(zhuǎn)發(fā)和NAT轉(zhuǎn)換等,通過OpenFlow協(xié)議與控制器建立連接,根據(jù)控制器下發(fā)的流表執(zhí)行相應(yīng)的行為。上層為控制層,主要進(jìn)行網(wǎng)絡(luò)控制和業(yè)務(wù)控制,具備OpenFlow驅(qū)動、拓?fù)渥詣影l(fā)現(xiàn)和維護(hù)、收集流量數(shù)據(jù)等基本功能以及MME移動性管理、特定流網(wǎng)絡(luò)策略控制、匯聚流LSP拓?fù)淇刂茙捁芾?、流量工程、兼容傳統(tǒng)IP路由計(jì)算等網(wǎng)絡(luò)功能,還能提供UDB統(tǒng)一鑒權(quán)、IMS通信控制、應(yīng)用匯聚、業(yè)務(wù)感知、應(yīng)用流感知、業(yè)務(wù)計(jì)費(fèi)、開放API等能力。

    參考文獻(xiàn):

    [1] ONF White Paper. Software-Defined Networking: The New Norm for Networks[S]. 2012.

    [2] ONF. OpenFlow Switch Specification Version 1.3.1[S]. 2012.

    [3] 孟娟. 谷歌SDN部署經(jīng)驗(yàn):如何漸進(jìn)部署到現(xiàn)有數(shù)據(jù)中心[EB/OL]. (2013-10-17). http://network.51cto.com/art/201310/413394.htm.

    [4] SDN聯(lián)合播報(bào). SDN商用進(jìn)程的一些思考[EB/OL]. (2014-07-15). http://www.sdnap.com/sdn-study/4677.html.

    [5] 陳文華. 基于SDN技術(shù)的互聯(lián)網(wǎng)發(fā)展與運(yùn)營探討[J]. 廣東通信技術(shù), 2013(12).endprint

    國內(nèi)三大運(yùn)營商中國移動、中國電信和中國聯(lián)通也開展了SDN的研究。中國移動已經(jīng)在國內(nèi)、北美兩地開展了2次大規(guī)模的測試,針對7個(gè)廠家的控制器、10個(gè)廠家的OpenFlow交換機(jī)搭建測試環(huán)境,進(jìn)行OpenFlow標(biāo)準(zhǔn)、功能、性能、SDN應(yīng)用等測試,驗(yàn)證標(biāo)準(zhǔn)及產(chǎn)品成熟度并聯(lián)合芯片廠家(盛科)研發(fā)了Super PTN芯片,成功演示了基于OpenFlow的SDN化PTN原型系統(tǒng)。

    中國電信在SDN的標(biāo)準(zhǔn)立項(xiàng)和商用部署方面都做出了一些貢獻(xiàn)。在標(biāo)準(zhǔn)立項(xiàng)方面,在ITU-T的SG13組的Y.FNsdn項(xiàng)目和Y.FNsdn-fm等項(xiàng)目中,中國電信主導(dǎo)就現(xiàn)有網(wǎng)絡(luò)中引入SDN的需求和架構(gòu)進(jìn)行研究,在國內(nèi)牽頭完成了基于SDN的IP RAN網(wǎng)絡(luò)技術(shù)行業(yè)標(biāo)準(zhǔn)。在應(yīng)用方面,北京電信與華為于今年4月合作完成了SDN的商用部署,將SDN技術(shù)成功應(yīng)用于IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)網(wǎng)絡(luò),并發(fā)布了一系列基于SDN的IDC新業(yè)務(wù)。

    中國聯(lián)通也基于“沃云”開展了小規(guī)模的SDN應(yīng)用試點(diǎn)工作,試點(diǎn)著重在功能驗(yàn)證、設(shè)備測試方面。

    2.3 設(shè)備廠商

    目前主流設(shè)備廠商都可以提供SDN交換機(jī),部分IT廠家也已宣稱有SDN交換機(jī)產(chǎn)品和解決方案。Bigswitch等新興公司不僅推出了支持OpenFlow的交換機(jī),還提供了運(yùn)行在標(biāo)準(zhǔn)硬件(白牌交換機(jī))上的開源軟件(Switch Light),用戶可以自行搭建和管理SDN虛擬交換機(jī)。

    目前的OF交換機(jī)仍然主要使用ASIC芯片,通過ACL實(shí)現(xiàn),但對OF協(xié)議的支持程度有限,主要表現(xiàn)在流表寬度受限、流表容量小、不支持某些字段的修改行動等。少數(shù)廠家推出了基于FPGA(現(xiàn)場可編程門陣列,如NEC)或者NPU(網(wǎng)絡(luò)處理器,如華為)的OF交換機(jī),但價(jià)格非常昂貴。ONF的FAWG(Forwarding Abstraction Work Group,轉(zhuǎn)發(fā)抽象工作組)提出了NDM/TTP方案,期望可以解決上述問題。由于需求量不足,芯片廠家在開發(fā)新的OF專用芯片上持觀望態(tài)度,作為折中方案,broadcom開發(fā)了一套工具支持對通用ASIC芯片進(jìn)行編程,使其支持OpenFlow協(xié)議。

    控制器的發(fā)展相對比較迅速,NEC、華為、IBM、Bigswitch、華三、中興等多個(gè)廠家已發(fā)布了商用版本的控制器。Opendaylight、floodlight、ryu等控制器開源項(xiàng)目進(jìn)展較快,在一定程度上推動了商用控制器的發(fā)展。

    但是,由于各廠商對SDN標(biāo)準(zhǔn)的不同理解,其控制器和交換機(jī)產(chǎn)品對SDN標(biāo)準(zhǔn)的支持程度也各不相同,可能會出現(xiàn)部分交換機(jī)只能和固定的控制器互通的現(xiàn)象。因此,需要促進(jìn)SDN協(xié)議的更新和完善,推動SDN產(chǎn)業(yè)的發(fā)展。

    3 SDN未來前景分析

    3.1 SDN的價(jià)值

    對互聯(lián)網(wǎng)企業(yè)而言,傳統(tǒng)網(wǎng)絡(luò)昂貴的專業(yè)設(shè)備被通用的SDN交換機(jī)和服務(wù)器所取代,能夠有效降低其組網(wǎng)成本?;ヂ?lián)網(wǎng)企業(yè)的網(wǎng)絡(luò)結(jié)構(gòu)相對簡單,流量流向相對單一,不需要各種協(xié)議來實(shí)現(xiàn)復(fù)雜的網(wǎng)絡(luò)功能,基于企業(yè)內(nèi)一流的IT團(tuán)隊(duì)及強(qiáng)大的開發(fā)力量能夠?qū)DN技術(shù)轉(zhuǎn)化為生產(chǎn)力。因此互聯(lián)網(wǎng)企業(yè)成為SDN應(yīng)用的先行者,并在實(shí)際網(wǎng)絡(luò)部署中取得了很好的效果。

    電信運(yùn)營商期望能夠通過SDN技術(shù),使用標(biāo)準(zhǔn)化的轉(zhuǎn)發(fā)設(shè)備以降低網(wǎng)絡(luò)建設(shè)和維護(hù)成本,實(shí)現(xiàn)多廠商設(shè)備網(wǎng)絡(luò)環(huán)境集中高效控制。通過軟件應(yīng)用的開發(fā)實(shí)現(xiàn)新業(yè)務(wù)的快速部署,促進(jìn)網(wǎng)絡(luò)和業(yè)務(wù)創(chuàng)新。同時(shí)SDN技術(shù)也為運(yùn)營商創(chuàng)新了商業(yè)模式,通過業(yè)務(wù)與流量的緊耦合為流量經(jīng)營提供了技術(shù)手段。

    3.2 SDN發(fā)展趨勢分析

    SDN是引領(lǐng)新一輪網(wǎng)絡(luò)變革的關(guān)鍵技術(shù)。全球權(quán)威咨詢公司Infonetics Research對SDN商用進(jìn)程做出了預(yù)判:2013年大量SDN PoC測試;2014年運(yùn)營商實(shí)驗(yàn)室技術(shù)成熟,某些領(lǐng)域開始試商用;2015年運(yùn)營商許多領(lǐng)域試商用,部分轉(zhuǎn)為商用部署;2016年SDN開始全球廣泛商用部署;2017年至2020年,SDN開始成為網(wǎng)絡(luò)基礎(chǔ)架構(gòu),并將經(jīng)歷一個(gè)長期的演進(jìn)和轉(zhuǎn)型過程。

    從近兩年SDN的發(fā)展情況來看,Infonetics的預(yù)判基本準(zhǔn)確。目前SDN的應(yīng)用嘗試和商用部署主要集中于數(shù)據(jù)中心領(lǐng)域。網(wǎng)絡(luò)配置周期長、管理復(fù)雜、業(yè)務(wù)遷移困難、業(yè)務(wù)質(zhì)量和可靠性難以保障等因素成為推動數(shù)據(jù)中心從傳統(tǒng)方式向SDN部署的動力。國內(nèi)運(yùn)營商的主流觀點(diǎn)是SDN技術(shù)將首選在小范圍、相對獨(dú)立的網(wǎng)絡(luò)內(nèi)應(yīng)用,如園區(qū)網(wǎng)、企業(yè)網(wǎng)數(shù)據(jù)中心內(nèi)、運(yùn)營商網(wǎng)絡(luò)的業(yè)務(wù)邊緣等。

    3.3 運(yùn)營商全網(wǎng)部署的阻力

    雖然國內(nèi)外運(yùn)營商都給予了SDN很大關(guān)注,但是要實(shí)現(xiàn)全網(wǎng)部署還有很多挑戰(zhàn)和難題。對運(yùn)營商而言,SDN的價(jià)值之一在于能否降低網(wǎng)絡(luò)的運(yùn)營成本、為其帶來額外的業(yè)務(wù)收入,而全網(wǎng)部署SDN需要大量更換現(xiàn)有路由器設(shè)備。因此如何實(shí)現(xiàn)平滑演進(jìn),保護(hù)現(xiàn)有資產(chǎn)是SDN在運(yùn)營商網(wǎng)絡(luò)中大規(guī)模應(yīng)用需要解決的問題。

    控制器是困擾運(yùn)營商的另外一個(gè)問題。在SDN網(wǎng)絡(luò)中,控制器在邏輯上是集中的,類似于核心網(wǎng)的網(wǎng)元,其重要性不言而喻。由于控制器和實(shí)現(xiàn)網(wǎng)絡(luò)功能的應(yīng)用本身是軟件,與通信設(shè)備非常高的標(biāo)準(zhǔn)化程度相比,它們是定制化的、無標(biāo)準(zhǔn)可遵循的,且需要迭代開發(fā)不斷更新。與互聯(lián)網(wǎng)公司強(qiáng)大的開發(fā)能力相比,運(yùn)營商長期依賴設(shè)備廠家的研發(fā),開發(fā)技術(shù)能力較弱。因此運(yùn)營商有理由擔(dān)心在采用SDN技術(shù)構(gòu)建網(wǎng)絡(luò)后會被控制器或應(yīng)用的開發(fā)廠家“綁架”,從而付出更高昂的成本。

    4 商用的構(gòu)想

    雖然已經(jīng)出現(xiàn)很多SDN在數(shù)據(jù)中心商用部署的案例,但尚無SDN在大規(guī)模網(wǎng)絡(luò)中部署的成功經(jīng)驗(yàn),運(yùn)營商將來應(yīng)該采用何種方式組網(wǎng),控制器應(yīng)該如何構(gòu)建是實(shí)現(xiàn)SDN全網(wǎng)部署需要解決的難題。

    基于OpenFlow的SDN技術(shù)進(jìn)一步延續(xù)和深化了控制轉(zhuǎn)發(fā)分離的架構(gòu),OpenFlow交換機(jī)由控制器下發(fā)的流表控制,既可以按照傳統(tǒng)路由方式匹配轉(zhuǎn)發(fā),也可以基于MAC、IP、TCP/UDP端口號、VLAN或MPLS匹配轉(zhuǎn)發(fā)并執(zhí)行多種指令,在控制器軟件的作用下可靈活實(shí)現(xiàn)各種功能,是較適合運(yùn)營商網(wǎng)絡(luò)的一種SDN方式。在大規(guī)模部署的情況下,多個(gè)控制器如果采用對等分布,將會面臨控制器間如何協(xié)同工作、控制器應(yīng)用靈活性不足和開發(fā)部署困難的問題。因此采用一對核心控制器(一主一備)進(jìn)行全局邏輯控制,其余控制器作為前置節(jié)點(diǎn)進(jìn)行底層功能控制的兩極系統(tǒng)架構(gòu)更為合理,如圖3所示。這種集中分布式網(wǎng)絡(luò)控制系統(tǒng)有利于高層應(yīng)用的靈活開發(fā)和業(yè)務(wù)的快速部署,能夠降低系統(tǒng)整體性能擴(kuò)展的難度。

    圖4為運(yùn)營商級基于OpenFlow的SDN網(wǎng)絡(luò)軟件控制運(yùn)營平臺功能框架。轉(zhuǎn)發(fā)層主要由OF交換機(jī)組成,負(fù)責(zé)訪問控制、傳統(tǒng)IP路由轉(zhuǎn)發(fā)、MPLS轉(zhuǎn)發(fā)、特定流轉(zhuǎn)發(fā)和NAT轉(zhuǎn)換等,通過OpenFlow協(xié)議與控制器建立連接,根據(jù)控制器下發(fā)的流表執(zhí)行相應(yīng)的行為。上層為控制層,主要進(jìn)行網(wǎng)絡(luò)控制和業(yè)務(wù)控制,具備OpenFlow驅(qū)動、拓?fù)渥詣影l(fā)現(xiàn)和維護(hù)、收集流量數(shù)據(jù)等基本功能以及MME移動性管理、特定流網(wǎng)絡(luò)策略控制、匯聚流LSP拓?fù)淇刂茙捁芾怼⒘髁抗こ?、兼容傳統(tǒng)IP路由計(jì)算等網(wǎng)絡(luò)功能,還能提供UDB統(tǒng)一鑒權(quán)、IMS通信控制、應(yīng)用匯聚、業(yè)務(wù)感知、應(yīng)用流感知、業(yè)務(wù)計(jì)費(fèi)、開放API等能力。

    參考文獻(xiàn):

    [1] ONF White Paper. Software-Defined Networking: The New Norm for Networks[S]. 2012.

    [2] ONF. OpenFlow Switch Specification Version 1.3.1[S]. 2012.

    [3] 孟娟. 谷歌SDN部署經(jīng)驗(yàn):如何漸進(jìn)部署到現(xiàn)有數(shù)據(jù)中心[EB/OL]. (2013-10-17). http://network.51cto.com/art/201310/413394.htm.

    [4] SDN聯(lián)合播報(bào). SDN商用進(jìn)程的一些思考[EB/OL]. (2014-07-15). http://www.sdnap.com/sdn-study/4677.html.

    [5] 陳文華. 基于SDN技術(shù)的互聯(lián)網(wǎng)發(fā)展與運(yùn)營探討[J]. 廣東通信技術(shù), 2013(12).endprint

    猜你喜歡
    商用廠家交換機(jī)
    兵學(xué)商用人物
    ——徐小林
    孫子研究(2022年2期)2022-06-09 08:21:36
    2022 年《商用汽車》回顧
    商用汽車(2022年12期)2022-04-24 01:29:10
    2021年《商用汽車》回顧
    商用汽車(2021年12期)2021-07-14 02:13:28
    修復(fù)損壞的交換機(jī)NOS
    百萬級水產(chǎn)經(jīng)銷商是怎么練成的!哪種經(jīng)銷商最受廠家青睞,最易獲取資源?
    使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
    美小運(yùn)載廠家簽多次發(fā)射協(xié)議
    太空探索(2016年12期)2016-07-18 11:13:43
    “上下床廠家”玩轉(zhuǎn)“互聯(lián)網(wǎng)+”
    尿素廠家的長期虧損牌能打多久
    商用WiFi蓄勢待發(fā)BAT360謹(jǐn)慎布局前景存疑
    久久久久久人人人人人| 久久精品国产亚洲av高清一级| 蜜桃国产av成人99| 啦啦啦中文免费视频观看日本| 国产97色在线日韩免费| 亚洲,欧美精品.| 久久天堂一区二区三区四区| √禁漫天堂资源中文www| 一区在线观看完整版| videosex国产| 国产淫语在线视频| avwww免费| 国产欧美日韩一区二区三 | 中文精品一卡2卡3卡4更新| 99久久精品国产亚洲精品| 99热网站在线观看| 50天的宝宝边吃奶边哭怎么回事| 久久 成人 亚洲| 9191精品国产免费久久| 国产精品久久久久成人av| 九色亚洲精品在线播放| 婷婷色av中文字幕| 免费在线观看影片大全网站 | 国产视频一区二区在线看| 黑人欧美特级aaaaaa片| 国产精品一国产av| 视频区欧美日本亚洲| tube8黄色片| 日本欧美国产在线视频| 亚洲国产精品一区三区| 国产极品粉嫩免费观看在线| 国产一区二区 视频在线| 操出白浆在线播放| 久久女婷五月综合色啪小说| 国产欧美亚洲国产| 久久久国产欧美日韩av| 亚洲精品中文字幕在线视频| 丝袜在线中文字幕| 国产亚洲一区二区精品| 精品高清国产在线一区| 国产成人免费无遮挡视频| svipshipincom国产片| 亚洲七黄色美女视频| 免费观看a级毛片全部| 欧美黄色淫秽网站| 人人妻人人添人人爽欧美一区卜| 91精品国产国语对白视频| 国产视频首页在线观看| 欧美精品av麻豆av| 人人妻人人添人人爽欧美一区卜| 久久国产精品人妻蜜桃| 视频区欧美日本亚洲| 成人午夜精彩视频在线观看| av在线老鸭窝| 老熟女久久久| 亚洲国产成人一精品久久久| 亚洲国产精品国产精品| 18禁观看日本| 久久久久久久大尺度免费视频| 国产精品99久久99久久久不卡| 国产精品国产三级国产专区5o| 狠狠精品人妻久久久久久综合| netflix在线观看网站| 国产精品欧美亚洲77777| 中文字幕人妻熟女乱码| 国产成人精品久久二区二区91| 高清视频免费观看一区二区| 啦啦啦 在线观看视频| 久久久国产欧美日韩av| 午夜两性在线视频| 亚洲,一卡二卡三卡| 精品久久蜜臀av无| 99精品久久久久人妻精品| 男女免费视频国产| videosex国产| 韩国精品一区二区三区| 又紧又爽又黄一区二区| 久久 成人 亚洲| 精品一区在线观看国产| 国产成人av教育| 成年人黄色毛片网站| 国产福利在线免费观看视频| 亚洲av日韩精品久久久久久密 | www.999成人在线观看| 无遮挡黄片免费观看| 中文字幕亚洲精品专区| 日韩 亚洲 欧美在线| 女人爽到高潮嗷嗷叫在线视频| √禁漫天堂资源中文www| 操美女的视频在线观看| 国产精品一国产av| 18在线观看网站| 久久久久久久久久久久大奶| 丝袜人妻中文字幕| 18禁国产床啪视频网站| 免费黄频网站在线观看国产| 国产欧美日韩一区二区三区在线| 亚洲精品一卡2卡三卡4卡5卡 | av福利片在线| 欧美精品一区二区大全| 午夜免费男女啪啪视频观看| 黄片小视频在线播放| 十八禁高潮呻吟视频| 免费看av在线观看网站| a级毛片黄视频| 老司机影院成人| 国产成人精品久久二区二区免费| 丰满迷人的少妇在线观看| 日本猛色少妇xxxxx猛交久久| 成人国语在线视频| 日韩一卡2卡3卡4卡2021年| 日韩伦理黄色片| 大香蕉久久成人网| 亚洲激情五月婷婷啪啪| 国产亚洲欧美在线一区二区| 久久久久精品人妻al黑| 欧美老熟妇乱子伦牲交| 午夜福利乱码中文字幕| 天天躁狠狠躁夜夜躁狠狠躁| 三上悠亚av全集在线观看| 最近手机中文字幕大全| 精品高清国产在线一区| 国精品久久久久久国模美| 人人澡人人妻人| 国产高清videossex| 亚洲综合色网址| 国产成人一区二区三区免费视频网站 | 丝袜在线中文字幕| 欧美精品亚洲一区二区| 国产免费一区二区三区四区乱码| 久久国产精品人妻蜜桃| √禁漫天堂资源中文www| 国产一区亚洲一区在线观看| 别揉我奶头~嗯~啊~动态视频 | 亚洲七黄色美女视频| 最近中文字幕2019免费版| 99国产精品免费福利视频| 国产欧美日韩一区二区三 | 少妇精品久久久久久久| 黑丝袜美女国产一区| 欧美人与性动交α欧美精品济南到| 国产精品一区二区在线不卡| 国产男女内射视频| 日韩大片免费观看网站| 99久久精品国产亚洲精品| 18禁黄网站禁片午夜丰满| 一区二区三区精品91| 色精品久久人妻99蜜桃| 最近中文字幕2019免费版| 国产亚洲欧美在线一区二区| 老汉色av国产亚洲站长工具| 宅男免费午夜| 国产主播在线观看一区二区 | 日本色播在线视频| 欧美日韩成人在线一区二区| 老鸭窝网址在线观看| cao死你这个sao货| 亚洲一码二码三码区别大吗| 成年美女黄网站色视频大全免费| 亚洲av电影在线进入| 久久女婷五月综合色啪小说| 岛国毛片在线播放| 精品一品国产午夜福利视频| 亚洲国产看品久久| 免费黄频网站在线观看国产| 女人高潮潮喷娇喘18禁视频| 精品亚洲乱码少妇综合久久| 午夜精品国产一区二区电影| 少妇粗大呻吟视频| 亚洲精品中文字幕在线视频| 在线观看www视频免费| 丰满饥渴人妻一区二区三| 久久国产精品影院| 亚洲精品成人av观看孕妇| 美女国产高潮福利片在线看| 天堂俺去俺来也www色官网| 欧美日韩av久久| 午夜两性在线视频| 男人舔女人的私密视频| 丁香六月天网| 久久久国产欧美日韩av| tube8黄色片| 日韩欧美一区视频在线观看| 国产精品二区激情视频| 亚洲av欧美aⅴ国产| 这个男人来自地球电影免费观看| 亚洲九九香蕉| 久久女婷五月综合色啪小说| 日韩av在线免费看完整版不卡| 国产亚洲欧美在线一区二区| 在线观看免费视频网站a站| 婷婷色av中文字幕| 99国产精品一区二区三区| 色婷婷久久久亚洲欧美| 亚洲精品中文字幕在线视频| 久久精品aⅴ一区二区三区四区| videosex国产| 国产精品久久久久久人妻精品电影 | 欧美精品一区二区大全| 国产免费福利视频在线观看| 交换朋友夫妻互换小说| 亚洲国产欧美一区二区综合| 伊人亚洲综合成人网| 一级,二级,三级黄色视频| 一级,二级,三级黄色视频| 嫁个100分男人电影在线观看 | 精品福利观看| 脱女人内裤的视频| 好男人视频免费观看在线| 免费一级毛片在线播放高清视频 | 精品少妇久久久久久888优播| 高潮久久久久久久久久久不卡| 亚洲,一卡二卡三卡| 久久精品久久精品一区二区三区| 真人做人爱边吃奶动态| 女人爽到高潮嗷嗷叫在线视频| 2021少妇久久久久久久久久久| 国产精品久久久久成人av| a 毛片基地| 一边摸一边做爽爽视频免费| 欧美亚洲日本最大视频资源| 中文字幕亚洲精品专区| 精品人妻一区二区三区麻豆| 美女午夜性视频免费| 欧美变态另类bdsm刘玥| 国产精品二区激情视频| 视频区欧美日本亚洲| 黄频高清免费视频| 麻豆av在线久日| 日本色播在线视频| e午夜精品久久久久久久| 国产精品人妻久久久影院| 操出白浆在线播放| 满18在线观看网站| 18在线观看网站| 精品熟女少妇八av免费久了| 精品久久久久久电影网| 中文精品一卡2卡3卡4更新| 欧美精品av麻豆av| 啦啦啦在线免费观看视频4| 一本久久精品| 黄色视频在线播放观看不卡| 婷婷色av中文字幕| 国产日韩欧美亚洲二区| 午夜免费观看性视频| 99国产精品免费福利视频| 黑丝袜美女国产一区| 亚洲黑人精品在线| 麻豆国产av国片精品| 精品久久久久久电影网| 免费久久久久久久精品成人欧美视频| 国产精品一区二区免费欧美 | 天堂8中文在线网| 精品卡一卡二卡四卡免费| 在线 av 中文字幕| 超碰97精品在线观看| 亚洲av成人不卡在线观看播放网 | 搡老岳熟女国产| 中文字幕人妻丝袜一区二区| 99精国产麻豆久久婷婷| 亚洲av国产av综合av卡| 人人妻人人澡人人看| 欧美另类一区| 99久久综合免费| 一级黄色大片毛片| 老熟女久久久| kizo精华| 国产精品av久久久久免费| 国产精品国产三级专区第一集| 国产一区二区在线观看av| www.精华液| 亚洲国产最新在线播放| 亚洲三区欧美一区| 亚洲欧美色中文字幕在线| 欧美人与善性xxx| 欧美xxⅹ黑人| 欧美日韩福利视频一区二区| 男女边吃奶边做爰视频| 中文字幕高清在线视频| 日韩 亚洲 欧美在线| 人人妻,人人澡人人爽秒播 | 最近最新中文字幕大全免费视频 | av线在线观看网站| 国产真人三级小视频在线观看| 在线精品无人区一区二区三| 亚洲国产精品一区二区三区在线| 久久精品久久久久久噜噜老黄| 欧美中文综合在线视频| 王馨瑶露胸无遮挡在线观看| 午夜两性在线视频| 日本欧美视频一区| 女性生殖器流出的白浆| 一区二区三区精品91| 国产精品三级大全| 好男人视频免费观看在线| 国产视频一区二区在线看| 国产亚洲精品第一综合不卡| 久久av网站| 亚洲国产精品一区二区三区在线| 欧美日韩一级在线毛片| 欧美另类一区| 丰满少妇做爰视频| 亚洲成人免费电影在线观看 | 操出白浆在线播放| 欧美国产精品一级二级三级| 大片免费播放器 马上看| 美女视频免费永久观看网站| kizo精华| 久久天躁狠狠躁夜夜2o2o | 999久久久国产精品视频| 赤兔流量卡办理| 肉色欧美久久久久久久蜜桃| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲综合色网址| 亚洲av片天天在线观看| 欧美成人午夜精品| 久久精品国产a三级三级三级| 精品视频人人做人人爽| 国产在线视频一区二区| av网站免费在线观看视频| 欧美日韩视频精品一区| 国产高清国产精品国产三级| 9热在线视频观看99| 亚洲图色成人| 91精品三级在线观看| 超色免费av| 各种免费的搞黄视频| av在线播放精品| 国产高清视频在线播放一区 | 黄片小视频在线播放| 日本av免费视频播放| 亚洲国产最新在线播放| 人妻 亚洲 视频| 国产伦人伦偷精品视频| 久久久久视频综合| 美国免费a级毛片| 久久国产精品影院| 国产一区二区激情短视频 | 久久精品久久精品一区二区三区| 欧美av亚洲av综合av国产av| 制服诱惑二区| 欧美 亚洲 国产 日韩一| 老汉色av国产亚洲站长工具| 久久久国产一区二区| 亚洲图色成人| 欧美亚洲 丝袜 人妻 在线| 天天躁日日躁夜夜躁夜夜| 搡老岳熟女国产| 亚洲人成电影免费在线| 丁香六月欧美| 丝瓜视频免费看黄片| 最新的欧美精品一区二区| 美国免费a级毛片| 99re6热这里在线精品视频| 亚洲免费av在线视频| 欧美成人午夜精品| 肉色欧美久久久久久久蜜桃| 男女国产视频网站| 精品人妻一区二区三区麻豆| 成人黄色视频免费在线看| 亚洲精品日本国产第一区| 国产又色又爽无遮挡免| 又大又爽又粗| 欧美中文综合在线视频| 国产精品熟女久久久久浪| 中文字幕制服av| 亚洲av美国av| 日本wwww免费看| a级毛片黄视频| 亚洲少妇的诱惑av| 国产精品.久久久| 欧美日韩一级在线毛片| 黄片播放在线免费| 日韩 欧美 亚洲 中文字幕| 亚洲一卡2卡3卡4卡5卡精品中文| 丝袜脚勾引网站| 午夜福利,免费看| 一本—道久久a久久精品蜜桃钙片| 亚洲国产最新在线播放| 18禁国产床啪视频网站| 91国产中文字幕| 99九九在线精品视频| 亚洲国产毛片av蜜桃av| 美女脱内裤让男人舔精品视频| e午夜精品久久久久久久| 最近手机中文字幕大全| 日韩 欧美 亚洲 中文字幕| 51午夜福利影视在线观看| 婷婷丁香在线五月| a级毛片黄视频| 国产欧美日韩一区二区三 | 另类精品久久| 深夜精品福利| 欧美人与性动交α欧美精品济南到| 国产99久久九九免费精品| 中文字幕亚洲精品专区| 岛国毛片在线播放| 日本一区二区免费在线视频| 好男人视频免费观看在线| 亚洲国产精品国产精品| 国产有黄有色有爽视频| 亚洲精品乱久久久久久| 美女国产高潮福利片在线看| 成人午夜精彩视频在线观看| 18在线观看网站| 一区二区三区四区激情视频| 新久久久久国产一级毛片| 性色av乱码一区二区三区2| 一边亲一边摸免费视频| 久久久久久免费高清国产稀缺| 久久久国产精品麻豆| 啦啦啦在线观看免费高清www| 五月天丁香电影| 宅男免费午夜| 国产欧美日韩综合在线一区二区| 91精品国产国语对白视频| 亚洲成人免费av在线播放| 国产女主播在线喷水免费视频网站| 成人影院久久| 久久久久久久大尺度免费视频| 色网站视频免费| 少妇的丰满在线观看| 一级a爱视频在线免费观看| 亚洲久久久国产精品| 国产精品秋霞免费鲁丝片| 99国产精品一区二区三区| 80岁老熟妇乱子伦牲交| 国产黄频视频在线观看| 手机成人av网站| 一边摸一边做爽爽视频免费| 亚洲国产日韩一区二区| 亚洲av男天堂| 成年人午夜在线观看视频| 少妇被粗大的猛进出69影院| 亚洲天堂av无毛| 亚洲av片天天在线观看| 精品国产一区二区三区四区第35| 麻豆av在线久日| 久久 成人 亚洲| av在线老鸭窝| 麻豆av在线久日| 啦啦啦在线免费观看视频4| 无遮挡黄片免费观看| 色精品久久人妻99蜜桃| 久久精品久久精品一区二区三区| 日本五十路高清| 99国产精品一区二区蜜桃av | 亚洲欧洲国产日韩| 欧美 亚洲 国产 日韩一| 免费看不卡的av| 国产精品秋霞免费鲁丝片| 曰老女人黄片| 久久久国产精品麻豆| 亚洲综合色网址| 国产无遮挡羞羞视频在线观看| 色网站视频免费| av一本久久久久| 91字幕亚洲| 精品福利永久在线观看| 亚洲精品久久午夜乱码| 97在线人人人人妻| av网站免费在线观看视频| 老司机深夜福利视频在线观看 | 亚洲av日韩在线播放| 天天躁日日躁夜夜躁夜夜| 精品国产一区二区三区久久久樱花| 色播在线永久视频| 国产亚洲欧美在线一区二区| 一级毛片女人18水好多 | 中国国产av一级| 国产91精品成人一区二区三区 | 男女免费视频国产| 不卡av一区二区三区| 国产成人精品久久二区二区91| 国产片特级美女逼逼视频| 亚洲黑人精品在线| 国产亚洲av高清不卡| 亚洲一区二区三区欧美精品| 9热在线视频观看99| 丝袜美腿诱惑在线| 精品卡一卡二卡四卡免费| 性高湖久久久久久久久免费观看| 亚洲av电影在线观看一区二区三区| 日韩欧美一区视频在线观看| 一级毛片 在线播放| 精品亚洲乱码少妇综合久久| 少妇人妻久久综合中文| 好男人电影高清在线观看| 18禁黄网站禁片午夜丰满| 午夜精品国产一区二区电影| 天天躁夜夜躁狠狠久久av| 亚洲精品久久久久久婷婷小说| 大片免费播放器 马上看| 热99久久久久精品小说推荐| 色婷婷av一区二区三区视频| 国产精品一区二区精品视频观看| 成人亚洲精品一区在线观看| 男女高潮啪啪啪动态图| 亚洲成人免费av在线播放| 亚洲av国产av综合av卡| 久久精品国产综合久久久| 久久亚洲国产成人精品v| 一本色道久久久久久精品综合| 建设人人有责人人尽责人人享有的| 国产亚洲精品久久久久5区| 人人妻人人添人人爽欧美一区卜| 欧美激情 高清一区二区三区| 在线观看国产h片| 80岁老熟妇乱子伦牲交| 日本猛色少妇xxxxx猛交久久| 国产亚洲av片在线观看秒播厂| 99香蕉大伊视频| 少妇粗大呻吟视频| 在线观看免费午夜福利视频| 国产视频一区二区在线看| 亚洲av国产av综合av卡| 久久人人爽人人片av| 欧美亚洲 丝袜 人妻 在线| 美女国产高潮福利片在线看| 性高湖久久久久久久久免费观看| 色播在线永久视频| 亚洲人成77777在线视频| 久久精品国产综合久久久| 丝袜美腿诱惑在线| 2021少妇久久久久久久久久久| 男女免费视频国产| 777久久人妻少妇嫩草av网站| 伊人亚洲综合成人网| 亚洲精品一卡2卡三卡4卡5卡 | 国产爽快片一区二区三区| 精品熟女少妇八av免费久了| 天天躁夜夜躁狠狠躁躁| 国产成人一区二区三区免费视频网站 | 王馨瑶露胸无遮挡在线观看| 天天添夜夜摸| 国产高清国产精品国产三级| 国产伦理片在线播放av一区| 两个人看的免费小视频| 人妻一区二区av| xxxhd国产人妻xxx| 在线天堂中文资源库| 日本av手机在线免费观看| 深夜精品福利| 亚洲国产精品一区三区| 国产成人一区二区在线| 伦理电影免费视频| 欧美黄色片欧美黄色片| 9色porny在线观看| 亚洲,欧美精品.| 久久热在线av| 尾随美女入室| 色视频在线一区二区三区| 国产欧美日韩精品亚洲av| 久久影院123| 亚洲,欧美,日韩| 色视频在线一区二区三区| www.999成人在线观看| 午夜视频精品福利| 免费在线观看完整版高清| 成人18禁高潮啪啪吃奶动态图| 考比视频在线观看| 夫妻午夜视频| 午夜免费观看性视频| 欧美少妇被猛烈插入视频| 日韩欧美一区视频在线观看| 免费av中文字幕在线| 亚洲国产精品999| 人人妻人人添人人爽欧美一区卜| 99re6热这里在线精品视频| 黄色怎么调成土黄色| 女性生殖器流出的白浆| 久久精品久久精品一区二区三区| 高清视频免费观看一区二区| 青春草亚洲视频在线观看| 国产一卡二卡三卡精品| 两个人看的免费小视频| 亚洲久久久国产精品| 一区二区三区四区激情视频| 亚洲中文av在线| 9191精品国产免费久久| 免费女性裸体啪啪无遮挡网站| 国产片特级美女逼逼视频| 国产免费福利视频在线观看| 热99国产精品久久久久久7| 交换朋友夫妻互换小说| 侵犯人妻中文字幕一二三四区| 视频在线观看一区二区三区| 亚洲五月色婷婷综合| 久久精品亚洲av国产电影网| 国产精品一二三区在线看| 久久精品亚洲av国产电影网| 亚洲三区欧美一区| 青草久久国产| 妹子高潮喷水视频| 婷婷色综合大香蕉| 伊人久久大香线蕉亚洲五| 日本vs欧美在线观看视频| 亚洲少妇的诱惑av| 久久久久国产一级毛片高清牌| 男人添女人高潮全过程视频| 一级毛片电影观看| 久久久久精品人妻al黑| 国产成人精品久久二区二区免费| 成人亚洲精品一区在线观看| 夜夜骑夜夜射夜夜干| 交换朋友夫妻互换小说| 久久久久国产精品人妻一区二区| 日韩一本色道免费dvd| 亚洲欧美激情在线| 中文欧美无线码| 悠悠久久av| 菩萨蛮人人尽说江南好唐韦庄| 亚洲欧美色中文字幕在线| 多毛熟女@视频| 久久鲁丝午夜福利片|