• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云網(wǎng)融合中的網(wǎng)絡(luò)基礎(chǔ)設(shè)施演進(jìn)探討*

    2022-12-06 03:28:28雷波馬小婷李聰唐靜周舸帆
    信息通信技術(shù)與政策 2022年11期
    關(guān)鍵詞:云間云網(wǎng)確定性

    雷波 馬小婷 李聰 唐靜 周舸帆

    (中國(guó)電信股份有限公司研究院網(wǎng)絡(luò)技術(shù)研究所,北京102209)

    0 引言

    隨著數(shù)字產(chǎn)業(yè)化與產(chǎn)業(yè)數(shù)字化進(jìn)程的提速升級(jí),新型數(shù)字基礎(chǔ)設(shè)施已經(jīng)成為推動(dòng)智能化數(shù)字中國(guó)建設(shè)、數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的重要基石。云網(wǎng)融合作為新型基礎(chǔ)設(shè)施的本質(zhì)特征,代表了信息通信技術(shù)自主創(chuàng)新的重要發(fā)展方向,推動(dòng)著社會(huì)數(shù)字化向更高層次、更廣范圍、更深程度擴(kuò)展。《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》明確指出,要推動(dòng)云網(wǎng)協(xié)同和算網(wǎng)融合發(fā)展,加快構(gòu)建以算力、算法、數(shù)據(jù)等多維資源協(xié)同為核心的全國(guó)一體化數(shù)據(jù)中心體系。同時(shí),“東數(shù)西算”重大工程建設(shè)全面啟動(dòng),也標(biāo)志著國(guó)家層面對(duì)云網(wǎng)融合的認(rèn)可和推動(dòng)。本文從算與網(wǎng)的協(xié)同發(fā)展歷程出發(fā),探討云網(wǎng)融合下網(wǎng)絡(luò)基礎(chǔ)設(shè)施的發(fā)展方向,并通過(guò)相關(guān)技術(shù)的分析,提出一種具有固移融合、算網(wǎng)融合、云光融合特性的新型組網(wǎng)方案。所提方案以云為核心,進(jìn)行園區(qū)、入云、云內(nèi)、云間四部分組網(wǎng)方案設(shè)計(jì),四部分既可彼此獨(dú)立發(fā)展也能按需靈活組合,適配多樣化業(yè)務(wù)服務(wù)需求。

    1 算力時(shí)代云網(wǎng)融合發(fā)展需求

    1.1 以網(wǎng)強(qiáng)算構(gòu)建算力供給新模式

    在全社會(huì)數(shù)字化與智能化的算力時(shí)代中,大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈等關(guān)鍵技術(shù)的應(yīng)用帶來(lái)了全球數(shù)據(jù)的爆發(fā)式增長(zhǎng),同時(shí)也成為算力需求攀升的核心驅(qū)動(dòng)力。根據(jù)分析[1],人工智能對(duì)算力資源的需求正以每3.5個(gè)月翻一倍的速度增長(zhǎng);物聯(lián)網(wǎng)行業(yè)對(duì)算力的拉動(dòng)效應(yīng)也十分顯著,預(yù)計(jì)到 2025 年,全球物聯(lián)網(wǎng)設(shè)備將超400 億臺(tái),數(shù)據(jù)量將達(dá)到80 ZB,算力將達(dá)到3 300 EFLOPS。然而,隨著摩爾定律的失效,單點(diǎn)算力計(jì)算性能的增長(zhǎng)顯然難以滿足算力需求的指數(shù)級(jí)攀升,如何解決熱點(diǎn)區(qū)域算力資源供需失衡的問(wèn)題是算力發(fā)展面臨的痛點(diǎn)之一。

    (1)數(shù)量堆疊,增加算力密度

    通過(guò)芯片工藝升級(jí)或芯片數(shù)量堆疊等方式不斷增強(qiáng)單臺(tái)設(shè)備的計(jì)算能力,同時(shí)盡可能部署更多服務(wù)器,增加區(qū)域算力密度。以建立超級(jí)算力節(jié)點(diǎn)的方式,提升熱點(diǎn)區(qū)域的算力能力,勢(shì)必會(huì)產(chǎn)生巨大的成本開銷。當(dāng)區(qū)域算力需求下降時(shí),算力資源將會(huì)閑置。因此,單獨(dú)規(guī)劃建設(shè)算力,資源利用率極低。

    (2)易地而建,減低運(yùn)營(yíng)成本

    算力服務(wù)器根據(jù)建設(shè)成本易地而建,并利用網(wǎng)絡(luò)強(qiáng)大的連接能力實(shí)現(xiàn)數(shù)據(jù)與資源的有效拉通,降低運(yùn)營(yíng)成本。以東數(shù)西算工程為例,與東部地區(qū)比,西部地區(qū)在能源、氣候、建設(shè)運(yùn)營(yíng)成本上的優(yōu)勢(shì)明顯,通過(guò)網(wǎng)絡(luò)連通東部的海量數(shù)據(jù)與西部的計(jì)算資源,在保障充足算力供給的同時(shí)進(jìn)一步降低算力資源的使用成本。

    (3)化整為零,提高算力效率

    借助網(wǎng)絡(luò)的強(qiáng)大連通能力將泛在算力資源匯聚成算力網(wǎng)絡(luò),并通過(guò)網(wǎng)調(diào)云、云調(diào)網(wǎng)技術(shù)路線,基于用戶需求實(shí)時(shí)動(dòng)態(tài)分配算力資源,滿足多樣性業(yè)務(wù)差異性服務(wù)需求。利用網(wǎng)絡(luò)匯聚云邊端泛在算力,通過(guò)通信、計(jì)算等多維資源聯(lián)合優(yōu)化編排提升算力利用率,推動(dòng)算力資源普惠性發(fā)展。

    現(xiàn)階段僅依靠工藝升級(jí)或數(shù)量堆積的方式暴力解決熱點(diǎn)區(qū)域供需矛盾,將加劇快速增加的業(yè)務(wù)需求與算力基礎(chǔ)設(shè)施的建設(shè)成本間的矛盾。以網(wǎng)強(qiáng)算,利用無(wú)處不在的網(wǎng)絡(luò)連通分布式算力節(jié)點(diǎn),通過(guò)集中調(diào)度分散的算力資源,提升算力資源利用率。然而,要實(shí)現(xiàn)算力服務(wù)像水電一樣的普惠性發(fā)展,就要求網(wǎng)絡(luò)不斷增強(qiáng)傳輸處理能力,以保障數(shù)據(jù)跑得更快、更遠(yuǎn)。

    1.2 以算促網(wǎng)開啟網(wǎng)絡(luò)發(fā)展新里程

    從發(fā)展歷程上看,計(jì)算技術(shù)與網(wǎng)絡(luò)技術(shù)的進(jìn)步總是相輔相成,二者的互補(bǔ)融合持續(xù)推動(dòng)信息技術(shù)的發(fā)展。在傳統(tǒng)封閉式網(wǎng)絡(luò)中,網(wǎng)絡(luò)龐雜、設(shè)備功能單一、通用性不足、設(shè)備更新維護(hù)成本過(guò)高,難以適配業(yè)務(wù)發(fā)展趨勢(shì)。在通信網(wǎng)中,創(chuàng)新地引入云化技術(shù),在使網(wǎng)絡(luò)更加靈活的同時(shí),也激發(fā)了新型云化網(wǎng)元設(shè)備的發(fā)展。以SDN/NFV技術(shù)為例,SDN基于控制面、轉(zhuǎn)發(fā)面分離,利用集中控制器實(shí)現(xiàn)底層硬件的可編程化控制,擺脫硬件對(duì)網(wǎng)絡(luò)架構(gòu)的限制。正是由于算力的不斷增強(qiáng),控制面才有能力以集中方式管控整個(gè)網(wǎng)絡(luò),進(jìn)而通過(guò)開放接口打破傳統(tǒng)網(wǎng)絡(luò)“煙囪式”服務(wù)架構(gòu),實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)用戶服務(wù)的快速響應(yīng)。NFV通過(guò)軟硬件解耦,進(jìn)行軟件功能化與模塊化,并以通用服務(wù)器代替專用封閉的網(wǎng)元設(shè)備,使得網(wǎng)元軟件功能擺脫了對(duì)特定昂貴硬件的依賴,在不影響網(wǎng)絡(luò)性能的同時(shí)極大降低建網(wǎng)成本。同時(shí),基于虛擬化技術(shù),NFV通過(guò)硬件資源池可以彈性伸縮適配業(yè)務(wù)需求,顯著提升硬件利用率,提升網(wǎng)絡(luò)部署的靈活性。

    計(jì)算技術(shù)的進(jìn)步將持續(xù)不斷地為網(wǎng)絡(luò)技術(shù)創(chuàng)新發(fā)展注入新動(dòng)能。隨著大數(shù)據(jù)、人工智能、數(shù)據(jù)中心、區(qū)塊鏈等新技術(shù)的快速發(fā)展,以及工業(yè)互聯(lián)網(wǎng)、自動(dòng)駕駛、元宇宙等新型應(yīng)用的不斷涌現(xiàn),網(wǎng)絡(luò)不僅需要承載更高的下行與上行流量、更多樣的業(yè)務(wù),更需要通過(guò)更深層次的云化技術(shù)突破單純的連接功能,為新興業(yè)務(wù)提供差異性、確定性的一體化服務(wù)。

    1.3 云網(wǎng)融合下網(wǎng)絡(luò)基礎(chǔ)設(shè)施創(chuàng)新發(fā)展

    從信息技術(shù)發(fā)展的視角來(lái)看,云網(wǎng)融合已經(jīng)成為算力時(shí)代信息基礎(chǔ)設(shè)施自主創(chuàng)新的重要方向。在網(wǎng)絡(luò)與計(jì)算技術(shù)的聯(lián)合推動(dòng)下,云網(wǎng)融合經(jīng)歷了從1.0階段的云網(wǎng)協(xié)同,到2.0階段的網(wǎng)隨云動(dòng),以及正在步入集成數(shù)據(jù)中心、網(wǎng)、算力、云、大數(shù)據(jù)、AI、安全、綠色多種要素的3.0云網(wǎng)一體全新階段。在云網(wǎng)融合3.0階段,網(wǎng)絡(luò)基礎(chǔ)設(shè)施需要進(jìn)一步向智能化、綜合化方向發(fā)展,為多樣性業(yè)務(wù)提供敏捷智能、安全高效、綠色低碳的一體化資源供給[2],并自適應(yīng)未來(lái)復(fù)雜不確定性新業(yè)務(wù)。具體而言,網(wǎng)絡(luò)基礎(chǔ)設(shè)施應(yīng)滿足但不限于以下需求。

    (1)終端靈活安全接入:隨著新業(yè)務(wù)種類的增加,多樣性接入方式進(jìn)一步加劇了網(wǎng)絡(luò)冗雜程度。網(wǎng)絡(luò)基礎(chǔ)設(shè)施亟需打通多種接入模式間的壁壘,為泛在終端提供無(wú)地址約束、敏捷高效、安全可信的接入服務(wù)。

    (2)業(yè)務(wù)按需靈活入云:隨著各類應(yīng)用服務(wù)上云進(jìn)程的加快,網(wǎng)絡(luò)需要根據(jù)業(yè)務(wù)需求提供差異化云網(wǎng)資源配置,并按需選擇最優(yōu)入云路徑,提供端到端差異化確定性承載服務(wù)。例如,與云監(jiān)工、訂餐等娛樂(lè)性服務(wù)業(yè)務(wù)相比,遠(yuǎn)程醫(yī)療、遠(yuǎn)程教育等時(shí)延敏感性業(yè)務(wù)要求網(wǎng)絡(luò)提供更低時(shí)延的確定性承載。

    (3)數(shù)據(jù)中心高效轉(zhuǎn)發(fā):網(wǎng)絡(luò)帶寬的不斷增長(zhǎng)導(dǎo)致海量數(shù)據(jù)轉(zhuǎn)發(fā)將占用大量的CPU算力資源,這嚴(yán)重制約了數(shù)據(jù)中心網(wǎng)絡(luò)的轉(zhuǎn)發(fā)能力。網(wǎng)絡(luò)亟需通過(guò)算力資源合理管理,提升數(shù)據(jù)轉(zhuǎn)發(fā)能力,帶動(dòng)數(shù)據(jù)中心降本增效。

    (4)云間可靠高效互聯(lián):隨著云計(jì)算產(chǎn)業(yè)的發(fā)展與成熟,以云間互聯(lián)為目的的網(wǎng)絡(luò)部署需求與日俱增。在云網(wǎng)融合的大背景下,網(wǎng)絡(luò)需要為云間網(wǎng)絡(luò)提供無(wú)損確定性傳輸。

    2 云網(wǎng)融合下網(wǎng)絡(luò)基礎(chǔ)設(shè)施關(guān)鍵技術(shù)發(fā)展

    云網(wǎng)融合的實(shí)現(xiàn)涉及眾多新興網(wǎng)絡(luò)技術(shù)演進(jìn)和前沿技術(shù)創(chuàng)新,本章節(jié)基于當(dāng)前熱點(diǎn)網(wǎng)絡(luò)技術(shù)發(fā)展分析云網(wǎng)融合下承載網(wǎng)的統(tǒng)一運(yùn)營(yíng)、確定傳輸和資源一體編排的實(shí)現(xiàn),進(jìn)一步探討新型網(wǎng)絡(luò)基礎(chǔ)設(shè)施融合新動(dòng)向,并基于網(wǎng)絡(luò)關(guān)鍵技術(shù)分析,提出了一種以云為核心的超融合組網(wǎng)方案。

    2.1 當(dāng)前熱點(diǎn)網(wǎng)絡(luò)技術(shù)發(fā)展

    云網(wǎng)融合的實(shí)現(xiàn)離不開現(xiàn)有網(wǎng)絡(luò)技術(shù)的不斷演進(jìn)與發(fā)展,其中包括基于IPv6承載技術(shù)進(jìn)行云網(wǎng)統(tǒng)一承載,實(shí)現(xiàn)跨網(wǎng)智能開通與運(yùn)維;基于確定性網(wǎng)絡(luò)技術(shù)提供云網(wǎng)融合下接入網(wǎng)、局域網(wǎng)、數(shù)據(jù)中心網(wǎng)絡(luò)、廣域網(wǎng)以及網(wǎng)絡(luò)端到端的確定性保障;基于算力網(wǎng)絡(luò)技術(shù)進(jìn)行云網(wǎng)端多維資源統(tǒng)一管控與調(diào)度,自下而上開展資源融合調(diào)度,徹底打破云網(wǎng)邊界等。

    2.1.1 IPv6承載技術(shù)

    IPv6不僅可以緩解IPv4協(xié)議地址緊缺的問(wèn)題,而且為云網(wǎng)融合的全面連接、高可靠性提供廣闊的網(wǎng)絡(luò)技術(shù)創(chuàng)新空間[3]。IPv6承載技術(shù)主要包含IPv6單棧相關(guān)技術(shù)和以SRv6為代表的IPv6協(xié)議增強(qiáng)創(chuàng)新技術(shù)。隨著IPv6在全球的規(guī)模部署,互聯(lián)網(wǎng)從雙棧逐步向IPv6單棧演進(jìn)的趨勢(shì)日益明顯[4]。IPv6單棧技術(shù)包括但不限于適用于移動(dòng)網(wǎng)絡(luò)的464XLAT技術(shù)[5]以及適用于多域互聯(lián)網(wǎng)絡(luò)的IPv6-only Underlay Network[6],以上技術(shù)可以在不同場(chǎng)景下實(shí)現(xiàn)在網(wǎng)絡(luò)邊緣對(duì)于IPv4業(yè)務(wù)進(jìn)行接入和承載。構(gòu)建IPv6單棧網(wǎng)絡(luò)不僅可以滿足云計(jì)算、物聯(lián)網(wǎng)和工業(yè)互聯(lián)網(wǎng)等海量編址需求,同時(shí)簡(jiǎn)化網(wǎng)絡(luò)協(xié)議層次、簡(jiǎn)化網(wǎng)絡(luò)運(yùn)維,并且支持基于IPv6地址的人和物的標(biāo)識(shí)管理能力,有利于身份溯源與安全管理。

    IPv6協(xié)議增強(qiáng)型技術(shù)包括SRv6技術(shù)、APN6應(yīng)用感知技術(shù)、iFIT技術(shù)、BIERv6技術(shù)等。SRv6技術(shù)簡(jiǎn)化了復(fù)雜的網(wǎng)絡(luò)協(xié)議,可將業(yè)務(wù)意圖翻譯成網(wǎng)元可執(zhí)行的轉(zhuǎn)發(fā)和處理指令,助力靈活端到端連接的建立。APN6利用IPv6數(shù)據(jù)報(bào)文擴(kuò)展頭攜帶相關(guān)應(yīng)用感知信息,使得網(wǎng)絡(luò)感知到業(yè)務(wù)信息,便于提供差異化SLA服務(wù)。iFIT技術(shù)將OAM指令攜帶在IPv6擴(kuò)展報(bào)頭中,進(jìn)行網(wǎng)絡(luò)性能的高精度實(shí)時(shí)檢測(cè)。BIERv6技術(shù)利用IPv6特性的新型組播技術(shù),簡(jiǎn)化網(wǎng)絡(luò)部署并且具有良好的可擴(kuò)展性。IPv6承載技術(shù)能夠有效簡(jiǎn)化網(wǎng)絡(luò)并提升網(wǎng)絡(luò)廣連接、自動(dòng)化、安全性等,是構(gòu)建云網(wǎng)融合中的網(wǎng)絡(luò)基礎(chǔ)設(shè)施必不可少的新技術(shù)。

    2.1.2 確定性網(wǎng)絡(luò)技術(shù)

    確定性網(wǎng)絡(luò)技術(shù)是構(gòu)建下一代網(wǎng)絡(luò)基礎(chǔ)設(shè)施體系、提升數(shù)據(jù)傳輸服務(wù)質(zhì)量的關(guān)鍵技術(shù)之一,可面向工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)等對(duì)網(wǎng)絡(luò)時(shí)延抖動(dòng)、可靠性要求極高的垂直行業(yè),提供確定性的網(wǎng)絡(luò)質(zhì)量保障技術(shù)。確定性網(wǎng)絡(luò)技術(shù)需求廣泛,涵蓋局域網(wǎng)、數(shù)據(jù)中心網(wǎng)絡(luò)和廣域網(wǎng),以及網(wǎng)絡(luò)端到端的確定性。

    確定性網(wǎng)絡(luò)技術(shù)的來(lái)源主要是由于終端接入的不確定性,以及網(wǎng)絡(luò)本身的局限性。所謂終端接入的不確定性,是指用戶可隨時(shí)隨地,通過(guò)不同的終端靈活接入網(wǎng)絡(luò)。例如,用戶可使用手機(jī)終端通過(guò)4G/5G等移動(dòng)方式接入互聯(lián)網(wǎng),也可使用寬帶、Wi-Fi等在家中上網(wǎng)。終端接入的位置、方式不同,導(dǎo)致網(wǎng)絡(luò)邊緣側(cè)無(wú)法提供“確定性”的網(wǎng)絡(luò)QoS指標(biāo),進(jìn)而無(wú)法實(shí)現(xiàn)端到端的SLA保障;其次,網(wǎng)絡(luò)本身的局限性也難以保證確定性的傳輸質(zhì)量,比如移動(dòng)網(wǎng)絡(luò)的空口側(cè)傳輸極易受到環(huán)境的影響,傳統(tǒng)IP網(wǎng)絡(luò)在出現(xiàn)高并發(fā)、大流量的場(chǎng)景時(shí)將導(dǎo)致網(wǎng)絡(luò)擁塞和高時(shí)延、高抖動(dòng)。確定性網(wǎng)絡(luò)技術(shù)是一套涵蓋了流量整形、隊(duì)列調(diào)度、時(shí)鐘同步等多維技術(shù)的集合,共同保障網(wǎng)絡(luò)的確定性,其主要包含帶寬確定性、路徑確定性與時(shí)延確定性三個(gè)層面[7]。三種確定性指標(biāo)相互依存,通過(guò)確定性網(wǎng)絡(luò)技術(shù)構(gòu)建一張各類參數(shù)(帶寬、時(shí)延、抖動(dòng)等)均在確定性范圍內(nèi)的可靠網(wǎng)絡(luò),為各行各業(yè)的升級(jí)創(chuàng)新提供基礎(chǔ)。

    2.1.3 算力網(wǎng)絡(luò)技術(shù)

    算力網(wǎng)絡(luò)技術(shù)作為實(shí)現(xiàn)云網(wǎng)端統(tǒng)一管控的新型網(wǎng)絡(luò)架構(gòu),也是云網(wǎng)融合戰(zhàn)略體系中的一種關(guān)鍵技術(shù)。算力網(wǎng)絡(luò)以網(wǎng)絡(luò)為平臺(tái),通過(guò)網(wǎng)絡(luò)控制面(包含集中式控制器、分布式路由協(xié)議等)收集和分發(fā)服務(wù)節(jié)點(diǎn)的算力、存儲(chǔ)、算法等資源信息,并結(jié)合網(wǎng)絡(luò)信息和上層應(yīng)用(如工業(yè)互聯(lián)網(wǎng))需求,提供最佳的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源的分發(fā)、關(guān)聯(lián)、交易與調(diào)配,從而實(shí)現(xiàn)整網(wǎng)資源的最優(yōu)化配置和使用。算力網(wǎng)絡(luò)技術(shù)可以自下而上展開資源融合,徹底打破云網(wǎng)邊界,真正實(shí)現(xiàn)云網(wǎng)一體。

    算力網(wǎng)絡(luò)技術(shù)首先需要通過(guò)解決算力與網(wǎng)絡(luò)資源的整合,實(shí)現(xiàn)多維資源的聯(lián)合編排。各大運(yùn)營(yíng)商、通信類廠商都在針對(duì)算力度量、算力標(biāo)識(shí)、算力感知、算力路由等技術(shù)開展研究,希望通過(guò)抽象整合基礎(chǔ)設(shè)施層的各類資源,為用戶的上層應(yīng)用提供保障。其次,抽象后的資源如何為用戶提供算力服務(wù),是提升算力網(wǎng)絡(luò)服務(wù)便捷性的關(guān)鍵一環(huán)。通過(guò)構(gòu)建以用戶需求為核心的算力網(wǎng)絡(luò)交易平臺(tái),解析各類應(yīng)用對(duì)算力的需求并為其匹配最佳資源方案,形成統(tǒng)一的資源供給機(jī)制。最后,為了滿足服務(wù)普惠性需求,算力網(wǎng)絡(luò)技術(shù)在實(shí)際部署層面,主要有集中式部署、分布式部署和混合式部署三種方案。集中式部署方案基于編排管理平臺(tái)集中收錄資源信息,并根據(jù)用戶選擇建立用戶與計(jì)算節(jié)點(diǎn)間的連接;分布式部署方案借助IP路由協(xié)議進(jìn)行資源信息的收集與分發(fā),用戶通過(guò)查找資源信息表選擇適合的計(jì)算節(jié)點(diǎn);混合式部署方案采用分布式資源信息收集、集中式資源交易調(diào)度,滿足用戶需求[8]。

    2.2 新型網(wǎng)絡(luò)基礎(chǔ)設(shè)施融合動(dòng)向探討

    云網(wǎng)一體化的實(shí)現(xiàn)不僅需要網(wǎng)絡(luò)技術(shù)不斷演進(jìn),更需要重視基礎(chǔ)設(shè)施中前瞻技術(shù)發(fā)展。以下基于網(wǎng)絡(luò)中算力與通信的融合發(fā)展,重點(diǎn)從網(wǎng)中有算、算中有網(wǎng)、DPU智能網(wǎng)卡三個(gè)方向探討新型網(wǎng)絡(luò)基礎(chǔ)設(shè)施進(jìn)一步融合動(dòng)向。

    2.2.1 網(wǎng)中有算

    網(wǎng)中有算是指數(shù)據(jù)在網(wǎng)絡(luò)傳輸?shù)耐瑫r(shí),利用網(wǎng)卡、交換機(jī)、信道等網(wǎng)絡(luò)元素進(jìn)行數(shù)據(jù)處理,有效減少數(shù)據(jù)傳輸再處理產(chǎn)生的時(shí)延,例如在網(wǎng)計(jì)算、空中計(jì)算等技術(shù)。網(wǎng)絡(luò)中交換機(jī)、智能網(wǎng)卡等設(shè)備擁有流處理核心,可以作為執(zhí)行部分計(jì)算任務(wù)的平臺(tái)。將深度學(xué)習(xí)等人工智能模型卸載到智能網(wǎng)卡中[9],數(shù)據(jù)在智能網(wǎng)卡中傳輸?shù)耐瑫r(shí)完成計(jì)算與處理。同時(shí),在網(wǎng)計(jì)算還被證明可以在共識(shí)協(xié)議、在網(wǎng)緩存等多種場(chǎng)景下提升通信系統(tǒng)性能[10]。空中計(jì)算利用信道的疊加特性和節(jié)點(diǎn)的并發(fā)傳輸,直接在空中對(duì)來(lái)自不同用戶的數(shù)據(jù)進(jìn)行快速計(jì)算,實(shí)現(xiàn)通信計(jì)算一體化[11]。此外,空中計(jì)算與分布式架構(gòu)的聯(lián)邦學(xué)習(xí)結(jié)合,在通信時(shí)完成全局參數(shù)匯聚可增強(qiáng)數(shù)據(jù)隱私安全性;與深度學(xué)習(xí)等算法結(jié)合,設(shè)計(jì)適用于人工智能的框架,更好服務(wù)于與機(jī)器學(xué)習(xí)相關(guān)的上層應(yīng)用。

    2.2.2 算中有網(wǎng)

    算中有網(wǎng)是云網(wǎng)融合發(fā)展的另外一個(gè)理念,通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)異構(gòu)分布式資源或設(shè)備的統(tǒng)一管控與調(diào)度,從而提供標(biāo)準(zhǔn)統(tǒng)一、高效便捷、安全可靠的服務(wù)。分布式解耦機(jī)框技術(shù)(Distributed Disaggregated Chassis,DDC)深度解耦服務(wù)器設(shè)備、云化管控平面,并基于轉(zhuǎn)發(fā)資源池思想構(gòu)建網(wǎng)絡(luò)云模型,借助網(wǎng)絡(luò)互聯(lián)運(yùn)行遠(yuǎn)端服務(wù)器或數(shù)據(jù)平面的容器,優(yōu)化資源使用方式,實(shí)現(xiàn)資源的按需使用與彈性伸縮[12]。算中有網(wǎng)技術(shù)實(shí)現(xiàn)了基于體系結(jié)構(gòu)的解耦與云化,使得解耦后的設(shè)備通過(guò)網(wǎng)絡(luò)靈活彈性運(yùn)行遠(yuǎn)端資源或服務(wù)功能,從軟硬件維度上全面突破單個(gè)機(jī)框資源限制。

    2.2.3 數(shù)據(jù)處理單元智能網(wǎng)卡

    傳統(tǒng)以計(jì)算存儲(chǔ)分離為主要特征的計(jì)算機(jī),在運(yùn)行人工智能等大數(shù)據(jù)訓(xùn)練任務(wù)時(shí),需要進(jìn)行頻繁的數(shù)據(jù)讀取、計(jì)算、存儲(chǔ),產(chǎn)生巨大的“數(shù)據(jù)中心稅”開銷。隨著人工智能技術(shù)的不斷發(fā)展,CPU產(chǎn)生的性能損耗、算力開銷、功率損耗以及性能提升帶來(lái)的成本不斷上升,甚至超過(guò)了其承受范圍,成為限制先進(jìn)算法探索的重要因素。數(shù)據(jù)處理單元(Data Process Unit,DPU)以軟件定義技術(shù)、虛擬化技術(shù)為支撐,卸載了CPU中的網(wǎng)絡(luò)、存儲(chǔ)、管理等平臺(tái)軟件,解放了更高成本的主機(jī)CPU算力。以DPU為中心的智能網(wǎng)卡具有節(jié)能減排、提升效率,且節(jié)省空間的優(yōu)勢(shì),成為了云網(wǎng)融合中未來(lái)基礎(chǔ)設(shè)施新設(shè)備的重點(diǎn)突破方向之一。

    2.3 新型超融合組網(wǎng)方案設(shè)計(jì)

    隨著網(wǎng)絡(luò)技術(shù)的不斷演進(jìn)與新興技術(shù)的革新,云網(wǎng)融合下網(wǎng)絡(luò)基礎(chǔ)設(shè)施的創(chuàng)新升級(jí)可以從接入網(wǎng)、入云網(wǎng)、云內(nèi)網(wǎng)、云間網(wǎng)四部分進(jìn)行開展。通過(guò)對(duì)網(wǎng)絡(luò)關(guān)鍵技術(shù)與基礎(chǔ)設(shè)施融合動(dòng)向的探討,提出一種以云為核心的新型超融合組網(wǎng)方案(見圖1),具體如下。

    (1)園區(qū)部分:針對(duì)園區(qū)多種接入方式共存的現(xiàn)狀,提出云原生園區(qū)網(wǎng)方案。在該方案中,網(wǎng)關(guān)設(shè)備上云,并將功能拆解為原子能力,用戶通過(guò)統(tǒng)一網(wǎng)關(guān)接入,按需進(jìn)行網(wǎng)絡(luò)功能服務(wù)化重構(gòu),從而滿足泛在終端接入需求。

    (2)入云部分:網(wǎng)絡(luò)需要感知算力資源,基于算力路由獲取全域分布式算力信息。當(dāng)用戶入云時(shí),網(wǎng)絡(luò)根據(jù)用戶業(yè)務(wù)需求為用戶分配最優(yōu)入云路徑,同時(shí)基于確定性網(wǎng)絡(luò)技術(shù)提供云、邊、端全連接的確定性承載。

    (3)云內(nèi)部分:為提升數(shù)據(jù)中心效率,提出基于DPU的新型數(shù)據(jù)中心組網(wǎng)方案。該方案利用DPU管理分散的服務(wù)器,當(dāng)業(yè)務(wù)數(shù)據(jù)到達(dá)數(shù)據(jù)中心時(shí),DPU根據(jù)解析結(jié)果決定數(shù)據(jù)的處理位置與芯片類型,并基于I/O處理能力調(diào)配CPU、GPU等不同類型的服務(wù)器。

    (4)云間部分:根據(jù)多數(shù)據(jù)中心協(xié)同處理的需求,云間網(wǎng)絡(luò)能夠提供不同地域、不同類型的多云互聯(lián)。為實(shí)現(xiàn)云云協(xié)同、云邊協(xié)同時(shí)的無(wú)損確定性傳輸,提出云+光融合的高效云間互聯(lián)方案。

    圖1 新型超融合組網(wǎng)方案

    該新型超融合組網(wǎng)方案具備以下三大特征。

    ? 固移融合

    用戶種類與數(shù)量不斷增多,接入方式具有多樣性,且擁有單獨(dú)專用的協(xié)議棧,導(dǎo)致網(wǎng)絡(luò)龐雜,管理維護(hù)難度大。在新型組網(wǎng)方案中,接入網(wǎng)絡(luò)需要將無(wú)線網(wǎng)絡(luò)、物聯(lián)網(wǎng)、光纖固定網(wǎng)絡(luò)等多種接入方式結(jié)合起來(lái),通過(guò)統(tǒng)一的接入網(wǎng)關(guān)實(shí)現(xiàn)多種業(yè)務(wù)場(chǎng)景下的泛在接入。并借助虛擬化和云計(jì)算相關(guān)技術(shù),將不同的網(wǎng)絡(luò)功能通過(guò)統(tǒng)一的基礎(chǔ)設(shè)施呈現(xiàn)出來(lái),實(shí)現(xiàn)固移融合的一體化網(wǎng)絡(luò)供給。

    ? 算網(wǎng)融合

    針對(duì)云、邊、端協(xié)同場(chǎng)景,網(wǎng)絡(luò)需要感知業(yè)務(wù)需求和算力資源,為新型互聯(lián)網(wǎng)業(yè)務(wù)提供通信、計(jì)算、存儲(chǔ)、算法等多種資源的協(xié)同優(yōu)化配置。為滿足用戶的差異化算力需求,在該超融合組網(wǎng)方案中,算力資源需要借助無(wú)處不在的網(wǎng)絡(luò)進(jìn)行調(diào)度與整合,以網(wǎng)絡(luò)為基礎(chǔ)實(shí)現(xiàn)多要素資源的一體化供給,提高算力資源利用效率。

    ? 云光融合

    隨著云業(yè)務(wù)的不斷增加,承載網(wǎng)絡(luò)不僅需要應(yīng)對(duì)大數(shù)據(jù)流量傳輸,還要為特定的垂直行業(yè)提供確定性承載網(wǎng)絡(luò)服務(wù)。新型超融合組網(wǎng)方案充分發(fā)揮光網(wǎng)絡(luò)的高可靠、大帶寬、低時(shí)延特性,為行業(yè)用戶提供云間互聯(lián)的確定性品質(zhì)專線,并通過(guò)云光融合的一體化服務(wù)供給,實(shí)現(xiàn)多業(yè)務(wù)的靈活確定性承載。

    3 新型組網(wǎng)方案拆分詳解

    新型超融合組網(wǎng)方案的四部分以云為紐帶緊密結(jié)合,同時(shí)可以彼此分解獨(dú)立發(fā)展。以下將分別介紹園區(qū)、入云、云內(nèi)、云間四部分的實(shí)現(xiàn)方案。

    3.1 園區(qū)部分:云原生園區(qū)網(wǎng)

    園區(qū)存在有線接入、無(wú)線Wi-Fi接入、無(wú)線4G/5G接入等多種接入方式共存的現(xiàn)狀,為滿足企業(yè)用戶多種接入模式的互聯(lián)互通需求,實(shí)現(xiàn)多類型設(shè)備快速接入園區(qū)網(wǎng),接入側(cè)面臨固定和移動(dòng)網(wǎng)絡(luò)無(wú)縫傳輸?shù)奶魬?zhàn)。如圖2(a)所示,現(xiàn)有接入方案已經(jīng)實(shí)現(xiàn)了轉(zhuǎn)發(fā)平面和控制平面的解耦,并對(duì)數(shù)據(jù)管理功能、移動(dòng)性管理、會(huì)話管理功能、用戶平面功能等統(tǒng)一功能進(jìn)行抽象處理。然而,各接入方式彼此獨(dú)立,擁有單獨(dú)的控制面和轉(zhuǎn)發(fā)面,難以滿足泛在終端動(dòng)態(tài)靈活接入。為了提升資源的利用率,實(shí)現(xiàn)設(shè)備到網(wǎng)絡(luò)層面的無(wú)縫連接,提出基于用戶定制的云原生園區(qū)網(wǎng)部署方案。

    云原生園區(qū)網(wǎng)的目標(biāo)是實(shí)現(xiàn)對(duì)底層網(wǎng)絡(luò)資源進(jìn)行抽象處理,并通過(guò)多種類型網(wǎng)絡(luò)的轉(zhuǎn)發(fā)面、控制面分離,為用戶提供更加敏捷的服務(wù)。如圖2(b)所示,云原生技術(shù)將虛擬化部署的轉(zhuǎn)發(fā)面和控制面進(jìn)一步云化,將網(wǎng)元功能拆分提取為原子能力,對(duì)控制平面中數(shù)據(jù)庫(kù)服務(wù)、策略服務(wù)、鑒權(quán)服務(wù)、轉(zhuǎn)發(fā)服務(wù)、接入服務(wù)等通用功能抽象化形成單獨(dú)微服務(wù)。在進(jìn)行業(yè)務(wù)請(qǐng)求響應(yīng)時(shí),利用可編程方式,根據(jù)不同接入類型進(jìn)行不同的流程編排,按需彈性組裝原子能力模塊,實(shí)現(xiàn)服務(wù)化重構(gòu),為不同業(yè)務(wù)轉(zhuǎn)發(fā)提供敏捷服務(wù),極大提升資源利用率。

    圖2 用戶定制的云原生園區(qū)網(wǎng)方案

    通過(guò)固定和移動(dòng)網(wǎng)絡(luò)功能的服務(wù)化,基于云原生技術(shù)架構(gòu)的園區(qū)網(wǎng)不僅實(shí)現(xiàn)固定和移動(dòng)網(wǎng)絡(luò)的同時(shí)部署,而且其良好的兼容性為新業(yè)務(wù)開發(fā)和系統(tǒng)升級(jí)改造提供了極大的創(chuàng)新空間。例如,云原生園區(qū)網(wǎng)憑借微服務(wù)設(shè)計(jì)等技術(shù)改造現(xiàn)有管理系統(tǒng)或吸納新增網(wǎng)元設(shè)備,縮短了業(yè)務(wù)開發(fā)周期,實(shí)現(xiàn)了容量彈性伸縮。用戶定制的云原生園區(qū)網(wǎng)憑借其開放、共享、包容等特性,有效地提升服務(wù)的靈活性和業(yè)務(wù)的適應(yīng)性,并自然適應(yīng)未來(lái)新業(yè)務(wù)的復(fù)雜不確定演進(jìn)。

    3.2 入云部分:基于算力路由與確定性承載的入云網(wǎng)絡(luò)

    在傳統(tǒng)網(wǎng)絡(luò)中,數(shù)據(jù)包轉(zhuǎn)發(fā)時(shí)通過(guò)路由表查找到最短路徑,再通過(guò)IP進(jìn)行盡力而為承載,實(shí)現(xiàn)業(yè)務(wù)入云。隨著邊緣計(jì)算、端計(jì)算算力形態(tài)的出現(xiàn),算力資源從單一化的集中式部署方式,往多級(jí)化的分布式部署方式發(fā)展,承載網(wǎng)連接了多種類型的算力資源。在云網(wǎng)融合的大背景下,網(wǎng)絡(luò)需要將算力資源進(jìn)行整合,針對(duì)業(yè)務(wù)場(chǎng)景和用戶需求,通過(guò)權(quán)衡算力資源與網(wǎng)絡(luò)通信性能,為用戶選擇最優(yōu)的入云路徑。

    基于算力路由與確定性承載的入云網(wǎng)絡(luò)如圖3所示,在該方案中,用戶通過(guò)算力網(wǎng)關(guān)接入,網(wǎng)關(guān)實(shí)現(xiàn)對(duì)用戶及應(yīng)用需求的多維度感知?;贗Pv6技術(shù),網(wǎng)絡(luò)側(cè)實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)實(shí)時(shí)負(fù)載信息的感知,并根據(jù)通信時(shí)延與算力資源建立路由表,形成以用戶為中心的資源視圖。以用戶對(duì)網(wǎng)絡(luò)時(shí)延、傳輸抖動(dòng)與算力資源類型、算力大小等需求作為選路依據(jù),綜合考慮用戶需求與實(shí)時(shí)的算力、存儲(chǔ)、網(wǎng)絡(luò)等多維資源可利用狀態(tài),為業(yè)務(wù)流選定最優(yōu)的云資源池。

    圖3 基于算力路由與確定性承載的入云網(wǎng)絡(luò)

    在實(shí)現(xiàn)用戶需求和資源匹配的基礎(chǔ)上,基于算力路由建立用戶與目標(biāo)算力位置的端到端通信鏈路。根據(jù)用戶業(yè)務(wù)的不同需求,入云網(wǎng)絡(luò)可提供高帶寬保障、確定性時(shí)延、抖動(dòng)可控、無(wú)損傳輸多維度的確定性承載,提供端到端的確定性服務(wù)。首先,以用戶峰值帶寬為指標(biāo)明確用戶帶寬需求,通過(guò)上下行帶寬限速實(shí)現(xiàn)帶寬確定性;然后,根據(jù)用戶低時(shí)延、零丟包、高可靠性等不同類型的需求,基于SRv6等技術(shù)為用戶劃分合理路徑,解決傳統(tǒng)IP報(bào)文轉(zhuǎn)發(fā)造成的前后報(bào)文路徑不可控問(wèn)題;最后,在指定的路徑上設(shè)置抖動(dòng)可控的端到端承載方案,消除排隊(duì)轉(zhuǎn)發(fā)抖動(dòng),確保所有報(bào)文的傳送時(shí)延被嚴(yán)格限制在一定范圍內(nèi)。

    基于算力路由與確定性承載的入云網(wǎng)絡(luò)方案,可以實(shí)現(xiàn)對(duì)于用戶需求、網(wǎng)絡(luò)算力資源的多維度感知,并根據(jù)業(yè)務(wù)需求提供一線多用、多等級(jí)并存的確定性承載服務(wù)。

    3.3 云內(nèi)部分:基于DPU的新型數(shù)據(jù)中心網(wǎng)絡(luò)

    在傳統(tǒng)數(shù)據(jù)中心組網(wǎng)方案中,以CPU為核心的服務(wù)器通過(guò)網(wǎng)絡(luò)接口控制器接入Leaf-Spine網(wǎng)絡(luò),多臺(tái)服務(wù)器匯聚形成數(shù)據(jù)中心網(wǎng)絡(luò),參見圖4(a)。當(dāng)業(yè)務(wù)請(qǐng)求到達(dá)數(shù)據(jù)中心后,CPU首先對(duì)數(shù)據(jù)進(jìn)行解析,根據(jù)解析結(jié)果判定數(shù)據(jù)處理位置。隨著數(shù)據(jù)中心數(shù)據(jù)量的增多,數(shù)據(jù)解析將占據(jù)CPU大量算力資源,嚴(yán)重影響了業(yè)務(wù)程序的運(yùn)行效率。

    為充分發(fā)揮數(shù)據(jù)中心計(jì)算能力,新型數(shù)據(jù)中心網(wǎng)絡(luò)引入DPU新型處理芯片進(jìn)行網(wǎng)絡(luò)重構(gòu),以提供高性能的數(shù)據(jù)處理能力,方案架構(gòu)如圖4(b)所示,DPU可以嵌入多個(gè)CPU、GPU、FPGA等專用硬件。DPU的專用處理能力分擔(dān)I/O處理,進(jìn)行網(wǎng)絡(luò)中數(shù)據(jù)壓縮/解壓縮、內(nèi)存分配、多線程調(diào)度和數(shù)據(jù)搬運(yùn)等流量處理,實(shí)現(xiàn)純網(wǎng)絡(luò)通信加速。因此,當(dāng)業(yè)務(wù)到達(dá)數(shù)據(jù)中心后,DPU可以取代CPU進(jìn)行數(shù)據(jù)分析,并根據(jù)數(shù)據(jù)解析結(jié)果選擇合適的數(shù)據(jù)處理芯片。DPU在釋放CPU巨量算力的同時(shí),提升I/O性能,適合用于數(shù)據(jù)驅(qū)動(dòng)的人工智能算法處理場(chǎng)景,以及對(duì)時(shí)延要求極高的場(chǎng)景。同時(shí),利用DPU承擔(dān)操作系統(tǒng)ROM的角色管理散亂的邊緣服務(wù)器,有效解決邊緣服務(wù)器鋪設(shè)存放缺乏統(tǒng)一管理的難題。DPU將算力分布在更靠近數(shù)據(jù)發(fā)生的地方,基于網(wǎng)絡(luò)、存儲(chǔ)的虛擬化功能,新型數(shù)據(jù)中心網(wǎng)絡(luò)具有資源靈活調(diào)配的優(yōu)勢(shì),可提升整個(gè)數(shù)據(jù)中心資源池的資源利用效率。此外,針對(duì)加解密、數(shù)據(jù)防火墻等安全防護(hù)需求,將隔離規(guī)則寫入DPU中,在運(yùn)算主體之外做安全防護(hù),有效避免服務(wù)器本身的規(guī)則被服務(wù)器運(yùn)行程序修改,在主機(jī)CPU之外進(jìn)行安全處理,可以在降低CPU開銷的同時(shí),進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的安全防護(hù)。

    圖4 基于DPU的新型數(shù)據(jù)中心網(wǎng)絡(luò)

    以DPU為基礎(chǔ)的新型異構(gòu)架構(gòu)為數(shù)據(jù)處理提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等虛擬化基礎(chǔ)設(shè)施服務(wù),進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的扁平化和簡(jiǎn)潔化,有助于帶動(dòng)整體數(shù)據(jù)中心降本增效,并加強(qiáng)數(shù)據(jù)中心網(wǎng)絡(luò)的安全防護(hù)。

    3.4 云間部分:云光融合的云間網(wǎng)絡(luò)

    傳統(tǒng)云間網(wǎng)絡(luò)通過(guò)IP網(wǎng)絡(luò)與光網(wǎng)絡(luò)進(jìn)行互聯(lián),兩種網(wǎng)絡(luò)彼此分離。POD內(nèi)部由實(shí)體路由器等網(wǎng)元設(shè)備組成,并通過(guò)交換機(jī)選擇連通方式(見圖5)。傳統(tǒng)云間網(wǎng)絡(luò)難以滿足數(shù)據(jù)中心間數(shù)據(jù)無(wú)損確定性傳輸?;谠苹腿饩W(wǎng)技術(shù),提出云光融合的云間網(wǎng)絡(luò)部署方案。該方案中,充分利用全光網(wǎng)的能力來(lái)構(gòu)建高容量、高性能、高可靠的新型云間網(wǎng)絡(luò),具有云內(nèi)網(wǎng)絡(luò)簡(jiǎn)潔化和云間網(wǎng)絡(luò)全光化兩大特征。云內(nèi)網(wǎng)絡(luò)依托于NFV技術(shù)將IP層功能進(jìn)行分解,虛擬化的路由功能在服務(wù)器中實(shí)現(xiàn),光傳輸設(shè)備直連云底層基礎(chǔ)設(shè)施中,有效減少背對(duì)背節(jié)點(diǎn)。云間網(wǎng)絡(luò)利用全光網(wǎng)實(shí)現(xiàn)架構(gòu)扁平化、調(diào)度全光化和運(yùn)維智能化,其中主要節(jié)點(diǎn)之間由Full-Mesh連接,通過(guò)光層直達(dá),實(shí)現(xiàn)毫秒級(jí)低時(shí)延、高速大帶寬的網(wǎng)絡(luò)連接。此外,引入SDN理念達(dá)到轉(zhuǎn)發(fā)控制分離、網(wǎng)絡(luò)能力開放的目的,打造端到端智能可控的全光云間網(wǎng)絡(luò)。

    圖5 云光融合的云間網(wǎng)絡(luò)方案

    該方案基于虛擬化技術(shù)、全光傳輸、全光智能調(diào)度等多種手段實(shí)現(xiàn)云+光+IP的深度融合,利用全光網(wǎng)絡(luò)打造大帶寬、低時(shí)延的云間互聯(lián)網(wǎng)絡(luò),有效服務(wù)于多云協(xié)同業(yè)務(wù)。

    4 結(jié)束語(yǔ)

    以國(guó)家數(shù)字經(jīng)濟(jì)政策和國(guó)家級(jí)重大工程建設(shè)為導(dǎo)向,在業(yè)務(wù)數(shù)字化、技術(shù)融合化、數(shù)據(jù)價(jià)值化的共同作用下,云網(wǎng)融合已進(jìn)入一體化、智能化發(fā)展階段。在云網(wǎng)融合階段,新型數(shù)字基礎(chǔ)設(shè)施勢(shì)必滿足泛在互聯(lián)、確定性承載、多維異構(gòu)資源融合管理的需求。本文提出了具有固移融合、算網(wǎng)融合和云光融合特性的新型超融合云網(wǎng)一體化方案。該方案以云為核心,通過(guò)泛在終端接入、業(yè)務(wù)按需靈活入云、數(shù)據(jù)中心高效轉(zhuǎn)發(fā)和云間高效互聯(lián),實(shí)現(xiàn)自下而上、多網(wǎng)絡(luò)、多要素的融合,為多樣化業(yè)務(wù)提供差異化服務(wù)保障,并助力網(wǎng)絡(luò)基礎(chǔ)設(shè)施自然適應(yīng)未來(lái)新業(yè)務(wù)的復(fù)雜不確定性演進(jìn)。

    猜你喜歡
    云間云網(wǎng)確定性
    下期要目
    新型云網(wǎng)融合編排與調(diào)度系統(tǒng)架構(gòu)與分析
    論中國(guó)訓(xùn)詁學(xué)與經(jīng)典闡釋的確定性
    論法律解釋的確定性
    法律方法(2022年1期)2022-07-21 09:18:56
    含混還是明證:梅洛-龐蒂論確定性
    基于ONAP開源架構(gòu)的云網(wǎng)操作系統(tǒng)研究
    航天云網(wǎng)科技發(fā)展有限責(zé)任公司
    我寫的詩(shī)
    05云間
    法律確定性的統(tǒng)合理性根據(jù)與法治實(shí)施
    性插视频无遮挡在线免费观看| 日本爱情动作片www.在线观看 | 2021天堂中文幕一二区在线观| 成人一区二区视频在线观看| 中国美女看黄片| 久久精品国产自在天天线| 少妇熟女aⅴ在线视频| 在现免费观看毛片| 亚洲乱码一区二区免费版| 老女人水多毛片| 99riav亚洲国产免费| 性色avwww在线观看| 国产国拍精品亚洲av在线观看| 全区人妻精品视频| 亚洲不卡免费看| 男女视频在线观看网站免费| 又爽又黄无遮挡网站| 国产成人福利小说| 日本免费一区二区三区高清不卡| 精品久久久久久久久久免费视频| 欧美成人一区二区免费高清观看| 亚洲欧美成人综合另类久久久 | 狠狠狠狠99中文字幕| 国国产精品蜜臀av免费| 免费在线观看影片大全网站| 老师上课跳d突然被开到最大视频| videossex国产| 国产av在哪里看| 国产精品人妻久久久久久| 麻豆成人午夜福利视频| 精品久久久久久久久av| 日韩欧美 国产精品| 日韩一区二区视频免费看| 欧美xxxx性猛交bbbb| 露出奶头的视频| 久久人人精品亚洲av| 熟妇人妻久久中文字幕3abv| 成年女人毛片免费观看观看9| 亚洲av熟女| 高清日韩中文字幕在线| 国产精品久久久久久久电影| 老女人水多毛片| 麻豆成人午夜福利视频| 丰满乱子伦码专区| 精品人妻视频免费看| 亚洲性久久影院| 特大巨黑吊av在线直播| 亚洲高清免费不卡视频| av免费在线看不卡| 精品一区二区三区视频在线观看免费| 亚洲在线观看片| 51国产日韩欧美| 超碰av人人做人人爽久久| 久久精品夜夜夜夜夜久久蜜豆| 在线观看66精品国产| 最近最新中文字幕大全电影3| 给我免费播放毛片高清在线观看| 亚洲av美国av| 国内少妇人妻偷人精品xxx网站| 99久久精品一区二区三区| a级毛色黄片| 男女视频在线观看网站免费| 色哟哟·www| 午夜福利在线在线| 天天一区二区日本电影三级| a级毛色黄片| 亚洲五月天丁香| 亚洲av成人av| 国产爱豆传媒在线观看| 久久亚洲国产成人精品v| 精品午夜福利视频在线观看一区| 嫩草影院入口| 亚洲av成人av| 精品人妻视频免费看| 国产精品1区2区在线观看.| 欧美一级a爱片免费观看看| 女人被狂操c到高潮| 亚洲精品影视一区二区三区av| 国产精品久久久久久精品电影| 欧美区成人在线视频| 国产午夜精品论理片| 人妻久久中文字幕网| 欧美成人一区二区免费高清观看| 欧美精品国产亚洲| av中文乱码字幕在线| 欧美不卡视频在线免费观看| 亚洲天堂国产精品一区在线| 亚洲欧美中文字幕日韩二区| 国产黄色小视频在线观看| 亚洲av.av天堂| 日韩人妻高清精品专区| 欧美+日韩+精品| 国内久久婷婷六月综合欲色啪| 老司机影院成人| 欧美性猛交╳xxx乱大交人| 久久精品久久久久久噜噜老黄 | 一级黄片播放器| 欧美成人一区二区免费高清观看| 深夜精品福利| 国产午夜精品久久久久久一区二区三区 | 熟女人妻精品中文字幕| 一级毛片久久久久久久久女| 婷婷六月久久综合丁香| 人妻夜夜爽99麻豆av| 欧美绝顶高潮抽搐喷水| 国产aⅴ精品一区二区三区波| 国产真实乱freesex| 校园人妻丝袜中文字幕| 亚州av有码| 亚洲欧美日韩无卡精品| 欧美日韩一区二区视频在线观看视频在线 | 别揉我奶头~嗯~啊~动态视频| 国产一区二区三区在线臀色熟女| 日韩一本色道免费dvd| 在线国产一区二区在线| 国产单亲对白刺激| 久久午夜福利片| 欧美精品国产亚洲| 日日啪夜夜撸| 婷婷亚洲欧美| 老女人水多毛片| 久久人人爽人人片av| 欧美激情在线99| 精品国产三级普通话版| 国产高潮美女av| 不卡视频在线观看欧美| 直男gayav资源| 国产日本99.免费观看| 99九九线精品视频在线观看视频| 精品久久久久久久久亚洲| 91午夜精品亚洲一区二区三区| 99久久精品一区二区三区| 久久久国产成人精品二区| 天天躁日日操中文字幕| 日日撸夜夜添| 日产精品乱码卡一卡2卡三| 一个人看的www免费观看视频| 日韩大尺度精品在线看网址| 最近的中文字幕免费完整| 久久韩国三级中文字幕| 欧美性猛交黑人性爽| www.色视频.com| 亚洲国产精品sss在线观看| 麻豆久久精品国产亚洲av| 国产精品一区二区三区四区免费观看 | 成人高潮视频无遮挡免费网站| 成人综合一区亚洲| 亚洲人成网站在线播| 亚洲欧美清纯卡通| 日本免费a在线| 亚洲熟妇熟女久久| 免费av毛片视频| 日韩欧美精品v在线| 欧美三级亚洲精品| 久久久久国产网址| 国产亚洲精品综合一区在线观看| 级片在线观看| 蜜桃亚洲精品一区二区三区| 久久久国产成人免费| 天天躁日日操中文字幕| 免费观看人在逋| 久久久精品94久久精品| 亚洲av美国av| 久久99热这里只有精品18| 2021天堂中文幕一二区在线观| 精品一区二区三区人妻视频| 婷婷亚洲欧美| 欧美最新免费一区二区三区| 精品久久久噜噜| 亚洲第一电影网av| av卡一久久| 色哟哟·www| 日本精品一区二区三区蜜桃| 色噜噜av男人的天堂激情| 亚洲真实伦在线观看| 国产精品综合久久久久久久免费| 一级黄色大片毛片| 插逼视频在线观看| 亚洲三级黄色毛片| 久久精品国产鲁丝片午夜精品| 干丝袜人妻中文字幕| 一进一出抽搐动态| 给我免费播放毛片高清在线观看| 丝袜美腿在线中文| 一卡2卡三卡四卡精品乱码亚洲| 日本一二三区视频观看| 岛国在线免费视频观看| 99九九线精品视频在线观看视频| 亚洲熟妇熟女久久| 99热只有精品国产| 菩萨蛮人人尽说江南好唐韦庄 | 色综合站精品国产| 日韩三级伦理在线观看| 国产精品av视频在线免费观看| 91av网一区二区| 亚洲真实伦在线观看| 91午夜精品亚洲一区二区三区| 又黄又爽又免费观看的视频| 亚洲三级黄色毛片| 国产av一区在线观看免费| 蜜桃亚洲精品一区二区三区| 久99久视频精品免费| 桃色一区二区三区在线观看| 日本欧美国产在线视频| 一区二区三区免费毛片| 日本a在线网址| 久久久久国内视频| 久久九九热精品免费| 乱系列少妇在线播放| a级毛色黄片| 精品日产1卡2卡| 亚洲第一电影网av| 99热这里只有是精品50| 国产av麻豆久久久久久久| 免费av观看视频| 日韩,欧美,国产一区二区三区 | 在线观看美女被高潮喷水网站| 国产高清有码在线观看视频| 中国美女看黄片| 1024手机看黄色片| 51国产日韩欧美| 蜜桃亚洲精品一区二区三区| 直男gayav资源| 亚洲av中文字字幕乱码综合| ponron亚洲| 日韩一本色道免费dvd| 国产真实伦视频高清在线观看| 3wmmmm亚洲av在线观看| 亚洲av.av天堂| 成年女人永久免费观看视频| 在线观看美女被高潮喷水网站| 夜夜爽天天搞| 久久午夜亚洲精品久久| aaaaa片日本免费| 老司机午夜福利在线观看视频| 欧美国产日韩亚洲一区| 精品久久久噜噜| av在线亚洲专区| av福利片在线观看| 国产精品综合久久久久久久免费| 村上凉子中文字幕在线| 久久精品国产亚洲av香蕉五月| 黑人高潮一二区| 激情 狠狠 欧美| 亚洲精品影视一区二区三区av| 好男人在线观看高清免费视频| 国产日本99.免费观看| 国产 一区 欧美 日韩| 99热精品在线国产| 日韩成人伦理影院| 黄色日韩在线| 久久热精品热| 男人舔女人下体高潮全视频| 精品午夜福利在线看| 我要看日韩黄色一级片| 性插视频无遮挡在线免费观看| 亚洲国产精品成人久久小说 | 三级毛片av免费| 蜜桃久久精品国产亚洲av| 啦啦啦观看免费观看视频高清| 成人永久免费在线观看视频| 亚洲专区国产一区二区| 嫩草影视91久久| avwww免费| 99在线人妻在线中文字幕| а√天堂www在线а√下载| 给我免费播放毛片高清在线观看| 色视频www国产| 久久久久精品国产欧美久久久| 亚洲中文日韩欧美视频| 免费观看在线日韩| 亚洲激情五月婷婷啪啪| 男人舔女人下体高潮全视频| 波多野结衣高清作品| 一个人免费在线观看电影| 女的被弄到高潮叫床怎么办| 国产aⅴ精品一区二区三区波| 国产亚洲精品av在线| 中文亚洲av片在线观看爽| 免费看a级黄色片| 在线免费观看的www视频| 深爱激情五月婷婷| 久久国内精品自在自线图片| 女人被狂操c到高潮| 亚洲欧美日韩高清在线视频| 国产精品乱码一区二三区的特点| 国产成人精品久久久久久| 久久国产乱子免费精品| 欧美精品国产亚洲| 91久久精品国产一区二区成人| 亚洲成人久久爱视频| 久久久久久久久久久丰满| 在线播放无遮挡| 亚洲中文字幕日韩| 亚洲成人中文字幕在线播放| 97在线视频观看| 精品久久久久久久末码| 99热6这里只有精品| 久久精品国产鲁丝片午夜精品| 欧美高清成人免费视频www| 全区人妻精品视频| 少妇人妻一区二区三区视频| 最新中文字幕久久久久| 国产一区二区激情短视频| 一边摸一边抽搐一进一小说| 国产日本99.免费观看| 亚洲在线自拍视频| 亚洲最大成人中文| 男女啪啪激烈高潮av片| 久久久久久久久大av| 听说在线观看完整版免费高清| 亚洲四区av| 蜜桃久久精品国产亚洲av| 中文资源天堂在线| 国产精品一区二区性色av| 国产高清激情床上av| 久久综合国产亚洲精品| 给我免费播放毛片高清在线观看| 校园春色视频在线观看| 国产亚洲精品av在线| 一a级毛片在线观看| 日韩欧美一区二区三区在线观看| 综合色丁香网| 久久精品夜色国产| 精品久久久噜噜| 成人亚洲欧美一区二区av| 亚洲精品成人久久久久久| 狂野欧美激情性xxxx在线观看| 久久午夜亚洲精品久久| 别揉我奶头 嗯啊视频| 欧美人与善性xxx| 久久精品人妻少妇| 欧美精品国产亚洲| 最后的刺客免费高清国语| 亚洲av电影不卡..在线观看| 色5月婷婷丁香| 中文字幕av成人在线电影| 深夜精品福利| 一边摸一边抽搐一进一小说| 一级av片app| 免费人成在线观看视频色| 在线a可以看的网站| 欧美bdsm另类| 免费大片18禁| 久久久久性生活片| 国产精品野战在线观看| 99视频精品全部免费 在线| avwww免费| 岛国在线免费视频观看| 免费看av在线观看网站| 99久久精品一区二区三区| 日本黄大片高清| 免费av毛片视频| 六月丁香七月| 校园春色视频在线观看| 天天一区二区日本电影三级| 国产男靠女视频免费网站| 欧美一区二区国产精品久久精品| 久久精品国产亚洲av涩爱 | 欧美最新免费一区二区三区| 精品久久久久久久久亚洲| 少妇裸体淫交视频免费看高清| 九九爱精品视频在线观看| 国产精品久久久久久久电影| 久久精品夜夜夜夜夜久久蜜豆| 亚洲av第一区精品v没综合| 秋霞在线观看毛片| 少妇的逼水好多| 国产成人精品久久久久久| 免费不卡的大黄色大毛片视频在线观看 | 国产午夜精品久久久久久一区二区三区 | av免费在线看不卡| 天天躁日日操中文字幕| 欧洲精品卡2卡3卡4卡5卡区| 色综合色国产| av国产免费在线观看| 亚洲av第一区精品v没综合| 国产精品伦人一区二区| 日韩国内少妇激情av| 日产精品乱码卡一卡2卡三| a级毛片免费高清观看在线播放| 别揉我奶头~嗯~啊~动态视频| 亚洲中文字幕日韩| 午夜a级毛片| 美女内射精品一级片tv| 国产av一区在线观看免费| 欧美又色又爽又黄视频| 给我免费播放毛片高清在线观看| 久久久久精品国产欧美久久久| av福利片在线观看| 国产精品久久久久久精品电影| 欧美成人一区二区免费高清观看| 欧洲精品卡2卡3卡4卡5卡区| 国产精品1区2区在线观看.| 99久久精品热视频| 国产成人影院久久av| 十八禁国产超污无遮挡网站| 亚洲欧美精品自产自拍| 天堂√8在线中文| 亚洲成人久久爱视频| 国产伦精品一区二区三区四那| 国产女主播在线喷水免费视频网站 | 12—13女人毛片做爰片一| videossex国产| 亚洲欧美成人精品一区二区| 亚洲av免费在线观看| 国产片特级美女逼逼视频| 亚洲丝袜综合中文字幕| 男人舔奶头视频| 综合色丁香网| 亚洲久久久久久中文字幕| 在线观看66精品国产| 亚洲av美国av| 熟女人妻精品中文字幕| 18+在线观看网站| 深夜a级毛片| 久久韩国三级中文字幕| 18+在线观看网站| 日本五十路高清| а√天堂www在线а√下载| 内地一区二区视频在线| 九九在线视频观看精品| 亚洲自偷自拍三级| 可以在线观看的亚洲视频| 在线播放无遮挡| 精品久久久久久久久亚洲| 午夜福利在线观看吧| 99热这里只有是精品50| 中文字幕av成人在线电影| 美女xxoo啪啪120秒动态图| 精品午夜福利视频在线观看一区| 国语自产精品视频在线第100页| 99久久中文字幕三级久久日本| 国产淫片久久久久久久久| 亚洲成av人片在线播放无| 亚洲欧美日韩无卡精品| 亚洲精品影视一区二区三区av| 男女那种视频在线观看| 嫩草影视91久久| 91在线精品国自产拍蜜月| 精品人妻一区二区三区麻豆 | 久久久久久久久大av| 久久久国产成人免费| 亚洲国产日韩欧美精品在线观看| 欧美日韩精品成人综合77777| 性色avwww在线观看| 日日摸夜夜添夜夜添小说| 大型黄色视频在线免费观看| 午夜亚洲福利在线播放| 国产av一区在线观看免费| 日韩欧美 国产精品| 亚洲av一区综合| 中文字幕人妻熟人妻熟丝袜美| 一进一出抽搐gif免费好疼| 深爱激情五月婷婷| 欧美国产日韩亚洲一区| 12—13女人毛片做爰片一| 一级毛片久久久久久久久女| 九九爱精品视频在线观看| 精品一区二区三区人妻视频| 黄色视频,在线免费观看| 内地一区二区视频在线| 亚洲精品亚洲一区二区| 日本爱情动作片www.在线观看 | 日韩制服骚丝袜av| 人妻少妇偷人精品九色| 国产探花极品一区二区| 国产精品免费一区二区三区在线| 国产美女午夜福利| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品一及| 久久久久性生活片| 三级男女做爰猛烈吃奶摸视频| 国产黄a三级三级三级人| 亚洲精品456在线播放app| 日本黄色视频三级网站网址| 最近视频中文字幕2019在线8| 亚洲国产精品久久男人天堂| 22中文网久久字幕| 国产成人a∨麻豆精品| 日日摸夜夜添夜夜添小说| eeuss影院久久| 最近在线观看免费完整版| 伊人久久精品亚洲午夜| 国产男人的电影天堂91| 国产69精品久久久久777片| 插逼视频在线观看| 免费看美女性在线毛片视频| 十八禁国产超污无遮挡网站| 亚洲自拍偷在线| 日本欧美国产在线视频| 欧美绝顶高潮抽搐喷水| 精品午夜福利在线看| 男人狂女人下面高潮的视频| 国产精品一区二区性色av| 欧美激情在线99| 亚洲av中文字字幕乱码综合| 搡女人真爽免费视频火全软件 | 一级毛片aaaaaa免费看小| 国产不卡一卡二| 狂野欧美白嫩少妇大欣赏| 在线观看66精品国产| 欧美性感艳星| 天堂网av新在线| 国产不卡一卡二| 午夜激情欧美在线| 亚洲中文字幕日韩| 69人妻影院| 免费人成在线观看视频色| 国内揄拍国产精品人妻在线| 国产精品一区www在线观看| 看十八女毛片水多多多| 狂野欧美激情性xxxx在线观看| 亚洲精品亚洲一区二区| 天天躁日日操中文字幕| 亚洲精华国产精华液的使用体验 | avwww免费| 99热全是精品| 日本-黄色视频高清免费观看| 亚洲七黄色美女视频| 小蜜桃在线观看免费完整版高清| 色综合亚洲欧美另类图片| 成人二区视频| 精品人妻偷拍中文字幕| 男女视频在线观看网站免费| 中文资源天堂在线| 天堂√8在线中文| 久久久久久久久久久丰满| 亚洲成人精品中文字幕电影| 成人av在线播放网站| 亚洲中文字幕日韩| 禁无遮挡网站| 在线a可以看的网站| 搡老妇女老女人老熟妇| 成人精品一区二区免费| 亚洲18禁久久av| 久久久久久久久久久丰满| 美女大奶头视频| 非洲黑人性xxxx精品又粗又长| 亚洲中文字幕一区二区三区有码在线看| 女人十人毛片免费观看3o分钟| 18+在线观看网站| 国产国拍精品亚洲av在线观看| 国产乱人偷精品视频| 日韩中字成人| 桃色一区二区三区在线观看| 久久久久久九九精品二区国产| 最近手机中文字幕大全| 国语自产精品视频在线第100页| 免费看美女性在线毛片视频| 精品久久久久久久人妻蜜臀av| 99热只有精品国产| 国产精品永久免费网站| 欧美日韩精品成人综合77777| 99热全是精品| 在线观看av片永久免费下载| 男人和女人高潮做爰伦理| 亚洲成人av在线免费| 69av精品久久久久久| 欧美绝顶高潮抽搐喷水| 国产精品精品国产色婷婷| a级一级毛片免费在线观看| 国产一区亚洲一区在线观看| 午夜久久久久精精品| 深爱激情五月婷婷| 亚洲av中文字字幕乱码综合| 国产精品一区二区三区四区久久| 别揉我奶头 嗯啊视频| 国产精品,欧美在线| 亚洲国产精品国产精品| 男女下面进入的视频免费午夜| 干丝袜人妻中文字幕| ponron亚洲| 国产片特级美女逼逼视频| 高清午夜精品一区二区三区 | 一级毛片久久久久久久久女| 人人妻人人看人人澡| 久久久久久久午夜电影| 成人欧美大片| 床上黄色一级片| 99热精品在线国产| 长腿黑丝高跟| 亚洲三级黄色毛片| 国产亚洲91精品色在线| 国产成人a区在线观看| 免费不卡的大黄色大毛片视频在线观看 | 热99在线观看视频| 国产精品久久电影中文字幕| 黄片wwwwww| 久久精品国产99精品国产亚洲性色| 亚洲精品一区av在线观看| 免费在线观看成人毛片| 久久欧美精品欧美久久欧美| 国产精品一区www在线观看| 一进一出抽搐gif免费好疼| 在线免费十八禁| 久久久久久九九精品二区国产| 成人av在线播放网站| 22中文网久久字幕| 国产麻豆成人av免费视频| 嫩草影视91久久| 在线免费观看不下载黄p国产| 欧美+亚洲+日韩+国产| 午夜激情福利司机影院| 亚洲精品日韩在线中文字幕 | 日本一二三区视频观看| 全区人妻精品视频| 亚洲最大成人手机在线| 亚洲一区二区三区色噜噜| 在现免费观看毛片| 成人毛片a级毛片在线播放| 最近在线观看免费完整版| 悠悠久久av| 美女 人体艺术 gogo| 国产av在哪里看|