• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算力網(wǎng)絡(luò)部署方案分析

    2022-07-07 05:45:26王麗莉
    電信科學(xué) 2022年6期
    關(guān)鍵詞:資源

    王麗莉

    工程與應(yīng)用

    算力網(wǎng)絡(luò)部署方案分析

    王麗莉

    (中國移動通信集團(tuán)海南有限公司,海南 海口 570100)

    國家對算力網(wǎng)絡(luò)的部署提出了更高要求,電信運(yùn)營商加速落實算網(wǎng)融合工作。為解決計算和網(wǎng)絡(luò)相互協(xié)同、調(diào)度問題,在對算力網(wǎng)絡(luò)相關(guān)標(biāo)準(zhǔn)研究的基礎(chǔ)上,總結(jié)了算力網(wǎng)絡(luò)研究進(jìn)展,分析了算力網(wǎng)絡(luò)業(yè)務(wù)需求,結(jié)合電信運(yùn)營商現(xiàn)網(wǎng)實際,從算力儲備、傳輸網(wǎng)絡(luò)、網(wǎng)絡(luò)路由、協(xié)同調(diào)度4個方面,提出了算力網(wǎng)絡(luò)可持續(xù)性建設(shè)部署方案,為算力網(wǎng)絡(luò)建設(shè)初期提供參考。

    算力網(wǎng)絡(luò);路由;調(diào)度;優(yōu)化

    0 引言

    2020年4月,國家層面首次提出“算力基礎(chǔ)設(shè)施”概念。2021年5月,國家發(fā)展和改革委員會、中共中央網(wǎng)絡(luò)安全和信息化委員會辦公室、工業(yè)和信息化部、國家能源局四部委聯(lián)合印發(fā)《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》[1],明確提出布局建設(shè)全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點,發(fā)展數(shù)據(jù)中心集群,引導(dǎo)數(shù)據(jù)中心向集約化、規(guī)?;?、綠色化發(fā)展。國家樞紐節(jié)點之間進(jìn)一步打通網(wǎng)絡(luò)傳輸通道,加快實施“東數(shù)西算”工程,提升跨區(qū)域算力調(diào)度水平。通信行業(yè)積極推動算力網(wǎng)絡(luò)發(fā)展,中國移動分別于2019年、2020年發(fā)布《算力感知網(wǎng)絡(luò)技術(shù)白皮書》,并于2011年11月正式發(fā)布《中國移動算力網(wǎng)絡(luò)白皮書》[2],系統(tǒng)闡釋了算力網(wǎng)絡(luò)的產(chǎn)生背景、核心理念、應(yīng)用場景、發(fā)展路徑和技術(shù)創(chuàng)新。中國聯(lián)通發(fā)布了算力網(wǎng)絡(luò)架構(gòu)和技術(shù)體系演進(jìn)報告[3],積極推動網(wǎng)絡(luò)從“云網(wǎng)融合”向“算網(wǎng)一體”演進(jìn)。

    總體上,產(chǎn)業(yè)界對于算力網(wǎng)絡(luò)的體系架構(gòu)和邏輯功能已達(dá)成基本共識,體系架構(gòu)劃分為算網(wǎng)基礎(chǔ)設(shè)施層、編排管理層和運(yùn)營服務(wù)層?;A(chǔ)設(shè)施層基于全光網(wǎng)絡(luò)實現(xiàn)了云?邊?端算力高速互聯(lián),滿足數(shù)據(jù)無損、高效傳輸需求;編排管理層是算力網(wǎng)絡(luò)的調(diào)度中樞,通過靈活組合算網(wǎng)原子能力,向下實現(xiàn)算網(wǎng)資源的統(tǒng)一智能調(diào)度管理,向上支撐算網(wǎng)多樣化服務(wù);運(yùn)營服務(wù)層是算網(wǎng)服務(wù)能力提供平臺,為用戶提供算網(wǎng)產(chǎn)品。

    圍繞以上3個層面,對算力網(wǎng)絡(luò)開展算網(wǎng)基礎(chǔ)設(shè)施關(guān)鍵技術(shù)、編排管理關(guān)鍵技術(shù)和算網(wǎng)安全等研究工作。在基礎(chǔ)設(shè)施關(guān)鍵技術(shù)方面,文獻(xiàn)[4-7]探討了算力網(wǎng)絡(luò)關(guān)鍵技術(shù),云計算、邊緣計算和算力網(wǎng)絡(luò)的融合,面向6G的算力網(wǎng)絡(luò)分層結(jié)構(gòu)和控制技術(shù);在編排管理關(guān)鍵技術(shù)方面,文獻(xiàn)[8-9]探討了算力網(wǎng)絡(luò)的集中式、分布式和混合式3種架構(gòu)方案,提出算力網(wǎng)絡(luò)要統(tǒng)籌考慮算力需求滿足和網(wǎng)絡(luò)改造成本;面向海量邊緣設(shè)備,文獻(xiàn)[10-11]研究了基于云原生的邊緣資源統(tǒng)一納管、算力分配算法和調(diào)度機(jī)制;基于IPv6/SRv6等路由協(xié)議可編程特性,文獻(xiàn)[12-15]研究了面向多層次異構(gòu)算網(wǎng)資源的算力資源標(biāo)識、算力路由技術(shù);在算網(wǎng)安全方面,文獻(xiàn)[16-17]探討了算網(wǎng)安全參考架構(gòu)、梳理了算網(wǎng)安全支撐技術(shù),基于區(qū)塊鏈等新技術(shù)研究了算網(wǎng)信任評估與保障方案。

    目前,在算力網(wǎng)絡(luò)的架構(gòu)規(guī)劃及業(yè)務(wù)需求逐步清晰的背景下,通信行業(yè)已進(jìn)入算網(wǎng)建設(shè)的初步階段,基于電信運(yùn)營商現(xiàn)網(wǎng)實際,如何做好算力網(wǎng)絡(luò)初期規(guī)劃部署是算力網(wǎng)絡(luò)可持續(xù)建設(shè)與運(yùn)營的關(guān)鍵。當(dāng)前國家層面?zhèn)戎赜诖蛟臁坝埠怂懔Α薄⒉季纸ㄔO(shè)算力樞紐節(jié)點和數(shù)據(jù)中心集群。通信行業(yè)亟須重點關(guān)注解決“儲算力、優(yōu)網(wǎng)絡(luò)”問題,即加大“邊緣算力”部署以增加算力儲備,優(yōu)化“網(wǎng)絡(luò)”能力促進(jìn)現(xiàn)網(wǎng)平滑升級,合理科學(xué)規(guī)劃建設(shè)算網(wǎng)智能調(diào)度平臺,提升算力與網(wǎng)絡(luò)資源協(xié)同調(diào)度能力。本文從當(dāng)前算力網(wǎng)絡(luò)典型業(yè)務(wù)需求分析出發(fā),結(jié)合現(xiàn)網(wǎng)實際情況,從算力儲備、網(wǎng)絡(luò)連接、網(wǎng)絡(luò)路由、協(xié)同調(diào)度4個方面,深度探討算力網(wǎng)絡(luò)優(yōu)化方案,為算力網(wǎng)絡(luò)初期部署提供參考建議。

    1 算力網(wǎng)絡(luò)業(yè)務(wù)需求

    2021年7月,國際電信聯(lián)盟電信標(biāo)準(zhǔn)局通過了算力網(wǎng)絡(luò)框架與架構(gòu)標(biāo)準(zhǔn)[18],提出算力網(wǎng)絡(luò)的兩大類應(yīng)用場景。第一類是以邊緣計算為代表的低時延應(yīng)用場景,邊緣算力節(jié)點要具備低時延、高算力和網(wǎng)絡(luò)路由能力,網(wǎng)絡(luò)能力是算力節(jié)點不可缺少的能力,支持計算任務(wù)分類調(diào)度,將注重算力需求的AI訓(xùn)練任務(wù)部署在中心節(jié)點,將特征提取、模式匹配和對象識別等計算任務(wù)動態(tài)加載至合適的邊緣節(jié)點,云邊協(xié)同滿足低時延業(yè)務(wù)需求;第二類是以移動直播為代表的高移動性場景,直播用戶跨區(qū)域移動的情況下,算力網(wǎng)絡(luò)要根據(jù)用戶位置和算力資源分布情況為直播業(yè)務(wù)實時調(diào)度近距離的算力資源,移動直播場景如圖1所示,旅行直播用戶Y具有實時高清視頻、圖像和語音的業(yè)務(wù)需求,在城市A移動到城市B的過程中,算力網(wǎng)絡(luò)根據(jù)用戶位置變化和算力資源分布先后調(diào)度算力節(jié)點/資源池N1、N2,確保用戶體驗一致性。

    此外,以“東數(shù)西算”為典型的跨域協(xié)同場景,要求算網(wǎng)樞紐節(jié)點間網(wǎng)絡(luò)超低時延;行業(yè)數(shù)智化生產(chǎn)場景(如視覺質(zhì)檢、智能安監(jiān)),要求邊緣計算和終端執(zhí)行實時閉環(huán),云?邊?端算力節(jié)點協(xié)同要求更高;大型互聯(lián)網(wǎng)服務(wù)提供者(Internet service provider,ISP)業(yè)務(wù)優(yōu)化場景,要求應(yīng)用的不同服務(wù)按實時性調(diào)度到邊緣云和中心云;低時延、高移動性、多節(jié)點協(xié)同、安全計算等業(yè)務(wù)需求場景,要求同步規(guī)劃算網(wǎng)基礎(chǔ)設(shè)施安全能力,算力節(jié)點進(jìn)一步下沉至用戶側(cè),加快傳輸網(wǎng)絡(luò)向全光底座升級和構(gòu)建算網(wǎng)資源統(tǒng)一調(diào)度能力。

    2 算力網(wǎng)絡(luò)優(yōu)化方案

    2.1 加速算力儲備建設(shè)

    算力包括基礎(chǔ)算力、智能算力、超級算力 3類,其中超級算力由國家統(tǒng)籌布局,電信運(yùn)營算力儲備包括基礎(chǔ)算力、智能算力。在基礎(chǔ)算力儲備方面,建議電信運(yùn)營商在算網(wǎng)建設(shè)初期,重點關(guān)注國家頂層設(shè)計涉及的八大核心樞紐區(qū)域和 10個數(shù)據(jù)中心集群,響應(yīng)國家產(chǎn)業(yè)政策引導(dǎo),轉(zhuǎn)變以業(yè)務(wù)需求為中心的互聯(lián)網(wǎng)數(shù)據(jù)中心建設(shè)思路,主動做強(qiáng)、做大核心樞紐區(qū)域數(shù)據(jù)中心的基礎(chǔ)算力,滿足上架率、電能利用效率等指標(biāo)要求,同時面向數(shù)據(jù)中心東西向流量,構(gòu)建低時延、確定性的數(shù)據(jù)中心高速互聯(lián)網(wǎng)絡(luò),支撐區(qū)域內(nèi)、跨區(qū)域算力資源協(xié)同發(fā)展的基礎(chǔ)設(shè)施建設(shè)。

    目前,國內(nèi)智能算力中心由阿里、騰訊、華為、商湯等技術(shù)創(chuàng)新企業(yè)主導(dǎo),面向商業(yè)市場提供算力服務(wù),同時將AI應(yīng)用能力溢出提供人工智能云服務(wù)。2020年年底國家信息中心信息化和產(chǎn)業(yè)發(fā)展部發(fā)布了《智能計算中心規(guī)劃建設(shè)指南》,建議采用政府主導(dǎo)、企業(yè)承建、聯(lián)合運(yùn)營的政企合作建設(shè)運(yùn)營的框架。智能算力融合了大數(shù)據(jù)、人工智能技術(shù),是提供“連接+計算+能力”服務(wù)的關(guān)鍵,建議電信運(yùn)營商積極開展智算中心的能力儲備,主動與政府、創(chuàng)新企業(yè)聯(lián)合,結(jié)合區(qū)域業(yè)務(wù)發(fā)展特征趨勢,發(fā)揮以“網(wǎng)”促“智”優(yōu)勢,謀劃好智算中心建設(shè)。此外,為滿足低時延、高移動性的應(yīng)用場景要求,電信運(yùn)營商要加快云計算、內(nèi)容分發(fā)網(wǎng)絡(luò)、大數(shù)據(jù)等多種業(yè)態(tài)融合,加速部署省?市?縣三級算力節(jié)點,重點要以邊緣計算為視角,加快邊緣計算接入網(wǎng)、邊緣計算內(nèi)部網(wǎng)和邊緣計算互聯(lián)網(wǎng)絡(luò)建設(shè),建設(shè)優(yōu)化拉通中心云、各級邊緣云的云間互聯(lián)專網(wǎng),“以網(wǎng)強(qiáng)算”發(fā)展算力網(wǎng)絡(luò)。

    2.2 優(yōu)化網(wǎng)絡(luò)連接能力

    算力網(wǎng)絡(luò)部署初期要實現(xiàn)網(wǎng)隨算動,網(wǎng)絡(luò)基礎(chǔ)設(shè)施要以算力高效互聯(lián)為目標(biāo)完成升級演進(jìn)。算力節(jié)點間互聯(lián)示意圖如圖2所示,國家級八大樞紐算力節(jié)點間,通過一干傳輸網(wǎng)絡(luò)建立樞紐節(jié)點之間的“大容量”直聯(lián)網(wǎng)絡(luò);省級算力、地市算力以及縣域邊緣算力節(jié)點間,通過省內(nèi)傳輸干線網(wǎng)絡(luò)互聯(lián)構(gòu)建低時延的樞紐內(nèi)超快訪問能力。

    2.2.1 傳輸系統(tǒng)方案建議

    目前,國內(nèi)各大電信運(yùn)營商均已建成規(guī)模龐大的基礎(chǔ)網(wǎng)絡(luò),軟件定義網(wǎng)絡(luò)技術(shù)加快部署應(yīng)用,面向多樣化業(yè)務(wù)提供差異化、智能化通道。高品質(zhì)算力網(wǎng)絡(luò)要能快速感知應(yīng)用及算力,實現(xiàn)對算力的動態(tài)調(diào)度,最終將任務(wù)路由到合適的計算節(jié)點,提供算力智能調(diào)度和確定性連接服務(wù)。因此,超寬、靈活的全光網(wǎng)基礎(chǔ)設(shè)施底座是算力網(wǎng)絡(luò)部署的基石,全光網(wǎng)提供極簡、極低時延架構(gòu),最大限度消除距離限制。

    在技術(shù)層面,以近兩年規(guī)?;瘧?yīng)用的光傳送網(wǎng)絡(luò)(optical transport network,OTN)、切片分組網(wǎng)絡(luò)(slicing packet network,SPN)兩種傳輸系統(tǒng)組網(wǎng)方案為例,OTN的光交叉連接(optical cross-connect,OXC)技術(shù)在省際、省內(nèi)骨干傳送網(wǎng)中逐步推廣應(yīng)用,相比傳統(tǒng)的光交換技術(shù),OXC采用立交橋式的全光交換和全光調(diào)度架構(gòu),實現(xiàn)業(yè)務(wù)一跳直達(dá),既降低了網(wǎng)絡(luò)傳輸時延,又減少了對其他路徑資源的占用,這種“高架”直達(dá)網(wǎng)絡(luò),適用于高級別算力節(jié)點間調(diào)度。為支撐政企品質(zhì)專線發(fā)展,目前三大電信運(yùn)營商均已建設(shè)超過200個覆蓋全國核心城市的政企OTN,普遍具備超高安全、超大帶寬、超高可靠、超低時延、靈活彈性等優(yōu)點。

    SPN的靈活以太網(wǎng)(flexible ethernet,F(xiàn)lexE)技術(shù)也已在城域骨干傳送網(wǎng)全面應(yīng)用,主要承載有切片需求的5G業(yè)務(wù)。FlexE切片實現(xiàn)了多業(yè)務(wù)的硬性隔離,例如,信令、數(shù)據(jù)業(yè)務(wù)由不同切片隔離承載,數(shù)據(jù)切片突發(fā)擁塞不影響信令切片。FlexE切片帶寬可以動態(tài)彈性調(diào)整,不影響已經(jīng)承載的業(yè)務(wù)。此外,F(xiàn)lexE交叉通道可實現(xiàn)端口突發(fā)擁塞情況下,業(yè)務(wù)亞秒級抖動轉(zhuǎn)發(fā)。SPN支持邊緣計算算力切片示意圖如圖3所示,針對5G基站的無線接入、視頻監(jiān)控設(shè)備的有線接入場景,SPN面向不同業(yè)務(wù)分別提供切片服務(wù),保障業(yè)務(wù)可靠性。

    綜上所述,在部署算力節(jié)點間的傳輸網(wǎng)絡(luò)時,要綜合考慮時延、帶寬、投資效益等因素,面向不同層級選擇合適的技術(shù)解決方案。不同層級算力節(jié)點對應(yīng)的傳輸技術(shù)方案見表1,在縣級及以上算力節(jié)點間,優(yōu)選基于OXC的OTN,園區(qū)等現(xiàn)場邊緣算力節(jié)點間,選擇SPN+FlexE技術(shù),保障低時延。此外,建議電信運(yùn)營商融合應(yīng)用多種技術(shù)棧,引入全光網(wǎng)運(yùn)力地圖技術(shù)、光業(yè)務(wù)單元(optical service unit,OSU)帶寬調(diào)整技術(shù),利用OSU彈性硬管道、2 MB~100 GB無極調(diào)速特性,基于業(yè)務(wù)感知實現(xiàn)“靈活入算”,城市光網(wǎng)實現(xiàn)“一跳入算”;采用主備災(zāi)三路由,應(yīng)用光電協(xié)同的自動交換光網(wǎng)絡(luò)技術(shù),實現(xiàn)99.999%的超高可靠性。

    圖3 SPN支持邊緣計算算力切片示意圖

    表1 不同層級算力節(jié)點對應(yīng)的傳輸技術(shù)方案

    2.2.2 傳輸光纜方案建議

    在部署算力節(jié)點互聯(lián)網(wǎng)絡(luò)時,電信運(yùn)營商要充分考慮傳輸網(wǎng)絡(luò)升級演進(jìn)復(fù)雜度,在光纜網(wǎng)絡(luò)層面要做到提前儲備、持續(xù)完善骨干路由建設(shè)。一方面,光信號在光纜中的傳輸時延(約每200 km傳輸時延為1 ms)遠(yuǎn)超過設(shè)備轉(zhuǎn)發(fā)時延(單設(shè)備約數(shù)十微秒,F(xiàn)lexE交換低至數(shù)微秒);另一方面,光纜管道租賃建設(shè)涉及眾多協(xié)調(diào)問題,骨干光纜建設(shè)周期通常以2年為周期計算,遠(yuǎn)大于設(shè)備工程周期。

    對于中心算力節(jié)點間可靠直達(dá)的光纜路由建設(shè),以長三角地區(qū)算力網(wǎng)絡(luò)國家樞紐節(jié)點為例,長三角生態(tài)綠色一體化發(fā)展示范區(qū)數(shù)據(jù)中心集群、蕪湖數(shù)據(jù)中心集群應(yīng)充分利用高鐵、高速網(wǎng)絡(luò),優(yōu)化、完善跨區(qū)、跨市間的直達(dá)光纜路由建設(shè),提高光纜可靠性、降低傳輸時延。

    對于省內(nèi)為算力網(wǎng)絡(luò)組網(wǎng)建設(shè)的骨干層光纜,建議采用科學(xué)合理的光纜建設(shè)優(yōu)先級評估方法,保障高優(yōu)先級光纜建設(shè)。為確??陀^性,應(yīng)充分考慮內(nèi)、外部因素,合理評估不同層級光纜網(wǎng)絡(luò)建設(shè)次序。骨干光纜建設(shè)優(yōu)先級評定見表2,評定光纜建設(shè)優(yōu)先級時,統(tǒng)籌考慮纖芯擴(kuò)容、多環(huán)共臂、過江儲備等內(nèi)部動因,也要考慮租用協(xié)調(diào)等外部不利因素,最終確定不同段落光纜的建設(shè)優(yōu)先級,為后續(xù)建設(shè)計劃提供參考依據(jù)。

    2.3 優(yōu)化網(wǎng)絡(luò)路由能力

    “十四五”規(guī)劃期間,電信運(yùn)營商肩負(fù)著千兆寬帶建設(shè)任務(wù),面向大眾和企業(yè)提供網(wǎng)絡(luò)能力。目前電信運(yùn)營商的邊緣算力已逐步下沉至縣域,各省基本形成覆蓋省?市?縣的三級算力資源網(wǎng)絡(luò),在家庭、個人終端等社會算力未引入算力網(wǎng)絡(luò)之前,針對云邊算力節(jié)點,建議初期可采用集中式的算網(wǎng)控制面架構(gòu),實現(xiàn)基于差異化調(diào)度策略的算力資源路由功能。以某視頻直播用戶在城市C的縣C1區(qū)域發(fā)起算力資源請求為例,縣C1用戶周邊相關(guān)算力資源池的網(wǎng)絡(luò)時延、計算及存儲資源情況見表3。

    具體步驟如下。

    步驟1 基礎(chǔ)信息收集。控制器收集網(wǎng)絡(luò)拓?fù)湫畔?、路由狀態(tài)信息,生成基礎(chǔ)網(wǎng)絡(luò)拓?fù)浜突A(chǔ)路由表??刂破魇占懔?jié)點上報的算力資源信息,包括計算資源總量/剩余數(shù)量、存儲資源總量/剩余數(shù)量等。

    步驟2 制定算力資源調(diào)度策略。根據(jù)不同的業(yè)務(wù)請求,制定并應(yīng)用差異化的算力資源調(diào)度策略?;跁r延敏感業(yè)務(wù)的資源池調(diào)度策略如圖4所示,針對時延敏感型業(yè)務(wù),可調(diào)度的算力資源池按照時延從低到高排序,結(jié)合資源池的利用率和空余資源情況,優(yōu)選低時延的算力節(jié)點。

    步驟3 生成優(yōu)化后的算力路由表?;诂F(xiàn)有網(wǎng)絡(luò)路由表基礎(chǔ)信息,引入調(diào)度后的算力節(jié)點信息,生成新的算力路由表。算力路由表見表4,至少包括業(yè)務(wù)源IP地址、目的資源池IP地址、下一跳接口、時延、請求使用的計算存儲資源信息。

    隨著手機(jī)、計算機(jī)等泛在終端成為算力末梢節(jié)點,算力網(wǎng)絡(luò)要實時感知網(wǎng)絡(luò)、計算、存儲等多維度資源及其服務(wù)狀態(tài)。前期工作研究了計算優(yōu)先網(wǎng)絡(luò)(compute first networking,CFN)協(xié)議,通過在邊界網(wǎng)關(guān)協(xié)議報文中擴(kuò)展字段攜帶算力相關(guān)信息,實現(xiàn)算力節(jié)點信息的全網(wǎng)通告擴(kuò)散。目前IPv6可延展至從城域網(wǎng)、骨干網(wǎng)再至接入網(wǎng)、數(shù)據(jù)中心等各個網(wǎng)絡(luò)層級,并且通過SRv6可實現(xiàn)云、網(wǎng)、端全向拉通。在SRv6網(wǎng)絡(luò)中,各個網(wǎng)絡(luò)切片由不同的路由分段和對應(yīng)的路由分段標(biāo)識集合組成。建議引入并試點應(yīng)用基于SRv6的算力路由技術(shù),無須調(diào)整現(xiàn)有的地址規(guī)劃和路由規(guī)劃,在網(wǎng)絡(luò)入口生成“網(wǎng)絡(luò)+算力”的新型路由表,可實現(xiàn)用戶計算需求和算網(wǎng)資源的最優(yōu)匹配。

    表3 縣C1用戶周邊相關(guān)算力資源池的網(wǎng)絡(luò)時延、計算及存儲資源情況

    圖4 基于時延敏感業(yè)務(wù)的資源池調(diào)度策略

    表4 算力路由表

    此外,面向安全服務(wù),基于中心云、邊緣云已部署的應(yīng)用級別安全防護(hù)能力(如Web應(yīng)用防護(hù)系統(tǒng)、防火墻、全流量分析),可利用SRv6的服務(wù)功能鏈技術(shù),通過網(wǎng)絡(luò)將各類安全能力串接起來,為用戶提供云化的安全增值服務(wù)。

    2.4 規(guī)劃算網(wǎng)協(xié)同調(diào)度能力

    算力網(wǎng)絡(luò)業(yè)務(wù)近期主要聚焦在云網(wǎng)融合產(chǎn)品,基于技術(shù)要素分析,將遠(yuǎn)期算力網(wǎng)絡(luò)業(yè)務(wù)演進(jìn)方向,聚焦入云、多云多地協(xié)同、終端算力協(xié)同、云邊協(xié)同、云?邊?端協(xié)同五大類核心業(yè)務(wù)及網(wǎng)絡(luò)連接類業(yè)務(wù),其中網(wǎng)絡(luò)連接類業(yè)務(wù)未來將逐漸和其他業(yè)務(wù)融合,形成算力網(wǎng)絡(luò)全融合產(chǎn)品。編排管理層作為算力網(wǎng)絡(luò)的調(diào)度中樞,其建設(shè)應(yīng)是一個漸進(jìn)迭代過程,當(dāng)前電信行業(yè)要做好算網(wǎng)智慧調(diào)度中心架構(gòu)規(guī)劃研究工作。結(jié)合電信行業(yè)云網(wǎng)融合發(fā)展方向,建議算網(wǎng)調(diào)度中心初期主要面向云網(wǎng)協(xié)同,拉通云與網(wǎng)領(lǐng)域的生產(chǎn)運(yùn)營系統(tǒng),實現(xiàn)云網(wǎng)資源和業(yè)務(wù)的統(tǒng)一編排調(diào)度;中后期逐步增強(qiáng)對端側(cè)算力、社會算力的編排管理,引入AI、意圖引擎、數(shù)字孿生等技術(shù),演進(jìn)為面向“云、網(wǎng)、安、邊、數(shù)、智、端、鏈”的算網(wǎng)統(tǒng)一調(diào)度管理中心。在架構(gòu)上,算網(wǎng)智慧調(diào)度中心向上支撐算網(wǎng)運(yùn)營層,向下對接云網(wǎng)控制器,算網(wǎng)統(tǒng)一編排管理示意圖如圖5所示,建議初期規(guī)劃重點關(guān)注“感知、編排、融智、開放”四大功能,具體如下。

    圖5 算網(wǎng)統(tǒng)一編排管理示意圖

    (1)算網(wǎng)資源感知平臺功能

    算網(wǎng)資源感知平臺主要面向底層的算力、網(wǎng)絡(luò)、存儲等資源,對其進(jìn)行統(tǒng)一納管,包括裸金屬、虛擬機(jī)、容器等算力資源。通過對底層算力資源的抽象,實現(xiàn)算力、網(wǎng)絡(luò)和數(shù)據(jù)的統(tǒng)一標(biāo)識、度量和管理,以及根據(jù)編排結(jié)果向云網(wǎng)控制器下發(fā)控制指令。

    (2)算網(wǎng)跨域編排中心功能

    算網(wǎng)跨域編排中心將資源感知調(diào)度層的能力以服務(wù)化方式提供注冊、使用、管理。針對算網(wǎng)業(yè)務(wù)需求,對算力、網(wǎng)絡(luò)、數(shù)據(jù)等資源或原子服務(wù)能力開展業(yè)務(wù)設(shè)計、流程編排和資源編排,實現(xiàn)算網(wǎng)業(yè)務(wù)的一體化編排以及業(yè)務(wù)全生命周期管理。

    (3)算網(wǎng)融智平臺功能

    算網(wǎng)融智平臺引入大數(shù)據(jù)、AI等技術(shù),基于算網(wǎng)全局視角,對全域資源進(jìn)行智能感知、智能設(shè)計、智能調(diào)優(yōu),增強(qiáng)算網(wǎng)融合類業(yè)務(wù)服務(wù)能力。

    (4)算網(wǎng)能力開放平臺功能

    算網(wǎng)能力開放平臺面向算網(wǎng)運(yùn)營層提供原子化服務(wù)能力,統(tǒng)一呈現(xiàn)算力網(wǎng)絡(luò)服務(wù)目錄、資源視圖、運(yùn)營視圖等;響應(yīng)、解析算網(wǎng)運(yùn)營層下達(dá)的業(yè)務(wù)需求,根據(jù)具體業(yè)務(wù)需求分發(fā)業(yè)務(wù)。

    在部署方案上,建議算網(wǎng)智慧調(diào)度中心面向業(yè)務(wù)采用“兩級部署,一級管理”模式,一級中心負(fù)責(zé)跨區(qū)算力網(wǎng)絡(luò)、全國性社會算力資源的統(tǒng)一管理、調(diào)度和編排,二級中心負(fù)責(zé)區(qū)域內(nèi)、省級算力的統(tǒng)一管理、調(diào)度和編排,兩級中心在邏輯上集中,對外提供統(tǒng)一化、標(biāo)準(zhǔn)化服務(wù)。隨著5G切片、云專線等業(yè)務(wù)逐步邁向集中化規(guī)劃、受理、開通,逐步增加一級中心直接管理,強(qiáng)化一級中心,保留極少量區(qū)域內(nèi)或省內(nèi)個性化業(yè)務(wù)由二級中心管理,最終全面演進(jìn)至一級中心高度、高效集中管理模式。在技術(shù)上采用云原生、微服務(wù)的分布式架構(gòu)部署方式,滿足智慧調(diào)度中心的彈性部署需求。

    3 結(jié)束語

    當(dāng)前算力網(wǎng)絡(luò)規(guī)劃建設(shè)進(jìn)入關(guān)鍵期,通過總結(jié)研究與算力網(wǎng)絡(luò)相關(guān)的工作進(jìn)展,在分析算力網(wǎng)絡(luò)主要業(yè)務(wù)需求場景的基礎(chǔ)上,結(jié)合電信運(yùn)營商當(dāng)前網(wǎng)絡(luò)能力差距,按照國家頂層設(shè)計框架、產(chǎn)業(yè)政策牽引,圍繞加速算力儲備建設(shè)、優(yōu)化網(wǎng)絡(luò)連接能力、優(yōu)化網(wǎng)絡(luò)路由能力、規(guī)劃算網(wǎng)協(xié)調(diào)調(diào)度能力4個方面,分析了算力網(wǎng)絡(luò)初期階段的網(wǎng)絡(luò)建設(shè)部署思路,為近期開展算力網(wǎng)絡(luò)相關(guān)工作部署提供參考。后續(xù)隨著各類商業(yè)模式的逐步明確,進(jìn)一步深入開展對滿足特定業(yè)務(wù)場景的算網(wǎng)一體承載方案研究。

    [1] 國家發(fā)展和改革委員會, 中共中央網(wǎng)絡(luò)安全和信息化委員辦公室,工業(yè)和信息化部, 等. 全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案[R]. 2021.

    National Development and Reform Commission, office of central cyberspace Affairs Commission, Ministry of Industry and Information Technology of the Reoples Republic of China, et al. Implementation plan for computing hub of collaborative innovation system of national integrated big data center[R]. 2021.

    [2] 中國移動. 算力網(wǎng)絡(luò)白皮書[R]. 2021.

    China Mobile Communications Group Co., Ltd.. White paper of computing power network[R]. 2021.

    [3] 中國聯(lián)通. 中國聯(lián)通算力網(wǎng)絡(luò)白皮書[R]. 2019.

    China Unicom. White paper of China Unicom computing power network[R]. 2019.

    [4] 姚惠娟, 陸璐, 段曉東. 算力感知網(wǎng)絡(luò)架構(gòu)與關(guān)鍵技術(shù)[J]. 中興通訊技術(shù), 2021, 27(3): 7-11.

    YAO H J, LU L, DUAN X D. Architecture and key technologies for computing-aware networking[J]. ZTE Technology Journal, 2021, 27(3): 7-11.

    [5] 蔣林濤. 云計算、邊緣計算和算力網(wǎng)絡(luò)[J]. 信息通信技術(shù), 2020, 14(4): 4-8.

    JIANG L T. Cloud computing, edge computing and computing power network[J]. Information and Communications Technologies, 2020, 14(4): 4-8.

    [6] 何濤, 曹暢, 唐雄燕, 等. 面向6G需求的算力網(wǎng)絡(luò)技術(shù)[J]. 移動通信, 2020, 44(6): 131-135.

    HE T, CAO C, TANG X Y, et al. Research on computing power network technology for 6G requirements[J]. Mobile Communications, 2020, 44(6): 131-135.

    [7] 雷波, 陳運(yùn)清. 邊緣計算與算力網(wǎng)絡(luò): 5G+AI時代的新型算力平臺與網(wǎng)絡(luò)連接[J]. 中國信息化, 2020(12): 113.

    LEI B, CHEN Y Q. Edge computing and computing power network: a new computing power platform and network connection in 5G+AIera[J]. Zhongguo Xinxihua, 2020(12): 113.

    [8] 黃光平, 羅鑒, 周建鋒. 算力網(wǎng)絡(luò)架構(gòu)與場景分析[J]. 信息通信技術(shù), 2020, 14(4): 16-22.

    HUANG G P, LUO J, ZHOU J F. Analysis of computation network architecture and according scenarios[J]. Information and Communications Technologies, 2020, 14(4): 16-22.

    [9] 段曉東, 姚惠娟, 付月霞, 等. 面向算網(wǎng)一體化演進(jìn)的算力網(wǎng)絡(luò)技術(shù)[J]. 電信科學(xué), 2021, 37(10): 76-85.

    DUAN X D, YAO H J, FU Y X, et al. Computing force network technologies for computing and network integration evolution[J]. Telecommunications Science, 2021, 37(10): 76-85.

    [10] 李銘軒, 曹暢, 唐雄燕, 等. 面向算力網(wǎng)絡(luò)的邊緣資源調(diào)度解決方案研究[J]. 數(shù)據(jù)與計算發(fā)展前沿, 2020, 2(4): 80-91.

    LI M X, CAO C, TANG X Y, et al. Research on edge resource scheduling solutions for computing power network[J]. Frontiers of Data & Computing, 2020, 2(4): 80-91.

    [11] 狄箏, 曹一凡, 仇超, 等. 新型算力網(wǎng)絡(luò)架構(gòu)及其應(yīng)用案例分析[J].計算機(jī)應(yīng)用, 2022:1-7.

    DI Z, CAO Y F, QIU C, et al. New computing power network architecture and its application case analysis[J]. Journal of Computer Application, 2022: 1-7.

    [12] 張帥, 曹暢, 唐雄燕. 基于SRv6的算力網(wǎng)絡(luò)技術(shù)體系研究[J]. 中興通訊技術(shù), 2022, 28(1): 11-15.

    ZHANG S, CAO C, TANG X Y. Computing power network technology architecture based on SRv6[J]. ZTE Technology Journal, 2022, 28(1): 11-15.

    [13] 黃光平, 史偉強(qiáng), 譚斌. 基于SRv6的算力網(wǎng)絡(luò)資源和服務(wù)編排調(diào)度[J]. 中興通訊技術(shù), 2021, 27(3): 23-28.

    HUANG G P, SHI W Q, TAN B. Computing power network resources based on SRv6 and its service arrangement and scheduling[J]. ZTE Technology Journal, 2021, 27(3): 23-28.

    [14] 李銘軒, 常培, 崔童, 等. 面向FaaS的算網(wǎng)異構(gòu)資源調(diào)度技術(shù)[J]. 信息通信技術(shù), 2021, 15(4): 44-49, 58.

    LI M X, CHANG P, CUI T, et al. FaaS-oriented computing network heterogeneous resource scheduling technology[J]. Information and Communications Technologies, 2021, 15(4): 44-49, 58.

    [15] 孫鈺坤, 張興, 雷波. 邊緣算力網(wǎng)絡(luò)中智能算力感知路由分配策略研究[J]. 無線電通信技術(shù), 2022, 48(1): 60-67.

    SUN Y K, ZHANG X, LEI B. Study on intelligent computing aware route allocation policy in edge computing-aware networks[J]. Radio Communications Technology, 2022, 48(1): 60-67.

    [16] 邱勤, 徐天妮, 于樂, 等. 算力網(wǎng)絡(luò)安全架構(gòu)與數(shù)據(jù)安全治理技術(shù)[J]. 信息安全研究, 2022, 8(4): 340-350.

    QIU Q, XU T N, YU L, et al. Computing force network security architecture and data security governance technology[J]. Journalof Information Security Research, 2022, 8(4): 340-350.

    [17] 溫瑤, 陸晶晶, 盧華, 等. 融合區(qū)塊鏈的算力網(wǎng)絡(luò)信任評估與保障方案研究[J]. 南京郵電大學(xué)學(xué)報(自然科學(xué)版), 2021, 41(4): 99-106.

    WEN Y, LU J J, LU H, et al. Blockchain-based trust evaluation and guarantee scheme for computing power network[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science Edition), 2021, 41(4): 99-106.

    [18] ITU-T. Computing power network-framework and architecture:Y.2501[S]. 2021.

    Construction scheme analysis of computing force network

    WANG Lili

    China Mobile Group Hainan Co., Ltd., Haikou570100, China

    The government puts forward higher requirements for the deployment of computing force network (CFN), so the telecom operators accelerate the implementation of computing network integration. Aiming to solve the problems of computing and network coordination and scheduling, based on the study of standards related to CFN, the research progress of CFN was summarized, the business requirements of CFN were analyzed, combined with the current reality of telecom operators, the deployment scheme of sustainable construction of CFN was put forward, which concerned with computing power reserve, transmission network, network routing and intelligent scheduling, it provides a reference for the early stage of CFN construction.

    computing force network, routing, scheduling, optimization

    TN914

    A

    10.11959/j.issn.1000?0801.2022134

    2022?03?02;

    2022?06?08

    王麗莉(1976? ),女,中國移動通信集團(tuán)海南有限公司副總經(jīng)理,主要從事通信新技術(shù)研究、通信網(wǎng)絡(luò)規(guī)劃優(yōu)化等方面的工作。

    猜你喜歡
    資源
    讓有限的“資源”更有效
    污水磷資源回收
    基礎(chǔ)教育資源展示
    崛起·一場青銅資源掠奪戰(zhàn)
    一樣的資源,不一樣的收獲
    我給資源分分類
    資源回收
    做好綠色資源保護(hù)和開發(fā)
    資源再生 歡迎訂閱
    資源再生(2017年3期)2017-06-01 12:20:59
    激活村莊內(nèi)部治理資源
    決策(2015年9期)2015-09-10 07:22:44
    色婷婷av一区二区三区视频| 日本vs欧美在线观看视频| 午夜日本视频在线| 中文字幕人妻熟女乱码| 欧美日韩亚洲国产一区二区在线观看 | 亚洲av综合色区一区| 18禁观看日本| 欧美激情 高清一区二区三区| 亚洲av电影在线进入| 男女免费视频国产| 精品国产乱码久久久久久小说| 国产一区二区在线观看av| 国产97色在线日韩免费| 日日摸夜夜添夜夜爱| 好男人视频免费观看在线| 欧美日韩av久久| 老汉色∧v一级毛片| 青春草视频在线免费观看| 欧美黄色片欧美黄色片| 日韩电影二区| 国产一级毛片在线| 国产亚洲精品第一综合不卡| 九草在线视频观看| 视频在线观看一区二区三区| 中文字幕色久视频| 久久综合国产亚洲精品| 国产 精品1| 欧美日韩亚洲高清精品| 一个人免费看片子| 大香蕉久久网| 一区二区三区精品91| 搡女人真爽免费视频火全软件| 自拍欧美九色日韩亚洲蝌蚪91| 我的亚洲天堂| 麻豆乱淫一区二区| 日韩一区二区视频免费看| 成人亚洲精品一区在线观看| 街头女战士在线观看网站| 99久久中文字幕三级久久日本| 在线观看国产h片| 性色avwww在线观看| 国产亚洲一区二区精品| 久久狼人影院| 欧美日韩综合久久久久久| 老鸭窝网址在线观看| 午夜av观看不卡| 自拍欧美九色日韩亚洲蝌蚪91| 91精品国产国语对白视频| 欧美精品亚洲一区二区| 欧美在线黄色| 九草在线视频观看| 亚洲精品,欧美精品| 精品久久蜜臀av无| 亚洲欧美一区二区三区久久| 午夜精品国产一区二区电影| 国产精品二区激情视频| 亚洲精品视频女| 一级片'在线观看视频| 亚洲成人手机| 韩国高清视频一区二区三区| 人妻 亚洲 视频| 老司机影院毛片| 在线观看免费日韩欧美大片| 久久影院123| 又黄又粗又硬又大视频| av在线app专区| 在线观看人妻少妇| 国产伦理片在线播放av一区| 2022亚洲国产成人精品| 欧美少妇被猛烈插入视频| 色播在线永久视频| 如何舔出高潮| 亚洲久久久国产精品| 人成视频在线观看免费观看| 亚洲一级一片aⅴ在线观看| 日本av手机在线免费观看| 午夜福利影视在线免费观看| 高清在线视频一区二区三区| videosex国产| 国产国语露脸激情在线看| 成人影院久久| 丰满饥渴人妻一区二区三| 亚洲国产精品国产精品| 看十八女毛片水多多多| 国产精品国产三级专区第一集| 美女国产视频在线观看| 亚洲av电影在线观看一区二区三区| 亚洲四区av| 久久精品国产鲁丝片午夜精品| 欧美最新免费一区二区三区| 欧美日韩成人在线一区二区| 免费av中文字幕在线| 午夜激情av网站| 一个人免费看片子| 精品国产乱码久久久久久男人| 丝袜人妻中文字幕| 欧美日韩亚洲国产一区二区在线观看 | 久久久久久久精品精品| 在线免费观看不下载黄p国产| 久久久久久人妻| 久久av网站| av网站免费在线观看视频| 日韩不卡一区二区三区视频在线| 久久97久久精品| 少妇熟女欧美另类| 免费在线观看完整版高清| 国产白丝娇喘喷水9色精品| 日韩av不卡免费在线播放| 国产97色在线日韩免费| 国产精品久久久久成人av| 欧美成人午夜免费资源| 亚洲经典国产精华液单| 亚洲色图 男人天堂 中文字幕| 国产精品亚洲av一区麻豆 | 国产成人精品久久二区二区91 | 欧美精品一区二区大全| 夫妻性生交免费视频一级片| 日本-黄色视频高清免费观看| 老鸭窝网址在线观看| 天天躁夜夜躁狠狠久久av| 久久精品亚洲av国产电影网| 亚洲色图 男人天堂 中文字幕| 亚洲欧美成人综合另类久久久| 七月丁香在线播放| √禁漫天堂资源中文www| 亚洲av电影在线观看一区二区三区| 亚洲精品av麻豆狂野| 日韩 亚洲 欧美在线| 亚洲欧美色中文字幕在线| 亚洲经典国产精华液单| 日韩制服骚丝袜av| 咕卡用的链子| 亚洲国产毛片av蜜桃av| 成人毛片a级毛片在线播放| 欧美bdsm另类| 人人妻人人添人人爽欧美一区卜| 丰满少妇做爰视频| 欧美人与性动交α欧美软件| 中文字幕人妻丝袜制服| 国产在线免费精品| 成人亚洲欧美一区二区av| 亚洲第一区二区三区不卡| 国产精品二区激情视频| 亚洲男人天堂网一区| 亚洲精华国产精华液的使用体验| 在线精品无人区一区二区三| 欧美最新免费一区二区三区| 麻豆av在线久日| 亚洲熟女精品中文字幕| 日本午夜av视频| 久久这里只有精品19| 在线观看免费日韩欧美大片| 菩萨蛮人人尽说江南好唐韦庄| 国产极品粉嫩免费观看在线| 日本wwww免费看| 观看av在线不卡| 亚洲一级一片aⅴ在线观看| 看免费av毛片| 曰老女人黄片| 男女午夜视频在线观看| 黄色配什么色好看| 美女大奶头黄色视频| 777米奇影视久久| 色播在线永久视频| 女人被躁到高潮嗷嗷叫费观| 欧美黄色片欧美黄色片| 亚洲精品视频女| 欧美精品国产亚洲| 天天躁日日躁夜夜躁夜夜| 国产亚洲精品第一综合不卡| 国产成人精品久久二区二区91 | 亚洲视频免费观看视频| 欧美日韩精品成人综合77777| 久久国产亚洲av麻豆专区| 极品少妇高潮喷水抽搐| 男女免费视频国产| 午夜久久久在线观看| 九色亚洲精品在线播放| 欧美av亚洲av综合av国产av | 国产欧美亚洲国产| 国产欧美日韩综合在线一区二区| 我的亚洲天堂| 伊人久久国产一区二区| 大陆偷拍与自拍| 精品一区二区三区四区五区乱码 | 欧美精品亚洲一区二区| 亚洲精华国产精华液的使用体验| 最黄视频免费看| 91精品国产国语对白视频| 999久久久国产精品视频| 九草在线视频观看| 精品一区二区三区四区五区乱码 | 国产97色在线日韩免费| 色婷婷久久久亚洲欧美| 国产日韩欧美在线精品| 日韩人妻精品一区2区三区| 91久久精品国产一区二区三区| 国产精品国产三级国产专区5o| 免费看不卡的av| 汤姆久久久久久久影院中文字幕| 久久青草综合色| 女的被弄到高潮叫床怎么办| 国产精品一区二区在线观看99| 美女国产视频在线观看| 亚洲欧美一区二区三区国产| 中文字幕人妻丝袜一区二区 | 日韩大片免费观看网站| 2021少妇久久久久久久久久久| 午夜影院在线不卡| 最新的欧美精品一区二区| 成人漫画全彩无遮挡| 亚洲av综合色区一区| 九草在线视频观看| 国产男人的电影天堂91| 在现免费观看毛片| 精品人妻在线不人妻| 边亲边吃奶的免费视频| av一本久久久久| 黄网站色视频无遮挡免费观看| 国产探花极品一区二区| 香蕉国产在线看| 日日爽夜夜爽网站| 新久久久久国产一级毛片| 国产免费福利视频在线观看| 多毛熟女@视频| 韩国av在线不卡| 十八禁网站网址无遮挡| 亚洲伊人久久精品综合| 女性被躁到高潮视频| 一区二区日韩欧美中文字幕| 黄片无遮挡物在线观看| 啦啦啦在线免费观看视频4| 亚洲av在线观看美女高潮| 欧美xxⅹ黑人| 欧美中文综合在线视频| 国产精品久久久久久精品古装| 亚洲人成77777在线视频| 国产成人91sexporn| 一本久久精品| 老汉色∧v一级毛片| 黄片小视频在线播放| 熟女av电影| 最近手机中文字幕大全| 综合色丁香网| 成人二区视频| 久久久精品免费免费高清| 你懂的网址亚洲精品在线观看| 精品国产一区二区久久| 性高湖久久久久久久久免费观看| 亚洲美女黄色视频免费看| 久久ye,这里只有精品| 九色亚洲精品在线播放| 免费少妇av软件| 宅男免费午夜| 久久99一区二区三区| 国产黄色免费在线视频| 久久精品国产综合久久久| 在线观看一区二区三区激情| 亚洲av中文av极速乱| 午夜免费鲁丝| 国产深夜福利视频在线观看| 国产福利在线免费观看视频| www.精华液| 国产日韩欧美视频二区| 日本黄色日本黄色录像| 成人国产av品久久久| 少妇 在线观看| 日韩电影二区| 色网站视频免费| 国产成人91sexporn| 亚洲四区av| 久久精品aⅴ一区二区三区四区 | 精品人妻熟女毛片av久久网站| 婷婷色麻豆天堂久久| 一级片免费观看大全| 国产麻豆69| 观看美女的网站| 国产精品久久久久成人av| 在线 av 中文字幕| 香蕉精品网在线| 老女人水多毛片| 国产成人精品在线电影| 香蕉国产在线看| 亚洲情色 制服丝袜| www.自偷自拍.com| 肉色欧美久久久久久久蜜桃| 精品午夜福利在线看| 亚洲精品第二区| 80岁老熟妇乱子伦牲交| 欧美xxⅹ黑人| 国产97色在线日韩免费| 国产1区2区3区精品| www日本在线高清视频| 乱人伦中国视频| 国产精品二区激情视频| av在线观看视频网站免费| 欧美另类一区| 色婷婷久久久亚洲欧美| 久久久久久久国产电影| 日本欧美视频一区| 国产精品av久久久久免费| 国产黄频视频在线观看| 国产熟女午夜一区二区三区| 视频区图区小说| 伦理电影免费视频| 日韩中字成人| 一本色道久久久久久精品综合| 亚洲第一区二区三区不卡| 七月丁香在线播放| 久久精品久久久久久噜噜老黄| 亚洲精品视频女| 精品国产一区二区久久| 国精品久久久久久国模美| 韩国精品一区二区三区| 777米奇影视久久| 自拍欧美九色日韩亚洲蝌蚪91| 超碰成人久久| 日本-黄色视频高清免费观看| 亚洲国产欧美网| 不卡视频在线观看欧美| 我的亚洲天堂| 十八禁网站网址无遮挡| 黑人欧美特级aaaaaa片| 欧美+日韩+精品| 久久久久精品久久久久真实原创| 18禁观看日本| 少妇人妻 视频| 女的被弄到高潮叫床怎么办| 看非洲黑人一级黄片| 777久久人妻少妇嫩草av网站| 深夜精品福利| 国产亚洲最大av| 日韩一区二区视频免费看| 啦啦啦在线观看免费高清www| 少妇 在线观看| 伊人亚洲综合成人网| 亚洲四区av| 在线天堂最新版资源| 啦啦啦视频在线资源免费观看| 十八禁网站网址无遮挡| 亚洲精品av麻豆狂野| 91精品三级在线观看| 在线观看国产h片| 久久久欧美国产精品| 99久久中文字幕三级久久日本| 国产在线一区二区三区精| 丝袜人妻中文字幕| 久久久精品区二区三区| 91国产中文字幕| 麻豆乱淫一区二区| 两性夫妻黄色片| 丰满饥渴人妻一区二区三| 国产精品国产三级专区第一集| 侵犯人妻中文字幕一二三四区| 久久免费观看电影| 丰满迷人的少妇在线观看| 久久久欧美国产精品| 男女国产视频网站| 亚洲美女搞黄在线观看| 精品久久久久久电影网| 女人高潮潮喷娇喘18禁视频| 最近最新中文字幕免费大全7| 久久精品国产鲁丝片午夜精品| 久久这里只有精品19| 久久人人97超碰香蕉20202| 欧美日韩精品成人综合77777| 欧美成人精品欧美一级黄| 哪个播放器可以免费观看大片| 免费看av在线观看网站| 欧美日韩一级在线毛片| 久久人人97超碰香蕉20202| 视频区图区小说| 成年av动漫网址| 久久久久久久久久久久大奶| 高清欧美精品videossex| 肉色欧美久久久久久久蜜桃| 亚洲国产色片| 久久免费观看电影| 国产亚洲一区二区精品| 五月伊人婷婷丁香| 国产成人欧美| 26uuu在线亚洲综合色| 成年av动漫网址| 国产麻豆69| 亚洲少妇的诱惑av| xxx大片免费视频| 国产免费又黄又爽又色| av又黄又爽大尺度在线免费看| 国产又爽黄色视频| 免费久久久久久久精品成人欧美视频| 国产又色又爽无遮挡免| 国产精品女同一区二区软件| 老汉色av国产亚洲站长工具| 91精品国产国语对白视频| 亚洲av电影在线进入| 咕卡用的链子| 亚洲一码二码三码区别大吗| 久久精品夜色国产| 黄片无遮挡物在线观看| 久久久久久人妻| 国产成人91sexporn| 波多野结衣av一区二区av| xxx大片免费视频| 日韩精品免费视频一区二区三区| 搡老乐熟女国产| 免费在线观看完整版高清| 久久久久久久精品精品| 美女高潮到喷水免费观看| 午夜日韩欧美国产| 成年人免费黄色播放视频| 啦啦啦视频在线资源免费观看| 国产伦理片在线播放av一区| 国产人伦9x9x在线观看 | 久久久久视频综合| 国产淫语在线视频| 91久久精品国产一区二区三区| 欧美激情 高清一区二区三区| 我的亚洲天堂| 国产精品一区二区在线观看99| av电影中文网址| 久久国产精品大桥未久av| 高清欧美精品videossex| 国产成人精品久久二区二区91 | 免费在线观看视频国产中文字幕亚洲 | 亚洲美女黄色视频免费看| 晚上一个人看的免费电影| 国产欧美日韩综合在线一区二区| 99久久人妻综合| 久久久久视频综合| 久久这里有精品视频免费| 青春草亚洲视频在线观看| 亚洲精品美女久久av网站| 午夜日韩欧美国产| 国产成人精品无人区| 免费黄色在线免费观看| 只有这里有精品99| 欧美成人午夜免费资源| xxx大片免费视频| 少妇被粗大的猛进出69影院| 国产一区二区 视频在线| 亚洲精华国产精华液的使用体验| 亚洲,一卡二卡三卡| 午夜福利在线免费观看网站| 最近手机中文字幕大全| 久久久亚洲精品成人影院| 妹子高潮喷水视频| 少妇人妻久久综合中文| 成年女人在线观看亚洲视频| 欧美日韩视频高清一区二区三区二| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 国产精品一二三区在线看| 亚洲天堂av无毛| 伊人久久大香线蕉亚洲五| 国产97色在线日韩免费| av视频免费观看在线观看| 久久久久久久久免费视频了| 免费高清在线观看日韩| 国产精品久久久久久精品电影小说| 超色免费av| 国产精品久久久久久精品古装| 久久久精品国产亚洲av高清涩受| 精品一区二区三卡| 国产精品国产三级专区第一集| 激情视频va一区二区三区| 99香蕉大伊视频| 亚洲图色成人| 69精品国产乱码久久久| 狠狠精品人妻久久久久久综合| 一本—道久久a久久精品蜜桃钙片| 精品国产一区二区三区四区第35| 成人漫画全彩无遮挡| 国产白丝娇喘喷水9色精品| 超碰成人久久| 国产黄频视频在线观看| 国产在线一区二区三区精| av网站在线播放免费| 午夜福利,免费看| 少妇猛男粗大的猛烈进出视频| 久久人妻熟女aⅴ| 日韩 亚洲 欧美在线| 亚洲美女黄色视频免费看| 伊人久久大香线蕉亚洲五| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲第一青青草原| 国产成人av激情在线播放| 欧美最新免费一区二区三区| 九色亚洲精品在线播放| 99热国产这里只有精品6| 国产成人精品一,二区| 伦理电影免费视频| 亚洲成色77777| 美女国产高潮福利片在线看| 伊人亚洲综合成人网| 黄色 视频免费看| 一本色道久久久久久精品综合| 国产又色又爽无遮挡免| 亚洲婷婷狠狠爱综合网| 日韩一本色道免费dvd| 中文字幕制服av| 亚洲av福利一区| 伦精品一区二区三区| 精品久久久精品久久久| 最新的欧美精品一区二区| 伊人久久大香线蕉亚洲五| 午夜激情久久久久久久| 欧美人与善性xxx| 亚洲综合精品二区| 只有这里有精品99| videos熟女内射| 国产高清国产精品国产三级| 欧美最新免费一区二区三区| av女优亚洲男人天堂| 免费观看a级毛片全部| 亚洲欧美色中文字幕在线| 美女xxoo啪啪120秒动态图| 亚洲成人av在线免费| 亚洲欧美日韩另类电影网站| 精品一区二区免费观看| 18+在线观看网站| 午夜福利视频精品| 日韩人妻精品一区2区三区| 久久久久久久国产电影| www.精华液| av有码第一页| 亚洲欧美中文字幕日韩二区| 99香蕉大伊视频| 亚洲三级黄色毛片| 免费观看性生交大片5| 亚洲欧美一区二区三区黑人 | 免费观看a级毛片全部| 日本欧美视频一区| 91在线精品国自产拍蜜月| 男女免费视频国产| 晚上一个人看的免费电影| 亚洲综合色网址| 日韩,欧美,国产一区二区三区| 国产精品熟女久久久久浪| 国产精品无大码| 丝袜喷水一区| 天美传媒精品一区二区| 国产有黄有色有爽视频| 啦啦啦啦在线视频资源| xxx大片免费视频| 欧美日本中文国产一区发布| 曰老女人黄片| 搡女人真爽免费视频火全软件| 午夜福利一区二区在线看| 毛片一级片免费看久久久久| 亚洲精品日韩在线中文字幕| 涩涩av久久男人的天堂| 人人澡人人妻人| 一级毛片黄色毛片免费观看视频| 国产精品国产三级国产专区5o| 国产97色在线日韩免费| 亚洲,欧美,日韩| 在现免费观看毛片| 26uuu在线亚洲综合色| 成人午夜精彩视频在线观看| av国产久精品久网站免费入址| 免费高清在线观看视频在线观看| 久久久a久久爽久久v久久| 久久综合国产亚洲精品| 亚洲国产精品一区二区三区在线| 欧美亚洲日本最大视频资源| 国产精品人妻久久久影院| 成年人免费黄色播放视频| 国产 精品1| 极品人妻少妇av视频| 免费在线观看完整版高清| 不卡av一区二区三区| av福利片在线| 赤兔流量卡办理| 性色avwww在线观看| 日本av免费视频播放| 久久狼人影院| 精品卡一卡二卡四卡免费| 国产精品国产三级专区第一集| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲 欧美一区二区三区| 成人毛片a级毛片在线播放| 老熟女久久久| 成人18禁高潮啪啪吃奶动态图| 成年美女黄网站色视频大全免费| 在线亚洲精品国产二区图片欧美| 丰满乱子伦码专区| 中文字幕另类日韩欧美亚洲嫩草| 老汉色∧v一级毛片| 亚洲欧洲日产国产| 99国产综合亚洲精品| 国产精品久久久久久精品古装| 日韩av免费高清视频| 夫妻性生交免费视频一级片| 精品国产超薄肉色丝袜足j| 亚洲国产欧美在线一区| videosex国产| 欧美人与性动交α欧美软件| 波多野结衣一区麻豆| 精品人妻在线不人妻| 一本久久精品| 中文字幕人妻熟女乱码| 免费看不卡的av| 不卡av一区二区三区| 少妇人妻 视频| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲精品美女久久av网站| 最近2019中文字幕mv第一页| 99热网站在线观看| 亚洲久久久国产精品| 国产精品99久久99久久久不卡 | 高清欧美精品videossex| 免费在线观看黄色视频的| 宅男免费午夜| 亚洲一区中文字幕在线| 美女国产视频在线观看| 亚洲国产日韩一区二区|