• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    6G通算融合網(wǎng)絡(luò)架構(gòu)

    2022-07-18 08:57:42彭程暉吳建軍李芳芳劉光毅孫韶輝張宏綱李榮鵬
    無線電通信技術(shù) 2022年4期
    關(guān)鍵詞:計(jì)算資源時(shí)延基站

    彭程暉,鄧 娟,吳建軍,劉 哲,李芳芳,劉光毅,孫韶輝,楊 旸,張宏綱,李榮鵬

    (1.華為技術(shù)有限公司 無線技術(shù)實(shí)驗(yàn)室,上海 201206;2.中國移動通信有限公司研究院 未來研究院,北京 100053;3.中信科移動通信技術(shù)股份有限公司,北京 100083;4.上??萍即髮W(xué) 信息科學(xué)與技術(shù)學(xué)院,上海201210;5.浙江大學(xué) 電子與信息工程學(xué)院,浙江 杭州310027)

    0 引言

    近年來,互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能、區(qū)塊鏈等技術(shù)創(chuàng)新,新業(yè)態(tài)、新場景和新模式的不斷涌現(xiàn),加速了數(shù)字經(jīng)濟(jì)的發(fā)展,推動了海量數(shù)據(jù)產(chǎn)生,使各行各業(yè)對通信和計(jì)算提出了更為迫切的需求。通信和計(jì)算已成為全社會數(shù)智化轉(zhuǎn)型的基石,直接決定社會智能的發(fā)展高度。而通信網(wǎng)絡(luò)作為連接用戶和傳輸數(shù)據(jù)的管道,可感知計(jì)算,用于支撐多樣性的分布式計(jì)算資源的高效使用,例如部署于通信網(wǎng)絡(luò)內(nèi)的邊緣計(jì)算來降低端到端時(shí)延和提升業(yè)務(wù)體驗(yàn)等,已成為業(yè)界關(guān)注熱點(diǎn)[1-3]。多樣性計(jì)算資源、通算融合等成為業(yè)界重要技術(shù)趨勢。

    當(dāng)前,業(yè)界已經(jīng)發(fā)表了近百篇的6G白皮書,對6G時(shí)代的愿景、新興業(yè)務(wù)場景、技術(shù)需求等進(jìn)行了廣泛、深入的分析。其中,通過設(shè)計(jì)6G網(wǎng)絡(luò)架構(gòu)原生地支持通信與計(jì)算的深度融合,以更好地實(shí)現(xiàn)各項(xiàng)6G網(wǎng)絡(luò)新能力(如內(nèi)生智能、泛在感知)和新業(yè)務(wù)(如沉浸式XR、數(shù)字孿生、云宇宙等),從而進(jìn)一步實(shí)現(xiàn)6G智能普惠愿景已成為業(yè)界共識[4-7]。

    通信與計(jì)算的深度融合是6G網(wǎng)絡(luò)內(nèi)生AI的重要技術(shù)特征。通過傳統(tǒng)Cloud AI提供的AI服務(wù),其數(shù)據(jù)安全隱私需要更為有效的基礎(chǔ)保障手段,分布式計(jì)算資源、AI模型等也需要更高效的共享手段,從而支撐以相對較低的成本為用戶提供所需的AI服務(wù)并保障服務(wù)質(zhì)量。通過6G網(wǎng)絡(luò)內(nèi)生的AI能力,即通過網(wǎng)絡(luò)AI[4]提供AI服務(wù)(Artificial-Intelligence-as-a-Service,AIaaS),有望解決上述挑戰(zhàn),并在極致性能、高安全隱私等業(yè)務(wù)場景下,成為Cloud AI的有益補(bǔ)充。在網(wǎng)絡(luò)AI場景中,如何基于通信和分布式計(jì)算資源的高效協(xié)同,為用戶提供更低時(shí)延抖動、更高綜合效率的計(jì)算服務(wù)和保障AI QoS(Quality of Service)服務(wù)是一個(gè)待解問題;而其中一個(gè)重要的技術(shù)挑戰(zhàn)是通算融合問題,即通信與計(jì)算實(shí)現(xiàn)更深入、實(shí)時(shí)的協(xié)同,以在動態(tài)復(fù)雜無線網(wǎng)絡(luò)環(huán)境下,保障未來新業(yè)務(wù)端到端的超低時(shí)延、高數(shù)據(jù)安全隱私和可持續(xù)性節(jié)能等要求。

    1 背景介紹

    無線網(wǎng)絡(luò)通算融合的目標(biāo)是在動態(tài)復(fù)雜無線環(huán)境下滿足AI QoS的同時(shí),實(shí)現(xiàn)網(wǎng)絡(luò)資源、計(jì)算資源的最佳效率。當(dāng)前,業(yè)界談到通算融合,一般存在外掛計(jì)算資源、內(nèi)生計(jì)算資源兩種形式。其中,外掛計(jì)算資源,如邊緣計(jì)算,網(wǎng)絡(luò)節(jié)點(diǎn)的通信資源與計(jì)算節(jié)點(diǎn)的計(jì)算資源通過管理面功能實(shí)現(xiàn)聯(lián)合優(yōu)化。內(nèi)生計(jì)算資源,是利用網(wǎng)絡(luò)的內(nèi)生計(jì)算資源,網(wǎng)絡(luò)節(jié)點(diǎn)不僅具備控制與轉(zhuǎn)發(fā)能力,還能兼顧計(jì)算能力。這兩種方式存在本質(zhì)區(qū)別,下面進(jìn)行具體分析。

    1.1 邊緣計(jì)算

    傳統(tǒng)云計(jì)算中心集中存儲、計(jì)算的模式正向邊緣下沉,這已經(jīng)成為云計(jì)算的重要發(fā)展趨勢[8]。分布式的邊緣計(jì)算(Edge Computing,EC)或多邊緣計(jì)算(Multi-access Edge Computing,MEC)作為云計(jì)算的演進(jìn),將計(jì)算從集中式數(shù)據(jù)中心下沉到通信網(wǎng)絡(luò)接入網(wǎng)邊緣,更接近終端用戶[9]。EC/MEC以分布式的方式在更靠近用戶的網(wǎng)絡(luò)邊緣提供計(jì)算服務(wù),便于在提供更低時(shí)延的同時(shí),減少對網(wǎng)絡(luò)資源的消耗,以更好地服務(wù)一些行業(yè)應(yīng)用,比如視頻加速、網(wǎng)絡(luò)自動駕駛、增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)(Augmented Reality/Virtual Reality,AR/VR)等低延時(shí)高帶寬的場景,以及包括非實(shí)時(shí)的無線協(xié)議處理及網(wǎng)絡(luò)優(yōu)化等在內(nèi)的網(wǎng)絡(luò)應(yīng)用。然而,EC/MEC只是在物理位置上部署在通信網(wǎng)絡(luò)內(nèi),但是在邏輯上計(jì)算與通信擁有彼此獨(dú)立的管控體系;基于EC/MEC的應(yīng)用部署是通過管理面實(shí)現(xiàn)通信資源與計(jì)算資源的聯(lián)合優(yōu)化,動態(tài)性存在一定的缺陷,難以實(shí)現(xiàn)網(wǎng)絡(luò)和計(jì)算在控制面的統(tǒng)一,從而及時(shí)響應(yīng)用戶的移動以及網(wǎng)絡(luò)的變化。

    1.2 承載網(wǎng)絡(luò)通算協(xié)同

    面向通算融合的演進(jìn)需求,在承載網(wǎng)絡(luò)層面也開展了許多研究工作。中國信息通信研究院聯(lián)合三大運(yùn)營商等,就目前通算融合趨勢下的不同技術(shù)路線展開探索,關(guān)于通算融合的必要性做了很多分析[10-12]。其中,路由層引入了通算融合機(jī)制,通過邊界網(wǎng)關(guān)協(xié)議(Border Gateway Protocol,BGP)[10-12]、內(nèi)部網(wǎng)關(guān)協(xié)議(Interior Gateway Protocol,IGP)[10-11]或基于IPv6的分段路由(Segment Routing IPv6,SRv6)[12]等IP層協(xié)議的隨路控制信令實(shí)現(xiàn)計(jì)算與網(wǎng)絡(luò)性能信息擴(kuò)散與同步,因此路由層可以結(jié)合當(dāng)前的計(jì)算能力狀況、應(yīng)用效能等信息和網(wǎng)絡(luò)狀況,將計(jì)算任務(wù)報(bào)文路由到相應(yīng)的計(jì)算節(jié)點(diǎn),從而實(shí)現(xiàn)連接與計(jì)算資源在網(wǎng)絡(luò)的全局優(yōu)化。

    整體無線通信系統(tǒng)可以進(jìn)一步分為承載網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò),如圖1所示。承載網(wǎng)絡(luò)是為無線接入網(wǎng)(Radio Access Network,RAN)和核心網(wǎng)(Core Network,CN)提供連接的基礎(chǔ)網(wǎng)絡(luò);業(yè)務(wù)網(wǎng)絡(luò)包括無線接入網(wǎng)和核心網(wǎng)兩個(gè)部分,為移動用戶提供無線數(shù)據(jù)服務(wù),連接移動用戶(User Equipment,UE)與數(shù)據(jù)網(wǎng)絡(luò)(Data Network,DN)[13-14]。

    圖1 承載網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)

    對于通算融合來說,對于通算融合來說,既可以在承載網(wǎng)絡(luò)進(jìn)行通信與計(jì)算的協(xié)同,也可以在業(yè)務(wù)網(wǎng)絡(luò)進(jìn)行通信與計(jì)算的協(xié)同。業(yè)務(wù)網(wǎng)絡(luò)和承載網(wǎng)絡(luò)分別工作在不同的協(xié)議層面,其中承載網(wǎng)絡(luò)的核心協(xié)議是由IETF(Internet Engineering Task Force)來定義,而業(yè)務(wù)網(wǎng)絡(luò)的核心協(xié)議是由3GPP(The 3rd Generation Partnership Project )定義。它們的核心場景存在區(qū)別,如業(yè)務(wù)網(wǎng)絡(luò)可以直接感知用戶、會話,提供用戶的接入控制、適配無線動態(tài)信道環(huán)境、用戶移動管理等,因此,業(yè)務(wù)網(wǎng)絡(luò)和承載網(wǎng)絡(luò)相對是解耦的,例如,無線網(wǎng)絡(luò)的空口協(xié)議不感知IP層協(xié)議。因而,承載網(wǎng)絡(luò)提供的通算協(xié)同機(jī)制難以直接被業(yè)務(wù)網(wǎng)絡(luò)使用,業(yè)務(wù)網(wǎng)絡(luò)需要基于自身的特性,來設(shè)計(jì)對應(yīng)的通算協(xié)同機(jī)制。

    2 獨(dú)立計(jì)算面

    由于EC/MEC或承載網(wǎng)絡(luò)的通算協(xié)同還難以直接被6G網(wǎng)絡(luò)使用,特別是在無線接入層面,因此,移動無線網(wǎng)絡(luò)的通算協(xié)同機(jī)制需要進(jìn)一步設(shè)計(jì)。為在6G網(wǎng)絡(luò)架構(gòu)層面原生支持通算協(xié)同,本文提出了一種計(jì)算面設(shè)計(jì)方案,包括計(jì)算與連接的融合控制、計(jì)算數(shù)據(jù)的傳輸和計(jì)算執(zhí)行,并進(jìn)一步設(shè)計(jì)了統(tǒng)一的通算融合框架,基于該框架設(shè)計(jì)了無線網(wǎng)絡(luò)內(nèi)通信與計(jì)算實(shí)時(shí)協(xié)同的計(jì)算面方案。通算融合框架需要支持如下關(guān)鍵能力:

    ① 在控制面實(shí)現(xiàn)實(shí)時(shí)通算協(xié)同,管控計(jì)算會話和計(jì)算執(zhí)行,應(yīng)對無線的快速變化環(huán)境、用戶移動性等帶來的問題;

    ② 管控網(wǎng)絡(luò)內(nèi)的分布式計(jì)算資源,支持通信和計(jì)算相互感知,提升綜合資源能效。

    2.1 移動無線網(wǎng)絡(luò)通算協(xié)同

    6G網(wǎng)絡(luò)中,計(jì)算資源將遍布于包括中心云、邊緣云、網(wǎng)絡(luò)設(shè)備甚至終端設(shè)備在內(nèi)的各種基礎(chǔ)設(shè)施。計(jì)算資源以及附著之上的人工智能算法或功能應(yīng)用,不僅能服務(wù)于網(wǎng)絡(luò)或者設(shè)備本身用以改善性能,優(yōu)化網(wǎng)絡(luò)運(yùn)維,還能通過統(tǒng)一的接口向外開放、服務(wù)于上層應(yīng)用。計(jì)算和通信需要相互感知,實(shí)現(xiàn)用盡量少的通信資源和計(jì)算資源滿足用戶所需的QoS。為了實(shí)現(xiàn)上述目的,本文設(shè)計(jì)了在控制面支持通信與計(jì)算實(shí)時(shí)協(xié)同的計(jì)算面方案。

    2.2 計(jì)算面定義

    圖2所示的計(jì)算面包括計(jì)算控制部分、計(jì)算執(zhí)行部分和計(jì)算數(shù)據(jù)的傳輸部分(計(jì)算傳輸部分)。其中,計(jì)算控制部分包括計(jì)算執(zhí)行控制和計(jì)算連接控制—計(jì)算執(zhí)行部分是指節(jié)點(diǎn)的計(jì)算執(zhí)行功能利用計(jì)算控制分配的計(jì)算資源去執(zhí)行計(jì)算任務(wù)的過程;計(jì)算傳輸部分是指不同節(jié)點(diǎn)的計(jì)算執(zhí)行功能之間利用計(jì)算連接交互計(jì)算數(shù)據(jù),從而實(shí)現(xiàn)不同節(jié)點(diǎn)協(xié)作完成計(jì)算任務(wù)。

    圖2 計(jì)算面-控制、執(zhí)行、傳輸

    2.2.1 計(jì)算控制部分

    計(jì)算連接控制實(shí)時(shí)感知計(jì)算連接的狀態(tài),對計(jì)算連接進(jìn)行連接資源控制、質(zhì)量控制,并支持終端狀態(tài)感知和移動性下的業(yè)務(wù)連續(xù)性保證;對傳輸計(jì)算數(shù)據(jù)所需的計(jì)算連接進(jìn)行控制,如支持計(jì)算連接的建立、更改、遷移、重建、刪除等過程,并支持連接資源的調(diào)配。

    計(jì)算執(zhí)行控制對節(jié)點(diǎn)計(jì)算執(zhí)行功能使用的計(jì)算資源進(jìn)行分配、控制執(zhí)行的計(jì)算操作量、控制計(jì)算質(zhì)量,并支持終端移動性。計(jì)算資源的控制實(shí)時(shí)感知計(jì)算資源的狀態(tài),控制計(jì)算資源的調(diào)配,如計(jì)算資源的添加、修改、刪除、釋放等;計(jì)算質(zhì)量的控制根據(jù)資源量、精度和時(shí)延需求,編排計(jì)算操作,配置計(jì)算過程相關(guān)參數(shù)(如計(jì)算精度、量化精度、稀疏化等);計(jì)算執(zhí)行控制還支持終端移動性、計(jì)算資源地址管理功能、計(jì)算服務(wù)的接入控制、終端計(jì)算資源的控制,以及多計(jì)算資源聚合時(shí)的計(jì)算資源管理控制。

    在多節(jié)點(diǎn)協(xié)作完成計(jì)算任務(wù)的場景中,計(jì)算連接的質(zhì)量和計(jì)算執(zhí)行的質(zhì)量將共同決定整個(gè)計(jì)算任務(wù)的完成質(zhì)量,因此存在聯(lián)合優(yōu)化的可能;計(jì)算連接與通信連接共享連接資源,將加劇連接資源狀態(tài)的動態(tài)性,處于動態(tài)變化中的資源狀態(tài),會對計(jì)算質(zhì)量產(chǎn)生實(shí)時(shí)的影響,需要聯(lián)合考慮;對于執(zhí)行計(jì)算任務(wù)且處于移動狀態(tài)的終端,其計(jì)算連接和計(jì)算執(zhí)行的控制將同步執(zhí)行,計(jì)算連接與計(jì)算資源的狀態(tài)和質(zhì)量目標(biāo)均將影響其切換決策。由此可見,計(jì)算面的計(jì)算執(zhí)行控制和計(jì)算連接控制存在融合的需求和可能,即 “通算融合控制”。

    通算融合支持通算相互感知、相互協(xié)同,實(shí)現(xiàn)計(jì)算資源和計(jì)算連接資源的合理分配。例如,通算融合控制可以通過計(jì)算資源的控制部分,實(shí)時(shí)感知用戶移動性、用戶動態(tài)環(huán)境變化導(dǎo)致的無線承載所需計(jì)算資源變化,從而實(shí)時(shí)調(diào)整計(jì)算資源;或通過計(jì)算連接的控制部分,實(shí)時(shí)感知計(jì)算資源狀態(tài),動態(tài)調(diào)整用戶的連接帶寬,從而持續(xù)地保證計(jì)算服務(wù)的QoS。例如,xNB上的通算融合控制功能可以完成終端與基站之間的計(jì)算連接管理,以及小區(qū)切換或添加輔小區(qū)時(shí)的計(jì)算接入控制。

    2.2.2 計(jì)算執(zhí)行部分

    計(jì)算執(zhí)行部分是指節(jié)點(diǎn)的計(jì)算執(zhí)行功能在計(jì)算控制分配的計(jì)算資源上執(zhí)行計(jì)算的過程。計(jì)算執(zhí)行功能包括對底層異構(gòu)計(jì)算資源的統(tǒng)一建模度量,對各類計(jì)算任務(wù)所需計(jì)算能力的統(tǒng)一換算,按照對計(jì)算操作的編排進(jìn)行串行/并行計(jì)算,按照配置的精度進(jìn)行計(jì)算、存儲和量化處理等過程。

    2.2.3 計(jì)算傳輸部分

    在6G網(wǎng)絡(luò)中,計(jì)算業(yè)務(wù)和通信業(yè)務(wù)將分屬不同的服務(wù)類型,計(jì)算數(shù)據(jù)的傳輸承載與通信數(shù)據(jù)的傳輸承載(連接終端與DN的PDU會話包括終端與基站之間的數(shù)據(jù)無線承載,以及基站與UPF之間的GTP-U隧道)需要有所區(qū)分。同時(shí),由于業(yè)務(wù)模型的不同,即計(jì)算數(shù)據(jù)在參與計(jì)算的網(wǎng)絡(luò)節(jié)點(diǎn)間可能存在特別的交互模式(如終端與網(wǎng)絡(luò)協(xié)作的模型分割推理或訓(xùn)練),以及對連接質(zhì)量可能存在特殊需求,當(dāng)前5G網(wǎng)絡(luò)面向eMBB、URLLC和mMTC場景設(shè)計(jì)的空口協(xié)議棧是否能夠提供較好的支持需要研究?;谝陨蟽牲c(diǎn)原因,因此存在面向計(jì)算數(shù)據(jù)的傳輸設(shè)計(jì)新型承載協(xié)議的可能性。

    不同節(jié)點(diǎn)上的計(jì)算執(zhí)行功能可以通過計(jì)算會話交互來計(jì)算數(shù)據(jù)。計(jì)算會話可以建立在計(jì)算無線承載、計(jì)算承載之上,其中:計(jì)算無線承載是指終端與基站的計(jì)算執(zhí)行功能之間的數(shù)據(jù)傳輸通道;計(jì)算承載是指不同基站計(jì)算執(zhí)行功能之間、一個(gè)基站不同部分的計(jì)算執(zhí)行功能之間,或者基站與核心網(wǎng)的計(jì)算執(zhí)行功能之間的數(shù)據(jù)傳輸通道。

    2.3 關(guān)鍵技術(shù)問題

    通信和分布式計(jì)算資源的高效協(xié)同,為用戶提供更低時(shí)延抖動、更高綜合效率的計(jì)算服務(wù)需要解決如下關(guān)鍵技術(shù)問題:

    面向計(jì)算任務(wù)質(zhì)量保障的高效協(xié)同如何通過通信和計(jì)算間高效協(xié)同的資源分配和質(zhì)量控制機(jī)制,保障計(jì)算任務(wù)QoS的達(dá)成?

    面向移動性支持的高效協(xié)同當(dāng)計(jì)算任務(wù)涉及到終端的計(jì)算執(zhí)行功能時(shí),通算融合控制功能如何高效地控制計(jì)算執(zhí)行功能、計(jì)算會話,從而降低終端移動性對計(jì)算任務(wù)QoS的影響?

    3 關(guān)鍵技術(shù)設(shè)計(jì)

    3.1 計(jì)算控制

    6G網(wǎng)絡(luò)架構(gòu)原生支持通算的融合至少包括在控制面支持計(jì)算執(zhí)行與計(jì)算連接的相互感知、相互協(xié)同,實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確的計(jì)算資源發(fā)現(xiàn)、靈活動態(tài)計(jì)算資源以及計(jì)算質(zhì)量的調(diào)度,提供無處不在的計(jì)算服務(wù)和連接服務(wù),實(shí)現(xiàn)計(jì)算資源、連接資源的合理分配。融合控制功能對架構(gòu)存在如下影響:① RAN(Radio Access Network)側(cè)的計(jì)算執(zhí)行、計(jì)算連接融合控制機(jī)制;② 核心網(wǎng)(Core Network)側(cè)的計(jì)算執(zhí)行、計(jì)算連接融合控制機(jī)制;③ 跨技術(shù)域(如RAN域、CN域、管理域等)的計(jì)算執(zhí)行、計(jì)算連接的協(xié)同機(jī)制。

    通算融合控制存在如圖3所示的3種方式:

    圖3 通算融合控制選項(xiàng)

    選項(xiàng)1計(jì)算連接控制與計(jì)算執(zhí)行控制通過上層融合控制功能進(jìn)行協(xié)調(diào)。例如,邏輯計(jì)算基站xNC(xNode-Compute)與連接基站xNB(xNode-Base- station)對等,xNB的RRC(Radio Resource Control)和xNC的CRC(Computing Resource Control)通過上層融合控制功能進(jìn)行協(xié)調(diào)控制。其中,CRC用于控制xNC的計(jì)算執(zhí)行功能占用的計(jì)算資源、計(jì)算操作量、計(jì)算質(zhì)量等。這種方案的好處是允許上層通算融合控制功能覆蓋范圍內(nèi)的大規(guī)模的xNB設(shè)備和xNC設(shè)備之間進(jìn)行協(xié)調(diào),部署方式更靈活,運(yùn)營商可選擇范圍更大;缺點(diǎn)是上層外部接口時(shí)延較長,較難滿足通算融合控制的實(shí)時(shí)性要求。

    選項(xiàng)2計(jì)算連接控制與計(jì)算執(zhí)行控制通過標(biāo)準(zhǔn)接口或內(nèi)部接口進(jìn)行交互。例如,xNB的RRC和xNC的CRC通過標(biāo)準(zhǔn)接口進(jìn)行控制面交互[7,15]。這種方案的好處是允許xNB設(shè)備和xNC設(shè)備間異廠商連接,部署方式更靈活,運(yùn)營商可選擇范圍更大;缺點(diǎn)是外部接口時(shí)延較長,較難滿足通算融合控制的實(shí)時(shí)性要求?;蛘?,基站xNB還包括計(jì)算執(zhí)行功能,此時(shí)RRC和CRC通過內(nèi)部接口進(jìn)行控制面交互[7,15]。這種方案的好處是基站內(nèi)部接口實(shí)現(xiàn)性能較好,且無線通信資源和計(jì)算資源的獨(dú)立控制、按需調(diào)用,便于依據(jù)資源特性設(shè)計(jì)專用控制流程,也便于統(tǒng)計(jì)資源狀態(tài)。此外,相比于選項(xiàng)1,選項(xiàng)2的設(shè)計(jì)更加扁平化,降低邏輯功能設(shè)計(jì)的復(fù)雜度。

    選項(xiàng)3計(jì)算連接控制與計(jì)算執(zhí)行控制也可以融合成一個(gè)控制功能,即融合控制功能。例如,基站xNB同時(shí)包括計(jì)算執(zhí)行功能,RRC和CRC融合成統(tǒng)一的資源控制實(shí)體(xRC),同時(shí)對計(jì)算連接和計(jì)算執(zhí)行進(jìn)行控制[7,15]。這種方案的好處是同時(shí)決定連接(包括通信和計(jì)算連接)和計(jì)算執(zhí)行的控制決策,資源控制的協(xié)同和實(shí)時(shí)性最佳,但聯(lián)合控制機(jī)制的設(shè)計(jì)較復(fù)雜。

    3.2 計(jì)算傳輸協(xié)議

    以RAN架構(gòu)為例,如果將計(jì)算面引入RAN架構(gòu),如圖4所示,計(jì)算面的控制包括計(jì)算執(zhí)行控制與計(jì)算連接控制。

    圖4 計(jì)算面協(xié)議棧

    一種可能的空口計(jì)算連接控制可以基于RRC現(xiàn)有協(xié)議機(jī)制來實(shí)現(xiàn),即通過修改RRC協(xié)議或通過調(diào)用RRC協(xié)議的基本功能以支持計(jì)算連接的控制;計(jì)算執(zhí)行控制由CRC實(shí)現(xiàn),CRC可以與RRC獨(dú)立(即融合控制的選項(xiàng)2),也可以與RRC融合成xRC(即融合控制的選項(xiàng)3)。CRC用于控制計(jì)算執(zhí)行功能占用的計(jì)算資源、計(jì)算操作量、計(jì)算質(zhì)量等。一種可能的基站間(Xn口)的計(jì)算連接控制、計(jì)算執(zhí)行控制可以基于現(xiàn)有Xn-AP機(jī)制來實(shí)現(xiàn)(調(diào)用或修改)。

    傳統(tǒng)通信的用戶面連接用戶與DN,計(jì)算面的傳輸部分用于無線網(wǎng)絡(luò)系統(tǒng)內(nèi)不同節(jié)點(diǎn)的計(jì)算執(zhí)行功能之間傳輸計(jì)算數(shù)據(jù),即計(jì)算面的數(shù)據(jù)不傳輸?shù)紻N,因此,計(jì)算面?zhèn)鬏敊C(jī)制的設(shè)計(jì)需要與傳統(tǒng)通信用戶面有所區(qū)分。一種可能的計(jì)算面?zhèn)鬏敺绞绞浅休d層面引入新的承載方式,如空口部分的計(jì)算無線承載(Computing Radio Bearer,CRB)、Xn口部分的計(jì)算承載(Computing Bearer,CB),并在會話層面引入新的無線計(jì)算會話協(xié)議(Radio Computing Session Protocol,RCSP),此時(shí)計(jì)算會話又可以稱為RCSP會話。

    RCSP是一種無線網(wǎng)絡(luò)內(nèi)計(jì)算資源的高效數(shù)據(jù)通信協(xié)議,支持終端、基站或核心網(wǎng)功能的計(jì)算執(zhí)行功能之間交互計(jì)算數(shù)據(jù),從而支持不同節(jié)點(diǎn)間的計(jì)算協(xié)作,共同完成一個(gè)計(jì)算任務(wù)。計(jì)算任務(wù)的QoS由計(jì)算會話的QoS與計(jì)算執(zhí)行的QoS共同確定。其中,計(jì)算執(zhí)行的QoS受分配的計(jì)算資源、計(jì)算量和計(jì)算流程影響,基本的指標(biāo)包括計(jì)算耗時(shí)和計(jì)算精度。計(jì)算會話的端點(diǎn)位置由計(jì)算執(zhí)行功能所在的節(jié)點(diǎn)位置確定。例如,圖5(a)所示的RCSP會話包括CRB,即終端與基站之間交互計(jì)算數(shù)據(jù);圖5(b)所示的RCSP會話包括計(jì)算承載,即不同基站之間、基站與核心網(wǎng)之間或DU(Distributed Unit)與CU(Central Unit)之間交互計(jì)算數(shù)據(jù);圖5(c)所示的RCSP會話包括CRB與計(jì)算承載,即終端與核心網(wǎng)之間交互計(jì)算數(shù)據(jù)。

    (a) RCSP與CRB

    如圖5(a)所示,基站將為該終端創(chuàng)建一個(gè)或多個(gè)計(jì)算無線承載(Computing Radio Bearer,CRB)。一個(gè)RCSP會話可以映射到N個(gè)不同的CRB,不同的CRB提供不同的連接QoS能力,RCSP會話中不同要求的數(shù)據(jù)包需要根據(jù)自身的情況,選擇不同特性的CRB。此外,考慮到不同RCSP可能有相同的QoS需求,因此N個(gè)不同RCSP會話中具有相同QoS需求的計(jì)算數(shù)據(jù)可以映射到一個(gè)CRB中;即當(dāng)N個(gè)RCSP會話有N種不同的QoS的配置時(shí),N個(gè)RCSP會話中不同QoS要求的數(shù)據(jù)包需要根據(jù)自身的情況,選擇映射到N個(gè)不同特性CRB中的一個(gè)CRB。此外,如圖5(b)、圖5(c)所示,RCSP會話與計(jì)算承載之間是1對1映射。

    xNB負(fù)責(zé)維護(hù)CRB與RCSP會話的對應(yīng)關(guān)系,其作用是使得終端在發(fā)送上行計(jì)算數(shù)據(jù)到無線網(wǎng)絡(luò)內(nèi)部計(jì)算資源的節(jié)點(diǎn)時(shí),可以通過選擇對應(yīng)的CRB,來實(shí)現(xiàn)最終的數(shù)據(jù)傳送;而無線網(wǎng)絡(luò)內(nèi)部計(jì)算資源的節(jié)點(diǎn)在傳送下行計(jì)算數(shù)據(jù)到終端時(shí),也可以通過選擇RCSP會話對應(yīng)的CRB,來實(shí)現(xiàn)最終的數(shù)據(jù)傳送。xNB在中間通過CRB和RCSP會話的映射,實(shí)現(xiàn)了數(shù)據(jù)在終端和部署在基站中的計(jì)算執(zhí)行功能之間、基于RCSP協(xié)議的數(shù)據(jù)交互。

    3.3 移動性支持

    移動性管理是無線網(wǎng)絡(luò)的一項(xiàng)基本功能,用于保證用戶在移動的情況下享受無中斷的服務(wù)。連接態(tài)移動性管理通常簡稱為切換,它是指為了保障連接態(tài)的用戶在移動過程中能夠持續(xù)接受網(wǎng)絡(luò)的連接服務(wù)。切換過程包括切換準(zhǔn)備階段、切換執(zhí)行階段、切換完成階段。

    傳統(tǒng)的切換準(zhǔn)備階段中,源基站發(fā)送切換請求時(shí)僅考慮用戶的信號質(zhì)量,目標(biāo)站點(diǎn)根據(jù)自身的負(fù)載信息確定是否接收源站關(guān)于該用戶的切換請求;通算融合的源基站(Source-xNB,S-xNB)下切換請求的觸發(fā)原因除了用戶的信號質(zhì)量,還包括源基站計(jì)算資源的狀態(tài)(如計(jì)算資源是否足夠繼續(xù)支持用戶當(dāng)前計(jì)算任務(wù)),通算融合的目標(biāo)基站(Target-xNB,T-xNB)在確定是否需要接受用戶的切換請求時(shí)除了需要考慮目標(biāo)站點(diǎn)通信資源情況,還需要考慮計(jì)算資源情況以及源站上的計(jì)算執(zhí)行情況、計(jì)算遷移開銷(包括通信開銷、通信時(shí)延、QoS保障等),通過通信資源、計(jì)算資源的統(tǒng)籌考慮來保證計(jì)算服務(wù)質(zhì)量不受移動性影響。此外,傳統(tǒng)的切換執(zhí)行階段中,源基站與目標(biāo)基站之間只需要考慮連接的切換;通算融合的S-xNB與T-xNB之間除了需要考慮連接的切換,還需要考慮計(jì)算的遷移情況。

    例如,圖6所示的切換準(zhǔn)備過程中,T-xNB在確定是否接受S-xNB的連接切換請求時(shí),除了需要考慮自身的通信資源,還需要考慮計(jì)算資源、計(jì)算遷移的開銷(包括通信開銷、通信時(shí)延、QoS保障等)、S-xNB上計(jì)算任務(wù)的執(zhí)行狀態(tài)等信息。若T-xNB的計(jì)算資源足夠,或計(jì)算資源資源與計(jì)算遷移開銷兩個(gè)條件同時(shí)得到滿足時(shí),則接受S-xNB的切換請求,切換執(zhí)行過程涉及到計(jì)算遷移,如步驟3a所示,RCSP會話1更新為RCSP會話2(由CRB組成);反之,切換執(zhí)行過程不涉及計(jì)算遷移,如步驟3b所示,對應(yīng)的RCSP會話1更新為RCSP會話3(由CRB 與CB組成)。

    圖6 計(jì)算遷移與連接切換解耦

    4 實(shí)時(shí)協(xié)同驗(yàn)證

    假設(shè)AI模型為VGG-13,用戶的CPU是1核,基站計(jì)算資源的CPU是10核,數(shù)據(jù)集為Mnist,拆分推理的數(shù)據(jù)到達(dá)率為每秒30個(gè)樣本,用戶與基站之間的帶寬從20 MByte/s變化到2 MByte/s。

    用戶與基站計(jì)算之間的拆分推理有兩種模式:

    模式1用戶上傳原始樣本,由基站計(jì)算完成整個(gè)樣本推理,用戶與基站計(jì)算執(zhí)行功能之間每次推理需要交互的樣本大小為3.2 MByte;

    模式2用戶計(jì)算4個(gè)卷積層,基站計(jì)算完成VGG-13的剩余部分,用戶與基站計(jì)算執(zhí)行功能之間每次推理需要交互的特征向量大小為0.26 MByte。

    以用戶與基站的聯(lián)合拆分推理應(yīng)用舉例,中心用戶的信道容量大,用戶可以計(jì)算神經(jīng)網(wǎng)絡(luò)的更少層,將輸出結(jié)果及剩下層的計(jì)算交給基站計(jì)算,即用戶與基站使用模式1完成推理服務(wù);邊緣用戶的信道容量小,用戶可以執(zhí)行更多的計(jì)算層數(shù),將輸出結(jié)果及剩下層的計(jì)算交給基站計(jì)算,即用戶與基站使用模式2完成推理服務(wù)。當(dāng)用戶信道條件發(fā)生變化時(shí),或用戶從小區(qū)中心移動到小區(qū)邊緣時(shí),如用戶與基站計(jì)算資源的計(jì)算連接帶寬從20 MByte/s變化到2 MByte/s時(shí),用戶與基站的計(jì)算連接與計(jì)算執(zhí)行應(yīng)該如何協(xié)同調(diào)整,以保證用戶的推理服務(wù)時(shí)延比較小。

    基于以上仿真假設(shè),對比3種不同的協(xié)同調(diào)整方案。方案1是計(jì)算連接狀態(tài)或帶寬發(fā)生變化后,基站計(jì)算資源與用戶計(jì)算資源的工作模式不做任何調(diào)整;方案2是通過能力開放的方式,計(jì)算資源的管理能力在感知到計(jì)算連接狀態(tài)或帶寬發(fā)生變化之后再調(diào)整基站計(jì)算資源、用戶計(jì)算資源的工作模式,這種能力開放的方式,從計(jì)算連接狀態(tài)變化到調(diào)整計(jì)算執(zhí)行功能的計(jì)算模式,其調(diào)整時(shí)延比較長,通常為秒級;方案3是控制面融合的方式,例如在xRC(融合RRC與CRC功能)層,計(jì)算連接或計(jì)算執(zhí)行在控制面相互感知,因此基站計(jì)算資源與用戶計(jì)算資源的工作模式的調(diào)整時(shí)延可以降低到10 ms級別甚至是1 ms級別。上述3種不同協(xié)同調(diào)整的方案,其聯(lián)合推理時(shí)延的仿真結(jié)果如圖7所示。圖7中,前33個(gè)推理樣本的時(shí)延在170 ms左右,當(dāng)用戶帶寬從20 MByte/s變化到2 MByte/s后,通過控制面協(xié)同調(diào)整仍然能保證推理時(shí)延在170 ms左右,時(shí)延抖動為8 ms;通過管理面協(xié)同調(diào),能保證調(diào)整完成之后(即66個(gè)推理樣本之后)的推理時(shí)延仍然在170 ms左右,但是存在一個(gè)管理面調(diào)整時(shí)延,在該調(diào)整時(shí)延內(nèi)(即從33個(gè)推理樣本到66個(gè)推理樣本之間),推理時(shí)延惡化到1 600 ms左右,時(shí)延抖動為1 442 ms;不做任何調(diào)整策略之后,推理時(shí)延惡化到1 600 ms左右。因此,圖7所示的聯(lián)合推理時(shí)延結(jié)果表明,相比于不調(diào)整或管理面的協(xié)同調(diào)整方案來說,控制面的實(shí)時(shí)協(xié)同調(diào)整方案能保障推理時(shí)延受帶寬變化的影響抖動更小,可以更好地持續(xù)保證終端&基站拆分推理服務(wù)的QoS。

    圖7 實(shí)時(shí)協(xié)同

    5 結(jié)束語

    6G移動基礎(chǔ)設(shè)施將從單純的提供連接服務(wù)發(fā)展為同時(shí)能提供連接服務(wù)+計(jì)算服務(wù)的基礎(chǔ)設(shè)施,可以滿足AI所需的連接和分布式計(jì)算服務(wù);并可能進(jìn)一步基于AI的連接和計(jì)算融合控制需求,支持通算深度融合。

    通算融合是指在控制面拉通計(jì)算資源與通信資源,支持分布式計(jì)算資源與連接的相互感知、相互協(xié)同,實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確的計(jì)算資源發(fā)現(xiàn)、靈活動態(tài)的計(jì)算資源調(diào)度,提供無處不在、滿足服務(wù)質(zhì)量需求的計(jì)算服務(wù)和連接服務(wù),實(shí)現(xiàn)計(jì)算資源、連接資源的合理分配,從而支撐AIaaS。通算融合在實(shí)現(xiàn)相應(yīng)功能時(shí)能夠綜合考慮空口狀態(tài)信息、網(wǎng)絡(luò)狀態(tài)、計(jì)算資源分布等信息以達(dá)到性能的最優(yōu)化或者資源最小消耗。在終端&基站聯(lián)合拆分推理的場景下,實(shí)驗(yàn)結(jié)果表明控制面的通算協(xié)同調(diào)整方案能大幅降低業(yè)務(wù)的時(shí)延抖動。

    致謝:特別感謝6GANA提供通算融合研討的平臺,在研討過程中不斷拓展思路,從而支撐計(jì)算面關(guān)鍵技術(shù)設(shè)計(jì)的豐富與完善。

    猜你喜歡
    計(jì)算資源時(shí)延基站
    基于模糊規(guī)劃理論的云計(jì)算資源調(diào)度研究
    改進(jìn)快速稀疏算法的云計(jì)算資源負(fù)載均衡
    基于GCC-nearest時(shí)延估計(jì)的室內(nèi)聲源定位
    電子制作(2019年23期)2019-02-23 13:21:12
    基于改進(jìn)二次相關(guān)算法的TDOA時(shí)延估計(jì)
    基于Wi-Fi與Web的云計(jì)算資源調(diào)度算法研究
    耦合分布式系統(tǒng)多任務(wù)動態(tài)調(diào)度算法
    可惡的“偽基站”
    FRFT在水聲信道時(shí)延頻移聯(lián)合估計(jì)中的應(yīng)用
    基于GSM基站ID的高速公路路徑識別系統(tǒng)
    基于分段CEEMD降噪的時(shí)延估計(jì)研究
    日本一二三区视频观看| 大型黄色视频在线免费观看| 中文字幕人妻丝袜一区二区| 亚洲欧美日韩高清专用| 在线播放国产精品三级| 欧美激情久久久久久爽电影| 91av网一区二区| 午夜福利免费观看在线| 99久久国产精品久久久| 国产精品电影一区二区三区| 成年女人看的毛片在线观看| 精品乱码久久久久久99久播| 久久午夜亚洲精品久久| 亚洲天堂国产精品一区在线| 精品国产亚洲在线| 免费高清视频大片| 精品欧美国产一区二区三| 欧美国产日韩亚洲一区| 亚洲午夜精品一区,二区,三区| 午夜福利18| 午夜福利免费观看在线| 两人在一起打扑克的视频| 成人精品一区二区免费| 最好的美女福利视频网| 搡老妇女老女人老熟妇| av片东京热男人的天堂| 免费看光身美女| 色在线成人网| 久久中文字幕一级| 老司机午夜福利在线观看视频| 国产亚洲精品av在线| 91字幕亚洲| 亚洲精品色激情综合| 欧美+亚洲+日韩+国产| 免费高清视频大片| 很黄的视频免费| 一级毛片高清免费大全| 一区二区三区高清视频在线| 欧美性猛交黑人性爽| 成人av在线播放网站| 亚洲在线自拍视频| 日本免费一区二区三区高清不卡| 国产一区二区三区在线臀色熟女| 性欧美人与动物交配| 搡老熟女国产l中国老女人| 神马国产精品三级电影在线观看| 欧美黄色片欧美黄色片| 亚洲av第一区精品v没综合| 黄色日韩在线| 亚洲专区中文字幕在线| 美女高潮喷水抽搐中文字幕| 啪啪无遮挡十八禁网站| 久久久久性生活片| 国产aⅴ精品一区二区三区波| 在线观看舔阴道视频| 亚洲人成网站在线播放欧美日韩| 国产三级在线视频| 亚洲国产欧美人成| 一边摸一边抽搐一进一小说| bbb黄色大片| 日本黄色片子视频| 国产毛片a区久久久久| 国产不卡一卡二| 最近最新中文字幕大全免费视频| 婷婷丁香在线五月| 熟女电影av网| 天堂√8在线中文| 久久久国产成人免费| 中文字幕久久专区| 亚洲专区中文字幕在线| 91在线精品国自产拍蜜月 | 国产高清三级在线| 亚洲专区中文字幕在线| 我要搜黄色片| 成人三级做爰电影| 亚洲人成网站在线播放欧美日韩| 亚洲国产欧美人成| 欧美成人免费av一区二区三区| 岛国在线观看网站| 香蕉av资源在线| 美女cb高潮喷水在线观看 | 亚洲九九香蕉| 首页视频小说图片口味搜索| 国产精品一区二区精品视频观看| 亚洲av成人av| 成年免费大片在线观看| 一二三四在线观看免费中文在| 精品国产美女av久久久久小说| 久久久久国内视频| 免费一级毛片在线播放高清视频| 伊人久久大香线蕉亚洲五| or卡值多少钱| 校园春色视频在线观看| 国产精品1区2区在线观看.| 久久久成人免费电影| 丝袜人妻中文字幕| 亚洲av中文字字幕乱码综合| 97人妻精品一区二区三区麻豆| 亚洲av熟女| 亚洲avbb在线观看| 国产一级毛片七仙女欲春2| 99在线人妻在线中文字幕| 99久久国产精品久久久| 国产伦在线观看视频一区| 亚洲成人中文字幕在线播放| a级毛片在线看网站| 亚洲天堂国产精品一区在线| 97碰自拍视频| 亚洲av熟女| 在线播放国产精品三级| 男人舔女人的私密视频| 欧美zozozo另类| 亚洲第一电影网av| 18禁观看日本| av视频在线观看入口| svipshipincom国产片| 成人特级黄色片久久久久久久| 免费高清视频大片| 91麻豆av在线| 日韩中文字幕欧美一区二区| 极品教师在线免费播放| 午夜久久久久精精品| 1000部很黄的大片| 香蕉丝袜av| 特大巨黑吊av在线直播| 国产午夜福利久久久久久| 国产午夜精品久久久久久| xxxwww97欧美| 久久久久国产精品人妻aⅴ院| 男女做爰动态图高潮gif福利片| 18禁裸乳无遮挡免费网站照片| 人妻丰满熟妇av一区二区三区| 男人舔女人的私密视频| 国产成人精品久久二区二区91| 国产av一区在线观看免费| 日本黄大片高清| 噜噜噜噜噜久久久久久91| www国产在线视频色| 国产精品99久久99久久久不卡| 亚洲精品色激情综合| 热99re8久久精品国产| 两性午夜刺激爽爽歪歪视频在线观看| 久久天堂一区二区三区四区| 99久久精品国产亚洲精品| 老熟妇乱子伦视频在线观看| 亚洲熟妇熟女久久| 欧美色欧美亚洲另类二区| 国产精品乱码一区二三区的特点| 香蕉av资源在线| 久久午夜亚洲精品久久| 无限看片的www在线观看| 国产精品av视频在线免费观看| 禁无遮挡网站| 欧美绝顶高潮抽搐喷水| 色综合亚洲欧美另类图片| 国产欧美日韩一区二区精品| 欧美激情久久久久久爽电影| 亚洲中文av在线| 国产69精品久久久久777片 | x7x7x7水蜜桃| 变态另类成人亚洲欧美熟女| 亚洲性夜色夜夜综合| 欧洲精品卡2卡3卡4卡5卡区| 欧美又色又爽又黄视频| 在线观看午夜福利视频| 国产午夜精品论理片| 亚洲美女视频黄频| 别揉我奶头~嗯~啊~动态视频| 91在线观看av| 国产精品免费一区二区三区在线| 老司机午夜福利在线观看视频| 国产精品久久久久久久电影 | 中文亚洲av片在线观看爽| 1024香蕉在线观看| 美女高潮的动态| 日本成人三级电影网站| 日韩欧美免费精品| 亚洲男人的天堂狠狠| 国产99白浆流出| 亚洲九九香蕉| 中文字幕久久专区| 一级a爱片免费观看的视频| 久久久久九九精品影院| 免费在线观看视频国产中文字幕亚洲| АⅤ资源中文在线天堂| 国产成人啪精品午夜网站| 两个人的视频大全免费| 一夜夜www| 久久国产精品人妻蜜桃| 啦啦啦免费观看视频1| 男插女下体视频免费在线播放| 中文字幕高清在线视频| 国产91精品成人一区二区三区| 老司机午夜十八禁免费视频| 亚洲成人免费电影在线观看| 一夜夜www| 国产成人av激情在线播放| 日本与韩国留学比较| 日韩高清综合在线| 亚洲最大成人中文| 欧美一区二区国产精品久久精品| 中文字幕最新亚洲高清| 午夜福利18| 免费观看的影片在线观看| 在线观看舔阴道视频| 91麻豆精品激情在线观看国产| 国产成人一区二区三区免费视频网站| 成人特级黄色片久久久久久久| 99国产综合亚洲精品| 一本精品99久久精品77| 啦啦啦免费观看视频1| 亚洲欧美日韩高清专用| 精品不卡国产一区二区三区| 黄频高清免费视频| 国产精品野战在线观看| 亚洲片人在线观看| 国产97色在线日韩免费| 亚洲中文字幕一区二区三区有码在线看 | 亚洲第一电影网av| 日本与韩国留学比较| 美女cb高潮喷水在线观看 | 18禁裸乳无遮挡免费网站照片| 91在线观看av| 国产成人福利小说| 午夜久久久久精精品| 最好的美女福利视频网| 欧美日韩福利视频一区二区| 熟女电影av网| 久久亚洲真实| 一个人看视频在线观看www免费 | 99热6这里只有精品| www日本在线高清视频| 国产成年人精品一区二区| 国产成人欧美在线观看| 久久久久久九九精品二区国产| 老鸭窝网址在线观看| 一级毛片高清免费大全| 国产欧美日韩精品亚洲av| 成人三级做爰电影| 午夜福利18| 精品欧美国产一区二区三| 亚洲午夜精品一区,二区,三区| 欧美一区二区国产精品久久精品| 高潮久久久久久久久久久不卡| 精华霜和精华液先用哪个| 亚洲熟女毛片儿| 五月伊人婷婷丁香| 在线观看一区二区三区| 国产一区二区在线av高清观看| 91在线观看av| 波多野结衣高清无吗| 亚洲精品中文字幕一二三四区| 精品久久蜜臀av无| 好看av亚洲va欧美ⅴa在| 国产男靠女视频免费网站| 精品久久久久久久毛片微露脸| 久久久色成人| 国产精品电影一区二区三区| 此物有八面人人有两片| 叶爱在线成人免费视频播放| 免费看日本二区| 搞女人的毛片| 一a级毛片在线观看| 亚洲五月天丁香| 日日摸夜夜添夜夜添小说| 免费看a级黄色片| 国产精品精品国产色婷婷| 亚洲欧美精品综合久久99| 一个人看的www免费观看视频| 91麻豆精品激情在线观看国产| 后天国语完整版免费观看| 看黄色毛片网站| 少妇人妻一区二区三区视频| 国产成人精品无人区| 国产高清三级在线| 男人舔奶头视频| 午夜亚洲福利在线播放| 午夜福利成人在线免费观看| 日韩人妻高清精品专区| 亚洲欧美日韩高清专用| 国产午夜福利久久久久久| 日韩av在线大香蕉| 757午夜福利合集在线观看| 欧美一区二区国产精品久久精品| 脱女人内裤的视频| 亚洲av免费在线观看| 精品久久久久久成人av| 亚洲国产精品sss在线观看| 国产美女午夜福利| 国产爱豆传媒在线观看| av女优亚洲男人天堂 | 国产伦人伦偷精品视频| 久久久久免费精品人妻一区二区| 综合色av麻豆| 波多野结衣巨乳人妻| 久久精品国产亚洲av香蕉五月| 国产单亲对白刺激| 色在线成人网| 国产69精品久久久久777片 | 日韩欧美国产在线观看| 国产精品久久久久久精品电影| 亚洲欧美精品综合久久99| 亚洲精品在线观看二区| 美女 人体艺术 gogo| 午夜福利在线观看免费完整高清在 | 久久精品人妻少妇| 熟女人妻精品中文字幕| 久久久久久人人人人人| 精品熟女少妇八av免费久了| 精品一区二区三区视频在线观看免费| 日本一二三区视频观看| 久久精品91蜜桃| 老鸭窝网址在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 一夜夜www| 亚洲无线观看免费| 久久中文字幕人妻熟女| 搡老熟女国产l中国老女人| 国产伦精品一区二区三区视频9 | 熟女少妇亚洲综合色aaa.| 欧美高清成人免费视频www| 国产一区二区在线观看日韩 | www.精华液| 97人妻精品一区二区三区麻豆| xxxwww97欧美| 色在线成人网| 97超级碰碰碰精品色视频在线观看| 午夜视频精品福利| 亚洲人与动物交配视频| 1000部很黄的大片| 久99久视频精品免费| 午夜福利在线观看免费完整高清在 | 国产主播在线观看一区二区| 欧洲精品卡2卡3卡4卡5卡区| 99re在线观看精品视频| 国产精品久久电影中文字幕| avwww免费| 国产v大片淫在线免费观看| 国产av在哪里看| 精品无人区乱码1区二区| 国产乱人视频| 亚洲欧美激情综合另类| 久久久国产欧美日韩av| 又爽又黄无遮挡网站| 国产男靠女视频免费网站| 亚洲人成伊人成综合网2020| 女人高潮潮喷娇喘18禁视频| 欧美色欧美亚洲另类二区| 嫩草影视91久久| 别揉我奶头~嗯~啊~动态视频| 国产一级毛片七仙女欲春2| 国产精华一区二区三区| 欧美日韩黄片免| 给我免费播放毛片高清在线观看| 黄色 视频免费看| 一本一本综合久久| 1000部很黄的大片| 亚洲人与动物交配视频| 国产男靠女视频免费网站| 国产日本99.免费观看| 99国产极品粉嫩在线观看| 很黄的视频免费| 欧美又色又爽又黄视频| 欧美3d第一页| 少妇丰满av| 蜜桃久久精品国产亚洲av| 久久精品夜夜夜夜夜久久蜜豆| 成人三级做爰电影| 黄色女人牲交| 久久久久久久久免费视频了| 床上黄色一级片| 丁香六月欧美| 中文字幕熟女人妻在线| 老司机深夜福利视频在线观看| 国产精品av久久久久免费| 韩国av一区二区三区四区| 国产精品av久久久久免费| 国产伦一二天堂av在线观看| 狠狠狠狠99中文字幕| www日本在线高清视频| 国产成人精品久久二区二区91| 国产精品国产高清国产av| 国产成人精品久久二区二区91| 色老头精品视频在线观看| 亚洲aⅴ乱码一区二区在线播放| 又黄又爽又免费观看的视频| 国产精品久久视频播放| 欧美三级亚洲精品| 熟女人妻精品中文字幕| 男女午夜视频在线观看| 老司机福利观看| 亚洲片人在线观看| 久久人妻av系列| 深夜精品福利| 99久久精品一区二区三区| 国产精品日韩av在线免费观看| 丁香六月欧美| 久久中文字幕一级| 老司机在亚洲福利影院| 99riav亚洲国产免费| 夜夜看夜夜爽夜夜摸| 香蕉国产在线看| 一进一出抽搐gif免费好疼| 国产成人av教育| 婷婷精品国产亚洲av在线| 夜夜夜夜夜久久久久| 在线视频色国产色| 狂野欧美激情性xxxx| 男人舔女人下体高潮全视频| 天堂影院成人在线观看| 久久精品影院6| 波多野结衣巨乳人妻| 久久久精品欧美日韩精品| 国产伦在线观看视频一区| 岛国在线免费视频观看| 日本成人三级电影网站| av女优亚洲男人天堂 | 成年女人永久免费观看视频| 欧美乱码精品一区二区三区| 免费观看人在逋| 曰老女人黄片| 久久性视频一级片| 亚洲 国产 在线| 成年免费大片在线观看| 精品国产三级普通话版| 淫妇啪啪啪对白视频| 久久久久久国产a免费观看| 午夜日韩欧美国产| 51午夜福利影视在线观看| 国产精品国产高清国产av| 在线观看午夜福利视频| 老熟妇仑乱视频hdxx| 亚洲欧美激情综合另类| 国产精品香港三级国产av潘金莲| 国产aⅴ精品一区二区三区波| 国产欧美日韩精品亚洲av| 中文字幕av在线有码专区| 精品国产乱码久久久久久男人| 日本熟妇午夜| 久久久久九九精品影院| www.自偷自拍.com| 狂野欧美激情性xxxx| 久久精品国产亚洲av香蕉五月| 亚洲人成网站高清观看| 色综合站精品国产| 国内精品一区二区在线观看| 丝袜人妻中文字幕| 999久久久国产精品视频| 欧美黄色淫秽网站| 丰满的人妻完整版| 国产精品野战在线观看| 精品免费久久久久久久清纯| 熟女电影av网| 在线免费观看不下载黄p国产 | 国产aⅴ精品一区二区三区波| 哪里可以看免费的av片| 久久久精品大字幕| 成在线人永久免费视频| 成人欧美大片| 亚洲性夜色夜夜综合| 久久久久国产精品人妻aⅴ院| 亚洲精品久久国产高清桃花| 精品电影一区二区在线| e午夜精品久久久久久久| 国产不卡一卡二| 两个人看的免费小视频| 久久久国产精品麻豆| 亚洲自偷自拍图片 自拍| 久久精品91无色码中文字幕| 国产高潮美女av| 成人鲁丝片一二三区免费| 午夜a级毛片| 男女那种视频在线观看| 成在线人永久免费视频| 一二三四在线观看免费中文在| 久9热在线精品视频| 国产野战对白在线观看| 亚洲欧洲精品一区二区精品久久久| АⅤ资源中文在线天堂| 免费在线观看视频国产中文字幕亚洲| 高清毛片免费观看视频网站| 又粗又爽又猛毛片免费看| 久久久久国产一级毛片高清牌| 一进一出好大好爽视频| 中文字幕av在线有码专区| 99国产精品一区二区蜜桃av| 麻豆久久精品国产亚洲av| 国产视频内射| 午夜免费观看网址| 日韩欧美在线乱码| 亚洲五月天丁香| 老熟妇仑乱视频hdxx| 老司机午夜福利在线观看视频| 国产91精品成人一区二区三区| 看黄色毛片网站| 国产精品久久久久久人妻精品电影| 亚洲精品在线美女| 首页视频小说图片口味搜索| 精品乱码久久久久久99久播| 搡老熟女国产l中国老女人| 国产精品久久视频播放| 嫩草影视91久久| 99热这里只有精品一区 | 伦理电影免费视频| 午夜福利免费观看在线| 亚洲欧美精品综合一区二区三区| 在线观看免费午夜福利视频| www日本黄色视频网| 亚洲在线自拍视频| 观看美女的网站| 国产亚洲精品久久久久久毛片| 午夜激情福利司机影院| 黄色女人牲交| 日韩欧美在线乱码| 中国美女看黄片| 久久久久久人人人人人| 欧美另类亚洲清纯唯美| 久久香蕉国产精品| 欧美日韩精品网址| 熟女人妻精品中文字幕| 亚洲美女视频黄频| 一区二区三区国产精品乱码| 老鸭窝网址在线观看| 日本免费一区二区三区高清不卡| 亚洲国产中文字幕在线视频| 亚洲中文av在线| 成年版毛片免费区| 亚洲人与动物交配视频| 九九久久精品国产亚洲av麻豆 | 亚洲av美国av| 成人永久免费在线观看视频| 美女cb高潮喷水在线观看 | 一本精品99久久精品77| 极品教师在线免费播放| 一区二区三区激情视频| 久久精品国产99精品国产亚洲性色| 国产精品,欧美在线| 99久久99久久久精品蜜桃| 亚洲精品久久国产高清桃花| 最好的美女福利视频网| 国产精品一区二区免费欧美| 性色av乱码一区二区三区2| 亚洲电影在线观看av| 又爽又黄无遮挡网站| 亚洲18禁久久av| 欧美精品啪啪一区二区三区| 久99久视频精品免费| 热99在线观看视频| 午夜日韩欧美国产| 俺也久久电影网| 国产三级在线视频| 久久久精品大字幕| cao死你这个sao货| 亚洲专区中文字幕在线| 久久久久精品国产欧美久久久| 亚洲av电影在线进入| 欧美日韩综合久久久久久 | 欧美一区二区精品小视频在线| 成人亚洲精品av一区二区| 国产三级黄色录像| 国语自产精品视频在线第100页| 午夜激情福利司机影院| 宅男免费午夜| 99国产精品一区二区三区| 99在线视频只有这里精品首页| 男女下面进入的视频免费午夜| 丁香六月欧美| 成人无遮挡网站| av中文乱码字幕在线| 真实男女啪啪啪动态图| 亚洲欧美一区二区三区黑人| 一区二区三区高清视频在线| 亚洲国产精品久久男人天堂| 黄色视频,在线免费观看| 精品一区二区三区视频在线观看免费| 特大巨黑吊av在线直播| 亚洲av日韩精品久久久久久密| 在线a可以看的网站| 欧美色欧美亚洲另类二区| 88av欧美| 老熟妇乱子伦视频在线观看| 免费在线观看亚洲国产| 欧美黄色片欧美黄色片| 又黄又爽又免费观看的视频| 久久这里只有精品19| 久久精品国产清高在天天线| 国产精品99久久久久久久久| 欧美日韩一级在线毛片| 久久精品国产亚洲av香蕉五月| 欧美乱码精品一区二区三区| tocl精华| 久久精品夜夜夜夜夜久久蜜豆| 国产亚洲精品综合一区在线观看| 两性夫妻黄色片| av欧美777| 9191精品国产免费久久| 成年人黄色毛片网站| 国产精品香港三级国产av潘金莲| 99久久99久久久精品蜜桃| 香蕉国产在线看| 久久精品aⅴ一区二区三区四区| 91九色精品人成在线观看| 两性夫妻黄色片| 国产主播在线观看一区二区| 香蕉久久夜色| 在线观看日韩欧美| 午夜免费观看网址| 国内精品一区二区在线观看| 精品一区二区三区四区五区乱码| 久久久久久久久久黄片| 国产精品一区二区三区四区免费观看 | www国产在线视频色| 亚洲中文av在线| 精品国产亚洲在线| 欧美中文综合在线视频|