• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    5G邊緣計(jì)算商用部署和運(yùn)維關(guān)鍵技術(shù)

    2021-01-27 07:43:50王衛(wèi)斌朱堃何偉
    移動(dòng)通信 2021年1期
    關(guān)鍵詞:邊緣運(yùn)維部署

    王衛(wèi)斌,朱堃,何偉

    (中興通訊股份有限公司,廣東 深圳 518057)

    1 MEC架構(gòu)和商用部署模式

    5G 時(shí)代,移動(dòng)通信從最初的人與人之間的通信開始轉(zhuǎn)向人與物的通信,直至物與物之間的通信。AR/VR、物聯(lián)網(wǎng)、工業(yè)自動(dòng)化、無人駕駛等新興業(yè)務(wù)被大量引入,對(duì)帶寬、時(shí)延、安全性等方面的需求也越來越苛刻,傳統(tǒng)云計(jì)算的集中部署方式已經(jīng)無法滿足業(yè)務(wù)需求。MEC(Multi-Access Edge Computing,邊緣計(jì)算)由于具備算力、時(shí)延、成本的最佳綜合優(yōu)勢(shì),成為新時(shí)代改變通信信息服務(wù)模式的關(guān)鍵創(chuàng)新之一,有望帶來更多的顛覆性業(yè)務(wù)模式。在邊緣計(jì)算場(chǎng)景下,應(yīng)用服務(wù)和內(nèi)容部署在網(wǎng)絡(luò)邊緣,可以減少數(shù)據(jù)傳輸環(huán)節(jié),提高數(shù)據(jù)安全性,降低端到端時(shí)延,減少帶寬占用,并降低功耗。運(yùn)營商可以通過部署MEC 平臺(tái),發(fā)揮5G 網(wǎng)絡(luò)優(yōu)勢(shì),充分挖掘無線網(wǎng)絡(luò)能力,為行業(yè)數(shù)字化轉(zhuǎn)型賦能。MEC 將助力運(yùn)營商實(shí)現(xiàn)網(wǎng)絡(luò)從接入管道向信息化服務(wù)使能平臺(tái)的跨越[1]。

    1.1 總體架構(gòu)

    如圖1 所示,MEC 總體架構(gòu)可以劃分管理域和業(yè)務(wù)域,MEC 管理域提供MEC 服務(wù)門戶、業(yè)務(wù)編排管理、業(yè)務(wù)策略管理、FCAPS 管理、生命周期管理和虛擬資源管理等。業(yè)務(wù)域又分為三層,具體功能如下[2]:

    (1)資源域:包括各種類型的服務(wù)器,如以計(jì)算能力為主的計(jì)算型服務(wù)器、存儲(chǔ)為主的存儲(chǔ)型服務(wù)器以及硬件加速卡之類,滿足AI 推理、圖形圖像渲染、網(wǎng)絡(luò)高速轉(zhuǎn)發(fā)等需求。以及為上層各種能力服務(wù)以及APP 應(yīng)用提供的虛擬化平臺(tái)資源及管理,包括虛機(jī)、容器以及裸金屬等類型,能力平臺(tái)及各類應(yīng)用可以共享統(tǒng)一的資源域。

    (2)能力域:網(wǎng)絡(luò)能力包括本地分流,還有NAT、虛擬防火墻VFW、DNS、業(yè)務(wù)負(fù)載均衡LB 等基本服務(wù)能力,同時(shí)還提供無線網(wǎng)絡(luò)信息服務(wù)RNIS、TCP 優(yōu)化、無線室內(nèi)定位等服務(wù)。這些服務(wù)通過網(wǎng)絡(luò)能力開放框架,以API 接口方式對(duì)外提供。能力層采用微服務(wù)化框架設(shè)計(jì),隨著后續(xù)業(yè)務(wù)需求的變化,可以引入第三方業(yè)務(wù)能力,如AI 能力、大數(shù)據(jù)能力等來豐富完善MEC 的能力層。

    (3)應(yīng)用域:如視頻監(jiān)控、AR/VR 視頻、園區(qū)等各種應(yīng)用APP。

    圖1 MEC總體架構(gòu)

    1.2 商用部署模式

    以中心DC、邊緣DC 和接入站點(diǎn)為基礎(chǔ)架構(gòu)的全分布式云成為各運(yùn)營商5G 時(shí)代基礎(chǔ)設(shè)施演進(jìn)的共同路線。MEC 可以按照不同業(yè)務(wù)場(chǎng)景以及時(shí)延方面的需求進(jìn)行靈活的部署,通??刹渴鹪诮尤霗C(jī)房、一般匯聚機(jī)房、重要匯聚機(jī)房以及地市核心機(jī)房等位置。同時(shí)結(jié)合客戶應(yīng)用場(chǎng)景的差異,通常有兩種部署模式[3]:

    (1)面對(duì)政企大客戶的專享型一體機(jī)模式。通常部署在大客戶現(xiàn)場(chǎng)機(jī)房,應(yīng)用于2B 專網(wǎng)等場(chǎng)景。考慮到在客戶機(jī)房部署,高安全保障、快速部署及現(xiàn)場(chǎng)零運(yùn)維是重點(diǎn)需求,MEC 通常和UPF 等媒體面接入設(shè)備采取軟硬件一體化集成部署的傳統(tǒng)CT 網(wǎng)元模式,同時(shí)具備物理安全防護(hù)、出廠預(yù)裝、現(xiàn)場(chǎng)即插即用等特性。

    (2)面對(duì)多個(gè)中小客戶敏捷創(chuàng)新而建設(shè)的共享型開放平臺(tái)模式。通常部署在地市核心或綜合業(yè)務(wù)園區(qū),具備開放能力、DevOps、自服務(wù)等IT 云的特征。豐富的ICT 開放能力,應(yīng)用敏捷開發(fā)、測(cè)試、快速部署是其競(jìng)爭(zhēng)力的體現(xiàn)。

    2 專享型一體機(jī)模式

    2.1 適用場(chǎng)景

    政企大客戶專網(wǎng)場(chǎng)景下,通常將運(yùn)營商的MEC 下沉部署在客戶現(xiàn)場(chǎng)機(jī)房,邊緣數(shù)據(jù)面直接分流到客戶私有云執(zhí)行行業(yè)業(yè)務(wù),其核心需求主要包括兩點(diǎn):一方面是保證工業(yè)控制等應(yīng)用的低時(shí)延要求,另外一方面通過數(shù)據(jù)面直接從邊緣分流到客戶私有云,保證數(shù)據(jù)的安全性。因此,專享MEC 采用軟硬件一體化集成的即插即用產(chǎn)品模式,以適應(yīng)客戶現(xiàn)場(chǎng)機(jī)房的惡劣環(huán)境、高安全風(fēng)險(xiǎn)以及零運(yùn)維的要求,就成為專享型MEC 的關(guān)鍵產(chǎn)品特征。

    2.2 邊緣硬件

    (1)一體化機(jī)柜

    如圖2 所示,一體化機(jī)柜集成了接入、算力等不同的硬件設(shè)備,同時(shí)出廠預(yù)裝了MEC 系統(tǒng)軟件,可整體運(yùn)輸,一體化交付。在交付現(xiàn)場(chǎng)只需開機(jī)上電,快速導(dǎo)入現(xiàn)場(chǎng)配置,即可開通業(yè)務(wù),達(dá)到開箱即用的要求。

    同時(shí)集成了配電、制冷、消防和監(jiān)控,采用無源門鎖、IP55 防塵防水、斷電保護(hù)等多種技術(shù),滿足防腐蝕、防雷、防侵入等惡劣環(huán)境部署的要求,具有靈活選址、快速部署和極簡運(yùn)維的優(yōu)勢(shì)。

    圖2 一體化機(jī)柜軟硬件架構(gòu)

    (2)邊緣服務(wù)器

    邊緣站點(diǎn)機(jī)房與運(yùn)營商核心數(shù)據(jù)中心相比條件有比較大的區(qū)別,很多方面無法滿足常規(guī)通用服務(wù)器的部署及運(yùn)行要求,給邊緣服務(wù)器帶來了挑戰(zhàn)。

    1)邊緣機(jī)房普遍低于數(shù)據(jù)中心承重標(biāo)準(zhǔn),同時(shí)機(jī)架多限制為600 mm/800 mm 深;

    2)邊緣機(jī)房的制冷系統(tǒng)的穩(wěn)定性無法有效保證,在制冷系統(tǒng)故障時(shí),機(jī)房溫度可能會(huì)達(dá)到45℃以上;

    3)部署于邊緣機(jī)房的服務(wù)器還將面臨抗震、電磁兼容和防噪等較高要求,機(jī)房空氣質(zhì)量欠佳等眾多限制。

    考慮到以上限制,邊緣服務(wù)器需要具有尺寸小、功耗低、計(jì)算密度高等特征。除此之外,服務(wù)器采用前走線設(shè)計(jì),便于維護(hù)管理;支持強(qiáng)異構(gòu)計(jì)算,極大提升性能功耗比;良好的結(jié)構(gòu)設(shè)計(jì),滿足邊緣機(jī)房較為惡劣的環(huán)境。

    (3)邊緣接入設(shè)備

    專享型一體機(jī)中通過集成接入設(shè)備,可以進(jìn)一步提升系統(tǒng)的集成交付能力,通常包括了無線BBU 和有線OLT 設(shè)備:

    1)新一代IT BBU 設(shè)備通常支持2G/3G/4G/5G 全制式,容量配置靈活,接口豐富,組網(wǎng)靈活,演進(jìn)平滑,也具有體積?。▋H2U 高)、容量大、功耗低、易維護(hù)和高集成等特點(diǎn)。同時(shí)具備強(qiáng)大的IT 擴(kuò)展能力,無需額外空間,通過新增通用處理器單板,可以把MEC 集成部署在BBU 中,進(jìn)一步提升了一體機(jī)的集成度。

    2)隨著智慧工廠、智慧園區(qū)的興起,PON 光網(wǎng)絡(luò)逐漸成為基礎(chǔ)網(wǎng)絡(luò)。OLT 設(shè)備不僅具備功能完善的二三層網(wǎng)絡(luò)連接功能,在不改變網(wǎng)絡(luò)整體架構(gòu)下,可方便卸載本地MEC 流量,實(shí)現(xiàn)固移融合邊緣業(yè)務(wù)?;谛乱淮植际郊軜?gòu)的OLT 平臺(tái)可內(nèi)置處理器單板,同樣支持把MEC 集成部署在OLT 中。

    2.3 輕量化云平臺(tái)

    專享型MEC 主要用于處理專網(wǎng)內(nèi)的本地用戶業(yè)務(wù),覆蓋范圍有限,因此具有規(guī)模小、數(shù)量多的特點(diǎn)。一體機(jī)內(nèi)的云平臺(tái)如果采用完整IaaS 部署,虛層管理資源占比過大,一方面推高了建設(shè)成本,另一方面也造成管理資源的浪費(fèi),因此,必須采用輕量化精簡部署,提升資源利用率[4]。

    (1)輕量化VIM 和Hypervisor

    輕量化VIM 和Hypervisor 通過裁剪組件,僅保留基礎(chǔ)組件,將其他組件作為選配組件,同時(shí)通過修改組件服務(wù)配置,減少組件服務(wù)的工作線程數(shù)量來降低對(duì)物理資源的消耗,同時(shí)需要支持計(jì)算和控制合一部署,使得資源能夠得到有效利用。

    (2)輕量化存儲(chǔ)

    一體機(jī)規(guī)模較小,承載業(yè)務(wù)以本地處理為主,所需的存儲(chǔ)容量較小,存儲(chǔ)可采用本地存儲(chǔ)或者云存儲(chǔ)。本地存儲(chǔ)性能高,占用資源少,但可靠性差,并且不支持遷移,而云存儲(chǔ)如果采用獨(dú)立的分布式存儲(chǔ)或者磁陣成本較高。因此采用計(jì)算存儲(chǔ)融合方案是一種有效方案,將分布式存儲(chǔ)部署于計(jì)算節(jié)點(diǎn)上,計(jì)算/存儲(chǔ)共物理平臺(tái)節(jié)省成本。存儲(chǔ)采用多副本,沒有單點(diǎn)故障,同時(shí)可通過策略配置,使得虛擬機(jī)優(yōu)先使用本地副本,進(jìn)一步提升數(shù)據(jù)訪問效率。

    (3)輕量化網(wǎng)絡(luò)

    邊緣上的業(yè)務(wù)以第三方業(yè)務(wù)為主,業(yè)務(wù)變動(dòng)頻繁,網(wǎng)絡(luò)配置如果采用手工配置,對(duì)于運(yùn)維人員,運(yùn)維工作量巨大,而部分邊緣站點(diǎn)無人值守的特點(diǎn)使得網(wǎng)絡(luò)配置更為困難,因此通過SDN 來進(jìn)行網(wǎng)絡(luò)自動(dòng)化配置成為必然選擇。而一體機(jī)由于規(guī)模較小,需要采用輕量化SDN 控制器,例如OVN,來實(shí)現(xiàn)網(wǎng)絡(luò)自動(dòng)化部署,提升運(yùn)維效率,降低運(yùn)維工作量,適應(yīng)業(yè)務(wù)的頻繁變化。

    2.4 安全技術(shù)

    相對(duì)于傳統(tǒng)運(yùn)營商網(wǎng)絡(luò),邊緣計(jì)算系統(tǒng)在部署機(jī)房等級(jí)、組網(wǎng)架構(gòu)、服務(wù)提供方式、運(yùn)營模式上有較大的變化,這些變化對(duì)安全提出了更大的挑戰(zhàn)。重點(diǎn)需要關(guān)注:

    (1)物理安全:通過在一體機(jī)上部署電子門禁告警、電子門鎖等設(shè)備,保障機(jī)柜的物理安全。

    (2)基礎(chǔ)設(shè)施安全:除了提供網(wǎng)絡(luò)安全、租戶隔離、加密通道等傳統(tǒng)安全保障之外,還可以通過如圖3 所示的軟硬協(xié)同虛擬化技術(shù)將Hypervisor 下沉到虛擬化卡上,實(shí)現(xiàn)虛層的物理級(jí)別安全,也是目前逐步興起的熱點(diǎn)技術(shù)。

    (3)接入安全:由于邊緣網(wǎng)元遠(yuǎn)程接入核心網(wǎng),UPF/MEP 與核心網(wǎng)之間需要考慮雙向認(rèn)證。

    (4)應(yīng)用安全:應(yīng)用無代理殺毒、鏡像加密。

    圖3 軟硬協(xié)同虛擬化技術(shù)

    2.5 運(yùn)維系統(tǒng)及關(guān)鍵技術(shù)

    一體化邊緣設(shè)備一般集成部署在企業(yè)園區(qū)內(nèi),從運(yùn)維職責(zé)上劃分,將分為由運(yùn)營商或設(shè)備提供商負(fù)責(zé),以及由企業(yè)自服務(wù)自主運(yùn)維兩種模式。運(yùn)維系統(tǒng)可分為兩級(jí)層次,分別為面向企業(yè)的自服務(wù)門戶系統(tǒng)及面向?qū)I(yè)運(yùn)維人員的專業(yè)維護(hù)系統(tǒng)[5]。

    (1)系統(tǒng)架構(gòu)

    一體化設(shè)備運(yùn)維系統(tǒng)的兩級(jí)層次中,企業(yè)自服務(wù)運(yùn)維門戶要求全局、簡單、易用,適合由企業(yè)運(yùn)維人員使用;專業(yè)運(yùn)維系統(tǒng)提供分域、專業(yè)、詳盡的數(shù)據(jù)分析,適合由運(yùn)營商或設(shè)備商專業(yè)運(yùn)維人員使用。

    1)面向企業(yè)自服務(wù)自運(yùn)維門戶

    一體化設(shè)備企業(yè)自維護(hù)門戶,為企業(yè)用戶屏蔽復(fù)雜的網(wǎng)絡(luò)細(xì)節(jié),僅呈現(xiàn)關(guān)鍵指標(biāo)和企業(yè)相關(guān)的資源情況,幫助企業(yè)運(yùn)維人員進(jìn)行有效簡化運(yùn)維管理,提升運(yùn)維效率。自維護(hù)門戶較電信級(jí)網(wǎng)管系統(tǒng)而言,更為簡單輕便。

    ◆功能簡化:僅提供網(wǎng)絡(luò)性能、資源監(jiān)控、告警處理等基礎(chǔ)功能,不包含復(fù)雜網(wǎng)絡(luò)操作如網(wǎng)元實(shí)例化、業(yè)務(wù)配置等,減輕企業(yè)用戶運(yùn)維壓力。

    ◆界面簡化:支持用戶自定義大屏指標(biāo),如僅展示分類指標(biāo),或僅呈現(xiàn)企業(yè)用戶關(guān)心的業(yè)務(wù)SLA。

    針對(duì)網(wǎng)絡(luò)資產(chǎn)屬于企業(yè)的場(chǎng)景,企業(yè)自運(yùn)維門戶在簡化操作和界面的同時(shí),提供更全面的網(wǎng)絡(luò)監(jiān)控和更智能的定位分析,幫助用戶精確掌握網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量情況,快速排除網(wǎng)絡(luò)故障,保障業(yè)務(wù)穩(wěn)定運(yùn)行,具體包括:

    ◆監(jiān)控終端設(shè)備的運(yùn)行狀態(tài)、設(shè)備流量、設(shè)備鏈路質(zhì)量等。

    ◆監(jiān)控網(wǎng)絡(luò)管道的資源情況及狀態(tài),如無線信道時(shí)延、承載傳輸速率、MEP 平臺(tái)API 調(diào)用情況等。區(qū)別于運(yùn)營商網(wǎng)絡(luò)運(yùn)維系統(tǒng),自維護(hù)門戶包含預(yù)定義的幾十種網(wǎng)絡(luò)SLA,對(duì)網(wǎng)絡(luò)管道復(fù)雜指標(biāo)進(jìn)行封裝,企業(yè)用戶可關(guān)注封裝后的SLA 情況,降低企業(yè)運(yùn)維人員技能要求。

    ◆監(jiān)控企業(yè)自身應(yīng)用的各項(xiàng)指標(biāo),如應(yīng)用的網(wǎng)絡(luò)性能、用戶的操作日志、業(yè)務(wù)QoS 指標(biāo)、接口流量、閾值告警等。

    更智能的故障診斷支持自動(dòng)統(tǒng)計(jì)不同層級(jí)的故障及性能,提供故障定界定位,幫助企業(yè)運(yùn)維人員快速分析是運(yùn)營商網(wǎng)絡(luò)問題還是自身應(yīng)用問題,縮短問題解決時(shí)間。

    2)面向?qū)I(yè)運(yùn)維人員的本地運(yùn)維門戶

    一體化設(shè)備企業(yè)自維護(hù)門戶提供了簡便的運(yùn)維方式,可滿足基本的日常運(yùn)維需要,為更好地保障系統(tǒng)的正常運(yùn)行,部分專業(yè)運(yùn)維能力需由本地運(yùn)維門戶提供。此本地運(yùn)維門戶系統(tǒng)并不需要類似運(yùn)營商大網(wǎng)管體系,僅需提供基本的設(shè)備運(yùn)維功能,主要包括:版本升級(jí)、設(shè)備告警監(jiān)控、處理、網(wǎng)元指標(biāo)統(tǒng)計(jì)、信令跟蹤、日志異常分析等。這些本地運(yùn)維能力滿足面向設(shè)備的基本維護(hù)要求,通過本地維護(hù)管理系統(tǒng)可滿足設(shè)備維護(hù)需要。

    (2)安裝開通

    一體化設(shè)備是集成度非常高的產(chǎn)品,其中包含了核心網(wǎng)、無線、承載等若干基礎(chǔ)通訊設(shè)備及云資源池平臺(tái),此時(shí)對(duì)一體化設(shè)備運(yùn)維提出了高集成度、高可操作性的要求,其中包括生產(chǎn)預(yù)裝、即插即用上電、全局監(jiān)控概覽、一鍵業(yè)務(wù)恢復(fù)等。

    1)生產(chǎn)預(yù)裝,即插即用:如圖4 所示,邊緣MEC 一體化設(shè)備開通流程遵循通用數(shù)據(jù)標(biāo)準(zhǔn)化預(yù)配置。一體化設(shè)備在出廠前,自動(dòng)化完成標(biāo)準(zhǔn)化MEC 運(yùn)行環(huán)境、軟件的自動(dòng)化安裝,標(biāo)準(zhǔn)化預(yù)配置通用性數(shù)據(jù)等,個(gè)性化數(shù)據(jù)遠(yuǎn)程一鍵配置,支撐MEC設(shè)備即插即用、快速部署,縮短MEC站點(diǎn)上線周期。

    2)一鍵配置:預(yù)裝MEC 設(shè)備支持自動(dòng)接入遠(yuǎn)程邊緣管理域系統(tǒng),由現(xiàn)場(chǎng)部署工具依據(jù)現(xiàn)場(chǎng)自動(dòng)化設(shè)計(jì)生成每個(gè)站點(diǎn)腳本,自動(dòng)化部署工具完成一體化設(shè)備的上電開通。

    3)自動(dòng)化測(cè)試:邊緣管理域可提供自動(dòng)化測(cè)試工具,封裝邊緣MEC 一體化設(shè)備的測(cè)試用例、測(cè)試工具,運(yùn)維人員依據(jù)不同場(chǎng)景選用測(cè)試用例,系統(tǒng)自動(dòng)化實(shí)現(xiàn)MEC的業(yè)務(wù)測(cè)試報(bào)告。

    (3)全局監(jiān)控

    邊緣MEC 一體化設(shè)備需要對(duì)設(shè)備本身運(yùn)行狀態(tài)進(jìn)行全方位監(jiān)控,其中包含作為管道設(shè)備的UPF 及MEP,以及相關(guān)資源池部分,以及作為邊緣云的云資源和其上運(yùn)行的業(yè)務(wù)APP 運(yùn)行情況的監(jiān)控等,具體監(jiān)控內(nèi)容如圖5 所示。

    圖4 生產(chǎn)預(yù)裝,即插即用流程

    圖5 邊緣MEC一體化設(shè)備全局監(jiān)控內(nèi)容

    1)資源層監(jiān)控

    一體化監(jiān)控系統(tǒng)實(shí)現(xiàn)一體機(jī)資源集中監(jiān)控能力,搜集全局資源容量、資源分配、資源負(fù)荷等基線數(shù)據(jù),以清晰明了的方式呈現(xiàn)資源的概覽情況。同時(shí)通過峰值分析、預(yù)測(cè)分析等手段,對(duì)如何處理業(yè)務(wù)資源彈縮做出更好、更明智的決策,以確保應(yīng)用性能和資源消耗的平衡,同時(shí)可以通過預(yù)測(cè)未來利用率以及潛在的容量限制來更加主動(dòng)地管理其資源。

    2)網(wǎng)絡(luò)業(yè)務(wù)層監(jiān)控

    一體化設(shè)備運(yùn)維系統(tǒng)需監(jiān)控一體化UPF 分流情況,按照應(yīng)用、DNN 等多個(gè)維度統(tǒng)計(jì)網(wǎng)絡(luò)總流量指標(biāo),直觀呈現(xiàn)租戶、應(yīng)用使用流量的情況。同時(shí)可選擇按照用戶關(guān)心的如DPI 數(shù)據(jù)統(tǒng)計(jì)區(qū)域、小區(qū)、RAT、網(wǎng)元、業(yè)務(wù)類型、應(yīng)用類型、終端、用戶等多個(gè)維度全方面分析各種數(shù)據(jù)業(yè)務(wù)和應(yīng)用的流量分布及使用情況,從而發(fā)現(xiàn)熱點(diǎn)小區(qū)、熱門應(yīng)用和網(wǎng)站,為網(wǎng)絡(luò)流量分流優(yōu)化和市場(chǎng)營銷提供幫助。

    3)應(yīng)用層監(jiān)控

    一體化設(shè)備運(yùn)維系統(tǒng)對(duì)虛擬化資源一體化邊緣設(shè)備提供可視化的拓?fù)湟晥D,支持自上而下鉆取顯示應(yīng)用、虛擬資源、物理資源拓?fù)潢P(guān)系,可視化展示應(yīng)用的物理位置,并在拓?fù)渖箱秩靖鲗淤Y源的告警、關(guān)鍵性能數(shù)據(jù),實(shí)時(shí)呈現(xiàn)應(yīng)用的運(yùn)行監(jiān)控狀態(tài),幫助運(yùn)維人員可視化、高效維護(hù)各種行業(yè)應(yīng)用。

    (4)業(yè)務(wù)保障

    邊緣MEC 一體化設(shè)備作為邊緣云基礎(chǔ)設(shè)備,除采用靈活快速的部署安裝方式,以及簡單易用的監(jiān)控系統(tǒng)外,對(duì)于問題發(fā)生后,需要提供以業(yè)務(wù)快速恢復(fù)為目標(biāo)的保障手段。系統(tǒng)能以簡單可讀的方式上報(bào)告知運(yùn)維人員異常事件的發(fā)生事件、事件類型、異常對(duì)象、具體描述等,以及提供運(yùn)維人員基本的處理方式。當(dāng)問題沒有得到快速的解決時(shí),借鑒IT 設(shè)備的運(yùn)維模式,通??刹捎玫木S護(hù)方式包括一鍵式重啟、一鍵式復(fù)位、一鍵式重新安裝等,通過簡單的操作可使得業(yè)務(wù)得以快速恢復(fù),此時(shí),一體化運(yùn)維系統(tǒng)應(yīng)以類似航空“黑匣子”方式記錄問題發(fā)生時(shí)的相關(guān)日志,如操作日志、安全日志、系統(tǒng)運(yùn)行日志等。通過數(shù)據(jù)采集方式提供給專業(yè)分析系統(tǒng)對(duì)問題進(jìn)行事后分析,找出根因,得出問題規(guī)避方式,避免再次發(fā)生。

    3 共享型開放平臺(tái)模式

    3.1 適用場(chǎng)景

    在地市核心局點(diǎn),運(yùn)營商通常會(huì)部署多個(gè)中小客戶共享的邊緣計(jì)算MEC 系統(tǒng)。此類MEC 具備靈活的多種模式資源供給,提供豐富的ICT 開放能力,同時(shí)具備從應(yīng)用開發(fā)、測(cè)試、發(fā)布到部署的全過程DevOps 環(huán)境,為中小客戶提供了良好的應(yīng)用創(chuàng)新平臺(tái)。這種模式的MEC 可以認(rèn)為是成熟的公有云服務(wù)模式在邊緣場(chǎng)景的落地,同時(shí)也為運(yùn)營商在邊緣計(jì)算領(lǐng)域建設(shè)合作生態(tài)提供了良好的平臺(tái)基礎(chǔ)。

    3.2 基礎(chǔ)設(shè)施平臺(tái)

    不同的邊緣計(jì)算應(yīng)用由于其功能及性能不同,對(duì)資源的需求也各不相同,包括虛機(jī)、容器、裸金屬等不同類型資源,也有對(duì)GPU 等加速硬件的資源需求。

    如圖6 所示,基礎(chǔ)設(shè)施平臺(tái)通常采用OpenStack+Kubernetes 雙引擎在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等模塊的深度融合,實(shí)現(xiàn)虛機(jī)、裸金屬、容器資源的靈活供給,大大提升了資源池的利用率,降低了管理資源開銷。同時(shí)通過生命周期管理、權(quán)限控制以及運(yùn)維的融合,也為客戶提供了一致的管理、編排等使用體驗(yàn)[4]。

    3.3 ECP邊緣PaaS平臺(tái)

    在共享型模式下,MEP 也可以稱之為邊緣計(jì)算PaaS平臺(tái)ECP。如圖7 所示,該平臺(tái)除了提供邊緣計(jì)算基礎(chǔ)的分流、DNS、LB、NAT 等能力服務(wù)之外,還結(jié)合無線、核心網(wǎng)等設(shè)備提供運(yùn)營商獨(dú)有的RNIS、定位、用戶識(shí)別等網(wǎng)絡(luò)能力,同時(shí)與第三方伙伴合作提供豐富的行業(yè)能力。系統(tǒng)提供了開放能力API 網(wǎng)關(guān),提供能力對(duì)外運(yùn)營能力[6]。

    3.4 前店后廠運(yùn)營模式

    邊緣計(jì)算運(yùn)營平臺(tái)ECM 提供能力集成、應(yīng)用開發(fā)測(cè)試部署的全過程應(yīng)用孵化環(huán)境以及應(yīng)用商店。與ECP 協(xié)同,實(shí)現(xiàn)了在中心云應(yīng)用的敏捷快速創(chuàng)新之后,遠(yuǎn)程復(fù)制部署到邊緣云。這種如圖8 所示的“前店后廠”的模式,為邊緣計(jì)算應(yīng)用的敏捷創(chuàng)新提供了良好的平臺(tái)環(huán)境[7]。

    3.5 運(yùn)維系統(tǒng)及關(guān)鍵技術(shù)

    圖6 雙引擎基礎(chǔ)設(shè)施平臺(tái)架構(gòu)

    圖7 邊緣計(jì)算PaaS平臺(tái)ECP架構(gòu)

    共享型邊緣云開放平臺(tái)分為基礎(chǔ)設(shè)施平臺(tái)層、能力提供PaaS 層、邊緣通訊管道層及邊緣應(yīng)用層,在運(yùn)維上需要根據(jù)NFV 架構(gòu)對(duì)相關(guān)各層進(jìn)行運(yùn)維管理。其上由面向客戶的業(yè)務(wù)運(yùn)營系統(tǒng)負(fù)責(zé)邊緣云業(yè)務(wù)的整體運(yùn)營[8]。

    (1)系統(tǒng)架構(gòu)

    共享型邊緣云運(yùn)維系統(tǒng)一般可集中建設(shè)中運(yùn)營商中心機(jī)房,其中包 括:MEO、OMC、MEPM、VNFM、ECM、業(yè)務(wù)編排中心等,構(gòu)建總體架構(gòu)可參見圖9[6]。

    在邊緣業(yè)務(wù)節(jié)點(diǎn)之上,運(yùn)營運(yùn)維體系整體可分為運(yùn)維管理層及運(yùn)營管理層。

    1)運(yùn)營管理層ECM

    邊緣計(jì)算管理平臺(tái),提供企業(yè)客戶可訪問的服務(wù)門戶,ECM 可根據(jù)客戶需求進(jìn)行業(yè)務(wù)訂購組合提供,業(yè)務(wù)來源可包含自有業(yè)務(wù)、合營業(yè)務(wù)、第三方業(yè)務(wù)等。對(duì)于行業(yè)組合方案類業(yè)務(wù),可根據(jù)不同行業(yè)提供初始業(yè)務(wù)模板供客戶選擇,并編輯訂購,行業(yè)業(yè)務(wù)模板可包括云游戲、智慧鋼鐵、智慧文旅、自動(dòng)駕駛、智慧城市、智慧工廠、智慧園區(qū)等行業(yè)。

    2)運(yùn)維管理層

    圖8 前店后廠模式

    業(yè)務(wù)編排中心:銜接運(yùn)營門戶ECM 與運(yùn)維管理中心MEO/OMC 等的中樞節(jié)點(diǎn),實(shí)現(xiàn)客戶需求向網(wǎng)絡(luò)需求的轉(zhuǎn)換。

    OSS:集中運(yùn)維管理系統(tǒng),可管理多廠商邊緣設(shè)備FCAPS 等,包括UPF/MEP 及云資源池等。

    MEO:通過調(diào)用VNFM 能力,實(shí)現(xiàn)對(duì)于UPF、MEP等虛擬化電信網(wǎng)元的生命周期管理和第三方APP 的生命周期管理;調(diào)用邊緣云節(jié)點(diǎn)OMC/MEPM 實(shí)現(xiàn)UPF、MEP 的業(yè)務(wù)配置;與邊緣云節(jié)點(diǎn)VIM/CISM 實(shí)現(xiàn)第三方APP 等業(yè)務(wù)的資源發(fā)放;實(shí)現(xiàn)邊緣節(jié)點(diǎn)資源池的監(jiān)控、巡檢、故障分析定位。

    OMC:實(shí)現(xiàn)對(duì)于UPF 的運(yùn)維管理能力。

    MEPM:實(shí)現(xiàn)對(duì)于MEP 的運(yùn)維管理能力,管理APP的規(guī)則和需求。

    (2)關(guān)鍵技術(shù)

    1)MEC 業(yè)務(wù)監(jiān)控

    運(yùn)營商建立邊緣計(jì)算運(yùn)營運(yùn)維管理域,可以提供完整的運(yùn)維管理功能,除采集基本的管理信息外,可提供豐富智能分析能力及故障定位能力,實(shí)現(xiàn)對(duì)邊緣業(yè)務(wù)的有效保障。MEC 技術(shù)可以實(shí)現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)的分布式交換,降低核心網(wǎng)核心數(shù)據(jù)中心的交換壓力,同時(shí)優(yōu)化行業(yè)用戶的業(yè)務(wù)的感知和性能,也是運(yùn)營商行業(yè)創(chuàng)新、三方協(xié)同的基礎(chǔ)。管理域依據(jù)MEC 業(yè)務(wù)場(chǎng)景進(jìn)行指標(biāo)建模,建立關(guān)鍵指標(biāo)的統(tǒng)計(jì)方法,針對(duì)業(yè)務(wù)指標(biāo)提供多粒度、多維度的監(jiān)控,隨時(shí)隨地掌控業(yè)務(wù)變化趨勢(shì),智能分析出終端、管道、應(yīng)用的問題,快速處理行業(yè)應(yīng)用無法上網(wǎng)、視頻卡頓、打開網(wǎng)頁慢等問題,以幫助運(yùn)營商優(yōu)化網(wǎng)絡(luò),提升用戶體驗(yàn)。

    圖9 共享型運(yùn)維系統(tǒng)總體架構(gòu)

    2)MEC 智能策略

    MEC 站點(diǎn)一般位于位置偏遠(yuǎn)的機(jī)房,維護(hù)能力比較弱,運(yùn)維管理域通過智能策略系統(tǒng)分層次恢復(fù)資源層、應(yīng)用層故障,保障最優(yōu)的業(yè)務(wù)體驗(yàn)。MEC 網(wǎng)絡(luò)智能策略架構(gòu)包含以下幾個(gè)功能模塊[9]:

    ◆AI+數(shù)據(jù)引擎:引入大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的模型訓(xùn)練與應(yīng)用,為5G 網(wǎng)絡(luò)提供了智能分析和策略決策的能力,主要功能包括分別收集網(wǎng)絡(luò)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),執(zhí)行AI 分析,向策略決策模塊、業(yè)務(wù)平臺(tái)等推送AI 數(shù)據(jù)分析結(jié)果。

    ◆策略決策:用于從AI 引擎接收AI 數(shù)據(jù)分析結(jié)果,然后基于數(shù)據(jù)分析結(jié)果,生成執(zhí)行策略,并發(fā)送給策略執(zhí)行模塊和業(yè)務(wù)平臺(tái)。

    ◆策略執(zhí)行:分為資源層運(yùn)管系統(tǒng)和網(wǎng)絡(luò)業(yè)務(wù)層網(wǎng)管支撐兩個(gè)部分,既作為網(wǎng)絡(luò)數(shù)據(jù)的來源,提供海量數(shù)據(jù)給AI 引擎,用于大數(shù)據(jù)分析;也作為策略執(zhí)行者,從策略決策模塊獲取策略信息并本地執(zhí)行。

    基于MEC 策略系統(tǒng)智能實(shí)現(xiàn)故障智能閉環(huán)主要包括帶寬自動(dòng)調(diào)整和彈性擴(kuò)容等場(chǎng)景。

    ◆帶寬自動(dòng)更新:視頻監(jiān)控的場(chǎng)景下,策略中心檢測(cè)到視頻業(yè)務(wù)帶寬性能指標(biāo)達(dá)到條件上限,需要觸發(fā)帶寬更新擴(kuò)大,則策略中心下達(dá)MEP 平臺(tái)更新該業(yè)務(wù)QoS策略,擴(kuò)大應(yīng)用帶寬能力。

    ◆彈性擴(kuò)容:策略中心檢測(cè)到切片當(dāng)前邊緣UPF 整體性能指標(biāo)達(dá)到條件上限,需要擴(kuò)大核心網(wǎng)媒體面網(wǎng)元的處理能力,則策略中心下達(dá)網(wǎng)元更新操作,執(zhí)行擴(kuò)容,增加網(wǎng)元虛機(jī)數(shù)量。

    3)MEC 智能故障定位

    應(yīng)對(duì)邊緣MEC 位置分散、維護(hù)能力弱的特點(diǎn),運(yùn)維管理域提供故障自動(dòng)定界、網(wǎng)絡(luò)診斷、日志分析等功能提升設(shè)備故障定位效率,實(shí)現(xiàn)MEC 故障自感知管理。

    ◆故障自動(dòng)定界:通過搜集大量MEC 告警,分析告警中時(shí)間、地點(diǎn)、事件描述等多個(gè)維度的特征,結(jié)合告警的歷史頻度信息,結(jié)合網(wǎng)絡(luò)中同網(wǎng)元中其他信息、跨網(wǎng)元信息、同專業(yè)網(wǎng)信息、跨專業(yè)網(wǎng)信息及同業(yè)務(wù)的關(guān)聯(lián)信息,識(shí)別告警線索關(guān)系。根據(jù)當(dāng)前切片告警、統(tǒng)計(jì)、日志信息,利用訓(xùn)練獲得的規(guī)則進(jìn)行推理,獲取到最能匹配上的告警根因。

    ◆網(wǎng)絡(luò)故障診斷:MEC 站點(diǎn)管理中引入網(wǎng)絡(luò)診斷工具,提供可視化拓?fù)?、自?dòng)診斷、遠(yuǎn)程抓包手段,降低網(wǎng)絡(luò)故障診斷難度。

    ◆日志分析:某些場(chǎng)景設(shè)備的問題傳統(tǒng)的告警無法反映出來,而設(shè)備日志的內(nèi)容往往比告警更詳細(xì)、更全面,通過日志該特性可以實(shí)現(xiàn)系統(tǒng)故障快速定位和提前發(fā)現(xiàn)故障隱患。

    ◆故障根因定位:在告警/ 投訴等故障情況發(fā)生時(shí),結(jié)合設(shè)備拓?fù)?,通過對(duì)當(dāng)前時(shí)間段所有關(guān)聯(lián)設(shè)備日志的掃描分析與檢查,智能判斷故障的真實(shí)性以及故障的業(yè)務(wù)影響、可能根因等。

    ◆異常檢測(cè):通過內(nèi)置的專家?guī)旎蛘咧悄苁侄瓮诰虺龅囊?guī)則實(shí)現(xiàn)日志異常的觸發(fā),基于時(shí)序異常檢測(cè)和疑似操作識(shí)別,提前發(fā)現(xiàn)系統(tǒng)異常行為。

    4 結(jié)束語

    獨(dú)享型一體機(jī)和共享型開放平臺(tái)兩種部署模式互補(bǔ),為邊緣計(jì)算服務(wù)專網(wǎng)大客戶以及建設(shè)邊緣計(jì)算生態(tài)環(huán)境提供了平臺(tái)基礎(chǔ)適配。需要說明的是,廠家通常是提供了一套異構(gòu)同源的系統(tǒng),通過裁剪適配來滿足了兩種部署模式,這也為運(yùn)營商以及應(yīng)用開發(fā)商提供了一致的服務(wù)體驗(yàn)。

    邊緣計(jì)算發(fā)展方興未艾,在平臺(tái)技術(shù)成熟后,下一個(gè)可以預(yù)見的技術(shù)熱點(diǎn)是邊邊協(xié)同、云邊協(xié)同,進(jìn)而實(shí)現(xiàn)公有云、專屬云以及邊緣云的一體化布局,其中算力網(wǎng)絡(luò)、UPF SSC、多MEP 間交互等是需要進(jìn)一步研究落地的具體技術(shù)。

    相信隨著邊緣計(jì)算相關(guān)技術(shù)的全面成熟,邊緣計(jì)算應(yīng)用在千行百業(yè)的百花齊放將為5G 時(shí)代的來臨提供強(qiáng)大的助力[10]。

    猜你喜歡
    邊緣運(yùn)維部署
    一種基于Kubernetes的Web應(yīng)用部署與配置系統(tǒng)
    晉城:安排部署 統(tǒng)防統(tǒng)治
    部署
    運(yùn)維技術(shù)研發(fā)決策中ITSS運(yùn)維成熟度模型應(yīng)用初探
    風(fēng)電運(yùn)維困局
    能源(2018年8期)2018-09-21 07:57:24
    雜亂無章的光伏運(yùn)維 百億市場(chǎng)如何成長
    能源(2017年11期)2017-12-13 08:12:25
    一張圖看懂邊緣計(jì)算
    部署“薩德”意欲何為?
    太空探索(2016年9期)2016-07-12 10:00:02
    基于ITIL的運(yùn)維管理創(chuàng)新實(shí)踐淺析
    在邊緣尋找自我
    雕塑(1999年2期)1999-06-28 05:01:42
    亚洲国产中文字幕在线视频| 色精品久久人妻99蜜桃| 夜夜爽天天搞| 久久中文看片网| 亚洲少妇的诱惑av| 欧美亚洲日本最大视频资源| 精品国产超薄肉色丝袜足j| 又紧又爽又黄一区二区| 不卡av一区二区三区| 精品高清国产在线一区| 亚洲色图综合在线观看| 国产精品电影一区二区三区| 国产精品野战在线观看| 精品国内亚洲2022精品成人| 怎么达到女性高潮| 日日爽夜夜爽网站| 国产成人精品久久二区二区免费| 中文字幕av电影在线播放| 久久热在线av| 欧美成人午夜精品| 国产精品一区二区精品视频观看| www日本在线高清视频| 成人永久免费在线观看视频| 搡老熟女国产l中国老女人| 国产伦一二天堂av在线观看| 亚洲专区字幕在线| 一本大道久久a久久精品| 亚洲av五月六月丁香网| 手机成人av网站| 亚洲精品一卡2卡三卡4卡5卡| 亚洲国产高清在线一区二区三 | 色综合欧美亚洲国产小说| 可以免费在线观看a视频的电影网站| 女人被狂操c到高潮| 亚洲一区高清亚洲精品| 99久久精品国产亚洲精品| 日本vs欧美在线观看视频| 69精品国产乱码久久久| 午夜老司机福利片| x7x7x7水蜜桃| x7x7x7水蜜桃| 中文字幕色久视频| 熟女少妇亚洲综合色aaa.| 午夜福利成人在线免费观看| www.精华液| 亚洲情色 制服丝袜| 午夜免费鲁丝| 成人精品一区二区免费| av电影中文网址| 在线十欧美十亚洲十日本专区| 天天一区二区日本电影三级 | 中文字幕另类日韩欧美亚洲嫩草| 亚洲欧美一区二区三区黑人| 黄色视频,在线免费观看| 亚洲九九香蕉| 欧美黑人精品巨大| 日本欧美视频一区| 亚洲熟女毛片儿| 夜夜看夜夜爽夜夜摸| 欧美日韩黄片免| 亚洲成人免费电影在线观看| 身体一侧抽搐| 18禁观看日本| 伊人久久大香线蕉亚洲五| 每晚都被弄得嗷嗷叫到高潮| 韩国精品一区二区三区| 无遮挡黄片免费观看| 午夜福利欧美成人| 国产av一区二区精品久久| 国产精品久久久久久精品电影 | 国产主播在线观看一区二区| 黄色女人牲交| 18禁国产床啪视频网站| 久久精品影院6| videosex国产| av在线天堂中文字幕| 色精品久久人妻99蜜桃| 国产av又大| 十八禁人妻一区二区| 成年女人毛片免费观看观看9| 国产av一区在线观看免费| 国产在线精品亚洲第一网站| 精品卡一卡二卡四卡免费| 老司机在亚洲福利影院| 好男人电影高清在线观看| 久久狼人影院| 欧美老熟妇乱子伦牲交| avwww免费| 亚洲第一青青草原| 99热只有精品国产| 日本精品一区二区三区蜜桃| 亚洲无线在线观看| 黄频高清免费视频| 国产精品久久久久久人妻精品电影| 久久久久九九精品影院| 欧美色欧美亚洲另类二区 | 美女午夜性视频免费| 日韩三级视频一区二区三区| 男女之事视频高清在线观看| 十八禁人妻一区二区| 国内精品久久久久久久电影| 伦理电影免费视频| 9色porny在线观看| 国产1区2区3区精品| 欧美 亚洲 国产 日韩一| 亚洲欧美日韩另类电影网站| 99久久久亚洲精品蜜臀av| 黑人巨大精品欧美一区二区蜜桃| 国产又爽黄色视频| 欧美老熟妇乱子伦牲交| 亚洲av电影在线进入| 国产成人影院久久av| 日韩有码中文字幕| 欧洲精品卡2卡3卡4卡5卡区| 人人澡人人妻人| netflix在线观看网站| 日韩精品中文字幕看吧| 国产午夜福利久久久久久| 日韩欧美国产一区二区入口| 啦啦啦免费观看视频1| 一区二区三区精品91| 日本撒尿小便嘘嘘汇集6| 日韩欧美在线二视频| 亚洲色图综合在线观看| 又黄又爽又免费观看的视频| 女人被躁到高潮嗷嗷叫费观| 亚洲欧美日韩无卡精品| 国产高清激情床上av| 久久久精品欧美日韩精品| 51午夜福利影视在线观看| 国产欧美日韩一区二区精品| 最新在线观看一区二区三区| 日韩欧美国产在线观看| 国产伦一二天堂av在线观看| 丝袜在线中文字幕| 国产在线观看jvid| 午夜福利一区二区在线看| 90打野战视频偷拍视频| 夜夜爽天天搞| 嫁个100分男人电影在线观看| 国产成人欧美在线观看| 两个人看的免费小视频| 欧美乱色亚洲激情| 国产一区二区三区视频了| 亚洲自拍偷在线| 久久中文看片网| 俄罗斯特黄特色一大片| www.www免费av| 国产亚洲欧美98| 人妻久久中文字幕网| 少妇的丰满在线观看| 欧美一级毛片孕妇| 精品久久蜜臀av无| 欧美日韩亚洲国产一区二区在线观看| 国内精品久久久久精免费| 搞女人的毛片| 999精品在线视频| 久久精品aⅴ一区二区三区四区| 视频区欧美日本亚洲| 1024视频免费在线观看| 欧美丝袜亚洲另类 | 日日干狠狠操夜夜爽| 久99久视频精品免费| svipshipincom国产片| 窝窝影院91人妻| 午夜激情av网站| 日韩免费av在线播放| 在线观看一区二区三区| 久久久久久国产a免费观看| 亚洲国产精品成人综合色| 麻豆国产av国片精品| 亚洲国产精品久久男人天堂| netflix在线观看网站| 精品国产超薄肉色丝袜足j| 国产不卡一卡二| 亚洲av电影在线进入| 欧美成狂野欧美在线观看| 桃色一区二区三区在线观看| 啦啦啦韩国在线观看视频| 变态另类成人亚洲欧美熟女 | 亚洲成av人片免费观看| 午夜成年电影在线免费观看| 又黄又粗又硬又大视频| 12—13女人毛片做爰片一| 1024香蕉在线观看| 国产av精品麻豆| av福利片在线| 最近最新中文字幕大全电影3 | 日本撒尿小便嘘嘘汇集6| 国产精品一区二区在线不卡| 久久久久精品国产欧美久久久| 1024视频免费在线观看| 9191精品国产免费久久| 亚洲av第一区精品v没综合| 免费观看精品视频网站| 亚洲视频免费观看视频| 久久婷婷人人爽人人干人人爱 | 国产成人av激情在线播放| 老司机深夜福利视频在线观看| 日本免费一区二区三区高清不卡 | 国产精品久久电影中文字幕| 久久精品国产综合久久久| 午夜视频精品福利| 一进一出好大好爽视频| 欧美激情 高清一区二区三区| 国产伦人伦偷精品视频| 国产欧美日韩综合在线一区二区| 精品一区二区三区av网在线观看| 色老头精品视频在线观看| 亚洲精品在线观看二区| 99在线人妻在线中文字幕| 99riav亚洲国产免费| 精品日产1卡2卡| 国产亚洲精品综合一区在线观看 | 久久这里只有精品19| 最近最新中文字幕大全电影3 | 亚洲第一电影网av| 中文字幕高清在线视频| 999精品在线视频| 午夜福利欧美成人| 国产精品久久电影中文字幕| 国产伦人伦偷精品视频| 欧美日韩福利视频一区二区| 久久影院123| 亚洲自偷自拍图片 自拍| 999久久久国产精品视频| 国产私拍福利视频在线观看| 日本a在线网址| 女人精品久久久久毛片| 亚洲欧美日韩高清在线视频| 一边摸一边抽搐一进一出视频| 国产野战对白在线观看| 淫秽高清视频在线观看| 久久九九热精品免费| 成人18禁高潮啪啪吃奶动态图| 欧美日韩精品网址| 国产xxxxx性猛交| 国产精品九九99| 视频在线观看一区二区三区| 成年女人毛片免费观看观看9| 亚洲国产欧美网| 欧美亚洲日本最大视频资源| 人人妻人人爽人人添夜夜欢视频| 中亚洲国语对白在线视频| 欧美中文日本在线观看视频| 久久精品国产综合久久久| 女人被躁到高潮嗷嗷叫费观| 亚洲精品美女久久久久99蜜臀| 丝袜人妻中文字幕| 伦理电影免费视频| 手机成人av网站| 巨乳人妻的诱惑在线观看| 免费观看人在逋| 可以免费在线观看a视频的电影网站| 色婷婷久久久亚洲欧美| 午夜影院日韩av| 叶爱在线成人免费视频播放| 97超级碰碰碰精品色视频在线观看| 91精品国产国语对白视频| 成人av一区二区三区在线看| 日韩三级视频一区二区三区| 国产精品美女特级片免费视频播放器 | 免费在线观看完整版高清| 亚洲黑人精品在线| 婷婷丁香在线五月| 久久久久国产精品人妻aⅴ院| 国产又爽黄色视频| av网站免费在线观看视频| www.精华液| 国产精品亚洲一级av第二区| 丰满的人妻完整版| 青草久久国产| 脱女人内裤的视频| 自线自在国产av| 久久久久久大精品| 日韩一卡2卡3卡4卡2021年| 精品久久久久久久人妻蜜臀av | 变态另类丝袜制服| 亚洲人成电影免费在线| 麻豆一二三区av精品| 国产精品久久久久久亚洲av鲁大| 大陆偷拍与自拍| 99久久精品国产亚洲精品| 不卡av一区二区三区| 久久精品aⅴ一区二区三区四区| av视频在线观看入口| 亚洲avbb在线观看| 久久久久国产精品人妻aⅴ院| 国产真人三级小视频在线观看| 两个人视频免费观看高清| 国产精品久久电影中文字幕| 日本黄色视频三级网站网址| 长腿黑丝高跟| 免费在线观看黄色视频的| 在线观看舔阴道视频| 亚洲美女黄片视频| 大型av网站在线播放| 婷婷丁香在线五月| 亚洲专区国产一区二区| 久久精品国产清高在天天线| 亚洲成av人片免费观看| 一级毛片精品| 999久久久国产精品视频| av在线天堂中文字幕| 在线观看日韩欧美| 一级毛片精品| 国产精品久久久久久亚洲av鲁大| 久久人妻福利社区极品人妻图片| 免费不卡黄色视频| 好看av亚洲va欧美ⅴa在| 国产真人三级小视频在线观看| 日韩高清综合在线| 久久青草综合色| 乱人伦中国视频| 午夜亚洲福利在线播放| 国产成人啪精品午夜网站| 侵犯人妻中文字幕一二三四区| 国产精品免费一区二区三区在线| 久久性视频一级片| 欧美最黄视频在线播放免费| 国产精品影院久久| 国产成人精品久久二区二区91| 成人18禁在线播放| 不卡一级毛片| 国产精品自产拍在线观看55亚洲| 女人精品久久久久毛片| 曰老女人黄片| 精品乱码久久久久久99久播| 真人一进一出gif抽搐免费| 真人做人爱边吃奶动态| 国产成人系列免费观看| 亚洲情色 制服丝袜| 国产精品亚洲美女久久久| 亚洲精品久久成人aⅴ小说| 在线观看免费日韩欧美大片| 久久 成人 亚洲| 涩涩av久久男人的天堂| 亚洲一码二码三码区别大吗| 久久人妻av系列| 日韩免费av在线播放| 午夜亚洲福利在线播放| 法律面前人人平等表现在哪些方面| 国产精品免费视频内射| 亚洲av成人av| 可以免费在线观看a视频的电影网站| 欧美日韩精品网址| 黄片小视频在线播放| av福利片在线| 午夜福利影视在线免费观看| 一区福利在线观看| 午夜福利视频1000在线观看 | 久久中文看片网| 无人区码免费观看不卡| 久久精品亚洲熟妇少妇任你| 欧美黄色片欧美黄色片| 国产精品美女特级片免费视频播放器 | 国产99久久九九免费精品| 亚洲少妇的诱惑av| 老鸭窝网址在线观看| 我的亚洲天堂| 亚洲 国产 在线| 欧美成人性av电影在线观看| 国产高清videossex| 91字幕亚洲| 国产av精品麻豆| 久久伊人香网站| 自线自在国产av| 人成视频在线观看免费观看| 国产人伦9x9x在线观看| 老汉色∧v一级毛片| 国产一区二区激情短视频| 成人国语在线视频| 又紧又爽又黄一区二区| 在线天堂中文资源库| 夜夜夜夜夜久久久久| 国产精品98久久久久久宅男小说| 亚洲熟妇中文字幕五十中出| 三级毛片av免费| 亚洲国产精品合色在线| 亚洲视频免费观看视频| 免费在线观看黄色视频的| 在线十欧美十亚洲十日本专区| 丰满的人妻完整版| bbb黄色大片| 欧美精品啪啪一区二区三区| 丰满的人妻完整版| 在线观看免费午夜福利视频| 女人爽到高潮嗷嗷叫在线视频| 两个人免费观看高清视频| 国产精品美女特级片免费视频播放器 | 9色porny在线观看| 此物有八面人人有两片| 人成视频在线观看免费观看| 99国产精品99久久久久| 免费少妇av软件| 国产av又大| 美女国产高潮福利片在线看| 变态另类丝袜制服| 亚洲avbb在线观看| 女人被躁到高潮嗷嗷叫费观| 51午夜福利影视在线观看| 九色国产91popny在线| 波多野结衣av一区二区av| 男人的好看免费观看在线视频 | 电影成人av| 黄色毛片三级朝国网站| 国产精品香港三级国产av潘金莲| 久久性视频一级片| 香蕉久久夜色| 国产成年人精品一区二区| 中文字幕色久视频| 老司机靠b影院| 亚洲七黄色美女视频| 黄色a级毛片大全视频| 国产一区在线观看成人免费| 69精品国产乱码久久久| 精品国产国语对白av| 欧美黄色片欧美黄色片| 精品久久蜜臀av无| 99久久久亚洲精品蜜臀av| 午夜福利在线观看吧| 91在线观看av| 日韩欧美三级三区| 欧美中文日本在线观看视频| 国产午夜福利久久久久久| 51午夜福利影视在线观看| 脱女人内裤的视频| 男女下面进入的视频免费午夜 | 亚洲av日韩精品久久久久久密| 精品久久久久久成人av| 国产av在哪里看| 久久午夜亚洲精品久久| 99久久99久久久精品蜜桃| 他把我摸到了高潮在线观看| 亚洲欧美激情综合另类| 一边摸一边抽搐一进一出视频| 久久久久久大精品| 国产成人啪精品午夜网站| 国产精品影院久久| 久久香蕉激情| 又紧又爽又黄一区二区| 黄频高清免费视频| 亚洲 欧美一区二区三区| 日韩欧美一区视频在线观看| 免费在线观看黄色视频的| 99久久99久久久精品蜜桃| 国产亚洲av高清不卡| 久久精品国产亚洲av高清一级| 91精品国产国语对白视频| 欧美老熟妇乱子伦牲交| 色综合欧美亚洲国产小说| 神马国产精品三级电影在线观看 | 97人妻精品一区二区三区麻豆 | 老汉色av国产亚洲站长工具| 两人在一起打扑克的视频| 老熟妇仑乱视频hdxx| 18禁裸乳无遮挡免费网站照片 | 最近最新中文字幕大全电影3 | 黄网站色视频无遮挡免费观看| а√天堂www在线а√下载| 亚洲国产日韩欧美精品在线观看 | 久久香蕉精品热| 亚洲人成77777在线视频| 久久影院123| 亚洲片人在线观看| 少妇的丰满在线观看| 男人舔女人的私密视频| 亚洲五月婷婷丁香| 老司机深夜福利视频在线观看| 91成年电影在线观看| 人人澡人人妻人| 国产精品久久久久久精品电影 | 日本在线视频免费播放| av中文乱码字幕在线| 后天国语完整版免费观看| 国产精品亚洲一级av第二区| 中文字幕另类日韩欧美亚洲嫩草| 99精品在免费线老司机午夜| 免费在线观看完整版高清| 日本三级黄在线观看| 美女午夜性视频免费| 欧美色欧美亚洲另类二区 | 99精品久久久久人妻精品| 午夜两性在线视频| 中文字幕另类日韩欧美亚洲嫩草| 一级毛片精品| 国产蜜桃级精品一区二区三区| 久久久国产成人精品二区| 中文亚洲av片在线观看爽| 一二三四社区在线视频社区8| 亚洲avbb在线观看| 中文亚洲av片在线观看爽| 女生性感内裤真人,穿戴方法视频| 级片在线观看| 两个人免费观看高清视频| 国产单亲对白刺激| 大型黄色视频在线免费观看| 大香蕉久久成人网| 曰老女人黄片| 制服丝袜大香蕉在线| 中文字幕高清在线视频| 99在线人妻在线中文字幕| 人人澡人人妻人| 99精品欧美一区二区三区四区| 伦理电影免费视频| 巨乳人妻的诱惑在线观看| 97超级碰碰碰精品色视频在线观看| 黑人巨大精品欧美一区二区蜜桃| 国产欧美日韩一区二区精品| 亚洲精品在线美女| 一级,二级,三级黄色视频| 精品福利观看| a级毛片在线看网站| 欧美精品亚洲一区二区| 久久久久久久精品吃奶| 岛国在线观看网站| 免费女性裸体啪啪无遮挡网站| 色综合婷婷激情| 亚洲精品国产精品久久久不卡| 成人欧美大片| 亚洲精品国产精品久久久不卡| 国内精品久久久久精免费| 亚洲久久久国产精品| 国产成人av激情在线播放| 黄片小视频在线播放| 国产精品一区二区免费欧美| 国产精品久久久久久精品电影 | 免费在线观看日本一区| 十八禁网站免费在线| 一级毛片女人18水好多| 在线天堂中文资源库| 国产激情欧美一区二区| 免费高清视频大片| 欧美久久黑人一区二区| 在线永久观看黄色视频| 国产av一区在线观看免费| 国产主播在线观看一区二区| 美女扒开内裤让男人捅视频| 男人舔女人下体高潮全视频| 国产亚洲欧美精品永久| avwww免费| 国产单亲对白刺激| 一a级毛片在线观看| √禁漫天堂资源中文www| 日本五十路高清| 91麻豆av在线| 日韩精品免费视频一区二区三区| 美女扒开内裤让男人捅视频| 日韩欧美一区视频在线观看| 正在播放国产对白刺激| 日韩欧美三级三区| av天堂久久9| 欧美激情 高清一区二区三区| 我的亚洲天堂| 免费高清视频大片| 看片在线看免费视频| av有码第一页| 精品卡一卡二卡四卡免费| 国产一区二区三区在线臀色熟女| 亚洲av成人一区二区三| 亚洲性夜色夜夜综合| 国产精品亚洲美女久久久| 99国产精品一区二区蜜桃av| 国产精品98久久久久久宅男小说| 1024视频免费在线观看| 亚洲欧美激情在线| 欧美色视频一区免费| 国产99白浆流出| 欧美日韩福利视频一区二区| 国产精品久久久久久亚洲av鲁大| 免费在线观看亚洲国产| 天天躁狠狠躁夜夜躁狠狠躁| 免费不卡黄色视频| 亚洲国产精品sss在线观看| 老司机福利观看| 欧美午夜高清在线| 欧美国产日韩亚洲一区| 99国产精品免费福利视频| 啦啦啦韩国在线观看视频| 一个人免费在线观看的高清视频| 韩国av一区二区三区四区| 免费观看人在逋| 国产精品一区二区精品视频观看| 亚洲精华国产精华精| 女同久久另类99精品国产91| 给我免费播放毛片高清在线观看| 国产精品综合久久久久久久免费 | 国产精品免费一区二区三区在线| 中文字幕最新亚洲高清| 91精品三级在线观看| 国产成人精品久久二区二区免费| 亚洲九九香蕉| 纯流量卡能插随身wifi吗| 免费在线观看亚洲国产| 免费少妇av软件| 日本三级黄在线观看| 欧美老熟妇乱子伦牲交| 成人欧美大片| 国产伦人伦偷精品视频| 国产精品一区二区精品视频观看| 大香蕉久久成人网| 一进一出抽搐gif免费好疼| 日韩一卡2卡3卡4卡2021年| 国产真人三级小视频在线观看| 在线播放国产精品三级| 久久精品影院6| 久久精品国产综合久久久| а√天堂www在线а√下载| 国产精品免费视频内射| 午夜精品在线福利| 精品人妻1区二区| 国产精品 欧美亚洲| АⅤ资源中文在线天堂| 国产成+人综合+亚洲专区| av超薄肉色丝袜交足视频|