• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    下一代電信IT架構(gòu)演進(jìn)初探:業(yè)務(wù)功能虛擬化(BFV)

    2022-07-07 05:44:00喬穩(wěn)王曉征孫震強(qiáng)任贛劉云新楊愛東王鵬王達(dá)葉曉舟歐陽曄
    電信科學(xué) 2022年6期
    關(guān)鍵詞:資源服務(wù)能力

    喬穩(wěn),王曉征,孫震強(qiáng),任贛,劉云新,楊愛東,王鵬,王達(dá),葉曉舟,歐陽曄

    工程與應(yīng)用

    下一代電信IT架構(gòu)演進(jìn)初探:業(yè)務(wù)功能虛擬化(BFV)

    喬穩(wěn)1,王曉征2,孫震強(qiáng)3,任贛2,劉云新4,楊愛東1,王鵬1,王達(dá)1,葉曉舟1,歐陽曄1

    (1. 亞信科技(中國)有限公司,北京 100193;2. 中國移動(dòng)通信集團(tuán)浙江有限公司,浙江 杭州 310016;3. 中國電信股份有限公司研究院,北京 100035;4. 清華大學(xué),北京 100084)

    隨著信息和通信技術(shù)的發(fā)展,靈活多變的業(yè)務(wù)需求給傳統(tǒng)大型電信業(yè)務(wù)支撐系統(tǒng)帶來了諸多挑戰(zhàn)。應(yīng)用場景化、服務(wù)標(biāo)準(zhǔn)化、技術(shù)組件化和資源共享化正在成為電信業(yè)務(wù)支撐系統(tǒng)架構(gòu)演進(jìn)的共識(shí)。提出了一種電信業(yè)務(wù)功能虛擬化(business function virtualization,BFV)架構(gòu),以云原生、微服務(wù)、容器、DevOps等技術(shù)為基礎(chǔ),引入標(biāo)準(zhǔn)化的IT虛擬網(wǎng)元、單元化的設(shè)計(jì)編排器、微服務(wù)管理框架和多平面彈性計(jì)算控制器,使IT系統(tǒng)具備單元化部署和分布式云部署能力,滿足系統(tǒng)穩(wěn)定擴(kuò)展與平滑演進(jìn)的要求,實(shí)現(xiàn)IT系統(tǒng)輕量交付和業(yè)務(wù)敏捷支撐,可作為下一代電信業(yè)務(wù)支撐系統(tǒng)的參考架構(gòu)。

    業(yè)務(wù)功能虛擬化;單元化設(shè)計(jì)編排;彈性計(jì)算控制器;單元化部署

    0 引言

    隨著5G、云原生、大數(shù)據(jù)、人工智能等技術(shù)的飛速發(fā)展,深度融合的信息通信技術(shù)(information and communication technologies,ICT)為全球電信業(yè)帶來重大的發(fā)展機(jī)遇,成為推動(dòng)電信運(yùn)營商數(shù)字化轉(zhuǎn)型的重要驅(qū)動(dòng)力。然而,針對靈活多變的業(yè)務(wù)需求,基于傳統(tǒng)IT架構(gòu)的電信業(yè)務(wù)支撐系統(tǒng)(business support system,BSS)面臨諸多挑戰(zhàn)。

    5G的高速率、低時(shí)延、廣連接、網(wǎng)絡(luò)切片等先進(jìn)網(wǎng)絡(luò)特征帶來了豐富的新型業(yè)務(wù)場景和商業(yè)模式,同時(shí)對BSS的敏捷業(yè)務(wù)開發(fā)和流程設(shè)計(jì)能力提出了更高的要求?,F(xiàn)有BSS在支撐個(gè)人、家庭、集團(tuán)等業(yè)務(wù)中涉及的訂購、開通、定價(jià)等業(yè)務(wù)環(huán)節(jié),沒有抽象出基礎(chǔ)業(yè)務(wù)單元,模塊間交織調(diào)用、互相依賴嚴(yán)重。在應(yīng)用場景化流程設(shè)計(jì)能力上,核心IT單元模塊處于“緊耦合”狀態(tài),未形成面向業(yè)務(wù)場景可重用的單元化設(shè)計(jì)能力。因此,傳統(tǒng)BSS的IT架構(gòu)缺乏場景化的流程設(shè)計(jì)能力,難以快速、靈活地響應(yīng)5G新技術(shù)帶來的個(gè)性化需求,影響用戶體驗(yàn)。

    垂直行業(yè)的業(yè)務(wù)支撐需要BSS對IT服務(wù)進(jìn)行服務(wù)治理和標(biāo)準(zhǔn)化,不同垂直行業(yè)的業(yè)務(wù)場景經(jīng)常需要BSS提供新應(yīng)用程序接口(application programming interface,API),并且業(yè)務(wù)類型和數(shù)量的增長,往往導(dǎo)致IT服務(wù)重復(fù)和服務(wù)邊界模糊等問題。現(xiàn)有IT架構(gòu)缺乏自頂向下的IT服務(wù)標(biāo)準(zhǔn)設(shè)計(jì)以及全生命周期的統(tǒng)一視圖,在服務(wù)顆粒度、服務(wù)標(biāo)準(zhǔn)化上,IT架構(gòu)需要進(jìn)行不同支撐對象、不同對象屬性API能力的共性抽取,以形成標(biāo)準(zhǔn)的數(shù)字化服務(wù)接口以及標(biāo)準(zhǔn)業(yè)務(wù)流程。

    在生產(chǎn)系統(tǒng)中,傳統(tǒng)BSS的API管理模塊缺乏組件級(jí)的集成開發(fā)框架,擴(kuò)展能力受限。一旦API網(wǎng)關(guān)、企業(yè)服務(wù)總線(enterprise service bus,ESB)等服務(wù)調(diào)度發(fā)生故障或異常,會(huì)導(dǎo)致整個(gè)微服務(wù)架構(gòu)體系不可用。盡管基于服務(wù)注冊方式可以實(shí)現(xiàn)服務(wù)注冊和發(fā)現(xiàn)、負(fù)載均衡等功能,但限流熔斷、日志管理、安全等能力還需要結(jié)合其他技術(shù)組件完成,這種按需引入組件的方式使BSS對IT架構(gòu)的新技術(shù)兼容性或適配性要求更高。因此,在技術(shù)組件化易擴(kuò)展能力上,現(xiàn)有BSS的IT服務(wù)架構(gòu)需要進(jìn)一步增強(qiáng),以形成組件化框架承載能力。

    在BSS資源管控方面,應(yīng)用系統(tǒng)的IT資源利用率需要進(jìn)一步提升,并具備更強(qiáng)的容災(zāi)遷移和資源共享能力。各通信運(yùn)營商在集約化運(yùn)營下,對現(xiàn)有BSS的IT架構(gòu)的資源調(diào)度和應(yīng)用部署的能力需求包含:跨地域容災(zāi)遷移、多資源池遷移、峰值資源遷移以及故障恢復(fù)后快速回切等。在資源共享化方面,IT架構(gòu)需要在基礎(chǔ)設(shè)施層面將多方、異構(gòu)的資源有機(jī)整合成統(tǒng)一的資源平面,形成運(yùn)行面和控制面分離、資源多平面的管控能力。

    針對傳統(tǒng)BSS面臨的挑戰(zhàn),具備應(yīng)用場景化、服務(wù)標(biāo)準(zhǔn)化、技術(shù)組件化、資源共享化特征的可演進(jìn)BSS正在成為電信運(yùn)營商的共識(shí)。本文提出了一種電信業(yè)務(wù)功能虛擬化架構(gòu),以云原生、微服務(wù)、容器、DevOps技術(shù)為基礎(chǔ),引入標(biāo)準(zhǔn)化的IT虛擬網(wǎng)元、單元化的設(shè)計(jì)編排器、微服務(wù)管理框架和多平面彈性計(jì)算控制器,使IT系統(tǒng)具備單元化部署和分布式云部署能力,滿足系統(tǒng)穩(wěn)定擴(kuò)展與平滑演進(jìn)的要求,實(shí)現(xiàn)IT系統(tǒng)輕量交付和業(yè)務(wù)敏捷支撐,可作為下一代電信業(yè)務(wù)支撐系統(tǒng)的參考架構(gòu)。

    1 相關(guān)研究

    通信網(wǎng)絡(luò)BSS的架構(gòu)演進(jìn)和研究一直受到工業(yè)界和學(xué)術(shù)界的關(guān)注[1-3]。通信網(wǎng)絡(luò)BSS的IT架構(gòu)演進(jìn)歷程如圖1所示,在業(yè)務(wù)靈活性和系統(tǒng)易擴(kuò)展的“雙重”驅(qū)使下,BSS的IT架構(gòu)發(fā)展先后經(jīng)歷了基于客戶機(jī)/服務(wù)器(client/server,C/S)和瀏覽器/服務(wù)器(browser/server,B/S)架構(gòu)[4]、基于x86分布式計(jì)算架構(gòu)[5]和基于面向服務(wù)的架構(gòu)(service oriented architecture,SOA)微服務(wù)架構(gòu)[6]等階段的演進(jìn)。

    2012年3月,F(xiàn)red George在Agile India 會(huì)議上分享了一篇題為的主題演講,首次引入了“微服務(wù)”的概念[7]。Martin Fowler于2014年3月在文章定義了微服務(wù)IT架構(gòu)?!拔⒎?wù)”技術(shù)的出現(xiàn)極大豐富了BSS的IT架構(gòu)可擴(kuò)展性,有效實(shí)現(xiàn)了IT系統(tǒng)的靈活服務(wù)調(diào)度和資源隔離的能力。隨后,研究者們嘗試把SOA架構(gòu)與“微服務(wù)”技術(shù)相結(jié)合[8],實(shí)現(xiàn)了IT服務(wù)間的解耦,很好地滿足了多技術(shù)、多應(yīng)用、多系統(tǒng)間的互相“融合與隔離”的需求,大大提高了企業(yè)效率,減少了IT運(yùn)營成本。盡管如此,該架構(gòu)引發(fā)了很多“非業(yè)務(wù)”問題,如服務(wù)監(jiān)控、服務(wù)權(quán)限控制、服務(wù)版本控制等。為了解決這些“非業(yè)務(wù)”問題,2017年,Twitter的基礎(chǔ)設(shè)施工程師 William Morgan提出了一種處理網(wǎng)絡(luò)問題的ServiceMesh技術(shù)[9],并基于該技術(shù)設(shè)計(jì)了一種專注于處理服務(wù)間通信的基礎(chǔ)設(shè)施層,將“非業(yè)務(wù)”功能從代碼中剝離,通過注入Sidecar方式實(shí)現(xiàn)微服務(wù)治理管控、數(shù)據(jù)流和控制流的分離,以形成“去中心化”的IT架構(gòu)幫助處理“非業(yè)務(wù)”問題。此后,隨著服務(wù)鏈路的不斷變長,微服務(wù)與微服務(wù)之間的橫向交互關(guān)系變得越來越脆弱,不能很好地與動(dòng)態(tài)業(yè)務(wù)匹配。為了增強(qiáng)服務(wù)韌性,一種結(jié)合SOA和事件驅(qū)動(dòng)架構(gòu)(event-driven architecture,EDA)的混合架構(gòu)事件驅(qū)動(dòng)的面向服務(wù)架構(gòu)(event-driven SOA)被提出[10],通過引入事件處理的能力,一個(gè)事件的產(chǎn)生可以觸發(fā)一個(gè)或多個(gè)服務(wù)的調(diào)用,從而靜態(tài)服務(wù)被串聯(lián)在一起實(shí)現(xiàn)數(shù)據(jù)流的動(dòng)態(tài)實(shí)時(shí)處理,當(dāng)自動(dòng)化業(yè)務(wù)流程或事件發(fā)生時(shí),系統(tǒng)和組件能夠?qū)崟r(shí)動(dòng)態(tài)做出響應(yīng),有效地實(shí)現(xiàn)了業(yè)務(wù)敏捷和能力復(fù)用。

    圖1 通信網(wǎng)絡(luò)BSS的IT架構(gòu)演進(jìn)歷程

    Pivotal公司Matt Stine于2013年首次提出云原生(cloud native,CN)的概念,并廣泛應(yīng)用于云計(jì)算領(lǐng)域,隨后IT架構(gòu)朝著基于CN架構(gòu)體系發(fā)展。CN由一系列云技術(shù)、企業(yè)管理方法集合等組成,包括DevOps、持續(xù)交付、微服務(wù)、敏捷基礎(chǔ)設(shè)施等。云原生計(jì)算基金會(huì)(Cloud Native Computing Foundation,CNCF)認(rèn)為CN具有三大優(yōu)勢:以容器作為基礎(chǔ)形成的代碼和組件的重用;以集中式編排調(diào)度系統(tǒng)實(shí)現(xiàn)的動(dòng)態(tài)資源管理;面向微服務(wù)的服務(wù)間依賴和“解耦”能力。容器作為標(biāo)準(zhǔn)化軟件單元,將應(yīng)用及其所有依賴項(xiàng)打包,將應(yīng)用與底層運(yùn)行環(huán)境解耦,屏蔽了底層架構(gòu)差異性,使應(yīng)用不再受環(huán)境限制,幫助應(yīng)用平滑運(yùn)行在不同基礎(chǔ)設(shè)施,實(shí)現(xiàn)了資源共享[11-13]。虛擬化和容器技術(shù)的融合,已成為未來重要趨勢,隨著開放式容器提案(open container initiative,OCI)標(biāo)準(zhǔn)的出現(xiàn),不同技術(shù)采用了一致的方式進(jìn)行容器生命周期管理,進(jìn)一步促進(jìn)了容器引擎技術(shù)的持續(xù)創(chuàng)新。以開源容器和容器編排引擎為基礎(chǔ),按照容器為資源分割的基本單位,封裝各類應(yīng)用和運(yùn)行環(huán)境,為開發(fā)者和系統(tǒng)管理者提供用于構(gòu)建、發(fā)布和運(yùn)行分布式應(yīng)用的容器云平臺(tái)——容器即服務(wù)(container as a service,CaaS)[14]。CaaS 同時(shí)提供了傳統(tǒng)的基礎(chǔ)設(shè)施即服務(wù)(infrastructure as a service,IaaS)和平臺(tái)即服務(wù)(platform as a service,PaaS )兩種能力。IT架構(gòu)基礎(chǔ)設(shè)施層由以資源調(diào)度為中心,向上演進(jìn)為以容器為中心進(jìn)行調(diào)度,使用CaaS提供的服務(wù),實(shí)現(xiàn)了應(yīng)用運(yùn)行環(huán)境的無關(guān)性。

    無服務(wù)器(serverless)技術(shù)[12-13]伴隨CN技術(shù)興起從觀望逐漸落地,通過事件驅(qū)動(dòng)和云服務(wù)連接,serverless能力會(huì)擴(kuò)展到整個(gè)云的生態(tài)中。CN架構(gòu)最顯著的特點(diǎn)是穩(wěn)健的軟件韌性,這種韌性主要表現(xiàn)在所采用的單元化設(shè)計(jì)上。在單元化設(shè)計(jì)中,服務(wù)仍然是分層的,不同的是每一層中的任意一個(gè)節(jié)點(diǎn)都屬于且僅屬于某一個(gè)單元,上層調(diào)用下層時(shí),僅會(huì)選擇本單元內(nèi)的節(jié)點(diǎn)。一個(gè)單元是指一個(gè)能完成所有業(yè)務(wù)操作的自包含集合,在這個(gè)集合中包含了所有業(yè)務(wù)所需的所有服務(wù)以及分配給這個(gè)單元的數(shù)據(jù)和單元可運(yùn)行的資源。相應(yīng)地,單元化部署是在多個(gè)資源可用區(qū),部署多個(gè)實(shí)例來供業(yè)務(wù)服務(wù),業(yè)務(wù)服務(wù)需要微服務(wù)、CN、分布式事務(wù)體系支撐并設(shè)計(jì)業(yè)務(wù)模型和微服務(wù)邊界,最終形成業(yè)務(wù)單元,業(yè)務(wù)單元通過容器化的封裝,進(jìn)行場景化編排和動(dòng)態(tài)調(diào)度,實(shí)現(xiàn)業(yè)務(wù)彈性擴(kuò)展、復(fù)制,由中心節(jié)點(diǎn)擴(kuò)展到其他節(jié)點(diǎn)。

    近年來,云網(wǎng)絡(luò)技術(shù)異軍突起,CN技術(shù)被廣泛應(yīng)用在云網(wǎng)絡(luò)中,CT架構(gòu)正由虛擬化的網(wǎng)絡(luò)架構(gòu)向CN的云網(wǎng)絡(luò)架構(gòu)演進(jìn)。云網(wǎng)絡(luò)是指基于對網(wǎng)絡(luò)資源的虛擬化,將適配云特性的網(wǎng)絡(luò)能力開放給用戶,以滿足企業(yè)上云過程中“云?邊?端”互聯(lián)互通需求的服務(wù)的集合[15-16]。云網(wǎng)絡(luò)是由各種網(wǎng)元組成的,例如交換機(jī)、路由器、NAT 網(wǎng)關(guān)、負(fù)載均衡等,這些網(wǎng)元在云網(wǎng)絡(luò)中通常稱為虛擬化網(wǎng)元[15]。虛擬化網(wǎng)元是各種云網(wǎng)絡(luò)組件的基本承載形態(tài),它提供標(biāo)準(zhǔn)的服務(wù)化接口以及多租戶的能力,滿足業(yè)務(wù)需求快速迭代和靈活組網(wǎng)。

    綜上所述,CN的IT架構(gòu)優(yōu)勢主要表現(xiàn)在容器化封裝、動(dòng)態(tài)管理和調(diào)度、微服務(wù)解耦,但是在微服務(wù)通信機(jī)制標(biāo)準(zhǔn)、微服務(wù)間的依賴隔離、微服務(wù)靈活部署、微服務(wù)運(yùn)維與系統(tǒng)監(jiān)控、系統(tǒng)測試以及微服務(wù)顆粒度與動(dòng)態(tài)業(yè)務(wù)匹配等方面仍存在不足。電信業(yè)務(wù)的IT架構(gòu)需要具備面向應(yīng)用場景化、服務(wù)標(biāo)準(zhǔn)化、技術(shù)組件化、資源共享化的數(shù)字化平臺(tái)特征進(jìn)行設(shè)計(jì),繼承CN的IT架構(gòu)優(yōu)勢,同時(shí)改進(jìn)其架構(gòu)不足。

    2 BFV架構(gòu)體系

    為了進(jìn)一步解決服務(wù)治理管控、服務(wù)部署、服務(wù)運(yùn)維、服務(wù)與動(dòng)態(tài)業(yè)務(wù)失配問題,本文提出一種輕量、標(biāo)準(zhǔn)的BFV架構(gòu)。不同于傳統(tǒng)的微服務(wù)架構(gòu)體系,該架構(gòu)關(guān)注業(yè)務(wù)支撐系統(tǒng)的應(yīng)用場景化、服務(wù)標(biāo)準(zhǔn)化、技術(shù)組件化、資源共享化的能力建設(shè),使業(yè)務(wù)支撐系統(tǒng)架構(gòu)更具柔性和輕量。本文所提出的BFV架構(gòu)體系如圖2所示,BFV架構(gòu)參考框架中包含5個(gè)主要模塊,分別為業(yè)務(wù)虛擬功能化(virtualized business function,VBF)、業(yè)務(wù)功能虛擬化基礎(chǔ)設(shè)施(business function virtualization infrastructure,BFVI)、業(yè)務(wù)功能編排器(business functions unitization orchestrator,BFUO)、微服務(wù)管理(micro-service management,MSM)、彈性計(jì)算控制器(elastic computing controller,ECC)。

    圖2 本文所提出的BFV架構(gòu)體系

    該架構(gòu)與傳統(tǒng)的微服務(wù)架構(gòu)體系相比,在實(shí)現(xiàn)業(yè)務(wù)支撐服務(wù)的方式方面存在不同。首先,在資源彈性調(diào)度和部署方式上,BFV以容器單元進(jìn)行調(diào)度和部署。BFVI通過容器化封裝,實(shí)現(xiàn)應(yīng)用運(yùn)行環(huán)境所需的資源和物理資源分層隔離,容器作為資源或者服務(wù)提供給ECC調(diào)度,使應(yīng)用更關(guān)注業(yè)務(wù)層面變化,對跨資源池遷移、峰值資源遷移以及故障恢復(fù)后快速回切等場景能夠有效支撐。其次,在IT能力服務(wù)提供的方式上,傳統(tǒng)的微服務(wù)架構(gòu)以API服務(wù)總線的方式對外提供能力輸出,BFV通過VBF進(jìn)行服務(wù)提供。VBF作為虛擬化的業(yè)務(wù)功能,是一類服務(wù)的集合包,提供標(biāo)準(zhǔn)的服務(wù)化接口,結(jié)合IT網(wǎng)元的網(wǎng)絡(luò)拓?fù)洌M(jìn)行VBF間的服務(wù)組網(wǎng),整體對外提供IT服務(wù)能力。再次,在業(yè)務(wù)流程編排上,BFV具有自頂向下的應(yīng)用服務(wù)標(biāo)準(zhǔn)設(shè)計(jì)模板,能夠更加靈活支撐個(gè)性化場景端到端流程定義。BFUO具有單元化的設(shè)計(jì)器功能,可根據(jù)不同用戶對象需求,實(shí)現(xiàn)業(yè)務(wù)單元不同場景的編輯和集成,業(yè)務(wù)單元可重用。最后,BFV充分利用現(xiàn)有的微服務(wù)組件和PaaS組件,形成一個(gè)輕量、標(biāo)準(zhǔn)開發(fā)環(huán)境。MSM作為技術(shù)組件的承載體,實(shí)現(xiàn)了所有組件的全生命周期的管理。

    2.1 橫向和縱向解耦

    BFV在橫向和縱向上進(jìn)行了進(jìn)一步的解耦和標(biāo)準(zhǔn)化設(shè)計(jì)。

    從橫向看,為了解決微服務(wù)的治理和單元化的靈活部署,BFV架構(gòu)分為運(yùn)行面和控制面兩個(gè)平面,BFV橫向解耦如圖3所示。運(yùn)行面是IT系統(tǒng)生產(chǎn)域,運(yùn)行面上運(yùn)行的IT系統(tǒng)主要是BSS側(cè)的各個(gè)業(yè)務(wù)中心??刂泼媸荌T系統(tǒng)管理域。與現(xiàn)有IT側(cè)微服務(wù)架構(gòu)不同,BFV增加了控制面,控制面實(shí)現(xiàn)了微服務(wù)治理管控、PaaS組件和容器的服務(wù)封裝,實(shí)現(xiàn)了數(shù)據(jù)流和控制流的分離,滿足了去中心化架構(gòu)要求;控制面負(fù)責(zé)整個(gè)BFVI資源的管理和調(diào)度、業(yè)務(wù)網(wǎng)絡(luò)和BFVI資源的映射和關(guān)聯(lián)以及場景化行業(yè)服務(wù)流程的編排;控制面包含彈性計(jì)算控制器、微服務(wù)管理、BFUO 3個(gè)功能實(shí)體,分別完成對BFVI、VBF和場景化行業(yè)服務(wù)(scenario-based service,SBS)能力單元化設(shè)計(jì)管理。

    圖3 BFV橫向解耦

    從縱向看,從下至上分為基礎(chǔ)設(shè)施層、能力服務(wù)層、運(yùn)營支撐層3個(gè)層次,BFV縱向解耦如圖4所示。

    圖4 BFV縱向解耦

    在基礎(chǔ)設(shè)施層,從云計(jì)算的角度看,其是一個(gè)資源池,BFVI需要將物理計(jì)算/存儲(chǔ)/交換資源通過虛擬化轉(zhuǎn)換為虛擬的計(jì)算/存儲(chǔ)/交換資源池,并基于容器技術(shù)實(shí)現(xiàn)資源虛擬化和彈性調(diào)度。容器云平臺(tái)(container cloud platform,CCP)作為BFVI的核心部件,通過封裝容器技術(shù),實(shí)現(xiàn)容器資源管理和調(diào)度,并與彈性計(jì)算控制器實(shí)現(xiàn)調(diào)度協(xié)同,支持跨地域容災(zāi)、多資源池遷移、跨資源池部署等場景。在基礎(chǔ)設(shè)施層,通過容器和PaaS技術(shù)的結(jié)合,IT架構(gòu)實(shí)現(xiàn)了IaaS層資源的隔離,資源彈性高效管理,解決資源共享化的問題,實(shí)現(xiàn)資源共享復(fù)用。

    能力服務(wù)層是指當(dāng)前各個(gè)IT業(yè)務(wù)中心,每個(gè)業(yè)務(wù)中心映射為一個(gè)VBF,VBF所需資源由容器承載,通過BFVI編排分配,VBF之間的接口采用事件驅(qū)動(dòng)的異步實(shí)時(shí)通信;微服務(wù)管理負(fù)責(zé)實(shí)現(xiàn)業(yè)務(wù)應(yīng)用進(jìn)程的啟停、熔斷、分流等以及VBF全生命周期管理;在IT能力服務(wù)層,需要將PaaS的組件能力顆粒度細(xì)分和能力解耦,將技術(shù)組件進(jìn)行規(guī)范和標(biāo)準(zhǔn),通過IT能力服務(wù)層構(gòu)建,解決服務(wù)標(biāo)準(zhǔn)化、技術(shù)組件承載的問題。

    運(yùn)營支撐層負(fù)責(zé)IT能力場景化單元設(shè)計(jì)和IT能力開放。在運(yùn)營支撐層,場景化行業(yè)服務(wù)向上支撐面向個(gè)人業(yè)務(wù)、家庭業(yè)務(wù)、政企業(yè)務(wù)、物聯(lián)網(wǎng)等新業(yè)務(wù),甚至基于SBS的業(yè)務(wù)能力實(shí)現(xiàn)垂直行業(yè)的賦能。因此,在滿足復(fù)雜業(yè)務(wù)場景要求下,SBS對能力服務(wù)層的南向接口和對控制面BFUO的東向接口提出不同的運(yùn)營能力要求(如對VBF的敏捷部署、彈性復(fù)制、快速擴(kuò)容的要求、對BFUO場景化功能編排設(shè)計(jì)要求),通過業(yè)務(wù)描述符(BSS service descriptor,BSD)集成固化,形成標(biāo)準(zhǔn)的業(yè)務(wù)流程,使得SBS通過復(fù)制和解析BSD,實(shí)現(xiàn)業(yè)務(wù)靈活部署和場景運(yùn)營。

    總體上,為了解決了IT架構(gòu)在應(yīng)用場景化、服務(wù)標(biāo)準(zhǔn)化、技術(shù)組件化、資源共享化方面的問題,BFV架構(gòu)通過橫向和縱向進(jìn)一步地解耦,形成了“2+3”的能力分層,“2”是指運(yùn)行面和控制面的管控分離,“3”是指基礎(chǔ)設(shè)施、能力服務(wù)和場景運(yùn)營的分層。BFV架構(gòu)的核心和關(guān)鍵在于通過微服務(wù)管理,實(shí)現(xiàn)IT虛擬網(wǎng)元的標(biāo)準(zhǔn)能力構(gòu)建和場景化行業(yè)服務(wù)運(yùn)營;通過整合微服務(wù)組件、PaaS組件和容器技術(shù),提供一個(gè)輕量、標(biāo)準(zhǔn)的集成開發(fā)的環(huán)境,要求PaaS平臺(tái)從有定位,到有標(biāo)準(zhǔn)、有組織。在基礎(chǔ)設(shè)施層面,隨著ICT融合和云網(wǎng)融合加劇,基礎(chǔ)設(shè)施層將更趨于標(biāo)準(zhǔn)和統(tǒng)一,BFVI將統(tǒng)一收斂至容器云平臺(tái),支持跨地域容災(zāi)、多資源池遷移、跨資源池部署等場景。

    2.2 采用的關(guān)鍵技術(shù)

    BFV以CN為核心梳理技術(shù)棧需求,BFV的技術(shù)棧如圖5所示。

    在虛擬化方面,BFV使用Docker/Kubernetes技術(shù)實(shí)現(xiàn)基礎(chǔ)設(shè)施層虛擬化,由彈性計(jì)算控制器實(shí)現(xiàn)多平面的資源調(diào)度和管控。隨著容器技術(shù)的深度應(yīng)用和能力抽象,容器將會(huì)作為一種CaaS標(biāo)準(zhǔn)服務(wù)應(yīng)用。通過容器云和彈性計(jì)算控制組合,實(shí)現(xiàn)了應(yīng)用運(yùn)行環(huán)境無關(guān)性。

    在微服務(wù)治理方面,BFV使用服務(wù)網(wǎng)格ServiceMesh技術(shù)作為服務(wù)管理的框架,實(shí)現(xiàn)IT微服務(wù)的治理。ServiceMesh技術(shù)實(shí)現(xiàn)了控制流和數(shù)據(jù)流的分離,控制平面可以攔截?cái)?shù)據(jù)流并推送到日志消息中間件。訂閱者通過對消息報(bào)文的訂閱,進(jìn)行日志分析和接口服務(wù)運(yùn)行實(shí)例數(shù)據(jù)的統(tǒng)計(jì)分析,并可結(jié)合預(yù)先配置的規(guī)則形成最終的控制規(guī)則,實(shí)現(xiàn)服務(wù)管控。ServiceMesh具備松耦合的集成方式,很容易集成各種日志分析工具、服務(wù)鏈監(jiān)控工具等。另外,BFV通過微服務(wù)運(yùn)行框架實(shí)現(xiàn)分布式服務(wù)的調(diào)度和運(yùn)行管理。

    圖5 BFV下的技術(shù)棧

    在異步實(shí)時(shí)通信方面,BFV使用事件驅(qū)動(dòng)EDA技術(shù),實(shí)現(xiàn)IT VBF間異步消息實(shí)時(shí)通信,在事件發(fā)生時(shí),系統(tǒng)和組件實(shí)時(shí)動(dòng)態(tài)做出響應(yīng),實(shí)時(shí)進(jìn)行服務(wù)間調(diào)用解耦。

    在數(shù)據(jù)訪問方面,IT VBF通過分布式中間件實(shí)現(xiàn)微服務(wù)進(jìn)程和數(shù)據(jù)庫間的數(shù)據(jù)訪問。

    在持續(xù)集成和發(fā)布方面,BFV通過BFUO調(diào)用和集成DevOps與AIOps的服務(wù)能力,實(shí)現(xiàn)IT服務(wù)持續(xù)集成和智能運(yùn)維。

    BFV的架構(gòu)體系中涉及微服務(wù)、DevOps、容器云和ServiceMesh等內(nèi)容,更進(jìn)一步地,基于CN整體技術(shù)演進(jìn),無服務(wù)器架構(gòu)也是值得參考和研究的。

    3 BFV核心功能

    3.1 VBF

    在電信行業(yè)內(nèi),相對于CT側(cè)的標(biāo)準(zhǔn)化網(wǎng)元帶來的電信級(jí)的穩(wěn)定,支撐側(cè)的各業(yè)務(wù)中心需要以虛擬網(wǎng)元的方式標(biāo)準(zhǔn)化IT側(cè)的能力組件。本文給出BFV架構(gòu)體系VBF,涉及BSS域的定義以及相關(guān)BSS的VBF網(wǎng)絡(luò)拓?fù)?,BSS域與BSS VBF如圖6所示。

    根據(jù)處理的業(yè)務(wù)對象以及業(yè)務(wù)流程不同,BSS域可以劃分為4個(gè)域,每個(gè)域包含現(xiàn)狀下各業(yè)務(wù)中心。一是業(yè)務(wù)辦理域,分為接觸客戶和受理業(yè)務(wù)的能力,包括個(gè)人、家庭、政企、物聯(lián)網(wǎng)等業(yè)務(wù);二是業(yè)務(wù)處理域,客戶業(yè)務(wù)受理后涉及資源、開通、支付以及計(jì)費(fèi)等能力,其中對合作伙伴等的結(jié)酬也在此域;三是業(yè)務(wù)管理域,主要是數(shù)據(jù)架構(gòu)的數(shù)據(jù)模型、數(shù)據(jù)管理問題,涉及產(chǎn)商品定義、三戶定義、流程規(guī)則以及通用的能力部分;四是業(yè)務(wù)運(yùn)營域,業(yè)務(wù)運(yùn)營相關(guān)的部分,包含網(wǎng)格、營銷、報(bào)表、稽核等。

    圖6 BSS域與BSS VBF

    參考5GC的網(wǎng)絡(luò)服務(wù)拓?fù)鋄17-18],將圖6所示的功能模塊映射到BFV架構(gòu)中VBF,BSS域VBF的網(wǎng)絡(luò)拓?fù)潢P(guān)系如圖7所示。VBF要求各業(yè)務(wù)中心具備IT功能虛擬網(wǎng)元的能力,通過微服務(wù)控制臺(tái)實(shí)現(xiàn)靈活的組網(wǎng)和基于虛擬網(wǎng)元作為單元的靈活部署。

    參考圖2 BFV的架構(gòu)體系,VBF架構(gòu)重點(diǎn)包含3個(gè)PaaS組件(API網(wǎng)關(guān)、微服務(wù)運(yùn)行框架、單平面彈性計(jì)算控制器)。在運(yùn)行面中,API網(wǎng)關(guān)接收來自SBS的需求,實(shí)現(xiàn)流量的負(fù)載和分流,微服務(wù)通過彈性計(jì)算平面控制器和BFVI的對接,實(shí)現(xiàn)應(yīng)用服務(wù)部署,整體的VBF的服務(wù)由圖6中各域能力中心提供,部署在BFVI之上。

    VBF各虛擬網(wǎng)元微服務(wù)顆粒度的劃分,涉及IT技術(shù)實(shí)現(xiàn)的耦合度、運(yùn)營的效率成本等問題,可以結(jié)合領(lǐng)域設(shè)計(jì)模型等方法論,在核心業(yè)務(wù)與非核心業(yè)務(wù)區(qū)別、業(yè)務(wù)與技術(shù)的分離兩個(gè)過程中,持續(xù)理解業(yè)務(wù)、劃分業(yè)務(wù)、定義業(yè)務(wù),兼顧服務(wù)組合的效率和穩(wěn)定性,最終完成業(yè)務(wù)模型的建立。

    3.2 BFUO

    在BFV架構(gòu)體系下,BFUO處在ICT融合、云網(wǎng)融合的關(guān)鍵位置,其定位非常關(guān)鍵。BFUO的能力涉及IT資產(chǎn)的全局視圖管理以及微服務(wù)管理、容器資源調(diào)度以及面向SaaS層的行業(yè)業(yè)務(wù)場景編排。與網(wǎng)絡(luò)服務(wù)描述(network service descriptor,NSD)[19-21]相對應(yīng),也需要研究BFUO中涉及BSD的定義、要素和標(biāo)準(zhǔn)化。相較于傳統(tǒng)的服務(wù)總線管理和API能力開放平臺(tái)的集成,BFUO關(guān)鍵功能與BFUO外部關(guān)系如圖8所示,BFUO存在如下功能變化:新增了服務(wù)設(shè)計(jì)功能模塊,實(shí)現(xiàn)業(yè)務(wù)服務(wù)中IT虛擬網(wǎng)元的設(shè)計(jì);在場景服務(wù)編排中,新增IT虛擬網(wǎng)元的生命周期管理、策略管理、BSD信息管理,有利于服務(wù)的治理和API的管控;在運(yùn)維和開發(fā)交付方面,通過服務(wù)化接口實(shí)現(xiàn)與DevOps/AIOps平臺(tái)的對接和數(shù)據(jù)交互。

    BFUO的編排能力中應(yīng)該具有設(shè)計(jì)器的功能,具備BSS域IT資產(chǎn)的全局視圖展現(xiàn)以及組網(wǎng)和編排能力[22]。其設(shè)計(jì)器示意圖如圖9所示。

    通過新增BFUO功能,BFV架構(gòu)相較于傳統(tǒng)的架構(gòu),有如下4個(gè)方面的優(yōu)勢。

    ●由業(yè)務(wù)流程驅(qū)動(dòng)編排到IT功能虛擬網(wǎng)元靈活組網(wǎng)編排[22],IT服務(wù)能力具備靈活組網(wǎng)能力,由BFUO統(tǒng)一設(shè)計(jì)、管控協(xié)同生產(chǎn)面和控制面,實(shí)現(xiàn)微服務(wù)治理、VBF單元化部署和分布式云部署。

    圖7 VBF網(wǎng)絡(luò)拓?fù)?/p>

    圖8 BFUO關(guān)鍵功能與BFUO外部關(guān)系

    圖9 設(shè)計(jì)器示意圖

    ●由服務(wù)總線對外提供能力到IT虛擬網(wǎng)元組網(wǎng)成邏輯實(shí)體對外提供服務(wù),具備IT服務(wù)[23]單元復(fù)制能力。

    ●應(yīng)用運(yùn)行環(huán)境無關(guān)性,容器作為資源或者服務(wù)進(jìn)行調(diào)度,實(shí)現(xiàn)多資源遷移等資源彈性的場景。

    ●通過定義和規(guī)范提供開放的接口,對IT側(cè)的API進(jìn)行強(qiáng)管控。

    3.3 微服務(wù)管理

    微服務(wù)管理是基于微服務(wù)架構(gòu)、高效可靠的遠(yuǎn)程服務(wù)通信體系框架,提供服務(wù)管理、服務(wù)注冊、服務(wù)調(diào)用、負(fù)載均衡、服務(wù)治理等功能,保障服務(wù)通信的高效性,實(shí)現(xiàn)了微服務(wù)的可見、可管、可控。

    微服務(wù)管理可以分為服務(wù)資產(chǎn)管理、分布式服務(wù)調(diào)用、服務(wù)治理3部分。

    ●服務(wù)資產(chǎn)管理解決服務(wù)靜態(tài)管理問題,包括服務(wù)清單管理、服務(wù)關(guān)系管理、服務(wù)生命周期管理、服務(wù)訪問策略配置等。

    ●分布式服務(wù)調(diào)用解決服務(wù)遠(yuǎn)程調(diào)用問題,分布式服務(wù)調(diào)用框架致力于提供高性能、高可靠的分布式服務(wù)調(diào)用,解決分布式系統(tǒng)服務(wù)間通信問題。分布式服務(wù)調(diào)用框架應(yīng)具備服務(wù)監(jiān)聽與發(fā)現(xiàn)、服務(wù)路由、狀態(tài)校驗(yàn)、規(guī)則校驗(yàn)等功能。同時(shí),在服務(wù)調(diào)用方式上一個(gè)完整的控制引擎應(yīng)具備對服務(wù)進(jìn)行本地調(diào)用、遠(yuǎn)程調(diào)用、同步調(diào)用、異步調(diào)用等功能。

    ●服務(wù)治理解決了服務(wù)運(yùn)行時(shí)動(dòng)態(tài)控制問題,服務(wù)治理基于分布式服務(wù)調(diào)用框架,在服務(wù)調(diào)用過程中執(zhí)行服務(wù)治理策略,完成運(yùn)行期的服務(wù)調(diào)用控制。

    在部署模式上,微服務(wù)管理實(shí)現(xiàn)了運(yùn)行面和控制面的分離。微服務(wù)單元主要由API網(wǎng)關(guān)、微服務(wù)運(yùn)行框架、分布式中間件組成,通過微服務(wù)控制臺(tái)實(shí)現(xiàn)運(yùn)行面和控制面的協(xié)同管理。微服務(wù)管理的調(diào)用關(guān)系如圖10所示,其多平面管控可以分為以下3點(diǎn)。

    ●微服務(wù)相關(guān)組件運(yùn)行面支持多平面部署。

    ●微服務(wù)主控制面可納管多個(gè)平面的運(yùn)行面,控制臺(tái)可以通過切換平面,對單側(cè)進(jìn)行管理。

    ●微服務(wù)相關(guān)組件復(fù)用基礎(chǔ)技術(shù)組件(如配置數(shù)據(jù)庫、注冊中心、緩存、消息中間件等)。其中配置數(shù)據(jù)庫多平面復(fù)用,采用主從架構(gòu)實(shí)現(xiàn)高可用。

    圖10 微服務(wù)管理的調(diào)用關(guān)系

    3.4 彈性計(jì)算控制器

    彈性計(jì)算控制器提供了對IaaS層/容器云分配的計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源的適配與管理,為應(yīng)用提供部署編排能力和彈性可擴(kuò)展的、高可靠的云化運(yùn)行環(huán)境,主要包括資源適配、資源管理和應(yīng)用管理模塊[24]。

    ●資源適配功能提供對計(jì)算資源、網(wǎng)絡(luò)資源和存儲(chǔ)資源的統(tǒng)一適配,可對分配給容器云平臺(tái)的 IaaS 層資源進(jìn)行托管,將應(yīng)用與具體的部署資源形態(tài)進(jìn)行解耦。

    ●資源管理功能負(fù)責(zé)處理租戶對相關(guān)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的申請,根據(jù)資源需求,通過編排和調(diào)度進(jìn)行對應(yīng)的資源的分配,同時(shí)對所有資源形成的各類集群進(jìn)行統(tǒng)一的節(jié)點(diǎn)擴(kuò)/縮容、節(jié)點(diǎn)遷移、節(jié)點(diǎn)健康度監(jiān)控等。

    ●應(yīng)用管理功能實(shí)現(xiàn)容器云上多種類型應(yīng)用的創(chuàng)建、編排、部署、彈性伸縮與滾動(dòng)升級(jí)等能力,為應(yīng)用提供完善的運(yùn)行環(huán)境,并且根據(jù)預(yù)置的策略進(jìn)行彈性的資源伸縮。

    彈性計(jì)算控制器分為多平面控制和單平面控制器兩個(gè)部分,分別負(fù)責(zé)控制面和運(yùn)行面。多平面彈性計(jì)算控制器是管理員和租戶在整個(gè)彈性計(jì)算平臺(tái)的操作控制臺(tái),實(shí)現(xiàn)了一個(gè)控制平面管理多個(gè)運(yùn)行平面。單平面彈性計(jì)算控制器負(fù)責(zé)運(yùn)行平面的部分容器集群管理,用于實(shí)現(xiàn)基于容器化單元的部署。ECC實(shí)現(xiàn)了業(yè)務(wù)多生產(chǎn)面管控,其調(diào)用關(guān)系如圖11所示。多平面管控可以概括為以下5點(diǎn)。

    ●控制面與運(yùn)行面邏輯獨(dú)立。

    ●運(yùn)行面單元化部署,需要形成獨(dú)立的資源池。

    ●控制面納管所有單元化資源池,分配給租戶使用。

    ●控制面具備支持獨(dú)立部署,也可以和運(yùn)行面合設(shè)。

    ●控制面軟件支持高可用部署,運(yùn)行面軟件集群化部署。

    圖11 彈性計(jì)算多平面調(diào)用關(guān)系

    3.5 CCP

    容器云平臺(tái)通過封裝Docker/Kubernetes技術(shù),提供容器服務(wù)編排和調(diào)度,其功能主要是計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的資源管理。CCP的資源管理功能具體包含以下3個(gè)。

    ●容器化計(jì)算資源管理主要基于容器集群信息,統(tǒng)一管理集群的資源配額、申請、分配和扣減。

    ●容器集群中的存儲(chǔ)單獨(dú)維護(hù),通過Kubernetes集群的PVC(persistent volume claim)統(tǒng)一管理配額、申請、分配和扣減。

    ●容器集群中網(wǎng)絡(luò)的管理主要涉及操作使用的插件對應(yīng)的網(wǎng)絡(luò)策略的管控,包括隔離、授權(quán)、連通性策略等;容器云平臺(tái)提供標(biāo)準(zhǔn)化接口,將集群信息上報(bào),供彈性計(jì)算統(tǒng)一納管,包括集群認(rèn)證信息、集群部署網(wǎng)絡(luò)插件等信息。

    容器云平臺(tái)提供標(biāo)準(zhǔn)的南向北向接口,基于多平面彈性計(jì)算控制器管控和容器化的單元能力,實(shí)現(xiàn)了跨地域容災(zāi)遷移、多資源池遷移、部分業(yè)務(wù)系統(tǒng)峰值資源遷移以及故障恢復(fù)后快速回切,具備單元化的部署能力。

    4 結(jié)束語

    業(yè)務(wù)需求和技術(shù)創(chuàng)新并行驅(qū)動(dòng)加速網(wǎng)絡(luò)架構(gòu)發(fā)生深刻變革。本文提出了一種電信業(yè)務(wù)功能虛擬化化架構(gòu),通過在業(yè)務(wù)功能虛擬化架構(gòu)中引入IT虛擬網(wǎng)元和IT業(yè)務(wù)化設(shè)計(jì)編排器,使IT系統(tǒng)具備單元化部署能力和分布式云部署能力,支撐電信IT系統(tǒng)的能力“上云”,符合當(dāng)前云網(wǎng)融合發(fā)展思路。BFV結(jié)合CN的技術(shù)理念,形成了一套標(biāo)準(zhǔn)的、輕量的業(yè)務(wù)支撐的集成開發(fā)環(huán)境。本文對于BFV的PaaS的組件在技術(shù)上進(jìn)行了初步論證,但還需要更進(jìn)一步地進(jìn)行研究和規(guī)劃,例如:技術(shù)方面,BFV架構(gòu)體系中如何引入無服務(wù)器的架構(gòu),實(shí)現(xiàn)更小、更靈活的動(dòng)態(tài)容器單元;業(yè)務(wù)方面,對于VBF下的各業(yè)務(wù)中心如何更進(jìn)一步進(jìn)行服務(wù)標(biāo)準(zhǔn)化和能力解耦,如何通過引入業(yè)務(wù)網(wǎng)關(guān)實(shí)現(xiàn)核心能力和個(gè)性化功能解耦;接口方面,對于BFV的架構(gòu)體系涉及的接口參考點(diǎn)如何進(jìn)行標(biāo)準(zhǔn)化。后續(xù)需要根據(jù)業(yè)務(wù)需求與商業(yè)模式發(fā)展不斷地完善BFV的架構(gòu)體系的柔性,以滿足未來業(yè)務(wù)多樣化需求。

    [1] KATICA N, TAHIROVI? A. Opportunities for telecom operators in cloud computing business[C]//2012 Proceedings of the 35th International Convention MIPRO. Piscataway: IEEE Press, 2012: 495-500.

    [2] SUZUKI M, OHTA M, NISHIKI K, et al. Next-generation telecom management system[J]. Hitachi Review, 1999, 48(4): 179.

    [3] OUYANG Y, WANG L, YANG A, et al. The next decade of telecommunications artificial intelligence[J]. 2021, 37(3): 1-36.

    [4] JINM S, QIUC L, LIJ. The designment of student information management system based on B/S architecture[C]//Proceedings of 2012 2nd International Conference on Consumer Electronics, Communications and Networks (CECNet). Piscataway: IEEE Press, 2012: 2153-2155.

    [5] BORCEA C, DING X N, GEHANI N, et al. Avatar: mobile distributed computing in the cloud[C]//Proceedings of 2015 3rd IEEE International Conference on Mobile Cloud Computing, Services, and Engineering. Piscataway: IEEE Press, 2015: 151-156.

    [6] ENGEL T, LANGERMEIER M, BAUER B, et al. Evaluation of microservice architectures: a metric and tool-based approach[C]// Information Systems in the Big Data Era, [S.L:s.n], 2018.

    [7] HASSELBRING W, STEINACKER G. Microservice architectures for scalability, agility and reliability in E-commerce[C]// Proceedings of 2017 IEEE International Conference on Software Architecture Workshops. Piscataway: IEEE Press, 2017: 243-246.

    [8] Microservices and SOA: Better together[EB]. 2016.

    [9] LI W B, LEMIEUX Y, GAO J, et al. Service mesh: challenges, state of the art, and future research opportunities[C]//Proceedings of 2019 IEEE International Conference on Service- Oriented System Engineering. Piscataway: IEEE Press, 2019: 122-1225.

    [10] CLARK T, BARN B S. Event driven architecture modelling and simulation[C]//Proceedings of 2011 IEEE 6th International Symposium on Service Oriented System. Piscataway: IEEE Press, 2011: 43-54.

    [11] GANNON D, BARGA R, SUNDARESAN N. Cloud-native applications[C]//Proceedingsof IEEE Cloud Computing. Piscataway:IEEE Press, 2021: 16-21.

    [12] Cloud native infrastructure: Patterns for scalable infrastructure and applications in a dynamic environment[EB]. 2017.

    [13] SILL A. Cloud native standards and call for community participation[C]//Proceedingsof IEEE Cloud Computing. Piscataway: IEEE Press, 2021: 56-61.

    [14] Mao Y, Fu Y, Gu S, et al. Resource management schemes for cloud-native platforms with computing containers of docker and kubernetes[J]. arXiv preprint arXiv: 2010.10350, 2020.

    [15] CESELLI A, PREMOLI M, SECCI S. Mobile edge cloud network design optimization[J]. ACM Transactions on Networking, 2017, 25(3): 1818-1831.

    [16] TALEB T, KSENTINI A, SERICOLA B. On service resilience in cloud-native 5G mobile systems[J]. IEEE Journal on Selected Areas in Communications, 2016, 34(3): 483-496.

    [17] 3GPP. System architecture for the 5G system (5GS): TS 23.501 V16.5.1 [S]. 2020.

    [18] 3GPP. Management and orchestration: TS 28.533 V16.4.0[S]. 2020.

    [19] ETSI. Network functions virtualisation use cases: GS NFV 001 V1.1.1 [S]. 2012.

    [20] ETSI. Network functions virtualisation (NFV) release 2; management and orchestration; architectural framework specification: GS NFV 006 V2.1.1[S]. 2021.

    [21] DEJESUS GIL HERRERA J, BOTERO VEGA J F. Network functions virtualization: asurvey[J]. IEEE Latin America Transactions, 2016, 14(2): 983-997.

    [22] MIJUMBI R, SERRAT J, GORRICHO J L, et al. Management and orchestration challenges in network functions virtualization[J]. IEEE Communications Magazine, 2016, 54(1): 98-105.

    [23] 中國電信集團(tuán)公司. 中國電信IT云服務(wù)能力平臺(tái)技術(shù)白皮書[R]. 2017.

    China Telecom. White paper on IT cloud services capacity of platform technology from China Telecom[R]. 2017.

    [24] 雷波, 王江龍, 趙倩穎, 等. 基于計(jì)算、存儲(chǔ)、傳送資源融合化的新型網(wǎng)絡(luò)虛擬化架構(gòu)[J]. 電信科學(xué), 2020, 36(7): 42-54.

    LEI B, WANG J L, ZHAO Q Y, et al. Novel network virtualization architecture based on the convergence of computing, storage and transport resources[J]. Telecommunications Science, 2020, 36(7): 42-54.

    A pilot study of Telco’s next generation IT architecture evolution:business function virtualization (BFV)

    QIAO Wen1, WANG Xiaozheng2, SUN Zhenqiang3, REN Gan2, LIU Yunxin4, YANG Aidong1, WANG Peng1, WANG Da1, YE Xiaozhou1, OUYANG Ye1

    1. AsiaInfo Technologies (China) Co., Ltd., Beijing 100193, China 2. China Mobile Group Zhejiang Co., Ltd., Hangzhou 310016, China 3. China Telecom Co., Ltd., Research Institute, Beijing 100035, China 4. Tsinghua University, Beijing 100084, China

    With the development of information and communication technologies, traditional telecom business support systems (BSS) are facing the challenge of agilely meeting the flexible needs from business. Application scenarization, service standardization, technology componentization and resource sharing have gradually become the consensual features among the evolution of telecom BSS architectures. A business function virtualization (BFV)-based BSS architecture, which is based on cloud-native, micro-services, containers, and DevOps technologies, was proposed. By embedding four components into the architecture, including standardized virtual network functions, modular design orchestrator, micro-service management framework, and multi-plane elastic computing controller, the system is able to deploy unitized system and distributed cloud. Therefore, the requirements of flexible telecom business development and frequent evolution of the system could be satisfied by the proposed BFV-based BSS architecture. In other words, the lightweight delivery of IT technologies and agile business support could be fulfilled by using the proposed BFV-based BSS architecture, and the proposed architecture will eventually become the standard architecture of next generation telecom BSS.

    business function virtualization, modular design orchestration, elastic computing controller, unitized deployment

    TP181

    A

    10.11959/j.issn.1000?0801.2022093

    2021?11?09;

    2022?03?14

    喬穩(wěn)(1977? ),男,亞信科技(中國)有限公司產(chǎn)品研發(fā)中心產(chǎn)品與技術(shù)規(guī)劃中心IT技術(shù)資深專家,主要研究方向?yàn)槠髽I(yè)級(jí)IT系統(tǒng)架構(gòu)、 5G 通信智能計(jì)費(fèi)、BSS業(yè)務(wù)支撐、云原生技術(shù)電信應(yīng)用。

    王曉征(1975? ),男,中國移動(dòng)通信集團(tuán)浙江有限公司信息技術(shù)部總經(jīng)理,主要研究方向?yàn)樵朴?jì)算、人工智能、數(shù)據(jù)科學(xué)、科技研發(fā)創(chuàng)新與管理。

    孫震強(qiáng)(1964? ),男,博士,中國電信股份有限公司研究院CTNet2025研究所所長,主要研究方向?yàn)橐苿?dòng)通信、無線頻譜工程、HAPS和SDN。

    任贛(1975? ),男,中國移動(dòng)通信集團(tuán)浙江有限公司信息技術(shù)部副總經(jīng)理,主要研究方向?yàn)槠髽I(yè)級(jí)IT系統(tǒng)架構(gòu)、中臺(tái)體系框架、電信業(yè)務(wù)模型。

    劉云新(1975? ),男,博士,清華大學(xué)教授、智能產(chǎn)業(yè)研究院首席研究員,主要研究方向?yàn)橹悄苡?jì)算系統(tǒng)、AIoT、移動(dòng)計(jì)算、邊緣計(jì)算。

    楊愛東(1984? ),男,博士,亞信科技(中國)有限公司通信人工智能實(shí)驗(yàn)室首席數(shù)據(jù)科學(xué)家,主要研究方向?yàn)?G無線通信、大數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)及其應(yīng)用。

    王鵬(1976? ),男,亞信科技(中國)有限公司產(chǎn)品研發(fā)中心中臺(tái)產(chǎn)品研發(fā)中心總經(jīng)理,主要研究方向?yàn)槠髽I(yè)級(jí)IT系統(tǒng)架構(gòu)、中臺(tái)體系框架、研發(fā)創(chuàng)新與管理。

    王達(dá)(1985? ),男,博士,亞信科技(中國)有限公司技術(shù)創(chuàng)新與標(biāo)準(zhǔn)化部總監(jiān),主要研究方向?yàn)橐苿?dòng)通信、網(wǎng)絡(luò)傳輸、人工智能。

    葉曉舟(1980? ),男,博士,亞信科技(中國)有限公司通信人工智能實(shí)驗(yàn)室資深總監(jiān)/首席科學(xué)家,主要研究方向?yàn)橥ㄐ啪W(wǎng)絡(luò)與人工智能。

    歐陽曄(1981? ),男,博士,亞信科技(中國)有限公司首席技術(shù)官、高級(jí)副總裁,國家特聘專家,北京市政府特聘專家,主要研究方向?yàn)橐苿?dòng)通信、人工智能、數(shù)據(jù)科學(xué)、科技研發(fā)創(chuàng)新與管理。

    猜你喜歡
    資源服務(wù)能力
    消防安全四個(gè)能力
    基礎(chǔ)教育資源展示
    一樣的資源,不一樣的收獲
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    資源回收
    大興學(xué)習(xí)之風(fēng) 提升履職能力
    你的換位思考能力如何
    招行30年:從“滿意服務(wù)”到“感動(dòng)服務(wù)”
    商周刊(2017年9期)2017-08-22 02:57:56
    国产爱豆传媒在线观看| 亚洲成人久久爱视频| 国产精品嫩草影院av在线观看 | 偷拍熟女少妇极品色| 99国产精品一区二区蜜桃av| 亚洲国产色片| 色av中文字幕| 怎么达到女性高潮| 少妇高潮的动态图| 国产不卡一卡二| 成年版毛片免费区| 91午夜精品亚洲一区二区三区 | 搡女人真爽免费视频火全软件 | 亚洲在线观看片| 91九色精品人成在线观看| 熟女电影av网| 色噜噜av男人的天堂激情| 免费电影在线观看免费观看| 国产伦人伦偷精品视频| 成年人黄色毛片网站| 免费黄网站久久成人精品 | 久久精品影院6| 亚洲欧美日韩卡通动漫| 最后的刺客免费高清国语| 97超级碰碰碰精品色视频在线观看| 成人亚洲精品av一区二区| 亚洲中文日韩欧美视频| 不卡一级毛片| www.色视频.com| 亚洲av日韩精品久久久久久密| netflix在线观看网站| 黄色配什么色好看| 国产av在哪里看| 久久亚洲精品不卡| 99久久无色码亚洲精品果冻| 女人被狂操c到高潮| av在线老鸭窝| 亚洲专区国产一区二区| 久久婷婷人人爽人人干人人爱| 淫秽高清视频在线观看| 午夜精品久久久久久毛片777| 老司机福利观看| 高清在线国产一区| 午夜两性在线视频| 亚洲综合色惰| 嫩草影院入口| 在线看三级毛片| 亚洲午夜理论影院| 国产精品久久久久久亚洲av鲁大| 变态另类丝袜制服| 亚洲五月婷婷丁香| 免费观看精品视频网站| 日本黄大片高清| 久久精品夜夜夜夜夜久久蜜豆| 90打野战视频偷拍视频| 国产成人欧美在线观看| 成人永久免费在线观看视频| 午夜福利高清视频| 日韩欧美三级三区| 久久久久久久精品吃奶| 欧美成人免费av一区二区三区| 免费观看精品视频网站| 亚洲av成人不卡在线观看播放网| 麻豆国产97在线/欧美| 亚洲五月婷婷丁香| av在线老鸭窝| 久久国产精品影院| 欧美bdsm另类| 欧美zozozo另类| 色视频www国产| 国产亚洲精品av在线| 在线观看av片永久免费下载| 久久久久久久午夜电影| 可以在线观看的亚洲视频| 亚洲avbb在线观看| 欧美精品啪啪一区二区三区| av国产免费在线观看| 乱人视频在线观看| 三级毛片av免费| 亚洲三级黄色毛片| 我的老师免费观看完整版| 免费电影在线观看免费观看| 亚洲黑人精品在线| 国产av一区在线观看免费| 国内精品一区二区在线观看| 亚洲成人中文字幕在线播放| 亚洲国产精品成人综合色| 欧美中文日本在线观看视频| 特级一级黄色大片| 精品人妻1区二区| 国产黄a三级三级三级人| 精品一区二区三区视频在线| 啦啦啦韩国在线观看视频| 日韩中文字幕欧美一区二区| 精品乱码久久久久久99久播| 桃红色精品国产亚洲av| 国产色爽女视频免费观看| 久久国产精品影院| 精品午夜福利在线看| 男人和女人高潮做爰伦理| 又爽又黄a免费视频| 少妇高潮的动态图| 久久久成人免费电影| 午夜福利在线观看吧| 欧美日韩亚洲国产一区二区在线观看| 免费无遮挡裸体视频| 久久国产乱子免费精品| 亚洲精品影视一区二区三区av| 蜜桃亚洲精品一区二区三区| 成人国产综合亚洲| 久久这里只有精品中国| 久久午夜福利片| 99热这里只有精品一区| 波野结衣二区三区在线| 搡女人真爽免费视频火全软件 | 欧美又色又爽又黄视频| 欧美精品国产亚洲| 欧美色欧美亚洲另类二区| 精品久久久久久久人妻蜜臀av| 两个人的视频大全免费| 极品教师在线免费播放| 极品教师在线视频| 婷婷亚洲欧美| 丰满人妻一区二区三区视频av| 91在线精品国自产拍蜜月| 欧美丝袜亚洲另类 | 久久国产乱子免费精品| 一本久久中文字幕| 国内精品久久久久精免费| 国产精品久久久久久久电影| 婷婷六月久久综合丁香| 禁无遮挡网站| 直男gayav资源| 亚洲色图av天堂| 日韩成人在线观看一区二区三区| 亚洲七黄色美女视频| 麻豆av噜噜一区二区三区| 欧美最黄视频在线播放免费| 国产乱人视频| 欧美成人性av电影在线观看| 99久国产av精品| 黄色配什么色好看| 国产私拍福利视频在线观看| 亚洲人成伊人成综合网2020| 国产精品不卡视频一区二区 | 美女 人体艺术 gogo| 美女被艹到高潮喷水动态| 人妻夜夜爽99麻豆av| 在线免费观看的www视频| 国产成人影院久久av| 日韩大尺度精品在线看网址| 99久久久亚洲精品蜜臀av| 天堂√8在线中文| 国产淫片久久久久久久久 | www日本黄色视频网| 一个人免费在线观看电影| 国产成人欧美在线观看| 国产老妇女一区| 久久精品影院6| 成人性生交大片免费视频hd| 国产免费男女视频| 搡女人真爽免费视频火全软件 | 亚洲 欧美 日韩 在线 免费| 男女床上黄色一级片免费看| av女优亚洲男人天堂| 欧美最黄视频在线播放免费| 久久人人精品亚洲av| 欧美成人性av电影在线观看| 国内久久婷婷六月综合欲色啪| 欧美最新免费一区二区三区 | 欧美成狂野欧美在线观看| 看黄色毛片网站| 亚洲精品在线观看二区| 日日干狠狠操夜夜爽| 午夜福利成人在线免费观看| 天天一区二区日本电影三级| 亚洲av.av天堂| 嫩草影院入口| 在线播放无遮挡| 自拍偷自拍亚洲精品老妇| 欧美性感艳星| www.熟女人妻精品国产| 精品人妻偷拍中文字幕| 制服丝袜大香蕉在线| 欧美成人免费av一区二区三区| h日本视频在线播放| 五月玫瑰六月丁香| 亚洲人成伊人成综合网2020| 国产黄片美女视频| 97超视频在线观看视频| 久久久国产成人精品二区| 亚洲欧美日韩东京热| 少妇被粗大猛烈的视频| 国产欧美日韩一区二区精品| 好看av亚洲va欧美ⅴa在| 日韩欧美精品v在线| 最近中文字幕高清免费大全6 | 首页视频小说图片口味搜索| 好看av亚洲va欧美ⅴa在| 一进一出好大好爽视频| 99精品久久久久人妻精品| 少妇高潮的动态图| 亚洲国产精品sss在线观看| 99国产精品一区二区蜜桃av| 亚洲人成网站高清观看| 亚洲专区中文字幕在线| 一本久久中文字幕| 91狼人影院| 午夜a级毛片| 亚洲欧美日韩高清专用| 中文字幕av在线有码专区| 2021天堂中文幕一二区在线观| 国产伦人伦偷精品视频| 99热这里只有是精品50| 国产爱豆传媒在线观看| 少妇裸体淫交视频免费看高清| www.熟女人妻精品国产| 自拍偷自拍亚洲精品老妇| 色精品久久人妻99蜜桃| 91狼人影院| 久久中文看片网| 精品一区二区免费观看| 欧美在线黄色| 亚洲精品在线美女| 国产黄片美女视频| 亚洲久久久久久中文字幕| 一级作爱视频免费观看| 三级毛片av免费| 久久精品国产亚洲av天美| 老熟妇乱子伦视频在线观看| 亚洲精品亚洲一区二区| 国产精品免费一区二区三区在线| 美女黄网站色视频| 在线观看一区二区三区| 亚洲av电影不卡..在线观看| 亚洲美女搞黄在线观看 | 日韩成人在线观看一区二区三区| www.999成人在线观看| 俄罗斯特黄特色一大片| 日日干狠狠操夜夜爽| 哪里可以看免费的av片| 国产精品一区二区三区四区久久| 亚州av有码| 在线十欧美十亚洲十日本专区| 免费无遮挡裸体视频| 亚洲第一区二区三区不卡| 国产精品影院久久| 亚洲综合色惰| 国产免费av片在线观看野外av| 亚洲精品色激情综合| 欧美一区二区国产精品久久精品| 51午夜福利影视在线观看| 丰满人妻一区二区三区视频av| or卡值多少钱| 91久久精品国产一区二区成人| 午夜福利在线观看吧| 男女之事视频高清在线观看| 深爱激情五月婷婷| 午夜老司机福利剧场| 亚洲一区高清亚洲精品| 国产色婷婷99| 亚洲第一欧美日韩一区二区三区| 老司机午夜十八禁免费视频| 嫩草影院入口| 岛国在线免费视频观看| 日本精品一区二区三区蜜桃| 国产伦在线观看视频一区| 黄色丝袜av网址大全| 精品99又大又爽又粗少妇毛片 | 国产一区二区三区在线臀色熟女| 亚洲精品粉嫩美女一区| 欧美日本亚洲视频在线播放| 国产一区二区三区视频了| 国语自产精品视频在线第100页| 亚洲专区国产一区二区| 12—13女人毛片做爰片一| 久久精品人妻少妇| 精品国产三级普通话版| 国产精品爽爽va在线观看网站| АⅤ资源中文在线天堂| 色吧在线观看| 精品无人区乱码1区二区| 老司机深夜福利视频在线观看| 亚洲精品日韩av片在线观看| 一本一本综合久久| 国产精品不卡视频一区二区 | 亚洲av免费在线观看| 亚洲综合色惰| 久久久久久国产a免费观看| 18禁在线播放成人免费| 国产精华一区二区三区| 国产视频内射| 蜜桃久久精品国产亚洲av| 精品午夜福利视频在线观看一区| 国产成人欧美在线观看| 亚洲五月天丁香| 男女之事视频高清在线观看| 淫秽高清视频在线观看| 欧美在线一区亚洲| 99精品久久久久人妻精品| 精品午夜福利视频在线观看一区| 欧美最黄视频在线播放免费| 搡老熟女国产l中国老女人| 亚洲专区国产一区二区| 91字幕亚洲| 欧美午夜高清在线| 日韩欧美免费精品| 亚洲五月婷婷丁香| 亚洲国产精品合色在线| 黄色视频,在线免费观看| 亚洲人成网站高清观看| 99久久精品热视频| 首页视频小说图片口味搜索| 国产高潮美女av| 日本免费a在线| 中文字幕久久专区| 最新中文字幕久久久久| 国产成人aa在线观看| 国产黄片美女视频| 午夜福利免费观看在线| 一本精品99久久精品77| 深夜a级毛片| 日韩 亚洲 欧美在线| 白带黄色成豆腐渣| 欧美性猛交黑人性爽| 婷婷丁香在线五月| 精品一区二区三区人妻视频| 俺也久久电影网| 韩国av一区二区三区四区| 亚洲综合色惰| 最新在线观看一区二区三区| 欧美三级亚洲精品| 一区二区三区免费毛片| 9191精品国产免费久久| 亚洲av成人av| 如何舔出高潮| 97碰自拍视频| 亚洲国产色片| 欧美不卡视频在线免费观看| 乱人视频在线观看| 天堂网av新在线| 好男人电影高清在线观看| 亚洲国产精品成人综合色| 免费看a级黄色片| 亚洲国产精品成人综合色| 啦啦啦韩国在线观看视频| 日本 av在线| www.www免费av| 国产午夜精品论理片| 亚洲精品色激情综合| 久99久视频精品免费| 真人做人爱边吃奶动态| 国产精品久久久久久精品电影| 中文字幕精品亚洲无线码一区| 成人国产综合亚洲| 偷拍熟女少妇极品色| 国产高清三级在线| 亚洲国产精品999在线| 99精品久久久久人妻精品| 亚洲国产精品合色在线| 国产一区二区三区在线臀色熟女| 国产高清三级在线| 搡女人真爽免费视频火全软件 | 国产在线男女| 亚洲激情在线av| 日韩 亚洲 欧美在线| 激情在线观看视频在线高清| 久久亚洲精品不卡| 无人区码免费观看不卡| 国产熟女xx| 变态另类成人亚洲欧美熟女| 亚洲av熟女| 99精品在免费线老司机午夜| 99久久九九国产精品国产免费| 精品久久国产蜜桃| www.熟女人妻精品国产| ponron亚洲| 日韩av在线大香蕉| 日日摸夜夜添夜夜添av毛片 | 日本与韩国留学比较| 日韩高清综合在线| 国产又黄又爽又无遮挡在线| 一级a爱片免费观看的视频| 国产成人影院久久av| 国产综合懂色| 色噜噜av男人的天堂激情| 日韩有码中文字幕| 亚洲中文字幕日韩| 欧美性猛交黑人性爽| 高清在线国产一区| 久久人人精品亚洲av| 国产精品自产拍在线观看55亚洲| 国产高清三级在线| 美女免费视频网站| 日本撒尿小便嘘嘘汇集6| 身体一侧抽搐| 18美女黄网站色大片免费观看| 特级一级黄色大片| 最近视频中文字幕2019在线8| 国产久久久一区二区三区| 动漫黄色视频在线观看| 啪啪无遮挡十八禁网站| 日日夜夜操网爽| 久久人人爽人人爽人人片va | 毛片女人毛片| 免费观看精品视频网站| 自拍偷自拍亚洲精品老妇| 日韩欧美免费精品| 蜜桃亚洲精品一区二区三区| 在线观看舔阴道视频| 麻豆成人av在线观看| 久久中文看片网| 亚洲欧美日韩高清专用| 中文资源天堂在线| 男人舔女人下体高潮全视频| 搡女人真爽免费视频火全软件 | 中文资源天堂在线| 91午夜精品亚洲一区二区三区 | 色综合亚洲欧美另类图片| 十八禁人妻一区二区| 亚洲美女搞黄在线观看 | 亚洲无线观看免费| 亚洲精品成人久久久久久| 色播亚洲综合网| 国内精品久久久久精免费| 最新中文字幕久久久久| 亚洲精品乱码久久久v下载方式| 亚洲国产精品sss在线观看| 非洲黑人性xxxx精品又粗又长| 一进一出抽搐gif免费好疼| 99国产精品一区二区蜜桃av| 国内精品久久久久精免费| 我的老师免费观看完整版| 国产精品自产拍在线观看55亚洲| 美女被艹到高潮喷水动态| 神马国产精品三级电影在线观看| 亚洲国产色片| 日本黄大片高清| 亚洲欧美日韩高清专用| av专区在线播放| 精品乱码久久久久久99久播| 成年人黄色毛片网站| 成人美女网站在线观看视频| 亚洲国产欧洲综合997久久,| 真实男女啪啪啪动态图| 色吧在线观看| 久久久久久久亚洲中文字幕 | 亚洲va日本ⅴa欧美va伊人久久| 日本 av在线| 非洲黑人性xxxx精品又粗又长| 国产大屁股一区二区在线视频| 国产亚洲精品久久久久久毛片| 2021天堂中文幕一二区在线观| 亚洲激情在线av| 久久久久九九精品影院| 又爽又黄a免费视频| 国产爱豆传媒在线观看| 日本免费a在线| 别揉我奶头 嗯啊视频| 免费av不卡在线播放| 亚洲av日韩精品久久久久久密| 日日干狠狠操夜夜爽| 99久国产av精品| 国产高潮美女av| 69av精品久久久久久| 好男人在线观看高清免费视频| 国产精品乱码一区二三区的特点| 久久99热这里只有精品18| 日韩欧美精品v在线| 男女视频在线观看网站免费| 国产成人a区在线观看| www日本黄色视频网| 亚洲精品影视一区二区三区av| 国产精品电影一区二区三区| 日本精品一区二区三区蜜桃| 成熟少妇高潮喷水视频| 神马国产精品三级电影在线观看| 国产av麻豆久久久久久久| 亚洲电影在线观看av| 国产三级黄色录像| 国产在线精品亚洲第一网站| 午夜影院日韩av| 99riav亚洲国产免费| 国产色婷婷99| 美女高潮喷水抽搐中文字幕| 精品午夜福利视频在线观看一区| 大型黄色视频在线免费观看| 欧美色视频一区免费| 亚洲三级黄色毛片| 久久99热这里只有精品18| 色综合欧美亚洲国产小说| 窝窝影院91人妻| 国产欧美日韩精品亚洲av| 观看免费一级毛片| 精华霜和精华液先用哪个| 精品无人区乱码1区二区| 亚洲 国产 在线| 日韩高清综合在线| 亚洲专区国产一区二区| 麻豆国产97在线/欧美| 免费在线观看日本一区| 国产欧美日韩一区二区三| 99久久精品国产亚洲精品| .国产精品久久| 国产av不卡久久| 真人做人爱边吃奶动态| 亚洲国产欧洲综合997久久,| 国内精品久久久久精免费| 国产精品久久久久久精品电影| 国产av一区在线观看免费| 深夜a级毛片| 99热这里只有是精品在线观看 | 亚洲美女视频黄频| 久久久久精品国产欧美久久久| a级毛片免费高清观看在线播放| 99久久99久久久精品蜜桃| 欧美黑人巨大hd| 国产精品亚洲一级av第二区| 一级黄片播放器| 亚洲成人久久性| 婷婷丁香在线五月| 久久人人爽人人爽人人片va | 精品一区二区免费观看| 九色国产91popny在线| 久久久精品欧美日韩精品| 搞女人的毛片| 青草久久国产| 97碰自拍视频| 国产在视频线在精品| 男女床上黄色一级片免费看| 国产探花极品一区二区| 日韩av在线大香蕉| 亚洲 国产 在线| 久久伊人香网站| 亚洲18禁久久av| 亚洲va日本ⅴa欧美va伊人久久| 中亚洲国语对白在线视频| 免费在线观看影片大全网站| 午夜免费激情av| av中文乱码字幕在线| 欧美成人免费av一区二区三区| 久久精品影院6| 日日摸夜夜添夜夜添av毛片 | 人妻久久中文字幕网| 日本 av在线| 赤兔流量卡办理| a级毛片免费高清观看在线播放| 波野结衣二区三区在线| 成年人黄色毛片网站| 精品人妻1区二区| 99久久成人亚洲精品观看| 99在线人妻在线中文字幕| 少妇高潮的动态图| 嫁个100分男人电影在线观看| 国产av在哪里看| 欧洲精品卡2卡3卡4卡5卡区| 国产国拍精品亚洲av在线观看| 在线十欧美十亚洲十日本专区| 久久天躁狠狠躁夜夜2o2o| 波多野结衣高清无吗| 欧美xxxx性猛交bbbb| 国产精品久久久久久精品电影| 91九色精品人成在线观看| 夜夜爽天天搞| 国产av在哪里看| 亚洲精品乱码久久久v下载方式| 亚洲最大成人av| 国产伦一二天堂av在线观看| 欧美色视频一区免费| 在线观看一区二区三区| 亚洲三级黄色毛片| 性插视频无遮挡在线免费观看| 午夜福利在线观看免费完整高清在 | 老熟妇仑乱视频hdxx| 欧美3d第一页| 变态另类丝袜制服| 国产亚洲精品av在线| 久久九九热精品免费| 亚洲成人久久性| 别揉我奶头 嗯啊视频| 美女xxoo啪啪120秒动态图 | 久久九九热精品免费| 97碰自拍视频| 亚洲天堂国产精品一区在线| 高清日韩中文字幕在线| 亚洲无线观看免费| 麻豆成人午夜福利视频| 91av网一区二区| 麻豆一二三区av精品| 最后的刺客免费高清国语| 日韩欧美国产一区二区入口| av在线老鸭窝| 舔av片在线| 又紧又爽又黄一区二区| 简卡轻食公司| 国产精品一及| 亚洲国产精品合色在线| 国产精品嫩草影院av在线观看 | 波野结衣二区三区在线| 国产精品久久久久久人妻精品电影| av福利片在线观看| 搡女人真爽免费视频火全软件 | 51午夜福利影视在线观看| 久久久久国产精品人妻aⅴ院| 欧美性猛交╳xxx乱大交人| 国产免费男女视频| 综合色av麻豆| 亚洲一区高清亚洲精品| 一区福利在线观看| 亚洲美女搞黄在线观看 | 久久久色成人| 亚洲一区二区三区色噜噜| 亚洲黑人精品在线| 欧美精品啪啪一区二区三区| www.www免费av|