云邊協(xié)同中的資源調(diào)度優(yōu)化

王淑玲，孫杰，王鵬，楊愛東

云邊協(xié)同中的資源調(diào)度優(yōu)化

王淑玲，孫杰，王鵬，楊愛東

（亞信科技（中國）有限公司，北京 100193）

隨著業(yè)務(wù)類型的豐富和多樣化，低時(shí)延、高帶寬、數(shù)據(jù)私密性、高可靠性等成為業(yè)務(wù)普遍的要求。邊緣計(jì)算、霧計(jì)算、分布式云、算力網(wǎng)絡(luò)等方案相繼被提出，并在產(chǎn)學(xué)研各界引發(fā)了深度的研究和探索。針對“多級的算力分布以及算力的協(xié)同將是未來算力結(jié)構(gòu)的主流”這一觀點(diǎn)，產(chǎn)業(yè)內(nèi)外達(dá)成了共識(shí)，算力管理、分配、調(diào)度等與資源優(yōu)化相關(guān)的問題也成為當(dāng)下的研究熱點(diǎn)和重點(diǎn)攻關(guān)方向。為此，面向未來的算力供給結(jié)構(gòu)，首先描述了學(xué)術(shù)界、產(chǎn)業(yè)界資源調(diào)度優(yōu)化問題的最新進(jìn)展，總結(jié)了當(dāng)前的主要方法論和工程實(shí)施架構(gòu)；然后，針對兩種典型的云邊協(xié)同場景，從場景拆分、調(diào)度目標(biāo)、求解方案依次進(jìn)行分析，給出了適應(yīng)場景特性的資源調(diào)度優(yōu)化參考方案。

云邊協(xié)同；邊緣計(jì)算；算網(wǎng)融合；資源調(diào)度優(yōu)化；算網(wǎng)聯(lián)合優(yōu)化

0 引言

當(dāng)前，社會(huì)正加速進(jìn)入以數(shù)字化、網(wǎng)絡(luò)化、智能化為特征的信息社會(huì)。時(shí)低延、高帶寬、數(shù)據(jù)私密性、高可靠性等新時(shí)代業(yè)務(wù)的普遍訴求，推動(dòng)基礎(chǔ)設(shè)施進(jìn)入后云計(jì)算時(shí)代，邊緣計(jì)算、霧計(jì)算（fog computing）、分布式云、算力網(wǎng)絡(luò)等方案相繼被提出，并在產(chǎn)、學(xué)、研各界引發(fā)了深度的研究和探索。

針對邊緣計(jì)算的不同部署范式，多種概念被提出。多接入邊緣計(jì)算（multi-access edge computing，MEC）[1]由歐洲電信標(biāo)準(zhǔn)化協(xié)會(huì)（ETSI）率先提出，倡導(dǎo)在靠近業(yè)務(wù)的網(wǎng)絡(luò)邊緣側(cè)部署計(jì)算處理能力，以滿足未來業(yè)務(wù)對低時(shí)延、大帶寬、高可靠的要求。霧計(jì)算是一種分布式的計(jì)算基礎(chǔ)設(shè)施，通過將計(jì)算和存儲(chǔ)設(shè)備配置在互聯(lián)網(wǎng)邊緣減少互聯(lián)網(wǎng)數(shù)據(jù)傳輸量，從而降低時(shí)延、節(jié)省帶寬及相關(guān)費(fèi)用。文獻(xiàn)[2]系統(tǒng)地闡述了霧計(jì)算的關(guān)鍵技術(shù)，列舉了常見的霧計(jì)算應(yīng)用。分布式云由ITU-SG13[3]提出，強(qiáng)調(diào)將公有云服務(wù)分布到不同的物理位置，且服務(wù)的更新、管理仍由云服務(wù)商提供。算力網(wǎng)絡(luò)是2019年由中國運(yùn)營商在ITU-SG13[4]上首次提出來的概念，其宗旨在于提供一體化的算力資源和網(wǎng)絡(luò)資源的聯(lián)合調(diào)度優(yōu)化模型，以提升基礎(chǔ)設(shè)施資源的使用效率。

類似的概念還有很多，盡管各自強(qiáng)調(diào)的特點(diǎn)、提出的背景都不盡相同，但是，針對“多級的算力分布以及算力的協(xié)同將是未來算力結(jié)構(gòu)的主流”這一觀點(diǎn)，產(chǎn)業(yè)內(nèi)外達(dá)成了共識(shí)，算力管理、分配、調(diào)度等資源調(diào)度優(yōu)化相關(guān)的問題也成為當(dāng)下的研究熱點(diǎn)和重點(diǎn)攻關(guān)方向。

1 資源調(diào)度優(yōu)化問題研究進(jìn)展

資源調(diào)度優(yōu)化問題是學(xué)術(shù)界和產(chǎn)業(yè)界的經(jīng)典問題，在多種系統(tǒng)及場景下普遍存在。

針對云－邊算力協(xié)同場景，學(xué)術(shù)界的工作聚焦于：在算力和網(wǎng)絡(luò)的聯(lián)合資源約束、經(jīng)濟(jì)性和綠色節(jié)能等效能要求下，用數(shù)學(xué)工具對資源調(diào)度優(yōu)化問題進(jìn)行建模并求解。文獻(xiàn)[5]和文獻(xiàn)[6]重點(diǎn)闡述了近3年內(nèi)該領(lǐng)域的工作。文獻(xiàn)[5]針對“云－邊－端”的計(jì)算系統(tǒng)，全面闡述了單一任務(wù)的卸載或分配決策、多任務(wù)分配及調(diào)度、邊緣計(jì)算環(huán)境中任務(wù)優(yōu)先級約束等幾種場景下的問題求解方法。文獻(xiàn)[6]將資源調(diào)度優(yōu)化問題進(jìn)一步細(xì)分為資源映射、任務(wù)調(diào)度、任務(wù)流調(diào)度3個(gè)子問題。結(jié)合子問題的數(shù)學(xué)模型類型，系統(tǒng)地總結(jié)了問題求解的方法和適用場景，包括：（1）經(jīng)典的先來先服務(wù)（first come and first service，F(xiàn)CFS）、基于優(yōu)先級等的調(diào)度方法[7-8]；（2）基于模糊理論的調(diào)度方法[9]，重點(diǎn)解決邊端的資源不確定性和動(dòng)態(tài)性問題；（3）啟發(fā)式的調(diào)度方法[10-11]，以有限代價(jià)求解NP難問題；（4）強(qiáng)化學(xué)習(xí)算法[12]，應(yīng)對環(huán)境的不確定性，提升系統(tǒng)的自優(yōu)化、自學(xué)習(xí)能力。

在學(xué)術(shù)界，對于資源調(diào)度和優(yōu)化問題，學(xué)者們提供了非常多的參考模型，但是，這些模型在走向工業(yè)生產(chǎn)時(shí)遇到了一些問題。這些問題主要體現(xiàn)在以下兩個(gè)方面：第一，參考模型基于的前提和假設(shè)與實(shí)際場景存在的差異；第二，模型以及求解過程中涉及的數(shù)據(jù)，在實(shí)際的系統(tǒng)中較難收集。因此，需要將實(shí)際工程的場景與學(xué)術(shù)參考模型的前提進(jìn)行映射，進(jìn)而選擇適宜的方案。

在產(chǎn)業(yè)界，云－邊協(xié)同的概念和實(shí)現(xiàn)方案尚未形成一個(gè)共識(shí)。首先，在概念上，國內(nèi)和國際已經(jīng)分化。國際上，以Gartner為首，將云－邊協(xié)同中的算力資源調(diào)度和網(wǎng)絡(luò)資源調(diào)度分別映射至分布式云（distributed cloud）[13]和云網(wǎng)絡(luò)（cloud networking）[14]兩個(gè)分支，推薦的供應(yīng)商也分別屬于運(yùn)營商和云商兩個(gè)陣營。在國外，算力和網(wǎng)絡(luò)分屬于兩個(gè)不同的產(chǎn)業(yè)角色，要將其聯(lián)合調(diào)度難度較大，因此，從全局資源統(tǒng)籌的角度上來看，兩類資源是分開調(diào)度的。在國內(nèi)，算力基礎(chǔ)設(shè)施的供應(yīng)一直存在著較為激烈的爭奪。運(yùn)營商借助有網(wǎng)絡(luò)、有算力的優(yōu)勢，在2018年就已經(jīng)提出云網(wǎng)融合[15]的概念，以撼動(dòng)云廠商算力運(yùn)營服務(wù)的頭部地位。在2019年，中國運(yùn)營商開始在ITU提出算力網(wǎng)絡(luò)[4]的概念，將云網(wǎng)資源統(tǒng)一協(xié)調(diào)和調(diào)度的想法又一次拋了出來，這一概念最初僅是云資源、網(wǎng)絡(luò)資源的聯(lián)合編排以及運(yùn)營層的融合，但是隨著算力網(wǎng)絡(luò)熱潮的迅速到來、“東數(shù)西算”工程的快速推進(jìn)，產(chǎn)業(yè)界已經(jīng)著手考慮云、網(wǎng)資源聯(lián)合調(diào)度的技術(shù)攻關(guān)。在商業(yè)實(shí)現(xiàn)上，Kubernetes是當(dāng)前云邊資源管理的主流框架。這一系統(tǒng)中的資源調(diào)度，重點(diǎn)還是考慮云資源的特性以及云內(nèi)的算網(wǎng)協(xié)同，在其調(diào)度算法中更多考慮云資源的狀態(tài)等信息。針對這一問題，產(chǎn)業(yè)界針對邊緣算力的需求和特性做了一定的改進(jìn)，如Kuberedge、Superedge等，但是算網(wǎng)資源效能、跨管理域中的資源協(xié)調(diào)等方面考慮得較少。

算力和網(wǎng)絡(luò)的底層基礎(chǔ)設(shè)施資源聯(lián)合調(diào)度是一個(gè)技術(shù)門檻較高的領(lǐng)域。在過去的十多年里，基礎(chǔ)資源的調(diào)度和優(yōu)化一直以云商主導(dǎo)的IT路線為主。因此，整體以云和分布式云這套體系展開工作，云邊協(xié)同中的數(shù)據(jù)傳輸、鏡像傳輸?shù)染W(wǎng)絡(luò)需求是以一種較為粗放的方式滿足的。盡管做了一些工作，但是沒有太流行起來，對于成熟商用的系統(tǒng)，常常也都諱莫如深，并不過多暴露細(xì)節(jié)。為此，本文將面向未來的算力供給結(jié)構(gòu)，結(jié)合學(xué)術(shù)界和產(chǎn)業(yè)界的研究進(jìn)展，給工程實(shí)施提供一些框架性的思考。

2 云邊協(xié)同中的資源調(diào)度優(yōu)化問題定義

盡管霧計(jì)算、MEC、分布式云、算力網(wǎng)絡(luò)等概念存在管理結(jié)構(gòu)、算力形態(tài)等方面的差異，但是多級的、協(xié)同一體化的算力結(jié)構(gòu)是一致的。

過去，在多級算力協(xié)同的場景下，針對算力如何組織、管理和調(diào)度，是通過集中式還是分布自治的方式，如何能夠達(dá)到資源效率的最優(yōu)等關(guān)鍵問題，產(chǎn)業(yè)界內(nèi)外存在不同的觀點(diǎn)和解決方案。文獻(xiàn)[18]從量化的角度證實(shí)，在多權(quán)屬的算力資源池中進(jìn)行資源調(diào)度時(shí)，資源池的整體使用效率會(huì)得到提升。因此，面向未來的數(shù)字化經(jīng)濟(jì)，需要打破集中式云算力的限制，利用網(wǎng)絡(luò)連接多級、多權(quán)屬算力，獲取強(qiáng)大的算力基礎(chǔ)設(shè)施資源。

一般地，資源調(diào)度優(yōu)化問題定義如下。

3 云邊協(xié)同場景中資源調(diào)度優(yōu)化問題的實(shí)施參考

3.1 工程實(shí)施方案三步驟

在求解定義1描述的問題時(shí)，算力的權(quán)屬、算力的結(jié)構(gòu)、調(diào)度問題的決策主體等直接影響調(diào)度優(yōu)化的維度，因此，在實(shí)際場景中，為了找到滿足資源約束、目標(biāo)約束的，本文認(rèn)為需要依次明確3個(gè)方面：場景、目標(biāo)及約束、建模及求解。

（1）場景

在云邊多級算力協(xié)同的場景下，何方擁有算力的絕對管控權(quán)直接關(guān)系到問題的求解思路，具體地，會(huì)影響定義1中的目標(biāo)函數(shù)、資源約束和映射的設(shè)計(jì)等。

在集團(tuán)企業(yè)自建的云邊協(xié)同架構(gòu)下，云邊算力為企業(yè)私有，邊緣算力調(diào)度目標(biāo)是在有限的資源內(nèi)完成盡可能多的任務(wù)。集中式的調(diào)度方法所需的絕對控制權(quán)、數(shù)據(jù)使用權(quán)在此種場景下都能夠得到充分的滿足。在分布式云的架構(gòu)下，盡管云商有算力的絕對控制和感知能力，但是調(diào)度目標(biāo)受到了資源需求方的服務(wù)等級協(xié)定（service level agreement，SLA）、經(jīng)濟(jì)性等的約束，因此，調(diào)度問題則會(huì)轉(zhuǎn)化為云商和需求方之間的博弈問題，從而目標(biāo)函數(shù)則轉(zhuǎn)換為滿足需求方SLA約束下最大化云商利潤率。在運(yùn)營商主導(dǎo)的算力網(wǎng)絡(luò)架構(gòu)體系下，目標(biāo)函數(shù)又會(huì)包含盡可能多地調(diào)度到指定的算力節(jié)點(diǎn)或者均衡化算力節(jié)點(diǎn)的資源利用率等。同樣的情況，也會(huì)出現(xiàn)在和的設(shè)計(jì)上。

因此，在考慮問題的解決方案時(shí)，首先需要對算力結(jié)構(gòu)、算力的管控權(quán)屬等問題進(jìn)行明確。

（2）目標(biāo)及約束

在支撐數(shù)字化業(yè)務(wù)的過程中，調(diào)度算法會(huì)根據(jù)參與主體對調(diào)度結(jié)果的評估維度，選擇合適的資源。但在實(shí)際的場景中，不同參與方的評估維度存在較大差異，甚至相悖，如在一個(gè)開放的算力供需市場下，算力的需求方期望的是以最低的算力成本得到最好的服務(wù)，而算力的供給方則是滿足業(yè)務(wù)SLA的同時(shí)收益最高。

因此，第2個(gè)需要明確的是：滿足何種約束條件，如何評估調(diào)度方案的優(yōu)劣。

（3）建模及求解

云邊協(xié)同中的資源調(diào)度優(yōu)化是一個(gè)比較復(fù)雜的問題。在算力節(jié)點(diǎn)規(guī)模較小時(shí)，簡單模型即能在可接受的時(shí)間內(nèi)得到可接受的解，但是在諸如算力網(wǎng)絡(luò)這樣的場景下，節(jié)點(diǎn)規(guī)模大、節(jié)點(diǎn)類型多、資源約束維度高，優(yōu)化方案的求解相對不容易，已有多項(xiàng)學(xué)術(shù)研究[16-20]證明了這是一個(gè)NP難問題。因此，需要對問題進(jìn)行抽象和建模，并借助數(shù)學(xué)手段快速找到解。目前，針對這一問題，學(xué)術(shù)界的研究非常多，給產(chǎn)業(yè)界提供了很好的參考。文獻(xiàn)[5-6]基于霧計(jì)算的場景，全面地綜述和分析了當(dāng)前的模型和求解方法，并對求解方法進(jìn)行了分類。

3.2 典型場景的方案建議

基于前文的三步驟法，本節(jié)選擇AR/VR業(yè)務(wù)以及企業(yè)云邊協(xié)同數(shù)據(jù)治理業(yè)務(wù)作為云邊協(xié)同的典型場景，討論資源調(diào)度優(yōu)化的實(shí)現(xiàn)架構(gòu)和方案。

（1）AR/VR業(yè)務(wù)

AR/VR業(yè)務(wù)本質(zhì)上是一種交互式的在線視頻流，AR/VR業(yè)務(wù)交互模式如圖1所示，對邊、云側(cè)有較強(qiáng)的算力和低時(shí)延的網(wǎng)絡(luò)需求。在公共的邊/云側(cè)算力完成渲染后，通過高速、高可靠的網(wǎng)絡(luò)傳送給用戶，如手機(jī)、個(gè)人計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒等終端設(shè)備；用戶通過輸入設(shè)備（虛擬鍵盤、手柄等）對業(yè)務(wù)進(jìn)行實(shí)時(shí)的操作。另外，AR/VR業(yè)務(wù)在高鐵、地鐵等高速移動(dòng)的場景下，用戶側(cè)終端設(shè)備將會(huì)在多個(gè)基站甚至多個(gè)地域進(jìn)行網(wǎng)絡(luò)切換，這樣與初始連接的公共邊、云側(cè)節(jié)點(diǎn)網(wǎng)絡(luò)時(shí)延增加，因而需要在多個(gè)公共的算力節(jié)點(diǎn)進(jìn)行切換，根據(jù)用戶的實(shí)際情況進(jìn)行統(tǒng)一的調(diào)度和管理，將計(jì)算能力在多個(gè)節(jié)點(diǎn)之間無縫遷移，且保障用戶無感的服務(wù)切換。

圖1 AR/VR業(yè)務(wù)交互模式

將AR/VR業(yè)務(wù)與上述的模型進(jìn)行映射。首先，在場景方面，AR/VR業(yè)務(wù)所需的算力是典型的多方供給模式。端側(cè)的算力屬于終端用戶，由業(yè)務(wù)方進(jìn)行調(diào)度和控制；考慮業(yè)務(wù)接入的隨機(jī)性和高速需求，邊側(cè)的算力和網(wǎng)絡(luò)資源大概率為運(yùn)營商所控制；云側(cè)的算力屬于云商。因此，在AR/VR場景中的資源調(diào)度優(yōu)化需要將服務(wù)商和資源方的權(quán)責(zé)進(jìn)行解耦。在基礎(chǔ)設(shè)施資源層，由運(yùn)營商依照基礎(chǔ)設(shè)施的布局，為業(yè)務(wù)選擇合適的算力資源和網(wǎng)絡(luò)資源的組合；在基礎(chǔ)設(shè)施服務(wù)層，云商在自身的資源約束下，依據(jù)調(diào)度優(yōu)化目標(biāo)的指引，為業(yè)務(wù)服務(wù)選擇合適的資源；在業(yè)務(wù)服務(wù)層，業(yè)務(wù)服務(wù)方在應(yīng)用層定義子業(yè)務(wù)和資源的映射。

目標(biāo)函數(shù)的設(shè)定也是多維度的。在基礎(chǔ)設(shè)施資源層，調(diào)度的目標(biāo)是優(yōu)化資源的使用效率，包括資源的電量消耗、資源負(fù)載的均衡、資源供應(yīng)方的偏好、業(yè)務(wù)的SLA等。在基礎(chǔ)設(shè)施服務(wù)層，服務(wù)商的考慮包括資源類型、服務(wù)優(yōu)先級、集群負(fù)載等。在業(yè)務(wù)服務(wù)層，考慮的是業(yè)務(wù)的體驗(yàn)質(zhì)量（quality of experience，QoE）。文獻(xiàn)[19]是在Kubernetes調(diào)度機(jī)制上的改進(jìn)，在云算力的基礎(chǔ)上增加了邊緣算力相關(guān)的時(shí)延、數(shù)據(jù)傳輸?shù)戎笜?biāo)，以適應(yīng)云邊協(xié)同中存在的鏡像同步、數(shù)據(jù)同步等場景。

按照第2節(jié)對于資源問題的定義，可將AR/VR業(yè)務(wù)建模如下。

SP={SP1, SP2, SP3}為服務(wù)提供商，分別代表終端應(yīng)用開發(fā)商、邊緣算力及服務(wù)提供商、云端算力及服務(wù)提供商。

={1,2, ···,I}為所有的算力節(jié)點(diǎn)集合，其中，網(wǎng)絡(luò)抽象為一類特殊的節(jié)點(diǎn)。

因此，基于節(jié)點(diǎn)和服務(wù)供應(yīng)商的從屬關(guān)系可定義為：

在時(shí)刻，針對用戶發(fā)出的任務(wù)，其資源調(diào)度結(jié)果為：

如此，用戶針對任務(wù)付出的代價(jià)定義為：

服務(wù)提供商在一個(gè)計(jì)費(fèi)周期內(nèi)得到的效用為：

目標(biāo)函數(shù)可定義為：

上述模型從經(jīng)濟(jì)效能的角度，給出了調(diào)度方案的評估模型示例。當(dāng)然也可根據(jù)實(shí)際系統(tǒng)的設(shè)計(jì)重新設(shè)計(jì)。文獻(xiàn)[16]提出的Zenith就是另一項(xiàng)值得參考的研究工作。Zenith在服務(wù)管理、邊緣資源管理解耦的前提條件下，提出了一種基于市場動(dòng)態(tài)定價(jià)的機(jī)制的邊緣算力調(diào)度和優(yōu)化方法提升邊緣數(shù)據(jù)中心（data center，DC）使用效率的同時(shí)提升了資源服務(wù)提供方的利潤率?；具^程是：①資源需求方（App層）根據(jù)自身業(yè)務(wù)特點(diǎn)，規(guī)劃好對于邊緣DC的需求；②根據(jù)地理分布特點(diǎn)，引入維諾圖，并基于加權(quán)維諾圖的理論為資源需求方選擇位置臨近的邊緣DC；③邊緣DC算力的多個(gè)算力服務(wù)提供方依據(jù)自身的成本和利潤，向資源需求方報(bào)價(jià)；需求方依據(jù)該DC的歷史服務(wù)質(zhì)量等級給出報(bào)價(jià)，并選擇合適的算力供應(yīng)方；④雙方就報(bào)價(jià)形成共識(shí)，則需求方的任務(wù)調(diào)度到邊緣DC上。

支持AR/VR業(yè)務(wù)時(shí)，該方案值得參考的包括：服務(wù)管理和邊緣資源管理解耦的前提與實(shí)際情況較為符合；在需求方和供給方之間，以市場化的手段，基于算力的歷史服務(wù)水平指導(dǎo)供需雙方合理定義量化的算力價(jià)格，對算力的供給、定價(jià)模式有較強(qiáng)的參考價(jià)值；Zenith通過市場機(jī)制，橋接了資源型調(diào)度和服務(wù)型調(diào)度的差異。同時(shí)，尚有幾點(diǎn)需要進(jìn)一步細(xì)化：①選擇邊緣DC。文中未細(xì)化描述邊緣DC與業(yè)務(wù)接入點(diǎn)的映射。在業(yè)務(wù)實(shí)施中，可考慮接入點(diǎn)位置、邊緣DC的網(wǎng)絡(luò)接入帶寬等因素；亞信科技提出了算力網(wǎng)絡(luò)中的一種資源調(diào)度方法，為云邊協(xié)同業(yè)務(wù)選擇合適的DC；文獻(xiàn)[17]針對主播直播場景提出了一種邊緣接入節(jié)點(diǎn)的選擇方案；②邊緣算力提供報(bào)價(jià)時(shí)，如何評估資源自身的成本。在文獻(xiàn)的基礎(chǔ)上，可以考慮增加數(shù)據(jù)傳輸代價(jià)、鏡像傳輸代價(jià)。

（2）企業(yè)數(shù)據(jù)治理業(yè)務(wù)

當(dāng)數(shù)據(jù)定義為企業(yè)的數(shù)字化資產(chǎn)后，通過數(shù)據(jù)治理逐步實(shí)現(xiàn)數(shù)據(jù)價(jià)值成為企業(yè)轉(zhuǎn)型的關(guān)鍵環(huán)節(jié)。在面對企業(yè)數(shù)據(jù)治理業(yè)務(wù)的“海量數(shù)據(jù)”“即時(shí)交互”“穩(wěn)定安全”的要求時(shí)，傳統(tǒng)集中模式的云計(jì)算已不再是最優(yōu)方案，云邊端協(xié)同成為產(chǎn)業(yè)界公認(rèn)的替代方案。在工業(yè)生產(chǎn)中，端側(cè)部署現(xiàn)場的數(shù)采能力對接生產(chǎn)現(xiàn)場的各種異構(gòu)數(shù)據(jù)源；邊緣側(cè)以“服務(wù)器+虛擬化”的方式部署的服務(wù)包括業(yè)務(wù)數(shù)據(jù)處理能力、數(shù)據(jù)的建模和可視化能力、數(shù)據(jù)開放的三大能力以及本地應(yīng)用的管理；云側(cè)采用“1+”的集團(tuán)——工廠的集約式管理，多層級聯(lián)，一次定義多點(diǎn)分發(fā)的模式，提升企業(yè)管理效率和標(biāo)準(zhǔn)化程度。

企業(yè)自建云或者企業(yè)自建邊緣云+公有云是支撐數(shù)據(jù)治理業(yè)務(wù)的典型算力結(jié)構(gòu)。此方式下的場景建?？烧J(rèn)為是AR/VR業(yè)務(wù)的簡化。首先是服務(wù)提供商方面的簡化，服務(wù)提供商收縮為企業(yè)、網(wǎng)絡(luò)供應(yīng)商和公有云服務(wù)商；其次，是各類業(yè)務(wù)參與者的效用函數(shù)設(shè)計(jì)。在企業(yè)自建云的場景下，可設(shè)計(jì)為：

該類問題的求解還可參考文獻(xiàn)[18]的相關(guān)工作。文獻(xiàn)[18]基于有限的資源池，聚焦考慮數(shù)據(jù)密集型業(yè)務(wù)場景，提出了一種邊緣服務(wù)部署以及服務(wù)請求調(diào)度的方案。該方案值得參考的包括：①方案基于的前提和假設(shè)與企業(yè)自建云情形較為吻合，包括資源有限、調(diào)度目標(biāo)設(shè)計(jì)、數(shù)據(jù)密集型、調(diào)度方案動(dòng)態(tài)調(diào)整等；②方案采用啟發(fā)式的方法求解問題，以有限的代價(jià)得到可接受的方案，便于工程實(shí)施。尚需進(jìn)一步探討的是該方案在當(dāng)前的主流開發(fā)框架中的軟件實(shí)現(xiàn)。目前，Kubernetes是云計(jì)算的主流工程框架，并且在隨著云邊協(xié)同的需求迭代和演進(jìn)，出現(xiàn)了KuberEdge、SuperEdge等云邊協(xié)同的開源框架，得到了產(chǎn)業(yè)界的關(guān)注。但是，主要集中在云邊服務(wù)的管理和協(xié)同，對于云邊協(xié)同的資源調(diào)度優(yōu)化較少涉及，相關(guān)的工作可以參考文獻(xiàn)[19]。

在企業(yè)自建邊緣云+公有云的算力結(jié)構(gòu)下，資源調(diào)度問題退化為結(jié)合網(wǎng)絡(luò)代價(jià)選擇云端算力，此種情況可參考文獻(xiàn)[16]。在該工作中引入云代理的角色處理云端算力的選擇問題，對云管平臺(tái)相關(guān)廠商有較大的參考價(jià)值。基于不同地域、不同云服務(wù)商的算力價(jià)格不同的現(xiàn)實(shí)情況，該文獻(xiàn)以算力需求方的目標(biāo)為導(dǎo)向，綜合考慮虛擬機(jī)鏡像啟動(dòng)時(shí)延和遷移代價(jià)，構(gòu)建資源調(diào)度優(yōu)化模型，并采用啟發(fā)式的方法求解問題。

4 結(jié)束語

云邊協(xié)同的計(jì)算模式由原來的“中心-用戶”的單邊模式轉(zhuǎn)變?yōu)椤坝脩?中心”“用戶-用戶”的多邊模式。伴隨這種轉(zhuǎn)變，在新的商業(yè)模型、技術(shù)架構(gòu)調(diào)整的引領(lǐng)下，云邊系統(tǒng)中資源調(diào)度優(yōu)化問題需要產(chǎn)業(yè)界、學(xué)術(shù)界共同攻克。在中國，算力網(wǎng)絡(luò)的概念引發(fā)了算力資源和網(wǎng)絡(luò)資源聯(lián)合調(diào)度的研究熱潮。但是，縱觀國內(nèi)外，國際產(chǎn)業(yè)界鮮有相關(guān)的工程實(shí)施參考，學(xué)術(shù)界的研究成果對于工程實(shí)施的指導(dǎo)意義又有一定局限性。因此，本文結(jié)合產(chǎn)業(yè)界的典型場景，試圖篩選出對工程實(shí)施具有較大參考價(jià)值的學(xué)術(shù)成果，以期為未來的云邊協(xié)同架構(gòu)的推進(jìn)盡一份力量。

從上述云邊協(xié)同的典型場景分析中可知，為了應(yīng)對算力權(quán)屬的多樣性，資源調(diào)度和優(yōu)化需要?jiǎng)澐謱哟巍Ｔ谏婕岸喾綑?quán)屬問題時(shí)，采用資源分配型調(diào)度方式，以經(jīng)濟(jì)性換取可用性；在獨(dú)立權(quán)屬的資源池內(nèi)，可采用服務(wù)型調(diào)度方式，滿足用戶對于靈活、動(dòng)態(tài)、彈性等高級特性的需求。因此，面向未來的云網(wǎng)協(xié)同場景，資源調(diào)度優(yōu)化針對調(diào)度的維度會(huì)劃分成不同的階段，并且這種多階段的調(diào)度方式將會(huì)持續(xù)較長的一段時(shí)間。

未來的工作將主要聚焦在泛在算力的納管、多級算力結(jié)構(gòu)下的調(diào)度協(xié)同、調(diào)度機(jī)制在工程項(xiàng)目中的軟件實(shí)現(xiàn)。

[1] ETSI. Multi-access edge computing (MEC)[EB]. 2022.

[2] HU P F, DHELIM S, NING H S, et al. Survey on fog computing: architecture, key technologies, applications and open issues[J]. Journal of Network and Computer Applications, 2017(98): 27-42.

[3] MARTIN A. Distributed computing: utilities, grids & clouds ITU-T technology watch report 2009[R]. 2009.

[4] ITU-T. Y.2501: computing power network-framework and architecture[S]. 2019.

[5] 王凌, 吳楚格, 范文慧. 邊緣計(jì)算資源分配與任務(wù)調(diào)度優(yōu)化綜述[J]. 系統(tǒng)仿真學(xué)報(bào), 2021, 33(3): 509-520.

WANG L, WU C G, FAN W H. A survey of edge computing resource allocation and task scheduling optimization[J]. Journal of System Simulation, 2021, 33(3): 509-520.

[6] JAMIL B, IJAZ H, SHOJAFAR M, et al. Resource allocation and task scheduling in fog computing and Internet of everything environments: a taxonomy, review, and future directions[J]. ACM Computing Surveys, 2022, 54(11s): 1-38.

[7] IBRAHIM E, EL-BAHNASAWY N A, OMARA F A. Task scheduling algorithm in cloud computing environment based on cloud pricing models[C]//Proceedings of 2016 World Symposium on Computer Applications & Research (WSCAR). Piscataway: IEEE Press, 2016: 65-71.

[8] Abdullahi C, Gour k, Joarder K. The co-evolution of cloud and IoT applications: recent and future trends[R]. 2019.

[9] BENBLIDIA M A, BRIK B, MERGHEM-BOULAHIA L, et al. Ranking fog nodes for tasks scheduling in fog-cloud environments: a fuzzy logic approach[C]//Proceedings of 2019 15th International Wireless Communications & Mobile Computing Conference (IWCMC). Piscataway: IEEE Press, 2019: 1451-1457.

[10] ABDELMONEEM R M, BENSLIMANE A, SHAABAN E. Mobility-aware task scheduling in cloud-Fog IoT-based healthcare architectures[J]. Computer Networks, 2020(179): 107348.

[11] NI L N, ZHANG J Q, JIANG C J, et al. Resource allocation strategy in fog computing based on priced timed petri nets[J]. IEEE Internet of Things Journal, 2017, 4(5): 1216-1228.

[12] ZHAO X Y, ZONG Q, TIAN B L, et al. Fast task allocation for heterogeneous unmanned aerial vehicles through reinforcement learning[J]. Aerospace Science and Technology, 2019(92): 588-594.

[13] Gartner. Gartner trends 2021: what they mean for retailers[R]. 2020.

[14] Cloud Networking. The 2020 gartner magic quadrant for data center and cloud networking[R]. 2019.

[15] 中國電信. 云網(wǎng)融合2030技術(shù)白皮書[R]. 2020.

China Telecom. Computing and network convergence technical white paper[R]. 2020

[16] RAUSCH T, RASHED A, DUSTDAR S. Optimized container scheduling for data-intensive server less edge computing[J]. Future Generation Computer Systems, 2021 (114): 259-271.

[17] XU J L, PALANISAMY B, LUDWIG H, et al. Zenith: utility-aware resource allocation for edge computing[C]//Proceedings of 2017 IEEE International Conference on Edge Computing (EDGE). Piscataway: IEEE Press, 2017: 47-54.

[18] CHEN J S, BALASUBRAMANIAN B, HUANG Z. Liv(e)-ing on the edge: user-uploaded live streams driven by “first-Mile” edge decisions[C]//Proceedings of 2019 IEEE International Conference on Edge Computing (EDGE). Piscataway: IEEE Press, 2019: 41-50.

[19] FARHADI V, MEHMETI F, HE T, et al. Service placement and request scheduling for data-intensive applications in edge clouds[J]. IEEE/ACM Transactions on Networking, 2021, 29(2): 779-792.

[20] ADDYA S K, SATPATHY A, GHOSH B C, et al. CoMCLOUD: virtual machine coalition for multi-tier applications over multi-cloud environments[J]. IEEE Transactions on Cloud Computing, 2021(99): 1.

Resource scheduling optimization in cloud-edge collaboration

WANG Shuling, SUN Jie, WANG Peng, YANG Aidong

Asia Info Technologies (China) Co., Ltd., Beijing 100193, China

With the enrichment and diversification of business types, low latency, high bandwidth, data privacy and high reliability have become common requirements. Edge computing, fog computing, distributed cloud, computing power network and other solutions have been proposed, and have triggered in-depth research and exploration in industry, academia and research. There is a consensus within and outside the industry on the view that “multi-level computing power distribution and collaboration of computing power will be the mainstream of computing power structure in the future”. The problems related to resource scheduling optimization, such as computing power management, allocation, scheduling, have also become the current research hotspot and key research direction. Therefore, for the future computing power supply structure, focuses on the latest progress of resource scheduling optimization in academia and industry, the current main methodology and engineering implementation architecture was summarized. And then, for the two typical cloud edge collaboration scenarios, the analysis was carried out from the perspective of scene splitting, scheduling objectives, and solutions in turn, and the resource scheduling optimization reference schemes that adapted to the characteristics of the scenarios were analyzed and discussed respectively.

cloud-edge collaboration, edge computing, computer and network convergence, resource scheduling optimization, computing and networking joint optimization

TP393

A

10.11959/j.issn.1000–0801.2023027

王淑玲（1988– ），女，博士，亞信科技（中國）有限公司研發(fā)中心規(guī)劃部規(guī)劃總監(jiān)，主要研究方向?yàn)榫W(wǎng)絡(luò)通信、云網(wǎng)融合。

孫杰（1983– ），男，亞信科技（中國）有限公司研發(fā)中心云網(wǎng)規(guī)劃部經(jīng)理，主要研究方向?yàn)橥ㄐ排c5G網(wǎng)絡(luò)智能化。

王鵬（1976– ），男，亞信科技（中國）有限公司研發(fā)中心高級總監(jiān)，主要研究方向?yàn)橥ㄐ艠I(yè)務(wù)支撐、大數(shù)據(jù)和人工智能。

楊愛東（1984– ），男，博士，亞信科技（中國）有限公司通信人工智能實(shí)驗(yàn)室首席數(shù)據(jù)科學(xué)家，主要研究方向?yàn)?G無線通信、大數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)及其應(yīng)用。

2022-09-07；

2023-02-08