多接入邊緣計算平臺測試評估指標(biāo)體系的設(shè)計

付韜 孟慶宇

（中國電子科技集團公司第四十一研究所 山東省青島市 266555）

1 概述

多接入邊緣計算（Multi-Access Edge Computing，以下簡稱MEC）是一種在接入網(wǎng)邊緣側(cè)靠近用戶、通過至少一種接入網(wǎng)絡(luò)類型提供信息服務(wù)環(huán)境和云計算能力的系統(tǒng)[1]，是運營商提供邊緣云服務(wù)的重要手段。ETSI 最早提出移動邊緣計算的概念，后考慮到兼容多種接入網(wǎng)絡(luò)改名多接入邊緣計算，其核心思想是在移動端用戶和云數(shù)據(jù)中心之間提供更加實時、更高帶寬、靈活擴展的資源支撐。

鑒于該模式在交通、工業(yè)、智慧城市、智能家居等場景下的性能優(yōu)勢，MEC 在產(chǎn)業(yè)界的發(fā)展勢頭良好。圍繞MEC 產(chǎn)品研發(fā)、標(biāo)準(zhǔn)制訂、產(chǎn)業(yè)推廣的工作都在順利進行，MEC 內(nèi)部網(wǎng)絡(luò)一般采用SDN 技術(shù)進行集中式管控，從而實現(xiàn)計算、存儲、網(wǎng)絡(luò)資源的跨基站協(xié)調(diào)，克服移動端在動態(tài)運動過程中的各類需求。目前針對MEC 的研究工作主要集中于計算遷移（卸載）、基站資源分配、移動性管理、隱私保護、系統(tǒng)能耗等方面，僅針對部分資源及其指標(biāo)進行討論，很少從測試評估的角度給出整個MEC 服務(wù)評估指標(biāo)體系和測試方法，給系統(tǒng)評估和選型帶來困難。本文的工作集中于以下幾個方面：

（1）被測系統(tǒng)架構(gòu)特征是建立測試評估框架的基礎(chǔ)，目前MEC 框架之下存在多種技術(shù)的融合，與5G、WIFI6、SDN、流式計算等技術(shù)均存在交集，需要結(jié)合各種技術(shù)在MEC 基站的應(yīng)用模式設(shè)計相應(yīng)的測試方法。本文提出一種以MEC 服務(wù)、SDN 網(wǎng)絡(luò)、流式計算為核心的MEC 架構(gòu)，圍繞該架構(gòu)設(shè)計通用效能評估指標(biāo)，由于各廠商實現(xiàn)方式可能存在差別，替換部分模塊不影響測評結(jié)果。

（2）測試輸入特征是用于檢測被測MEC 平臺處理不同服務(wù)請求能力的仿真業(yè)務(wù)，需要從請求服務(wù)類型、請求服務(wù)內(nèi)容、測試數(shù)據(jù)、SLA 協(xié)商等方面構(gòu)造具有代表性的一系列請求，從而觸發(fā)被測MEC 平臺的各種事件，進而影響資源重分配和業(yè)務(wù)功能的執(zhí)行。

（3）關(guān)鍵指標(biāo)集合是針對MEC 各模塊功能和性能給出具有重要影響的指標(biāo)，根據(jù)對國內(nèi)外工作的整理，目前包含MEC 模式、云邊協(xié)同指標(biāo)、計算指標(biāo)、存儲指標(biāo)、SDN 網(wǎng)絡(luò)指標(biāo)、安全指標(biāo)、能耗指標(biāo)。

（4）監(jiān)測分析手段是針對關(guān)鍵指標(biāo)的監(jiān)測和獲取方法，采用網(wǎng)絡(luò)數(shù)據(jù)流統(tǒng)計監(jiān)測和軟件探針相結(jié)合的方法，測量網(wǎng)絡(luò)時延、流有效帶寬、協(xié)同開銷等。采用Sketch 統(tǒng)計方法針對不同的數(shù)據(jù)流進行統(tǒng)計，獲得MEC 平臺內(nèi)部各模塊、基站間的通信測量數(shù)據(jù)，進而結(jié)合計算存儲開銷進行分析。

2 基于MEC架構(gòu)的測評方法分析

MEC 架構(gòu)的創(chuàng)新必然催生原生技術(shù)的出現(xiàn)和應(yīng)用，進而需要針對特殊的技術(shù)實現(xiàn)進行效能測評。圖1 給出了MEC 架構(gòu)視圖、技術(shù)視圖和測評視圖在各層次上的對應(yīng)關(guān)系。MEC 與5G、車聯(lián)網(wǎng)、算力網(wǎng)絡(luò)、虛擬現(xiàn)實等新技術(shù)息息相關(guān)，它重點實現(xiàn)用戶移動終端泛在化后的計算服務(wù)動態(tài)開放。實時根據(jù)用戶應(yīng)用任務(wù)需求的服務(wù)參數(shù)調(diào)配各基站參與的網(wǎng)絡(luò)帶寬、計算單元、存儲空間資源，在需要授權(quán)、管理、云端資源與服務(wù)等方面則需要與云平臺協(xié)同。因此在架構(gòu)視圖中，MEC 平臺位于運營商云平臺和用戶移動設(shè)備之間，平臺由臨近的一組基站組成服務(wù)集群，用戶具有隨機接入、移動性強，相互競爭資源的特點，需要針對不同用戶提供差異化資源分配。在協(xié)商服務(wù)參數(shù)后，需要分配足夠的無線通信帶寬，讀取邊緣存儲數(shù)據(jù)或針對一次性通過請求進行流式計算處理。在應(yīng)用管理方面，平臺則根據(jù)預(yù)存的若干種服務(wù)模型進行基于流的調(diào)度，鑒于目前國內(nèi)安卓體系下存在大量各類應(yīng)用，無法針對每一種進行服務(wù)模型設(shè)計，因此需要將應(yīng)用使用到的資源進行分類抽象，再根據(jù)請求信息進行按需分配。MEC 的原則是在邊緣側(cè)解決用戶的需求，但涉及到全局信息或者基站滿載時，需要與運營商云數(shù)據(jù)中心協(xié)同處理各類服務(wù)。

圖1：MEC 架構(gòu)、技術(shù)與測評關(guān)聯(lián)

在MEC 系統(tǒng)架構(gòu)基礎(chǔ)上，將針對MEC 基站模塊的具體技術(shù)設(shè)計測評內(nèi)容分類。按照終端獲取邊緣服務(wù)的流程，首先是在移動端本地進行遷移（卸載）決策，這個過程中需要評估本地處理的時延、存儲開銷，可以用若干典型測試?yán)跍y試系統(tǒng)（儀器）本地進行測量，獲得測試?yán)\行的實驗數(shù)值。在MEC 基站端，則需要針對基站天線資源劃分、軟件定義網(wǎng)絡(luò)控制進行相關(guān)測試，這部分采用終端和基站的節(jié)點間通信性能指標(biāo)進行測量。流式計算、邊緣存儲等模塊性能變化可以通過平臺插件采集，云服務(wù)協(xié)商部分則主要測試服務(wù)時延，運營商云數(shù)據(jù)中心的其他指標(biāo)超出MEC 測評的范圍。

MEC 平臺評估過程是采用測試儀構(gòu)建測試?yán)?，測試?yán)悄軌驕y試MEC 平臺的典型業(yè)務(wù)請求序列。評價某個特定平臺時，針對多組測試?yán)郎y評。評價某個模塊的功能或算法時，可以在多個測試?yán)A(chǔ)上根據(jù)每個被測功能或算法測試一組結(jié)果，再比較不同負(fù)載下的分值分布。

請求MEC 平臺服務(wù)的終端集合存在頻繁handover 終端集合和穩(wěn)定終端集合2 種情況。

（1）頻繁handover 移動終端的MEC 場景具有接入設(shè)備隨機性和移動性的特征，大量具有移動性的終端用戶獲取MEC 服務(wù)的模型符合非完全信息動態(tài)博弈的特征。存在動態(tài)變化的競爭者集合，在現(xiàn)有工作中的算法很難在用戶集合不變的短暫時期尋找納什均衡解，因此采用拍賣算法在有限時間內(nèi)競爭出最優(yōu)調(diào)度結(jié)果。采用預(yù)留資源的策略會導(dǎo)致大量資源浪費。

（2）穩(wěn)定移動終端的MEC 場景如工廠場景、智能家居等具有設(shè)備工作在固定區(qū)域的特征，終端集合在升級或維護之外的時間基本穩(wěn)定，獲取MEC 服務(wù)的模型符合非完全信息靜態(tài)博弈的特征。在資源充足的情況下MEC 平臺的資源分配能夠達到納什均衡。

3 MEC業(yè)務(wù)請求類型及其仿真

MEC 業(yè)務(wù)請求是將部分任務(wù)提交給MEC 平臺，從而借用各種資源和獲取數(shù)據(jù)。可以從任務(wù)遷移（卸載）模式、業(yè)務(wù)請求類型、負(fù)載模型來進行分別分析，再將任意MEC 業(yè)務(wù)請求構(gòu)建成一個由上述維度元素集合表述的實例。

3.1 遷移模式

Pavel Mach 等[2]將遷移（卸載）模式分為本地處理、完整遷移和部分遷移，該分類方法只考慮MEC 基站處理的情況。在考慮運營商云數(shù)據(jù)中心和臨近基站參與處理部分請求后，MEC 遷移（卸載）模式存在本地處理、單基站完整遷移、單基站部分遷移、多基站完整遷移、多基站部分遷移、云邊協(xié)同部分遷移、云邊協(xié)同完整遷移的情況。本文認(rèn)為只有在本地資源不足的情況下才會遷移任務(wù)，所以至少會使用部分終端資源，不考慮任務(wù)完整提交云數(shù)據(jù)中心的情況，各模式下服務(wù)提供者如表1所示。

表1：遷移模式與參與設(shè)備關(guān)系表

3.2 業(yè)務(wù)請求類型

本文將MEC 平臺接受的業(yè)務(wù)請求類型分為三類：實第一類是與終端當(dāng)前行為直接相關(guān)、處理截止時間有明確邊界的即時請求，需要在本地基站上實現(xiàn)，由于響應(yīng)超時會錯過關(guān)鍵用戶交互行為，需要重點保障相關(guān)資源；第二類是與終端保持訂閱模式、對處理截止時間相對寬容的異步請求，只要最終在本地處理完畢的結(jié)果能夠在失效前抵達終端即可；與前兩種能夠在本地基站處理的請求不同，第三種是需要MEC平臺和運營商云數(shù)據(jù)中心共同分工處理的任務(wù)，在任務(wù)執(zhí)行DAG圖中最長鏈的執(zhí)行時間就是整個任務(wù)的處理時延。

3.3 負(fù)載模型

一個針對MEC 平臺的測試?yán)饕ㄟ^請求業(yè)務(wù)和排序分布描述，采用測試儀提交多個MEC 請求，按照特定的順序和分布發(fā)向被測MEC 平臺。假設(shè)代表一個移動中斷請求，則至少由以下幾個參數(shù)構(gòu)成MEC 業(yè)務(wù)請求參數(shù)如表2。

表2：MEC 業(yè)務(wù)請求參數(shù)

4 MEC平臺關(guān)鍵指標(biāo)體系設(shè)計

4.1 關(guān)鍵指標(biāo)分類

本文采用層次分析法理論來量化MEC 關(guān)鍵指標(biāo)的相對權(quán)重，該方法采用樹形結(jié)構(gòu)確立關(guān)鍵指標(biāo)模型，按照MEC 架構(gòu)的模塊分析各指標(biāo)的計算方法。構(gòu)建關(guān)鍵指標(biāo)體系首先對基站要求進行分類，再給出各類中具體指標(biāo)的構(gòu)成，需要根據(jù)指標(biāo)精簡化、全局替代局部、關(guān)聯(lián)性強優(yōu)先的原則篩選出關(guān)鍵指標(biāo)，評估更細(xì)粒度的對象時在該體系基礎(chǔ)上將指標(biāo)向下細(xì)分。

MEC 測試評估指標(biāo)體系具體的指標(biāo)體系如圖2所示，本文只針對MEC 平臺整體性能測評，如涉及具體模塊或算法評估可以將指標(biāo)針對各模塊進行拆分。下面給出各類指標(biāo)的含義：

圖2：MEC 測試評估指標(biāo)圖

（1）功能正確性指標(biāo)：MEC 平臺具備的核心功能，測試是否存在相應(yīng)能力，給出布爾型分值。

（2）關(guān)鍵性能指標(biāo)：針對各部分可量化的性能指標(biāo)進行測量，通過實測值和平臺相應(yīng)指標(biāo)最大值求比值進行歸一化處理，再根據(jù)正向指標(biāo)和負(fù)向指標(biāo)的特點進行調(diào)整。

（3）協(xié)議正確性指標(biāo)：每一個協(xié)議參照協(xié)議設(shè)計文檔劃分多個協(xié)議要求，在百分制下按所有要求等分進行設(shè)置。采用測試腳本驗證協(xié)議各要求是否正確實現(xiàn)并累加分值，協(xié)議分值與100 分比值作為該協(xié)議的分值。

（4）安全性指標(biāo)：將MEC 平臺具備的所有安全措施等分進行設(shè)置，通過網(wǎng)絡(luò)滲透攻擊驗證。

（5）可靠性指標(biāo)：構(gòu)造基站或鏈路故障、關(guān)閉軟件模塊等驗證MEC 平臺是否存在故障恢復(fù)能力。

各指標(biāo)在評估過程中的權(quán)重如表3所示，未來會隨著產(chǎn)業(yè)和產(chǎn)品不斷成熟，調(diào)整參數(shù)和權(quán)重。

表3：：MEC 測評指標(biāo)權(quán)重表

4.2 指標(biāo)分析

功能可以采用軟件測試方法設(shè)計具體的測試?yán)M行驗證。在性能指標(biāo)方面，國內(nèi)外研究在綜述、計算遷移、資源調(diào)度等工作中給出相關(guān)計算公式，下面結(jié)合架構(gòu)視圖給出涵蓋端邊云的指標(biāo)分析。

（1）時延是從提交MEC 業(yè)務(wù)請求到終端收到服務(wù)結(jié)果的時間，在本文的架構(gòu)中包含數(shù)據(jù)上傳時延、MEC 基站處理時延、基站間遷移時延、云協(xié)同時延、回傳時延等，在不考慮基站間遷移的情況下時延模型可以參考吳學(xué)文[2]等的時延公式。在考慮遷移的情況加需要額外加上遷移延遲；

（2）功耗各基站在計算任務(wù)時產(chǎn)生，一般與CPU 利用率正相關(guān)；

（3）時延抖動遵循RFC1889 中的定義是首先計算相鄰任務(wù)時延的差值，再用加權(quán)累加方法獲得整個系統(tǒng)的時延抖動；

（4）帶寬占用是終端、MEC 系統(tǒng)、云數(shù)據(jù)中心之間實時流量按照端到端歸一化后的結(jié)果的均值；

（5）CPU 占用率是實際占用所有基站CPU 處理能力的平均值；

（6）存儲是實際占用存儲空間在所有基站存儲空間占比的平均值；

（7）基站間遷移次數(shù)是在一個測試?yán)滤袠I(yè)務(wù)請求發(fā)生基站間遷移的平均次數(shù)。

5 指標(biāo)測試測量方法

（1）基于Sketch 的網(wǎng)絡(luò)流統(tǒng)計。Sketch 是一種存儲節(jié)約型統(tǒng)計數(shù)據(jù)結(jié)構(gòu)，MEC 網(wǎng)關(guān)需要處理來自于大量移動設(shè)備的請求，需要統(tǒng)計和分析大量一次通過性數(shù)據(jù)，再加上邊緣基站資源受限，將Sketch 應(yīng)用于業(yè)務(wù)統(tǒng)計具有眾多優(yōu)點，需要統(tǒng)計不同的終端流量、服務(wù)流量、地址流量、特定操作流量。可采用UnivMon[4]中的并聯(lián)Sketch 架構(gòu)，每個Sketch 針對不同類型的5 元組數(shù)據(jù)進行統(tǒng)計，根據(jù)Sketch 基數(shù)統(tǒng)計、熱點分析、性能測量的結(jié)果計算網(wǎng)絡(luò)指標(biāo)。

（2）資源占用情況監(jiān)測。采用向MEC 基站安裝資源監(jiān)控插件的方式獲取CPU、存儲等資源的實時測量值。

（3）基于滲透測試?yán)陌踩炞C。采用Metasploit 等工具驗證安全性指標(biāo)。

（4）基于時間戳的任務(wù)處理時間測量。測量時間相關(guān)的指標(biāo)時，采用測試儀硬件發(fā)送帶有時間戳的測試數(shù)據(jù)，待MEC 平臺反饋結(jié)果后比較時間戳。

6 總結(jié)

本文針對MEC 平臺提出關(guān)鍵指標(biāo)體系和評估方法，由于被測對象有限，未來還需要針對成熟產(chǎn)品進行大量測評，依據(jù)測評結(jié)果調(diào)整指標(biāo)體系和指標(biāo)權(quán)重。