多接入邊緣計(jì)算面向復(fù)雜應(yīng)用的流式計(jì)算及評(píng)估關(guān)鍵指標(biāo)淺析

張 奎，付 韜

(中國電子科技集團(tuán)公司第四十一研究所，山東 青島 266555)

0 引言

隨著5G基站的加速建設(shè)，多接入邊緣計(jì)算與5G相結(jié)合可以服務(wù)于延時(shí)敏感的應(yīng)用場(chǎng)景。多接入邊緣計(jì)算旨在解決海量接入、動(dòng)態(tài)熱點(diǎn)、可靠高帶寬等問題，實(shí)現(xiàn)快速卸載任務(wù)處理是其核心問題，需要處理大量通過式計(jì)算請(qǐng)求。與批量計(jì)算受限于數(shù)據(jù)庫訪問速度不同，流計(jì)算對(duì)在時(shí)間分布和數(shù)量上無限的一系列動(dòng)態(tài)數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算和處理，在數(shù)據(jù)的有效時(shí)間內(nèi)獲取預(yù)期價(jià)值。流式計(jì)算架構(gòu)可以與多接入邊緣計(jì)算服務(wù)的實(shí)時(shí)特征進(jìn)行融合，具體可以包括以下幾個(gè)方面：

A.針對(duì)吞吐量大、實(shí)時(shí)性強(qiáng)、無需長久存儲(chǔ)的數(shù)據(jù)流預(yù)處理。主要包括一些傳感器數(shù)據(jù)，在與應(yīng)用相關(guān)時(shí)需要分析出特定事件，并基于事件和上下文形成具體的服務(wù)，屬于處理但不存儲(chǔ)的模式。B.優(yōu)化計(jì)算拓?fù)涞牟渴鸾Y(jié)構(gòu)?，F(xiàn)有流式計(jì)算框架一般是針對(duì)服務(wù)器節(jié)點(diǎn)和任務(wù)之間的數(shù)據(jù)流向進(jìn)行計(jì)算拓?fù)鋬?yōu)化，但是近幾年如車聯(lián)網(wǎng)、移動(dòng)智能終端等應(yīng)用場(chǎng)景需要在邊緣實(shí)現(xiàn)低延遲的計(jì)算服務(wù)，大量感知器和手機(jī)等實(shí)時(shí)信息會(huì)擁塞邊緣基站，因此需要針對(duì)移動(dòng)邊緣計(jì)算中各類智能終端應(yīng)用流式計(jì)算處理拓?fù)?。智能終端可以在任務(wù)中作為流式計(jì)算節(jié)點(diǎn)與多個(gè)基站組成任務(wù)組，進(jìn)而針對(duì)分布式物理節(jié)點(diǎn)調(diào)控任務(wù)均衡，MEC服務(wù)器則負(fù)責(zé)計(jì)算任務(wù)的并行化、分配和分組等問題。C.流式計(jì)算采用計(jì)算節(jié)點(diǎn)和存儲(chǔ)解耦的模型。在“終端-邊緣-云”上采用更加靈活的存儲(chǔ)緩存策略，而緩存的數(shù)據(jù)內(nèi)容和位置也會(huì)影響流式計(jì)算的效率。需要針對(duì)移動(dòng)邊緣計(jì)算的應(yīng)用類型和節(jié)點(diǎn)移動(dòng)性設(shè)計(jì)專用的緩存策略。

本研究將介紹流式計(jì)算應(yīng)用于移動(dòng)邊緣計(jì)算場(chǎng)景，針對(duì)移動(dòng)智能終端、典型應(yīng)用、快速移動(dòng)條件下的計(jì)算任務(wù)提出流式計(jì)算模型和其中的關(guān)鍵評(píng)估指標(biāo)，提出一種適用于移動(dòng)邊緣計(jì)算的計(jì)算任務(wù)部署評(píng)估模型，有力支撐移動(dòng)邊緣服務(wù)建設(shè)。

1 邊緣計(jì)算中流式計(jì)算的典型案例

移動(dòng)終端早期主要是利用基站實(shí)現(xiàn)通信接入、用戶鑒權(quán)、定位等任務(wù)的計(jì)算，計(jì)算數(shù)據(jù)量較小。隨著近些年移動(dòng)端應(yīng)用種類越來越多，用到的傳感器不斷增加，需要處理大量一次性流數(shù)據(jù)。多接入邊緣計(jì)算處理的數(shù)據(jù)類型主要包括傳感數(shù)據(jù)流處理、視頻數(shù)據(jù)流處理、服務(wù)數(shù)據(jù)流處理。傳感數(shù)據(jù)流計(jì)算場(chǎng)景體現(xiàn)處理實(shí)時(shí)數(shù)據(jù)的迫切需求，視頻數(shù)據(jù)流計(jì)算場(chǎng)景體現(xiàn)算法復(fù)雜度對(duì)計(jì)算架構(gòu)的迫切需求，服務(wù)數(shù)據(jù)流計(jì)算場(chǎng)景凸顯對(duì)復(fù)雜交互的迫切需求。在終端移動(dòng)性較強(qiáng)的情況下，需要設(shè)計(jì)專用的MEC流式計(jì)算系統(tǒng)。

De Assuncao等[1]設(shè)計(jì)物聯(lián)網(wǎng)中流式計(jì)算的應(yīng)用，值得注意的是在該架構(gòu)中雖然實(shí)現(xiàn)計(jì)算拓?fù)浜蛿?shù)據(jù)存儲(chǔ)之間的弱耦合，但僅在邊緣節(jié)點(diǎn)重點(diǎn)處理實(shí)時(shí)上傳的數(shù)據(jù)流，實(shí)現(xiàn)無丟失、去重復(fù)、檢錯(cuò)的數(shù)據(jù)預(yù)處理。計(jì)算復(fù)雜度較高的流式計(jì)算功能依然在云或機(jī)群實(shí)現(xiàn)，沒有充分挖掘出邊緣的計(jì)算存儲(chǔ)能力。

Dautov等[2]設(shè)計(jì)一種工作負(fù)載均衡的邊緣流計(jì)算方法，通過Zookeeper將計(jì)算任務(wù)群發(fā)到多個(gè)流式計(jì)算邊緣設(shè)備，在處理時(shí)間敏感數(shù)據(jù)時(shí)提高吞吐量。該方案在邊緣樹莓派上部署大規(guī)模流式計(jì)算節(jié)點(diǎn)，設(shè)計(jì)專用的消息中間件，實(shí)現(xiàn)集中任務(wù)分割、任務(wù)分發(fā)、節(jié)點(diǎn)發(fā)現(xiàn)、節(jié)點(diǎn)選擇、計(jì)算編排的優(yōu)化。

Papageorgiou[3]等針對(duì)多個(gè)計(jì)算拓?fù)渲g可能存在關(guān)聯(lián)，研究存在于多個(gè)物理節(jié)點(diǎn)的相互獨(dú)立的計(jì)算拓?fù)涞膮f(xié)同，針對(duì)智能終端在本地計(jì)算和遠(yuǎn)程計(jì)算的切換控制設(shè)計(jì)計(jì)算架構(gòu)，在任務(wù)拓?fù)鋱?zhí)行過程中，會(huì)根據(jù)終端狀態(tài)和數(shù)據(jù)分布動(dòng)態(tài)調(diào)整流式計(jì)算拓?fù)洹?/p>

2 MEC中的邊緣計(jì)算

在MEC中，部署流式計(jì)算框架如圖1所示。從設(shè)備視圖來看，移動(dòng)設(shè)備可以通過安裝的客戶端或應(yīng)用內(nèi)含的模塊將計(jì)算任務(wù)上傳至基站處理。

圖1 MEC流式計(jì)算Fig.1 MEC streaming calculation

從計(jì)算任務(wù)視圖來看，移動(dòng)終端首先進(jìn)行任務(wù)調(diào)度，針對(duì)符合計(jì)算卸載需求的任務(wù)請(qǐng)求遠(yuǎn)端MEC基站處理。本研究的模型中，終端也需要開啟流式計(jì)算的兩個(gè)組件，其中數(shù)據(jù)源獲取傳感器數(shù)據(jù)并傳給本地處理單元，處理單元實(shí)現(xiàn)數(shù)據(jù)脫敏和服務(wù)定級(jí)等操作，隨后通過無線通信發(fā)送給MEC服務(wù)器，MEC服務(wù)器運(yùn)行流式計(jì)算框架。

多個(gè)計(jì)算節(jié)點(diǎn)將不停處理移動(dòng)端上傳的數(shù)據(jù)，由于數(shù)據(jù)的讀寫都在內(nèi)存中完成，主要延遲取決于拓?fù)鋸?fù)雜度。在MEC中，主要涉及到是否存在多個(gè)基站的協(xié)同處理，處理延遲是整個(gè)拓?fù)渲凶铋L的處理鏈時(shí)間，在獲得結(jié)果后，將不含敏感信息的數(shù)據(jù)反饋給移動(dòng)端，移動(dòng)端將進(jìn)行最后的處理，這里一般需要考慮移動(dòng)性管理。

3 測(cè)試評(píng)估關(guān)鍵指標(biāo)

本研究在進(jìn)行MEC下的流式計(jì)算測(cè)試評(píng)估時(shí)采用黑盒測(cè)試方法，仿真時(shí)需要設(shè)計(jì)多種流類別，各種仿真測(cè)試流的區(qū)別在于突出被測(cè)關(guān)鍵指標(biāo)。結(jié)合國內(nèi)外相關(guān)研究，目前MEC場(chǎng)景下流式計(jì)算平臺(tái)的關(guān)鍵評(píng)估指標(biāo)如下：

A.系統(tǒng)延遲。該延遲代表處理計(jì)算遷移任務(wù)的時(shí)間，數(shù)據(jù)流處理時(shí)間由事件、消息隊(duì)列、注入時(shí)間、處理時(shí)間構(gòu)成[4]。B.通信開銷。指完成計(jì)算任務(wù)過程中所有處理單元向下一級(jí)處理單元發(fā)送數(shù)據(jù)量的總和。通信開銷占用邊緣云的通信帶寬，減少通信開銷有利于提高M(jìn)EC效率。C.資源利用率。運(yùn)行計(jì)算任務(wù)時(shí)CPU利用率、內(nèi)存利用率、網(wǎng)絡(luò)帶寬利用率。D.能耗開銷。邊緣云可以開啟或關(guān)閉部分硬件資源，所以能耗是可以調(diào)節(jié)的開銷。E.流式計(jì)算拓?fù)洹Ｔ撝笜?biāo)是數(shù)據(jù)處理單元之間的連接關(guān)系，復(fù)雜程度和合理性會(huì)影響處理速度?？赏ㄟ^通信負(fù)載優(yōu)化、實(shí)例重分配、線程部署優(yōu)化、任務(wù)負(fù)載均衡等手段調(diào)整計(jì)算拓?fù)洹?/p>

4 結(jié)論

在多接入邊緣計(jì)算領(lǐng)域中，系統(tǒng)延遲和流式計(jì)算拓?fù)湟廊皇亲铌P(guān)鍵的評(píng)價(jià)指標(biāo)?；贛EC基站的服務(wù)特征，采用流式計(jì)算更符合移動(dòng)用戶的服務(wù)需求。