基于數(shù)據(jù)驅(qū)動(dòng)的云邊智能協(xié)同綜述

田鵬新，司冠南*，安兆亮，李建辛，周風(fēng)余

基于數(shù)據(jù)驅(qū)動(dòng)的云邊智能協(xié)同綜述

田鵬新1，司冠南1*，安兆亮1，李建辛1，周風(fēng)余2

（1.山東交通學(xué)院 信息科學(xué)與電氣工程學(xué)院，濟(jì)南 250357； 2.山東大學(xué) 控制科學(xué)與工程學(xué)院，濟(jì)南 250061）（ ? 通信作者電子郵箱siguannan@163.com）

隨著物聯(lián)網(wǎng)（IoT）的快速發(fā)展，大量在傳感器等邊緣場(chǎng)景產(chǎn)生的數(shù)據(jù)需要傳輸至云節(jié)點(diǎn)處理，這帶來(lái)了極大的傳輸成本和處理時(shí)延，而云邊協(xié)同為這些問(wèn)題提供了有效的解決方案。首先，在全面調(diào)查和分析云邊協(xié)同發(fā)展過(guò)程的基礎(chǔ)上，結(jié)合當(dāng)前云邊智能協(xié)同中的研究思路與進(jìn)展，重點(diǎn)分析和討論了云邊架構(gòu)中的數(shù)據(jù)采集與分析、計(jì)算遷移技術(shù)以及基于模型的智能優(yōu)化技術(shù)；其次，分別從邊緣端和云端深入分析了各種技術(shù)在云邊智能協(xié)同中的作用及應(yīng)用，并探討了云邊智能協(xié)同技術(shù)在現(xiàn)實(shí)中的應(yīng)用場(chǎng)景；最后，指出了云邊智能協(xié)同目前存在的挑戰(zhàn)及未來(lái)的發(fā)展方向。

云邊協(xié)同；人工智能；計(jì)算遷移；模型訓(xùn)練與推理；數(shù)據(jù)驅(qū)動(dòng)

0 引言

近年來(lái)，隨著5G技術(shù)的發(fā)展和物聯(lián)網(wǎng)（Internet of Things， IoT）的普及，各種終端產(chǎn)生了大量數(shù)據(jù)。物聯(lián)網(wǎng)應(yīng)用需要極快的響應(yīng)速度，如果云端處理終端生成海量數(shù)據(jù)，不僅會(huì)提高網(wǎng)絡(luò)負(fù)載，還會(huì)出現(xiàn)極高的數(shù)據(jù)處理時(shí)延。面對(duì)以上問(wèn)題，相較于云計(jì)算，邊緣計(jì)算不僅通信時(shí)延低，還避免了帶寬瓶頸；然而邊緣服務(wù)器的計(jì)算資源有限，安全性較低。為了充分發(fā)揮邊緣計(jì)算與云計(jì)算之間的優(yōu)勢(shì)，使它們實(shí)現(xiàn)互補(bǔ)協(xié)同工作，云邊協(xié)同［1］成了新的研究熱點(diǎn)。云邊協(xié)同分割復(fù)雜的任務(wù)，并結(jié)合云計(jì)算與邊緣計(jì)算的優(yōu)點(diǎn)完成用戶的服務(wù)請(qǐng)求。

同時(shí)，人工智能（Artificial Intelligence，AI）［2］的快速發(fā)展也在一定程度上改變了日常生活方式。當(dāng)前AI算法大多依賴于云計(jì)算中心等計(jì)算資源密集的平臺(tái)實(shí)現(xiàn)，并且需要大量的計(jì)算，但是云計(jì)算中心等計(jì)算資源密集平臺(tái)與終端用戶之間存在較遠(yuǎn)的物理距離，而且邊緣端的海量數(shù)據(jù)也極大地限制了AI算法的優(yōu)勢(shì)。為此，研究人員開(kāi)始將AI與云邊協(xié)同結(jié)合，從而推動(dòng)了云邊協(xié)同與AI融合應(yīng)用的發(fā)展。

云邊協(xié)同與AI的結(jié)合是多方面的。Zhou等［3］全面闡述了云邊智能協(xié)同中的AI模型的訓(xùn)練與推理以及端邊云協(xié)同的技術(shù)應(yīng)用；Qing［4］介紹了云邊緣協(xié)同平臺(tái)，并在其中融合了大數(shù)據(jù)與AI，設(shè)計(jì)了云邊協(xié)同的平臺(tái)即服務(wù)（Platform as a Service， PaaS）電力系統(tǒng)云協(xié)同管控平臺(tái)；Zhang等［5］在云邊協(xié)同的基礎(chǔ)上提出了一種設(shè)備管理服務(wù)系統(tǒng)，提高了工業(yè)系統(tǒng)的響應(yīng)速度，有效解決了因數(shù)據(jù)上傳至云端帶來(lái)的高網(wǎng)絡(luò)負(fù)載問(wèn)題，實(shí)現(xiàn)了工業(yè)設(shè)備的精細(xì)化管理和工業(yè)數(shù)據(jù)的云端深度挖掘，使云平臺(tái)和邊緣平臺(tái)發(fā)揮各自的優(yōu)勢(shì)，持續(xù)推動(dòng)工業(yè)物聯(lián)網(wǎng)向智能化發(fā)展。然而，云邊智能協(xié)同領(lǐng)域的研究涉及廣泛，至今還有很多問(wèn)題有待解決。因此，本文對(duì)云邊智能協(xié)同進(jìn)行分類闡述，首先從數(shù)據(jù)流動(dòng)的角度出發(fā)，介紹云邊架構(gòu)中的數(shù)據(jù)采集與分析方法，并分析利用計(jì)算遷移技術(shù)為AI提供釋放潛力的平臺(tái)；其次，總結(jié)了云邊智能協(xié)同中的模型優(yōu)化技術(shù)；最后，分析了云邊智能協(xié)同在當(dāng)前的應(yīng)用場(chǎng)景。

1 云邊智能協(xié)同總體架構(gòu)

在云邊協(xié)同出現(xiàn)前，人們主要依靠移動(dòng)終端自身的能力解決計(jì)算問(wèn)題。如內(nèi)容分發(fā)網(wǎng)絡(luò)（Content Delivery Network， CDN）［6］在靠近終端的位置設(shè)計(jì)了能夠存儲(chǔ)靜態(tài)內(nèi)容的網(wǎng)絡(luò)節(jié)點(diǎn)，這是邊緣計(jì)算的起源，也是邊緣計(jì)算的功能緩存（function cache）的雛形。Satyanarayanan等［7］提出了由物聯(lián)網(wǎng)設(shè)備與云計(jì)算相結(jié)合的Cloudlet，Cloudlet可以作為位于網(wǎng)絡(luò)邊緣的小型數(shù)據(jù)中心，為移動(dòng)設(shè)備提供豐富的計(jì)算資源。隨后，由LaMothes［8］首次提出了“edge computing”。Hu等［9］發(fā)表了關(guān)于移動(dòng)邊緣計(jì)算（Mobile Edge Computing， MEC）的白皮書。同時(shí)，邊緣數(shù)據(jù)爆發(fā)式增長(zhǎng)，邊緣計(jì)算迅速發(fā)展，計(jì)算開(kāi)始由云端下沉至邊緣端，并逐漸向分布式計(jì)算架構(gòu)發(fā)展，云邊協(xié)同的概念開(kāi)始普及。

如圖1所示，為了全面闡述云邊智能協(xié)同，本文從數(shù)據(jù)層次的角度闡述AI與云邊協(xié)同的結(jié)合。首先從底層的數(shù)據(jù)采集與處理分析其中的智能技術(shù)；其次擴(kuò)展到邊緣端與云端，分析計(jì)算任務(wù)的遷移技術(shù)，使邊緣也能高效應(yīng)用AI技術(shù)；最后分析基于云邊協(xié)同架構(gòu)的智能優(yōu)化技術(shù)，其中：邊緣節(jié)點(diǎn)注重于算法的實(shí)現(xiàn)，云節(jié)點(diǎn)則側(cè)重于對(duì)整體的調(diào)度與管理。與已有文獻(xiàn)相比，本文更詳細(xì)地描述了數(shù)據(jù)層次中的基于云邊協(xié)同的AI應(yīng)用，全面闡述了云邊智能協(xié)同的完整架構(gòu)；此外，本文在分析AI為云邊協(xié)同所提供優(yōu)化技術(shù)的同時(shí)，還分析了云邊協(xié)同架構(gòu)如何為AI應(yīng)用提供優(yōu)化技術(shù)。通過(guò)AI與云邊協(xié)同架構(gòu)的相輔相成為用戶提供高質(zhì)量的服務(wù)體驗(yàn)。

圖1　云邊智能協(xié)同總體架構(gòu)

2 基于云邊協(xié)同的數(shù)據(jù)采集與處理技術(shù)

當(dāng)前數(shù)據(jù)在生產(chǎn)和處理場(chǎng)景存在資源負(fù)載不均衡的問(wèn)題，大量數(shù)據(jù)在生產(chǎn)線等邊緣場(chǎng)景產(chǎn)生，而數(shù)據(jù)處理通常在云節(jié)點(diǎn)完成，數(shù)據(jù)傳輸過(guò)程時(shí)延較大，難以滿足實(shí)時(shí)感知變化并進(jìn)行決策分析的要求，同時(shí)邊緣側(cè)數(shù)據(jù)易形成孤島，無(wú)法全面利用數(shù)據(jù)價(jià)值。對(duì)于以上問(wèn)題，云邊協(xié)同可以讓數(shù)據(jù)在云、邊、端之間高效、實(shí)時(shí)地互聯(lián)互通。

如圖2所示，終端設(shè)備所產(chǎn)生的數(shù)據(jù)由邊緣節(jié)點(diǎn)進(jìn)行統(tǒng)一采集，從而得到M-data，即終端所采集到的視頻、音頻等信息，其次邊緣節(jié)點(diǎn)對(duì)采集到的數(shù)據(jù)進(jìn)行清洗和處理，進(jìn)而產(chǎn)生C-data，之后將處理后的數(shù)據(jù)傳輸至云節(jié)點(diǎn)中，通過(guò)云節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的分析和存儲(chǔ)，而K-data則表示對(duì)C-data數(shù)據(jù)融合后得到的知識(shí)數(shù)據(jù)。

2.1　數(shù)據(jù)的采集與處理

數(shù)據(jù)采集的目的是解決數(shù)據(jù)孤島問(wèn)題，如果沒(méi)有被采集，各種來(lái)源的數(shù)據(jù)只能是獨(dú)立、毫無(wú)意義的數(shù)據(jù)。另外，終端采集的數(shù)據(jù)由采集節(jié)點(diǎn)封裝，其次傳輸至邊緣節(jié)點(diǎn)處理和分析。當(dāng)前采集節(jié)點(diǎn)的數(shù)量快速增長(zhǎng)，大規(guī)模的數(shù)據(jù)傳輸為數(shù)據(jù)的有效處理帶來(lái)了較高的成本。

孔令娜等［10］通過(guò)云邊協(xié)同架構(gòu)提出了一種面向工業(yè)互聯(lián)網(wǎng)的數(shù)據(jù)感知采集與融合處理系統(tǒng)，能夠智能化地實(shí)現(xiàn)數(shù)據(jù)采集與處理等任務(wù)的協(xié)同工作。底層的數(shù)據(jù)采集主要通過(guò)無(wú)線傳感器實(shí)現(xiàn)，將數(shù)據(jù)傳輸至一個(gè)匯聚節(jié)點(diǎn)，統(tǒng)一采集傳感器的數(shù)據(jù)［11］。然而，數(shù)據(jù)在傳感器間的傳輸會(huì)造成較多的能量消耗。為了節(jié)能，Jiao等［12］采用多跳收集方法縮短每個(gè)傳感器節(jié)點(diǎn)的傳輸距離，但是需要使用多跳轉(zhuǎn)發(fā)的方式采集每個(gè)傳感器節(jié)點(diǎn)到匯聚節(jié)點(diǎn)的數(shù)據(jù)；這種方式雖然降低了傳感器節(jié)點(diǎn)中的傳輸能耗，但會(huì)導(dǎo)致傳感器網(wǎng)絡(luò)中各節(jié)點(diǎn)的能耗不平衡。為此，一些研究人員通過(guò)動(dòng)態(tài)選取聚類節(jié)點(diǎn)解決個(gè)別節(jié)點(diǎn)因能耗過(guò)大而導(dǎo)致的停機(jī)問(wèn)題［13-14］，在一定程度上解決了匯聚節(jié)點(diǎn)因能耗過(guò)大而能量不足的問(wèn)題。此外，Wajgi等［15］使用聚類技術(shù)平衡網(wǎng)絡(luò)負(fù)載以降低能耗。負(fù)載使用集群的備份節(jié)點(diǎn)平衡，當(dāng)集群的能量水平達(dá)到閾值時(shí)，頭部被備用節(jié)點(diǎn)取代；這種方法不僅增加了網(wǎng)絡(luò)壽命，而且增加了數(shù)據(jù)吞吐量。Gattani等［16］使用基于分?jǐn)?shù)的負(fù)載平衡算法收集數(shù)據(jù)，當(dāng)數(shù)據(jù)從傳感器節(jié)點(diǎn)到達(dá)簇頭時(shí)，節(jié)點(diǎn)的負(fù)載被分配到兩個(gè)最佳節(jié)點(diǎn)之間，簇頭采集數(shù)據(jù)后，將壓縮感知技術(shù)應(yīng)用于簇頭，壓縮數(shù)據(jù)轉(zhuǎn)發(fā)到匯聚節(jié)點(diǎn)，從而減少通信次數(shù)并增加網(wǎng)絡(luò)壽命。

數(shù)據(jù)處理大多在邊緣節(jié)點(diǎn)中進(jìn)行，當(dāng)前一些研究人員充分結(jié)合云計(jì)算與邊緣計(jì)算的優(yōu)勢(shì)，利用邊緣計(jì)算處理對(duì)時(shí)延要求較高的數(shù)據(jù)，并將一些較復(fù)雜的數(shù)據(jù)傳輸至云端處理［17］，在這個(gè)過(guò)程中，高效的數(shù)據(jù)處理方案必不可少。為了在邊緣節(jié)點(diǎn)中處理對(duì)時(shí)延敏感的數(shù)據(jù)，F(xiàn)an等［18］匯總邊緣層采集的原始數(shù)據(jù)，利用隨機(jī)森林算法對(duì)需要實(shí)時(shí)處理的數(shù)據(jù)分類處理，并將處理結(jié)果反饋給設(shè)備；同時(shí)，邊緣層將需要處理的數(shù)據(jù)上傳到云端；在云端利用長(zhǎng)期短期記憶全卷積網(wǎng)絡(luò)（Long Short-Term Memory Fully Convolutional Network， LSTM-FCN）數(shù)據(jù)分類模型對(duì)這些數(shù)據(jù)分類存儲(chǔ)。該方法相較于傳統(tǒng)的云中心數(shù)據(jù)處理在一定程度上解決了數(shù)據(jù)傳輸帶來(lái)的時(shí)延問(wèn)題；但是當(dāng)解決一些回歸問(wèn)題時(shí)，可能導(dǎo)致在對(duì)某些特定噪聲的數(shù)據(jù)建模時(shí)出現(xiàn)過(guò)度擬合。另外，Luo等［19］提出一種主動(dòng)配電網(wǎng)邊緣計(jì)算與云計(jì)算協(xié)同的模型，首先對(duì)邊緣節(jié)點(diǎn)采集的用戶用電量數(shù)據(jù)進(jìn)行優(yōu)化和歸一化處理；其次將處理后的數(shù)據(jù)作為極限學(xué)習(xí)機(jī)（Extreme Learning Machine， ELM）網(wǎng)絡(luò)的輸入，實(shí)現(xiàn)對(duì)用戶用電數(shù)據(jù)的實(shí)時(shí)分析。該方案能夠在處理分析數(shù)據(jù)方面保證實(shí)時(shí)性和處理效率，但需要頻繁且大規(guī)模的數(shù)據(jù)上傳，帶來(lái)了大量的通信成本。

圖2　數(shù)據(jù)采集與處理架構(gòu)

云計(jì)算與邊緣計(jì)算協(xié)同處理終端數(shù)據(jù)不僅解決了云節(jié)點(diǎn)處理大規(guī)模數(shù)據(jù)帶來(lái)的網(wǎng)絡(luò)帶寬問(wèn)題，還解決了將全部數(shù)據(jù)上傳到云中帶來(lái)的高通信延遲問(wèn)題。隨著技術(shù)的不斷成熟，邊緣計(jì)算最大的難點(diǎn)是動(dòng)態(tài)部署計(jì)算和存儲(chǔ)能力，以及如何高效地?zé)o縫連接云和邊緣設(shè)備。

2.2　數(shù)據(jù)的傳輸與分析

當(dāng)前數(shù)據(jù)雖然主要在邊緣處理，但是當(dāng)數(shù)據(jù)在邊緣節(jié)點(diǎn)中完成采集與處理之后，通常還需要將處理后的數(shù)據(jù)傳輸至云節(jié)點(diǎn)，由云節(jié)點(diǎn)進(jìn)一步分析與存儲(chǔ)。這樣既能為模型訓(xùn)練提供充分的數(shù)據(jù)集，又能為數(shù)據(jù)提供大量的云存儲(chǔ)。

由于大規(guī)模的數(shù)據(jù)上傳到云端需要消耗大量的通信資源，一些研究者采用重復(fù)數(shù)據(jù)刪除的方案，最大限度地減少?gòu)倪吘壈l(fā)送到中央云的數(shù)據(jù)［20-21］；這種方法能夠減少邊緣節(jié)點(diǎn)部分?jǐn)?shù)據(jù)的上傳量，然而對(duì)于邊緣節(jié)點(diǎn)處理后的數(shù)據(jù)效果較差。對(duì)此，Nguyen等［22］采用聚類與壓縮感知的組合，將數(shù)據(jù)應(yīng)用于壓縮感知，其次轉(zhuǎn)發(fā)至其他節(jié)點(diǎn)。另外，安全性也是數(shù)據(jù)傳輸過(guò)程的重要元素，Hui等［23］設(shè)計(jì)了一種兩步加密通信方法，將邊緣節(jié)點(diǎn)作為通信的中繼節(jié)點(diǎn)，使用時(shí)間戳加密，增加了密鑰空間；并且利用霧計(jì)算的低延遲和更快響應(yīng)的優(yōu)勢(shì)，滿足工業(yè)物聯(lián)網(wǎng)中應(yīng)急計(jì)算和實(shí)時(shí)通信的數(shù)據(jù)傳輸服務(wù)需求。綜合考慮安全性與傳輸成本，Zhang等［24］提出了一種利用邊緣計(jì)算技術(shù)的壓縮感知數(shù)據(jù)兩層安全傳輸框架，將高復(fù)雜度的重構(gòu)算法和強(qiáng)加密算法分別傳輸?shù)街行脑坪瓦吘壴?，通過(guò)基于壓縮感知的加密和信息論的方案來(lái)保證從終端設(shè)備到本地邊緣服務(wù)器以及從邊緣服務(wù)器到中心服務(wù)器的數(shù)據(jù)機(jī)密性。

深度學(xué)習(xí)作為當(dāng)前廣泛使用的數(shù)據(jù)分析技術(shù)，能夠通過(guò)學(xué)習(xí)樣本數(shù)據(jù)實(shí)現(xiàn)挖掘與分析終端數(shù)據(jù)。Chatterjee等［25］利用深度學(xué)習(xí)檢測(cè)文本對(duì)話中的情緒，并通過(guò)不同表達(dá)情緒的方式訓(xùn)練模型，達(dá)到較好效果。雖然深度學(xué)習(xí)在面臨一些問(wèn)題時(shí)具備強(qiáng)大的計(jì)算能力，但仍有很多需要改進(jìn)的地方。Chen等［26］在深度學(xué)習(xí)的基礎(chǔ)上提出一種工作負(fù)載預(yù)測(cè)算法，該算法首先設(shè)計(jì)了一種頂部稀疏自動(dòng)編碼器，從原始高維工作負(fù)載數(shù)據(jù)中提取工作負(fù)載的基本表示；其次將該編碼器和門控循環(huán)單元塊集成到循環(huán)神經(jīng)網(wǎng)絡(luò)中，以實(shí)現(xiàn)對(duì)高變量工作負(fù)載的自適應(yīng)和準(zhǔn)確預(yù)測(cè)，彌補(bǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)內(nèi)存長(zhǎng)期依賴的不足。此外，為了解決云數(shù)據(jù)中心的安全存儲(chǔ)問(wèn)題，Tao等［27］提出了一種新的云邊協(xié)同存儲(chǔ)方案，相較于當(dāng)前大多需要邊緣服務(wù)器管理用戶的私鑰的方案，該方案通過(guò)用戶生成并自行管理私鑰，并且采用可搜索公鑰加密而非可搜索對(duì)稱密鑰加密；此外，用戶附近的邊緣服務(wù)器不需要獲取所有邊緣服務(wù)器的密鑰，并且該方案還盡可能地將加密操作委托給附近的邊緣服務(wù)器，以此節(jié)省物聯(lián)網(wǎng)設(shè)備和用戶的成本。

可以看出，智能技術(shù)也逐漸應(yīng)用在數(shù)據(jù)傳輸與分析方向，另外，結(jié)合云邊協(xié)同架構(gòu)可以為用戶帶來(lái)更好的服務(wù)體驗(yàn)。隨著5G的發(fā)展，數(shù)據(jù)傳輸與分析在數(shù)據(jù)容量與安全等方面有較為明顯的優(yōu)勢(shì)。然而，當(dāng)前的5G通信技術(shù)尚不成熟，仍處于發(fā)展階段，有必要深層次研究5G環(huán)境下的傳輸與存儲(chǔ)技術(shù)，以不斷提高可靠性。

3 基于云邊智能協(xié)同的計(jì)算遷移研究

云邊智能協(xié)同并不是將云邊協(xié)同與AI簡(jiǎn)單結(jié)合，除了AI為云邊協(xié)同提供技術(shù)和方法之外，云邊協(xié)同也為AI提供了場(chǎng)景和平臺(tái)，例如智慧城市、智慧家居等應(yīng)用場(chǎng)景，都可以極大地促進(jìn)AI的進(jìn)步與發(fā)展。如圖3所示，云邊協(xié)同綜合了云計(jì)算與邊緣計(jì)算兩者的優(yōu)勢(shì)，使計(jì)算能力較高的AI應(yīng)用可以從由邊緣端遷移到其他節(jié)點(diǎn)執(zhí)行，當(dāng)邊緣節(jié)點(diǎn)做出遷移決策時(shí)，結(jié)合云節(jié)點(diǎn)分析各個(gè)邊緣節(jié)點(diǎn)狀態(tài)，最終將任務(wù)遷移到合適的節(jié)點(diǎn)執(zhí)行，從而為AI應(yīng)用提供更有潛力的平臺(tái)。其中，邊緣節(jié)點(diǎn)的遷移決策用于判斷該任務(wù)是否需要遷移，云節(jié)點(diǎn)中的遷移決策通過(guò)分析各個(gè)邊緣節(jié)點(diǎn)的狀態(tài)判斷適合該任務(wù)的遷移地點(diǎn)。同樣地，云節(jié)點(diǎn)中計(jì)算能力較低、實(shí)時(shí)性較高的AI應(yīng)用也可以遷移到邊緣端或終端執(zhí)行，最終為用戶提供更高質(zhì)量的服務(wù)體驗(yàn)。

圖3　計(jì)算遷移架構(gòu)

3.1　計(jì)算遷移策略分析

云邊架構(gòu)中的計(jì)算遷移較難，通常需要綜合考慮時(shí)延、能量消耗、計(jì)算/通信資源等因素。Liu等［28］采用馬爾可夫決策過(guò)程，根據(jù)每個(gè)任務(wù)的時(shí)延與功耗制定遷移策略，最終以最小的響應(yīng)時(shí)延完成遷移任務(wù)。Xu等［29］為了降低邊緣服務(wù)器的能耗，選擇最短路徑卸載計(jì)算任務(wù)，并采用非支配排序遺傳算法實(shí)現(xiàn)多目標(biāo)優(yōu)化，以此減少由于不同節(jié)點(diǎn)計(jì)算重復(fù)任務(wù)而導(dǎo)致的數(shù)據(jù)傳輸延遲。然而，目前的研究都忽略了邊緣節(jié)點(diǎn)資源有限的事實(shí)。

對(duì)于云邊協(xié)同服務(wù)遷移，一些研究者應(yīng)用啟發(fā)式算法分別從時(shí)延與能耗兩方面優(yōu)化服務(wù)遷移策略。Xu等［30］提出了一種兩階段博弈論云邊協(xié)同卸載算法，首先獲得邊緣到終端最優(yōu)卸載決策，其次找到所有選擇向邊緣卸載的終端設(shè)備的云邊緣最優(yōu)卸載決策，最終得到所有終端的最優(yōu)決策，但是該任務(wù)沒(méi)有考慮任務(wù)的優(yōu)先級(jí)或不同類型的任務(wù)。從降低能耗的角度分析，Lyu等［31］提出了一種新穎的云邊端集成架構(gòu)，該架構(gòu)可以使設(shè)備自行決定卸載時(shí)間與卸載目標(biāo)，從而減少與邊緣節(jié)點(diǎn)之間的通信開(kāi)銷，還可以在保證低時(shí)延的情況下減少設(shè)備能耗。為了權(quán)衡時(shí)延與能耗，Li等［32］在邊緣計(jì)算的基礎(chǔ)上提出了一種改進(jìn)粒子群優(yōu)化（Particle Swarm Optimization， PSO）的物聯(lián)網(wǎng)計(jì)算卸載策略，首先構(gòu)建系統(tǒng)模型和優(yōu)化目標(biāo)函數(shù)；其次使用PSO對(duì)粒子編碼并計(jì)算適應(yīng)度值，以更新粒子位置，從而找到任務(wù)卸載策略的最優(yōu)解。Ning等［33］首先討論單用戶卸載問(wèn)題，通過(guò)分支定界算法解決單用戶中MEC資源不受限制的問(wèn)題，并設(shè)計(jì)了一種迭代啟發(fā)式資源分配算法解決多用戶之間的資源競(jìng)爭(zhēng)問(wèn)題，從而在較好的執(zhí)行延遲和卸載效率下實(shí)現(xiàn)部分計(jì)算卸載。

以上方案都是針對(duì)某一個(gè)優(yōu)化目標(biāo)的時(shí)延、能耗制定的，每個(gè)方案在各自的場(chǎng)景下都達(dá)到了各自的優(yōu)化目標(biāo)；然而，設(shè)計(jì)大規(guī)模的邊緣架構(gòu)的計(jì)算遷移決策可能需要較長(zhǎng)的時(shí)間。結(jié)合AI技術(shù)指定遷移方案可以更好地保證計(jì)算遷移的性能，Qiu等［34］提出了一種新的基于無(wú)模型深度強(qiáng)化學(xué)習(xí)的在線計(jì)算遷移方法，將在線遷移問(wèn)題指定為馬爾可夫決策過(guò)程并考慮動(dòng)態(tài)環(huán)境，為了采用動(dòng)態(tài)環(huán)境并實(shí)現(xiàn)長(zhǎng)期遷移性能，采用深度強(qiáng)化學(xué)習(xí)根據(jù)過(guò)去的遷移經(jīng)驗(yàn)獲得最佳遷移決策，從而避免為達(dá)到滿意的最優(yōu)值而進(jìn)行大量迭代。針對(duì)目前高延遲和高能耗對(duì)實(shí)時(shí)移動(dòng)物聯(lián)網(wǎng)應(yīng)用產(chǎn)生的負(fù)面影響，Alam等［35］利用了移動(dòng)云計(jì)算提出基于深度強(qiáng)化學(xué)習(xí)的代碼遷移方法，通過(guò)馬爾可夫決策過(guò)程建模，深度強(qiáng)化學(xué)習(xí)求解問(wèn)題，在考慮資源需求、資源可用性和網(wǎng)絡(luò)狀態(tài)的情況下作出卸載決策，以最大限度地減少服務(wù)計(jì)算的延遲。

3.2　資源分配策略分析

云數(shù)據(jù)中心與邊緣服務(wù)節(jié)點(diǎn)的資源管理一直都是研究者們的研究重點(diǎn)，尤其是邊緣節(jié)點(diǎn)資源有限，合理利用邊緣節(jié)點(diǎn)的本地資源是邊緣計(jì)算中的關(guān)鍵問(wèn)題之一。Li等［36］提出邊緣云架構(gòu)中的資源擴(kuò)縮模型，并通過(guò)預(yù)測(cè)資源負(fù)載情況靈活地進(jìn)行邊緣云的資源分配；此外，還考慮了因資源擴(kuò)展導(dǎo)致集群負(fù)載不均衡和資源收縮導(dǎo)致的數(shù)據(jù)可靠性問(wèn)題，彌補(bǔ)了當(dāng)前資源管理的空缺。此外，云計(jì)算中的資源管理技術(shù)也是當(dāng)前的研究熱點(diǎn)。

為利用云邊協(xié)同實(shí)現(xiàn)有效的資源管理，一些研究者從計(jì)算資源與通信資源兩方面考慮資源管理優(yōu)化。Zhao等［37］協(xié)同本地云和互聯(lián)網(wǎng)云資源，利用本地云的低延遲和互聯(lián)網(wǎng)云的豐富計(jì)算資源的優(yōu)勢(shì)，提高移動(dòng)邊緣計(jì)算的服務(wù)質(zhì)量（Quality of Service， QoS）；此外，還根據(jù)應(yīng)用程序的延遲需求應(yīng)用優(yōu)先級(jí)隊(duì)列，有效地完成計(jì)算資源的分配。Zhu等［38］采取納什議價(jià)博弈理論，并采用分時(shí)變量，從而獲取近似最優(yōu)議價(jià)資源分配策略，并最大限度地提高系統(tǒng)網(wǎng)絡(luò)吞吐量；此外，作者還分析了該博弈模型解的存在唯一性。

以上方案在單邊緣服務(wù)器場(chǎng)景下可以實(shí)現(xiàn)高效的資源分配，但在真實(shí)場(chǎng)景下多邊緣服務(wù)器的情況較多。因此，結(jié)合當(dāng)前的AI技術(shù)，Wang等［39］提出一種基于分布式深度學(xué)習(xí)的資源分配算法，調(diào)用多個(gè)并行深度神經(jīng)網(wǎng)絡(luò)生成最優(yōu)的資源調(diào)度；此外，設(shè)計(jì)一個(gè)共享重放記憶機(jī)制以有效地存儲(chǔ)新生成的資源分配決策，進(jìn)一步用于訓(xùn)練和改進(jìn)深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network， DNN）。Zhu等［40］將資源分配過(guò)程表述為一個(gè)馬爾可夫決策過(guò)程，其中為每個(gè)邊緣節(jié)點(diǎn)制定一個(gè)本地資源分配策略，并與云節(jié)點(diǎn)共享，之后邊緣節(jié)點(diǎn)利用本地資源或云節(jié)點(diǎn)劃分的資源完成任務(wù)，任務(wù)完成后，邊緣節(jié)點(diǎn)和云節(jié)點(diǎn)都使用它們收到的獎(jiǎng)勵(lì)來(lái)更新它們的本地深度強(qiáng)化學(xué)習(xí)算法（Deep Q Network， DQN）。Wang等［41］從最大限度地提高整個(gè)網(wǎng)絡(luò)的頻譜效率和系統(tǒng)容量出發(fā)，研究了網(wǎng)絡(luò)互連的最優(yōu)資源分配策略，其次將該問(wèn)題建模為馬爾可夫決策過(guò)程。在該函數(shù)的狀態(tài)和動(dòng)作為連續(xù)值的情況下，采用策略梯度法通過(guò)與環(huán)境的相互作用來(lái)學(xué)習(xí)最優(yōu)策略，從而在邊緣計(jì)算系統(tǒng)完成最優(yōu)資源分配，同時(shí)避免蜂窩用戶的彼此干擾。

4 基于云邊智能協(xié)同的智能優(yōu)化技術(shù)

在云邊智能協(xié)同的過(guò)程中，云端負(fù)責(zé)深度學(xué)習(xí)模型的訓(xùn)練，邊緣節(jié)點(diǎn)則負(fù)責(zé)模型的推理，云端在完成模型的訓(xùn)練過(guò)程之后會(huì)將模型下發(fā)到邊緣節(jié)點(diǎn)，進(jìn)而完成模型在云邊架構(gòu)中的部署。如圖4所示，在云邊協(xié)同架構(gòu)中，通過(guò)將推理階段與訓(xùn)練階段相結(jié)合，經(jīng)過(guò)模型的訓(xùn)練與部署等過(guò)程不斷反復(fù)，不斷提升模型的精度與推理速度，提高服務(wù)質(zhì)量。

圖4　云邊智能協(xié)同模型

4.1　推理優(yōu)化技術(shù)

當(dāng)前較為流行的深度神經(jīng)網(wǎng)絡(luò)模型大多為幾兆字節(jié)甚至幾百兆字節(jié)，為計(jì)算資源較少的邊緣節(jié)點(diǎn)帶來(lái)了較大的挑戰(zhàn)。為了在邊緣節(jié)點(diǎn)部署模型，除了與訓(xùn)練過(guò)程結(jié)合生成低稀疏性的緊致模型之外，對(duì)已有模型的處理主要包括模型壓縮與切割等方案，此外可以通過(guò)模型選擇或早期退出等方案降低推理時(shí)延。

為了保證模型在邊緣服務(wù)器上高效地完成推理過(guò)程，當(dāng)前研究者采用較多的方案為模型壓縮技術(shù)。模型壓縮技術(shù)又可以分為剪枝、量化和知識(shí)蒸餾等技術(shù)。剪枝技術(shù)可以分為剪枝粒度大的粗粒度剪枝和剪枝精度高的細(xì)粒度剪枝。細(xì)粒度剪枝可以刪除任意位置的權(quán)重［42］，使剪枝較為精細(xì)，剪枝后精度高，但會(huì)造成模型結(jié)構(gòu)的不規(guī)則化，所以需要特殊的硬件設(shè)計(jì)支持稀疏操作。粗粒度剪枝只需改變網(wǎng)絡(luò)中卷積核和特征通道的數(shù)目，所得到的模型可以直接運(yùn)行，無(wú)須特殊的算法設(shè)計(jì)，并且它的剪枝粒度較大，具有良好的加速效果。Peng等［43］定量分析了剪枝或保留通道對(duì)損失函數(shù)的聯(lián)合影響，并利用這種通道間的依賴性確定需要剪枝的通道。He等［44］基于幾何中值濾波剪枝壓縮模型，有效地裁剪可替代的冗余的卷積核。然而，剪枝操作在降低推理時(shí)延的同時(shí)也會(huì)給推理精度帶來(lái)不利影響，當(dāng)前的主流方法是通過(guò)小樣本訓(xùn)練稀疏化后的模型解決這個(gè)問(wèn)題［45］，但仍有一定的計(jì)算代價(jià)，因此需要評(píng)估模型部署后的收益與重訓(xùn)練的代價(jià)。

量化可以分為權(quán)值共享方法和權(quán)值精減方法。Han等［46］通過(guò)只學(xué)習(xí)重要的連接修剪網(wǎng)絡(luò)，其次對(duì)權(quán)重量化，實(shí)現(xiàn)權(quán)重共享。Chen等［47］使用低成本的哈希函數(shù)將連接權(quán)重隨機(jī)分組到哈希桶中，并且同一個(gè)哈希桶內(nèi)的所有連接共享一個(gè)參數(shù)值。在訓(xùn)練過(guò)程中，這些參數(shù)經(jīng)過(guò)調(diào)整，以適應(yīng)哈希網(wǎng)絡(luò)權(quán)重共享架構(gòu)和標(biāo)準(zhǔn)，使得哈希網(wǎng)絡(luò)在基本保留泛化的同時(shí)大幅縮減了神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)需求。權(quán)值精簡(jiǎn)則是權(quán)值的低比特表示，如Dettmers等［48］開(kāi)發(fā)并測(cè)試8-bit近似算法，通過(guò)壓縮32位梯度和非線性激活到8位近似，從而更好地利用可用帶寬；此外，還基于實(shí)驗(yàn)數(shù)據(jù)建立了一個(gè)加速預(yù)測(cè)模型，在保證模型預(yù)測(cè)精度的同時(shí)提高數(shù)據(jù)傳輸速度。Zhou等［49］提出了一種增量網(wǎng)絡(luò)量化的方法，旨在將任何預(yù)訓(xùn)練的全精度卷積神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為一個(gè)低精度版本，并且能夠保證更高的模型精度，有利于在移動(dòng)平臺(tái)的部署和加速。

相較于量化與剪枝技術(shù)，知識(shí)蒸餾技術(shù)作為新興的壓縮方法是當(dāng)前領(lǐng)域的研究重點(diǎn)。Hinton等［50］首次提出知識(shí)蒸餾，知識(shí)蒸餾將知識(shí)從復(fù)雜的AI模型轉(zhuǎn)移到緊湊的小型AI模型中，通過(guò)利用性能更好的大模型訓(xùn)練小模型，使小模型在大幅減少參數(shù)數(shù)量的同時(shí)獲取與大模型相當(dāng)?shù)男阅埽罱K實(shí)現(xiàn)模型壓縮與加速。但這種方式即大模型可能存在缺陷，導(dǎo)致產(chǎn)生錯(cuò)誤的指導(dǎo)，誤導(dǎo)小模型走向次優(yōu)表現(xiàn)。為此，Meng等［51］提出一種有條件的師生學(xué)習(xí)方案，當(dāng)教師模型能夠正確預(yù)測(cè)真實(shí)標(biāo)簽時(shí)，學(xué)生模型則學(xué)習(xí)該教師模型，否則學(xué)生模型僅學(xué)習(xí)真實(shí)標(biāo)簽；因此，學(xué)生模型能夠有效地向教師模型學(xué)習(xí)，甚至有可能超越教師模型。Mirzadeh等［52］認(rèn)為在知識(shí)蒸餾過(guò)程中，當(dāng)學(xué)生與教師之間差距較大時(shí)，學(xué)生網(wǎng)絡(luò)無(wú)法得到較高的性能。因此，可以利用一個(gè)中等規(guī)模的網(wǎng)絡(luò)（教師助理）作為學(xué)生與教師之間的中轉(zhuǎn)模型。此外，還研究了教師助理規(guī)模的影響，并將框架擴(kuò)展到多步蒸餾，進(jìn)一步壓縮模型的尺寸。除了應(yīng)用于模型壓縮領(lǐng)域，研究者們還在模型增強(qiáng)領(lǐng)域研究如何利用知識(shí)蒸餾技術(shù)提升模型的性能。

模型分割技術(shù)與模型選擇機(jī)制也是模型推理優(yōu)化領(lǐng)域的研究熱點(diǎn)。Zhao等［53］提出了采用縱切方式的輕量級(jí)框架，用于在邊緣設(shè)備之間進(jìn)行自適應(yīng)的分布式卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）推理。Park等［54］提出了一種big/LITTER DNN概念，它試圖最小化耗能大的DNN的執(zhí)行，從而降低能耗，同時(shí)保持推理準(zhǔn)確性；然而，由于模型的訓(xùn)練架構(gòu)等條件不一致，如何在同一場(chǎng)景下選擇合適的模型是需要考慮的問(wèn)題。Taylor等［55］提出了一種自適應(yīng)方案，通過(guò)所需的準(zhǔn)確度和推理時(shí)間確定使用哪個(gè)DNN模型作為給定輸入，然而該方案未考慮在不同場(chǎng)景下單節(jié)點(diǎn)面臨多任務(wù)競(jìng)爭(zhēng)推理的場(chǎng)景。Teerapittayanon等［56］增加了額外的側(cè)分支分類器，利用提前退出機(jī)制使高可信度的樣本通過(guò)這些分支提前退出網(wǎng)絡(luò)，并使用更多或所有網(wǎng)絡(luò)層提供正確預(yù)測(cè)的最佳可能性，在提高準(zhǔn)確性的同時(shí)顯著減少網(wǎng)絡(luò)的推理時(shí)間。

在邊緣計(jì)算場(chǎng)景下，當(dāng)前應(yīng)用較多的輕量化技術(shù)難以在復(fù)雜的業(yè)務(wù)場(chǎng)景中發(fā)揮作用。為了使以上技術(shù)能夠靈活地應(yīng)用于在不同場(chǎng)景，可以結(jié)合模型切割和提前退出機(jī)制，將一部分推理請(qǐng)求提前過(guò)濾，以進(jìn)一步減少計(jì)算延遲。

4.2　訓(xùn)練優(yōu)化技術(shù)

由于深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練需要大量計(jì)算與存儲(chǔ)資源，計(jì)算資源豐富的云計(jì)算中心可以提供優(yōu)質(zhì)的保障。為了保證模型在邊緣端高效地完成推理過(guò)程，提高模型的訓(xùn)練精度并保證高效的訓(xùn)練速度成了當(dāng)前的研究重點(diǎn)。

當(dāng)前采用較多的提高模型精度的方法是利用反向傳播算法迭代更新權(quán)重，一些研究者開(kāi)始研究并采用反向傳播中梯度下降算法優(yōu)化的方案，優(yōu)化大型深度神經(jīng)網(wǎng)絡(luò)并提高訓(xùn)練效率［57］，減小訓(xùn)練誤差［58］。

隨著邊緣智能的發(fā)展，在邊緣上訓(xùn)練模型也成為可能，但是在邊緣上訓(xùn)練需要大量的資源交換數(shù)據(jù)參數(shù)的，通常存在數(shù)據(jù)隱私暴露的風(fēng)險(xiǎn)。聯(lián)邦學(xué)習(xí)是端?邊?云之間的一種實(shí)用的深度學(xué)習(xí)訓(xùn)練機(jī)制，為邊緣側(cè)提供了數(shù)據(jù)的隱私保護(hù)，如圖5所示。在聯(lián)邦學(xué)習(xí)中，邊緣節(jié)點(diǎn)接收云節(jié)點(diǎn)下發(fā)的全局參數(shù)并利用本地的訓(xùn)練數(shù)據(jù)訓(xùn)練模型，之后將模型下發(fā)至終端，終端將本地參數(shù)上傳到云節(jié)點(diǎn)中，云節(jié)點(diǎn)進(jìn)行參數(shù)加權(quán)聚合得到全局模型參數(shù)并下發(fā)至邊緣節(jié)點(diǎn)中［59］。這種方式能夠在不需要進(jìn)行原始數(shù)據(jù)傳輸?shù)那闆r下構(gòu)建全局模型，實(shí)現(xiàn)數(shù)據(jù)隱私保護(hù)；但是當(dāng)邊緣節(jié)點(diǎn)本地訓(xùn)練的模型較大時(shí)，節(jié)點(diǎn)間的模型參數(shù)交換則會(huì)消耗大量的通信資源。為此，Mills等［60］將每個(gè)傳輸過(guò)程動(dòng)態(tài)分解為幾個(gè)部分，實(shí)現(xiàn)最佳的分層通信和計(jì)算重疊，解決在邊緣網(wǎng)絡(luò)上訓(xùn)練大型CNN的參數(shù)和梯度通信的分層調(diào)度問(wèn)題。Reijonen等［61］從3個(gè)方面優(yōu)化聯(lián)邦學(xué)習(xí)：定期平均、部分設(shè)備參與和量化消息傳遞。

圖5　聯(lián)邦學(xué)習(xí)模型

另外，當(dāng)相同的深度學(xué)習(xí)模型部署到不同的邊緣節(jié)點(diǎn)時(shí)，由于邊緣節(jié)點(diǎn)計(jì)算能力的不同，可能會(huì)導(dǎo)致參數(shù)上傳時(shí)間差距過(guò)大，影響全局模型的聚合。為此，一些研究者提出忽略計(jì)算能力弱的邊緣節(jié)點(diǎn)，雖然該方案能夠解決全局模型聚合問(wèn)題，但沒(méi)有考慮邊緣節(jié)點(diǎn)之間協(xié)作的問(wèn)題，可能會(huì)因?yàn)楹雎阅承┕?jié)點(diǎn)而導(dǎo)致關(guān)鍵信息缺失。Xu等［62］提出了一種異質(zhì)性感知聯(lián)邦學(xué)習(xí)框架解決落后者問(wèn)題。該框架識(shí)別協(xié)作訓(xùn)練速度的落后者，并指定預(yù)期的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練量，通過(guò)旋轉(zhuǎn)神經(jīng)元訓(xùn)練的方法加速落后節(jié)點(diǎn)，同時(shí)保持本地訓(xùn)練和聯(lián)邦協(xié)作的收斂性。此外，聯(lián)邦學(xué)習(xí)雖然避免了因上傳訓(xùn)練數(shù)據(jù)而導(dǎo)致的安全隱私問(wèn)題，但該過(guò)程中的參數(shù)更新交換也帶來(lái)了新的隱私問(wèn)題。Kang等［63］首先引入了基于信譽(yù)的邊緣節(jié)點(diǎn)選擇方案，并采用多權(quán)重主觀邏輯模型，根據(jù)直接交互歷史和推薦的聲譽(yù)意見(jiàn)計(jì)算邊緣節(jié)點(diǎn)的聲譽(yù)，從而利用聯(lián)盟區(qū)塊鏈以去中心化的方式管理節(jié)點(diǎn)的聲譽(yù)。此外，為了實(shí)現(xiàn)可靠的聯(lián)邦學(xué)習(xí)，可設(shè)計(jì)基于契約理論的激勵(lì)機(jī)制，以激勵(lì)擁有高精度和可靠本地培訓(xùn)數(shù)據(jù)的高聲譽(yù)邊緣節(jié)點(diǎn)加入學(xué)習(xí)過(guò)程。

5 基于云邊智能協(xié)同的應(yīng)用場(chǎng)景分析

當(dāng)前，“大連接、低延時(shí)、高帶寬”的需求越來(lái)越多，邊緣計(jì)算已然成了這一時(shí)代發(fā)展的重要一環(huán)，與云計(jì)算、人工智能一起被越來(lái)越多的產(chǎn)業(yè)應(yīng)用所需要。

當(dāng)前云邊智能協(xié)同最為廣泛的應(yīng)用領(lǐng)域是工業(yè)互聯(lián)網(wǎng)領(lǐng)域，云邊智能協(xié)同為工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)海量且異構(gòu)的問(wèn)題提供了較好的解決方案。在云邊智能協(xié)同架構(gòu)中，雖然目前在實(shí)際應(yīng)用中邊緣節(jié)點(diǎn)無(wú)法處理全部數(shù)據(jù)，仍然需要云節(jié)點(diǎn)實(shí)現(xiàn)信息的融合，但隨著云邊智能協(xié)同的研究發(fā)展，它正逐漸成為工業(yè)互聯(lián)網(wǎng)的重要支柱。

云邊智能協(xié)同也為智能家庭提供了新動(dòng)力。用戶不僅可以通過(guò)手機(jī)等終端設(shè)備來(lái)控制多個(gè)家庭設(shè)備，還可以實(shí)時(shí)訪問(wèn)云節(jié)點(diǎn)中存儲(chǔ)的早期數(shù)據(jù)，邊緣節(jié)點(diǎn)可以聯(lián)合多個(gè)家庭設(shè)備組成家庭局域網(wǎng)，并通過(guò)與廣域網(wǎng)相連實(shí)現(xiàn)與云節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交互，進(jìn)而實(shí)現(xiàn)家庭終端互聯(lián)及實(shí)時(shí)控制等功能。

在安防領(lǐng)域，通過(guò)有線或無(wú)線網(wǎng)絡(luò)技術(shù)（Wireless Fidelity， WiFi）連接攝像頭是當(dāng)前采用較多的方式。然而有線雖然有較高的穩(wěn)定性，但會(huì)占用大量資源，并且在布線時(shí)還有較高的成本。WiFi相較于有線雖然成本較低，但通常需要補(bǔ)充大量路由節(jié)點(diǎn)提高覆蓋范圍和穩(wěn)定性。另外監(jiān)控視頻通常需要通過(guò)網(wǎng)絡(luò)傳輸至云服務(wù)器中進(jìn)行智能檢測(cè)，給網(wǎng)絡(luò)負(fù)載增加較大的壓力。而云邊智能協(xié)同通過(guò)將監(jiān)控視頻分流到邊緣節(jié)點(diǎn)中，在降低網(wǎng)絡(luò)負(fù)載的同時(shí)還有效降低了視頻時(shí)延；另外，可以在邊緣節(jié)點(diǎn)上搭建智能模塊實(shí)現(xiàn)視頻智能檢測(cè)，從而應(yīng)用于更多的業(yè)務(wù)場(chǎng)景。云節(jié)點(diǎn)可以負(fù)責(zé)模型的訓(xùn)練任務(wù)，并將訓(xùn)練后的模型下發(fā)至邊緣端，二者相互協(xié)作，解決當(dāng)前視頻智能分析中的時(shí)延大的問(wèn)題，提高用戶的體驗(yàn)并實(shí)現(xiàn)多種本地AI典型應(yīng)用。

在智慧交通領(lǐng)域，過(guò)去通常通過(guò)提高車輛的感知能力和計(jì)算能力實(shí)現(xiàn)智慧交通，研究成本較高。在實(shí)際應(yīng)用中，可以通過(guò)在道路邊緣鋪設(shè)邊緣節(jié)點(diǎn)，與行駛中的車輛進(jìn)行實(shí)時(shí)的信息交互，邊緣節(jié)點(diǎn)通過(guò)計(jì)算分析為車輛提供決策預(yù)警、輔助駕駛等多種服務(wù)。此外，邊緣節(jié)點(diǎn)可以采集車輛數(shù)據(jù)與道路信息，為車輛擴(kuò)展感知能力，實(shí)現(xiàn)車路協(xié)同。同時(shí)，邊緣端可以與云端進(jìn)行數(shù)據(jù)交互，云端通過(guò)分析邊緣端的數(shù)據(jù)感知交通系統(tǒng)的運(yùn)行狀況，并結(jié)合大數(shù)據(jù)與AI算法分析并向邊緣節(jié)點(diǎn)下發(fā)指令，從而保證交通系統(tǒng)的穩(wěn)定運(yùn)行，提高運(yùn)行效率。

除了上述應(yīng)用場(chǎng)景之外，云邊智能協(xié)同也推動(dòng)了傳統(tǒng)能源產(chǎn)業(yè)、傳統(tǒng)農(nóng)業(yè)、醫(yī)療保健和娛樂(lè)行業(yè)向智能化發(fā)展。雖然目前云邊智能協(xié)同技術(shù)已經(jīng)在各個(gè)領(lǐng)域得到廣泛應(yīng)用，但是針對(duì)云邊智能協(xié)同的技術(shù)標(biāo)準(zhǔn)仍然不明確，對(duì)于云邊智能協(xié)同的研究需要從整體規(guī)劃角度出發(fā)，根據(jù)不同的應(yīng)用場(chǎng)景與需求完善它的能力，引導(dǎo)云邊智能協(xié)同技術(shù)健康發(fā)展。

6 結(jié)語(yǔ)

6.1　總結(jié)

云邊智能協(xié)同將AI與云邊協(xié)同結(jié)合，提高了AI在邊緣節(jié)點(diǎn)上的應(yīng)用潛力。目前的研究集中在基于云邊協(xié)同的AI模型訓(xùn)練與推理優(yōu)化技術(shù)。為了全面了解AI在云邊協(xié)同中的應(yīng)用，本文首先介紹了云邊協(xié)同的發(fā)展歷程并指出了當(dāng)前對(duì)云邊協(xié)同與AI結(jié)合的不足以及云邊智能協(xié)同的研究?jī)?nèi)容；其次，介紹了云邊協(xié)同架構(gòu)中邊緣節(jié)點(diǎn)如何采集與處理終端數(shù)據(jù)；再次，介紹了云邊協(xié)同架構(gòu)對(duì)AI的促進(jìn)作用，從而更好地在邊緣節(jié)點(diǎn)激發(fā)AI的潛力；接著，分析了云邊智能協(xié)同在工業(yè)、家庭、安防與交通等領(lǐng)域的應(yīng)用場(chǎng)景；最后，總結(jié)了如何利用云與邊緣節(jié)點(diǎn)之間的協(xié)同技術(shù)完成模型的訓(xùn)練與推理。

6.2　未來(lái)展望

目前針對(duì)云邊智能協(xié)同的研究主要局限于通過(guò)優(yōu)化邊緣節(jié)點(diǎn)的訓(xùn)練與推理提高算法的性能，存在著一些有待進(jìn)一步研究的方向：

1）在云邊端架構(gòu)中的計(jì)算遷移方面，計(jì)算卸載方案的可靠性與容錯(cuò)性緊密相連，而不同場(chǎng)景下通常有不同的卸載要求，如車聯(lián)網(wǎng)與視頻監(jiān)控中卸載時(shí)延的要求較高，并且需要精準(zhǔn)地完成卸載任務(wù)。在實(shí)際場(chǎng)景中，遷移過(guò)程要考慮網(wǎng)絡(luò)環(huán)境等多種因素，因此在一些場(chǎng)景下的卸載任務(wù)應(yīng)具備較強(qiáng)的適應(yīng)性與可靠性。當(dāng)前對(duì)計(jì)算的可靠卸載是該領(lǐng)域的一個(gè)重點(diǎn)研究方向，但目前相關(guān)研究較少。

2）在云原生方面，以kubernetes［64］為核心的云原生技術(shù)體系具有強(qiáng)大的容器編排能力，但它的體系龐大，組件復(fù)雜，另外kubernetes的各個(gè)組件占用資源較多，難以在網(wǎng)絡(luò)受限的邊緣環(huán)境下運(yùn)行，因此將云原生體系下沉至邊緣面臨很大的挑戰(zhàn)與困難。雖然kubeedge［65］的引入彌補(bǔ)了kubernetes部署在邊緣的缺點(diǎn)，但kubeedge在面臨大型邊緣集群時(shí)無(wú)法進(jìn)行智能調(diào)度。

3）在模型的訓(xùn)練與推理方面，在線學(xué)習(xí)與邊緣計(jì)算的結(jié)合可以為邊緣智能提供更廣闊的適用場(chǎng)景。目前大多數(shù)研究將訓(xùn)練與推理過(guò)程分開(kāi)研究，從而導(dǎo)致對(duì)于計(jì)算資源有限且動(dòng)態(tài)性較強(qiáng)的場(chǎng)景難以適用，因此如何利用有限的資源部署和更新完成模型是該領(lǐng)域的研究熱點(diǎn)，如感知計(jì)算、觸覺(jué)網(wǎng)絡(luò)等研究領(lǐng)域。

4）在安全與隱私方面，隨著當(dāng)前開(kāi)放的環(huán)境和新軟件技術(shù)的不斷引進(jìn)，大量數(shù)據(jù)會(huì)經(jīng)過(guò)邊緣計(jì)算傳送到云計(jì)算中心。這些數(shù)據(jù)涉及終端的各種隱私信息，保護(hù)這些終端的隱私信息便是當(dāng)前要解決的重點(diǎn)問(wèn)題。目前對(duì)云邊協(xié)同計(jì)算安全性的研究仍然存在不足，如在面臨個(gè)人攻擊時(shí)缺少有效的預(yù)防機(jī)制與解決方案。另外，雖然當(dāng)前云邊智能協(xié)同安全性的研究仍處于起步階段，但結(jié)合安全機(jī)制以更統(tǒng)一的方式保護(hù)整個(gè)安全防御系統(tǒng)同樣是當(dāng)前的一個(gè)重點(diǎn)研究方向。

[1] CHEN Z， DI Y， YUAN H， et al. Intelligent cloud training system based on edge computing and cloud computing［C］// Proceedings of the IEEE 4th Information Technology， Networking， Electronic and Automation Control Conference. Piscataway： IEEE， 2020： 1550-1553.

[2] OLMOS J J V， CUGINI F， BUINING F， et al. Big data processing and artificial intelligence at the network edge［C］// Proceedings of the 22nd International Conference on Transparent Optical Networks. Piscataway： IEEE， 2020： 1-4.

[3] ZHOU Z， CHEN X， LI E， et al. Edge intelligence： paving the last mile of artificial intelligence with edge computing［J］. Proceedings of the IEEE， 2019， 107（8）： 1738-1762.

[4] QING L. A 5G PaaS collaborative management and control platform technology based on cloud edge collaboration based on particle swarm optimization algorithm［C］// Proceedings of the 2021 IEEE Asia-Pacific Conference on Image Processing， Electronics and Computers. Piscataway： IEEE， 2021： 144-147.

[5] ZHANG H， CHEN S， ZOU P， et al. Research and application of industrial equipment management service system based on cloud-edge collaboration［C］// Proceedings of the 2019 Chinese Automation Congress. Piscataway： IEEE， 2019： 5451-5456.

[6] PALLIS G， VAKALI A. Insight and perspectives for content delivery networks［J］. Communications of the ACM， 2006， 49（1）：101-106.

[7] SATYANARAYANAN M， BAHL P， CACERES R， et al. The case for VM-based cloudlets in mobile computing［J］. IEEE Pervasive Computing， 2009， 8（4）： 14-23.

[8] LaMOTHE R. Edge computing［EB/OL］. ［2022-07-11］.http：//vis.pnnl.gov/pdf/fliers/EdgeComputing.pdf.

[9] HU Y C， PATEL M， SABELLA D， et al. Mobile edge computing - a key technology towards 5G： ETSI White Paper No.11［R/OL］. ［2022-07-11］.https：//www.etsi.org/images/files/ETSIWhitePapers/etsi_wp11_mec_a_key_technology_towards_5g.pdf.

[10] 孔令娜，郭會(huì)明，焦函. 一種面向數(shù)據(jù)采集任務(wù)的云邊協(xié)同計(jì)算框架［J］. 數(shù)字技術(shù)與應(yīng)用， 2021， 39（2）：165-167.（KONG L N， GUO H M， JIAO H. A cloud-edge collaboration framework for data collection［J］. Digital Technology and Application， 2021， 39（2）：165-167.）

[11] LUO Y， ZHU X， LONG J. Data collection through mobile vehicles in edge network of smart city［J］. IEEE Access， 2019， 7：168467-168483.

[12] JIAO Z， DING H， DANG M， et al. Predictive big data collection in vehicular networks： a software defined networking based approach［C］// Proceedings of the 2016 IEEE Global Communications Conference. Piscataway： IEEE， 2016： 1-6.

[13] CAO L， YUE Y， ZHANG Y. A data collection strategy for heterogeneous wireless sensor networks based on energy efficiency and collaborative optimization［J］. Computational Intelligence and Neuroscience， 2021， 2021： No.9808449.

[14] ROOPALI， KUMAR R. Energy efficient dynamic cluster head and routing path selection strategy for WBANs［J］. Wireless Personal Communications， 2020， 113（1）：33-58.

[15] WAJGI D， THAKUR N V. Load balancing based approach to improve lifetime of wireless sensor network［J］. International Journal of Wireless and Mobile Networks， 2012， 4（4）： 155-167.

[16] GATTANI V S， JAFRI S M H. Data collection using score based load balancing algorithm in wireless sensor networks［C］// Proceedings of the 2016 International Conference on Computing Technologies and Intelligent Data Engineering. Piscataway： IEEE， 2016： 1-3.

[17] SHARMA S K， WANG X. Live data analytics with collaborative edge and cloud processing in wireless IoT networks［J］. IEEE Access， 2017， 5： 4621-4635.

[18] FAN C， LU Y， LENG X， et al. Data classification processing method for the Power IoT based on cloud-side collaborative architecture［C］// Proceedings of the IEEE 9th Joint International Information Technology and Artificial Intelligence Conference. Piscataway： IEEE， 2020： 684-687.

[19] LUO A， CHEN Z， YUAN J， et al. Analysis and processing of power distribution data based on edge computing［C］// Proceedings of the IEEE 6th International Conference on Computer and Communication Systems. Piscataway： IEEE， 2021： 12-16.

[20] LI S， LAN T， BALASUBRAMANIAN B， et al. Pushing collaborative data deduplication to the network edge： an optimization framework and system design［J］. IEEE Transactions on Network Science and Engineering， 2022， 9（4）： 2110-2122.

[21] APARNA R， SANJAY RAJ R， BANDOPADHYAY S， et al. BlockDrive： a deduplication framework for cloud using edge-level blockchain［C］// Proceedings of the 2021 International Conference on Communication Information and Computing Technology. Piscataway： IEEE， 2021： 1-6.

[22] NGUYEN M T， RAHNAVARD N. Cluster-based energy-efficient data collection in wireless sensor networks utilizing compressive sensing［C］// Proceedings of the 2013 IEEE Military Communications Conference. Piscataway： IEEE， 2013： 1708-1713.

[23] HUI H， ZHOU C， XU S， et al. A novel secure data transmission scheme in industrial internet of things［J］. China Communications， 2020， 17（1）： 73-88.

[24] ZHANG Y， WANG P， FANG L， et al. Secure transmission of compressed sampling data using edge clouds［J］. IEEE Transactions on Industrial Informatics， 2020， 16（10）： 6641-6651.

[25] CHATTERJEE A， GUPTA U， CHINNAKOTLA M K， et al. Understanding emotions in text using deep learning and big data［J］. Computers in Human Behavior， 2019， 93：309-317.

[26] CHEN Z， HU J， MIN G， et al. Towards accurate prediction for high-dimensional and highly-variable cloud workloads with deep learning［J］. IEEE Transactions on Parallel and Distributed Systems， 2020， 31（4）：923-934.

[27] TAO Y， XU P， JIN H. Secure data sharing and search for cloud-edge-collaborative storage［J］. IEEE Access， 2020， 8： 15963-15972.

[28] LIU J， MAO Y， ZHANG J， et al. Delay-optimal computation task scheduling for mobile-edge computing systems［C］// Proceedings of the 2016 IEEE International Symposium on Information Theory. Piscataway： IEEE， 2016：1451-1455.

[29] XU X， LI Y， HUANG T， et al. An energy-aware computation offloading method for smart edge computing in wireless metropolitan area networks［J］. Journal of Network and Computer Applications， 2019， 133： 75-85.

[30] XU F， XIE Y， SUN Y， et al. Two-stage computing offloading algorithm in cloud-edge collaborative scenarios based on game theory［J］. Computers and Electrical Engineering， 2022， 97： No.107624.

[31] LYU X， TIAN H， JIANG L， et al. Selective offloading in mobile edge computing for the green internet of things［J］. IEEE Network， 2018， 32（1）： 54-60.

[32] LI A， LI L， YI S. Computation offloading strategy for IoT using improved particle swarm algorithm in edge computing［J］. Wireless Communications and Mobile Computing， 2022， 2022： No.9319136.

[33] NING Z， DONG P， KONG X， et al. A cooperative partial computation offloading scheme for mobile edge computing enabled internet of things［J］. IEEE Internet of Things Journal， 2019， 6（3）： 4804-4814.

[34] QIU X， LIU L， CHEN W， et al. Online deep reinforcement learning for computation offloading in blockchain-empowered mobile edge computing［J］. IEEE Transactions on Vehicular Technology， 2019， 68（8）： 8050-8062.

[35] ALAM M G R， HASSAN M M， UDDIN M Z， et al. Autonomic computation offloading in mobile edge for IoT applications［J］. Future Generation Computer Systems， 2019， 90： 149-157.

[36] LI C， SUN H， CHEN Y， et al. Edge cloud resource expansion and shrinkage based on workload for minimizing the cost［J］. Future Generation Computer Systems， 2019， 101： 327-340.

[37] ZHAO T， ZHOU S， GUO X， et al. A cooperative scheduling scheme of local cloud and Internet cloud for delay-aware mobile cloud computing［C］// Proceedings of the 2015 IEEE Globecom Workshops. Piscataway： IEEE， 2015：1-6.

[38] ZHU Z， PENG J， GU X， et al. Fair resource allocation for system throughput maximization in mobile edge computing［J］. IEEE Access， 2018， 6： 5332-5340.

[39] WANG Z， LV T， CHANG Z. Computation offloading and resource allocation based on distributed deep learning and software defined mobile edge computing［J］. Computer Networks， 2022， 205： No.108732.

[40] ZHU T， ZHOU W， YE D， et al. Resource allocation in IoT edge computing via concurrent federated reinforcement learning［J］. IEEE Internet of Things Journal， 2022， 9（2）： 1414-1426.

[41] WANG D， QIN H， SONG B， et al. Resource allocation in information-centric wireless networking with D2D-enabled MEC： a deep reinforcement learning approach［J］. IEEE Access， 2019， 7： 114935-114944.

[42] WANG H， YANG X， SHI Y， et al. A proximal iteratively reweighted approach for efficient network sparsification［J］. IEEE Transactions on Computers， 2022， 71（1）： 185-196.

[43] PENG H， WU J， CHEN S， et al. Collaborative channel pruning for deep networks［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 5113-5122.

[44] HE Y， LIU P， WANG Z， et al. Filter pruning via geometric median for deep convolutional neural networks acceleration［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4335-4344.

[45] LI T， LI J， LIU Z， et al. Few sample knowledge distillation for efficient network compression［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 14627-14635.

[46] HAN S， MAO H， DALLY W J. Deep compression： compressing deep neural networks with pruning， trained quantization and Huffman coding［EB/OL］. （2016-02-15） ［2022-05-15］.https：//arxiv.org/pdf/1510.00149.pdf.

[47] CHEN W， WILSON J T， TYREE S， et al. Compressing neural networks with the hashing trick［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 2285-2294.

[48] DETTMERS T. 8-bit approximations for parallelism in deep learning［EB/OL］. （2016-02-19） ［2022-2-19］.https：//arxiv.org/pdf/1511.04561.pdf.

[49] ZHOU A， YAO A， GUO Y， et al. Incremental network quantization： Towards lossless CNNs with low-precision weights［EB/OL］. （2017-08-25） ［2022-08-25］.https：//arxiv.org/pdf/1702.03044.pdf.

[50] HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network［EB/OL］. （2015-03-09） ［2022-03-11］.https：//arxiv.org/pdf/1503.02531.pdf.

[51] MENG Z， LI J， ZHAO Y， et al. Conditional teacher-student learning［C］// Proceedings of the 2019 IEEE International Conference on Acoustics， Speech， and Signal Processing. Piscataway： IEEE， 2019： 6445-6449.

[52] MIRZADEH S I， FARAJTABAR M， LI A， et al. Improved knowledge distillation via teacher assistant［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 5191-5198.

[53] ZHAO Z， BARIJOUGH K M， GERSTLAUER A. DeepThings： distributed adaptive deep learning inference on resource-constrained IoT edge clusters［J］. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems， 2018， 37（11）： 2348-2359.

[54] PARK E， KIM D， KIM S， et al. Big/little deep neural network for ultra low power inference［C］// Proceedings of the 2015 International Conference on Hardware/Software Codesign and System Synthesis. Piscataway： IEEE， 2015： 124-132.

[55] TAYLOR B， MARCO V S， WOLFF W， et al. Adaptive deep learning model selection on embedded systems［J］. ACM SIGPLAN Notices， 2018， 53（6）： 31-43.

[56] TEERAPITTAYANON S， McDANEL B， KUNG H T. BranchyNet： fast inference via early exiting from deep neural networks［C］// Proceedings of the 23rd International Conference on Pattern Recognition. Piscataway： IEEE， 2016： 2464-2469.

[57] YAN H， YU P， LONG D. Study on deep unsupervised learning optimization algorithm based on cloud computing［C］// Proceedings of the 2019 International Conference on Intelligent Transportation， Big Data and Smart City. Piscataway： IEEE， 2019： 679-681.

[58] SENHAJI K， RAMCHOUN H， ETTAOUIL M. Training feedforward neural network via multiobjective optimization model using non-smooth1/2regularization［J］. Neurocomputing， 2020， 410： 1-11.

[59] McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.

[60] MILLS J， HU J， MIN G. Multi-task federated learning for personalised deep neural networks in edge computing［J］. IEEE Transactions on Parallel and Distributed Systems， 2022， 33（3）： 630-641.

[61] REIJONEN J， OPSENICA M， MORABITO R， et al. Regression training using model parallelism in a distributed cloud［C］// Proceedings of the IEEE 17th International Conference on Dependable， Autonomic and Secure Computing/ IEEE 17th International Conference on Pervasive Intelligence and Computing/ IEEE 5th International Conference on Cloud and Big Data Computing/ IEEE 4th Cyber Science and Technology Congress. Piscataway： IEEE， 2019： 741-747.

[62] XU Z， YU F， XIONG J， et al. Helios： heterogeneity-aware federated learning with dynamically balanced collaboration［C］// Proceedings of the 58th ACM/IEEE Design Automation Conference. Piscataway： IEEE， 2021： 997-1002.

[63] KANG J， XIONG Z， NIVATO D， et al. Incentive mechanism for reliable federated learning： a joint optimization approach to combining reputation and contract theory［J］. IEEE Internet of Things Journal， 2019， 6（6）： 10700-10714.

[64] PEREIRA FERREIRA A， SINNOTT R. A performance evaluation of containers running on managed kubernetes services［C］// Proceedings of the 2019 IEEE International Conference on Cloud Computing Technology and Science. Piscataway： IEEE， 2019： 199-208.

[65] XIONG Y， SUN Y， XING L， et al. Extend cloud to edge with kubeedge［C］// Proceedings of the 3rd ACM/IEEE Symposium on Edge Computing. Piscataway： IEEE， 2018： 373-377.

Survey of data-driven intelligent cloud-edge collaboration

TIAN Pengxin1， SI Guannan1*， AN Zhaoliang1， LI Jianxin1， ZHOU Fengyu2

（1，，250357，；2，，250061，）

With the rapid development of Internet of Things （IoT）， a large amount of data generated in edge scenarios such as sensors often needs to be transmitted to cloud nodes for processing， which brings huge transmission cost and processing delay. Cloud-edge collaboration provides a solution for these problems. Firstly， on the basis of comprehensive investigation and analysis of the development process of cloud-edge collaboration， combined with the current research ideas and progress of intelligent cloud-edge collaboration， the data acquisition and analysis， computation offloading technology and model-based intelligent optimization technology in cloud edge architecture were analyzed and discussed emphatically. Secondly， the functions and applications of various technologies in intelligent cloud-edge collaboration were analyzed deeply from the edge and the cloud respectively， and the application scenarios of intelligent cloud-edge collaboration technology in reality were discussed. Finally， the current challenges and future development directions of intelligent cloud-edge collaboration were pointed out.

cloud-edge collaboration; Artificial Intelligence (AI); computation offloading; model training and inference; data-driven

This work is partially supported by Natural Science Foundation of Shandong Province （ZR2019MF064）.

TIAN Pengxin，born in 1999， M.S. candidate. His research interests include big data， edge computing.

SI Guannan， born in 1981， Ph. D.， professor. His research interests include big data， cloud computing.

AN Zhaoliang， born in 1998， M. S. candidate. His research interests include big data， cloud computing.

LI Jianxin， born in 1997， M. S. candidate. His research interests include machine learning， cognitive graph.

ZHOU Fengyu， born in 1969， Ph. D.， professor. His research interests include intelligent robots， cloud robots.

1001-9081（2023）10-3162-08

10.11772/j.issn.1001-9081.2022091418

2022?09?22；

2023?01?05；

山東省自然科學(xué)基金資助項(xiàng)目（ZR2019MF064）。

田鵬新（1999—），男，山東濟(jì)寧人，碩士研究生，主要研究方向：大數(shù)據(jù)、邊緣計(jì)算； 司冠南（1981—），男，山東濟(jì)南人，教授，博士，主要研究方向：大數(shù)據(jù)、云計(jì)算； 安兆亮（1998—），男，山東濟(jì)南人，碩士研究生，主要研究方向：大數(shù)據(jù)、云計(jì)算； 李建辛（1997—），男，山東棗莊人，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)、認(rèn)知圖譜； 周風(fēng)余（1969—），男，山東沂南人，教授，博士，主要研究方向：智能機(jī)器人、云機(jī)器人。

TP399

A

2023?01?06。