邊緣智能：人工智能向邊緣分布式拓展的新觸角

莫梓嘉，高志鵬，苗東

北京郵電大學(xué)，網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100876

引 言

在過(guò)去的十幾年中，以云計(jì)算模型為核心的集中處理模式將計(jì)算能力、存儲(chǔ)能力和網(wǎng)絡(luò)管理集中化。隨著物聯(lián)網(wǎng)時(shí)代的到來(lái)，物聯(lián)終端設(shè)備數(shù)量爆發(fā)式增長(zhǎng)，根據(jù)IDC（International Data Corporation）預(yù)測(cè)，到2025年，全球物聯(lián)網(wǎng)設(shè)備數(shù)將達(dá)到416 億臺(tái)，產(chǎn)生79.4ZB 的數(shù)據(jù)量，同時(shí)這些物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)量將以28.7%的復(fù)合年增長(zhǎng)率（CAGR）增長(zhǎng)。

萬(wàn)物互聯(lián)時(shí)代的到來(lái)帶來(lái)了時(shí)延、能耗、性能、存儲(chǔ)、安全等方面的新需求，為了滿足以上需求，面向邊緣終端設(shè)備的進(jìn)行海量數(shù)據(jù)處理與分析的邊緣計(jì)算模型應(yīng)運(yùn)而生。邊緣計(jì)算是在網(wǎng)絡(luò)邊緣執(zhí)行計(jì)算的一種新型計(jì)算模型[1]，是部署在邊緣設(shè)備與云中心之間的一種新的計(jì)算范式，處理來(lái)自云的下行數(shù)據(jù)和物聯(lián)設(shè)備的上行數(shù)據(jù)。

從集中式的云計(jì)算模式到分布式的邊緣計(jì)算模式，更多的是從數(shù)據(jù)流轉(zhuǎn)和數(shù)據(jù)處理能力的角度考慮模式的轉(zhuǎn)變，然而隨著物聯(lián)設(shè)備數(shù)量的快速增長(zhǎng)，要求終端設(shè)備運(yùn)行智能計(jì)算并提供智能服務(wù)成為主要需求。2010年后，由于深度學(xué)習(xí)的興起，人工智能技術(shù)再次受到學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注。人工智能是一項(xiàng)使用機(jī)器實(shí)現(xiàn)、代替人類實(shí)現(xiàn)認(rèn)知、識(shí)別、分析、決策等功能的技術(shù), 其本質(zhì)是對(duì)人類意識(shí)與思維信息過(guò)程的模擬[2]。當(dāng)前人工智能技術(shù)主要分為四類：模式識(shí)別、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、智能算法，并成功應(yīng)用于圖像識(shí)別、語(yǔ)言識(shí)別、專家系統(tǒng)、智慧醫(yī)療、智能交通等領(lǐng)域。然而，由于人工智能方法包含大量的計(jì)算，當(dāng)前人工智能大部分計(jì)算任務(wù)部署在云計(jì)算中心等大規(guī)模計(jì)算資源集中的平臺(tái)上，這極大地限制了人工智能帶給人們的便利[3]。

物聯(lián)網(wǎng)時(shí)代的到來(lái)使得現(xiàn)有的集中式云計(jì)算服務(wù)向設(shè)備端下放計(jì)算資源，讓更多的數(shù)據(jù)處理任務(wù)就近完成。同樣地，對(duì)于人工智能技術(shù)而言，智能算法大多是需要強(qiáng)大計(jì)算能力作為支撐的計(jì)算密集型算法，然而當(dāng)下的技術(shù)發(fā)展趨勢(shì)更加偏向于靈活但是資源受限的終端設(shè)備。因此，將智能算法下沉到邊緣設(shè)備端進(jìn)行部署，結(jié)合邊緣數(shù)據(jù)的計(jì)算本地性與智能算法的強(qiáng)計(jì)算能力，同時(shí)解決資源受限問(wèn)題和實(shí)時(shí)處理問(wèn)題，催生出一個(gè)新的技術(shù)——邊緣智能。

1 邊緣智能研究趨勢(shì)與發(fā)展動(dòng)態(tài)分析

1.1 邊緣智能概念

邊緣智能是將人工智能引入邊緣場(chǎng)景的新技術(shù)，具體來(lái)講，邊緣智能是一種融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力，使邊緣設(shè)備執(zhí)行智能算法，提供智能服務(wù)并滿足時(shí)延率低、能耗量小、精確度高和安全可靠的關(guān)鍵需求的新興技術(shù)。它為邊緣計(jì)算設(shè)備提供了一個(gè)融合了數(shù)據(jù)聯(lián)接與管理、數(shù)據(jù)計(jì)算與分析、數(shù)據(jù)存儲(chǔ)與收發(fā)、業(yè)務(wù)智能決策與開展的開放式平臺(tái)，同時(shí)利用智能算法為邊緣計(jì)算節(jié)點(diǎn)提供任務(wù)遷移和任務(wù)卸載等智能服務(wù)，并進(jìn)一步滿足了實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能以及安全隱私等方面的行業(yè)需求，創(chuàng)造了一種邊緣計(jì)算與人工智能技術(shù)相互協(xié)同的新模式。邊緣智能使得用戶服務(wù)更加貼近數(shù)據(jù)側(cè)，這是在當(dāng)下物聯(lián)網(wǎng)時(shí)代以數(shù)據(jù)為驅(qū)動(dòng)的特定場(chǎng)景下提出的一種更加高效，更加便捷的計(jì)算方式。

1.2 邊緣智能研究趨勢(shì)

邊緣智能被提出至今僅有5年時(shí)間，尚處于探索階段，但其發(fā)展前景被業(yè)界廣泛看好，引起了高度關(guān)注。為了更清晰地確定邊緣智能的發(fā)展過(guò)程，本文以邊緣計(jì)算元年2015年[4]作為統(tǒng)計(jì)的開始，在谷歌學(xué)術(shù)上以“edge intelligence”為關(guān)鍵詞進(jìn)行搜索每年的文章數(shù)量，結(jié)果如圖1 所示。從2015年至今，邊緣智能相關(guān)的論文數(shù)量在逐年地小幅度上升，2018-2019年論文數(shù)量較之前顯著上升，但是整體的論文數(shù)量至今未破萬(wàn)篇，這代表在學(xué)術(shù)界該領(lǐng)域的研究進(jìn)展還處在初級(jí)的技術(shù)積累階段。盡管在工業(yè)界，以邊緣智能為核心思想的業(yè)務(wù)在不斷地發(fā)展壯大，但學(xué)術(shù)界對(duì)邊緣智能這一領(lǐng)域的研究依然缺少標(biāo)準(zhǔn)化、一體化的研究思路，這大大阻礙了邊緣智能的進(jìn)一步發(fā)展。

圖1 Edge intelligence 論文發(fā)表數(shù)量及趨勢(shì)Fig.1 Number of published papers and trends

圖2 邊緣智能的發(fā)展歷程及典型事件Fig.2 The development process and typical events of edge intelligence

圖2 列舉了邊緣智能在工業(yè)界發(fā)展中的典型事件，邊緣智能第一次出現(xiàn)在公眾的視野中是在歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)（ETSI）2015年9月發(fā)布的《移動(dòng)邊緣計(jì)算：一項(xiàng)通向5G 的關(guān)鍵技術(shù)》中，該報(bào)告提出了在移動(dòng)邊緣節(jié)點(diǎn)嵌入人工智能的相關(guān)技術(shù)的思路；2017年5月微軟在Build 大會(huì)上提出了智能云和智能邊緣的概念；2018年3月，阿里云發(fā)布了Link Edge，通過(guò)云邊一體的設(shè)計(jì)理念將阿里云的能力下沉到邊緣端，致力于用云端的能力解決邊緣端的問(wèn)題；2018年8月，由阿里集團(tuán)聯(lián)合多個(gè)物聯(lián)網(wǎng)產(chǎn)業(yè)鏈伙伴組成的ICA（IoT Connectivity Alliance）聯(lián)盟發(fā)布了《邊緣智能白皮書》；2018年11月邊緣計(jì)算產(chǎn)業(yè)聯(lián)盟（ECC）在北京主辦了以“邊緣智能、邊云協(xié)同”為主題的邊緣計(jì)算產(chǎn)業(yè)峰會(huì)。我們可以看到在短短的幾年時(shí)間內(nèi)，邊緣智能就獲得了學(xué)術(shù)界和產(chǎn)業(yè)界的一直青睞，相信隨著不斷地技術(shù)積累，未來(lái)還將有更多的技術(shù)被應(yīng)用在邊緣智 能領(lǐng)域。

1.3 邊緣智能計(jì)算模型發(fā)展動(dòng)態(tài)

本文將邊緣智能計(jì)算模型發(fā)展的過(guò)程分為四個(gè)階段：

技術(shù)儲(chǔ)備階段：在邊緣計(jì)算提出伊始，“邊緣+云”的模式開始在學(xué)術(shù)界被提出，此時(shí)邊緣節(jié)點(diǎn)之間與云中心相互獨(dú)立，在這個(gè)階段云端計(jì)算中心承擔(dān)著幾乎全部的工作任務(wù)，也并未向邊緣節(jié)點(diǎn)下沉計(jì)算資源，全網(wǎng)統(tǒng)一的算力面和數(shù)據(jù)面還未形成。

單一智能階段：物聯(lián)網(wǎng)時(shí)代的到來(lái)，興起了一批以數(shù)據(jù)為驅(qū)動(dòng)的技術(shù)，同時(shí)“邊緣+云”的工作模式也漸漸地被應(yīng)用到了更多的場(chǎng)景下。人工智能在視頻分析、語(yǔ)音識(shí)別等多項(xiàng)業(yè)務(wù)中表現(xiàn)突出，因此在這一階段，根據(jù)不同的業(yè)務(wù)需求，在邊緣節(jié)點(diǎn)上部署有針對(duì)性的單一化智能服務(wù)，以推動(dòng)智能向本地化發(fā)展。該階段尚未整合多種智能算法，且對(duì)邊緣設(shè)備側(cè)的實(shí)時(shí)響應(yīng)能力要求不高。

模型優(yōu)化階段：由于傳統(tǒng)的深度學(xué)習(xí)框架過(guò)于龐大，很難直接部署在邊緣計(jì)算平臺(tái)上，因此在這一階段，研究專注于以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型的壓縮、優(yōu)化、分割的問(wèn)題，最終實(shí)現(xiàn)輕量化的人工智能模型，并將輕量級(jí)的人工智能引擎引入邊緣計(jì)算平臺(tái)，使其具備在本地進(jìn)行小規(guī)模模型訓(xùn)練和推理的能力。同時(shí)，云端被要求實(shí)現(xiàn)一系列的邊緣節(jié)點(diǎn)調(diào)度和任務(wù)卸載策略，在這些基礎(chǔ)的策略算法搭建完成之后，人工智能技術(shù)的潛能才能被徹底激活。

協(xié)同計(jì)算階段：經(jīng)過(guò)上述三個(gè)階段的演進(jìn)與發(fā)展，本階段將形成以終端物聯(lián)設(shè)備、邊緣節(jié)點(diǎn)與云計(jì)算中心為計(jì)算框架，人工智能技術(shù)為驅(qū)動(dòng)導(dǎo)向的協(xié)同計(jì)算模式。該模式將提供資源豐富、響應(yīng)靈活的個(gè)性化智能服務(wù)。本階段主要在數(shù)據(jù)、算法、任務(wù)三個(gè)維度中體現(xiàn)邊云協(xié)同：數(shù)據(jù)協(xié)同打破“數(shù)據(jù)孤島”，算法協(xié)同破解數(shù)據(jù)隱私保護(hù)難題，任務(wù)協(xié)同為應(yīng)用場(chǎng)景提供多種類、一致性的智能服務(wù)[5]。

2 邊緣智能中的矛盾與挑戰(zhàn)

從邊緣智能的發(fā)展趨勢(shì)中不難看出，邊緣智能正逐漸從單一的智能化階段走向協(xié)同計(jì)算階段，計(jì)算模式的更新迭代一方面可以推動(dòng)相關(guān)技術(shù)的發(fā)展和進(jìn)步，另一方面，多方協(xié)同的計(jì)算模式必然會(huì)帶來(lái)很多的挑戰(zhàn)與矛盾。在協(xié)同計(jì)算的模式下，衡量邊緣智能技術(shù)主要依賴四個(gè)特性：實(shí)時(shí)性（時(shí)延低）、精確性（準(zhǔn)確率高）、能耗性（能量消耗低）和安全性（安全和隱私保護(hù)）。根據(jù)邊緣智能的四個(gè)特性，本文總結(jié)出邊緣智能發(fā)展的三個(gè)主要矛盾，并闡述由矛盾帶來(lái)的挑戰(zhàn)。

2.1 精確性與實(shí)時(shí)性之間的矛盾

邊緣智能中的時(shí)延包括計(jì)算時(shí)延和通信時(shí)延，前者取決于邊緣節(jié)點(diǎn)的能力和計(jì)算模型的規(guī)模，后者受影響于傳輸?shù)臄?shù)據(jù)量及網(wǎng)絡(luò)帶寬。由于深度學(xué)習(xí)的發(fā)展，當(dāng)前的智能模型多采用深度神經(jīng)網(wǎng)絡(luò)算法，大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型使計(jì)算結(jié)果準(zhǔn)確率提升的同時(shí)，也提高了邊緣節(jié)點(diǎn)的運(yùn)算時(shí)間，如何在保證計(jì)算結(jié)果精確度的情況下滿足邊緣智能計(jì)算實(shí)時(shí)性的需求，是邊緣智能研究中的重要挑戰(zhàn)。

2.2 精確性與能量消耗之間的矛盾

以分散方式訓(xùn)練智能模型時(shí)，計(jì)算和通信過(guò)程都消耗大量能源。但是對(duì)于大多數(shù)終端設(shè)備而言，它們都是能量受限的。能源效率主要受目標(biāo)訓(xùn)練模型的大小和邊緣設(shè)備資源規(guī)模的影響，一般來(lái)講，計(jì)算結(jié)果精確度要求越高，模型規(guī)模越大，所消耗的邊緣節(jié)點(diǎn)能量越大。邊緣智能的一個(gè)重要挑戰(zhàn)則是如何平衡計(jì)算模型精確度與邊緣節(jié)點(diǎn)的能量消耗。

2.3 服務(wù)質(zhì)量與隱私保護(hù)之間的矛盾

在用戶數(shù)據(jù)安全方面，由于邊緣節(jié)點(diǎn)靠近產(chǎn)生數(shù)據(jù)的用戶終端設(shè)備，因此使用邊緣節(jié)點(diǎn)來(lái)存儲(chǔ)數(shù)據(jù)可以在一定程度上避免數(shù)據(jù)泄露，達(dá)到用戶隱私保護(hù)的目的。但是人工智能算法作為以數(shù)據(jù)為驅(qū)動(dòng)的算法，往往需要海量數(shù)據(jù)作為支撐加以實(shí)現(xiàn)[6]。不充分的數(shù)據(jù)使得智能算法無(wú)法進(jìn)行完善的訓(xùn)練，降低算法的準(zhǔn)確率，從而最終影響服務(wù)質(zhì)量。因此，邊緣智能場(chǎng)景中如何在不影響服務(wù)質(zhì)量的情況下，保護(hù)數(shù)據(jù)隱私安全亟待研究。

3 主要研究方向

隨著邊緣智能研究的逐漸深入，各界研究人員直面挑戰(zhàn)，解決問(wèn)題，推動(dòng)相關(guān)技術(shù)的發(fā)展。針對(duì)上節(jié)分析的邊緣智能中的矛盾與挑戰(zhàn)，本節(jié)總結(jié)了當(dāng)前學(xué)術(shù)界的四個(gè)主要研究方向，包括模型優(yōu)化、任務(wù)資源分配、邊緣聯(lián)邦智能、云邊端協(xié)同。其中，模型優(yōu)化和任務(wù)資源分配主要解決了計(jì)算精確性與實(shí)時(shí)性、能量消耗之間的矛盾，不同點(diǎn)在于前者是從邊緣賦能智能的角度上出發(fā)，后者則是智能賦能邊緣的重要方向。邊緣聯(lián)邦智能主要目的在于解決服務(wù)質(zhì)量與隱私保護(hù)之間的問(wèn)題，云邊端協(xié)同則在協(xié)同架構(gòu)角度上綜合性地解決了上述提出的三大矛盾與挑戰(zhàn)。

3.1 模型優(yōu)化

當(dāng)邊緣計(jì)算設(shè)備嵌入人工智能技術(shù)時(shí)，相較于云端高性能的計(jì)算能力，邊緣側(cè)的計(jì)算設(shè)備計(jì)算能力有限，同時(shí)，移動(dòng)設(shè)備在面對(duì)海量數(shù)據(jù)的輸入時(shí)其存儲(chǔ)能力也相對(duì)有限，而深度神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)驅(qū)動(dòng)的技術(shù)，因此大規(guī)模的數(shù)據(jù)和模型訓(xùn)練過(guò)程是無(wú)法避免的。面對(duì)這樣的窘境，如何開發(fā)、優(yōu)化、壓縮、分割神經(jīng)網(wǎng)絡(luò)模型就成為了邊緣智能領(lǐng)域中最為重要的研究方向之一。目前為止，學(xué)術(shù)界及產(chǎn)業(yè)界提出的多樣的模型壓縮方式以及模型分割技術(shù)，比如：模型剪枝、模型量化、低秩因子分解、知識(shí)蒸餾、緊湊型網(wǎng)絡(luò)設(shè)計(jì)以及模型分割等。根據(jù)優(yōu)化思路的差異，如圖3所示，我們將現(xiàn)有的模型優(yōu)化策略分為三類，結(jié)構(gòu)性優(yōu)化策略、非結(jié)構(gòu)性優(yōu)化策略以及協(xié)同性優(yōu)化策略。

圖3 網(wǎng)絡(luò)模型優(yōu)化策略分類Fig.3 The classification of network optimization strategies

對(duì)于結(jié)構(gòu)性優(yōu)化策略來(lái)講，在保證一定準(zhǔn)確率的情況下，致力于將深度神經(jīng)網(wǎng)絡(luò)中冗余的或?qū)φ麄€(gè)模型影響較小的信息進(jìn)行剔除或壓縮，從而達(dá)到減少計(jì)算和存儲(chǔ)開銷的目的，這類優(yōu)化策略主要關(guān)注的是網(wǎng)絡(luò)模型本身，基于固定的網(wǎng)絡(luò)模型來(lái)進(jìn)行模型優(yōu)化。

剪枝[7-10]是模型結(jié)構(gòu)性優(yōu)化中使用最多的方法，通常是尋找一種有效的評(píng)判手段，來(lái)考量參數(shù)對(duì)于模型的重要性，在保證模型的準(zhǔn)確性的基礎(chǔ)下，將不重要的參數(shù)剔除來(lái)進(jìn)行參數(shù)量的縮減，模型剪枝算法在云中心執(zhí)行，并將剪枝后的模型分配到邊緣計(jì)算節(jié)點(diǎn)。模型量化[11-12]也是近年來(lái)模型優(yōu)化研究的熱點(diǎn)。量化神經(jīng)網(wǎng)絡(luò)中8 位整型表示32 位的浮點(diǎn)型數(shù)，通過(guò)犧牲精度來(lái)降低每一個(gè)參數(shù)所需要占用的空間。當(dāng)參數(shù)規(guī)模很大時(shí)，模型量化可以很好地壓縮存儲(chǔ)空間，使其更加適配于存儲(chǔ)敏感的邊緣節(jié)點(diǎn)。這對(duì)于邊緣智能來(lái)說(shuō)，無(wú)疑是很有效的方式，也是近年來(lái)使用較多的一種方式。深度神經(jīng)網(wǎng)絡(luò)旨在挖掘并去除網(wǎng)絡(luò)中參數(shù)和特征的冗余信息，從而達(dá)到減少網(wǎng)絡(luò)參數(shù)。這恰恰與邊緣智能中的邊緣節(jié)點(diǎn)對(duì)于模型的需求相同。研究者發(fā)現(xiàn)對(duì)于參數(shù)矩陣它們往往具有低秩的性質(zhì)，存在大量冗余，因此可以使用SVD 等方法將權(quán)值矩陣分解成多個(gè)小矩陣的乘積，使用這種方式可以有效的降低參數(shù)間的冗余信息，達(dá)到模型壓縮的目的。Tai C[13]等人在2016年提出從零開始訓(xùn)練低秩卷積網(wǎng)絡(luò)模型的方法，也是基于低秩近似的思想完成的。目前，低秩分解的方式雖然已經(jīng)發(fā)展較為成熟，但是在實(shí)際場(chǎng)景下的應(yīng)用并不多，其中一個(gè)重要原因是越來(lái)越多的網(wǎng)絡(luò)已經(jīng)開始使用1x1 的卷積核，對(duì)這種小的卷積核用低秩分解的方式無(wú)法對(duì)網(wǎng)絡(luò)加速和壓縮。

與結(jié)構(gòu)性優(yōu)化策略完全不同的是，在非結(jié)構(gòu)性優(yōu)化策略中，不關(guān)注模型本身的結(jié)構(gòu)，而是將深度神經(jīng)網(wǎng)絡(luò)模型視作黑盒，只關(guān)注系統(tǒng)的輸入輸出情況。在這種優(yōu)化策略中，致力于重新構(gòu)造網(wǎng)絡(luò)模型，在保證與原復(fù)雜模型功能實(shí)現(xiàn)相同的情況下，設(shè)計(jì)更輕量化、更適于應(yīng)用在邊緣側(cè)的網(wǎng)絡(luò)。前三類方法并沒(méi)有改變整個(gè)網(wǎng)絡(luò)模型的結(jié)構(gòu)，而是針對(duì)模型中的冗余信息進(jìn)行壓縮，而本節(jié)中的兩種方法則徹底地改變了整個(gè)模型，使用另外的模型替代現(xiàn)有模型已達(dá)到同樣的目的，這是兩種截然不同的設(shè)計(jì)思路，但對(duì)于邊緣節(jié)點(diǎn)來(lái)講，只要最終達(dá)到了模型參數(shù)壓縮和存儲(chǔ)壓縮，使用不同的方式可以起到同樣的作用。

知識(shí)蒸餾方法采用的是遷移學(xué)習(xí)的方式，通過(guò)采用預(yù)先訓(xùn)練好的復(fù)雜模型的輸出作為監(jiān)督信號(hào)去訓(xùn)練另外一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)。利用知識(shí)遷移來(lái)壓縮模型最早由Caruana 等人[14]提出，他們訓(xùn)練了帶有偽數(shù)據(jù)標(biāo)記的強(qiáng)分類器的壓縮模型，并復(fù)制了原始網(wǎng)絡(luò)的輸出，后來(lái)Hinton[15]等人引入了知識(shí)蒸餾的框架，提出了“學(xué)生-教師網(wǎng)絡(luò)”這一概念，其中教師網(wǎng)絡(luò)一般是一個(gè)泛化能力較強(qiáng)的深層網(wǎng)絡(luò)模型，它的性能良好，可以用來(lái)監(jiān)督輕量化的網(wǎng)絡(luò)模型，即“學(xué)生網(wǎng)絡(luò)”，通過(guò)“懲罰“教師和學(xué)生之間輸出的損失值，使學(xué)生輸出逐漸逼近教師模型的輸出?；谥R(shí)蒸餾的方法能令復(fù)雜度很高的深度神經(jīng)網(wǎng)絡(luò)模型顯著降低計(jì)算成本，但同時(shí)這類方法的局限性也很強(qiáng)，只能應(yīng)用于具有softmax 損失函數(shù)的分類任務(wù)中。緊湊網(wǎng)絡(luò)設(shè)計(jì)的方式是在模型構(gòu)建的初始階段就選擇小而冗余度低的網(wǎng)絡(luò)，比如將原本的3x3 卷積核替換為1x1 的卷積核，或者減少卷積核的輸入通道數(shù)量，這樣在保證結(jié)果的準(zhǔn)確率的情況下，大大的壓縮了存儲(chǔ)空間，目前緊湊型的設(shè)計(jì)中最有名的是MobileNets 系列以及Inception 系列，他們都很好的應(yīng)用到了移動(dòng)端的深度學(xué)習(xí)開發(fā)當(dāng)中。

最后一類優(yōu)化策略則是基于“邊云”協(xié)同模式下的一種個(gè)性化設(shè)計(jì)策略，與前兩類策略不同，協(xié)同性優(yōu)化策略根據(jù)邊緣節(jié)點(diǎn)的計(jì)算資源、存儲(chǔ)能力的差異以及不同場(chǎng)景對(duì)于計(jì)算時(shí)延和精確度的要求，設(shè)計(jì)提供了不同的模型退出和切分點(diǎn)，使模型得到了精簡(jiǎn)和優(yōu)化。典型例子是Li En 等人[16]提出的Edgent 協(xié)同按需推理框架，能夠?qū)崿F(xiàn)在設(shè)備和邊緣之間自適應(yīng)的劃分深度神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)按需低延遲邊緣智能服務(wù)。

3.2 任務(wù)資源分配

在邊緣計(jì)算模式中，云計(jì)算中心的計(jì)算任務(wù)將部分遷移到多個(gè)網(wǎng)絡(luò)邊緣，通過(guò)在云數(shù)據(jù)中心與邊緣服務(wù)器之間進(jìn)行動(dòng)態(tài)任務(wù)卸載和資源調(diào)度，減輕云計(jì)算中心的計(jì)算壓力，減少網(wǎng)絡(luò)主干帶寬的使用，并提升服務(wù)響應(yīng)能力和數(shù)據(jù)隱私保護(hù)能力。當(dāng)使用人工智能技術(shù)與邊緣計(jì)算結(jié)合后，任務(wù)卸載的研究同樣適用于邊緣智能，以用來(lái)優(yōu)化AI 模型中產(chǎn)生的計(jì)算時(shí)延、能耗和精確性等多種性能。

任務(wù)資源分配的主要目的是減少服務(wù)的響應(yīng)延遲，降低能耗，節(jié)約網(wǎng)絡(luò)流量和提高服務(wù)質(zhì)量等。當(dāng)終端節(jié)點(diǎn)不具有處理能力時(shí)，可以將計(jì)算卸載到邊緣服務(wù)器或云數(shù)據(jù)中心，以提高系統(tǒng)的整體性能。云邊協(xié)同場(chǎng)景下的任務(wù)卸載，將任務(wù)智能地卸載到云端或邊緣節(jié)點(diǎn)上，在遠(yuǎn)程云中進(jìn)行大規(guī)模數(shù)據(jù)訓(xùn)練得到源神經(jīng)網(wǎng)絡(luò)，在邊緣節(jié)點(diǎn)加載預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)并自定義預(yù)測(cè)模型、訓(xùn)練模型和進(jìn)行任務(wù)卸載。He Li 等人[17]提出在視頻圖片信息處理場(chǎng)景下，在深度學(xué)習(xí)的中間層加入邊緣服務(wù)器處理低層數(shù)據(jù)，縮減數(shù)據(jù)之后傳給云中心，減少網(wǎng)絡(luò)流量，并且縮減后數(shù)據(jù)不具有語(yǔ)義，以此來(lái)保障安全性。并提出了在線和離線調(diào)度算法，調(diào)節(jié)邊緣服務(wù)器所在層數(shù)，最大化邊緣服務(wù)器可調(diào)節(jié)的任務(wù)數(shù)量。

3.3 邊緣聯(lián)邦智能

在邊緣智能場(chǎng)景中，如何在不影響服務(wù)質(zhì)量的情況下，保護(hù)數(shù)據(jù)隱私安全正在逐漸成為人工智能的下一個(gè)挑戰(zhàn)，邊緣計(jì)算由于其將數(shù)據(jù)儲(chǔ)存在邊緣設(shè)備端的架構(gòu)優(yōu)勢(shì)，在一定程度上增強(qiáng)了數(shù)據(jù)的安全與隱私保護(hù)。然而，數(shù)據(jù)在不同邊緣節(jié)點(diǎn)相互獨(dú)立存儲(chǔ)、維護(hù)、管理，容易形成數(shù)據(jù)孤島。聯(lián)邦學(xué)習(xí)的產(chǎn)生為邊緣智能打破數(shù)據(jù)屏障和進(jìn)一步發(fā)展提供了新的思路。

圖4 云邊端協(xié)同架構(gòu)示例Fig.4 The example of Cloud-Edge-Device collaborative architecture

聯(lián)邦學(xué)習(xí)本質(zhì)上是一種加密的分布式機(jī)器學(xué)習(xí)技術(shù)，各個(gè)參與方可在不批露底層數(shù)據(jù)和底層數(shù)據(jù)的加密形態(tài)的前提下共建模型，在保護(hù)本地?cái)?shù)據(jù)的前提下讓多個(gè)數(shù)據(jù)擁有方聯(lián)合建立共有的模型，從而實(shí)現(xiàn)了以保護(hù)隱私和數(shù)據(jù)安全為前提的互利共贏。對(duì)于邊緣智能領(lǐng)域而言，聯(lián)邦學(xué)習(xí)具有天然優(yōu)勢(shì)。首先，聯(lián)邦學(xué)習(xí)架構(gòu)與邊緣計(jì)算架構(gòu)類似，都是計(jì)算資源與服務(wù)的下沉與分散化，通過(guò)協(xié)同終端設(shè)備與邊緣服務(wù)器，使得聯(lián)邦學(xué)習(xí)可以與邊緣計(jì)算進(jìn)行很好的結(jié)合；其次，針對(duì)邊緣設(shè)備的智能化需求，聯(lián)邦學(xué)習(xí)通過(guò)多客戶端協(xié)同優(yōu)化模型，參與優(yōu)化的邊緣設(shè)備服務(wù)模型可以在迭代訓(xùn)練中不停完善，從而持續(xù)提高邊緣設(shè)備智能化程度；最后，在聯(lián)邦學(xué)習(xí)框架下邊緣設(shè)備數(shù)據(jù)不對(duì)外泄露，可以有效地保障智能設(shè)備內(nèi)隱私數(shù)據(jù)安全，在智能安全的前提下解決邊緣智能中的數(shù)據(jù)孤島問(wèn)題。總而言之，邊緣智能和聯(lián)邦學(xué)習(xí)的有機(jī)結(jié)合——“邊緣聯(lián)邦智能”將為學(xué)術(shù)界和工業(yè)界進(jìn)一步展開研究提供新的機(jī)遇。

3.4 云邊端協(xié)同架構(gòu)

隨著邊緣智能相關(guān)技術(shù)的發(fā)展，如何把云中心、邊緣計(jì)算以及物聯(lián)設(shè)備進(jìn)行連接和計(jì)算力的協(xié)同，發(fā)揮云中心規(guī)?；?、邊緣計(jì)算本地化與終端感知快速?zèng)Q策等方面的優(yōu)勢(shì)，并平衡精確性、實(shí)時(shí)、能耗和隱私安全是一個(gè)關(guān)鍵問(wèn)題。圖4 給出了云邊端協(xié)同架構(gòu)的模型示例，“云-邊-端”協(xié)同架構(gòu)是以云為中心，向邊緣節(jié)點(diǎn)、物聯(lián)終端逐層分散延伸的網(wǎng)絡(luò)架構(gòu)，這其中涉及到云邊協(xié)同、邊邊協(xié)同和邊端協(xié)同三種協(xié)同方式。

（1）云邊協(xié)同：云計(jì)算與邊緣計(jì)算的協(xié)同方式是目前研究者和產(chǎn)業(yè)界探索最多的一種協(xié)同模式，云計(jì)算強(qiáng)大的存儲(chǔ)和計(jì)算能力能夠確保大規(guī)模、長(zhǎng)周期的智能處理與分析，邊緣計(jì)算的實(shí)時(shí)性則更好地支撐了局部、短周期的實(shí)時(shí)智能決策與執(zhí)行。云邊協(xié)同的場(chǎng)景下，云根據(jù)邊緣上傳的數(shù)據(jù)或模型來(lái)分析、存儲(chǔ)，并將訓(xùn)練好的模型下發(fā)至邊緣端，邊緣進(jìn)行終端數(shù)據(jù)的采集并實(shí)時(shí)更新云下發(fā)的數(shù)據(jù)或模型。這種協(xié)同方式支持?jǐn)?shù)據(jù)在邊緣和云之間進(jìn)行可控有序流動(dòng)，完成自主學(xué)習(xí)閉環(huán)。

（2）邊邊協(xié)同：在邊緣智能場(chǎng)景中，單個(gè)的邊緣節(jié)點(diǎn)計(jì)算和存儲(chǔ)能力有限，且數(shù)據(jù)來(lái)源受限，需要多個(gè)邊緣節(jié)點(diǎn)協(xié)同訓(xùn)練。每個(gè)邊緣節(jié)點(diǎn)作為計(jì)算節(jié)點(diǎn)承擔(dān)模型訓(xùn)練或數(shù)據(jù)分析任務(wù)，邊緣節(jié)點(diǎn)擁有整個(gè)或部分模型，訓(xùn)練集來(lái)源于云端下發(fā)的數(shù)據(jù)或者由邊緣自身產(chǎn)生的數(shù)據(jù)生成。訓(xùn)練后的模型參數(shù)更新到中心節(jié)點(diǎn)或者其他節(jié)點(diǎn)中得到完整模型。早在2012年，Jeffrey Dean[18]就提出了大規(guī)模分布式訓(xùn)練思想，并證明具有訓(xùn)練大型模型能力的系統(tǒng)能夠顯著地提升深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果。在邊緣智能場(chǎng)景下，該分布式訓(xùn)練的意義仍然存在。與傳統(tǒng)分布式訓(xùn)練不同的是，在邊邊協(xié)同的場(chǎng)景下，邊緣節(jié)點(diǎn)存在資源差異性、動(dòng)態(tài)變化性和通信差異性。不同邊緣節(jié)點(diǎn)之間的存儲(chǔ)計(jì)算能力、承擔(dān)計(jì)算任務(wù)、通信帶寬質(zhì)量差異較大，同一邊緣節(jié)點(diǎn)在不同時(shí)刻的計(jì)算能力也有所不同，這種協(xié)同方式支持邊緣節(jié)點(diǎn)的任務(wù)和資源合理分配，使得效率最大化。

（3）邊端協(xié)同：邊端協(xié)同中的“端”指物端設(shè)備，邊端協(xié)同更注重智能調(diào)度和安全接入，本身與應(yīng)用場(chǎng)景高度相關(guān)。在邊端協(xié)同場(chǎng)景下，物端設(shè)備實(shí)時(shí)地收集數(shù)據(jù)并上傳至邊緣服務(wù)器，邊緣服務(wù)器采集多源的實(shí)時(shí)數(shù)據(jù)后進(jìn)行計(jì)算與分析，向終端發(fā)出指令，指導(dǎo)終端向用戶提供各種不同的服務(wù)。由于物端設(shè)備與用戶關(guān)系緊密，因此，邊端協(xié)同被認(rèn)為是實(shí)現(xiàn)智能化服務(wù)的重要一環(huán)[6]。

4 邊緣智能應(yīng)用場(chǎng)景

針對(duì)目前邊緣智能的典型場(chǎng)景，本文介紹三個(gè)應(yīng)用案例。

4.1 基于云邊端協(xié)同的道路交通監(jiān)測(cè)系統(tǒng)

道路交通設(shè)施監(jiān)測(cè)管理以及路口流量（人流/車流）監(jiān)控是智慧交通中最主要的兩大應(yīng)用場(chǎng)景。傳統(tǒng)的云端管理平臺(tái)無(wú)法保障對(duì)于交通的精確化、實(shí)時(shí)化管理。因此楊志華[19]等人提出了基于邊緣智能的PLC-IoT(Power Line Communication)全聯(lián)接平臺(tái)設(shè)計(jì)。如圖5 所示，該平臺(tái)共分為四層：其中終端設(shè)備層包括道路上的各種交通控制設(shè)備，這些設(shè)備負(fù)責(zé)下達(dá)指令和設(shè)備感知；第二層為邊緣智能層，終端設(shè)備層通過(guò)電力載波PLC 與邊緣智能層進(jìn)行實(shí)時(shí)通信；第三層為網(wǎng)絡(luò)層，其負(fù)責(zé)邊緣智能層與云應(yīng)用服務(wù)層的網(wǎng)絡(luò)連接。邊緣節(jié)點(diǎn)收集來(lái)自本交叉口的信號(hào)燈，倒計(jì)時(shí)牌等終端設(shè)備的數(shù)據(jù)，運(yùn)行智能算法對(duì)各個(gè)設(shè)備進(jìn)行狀態(tài)檢測(cè)與維護(hù)、智能分析等操作。同時(shí)需要將分析結(jié)果上傳云端，以實(shí)現(xiàn)大范圍的交通設(shè)備管理服務(wù)。云端收集不同交叉路的匯總數(shù)據(jù)，綜合分析給出交通優(yōu)化策略。該平臺(tái)的提出實(shí)現(xiàn)了智能交通信息的實(shí)時(shí)響應(yīng)，大大提高了交通運(yùn)行效率。

圖5 基于云邊端協(xié)同的道路交通監(jiān)測(cè)系統(tǒng)架構(gòu)圖Fig.5 Architecture diagram of traffic monitoring system

4.2 基于云邊協(xié)同的嵌入式人像識(shí)別安防系統(tǒng)

近年來(lái)，在智能安防領(lǐng)域由于現(xiàn)有的攝像頭無(wú)論在數(shù)量還是安置位置上都很難滿足抓拍到符合條件的人臉圖像的要求，且受到人面部特征（發(fā)型、胡須）以及佩戴的各種飾品的因素影響，人臉識(shí)別和追蹤的精確度很難保障。為此商湯科技[20]推出了SenseDLC 嵌入式人像識(shí)別SDK 軟件。該項(xiàng)技術(shù)的實(shí)質(zhì)是邊云協(xié)同下的人工智能技術(shù)。如圖6 所示，商湯科技在云端依靠GPU 集群通過(guò)億級(jí)別的人臉訓(xùn)練過(guò)程完成了模型的建立，隨后將訓(xùn)練后的深度學(xué)習(xí)模型集成到邊緣側(cè)的攝像頭中，使得該攝像頭可以實(shí)現(xiàn)人臉結(jié)合人體的綜合檢測(cè)，同時(shí)它提取了23項(xiàng)影響人面部特征的因素進(jìn)行建模，使得原先模型識(shí)別和追蹤精確度較低的問(wèn)題得到大幅度改善。值得注意的是，上述功能均在邊緣側(cè)的攝像頭中得到實(shí)現(xiàn)，這一改變，大大降低了傳輸過(guò)程中的時(shí)延以及云中心的視頻處理壓力，使得云中心可以更好地對(duì)分布在不同區(qū)域的智能攝像頭進(jìn)行監(jiān)控和數(shù)據(jù)分析。該技術(shù)由于支持各類主流的神經(jīng)網(wǎng)絡(luò)芯片平臺(tái)，因此可以很好地應(yīng)用于小區(qū)、校園、商場(chǎng)等人員流動(dòng)密集區(qū)域。

圖6 SenseDLC 嵌入式人像識(shí)別SDK 軟件在小區(qū)門禁場(chǎng)景下的應(yīng)用Fig.6 Application of SenseDLC embedded portrait recognition SDK software in community access control

4.3 基于情境感知的智能家居節(jié)能系統(tǒng)

智慧家庭是邊緣智能技術(shù)的典型應(yīng)用場(chǎng)景之一，其旨在對(duì)各類家庭終端設(shè)備進(jìn)行實(shí)時(shí)監(jiān)控和智能分析以達(dá)到提高用戶舒適度的目的，家庭中的終端設(shè)備包括用于采集室內(nèi)狀況的各類傳感器以及記錄用水用電的各類監(jiān)測(cè)器，傳統(tǒng)的智能家庭系統(tǒng)難以滿足用戶對(duì)于低延時(shí)、個(gè)性化、隱私保護(hù)等的服務(wù)需求，為此周莎[21]提出了基于情境感知的智能家居節(jié)能系統(tǒng)，實(shí)現(xiàn)了邊緣數(shù)據(jù)情境化管理以及數(shù)據(jù)趨勢(shì)等功能。如圖7 所示，該系統(tǒng)主要分為終端設(shè)備、智能網(wǎng)關(guān)和云中心三層。首先基于收集到的海量家庭數(shù)據(jù)信息在云端對(duì)各功能模塊的深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，接著將模型下沉至家庭中的邊緣智能網(wǎng)關(guān)節(jié)點(diǎn)，這些節(jié)點(diǎn)將會(huì)采集不同終端傳送的本地化數(shù)據(jù)，以此進(jìn)一步在預(yù)訓(xùn)練模型中加入個(gè)性化特征。同時(shí)，智能網(wǎng)關(guān)將使用流行的機(jī)器學(xué)習(xí)預(yù)測(cè)算法GBDT、XGBoost、LightGBM 等進(jìn)一步保障模型對(duì)于室內(nèi)溫度、濕度、用電、用水等數(shù)據(jù)的預(yù)測(cè)精確度，最后結(jié)合用戶設(shè)置的各類舒適度參數(shù)，為用戶提供自動(dòng)化的控制、預(yù)警等服務(wù)。

5 結(jié)論與展望

將人工智能技術(shù)引入邊緣計(jì)算環(huán)境從而產(chǎn)生的邊緣智能作為一種新興技術(shù)，從2015年首次提出至今經(jīng)過(guò)近幾年的研究發(fā)展和技術(shù)儲(chǔ)備，已經(jīng)得到了來(lái)自國(guó)內(nèi)外政府、學(xué)術(shù)界和工業(yè)界的廣泛重視。雖然仍處于初期發(fā)展階段，但得益于邊緣計(jì)算和人工智能相關(guān)技術(shù)的快速發(fā)展，邊緣智能正在由技術(shù)儲(chǔ)備期走向快速發(fā)展期，并在許多場(chǎng)景下發(fā)揮 作用。

圖7 基于情境感知的智能家居系統(tǒng)架構(gòu)圖Fig.7 Architecture diagram of smart home system

本文從邊緣智能發(fā)展動(dòng)態(tài)分析出發(fā)，總結(jié)了邊緣智能在時(shí)延、精確度、能耗和安全隱私之間的三個(gè)主要矛盾，并由此提出了邊緣智能面臨的挑戰(zhàn)，針對(duì)這三個(gè)主要矛盾與挑戰(zhàn)歸納了當(dāng)前學(xué)術(shù)界和產(chǎn)業(yè)界相關(guān)學(xué)者研究的四個(gè)方向，并列舉了邊緣智能場(chǎng)景下的應(yīng)用范例。在可以預(yù)見的將來(lái)，隨著技術(shù)的逐漸成熟以及新的應(yīng)用場(chǎng)景出現(xiàn)，邊緣智能技術(shù)將得到更大的發(fā)展。

本文相信，在進(jìn)一步完成技術(shù)儲(chǔ)備后，邊緣智能將會(huì)在未來(lái)進(jìn)入高速發(fā)展階段，在工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和智慧城市等智能化產(chǎn)業(yè)建設(shè)領(lǐng)域取得更大的成就，為產(chǎn)業(yè)升級(jí)和學(xué)術(shù)發(fā)展提供助力。在面向萬(wàn)物互聯(lián)的場(chǎng)景下，為了滿足更低時(shí)延、更低能耗、更高可靠、更智能服務(wù)等需求，人工智能和邊緣計(jì)算技術(shù)在向一種全局協(xié)同的組合形態(tài)進(jìn)階，邊緣智能是人工智能向邊緣側(cè)分布式拓展的新觸角。

利益沖突聲明

所有作者聲明不存在利益沖突關(guān)系。