天基邊緣計算系統(tǒng)設(shè)計及關(guān)鍵技術(shù)

張飛，陳小前，曹璐，覃江毅，湯敏，郭鵬宇，冉德超

天基邊緣計算系統(tǒng)設(shè)計及關(guān)鍵技術(shù)

張飛，陳小前，曹璐，覃江毅，湯敏，郭鵬宇，冉德超

（軍事科學(xué)院 國防科技創(chuàng)新研究院，北京 100071）

衛(wèi)星具有覆蓋范圍廣、抗災(zāi)害性強(qiáng)等特點(diǎn)，隨著衛(wèi)星研制與發(fā)射成本的不斷降低，推動衛(wèi)星與地面移動通信網(wǎng)絡(luò)、物聯(lián)網(wǎng)（IoT）、云計算中心深度融合，構(gòu)建天地一體化網(wǎng)絡(luò)和應(yīng)用架構(gòu)，已成為航天發(fā)展的重要方向。隨著地面多用戶、大數(shù)據(jù)量的接入，亟須開展衛(wèi)星在軌數(shù)據(jù)處理技術(shù)相關(guān)研究，提升衛(wèi)星的在軌服務(wù)能力和質(zhì)量。本文提出了對衛(wèi)星計算資源進(jìn)行整合，構(gòu)建天基邊緣計算系統(tǒng)，并提出了天基邊緣計算的3種資源管理策略和4種平臺部署協(xié)同模式。此外，對天基邊緣計算的優(yōu)勢和還需解決的關(guān)鍵技術(shù)進(jìn)行了分析，并搭建了天基邊緣計算原型系統(tǒng)，對不同計算卸載策略性能進(jìn)行了分析。

天基邊緣計算；云-邊-端架構(gòu)；計算卸載；云計算；邊緣協(xié)同

0　引言

目前，全球地面移動通信服務(wù)只能覆蓋約20%的陸地面積和6%的地球表面積［1］。衛(wèi)星具有全球覆蓋、部署靈活、無國界、抗自然災(zāi)害能力強(qiáng)等優(yōu)點(diǎn)，是地面基礎(chǔ)設(shè)施的重要支撐和補(bǔ)充。將5G通信網(wǎng)與天基通信網(wǎng)絡(luò)融合，已成為6G通信技術(shù)發(fā)展的必然趨勢［2］。在天地一體化網(wǎng)絡(luò)的基礎(chǔ)架構(gòu)下，越來越多的地面應(yīng)用將向衛(wèi)星延伸，這是航天發(fā)展的機(jī)遇也是挑戰(zhàn)。例如，在物聯(lián)網(wǎng)場景下，對戈壁、沙漠、海洋、極地等地面基礎(chǔ)設(shè)施很難覆蓋的區(qū)域，衛(wèi)星幾乎成了最有效的收集地面?zhèn)鞲衅鲾?shù)據(jù)的手段。但隨著物聯(lián)網(wǎng)（Internet of Things，IoT）技術(shù)的發(fā)展，衛(wèi)星必然面臨多用戶接入、海量數(shù)據(jù)接收、快速處理轉(zhuǎn)發(fā)等一系列挑戰(zhàn)。

為應(yīng)對上述挑戰(zhàn)，必須提升衛(wèi)星的在軌數(shù)據(jù)處理能力。當(dāng)前，衛(wèi)星對獲取的數(shù)據(jù)主要有2種處理方式：

1）地面處理，如圖1（a）所示。衛(wèi)星獲得數(shù)據(jù)后將數(shù)據(jù)轉(zhuǎn)發(fā)至地面數(shù)據(jù)處理中心進(jìn)行處理。如果處理后的數(shù)據(jù)還需分發(fā)給無地面通信網(wǎng)絡(luò)覆蓋的用戶時，還需再次通過衛(wèi)星轉(zhuǎn)發(fā)給用戶。這種數(shù)據(jù)處理方式首先會導(dǎo)致巨大的網(wǎng)絡(luò)帶寬開銷，尤其是對異常寶貴的星地帶寬資源，同時由于衛(wèi)星消耗大量的能源用于數(shù)據(jù)傳輸，也會對衛(wèi)星其他業(yè)務(wù)造成影響。其次，這種方式會導(dǎo)致數(shù)據(jù)多次轉(zhuǎn)發(fā)，極大地增加了對用戶的響應(yīng)時延。如圖1（a）中，單次數(shù)據(jù)采集需要5次轉(zhuǎn)發(fā)才能達(dá)到用戶。如果衛(wèi)星是在非地球同步軌道上且數(shù)據(jù)傳輸量較大時，時延中還需加入衛(wèi)星重訪周期和地面站可見性帶來的時延。因此，這種數(shù)據(jù)處理方式很難滿足未來天地一體化網(wǎng)絡(luò)的發(fā)展需求。

2）在軌處理，如圖1（b）所示。衛(wèi)星獲得數(shù)據(jù)后直接在軌進(jìn)行處理后分發(fā)給用戶。這種方式極大地降低對網(wǎng)絡(luò)帶寬資源的消耗，增加對用戶的響應(yīng)時延。但隨著航天技術(shù)的發(fā)展，這種數(shù)據(jù)處理方式也面臨著諸多挑戰(zhàn)。受太空環(huán)境、衛(wèi)星能源等多方面因素的限制，衛(wèi)星數(shù)據(jù)處理單元的硬件性能很難達(dá)到地面數(shù)據(jù)處理中心的水平。這就需要從體系架構(gòu)、軟件、算法等方面入手，充分提升硬件資源的利用率，從而提升衛(wèi)星在軌數(shù)據(jù)處理能力。此外，隨著衛(wèi)星研制和發(fā)射成本的不斷降低，為提升衛(wèi)星的時間和空間覆蓋率，衛(wèi)星多以星座形式進(jìn)行部署，如“星鏈”計劃、美太空七層架構(gòu)、鴻雁星座、虹云星座等。傳統(tǒng)的在軌數(shù)據(jù)處理方式很難實現(xiàn)多星協(xié)同和硬件資源共享。

邊緣計算技術(shù)將計算資源前移到靠近數(shù)據(jù)地方，從而降低數(shù)據(jù)處理時延。同時，利用虛擬化技術(shù)對硬件資源進(jìn)行抽象，非常有利于多平臺間的資源共享。將邊緣計算技術(shù)應(yīng)用于衛(wèi)星在軌數(shù)據(jù)處理，對促進(jìn)衛(wèi)星向星座化、網(wǎng)絡(luò)化、智能化方向發(fā)展具有重要意義。在前期相關(guān)研究工作［3］的基礎(chǔ)上，對天基邊緣計算的系統(tǒng)組成進(jìn)行了研究，將天基邊緣計算平臺分為資源層、虛擬化層、平臺層、插件層、應(yīng)用層等，并與前端設(shè)備、地面云計算中心構(gòu)成了云-邊-端的計算架構(gòu)。在此基礎(chǔ)上，針對天基邊緣計算平臺系統(tǒng)管理需求，設(shè)計了集中式、逐級式、分布式3種管理策略。在邊緣計算平臺部署方面，提出了單邊緣計算、邊緣協(xié)同、邊云協(xié)同、全協(xié)同 4種部署和協(xié)同模式。同時，對天基邊緣計算的研究現(xiàn)狀、優(yōu)勢、關(guān)鍵技術(shù)等方面進(jìn)行了詳細(xì)分析。

1　研究現(xiàn)狀

隨著衛(wèi)星數(shù)量的不斷增多和衛(wèi)星應(yīng)用領(lǐng)域的不斷拓展，提升衛(wèi)星在軌數(shù)據(jù)處理能力已成為當(dāng)前學(xué)術(shù)界和工業(yè)界研究的重要方向。在體系架構(gòu)設(shè)計方面，YAN等［4］提出了一種5G衛(wèi)星邊緣計算框架，以降低5G網(wǎng)絡(luò)的延遲和覆蓋范圍。天基邊緣計算平臺中的計算資源主要包括中央處理器（Central Processing Unit， CPU）、圖形處理器（Graphics Processing Unit， GPU）和現(xiàn)場可編程邏輯門陣列（Field Programmable Gate Array， FPGA）。軟件框架分為系統(tǒng)服務(wù)、基礎(chǔ)服務(wù)、用戶服務(wù)3層。WEI等［5］提出了一種衛(wèi)星物聯(lián)網(wǎng)邊緣智能計算架構(gòu)，該架構(gòu)由衛(wèi)星云計算節(jié)點(diǎn)、衛(wèi)星邊緣計算節(jié)點(diǎn)和地面數(shù)據(jù)中心組成。衛(wèi)星云計算節(jié)點(diǎn)部署在計算和存儲能力較強(qiáng)的衛(wèi)星中，作為衛(wèi)星邊緣計算節(jié)點(diǎn)的匯聚點(diǎn)。在前期工作中［3］，基于低軌衛(wèi)星星座提出了天基邊緣計算體系架構(gòu)，面向天基邊緣智能對計算卸載過程進(jìn)行了建模，提出了在軌聯(lián)邦學(xué)習(xí)訓(xùn)練方法。唐琴琴等［6］提出了基于邊緣計算的星地協(xié)同網(wǎng)絡(luò)體系架構(gòu)，將架構(gòu)分為資源層、網(wǎng)絡(luò)層、平臺層、應(yīng)用層，同時提出天基邊緣計算平臺可以與地面邊緣計算平臺進(jìn)行資源共享。歐盟SaT5G項目［2］于2019年演示了利用5G多鏈路衛(wèi)星和地面網(wǎng)絡(luò)進(jìn)行基于移動邊緣計算的無線分層視頻流傳輸，利用移動邊緣計算平臺實現(xiàn)內(nèi)容分發(fā)網(wǎng)絡(luò)（Content Delivery Network， CDN）與高效邊緣內(nèi)容分發(fā)的整合。DENBY等［7］提出在微納遙感衛(wèi)星星座上部署邊緣計算平臺，并將邊緣計算平臺組織成計算流水線并行進(jìn)行數(shù)據(jù)采集和數(shù)據(jù)處理。

在提升在軌數(shù)據(jù)處理能力方面，安建峰等［8］基于星載異構(gòu)計算多核平臺提出能源優(yōu)化的實時任務(wù)調(diào)度算法。算法包含負(fù)載分配和任務(wù)調(diào)度，采用時間片劃分的思想對任務(wù)進(jìn)行調(diào)度。WANG等［9］采用博弈論對天基邊緣計算中計算卸載過程進(jìn)行建模，從而選擇最佳的卸載策略同時獲得較優(yōu)的計算響應(yīng)時間和能源消耗。KIM等［10］對天基邊緣計算進(jìn)行了建模，并對不同軌道、不同卸載速率下天基邊緣計算的傳播延遲和上/下行排隊延遲進(jìn)行了分析。WANG等［11］結(jié)合軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN）技術(shù)為低軌衛(wèi)星星間鏈路提出了一種3層網(wǎng)絡(luò)架構(gòu)，并提出了高級-means算法和廣度優(yōu)先的搜索算法來解決衛(wèi)星間資源拆分和調(diào)度問題。ZHANG等［12］也提出了天基邊緣計算的概念，并為網(wǎng)絡(luò)資源虛擬化、合作式計算卸載、任務(wù)調(diào)度等設(shè)計了相應(yīng)的解決方案。盧華等［13］對天基邊緣計算下服務(wù)部署機(jī)制進(jìn)行了研究，將該問題描述為馬爾科夫決策過程，并提出了基于強(qiáng)化學(xué)習(xí)的深度Q網(wǎng)絡(luò)部署機(jī)制。鐘磊等［14］針對低軌星座通信網(wǎng)絡(luò)時變性的特點(diǎn)，為天基邊緣計算平臺設(shè)計了平臺管理層，使得邊緣計算節(jié)點(diǎn)具備自主工作能力。

2　天基邊緣計算的優(yōu)勢

與傳統(tǒng)的在軌數(shù)據(jù)處理相比，天基邊緣計算主要具有以下優(yōu)點(diǎn)：

1）降低數(shù)據(jù)處理時延。天基邊緣計算將計算資源前移到靠近數(shù)據(jù)一側(cè)。地面?zhèn)鞲衅鞑杉臄?shù)據(jù)只需傳輸一跳就能進(jìn)行處理。衛(wèi)星有效載荷獲得的數(shù)據(jù)在本地就可以進(jìn)行處理。處理后的結(jié)果再次通過一跳傳輸就可直達(dá)用戶，從而降低數(shù)據(jù)處理的響應(yīng)時延。

2）降低網(wǎng)絡(luò)數(shù)據(jù)傳輸量。由于數(shù)據(jù)采集、處理、分發(fā)都在距離數(shù)據(jù)最近的地方進(jìn)行，極大地降低了數(shù)據(jù)與后端數(shù)據(jù)中心間的頻繁交互和轉(zhuǎn)發(fā)。即使經(jīng)邊緣計算平臺處理后的數(shù)據(jù)需要回傳至后端數(shù)據(jù)中心，經(jīng)過處理后的數(shù)據(jù)與采集的源數(shù)據(jù)相比，在數(shù)據(jù)量上通常也會有較大的壓縮。

3）降低地面設(shè)施的能耗。地面?zhèn)鞲衅鹘K端可將采集的數(shù)據(jù)直接發(fā)送給衛(wèi)星進(jìn)行處理，因此可降低傳感器因數(shù)據(jù)處理帶來的能源消耗，從而延長傳感器的待機(jī)時間。這對在偏遠(yuǎn)山區(qū)、叢林、海洋等能源緊缺的地方工作的傳感器更為重要。此外，衛(wèi)星以清潔的太陽能作為主要能源，天基邊緣計算平臺可為地面數(shù)據(jù)處理中心分?jǐn)偛糠钟嬎闳蝿?wù)，從而降低地面數(shù)據(jù)處理中心的能源消耗和減少環(huán)境污染。

4）高效整合異構(gòu)資源。天基邊緣計算采用虛擬化技術(shù)對衛(wèi)星的硬件資源進(jìn)行抽象，為上層應(yīng)用提供統(tǒng)一的平臺服務(wù)，可實現(xiàn)各類衛(wèi)星異構(gòu)計算資源的整合與共享。由于地面云計算中心也采用類似的硬件抽象方式，因此邊緣平臺間、邊緣平臺與地面云計算中心間可實現(xiàn)統(tǒng)一管理和高效協(xié)同。

5）應(yīng)用快速開發(fā)與部署。天基邊緣計算平臺采用通用的軟件平臺，因此，開發(fā)人員無需“量身定制”式地為每個衛(wèi)星開發(fā)應(yīng)用程序，可以實現(xiàn)“一次開發(fā)，多星運(yùn)行”。如果星間或星地間有數(shù)據(jù)傳輸鏈路，還可實現(xiàn)應(yīng)用程序的快速遷移與在線更新。同時，由于采用通用的開發(fā)框架，可在應(yīng)用部署前在地面進(jìn)行充分測試和驗證，從而降低因應(yīng)用升級給衛(wèi)星帶來的安全風(fēng)險。

6）安全性。天基邊緣計算平臺以容器或虛擬機(jī)的方式對各應(yīng)用程序進(jìn)行隔離，可有效避免因單程序問題導(dǎo)致整個計算平臺失效問題。另外，通過統(tǒng)一的權(quán)限控制，可為不同容器或虛擬機(jī)設(shè)置不同的資源使用權(quán)限，從而保障整個計算平臺和整星的安全性。

3　系統(tǒng)組成

天基邊緣計算是對衛(wèi)星上可利用的計算資源進(jìn)行整合和管理，并通過星間鏈路和星地鏈路與其他計算平臺實現(xiàn)資源共享。資源整合后，每顆衛(wèi)星將包含一個天基邊緣計算平臺。按照功能分類，可將天基邊緣計算平臺可分為5個層次：資源層、虛擬化層、平臺層、插件層、應(yīng)用層，如圖2所示。

資源層是衛(wèi)星上與計算相關(guān)的硬件資源。在執(zhí)行計算任務(wù)和多平臺協(xié)同時，還需網(wǎng)絡(luò)和存儲的支持，因此資源層不僅包括計算資源，同時也包括網(wǎng)絡(luò)和存儲資源，這些資源通常呈現(xiàn)出異構(gòu)性。

虛擬化層是對衛(wèi)星的異構(gòu)硬件資源進(jìn)行抽象，為上層提供統(tǒng)一的資源調(diào)用接口。虛擬化后的硬件資源通常以虛擬機(jī)（Virtual Machine，VM）或容器（Container）的形式進(jìn)行呈現(xiàn)。與虛擬機(jī)相比，容器具有輕量化的特點(diǎn)。由于衛(wèi)星上硬件資源相對有限，為減小虛擬化對硬件資源的占用，天基邊緣計算平臺應(yīng)優(yōu)先選擇容器的方式進(jìn)行資源虛擬化。同時，虛擬化后的硬件資源理論上可以根據(jù)用戶需求進(jìn)行任意拆分，具有很強(qiáng)的靈活性。

平臺層是邊緣計算平臺的核心，其主要包括設(shè)備管理、任務(wù)管理、協(xié)同管理、服務(wù)管理、鏡像管理、資源管理等。這些管理服務(wù)可采用通用的邊緣計算框架，如Kubeedge、OpenEdge、Azure IoT Edge等。根據(jù)衛(wèi)星與地面運(yùn)行環(huán)境的差異，可對邊緣計算框架進(jìn)行適當(dāng)裁剪，以提高框架的運(yùn)行效率。例如，衛(wèi)星上運(yùn)行的應(yīng)用相對單一，因此可將邊緣計算框架應(yīng)對傳統(tǒng)互聯(lián)網(wǎng)安全威脅的組件關(guān)閉或去除。設(shè)備管理組件主要與前端設(shè)備進(jìn)行交互，如獲取設(shè)備采集的數(shù)據(jù)和對設(shè)備進(jìn)行管控。這些設(shè)備包括衛(wèi)星搭載的有效載荷、地面的物聯(lián)網(wǎng)傳感器、用戶終端等。協(xié)同管理組件實現(xiàn)邊緣平臺間、邊緣平臺與云計算中心間的高效協(xié)同。其中，邊緣計算中計算任務(wù)卸載策略和算法就是由協(xié)同管理組件實現(xiàn)。網(wǎng)絡(luò)管理組件實現(xiàn)天基邊緣平臺不同應(yīng)用對底層網(wǎng)絡(luò)資源的共享，以及平臺與前端設(shè)備、地面云計算中心、其他邊緣計算平臺間的網(wǎng)絡(luò)連接管理。其他組件相對簡單，就不一一贅述。

插件層是對平臺層功能的補(bǔ)充和應(yīng)用層的支撐，因此可將插件分為2類：平臺插件是平臺層運(yùn)行所需的通用或定制插件；應(yīng)用插件是應(yīng)用程序運(yùn)行所需的插件。

應(yīng)用層為可在軌運(yùn)行的各類應(yīng)用程序，如態(tài)勢感知、目標(biāo)識別等。應(yīng)用以鏡像的形式進(jìn)行部署，因此衛(wèi)星發(fā)射前可將可能用到的應(yīng)用鏡像提前存儲在衛(wèi)星上，從而降低鏡像傳輸帶來的帶寬開銷。同時，應(yīng)用也可以通過星地鏈路或星間鏈路對鏡像進(jìn)行增加或更新。

4　系統(tǒng)管理

在云、邊、端三級架構(gòu)中，每級都可以根據(jù)需求進(jìn)行擴(kuò)展。因此，合理的系統(tǒng)管理策略是保證系統(tǒng)高效運(yùn)行的前提。根據(jù)隸屬方式不同，可將不同的系統(tǒng)管理方式分為3類：集中式、逐級式、分布式。

集中式即地面云計算中心管理所有前端設(shè)備和天基邊緣計算平臺。這種方式主要適用于云、邊、端間具有穩(wěn)定的網(wǎng)絡(luò)鏈路或各部分設(shè)備變化性較小的場景。

逐級式即地面云計算中心管理天基邊緣計算平臺，天基邊緣計算平臺管理前端設(shè)備。逐級式實際是由2個集中式組成的。這樣既可以降低長距離網(wǎng)絡(luò)傳輸設(shè)備狀態(tài)數(shù)據(jù)帶來的網(wǎng)絡(luò)開銷，同時有利于統(tǒng)籌各級資源，達(dá)到整體性能最優(yōu)的目的。

分布式即各個設(shè)備管理自己的資源，只在需要資源共享時，資源請求者向其他設(shè)備申請獲取資源使用情況信息。這種方式抗毀性最強(qiáng)，但很難獲得較優(yōu)的數(shù)據(jù)處理性能，且對各部分硬件性能都有一定要求。

5　部署模式

前端設(shè)備、天基邊緣計算平臺、云計算中心互相協(xié)同，形成了云-邊-端的計算架構(gòu)。前端設(shè)備的部署方式相對比較固定。天基邊緣計算平臺和云計算中心可根據(jù)不同需求，采用以下4種部署方式之一進(jìn)行部署：

1）單邊緣計算模式。僅在單顆衛(wèi)星上部署邊緣計算平臺，與其他邊緣計算平臺和云計算中心無數(shù)據(jù)處理協(xié)同，如圖3（a）所示。該模式較為簡單，適用于衛(wèi)星數(shù)據(jù)較少或無星間鏈路，且地面無云計算中心的情況。該模式可用于提升在軌數(shù)據(jù)處理平臺的兼容性，有利于加快應(yīng)用程序的開發(fā)與部署效率。

2）邊緣協(xié)同模式。在多顆具有星間通信鏈路的衛(wèi)星上部署邊緣計算平臺，平臺間可實現(xiàn)計算和存儲資源共享，如圖3（b）所示。當(dāng)需要實現(xiàn)衛(wèi)星集群無地面依托的在軌自主管理和數(shù)據(jù)處理時，可采用此模式。與單邊緣計算模式相比，該模式可實現(xiàn)衛(wèi)星集群內(nèi)資源共享，為更高級資源應(yīng)用提供了可能性，如分布式數(shù)據(jù)存儲、聯(lián)邦學(xué)習(xí)等。

3）邊云協(xié)同模式。在單顆衛(wèi)星上部署邊緣計算平臺，同時該平臺可與地面云計算中心實現(xiàn)計算任務(wù)協(xié)同，如圖3（c）所示。與天基邊緣計算平臺相比，云計算中心的硬件資源能力可以認(rèn)為無窮大。因此，可根據(jù)用戶對計算任務(wù)的響應(yīng)時延要求和衛(wèi)星能源情況，合理分配在邊緣計算平臺和地面云計算中心中的計算任務(wù)量。該模式也是當(dāng)前較為常見的部署方式。

4）全協(xié)同模式。在多顆具有星間通信鏈路的衛(wèi)星上部署邊緣計算平臺，同時每個邊緣計算平臺又可與地面云計算中心實現(xiàn)計算任務(wù)協(xié)同，如圖3（d）所示。該模式實現(xiàn)難度較大，對平臺間的協(xié)同策略和算法要求較高，同時也是抗毀性最強(qiáng)、資源利用率最高的模式。

6　天基邊緣計算關(guān)鍵技術(shù)

隨著邊緣計算、物聯(lián)網(wǎng)、云計算等技術(shù)的發(fā)展，實現(xiàn)天基邊緣計算已切實可行，但目前大多還處于試驗驗證階段。由于太空與地面環(huán)境存在較大差異，天基邊緣計算還缺乏比較成熟的解決方案，還有許多亟待解決的關(guān)鍵技術(shù)。在此，對部分還需解決或完善的問題進(jìn)行了簡單的闡述。

6.1　異構(gòu)計算資源虛擬化技術(shù)

資源虛擬化就是對硬件設(shè)備能力進(jìn)行抽象和管理，具有兼容性和靈活性的特點(diǎn)。兼容性主要體現(xiàn)在可以隱藏底層硬件差異性，向上層應(yīng)用提供統(tǒng)一的能力抽象。靈活性主要體現(xiàn)在抽象后的資源可以根據(jù)用戶需求大小實現(xiàn)按需分配。對衛(wèi)星計算、存儲、網(wǎng)絡(luò)資源進(jìn)行虛擬化，是天基邊緣計算的重要環(huán)節(jié)。衛(wèi)星與地面數(shù)據(jù)中心不同，由于前端設(shè)備的多樣性，衛(wèi)星通常會搭載多種計算設(shè)備以適應(yīng)不同的計算任務(wù)。例如，使用FPGA處理控制相關(guān)任務(wù)，使用GPU處理圖像相關(guān)任務(wù)。因此衛(wèi)星上與計算相關(guān)的資源呈現(xiàn)出較強(qiáng)的異構(gòu)性。如果擴(kuò)展到星座或集群衛(wèi)星，資源異構(gòu)性的問題更加復(fù)雜。

如何實現(xiàn)異構(gòu)計算資源虛擬化是天基邊緣計算面臨的首要挑戰(zhàn)。隨著云計算技術(shù)的發(fā)展，對通用型計算資源（如CPU、GPU）的虛擬化技術(shù)已相對成熟，但對專用型計算資源（如數(shù)字信號處理（Digital Signal Processing， DSP）、FPGA）的虛擬化技術(shù)的研究還相對較少。此外，星上的計算能力相對較弱，因此計算資源相當(dāng)寶貴。虛擬化技術(shù)會給計算資源帶來額外的資源開銷，因此如何降低虛擬化的資源開銷也是亟須解決的問題。

6.2　計算任務(wù)卸載策略

在云-邊-端計算架構(gòu)中，前端設(shè)備的計算能力最弱，天基邊緣計算平臺次之，地面云計算中心最強(qiáng)。計算能力弱的系統(tǒng)可以卸載計算任務(wù)到同級或計算能力較強(qiáng)的系統(tǒng)，從而提升數(shù)據(jù)處理速度。根據(jù)卸載任務(wù)的程度不同，卸載策略分為：1）本地處理即在本地完成計算任務(wù)，不向其他系統(tǒng)卸載；2）部分卸載即卸載部分?jǐn)?shù)據(jù)到其他系統(tǒng)共同完成計算任務(wù)； 3）全部卸載即將全部數(shù)據(jù)卸載到其他系統(tǒng)進(jìn)行處理。

不同情況下對計算卸載策略的目標(biāo)也各異，例如，有些計算任務(wù)進(jìn)行卸載是為獲得最快的處理速度，有些計算任務(wù)進(jìn)行卸載是為了降低能源消耗。因此，針對不同計算任務(wù)的性能目標(biāo)，如何選擇合適的卸載策略是重要的研究問題之一。計算任務(wù)的卸載性能會受多種因素影響，如網(wǎng)絡(luò)帶寬、目標(biāo)平臺可用的計算資源、計算任務(wù)的數(shù)據(jù)量等。因此，亟須對計算卸載過程和不同因素對卸載任務(wù)的影響進(jìn)行數(shù)學(xué)建模并定量分析。這對計算卸載策略和算法設(shè)計具有重要意義。

6.3　非穩(wěn)定網(wǎng)絡(luò)環(huán)境下彈性計算技術(shù)

除地球靜止軌道衛(wèi)星外，其他衛(wèi)星都會圍繞地球運(yùn)動。因此天基邊緣計算平臺與前端設(shè)備和地面云計算中心間、天基邊緣計算平臺間的相對位置都會發(fā)生變化，都是采用無線方式進(jìn)行通信，因此網(wǎng)絡(luò)連接和帶寬會隨著位置變化而變化。這會給天基邊緣計算帶來2個挑戰(zhàn)。一方面，計算卸載策略必須具有動態(tài)調(diào)整能力。由于網(wǎng)絡(luò)帶寬的變化，可能導(dǎo)致已經(jīng)確定的計算卸載策略無法獲得最優(yōu)性能。如何在動態(tài)網(wǎng)絡(luò)環(huán)境下使動態(tài)卸載策略獲得全局最優(yōu)性能是天基邊緣計算面臨的巨大挑戰(zhàn)。另一方面，各系統(tǒng)間也會因相對位置太遠(yuǎn)而出現(xiàn)網(wǎng)絡(luò)連接斷開的現(xiàn)象。計算卸載過程中必須保證被卸載的應(yīng)用程序不會因網(wǎng)絡(luò)斷開而出現(xiàn)丟失數(shù)據(jù)或程序崩潰的現(xiàn)象。這就要求卸載任務(wù)發(fā)起的系統(tǒng)必須具備較強(qiáng)的容錯機(jī)制。

6.4　多源異構(gòu)數(shù)據(jù)關(guān)聯(lián)技術(shù)

與地面物聯(lián)網(wǎng)場景不同，衛(wèi)星具有廣域覆蓋的特點(diǎn)，因此前端設(shè)備部署位置分布范圍廣、種類多樣。在天基邊緣計算平臺對前端設(shè)備的數(shù)據(jù)進(jìn)行處理和分析時，需將不同位置、不同時間采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)整理?？梢圆捎玫年P(guān)聯(lián)方式包括：1）時間維度關(guān)聯(lián)即以時間為基準(zhǔn)，對不同前端設(shè)備在相同時間采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)；2）空間維度關(guān)聯(lián)即以空間為基準(zhǔn)，對不同前端設(shè)備在相同位置采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)；3）任務(wù)維度關(guān)聯(lián)即以任務(wù)為基準(zhǔn)，對不同前端設(shè)備在同一任務(wù)下采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)。3種關(guān)聯(lián)方式還可組合使用，如在任務(wù)維度關(guān)聯(lián)下使用時間維度關(guān)聯(lián)或空間維度關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)即是對數(shù)據(jù)進(jìn)行預(yù)處理，會帶來一定的計算開銷。同時，關(guān)聯(lián)過程會產(chǎn)生額外的輔助數(shù)據(jù)，也會帶來一定的存儲開銷。如何對數(shù)據(jù)進(jìn)行高效存儲，并降低數(shù)據(jù)預(yù)處理的額外開銷，也是亟須解決的重要問題之一。

6.5　分布式數(shù)據(jù)緩存技術(shù)

天基邊緣計算平臺不僅將計算平臺移動到了靠近前端設(shè)備的位置，而且還為前端設(shè)備和地面云計算中心提供了數(shù)據(jù)緩存服務(wù)。這種緩存模式與CDN不同。內(nèi)容分發(fā)網(wǎng)絡(luò)中數(shù)據(jù)都是來源于后端數(shù)據(jù)中心，邊緣平臺只是緩存的后端數(shù)據(jù)的部分副本。而天基邊緣計算中，邊緣計算平臺中的數(shù)據(jù)不僅可能來源于地面云計算中心，也來源于前端設(shè)備。邊緣計算平臺中的數(shù)據(jù)不是地面云計算中心數(shù)據(jù)的子集。再擴(kuò)展到多顆衛(wèi)星，就存在如下情況：1）用戶需要訪問的數(shù)據(jù)可能存儲在邊緣計算平臺中，也可能存儲在地面云計算中心中；2）某個邊緣計算平臺需要訪問的數(shù)據(jù)在另一個邊緣計算平臺或地面云計算中心中；3）地面云計算中心需要訪問的數(shù)據(jù)不在本地，而在邊緣計算平臺中。也即，數(shù)據(jù)在整個系統(tǒng)中呈現(xiàn)出分布式的特點(diǎn)。如何合理存儲數(shù)據(jù)來降低跨平臺間的數(shù)據(jù)訪問頻率，對云-邊-端計算系統(tǒng)整體性能具有重要意義。

7　原型系統(tǒng)及測試

利用4臺樹莓派3，1臺英偉達(dá)Jetson TX2和 1臺因特爾NUC迷你電腦搭建了天基邊緣計算原型系統(tǒng)，如圖4所示。每臺計算設(shè)備代表一顆衛(wèi)星上的計算平臺。采用不同的計算設(shè)備旨在模擬不同衛(wèi)星計算資源的異構(gòu)性。使用衛(wèi)星仿真工具（Satellite Tool Kit， STK）產(chǎn)生衛(wèi)星的運(yùn)行狀態(tài)數(shù)據(jù)，以此來模擬衛(wèi)星間網(wǎng)絡(luò)通信拓?fù)浼熬W(wǎng)絡(luò)帶寬。

在應(yīng)用程序部署方面，采用TensorFlow Lite實現(xiàn)了經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)模型AlexNet［15］。深度神經(jīng)網(wǎng)絡(luò)模型在部署前已訓(xùn)練好。實驗中的深度神經(jīng)網(wǎng)絡(luò)協(xié)同推理任務(wù)是對來自ImageNet數(shù)據(jù)集的圖片進(jìn)行圖像分類。圖像分類任務(wù)從一臺樹莓派（代表主衛(wèi)星）輸入，平臺可根據(jù)模擬的衛(wèi)星間網(wǎng)絡(luò)狀態(tài)，自適應(yīng)地分配計算任務(wù)至其他節(jié)點(diǎn)（代表從衛(wèi)星），即平臺中的TX2、NUC以及其他樹莓派，進(jìn)行協(xié)同處理，以此降低能源開銷。

采用以下幾種計算負(fù)載分配方式測試平臺性能：1）本地執(zhí)行，所有計算負(fù)載在接收輸入圖片的終端設(shè)備本地執(zhí)行；2）基于貪心算法的多星協(xié)同，多顆衛(wèi)星協(xié)同處理推理任務(wù)且輸入負(fù)載按貪心算法切分，即根據(jù)可用衛(wèi)星中各衛(wèi)星的計算能力分配負(fù)載，計算能力越強(qiáng)的衛(wèi)星分配的負(fù)載越多，該方法不考慮各終端設(shè)備之間的網(wǎng)絡(luò)帶寬資源；3）基于公平性的多星協(xié)同，多顆衛(wèi)星協(xié)同處理推理任務(wù)且輸入負(fù)載等比例切分，即根據(jù)可用衛(wèi)星集群中衛(wèi)星總數(shù)等分負(fù)載；4）基于自適應(yīng)負(fù)載分配的多星協(xié)同，多顆衛(wèi)星協(xié)同處理推理任務(wù)且負(fù)載的切分考慮當(dāng)前時刻衛(wèi)星集群中每顆衛(wèi)星的可用計算資源以及星間帶寬等網(wǎng)絡(luò)狀態(tài)信息。

原型系統(tǒng)在不同負(fù)載分配方案下，AlexNet模型協(xié)同推理圖像分類任務(wù)中的時延性能和能耗性能仿真結(jié)果如圖5、圖6所示。實驗中設(shè)定用戶的任務(wù)處理時延要求為不超過100 ms。

從圖5中可知：本地執(zhí)行的時延最長；基于貪心算法的多星協(xié)同方案為滿足用戶的時延要求，將絕大部分計算任務(wù)分配給其他節(jié)點(diǎn)進(jìn)行處理，從而獲得了最短的計算時延；基于公平性和自適應(yīng)負(fù)載分配的協(xié)同方案均能通過將計算任務(wù)卸載到其他平臺來滿足用戶的時延要求。

從圖6中可知：在滿足用戶時延要求的情況下，基于自適應(yīng)負(fù)載分配的協(xié)同方案能源開銷最?。换谪澬乃惴ê凸叫缘膮f(xié)同方案只考慮滿足用戶的時延要求，反而造成能源開銷大于本地執(zhí)行的方案。綜上所述，天基邊緣計算可通過多計算平臺協(xié)同來滿足用戶的時延要求；同時，卸載策略應(yīng)考慮其他平臺的計算能力及平臺間的網(wǎng)絡(luò)帶寬情況，否則協(xié)同反而會降低平臺的整體性能。

8　結(jié)束語

本文結(jié)合當(dāng)前航天發(fā)展趨勢及在軌數(shù)據(jù)處理需求，對天基邊緣計算技術(shù)進(jìn)行了深入研究。將天基邊緣計算平臺系統(tǒng)劃分為資源層、虛擬化層、平臺層、插件層、應(yīng)用層等5個層次，并提出了集中式、逐級式、分布式3種系統(tǒng)管理策略和單邊緣計算、邊緣協(xié)同、邊云協(xié)同、全協(xié)同4種平臺部署和協(xié)同模式。此外，對天基邊緣計算的研究現(xiàn)狀、優(yōu)勢、關(guān)鍵技術(shù)進(jìn)行了分析總結(jié)，并搭建了天基邊緣計算原型系統(tǒng)，對不同計算卸載策略的性能進(jìn)行了分析。

［1］ 王胡成，徐暉，孫韶輝.融合衛(wèi)星通信的5G網(wǎng)絡(luò)技術(shù)研究［J］.無線電通信技術(shù)，2021，47（5）：535-542.

［2］ LIOLIS K， GEURTZ A， SPERBER R，et al. Use cases and scenarios of 5G integrated satellite-terrestrial networks for enhanced mobile broadband： the SaT5G approach［J］. International Journal of Satellite Communications and Networking， 2019， 37（2）： 91-112.

［3］ 張飛，陳小前，于帥，等.基于天基邊緣計算的在軌智能技術(shù)［J］.上海航天（中英文），2021，38（4）：19-24.

［4］ YAN L， CAO S Z， GONG Y S， et al. SatEC： a 5G satellite edge computing framework based on microservice architecture［J］. Sensors， 2019， 19 （4）： 831.

［5］ WEI J Y， HAN J R， CAO S Z. Satellite IoT edge intelligent computing： a research on architecture［J］. Electronics， 2019， 8（11）： 1247.

［6］ 唐琴琴，劉旭，張亞生，等.邊緣計算在星地協(xié)同網(wǎng)絡(luò)中的應(yīng)用探討［J］.電信科，2019，35（增刊2）：227-233.

［7］ DENBY B， LUCIA B. Orbital edge computing： nanosatellite constellations as a new class of computer system［C］// Proceedings of the Twenty-Fifth International Conference on Architectural Support for Programming Languages and Operating Systems. New York， USA： ACM Press， 2020： 939-954.

［8］ 安建峰，游紅俊，趙偉勛，等.星載異構(gòu)計算環(huán)境下的能耗優(yōu)化任務(wù)調(diào)度［J］.上海航天（中英文），2021，38（4）：38-44.

［9］ WANG Y X， YANG J， GUO X Y， et al. A game-theoretic approach to computation offloading in satellite edge computing［J］. IEEE Access， 2019， 8： 12510-12520.

［10］ KIM T，CHOI J P. Performance analysis of satellite server mobile edge computing architecture［C］// 2020 IEEE 92nd Vehicular Technology Conference （VTC2020-Fall）. Washington D.C.， USA： IEEE Press， 2020： 1-6.

［11］ WANG F， JIANG D D， QI S， et al. A dynamic resource scheduling scheme in edge computing satellite networks［J］. Mobile Networks and Applications，2021， 26 （2）： 597-608.

［12］ ZHANG Z J， ZHANG W Y， TSENG F H. Satellite mobile edge computing： improving QoS of high-speed satellite-terrestrial networks using edge computing techniques［J］. IEEE Network， 2019， 33（1）： 70-76.

［13］ 盧華，段雪飛，李斌.邊緣計算使能星地協(xié)同網(wǎng)絡(luò)下的服務(wù)部署機(jī)制［J］.中興通訊技術(shù)，2021，27（3）：62-66.

［14］ 鐘磊.低軌星座通信網(wǎng)絡(luò)邊緣計算架構(gòu)研究［D］.成都：電子科技大學(xué)，2020.

［15］ IANDOLA F N， HAN S， MOSKEWICZ M W， et al. SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and <0.5 MB model size［EB/OL］. （2016-02-24）［2021-11-11］. https：//arxiv.org/abs/1602.07360.

Design and Key Technologies for Space-Based Edge Computing System

ZHANGFei， CHENXiaoqian， CAOLu， QIN Jiangyi， TANG Min， GUOPengyu， RANDechao

（National Innovation Institute of Defense Technology， Academy of Military Sciences， Beijing 100071， China）

Satellites are characterized by wide coverage， strong disaster resistance， etc. With the continuous cost decrease in the development and launch of satellites， it has become an important direction for space development to further integrate satellites with ground mobile communication network， Internet of Things （IoT）， and cloud computing to build an integrated space-ground network and application architecture. With the access of multi-users and a large amount of data on the ground， it is urgent to carry out research on in-orbit data processing technologies to improve the capability and quality of satellite in-orbit service. In this paper， a space-based edge computing architecture is designed by utilizing satellite computation resources. Three resource management schemes and four platform coordination models are proposed. The advantages and key technologies for the space-based edge computing are analyzed. At last， a prototype system for the space-based edge computing platform is built to analyze the performances of different computation uploading schemes.

space-based edge computing； cloud-edge-terminal architecture； computation offloading； cloud computing； edge computing coordination

2021?11?11；

2021?12?30

國防科技基礎(chǔ)加強(qiáng)計劃（2021?JCJQ?JJ?0834）；國家自然科學(xué)基金（61901504）

張飛（1988—），男，博士，助理研究員，主要研究方向為邊緣計算、空天地一體化網(wǎng)絡(luò)、衛(wèi)星應(yīng)用、機(jī)器學(xué)習(xí)等。

曹璐（1986—），男，博士，研究員，主要研究方向為宇航科學(xué)與技術(shù)、航天器設(shè)計。

TP 399； V 11

A

10.19328/j.cnki.2096?8655.2022.04.013