基于深度學(xué)習(xí)的多波束衛(wèi)星通信系統(tǒng)中動態(tài)波束調(diào)度技術(shù)研究

朱倪瑤 張波

【摘要】? ? 針對多波束技術(shù)為衛(wèi)星通信系統(tǒng)帶來更大用戶容量，提升覆蓋能力的同時(shí)，也面臨波束控制難度高、資源浪費(fèi)的問題。本文簡要闡述了多波束天線的工作原理與波束調(diào)度方法，并基于深度學(xué)習(xí)分析了動態(tài)波束調(diào)度技術(shù)，在未考慮延時(shí)優(yōu)化的前提下，利用線性規(guī)劃得到適用穩(wěn)態(tài)實(shí)踐平均值的波束調(diào)度技術(shù)，希望提升一般波束調(diào)度方案適應(yīng)環(huán)境動態(tài)變化的能力。

【關(guān)鍵詞】? ? 多波束天線? ? 衛(wèi)星通信系統(tǒng)? ? 動態(tài)波束調(diào)度? ? 深度學(xué)習(xí)

引言：

傳統(tǒng)的固定多波束衛(wèi)星通信系統(tǒng)普遍存在波束資源浪費(fèi)問題，所以有必要對全域動態(tài)波束調(diào)度技術(shù)進(jìn)行研究，以此大幅度提升系統(tǒng)的通信容量，滿足地面用戶對通信質(zhì)量的需求，進(jìn)而達(dá)到改善無線通信能力的目的，實(shí)現(xiàn)多波束衛(wèi)星通信系統(tǒng)整體資源利用效率提升的目標(biāo)。

一、多波束衛(wèi)星通信系統(tǒng)研究

1.1多波束天線的工作原理

多波束天線中的每個天線均使用一個獨(dú)立天線結(jié)構(gòu)，衛(wèi)星通信系統(tǒng)配置多波束天線之后，可具有較高的系統(tǒng)吞吐量、更加集中的波束能量，并且能夠?qū)崿F(xiàn)區(qū)域的全覆蓋。多波束天線包括透鏡、陣列等多種類型，其中，多波束透鏡天線具有較強(qiáng)的功率放大能力與重構(gòu)天線方向圖的能力，適用于軍事衛(wèi)星。多波束陣列天線是指在直接輻射的基礎(chǔ)上，通過增加一個反輻射面來提升資源利用效率，使得相位不同的電磁波信號疊加成特定天線方向圖之后，向衛(wèi)星空間發(fā)射相應(yīng)的輻射單元，進(jìn)而實(shí)現(xiàn)快速的波束跳變。

1.2波束調(diào)度方法的介紹

多波束衛(wèi)星通信系統(tǒng)中的波束調(diào)度，需要每一時(shí)刻都要調(diào)整每個波束的方向，然后運(yùn)用時(shí)分復(fù)用的方法，實(shí)現(xiàn)衛(wèi)星波束發(fā)射機(jī)減小的目標(biāo)。調(diào)度方法包括：1.輪詢調(diào)度法。所有波束會按照特定的順序覆蓋到全部小區(qū)，每個波束覆蓋的小區(qū)的時(shí)間幾乎相同，資源越均衡調(diào)度效果越佳。2.固定時(shí)隙調(diào)度法。一段時(shí)間內(nèi)每個小區(qū)獲得波束的時(shí)間均是固定的，波束控制具有較強(qiáng)的公平性，但是業(yè)務(wù)請求量會隨人口流動、時(shí)間變化、氣候變化而改變。3.最長隊(duì)列調(diào)度法。主要是針對每個小區(qū)內(nèi)帶傳輸?shù)臉I(yè)務(wù)對波束進(jìn)行排序，所以衛(wèi)星通信系統(tǒng)只需考慮系統(tǒng)容量，但是對信道容量的要求存在一定不合理性。4.基于遺傳算法的調(diào)度法。這種方法會尋找到當(dāng)前時(shí)隙的最優(yōu)解，通過適度函數(shù)的運(yùn)算對個體波束進(jìn)行選擇，然后對每一時(shí)刻的波束進(jìn)行迭代，充分考慮了用戶請求業(yè)務(wù)量與信道容量[1]。

二、基于深度學(xué)習(xí)的動態(tài)波束調(diào)度技術(shù)分析

為減少衛(wèi)星通信系統(tǒng)發(fā)射機(jī)的數(shù)量、節(jié)約發(fā)射衛(wèi)星成本，在多個小區(qū)內(nèi)覆蓋少量波束就能解決流量需求不均衡的問題。因此，基于深度學(xué)習(xí)對當(dāng)前時(shí)刻的動態(tài)波束調(diào)度技術(shù)進(jìn)行分析，可按照特定順序?qū)⑺行^(qū)內(nèi)待傳輸?shù)臉I(yè)務(wù)量進(jìn)行排序，然后利用遺傳算法尋找優(yōu)化調(diào)度方案的最優(yōu)解，綜合考慮的內(nèi)容包括信道容量、業(yè)務(wù)請求量以及數(shù)據(jù)等待時(shí)長，以此提高衛(wèi)星通信系統(tǒng)全局性能。

2.1系統(tǒng)模型

地面用戶終端作為互聯(lián)網(wǎng)接入服務(wù)的主要對象，由多波束衛(wèi)星通信系統(tǒng)的前向鏈路將用戶終端與網(wǎng)關(guān)站聯(lián)系起來。進(jìn)行調(diào)整后的影虎鏈路具有跳波束功能。假設(shè)衛(wèi)星通信系統(tǒng)在全波小區(qū)覆蓋了K個有源波束，且有源波束數(shù)量遠(yuǎn)小于小區(qū)個數(shù)，則可用集合來代表具有跳波束功能的衛(wèi)星通訊場景相關(guān)模型。在動態(tài)波束調(diào)度技術(shù)對衛(wèi)星通信緩沖區(qū)的數(shù)據(jù)包進(jìn)行決策的過程中，可在某一時(shí)刻運(yùn)用動態(tài)波束調(diào)度技術(shù)來表示若干個小區(qū)分配到的波束，綜合考慮信道容量與用戶業(yè)務(wù)請求，對有效載荷參數(shù)與信道條件進(jìn)行相應(yīng)的決策優(yōu)化。同時(shí)，通過動態(tài)波束調(diào)度技術(shù)對小區(qū)內(nèi)的流量進(jìn)行優(yōu)化，將最小化數(shù)據(jù)包延時(shí)作為優(yōu)化目的，使用時(shí)延定義請求時(shí)間與數(shù)據(jù)包到達(dá)的時(shí)間之間的關(guān)系，超出時(shí)間限制的數(shù)據(jù)包將會被丟棄。此外，考慮到不同地理位置處用戶以及用戶群的可移動性，動態(tài)波束調(diào)度還應(yīng)具有一定的追蹤能力，勢必利用有限的硬件資源，充分發(fā)揮出波束調(diào)度技術(shù)的優(yōu)勢，以此為用戶提供更加優(yōu)質(zhì)的通信服務(wù)。

2.2動態(tài)波束調(diào)度方法

2.2.1整體架構(gòu)

衛(wèi)星通信系統(tǒng)中的動態(tài)波束調(diào)度方法，主要是將DRL-DBS算法作為構(gòu)建多波束衛(wèi)星智能體的基本思想，然后對特定傳輸環(huán)境中各個待請求發(fā)送、傳輸?shù)臄?shù)據(jù)包進(jìn)行建模。建模的過程即為馬爾可夫決策過程，當(dāng)決策智能體輸出當(dāng)前波束狀態(tài)之后，衛(wèi)星通信系統(tǒng)會在第一時(shí)間收到?jīng)Q策動作，并對輸出做出相應(yīng)的獎勵，然就將能表征的動作值函數(shù)輸入到傳輸網(wǎng)絡(luò)中，進(jìn)而得到有關(guān)波束的映射動作值，經(jīng)過經(jīng)驗(yàn)池、目標(biāo)網(wǎng)絡(luò)以及優(yōu)化器，輸出的決策會被進(jìn)一步優(yōu)化，以此實(shí)現(xiàn)衛(wèi)星通信系統(tǒng)多波束調(diào)度性能的優(yōu)化，在最大程度上滿足不同小區(qū)用戶的通信質(zhì)量要求。

2.2.2決策過程模型

對馬爾可夫性決策過程模型進(jìn)行一系列分析之后，會綜合考慮特定場景下數(shù)據(jù)包的到達(dá)率以及信道條件的時(shí)變性，由于決策過程中的信道條件時(shí)變性較難獲取，運(yùn)用深度學(xué)習(xí)算法對決策過程中狀態(tài)、動作以及獎勵進(jìn)行優(yōu)化，從而達(dá)到全局性能提升的目的。其中，狀態(tài)主要是從特定環(huán)境中抽象出來的，能夠?yàn)椴ㄊ{(diào)度提供最優(yōu)解，是智能體決策的重要依據(jù)。在深度神經(jīng)網(wǎng)絡(luò)中輸入狀態(tài)之后，會對結(jié)構(gòu)固定狀態(tài)下的時(shí)延計(jì)劃進(jìn)行重構(gòu)，進(jìn)而保證時(shí)延的均衡性。動作用來表示智能體決策過程的推進(jìn)程度，將最小化數(shù)據(jù)包平均時(shí)延與可知向量的非零元素結(jié)合之后，可得出波束調(diào)度出現(xiàn)的全部動作。獎勵是馬爾可夫決策過程模型中智能體能夠獲得的最大回報(bào)，若當(dāng)前累計(jì)時(shí)延越大，則證明智能體獲得的獎勵越少。

2.2.3網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

基于深度學(xué)習(xí)算法的動態(tài)波束調(diào)度技術(shù)包括網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)訓(xùn)練與動作策略選擇。其中，網(wǎng)絡(luò)結(jié)構(gòu)可對給定狀態(tài)進(jìn)行評估，利用累計(jì)獎勵值強(qiáng)化傳統(tǒng)衛(wèi)星通信系統(tǒng)中動態(tài)波束調(diào)度方案。由于狀態(tài)被重構(gòu)，需要將卷積神經(jīng)、深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的結(jié)構(gòu)作為網(wǎng)路的主體，以此將系統(tǒng)中的類像素值矩陣模擬出來。網(wǎng)絡(luò)訓(xùn)練主要是用來表示動作函數(shù)值與非線性函數(shù)的逼近程度，針對傳統(tǒng)學(xué)習(xí)難以收斂的問題，利用深度學(xué)習(xí)算法來提高網(wǎng)絡(luò)的穩(wěn)定性，將階段系統(tǒng)容量清空、存儲組數(shù)據(jù)容量小于經(jīng)驗(yàn)池?cái)?shù)據(jù)容量之后，進(jìn)行相應(yīng)的網(wǎng)絡(luò)訓(xùn)練，從而實(shí)現(xiàn)多波束的批量歸一化處理。動作策略的選擇一般發(fā)生在完成智能體訓(xùn)練之后，考慮到智能體經(jīng)歷的狀態(tài)空間不完整性，需要利用權(quán)衡方法對可能影響網(wǎng)絡(luò)動作值的因素進(jìn)行優(yōu)化，以此保證智能體在探索新動作時(shí)能夠隨著迭代次數(shù)的增多而獲得最佳的輸出效果。進(jìn)而減少多波束調(diào)度探索的概率[2]。

2.2.4算法的實(shí)現(xiàn)

算法實(shí)現(xiàn)流程如下：1.根據(jù)多波束衛(wèi)星通信系統(tǒng)參數(shù)、初始化算法參數(shù)、系統(tǒng)吞吐量參數(shù)進(jìn)行網(wǎng)絡(luò)的初始化操作。2.依據(jù)優(yōu)先級對每一波束的子載波進(jìn)行排序，以此保證波束獲得最佳的子載波。3.尋找多波束中信道條件、信噪比最優(yōu)的子載波，并將其分配給若干個波束，然后按照信道容量的差值，為從小到大排序的波束優(yōu)先分配最佳子載波。4.重新計(jì)算智能體實(shí)際信道容量，在保證信道質(zhì)量最佳的情況下，優(yōu)先為用戶匹配最佳的子載波，進(jìn)而提升資源的利用效率，保證通信質(zhì)量。

2.3動態(tài)波束調(diào)度方案

以波束為主導(dǎo)的多波束衛(wèi)星通信系統(tǒng)資源方案，主要是在保證用戶通信質(zhì)量的基礎(chǔ)上，對資源重新分配，然后頻繁計(jì)算系統(tǒng)運(yùn)行復(fù)雜度，對加權(quán)系數(shù)、資源更新頻率進(jìn)行加速處理，避免在變化微小、用戶數(shù)量過多的情況下，系統(tǒng)無法滿足用戶對衛(wèi)星通信的個性化需求。在原則上，多波束調(diào)度方案能夠在終端接入新用戶之后，將波束覆蓋在小區(qū)的全部范圍之內(nèi)，并且會對未被波束覆蓋的小區(qū)進(jìn)行重新資源分配，以此保證資源利用效率的提升。同時(shí)，在用戶移出一定量的波束之后，衛(wèi)星通信系統(tǒng)會隨著用戶位置以及數(shù)量的變化，對未滿足波束覆蓋條件的小區(qū)進(jìn)行資源的再分配。在重新分配資源的過程中，多波束調(diào)度技術(shù)還會根據(jù)用戶反饋對源數(shù)據(jù)組合進(jìn)行重新排列，并將條件相似的波束整合在一起，產(chǎn)生的新資源分配方案對提升系統(tǒng)容量具有十分重要的現(xiàn)實(shí)意義。

三、仿真結(jié)果分析

3.1系統(tǒng)吞吐量

對每個小區(qū)內(nèi)多波束覆蓋情況進(jìn)行分析，以此得到關(guān)于多波束衛(wèi)星通信系統(tǒng)吞吐性能的仿真結(jié)果?；谏疃葘W(xué)習(xí)算法的多波束調(diào)度技術(shù)能夠有效增強(qiáng)系統(tǒng)的吞吐量，并且當(dāng)小區(qū)負(fù)載增加量超過一定值之后，基于深度學(xué)習(xí)算法的多波束調(diào)度技術(shù)收斂情況較好，經(jīng)過一定周期的訓(xùn)練之后，系統(tǒng)吞吐量能夠達(dá)到最大值。由此證明，利用深度學(xué)習(xí)算法對傳統(tǒng)固定多波束衛(wèi)星通信系統(tǒng)進(jìn)行優(yōu)化，可有效提升資源的利用效率，最大程度解決動態(tài)資源管理問題。

3.2用戶公平性

當(dāng)多波束衛(wèi)星通信系統(tǒng)吞吐量增多之后，每個小區(qū)內(nèi)的用戶公平性會發(fā)生相應(yīng)的變化。為最大用戶公平性，動態(tài)多波束調(diào)度技術(shù)根據(jù)系統(tǒng)吞吐量最大的理論值，運(yùn)用穩(wěn)態(tài)時(shí)間平均值可根據(jù)用戶不同的需求提供進(jìn)行資源配置，在保證公平性合理情況的基礎(chǔ)上，最大戶多波束衛(wèi)星通信系統(tǒng)的吞吐量[3]。

四、動態(tài)波束調(diào)度技術(shù)未來展望

基于深度學(xué)習(xí)的動態(tài)多波束調(diào)度技術(shù)能夠有效減少傳輸數(shù)據(jù)包的平均時(shí)延，對保證提升系統(tǒng)吞吐量、用戶公平性具有重要意義。針對多波束調(diào)度技術(shù)中的性能指標(biāo)，還可對變換的衛(wèi)星場景構(gòu)建起相應(yīng)的學(xué)習(xí)模型，然后利用多個智能體來強(qiáng)化深度學(xué)習(xí)算法，同時(shí)針對固定業(yè)務(wù)、移動業(yè)務(wù)、廣播業(yè)務(wù)等層面，對鏈路中的數(shù)據(jù)包傳輸業(yè)務(wù)進(jìn)行調(diào)整，能夠進(jìn)一步發(fā)揮出深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的優(yōu)勢與作用。隨著人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等技術(shù)的發(fā)展與進(jìn)步，還可實(shí)現(xiàn)多波束衛(wèi)星通信系統(tǒng)的動態(tài)多波束調(diào)度技術(shù)在線管理的升級，為解決動態(tài)資源問題具有重要意義。

五、結(jié)束語

綜上所述，由于多波束衛(wèi)星通信系統(tǒng)快速移動會增加星間切換的復(fù)雜性，有必要從資源利用率角度出發(fā)，利用動態(tài)波束調(diào)動技術(shù)對傳統(tǒng)固定多波束衛(wèi)星通信系統(tǒng)進(jìn)行調(diào)整，通過對仿真結(jié)果的分析與討論，明確動態(tài)波束調(diào)度技術(shù)能夠?yàn)橛脩籼峁┯嗅槍π缘姆?wù)，在時(shí)延性能、歸一化系統(tǒng)吞吐量上具有顯著優(yōu)勢，對波束技術(shù)進(jìn)一步開發(fā)與利用具有十分重要的現(xiàn)實(shí)意義。

參? 考? 文? 獻(xiàn)

[1]劉婉瑩，夏師懿，姜泉江，等.低軌衛(wèi)星網(wǎng)絡(luò)基于跳波束的資源調(diào)度算法[J].中國科學(xué)院大學(xué)學(xué)報(bào)，2020，37（06）：805-813.

[2]徐順清，石晶林，張宗帥，等.5G通信中基于混合波束成型的多用戶MIMO調(diào)度算法研究[J].高技術(shù)通訊，2020，30（06）：545-552.

[3]王藝鵬.多波束衛(wèi)星通信系統(tǒng)中的動態(tài)波束調(diào)度技術(shù)研究[D].北京郵電大學(xué)，2019.

[4]劉依，胡哲，景小榮.多輸入多輸出—非正交多址接入系統(tǒng)融合用戶調(diào)度的下行波束賦形設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用，2018，38（11）：3282-3286.