基于非穩(wěn)態(tài)MAB 的LEO 衛(wèi)星跳波束時隙分配算法

林敏，闞鵬程，趙柏，程銘，楊綠溪

（1.南京郵電大學(xué)通信與信息工程學(xué)院，江蘇 南京 210003；2.東南大學(xué)信息科學(xué)與工程學(xué)院，江蘇 南京 211189）

0 引言

針對6G 網(wǎng)絡(luò)中“泛在連接”的技術(shù)愿景，衛(wèi)星通信因其通信覆蓋范圍大、不受地理條件限制、組網(wǎng)靈活等優(yōu)點，被產(chǎn)業(yè)界和學(xué)術(shù)界認為是實現(xiàn)6G技術(shù)愿景的一種重要的通信方式[1]。在衛(wèi)星通信中，低地球軌道（LEO,low earth orbit）衛(wèi)星通信憑借其傳輸時延短、建設(shè)成本相對較低等特點，在近幾年得到了較多的關(guān)注和發(fā)展[2]。隨著SpaceX、OneWeb等公司低軌衛(wèi)星星座建設(shè)計劃的提出與實施，以及我國低軌衛(wèi)星互聯(lián)網(wǎng)星座的研究和部署，LEO 衛(wèi)星通信成為衛(wèi)星通信領(lǐng)域研究的焦點。

跳波束（BH,beaming hopping）技術(shù)以業(yè)務(wù)需求為驅(qū)動，通過在同一時刻只激活部分波束覆蓋相應(yīng)的地面小區(qū)，實現(xiàn)系統(tǒng)資源的合理分配和靈活調(diào)度，一經(jīng)提出便得到了廣泛的關(guān)注和研究[3-4]。文獻[5-6]綜合考慮了跳波束系統(tǒng)中波束重訪時間和分簇尺寸等因素，以n階差分容量最小化為目標建立相應(yīng)的優(yōu)化問題，采用凸優(yōu)化方法求解得到時隙分配結(jié)果，并通過時隙分配進一步緩解了多波束衛(wèi)星的同頻干擾問題。然而，該方法采用離線靜態(tài)資源分配，并不能很好地適應(yīng)用戶業(yè)務(wù)需求動態(tài)變化的場景。文獻[7]則基于貪婪算法根據(jù)用戶業(yè)務(wù)的需求分布靈活地分配星載資源，但是該算法未考慮服務(wù)公平性問題。文獻[8]則在保證每個波束服務(wù)公平性的前提下，建立了最小化實時性服務(wù)數(shù)據(jù)包時延以及最大化非實時性服務(wù)數(shù)據(jù)包吞吐量的多目標優(yōu)化問題，并基于深度強化學(xué)習(xí)實現(xiàn)了該多目標優(yōu)化問題的動態(tài)求解。該方法雖然能很好地適應(yīng)用戶業(yè)務(wù)需求動態(tài)變化的場景，但仍然存在學(xué)習(xí)模型復(fù)雜度較高、對計算資源需求較高的問題。

多臂賭博機（MAB,multi-armed bandit）模型作為強化學(xué)習(xí)中實現(xiàn)探索和利用平衡的一類經(jīng)典模型，因其具有在未知環(huán)境信息條件下也能實現(xiàn)動態(tài)優(yōu)化的特點，在信道選擇、推薦系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用[9-11]。傳統(tǒng)的MAB 模型依賴于平穩(wěn)的獎勵分布，文獻[12]進一步研究了非穩(wěn)態(tài)MAB 模型并提出了相應(yīng)的求解算法，并且通過理論和實踐證明，該求解算法能在保證收斂性的情況下很好地應(yīng)用于獎勵分布未知且隨時間動態(tài)變化的場景，同時相比于深度強化學(xué)習(xí)等人工智能算法，其對計算資源的需求更低。

本文考慮LEO 跳波束衛(wèi)星系統(tǒng)中地面小區(qū)業(yè)務(wù)需求分布不均以及動態(tài)變化的場景，在滿足小區(qū)業(yè)務(wù)需求量的基礎(chǔ)上建立以二階差分容量為目標的最小化問題。由于小區(qū)業(yè)務(wù)需求的時變性，所建立的優(yōu)化問題難以直接求解，因此本文首先提出波束等級組合方案生成算法以生成所有可能的波束等級組合方案；然后在固定波束等級組合方案的情況下，通過非穩(wěn)態(tài)MAB 模型完成時隙的動態(tài)分配；最后以二階差分容量最小化為準則選擇最優(yōu)波束等級組合方案，從而完成時隙分配與波束等級匹配的聯(lián)合優(yōu)化。由仿真結(jié)果可知，與單一等級方案和單一波束方案相比，本文算法能夠進一步降低跳波束系統(tǒng)業(yè)務(wù)處理的歸一化平均冗余度；同時相比于其余的時隙分配方案，本文算法在總業(yè)務(wù)需求量變化的同時能達到較高的系統(tǒng)吞吐量，并保持相對較低的波束平均重訪時間。

1 系統(tǒng)模型

如圖1 所示，本文研究LEO 跳波束衛(wèi)星通信系統(tǒng)的前向鏈路傳輸場景，它由網(wǎng)絡(luò)控制中心、配備跳波束控制器的LEO 衛(wèi)星和地面小區(qū)組成，并采用兼容DVB-S2/S2X 協(xié)議的跳波束工作方式。綜合考慮LEO 衛(wèi)星所處的軌道高度以及移動性，本文將LEO 衛(wèi)星在飛行過程中的總體覆蓋區(qū)域劃分為不同的觀察窗口，并且在每個觀察窗口內(nèi)能夠服務(wù)N個地面小區(qū)。為了提高系統(tǒng)的頻譜利用效率，LEO 衛(wèi)星在當(dāng)前觀察窗口內(nèi)以全頻率復(fù)用的方式同時生成K個點波束服務(wù)N個小區(qū)。由于星載資源較有限，在跳波束衛(wèi)星通信系統(tǒng)中通常假設(shè)點波束數(shù)目遠小于小區(qū)數(shù)目，即K?N?；谏鲜龅腖EO衛(wèi)星跳波束通信場景，本文將分別詳細介紹小區(qū)業(yè)務(wù)模型、信道模型以及分等級波束模型。

圖1 LEO 跳波束衛(wèi)星通信系統(tǒng)模型

假設(shè)跳波束衛(wèi)星通信系統(tǒng)的跳波束周期為TW，而衛(wèi)星在跳波束周期內(nèi)的每個時隙以數(shù)據(jù)包的形式向地面小區(qū)提供業(yè)務(wù)數(shù)據(jù)，且數(shù)據(jù)包大小均為Xbit/s。同時假設(shè)各個小區(qū)在t時隙到達的數(shù)據(jù)包個數(shù)為A(t)=[a1(t),a2(t),…,aN(t)]T，其中數(shù)據(jù)包的到達數(shù)量an(t)服從均值為λn(n=1,2,…,N)的泊松分布，則在該觀察窗口中各個小區(qū)在一個跳波束周期內(nèi)的業(yè)務(wù)需求量為

此外，各小區(qū)數(shù)據(jù)包達到后若不能及時處理則進入緩沖區(qū)隊列等待，并將t時隙的緩沖區(qū)數(shù)據(jù)量表示為

在傳統(tǒng)的跳波束衛(wèi)星通信系統(tǒng)中，其單波束業(yè)務(wù)數(shù)據(jù)處理能力較固定，這可能會導(dǎo)致在跳波束時隙分配過程中存在以下2 種固有問題。1)當(dāng)某些小區(qū)的業(yè)務(wù)需求量較大以至于接近甚至超過了單波束最大業(yè)務(wù)數(shù)據(jù)處理能力時，便需要衛(wèi)星波束長期照射這些小區(qū)，這會導(dǎo)致其他小區(qū)業(yè)務(wù)處理不及時、數(shù)據(jù)包等待時延過長；2) 當(dāng)某幾個相鄰小區(qū)的總業(yè)務(wù)需求量較低時，如果仍然使用單一等級波束在這些小區(qū)間進行跳變，則會占用過多的跳波束時隙，導(dǎo)致其余小區(qū)的業(yè)務(wù)需求量難以得到滿足。針對上述問題，本文采用波束分級方法來進一步提高跳波束LEO 衛(wèi)星通信系統(tǒng)的資源利用率[13-14]。具體來講，本文考慮采用3 種等級的波束處理小區(qū)的業(yè)務(wù)數(shù)據(jù)包，如圖2 所示。

圖2 分等級波束示意

本文考慮3 種等級的波束，并分別記為L1、L2和L3。其中，L1等級波束覆蓋1 個小區(qū)，L2等級波束覆蓋7 個小區(qū)，L3等級波束覆蓋19 個小區(qū)。綜合考慮分等級波束增益差異性、衛(wèi)星信號傳播過程中的自由空間傳輸損耗以及雨衰等因素的影響，衛(wèi)星下行信道可建模為[14]

圖3 波束3 dB 角度計算示意

根據(jù)式(3)可以得出t時隙被Li等級波束k服務(wù)的小區(qū)n的輸出信干噪比（SINR,signal to interference plus noise ratio）表達式為

其中，PT表示衛(wèi)星發(fā)射功率；σ2=κTnoiseW表示噪聲功率，其中κ、Tnoise和W分別表示玻耳茲曼常數(shù)、噪聲溫度和載波帶寬；In(t)表示該小區(qū)在當(dāng)前時隙受到來自其他被照射小區(qū)的同頻干擾，其具體表達式為

其中，K為當(dāng)前工作的波束集合，為波束k'服務(wù)的小區(qū)集合。進一步地，可以得到t時隙針對被照射小區(qū)n的數(shù)據(jù)包處理能力為

于是小區(qū)n經(jīng)過一個跳波束周期后的總業(yè)務(wù)數(shù)據(jù)處理量為

2 問題建立與求解

2.1 問題建立

由小區(qū)業(yè)務(wù)模型和分等級波束模型可知，當(dāng)部分小區(qū)業(yè)務(wù)數(shù)據(jù)量需求量較大時，應(yīng)盡量采用L1等級波束以盡可能滿足其業(yè)務(wù)需求；當(dāng)部分小區(qū)業(yè)務(wù)數(shù)據(jù)量較小時，可考慮優(yōu)先采用L2等級波束或L3等級波束對這部分小區(qū)進行合并，從而將更多的時隙資源分配給其余業(yè)務(wù)需求量較大的小區(qū)。因此，需要通過聯(lián)合優(yōu)化時隙分配與波束等級匹配以盡可能滿足各小區(qū)在一個跳波束周期內(nèi)的業(yè)務(wù)需求，本文以二階差分容量最小化為目標函數(shù)，建立如下形式的聯(lián)合優(yōu)化問題

其中，C1 限定了每個小區(qū)的波束等級選取范圍；C2 限定了時隙分配矩陣中每個元素的取值范圍；C3 中表示小區(qū)n選擇的Li等級波束所覆蓋的小區(qū)數(shù)目，因此C3 表示在同一時隙服務(wù)地面小區(qū)的波束數(shù)不能超過多波束衛(wèi)星的最大波束數(shù)目。

由于該問題為非線性整數(shù)規(guī)劃問題，且由于小區(qū)業(yè)務(wù)需求的動態(tài)變化，直接求解該問題將變得十分困難。因此本文首先提出波束等級組合方案生成算法以生成所有可能的波束等級組合方案；然后在固定波束等級組合方案的情況下，通過非穩(wěn)態(tài)MAB模型完成時隙的動態(tài)分配；最后根據(jù)二階差分容量最小化為準則選擇最優(yōu)波束等級組合方案，從而完成時隙分配和波束等級匹配的聯(lián)合優(yōu)化。

2.2 波束等級組合方案生成算法

由于跳波束周期通常較短，且LEO 衛(wèi)星過境時間有限，因此為了避免LEO 衛(wèi)星波束等級的頻繁切換，本文假設(shè)在一個跳波束周期中，每個小區(qū)只可以固定選擇一種等級的波束。基于該假設(shè)，本文提出一種波束等級組合方案的生成算法以生成各個小區(qū)在一個跳波束周期內(nèi)所有可能的波束等級組合，從而為后續(xù)的動態(tài)時隙分配提供先驗知識。

首先考慮2 種特殊波束等級組合方案，即單一等級方案和單一波束方案。在這2 種方案中，各個小區(qū)在一個跳波束周期內(nèi)均采用同一種波束等級（L1等級或L3等級），不存在多種波束等級并存的場景，此時，退化為傳統(tǒng)的跳波束時隙分配問題或單波束場景。

然后考慮更一般的情況，即部分小區(qū)選擇L2等級波束，而部分小區(qū)選擇L1等級波束。此時對波束等級組合方案的分析將變得復(fù)雜，因為盡管在一個跳波束周期中各個小區(qū)只能選擇一種等級的波束，但是小區(qū)對L2等級波束的選擇可能在不同時隙上存在重疊，如圖4 所示。

圖4 混合波束等級示意

從圖4 可知，從單個時隙來看，當(dāng)1～7 號小區(qū)選擇L2等級波束時，其余小區(qū)均只可以選擇L1等級波束。從整個跳波束周期來看，12～14 號小區(qū)對應(yīng)的波束等級依然有可能為L2等級波束，因為它們的波束與1～7 號小區(qū)對應(yīng)的波束并不在同一個時隙被照射。因此，該波束等級組合方案依然是可行的。波束等級組合方案生成算法首先要處理混合波束等級在不同時隙下的重疊問題。對此，本文首先提出關(guān)鍵小區(qū)和有效關(guān)鍵小區(qū)的概念。

關(guān)鍵小區(qū)為可能處于波束覆蓋中心且波束等級的選擇將影響周圍小區(qū)波束等級選擇的小區(qū)。以圖4 為例，當(dāng)1 號小區(qū)在一個跳波束周期內(nèi)對應(yīng)的波束等級為L2等級時，可以通過L2等級波束覆蓋方式得出，其周圍2～7 號小區(qū)將至少有3 個小區(qū)選擇L2等級波束，并且1 號小區(qū)可以處在波束覆蓋中心，因此認為1 號小區(qū)為關(guān)鍵小區(qū)。同理，2～7 號小區(qū)均可作為關(guān)鍵小區(qū)。

有效關(guān)鍵小區(qū)為在一個跳波束周期中能夠處于波束覆蓋中心的關(guān)鍵小區(qū)。仍然以圖4 為例，盡管1～7 號小區(qū)為關(guān)鍵小區(qū)，但是在圖4 所示的波束等級組合方案中，有效關(guān)鍵小區(qū)只有1 號小區(qū)和4 號小區(qū)，因為它們在一個跳波束周期中能夠處于波束覆蓋中心。

通過有效關(guān)鍵小區(qū)的概念可知，圖4 中重疊問題來自在一個跳波束周期中選擇了2 個關(guān)鍵小區(qū)，同時也可以借此計算出混合了L2等級波束的所有可能的波束等級組合方案的數(shù)量。具體來講，當(dāng)有效關(guān)鍵小區(qū)數(shù)量為1 時，可能的波束組合方案數(shù)量為對應(yīng)的7 種方案分別是1～7 號小區(qū)各自作為選擇L2等級波束的有效關(guān)鍵小區(qū)，而其余小區(qū)選擇L1等級波束。因此通過改變有效關(guān)鍵小區(qū)的數(shù)量，可以得出混合了L2等級波束的所有可能的波束組合方案的數(shù)量應(yīng)為

本文提出的波束等級組合方案生成算法的基本流程如下。首先，確定有效關(guān)鍵小區(qū)集合C以及集合元素個數(shù)M；然后，依次從集合C中選取1 個元素、2 個元素等，直到M個元素全部被取出，并根據(jù)每次選取結(jié)果確定其余小區(qū)的波束等級組合；最后，將所有波束等級組合匯總，得出所有的波束組合方案集合S。需要說明的是，盡管前文在引入關(guān)鍵小區(qū)時以混合了L2等級波束小區(qū)的情況為例，但是通過改變有效關(guān)鍵小區(qū)集合C中的元素，該算法仍然適用于前文所述的2 種特殊波束組合方案的生成。該算法流程如算法1 所示。

算法1波束等級組合方案生成算法

初始化有效關(guān)鍵小區(qū)集合C，集合C元素數(shù)量M，波束等級組合方案集合S

2.3 動態(tài)時隙分配算法

當(dāng)生成波束等級組合方案集合S后，本節(jié)將針對集合S中的每個具體波束等級組合方案s進行跳波束時隙分配。由于小區(qū)業(yè)務(wù)需求量是動態(tài)變化的，因此傳統(tǒng)的凸優(yōu)化求解方法將不再適用。本文提出基于非穩(wěn)態(tài)MAB 模型的求解算法。與傳統(tǒng)MAB 模型類似，在非穩(wěn)態(tài)MAB 模型的動作空間中也包含多個搖臂，而玩家每次只能從動作空間中選擇一個搖臂，并獲得相應(yīng)的獎勵。因此，在正式求解非穩(wěn)態(tài)MAB 模型之前，應(yīng)首先定義該模型的動作空間以及獎勵設(shè)置，具體如下。

1) 動作空間

當(dāng)固定一種波束等級組合方案后，動作空間為該方案下所有跳波束圖案構(gòu)成的集合，每種跳波束圖案對應(yīng)該動作空間中的一個動作（搖臂）。以圖5 為例，假設(shè)本文選擇的波束等級組合方案為1～7 號小區(qū)在整個跳波束周期內(nèi)選擇L2等級波束，而其余小區(qū)選擇L1等級波束，同時假設(shè)每個時隙可同時服務(wù)的最大波束數(shù)量K=3，則圖5(a)～圖5(c)均為該波束等級組合方案下可能的3 種跳波束圖案，該波束等級組合方案下所有可能的跳波束圖案數(shù)量應(yīng)為種，即從8～19 號小區(qū)中任選2 個L1等級波束小區(qū)與1～7 號小區(qū)相組合的組合數(shù)量。

圖5 動作空間示例

2) 獎勵設(shè)置

獎勵設(shè)置直接影響非穩(wěn)態(tài)MAB 模型的決策效果?？紤]到跳波束時隙分配的基本要求是盡可能滿足每個小區(qū)的實際業(yè)務(wù)需求，因此本文的獎勵設(shè)置將圍繞小區(qū)實際業(yè)務(wù)需求量和數(shù)據(jù)包處理量來展開。具體來講，假設(shè)所選定的動作空間中包含Q個搖臂，且在t時隙選擇了第q個搖臂，且該搖臂中包含的小區(qū)n的當(dāng)前緩沖區(qū)數(shù)據(jù)包個數(shù)為φn（t），同時該小區(qū)新到達數(shù)據(jù)包個數(shù)為an(t)，且在當(dāng)前搖臂下計算出該小區(qū)的數(shù)據(jù)包處理能力為，則針對該小區(qū)的瞬時獎勵的具體表達式為

其中，β為大于 1 的乘性系數(shù)；Cn=為該小區(qū)在當(dāng)前動作空間下的參考數(shù)據(jù)包處理能力。同時，由于單個搖臂通常包含多個小區(qū)，因此需要進一步對這些小區(qū)的瞬時獎勵求平均以得到該搖臂的歸一化動作獎勵，則第q個搖臂在t時隙的獎勵表達式為

其中，Numq表示該搖臂包含的小區(qū)數(shù)量。

3) 非穩(wěn)態(tài)MAB 模型的求解

首先，給定動作空間A，該動作空間包含的搖臂數(shù)量為QA，則基于前文的獎勵設(shè)置，通過折扣上界置信區(qū)間（D-UCB,discounted upper confidence bound）算法進行非穩(wěn)態(tài)MAB 決策，從而得出該動作空間下的時隙分配方案[12]。

具體來講，首先，在t時隙計算出該動作空間下第q個搖臂的折扣期望獎勵為

2.4 最優(yōu)波束等級組合方案選擇

利用D-UCB 算法可得出給定動作空間下的最優(yōu)時隙分配方案。在這之前，需要選擇最優(yōu)動作空間以確定最優(yōu)波束等級組合方案。本節(jié)考慮以二階差分容量最小化為準則選擇最優(yōu)波束等級組合方案。具體流程如下。首先，從波束等級組合方案集合S中選擇一種波束等級組合方案s；然后，基于非穩(wěn)態(tài)MAB 模型完成該方案下的時隙分配；接著，根據(jù)時隙分配結(jié)果計算方案s下小區(qū)業(yè)務(wù)需求量和實際處理量的二階差分容量，即最后，選擇二階差分容量最小的方案作為最優(yōu)波束等級組合方案，從而完成時隙分配與波束等級匹配的聯(lián)合優(yōu)化。

考慮到不同波束等級組合方案s下的時隙分配是互相獨立的，因此可以并行執(zhí)行動態(tài)時隙分配。最終，可將本文所提時隙分配和波束等級聯(lián)合優(yōu)化算法流程總結(jié)為圖6。

圖6 時隙分配和波束等級匹配聯(lián)合優(yōu)化算法流程

3 仿真結(jié)果與分析

3.1 場景和參數(shù)設(shè)置

本文采用的仿真工具為MATLAB R2022a，并且在仿真時，假設(shè)LEO 衛(wèi)星工作于Ka 頻段，覆蓋區(qū)域內(nèi)包含19 個小區(qū)。其余仿真參數(shù)如表1 所示。

表1 仿真參數(shù)

3.2 仿真結(jié)果與分析

在進行仿真結(jié)果分析之前，本文先引入以下性能評估指標。

系統(tǒng)吞吐量。每輪實驗中傳輸?shù)臄?shù)據(jù)包總數(shù)。

波束重訪時間。跳波束所分配的時隙之間的間隔時間，重訪時間過長將會影響用戶終端的同步[4]。

系統(tǒng)歸一化平均冗余度。當(dāng)方案s完成時隙分配后，通過計算該方案下實際業(yè)務(wù)處理量與實際業(yè)務(wù)需求量的差值并在歸一化后取平均，即可得出該方案下的系統(tǒng)歸一化平均冗余度，該指標可以直觀反映出系統(tǒng)資源的利用情況，其表達式為

1) 混合波束等級方案優(yōu)勢分析

首先，為了體現(xiàn)混合波束等級帶來的優(yōu)勢，本文考慮了以下6 種場景。①所有小區(qū)需求均較低；②所有小區(qū)需求均較高，但都未超過單一等級波束最大處理能力；③大部分小區(qū)需求較低，剩余小區(qū)需求較高；④大部分小區(qū)需求較高，剩余小區(qū)需求較低；⑤中心小區(qū)需求較低，剩余小區(qū)需求較高；⑥中心小區(qū)需求較高，剩余小區(qū)需求較低。

然后，分別繪制了不同場景下混合波束等級方案、單一波束方案和單一等級（L1）方案下的系統(tǒng)歸一化平均冗余度曲線，如圖7 所示。

圖7 不同場景下系統(tǒng)歸一化平均冗余度對比

由圖7 可知，在各種場景下，混合波束等級方案均保持了較低的系統(tǒng)平均冗余度。在場景①中，由于所有小區(qū)業(yè)務(wù)需求均較低，因此單一波束方案即可滿足要求；在場景②中，由于所有小區(qū)需求均較高且都未超過單一等級波束最大處理能力，因此場景②下采用單一等級（L1）波束進行跳變即可達到最低系統(tǒng)歸一化平均冗余度；在其余場景中，由于混合等級波束方案可以通過波束等級匹配來空出時隙以滿足其余業(yè)務(wù)需求量較大的小區(qū)，因此當(dāng)小區(qū)間業(yè)務(wù)差距較大時，混合波束等級方案依然可以表現(xiàn)出較低的系統(tǒng)歸一化平均冗余度。

2) D-UCB 算法參數(shù)分析

對于D-UCB 算法來說，折扣因子γ的選取將直接影響該算法的性能。當(dāng)γ=1.0時，D-UCB 算法將退化為傳統(tǒng)UCB 算法，并適用于獎勵分布穩(wěn)定已知的情況；當(dāng)γ=0時，D-UCB 算法則完全依賴于歷史的獎勵，只根據(jù)瞬時獎勵做出決策。因此本文分別考慮了γ=0、γ=0.5以及γ=1.0這3種典型情況下系統(tǒng)吞吐量隨總業(yè)務(wù)需求量的變化情況，如圖8 所示。

圖8 不同折扣因子下系統(tǒng)吞吐量變化對比

由圖8 可知，當(dāng)γ=0時，D-UCB 算法在總業(yè)務(wù)需求量較高時難以保證穩(wěn)定的性能，且系統(tǒng)吞吐量始終難以滿足業(yè)務(wù)需求量的要求；當(dāng)γ=0.5和γ=1.0時，D-UCB 算法下的系統(tǒng)吞吐量均能保持穩(wěn)定增長，且前者性能相對更高，這也反映出當(dāng)獎勵非穩(wěn)定時，通過對歷史獎勵的選擇性利用，可以讓D-UCB 算法保持較好的效果。

3) 不同算法性能對比分析

為了驗證本文所提出的基于非穩(wěn)態(tài)MAB 模型的動態(tài)時隙分配算法的性能，本節(jié)考慮將該算法與平均時隙分配算法、貪婪時隙分配算法以及ε時隙分配算法進行對比，其中對比算法的具體介紹如下。

平均時隙分配算法。在跳波束周期中的每個時隙依次選擇一個小區(qū)進行時隙分配。

貪婪時隙分配算法。在跳波束周期中的每個時隙選擇當(dāng)前緩沖區(qū)數(shù)據(jù)包數(shù)量最大的小區(qū)進行時隙分配。

ε時隙分配算法。在跳波束周期中的每個時隙按照1-ε的概率對D-UCB 算法進行時隙分配，否則依舊選擇當(dāng)前小區(qū)進行時隙分配。

最后，本文對比了不同算法下系統(tǒng)吞吐量情況，如圖9 所示。

圖9 不同算法下系統(tǒng)吞吐量對比

由圖9 可知，隨著總業(yè)務(wù)需求量的增加，平均時隙分配算法不能充分實現(xiàn)波束等級和時隙資源的靈活分配，因此其系統(tǒng)吞吐量始終較低；貪婪時隙分配算法只注重當(dāng)前時隙的緩沖區(qū)數(shù)據(jù)情況，其決策從整個跳波束周期來看未必最優(yōu)，因此其吞吐量相對較低；ε時隙分配算法的性能在總業(yè)務(wù)需求量較低時比較接近本文算法，但由于其決策時仍然存在一定的隨機性，因此該算法仍然存在一定的性能損失；相比這3 種算法，本文算法的系統(tǒng)吞吐量隨著總業(yè)務(wù)需求量的增加仍然能保持較穩(wěn)定的增長，同時在總業(yè)務(wù)需求量較高時也能保持相對較好的性能。

4) 波束重訪時間變化分析

波束重訪時間也是衡量跳波束系統(tǒng)性能的一個重要指標。為了衡量本文算法的波束重訪時間，本節(jié)進行了50 次實驗，并統(tǒng)計每次實驗下的波束平均重訪時間，最終結(jié)果如圖10 所示。

圖10 波束平均重訪時間變化

由圖10 可知，本文算法的波束平均重訪時間始終保持在300 ms 以內(nèi)，且大部分情況下可以保持在250 ms 左右，因此能夠基本滿足跳波束系統(tǒng)的同步性能要求[5]。

4 結(jié)束語

本文研究了LEO 跳波束衛(wèi)星系統(tǒng)中的時隙分配和波束等級聯(lián)合優(yōu)化問題，從而在小區(qū)業(yè)務(wù)需求時變性和空間不均勻性的情況下實現(xiàn)衛(wèi)星資源的靈活分配。相比于已有的跳波束算法，本文借助于非穩(wěn)態(tài)MAB 模型實現(xiàn)了在不依賴于環(huán)境信息以及較高計算資源下的動態(tài)時隙分配，且通過采用分等級波束技術(shù)實現(xiàn)了波束覆蓋范圍與小區(qū)業(yè)務(wù)需求的匹配。仿真結(jié)果表明，相比單一波束方案和單一等級波束方案，本文所提混合波束等級方案的系統(tǒng)平均冗余度均不超過20%；當(dāng)總業(yè)務(wù)需求量從1 200 Mbit/s 增長到3 600 Mbit/s 時，本文所提動態(tài)時隙分配算法依然能保證較高的系統(tǒng)吞吐量，并將波束平均重訪時間控制在300 ms 以內(nèi)，從而提高了LEO跳波束衛(wèi)星系統(tǒng)的資源利用率。