信息非完備下多航天器軌道博弈強(qiáng)化學(xué)習(xí)方法

王英杰，袁 利，湯 亮，3，黃 煌，3，耿遠(yuǎn)卓，3

(1. 北京控制工程研究所，北京 100094；2. 中國空間技術(shù)研究院，北京 100094；3. 空間智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100094)

0 引 言

隨著空間任務(wù)日趨復(fù)雜,航天器智能水平的需求也日益增長。傳統(tǒng)的航天控制技術(shù)通常采用“地面測(cè)定軌+遙測(cè)下傳→情況判定→決策規(guī)劃→上注指令→在軌執(zhí)行”的天地大回路工作模式。當(dāng)面向具有高不確定性和強(qiáng)實(shí)時(shí)性的空間軌道博弈任務(wù)時(shí),傳統(tǒng)航天控制技術(shù)缺乏實(shí)時(shí)性與自主性,難以有效適應(yīng)任務(wù)需求[1-2]。因此,航天器亟需面向不確定空間軌道博弈場景的在軌自主博弈決策技術(shù)。

隨著航天技術(shù)的不斷發(fā)展,小衛(wèi)星憑借研制周期短、性價(jià)比高、適合批量化發(fā)射等特點(diǎn)展現(xiàn)出了極高的經(jīng)濟(jì)價(jià)值。另一方面,微小衛(wèi)星集群協(xié)同的任務(wù)模式具有高效、強(qiáng)魯棒等特點(diǎn),能夠?qū)崿F(xiàn)超越大型平臺(tái)的功用。21世紀(jì)以來,在天文觀測(cè)、深空探測(cè)和對(duì)地勘測(cè)等方面,美國國家航空航天局、歐洲空間局等機(jī)構(gòu)相繼提出并逐漸實(shí)施各式各樣的航天器集群計(jì)劃。航天器正朝著小型化、協(xié)同化和集群化的方向快速發(fā)展。航天器集群化的發(fā)展趨勢(shì),給空間軌道博弈提出了多航天器分布式協(xié)同博弈的新挑戰(zhàn)。

微分對(duì)策理論基于雙邊最優(yōu)控制理論,可描述連續(xù)時(shí)間系統(tǒng)內(nèi)受微分方程約束的博弈競爭問題,目前已廣泛應(yīng)用于軌道追逃[3-4]、姿態(tài)接管[5]等典型場景中。微分對(duì)策的優(yōu)點(diǎn)是在任務(wù)要求較為簡單的博弈場景中,能夠精確地求解出最優(yōu)策略。然而,當(dāng)面對(duì)復(fù)雜空間軌道博弈任務(wù)時(shí),由于微分博弈對(duì)成本函數(shù)的約束,難以設(shè)計(jì)出符合任務(wù)需求的運(yùn)動(dòng)策略[6]。另一方面,由于哈密頓雅可比方程的非線性和耦合性,微分對(duì)策通常很難求得解析解[5]。

不同于依賴標(biāo)簽數(shù)據(jù)的深度學(xué)習(xí),強(qiáng)化學(xué)習(xí)[7]通過智能體在環(huán)境中不斷試錯(cuò),使智能體具備在特定環(huán)境下進(jìn)行自主決策的能力。近年來深度強(qiáng)化學(xué)習(xí)已在博弈問題中取得了令人矚目的成就。由DeepMind公司研發(fā)的人工智能算法AlphaGo先后戰(zhàn)勝了圍棋世界冠軍李世石、柯潔,成為了第一個(gè)戰(zhàn)勝圍棋世界冠軍的人工智能機(jī)器人[8]。AlphaStar在即時(shí)策略游戲星際爭霸Ⅱ中展現(xiàn)出超過99.8%人類玩家的大師級(jí)游戲水平[9]。在美國DARPA AlphaDogfight挑戰(zhàn)賽的人機(jī)大戰(zhàn)中,強(qiáng)化學(xué)習(xí)算法PHANG-MAN在虛擬空戰(zhàn)中以5:0的壓倒性優(yōu)勢(shì)擊敗了F-16飛行教官Banger[10]。針對(duì)傳統(tǒng)程序式機(jī)動(dòng)對(duì)多攔截器規(guī)避成功率低的問題,文獻(xiàn)[11]采用基于逆值法的稀疏獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)方法,有效提升了航天器編隊(duì)的協(xié)同自主規(guī)避能力。針對(duì)共面軌道攔截問題,文獻(xiàn)[12]采用基于經(jīng)驗(yàn)的深度確定性策略梯度(EBDDPG)算法,通過引入先驗(yàn)知識(shí),有效提升了強(qiáng)化學(xué)習(xí)算法在該問題中的收斂性。

在真實(shí)物理環(huán)境的應(yīng)用中,智能體系統(tǒng)的敏感器通常無法感知環(huán)境中的所有信息,該問題在空間環(huán)境中尤為突出。非合作目標(biāo)的位置速度信息獲取需要測(cè)距測(cè)速雷達(dá)的支持,但雷達(dá)的探測(cè)范圍有限。若非合作目標(biāo)超過雷達(dá)探測(cè)范圍,則只能通過光學(xué)敏感器獲得其方位信息。在信息非完備的約束下,深度強(qiáng)化學(xué)習(xí)僅憑單步輸入通常難以取得滿意的控制效果。因此,學(xué)者們通過引入具有記憶功能的循環(huán)神經(jīng)網(wǎng)絡(luò),彌補(bǔ)部分可觀測(cè)的缺陷。深度Q網(wǎng)絡(luò)(DQN)算法[13]在進(jìn)行Atari等游戲時(shí),常常將最近的4幀畫面組成一個(gè)狀態(tài)作為神經(jīng)網(wǎng)絡(luò)輸入,這是因?yàn)閮H憑1幀畫面難以判斷物體運(yùn)動(dòng)方向、速度等信息。深度循環(huán)Q網(wǎng)絡(luò)(DRQN)算法[14]將LSTM[15]和DQN算法相結(jié)合,在僅使用1幀畫面作為輸入的條件下,通過LSTM網(wǎng)絡(luò)進(jìn)行歷史信息的凝練壓縮,達(dá)到預(yù)測(cè)速度的效果,進(jìn)而實(shí)現(xiàn)信息非完備約束下的高性能表現(xiàn)。文獻(xiàn)[16]將LSTM與多智能體深度確定性梯度(MADDPG)算法[17]相結(jié)合提出了深度循環(huán)多智能體演員-評(píng)論家框架(R-MADDPG)。文獻(xiàn)[16]在部分信息可見、通訊受限的多智能體協(xié)作場景下進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,價(jià)值網(wǎng)絡(luò)采用循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)十分重要,能夠使得R-MADDPG具有應(yīng)對(duì)信息非完備約束的能力。

本文首先根據(jù)空間軌道博弈特點(diǎn),進(jìn)行了軌道博弈動(dòng)力學(xué)與信息非完備約束建模。其次,依據(jù)分布式系統(tǒng)架構(gòu),進(jìn)行了網(wǎng)絡(luò)輸入輸出結(jié)構(gòu)設(shè)計(jì),并引入具有記憶功能的LSTM網(wǎng)絡(luò),根據(jù)航天器運(yùn)動(dòng)在時(shí)間、空間連續(xù)的屬性,補(bǔ)償位置、速度測(cè)量信息的非完備性。另一方面,為增強(qiáng)決策模型的泛化性能,同構(gòu)航天器之間共享權(quán)值參數(shù)。然后采用紅藍(lán)左右互搏的訓(xùn)練模式,利用PPO算法[18]開展學(xué)習(xí)訓(xùn)練,以增強(qiáng)決策模型應(yīng)對(duì)各類策略的泛化性能。最后,在多航天器軌道追逃場景和多航天器協(xié)同觀測(cè)場景中,進(jìn)行了三組對(duì)比訓(xùn)練實(shí)驗(yàn),驗(yàn)證了算法的有效性。

1 問題描述

空間軌道博弈是指在天體引力場內(nèi)受軌道動(dòng)力學(xué)約束的兩個(gè)(含)以上運(yùn)動(dòng)體在各自允許的控制能力和可獲得的信息支持下,主動(dòng)施加控制行動(dòng),追求相反、矛盾或不一致的相對(duì)位姿狀態(tài)所形成的軌道演化過程及其結(jié)果[6]。根據(jù)任務(wù)場景和任務(wù)目標(biāo)的不同,其包含上千公里距離的軌道潛伏、軌道偽裝,百公里尺度的軌道追逃、軌道攔截以及米級(jí)的軌道附著、軌道接管。本文的研究范圍是地球同步軌道(Geosynchronous orbit, GEO)百公里尺度的局部空間軌道博弈任務(wù)。

1.1 軌道博弈動(dòng)力學(xué)建模

各航天器按照一定的決策頻率進(jìn)行軌道控制,且均采用脈沖式推力:

(1)

各航天器的運(yùn)動(dòng)由C-W相對(duì)運(yùn)動(dòng)方程描述,其軌道面內(nèi)運(yùn)動(dòng)和面外運(yùn)動(dòng)如式(2)所示:

(2)

式中:n為坐標(biāo)原點(diǎn)的軌道角速度;T為步長;cnT和snT分別為cos(nT)和sin(nT)的簡寫。

1.2 信息非完備約束建模

信息非完備約束在空間環(huán)境中主要體現(xiàn)在兩方面:①測(cè)距測(cè)速雷達(dá)探測(cè)范圍約束,②合作航天器之間的通訊時(shí)刻約束。

設(shè)各航天器的雷達(dá)探測(cè)范圍為dr。當(dāng)?shù)趇個(gè)航天器與第j個(gè)航天器的相對(duì)距離dij不大于dr時(shí),第i個(gè)航天器可通過雷達(dá)和光學(xué)敏感器信息融合獲得第j個(gè)航天器的相對(duì)位置信息rj-ri+δr和相對(duì)速度信息vj-vi+δv;否則就需要通過星間通訊或光學(xué)敏感器獲得其信息。

空間環(huán)境中獲取其他航天器信息的詳細(xì)流程如圖1所示。

圖1 空間環(huán)境中信息獲取流程圖

2 基于強(qiáng)化學(xué)習(xí)的軌道博弈決策方法

2.1 學(xué)習(xí)訓(xùn)練方法

在軌道博弈任務(wù)中,藍(lán)方?jīng)Q策模型可采用基于專家知識(shí)的方式進(jìn)行建模,然后固定藍(lán)方策略對(duì)紅方策略進(jìn)行單方面訓(xùn)練。然而該種訓(xùn)練方式容易導(dǎo)致紅方策略過擬合、應(yīng)對(duì)其他藍(lán)方策略泛化性差的情況[19]。因此,本文采用紅藍(lán)左右互博方式進(jìn)行學(xué)習(xí)訓(xùn)練,以增強(qiáng)決策模型應(yīng)對(duì)各類策略的泛化性能。訓(xùn)練算法采用PPO算法。

在前向推理階段,AC方法僅通過策略網(wǎng)絡(luò)輸出最優(yōu)動(dòng)作(或動(dòng)作分布)。在學(xué)習(xí)訓(xùn)練階段,價(jià)值網(wǎng)絡(luò)和策略網(wǎng)絡(luò)同時(shí)進(jìn)行訓(xùn)練。價(jià)值網(wǎng)絡(luò)的目標(biāo)函數(shù)梯度為:

▽LVF(φ)=δt▽?duì)誚(st,φ)

(3)

價(jià)值網(wǎng)絡(luò)的輸出將作為策略網(wǎng)絡(luò)梯度的一部分,輔助其進(jìn)行訓(xùn)練:

▽L(θ)=δt▽?duì)萳nπ(at|st,θ)

(4)

式中:L(θ)代表策略網(wǎng)絡(luò)的目標(biāo)函數(shù)。

相較于傳統(tǒng)的AC方法,PPO算法將價(jià)值網(wǎng)絡(luò)和策略網(wǎng)絡(luò)相結(jié)合。除輸出層外,策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)共享相同的網(wǎng)絡(luò)結(jié)構(gòu)與權(quán)值。因此,其目標(biāo)函數(shù)同時(shí)包含了策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)的優(yōu)化指標(biāo):

c2S[π(at|st,θ)]]

(5)

(6)

其中,Tmax為單局最大仿真步長,Imax為最大訓(xùn)練步數(shù),αlr為學(xué)習(xí)率。

2.2 LSTM網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[21]通過引入隱藏單元,使神經(jīng)網(wǎng)絡(luò)具有一定的記憶功能,具備處理序列數(shù)據(jù)的能力,目前已在自然語言處理[22]、語音識(shí)別[23]等領(lǐng)域得到了廣泛的應(yīng)用。

針對(duì)一般RNN存在的長期依賴問題,LSTM通過引入門控單元,使神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)決定何時(shí)清除狀態(tài),而不是手動(dòng)決定,有效解決了梯度爆炸或者消失的問題。

LSTM一共包含三個(gè)門控單元:遺忘門ft、輸入門it和輸出門ot:

(7)

(8)

(9)

式中:⊙代表哈達(dá)瑪積,即相同維數(shù)向量(矩陣)間逐元素相乘。

最終,LSTM網(wǎng)絡(luò)根據(jù)輸出門ot和網(wǎng)絡(luò)狀態(tài)ct輸出ht:

ht:=ot⊙tanh(ct)

(10)

2.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

在集中式系統(tǒng)架構(gòu)中,中央處理器需要在每個(gè)決策時(shí)刻對(duì)所有航天器進(jìn)行動(dòng)作量分配,給航天器星間通訊帶來了很大的負(fù)擔(dān)。因此,本文采用分布式系統(tǒng)架構(gòu),即每一個(gè)智能體根據(jù)環(huán)境輸入信息輸出單一航天器的動(dòng)作量。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

為有效提升智能體的泛化性能,本文中的同構(gòu)航天器采用相同的網(wǎng)絡(luò)模型(網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)值均相同)。不同的航天器只需調(diào)整網(wǎng)絡(luò)輸入向量的順序即可獲得相應(yīng)的動(dòng)作量。

3 仿真校驗(yàn)

3.1 實(shí)驗(yàn)場景

本文將在兩個(gè)場景中驗(yàn)證所提出方法的有效性。第一個(gè)場景為多航天器軌道追逃場景。3個(gè)同構(gòu)主動(dòng)星從100 km外3個(gè)不同方向?qū)Ψ呛献髂繕?biāo)實(shí)施追捕,1個(gè)非合作目標(biāo)在不遠(yuǎn)離初始軌位100 km的條件下進(jìn)行逃逸。當(dāng)任一主動(dòng)星抵近非合作目標(biāo)5 km之內(nèi),判定主動(dòng)星完成追捕任務(wù)。主動(dòng)星x,y,z單軸單次最大速度增量為4 m/s,非合作目標(biāo)x,y,z單軸單次最大速度增量為4.4 m/s,為主動(dòng)星的1.1倍。3個(gè)主動(dòng)星需要通過相互協(xié)作構(gòu)建合適的圍捕構(gòu)型來彌補(bǔ)機(jī)動(dòng)能力上的劣勢(shì)。主動(dòng)星和非合作目標(biāo)的決策周期均為10分鐘,主動(dòng)星星間通訊周期為1小時(shí)。測(cè)距測(cè)速雷達(dá)探測(cè)范圍為50 km。

(11)

(12)

第二個(gè)場景為多航天器協(xié)同觀測(cè)場景。3個(gè)同構(gòu)主動(dòng)星從100 km外抵近非合作目標(biāo)50 km內(nèi),以近似等邊三角形構(gòu)型進(jìn)行協(xié)同觀測(cè)任務(wù),并確保有1個(gè)主動(dòng)星占據(jù)非合作目標(biāo)的逆光區(qū),對(duì)其進(jìn)行順光觀測(cè),非合作目標(biāo)的逆光區(qū)定義如圖4所示。非合作目標(biāo)需要在不遠(yuǎn)離其初始軌位100 km的條件下,通過軌道博弈機(jī)動(dòng)盡量增加其與主動(dòng)星的相對(duì)距離。非合作目標(biāo)和主動(dòng)星的x,y,z單軸單次最大速度增量為4.8 m/s,且非合作目標(biāo)速度增量上限為100 m/s。主動(dòng)星和非合作目標(biāo)的決策周期均為10分鐘,主動(dòng)星星間通訊周期為1小時(shí)。測(cè)距測(cè)速雷達(dá)探測(cè)范圍為50 km。

圖4 非合作目標(biāo)逆光區(qū)

(13)

(14)

3.2 訓(xùn)練參數(shù)設(shè)計(jì)

設(shè)置非合作目標(biāo)的初始軌道為GEO。設(shè)置非合作目標(biāo)的初始位置為相對(duì)軌道坐標(biāo)系的原點(diǎn)Oo,三個(gè)主動(dòng)星的初始位置根據(jù)式(15)隨機(jī)生成。設(shè)置仿真步長為10分鐘,單回合最大仿真步數(shù)為72。

(15)

式中:U(a,b)代表均勻分布。R的單位為km。

采用PPO算法對(duì)主動(dòng)星和非合作目標(biāo)開展紅藍(lán)左右互搏式訓(xùn)練,學(xué)習(xí)訓(xùn)練的超參數(shù)如表1所示。為了充分驗(yàn)證算法的優(yōu)越性,進(jìn)行三組對(duì)比訓(xùn)練實(shí)驗(yàn):①信息全可見采用全連接網(wǎng)絡(luò):主動(dòng)星采用全連接網(wǎng)絡(luò),且信息全可見,即可實(shí)時(shí)獲得其他星的位置速度信息;②信息非完備采用全連接網(wǎng)絡(luò):主動(dòng)星采用全連接網(wǎng)絡(luò),但需考慮信息非完備約束;③信息非完備采用LSTM網(wǎng)絡(luò):主動(dòng)星采用LSTM網(wǎng)絡(luò),并考慮信息非完備約束。為確保驗(yàn)證的有效性,三組實(shí)驗(yàn)均采用如3.1節(jié)所述獎(jiǎng)勵(lì)函數(shù),三組實(shí)驗(yàn)下的非合作目標(biāo)均采用全連接網(wǎng)絡(luò),且信息全可見。LSTM網(wǎng)絡(luò)的架構(gòu)如圖3所示,全連接網(wǎng)絡(luò)的架構(gòu)只需將LSTM網(wǎng)絡(luò)架構(gòu)中隱藏層中的LSTM層替換為全連接層即可。全連接網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)的具體網(wǎng)絡(luò)參數(shù)如表2所示。

表1 訓(xùn)練參數(shù)

表2 全連接網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)參數(shù)

本文實(shí)驗(yàn)平臺(tái):CPU為Intel Xeon Gold 6240R,顯卡為Nvidia GeForce RTX 3090。

3.3 結(jié)果分析

(1)多航天器軌道追逃場景

主動(dòng)星在多航天器軌道追逃場景的訓(xùn)練曲線如圖5所示,選取三組實(shí)驗(yàn)中訓(xùn)練步驟為20 000的主動(dòng)星與非合作目標(biāo)決策模型分別進(jìn)行1 000局蒙特卡洛模擬,三組實(shí)驗(yàn)的優(yōu)化指標(biāo)如表3所示。

表3 多航天器追逃場景中主動(dòng)星的優(yōu)化指標(biāo)

圖5 多航天器追逃場景中主動(dòng)星訓(xùn)練曲線

當(dāng)面對(duì)信息非完備約束時(shí),使用全連接網(wǎng)絡(luò)的主動(dòng)星追捕成功率僅為25%,且燃料消耗為224 m/s;使用LSTM網(wǎng)絡(luò)的主動(dòng)星追捕成功率為64%,燃料消耗為193 m/s。通過對(duì)比分析可知,全連接網(wǎng)絡(luò)難以適應(yīng)信息非完備約束,而LSTM網(wǎng)絡(luò)通過補(bǔ)償位置、速度測(cè)量信息的非完備性,既防止了追捕成功率的大幅下滑,且燃料消耗并未增長許多。

選取信息非完備采用LSTM網(wǎng)絡(luò)實(shí)驗(yàn)中訓(xùn)練步驟為20 000的主動(dòng)星、非合作目標(biāo)決策模型進(jìn)行打靶仿真,雙方的運(yùn)動(dòng)軌跡如圖6所示。三個(gè)主動(dòng)星始終保持對(duì)非合作目標(biāo)的合圍之勢(shì),以彌補(bǔ)自身的機(jī)動(dòng)能力劣勢(shì)。最終在第460分鐘,主動(dòng)星1成功抵近非合作目標(biāo)5 km之內(nèi),追捕成功。

圖6 多航天器追逃場景中主動(dòng)星和非合作目標(biāo)運(yùn)動(dòng)軌跡

表4 多航天器追逃場景中主動(dòng)星的單步平均燃料消耗

圖7 主動(dòng)星1和非合作目標(biāo)的相對(duì)距離

圖9 多航天器追逃場景中主動(dòng)星1累積燃料消耗

(2)多航天器協(xié)同觀測(cè)場景

主動(dòng)星在多航天器協(xié)同觀測(cè)場景的訓(xùn)練曲線如圖10所示,其中子圖(a)中順光觀測(cè)時(shí)間代表著主動(dòng)星占據(jù)非合作目標(biāo)逆光區(qū)的累積時(shí)長,子圖(c)中隊(duì)型模糊隸屬度代表ΔABC隸屬于等邊三角形的模糊隸屬度μE(t)。選取三組實(shí)驗(yàn)中訓(xùn)練步驟為20 000的主動(dòng)星與非合作目標(biāo)決策模型分別進(jìn)行1 000局蒙特卡洛模擬,三組實(shí)驗(yàn)的優(yōu)化指標(biāo)如表5所示。通過對(duì)比分析可知:當(dāng)面對(duì)信息非完備約束時(shí),簡單的全連接網(wǎng)絡(luò)難以有效適應(yīng),各項(xiàng)指標(biāo)均下降了許多,且曲線收斂過程中也有很多震蕩,訓(xùn)練不平穩(wěn)。而具有記憶功能的LSTM網(wǎng)絡(luò),通過補(bǔ)償位置、速度測(cè)量信息的非完備性,有效應(yīng)對(duì)了信息非完備強(qiáng)約束,各項(xiàng)指標(biāo)下降不大,且訓(xùn)練過程很平穩(wěn)。

表5 多航天器協(xié)同觀測(cè)場景中主動(dòng)星的優(yōu)化指標(biāo)

圖10 多航天器協(xié)同觀測(cè)場景中主動(dòng)星訓(xùn)練曲線

選取信息非完備采用LSTM網(wǎng)絡(luò)實(shí)驗(yàn)中訓(xùn)練步驟為20 000的主動(dòng)星、非合作目標(biāo)決策模型進(jìn)行打靶仿真,雙方的運(yùn)動(dòng)軌跡如圖11所示。仿真初期,在僅有非合作目標(biāo)測(cè)角信息的條件下,三個(gè)主動(dòng)星能夠迅速抵近目標(biāo)。仿真中期,非合作目標(biāo)通過頻繁的軌道機(jī)動(dòng)企圖破壞主動(dòng)星的觀測(cè)條件,三個(gè)主動(dòng)星能夠通過相應(yīng)的軌道機(jī)動(dòng),占據(jù)非合作目標(biāo)逆光區(qū)進(jìn)行順光觀測(cè)。在僅有其他主動(dòng)星測(cè)角信息且星間通訊周期為1小時(shí)的條件下,三個(gè)主動(dòng)星能夠保持合適的觀測(cè)構(gòu)型。仿真后期,非合作目標(biāo)燃料消耗殆盡,處于“漂星”狀態(tài)。三個(gè)主動(dòng)星能夠以較小的燃料代價(jià),繼續(xù)保持合適的觀測(cè)構(gòu)型。

圖11 多航天器協(xié)同觀測(cè)場景中主動(dòng)星和非合作目標(biāo)的運(yùn)動(dòng)軌跡

圖12 主動(dòng)星1門控單元輸出值

4 結(jié) 論

針對(duì)信息非完備約束下的多航天器軌道博弈自主決策問題,本文首先進(jìn)行了軌道博弈動(dòng)力學(xué)建模和信息非完備約束建模,然后依據(jù)分布式系統(tǒng)架構(gòu)進(jìn)行了網(wǎng)絡(luò)輸入輸出結(jié)構(gòu)設(shè)計(jì),并引入具有記憶能力的LSTM網(wǎng)絡(luò),以應(yīng)對(duì)信息非完備約束所帶來的負(fù)面影響。采用紅藍(lán)左右互搏的訓(xùn)練模式,利用PPO算法開展學(xué)習(xí)訓(xùn)練。最后,本文在多航天器軌道追逃場景和多航天器協(xié)同觀測(cè)場景中,進(jìn)行了三組對(duì)比訓(xùn)練實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果表明,全連接網(wǎng)絡(luò)難以適應(yīng)信息非完備約束,各項(xiàng)優(yōu)化指標(biāo)均呈現(xiàn)出較大程度的下滑,且訓(xùn)練曲線收斂過程中也有很多震蕩,學(xué)習(xí)訓(xùn)練過程不平穩(wěn)。本文所提出的算法利用LSTM網(wǎng)絡(luò)的記憶功能,補(bǔ)償了位置、速度測(cè)量信息的非完備性,有效應(yīng)對(duì)了信息非完備約束,各項(xiàng)指標(biāo)下降不大,且訓(xùn)練過程很平穩(wěn)。最后利用信息非完備約束下的決策模型進(jìn)行打靶仿真,驗(yàn)證了決策模型的實(shí)用性。

本文中的星間通訊采用固定周期方式,缺乏靈活性。針對(duì)上述問題,未來研究方向?yàn)橥ㄓ嵵芷谧哉{(diào)整的航天器協(xié)同決策方法。