基于強化學(xué)習(xí)的再入飛行器“新質(zhì)”走廊在線生成技術(shù)

惠俊鵬,汪韌,俞啟東

中國運載火箭技術(shù)研究院 研究發(fā)展部,北京 100076

高升阻比飛行器具有飛行速度快、升阻比高、航程遠、機動能力強等特點,在軍事和民用領(lǐng)域發(fā)揮著重要的作用。高升阻比飛行器再入制導(dǎo)技術(shù)通過設(shè)計制導(dǎo)律,在動力學(xué)方程、過程約束、控制量約束等條件下,使得飛行器在中末交班點滿足再入終端約束。因臨近空間環(huán)境的復(fù)雜性和不確定性,飛行器再入制導(dǎo)技術(shù)已成為航空航天領(lǐng)域研究的熱點之一。

高升阻比飛行器再入制導(dǎo)方法主要分為兩種：基于標稱軌跡的制導(dǎo)方法和預(yù)測校正制導(dǎo)?；跇朔Q軌跡的制導(dǎo)方法離線設(shè)計標稱軌跡,在飛行過程中跟蹤標稱軌跡進行制導(dǎo)。離線設(shè)計的標稱軌跡可以是阻力加速度-能量(Drag-Energy, D-E)剖面、高度-速度(Height-Velocity, H-V)剖面等。由于標稱軌跡是離線設(shè)計所得,因而該方法對復(fù)雜環(huán)境的適應(yīng)性和魯棒性方面存在明顯的不足。預(yù)測校正制導(dǎo)方法對動力學(xué)方程進行積分,預(yù)測飛行器的終端狀態(tài),并基于終端狀態(tài)與目標點的偏差來校正制導(dǎo)指令,從而實現(xiàn)對飛行器的精確制導(dǎo)。相比于基于標稱軌跡跟蹤的制導(dǎo)方法,預(yù)測校正制導(dǎo)具有更強的自主性和對復(fù)雜環(huán)境的適應(yīng)能力。

人工智能(Artificial Intelligence)目前已成為學(xué)術(shù)界和工業(yè)界的研究熱點。機器學(xué)習(xí)(Machine Learning)技術(shù)是人工智能領(lǐng)域的核心技術(shù),機器學(xué)習(xí)主要包括監(jiān)督學(xué)習(xí)(Supervised Learning)、無監(jiān)督學(xué)習(xí)(Unsupervised Learning)和強化學(xué)習(xí)(Reinforcement Learning)。相比于監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí),強化學(xué)習(xí)主要用于解決智能體的序貫決策問題,其核心思想是智能體自主地與環(huán)境進行交互,實時觀測狀態(tài)信息,并基于一定的策略采取相應(yīng)的動作,同時從環(huán)境中獲取與動作相對應(yīng)的反饋信息,智能體基于數(shù)據(jù)[,,]進行訓(xùn)練,在不斷“試錯”的過程中優(yōu)化行動策略,以期完成預(yù)定任務(wù)。近年來提出的具有代表性的強化學(xué)習(xí)算法有深度Q網(wǎng)絡(luò)算法(Deep Q Network, DQN)、深度確定性策略梯度算法(Deep Deterministic Policy Gradient, DDPG)、近端策略優(yōu)化算法(Proximal Policy Optimization, PPO)、軟動作-評價算法(Soft Actor-Critic, SAC)等,目前已廣泛應(yīng)用于游戲、無人駕駛等領(lǐng)域。

基于人工智能的飛行器制導(dǎo)控制技術(shù)研究尚處于起步階段。文獻[9]綜述了深度學(xué)習(xí)在飛行器動力學(xué)與控制中的應(yīng)用,從3個方面總結(jié)了深度學(xué)習(xí)在飛行器動力學(xué)與控制中的應(yīng)用,包括：在動力學(xué)建模中應(yīng)用深度學(xué)習(xí)來提升模型計算效率和建模精度、求解模型反問題；在最優(yōu)控制中應(yīng)用深度學(xué)習(xí)來提升軌跡規(guī)劃速度、最優(yōu)控制實時性和自主性；在飛行器任務(wù)設(shè)計中應(yīng)用深度學(xué)習(xí)來提升任務(wù)優(yōu)化的計算效率和決策水平。在制導(dǎo)律設(shè)計方面,文獻[10-12]將深度學(xué)習(xí)技術(shù)應(yīng)用于飛行器制導(dǎo)和在線軌跡優(yōu)化問題,基于大量的飛行軌跡訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,從而實現(xiàn)飛行器實時狀態(tài)到制導(dǎo)指令的快速映射；文獻[13-18]研究了基于Q-Learning、PPO等強化學(xué)習(xí)算法的智能制導(dǎo)律,該方法消除了原有傳統(tǒng)制導(dǎo)律對飛行器附加的一些不必要約束,通過飛行器與環(huán)境的大量交互和試錯,并基于獎勵信息來學(xué)習(xí)制導(dǎo)律,使得飛行器初步具備了自主決策能力。在姿態(tài)控制方面,文獻[19-20]在傳統(tǒng)PID控制的基礎(chǔ)上,進一步利用強化學(xué)習(xí)技術(shù)實現(xiàn)對飛行器6自由度的穩(wěn)定控制,并驗證了該方法在控制精度和實時性方面的優(yōu)勢。在飛行器協(xié)同制導(dǎo)與軌跡規(guī)劃方面,方科等開展了高升阻比飛行器時間協(xié)同再入制導(dǎo)研究,將協(xié)同再入制導(dǎo)結(jié)構(gòu)分為兩層,其中底層提出了基于神經(jīng)網(wǎng)絡(luò)的時間可控再入制導(dǎo)律,以實現(xiàn)再入飛行時間的可知性與可控性為目標；上層根據(jù)不同再入階段特點設(shè)計相應(yīng)的協(xié)調(diào)函數(shù),生成時間協(xié)調(diào)信息。周宏宇等提出了一種改進粒子群優(yōu)化(Particle Swarm Optimization, PSO)算法的飛行器協(xié)同軌跡規(guī)劃,并借助強化學(xué)習(xí)方法構(gòu)建協(xié)同需求與慣性權(quán)重間的動態(tài)映射網(wǎng)絡(luò),提高在線軌跡規(guī)劃效率。

無論是基于標稱軌跡的制導(dǎo)還是預(yù)測校正制導(dǎo),都需要基于人工經(jīng)驗設(shè)計飛行走廊參數(shù)?；跇朔Q軌跡的制導(dǎo)方法根據(jù)飛行器再入過程中需要滿足的過程約束,設(shè)計可行的飛行走廊,在走廊約束下精心設(shè)計滿足航程和終端約束的標稱飛行軌跡；預(yù)測校正制導(dǎo)方法在橫向制導(dǎo)中通過設(shè)置合適的橫程誤差或航向角誤差走廊來確定傾側(cè)角的符號,當橫向控制量到達走廊邊界時,傾側(cè)角符號翻轉(zhuǎn)。

本文旨在研究基于強化學(xué)習(xí)的再入飛行器“新質(zhì)”走廊在線生成技術(shù),打破傳統(tǒng)預(yù)測校正制導(dǎo)等方法中固有的走廊約束,在滿足飛行過程約束(熱流率、過載、動壓等約束)和中末交班點約束的前提下,通過飛行器與環(huán)境大量交互“試錯”,并借鑒人類基于反饋來調(diào)整學(xué)習(xí)策略的思想,設(shè)置有效的獎勵(反饋)引導(dǎo),利用強化學(xué)習(xí)中PPO算法訓(xùn)練飛行器傾側(cè)角制導(dǎo)模型,顛覆現(xiàn)有制導(dǎo)方法在橫向走廊/縱向剖面的約束,實現(xiàn)飛行器基于實時的狀態(tài)信息在線決策傾側(cè)角指令。通過智能技術(shù)的賦能,充分發(fā)揮再入飛行器的寬域飛行優(yōu)勢,進一步拓展飛行剖面,探索已有飛行模式以外的新質(zhì)飛行走廊,達到出敵不意的靈活飛行效果,從而滿足未來飛行器對智能決策的自主性需求。

1 再入飛行器制導(dǎo)問題

1.1 再入飛行器運動模型

再入飛行器3自由度動力學(xué)方程為

(1)

式中：為地心距；和分別表示飛行器的經(jīng)緯度；為飛行速度；和分別表示飛行器的航跡角和航向角；表示傾側(cè)角；為飛行器的質(zhì)量；為重力加速度；和分別表示飛行器的升力和阻力。

1.2 再入制導(dǎo)約束

為了保證再入飛行器成功地完成飛行任務(wù),飛行器需滿足各種約束條件,其中核心的約束條件包括過程約束、擬平衡滑翔約束、再入終端約束和控制量約束。

1) 過程約束

一方面,飛行器再入過程中高超聲速氣流會產(chǎn)生嚴重的氣動熱,尤其是飛行器的駐點區(qū)域。為保證飛行器各個部件正常運行,再入段制導(dǎo)必須考慮駐點區(qū)的熱流率約束。另一方面,飛行器機身和機翼結(jié)構(gòu)強度的上限以及氣動舵面鉸支鏈的承受能力,決定了再入飛行過程中的最大允許過載和動壓。熱流率約束、過載約束和動壓約束是飛行器再入飛行過程中必須要滿足的“硬約束”條件，其表達式為

(2)

2) 擬平衡滑翔約束

(3)

當滿足擬平衡滑翔條件時,飛行器所受重力與升力的合力恰好與其所受的向心力平衡,此時飛行軌跡高度變化較小,航跡角保持很小的量。

3) 再入終端約束

滑翔段的終端約束為滑翔段和末制導(dǎo)段的交班參數(shù),再入終端約束一般包括高度、速度、經(jīng)緯度等約束,可表示為

()=,()=,()=,()=

(4)

式中：、、、、分別表示滑翔段的終端時刻、地心距、速度、經(jīng)度、緯度。

4) 控制量約束

在3自由度飛行器再入制導(dǎo)中,攻角和傾側(cè)角為控制量,由于飛行器內(nèi)部控制機構(gòu)的作用,控制量的變化需要一定的變化時間和變化速度,不能瞬間變化到指定值。由于攻角采用標準攻角剖面,因而控制量的約束主要限制在傾側(cè)角的幅值及其變化率上,即

(5)

2 再入飛行器智能制導(dǎo)模型的設(shè)計

在再入飛行器制導(dǎo)中,控制量包括攻角和傾側(cè)角。攻角一般通過預(yù)先設(shè)定的速度-攻角剖面生成。在再入初期為滿足熱流率約束采用大攻角飛行,在中后段為滿足飛行器的射程需求,采用最大升阻比對應(yīng)的攻角飛行。本文著重研究再入飛行器傾側(cè)角制導(dǎo)模型的設(shè)計。

2.1 解決的問題

傳統(tǒng)的飛行器再入制導(dǎo),主要分為2種方法：① 基于標稱軌跡的制導(dǎo)方法,根據(jù)飛行器再入過程中需要滿足的熱流率約束、過載約束和動壓約束,設(shè)計可行的飛行走廊,飛行走廊一般在D-E剖面或H-V等剖面內(nèi)描述,在走廊約束下精心設(shè)計滿足航程和終端約束的標稱飛行軌跡,實際飛行中在線跟蹤標稱軌跡；② 預(yù)測校正制導(dǎo)方法,在縱向制導(dǎo)中基于預(yù)測的待飛航程與剩余航程的差,采用割線法迭代求解傾側(cè)角的幅值,在橫向制導(dǎo)中通過設(shè)置合適的橫程誤差或航向角誤差走廊來確定傾側(cè)角的符號,當橫向控制量到達走廊邊界時,傾側(cè)角符號翻轉(zhuǎn)。上述分析表明,無論是基于標稱軌跡的制導(dǎo)還是預(yù)測校正制導(dǎo),都需要基于人工經(jīng)驗設(shè)計飛行走廊參數(shù)。

借鑒Alpha Go的思想,將監(jiān)督學(xué)習(xí)方法和強化學(xué)習(xí)方法相結(jié)合應(yīng)用于飛行器再入制導(dǎo)中,研究框架如圖1所示,主要包括3步：

1) 預(yù)測校正制導(dǎo)：基于預(yù)測校正制導(dǎo)方法,通過靈活設(shè)置飛行器再入初始點的狀態(tài)參數(shù),生成大量的樣本數(shù)據(jù)。

2) 監(jiān)督學(xué)習(xí)：建立傾側(cè)角智能制導(dǎo)模型,利用監(jiān)督學(xué)習(xí)中帶有動量的隨機梯度下降(Stochastic Gradient Descent with Momentum,SGDM)算法和第1步產(chǎn)生的樣本數(shù)據(jù),訓(xùn)練傾側(cè)角智能制導(dǎo)模型,這里記基于SGDM算法訓(xùn)練得到的傾側(cè)角智能制導(dǎo)模型的參數(shù)為。

3) 強化學(xué)習(xí)：以第2步訓(xùn)練得到的智能制導(dǎo)模型參數(shù)為初始化參數(shù),進一步利用強化學(xué)習(xí)在智能決策方面的優(yōu)勢,在動力學(xué)方程的約束下通過飛行器與環(huán)境進行大量交互,并借鑒人類基于反饋來調(diào)整學(xué)習(xí)策略的思想,設(shè)置有效的獎勵(反饋),利用強化學(xué)習(xí)中PPO算法進一步訓(xùn)練飛行器傾側(cè)角制導(dǎo)模型,得到PPO算法再訓(xùn)練后的模型參數(shù),記為。該制導(dǎo)模型和參數(shù)將顛覆現(xiàn)有制導(dǎo)方法在橫向走廊的約束,在滿足飛行器過程約束的前提下,進一步拓展飛行剖面,生成完全不同于傳統(tǒng)制導(dǎo)方法的飛行走廊,達到出敵不意的靈活飛行效果,從而滿足未來飛行器對智能決策的自主性和實時性要求。

圖1 再入飛行器智能制導(dǎo)研究框架Fig.1 Research framework of intelligent guidance of reentry vehicles

將監(jiān)督學(xué)習(xí)方法與強化學(xué)習(xí)方法相結(jié)合應(yīng)用于再入制導(dǎo)具有2個方面的優(yōu)勢：

1) 相比于監(jiān)督學(xué)習(xí)方法,監(jiān)督學(xué)習(xí)是利用神經(jīng)網(wǎng)絡(luò)模型對再入飛行器制導(dǎo)指令的解算過程進行擬合,其本質(zhì)上是使得基于監(jiān)督學(xué)習(xí)訓(xùn)練的智能制導(dǎo)模型生成的飛行軌跡最大程度逼近預(yù)測校正制導(dǎo)方法下的飛行軌跡。因而,可以利用監(jiān)督學(xué)習(xí)對傾側(cè)角智能制導(dǎo)模型進行預(yù)訓(xùn)練,利用領(lǐng)域知識(預(yù)測校正制導(dǎo)方法)引導(dǎo)制導(dǎo)模型中未知參數(shù)的搜索。

2) 相比于強化學(xué)習(xí)方法,若沒有監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練過程,直接利用強化學(xué)習(xí)算法訓(xùn)練傾側(cè)角智能制導(dǎo)模型將帶來訓(xùn)練難以收斂等問題。強化學(xué)習(xí)訓(xùn)練過程是以監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練出的模型參數(shù)為初始化參數(shù),進一步通過飛行器與環(huán)境的大量交互,通過獎勵的引導(dǎo),探索完全不同于傳統(tǒng)方法的“新質(zhì)”飛行走廊。

2.2 傾側(cè)角智能制導(dǎo)模型

傾側(cè)角智能制導(dǎo)模型如圖2所示,其中制導(dǎo)模型的輸入為飛行器的狀態(tài)向量,定義狀態(tài)向量為

(6)

式中：Δ=-表示時刻的地心距與滑翔終端地心距的差；Δ=-表示時刻的經(jīng)度與滑翔終端經(jīng)度的差；Δ=-表示時刻的緯度與滑翔終端緯度的差；Δ=-表示時刻的速度與滑翔終端速度的差;表示時刻飛行器距離滑翔終端的剩余航程：

=×arccos[sinsin+coscos·

cos(-)]

(7)

其中：為地球半徑。隱層為長短期記憶(Long Short-Term Memory, LSTM)模型,隱層輸出的節(jié)點數(shù)為64個,隱層到輸出層是全連接,輸出為傾側(cè)角。

圖2 基于LSTM的傾側(cè)角制導(dǎo)模型架構(gòu)Fig.2 Structure diagram of bank angle guidance model based on LSTM neural network

LSTM模型如圖3所示,其數(shù)學(xué)表達式為

(8)

圖3 LSTM模型Fig.3 LSTM model

選取LSTM模型的根本原因在于,從智能決策的角度來說,飛行器傾側(cè)角的決策屬于典型的序貫決策問題,每一時刻的傾側(cè)角符號不僅取決于飛行器當前時刻的狀態(tài),還與上一時刻的傾側(cè)角符號以及上一時刻航向角誤差與走廊的關(guān)系有關(guān)。這是因為若上一時刻航向角誤差在走廊內(nèi),當前時刻超出走廊,則需要翻轉(zhuǎn)；但若上一時刻已經(jīng)超出走廊,傾側(cè)角已經(jīng)翻轉(zhuǎn)過一次,當前時刻還在走廊外,則無需二次翻轉(zhuǎn)。因而在決策傾側(cè)角時需要考慮飛行器在相鄰時刻間的狀態(tài)關(guān)系,而這也恰好是LSTM所具有的獨特優(yōu)勢,是解決序貫決策的經(jīng)典模型。

2.3 傾側(cè)角幅值的約束

為保證再入飛行器的安全飛行,基于LSTM模型輸出的傾側(cè)角需進一步滿足再入過程約束。飛行器的指數(shù)大氣密度、升力和阻力的計算公式為

(9)

將式(9)代入式(2)的約束條件得到在H-V剖面再入走廊的邊界:

(10)

然而,在再入飛行過程中,如果時刻判斷高度-速度剖面是否滿足過程約束的邊界條件會帶來較大的計算量,為此將上述再入過程約束式(10) 轉(zhuǎn)化為對傾側(cè)角幅值的約束：

(11)

|()|}

(12)

基于式(12)對基于LSTM模型輸出的傾側(cè)角幅值進一步限制,使其滿足過程硬約束條件。

3 基于監(jiān)督學(xué)習(xí)的再入飛行器傾側(cè)角智能制導(dǎo)模型的訓(xùn)練

基于監(jiān)督學(xué)習(xí)的再入飛行器傾側(cè)角智能制導(dǎo)模型的訓(xùn)練分為兩步：一是訓(xùn)練樣本的生成;二是傾側(cè)角制導(dǎo)模型的訓(xùn)練。

3.1 訓(xùn)練樣本的生成

在訓(xùn)練樣本的生成方面,本文選取美國通用航空飛行器CAV-H為研究對象,基于預(yù)測校正制導(dǎo)方法產(chǎn)生仿真數(shù)據(jù)。參數(shù)設(shè)置為

2) 中末交班點參數(shù)：高度=23 km,經(jīng)度為=50°,緯度為=3°,速度為=1 100 m/s。

3) 攻角剖面：

=

(13)

式中：、分別為初始、末端速度；、為可調(diào)的速度參數(shù),本文設(shè)置=5 000 m/s,=2 500 m/s;為最大攻角,本文設(shè)置為20°;max為最大升阻比對應(yīng)的攻角,本文設(shè)置為10°。

4) 縱向預(yù)測校正的周期：當剩余射程大于500 km時,=50 s；當剩余射程小于500 km,大于200 km時,=15 s；當剩余射程小于200 km時,=5 s。

5) 動力學(xué)方程積分步長：縱向制導(dǎo)的積分步長為1 s,橫向制導(dǎo)的積分步長為0.1 s。

6) 飛行器再入初始點的狀態(tài)參數(shù)設(shè)置如表1所示。

表1 飛行器再入初始點的參數(shù)范圍Table 1 Range of initial state parameters of vehicle reentry

在上述參數(shù)范圍內(nèi)隨機設(shè)置飛行器的再入初始點參數(shù),在預(yù)測校正制導(dǎo)下可以獲得大量的飛行軌跡數(shù)據(jù)。本文選取其中1 331條飛行軌跡,每條軌跡約16 000個樣本點。

3.2 傾側(cè)角智能制導(dǎo)模型的訓(xùn)練

將基于預(yù)測校正制導(dǎo)方法生成的1 331條飛行軌跡輸入圖2基于LSTM的飛行器傾側(cè)角制導(dǎo)模型中,基于監(jiān)督學(xué)習(xí)的思想,在訓(xùn)練時目標損失函數(shù)(Loss function)定義為

(14)

(15)

訓(xùn)練效果如圖4和圖5所示。可以看出目標損失函數(shù)和均方誤差隨著訓(xùn)練迭代次數(shù)的增加逐漸減小且趨于收斂,表明上述訓(xùn)練參數(shù)設(shè)置的合理性。

圖4 損失函數(shù)隨迭代次數(shù)的變化曲線Fig.4 Loss function vs epoch curve

圖5 均方根誤差隨迭代次數(shù)的變化曲線Fig.5 RMSE vs epoch curve

4 基于強化學(xué)習(xí)的再入飛行器傾側(cè)角制導(dǎo)模型的訓(xùn)練

記第3節(jié)中基于監(jiān)督學(xué)習(xí)SGDM算法訓(xùn)練得到的傾側(cè)角智能制導(dǎo)模型的參數(shù)為,本節(jié)將以參數(shù)為初始化參數(shù),進一步利用強化學(xué)習(xí)的思想,將強化學(xué)習(xí)技術(shù)應(yīng)用于飛行器再入制導(dǎo)中,在動力學(xué)方程的約束下通過飛行器與環(huán)境進行大量交互,在“試錯”的過程中根據(jù)設(shè)置的有效獎勵(反饋),利用PPO強化學(xué)習(xí)算法訓(xùn)練飛行器傾側(cè)角制導(dǎo)模型,得到PPO算法訓(xùn)練后的模型參數(shù),記為進一步拓展飛行剖面,生成完全不同于傳統(tǒng)制導(dǎo)方法的飛行走廊,包括再入飛行器馬爾科夫決策過程建模和PPO算法原理。

4.1 再入飛行器馬爾科夫決策過程建模

基于強化學(xué)習(xí)研究再入飛行器制導(dǎo)律,需首先利用馬爾科夫決策過程對再入制導(dǎo)問題進行建模,主要包括3部分：飛行器的狀態(tài)空間、動作空間和獎勵(反饋)的設(shè)計。

飛行器的動作空間為傾側(cè)角,包括傾側(cè)角的幅值和符號：

=

(16)

獎勵函數(shù)在利用強化學(xué)習(xí)算法訓(xùn)練傾側(cè)角智能制導(dǎo)模型中起著引導(dǎo)的作用,不同的獎勵函數(shù)對訓(xùn)練結(jié)果將產(chǎn)生不同影響。若只考慮是否滿足中末交班點的精度要求,即無過程獎勵信息,則稀疏獎勵會帶來訓(xùn)練難以收斂的問題。結(jié)合再入飛行器的飛行特性,傾側(cè)角影響橫向制導(dǎo)的經(jīng)緯度和縱向制導(dǎo)的高度、速度,因而獎勵的設(shè)置從橫向和縱向2個維度來設(shè)置。

1) 橫向獎勵的設(shè)置

橫向獎勵的設(shè)置如圖6所示,著重考慮2個方面：① 為了增加飛行器與環(huán)境交互過程中的探索性,期望其能夠探索出完全不同于傳統(tǒng)預(yù)測校正制導(dǎo)的飛行軌跡,因而在接近目標點一定距離后才設(shè)置相應(yīng)的獎勵,如本文中考慮剩余航程小于1 000 km后才設(shè)置獎勵；② 為了引導(dǎo)飛行器精確到達目標點,在飛行器接近目標點的過程中,距離越近,獎勵的設(shè)置越密集,飛行器獲得的獎勵越大,且飛行器一旦遠離目標點則被懲罰(負獎勵),該負獎勵將迅速抵消接近目標飛行過程獲得的正獎勵,從而引導(dǎo)飛行器精確到達目標點。

圖6 飛行器橫向獎勵的設(shè)置Fig.6 Lateral reward set of reentry vehicles

2) 縱向獎勵的設(shè)置

除了滿足中末交班點經(jīng)緯度約束外,還需滿足高度和速度的約束,從能量的角度出發(fā),定義飛行器的能量為

(17)

式中：表示飛行器的能量；GM表示引力系數(shù),取值為3.986×10N·m/kg。飛行器在位置點(,)所具有的能量均值為,將飛行器獲得的獎勵設(shè)置為能量的高斯分布函數(shù)：

(18)

式中:為標準差。通過如圖7所示的飛行器縱向獎勵的設(shè)置,引導(dǎo)飛行器在位置點(,)處的能量在[-,+]的范圍內(nèi),以確保飛行器具備足夠的能量到達目標點。

圖7 飛行器縱向獎勵的設(shè)置Fig.7 Longitudinal reward set of reentry vehicles

4.2 PPO算法原理

PPO算法在連續(xù)動作空間的智能決策任務(wù)中表現(xiàn)出較好的效果,目前Open AI已經(jīng)將PPO作為強化學(xué)習(xí)研究的首選算法。

1) 優(yōu)化的目標函數(shù)

定義優(yōu)化的目標函數(shù)為

(19)

式中：～()表示飛行器的初始狀態(tài)分布；記2.2節(jié)中設(shè)計的傾側(cè)角智能制導(dǎo)模型為(|),它實現(xiàn)的是從飛行器狀態(tài)到動作(即傾側(cè)角指令)的映射;為傾側(cè)角智能制導(dǎo)模型(或策略模型)中待訓(xùn)練的參數(shù)；()為獎勵函數(shù),表示飛行器在狀態(tài)執(zhí)行動作獲得的即刻獎勵的期望；∈[0,1]為折扣因子。

在強化學(xué)習(xí)算法中,一般采用策略梯度法來更新策略參數(shù)從而最大化目標函數(shù)。策略參數(shù)的更新方程為

(20)

策略梯度算法的關(guān)鍵在于如何選擇更新步長,合適的步長是指當策略更新后,目標函數(shù)的值單調(diào)增加,或單調(diào)不減,這是PPO算法要解決的關(guān)鍵問題。

2) PPO算法的核心思想

PPO算法是由信賴域策略優(yōu)化(Trust Region Policy Optimization, TRPO)算法演變而來。TRPO算法并不是從策略梯度的更新步長著手,而是從優(yōu)化的目標函數(shù)出發(fā)。鑒于目標函數(shù)難以優(yōu)化,尋找替代函數(shù)(Surrogate Function),替代函數(shù)具有3個特點：① 替代函數(shù)是目標函數(shù)的下界函數(shù)；② 在當前策略下替代函數(shù)近似等于目標函數(shù)；③ 替代函數(shù)相比于目標函數(shù)更容易優(yōu)化。

TRPO算法用一個替代函數(shù)來作為目標函數(shù)的下界函數(shù),下界函數(shù)易于優(yōu)化,通過迭代的方式讓下界函數(shù)逼近原目標函數(shù)的最優(yōu)解。在TRPO算法中,將式(19)中的目標函數(shù)轉(zhuǎn)化為

(21)

式中：(|)表示參數(shù)更新前的策略；由于(|)表示更新后的策略,是未知的,無法基于未知分布(|)采樣得到動作序列,因而利用重要性采樣(Importance Sampling),即～(|)獲得采樣動作序列；(,)=(,)-()表示優(yōu)勢函數(shù)(Advantage Function),它描述的是動作值函數(shù)(,)相比于狀態(tài)值函數(shù)()的優(yōu)勢,如果優(yōu)勢函數(shù)大于零,則說明該動作比平均動作好,如果優(yōu)勢函數(shù)小于零,則說明當前動作不如平均動作好。((·|)|(·|))表示分布(·|)與(·|)之間的KL散度(Kullback-Leibler Divergence),引入該約束條件的目的是限制每一步策略參數(shù)的更新幅度。

TRPO算法能夠保證在迭代的過程中飛行器的制導(dǎo)策略朝著最優(yōu)的方向不斷更新,并能確保算法的收斂性,但其計算過程比較復(fù)雜。為此,PPO算法將TRPO中KL散度的約束直接體現(xiàn)在目標函數(shù)中,移除了KL散度的計算,從而簡化了TRPO算法。

1+)(,))]

(22)

由目標函數(shù)可知：

① 當舊策略(|)表現(xiàn)較好時,即優(yōu)勢函數(shù)(,)>0,此時由clip((),1-,1+)(,))可得(|)(|)≤1+,其表達的意思是此時策略表現(xiàn)較好,理應(yīng)讓(|)變大,但不能使(|)(|)變得過大,導(dǎo)致策略更新前后相差太大,引入的方差較大。

② 當舊策略(|)表現(xiàn)不好時,即優(yōu)勢函數(shù)(,)<0,此時由clip((),1-,1+)(,))可得(|)(|)≥1-,其表達的意思是此時策略表現(xiàn)不好,策略更新的比值(|)(|)不必受到限制。

因而,PPO算法通過clip((),1-,1+),將策略更新的比值(|)(|)約束在[1-,1+]之內(nèi)。

由上述分析過程可以看出PPO算法避免了復(fù)雜的KL散度的計算過程,并將有約束的優(yōu)化問題轉(zhuǎn)化為無約束的優(yōu)化問題,大大簡化了計算復(fù)雜度,提升算法收斂性能。

5 仿真與分析

5.1 不同制導(dǎo)方法對比分析

以通用航空飛行器(Common Aero Vehicle-H, CAV-H)為研究對象,參數(shù)設(shè)置見3.1節(jié),比較3種不同制導(dǎo)方法的仿真結(jié)果：① 預(yù)測校正制導(dǎo)方法；② 第3節(jié)中基于監(jiān)督學(xué)習(xí)中SGDM算法訓(xùn)練傾側(cè)角制導(dǎo)模型的方法(圖中記為“LSTM模型+SGDM算法”)；③ 第4節(jié)中基于強化學(xué)習(xí)中PPO算法訓(xùn)練傾側(cè)角制導(dǎo)模型的方法(圖中記為“LSTM模型+PPO算法”),對比結(jié)果如圖8～圖12所示。

由圖8～圖12可以看出,“預(yù)測校正制導(dǎo)”與“LSTM模型+SGDM算法”兩種制導(dǎo)方式下的飛行軌跡基本重合,這是由于利用監(jiān)督學(xué)習(xí)訓(xùn)練傾側(cè)角制導(dǎo)模型時,選取的樣本軌跡是基于預(yù)測校正制導(dǎo)產(chǎn)生,該訓(xùn)練過程可理解為對預(yù)測校正制導(dǎo)的擬合過程。但“LSTM模型+PPO算法”制導(dǎo)下的飛行軌跡完全不同于預(yù)測校正制導(dǎo)下的飛行軌跡。從圖9經(jīng)緯度曲線和圖10傾側(cè)角曲線可以看出,預(yù)測校正制導(dǎo)從初始點(0°,0°)出發(fā),由于航向角=90°且傾側(cè)角大于>0°,因而初始飛行軌跡朝東南方向；相反,在“LSTM模型+PPO算法”制導(dǎo)下從初始點(0°,0°)出發(fā)后輸出的傾側(cè)角<0°,因而初始飛行軌跡朝東北方向。盡管兩種不同的制導(dǎo)方式下飛行軌跡完全不同,但在滿足熱流率約束、過載約束和動壓約束的前提下,都精確到達中末交班點。

圖8 高度-速度曲線對比Fig.8 Comparison of height-velocity curves

圖9 橫向軌跡曲線對比Fig.9 Comparison of lateral trajectory curves

圖10 傾側(cè)角-速度曲線對比Fig.10 Comparison of bank angle-velocity curves

圖11 航跡角-時間曲線對比Fig.11 Comparison of flight path angle-time curves

圖12 航向角-時間曲線對比Fig.12 Comparison of heading angle-time curves

5.2 Monte Carlo仿真分析

為驗證“LSTM模型+PPO算法”制導(dǎo)方法的魯棒性和對參數(shù)偏差的適應(yīng)性,本文對飛行器再入初始狀態(tài)、氣動參數(shù)進行拉偏仿真分析,偏差設(shè)置如表2所示。

表2 飛行器再入初始狀態(tài)和氣動參數(shù)偏差

在再入初始狀態(tài)擾動和氣動偏差的條件下,基于“LSTM模型+PPO算法”制導(dǎo)進行400組的Monte Carlo仿真,落點經(jīng)緯度的散布如圖13所示,并與傳統(tǒng)的預(yù)測校正制導(dǎo)進行比較?？梢钥闯?在滿足中末交班點能量約束的前提下,相比于傳統(tǒng)的預(yù)測校正制導(dǎo)方法,基于“LSTM模型+PPO算法”制導(dǎo)的末端狀態(tài)更加靠近中末交班點,即更加靠近=50°,=3°。顯然,在初始狀態(tài)有擾動和氣動參數(shù)有偏差的情形下,“LSTM模型+PPO算法”制導(dǎo)具有更高的精度,其原因在于采用LSTM模型輸出傾側(cè)角指令時需對輸入的飛行器狀態(tài)向量進行歸一化處理,該過程會降低對狀態(tài)偏差的敏感性,加上LSTM神經(jīng)網(wǎng)絡(luò)模型具有天然的泛化能力,因而對于參數(shù)的偏差具有更強的魯棒性。

圖13 初始狀態(tài)和氣動參數(shù)擾動下落點經(jīng)緯度的散布圖Fig.13 Longitude and latitude scatter diagram with initial state error and aerodynamic parameter perturbation

5.3 實時性分析

下面進一步對比分析不同制導(dǎo)方法的實時性。運行硬件為Intel Core(TM) i7-6500U CPU @2.50 GHz,在Matlab環(huán)境下運行代碼。

在Monte Carlo仿真中,基于“LSTM模型+PPO算法”制導(dǎo)方法完成一次再入段飛行的平均時長為8.91 s,其具體分布如圖14所示,其中基于LSTM模型生成傾側(cè)角的時長占其中的6.24 s,龍格庫塔RK-4積分時長占其中的1.80 s。

圖14 計算實時性對比分析Fig.14 Comparison of computing time analysis

與之對比,在Monte Carlo仿真中,基于預(yù)測校正制導(dǎo)方法完成一次再入段飛行的平均時長為38.69 s,其中縱向制導(dǎo)過程占其中的33.97 s,橫向制導(dǎo)過程占其中的4.56 s。這是因為在縱向制導(dǎo)中,對動力學(xué)方程進行積分的預(yù)測過程和基于割線法求解傾側(cè)角的校正過程計算量較大,占用的時間較長。此外,基于“LSTM模型+SGDM算法”的制導(dǎo)方法與基于“LSTM模型+PPO算法”的制導(dǎo)方法耗時相當,這是由于訓(xùn)練算法雖然不一樣,但均是基于LSTM模型生成傾側(cè)角指令,這兩種制導(dǎo)方法中沒有“預(yù)測”環(huán)節(jié)和“積分”環(huán)節(jié),大大減少了計算量,提高了計算速度。因而,在實時性方面,基于LSTM模型的制導(dǎo)方法相比于傳統(tǒng)預(yù)測校正制導(dǎo)具有明顯的優(yōu)勢。

6 結(jié) 論

傳統(tǒng)基于標稱軌跡制導(dǎo)和預(yù)測校正制導(dǎo)等方法普遍存在人工設(shè)置的飛行走廊的固有約束,為打破該約束條件的限制,本文將監(jiān)督學(xué)習(xí)技術(shù)和強化學(xué)習(xí)技術(shù)應(yīng)用于飛行器再入制導(dǎo)中：① 基于預(yù)測校正制導(dǎo)方法生成大量的飛行軌跡樣本；② 建 立傾側(cè)角智能制導(dǎo)模型,利用監(jiān)督學(xué)習(xí)中帶有動量的隨機梯度下降算法訓(xùn)練傾側(cè)角智能制導(dǎo)模型；③ 在第2步基于監(jiān)督學(xué)習(xí)訓(xùn)練的傾側(cè)角智能制導(dǎo)模型的基礎(chǔ)上,利用強化學(xué)習(xí)在智能決策方面的優(yōu)勢,在動力學(xué)方程的約束下通過飛行器與環(huán)境進行大量交互,并設(shè)置有效的獎勵,利用強化學(xué)習(xí)中PPO算法進一步訓(xùn)練飛行器傾側(cè)角制導(dǎo)模型,顛覆現(xiàn)有制導(dǎo)方法中橫向走廊的約束,進一步拓展飛行剖面,生成完全不同于傳統(tǒng)制導(dǎo)方法的飛行走廊,達到出敵不意的靈活飛行效果。強化學(xué)習(xí)技術(shù)通過飛行器與環(huán)境的大量交互“試錯”,優(yōu)化飛行軌跡,其與制導(dǎo)控制技術(shù)的交叉融合是未來飛行器智能制導(dǎo)控制領(lǐng)域的熱門研究方向。