• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    變形飛行器深度強(qiáng)化學(xué)習(xí)姿態(tài)控制方法研究

    2023-01-04 07:55:26馬少捷惠俊鵬王宇航
    航天控制 2022年6期
    關(guān)鍵詞:機(jī)翼飛行器控制策略

    馬少捷 惠俊鵬 王宇航 張 旋

    1. 中國(guó)運(yùn)載火箭技術(shù)研究院研究發(fā)展部,北京 100076 2. 北京航天長(zhǎng)征飛行器研究所,北京 100076

    0 引言

    變形飛行器可以根據(jù)飛行任務(wù)、飛行環(huán)境不同適時(shí)自主改變氣動(dòng)外形,實(shí)現(xiàn)全剖面飛行性能優(yōu)化,同時(shí)以不同氣動(dòng)布局滿足不同飛行任務(wù)需求,對(duì)飛行器跨域飛行、多任務(wù)適應(yīng)具有重要意義[1-2]。但由于其變形過程中氣動(dòng)參數(shù)、結(jié)構(gòu)參數(shù)呈現(xiàn)非線性變化的特點(diǎn),變形引起的慣性附加力、附加力矩難以忽略,同時(shí)變形結(jié)構(gòu)剛度差導(dǎo)致氣動(dòng)、結(jié)構(gòu)耦合現(xiàn)象嚴(yán)重,使得變形飛行器模型具有較大的不確定性,并且變形過程中飛行器受外界干擾因素影響較為復(fù)雜,對(duì)控制系統(tǒng)設(shè)計(jì)提出了挑戰(zhàn)。另一方面變形飛行器為了達(dá)到飛行剖面的性能最優(yōu),需要在執(zhí)行任務(wù)中實(shí)時(shí)決策變形指令,而傳統(tǒng)算法控制器參數(shù)離線設(shè)計(jì)、在線插值的方式難以達(dá)到理想控制效果。

    針對(duì)該問題,有學(xué)者基于線性模型提出了反饋控制[3]、切換線性變參數(shù)(Linear Parameter Varying, LPV)魯棒控制[4]等方法,卻在一定程度上損失了變形飛行器模型的非線性特征。因此滑??刂芠5]、動(dòng)態(tài)逆控制[6]等非線性控制方法成為主流研究方向,這類方法更大程度地保留了控制系統(tǒng)模型的非線性特征,但同時(shí)也存在對(duì)模型準(zhǔn)確度依賴較高的問題。此外,宋慧心等[7]基于自抗擾控制理論開展控制器設(shè)計(jì),取得了較好的控制效果,但自抗擾控制參數(shù)整定問題增加了控制器設(shè)計(jì)的復(fù)雜度。因此迫切需要適應(yīng)性、魯棒性更強(qiáng)的控制算法來提升控制系統(tǒng)品質(zhì)。

    隨著人工智能技術(shù)發(fā)展,強(qiáng)化學(xué)習(xí)作為一類數(shù)據(jù)驅(qū)動(dòng)的智能算法,通過智能體與環(huán)境的交互,從數(shù)據(jù)中訓(xùn)練得到控制策略,不依賴于精確的控制模型,突破了復(fù)雜系統(tǒng)精確建模困難的局限,為復(fù)雜控制系統(tǒng)設(shè)計(jì)提供了新的解決途徑,逐漸應(yīng)用于復(fù)雜條件下飛行器制導(dǎo)控制系統(tǒng)設(shè)計(jì)[8-11]中,其中代表性的算法是深度確定性策略梯度(Deep Deterministic Policy Gradient, DDPG)算法。Wang等[12]針對(duì)吸氣式飛行器姿態(tài)控制問題,基于DDPG算法在線優(yōu)化反步法控制參數(shù)。Wang等[13]針對(duì)四旋翼無人機(jī)的高度控制問題,基于DDPG算法直接進(jìn)行策略訓(xùn)練,最終實(shí)現(xiàn)狀態(tài)量到執(zhí)行動(dòng)作的端到端控制。DDPG算法在無人機(jī)姿態(tài)控制中具有良好的魯棒性與強(qiáng)泛化能力,然而算法本身存在值函數(shù)過估計(jì)、算法穩(wěn)定性差等問題,F(xiàn)ujimoto等[14]提出的雙延遲深度確定性策略梯度(Twin Delayed Deep Deterministic Policy Gradient, TD3)算法,在算法穩(wěn)定性與收斂性方面有更好的效果。

    本文在上述研究的基礎(chǔ)上,基于TD3算法提出了一種變形飛行器姿態(tài)控制方法。以一類機(jī)翼可伸縮的變形飛行器為對(duì)象,考慮其多剛體結(jié)構(gòu),建立了縱向平面數(shù)學(xué)模型,然后在馬爾可夫決策過程(Markov Decision Process, MDP)的框架下設(shè)計(jì)了算法訓(xùn)練所需的狀態(tài)空間、動(dòng)作空間以及網(wǎng)絡(luò)結(jié)構(gòu),還設(shè)計(jì)了一種兼顧控制精度與能量需求的獎(jiǎng)勵(lì)函數(shù),并在狀態(tài)空間中引入姿態(tài)跟蹤誤差的歷史信息,減小了值函數(shù)估計(jì)誤差引起的穩(wěn)態(tài)誤差,將策略網(wǎng)絡(luò)與PD控制器結(jié)合形成復(fù)合控制器,提高了算法的訓(xùn)練效率,最后通過數(shù)學(xué)仿真驗(yàn)證了所得控制策略的適應(yīng)性與強(qiáng)魯棒性。

    1 變形飛行器數(shù)學(xué)模型

    考慮一類伸縮變形飛行器,其局部外形如圖1所示,其左右機(jī)翼可以沿翼展方向水平伸縮,最大翼展可達(dá)到本體的2倍,變形量通過翼展變形率ξ=Δl/l表示,其中Δl為伸縮機(jī)翼伸出長(zhǎng)度,l為本體翼展,ξ∈[0,1]。

    假設(shè)伸縮機(jī)翼對(duì)稱勻速變形,且變形翼只在水平面內(nèi)伸縮,將飛行器分為機(jī)體、左右伸縮機(jī)翼3個(gè)結(jié)構(gòu),以飛行器機(jī)體質(zhì)心為參考點(diǎn),基于Kane多體動(dòng)力學(xué)建模方法建立變形飛行器動(dòng)力學(xué)模型,如式(1)。

    (1)

    式中,m為飛行器總質(zhì)量,I為飛行器總轉(zhuǎn)動(dòng)慣量,Vb為質(zhì)心坐標(biāo)系下的運(yùn)動(dòng)速度,ω為飛行器旋轉(zhuǎn)角速度,F(xiàn)和M分別為飛行器所受合外力、合外力矩,F(xiàn)s和Ms分別為飛行器變形附加力和附加力矩。

    假設(shè)變形飛行器無動(dòng)力飛行,地球?yàn)橐痪|(zhì)圓球,同時(shí)忽略地球自轉(zhuǎn),則合外力只包含氣動(dòng)力、重力項(xiàng),合外力矩只包含氣動(dòng)力矩項(xiàng)。同時(shí)假設(shè)不考慮飛行器橫側(cè)向運(yùn)動(dòng),將變形附加力、附加力矩簡(jiǎn)化到縱向平面內(nèi),可得到具體表達(dá)式如下:

    (2)

    式中,F(xiàn)sx和Fsy分別為變形附加力在彈體坐標(biāo)系xy軸的分量,Msz為變形附加力矩在彈體坐標(biāo)系z(mì)軸的分量,mη為伸縮機(jī)翼部分質(zhì)量,ωz為俯仰角速度,Vx和Vy分別為飛行器運(yùn)動(dòng)速度在質(zhì)心坐標(biāo)系xy軸的分量,Px和Py分別為機(jī)體質(zhì)心指向伸縮機(jī)翼質(zhì)心矢量在彈體質(zhì)心坐標(biāo)系xy軸的分量,隨飛行器變形而發(fā)生變化。

    結(jié)合飛行器運(yùn)動(dòng)學(xué)方程,將多剛體動(dòng)力學(xué)模型轉(zhuǎn)換到速度坐標(biāo)系中,可得到變形飛行器完整數(shù)學(xué)模型,如式(3)。

    (3)

    式中,V和θ分別為飛行器飛行總速度、速度傾角,α為攻角,g為當(dāng)?shù)刂亓铀俣?,Iz為飛行器繞z軸轉(zhuǎn)動(dòng)慣量,φ為俯仰角,x和y分別為飛行器在發(fā)射坐標(biāo)系xy軸的位置,X,Y和Mz分別為飛行器所受氣動(dòng)力、力矩在質(zhì)心坐標(biāo)系三軸的分量,表達(dá)式如式(4)。

    (4)

    式中,Q=0.5ρV2為動(dòng)壓,S和L分別為飛行器參考面積、參考長(zhǎng)度,xg和yg分別為飛行器質(zhì)心到理論頂點(diǎn)的距離在xy軸的分量,隨飛行器變形而發(fā)生變化,Cx,Cy和Cmz分別為軸向力系數(shù)、法向力系數(shù)、俯仰力矩系數(shù),其大小與攻角、馬赫數(shù)以及機(jī)翼變形量有關(guān)。

    2 基于深度強(qiáng)化學(xué)習(xí)算法的控制設(shè)計(jì)

    2.1 深度強(qiáng)化學(xué)習(xí)算法原理

    本文采用的TD3算法是一種基于“動(dòng)作-評(píng)價(jià)”(Actor-Critic, AC)框架的深度強(qiáng)化學(xué)習(xí)算法,采用深度神經(jīng)網(wǎng)絡(luò)表征策略π和動(dòng)作-值函數(shù)Qπ(s,act)=Ετ~π[R(τ)|s,act]。其在DDPG的基礎(chǔ)上改進(jìn)得到,采用Double Q-Learning的方式降低Q值估計(jì)誤差,通過延遲策略更新的方式來增加算法的穩(wěn)定性,并且在目標(biāo)策略中加入噪聲來避免過擬合,進(jìn)一步提升了算法穩(wěn)定性與收斂性,是目前應(yīng)用較為廣泛的一類連續(xù)控制強(qiáng)化學(xué)習(xí)算法。

    TD3一般使用6個(gè)神經(jīng)網(wǎng)絡(luò):策略網(wǎng)絡(luò)及策略目標(biāo)網(wǎng)絡(luò)、2個(gè)評(píng)價(jià)網(wǎng)絡(luò)及2個(gè)評(píng)價(jià)目標(biāo)網(wǎng)絡(luò),策略網(wǎng)絡(luò)用來表征確定性策略π(s|θπ),其中θπ為網(wǎng)絡(luò)參數(shù),2個(gè)評(píng)價(jià)網(wǎng)絡(luò)分別用來表征2套動(dòng)作-值函數(shù)Q1(s,act|θQ1)和Q2(s,act|θQ2),θQ1和θQ2分別為對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù),同樣對(duì)應(yīng)2個(gè)評(píng)價(jià)目標(biāo)網(wǎng)絡(luò)Q1′(s,act|θQ1′)和Q2′(s,act|θQ2′),θQ1′和θQ2′分別為對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù),網(wǎng)絡(luò)更新時(shí)選取2個(gè)目標(biāo)網(wǎng)絡(luò)中最小值,計(jì)算時(shí)間差分誤差(Time Difference error, TD-error),如式(5)。

    δt=rt+1+γmini = 1,2

    {Qi′[st+1,π′(st+1|θπ′)|θQi′]}-Qi(st,actt|θQi)

    (5)

    式中,π′(st+1|θπ′)為策略目標(biāo)網(wǎng)絡(luò)輸出,θπ′為其網(wǎng)絡(luò)參數(shù),因此可構(gòu)造評(píng)價(jià)網(wǎng)絡(luò)損失函數(shù)及更新方式如式(6)。

    (6)

    (7)

    ν~clip[N(0,σ),-c,c]為截?cái)嗟母咚乖肼?,N為批學(xué)習(xí)的樣本數(shù)量,κQ為評(píng)價(jià)網(wǎng)絡(luò)的學(xué)習(xí)率。同樣可構(gòu)造策略網(wǎng)絡(luò)損失函數(shù)及更新方式如式(8)。

    (8)

    式中,actt=π(st|θπ)為st狀態(tài)下智能體輸出動(dòng)作,κπ為動(dòng)作網(wǎng)絡(luò)的學(xué)習(xí)率,TD3算法使得策略網(wǎng)絡(luò)以更低的頻率更新,在評(píng)價(jià)網(wǎng)絡(luò)更新d步后再更新策略,以獲得更高的更新質(zhì)量,增強(qiáng)算法穩(wěn)定性。同時(shí)TD3通過指數(shù)平滑而非直接替換的方式更新目標(biāo)網(wǎng)絡(luò),如式(9)所示。

    (9)

    式中,ε為慣性更新率,一般為小于1的正數(shù),可以使得目標(biāo)網(wǎng)絡(luò)更新更緩慢平穩(wěn),提高訓(xùn)練的穩(wěn)定性。

    2.2 控制設(shè)計(jì)

    前期訓(xùn)練發(fā)現(xiàn)利用策略網(wǎng)絡(luò)直接輸出舵偏角指令的控制器架構(gòu)在訓(xùn)練時(shí)存在大量無法穩(wěn)定飛行,狀態(tài)發(fā)散的現(xiàn)象,導(dǎo)致訓(xùn)練效率降低,同時(shí)很難得到最優(yōu)結(jié)果。因此本文加入PD控制器進(jìn)行輔助,與策略網(wǎng)絡(luò)組成復(fù)合控制器,PD控制器參數(shù)粗整定,僅能維持穩(wěn)定控制,跟蹤精度較差,在此基礎(chǔ)上利用TD3優(yōu)化控制策略,控制策略訓(xùn)練結(jié)構(gòu)如圖2所示,其中虛線框中為控制器結(jié)構(gòu),控制指令由基礎(chǔ)控制器輸出指令以及算法策略網(wǎng)絡(luò)輸出動(dòng)作組成。

    圖2 控制器結(jié)構(gòu)圖

    本文將變形飛行器控制模型轉(zhuǎn)換為MDP,在此框架下設(shè)計(jì)了狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)以及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

    1)狀態(tài)空間和動(dòng)作空間

    借鑒傳統(tǒng)控制器設(shè)計(jì)思路,影響控制指令的主要因素包含姿態(tài)角誤差、姿態(tài)角速率,同時(shí)考慮影響變形飛行器控制律設(shè)計(jì)的主要因素包含攻角、動(dòng)壓以及變形量。因此選擇狀態(tài)空間為6維向量,由攻角α、攻角跟蹤誤差Δα、俯仰角速率ωz、舵偏角δz、動(dòng)壓Q、變形率ξ組成,同時(shí)為彌補(bǔ)由于評(píng)價(jià)網(wǎng)絡(luò)對(duì)動(dòng)作-值函數(shù)估計(jì)不準(zhǔn)確導(dǎo)致訓(xùn)練結(jié)果存在明顯穩(wěn)態(tài)誤差的問題,借鑒PID控制引入積分項(xiàng)的思路,在狀態(tài)量中引入攻角跟蹤誤差的歷史信息,即Iα=Δα+μIα,最終設(shè)計(jì)狀態(tài)向量如下:

    s=[α,Iα,ωz,δz,Q,ξ]

    (10)

    考慮控制系統(tǒng)執(zhí)行機(jī)構(gòu)僅有氣動(dòng)舵,縱向平面控制指令僅含俯仰舵偏,因此動(dòng)作空間設(shè)計(jì)為1維向量,如式(11)。

    act=δz

    (11)

    2)獎(jiǎng)勵(lì)函數(shù)

    為保證變形飛行器姿態(tài)跟蹤精度,為變形創(chuàng)造良好的作動(dòng)環(huán)境,同時(shí)降低姿態(tài)控制能量需求,設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)由跟蹤誤差懲罰、舵偏角大小懲罰以及跟蹤精度稀疏回報(bào)組成,如式(12)。

    (12)

    3)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    本文采用的神經(jīng)網(wǎng)絡(luò)均為反向傳播(Back Propagation, BP)神經(jīng)網(wǎng)絡(luò),動(dòng)作網(wǎng)絡(luò)輸入層有6個(gè)神經(jīng)元對(duì)應(yīng)6維狀態(tài)向量st,隱藏層為3個(gè)全連接層,輸出層有1個(gè)神經(jīng)元對(duì)應(yīng)1維動(dòng)作向量actt。兩個(gè)評(píng)價(jià)網(wǎng)絡(luò)結(jié)構(gòu)相同,輸入層有7個(gè)神經(jīng)元對(duì)應(yīng)6維狀態(tài)向量st和1維動(dòng)作向量actt,隱藏層同樣為3個(gè)全連接層,輸出層有1個(gè)神經(jīng)元對(duì)應(yīng)動(dòng)作-值函數(shù)Qi(st,actt|θQi),各層神經(jīng)元數(shù)目與激活函數(shù)如表1,目標(biāo)網(wǎng)絡(luò)與對(duì)應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)相同。

    表1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    3 仿真分析

    3.1 TD3算法訓(xùn)練

    1)訓(xùn)練場(chǎng)景

    仿真開始時(shí)伸縮機(jī)翼處于伸展?fàn)顟B(tài),其可以在1.25s內(nèi)勻速收回至本體狀態(tài),變形指令設(shè)置如圖3,7.5s開始伸縮機(jī)翼逐漸收回,12s再次展開,16.5s伸縮機(jī)翼再次收回,最終21s伸縮翼展開到初始狀態(tài)。

    圖3 變形率變化曲線

    TD3算法訓(xùn)練中積分周期為5ms,控制周期為10ms,網(wǎng)絡(luò)更新周期為50ms,每回合仿真總時(shí)長(zhǎng)30s,算法訓(xùn)練參數(shù)以及獎(jiǎng)勵(lì)函數(shù)權(quán)重設(shè)計(jì)如表2所示。

    表2 算法訓(xùn)練參數(shù)設(shè)計(jì)

    為得到魯棒性更強(qiáng)的控制策略,在訓(xùn)練中加入初始狀態(tài)偏差以及隨機(jī)干擾項(xiàng),擾動(dòng)水平如表3所示。

    表3 擾動(dòng)參數(shù)及擾動(dòng)水平

    并做出以下假設(shè):

    假設(shè)1:飛行器無橫側(cè)向運(yùn)動(dòng),僅在縱向平面運(yùn)動(dòng);

    假設(shè)2:仿真中假設(shè)傳感器無測(cè)量誤差,執(zhí)行機(jī)構(gòu)無慣性,僅考慮氣動(dòng)偏差、結(jié)構(gòu)偏差等設(shè)計(jì)誤差以及風(fēng)干擾等外界環(huán)境影響。

    2)訓(xùn)練結(jié)果

    基于變形飛行器縱向平面動(dòng)力學(xué)模型,分別基于TD3以及DDPG算法開展控制策略訓(xùn)練,圖4展示了訓(xùn)練過程平均獎(jiǎng)勵(lì)隨訓(xùn)練回合的變化規(guī)律,共進(jìn)行了5000回合訓(xùn)練,每10回合取平均值,其中藍(lán)色實(shí)線為TD3算法訓(xùn)練結(jié)果,黑色虛線為DDPG算法訓(xùn)練結(jié)果,在訓(xùn)練初期智能體處于探索階段,累計(jì)獎(jiǎng)勵(lì)存在降低趨勢(shì),當(dāng)進(jìn)行到100回合后,累計(jì)獎(jiǎng)勵(lì)明顯增加,直到1000回合左右逐漸趨于穩(wěn)定,對(duì)比可以發(fā)現(xiàn)TD3算法比DDPG算法具有更好的穩(wěn)定性以及更快的收斂速度,訓(xùn)練所得的控制策略累計(jì)獎(jiǎng)勵(lì)也達(dá)到了更高水平。

    圖4 訓(xùn)練過程平均獎(jiǎng)勵(lì)變化曲線

    3.2 變形飛行器姿態(tài)控制仿真驗(yàn)證

    為驗(yàn)證控制策略的有效性,本文共開展了3組數(shù)學(xué)仿真,分別為標(biāo)稱狀態(tài)下的仿真驗(yàn)證、偏差狀態(tài)下的仿真驗(yàn)證以及改變變形指令的仿真驗(yàn)證。

    3.2.1 標(biāo)稱狀態(tài)仿真驗(yàn)證

    圖5~6展示了標(biāo)稱狀態(tài)下的攻角跟蹤結(jié)果以及俯仰角速率、舵偏角響應(yīng)結(jié)果,攻角跟蹤梯形指令,在-5 °攻角進(jìn)行連續(xù)變形測(cè)試,并將仿真結(jié)果與基礎(chǔ)PD控制器以及PID控制器的控制效果進(jìn)行對(duì)比。

    圖5 攻角跟蹤

    圖6 俯仰角速率、舵偏角響應(yīng)

    表4展示了TD3與PD基礎(chǔ)控制器、PID控制器控制效果的對(duì)比,其中積分絕對(duì)誤差I(lǐng)AE(Integral Absolute Error)為攻角跟蹤誤差隨時(shí)間的積分項(xiàng)。

    (13)

    表4 控制效果對(duì)比

    仿真結(jié)果表明本文經(jīng)TD3算法訓(xùn)練后的控制策略可以實(shí)現(xiàn)動(dòng)態(tài)、穩(wěn)態(tài)的高精度控制,相較于基礎(chǔ)控制器具有更快的響應(yīng)速度、更小的穩(wěn)態(tài)誤差,從而為飛行器變形提供良好的初始狀態(tài)。相較于性能更優(yōu)的PID控制,本文的控制策略在變形過程中攻角跟蹤誤差無明顯變化,可以快速適應(yīng)飛行器變形引起的模型變化,對(duì)變形引起的模型內(nèi)部不確定性具有較強(qiáng)的魯棒性,可以實(shí)現(xiàn)機(jī)翼伸縮變形條件下的攻角指令精確跟蹤。

    3.2.2 偏差狀態(tài)仿真驗(yàn)證

    為驗(yàn)證本文控制策略對(duì)變形過程中復(fù)雜外界干擾的魯棒性,考慮初始狀態(tài)偏差以及氣動(dòng)、結(jié)構(gòu)、環(huán)境干擾偏差,擾動(dòng)項(xiàng)及擾動(dòng)水平如表2所示,取極限拉偏組合,同時(shí)加入大氣環(huán)境干擾,包含大氣密度偏差、溫度偏差、風(fēng)干擾?;陔S機(jī)組合開展1000條蒙特卡洛仿真,圖7~8展示了攻角跟蹤結(jié)果以及1000次仿真中跟蹤誤差頻率分布。

    圖7 攻角蒙特卡洛仿真結(jié)果

    圖8 攻角跟蹤誤差頻率分布

    觀察結(jié)果發(fā)現(xiàn),1000次蒙特卡洛仿真均可以實(shí)現(xiàn)姿態(tài)穩(wěn)定控制,IAE平均值為0.4523((°)·s),分布方差為0.1492,與PID控制1000次蒙特卡洛仿真IAE平均值7.1501((°)·s),分布方差0.6199進(jìn)行對(duì)比,優(yōu)化后的控制策略精度更高,蒙特卡洛仿真分布方差更小,證明了其對(duì)初始狀態(tài)、設(shè)計(jì)偏差以及環(huán)境等外部干擾項(xiàng)的魯棒性更強(qiáng),由此驗(yàn)證了本文控制策略對(duì)變形飛行器系統(tǒng)內(nèi)部、外部不確定性均具有較強(qiáng)的魯棒性。

    3.2.3 未經(jīng)訓(xùn)練的變形指令仿真驗(yàn)證

    本文在訓(xùn)練中只考慮了單一變形策略,為驗(yàn)證網(wǎng)絡(luò)泛化能力,測(cè)試其對(duì)變形策略在線決策場(chǎng)景的適應(yīng)能力,考慮攻角-5 °的狀態(tài)下,在10s~20s之間隨機(jī)給定50種伸縮機(jī)翼變形指令,在標(biāo)稱狀態(tài)下開展仿真,攻角跟蹤結(jié)果以及俯仰角速率、舵偏角響應(yīng)結(jié)果如圖9~10所示。

    圖9 攻角跟蹤曲線

    圖10 俯仰角速率、舵偏角響應(yīng)

    仿真結(jié)果表明,50次測(cè)試均能實(shí)現(xiàn)變形過程中的姿態(tài)穩(wěn)定控制,IAE平均值為0.4058((°)·s),證明本文的控制策略對(duì)未經(jīng)訓(xùn)練的變形指令具有一定的適應(yīng)性,可以實(shí)現(xiàn)在線靈活變形場(chǎng)景下的高精度姿態(tài)控制,體現(xiàn)了算法較強(qiáng)的泛化能力,同時(shí)由于本節(jié)仿真中的變形指令并未參與算法訓(xùn)練,需用舵偏量未經(jīng)過優(yōu)化,變形過程中俯仰角速率和舵偏角存在小幅度振蕩現(xiàn)象,并未影響控制系統(tǒng)穩(wěn)定性以及控制精度。

    4 結(jié)論

    針對(duì)變形飛行器動(dòng)力學(xué)模型非線性強(qiáng),變形過程中內(nèi)外干擾因素復(fù)雜,以及靈活變形引起的模型大范圍變化的問題,以一類機(jī)翼可伸縮的變形飛行器為例,基于TD3深度強(qiáng)化學(xué)習(xí)算法開展了變形飛行器姿態(tài)控制算法設(shè)計(jì),獲得了較DDPG算法更好的訓(xùn)練效果,同時(shí)本文采用PD控制器輔助TD3算法訓(xùn)練的方式,保證算法訓(xùn)練初期的穩(wěn)定控制,提升樣本質(zhì)量,并采用攻角跟蹤誤差的累加值作為狀態(tài)輸入,進(jìn)一步提升訓(xùn)練效果,降低控制策略穩(wěn)態(tài)誤差。仿真結(jié)果表明本文的控制策略可以保證機(jī)翼伸縮變形過程中姿態(tài)控制的精度,對(duì)模型內(nèi)外不確定性均具有較強(qiáng)的魯棒性,同時(shí)對(duì)不同變形策略具有一定的適應(yīng)性。

    猜你喜歡
    機(jī)翼飛行器控制策略
    高超聲速飛行器
    考慮虛擬慣性的VSC-MTDC改進(jìn)下垂控制策略
    能源工程(2020年6期)2021-01-26 00:55:22
    變時(shí)滯間隙非線性機(jī)翼顫振主動(dòng)控制方法
    工程造價(jià)控制策略
    山東冶金(2019年3期)2019-07-10 00:54:04
    現(xiàn)代企業(yè)會(huì)計(jì)的內(nèi)部控制策略探討
    復(fù)雜飛行器的容錯(cuò)控制
    電子制作(2018年2期)2018-04-18 07:13:25
    容錯(cuò)逆變器直接轉(zhuǎn)矩控制策略
    神秘的飛行器
    機(jī)翼跨聲速抖振研究進(jìn)展
    基于模糊自適應(yīng)的高超聲速機(jī)翼顫振的主動(dòng)控制
    人妻夜夜爽99麻豆av| 欧美成人精品欧美一级黄| 亚洲欧美日韩高清在线视频| 在线天堂最新版资源| 色噜噜av男人的天堂激情| 综合色av麻豆| 一级黄片播放器| 成人综合一区亚洲| 亚洲欧美精品自产自拍| 99热网站在线观看| 日本一二三区视频观看| 亚洲在线观看片| 看十八女毛片水多多多| 久久久成人免费电影| 在线观看美女被高潮喷水网站| 久久精品夜色国产| av专区在线播放| 亚洲中文字幕一区二区三区有码在线看| 九九久久精品国产亚洲av麻豆| 亚洲av第一区精品v没综合| 青春草国产在线视频 | 男的添女的下面高潮视频| 美女黄网站色视频| 99久久精品国产国产毛片| 国产精品伦人一区二区| 日韩国内少妇激情av| 日韩av不卡免费在线播放| 中文精品一卡2卡3卡4更新| 18禁在线无遮挡免费观看视频| 极品教师在线视频| 99久久九九国产精品国产免费| 中文欧美无线码| 日韩强制内射视频| 免费看av在线观看网站| 日本熟妇午夜| 3wmmmm亚洲av在线观看| 性插视频无遮挡在线免费观看| 女的被弄到高潮叫床怎么办| 欧美人与善性xxx| 午夜福利在线在线| 一级二级三级毛片免费看| 秋霞在线观看毛片| 特级一级黄色大片| 男女下面进入的视频免费午夜| 搡老妇女老女人老熟妇| 中文字幕免费在线视频6| kizo精华| 五月伊人婷婷丁香| av卡一久久| 99热这里只有精品一区| 久久久久久久久久久免费av| 欧美bdsm另类| 麻豆国产97在线/欧美| 在线观看午夜福利视频| 女人被狂操c到高潮| 亚洲av成人精品一区久久| 夜夜看夜夜爽夜夜摸| 国产精品国产三级国产av玫瑰| 卡戴珊不雅视频在线播放| 亚洲成人久久爱视频| 免费看日本二区| 99久久成人亚洲精品观看| 午夜免费男女啪啪视频观看| 白带黄色成豆腐渣| 久久热精品热| 久久精品久久久久久噜噜老黄 | 少妇裸体淫交视频免费看高清| 久久久久九九精品影院| 麻豆乱淫一区二区| 久久久久久久久久久丰满| 久久久欧美国产精品| 三级男女做爰猛烈吃奶摸视频| 中文字幕av成人在线电影| 久久99热这里只有精品18| 激情 狠狠 欧美| 亚洲欧美清纯卡通| 国产精品野战在线观看| 精品人妻视频免费看| 亚洲av一区综合| 性欧美人与动物交配| 麻豆成人av视频| 久久人人精品亚洲av| 偷拍熟女少妇极品色| 啦啦啦啦在线视频资源| 在线观看66精品国产| 美女国产视频在线观看| 在现免费观看毛片| 国产欧美日韩精品一区二区| 亚洲乱码一区二区免费版| 超碰av人人做人人爽久久| 男人狂女人下面高潮的视频| 高清午夜精品一区二区三区 | 在线国产一区二区在线| 中文欧美无线码| 亚洲七黄色美女视频| 欧美另类亚洲清纯唯美| 身体一侧抽搐| 国产视频首页在线观看| 嘟嘟电影网在线观看| 老熟妇乱子伦视频在线观看| 五月玫瑰六月丁香| a级毛色黄片| 日韩国内少妇激情av| 日韩精品有码人妻一区| 亚洲最大成人手机在线| av在线亚洲专区| av国产免费在线观看| 色播亚洲综合网| 别揉我奶头 嗯啊视频| 夜夜看夜夜爽夜夜摸| 国产国拍精品亚洲av在线观看| 人妻少妇偷人精品九色| 国内精品一区二区在线观看| 亚州av有码| 能在线免费观看的黄片| 国产伦一二天堂av在线观看| 久久久久久伊人网av| 亚洲最大成人手机在线| 两性午夜刺激爽爽歪歪视频在线观看| 免费电影在线观看免费观看| 国产中年淑女户外野战色| 日韩成人伦理影院| 免费电影在线观看免费观看| 青春草国产在线视频 | 最近视频中文字幕2019在线8| 色视频www国产| 亚洲欧美日韩东京热| 国产精品久久久久久精品电影| 99久久精品国产国产毛片| 日韩一区二区视频免费看| 此物有八面人人有两片| 天天躁日日操中文字幕| 成人午夜精彩视频在线观看| 国产精品无大码| 一个人观看的视频www高清免费观看| 级片在线观看| 国产乱人视频| 搡老妇女老女人老熟妇| 国产在线精品亚洲第一网站| 自拍偷自拍亚洲精品老妇| 免费人成视频x8x8入口观看| 精品久久久久久久久久免费视频| 男女啪啪激烈高潮av片| 精品免费久久久久久久清纯| 又黄又爽又刺激的免费视频.| 男女啪啪激烈高潮av片| 欧美成人a在线观看| 99热这里只有是精品50| 2022亚洲国产成人精品| 日韩高清综合在线| 欧美日本视频| 亚洲av.av天堂| 国产真实乱freesex| 日韩在线高清观看一区二区三区| 国产精品久久久久久精品电影| 国产片特级美女逼逼视频| 18+在线观看网站| 黄片wwwwww| 国产一区二区在线观看日韩| 国产亚洲精品久久久com| 日韩欧美在线乱码| 国产精品国产三级国产av玫瑰| 一进一出抽搐动态| 国产精品一区二区在线观看99 | 亚洲一区二区三区色噜噜| 综合色av麻豆| 观看免费一级毛片| 美女大奶头视频| 午夜免费激情av| 99久久精品一区二区三区| 国产精品无大码| 日韩高清综合在线| 熟妇人妻久久中文字幕3abv| 亚洲18禁久久av| 人妻系列 视频| 色综合色国产| 国产精品人妻久久久影院| 美女 人体艺术 gogo| 少妇熟女aⅴ在线视频| 爱豆传媒免费全集在线观看| 麻豆精品久久久久久蜜桃| 三级经典国产精品| 有码 亚洲区| 91精品国产九色| 欧美三级亚洲精品| 最近中文字幕高清免费大全6| 最近最新中文字幕大全电影3| 22中文网久久字幕| 日韩高清综合在线| 内射极品少妇av片p| 日韩制服骚丝袜av| 亚洲一区高清亚洲精品| 欧美精品一区二区大全| 欧美成人一区二区免费高清观看| 国产欧美日韩精品一区二区| 日韩精品有码人妻一区| 精品无人区乱码1区二区| 看十八女毛片水多多多| 久久综合国产亚洲精品| av在线老鸭窝| 中文欧美无线码| 男插女下体视频免费在线播放| 人人妻人人看人人澡| 热99在线观看视频| 女人被狂操c到高潮| 中文亚洲av片在线观看爽| 噜噜噜噜噜久久久久久91| 亚洲不卡免费看| 国产精品综合久久久久久久免费| 岛国在线免费视频观看| 赤兔流量卡办理| 草草在线视频免费看| 国产精品一区www在线观看| 岛国毛片在线播放| 欧美性猛交黑人性爽| 亚洲精品乱码久久久v下载方式| 两个人的视频大全免费| 国产高清有码在线观看视频| 欧美最黄视频在线播放免费| 少妇被粗大猛烈的视频| 久久久国产成人免费| 国内精品一区二区在线观看| 黄色视频,在线免费观看| 乱码一卡2卡4卡精品| 2022亚洲国产成人精品| av女优亚洲男人天堂| 国产毛片a区久久久久| 变态另类丝袜制服| 人妻久久中文字幕网| 永久网站在线| 99在线人妻在线中文字幕| 午夜爱爱视频在线播放| 在线播放国产精品三级| 人妻系列 视频| 欧美激情久久久久久爽电影| 国产精品人妻久久久影院| 日本欧美国产在线视频| 国产在线男女| 国内揄拍国产精品人妻在线| 日本一二三区视频观看| 一级毛片aaaaaa免费看小| 自拍偷自拍亚洲精品老妇| 卡戴珊不雅视频在线播放| 日韩欧美国产在线观看| 天天躁夜夜躁狠狠久久av| 久久6这里有精品| 国内精品久久久久精免费| 久久热精品热| a级毛片a级免费在线| 婷婷色av中文字幕| 小说图片视频综合网站| 国国产精品蜜臀av免费| 一级黄片播放器| .国产精品久久| 一边亲一边摸免费视频| 韩国av在线不卡| 伦理电影大哥的女人| 哪里可以看免费的av片| 久久久久性生活片| 波野结衣二区三区在线| 免费不卡的大黄色大毛片视频在线观看 | 老司机福利观看| 国产伦在线观看视频一区| 久久国产乱子免费精品| 搡老妇女老女人老熟妇| 99热这里只有精品一区| 人体艺术视频欧美日本| 亚洲av成人av| 99热6这里只有精品| 国产成人一区二区在线| 黄片wwwwww| 性色avwww在线观看| 亚洲三级黄色毛片| 男人舔奶头视频| 少妇裸体淫交视频免费看高清| 免费黄网站久久成人精品| 欧美三级亚洲精品| a级毛片免费高清观看在线播放| 亚洲成a人片在线一区二区| 国产精品国产高清国产av| 色吧在线观看| 久久久国产成人精品二区| 日韩欧美 国产精品| 18禁在线无遮挡免费观看视频| 国产精品99久久久久久久久| 欧美性感艳星| 国产激情偷乱视频一区二区| 国产男人的电影天堂91| 高清毛片免费看| 久久99蜜桃精品久久| 国产精品一区www在线观看| 插逼视频在线观看| 亚洲婷婷狠狠爱综合网| 看十八女毛片水多多多| 久久韩国三级中文字幕| 国产毛片a区久久久久| 欧美性猛交╳xxx乱大交人| 国产欧美日韩精品一区二区| 少妇的逼好多水| 久久久a久久爽久久v久久| 亚洲欧美成人综合另类久久久 | 不卡视频在线观看欧美| 青青草视频在线视频观看| 天堂av国产一区二区熟女人妻| 免费电影在线观看免费观看| 国产综合懂色| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 蜜臀久久99精品久久宅男| 午夜免费激情av| 大香蕉久久网| 欧美激情在线99| 久久久久久久久久成人| or卡值多少钱| 国产成人午夜福利电影在线观看| 91久久精品国产一区二区三区| 国产色婷婷99| 亚洲国产欧美在线一区| 国产成人a区在线观看| 日韩欧美一区二区三区在线观看| 国产av一区在线观看免费| 3wmmmm亚洲av在线观看| 国产91av在线免费观看| 2021天堂中文幕一二区在线观| av卡一久久| 亚洲国产精品久久男人天堂| 中出人妻视频一区二区| 美女脱内裤让男人舔精品视频 | 亚洲成人久久爱视频| 国产精品一区二区在线观看99 | 亚洲国产精品国产精品| 中文字幕av成人在线电影| 国产高清有码在线观看视频| 乱码一卡2卡4卡精品| 寂寞人妻少妇视频99o| 国产一区二区激情短视频| 99久国产av精品国产电影| 观看免费一级毛片| 国产精品乱码一区二三区的特点| 深夜a级毛片| 最近视频中文字幕2019在线8| 男人和女人高潮做爰伦理| 国产高清三级在线| 小说图片视频综合网站| www.色视频.com| 女人十人毛片免费观看3o分钟| 99久国产av精品| 免费人成在线观看视频色| 少妇人妻一区二区三区视频| 久久久久九九精品影院| 亚洲三级黄色毛片| 深夜a级毛片| 久久午夜亚洲精品久久| 特级一级黄色大片| 深夜精品福利| 性欧美人与动物交配| av福利片在线观看| 噜噜噜噜噜久久久久久91| 亚洲国产精品国产精品| 在线观看av片永久免费下载| 久久韩国三级中文字幕| 免费人成在线观看视频色| eeuss影院久久| 欧美色视频一区免费| 久久精品国产亚洲av涩爱 | 老女人水多毛片| 亚洲欧美精品专区久久| 一区二区三区免费毛片| 人人妻人人看人人澡| 久久这里只有精品中国| 午夜激情欧美在线| av天堂中文字幕网| 亚洲无线在线观看| 亚洲国产精品国产精品| 2022亚洲国产成人精品| 性色avwww在线观看| 欧美日本视频| 99热网站在线观看| 精品无人区乱码1区二区| 在线a可以看的网站| 国产精品爽爽va在线观看网站| 精品99又大又爽又粗少妇毛片| 12—13女人毛片做爰片一| 日本免费a在线| 午夜精品国产一区二区电影 | 1000部很黄的大片| 搡老妇女老女人老熟妇| 国产日韩欧美在线精品| 国产三级在线视频| 午夜免费激情av| 国产成人一区二区在线| 国产精品一及| 青春草国产在线视频 | 日日撸夜夜添| 国产成人aa在线观看| 国产精品乱码一区二三区的特点| 久久久久久久久久黄片| 可以在线观看的亚洲视频| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品久久久久久精品电影| 国产真实乱freesex| 久久久久久久久中文| 亚洲美女视频黄频| 99久久精品国产国产毛片| 日韩一区二区视频免费看| av免费观看日本| 亚洲最大成人手机在线| 中文资源天堂在线| 一区福利在线观看| 男人和女人高潮做爰伦理| 免费av观看视频| 男女做爰动态图高潮gif福利片| 亚洲婷婷狠狠爱综合网| 大又大粗又爽又黄少妇毛片口| 欧美日韩在线观看h| 最后的刺客免费高清国语| 成人一区二区视频在线观看| 亚洲国产精品sss在线观看| 性色avwww在线观看| kizo精华| 亚洲综合色惰| 可以在线观看的亚洲视频| 日本熟妇午夜| 国产亚洲91精品色在线| 麻豆av噜噜一区二区三区| 国产精品一区二区在线观看99 | 免费看av在线观看网站| .国产精品久久| 久久久久久国产a免费观看| 91精品国产九色| 寂寞人妻少妇视频99o| 听说在线观看完整版免费高清| 亚洲久久久久久中文字幕| 身体一侧抽搐| 卡戴珊不雅视频在线播放| a级一级毛片免费在线观看| 亚洲真实伦在线观看| 卡戴珊不雅视频在线播放| 亚洲在线自拍视频| 91午夜精品亚洲一区二区三区| 国产高清有码在线观看视频| 午夜久久久久精精品| 熟妇人妻久久中文字幕3abv| 亚洲欧洲国产日韩| 国产精华一区二区三区| 久久久久免费精品人妻一区二区| 亚洲欧美成人综合另类久久久 | 日韩欧美精品免费久久| 亚洲丝袜综合中文字幕| 美女大奶头视频| 亚洲最大成人手机在线| 99久久精品热视频| 如何舔出高潮| 免费看a级黄色片| 亚洲五月天丁香| 免费观看精品视频网站| 国产极品天堂在线| 免费搜索国产男女视频| 国产色婷婷99| 五月伊人婷婷丁香| 久久国内精品自在自线图片| 国产在线男女| 成人国产麻豆网| 精品欧美国产一区二区三| 中文字幕av在线有码专区| 黄片无遮挡物在线观看| 亚洲国产精品成人综合色| 久久久久久久亚洲中文字幕| 国产av在哪里看| 97热精品久久久久久| 99国产精品一区二区蜜桃av| 99久久人妻综合| 国产三级中文精品| 天天躁日日操中文字幕| 精品久久久久久成人av| 婷婷亚洲欧美| 久久久精品94久久精品| 三级毛片av免费| 久久久久免费精品人妻一区二区| 丰满人妻一区二区三区视频av| 韩国av在线不卡| 国产熟女欧美一区二区| 超碰av人人做人人爽久久| 国产精品麻豆人妻色哟哟久久 | 免费黄网站久久成人精品| 日韩精品青青久久久久久| 一本久久中文字幕| 国产伦一二天堂av在线观看| 亚洲熟妇中文字幕五十中出| 一卡2卡三卡四卡精品乱码亚洲| 欧美又色又爽又黄视频| 午夜精品在线福利| 国产白丝娇喘喷水9色精品| 久久久精品欧美日韩精品| 国产在线精品亚洲第一网站| eeuss影院久久| 非洲黑人性xxxx精品又粗又长| 在线a可以看的网站| 免费观看人在逋| 国产av麻豆久久久久久久| 国产成人91sexporn| 极品教师在线视频| 此物有八面人人有两片| 国内精品宾馆在线| 三级经典国产精品| 国产黄色小视频在线观看| 日韩大尺度精品在线看网址| 日韩制服骚丝袜av| 99久国产av精品| 国产精品福利在线免费观看| 国产成人aa在线观看| 欧美日韩一区二区视频在线观看视频在线 | 小蜜桃在线观看免费完整版高清| 久久久久久久久大av| 啦啦啦啦在线视频资源| 国产女主播在线喷水免费视频网站 | 国产视频内射| 寂寞人妻少妇视频99o| 久久久久九九精品影院| 欧美人与善性xxx| 天堂√8在线中文| 国产精品麻豆人妻色哟哟久久 | 嘟嘟电影网在线观看| 亚洲精品日韩在线中文字幕 | 九九在线视频观看精品| 卡戴珊不雅视频在线播放| 国产伦在线观看视频一区| 国产黄a三级三级三级人| 级片在线观看| 日韩欧美一区二区三区在线观看| 久久草成人影院| 又粗又爽又猛毛片免费看| 国产淫片久久久久久久久| 日本-黄色视频高清免费观看| 欧美成人a在线观看| 国产精品一区二区三区四区免费观看| 美女xxoo啪啪120秒动态图| 欧美最黄视频在线播放免费| 五月玫瑰六月丁香| 男女那种视频在线观看| 色综合亚洲欧美另类图片| 一级av片app| 国产乱人视频| 国产精品一区www在线观看| 日本黄大片高清| 99久国产av精品国产电影| 插逼视频在线观看| 欧美xxxx黑人xx丫x性爽| 国产精品.久久久| 国产黄色小视频在线观看| 国产伦在线观看视频一区| a级毛片a级免费在线| 人人妻人人看人人澡| 91久久精品国产一区二区三区| 国内精品久久久久精免费| 免费不卡的大黄色大毛片视频在线观看 | 国语自产精品视频在线第100页| 天美传媒精品一区二区| 久久亚洲国产成人精品v| 91久久精品国产一区二区三区| 青春草视频在线免费观看| 亚洲国产欧美在线一区| 日韩欧美国产在线观看| 久久精品夜夜夜夜夜久久蜜豆| 亚洲av不卡在线观看| 91av网一区二区| 久久久国产成人精品二区| av在线观看视频网站免费| 国产视频内射| 人人妻人人澡欧美一区二区| 久久草成人影院| 国产精品福利在线免费观看| 国产视频内射| 国产精品福利在线免费观看| 麻豆av噜噜一区二区三区| 国产av在哪里看| 青春草国产在线视频 | 久久久久久国产a免费观看| 一级毛片aaaaaa免费看小| 国国产精品蜜臀av免费| kizo精华| 欧美性感艳星| 亚洲无线观看免费| 我要搜黄色片| 日本熟妇午夜| 毛片一级片免费看久久久久| 夫妻性生交免费视频一级片| 亚洲婷婷狠狠爱综合网| 久久久久久久久久久免费av| 久久韩国三级中文字幕| 亚洲成人av在线免费| 日韩欧美精品免费久久| 九九在线视频观看精品| 男插女下体视频免费在线播放| 男女视频在线观看网站免费| 国产精品.久久久| 亚洲高清免费不卡视频| 国产老妇女一区| 禁无遮挡网站| 亚洲中文字幕一区二区三区有码在线看| 精品欧美国产一区二区三| 国产高潮美女av| 一进一出抽搐动态| 欧美又色又爽又黄视频| 麻豆乱淫一区二区| 亚洲精品成人久久久久久| 成熟少妇高潮喷水视频| eeuss影院久久| 女的被弄到高潮叫床怎么办| 在线观看一区二区三区| 成熟少妇高潮喷水视频| 午夜a级毛片| 精品久久久久久久久久久久久| 99热网站在线观看| 日本一本二区三区精品| 99热只有精品国产|