• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度確定性策略梯度算法的四旋翼控制器自主導(dǎo)航方法研究

    2022-11-27 10:36:40闞亞雄趙飛
    機(jī)電工程技術(shù) 2022年10期
    關(guān)鍵詞:確定性旋翼障礙物

    闞亞雄,趙飛

    (1.鎮(zhèn)江高等專(zhuān)科學(xué)校現(xiàn)代裝備制造學(xué)院,江蘇鎮(zhèn)江 212028;2.鎮(zhèn)江高等專(zhuān)科學(xué)校電氣與信息學(xué)院,江蘇鎮(zhèn)江 212028)

    0 引言

    四旋翼無(wú)人機(jī)(Quadrotor UAV)作為一種復(fù)雜的無(wú)人技術(shù)設(shè)備,相對(duì)于常見(jiàn)的固定翼飛行器四旋翼無(wú)人機(jī)具有重量尺寸小、機(jī)動(dòng)性能高和智能集成化程度高等優(yōu)點(diǎn),具備可以垂直起降在多種地形地貌地區(qū),目前已經(jīng)在軍事、搜救、運(yùn)輸?shù)刃袠I(yè)得到了廣泛的應(yīng)用[1]。

    目前國(guó)內(nèi)外關(guān)于四旋翼無(wú)人機(jī)自主導(dǎo)航相關(guān)控制算法的研究如下:目前諸多研究者將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合,作為無(wú)人機(jī)器人系統(tǒng)的路徑規(guī)劃算法,得到了很大成就,使得無(wú)人機(jī)器人系統(tǒng)具備了面對(duì)復(fù)雜環(huán)境下快速反應(yīng)快速變化導(dǎo)航策略的能力。王雷等[2]提出中小型無(wú)人機(jī)采用改進(jìn)的自抗擾控制算法作為無(wú)人機(jī)自主飛行姿態(tài)解耦控制器的核心算法,計(jì)算機(jī)模擬實(shí)驗(yàn)證明了該算法在二維模擬仿真環(huán)境下具有可行性,在環(huán)境擾動(dòng)干擾大小不確定或者環(huán)境干擾幅度較大情況下具有一定抗干擾優(yōu)勢(shì)。ZHOU L H等[3]提出采用串級(jí)PID算法作為四旋翼無(wú)人機(jī)二維軌跡姿態(tài)跟蹤控制方法,控制系統(tǒng)的輸入為期望的飛行二維軌跡和期望速度,通過(guò)串級(jí)PID算法輸出四旋翼無(wú)人機(jī)的俯仰通道、滾轉(zhuǎn)通道和偏航通道加速度的方法實(shí)現(xiàn)四旋翼無(wú)人機(jī)對(duì)復(fù)雜任務(wù)軌跡的軌跡跟蹤。萬(wàn)惠、陳運(yùn)劍等[4-5]討論的DDPG算法具有多為特征提取功能,同時(shí)在未知環(huán)境下的依然可以保證避碰策略的準(zhǔn)確性。張仕充、高敬鵬等[6-7]中優(yōu)化了傳統(tǒng)DDPG算法的訓(xùn)練速度,提高了算法中有關(guān)數(shù)據(jù)學(xué)習(xí)的效率。

    基于上述文獻(xiàn)啟發(fā),本文提出了一種基于改進(jìn)的深度確定性策略梯度算法的四旋翼控制器設(shè)計(jì)方法,闡述了基于改進(jìn)的深度確定性策略梯度算法的四旋翼無(wú)人機(jī)自主飛行控制器的整體框架,完善了算法中關(guān)于動(dòng)作探索策略的設(shè)計(jì)并改進(jìn)了與人工勢(shì)場(chǎng)法相結(jié)合的獎(jiǎng)勵(lì)函數(shù),最后在軟件中模擬了四旋翼無(wú)人機(jī)自主導(dǎo)航仿真和位置跟蹤仿真,實(shí)驗(yàn)中實(shí)現(xiàn)了四旋翼無(wú)人機(jī)在二維和三維環(huán)境下的自主導(dǎo)航路徑規(guī)劃、跟蹤和避障功能。

    1 四旋翼無(wú)人機(jī)經(jīng)典控制模型

    根據(jù)相關(guān)資料[2],由經(jīng)典N(xiāo)ewton-Euler方程對(duì)四旋翼無(wú)人機(jī)建立六自由度的動(dòng)力學(xué)模型為:

    其中四旋翼無(wú)人機(jī)在空間中的位置坐標(biāo)為( x,y,z);φ為滾轉(zhuǎn)角;θ為俯仰角;ψ為偏航角;l為四旋翼無(wú)人機(jī)旋翼末端到質(zhì)心的直線(xiàn)距離;m為四旋翼無(wú)人機(jī)負(fù)載總質(zhì)量;Ii為轉(zhuǎn)動(dòng)慣量;U1、U2、U3、U4為計(jì)算得到的中間控制輸入,定義為:

    2 四旋翼無(wú)人機(jī)控制器自主導(dǎo)航算法設(shè)計(jì)

    2.1 深度確定性策略梯度算法DDPG的基本流程

    深度確定性策略梯度算法DDPG由深度神經(jīng)網(wǎng)絡(luò)和策略梯度算法DPG融合而成,并根據(jù)表演家-評(píng)論家算法提出了一個(gè)機(jī)器強(qiáng)化學(xué)習(xí)算法[8-9]。對(duì)于四旋翼控制器自主導(dǎo)航問(wèn)題,主要目標(biāo)是找到合適的自主導(dǎo)航算法以快速且穩(wěn)定的方式將四旋翼從初始狀態(tài)驅(qū)動(dòng)到目標(biāo)位置并懸停其上。在以上自主導(dǎo)航過(guò)程中需要自主導(dǎo)航算法不斷連續(xù)處理高維數(shù)據(jù),深度確定性策略梯度算法相較于傳統(tǒng)智能算法可以處理高維且連續(xù)的動(dòng)作,解決了其他智能算法只能處理低維度離散數(shù)據(jù)的不足。傳統(tǒng)深度確定性策略梯度算法DDPG迭代步驟如下:

    STEP1:算法將首先初始化表演家策略在線(xiàn)網(wǎng)絡(luò)μ(s,θμ)和評(píng)論家評(píng)價(jià)網(wǎng)絡(luò)Q(s,a;θQ),初始化參數(shù)θμ和θQ。初始化目標(biāo)網(wǎng)絡(luò)種的Q′:θQ‘←θQ和μ′:θμ‘←θμ,同時(shí)初始化經(jīng)驗(yàn)池R。表演家策略在線(xiàn)網(wǎng)絡(luò)根據(jù)策略模式選取一個(gè)動(dòng)作at。其中行為策略根據(jù)當(dāng)前在線(xiàn)策略網(wǎng)絡(luò)μ和隨機(jī)噪聲N生成的隨機(jī)過(guò)程,并從該隨機(jī)過(guò)程進(jìn)行采樣獲得動(dòng)作值at=μ(st|θQ)+Nt。

    STEP2:上一步中的輸出動(dòng)作at在被系統(tǒng)執(zhí)行后返回獎(jiǎng)勵(lì)回報(bào)參數(shù)rt和下一個(gè)新的狀態(tài)st+1。

    STEP3:將系統(tǒng)狀態(tài)量、輸出動(dòng)作、反饋獎(jiǎng)勵(lì)函數(shù)和下一步新的狀態(tài)量(st,at,rt,st+1)儲(chǔ)存在經(jīng)驗(yàn)池R中,隨后計(jì)算目標(biāo)Q值targetQ=ri+γQ′(si+1,μ′(si+1|θμ)|θQ′)。通 過(guò)損失 函數(shù)的更新評(píng)論家網(wǎng)絡(luò)的梯度,其中Q的損失函數(shù)使用均方差誤差:

    STEP4:更新在線(xiàn)價(jià)值網(wǎng)絡(luò)Q及其參數(shù)θQ。更新目標(biāo)網(wǎng)絡(luò)使用隨機(jī)梯度下降算法更新表演家策略在線(xiàn)網(wǎng)絡(luò)參數(shù)θμ’,反復(fù)迭代計(jì)算更新評(píng)論家評(píng)價(jià)網(wǎng)絡(luò)θQ‘。

    如上述算法流程所示,深度確定性策略梯度算法DDPG在網(wǎng)絡(luò)結(jié)構(gòu)上和表演家-評(píng)論家算法基本相同,分為表演家網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)。表演家網(wǎng)絡(luò)的參數(shù)θμ可以理解為四旋翼無(wú)人機(jī)從位姿或位置狀態(tài)到控制旋翼電機(jī)轉(zhuǎn)速動(dòng)作的映射。鏈?zhǔn)礁路绞綖椋?/p>

    式(4)中?θμJ為 策 略 梯 度,評(píng) 論 家 網(wǎng) 絡(luò) 的 參 數(shù) 為Q(si,ai;θQ),采用貝爾曼方程求解。此外,DDPG算法中通常還將平方差用損失函數(shù)L表示,損失函數(shù)L為:

    式中:ri為構(gòu)造回報(bào)參數(shù);γ為折扣因子,最后式通過(guò)將L降低至最小的方式,更新評(píng)論家網(wǎng)絡(luò)參數(shù)Q;表演家和評(píng)論家網(wǎng)絡(luò)的更新版本分別為μ‘(s,θμ’)和Q‘(s,a;θQ‘)用于計(jì)算更新目標(biāo)控制值。

    2.2 基于改進(jìn)后DDPG算法的四旋翼無(wú)人機(jī)自主飛行控制器設(shè)計(jì)

    圖1所示為本文基于改進(jìn)后DDPG算法的四旋翼無(wú)人機(jī)自主飛行控制器的整體框架圖。由圖1可知,控制器由兩部分組成,其中四旋翼無(wú)人機(jī)的仿真環(huán)境包括無(wú)人機(jī)的實(shí)時(shí)狀態(tài)量,包括無(wú)人機(jī)3個(gè)方向的軸加速度和角速度,以上狀態(tài)量由仿真環(huán)境輸入給策略網(wǎng)絡(luò)。而四旋翼無(wú)人機(jī)的4個(gè)旋翼上電機(jī)的轉(zhuǎn)速作為控制器反饋回?zé)o人機(jī)仿真環(huán)境的輸出量或動(dòng)作量以實(shí)時(shí)調(diào)節(jié)無(wú)人機(jī)的位姿及路徑。

    圖1 基于改進(jìn)后DDPG算法四旋翼無(wú)人機(jī)自主飛行控制器整體框架

    控制器另外一部分由兩個(gè)策略網(wǎng)絡(luò)構(gòu)成,分別為控制器表演家網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)??刂破鞯妮斎霠顟B(tài)量(3個(gè)方向的軸加速度和角速度)為s0,輸出(4個(gè)旋翼上電機(jī)的轉(zhuǎn)速)為a0;四旋翼無(wú)人機(jī)的旋翼電機(jī)按照控制的輸出轉(zhuǎn)速a0動(dòng)作后進(jìn)入下一步s1,并將動(dòng)作a0送回給控制器評(píng)論家網(wǎng)絡(luò)作為回報(bào)r0。然后控制器評(píng)論家網(wǎng)絡(luò)根據(jù)四旋翼無(wú)人機(jī)返回下一步中的狀態(tài)值s1和獎(jiǎng)勵(lì)值r1,更新旋翼電機(jī)的轉(zhuǎn)速,并運(yùn)用更新后的策略輸出新的動(dòng)作,重復(fù)上述過(guò)程直至四旋翼無(wú)人機(jī)最終達(dá)到控制目標(biāo)。然后在傳統(tǒng)DDPG算法的演算過(guò)程中,如果某些控制參數(shù)設(shè)計(jì)不當(dāng)或控制器中的預(yù)期控制目標(biāo)與系統(tǒng)實(shí)際狀態(tài)之間誤差過(guò)大會(huì)造成控制器策略網(wǎng)絡(luò)模型的復(fù)雜程度急劇提高,導(dǎo)致過(guò)擬合或欠擬合的現(xiàn)象。為了解決深度確定性梯度策略算法中可能存在的過(guò)擬合問(wèn)題,本文在傳統(tǒng)DDPG算法的基礎(chǔ)上做出了一些改進(jìn),包括如下設(shè)計(jì)。

    (1)動(dòng)作探索策略設(shè)計(jì)

    二十世紀(jì)初的中國(guó),社會(huì)矛盾重重,東方文化與西方文化交匯,傳統(tǒng)意識(shí)與現(xiàn)代觀念發(fā)生碰撞。在這樣特殊的社會(huì)背景下,木蘭除了從父母那里接受傳統(tǒng)儒道文化的浸染,還接受了現(xiàn)代教育,她從十幾歲時(shí)就開(kāi)始思考“男人與女人的分別這件事”,也經(jīng)常和父親談?wù)摗靶聲r(shí)代的女子”的話(huà)題,是一個(gè)“新式的女孩子”?!澳咎m有幾種女人所沒(méi)有的本領(lǐng):第一,她會(huì)吹口哨兒;第二,她會(huì)唱京戲;第三,她收集古董,而且能鑒賞?!盵1]60可見(jiàn),木蘭稱(chēng)得上是東西方文化交融下,集傳統(tǒng)美德與現(xiàn)代性于一身的奇女子。

    傳統(tǒng)DDPG算法中,系統(tǒng)在第一個(gè)狀態(tài)s0時(shí)更新旋翼電機(jī)的轉(zhuǎn)速a0后,送回初始獎(jiǎng)勵(lì)r0,控制器評(píng)論家網(wǎng)絡(luò)獲得送回后的獎(jiǎng)勵(lì)r0后,有一定概率會(huì)判斷當(dāng)前旋翼電機(jī)的轉(zhuǎn)速執(zhí)行動(dòng)作足夠好,而不去探索更匹配的轉(zhuǎn)速執(zhí)行策略來(lái)獲得更大的r0′,使得系統(tǒng)無(wú)法達(dá)到需要的控制目標(biāo)無(wú)法計(jì)算到全局最優(yōu)解,只能計(jì)算到局部最優(yōu)解。為了解決以上問(wèn)題,可以借用εgreedy(貪心算法)動(dòng)作探索策略解決。四旋翼無(wú)人機(jī)以ε的概率選擇一種旋翼電機(jī)的轉(zhuǎn)速動(dòng)作a,以1-ε的方式選擇平均獎(jiǎng)勵(lì)最高的旋翼電機(jī)的轉(zhuǎn)速動(dòng)作r0′,以這樣的方式得到概率最大的最佳旋翼電機(jī)的轉(zhuǎn)速動(dòng)作,通過(guò)完成最佳旋翼電機(jī)的轉(zhuǎn)速動(dòng)作四旋翼無(wú)人機(jī)就可以進(jìn)入下個(gè)狀態(tài)s1。本文設(shè)計(jì)的動(dòng)作探索策略為:

    其中,N為噪聲,是方差為σ的正態(tài)分布;k?[0,1)為εgreedy算法中的衰減系數(shù)。

    (2)與人工勢(shì)場(chǎng)法相結(jié)合的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

    當(dāng)四旋翼無(wú)人機(jī)自主飛行控制器在狀態(tài)s0下采取動(dòng)作a0時(shí),返回獎(jiǎng)勵(lì)函數(shù)r0的參數(shù)設(shè)計(jì)直接決定控制器的迭代計(jì)算時(shí)間和次數(shù)多少,并最終決定能否在迭代后最終求出全局最優(yōu)解。神經(jīng)元網(wǎng)絡(luò)根據(jù)四旋翼無(wú)人機(jī)的狀態(tài)值做出具體決策,環(huán)境根據(jù)送回的獎(jiǎng)勵(lì)值更新網(wǎng)絡(luò)參數(shù),使控制器評(píng)論家網(wǎng)絡(luò)在下個(gè)狀態(tài)s1計(jì)算旋翼電機(jī)的轉(zhuǎn)速時(shí)能夠做出最匹配的決策。獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)如下:

    式中:d(t )為四旋翼無(wú)人機(jī)當(dāng)前時(shí)刻下距離控制目標(biāo)終點(diǎn)的實(shí)時(shí)距離;d( t-1)為四旋翼無(wú)人機(jī)上一個(gè)時(shí)刻距離控制目標(biāo)點(diǎn)的實(shí)時(shí)距離;do為四旋翼無(wú)人機(jī)是否碰撞到規(guī)劃路徑中障礙物的安全距離,當(dāng)安全距離小于零時(shí)代表四旋翼無(wú)人機(jī)已經(jīng)和障礙物發(fā)生碰撞,影響四旋翼無(wú)人機(jī)的飛行安全;dg為四旋翼無(wú)人機(jī)距離目標(biāo)終點(diǎn)的閾值,小于該值即認(rèn)為到達(dá)目標(biāo)終點(diǎn);dn為四旋翼無(wú)人機(jī)距離目標(biāo)終點(diǎn)的距離,當(dāng)四旋翼到達(dá)該范圍內(nèi)控制器將給予獎(jiǎng)勵(lì)+1,正向獎(jiǎng)勵(lì)可以促使四旋翼無(wú)人機(jī)更快到達(dá)目標(biāo)終點(diǎn)。當(dāng)機(jī)器人所處位置碰撞到障礙物時(shí),控制器將給予獎(jiǎng)勵(lì)-100,負(fù)向獎(jiǎng)勵(lì)可以促使四旋翼無(wú)人機(jī)更快避開(kāi)障礙物;當(dāng)四旋翼無(wú)人機(jī)懸停時(shí),則為-1的副獎(jiǎng)勵(lì);其他情況則為-2作為負(fù)獎(jiǎng)勵(lì),通過(guò)正負(fù)獎(jiǎng)勵(lì)的不同回報(bào)值來(lái)幫助四旋翼無(wú)人機(jī)最終靠近及到達(dá)目標(biāo)點(diǎn)。

    3 仿真結(jié)果與分析

    3.1 四旋翼實(shí)驗(yàn)環(huán)境建模

    為了驗(yàn)證基于改進(jìn)的深度確定性策略梯度算法的可行性,仿真環(huán)境采用柵格法進(jìn)行場(chǎng)景的二維及三維環(huán)境建模,在不同環(huán)境下進(jìn)行了經(jīng)典PID算法和改進(jìn)后深度確定性策略算法的對(duì)比實(shí)驗(yàn)。表1所示為本文選用小型四旋翼無(wú)人機(jī)動(dòng)力學(xué)模型相關(guān)參數(shù)。

    表1 模型參數(shù)以及仿真初始化參數(shù)

    仿真實(shí)驗(yàn)在Windows系統(tǒng)下運(yùn)行,系統(tǒng)采用Matlab2019b搭建四旋翼無(wú)人機(jī)的運(yùn)動(dòng)環(huán)境,該四旋翼無(wú)人機(jī)仿真使用M語(yǔ)言進(jìn)行編程。實(shí)驗(yàn)分為簡(jiǎn)單二維柵格地圖和三維地圖。仿真中涉及的基于改進(jìn)的深度確定性策略梯度DDPG算法仿真初始化參數(shù)如表2中所示。

    表2 算法仿真初始化參數(shù)

    3.2 仿真實(shí)驗(yàn)結(jié)果

    (1)二維環(huán)境仿真結(jié)果

    如圖2所示,本文采用Matlab2019b構(gòu)建大小在100×100的二維柵格地圖,柵格地圖中包括大小不一的二維方塊障礙物和圓形障礙物。目前地圖中只存在靜態(tài)障礙物,靜態(tài)障礙物占總面積的20%~30%。圖中起始點(diǎn)坐標(biāo)為(0,0),黑色方格表示障礙物,其余為安全可飛行區(qū)域。目標(biāo)點(diǎn)坐標(biāo)為(100,100)。圖2中紅色實(shí)心路線(xiàn)和黑色虛線(xiàn)路線(xiàn)分別為四旋翼無(wú)人機(jī)在經(jīng)典PID和改進(jìn)的深度確定性策略梯度算法迭代200次后計(jì)算所獲得的路徑,可以看出經(jīng)過(guò)改進(jìn)的深度確定性策略梯度算法在避開(kāi)障礙物前提下為從起點(diǎn)到目標(biāo)點(diǎn)的最短路徑。PID算法也可引導(dǎo)四旋翼無(wú)人機(jī)到達(dá)指定目標(biāo)地,不過(guò)PID算法所規(guī)劃路線(xiàn)與圓型障礙物發(fā)生碰撞,總體與改進(jìn)的深度確定性策略梯度算法規(guī)劃路線(xiàn)相比距離較長(zhǎng),且所規(guī)劃路線(xiàn)在(75,40)和(70,70)等計(jì)算點(diǎn)上需要四旋翼無(wú)人機(jī)做出較大機(jī)動(dòng)動(dòng)作改變航向,不利于四旋翼無(wú)人機(jī)保持飛行姿態(tài)的穩(wěn)定性。如圖2~3所示,說(shuō)明在二維仿真空間下,通過(guò)改進(jìn)的深度確定性策略梯度算法不斷迭代計(jì)算,可以讓四旋翼無(wú)人機(jī)能夠躲避二維空間中的不規(guī)則障礙物,并進(jìn)行良好的路徑規(guī)劃和航跡跟蹤。

    圖2 四旋翼無(wú)人機(jī)二維空間自主導(dǎo)航路徑

    圖3 四旋翼無(wú)人機(jī)自主飛行控制器算法迭代次數(shù)變化曲線(xiàn)

    (2)三維環(huán)境下仿真結(jié)果

    如圖4所示,本文采用Matlab2019b在三維環(huán)境下構(gòu)建的仿真環(huán)境設(shè)置為20 m×5 m×6 m的區(qū)域,在空間中依次布置7個(gè)的長(zhǎng)方體障礙物,這7個(gè)障礙物大小為1 m×4 m×5 m。在上述仿真環(huán)境下四旋翼無(wú)人機(jī)從起點(diǎn)(18,3,5)飛至終點(diǎn)(6,4,5)?;诟倪M(jìn)的深度確定性策略梯度算法的四旋翼無(wú)人機(jī)控制器仿真目標(biāo)是通過(guò)算法的不斷迭代計(jì)算出最優(yōu)自主導(dǎo)航路徑,全程避開(kāi)障礙物,到達(dá)目標(biāo)點(diǎn)區(qū)域,由于三維場(chǎng)景復(fù)雜,傳統(tǒng)PID算法已經(jīng)無(wú)法有效規(guī)劃導(dǎo)航路徑,三維環(huán)境下僅采用改進(jìn)的深度確定性策略梯度算法測(cè)試算法有效性。

    圖4 四旋翼無(wú)人機(jī)位置軌跡跟蹤曲線(xiàn)

    仿真實(shí)驗(yàn)開(kāi)始后,改進(jìn)的深度確定性策略梯度算法控制器的三維空間位置自主導(dǎo)航結(jié)果如圖5~6所示。由圖可以看出基于改進(jìn)的深度確定性策略梯度算法控制器計(jì)算出最優(yōu)導(dǎo)航路徑相較于起點(diǎn)到終點(diǎn)的理想路徑而言,路線(xiàn)更加平滑穩(wěn)定且對(duì)三維障礙物依舊有著良好的避障效果。跟蹤過(guò)程中,四旋翼無(wú)人機(jī)在X、Y、Z軸上的距離誤差不超過(guò)±0.5 m。

    圖5 四旋翼無(wú)人機(jī)位置軌跡跟蹤誤差曲線(xiàn)

    綜合考慮后可以得出結(jié)論:二維環(huán)境仿真下,改進(jìn)的深度確定性策略梯度算法相較于傳統(tǒng)PID算法提高了四旋翼的自主導(dǎo)航規(guī)劃路線(xiàn)能力,三維環(huán)境仿真下改進(jìn)的深度確定性策略梯度算法可以有效地實(shí)現(xiàn)較復(fù)雜三維真實(shí)飛行環(huán)境的自主導(dǎo)航和障礙物避障。

    4 結(jié)束語(yǔ)

    本文針對(duì)四旋翼無(wú)人機(jī)設(shè)計(jì)了一種改進(jìn)的深度確定性策略梯度算法,通過(guò)設(shè)計(jì)新的動(dòng)作探索策略并利用人工勢(shì)場(chǎng)法選擇更加有效的最優(yōu)動(dòng)作,保證了四旋翼無(wú)人機(jī)快速準(zhǔn)確識(shí)別最優(yōu)行動(dòng)方向。仿真四旋翼無(wú)人機(jī)在二維和三維空間內(nèi)被障礙物所阻擋從而降低自主飛行效率。仿真實(shí)驗(yàn)對(duì)比了傳統(tǒng)PID算法和改進(jìn)的深度確定性策略梯度算法,結(jié)果表明改進(jìn)的深度確定性策略梯度算法提高了四旋翼的自主導(dǎo)航規(guī)劃路線(xiàn)能力。后續(xù)將進(jìn)一步開(kāi)展所設(shè)計(jì)算法的改進(jìn)工作,繼續(xù)提高系統(tǒng)的響應(yīng)時(shí)間和魯棒性。

    猜你喜歡
    確定性旋翼障礙物
    論中國(guó)訓(xùn)詁學(xué)與經(jīng)典闡釋的確定性
    論法律解釋的確定性
    法律方法(2022年1期)2022-07-21 09:18:56
    含混還是明證:梅洛-龐蒂論確定性
    改進(jìn)型自抗擾四旋翼無(wú)人機(jī)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    大載重長(zhǎng)航時(shí)油動(dòng)多旋翼無(wú)人機(jī)
    高低翻越
    SelTrac?CBTC系統(tǒng)中非通信障礙物的設(shè)計(jì)和處理
    基于STM32的四旋翼飛行器的設(shè)計(jì)
    電子制作(2019年9期)2019-05-30 09:41:48
    四旋翼無(wú)人機(jī)動(dòng)態(tài)面控制
    法律確定性的統(tǒng)合理性根據(jù)與法治實(shí)施
    国产欧美日韩一区二区三| 黄频高清免费视频| 免费在线观看黄色视频的| 老司机午夜福利在线观看视频| 成年女人毛片免费观看观看9| av片东京热男人的天堂| 极品人妻少妇av视频| 国产国语露脸激情在线看| av福利片在线| bbb黄色大片| 亚洲第一欧美日韩一区二区三区| 国产成人啪精品午夜网站| 最新美女视频免费是黄的| 精品一区二区三区av网在线观看| 国产成人精品久久二区二区免费| 不卡av一区二区三区| 欧美不卡视频在线免费观看 | 最近最新免费中文字幕在线| 午夜免费激情av| 午夜福利成人在线免费观看| 久久久久国产精品人妻aⅴ院| 欧美av亚洲av综合av国产av| 男女下面插进去视频免费观看| 国产成人av教育| 国内精品久久久久精免费| 黄色成人免费大全| 国产精品久久久久久亚洲av鲁大| 成人三级黄色视频| 亚洲精品一区av在线观看| 国产真人三级小视频在线观看| 久久婷婷人人爽人人干人人爱 | 国产av一区在线观看免费| 国产在线精品亚洲第一网站| 精品卡一卡二卡四卡免费| 成人国产综合亚洲| 动漫黄色视频在线观看| 人人妻人人澡欧美一区二区 | 丰满人妻熟妇乱又伦精品不卡| 中文字幕久久专区| 精品国产超薄肉色丝袜足j| 精品一品国产午夜福利视频| 黄片大片在线免费观看| 欧美最黄视频在线播放免费| 99国产极品粉嫩在线观看| 色综合站精品国产| 国产精品秋霞免费鲁丝片| 日日摸夜夜添夜夜添小说| 老司机靠b影院| 欧美黑人欧美精品刺激| 无人区码免费观看不卡| 99久久99久久久精品蜜桃| 日韩精品青青久久久久久| 婷婷精品国产亚洲av在线| 久久亚洲精品不卡| 久久中文字幕一级| 欧美乱妇无乱码| xxx96com| 久久婷婷成人综合色麻豆| 一二三四社区在线视频社区8| 91国产中文字幕| 成人18禁高潮啪啪吃奶动态图| 黄色成人免费大全| 亚洲熟妇中文字幕五十中出| x7x7x7水蜜桃| 日韩国内少妇激情av| 国产av在哪里看| 女性生殖器流出的白浆| 人人妻人人澡人人看| 99国产精品99久久久久| 亚洲成人精品中文字幕电影| 亚洲aⅴ乱码一区二区在线播放 | av片东京热男人的天堂| 99国产精品一区二区三区| 涩涩av久久男人的天堂| 香蕉丝袜av| 看黄色毛片网站| 每晚都被弄得嗷嗷叫到高潮| 免费高清视频大片| 中文字幕人妻熟女乱码| 国产成+人综合+亚洲专区| 搡老岳熟女国产| 亚洲aⅴ乱码一区二区在线播放 | 多毛熟女@视频| 国产精品国产高清国产av| 欧美日本亚洲视频在线播放| 久久久久久久久久久久大奶| 精品国产乱子伦一区二区三区| 一区二区三区高清视频在线| 中文字幕另类日韩欧美亚洲嫩草| 亚洲精品国产色婷婷电影| 精品不卡国产一区二区三区| 国产精品九九99| 成年人黄色毛片网站| 脱女人内裤的视频| 国产亚洲精品第一综合不卡| 国产精品久久视频播放| 九色国产91popny在线| 久久久久久免费高清国产稀缺| www.999成人在线观看| 久久香蕉激情| 9191精品国产免费久久| 精品人妻在线不人妻| 这个男人来自地球电影免费观看| 国产1区2区3区精品| 久久久久亚洲av毛片大全| 国产精品av久久久久免费| 国产单亲对白刺激| 日本黄色视频三级网站网址| 一个人免费在线观看的高清视频| 成人三级做爰电影| 亚洲一区二区三区色噜噜| 国产亚洲欧美在线一区二区| 久久草成人影院| 免费无遮挡裸体视频| 亚洲视频免费观看视频| 国内精品久久久久久久电影| 国产精品国产高清国产av| 国产欧美日韩一区二区三| 制服诱惑二区| 又黄又粗又硬又大视频| 一进一出好大好爽视频| 在线观看免费日韩欧美大片| 91精品国产国语对白视频| 人人妻,人人澡人人爽秒播| 91av网站免费观看| 99久久精品国产亚洲精品| 熟妇人妻久久中文字幕3abv| 欧美午夜高清在线| 三级毛片av免费| 国产精品亚洲美女久久久| 亚洲精品久久成人aⅴ小说| 桃红色精品国产亚洲av| 国产亚洲精品一区二区www| 亚洲国产精品999在线| 母亲3免费完整高清在线观看| 制服人妻中文乱码| 精品人妻1区二区| 日本a在线网址| 免费久久久久久久精品成人欧美视频| 999精品在线视频| 99在线人妻在线中文字幕| 老司机午夜十八禁免费视频| 黄色成人免费大全| 欧美激情极品国产一区二区三区| 色综合欧美亚洲国产小说| 久热爱精品视频在线9| 国产成年人精品一区二区| 久久久精品国产亚洲av高清涩受| 美女国产高潮福利片在线看| 啦啦啦 在线观看视频| 麻豆国产av国片精品| 91在线观看av| 国产精品久久久人人做人人爽| 久久精品91无色码中文字幕| 午夜日韩欧美国产| 国产精品久久久人人做人人爽| 久9热在线精品视频| 黑人操中国人逼视频| 97人妻精品一区二区三区麻豆 | 国产国语露脸激情在线看| 超碰成人久久| 19禁男女啪啪无遮挡网站| 性欧美人与动物交配| 黄色成人免费大全| av在线天堂中文字幕| 亚洲国产中文字幕在线视频| 纯流量卡能插随身wifi吗| 精品国产乱码久久久久久男人| 午夜久久久在线观看| 国产午夜福利久久久久久| 欧美日本中文国产一区发布| 欧洲精品卡2卡3卡4卡5卡区| av天堂在线播放| 大型av网站在线播放| xxx96com| 日韩 欧美 亚洲 中文字幕| 桃红色精品国产亚洲av| 欧美国产精品va在线观看不卡| 国产私拍福利视频在线观看| 成人国语在线视频| 不卡一级毛片| 满18在线观看网站| 两个人看的免费小视频| 亚洲国产精品999在线| 大香蕉久久成人网| 两性午夜刺激爽爽歪歪视频在线观看 | 精品欧美一区二区三区在线| 欧美日韩黄片免| 国产av精品麻豆| 午夜福利成人在线免费观看| 亚洲全国av大片| 亚洲av第一区精品v没综合| 国产aⅴ精品一区二区三区波| 国产精品综合久久久久久久免费 | 久久人妻av系列| 国产精品影院久久| 国产精华一区二区三区| 老熟妇乱子伦视频在线观看| 亚洲av电影在线进入| 老司机午夜福利在线观看视频| 动漫黄色视频在线观看| 国产精品久久久久久人妻精品电影| 啦啦啦韩国在线观看视频| 亚洲欧美日韩无卡精品| 欧美日韩福利视频一区二区| 亚洲欧美日韩另类电影网站| 成在线人永久免费视频| 国产成人av激情在线播放| 国产男靠女视频免费网站| 99riav亚洲国产免费| 国产亚洲精品av在线| 久久精品国产亚洲av香蕉五月| 女警被强在线播放| 欧美成人午夜精品| 欧美成人性av电影在线观看| 一区二区三区国产精品乱码| 欧美黄色片欧美黄色片| 午夜久久久在线观看| 999精品在线视频| 啦啦啦 在线观看视频| 69精品国产乱码久久久| 级片在线观看| 亚洲成人免费电影在线观看| 麻豆成人av在线观看| 好看av亚洲va欧美ⅴa在| 精品国产亚洲在线| 国产精品久久久人人做人人爽| 满18在线观看网站| 女警被强在线播放| 最新美女视频免费是黄的| 老司机靠b影院| 国产一区二区激情短视频| 免费看十八禁软件| 久久草成人影院| 国产成+人综合+亚洲专区| 色综合亚洲欧美另类图片| 好男人在线观看高清免费视频 | 亚洲色图 男人天堂 中文字幕| 一级毛片精品| 国产亚洲av高清不卡| 少妇粗大呻吟视频| 美女高潮到喷水免费观看| 欧美日韩福利视频一区二区| 国产亚洲精品av在线| 人人妻,人人澡人人爽秒播| 精品免费久久久久久久清纯| 久久久国产成人免费| 黄色毛片三级朝国网站| 中文字幕色久视频| 国产成人啪精品午夜网站| 久久久久久免费高清国产稀缺| 久久中文看片网| 狠狠狠狠99中文字幕| 久久精品国产99精品国产亚洲性色 | 精品一品国产午夜福利视频| 国产av精品麻豆| 午夜福利成人在线免费观看| 久久精品国产综合久久久| 国产99白浆流出| 黄片小视频在线播放| 女生性感内裤真人,穿戴方法视频| 给我免费播放毛片高清在线观看| 女人精品久久久久毛片| 国产熟女xx| 999久久久国产精品视频| 老汉色av国产亚洲站长工具| 国产国语露脸激情在线看| 757午夜福利合集在线观看| 国产精品香港三级国产av潘金莲| 国产精品久久视频播放| 1024视频免费在线观看| 18禁黄网站禁片午夜丰满| 精品卡一卡二卡四卡免费| 在线视频色国产色| 午夜福利18| 叶爱在线成人免费视频播放| 桃色一区二区三区在线观看| √禁漫天堂资源中文www| 亚洲午夜理论影院| 国产精品99久久99久久久不卡| 国产一区在线观看成人免费| 亚洲,欧美精品.| 免费高清在线观看日韩| 香蕉国产在线看| 久久青草综合色| 黑人巨大精品欧美一区二区蜜桃| 精品国产乱码久久久久久男人| 极品人妻少妇av视频| 亚洲精品av麻豆狂野| 国产免费男女视频| 成人av一区二区三区在线看| 99热只有精品国产| 精品国产一区二区久久| 日本三级黄在线观看| 美女国产高潮福利片在线看| 亚洲国产高清在线一区二区三 | 午夜影院日韩av| 免费在线观看完整版高清| 国产色视频综合| 国产日韩一区二区三区精品不卡| 欧美乱色亚洲激情| 日韩欧美国产一区二区入口| 国产av一区二区精品久久| 俄罗斯特黄特色一大片| 亚洲免费av在线视频| 亚洲中文日韩欧美视频| 无遮挡黄片免费观看| 91av网站免费观看| 性欧美人与动物交配| 亚洲va日本ⅴa欧美va伊人久久| 村上凉子中文字幕在线| 免费观看人在逋| 中亚洲国语对白在线视频| 亚洲欧美精品综合久久99| 久久精品亚洲精品国产色婷小说| 日韩欧美三级三区| 亚洲九九香蕉| 这个男人来自地球电影免费观看| 亚洲精品国产一区二区精华液| 老熟妇乱子伦视频在线观看| 一区二区日韩欧美中文字幕| 欧美激情极品国产一区二区三区| 色精品久久人妻99蜜桃| 精品久久久久久久人妻蜜臀av | 国产欧美日韩精品亚洲av| 少妇的丰满在线观看| 久久午夜综合久久蜜桃| 嫩草影视91久久| 19禁男女啪啪无遮挡网站| 日本vs欧美在线观看视频| 欧美精品亚洲一区二区| 久久精品国产亚洲av香蕉五月| 视频在线观看一区二区三区| 十分钟在线观看高清视频www| 欧美黑人欧美精品刺激| 大型av网站在线播放| 99精品久久久久人妻精品| 色综合婷婷激情| 午夜影院日韩av| 亚洲欧美一区二区三区黑人| 少妇的丰满在线观看| 在线观看66精品国产| 国产精品一区二区三区四区久久 | 99在线人妻在线中文字幕| 一级片免费观看大全| 操出白浆在线播放| 日韩欧美国产在线观看| 午夜两性在线视频| 亚洲国产精品成人综合色| 精品高清国产在线一区| 少妇被粗大的猛进出69影院| 久久亚洲真实| 亚洲av成人一区二区三| 99re在线观看精品视频| 色播亚洲综合网| 精品国内亚洲2022精品成人| 在线视频色国产色| 丝袜人妻中文字幕| 热re99久久国产66热| 免费av毛片视频| 国产麻豆成人av免费视频| 一级a爱视频在线免费观看| 女性生殖器流出的白浆| 午夜久久久久精精品| 在线视频色国产色| 亚洲成av人片免费观看| 久久精品亚洲熟妇少妇任你| 欧美黄色片欧美黄色片| 亚洲成国产人片在线观看| 国产一区二区三区视频了| 51午夜福利影视在线观看| 午夜免费鲁丝| 久久久国产欧美日韩av| 亚洲人成电影观看| 9191精品国产免费久久| 日韩欧美三级三区| 久久久久国产一级毛片高清牌| 欧美日本亚洲视频在线播放| 亚洲欧美精品综合久久99| 美女午夜性视频免费| 成人三级做爰电影| 男女做爰动态图高潮gif福利片 | 美女免费视频网站| 人妻久久中文字幕网| 精品久久久久久,| 精品久久蜜臀av无| 日本 av在线| 亚洲第一电影网av| 男女床上黄色一级片免费看| 黄色毛片三级朝国网站| 俄罗斯特黄特色一大片| 欧美激情久久久久久爽电影 | 午夜视频精品福利| 午夜精品久久久久久毛片777| 久久婷婷成人综合色麻豆| 最好的美女福利视频网| 最新在线观看一区二区三区| 国产在线观看jvid| 国内久久婷婷六月综合欲色啪| 少妇被粗大的猛进出69影院| 91老司机精品| 亚洲无线在线观看| 久久精品亚洲精品国产色婷小说| 亚洲av第一区精品v没综合| 亚洲国产精品合色在线| 亚洲国产欧美一区二区综合| 久久精品91蜜桃| 国产色视频综合| 99久久久亚洲精品蜜臀av| 在线观看免费午夜福利视频| av中文乱码字幕在线| 夜夜夜夜夜久久久久| 亚洲国产毛片av蜜桃av| 国产成人啪精品午夜网站| 欧美午夜高清在线| 国产激情欧美一区二区| 黄色视频,在线免费观看| 日韩国内少妇激情av| 99国产精品一区二区蜜桃av| 精品少妇一区二区三区视频日本电影| 欧美色视频一区免费| 91字幕亚洲| 久久久久久亚洲精品国产蜜桃av| 99re在线观看精品视频| av天堂久久9| 一二三四社区在线视频社区8| 免费一级毛片在线播放高清视频 | 欧美日韩精品网址| 成年人黄色毛片网站| 亚洲专区中文字幕在线| 少妇的丰满在线观看| 男女下面进入的视频免费午夜 | 亚洲国产欧美一区二区综合| 色婷婷久久久亚洲欧美| 十八禁人妻一区二区| 精品国产亚洲在线| 美女 人体艺术 gogo| 亚洲美女黄片视频| 欧美中文综合在线视频| 88av欧美| 黑人操中国人逼视频| 日日干狠狠操夜夜爽| 国产乱人伦免费视频| 国产精华一区二区三区| 91字幕亚洲| 久久精品国产99精品国产亚洲性色 | 国产91精品成人一区二区三区| 国产在线精品亚洲第一网站| 亚洲av电影在线进入| 99国产精品一区二区三区| 久久精品91无色码中文字幕| 成人av一区二区三区在线看| 国产精品亚洲av一区麻豆| 国产主播在线观看一区二区| 黄色a级毛片大全视频| 国产精品日韩av在线免费观看 | 嫁个100分男人电影在线观看| 国产成人欧美| av片东京热男人的天堂| 国产av一区二区精品久久| 夜夜躁狠狠躁天天躁| 变态另类丝袜制服| 欧美绝顶高潮抽搐喷水| 在线观看午夜福利视频| 午夜福利高清视频| 色综合欧美亚洲国产小说| 免费av毛片视频| 窝窝影院91人妻| 国产精品av久久久久免费| 亚洲色图av天堂| 午夜精品在线福利| 涩涩av久久男人的天堂| 色尼玛亚洲综合影院| 免费高清视频大片| 老司机深夜福利视频在线观看| 国产精品 国内视频| 国产成人欧美| 久久草成人影院| 18禁国产床啪视频网站| 国产亚洲精品综合一区在线观看 | 亚洲性夜色夜夜综合| 成年版毛片免费区| 男人操女人黄网站| 国产亚洲精品第一综合不卡| 国产高清videossex| 长腿黑丝高跟| 国产免费男女视频| 在线观看免费日韩欧美大片| 精品日产1卡2卡| 久久天堂一区二区三区四区| 一区二区三区国产精品乱码| 久久亚洲真实| 午夜精品国产一区二区电影| 91麻豆av在线| 亚洲av成人av| 欧美性长视频在线观看| 午夜精品在线福利| 亚洲国产毛片av蜜桃av| 黄片播放在线免费| 亚洲性夜色夜夜综合| av免费在线观看网站| 欧美日韩一级在线毛片| 看片在线看免费视频| 久久精品国产亚洲av高清一级| 中文亚洲av片在线观看爽| 久久这里只有精品19| 在线观看一区二区三区| 窝窝影院91人妻| 日日干狠狠操夜夜爽| 999久久久精品免费观看国产| 国产区一区二久久| 亚洲,欧美精品.| 欧美日本视频| 18美女黄网站色大片免费观看| 99久久久亚洲精品蜜臀av| 久久草成人影院| 99精品欧美一区二区三区四区| 国产亚洲精品一区二区www| 久久久久国内视频| 91字幕亚洲| 亚洲国产中文字幕在线视频| av有码第一页| 美女国产高潮福利片在线看| 中文字幕人妻熟女乱码| 男女下面进入的视频免费午夜 | 亚洲va日本ⅴa欧美va伊人久久| 一区二区三区精品91| 免费看a级黄色片| 国产av一区在线观看免费| 久久久久久久午夜电影| 国产精品1区2区在线观看.| 精品欧美国产一区二区三| 国产在线观看jvid| 免费观看精品视频网站| 男女下面插进去视频免费观看| 每晚都被弄得嗷嗷叫到高潮| 一卡2卡三卡四卡精品乱码亚洲| 变态另类丝袜制服| 免费无遮挡裸体视频| 可以在线观看的亚洲视频| 中文字幕人成人乱码亚洲影| 窝窝影院91人妻| 亚洲黑人精品在线| www.自偷自拍.com| 亚洲欧洲精品一区二区精品久久久| 久久精品人人爽人人爽视色| av免费在线观看网站| 精品无人区乱码1区二区| 免费av毛片视频| 91九色精品人成在线观看| 男人的好看免费观看在线视频 | 欧美+亚洲+日韩+国产| 日本在线视频免费播放| 日韩视频一区二区在线观看| 亚洲欧美日韩另类电影网站| 国产97色在线日韩免费| 国产精品一区二区三区四区久久 | 国产99白浆流出| 大码成人一级视频| 欧美日本中文国产一区发布| 9热在线视频观看99| 中文字幕人妻熟女乱码| 黄色女人牲交| 欧美日本视频| 欧美成狂野欧美在线观看| 巨乳人妻的诱惑在线观看| 日日爽夜夜爽网站| 18美女黄网站色大片免费观看| 女人高潮潮喷娇喘18禁视频| 淫妇啪啪啪对白视频| 91av网站免费观看| 黄色成人免费大全| 好男人在线观看高清免费视频 | 亚洲男人的天堂狠狠| 欧美av亚洲av综合av国产av| 午夜久久久在线观看| 又黄又粗又硬又大视频| 19禁男女啪啪无遮挡网站| 不卡av一区二区三区| 亚洲无线在线观看| 色老头精品视频在线观看| a级毛片在线看网站| 国产一区二区三区视频了| 一边摸一边抽搐一进一小说| 午夜精品国产一区二区电影| 亚洲欧美精品综合久久99| 日韩欧美三级三区| av片东京热男人的天堂| 一进一出好大好爽视频| 丝袜美足系列| 久久天躁狠狠躁夜夜2o2o| 在线观看66精品国产| 精品国产一区二区久久| 久久亚洲精品不卡| 精品国产乱子伦一区二区三区| 亚洲九九香蕉| 欧美精品亚洲一区二区| 中文字幕人妻熟女乱码| 曰老女人黄片| 国产成人影院久久av| 神马国产精品三级电影在线观看 | 亚洲一码二码三码区别大吗| 久久久久久免费高清国产稀缺| 国产精品美女特级片免费视频播放器 | 午夜福利高清视频| 色综合欧美亚洲国产小说| 99热只有精品国产| 成人永久免费在线观看视频| 亚洲国产欧美一区二区综合| 日韩免费av在线播放| 亚洲av电影不卡..在线观看| 亚洲精品美女久久久久99蜜臀| 亚洲中文日韩欧美视频| 亚洲五月天丁香| 夜夜看夜夜爽夜夜摸|