• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度確定性策略梯度算法的四旋翼控制器自主導(dǎo)航方法研究

    2022-11-27 10:36:40闞亞雄趙飛
    機(jī)電工程技術(shù) 2022年10期
    關(guān)鍵詞:確定性旋翼障礙物

    闞亞雄,趙飛

    (1.鎮(zhèn)江高等專(zhuān)科學(xué)校現(xiàn)代裝備制造學(xué)院,江蘇鎮(zhèn)江 212028;2.鎮(zhèn)江高等專(zhuān)科學(xué)校電氣與信息學(xué)院,江蘇鎮(zhèn)江 212028)

    0 引言

    四旋翼無(wú)人機(jī)(Quadrotor UAV)作為一種復(fù)雜的無(wú)人技術(shù)設(shè)備,相對(duì)于常見(jiàn)的固定翼飛行器四旋翼無(wú)人機(jī)具有重量尺寸小、機(jī)動(dòng)性能高和智能集成化程度高等優(yōu)點(diǎn),具備可以垂直起降在多種地形地貌地區(qū),目前已經(jīng)在軍事、搜救、運(yùn)輸?shù)刃袠I(yè)得到了廣泛的應(yīng)用[1]。

    目前國(guó)內(nèi)外關(guān)于四旋翼無(wú)人機(jī)自主導(dǎo)航相關(guān)控制算法的研究如下:目前諸多研究者將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合,作為無(wú)人機(jī)器人系統(tǒng)的路徑規(guī)劃算法,得到了很大成就,使得無(wú)人機(jī)器人系統(tǒng)具備了面對(duì)復(fù)雜環(huán)境下快速反應(yīng)快速變化導(dǎo)航策略的能力。王雷等[2]提出中小型無(wú)人機(jī)采用改進(jìn)的自抗擾控制算法作為無(wú)人機(jī)自主飛行姿態(tài)解耦控制器的核心算法,計(jì)算機(jī)模擬實(shí)驗(yàn)證明了該算法在二維模擬仿真環(huán)境下具有可行性,在環(huán)境擾動(dòng)干擾大小不確定或者環(huán)境干擾幅度較大情況下具有一定抗干擾優(yōu)勢(shì)。ZHOU L H等[3]提出采用串級(jí)PID算法作為四旋翼無(wú)人機(jī)二維軌跡姿態(tài)跟蹤控制方法,控制系統(tǒng)的輸入為期望的飛行二維軌跡和期望速度,通過(guò)串級(jí)PID算法輸出四旋翼無(wú)人機(jī)的俯仰通道、滾轉(zhuǎn)通道和偏航通道加速度的方法實(shí)現(xiàn)四旋翼無(wú)人機(jī)對(duì)復(fù)雜任務(wù)軌跡的軌跡跟蹤。萬(wàn)惠、陳運(yùn)劍等[4-5]討論的DDPG算法具有多為特征提取功能,同時(shí)在未知環(huán)境下的依然可以保證避碰策略的準(zhǔn)確性。張仕充、高敬鵬等[6-7]中優(yōu)化了傳統(tǒng)DDPG算法的訓(xùn)練速度,提高了算法中有關(guān)數(shù)據(jù)學(xué)習(xí)的效率。

    基于上述文獻(xiàn)啟發(fā),本文提出了一種基于改進(jìn)的深度確定性策略梯度算法的四旋翼控制器設(shè)計(jì)方法,闡述了基于改進(jìn)的深度確定性策略梯度算法的四旋翼無(wú)人機(jī)自主飛行控制器的整體框架,完善了算法中關(guān)于動(dòng)作探索策略的設(shè)計(jì)并改進(jìn)了與人工勢(shì)場(chǎng)法相結(jié)合的獎(jiǎng)勵(lì)函數(shù),最后在軟件中模擬了四旋翼無(wú)人機(jī)自主導(dǎo)航仿真和位置跟蹤仿真,實(shí)驗(yàn)中實(shí)現(xiàn)了四旋翼無(wú)人機(jī)在二維和三維環(huán)境下的自主導(dǎo)航路徑規(guī)劃、跟蹤和避障功能。

    1 四旋翼無(wú)人機(jī)經(jīng)典控制模型

    根據(jù)相關(guān)資料[2],由經(jīng)典N(xiāo)ewton-Euler方程對(duì)四旋翼無(wú)人機(jī)建立六自由度的動(dòng)力學(xué)模型為:

    其中四旋翼無(wú)人機(jī)在空間中的位置坐標(biāo)為( x,y,z);φ為滾轉(zhuǎn)角;θ為俯仰角;ψ為偏航角;l為四旋翼無(wú)人機(jī)旋翼末端到質(zhì)心的直線(xiàn)距離;m為四旋翼無(wú)人機(jī)負(fù)載總質(zhì)量;Ii為轉(zhuǎn)動(dòng)慣量;U1、U2、U3、U4為計(jì)算得到的中間控制輸入,定義為:

    2 四旋翼無(wú)人機(jī)控制器自主導(dǎo)航算法設(shè)計(jì)

    2.1 深度確定性策略梯度算法DDPG的基本流程

    深度確定性策略梯度算法DDPG由深度神經(jīng)網(wǎng)絡(luò)和策略梯度算法DPG融合而成,并根據(jù)表演家-評(píng)論家算法提出了一個(gè)機(jī)器強(qiáng)化學(xué)習(xí)算法[8-9]。對(duì)于四旋翼控制器自主導(dǎo)航問(wèn)題,主要目標(biāo)是找到合適的自主導(dǎo)航算法以快速且穩(wěn)定的方式將四旋翼從初始狀態(tài)驅(qū)動(dòng)到目標(biāo)位置并懸停其上。在以上自主導(dǎo)航過(guò)程中需要自主導(dǎo)航算法不斷連續(xù)處理高維數(shù)據(jù),深度確定性策略梯度算法相較于傳統(tǒng)智能算法可以處理高維且連續(xù)的動(dòng)作,解決了其他智能算法只能處理低維度離散數(shù)據(jù)的不足。傳統(tǒng)深度確定性策略梯度算法DDPG迭代步驟如下:

    STEP1:算法將首先初始化表演家策略在線(xiàn)網(wǎng)絡(luò)μ(s,θμ)和評(píng)論家評(píng)價(jià)網(wǎng)絡(luò)Q(s,a;θQ),初始化參數(shù)θμ和θQ。初始化目標(biāo)網(wǎng)絡(luò)種的Q′:θQ‘←θQ和μ′:θμ‘←θμ,同時(shí)初始化經(jīng)驗(yàn)池R。表演家策略在線(xiàn)網(wǎng)絡(luò)根據(jù)策略模式選取一個(gè)動(dòng)作at。其中行為策略根據(jù)當(dāng)前在線(xiàn)策略網(wǎng)絡(luò)μ和隨機(jī)噪聲N生成的隨機(jī)過(guò)程,并從該隨機(jī)過(guò)程進(jìn)行采樣獲得動(dòng)作值at=μ(st|θQ)+Nt。

    STEP2:上一步中的輸出動(dòng)作at在被系統(tǒng)執(zhí)行后返回獎(jiǎng)勵(lì)回報(bào)參數(shù)rt和下一個(gè)新的狀態(tài)st+1。

    STEP3:將系統(tǒng)狀態(tài)量、輸出動(dòng)作、反饋獎(jiǎng)勵(lì)函數(shù)和下一步新的狀態(tài)量(st,at,rt,st+1)儲(chǔ)存在經(jīng)驗(yàn)池R中,隨后計(jì)算目標(biāo)Q值targetQ=ri+γQ′(si+1,μ′(si+1|θμ)|θQ′)。通 過(guò)損失 函數(shù)的更新評(píng)論家網(wǎng)絡(luò)的梯度,其中Q的損失函數(shù)使用均方差誤差:

    STEP4:更新在線(xiàn)價(jià)值網(wǎng)絡(luò)Q及其參數(shù)θQ。更新目標(biāo)網(wǎng)絡(luò)使用隨機(jī)梯度下降算法更新表演家策略在線(xiàn)網(wǎng)絡(luò)參數(shù)θμ’,反復(fù)迭代計(jì)算更新評(píng)論家評(píng)價(jià)網(wǎng)絡(luò)θQ‘。

    如上述算法流程所示,深度確定性策略梯度算法DDPG在網(wǎng)絡(luò)結(jié)構(gòu)上和表演家-評(píng)論家算法基本相同,分為表演家網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)。表演家網(wǎng)絡(luò)的參數(shù)θμ可以理解為四旋翼無(wú)人機(jī)從位姿或位置狀態(tài)到控制旋翼電機(jī)轉(zhuǎn)速動(dòng)作的映射。鏈?zhǔn)礁路绞綖椋?/p>

    式(4)中?θμJ為 策 略 梯 度,評(píng) 論 家 網(wǎng) 絡(luò) 的 參 數(shù) 為Q(si,ai;θQ),采用貝爾曼方程求解。此外,DDPG算法中通常還將平方差用損失函數(shù)L表示,損失函數(shù)L為:

    式中:ri為構(gòu)造回報(bào)參數(shù);γ為折扣因子,最后式通過(guò)將L降低至最小的方式,更新評(píng)論家網(wǎng)絡(luò)參數(shù)Q;表演家和評(píng)論家網(wǎng)絡(luò)的更新版本分別為μ‘(s,θμ’)和Q‘(s,a;θQ‘)用于計(jì)算更新目標(biāo)控制值。

    2.2 基于改進(jìn)后DDPG算法的四旋翼無(wú)人機(jī)自主飛行控制器設(shè)計(jì)

    圖1所示為本文基于改進(jìn)后DDPG算法的四旋翼無(wú)人機(jī)自主飛行控制器的整體框架圖。由圖1可知,控制器由兩部分組成,其中四旋翼無(wú)人機(jī)的仿真環(huán)境包括無(wú)人機(jī)的實(shí)時(shí)狀態(tài)量,包括無(wú)人機(jī)3個(gè)方向的軸加速度和角速度,以上狀態(tài)量由仿真環(huán)境輸入給策略網(wǎng)絡(luò)。而四旋翼無(wú)人機(jī)的4個(gè)旋翼上電機(jī)的轉(zhuǎn)速作為控制器反饋回?zé)o人機(jī)仿真環(huán)境的輸出量或動(dòng)作量以實(shí)時(shí)調(diào)節(jié)無(wú)人機(jī)的位姿及路徑。

    圖1 基于改進(jìn)后DDPG算法四旋翼無(wú)人機(jī)自主飛行控制器整體框架

    控制器另外一部分由兩個(gè)策略網(wǎng)絡(luò)構(gòu)成,分別為控制器表演家網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)??刂破鞯妮斎霠顟B(tài)量(3個(gè)方向的軸加速度和角速度)為s0,輸出(4個(gè)旋翼上電機(jī)的轉(zhuǎn)速)為a0;四旋翼無(wú)人機(jī)的旋翼電機(jī)按照控制的輸出轉(zhuǎn)速a0動(dòng)作后進(jìn)入下一步s1,并將動(dòng)作a0送回給控制器評(píng)論家網(wǎng)絡(luò)作為回報(bào)r0。然后控制器評(píng)論家網(wǎng)絡(luò)根據(jù)四旋翼無(wú)人機(jī)返回下一步中的狀態(tài)值s1和獎(jiǎng)勵(lì)值r1,更新旋翼電機(jī)的轉(zhuǎn)速,并運(yùn)用更新后的策略輸出新的動(dòng)作,重復(fù)上述過(guò)程直至四旋翼無(wú)人機(jī)最終達(dá)到控制目標(biāo)。然后在傳統(tǒng)DDPG算法的演算過(guò)程中,如果某些控制參數(shù)設(shè)計(jì)不當(dāng)或控制器中的預(yù)期控制目標(biāo)與系統(tǒng)實(shí)際狀態(tài)之間誤差過(guò)大會(huì)造成控制器策略網(wǎng)絡(luò)模型的復(fù)雜程度急劇提高,導(dǎo)致過(guò)擬合或欠擬合的現(xiàn)象。為了解決深度確定性梯度策略算法中可能存在的過(guò)擬合問(wèn)題,本文在傳統(tǒng)DDPG算法的基礎(chǔ)上做出了一些改進(jìn),包括如下設(shè)計(jì)。

    (1)動(dòng)作探索策略設(shè)計(jì)

    二十世紀(jì)初的中國(guó),社會(huì)矛盾重重,東方文化與西方文化交匯,傳統(tǒng)意識(shí)與現(xiàn)代觀念發(fā)生碰撞。在這樣特殊的社會(huì)背景下,木蘭除了從父母那里接受傳統(tǒng)儒道文化的浸染,還接受了現(xiàn)代教育,她從十幾歲時(shí)就開(kāi)始思考“男人與女人的分別這件事”,也經(jīng)常和父親談?wù)摗靶聲r(shí)代的女子”的話(huà)題,是一個(gè)“新式的女孩子”?!澳咎m有幾種女人所沒(méi)有的本領(lǐng):第一,她會(huì)吹口哨兒;第二,她會(huì)唱京戲;第三,她收集古董,而且能鑒賞?!盵1]60可見(jiàn),木蘭稱(chēng)得上是東西方文化交融下,集傳統(tǒng)美德與現(xiàn)代性于一身的奇女子。

    傳統(tǒng)DDPG算法中,系統(tǒng)在第一個(gè)狀態(tài)s0時(shí)更新旋翼電機(jī)的轉(zhuǎn)速a0后,送回初始獎(jiǎng)勵(lì)r0,控制器評(píng)論家網(wǎng)絡(luò)獲得送回后的獎(jiǎng)勵(lì)r0后,有一定概率會(huì)判斷當(dāng)前旋翼電機(jī)的轉(zhuǎn)速執(zhí)行動(dòng)作足夠好,而不去探索更匹配的轉(zhuǎn)速執(zhí)行策略來(lái)獲得更大的r0′,使得系統(tǒng)無(wú)法達(dá)到需要的控制目標(biāo)無(wú)法計(jì)算到全局最優(yōu)解,只能計(jì)算到局部最優(yōu)解。為了解決以上問(wèn)題,可以借用εgreedy(貪心算法)動(dòng)作探索策略解決。四旋翼無(wú)人機(jī)以ε的概率選擇一種旋翼電機(jī)的轉(zhuǎn)速動(dòng)作a,以1-ε的方式選擇平均獎(jiǎng)勵(lì)最高的旋翼電機(jī)的轉(zhuǎn)速動(dòng)作r0′,以這樣的方式得到概率最大的最佳旋翼電機(jī)的轉(zhuǎn)速動(dòng)作,通過(guò)完成最佳旋翼電機(jī)的轉(zhuǎn)速動(dòng)作四旋翼無(wú)人機(jī)就可以進(jìn)入下個(gè)狀態(tài)s1。本文設(shè)計(jì)的動(dòng)作探索策略為:

    其中,N為噪聲,是方差為σ的正態(tài)分布;k?[0,1)為εgreedy算法中的衰減系數(shù)。

    (2)與人工勢(shì)場(chǎng)法相結(jié)合的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

    當(dāng)四旋翼無(wú)人機(jī)自主飛行控制器在狀態(tài)s0下采取動(dòng)作a0時(shí),返回獎(jiǎng)勵(lì)函數(shù)r0的參數(shù)設(shè)計(jì)直接決定控制器的迭代計(jì)算時(shí)間和次數(shù)多少,并最終決定能否在迭代后最終求出全局最優(yōu)解。神經(jīng)元網(wǎng)絡(luò)根據(jù)四旋翼無(wú)人機(jī)的狀態(tài)值做出具體決策,環(huán)境根據(jù)送回的獎(jiǎng)勵(lì)值更新網(wǎng)絡(luò)參數(shù),使控制器評(píng)論家網(wǎng)絡(luò)在下個(gè)狀態(tài)s1計(jì)算旋翼電機(jī)的轉(zhuǎn)速時(shí)能夠做出最匹配的決策。獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)如下:

    式中:d(t )為四旋翼無(wú)人機(jī)當(dāng)前時(shí)刻下距離控制目標(biāo)終點(diǎn)的實(shí)時(shí)距離;d( t-1)為四旋翼無(wú)人機(jī)上一個(gè)時(shí)刻距離控制目標(biāo)點(diǎn)的實(shí)時(shí)距離;do為四旋翼無(wú)人機(jī)是否碰撞到規(guī)劃路徑中障礙物的安全距離,當(dāng)安全距離小于零時(shí)代表四旋翼無(wú)人機(jī)已經(jīng)和障礙物發(fā)生碰撞,影響四旋翼無(wú)人機(jī)的飛行安全;dg為四旋翼無(wú)人機(jī)距離目標(biāo)終點(diǎn)的閾值,小于該值即認(rèn)為到達(dá)目標(biāo)終點(diǎn);dn為四旋翼無(wú)人機(jī)距離目標(biāo)終點(diǎn)的距離,當(dāng)四旋翼到達(dá)該范圍內(nèi)控制器將給予獎(jiǎng)勵(lì)+1,正向獎(jiǎng)勵(lì)可以促使四旋翼無(wú)人機(jī)更快到達(dá)目標(biāo)終點(diǎn)。當(dāng)機(jī)器人所處位置碰撞到障礙物時(shí),控制器將給予獎(jiǎng)勵(lì)-100,負(fù)向獎(jiǎng)勵(lì)可以促使四旋翼無(wú)人機(jī)更快避開(kāi)障礙物;當(dāng)四旋翼無(wú)人機(jī)懸停時(shí),則為-1的副獎(jiǎng)勵(lì);其他情況則為-2作為負(fù)獎(jiǎng)勵(lì),通過(guò)正負(fù)獎(jiǎng)勵(lì)的不同回報(bào)值來(lái)幫助四旋翼無(wú)人機(jī)最終靠近及到達(dá)目標(biāo)點(diǎn)。

    3 仿真結(jié)果與分析

    3.1 四旋翼實(shí)驗(yàn)環(huán)境建模

    為了驗(yàn)證基于改進(jìn)的深度確定性策略梯度算法的可行性,仿真環(huán)境采用柵格法進(jìn)行場(chǎng)景的二維及三維環(huán)境建模,在不同環(huán)境下進(jìn)行了經(jīng)典PID算法和改進(jìn)后深度確定性策略算法的對(duì)比實(shí)驗(yàn)。表1所示為本文選用小型四旋翼無(wú)人機(jī)動(dòng)力學(xué)模型相關(guān)參數(shù)。

    表1 模型參數(shù)以及仿真初始化參數(shù)

    仿真實(shí)驗(yàn)在Windows系統(tǒng)下運(yùn)行,系統(tǒng)采用Matlab2019b搭建四旋翼無(wú)人機(jī)的運(yùn)動(dòng)環(huán)境,該四旋翼無(wú)人機(jī)仿真使用M語(yǔ)言進(jìn)行編程。實(shí)驗(yàn)分為簡(jiǎn)單二維柵格地圖和三維地圖。仿真中涉及的基于改進(jìn)的深度確定性策略梯度DDPG算法仿真初始化參數(shù)如表2中所示。

    表2 算法仿真初始化參數(shù)

    3.2 仿真實(shí)驗(yàn)結(jié)果

    (1)二維環(huán)境仿真結(jié)果

    如圖2所示,本文采用Matlab2019b構(gòu)建大小在100×100的二維柵格地圖,柵格地圖中包括大小不一的二維方塊障礙物和圓形障礙物。目前地圖中只存在靜態(tài)障礙物,靜態(tài)障礙物占總面積的20%~30%。圖中起始點(diǎn)坐標(biāo)為(0,0),黑色方格表示障礙物,其余為安全可飛行區(qū)域。目標(biāo)點(diǎn)坐標(biāo)為(100,100)。圖2中紅色實(shí)心路線(xiàn)和黑色虛線(xiàn)路線(xiàn)分別為四旋翼無(wú)人機(jī)在經(jīng)典PID和改進(jìn)的深度確定性策略梯度算法迭代200次后計(jì)算所獲得的路徑,可以看出經(jīng)過(guò)改進(jìn)的深度確定性策略梯度算法在避開(kāi)障礙物前提下為從起點(diǎn)到目標(biāo)點(diǎn)的最短路徑。PID算法也可引導(dǎo)四旋翼無(wú)人機(jī)到達(dá)指定目標(biāo)地,不過(guò)PID算法所規(guī)劃路線(xiàn)與圓型障礙物發(fā)生碰撞,總體與改進(jìn)的深度確定性策略梯度算法規(guī)劃路線(xiàn)相比距離較長(zhǎng),且所規(guī)劃路線(xiàn)在(75,40)和(70,70)等計(jì)算點(diǎn)上需要四旋翼無(wú)人機(jī)做出較大機(jī)動(dòng)動(dòng)作改變航向,不利于四旋翼無(wú)人機(jī)保持飛行姿態(tài)的穩(wěn)定性。如圖2~3所示,說(shuō)明在二維仿真空間下,通過(guò)改進(jìn)的深度確定性策略梯度算法不斷迭代計(jì)算,可以讓四旋翼無(wú)人機(jī)能夠躲避二維空間中的不規(guī)則障礙物,并進(jìn)行良好的路徑規(guī)劃和航跡跟蹤。

    圖2 四旋翼無(wú)人機(jī)二維空間自主導(dǎo)航路徑

    圖3 四旋翼無(wú)人機(jī)自主飛行控制器算法迭代次數(shù)變化曲線(xiàn)

    (2)三維環(huán)境下仿真結(jié)果

    如圖4所示,本文采用Matlab2019b在三維環(huán)境下構(gòu)建的仿真環(huán)境設(shè)置為20 m×5 m×6 m的區(qū)域,在空間中依次布置7個(gè)的長(zhǎng)方體障礙物,這7個(gè)障礙物大小為1 m×4 m×5 m。在上述仿真環(huán)境下四旋翼無(wú)人機(jī)從起點(diǎn)(18,3,5)飛至終點(diǎn)(6,4,5)?;诟倪M(jìn)的深度確定性策略梯度算法的四旋翼無(wú)人機(jī)控制器仿真目標(biāo)是通過(guò)算法的不斷迭代計(jì)算出最優(yōu)自主導(dǎo)航路徑,全程避開(kāi)障礙物,到達(dá)目標(biāo)點(diǎn)區(qū)域,由于三維場(chǎng)景復(fù)雜,傳統(tǒng)PID算法已經(jīng)無(wú)法有效規(guī)劃導(dǎo)航路徑,三維環(huán)境下僅采用改進(jìn)的深度確定性策略梯度算法測(cè)試算法有效性。

    圖4 四旋翼無(wú)人機(jī)位置軌跡跟蹤曲線(xiàn)

    仿真實(shí)驗(yàn)開(kāi)始后,改進(jìn)的深度確定性策略梯度算法控制器的三維空間位置自主導(dǎo)航結(jié)果如圖5~6所示。由圖可以看出基于改進(jìn)的深度確定性策略梯度算法控制器計(jì)算出最優(yōu)導(dǎo)航路徑相較于起點(diǎn)到終點(diǎn)的理想路徑而言,路線(xiàn)更加平滑穩(wěn)定且對(duì)三維障礙物依舊有著良好的避障效果。跟蹤過(guò)程中,四旋翼無(wú)人機(jī)在X、Y、Z軸上的距離誤差不超過(guò)±0.5 m。

    圖5 四旋翼無(wú)人機(jī)位置軌跡跟蹤誤差曲線(xiàn)

    綜合考慮后可以得出結(jié)論:二維環(huán)境仿真下,改進(jìn)的深度確定性策略梯度算法相較于傳統(tǒng)PID算法提高了四旋翼的自主導(dǎo)航規(guī)劃路線(xiàn)能力,三維環(huán)境仿真下改進(jìn)的深度確定性策略梯度算法可以有效地實(shí)現(xiàn)較復(fù)雜三維真實(shí)飛行環(huán)境的自主導(dǎo)航和障礙物避障。

    4 結(jié)束語(yǔ)

    本文針對(duì)四旋翼無(wú)人機(jī)設(shè)計(jì)了一種改進(jìn)的深度確定性策略梯度算法,通過(guò)設(shè)計(jì)新的動(dòng)作探索策略并利用人工勢(shì)場(chǎng)法選擇更加有效的最優(yōu)動(dòng)作,保證了四旋翼無(wú)人機(jī)快速準(zhǔn)確識(shí)別最優(yōu)行動(dòng)方向。仿真四旋翼無(wú)人機(jī)在二維和三維空間內(nèi)被障礙物所阻擋從而降低自主飛行效率。仿真實(shí)驗(yàn)對(duì)比了傳統(tǒng)PID算法和改進(jìn)的深度確定性策略梯度算法,結(jié)果表明改進(jìn)的深度確定性策略梯度算法提高了四旋翼的自主導(dǎo)航規(guī)劃路線(xiàn)能力。后續(xù)將進(jìn)一步開(kāi)展所設(shè)計(jì)算法的改進(jìn)工作,繼續(xù)提高系統(tǒng)的響應(yīng)時(shí)間和魯棒性。

    猜你喜歡
    確定性旋翼障礙物
    論中國(guó)訓(xùn)詁學(xué)與經(jīng)典闡釋的確定性
    論法律解釋的確定性
    法律方法(2022年1期)2022-07-21 09:18:56
    含混還是明證:梅洛-龐蒂論確定性
    改進(jìn)型自抗擾四旋翼無(wú)人機(jī)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    大載重長(zhǎng)航時(shí)油動(dòng)多旋翼無(wú)人機(jī)
    高低翻越
    SelTrac?CBTC系統(tǒng)中非通信障礙物的設(shè)計(jì)和處理
    基于STM32的四旋翼飛行器的設(shè)計(jì)
    電子制作(2019年9期)2019-05-30 09:41:48
    四旋翼無(wú)人機(jī)動(dòng)態(tài)面控制
    法律確定性的統(tǒng)合理性根據(jù)與法治實(shí)施
    www日本在线高清视频| 赤兔流量卡办理| 精品国产一区二区三区四区第35| 免费在线观看完整版高清| 久久久欧美国产精品| 伦理电影大哥的女人| 亚洲激情五月婷婷啪啪| av片东京热男人的天堂| 日日爽夜夜爽网站| 中文字幕亚洲精品专区| 亚洲av日韩精品久久久久久密 | 国产伦人伦偷精品视频| 性少妇av在线| 亚洲婷婷狠狠爱综合网| 亚洲少妇的诱惑av| 欧美日韩一区二区视频在线观看视频在线| 99久久精品国产亚洲精品| 久久精品久久精品一区二区三区| 另类精品久久| 国产在线视频一区二区| 国产极品粉嫩免费观看在线| 免费观看性生交大片5| 欧美成人午夜精品| 高清视频免费观看一区二区| 国产熟女午夜一区二区三区| 欧美久久黑人一区二区| 老汉色∧v一级毛片| 亚洲视频免费观看视频| 街头女战士在线观看网站| 狂野欧美激情性xxxx| 9191精品国产免费久久| 亚洲成人免费av在线播放| 久久女婷五月综合色啪小说| 精品久久久久久电影网| av电影中文网址| 国产欧美日韩一区二区三区在线| 美女高潮到喷水免费观看| 亚洲天堂av无毛| 两个人看的免费小视频| 亚洲三区欧美一区| 亚洲精品一二三| 欧美在线一区亚洲| 国产男人的电影天堂91| 成年人午夜在线观看视频| 无遮挡黄片免费观看| 国产男女超爽视频在线观看| e午夜精品久久久久久久| 热re99久久国产66热| 伊人久久大香线蕉亚洲五| 国产一区二区三区综合在线观看| 视频区图区小说| 看免费av毛片| 日韩制服丝袜自拍偷拍| 国产熟女欧美一区二区| 日韩av免费高清视频| a级毛片黄视频| 巨乳人妻的诱惑在线观看| 免费观看人在逋| 七月丁香在线播放| 婷婷色综合www| 久久久国产欧美日韩av| 亚洲av欧美aⅴ国产| 大片电影免费在线观看免费| 少妇人妻精品综合一区二区| 亚洲在久久综合| 欧美人与性动交α欧美精品济南到| 亚洲精品久久午夜乱码| 亚洲av成人不卡在线观看播放网 | 国产精品香港三级国产av潘金莲 | www.精华液| 亚洲欧美一区二区三区国产| avwww免费| 交换朋友夫妻互换小说| 黑人欧美特级aaaaaa片| 亚洲精品中文字幕在线视频| 国产在线视频一区二区| 久久久久精品久久久久真实原创| 超碰成人久久| 亚洲精品一二三| 街头女战士在线观看网站| 色视频在线一区二区三区| 性色av一级| 欧美人与善性xxx| 一区在线观看完整版| 久久青草综合色| 久久久久久久大尺度免费视频| 在线天堂中文资源库| 国产国语露脸激情在线看| 大片免费播放器 马上看| 亚洲av在线观看美女高潮| 国产精品一区二区在线观看99| 极品人妻少妇av视频| 国语对白做爰xxxⅹ性视频网站| 亚洲成人免费av在线播放| 男女免费视频国产| 久久久久人妻精品一区果冻| 男人舔女人的私密视频| 亚洲七黄色美女视频| 日本猛色少妇xxxxx猛交久久| 欧美日韩精品网址| 欧美日本中文国产一区发布| 少妇人妻久久综合中文| 国产精品99久久99久久久不卡 | 美女福利国产在线| 久久久国产欧美日韩av| 纵有疾风起免费观看全集完整版| 天堂8中文在线网| 亚洲国产欧美日韩在线播放| 一级毛片黄色毛片免费观看视频| 国产一区亚洲一区在线观看| 韩国高清视频一区二区三区| 精品国产一区二区三区久久久樱花| 最近最新中文字幕免费大全7| 夜夜骑夜夜射夜夜干| 精品国产一区二区三区四区第35| 亚洲熟女精品中文字幕| 亚洲综合精品二区| 欧美黄色片欧美黄色片| 少妇人妻久久综合中文| 侵犯人妻中文字幕一二三四区| 免费在线观看完整版高清| 美女主播在线视频| 天天躁日日躁夜夜躁夜夜| 欧美精品高潮呻吟av久久| 亚洲av欧美aⅴ国产| 黑人欧美特级aaaaaa片| 亚洲成人免费av在线播放| 侵犯人妻中文字幕一二三四区| 亚洲精品一二三| 国产精品偷伦视频观看了| 亚洲,一卡二卡三卡| 女人高潮潮喷娇喘18禁视频| 麻豆av在线久日| 国产片内射在线| 久久精品久久久久久久性| 国产精品久久久人人做人人爽| 中文欧美无线码| 久久韩国三级中文字幕| 久久国产精品男人的天堂亚洲| 精品福利永久在线观看| 日日摸夜夜添夜夜爱| 精品人妻一区二区三区麻豆| 免费人妻精品一区二区三区视频| 久久97久久精品| 人人妻,人人澡人人爽秒播 | 精品国产一区二区久久| 老司机影院成人| 另类亚洲欧美激情| 国产国语露脸激情在线看| 老司机深夜福利视频在线观看 | 国产又爽黄色视频| 国产精品一国产av| 国产精品嫩草影院av在线观看| 少妇被粗大的猛进出69影院| 国产一区二区在线观看av| 欧美国产精品va在线观看不卡| 赤兔流量卡办理| 99精品久久久久人妻精品| 久久精品国产综合久久久| 国产xxxxx性猛交| 欧美日韩成人在线一区二区| 欧美人与性动交α欧美软件| 精品少妇黑人巨大在线播放| 免费不卡黄色视频| 建设人人有责人人尽责人人享有的| 欧美日本中文国产一区发布| 国产成人欧美在线观看 | kizo精华| 在线观看免费午夜福利视频| a 毛片基地| 欧美人与善性xxx| 七月丁香在线播放| 欧美亚洲日本最大视频资源| 在线看a的网站| 制服人妻中文乱码| 欧美精品高潮呻吟av久久| 汤姆久久久久久久影院中文字幕| 我要看黄色一级片免费的| 久久久欧美国产精品| bbb黄色大片| 免费日韩欧美在线观看| 国产毛片在线视频| 2018国产大陆天天弄谢| 亚洲图色成人| 欧美日韩成人在线一区二区| 色婷婷久久久亚洲欧美| 亚洲av日韩精品久久久久久密 | av国产精品久久久久影院| 国产野战对白在线观看| 哪个播放器可以免费观看大片| 欧美乱码精品一区二区三区| 欧美黑人欧美精品刺激| 亚洲国产中文字幕在线视频| 国产深夜福利视频在线观看| 欧美亚洲 丝袜 人妻 在线| 一区二区三区四区激情视频| 国产成人午夜福利电影在线观看| av片东京热男人的天堂| 999精品在线视频| 天堂中文最新版在线下载| 国产精品一区二区在线不卡| 国产乱人偷精品视频| 一级片免费观看大全| 91精品国产国语对白视频| 亚洲国产看品久久| 99精品久久久久人妻精品| 国产精品嫩草影院av在线观看| 91精品三级在线观看| 一本—道久久a久久精品蜜桃钙片| 少妇人妻精品综合一区二区| 一级毛片黄色毛片免费观看视频| 黄色毛片三级朝国网站| 黄片小视频在线播放| 少妇人妻久久综合中文| 亚洲国产欧美日韩在线播放| 又大又爽又粗| 美女国产高潮福利片在线看| 亚洲成色77777| 男女边吃奶边做爰视频| 亚洲美女搞黄在线观看| 91国产中文字幕| 又黄又粗又硬又大视频| 成年人免费黄色播放视频| 免费久久久久久久精品成人欧美视频| videos熟女内射| 在线观看免费日韩欧美大片| 9热在线视频观看99| 看免费成人av毛片| 国产人伦9x9x在线观看| 精品视频人人做人人爽| 亚洲精品乱久久久久久| 久久精品国产a三级三级三级| 久久免费观看电影| 老司机亚洲免费影院| 成年人免费黄色播放视频| 国产激情久久老熟女| 妹子高潮喷水视频| 母亲3免费完整高清在线观看| 久久韩国三级中文字幕| 亚洲精品美女久久久久99蜜臀 | 欧美精品亚洲一区二区| 99国产综合亚洲精品| 中国国产av一级| 天天躁狠狠躁夜夜躁狠狠躁| 精品久久久久久电影网| 午夜精品国产一区二区电影| 久久性视频一级片| 亚洲欧美精品综合一区二区三区| 精品国产露脸久久av麻豆| 我的亚洲天堂| 国产精品久久久人人做人人爽| 桃花免费在线播放| 丰满饥渴人妻一区二区三| 成年美女黄网站色视频大全免费| 丝袜美足系列| 日本黄色日本黄色录像| 亚洲欧洲精品一区二区精品久久久 | 人妻 亚洲 视频| 极品人妻少妇av视频| 另类精品久久| 汤姆久久久久久久影院中文字幕| 老司机在亚洲福利影院| 国产成人精品久久久久久| av国产精品久久久久影院| av视频免费观看在线观看| 日日撸夜夜添| 成年av动漫网址| 午夜福利网站1000一区二区三区| 欧美精品av麻豆av| 18禁动态无遮挡网站| av.在线天堂| 精品人妻熟女毛片av久久网站| 国产男女超爽视频在线观看| 十分钟在线观看高清视频www| 亚洲国产av影院在线观看| 老司机在亚洲福利影院| 老司机深夜福利视频在线观看 | 色视频在线一区二区三区| 亚洲精品成人av观看孕妇| 亚洲成av片中文字幕在线观看| e午夜精品久久久久久久| 少妇 在线观看| 无遮挡黄片免费观看| 国产精品一区二区在线观看99| 欧美日韩亚洲综合一区二区三区_| 亚洲天堂av无毛| 精品久久久精品久久久| 国产一区有黄有色的免费视频| 麻豆av在线久日| 久久人人爽av亚洲精品天堂| 亚洲精品一区蜜桃| 乱人伦中国视频| 永久免费av网站大全| 国产精品女同一区二区软件| 精品人妻一区二区三区麻豆| 久久99精品国语久久久| 王馨瑶露胸无遮挡在线观看| 精品视频人人做人人爽| 大香蕉久久成人网| netflix在线观看网站| 国产精品久久久av美女十八| 欧美精品人与动牲交sv欧美| 国产成人av激情在线播放| 久久久久久久大尺度免费视频| 最近中文字幕2019免费版| 久久久国产一区二区| 国产亚洲一区二区精品| 成人亚洲精品一区在线观看| 午夜老司机福利片| 亚洲精品国产av成人精品| 午夜福利乱码中文字幕| 黄频高清免费视频| av天堂久久9| 天天影视国产精品| 国产熟女午夜一区二区三区| 亚洲欧美一区二区三区国产| 国产免费现黄频在线看| 一边亲一边摸免费视频| 丝袜在线中文字幕| 欧美激情高清一区二区三区 | 青春草视频在线免费观看| 国产黄频视频在线观看| 欧美日韩国产mv在线观看视频| 美女午夜性视频免费| 只有这里有精品99| 免费观看性生交大片5| 天天躁狠狠躁夜夜躁狠狠躁| 久久久久久久久久久久大奶| 国产人伦9x9x在线观看| 嫩草影视91久久| 美女脱内裤让男人舔精品视频| 国产成人免费观看mmmm| 9热在线视频观看99| 亚洲久久久国产精品| 国产欧美日韩综合在线一区二区| av不卡在线播放| 考比视频在线观看| 亚洲熟女精品中文字幕| 国产老妇伦熟女老妇高清| 中文字幕人妻丝袜一区二区 | 日韩 欧美 亚洲 中文字幕| 成人毛片60女人毛片免费| 丰满乱子伦码专区| 黄网站色视频无遮挡免费观看| 久久久久久久久久久免费av| 亚洲精品国产一区二区精华液| 日韩中文字幕欧美一区二区 | 成年美女黄网站色视频大全免费| www.熟女人妻精品国产| 亚洲国产成人一精品久久久| 在线看a的网站| 啦啦啦在线免费观看视频4| 欧美在线黄色| av在线观看视频网站免费| 久久精品国产综合久久久| 国产又色又爽无遮挡免| 亚洲欧美成人综合另类久久久| 中文乱码字字幕精品一区二区三区| 久久亚洲国产成人精品v| 亚洲国产av新网站| 曰老女人黄片| 女人久久www免费人成看片| www.精华液| 午夜精品国产一区二区电影| 国产成人精品久久二区二区91 | 日韩制服丝袜自拍偷拍| 亚洲av欧美aⅴ国产| 啦啦啦在线免费观看视频4| 免费少妇av软件| 男人操女人黄网站| 99久国产av精品国产电影| 午夜福利一区二区在线看| 精品一区二区免费观看| 丰满饥渴人妻一区二区三| 大陆偷拍与自拍| 中文字幕最新亚洲高清| av女优亚洲男人天堂| 久久亚洲国产成人精品v| 国产黄色免费在线视频| 嫩草影院入口| 999久久久国产精品视频| 亚洲av电影在线进入| 9色porny在线观看| 久久国产精品男人的天堂亚洲| 欧美日韩一级在线毛片| a 毛片基地| 亚洲成人av在线免费| 国产男女内射视频| 成年av动漫网址| 这个男人来自地球电影免费观看 | 国产精品国产av在线观看| 日本wwww免费看| 精品少妇一区二区三区视频日本电影 | 90打野战视频偷拍视频| 国产精品免费大片| 亚洲精品国产区一区二| 免费女性裸体啪啪无遮挡网站| 亚洲情色 制服丝袜| 在线观看一区二区三区激情| 国产黄色免费在线视频| 精品国产国语对白av| 午夜免费观看性视频| 亚洲伊人久久精品综合| 亚洲五月色婷婷综合| 色网站视频免费| netflix在线观看网站| 精品国产乱码久久久久久男人| 99久国产av精品国产电影| 纵有疾风起免费观看全集完整版| 麻豆乱淫一区二区| 99香蕉大伊视频| 999久久久国产精品视频| 日韩制服骚丝袜av| av在线老鸭窝| 免费久久久久久久精品成人欧美视频| 亚洲精品一二三| 人人妻人人添人人爽欧美一区卜| 久久久国产精品麻豆| 99久久99久久久精品蜜桃| 免费观看人在逋| 亚洲国产精品成人久久小说| 在线观看免费日韩欧美大片| 熟妇人妻不卡中文字幕| 可以免费在线观看a视频的电影网站 | 日本91视频免费播放| 国产在线视频一区二区| 日本av手机在线免费观看| 成年人免费黄色播放视频| 91精品伊人久久大香线蕉| 国产成人精品在线电影| 色婷婷久久久亚洲欧美| 亚洲人成电影观看| 欧美成人精品欧美一级黄| 午夜av观看不卡| 飞空精品影院首页| 一区二区三区精品91| 777久久人妻少妇嫩草av网站| 99精国产麻豆久久婷婷| 欧美日韩视频高清一区二区三区二| 国产日韩欧美在线精品| 操出白浆在线播放| 一区二区三区激情视频| 日韩人妻精品一区2区三区| 亚洲四区av| 色网站视频免费| 久久 成人 亚洲| 人妻一区二区av| 伦理电影免费视频| 亚洲精华国产精华液的使用体验| 国产精品一区二区在线不卡| 国产一卡二卡三卡精品 | 久久久久精品性色| 狠狠婷婷综合久久久久久88av| 亚洲成人手机| 19禁男女啪啪无遮挡网站| 精品少妇久久久久久888优播| 亚洲人成网站在线观看播放| 美女扒开内裤让男人捅视频| 亚洲欧美色中文字幕在线| 性少妇av在线| www.自偷自拍.com| 免费观看a级毛片全部| 国产精品久久久久久精品古装| 国产极品天堂在线| 午夜激情av网站| 久久久久久久久久久久大奶| 最新的欧美精品一区二区| √禁漫天堂资源中文www| 日韩视频在线欧美| 亚洲精品乱久久久久久| 丝瓜视频免费看黄片| 日韩伦理黄色片| 美女视频免费永久观看网站| 街头女战士在线观看网站| 日韩 亚洲 欧美在线| 最近最新中文字幕大全免费视频 | 色婷婷av一区二区三区视频| 男人舔女人的私密视频| 午夜av观看不卡| 亚洲精品国产区一区二| 午夜av观看不卡| 啦啦啦啦在线视频资源| 亚洲精品视频女| 久久青草综合色| 久久av网站| www.精华液| 国产精品香港三级国产av潘金莲 | 国产视频首页在线观看| 美女中出高潮动态图| 少妇的丰满在线观看| av在线app专区| 精品一区二区免费观看| 99久久人妻综合| 婷婷色综合大香蕉| 老汉色∧v一级毛片| 午夜av观看不卡| 亚洲精品中文字幕在线视频| 两性夫妻黄色片| 亚洲av综合色区一区| 欧美精品一区二区免费开放| 韩国高清视频一区二区三区| 免费人妻精品一区二区三区视频| 国产精品国产三级国产专区5o| 视频在线观看一区二区三区| 亚洲欧美一区二区三区久久| 久久久久网色| 亚洲成色77777| 91精品国产国语对白视频| www.av在线官网国产| 久久青草综合色| 欧美人与善性xxx| 成人18禁高潮啪啪吃奶动态图| 午夜福利乱码中文字幕| 午夜久久久在线观看| 丝袜喷水一区| 少妇人妻久久综合中文| videos熟女内射| 狂野欧美激情性xxxx| 日本欧美视频一区| 久久久久国产一级毛片高清牌| 天天躁夜夜躁狠狠躁躁| 久久人妻熟女aⅴ| 最近手机中文字幕大全| 欧美激情高清一区二区三区 | av在线老鸭窝| 久久久精品国产亚洲av高清涩受| 丝袜在线中文字幕| 69精品国产乱码久久久| 亚洲成人一二三区av| 国产黄频视频在线观看| 97精品久久久久久久久久精品| 国产精品 国内视频| 国产片特级美女逼逼视频| 免费观看av网站的网址| 婷婷色综合www| 成年美女黄网站色视频大全免费| 一区二区三区乱码不卡18| 精品国产露脸久久av麻豆| 亚洲欧美清纯卡通| 国产有黄有色有爽视频| 亚洲四区av| 免费女性裸体啪啪无遮挡网站| 国产免费一区二区三区四区乱码| 在线天堂中文资源库| 丰满迷人的少妇在线观看| 亚洲第一av免费看| 少妇被粗大猛烈的视频| 亚洲av成人不卡在线观看播放网 | 国产精品蜜桃在线观看| 国产精品成人在线| 日韩中文字幕欧美一区二区 | 只有这里有精品99| 国产乱来视频区| 一区二区三区精品91| 建设人人有责人人尽责人人享有的| 国产极品天堂在线| 天堂俺去俺来也www色官网| 午夜日本视频在线| 建设人人有责人人尽责人人享有的| 如日韩欧美国产精品一区二区三区| 国产精品久久久久久久久免| 亚洲av成人精品一二三区| 丁香六月天网| 国产亚洲欧美精品永久| 国产av一区二区精品久久| 亚洲精品国产色婷婷电影| 国产成人午夜福利电影在线观看| 黑人欧美特级aaaaaa片| 国产在线免费精品| 青青草视频在线视频观看| 成年人免费黄色播放视频| 人人妻人人添人人爽欧美一区卜| 看免费成人av毛片| 啦啦啦视频在线资源免费观看| 久久鲁丝午夜福利片| 久久97久久精品| 亚洲av电影在线进入| 中文字幕精品免费在线观看视频| 亚洲av欧美aⅴ国产| 国产亚洲一区二区精品| 99热国产这里只有精品6| 高清在线视频一区二区三区| av网站在线播放免费| 人妻 亚洲 视频| 久久久精品免费免费高清| 青青草视频在线视频观看| 看十八女毛片水多多多| 一本久久精品| 中文天堂在线官网| 在线观看www视频免费| 精品无人区乱码1区二区| 搡老岳熟女国产| 亚洲欧洲精品一区二区精品久久久| 亚洲精品美女久久av网站| 国产亚洲精品av在线| 久久久久久久精品吃奶| 午夜两性在线视频| 国产麻豆69| 99re在线观看精品视频| 国产激情欧美一区二区| 这个男人来自地球电影免费观看| 亚洲国产精品999在线| 人妻丰满熟妇av一区二区三区| 中文字幕另类日韩欧美亚洲嫩草| 久久久久国产精品人妻aⅴ院| 香蕉国产在线看| 日韩精品青青久久久久久| 啦啦啦 在线观看视频| 亚洲av片天天在线观看| 久久久久久久久久久久大奶| 天天躁夜夜躁狠狠躁躁| 成人18禁在线播放| or卡值多少钱| 麻豆成人av在线观看| 久久这里只有精品19|