• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合跳點(diǎn)引導(dǎo)的無人機(jī)隨機(jī)搜索避撞決策方法

    2020-09-10 04:05:26李安醍李誠龍武丁杰衛(wèi)鵬
    航空學(xué)報(bào) 2020年8期
    關(guān)鍵詞:試驗(yàn)機(jī)空域靜態(tài)

    李安醍,李誠龍,*,武丁杰,衛(wèi)鵬

    1. 中國民用航空飛行學(xué)院 空中交通管理學(xué)院,廣漢 618307

    2. 喬治·華盛頓大學(xué) 機(jī)械與航空航天工程學(xué)院,華盛頓特區(qū) 20052

    隨著無人機(jī)技術(shù)的發(fā)展和世界城市化進(jìn)程的推進(jìn),城市空中交通(Urban Air Mobility,UAM)的運(yùn)輸概念被NASA[1]、Uber[2]、Airbus[3]等機(jī)構(gòu)重新提出。該交通方式旨在城市空域發(fā)展短程點(diǎn)對點(diǎn)運(yùn)輸系統(tǒng),利用具有無人駕駛功能的垂直起降(VTOL)或短距起降(STOL)飛行器進(jìn)行載人或載物運(yùn)輸以克服日益增長的地面交通擁堵問題[4]。但無人機(jī)在城市區(qū)域內(nèi)執(zhí)行運(yùn)輸任務(wù)將面臨更復(fù)雜的空域環(huán)境,如部分高層建筑和限制飛行區(qū)域以及空中實(shí)時(shí)變化的密集交通流等因素將構(gòu)成動態(tài)變化的障礙空間,而環(huán)境感知和避撞決策技術(shù)將是提供無人機(jī)在這種空間中穿行所需自動安全間隔保持能力的關(guān)鍵[5]。

    城市空中交通的避撞問題結(jié)合了民航基于合作相關(guān)監(jiān)視手段的避撞決策方法和移動機(jī)器人動態(tài)避撞路徑規(guī)劃的一般特性。相比于運(yùn)輸航空,城市空中交通流密度更大,飛行器需要在動靜態(tài)障礙物中進(jìn)行穿梭,且并不保證同一空域內(nèi)飛行器都接受合作相關(guān)監(jiān)視手段(廣播式自動監(jiān)視(Automatic Dependent Surveillance-Broadcast, ADS-B)、二次雷達(dá))[6];而相比于地面移動機(jī)器人,選擇傾轉(zhuǎn)旋翼(例如Airbus Vahana飛行器)等復(fù)雜氣動布局飛行器在巡航飛行過程中較難實(shí)現(xiàn)長時(shí)間懸停,這意味著大多數(shù)飛行器必須在前飛過程中同時(shí)完成避撞機(jī)動。面向該應(yīng)用場景,避撞決策算法不僅需要考慮無人機(jī)機(jī)載計(jì)算性能以滿足實(shí)時(shí)機(jī)動決策的需要,還需考慮無人機(jī)本身動力學(xué)特性,盡可能優(yōu)化避撞路徑,使無人機(jī)整個(gè)運(yùn)輸過程安全高效。

    文獻(xiàn)[5, 7-8]對各類空中交通避撞建模與決策方法做了詳細(xì)的總結(jié)和綜述性工作,根據(jù)技術(shù)路線不同主要可將避撞方法分為3類:① 以幾何方法為代表的被動式避撞決策,通過分析無人機(jī)和入侵對象幾何空間位置相對運(yùn)動速度矢量,進(jìn)行飛行器危險(xiǎn)接近最終階段的沖突解脫[9]。對于飛行器間避撞問題較為有代表性的是最小接近點(diǎn)法(PCA)和碰撞錐法(CCA)[10-11],這類方法計(jì)算簡單,能夠拓展到三維動態(tài)環(huán)境的飛行避撞問題上,但對多機(jī)避撞問題處理結(jié)果不夠理想,所計(jì)算得到的避撞路徑平滑程度得不到有效保障。文獻(xiàn)[12]更多考慮了飛行器本身的機(jī)動性能,從最優(yōu)控制理論角度給出了滾轉(zhuǎn)角速度和法向過載的解析形式最優(yōu)解,但該方法仍存在實(shí)時(shí)性不足的問題。② 基于無碰撞路徑規(guī)劃的主動避撞方法,即將避撞決策過程轉(zhuǎn)化為帶有安全間隔約束的無碰撞路徑規(guī)劃問題。其中人工勢場法[13]在單機(jī)對靜態(tài)障礙物避撞路徑規(guī)劃過程中,計(jì)算量小,具備機(jī)載部署所需的實(shí)時(shí)性,但容易陷入局部最優(yōu)陷阱。文獻(xiàn)[14]對傳統(tǒng)的人工勢場法進(jìn)行改進(jìn),在斥力場表達(dá)式中乘上本機(jī)到目標(biāo)地距離差因子,并將其他合作的無人機(jī)作為移動的障礙物進(jìn)行計(jì)算,使得目標(biāo)點(diǎn)位置能夠成為全局力場的唯一最小值,很好地克服了人工勢場法中路徑規(guī)劃的可達(dá)性和抖動性問題。文獻(xiàn)[15]引入張量場概念將勢場法拓展以解決4D航跡約束下的多機(jī)編隊(duì)飛行避撞問題,但該方法僅在沖突發(fā)生時(shí)重規(guī)劃,缺乏沖突的預(yù)測和事前調(diào)整,未考慮避撞對集群所帶來的連鎖反應(yīng),不適合無人機(jī)群體規(guī)模較大時(shí)的應(yīng)用。文獻(xiàn)[16-17]創(chuàng)新性地提出將無人機(jī)繞飛障礙物的軌跡以流水繞石現(xiàn)象進(jìn)行建模,在路徑規(guī)劃過程中引入流體計(jì)算方法,其中解析法計(jì)算時(shí)間短,所規(guī)劃的航路平滑且具有可飛性,但其對障礙物以球形邊界劃設(shè)保護(hù)區(qū),對于不規(guī)則多邊形障礙物乃至凹形保護(hù)區(qū)劃設(shè)方式的避撞效果并未進(jìn)行討論和驗(yàn)證。針對空中多無人機(jī)交通流的合作式避撞問題,文獻(xiàn)[18]提出了混合整數(shù)線性規(guī)劃方法進(jìn)行求解,甚至考慮了無人機(jī)沖突過程中的速度變化情形,但該方法隨無人機(jī)數(shù)量增多時(shí)計(jì)算量會成幾何倍數(shù)增加。③ 基于人工智能算法的避撞決策方法。早期的方法如A*算法[19]、蟻群算法[20]、遺傳算法[21]能夠解決無人機(jī)對靜態(tài)障礙物避撞路徑規(guī)劃問題,其本質(zhì)是用于路徑規(guī)劃的優(yōu)化算法,考慮的避撞對象主要為靜態(tài)障礙物,對于多無人機(jī)交通流避撞問題應(yīng)用需要較多次迭代計(jì)算,實(shí)時(shí)性不夠。近年來一些研究者開始將無人機(jī)避撞建模成多智能體決策問題[22-24],從而便于利用強(qiáng)化學(xué)習(xí)等人工智能方法進(jìn)行研究。Bai[25]和Mueller[26]等系統(tǒng)性考慮了無人機(jī)傳感器測量誤差等不確定性因素,并以部分可觀馬爾科夫決策過程(POMDP)進(jìn)行建模,其中文獻(xiàn)[25]采用蒙特卡洛數(shù)值迭代方法對三維連續(xù)狀態(tài)空間進(jìn)行求解,較好地解決了離散方法在應(yīng)對高維狀態(tài)空間過程中需要大量計(jì)算資源的問題。文獻(xiàn)[26]主要討論了如何自適應(yīng)求解避撞過程中影響飛行器對間隔保持和軌跡跟蹤之間性能的折中系數(shù)問題,拓展了部分可觀馬爾科夫決策過程建模解決避撞問題的通用性,但上述問題討論的計(jì)算工作需要離線計(jì)算。受此啟發(fā),文獻(xiàn)[27]應(yīng)用馬爾科夫決策過程(Markov Decision Process,MDP)對城市地區(qū)高密度交通流運(yùn)行場景進(jìn)行建模并采用蒙特卡洛樹搜索(Monte Carlo Tree Search,MCTS)求解無人機(jī)避撞問題,該方法在實(shí)時(shí)性和避撞效果上取得了較好的效果,但其連續(xù)避撞飛行軌跡從全局來看并不是最優(yōu)的,存在飛行器原位置盤旋的問題。

    面對城市空中交通這一場景中同時(shí)出現(xiàn)的靜態(tài)障礙和空中密集動態(tài)交通流,如何在保證算法實(shí)時(shí)性的前提下實(shí)現(xiàn)對動態(tài)障礙和靜態(tài)障礙雙重目標(biāo)的自主避撞并優(yōu)化避撞決策路徑是本文研究的重點(diǎn)。本文將采用離散馬爾科夫過程對空中避撞問題進(jìn)行建模,基于Yang等[27]所提出的蒙特卡洛樹搜索方法實(shí)時(shí)求解最優(yōu)避撞動作,引入A*改進(jìn)算法跳點(diǎn)搜索(Jump Point Search,JPS)進(jìn)行起止點(diǎn)間全局路徑規(guī)劃,自動生成合適間隔的離散路徑點(diǎn)以引導(dǎo)無人機(jī)進(jìn)行更優(yōu)的避撞動作選擇,避開因搜索深度不足所導(dǎo)致的無人機(jī)陷入局部環(huán)境最優(yōu)情形,從而在保證算法實(shí)時(shí)性前提下,實(shí)現(xiàn)了對障礙的避撞和飛行路徑的優(yōu)化,最終達(dá)到降低沖突概率和縮短飛行時(shí)間的目的。

    1 背景知識

    1.1 馬爾可夫決策過程

    馬爾可夫決策過程最早由Bellman提出[28],其后被廣泛應(yīng)用在機(jī)器人、自動控制、最優(yōu)化等主題中,馬爾可夫決策過程可用一個(gè)五元組表示為

    其中:S為一組有限狀態(tài)集;A為一組有限動作集;P為在時(shí)刻t對應(yīng)狀態(tài)St下采取動作a(a∈A)后轉(zhuǎn)換到t+1時(shí)刻狀態(tài)St+1的概率;R為通過執(zhí)行動作a,狀態(tài)St轉(zhuǎn)換到St+1所帶來的獎(jiǎng)勵(lì),在本文中獎(jiǎng)勵(lì)值應(yīng)符合R∈[0,1][29];γ為折扣因子,表示未來的獎(jiǎng)勵(lì)在當(dāng)前時(shí)刻的價(jià)值比例,即當(dāng)前的獎(jiǎng)勵(lì)相對于未來的獎(jiǎng)勵(lì)能夠獲得更大的收益。

    求解馬爾可夫決策過程的關(guān)鍵在于找到一個(gè)執(zhí)行策略。該策略是指從狀態(tài)S到動作A的映射,即在給定狀態(tài)下動作的概率分布,策略常用符號π表示為

    π:S→A

    最優(yōu)策略π*,是指該策略能使得最終期望的總獎(jiǎng)勵(lì)值最大化,其表達(dá)式為

    (1)

    1.2 蒙特卡洛樹搜索

    蒙特卡洛樹搜索算法是通過特定策略進(jìn)行非對稱樹搜索的算法。搜索是一組沿著搜索樹的遍歷,單次遍歷是從根節(jié)點(diǎn)到未完全展開的節(jié)點(diǎn)的路徑,未完全展開的節(jié)點(diǎn)至少有一個(gè)子節(jié)點(diǎn)未被訪問。在搜索過程中,算法并不會訪問樹的每一個(gè)分支,而是用搜索樹上限置信區(qū)間(Upper Confidence bound apply to Tree,UCT)算法來尋找一個(gè)最佳的策略對樹進(jìn)行搜索[30]。UCT是將上限置信區(qū)間(Upper Confidence Bound,UCB)[31]運(yùn)用到MCTS的算法。對于搜索樹節(jié)點(diǎn)的選擇既要給期望值高的節(jié)點(diǎn)更大的選擇概率(Exploitation),也要考慮探索那些暫時(shí)期望不高的分支節(jié)點(diǎn)(Exploration)。UCT算法通過各個(gè)節(jié)點(diǎn)的UCT值來決定訪問哪一個(gè)節(jié)點(diǎn),可以很好地權(quán)衡這種探索和利用(Exploration and Exploitation)。UCT算法公式為

    (2)

    蒙特卡洛樹搜索主要由選擇(Selection)、拓展(Expansion)、模擬(Simulation)和反向傳播(Backpropagation)4個(gè)階段構(gòu)成[32]。Selection階段是在搜索樹中尋找一個(gè)最有價(jià)值的節(jié)點(diǎn),通常優(yōu)先選擇未被探索的子節(jié)點(diǎn),否則選擇UCT值最大的子節(jié)點(diǎn)。Expansion階段是在當(dāng)前選中的節(jié)點(diǎn)上進(jìn)行一個(gè)隨機(jī)動作并創(chuàng)建一個(gè)新的子節(jié)點(diǎn)。Simulation階段是使上一個(gè)階段中創(chuàng)造的新節(jié)點(diǎn)開始隨機(jī)模擬的過程,直至達(dá)到終末狀態(tài)。Backpropagation階段是從葉子節(jié)點(diǎn)到根節(jié)點(diǎn)的遍歷,并將Simulation階段的模擬結(jié)果傳送到根節(jié)點(diǎn),對于反向傳播路徑上的每個(gè)節(jié)點(diǎn),更新節(jié)點(diǎn)的回報(bào)價(jià)值、訪問次數(shù)及其他有用統(tǒng)計(jì)信息。

    1.3 跳點(diǎn)搜索

    跳點(diǎn)搜索是A*算法的一種改進(jìn)版本,其改進(jìn)之處在于修改了A*算法的搜索規(guī)則,使得搜索速度最快能提高一個(gè)數(shù)量級[33]。A*算法是一種啟發(fā)式算法[34],擁有啟發(fā)式函數(shù)H(n)以及兩個(gè)列表:open列表和close列表,并用一個(gè)估值函數(shù)來評估節(jié)點(diǎn)的代價(jià),估值函數(shù)的表達(dá)式為

    F(n)=H(n)+G(n)

    (3)

    式中:G(n)為從搜索起始點(diǎn)到節(jié)點(diǎn)的實(shí)際代價(jià);H(n)為搜索目標(biāo)點(diǎn)到節(jié)點(diǎn)的估計(jì)代價(jià)。

    A*算法首先從當(dāng)前節(jié)點(diǎn)開始,將所有不在close列表的合法鄰近方格放入open列表中。從open列表中選取F(n)值最小的方格作為下一個(gè)節(jié)點(diǎn),并把當(dāng)前節(jié)點(diǎn)移出open列表,放入close列表中。將選中的下一個(gè)節(jié)點(diǎn)作為當(dāng)前節(jié)點(diǎn)重復(fù)上述步驟,直到目標(biāo)點(diǎn)出現(xiàn)在open列表當(dāng)中。

    跳點(diǎn)搜索同樣采用A*算法中的估值函數(shù),但是不會逐一對鄰近方格進(jìn)行搜索,而是從當(dāng)前節(jié)點(diǎn)開始沿著水平、垂直和對角線3個(gè)方向進(jìn)行搜索。當(dāng)搜索到轉(zhuǎn)折點(diǎn)時(shí),則把當(dāng)前點(diǎn)移入close列表,并把轉(zhuǎn)折點(diǎn)加入到open列表中。選取open列表中F(n)值最小的點(diǎn),若此點(diǎn)為目標(biāo)點(diǎn)則結(jié)束搜索,否則作為當(dāng)前點(diǎn)并按上述步驟重新開始搜索。

    2 建模與求解

    美國洛杉磯市是Uber Air公司進(jìn)行城市空中交通(UAM)驗(yàn)證飛行的試點(diǎn)城市之一。圖1為大疆無人機(jī)公司在洛杉磯城市某空域劃設(shè)的限制飛行區(qū)域,圖中紅色和灰色部分分別為禁飛區(qū)和限高區(qū)。從圖中可以看出該空域的限制飛行區(qū)域會對無人機(jī)在城市空域下運(yùn)行形成帶狀或凹形的靜態(tài)障礙。

    圖1 限制飛行區(qū)域

    針對Yang和Wei[27]未考慮到成片的高層建筑群或限制飛行區(qū)域?qū)o人機(jī)在城市空域環(huán)境下運(yùn)行的影響,本文在仿真場景中加入靜態(tài)障礙,對無人機(jī)在靜態(tài)和動態(tài)混合環(huán)境下的運(yùn)行場景進(jìn)行建模,并將場景之中的部分靜態(tài)障礙設(shè)計(jì)為局部凹形,使其形成局部陷阱區(qū)域以增加環(huán)境復(fù)雜性。

    2.1 場景與模型描述

    假設(shè)無人機(jī)在城市空域下沒有固定航路,而是按需自由飛行,城市空域高度層通常十分狹窄,因此無人機(jī)僅考慮在同一高度下進(jìn)行水平機(jī)動避撞。本文將具有避撞算法的無人機(jī)稱為試驗(yàn)機(jī),沒有避撞算法的無人機(jī)稱為入侵機(jī),用于模擬隨機(jī)交通流形成的動態(tài)障礙。每次仿真實(shí)驗(yàn),試驗(yàn)機(jī)將從固定起始點(diǎn)出發(fā)無碰撞地抵達(dá)隨機(jī)生成的目標(biāo)點(diǎn)位置,入侵機(jī)將以指定數(shù)量在模型中隨機(jī)位置生成并以一定的初速度做勻速直線運(yùn)動,模型不考慮入侵機(jī)兩兩之間的碰撞。

    圖2為仿真場景1(凹形限飛區(qū)空域)模型示意圖,其模擬了邊長為24 km含有凹形限飛區(qū)域的方形城市空域。模型縮放比例為1像素:30 m,那么該模型的大小為800像素×800像素。黃色帶有環(huán)形的飛機(jī)圖形代表具有避撞算法的試驗(yàn)機(jī);紅色飛機(jī)代表入侵機(jī);綠色星形代表目標(biāo)點(diǎn);黑色圖形代表由限制飛行區(qū)域形成的靜態(tài)障礙。

    圖3為仿真場景2(含有凹形區(qū)域的多個(gè)限飛區(qū)空域)和仿真場景3(不含凹形區(qū)域的多個(gè)限飛區(qū)空域)的模型示意圖,其縮放比例與圖形代表的含義與圖2保持一致。

    圖2 仿真場景1模型示意圖

    圖3 限飛空域場景模型示意圖

    無人機(jī)之間的沖突與碰撞定義為

    (4)

    式中:ix、iy為入侵機(jī)位置的橫縱坐標(biāo);ox、oy為試驗(yàn)機(jī)位置的橫縱坐標(biāo);Δd為試驗(yàn)機(jī)與最近一架入侵機(jī)之間的距離;這里的碰撞指NMAC(Near Mid-Air Collision)[35]。

    2.2 飛行器運(yùn)動模型

    無人機(jī)的運(yùn)動學(xué)模型可表示為[27,36]

    (5)

    式中:ε為無人機(jī)運(yùn)行過程中的不確定因素產(chǎn)生的噪聲,其大小服從正態(tài)分布;Δt為時(shí)間變化量;v為無人機(jī)速度,且v∈[50,80] m/s;av為無人機(jī)加速度;εv為速度誤差;φ為無人機(jī)傾斜角,且φ∈[-25°,25°];εφ為傾斜角誤差;aφ為傾斜角的改變率;θ為無人機(jī)航向角;g為重力加速度;x和y分別為無人機(jī)的橫縱坐標(biāo);εx和εy分別為橫縱坐標(biāo)位置誤差。

    2.3 狀態(tài)集描述

    模型以1 s為單位進(jìn)行離散化,并定義為一個(gè)時(shí)間步長t(time step)。這意味著無人機(jī)的速度、航向角度、位置等參數(shù)將以1 s為單位進(jìn)行改變,利用式(5)并令Δt=1 s即可確定下一時(shí)刻無人機(jī)的各項(xiàng)參數(shù)。模型假設(shè)每5個(gè)時(shí)間步長(5 s), 無人機(jī)將會做一次避撞決策,即從動作集中選取最佳的飛行動作。由于小型無人機(jī)通常具有極高的功率重量比,因此無人機(jī)動力學(xué)相對于5 s的決策周期是快速的[37]。

    因?yàn)镸DP需要執(zhí)行一個(gè)動作后才進(jìn)行狀態(tài)轉(zhuǎn)移,所以我們將模型中的狀態(tài)空間以避撞決策頻率,即5個(gè)時(shí)間步長為單位進(jìn)行離散化,得到若干個(gè)中間狀態(tài)S1,S2,…,Sn。每次仿真開始,試驗(yàn)機(jī)從初始時(shí)刻狀態(tài)S0開始立即執(zhí)行一次避撞決策并進(jìn)入中間狀態(tài),在狀態(tài)Sn的某時(shí)刻下觸發(fā)終止條件則立即從中間狀態(tài)轉(zhuǎn)移到終末狀態(tài)ST,因此完整的狀態(tài)集為{S0,S1,S2,…,Sn,ST}。對于進(jìn)入終末狀態(tài)的終止條件

    (6)

    模型中,試驗(yàn)機(jī)的狀態(tài)由坐標(biāo)位置(ox,oy)、速度(ov)、航向角(oθ)4個(gè)變量表示;入侵機(jī)的狀態(tài)由坐標(biāo)位置(ix,iy)、速度(iv)、航向角(iθ)4個(gè)變量表示;目標(biāo)點(diǎn)的狀態(tài)由坐標(biāo)位置(gx,gy)2個(gè)變量表示。設(shè)某時(shí)刻狀態(tài)為St,若模型中有n架入侵機(jī),那么狀態(tài)St由(4×n+6)維狀態(tài)分量組成,即

    2.4 動作集描述

    在真實(shí)環(huán)境中,無人機(jī)能在性能范圍內(nèi)選取任意的加速度和傾斜角進(jìn)行機(jī)動。但是從連續(xù)的動作空間中選取一個(gè)最佳的飛行動作,對于MCTS其計(jì)算復(fù)雜度將成指數(shù)上升。為了簡化計(jì)算,將模型中的動作空間離散為9維,由加速度動作子集和傾斜角動作子集組成有限動作集,動作集為

    (7)

    式中:Aa為加速度動作子集;Aφ為傾斜角動作子集;(av,aφ)為最優(yōu)加速度和傾斜角的一個(gè)組合動作。

    試驗(yàn)機(jī)每次執(zhí)行避撞決策會從動作子集Aa和Aφ中通過MCTS選取一個(gè)最優(yōu)加速度和傾斜角的組合作為當(dāng)前的飛行動作。由于飛行動作有9種選擇方案,所以MCTS所構(gòu)建的樹狀結(jié)構(gòu)最多有9d個(gè)節(jié)點(diǎn),d為搜索樹的深度。

    2.5 獎(jiǎng)勵(lì)函數(shù)描述

    避撞過程建模為馬爾科夫決策過程后的原始獎(jiǎng)勵(lì)函數(shù)式為

    (8)

    式中:R(S)為在狀態(tài)S時(shí)試驗(yàn)機(jī)在不同飛行條件下獲得的獎(jiǎng)勵(lì)值;d(g)為試驗(yàn)機(jī)與目標(biāo)點(diǎn)之間的歐式距離;max(d(g))為當(dāng)前場景下,試驗(yàn)機(jī)與目標(biāo)點(diǎn)之間所能達(dá)到的最大距離。

    MCTS算法需要進(jìn)行大量的隨機(jī)過程模擬采樣以獲得最佳策略,所以將其應(yīng)用于無人機(jī)避撞時(shí),考慮到對算法實(shí)時(shí)性的要求,不可能進(jìn)行長時(shí)間的運(yùn)算來得到全局最優(yōu)解,而只能在有限時(shí)間里得到當(dāng)前狀態(tài)下的一個(gè)局部最優(yōu)解。因此,MCTS算法僅能滿足短期內(nèi)的局部沖突避撞。

    原始的獎(jiǎng)勵(lì)函數(shù)僅計(jì)算試驗(yàn)機(jī)與目標(biāo)點(diǎn)之間的歐氏距離,而為了獲得最大的累計(jì)獎(jiǎng)勵(lì)值,MCTS算法選擇的飛行動作是使得連線長度最短,因此,其期望航跡為試驗(yàn)機(jī)與目標(biāo)點(diǎn)之間的連線。當(dāng)試驗(yàn)機(jī)與目標(biāo)點(diǎn)的連線之間存在靜態(tài)障礙時(shí),那么采取MCTS算法得到的飛行動作可能導(dǎo)致試驗(yàn)機(jī)的實(shí)際飛行航跡非全局最優(yōu),甚至陷入局部最優(yōu)的陷阱之中,即無法抵達(dá)目標(biāo)點(diǎn)。

    無人機(jī)在城市環(huán)境中運(yùn)行難免會因?yàn)榈匦我蛩鼗蛘呦拗骑w行區(qū)域形成的靜態(tài)障礙導(dǎo)致無人機(jī)無法直接到達(dá)目標(biāo)點(diǎn)。MCTS算法能夠滿足對局部動態(tài)障礙避撞的要求,但是在城市空域下,無人機(jī)也需要同時(shí)對靜態(tài)障礙進(jìn)行避撞。對于靜態(tài)障礙避撞的最優(yōu)決策不是當(dāng)無人機(jī)靠近靜態(tài)障礙后再進(jìn)行機(jī)動飛行避撞,而是應(yīng)該規(guī)劃一條無碰撞的最短路徑并主動對靜態(tài)障礙進(jìn)行繞飛。因此,通過跳點(diǎn)搜索算法從全局規(guī)劃出一條繞開靜態(tài)障礙的路徑并以合適的距離等間距建立路徑點(diǎn)。無人機(jī)逐點(diǎn)飛行便可主動繞開靜態(tài)障礙,并在兩個(gè)路徑點(diǎn)之間的飛行過程中,同時(shí)以MCTS算法選擇飛行動作實(shí)現(xiàn)對局部動態(tài)障礙進(jìn)行避撞。

    考慮到目標(biāo)點(diǎn)和路徑點(diǎn)同時(shí)對航跡的影響,改進(jìn)了原始獎(jiǎng)勵(lì)函數(shù)的表達(dá)式。改進(jìn)后的獎(jiǎng)勵(lì)函數(shù)加入了路徑點(diǎn)和試驗(yàn)機(jī)之間的距離因素,并通過比例系數(shù)來權(quán)衡目標(biāo)點(diǎn)與路徑點(diǎn)對試驗(yàn)機(jī)飛行動作的影響,使得無人機(jī)能對靜態(tài)障礙主動進(jìn)行繞飛并保持對動態(tài)障礙的有效避撞。試驗(yàn)機(jī)的期望航跡不再是一條簡單的直線,而是由若干條線段組成近似曲線的線條。改進(jìn)后的獎(jiǎng)勵(lì)函數(shù)為

    R(S)=

    (9)

    式中:d(p)為試驗(yàn)機(jī)與最近路徑點(diǎn)之間的距離; max(d(p))為當(dāng)前場景下,試驗(yàn)機(jī)與路徑點(diǎn)之間所能達(dá)到的最大距離;a為獎(jiǎng)勵(lì)函數(shù)的比例系數(shù)。

    2.6 算法描述

    為便于和原始的MCTS算法進(jìn)行區(qū)分,本文將改進(jìn)后的算法稱作JPS-MCTS。首先通過程序創(chuàng)建一個(gè)名為Way Point的列表來存儲路徑點(diǎn)位置信息,在每次仿真實(shí)驗(yàn)中通過跳點(diǎn)搜索規(guī)劃出一條避開靜態(tài)障礙的最短路徑后,將此路徑按照合適的距離等間隔建立離散的路徑點(diǎn),并將路徑點(diǎn)的位置信息加入Way Point列表。試驗(yàn)機(jī)遍歷Way Point列表,從中選擇一個(gè)與其距離最近的路徑點(diǎn),然后通過MCTS選擇一個(gè)當(dāng)前狀態(tài)下所能獲得最大獎(jiǎng)勵(lì)值的飛行動作并進(jìn)入下一個(gè)狀態(tài),算法流程如圖4所示。

    圖4 算法流程示意圖

    因?yàn)镸CTS選擇的動作是使得獎(jiǎng)勵(lì)值最大化,若試驗(yàn)機(jī)選擇的動作能使得自身與路徑點(diǎn)之間的距離縮小,那么試驗(yàn)機(jī)就能獲得更多的獎(jiǎng)勵(lì)回報(bào),其結(jié)果就是試驗(yàn)機(jī)飛向路徑點(diǎn)。試驗(yàn)機(jī)到達(dá)路徑點(diǎn)后,此路徑點(diǎn)將從Way Point列表中移除,并重新選擇一個(gè)與試驗(yàn)機(jī)距離最近的一個(gè)路徑點(diǎn)。按照上述步驟,試驗(yàn)機(jī)將以一條優(yōu)化過的航跡依次逐點(diǎn)飛行,并在飛行過程中同時(shí)實(shí)現(xiàn)對靜態(tài)障礙和動態(tài)障礙的避撞。

    3 仿真與結(jié)果分析

    圖5展示的是一次完整的仿真流程示意圖,即從每次仿真開始時(shí)刻的初始狀態(tài)S0到仿真結(jié)束時(shí)刻的終末狀態(tài)ST

    圖5 仿真流程示意圖

    3.1 設(shè)置實(shí)驗(yàn)參數(shù)

    本次實(shí)驗(yàn)采用的蒙特卡洛樹搜索深度為3層, 隨機(jī)模擬采樣次數(shù)為100次。模型設(shè)置入侵機(jī)數(shù)量為60架,每個(gè)實(shí)驗(yàn)項(xiàng)目重復(fù)仿真500次,部分仿真畫面如圖6所示,藍(lán)色實(shí)心圓點(diǎn)為引導(dǎo)試驗(yàn)機(jī)飛行的路徑點(diǎn)。仿真中的各概率為

    圖6 仿真畫面

    (10)

    式中:N為總仿真次數(shù);Pn為NMAC概率;Pc為沖突概率;Pg為抵達(dá)目標(biāo)點(diǎn)概率;Cn為NMAC的總次數(shù);Cc為沖突的總次數(shù);Cg為抵達(dá)目標(biāo)點(diǎn)的總次數(shù)。

    3.2 選取路徑點(diǎn)的間隔距離

    首先將獎(jiǎng)勵(lì)函數(shù)的比例設(shè)置為1.0,然后分別以40、60、80、100、120、140、160像素的距離等間距設(shè)置路徑點(diǎn)并分別進(jìn)行仿真實(shí)驗(yàn),結(jié)果如表1所示。

    表1 不同間隔路徑點(diǎn)條件下的仿真結(jié)果

    對于無人機(jī)而言,安全性是最關(guān)鍵的要素,因此其性能參數(shù)首先應(yīng)保證NMAC概率最小,其次是抵達(dá)目標(biāo)點(diǎn)概率、沖突概率以及平均飛行時(shí)間。綜合以上因素,這里選取80像素作為路徑點(diǎn)的間隔距離,按照縮放比例換算成真實(shí)距離則是約2.4 km。

    3.3 選取獎(jiǎng)勵(lì)函數(shù)的比例系數(shù)

    首先將路徑點(diǎn)的間隔距離設(shè)置為80像素,然后設(shè)置獎(jiǎng)勵(lì)函數(shù)的比例系數(shù)分別以1.0、0.9、0.8、 0.7、0.6、0.5、0.4進(jìn)行仿真實(shí)驗(yàn),結(jié)果如表2所示。

    按照相同的原則,這里選取a=0.8作為獎(jiǎng)勵(lì)函數(shù)的比例系數(shù)。從表2仿真實(shí)驗(yàn)數(shù)據(jù)中可以觀察到,不同的比例系數(shù)和不同間隔距離的路徑點(diǎn)對飛行時(shí)間影響不大,而對于NMAC概率和沖突概率的影響較大。對于不同的比例系數(shù)來說,其平均飛行時(shí)間隨比例系數(shù)減小而增加,這是因?yàn)楸壤禂?shù)越小,路徑點(diǎn)對試驗(yàn)機(jī)的影響就越小,而目標(biāo)點(diǎn)的位置對試驗(yàn)機(jī)干擾越大,這從側(cè)面可以反映出原始的蒙特卡洛樹搜索算法規(guī)劃出的無碰撞航跡并不是最優(yōu)的。

    表2 不同比例系數(shù)條件下的仿真結(jié)果

    3.4 對比實(shí)驗(yàn)

    分別在仿真場景1、仿真場景2、仿真場景3中對原始的MCTS算法以及JPS-MCTS算法(間隔距離設(shè)置為80像素,比例系數(shù)a=0.8)進(jìn)行仿真實(shí)驗(yàn),仿真結(jié)果分別如表3~表5所示。

    表3 仿真場景1結(jié)果對比

    表4 仿真場景2結(jié)果對比

    表5 仿真場景3結(jié)果對比

    從表3中可以看出,對于“凹形限飛區(qū)空域”,JPS-MCTS算法相對于MCTS算法,NMAC概率降低了75%、沖突概率降低了36%、抵達(dá)目標(biāo)點(diǎn)概率提升了40%、平均飛行時(shí)間縮短了47.8%、平均路徑長度縮短了43.4%。

    從表4中可以看出,對于“含有凹形區(qū)域的多個(gè)限飛區(qū)空域”,JPS-MCTS算法相對于MCTS算法,NMAC概率降低了75%、沖突概率降低了5.4%、 抵達(dá)目標(biāo)點(diǎn)概率提升了5.4%、平均飛行時(shí)間縮短了15.9%、平均路徑長度縮短了16.7%。

    從表5中可以看出,對于“不含凹形區(qū)域的多個(gè)限飛區(qū)空域”,JPS-MCTS算法相對于MCTS算法,NMAC概率降低了11%、沖突概率降低了5%、抵達(dá)目標(biāo)點(diǎn)概率提升了0.6%、平均飛行時(shí)間縮短了6.4%、平均路徑長度縮短了3.8%。

    從上述結(jié)果中可以看出,JPS-MCTS算法在場景1中的優(yōu)勢最大;JPS-MCTS算法在場景2中相對于場景3優(yōu)勢較為明顯。場景1中的靜態(tài)障礙是3個(gè)場景中對無人機(jī)阻礙范圍最大的,并且場景1和場景2中都包含有凹形區(qū)域,因此可以推論出:JPS-MCTS算法在無人機(jī)需要對靜態(tài)障礙進(jìn)行大范圍繞飛的場景中性能優(yōu)勢最為明顯,對于含有凹形區(qū)域的場景其算法的穩(wěn)定性也較好。原始的MCTS算法對于較大范圍并含有凹形靜態(tài)障礙的場景,其算法性能會出現(xiàn)明顯下降。

    同時(shí),選取具有代表性的2個(gè)仿真場景:仿真場景1和仿真場景2,分別在仿真實(shí)驗(yàn)中將2種算法的沖突點(diǎn)位置進(jìn)行記錄,并繪制在地圖上,結(jié)果如圖7和圖8所示。兩圖中的綠色圓點(diǎn)為發(fā)生沖突時(shí)試驗(yàn)機(jī)的位置,紅色圓點(diǎn)為發(fā)生NMAC時(shí)沖突點(diǎn)的位置。從沖突和碰撞的散點(diǎn)分布可以看出,實(shí)驗(yàn)結(jié)果與預(yù)期一致。原始的MCTS求解避撞決策動作的算法容易陷入凹形區(qū)域且無法較好地實(shí)現(xiàn)對靜態(tài)障礙物避撞。經(jīng)過改進(jìn)后的算法結(jié)合了全局路徑規(guī)劃和隨機(jī)搜索避撞算法的優(yōu)點(diǎn),能夠同時(shí)實(shí)現(xiàn)對靜態(tài)障礙和動態(tài)障礙有效避撞,并避免無人機(jī)陷入凹形區(qū)域?qū)е聼o法抵達(dá)目標(biāo)點(diǎn)。改進(jìn)后的算法由于其獎(jiǎng)勵(lì)函數(shù)通過權(quán)衡路徑點(diǎn)和目標(biāo)點(diǎn)的影響,使得無人機(jī)飛行路線更趨近于有人駕駛航空器的飛行路線,能夠有效繞開靜態(tài)障礙并且提高無人機(jī)到達(dá)目標(biāo)點(diǎn)的效率,同時(shí)保留了隨機(jī)搜索算法在避撞決策過程中實(shí)時(shí)性的優(yōu)點(diǎn)。

    圖7 場景1中沖突點(diǎn)對比結(jié)果

    圖8 場景2中沖突點(diǎn)對比結(jié)果

    4 結(jié) 論

    本文針對城市空域環(huán)境下的無人機(jī)避撞問題展開了研究,提出了一種基于跳點(diǎn)搜索引導(dǎo)的避撞決策算法。該算法本質(zhì)是將城市空間避撞問題進(jìn)行解耦,針對先驗(yàn)的地形環(huán)境,應(yīng)用跳點(diǎn)搜索預(yù)先建立最優(yōu)離散路徑點(diǎn),結(jié)合這些離散路徑點(diǎn)引導(dǎo)無人機(jī)在飛行過程中采用改進(jìn)的具有較強(qiáng)實(shí)時(shí)性的蒙特卡洛樹搜索算法解決試驗(yàn)機(jī)與動態(tài)障礙和靜態(tài)障礙之間的避撞決策問題。相比于僅使用蒙特卡洛樹搜索算法,改進(jìn)后的算法在復(fù)雜空域環(huán)境中體現(xiàn)了全局規(guī)劃的優(yōu)勢,能夠?qū)討B(tài)障礙避撞的同時(shí)對靜態(tài)障礙實(shí)現(xiàn)主動繞飛并獲得更優(yōu)的飛行路線。在特定場景下,改進(jìn)算法能夠降低沖突碰撞發(fā)生的概率并且縮短飛行路程和飛行時(shí)間。

    本實(shí)驗(yàn)場景著重討論了復(fù)雜凹形靜態(tài)障礙和密集交通流動態(tài)障礙共同影響下無人機(jī)避撞決策算法的性能表現(xiàn)。下一步將考慮在真實(shí)城市空域環(huán)境下進(jìn)行建模仿真,用以測試該算法的通用性和實(shí)時(shí)性,并進(jìn)一步對其魯棒性進(jìn)行探究。

    猜你喜歡
    試驗(yàn)機(jī)空域靜態(tài)
    靜態(tài)隨機(jī)存儲器在軌自檢算法
    我國全空域防空體系精彩亮相珠海航展
    鐵路軸承試驗(yàn)機(jī)
    哈爾濱軸承(2020年2期)2020-11-06 09:22:28
    接觸疲勞試驗(yàn)機(jī)伺服電動缸加載系統(tǒng)設(shè)計(jì)
    哈爾濱軸承(2020年1期)2020-11-03 09:16:08
    基于貝葉斯估計(jì)的短時(shí)空域扇區(qū)交通流量預(yù)測
    淺談我國低空空域運(yùn)行管理現(xiàn)狀及發(fā)展
    基于能量空域調(diào)控的射頻加熱花生醬均勻性研究
    橡膠整體式履帶動態(tài)嚙合試驗(yàn)機(jī)的設(shè)計(jì)
    機(jī)床靜態(tài)及動態(tài)分析
    具7μA靜態(tài)電流的2A、70V SEPIC/升壓型DC/DC轉(zhuǎn)換器
    美女主播在线视频| 啦啦啦视频在线资源免费观看| 五月天丁香电影| 久久婷婷成人综合色麻豆| 色尼玛亚洲综合影院| 精品一区二区三区av网在线观看 | 最新美女视频免费是黄的| 国产成人精品久久二区二区91| 国产黄色免费在线视频| 女警被强在线播放| 亚洲一区二区三区欧美精品| 亚洲天堂av无毛| 视频区图区小说| 国产av又大| 一级,二级,三级黄色视频| 日韩大码丰满熟妇| 黄片大片在线免费观看| 欧美日韩福利视频一区二区| 精品欧美一区二区三区在线| 黑人猛操日本美女一级片| 天堂8中文在线网| 亚洲成人手机| 五月天丁香电影| 丰满饥渴人妻一区二区三| 色尼玛亚洲综合影院| 亚洲欧美日韩高清在线视频 | 国产精品二区激情视频| 亚洲伊人色综图| 狠狠精品人妻久久久久久综合| 午夜精品国产一区二区电影| 精品人妻1区二区| 他把我摸到了高潮在线观看 | 丰满人妻熟妇乱又伦精品不卡| 制服人妻中文乱码| av国产精品久久久久影院| 午夜91福利影院| 曰老女人黄片| 亚洲中文字幕日韩| av国产精品久久久久影院| 中文字幕av电影在线播放| 丰满人妻熟妇乱又伦精品不卡| 9色porny在线观看| 大片免费播放器 马上看| 丰满少妇做爰视频| 变态另类成人亚洲欧美熟女 | 亚洲一区二区三区欧美精品| 欧美日韩视频精品一区| 欧美黄色淫秽网站| 亚洲欧洲精品一区二区精品久久久| 一区二区三区国产精品乱码| 涩涩av久久男人的天堂| av欧美777| 亚洲av日韩在线播放| 久久精品国产99精品国产亚洲性色 | 91大片在线观看| 在线播放国产精品三级| 国产麻豆69| 精品久久蜜臀av无| 国产精品欧美亚洲77777| 一区二区三区精品91| 满18在线观看网站| 久久久久久久久久久久大奶| 久久久久国内视频| 欧美人与性动交α欧美精品济南到| 欧美中文综合在线视频| 久久久国产一区二区| 一本大道久久a久久精品| 男女午夜视频在线观看| 国产成人精品无人区| 久久久久国产一级毛片高清牌| 欧美乱码精品一区二区三区| 欧美在线黄色| 亚洲av第一区精品v没综合| 久久精品国产99精品国产亚洲性色 | 成人特级黄色片久久久久久久 | 国产97色在线日韩免费| av免费在线观看网站| 国产淫语在线视频| 中亚洲国语对白在线视频| 国产男女内射视频| 黄网站色视频无遮挡免费观看| 亚洲成人国产一区在线观看| 亚洲人成电影免费在线| 天天躁日日躁夜夜躁夜夜| 新久久久久国产一级毛片| 少妇裸体淫交视频免费看高清 | 在线看a的网站| 国产精品亚洲av一区麻豆| 丰满少妇做爰视频| 国产日韩欧美视频二区| 欧美黑人精品巨大| 肉色欧美久久久久久久蜜桃| 中文字幕人妻熟女乱码| 搡老熟女国产l中国老女人| 丁香六月天网| 国产精品久久久久久人妻精品电影 | 自线自在国产av| 成在线人永久免费视频| 成人三级做爰电影| 国产视频一区二区在线看| 久久中文看片网| 欧美日韩视频精品一区| 天天躁日日躁夜夜躁夜夜| 国产在线观看jvid| 久久久久久久精品吃奶| 最新美女视频免费是黄的| 国产成人欧美| 欧美日韩亚洲综合一区二区三区_| 精品欧美一区二区三区在线| 动漫黄色视频在线观看| 人人妻人人澡人人爽人人夜夜| 色婷婷av一区二区三区视频| 午夜激情av网站| 他把我摸到了高潮在线观看 | 免费看a级黄色片| 91av网站免费观看| 亚洲精品国产色婷婷电影| 中文亚洲av片在线观看爽 | 制服诱惑二区| 一区二区三区乱码不卡18| 少妇精品久久久久久久| 高清毛片免费观看视频网站 | 午夜精品久久久久久毛片777| 一区二区三区国产精品乱码| 久久久精品免费免费高清| 久久精品亚洲av国产电影网| 亚洲国产欧美网| 午夜福利视频在线观看免费| 亚洲av国产av综合av卡| 午夜福利视频精品| 男女无遮挡免费网站观看| 麻豆av在线久日| 人人妻人人添人人爽欧美一区卜| 亚洲伊人色综图| 亚洲欧美一区二区三区黑人| 欧美久久黑人一区二区| 十八禁高潮呻吟视频| 亚洲精品中文字幕一二三四区 | 国产精品.久久久| 亚洲伊人久久精品综合| 欧美精品亚洲一区二区| 国产午夜精品久久久久久| 亚洲国产av影院在线观看| 又黄又粗又硬又大视频| 亚洲久久久国产精品| bbb黄色大片| 国产亚洲精品一区二区www | 一区二区三区精品91| 日日摸夜夜添夜夜添小说| 久久久国产欧美日韩av| tocl精华| netflix在线观看网站| 欧美精品高潮呻吟av久久| 啪啪无遮挡十八禁网站| 国产精品电影一区二区三区 | 丝袜美腿诱惑在线| 在线播放国产精品三级| 国产男靠女视频免费网站| av网站免费在线观看视频| 黄色怎么调成土黄色| 国产男靠女视频免费网站| 国产亚洲av高清不卡| 在线永久观看黄色视频| 午夜精品久久久久久毛片777| 国产亚洲精品一区二区www | 99香蕉大伊视频| 欧美日韩国产mv在线观看视频| av欧美777| 亚洲天堂av无毛| 日韩免费高清中文字幕av| 欧美黑人精品巨大| 亚洲人成伊人成综合网2020| 五月天丁香电影| 日韩欧美三级三区| 久久久久视频综合| 超碰97精品在线观看| 丝袜美腿诱惑在线| 久久99热这里只频精品6学生| 国产男靠女视频免费网站| 最近最新免费中文字幕在线| 亚洲午夜理论影院| 一区二区日韩欧美中文字幕| 国产欧美日韩综合在线一区二区| 黑人巨大精品欧美一区二区mp4| 黄色视频不卡| 国产精品欧美亚洲77777| 亚洲国产成人一精品久久久| 母亲3免费完整高清在线观看| 国产成人av激情在线播放| 免费看a级黄色片| 国产黄色免费在线视频| 9191精品国产免费久久| 国产精品二区激情视频| 国产精品免费大片| 国产在线一区二区三区精| 纵有疾风起免费观看全集完整版| 国产成人免费无遮挡视频| av在线播放免费不卡| 香蕉国产在线看| 国产亚洲精品一区二区www | 一区二区三区精品91| 91九色精品人成在线观看| 80岁老熟妇乱子伦牲交| 桃花免费在线播放| 婷婷成人精品国产| 中国美女看黄片| 免费在线观看日本一区| 欧美精品高潮呻吟av久久| tocl精华| 热99国产精品久久久久久7| 免费在线观看完整版高清| 色婷婷av一区二区三区视频| 欧美 日韩 精品 国产| 性色av乱码一区二区三区2| 久久影院123| 99国产极品粉嫩在线观看| a级毛片在线看网站| 啦啦啦视频在线资源免费观看| 国产淫语在线视频| 日本wwww免费看| 国产精品免费视频内射| 国产一区二区三区在线臀色熟女 | 18禁裸乳无遮挡动漫免费视频| 丰满饥渴人妻一区二区三| 久久人妻熟女aⅴ| 黄片播放在线免费| 精品一品国产午夜福利视频| e午夜精品久久久久久久| 国产亚洲一区二区精品| 人成视频在线观看免费观看| 国产免费视频播放在线视频| 极品少妇高潮喷水抽搐| 电影成人av| 91精品国产国语对白视频| 丝袜在线中文字幕| 一夜夜www| 精品一区二区三区av网在线观看 | 国产一区二区在线观看av| 亚洲精品成人av观看孕妇| 免费高清在线观看日韩| 黄色a级毛片大全视频| 国产一区有黄有色的免费视频| 欧美乱妇无乱码| www日本在线高清视频| 国产在线免费精品| 国产日韩一区二区三区精品不卡| 欧美黑人精品巨大| 日韩一卡2卡3卡4卡2021年| 久久久精品区二区三区| 一级片免费观看大全| 免费一级毛片在线播放高清视频 | 国精品久久久久久国模美| 久久久精品免费免费高清| 色婷婷av一区二区三区视频| 天天躁夜夜躁狠狠躁躁| 两性夫妻黄色片| 激情在线观看视频在线高清 | 女人精品久久久久毛片| 欧美+亚洲+日韩+国产| 欧美亚洲 丝袜 人妻 在线| 国产在视频线精品| 亚洲精品美女久久久久99蜜臀| 精品欧美一区二区三区在线| 丁香六月天网| 国产成人av教育| 丰满饥渴人妻一区二区三| cao死你这个sao货| 老司机深夜福利视频在线观看| 国产午夜精品久久久久久| 黄色丝袜av网址大全| 丁香六月天网| 日本撒尿小便嘘嘘汇集6| 亚洲精品国产区一区二| 视频在线观看一区二区三区| 国产精品久久久久久精品电影小说| 欧美日韩中文字幕国产精品一区二区三区 | 高清欧美精品videossex| 大香蕉久久网| 两个人看的免费小视频| 日韩欧美一区视频在线观看| 在线av久久热| 免费看a级黄色片| 后天国语完整版免费观看| 亚洲专区国产一区二区| 国产精品久久久久久人妻精品电影 | 两个人免费观看高清视频| 免费不卡黄色视频| 人人妻,人人澡人人爽秒播| 欧美亚洲 丝袜 人妻 在线| 成年人午夜在线观看视频| 亚洲av日韩精品久久久久久密| 人人澡人人妻人| 一区二区日韩欧美中文字幕| 国产亚洲欧美精品永久| 免费黄频网站在线观看国产| 最新在线观看一区二区三区| 亚洲 国产 在线| 亚洲五月婷婷丁香| 精品少妇一区二区三区视频日本电影| 亚洲精华国产精华精| 91九色精品人成在线观看| 亚洲,欧美精品.| 国产激情久久老熟女| 日本五十路高清| 在线观看免费日韩欧美大片| 天堂俺去俺来也www色官网| 肉色欧美久久久久久久蜜桃| 99久久99久久久精品蜜桃| 99国产精品免费福利视频| 正在播放国产对白刺激| 日韩精品免费视频一区二区三区| 欧美日韩亚洲国产一区二区在线观看 | 水蜜桃什么品种好| 国产成人精品无人区| 亚洲专区字幕在线| 亚洲九九香蕉| 日本黄色视频三级网站网址 | 亚洲av国产av综合av卡| 久久人妻av系列| 欧美av亚洲av综合av国产av| 操出白浆在线播放| 变态另类成人亚洲欧美熟女 | 国产熟女午夜一区二区三区| 91九色精品人成在线观看| 黄片小视频在线播放| 美女主播在线视频| 九色亚洲精品在线播放| 国产精品.久久久| 国产亚洲午夜精品一区二区久久| 中文字幕制服av| 中亚洲国语对白在线视频| 美国免费a级毛片| 亚洲av美国av| 人妻久久中文字幕网| 91字幕亚洲| 夜夜爽天天搞| 精品国产国语对白av| 亚洲视频免费观看视频| 制服诱惑二区| 一边摸一边抽搐一进一出视频| 日本精品一区二区三区蜜桃| 成人国语在线视频| 侵犯人妻中文字幕一二三四区| 亚洲性夜色夜夜综合| 天堂8中文在线网| 国产在线观看jvid| 亚洲熟女精品中文字幕| 欧美乱码精品一区二区三区| 国产免费av片在线观看野外av| 超色免费av| 91精品国产国语对白视频| 欧美日本中文国产一区发布| 国产精品一区二区免费欧美| 精品人妻熟女毛片av久久网站| 人人澡人人妻人| 日韩欧美三级三区| 亚洲精品久久午夜乱码| 亚洲中文av在线| 久久99热这里只频精品6学生| 亚洲av美国av| 啦啦啦中文免费视频观看日本| 亚洲精品美女久久久久99蜜臀| 天堂8中文在线网| 考比视频在线观看| 欧美精品av麻豆av| 亚洲成av片中文字幕在线观看| 91老司机精品| 十八禁网站网址无遮挡| 91精品国产国语对白视频| 五月开心婷婷网| 在线观看免费高清a一片| 十八禁网站网址无遮挡| 中文字幕av电影在线播放| 亚洲精品国产精品久久久不卡| 日日爽夜夜爽网站| 性高湖久久久久久久久免费观看| 亚洲欧美一区二区三区久久| 欧美激情高清一区二区三区| 久久精品亚洲熟妇少妇任你| 国产成人精品无人区| 国产精品国产高清国产av | 首页视频小说图片口味搜索| 欧美在线黄色| 黄色丝袜av网址大全| 国产不卡av网站在线观看| 黑人猛操日本美女一级片| 在线永久观看黄色视频| 两个人看的免费小视频| 国产午夜精品久久久久久| 在线观看免费高清a一片| 国产免费现黄频在线看| 91九色精品人成在线观看| 免费观看人在逋| 王馨瑶露胸无遮挡在线观看| 性高湖久久久久久久久免费观看| 色播在线永久视频| 亚洲九九香蕉| 成年版毛片免费区| 丝袜人妻中文字幕| 国产无遮挡羞羞视频在线观看| 成人手机av| 日韩中文字幕欧美一区二区| 男人操女人黄网站| 日韩免费av在线播放| 亚洲国产av新网站| 亚洲第一av免费看| 亚洲精品国产色婷婷电影| 亚洲成人国产一区在线观看| 国产精品电影一区二区三区 | 国产精品秋霞免费鲁丝片| 久久久久久人人人人人| e午夜精品久久久久久久| 欧美精品高潮呻吟av久久| 成年女人毛片免费观看观看9 | 99精品欧美一区二区三区四区| 国产在线精品亚洲第一网站| 亚洲第一青青草原| 日日摸夜夜添夜夜添小说| 国产男女超爽视频在线观看| 91九色精品人成在线观看| 亚洲av第一区精品v没综合| 欧美日韩av久久| 久久精品91无色码中文字幕| 久久久久久免费高清国产稀缺| 成人黄色视频免费在线看| 热re99久久精品国产66热6| tocl精华| 女人高潮潮喷娇喘18禁视频| 欧美日韩亚洲国产一区二区在线观看 | 午夜精品国产一区二区电影| 十分钟在线观看高清视频www| 精品国产一区二区三区四区第35| 国产aⅴ精品一区二区三区波| 欧美黄色片欧美黄色片| 亚洲精品av麻豆狂野| 99精国产麻豆久久婷婷| 成年版毛片免费区| 制服诱惑二区| 18禁观看日本| 亚洲人成伊人成综合网2020| 国产淫语在线视频| 久久人人爽av亚洲精品天堂| 精品福利观看| 国产一区二区三区综合在线观看| 欧美乱码精品一区二区三区| 电影成人av| 亚洲精品在线美女| 热99re8久久精品国产| 国产男靠女视频免费网站| av网站在线播放免费| 亚洲视频免费观看视频| 国产1区2区3区精品| 大陆偷拍与自拍| 色婷婷久久久亚洲欧美| 久久精品亚洲av国产电影网| 乱人伦中国视频| 国产成人欧美在线观看 | 免费看十八禁软件| 久久久久久久大尺度免费视频| e午夜精品久久久久久久| 精品视频人人做人人爽| 人人妻人人添人人爽欧美一区卜| 黄色视频,在线免费观看| 国产精品久久久久久精品电影小说| 大香蕉久久成人网| 国产在线一区二区三区精| 人妻久久中文字幕网| a级片在线免费高清观看视频| 脱女人内裤的视频| 99国产综合亚洲精品| 97人妻天天添夜夜摸| 在线观看免费日韩欧美大片| 乱人伦中国视频| 熟女少妇亚洲综合色aaa.| 人人妻人人爽人人添夜夜欢视频| 丰满少妇做爰视频| 中国美女看黄片| 在线亚洲精品国产二区图片欧美| 欧美黄色淫秽网站| 18禁国产床啪视频网站| 少妇猛男粗大的猛烈进出视频| 18禁美女被吸乳视频| 欧美成人午夜精品| 国产国语露脸激情在线看| 日本欧美视频一区| av网站在线播放免费| 欧美激情 高清一区二区三区| 一区二区三区国产精品乱码| 精品福利永久在线观看| 欧美日韩亚洲高清精品| 亚洲成国产人片在线观看| 日韩欧美一区视频在线观看| 日日爽夜夜爽网站| 高清黄色对白视频在线免费看| 麻豆乱淫一区二区| 性少妇av在线| 热99久久久久精品小说推荐| 久久 成人 亚洲| 男女免费视频国产| 婷婷成人精品国产| 老司机午夜福利在线观看视频 | 777米奇影视久久| 国产91精品成人一区二区三区 | 久久亚洲真实| 每晚都被弄得嗷嗷叫到高潮| 精品午夜福利视频在线观看一区 | svipshipincom国产片| 啦啦啦 在线观看视频| 免费在线观看视频国产中文字幕亚洲| 丝袜人妻中文字幕| 精品人妻1区二区| 免费av中文字幕在线| 国产一区二区三区综合在线观看| 欧美国产精品va在线观看不卡| 久久性视频一级片| 97在线人人人人妻| 国产精品一区二区在线不卡| 午夜福利免费观看在线| 下体分泌物呈黄色| 在线观看免费日韩欧美大片| 丁香六月天网| 久久人人爽av亚洲精品天堂| 免费女性裸体啪啪无遮挡网站| 国产精品亚洲一级av第二区| 日本wwww免费看| 80岁老熟妇乱子伦牲交| 大片免费播放器 马上看| 中亚洲国语对白在线视频| 伊人久久大香线蕉亚洲五| 成人三级做爰电影| 久久久水蜜桃国产精品网| 亚洲自偷自拍图片 自拍| 十八禁人妻一区二区| 老熟女久久久| 成人影院久久| 免费高清在线观看日韩| 亚洲欧美激情在线| 国产精品亚洲av一区麻豆| 高清视频免费观看一区二区| 日韩免费高清中文字幕av| 久久性视频一级片| 免费少妇av软件| 淫妇啪啪啪对白视频| 国产有黄有色有爽视频| 妹子高潮喷水视频| 自拍欧美九色日韩亚洲蝌蚪91| 国产欧美日韩精品亚洲av| 757午夜福利合集在线观看| 别揉我奶头~嗯~啊~动态视频| av在线播放免费不卡| 久久国产亚洲av麻豆专区| a级毛片在线看网站| 日韩欧美国产一区二区入口| 黑人猛操日本美女一级片| 国产一区二区三区在线臀色熟女 | 老司机亚洲免费影院| 久久久国产成人免费| avwww免费| 丝袜美足系列| 中国美女看黄片| 男女午夜视频在线观看| 91老司机精品| 国产成人精品无人区| 亚洲全国av大片| av一本久久久久| 国产一区二区三区在线臀色熟女 | 国产精品久久久久久精品电影小说| 免费在线观看黄色视频的| 久久精品国产亚洲av香蕉五月 | 一个人免费看片子| 久久青草综合色| 久久亚洲真实| 日本五十路高清| 青青草视频在线视频观看| 亚洲欧美一区二区三区黑人| 国产欧美日韩一区二区三区在线| 在线播放国产精品三级| 久久人妻福利社区极品人妻图片| 久久婷婷成人综合色麻豆| 国产男女内射视频| 国产男女超爽视频在线观看| 精品国产亚洲在线| 成人三级做爰电影| 国产成人精品在线电影| 动漫黄色视频在线观看| 欧美日韩亚洲国产一区二区在线观看 | 另类亚洲欧美激情| 9191精品国产免费久久| 欧美乱妇无乱码| av欧美777| 亚洲午夜理论影院| 日本av免费视频播放| avwww免费| 久久精品国产综合久久久| 香蕉国产在线看| 在线观看免费视频网站a站| 黑人操中国人逼视频| tocl精华| 两个人免费观看高清视频| 国产在视频线精品| av福利片在线| 国产一卡二卡三卡精品| 757午夜福利合集在线观看| 日本wwww免费看| 日本精品一区二区三区蜜桃| 午夜激情av网站| 欧美黄色淫秽网站| 亚洲精品国产精品久久久不卡| 在线观看免费视频日本深夜| 久久久久久亚洲精品国产蜜桃av| 91精品三级在线观看| av免费在线观看网站| 国产单亲对白刺激| 欧美日韩中文字幕国产精品一区二区三区 | 宅男免费午夜|