• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    未知環(huán)境下基于深度序列蒙特卡羅樹搜索的信源導(dǎo)航方法

    2022-08-13 08:23:02段世紅
    電子學(xué)報 2022年7期
    關(guān)鍵詞:信源信號源決策

    段世紅,何 昊,徐 誠,殷 楠,王 然

    (1.北京科技大學(xué)計算機(jī)與通信工程學(xué)院,北京 100083;2.北京科技大學(xué)順德研究生院,廣東佛山 528399)

    1 引言

    信源導(dǎo)航在應(yīng)急救援、工業(yè)巡檢及其他危險作業(yè)中具有重要應(yīng)用意義.在幫助尋找礦井中的幸存者、在核電站中尋找輻射源、在海洋里尋找石油泄漏源等應(yīng)用中,非常需要小型、靈活的機(jī)器人在這些復(fù)雜環(huán)境中實(shí)現(xiàn)完全自主的導(dǎo)航與搜索,快速部署智能體.

    梯度方法是尋源問題領(lǐng)域最早研究的算法,也是解決尋源問題的有效的方法之一.梯度方法利用信號場中信號的梯度變化信息引導(dǎo)智能體移動到信號源所在位置.路永鑫等人[1]提出一種梯度下降法和改進(jìn)A*算法相結(jié)合的應(yīng)急機(jī)器人路徑規(guī)劃方法.該方法在運(yùn)動過程中結(jié)合梯度下降法進(jìn)行局部動態(tài)路徑規(guī)劃,解決了傳感器探測能力局限性和災(zāi)情蔓延產(chǎn)生新危險源等情況下的風(fēng)險規(guī)避困難問題.但是梯度下降法容易陷入局部最優(yōu),且梯度計算復(fù)雜度較高,效率較低.

    由于梯度下降相關(guān)算法存在上述問題,近年來解決路徑規(guī)劃問題的方法大多是啟發(fā)式群智能算法[2~7].即通過模擬一些自然現(xiàn)象或生物行為過程來解決路徑規(guī)劃問題,如粒子群優(yōu)化算法[3]、蟻群算法[4]、遺傳算法[5]和克隆選擇算法[6]等.其中,文獻(xiàn)[7]提出了一種改進(jìn)的移動機(jī)器人路徑規(guī)劃優(yōu)化人工蜂群算法,利用貝塞爾曲線描述路徑,將路徑優(yōu)化問題轉(zhuǎn)化為生成貝塞爾曲線點(diǎn)的位置優(yōu)化問題.這些生物群體式的群啟發(fā)式算法能較好地避開局部最優(yōu)值,但都依賴相關(guān)參數(shù)的設(shè)置,極大地影響了算法解決實(shí)際問題的能力.面對動態(tài)環(huán)境中的路徑規(guī)劃問題,無法預(yù)測計劃中可能進(jìn)一步出現(xiàn)的約束和沖突.

    動態(tài)環(huán)境中的路徑規(guī)劃可以表述為一個序列決策問題.序列是許多信息系統(tǒng)的重要組成部分,在許多應(yīng)用和系統(tǒng)上起著重要的作用,例如,蜂窩碼分多址系統(tǒng)[8]利用擴(kuò)頻序列來區(qū)分來自不同用戶的信號;脈沖壓縮雷達(dá)系統(tǒng)[9]利用相位編碼序列調(diào)制的探測脈沖來實(shí)現(xiàn)遠(yuǎn)距離物體的高分辨率探測.此外,有許多關(guān)于動態(tài)環(huán)境中路徑規(guī)劃和運(yùn)動預(yù)測的文獻(xiàn)并有大量調(diào)查[10~12].例如,陳勁峰等[13]提出動態(tài)環(huán)境下基于改進(jìn)人工勢場法的路徑規(guī)劃算法,并表明改進(jìn)的人工勢場法可解決局部最小值和目標(biāo)不可達(dá)問題,且有良好的動態(tài)避障能力.但是有研究發(fā)現(xiàn)當(dāng)周圍環(huán)境變得越來越復(fù)雜時,機(jī)器人失去了尋找路徑的能力,并選擇停止或者不規(guī)則行動[14].為了克服上述問題,Helbing 等[15]提出了一個社會能力模型(Social Force Model,SFM),將智能體之間的協(xié)作和交互描述為高斯過程,預(yù)測智能體在導(dǎo)航期間的未來運(yùn)動.

    由以上分析可知,梯度方法效率較低且不易推廣,生物群體式的啟發(fā)式算法容易陷入局部最優(yōu)且難以完全實(shí)現(xiàn)自主決策.強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)可以實(shí)現(xiàn)自主學(xué)習(xí)和決策,是機(jī)器學(xué)習(xí)的一個重要分支[16],其通過不斷學(xué)習(xí)求出馬爾可夫決策過程(Markov Decision Process,MDP)[17,18]的解.強(qiáng)化學(xué)習(xí)的一個顯著特征是“從互動中學(xué)習(xí)”,智能體通過一系列離散時間步驟與環(huán)境進(jìn)行交互.在時間t下,智能體觀察到環(huán)境處于狀態(tài)St,基于對St的觀察,智能體采取行動a,這導(dǎo)致智能體接收到獎勵R(St,a),并且環(huán)境變成新的狀態(tài)St+1.蒙特卡洛樹搜索(Monte-Carlo Tree Search,MCTS)是一種強(qiáng)化學(xué)習(xí)方法[19],在面臨決策問題的多種選擇下選出最優(yōu)的決策結(jié)果.文獻(xiàn)[20]提出了一種基于全擴(kuò)展的MCTS 方法,通過減少模擬的步數(shù)來加快樹的搜索效率.受此啟發(fā),由于MCTS 的性能受其有效搜索深度的約束[21],本文希望能夠?qū)v史序列決策信息作為MCTS 的先驗(yàn)知識,減少M(fèi)CTS 的搜索深度,以促進(jìn)MCTS 根據(jù)歷史最優(yōu)決策信息做出最佳決策.此外,圍棋領(lǐng)域最強(qiáng)大的AlphaGo 算法[22],讓人類領(lǐng)略到深度強(qiáng)化學(xué)習(xí)的威力,其主要是將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)融合,對算法進(jìn)行優(yōu)化,使之能夠在短時間內(nèi)做出正確的決策.許多研究亦可證明,深度強(qiáng)化學(xué)習(xí)在路徑規(guī)劃領(lǐng)域?qū)μ岣咧悄荏w的導(dǎo)航能力是有效的[23,24].

    出于上述考慮,本文充分利用深度強(qiáng)化學(xué)習(xí)的強(qiáng)大優(yōu)勢,面向部分可觀測環(huán)境下的信源導(dǎo)航問題提出一個健壯且有效的算法,即基于深度序列蒙特卡洛樹搜索的信源導(dǎo)航(Deep Sequential Monte-Carlo Tree Search,DS-MCTS)方法.進(jìn)一步根據(jù)該方法提出一個結(jié)合長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)和蒙特卡洛樹搜索的集成信源導(dǎo)航框架.對智能體在信源導(dǎo)航過程中的序列軌跡信息和決策信息采樣保存,序列動作預(yù)測(Sequential Action Prediction,SAP)網(wǎng)絡(luò)利用歷史序列信息給MCTS方法提供先驗(yàn)知識,獎勵分配預(yù)測(Reward Allocation Prediction,RAP)網(wǎng)絡(luò)在訓(xùn)練中提高獎勵分配精度,促進(jìn)MCTS 方法最優(yōu)化決策.本文還將提出的DS-MCTS 方法在模擬信號場中進(jìn)行了相關(guān)實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,該方法能夠在部分可觀測環(huán)境下有效的進(jìn)行路徑規(guī)劃,并且具有非常穩(wěn)定的性能.同時,也能證明深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)融合是機(jī)器人應(yīng)用中一組有前途的算法,快速發(fā)展的深度強(qiáng)化學(xué)習(xí)領(lǐng)域使得應(yīng)用更加健壯和準(zhǔn)確.

    本文主要貢獻(xiàn)包括以下幾個方面.

    (1)提出基于DS-MCTS 方法和框架,將該方法和框架應(yīng)用于智能體信源導(dǎo)航過程中.研究表明,本文提出的方法和框架能較大程度地利用序列數(shù)據(jù)優(yōu)化信源導(dǎo)航過程中的決策以及提高智能體的信源導(dǎo)航成功率,解決了傳統(tǒng)MCTS過程缺乏對歷史信息的提取利用問題,避免復(fù)雜環(huán)境下智能體陷入局部最優(yōu).

    (2)提出了序列動作預(yù)測(SAP)網(wǎng)絡(luò),利用LSTM和全連接層的特性,根據(jù)智能體的歷史軌跡數(shù)據(jù)信息預(yù)測當(dāng)前時刻下智能體的動作可能性,為蒙特卡洛樹搜索決策提供先驗(yàn)知識,促進(jìn)最優(yōu)化決策.

    (3)提出了端到端的獎勵分配預(yù)測(RAP)網(wǎng)絡(luò),解決之前模擬階段過于復(fù)雜的仿真計算問題,提高M(jìn)CTS方法中的獎勵分配精度以及搜索效率.

    2 系統(tǒng)建模

    2.1 問題定義

    信源導(dǎo)航問題主要是指智能體在部分可觀測的信號場中尋找信號源的問題.未知環(huán)境下的信源搜索可以定義為一個部分可觀測馬爾科夫決策過程(Partially Observable Markov Decision Process,POMDP).POMDP

    模型是馬爾科夫決策模型的擴(kuò)展,在強(qiáng)化學(xué)習(xí)中,MDP是對完全可觀測的環(huán)境進(jìn)行描述的,也就是觀測到的狀態(tài)內(nèi)容完整地決定了決策需要的特征[25].但是很多情況下,系統(tǒng)的完整的狀態(tài)信息難以獲取,特別是測量環(huán)境信息的傳感器信號容易受到噪聲的影響.同時,POMDP 假設(shè)系統(tǒng)的狀態(tài)信息不能直接觀測得到,是部分可知的,即系統(tǒng)狀態(tài)僅部分可見情況下的馬爾可夫決策過程,這符合本文信源導(dǎo)航問題的實(shí)際情況.所以在本文所提出的方法中,智能體根據(jù)自身傳感器獲得的部分環(huán)境信息經(jīng)由蒙特卡洛樹搜索輸出角度移動到下一步的目標(biāo)位置,直至找到信號源,整個過程可以建模為一個POMDP 模型,其由八元組(S,A,Z,T,O,R,γ,b0)組成.

    S:智能體的連續(xù)狀態(tài)空間,其中狀態(tài)由位置表示.St是智能體在t時刻的位置,St=(xt,yt),S={Si,Si+1,…,St}可以理解成智能體的軌跡信息.

    A:動作的離散集合.At是智能體在t時刻的運(yùn)動方向,A={Ai,Ai+1,…,At}代表智能體的歷史運(yùn)動方向信息,其中

    Z:觀測到的環(huán)境信息.t時刻下的觀測信息Zt=IS_t+ω,IS_t表示St位置下信號強(qiáng)度,ω是觀測噪聲.

    T:S×A→S',狀態(tài)轉(zhuǎn)變函數(shù),可以理解成智能體的運(yùn)動方程,表示為

    其中,v是智能體的前進(jìn)速度,At是動作方向,xt-1和yt-1是智能體上一時刻于信號場的橫坐標(biāo)和縱坐標(biāo).

    O:S×A→O(Z),觀測模型,例如O(Zt+1=Z|St+1=s,At=a).

    R:S×A→R,智能體在狀態(tài)s下采取動作a獲得的獎勵R(s,a).

    γ:折扣因子,0 ≤γ ≤1.

    b0:智能體初始信念狀態(tài).

    首先在狀態(tài)、動作空間上訓(xùn)練SAP 網(wǎng)絡(luò),再將訓(xùn)練好的網(wǎng)絡(luò)用于智能體在下一時間步的蒙特卡洛樹搜索決策上,并在后續(xù)路徑規(guī)劃上遞歸應(yīng)用.圖1 為集成信源導(dǎo)航框架圖,概述了如何使用SAP 網(wǎng)絡(luò)根據(jù)t的前m時刻的軌跡信息和歷史運(yùn)動方向信息,預(yù)測下一時刻的動作方向概率pt.在創(chuàng)建搜索樹的過程中,對每個擴(kuò)展節(jié)點(diǎn)進(jìn)行模擬,參考pt后通過RAP 網(wǎng)絡(luò)給出預(yù)測獎勵值,同時不斷訓(xùn)練RAP網(wǎng)絡(luò).

    圖1 集成信源導(dǎo)航框架圖

    2.2 系統(tǒng)框架

    動態(tài)環(huán)境中的路徑規(guī)劃可以表述為一個順序決策問題.在信源導(dǎo)航過程中倘若把整個過程分為若干個連續(xù)的階段,各個階段的決策結(jié)果前后銜接,這樣可通過歷史決策序列為下一時刻做出最佳決策提供有效信息.此外,由于信號源環(huán)境部分可觀測,且在探索過程中獎勵函數(shù)是稀疏的,稀疏的獎勵計劃往往需要長期的信息收集,希望能夠通過神經(jīng)網(wǎng)絡(luò)來近似真實(shí)獎勵值.為此,本文提出集成信源導(dǎo)航框架來解決這一問題,體現(xiàn)DS-MCTS方法的有效性.

    框架主要分為3個部分.一是SAP網(wǎng)絡(luò).核心是長短期記憶神經(jīng)網(wǎng)絡(luò),能夠使神經(jīng)元在管道中保持前后序列記憶.滑動窗口單步向前移動更新歷史數(shù)據(jù)信息,解決了梯度消失問題,通過對智能體軌跡和歷史動作選擇輸出先驗(yàn)動作概率知識,促進(jìn)MCTS算法做出最佳策略.二是MCTS 算法.在先驗(yàn)動作概率信息下,經(jīng)過樹搜索給出唯一最佳動作方向決策.三是RAP 網(wǎng)絡(luò).端到端輸出預(yù)測獎勵值,在樹搜索模擬階段通過不斷訓(xùn)練,使得模擬獎勵逼近真實(shí)獎勵,提高獎勵分配的精度,提升MCTS 算法的決策效率,降低樹搜索模擬階段的復(fù)雜度.

    3 深度序列蒙特卡洛樹搜索方法

    3.1 蒙特卡洛樹搜索

    MCTS 方法是一種用于決策問題的啟發(fā)式搜索算法[26~28],最著名的是在博弈游戲中使用,如AlphaGo[22].MCTS 方法的核心思想是通過迭代地對動作空間進(jìn)行隨機(jī)采樣并根據(jù)采樣結(jié)果構(gòu)建搜索樹來找到最優(yōu)決策.在搜索樹中,每個節(jié)點(diǎn)表示決策域的一個狀態(tài),指向其子節(jié)點(diǎn)的鏈接表示導(dǎo)致后續(xù)狀態(tài)的動作.如圖2所示,在每次迭代中,MCTS 方法執(zhí)行4 個步驟即選擇、擴(kuò)展、模擬和反向傳播.蒙特卡洛樹搜索過程根據(jù)智能體的軌跡信息,迭代搜索過程以得到動作策略π,蒙特卡洛樹搜索從根節(jié)點(diǎn)開始,樹中每擴(kuò)展節(jié)點(diǎn)都會包含信息{I(n),s(n),a(n),p(n),R(n),N(n)}.其 中,I(n)表示節(jié)點(diǎn)n所處位置s(n)的信號值,a(n)表示節(jié)點(diǎn)n的父節(jié)點(diǎn)到節(jié)點(diǎn)n的動作方向,p(n)表示節(jié)點(diǎn)n的先驗(yàn)動作選擇概率,R(n)表示節(jié)點(diǎn)n的累積獎勵,N(n)表示節(jié)點(diǎn)n的被訪問次數(shù).MCTS 方法主要分為以下幾個步驟:

    圖2 蒙特卡洛樹搜索示意圖

    (1)選擇:從根節(jié)點(diǎn)開始,應(yīng)用樹的上限置信度公式(Upper Confidence bound apply to Trees,UCT)[29]來選擇子節(jié)點(diǎn),UCT平衡了節(jié)點(diǎn)的探索和利用.UCT公式為

    其中,N(nh)表示n節(jié)點(diǎn)的父節(jié)點(diǎn)被遍歷的次數(shù).

    (2)擴(kuò)展:如果節(jié)點(diǎn)n不是終止節(jié)點(diǎn),有節(jié)點(diǎn)n未擴(kuò)展過的可選動作集合,隨機(jī)選擇集合中的動作,根據(jù)式(1)生成子節(jié)點(diǎn)的位置信息,以此擴(kuò)展搜索樹,并將子節(jié)點(diǎn)相關(guān)信息初始化.

    (3)模擬:擴(kuò)展子節(jié)點(diǎn)后,RAP 網(wǎng)絡(luò)預(yù)測更新該節(jié)點(diǎn)的獎勵值.

    (4)反向傳播:該步驟中,獎勵值和訪問次數(shù)被傳播回根節(jié)點(diǎn),更新每個節(jié)點(diǎn)的統(tǒng)計信息:

    步驟(1)~(4)反復(fù)執(zhí)行,直到達(dá)到最大迭代次數(shù),在根節(jié)點(diǎn)下根據(jù)式(2)選擇其最佳子節(jié)點(diǎn)以及對應(yīng)的動作a,作為該時間步MCTS方法輸出的策略.

    3.2 SAP網(wǎng)絡(luò)

    本文提出的SAP 網(wǎng)絡(luò)如圖3 所示,其結(jié)構(gòu)主要由LSTM 和全連接網(wǎng)絡(luò)組成.LSTM 是一種特殊的RNN,克服RNN 的“梯度消失”問題.在智能體信源導(dǎo)航過程中,有一個長度為m的變長滑動窗口.每個時刻滑動窗口往前移動一步,與此同時將當(dāng)前時刻前m時間步的軌跡信息和對應(yīng)的動作方向作為輸入,輸出智能體下一時刻針對動作選擇的概率信息,作為MCTS方法的先驗(yàn)知識.因?yàn)榘ㄖ悄荏w軌跡在內(nèi)的歷史信息能夠反映智能體在這一小段時間的運(yùn)動趨勢,通過訓(xùn)練SAP網(wǎng)絡(luò)學(xué)習(xí)智能體的動作選擇概率來預(yù)測運(yùn)動趨勢,這樣能大大提高智能體的信源導(dǎo)航效率并避免局部最優(yōu).此外,使用已知的歷史信息作為輸入已經(jīng)被證明可以學(xué)習(xí)智能體的動作和下一個時刻位置之間的關(guān)系[30].該網(wǎng)絡(luò)是從現(xiàn)實(shí)世界的相互作用中學(xué)習(xí)得到的,然后用來模擬連續(xù)動作的轉(zhuǎn)換.網(wǎng)絡(luò)包括接受輸入的非線性嵌入層和LSTM 層,非線性嵌入層使用校正線性單元激活,輸出通過線性層傳遞,映射到智能體在下一時刻各個動作方向上的概率,表示為

    圖3 SAP網(wǎng)絡(luò)結(jié)構(gòu)圖

    其中,WSAP表示要配置的SAP網(wǎng)絡(luò)的參數(shù).

    本文使用m個時間變長的編碼序列,訓(xùn)練過程是將式(4)的損失降至最低,即

    其中,A表示運(yùn)動方向集合,p'a表示a方向的預(yù)測概率,pa表示a方向的真實(shí)概率.

    3.3 RAP網(wǎng)絡(luò)

    本文提出的RAP 網(wǎng)絡(luò)如圖4 所示,使用智能體的軌跡信息和預(yù)測的動作方向概率作為輸入,預(yù)測當(dāng)前位置應(yīng)該被分配的獎勵值.如圖1 所示,RAP 嵌入MCTS 方法中,應(yīng)用于MCTS 方法的模擬階段.傳統(tǒng)MCTS 的模擬階段需要一直模擬到達(dá)終止?fàn)顟B(tài),加入RAP 網(wǎng)絡(luò)可以并行單步模擬估計節(jié)點(diǎn)的獎勵值,所有節(jié)點(diǎn)在模擬階段直接通過RAP 網(wǎng)絡(luò)就可直接獲得獎勵值[31].這樣能將模擬階段的步驟簡化并大大提高搜索的性能.蒙特卡洛樹搜索過程中的行走軌跡也將會及時更新到智能體的軌跡信息中,蒙特卡洛樹當(dāng)前節(jié)點(diǎn)的預(yù)測獎勵值通過式(5)得出:

    圖4 RAP網(wǎng)絡(luò)結(jié)構(gòu)圖

    其中,IS_t表示t時刻智能體在位置St的信號強(qiáng)度,WRAP表示要配置的RAP網(wǎng)絡(luò)的參數(shù).

    RAP 網(wǎng)絡(luò)是用來預(yù)測當(dāng)前位置的獎勵值,通過不斷訓(xùn)練RAP網(wǎng)絡(luò)提高預(yù)測精度,訓(xùn)練的損失函數(shù)為

    其中,R't為當(dāng)前位置的真實(shí)獎勵值,α是權(quán)重系數(shù),Ic_pos和Il_pos分別為當(dāng)前位置和上一時刻位置的信號強(qiáng)度,Dc_pos和Dl_pos分別是當(dāng)前時刻和上一時刻距離信號源的曼哈頓距離,D的計算方式為

    其中,Ps表示信號源所處的位置.

    4 實(shí)驗(yàn)結(jié)果和分析

    本節(jié)對本文提出的DS-MCTS 方法進(jìn)行實(shí)驗(yàn)驗(yàn)證,以評估所提出的方法的性能表現(xiàn),驗(yàn)證其有效性.

    4.1 實(shí)驗(yàn)設(shè)置

    實(shí)驗(yàn)?zāi)M一個信號源在大小20 m×20 m 的信號場中,本文將信源強(qiáng)度建模為離信源距離的函數(shù),智能體在信號場各位置觀測到的信號強(qiáng)度由式(9)[32]給出:

    其中,P代表信號點(diǎn)的位置,Ps代表信號源位置.R為模擬智能體對于真實(shí)信號的實(shí)際接收情況而加入的噪聲和Y分別服從正態(tài)分布,即

    本文模擬這樣一個信號場去訓(xùn)練智能體尋找信號源,將信號場區(qū)域劃分成方形網(wǎng)格,簡化搜索區(qū)域.這一方法把信號場區(qū)域簡化為一個二維數(shù)組,數(shù)組的每一個元素是信號場的一個方塊.初始化智能體在信號場中的起始位置,信號源位置固定,智能體采樣信源導(dǎo)航過程中的軌跡信息和信號強(qiáng)度信息,通過訓(xùn)練SAP和RAP 網(wǎng)絡(luò),能得到一個策略,可以使智能體決策朝著離信號源梯度上升最快方向行動,并且該策略適用于不同的信源環(huán)境.

    對于SAP 網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示,采用兩層LSTM 疊加,再通過具有8 個神經(jīng)元的全連接層預(yù)測動作概率信息.間隔100 個采樣樣本訓(xùn)練一次,batch size設(shè)置為10,學(xué)習(xí)速率設(shè)置為0.000 1.輸入為智能體當(dāng)前時刻的前m時間步的位置和動作信息,每一時間間隔類似于單步滑動窗口,輸出為每個動作方向的概率,為MCTS方法提供先驗(yàn)知識.

    表1 SAP網(wǎng)絡(luò)結(jié)構(gòu)

    對于RAP 網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如表2 所示,采用三層全連接神經(jīng)網(wǎng)絡(luò)疊加.間隔2 000 個采樣樣本訓(xùn)練一次,batch size 設(shè)置為50,學(xué)習(xí)速率設(shè)置為0.000 1,訓(xùn)練中MCTS 方法迭代次數(shù)設(shè)置為200,深度設(shè)置為4.輸入為智能體當(dāng)前節(jié)點(diǎn)的前m時間步的位置和信號強(qiáng)度信息以及先驗(yàn)動作概率信息,輸出為當(dāng)前節(jié)點(diǎn)模擬的預(yù)測獎勵值,通過訓(xùn)練不斷提高獎勵分配精度,提高M(jìn)CTS方法的決策效率.

    表2 RAP網(wǎng)絡(luò)結(jié)構(gòu)

    4.2 性能分析

    圖5 仿真實(shí)驗(yàn)信源導(dǎo)航路徑圖

    圖6 和圖7 分別表示RAP 網(wǎng)絡(luò)和SAP 網(wǎng)絡(luò)的訓(xùn)練損失曲線圖.RAP 網(wǎng)絡(luò)訓(xùn)練損失收斂于大概300 個epoch 時,SAP 訓(xùn)練損失收斂于100 個epoch 左右,且之后都保持在一個較低的損失.特別注意的是,雖然SAP損失在圖中表示的波動較大,實(shí)際上收斂于(0.5,0.7)區(qū)間,明顯較之前損失低且穩(wěn)定,同時也說明兩個神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)計合理,能夠快速的訓(xùn)練網(wǎng)絡(luò),促進(jìn)DS-MCTS方法對信源導(dǎo)航的高效決策.

    圖6 RAP網(wǎng)絡(luò)訓(xùn)練損失圖

    圖7 SAP網(wǎng)絡(luò)訓(xùn)練損失圖

    圖8 表示智能體在訓(xùn)練期間每次迭代信源導(dǎo)航的步數(shù)圖線,該實(shí)驗(yàn)信號源位置保持不變設(shè)置為[10,10],智能體的位置每次迭代均隨機(jī)生成(距離信號源不低于10),信號場分布均值為1,方差為1.7,智能體可選8個動作方向.由圖8 可知,智能體在開始25 次迭代次數(shù)中,步數(shù)顯著較高,說明智能體并未找到一條最優(yōu)信源導(dǎo)航路徑或者未能在迭代終止條件前成功尋找到信號源.同時,通過信源導(dǎo)航期間中不斷的訓(xùn)練SAP 和RAP 網(wǎng)絡(luò),在迭代60 次之后,步數(shù)穩(wěn)定在20 步左右,說明智能體能以較快速度收斂到信號源,以及本文提出的DS-MCTS 方法能夠在學(xué)習(xí)中不斷優(yōu)化.實(shí)驗(yàn)中智能體通過多次迭代學(xué)習(xí)到一個對于當(dāng)前信源環(huán)境的最佳路徑規(guī)劃策略,并在之后的迭代步數(shù)中應(yīng)用該策略尋找信號源,說明本方法具有非常穩(wěn)定的性能表現(xiàn).

    圖8 迭代步數(shù)圖

    本文在對所提出的DS-MCTS 方法進(jìn)行驗(yàn)證的同時,還使用梯度下降法(Gradient Descent,GD)[33]、蒙特卡洛樹與高斯過程(Monte Carlo Tree Search with Gaussian Process,MCTS-GP)結(jié)合方法[34]作對比.在相同的信源環(huán)境下,隨機(jī)進(jìn)行100次仿真實(shí)驗(yàn),每次實(shí)驗(yàn)的初始位置隨機(jī)設(shè)定.分別對3 種方法進(jìn)行信源導(dǎo)航實(shí)驗(yàn),并將每次實(shí)驗(yàn)迭代的步數(shù)從小到大排序,結(jié)果如圖9 和表3所示.

    表3 不同方法信源導(dǎo)航結(jié)果比較

    圖9 不同方法對比實(shí)驗(yàn)步數(shù)

    可以看出,單純梯度下降法雖然決策效率較高,但是相對于另外兩種方法,成功率明顯降低,難以滿足應(yīng)用需求;DS-MCTS和MCTS-GP的尋源成功率相近,但是本文提出DS-MCTS方法平均步數(shù)更低,執(zhí)行時間更少,效率更高;MCTS-GP 方法由于引入高斯過程預(yù)測模擬階段的獎勵,從而導(dǎo)致計算開銷大,決策時間顯著增加,在實(shí)際場景中難以滿足應(yīng)用實(shí)時性的需求,不利于推廣.由此可見,本文所提出的DS-MCTS 方法在點(diǎn)源環(huán)境下尋源具有良好的魯棒性和較高的效率.

    5 總結(jié)

    本文探討了尋源的研究前景和研究意義,提出了DS-MCTS 方法和框架,并通過實(shí)驗(yàn)驗(yàn)證本文提出方法框架能大大提高智能體的信源導(dǎo)航成功率并降低信源搜索過程的導(dǎo)航時間.此外,本文提出的網(wǎng)絡(luò)還展示智能體在信源導(dǎo)航過程中能夠利用歷史數(shù)據(jù)信息準(zhǔn)確預(yù)測智能體的動作趨勢,為MCTS 算法決策提供先驗(yàn)知識,提升決策效果.同時,在MCTS 模擬階段中加入端到端的RAP 網(wǎng)絡(luò),提高了搜索效率以及獎勵分配精度,促進(jìn)蒙特卡洛樹最優(yōu)化決策.在后續(xù)研究中,如何在保持信源搜索效率的同時提高定位精度,將會是一個主要工作方向.

    猜你喜歡
    信源信號源決策
    一種基于可編程邏輯器件的多功能信號源設(shè)計
    基于極化碼的分布式多信源信道聯(lián)合編碼
    無線電工程(2022年4期)2022-04-21 07:19:44
    為可持續(xù)決策提供依據(jù)
    決策為什么失誤了
    聚焦4K視頻播放展望未來信號源發(fā)展
    信源控制電路在功率容量測試系統(tǒng)中的應(yīng)用
    電子世界(2017年16期)2017-09-03 10:57:36
    發(fā)射機(jī)信號源的自動處理和控制系統(tǒng)
    信源自動切換裝置的設(shè)計及控制原理
    基于DDS的PCM數(shù)字信號源設(shè)計與實(shí)現(xiàn)
    電測與儀表(2015年8期)2015-04-09 11:50:18
    基于Matlab的信源編碼實(shí)驗(yàn)系統(tǒng)的設(shè)計
    亚洲精品,欧美精品| 中国美白少妇内射xxxbb| 黄色日韩在线| 哪个播放器可以免费观看大片| 国产精品国产三级国产av玫瑰| 亚洲av一区综合| 国产人妻一区二区三区在| 成人亚洲精品av一区二区| 午夜亚洲福利在线播放| 国产精品麻豆人妻色哟哟久久 | 成年版毛片免费区| 高清在线视频一区二区三区 | 麻豆成人午夜福利视频| 蜜桃亚洲精品一区二区三区| 国产激情偷乱视频一区二区| 日本黄大片高清| 免费播放大片免费观看视频在线观看 | 丰满人妻一区二区三区视频av| 免费观看性生交大片5| 三级毛片av免费| 国产在线一区二区三区精 | 亚洲精品日韩av片在线观看| 国产国拍精品亚洲av在线观看| 欧美一区二区国产精品久久精品| 亚洲婷婷狠狠爱综合网| 久久精品国产鲁丝片午夜精品| 欧美日韩国产亚洲二区| kizo精华| 亚洲在线观看片| 一边摸一边抽搐一进一小说| 成人特级av手机在线观看| 变态另类丝袜制服| 国产黄片视频在线免费观看| 亚洲高清免费不卡视频| 久99久视频精品免费| 欧美3d第一页| 99热全是精品| 精品欧美国产一区二区三| 国产精品一二三区在线看| 亚洲三级黄色毛片| 午夜福利网站1000一区二区三区| 97在线视频观看| 国产精品久久久久久精品电影小说 | 国产成人精品久久久久久| 亚洲伊人久久精品综合 | 国产成人午夜福利电影在线观看| 色5月婷婷丁香| 国产精品不卡视频一区二区| 蜜臀久久99精品久久宅男| 一边亲一边摸免费视频| 午夜爱爱视频在线播放| 成人欧美大片| 91午夜精品亚洲一区二区三区| 麻豆国产97在线/欧美| 国产片特级美女逼逼视频| 天堂网av新在线| 天堂中文最新版在线下载 | 熟女电影av网| 精品久久国产蜜桃| 超碰97精品在线观看| 尾随美女入室| 国产真实伦视频高清在线观看| 看片在线看免费视频| 亚洲欧美精品自产自拍| 色哟哟·www| 在线免费十八禁| 天堂网av新在线| 国产精品一区二区性色av| 国产欧美另类精品又又久久亚洲欧美| 毛片女人毛片| 午夜免费男女啪啪视频观看| 精华霜和精华液先用哪个| av视频在线观看入口| 国产精品久久久久久久久免| 久久久久久久久久久免费av| 久久这里只有精品中国| 好男人在线观看高清免费视频| 成人美女网站在线观看视频| 婷婷色麻豆天堂久久 | 国产免费男女视频| 亚洲国产精品sss在线观看| 校园人妻丝袜中文字幕| 国产一级毛片在线| 亚洲中文字幕日韩| 久久精品综合一区二区三区| 少妇熟女欧美另类| 色5月婷婷丁香| 国产一区二区三区av在线| 在线观看美女被高潮喷水网站| 久久草成人影院| 看免费成人av毛片| 精品久久久久久电影网 | 神马国产精品三级电影在线观看| 天美传媒精品一区二区| 午夜久久久久精精品| 国产av码专区亚洲av| 免费电影在线观看免费观看| 午夜福利视频1000在线观看| 赤兔流量卡办理| 国产精品国产三级专区第一集| 最近视频中文字幕2019在线8| 建设人人有责人人尽责人人享有的 | 久久久午夜欧美精品| 欧美一区二区亚洲| 亚洲美女搞黄在线观看| 三级国产精品欧美在线观看| 久久精品综合一区二区三区| 中文字幕免费在线视频6| 国产高清不卡午夜福利| 国产精品国产三级国产av玫瑰| 精品欧美国产一区二区三| 欧美潮喷喷水| 国产极品天堂在线| 嫩草影院新地址| 免费黄网站久久成人精品| 精品国产一区二区三区久久久樱花 | 日韩成人av中文字幕在线观看| 最近视频中文字幕2019在线8| a级毛片免费高清观看在线播放| 国产国拍精品亚洲av在线观看| 国产一区亚洲一区在线观看| 亚洲av成人精品一二三区| 亚洲怡红院男人天堂| 午夜a级毛片| 日本爱情动作片www.在线观看| 内地一区二区视频在线| 九九在线视频观看精品| 99在线人妻在线中文字幕| 亚洲成人久久爱视频| 久久久欧美国产精品| 久久99蜜桃精品久久| 一夜夜www| 精品久久久久久成人av| 成年女人看的毛片在线观看| 噜噜噜噜噜久久久久久91| 欧美3d第一页| 日本-黄色视频高清免费观看| 精品久久久久久久久av| 日本黄色片子视频| 插逼视频在线观看| 听说在线观看完整版免费高清| 蜜桃亚洲精品一区二区三区| 大话2 男鬼变身卡| 免费观看人在逋| 欧美高清性xxxxhd video| 亚洲国产高清在线一区二区三| 亚洲欧洲日产国产| 亚洲国产成人一精品久久久| 国内精品美女久久久久久| 久久精品综合一区二区三区| 高清毛片免费看| 亚洲国产高清在线一区二区三| 国国产精品蜜臀av免费| 成年av动漫网址| 成年女人看的毛片在线观看| 国产黄色小视频在线观看| 高清在线视频一区二区三区 | 国产av不卡久久| 国产美女午夜福利| 三级经典国产精品| 狂野欧美激情性xxxx在线观看| 国产精品伦人一区二区| 三级男女做爰猛烈吃奶摸视频| 国产男人的电影天堂91| 成人亚洲精品av一区二区| 亚洲第一区二区三区不卡| 国产高清国产精品国产三级 | 精品午夜福利在线看| 国产麻豆成人av免费视频| 特级一级黄色大片| 最近最新中文字幕免费大全7| 日韩 亚洲 欧美在线| 特级一级黄色大片| 国产精品一区二区三区四区久久| 婷婷色av中文字幕| 三级国产精品欧美在线观看| 亚洲国产精品成人综合色| 日韩欧美国产在线观看| 日日啪夜夜撸| 国产亚洲精品久久久com| 国产精品人妻久久久久久| 亚洲av成人精品一二三区| 亚洲国产色片| 白带黄色成豆腐渣| 狂野欧美激情性xxxx在线观看| 精品99又大又爽又粗少妇毛片| av在线蜜桃| 综合色丁香网| 国产精品麻豆人妻色哟哟久久 | 国产精品女同一区二区软件| 黄色欧美视频在线观看| 97人妻精品一区二区三区麻豆| 亚洲精品国产av成人精品| 午夜视频国产福利| 日日撸夜夜添| 秋霞在线观看毛片| av.在线天堂| 成人漫画全彩无遮挡| 别揉我奶头 嗯啊视频| 日韩人妻高清精品专区| 国语对白做爰xxxⅹ性视频网站| 看黄色毛片网站| 国产精品av视频在线免费观看| 国产精品一区www在线观看| 不卡视频在线观看欧美| a级毛片免费高清观看在线播放| 午夜精品国产一区二区电影 | 欧美97在线视频| 精品人妻视频免费看| 亚洲国产最新在线播放| 一个人看视频在线观看www免费| 亚洲精品乱久久久久久| 超碰97精品在线观看| 天堂中文最新版在线下载 | 国产 一区精品| 国产在视频线精品| 少妇熟女aⅴ在线视频| 国产亚洲91精品色在线| 国产精品久久久久久久久免| 成人毛片a级毛片在线播放| 观看美女的网站| 久久久久久久亚洲中文字幕| 亚洲av日韩在线播放| 最近最新中文字幕免费大全7| 成人性生交大片免费视频hd| kizo精华| 久久精品国产自在天天线| 午夜爱爱视频在线播放| 欧美日韩一区二区视频在线观看视频在线 | 高清视频免费观看一区二区 | 久久国内精品自在自线图片| 成年版毛片免费区| 午夜亚洲福利在线播放| 国产激情偷乱视频一区二区| 亚洲精品乱久久久久久| 国产一级毛片在线| 久久热精品热| 最近手机中文字幕大全| 国产精品一区二区三区四区免费观看| 成人漫画全彩无遮挡| 国产精品麻豆人妻色哟哟久久 | 成人午夜高清在线视频| 精品久久久久久久人妻蜜臀av| 日韩精品有码人妻一区| 久久精品国产亚洲网站| 欧美日韩一区二区视频在线观看视频在线 | 国产精品乱码一区二三区的特点| 九九热线精品视视频播放| 99久久人妻综合| 久久99精品国语久久久| 亚洲欧美一区二区三区国产| av在线蜜桃| 男女视频在线观看网站免费| 国产精品99久久久久久久久| 一级毛片电影观看 | 深夜a级毛片| 中文字幕久久专区| 搡女人真爽免费视频火全软件| 国产麻豆成人av免费视频| 国产精品一区二区三区四区免费观看| 草草在线视频免费看| 69av精品久久久久久| 麻豆av噜噜一区二区三区| 大又大粗又爽又黄少妇毛片口| 亚洲av二区三区四区| 26uuu在线亚洲综合色| 淫秽高清视频在线观看| 春色校园在线视频观看| 国产综合懂色| 国产成人freesex在线| 春色校园在线视频观看| 久久久久久久国产电影| 久久精品国产亚洲av涩爱| 国产精品综合久久久久久久免费| 搡女人真爽免费视频火全软件| 日日干狠狠操夜夜爽| 中文字幕免费在线视频6| 91久久精品电影网| av播播在线观看一区| 国产精品久久久久久精品电影小说 | 国产av不卡久久| 国产av一区在线观看免费| 少妇人妻一区二区三区视频| 日韩 亚洲 欧美在线| 亚洲国产高清在线一区二区三| 久久6这里有精品| 中文字幕av在线有码专区| 五月玫瑰六月丁香| 丝袜喷水一区| 色吧在线观看| 天堂影院成人在线观看| 少妇人妻一区二区三区视频| 日本黄色片子视频| 免费看a级黄色片| 亚洲欧美日韩高清专用| 成人亚洲欧美一区二区av| 狠狠狠狠99中文字幕| 赤兔流量卡办理| 欧美精品国产亚洲| 午夜精品一区二区三区免费看| 菩萨蛮人人尽说江南好唐韦庄 | 日韩一本色道免费dvd| 国产在视频线精品| 熟女电影av网| 亚洲精品国产av成人精品| 免费无遮挡裸体视频| 一级毛片久久久久久久久女| 91狼人影院| 亚洲内射少妇av| 又黄又爽又刺激的免费视频.| 亚洲欧美成人综合另类久久久 | 高清日韩中文字幕在线| 精品久久久久久久久久久久久| 少妇人妻一区二区三区视频| 男人狂女人下面高潮的视频| 国产精品福利在线免费观看| 人妻系列 视频| 亚洲中文字幕日韩| 免费看美女性在线毛片视频| a级毛色黄片| 成人无遮挡网站| 国产视频首页在线观看| 老司机福利观看| 22中文网久久字幕| 99国产精品一区二区蜜桃av| 乱码一卡2卡4卡精品| 亚洲激情五月婷婷啪啪| 丝袜美腿在线中文| 成年av动漫网址| 久久热精品热| 乱人视频在线观看| 美女高潮的动态| 成人高潮视频无遮挡免费网站| 久久99热这里只有精品18| 性色avwww在线观看| 99久久成人亚洲精品观看| 亚洲色图av天堂| 国产私拍福利视频在线观看| 国产精品嫩草影院av在线观看| 久久精品熟女亚洲av麻豆精品 | 久久久精品大字幕| 边亲边吃奶的免费视频| 我要搜黄色片| 老女人水多毛片| 国产三级在线视频| 精品无人区乱码1区二区| 天天躁夜夜躁狠狠久久av| 国产真实乱freesex| 亚洲第一区二区三区不卡| 亚洲综合精品二区| 在线天堂最新版资源| 能在线免费看毛片的网站| .国产精品久久| 美女内射精品一级片tv| 国产老妇女一区| 欧美成人a在线观看| 久久久久久久久久久免费av| 能在线免费看毛片的网站| 成人亚洲欧美一区二区av| 欧美成人一区二区免费高清观看| 小说图片视频综合网站| 久久国内精品自在自线图片| 午夜福利网站1000一区二区三区| 国产麻豆成人av免费视频| 国产爱豆传媒在线观看| 99热全是精品| 亚洲欧美日韩无卡精品| 91精品国产九色| 国产真实伦视频高清在线观看| 女人被狂操c到高潮| 欧美日韩在线观看h| 又爽又黄无遮挡网站| 村上凉子中文字幕在线| 亚洲av不卡在线观看| eeuss影院久久| 成人亚洲精品av一区二区| 少妇被粗大猛烈的视频| 在线播放国产精品三级| 最近最新中文字幕免费大全7| 国产亚洲av片在线观看秒播厂 | 男女国产视频网站| 91狼人影院| 视频中文字幕在线观看| 免费无遮挡裸体视频| 六月丁香七月| 日本-黄色视频高清免费观看| 国产精品熟女久久久久浪| 身体一侧抽搐| 乱系列少妇在线播放| 亚洲激情五月婷婷啪啪| 干丝袜人妻中文字幕| 亚洲欧美日韩无卡精品| 欧美高清性xxxxhd video| 久久久成人免费电影| 国产精品永久免费网站| 五月玫瑰六月丁香| 欧美变态另类bdsm刘玥| 18禁在线播放成人免费| 天天一区二区日本电影三级| 亚洲五月天丁香| 小说图片视频综合网站| 国产片特级美女逼逼视频| 午夜福利高清视频| 日本黄色片子视频| 国产一区二区在线观看日韩| 级片在线观看| 九色成人免费人妻av| 波多野结衣巨乳人妻| 青春草亚洲视频在线观看| 国产伦在线观看视频一区| 91在线精品国自产拍蜜月| 九草在线视频观看| 丰满少妇做爰视频| 边亲边吃奶的免费视频| a级毛色黄片| 哪个播放器可以免费观看大片| 中文字幕亚洲精品专区| 99久久中文字幕三级久久日本| 欧美一级a爱片免费观看看| 国产精品三级大全| 国产伦一二天堂av在线观看| 国产精品久久久久久av不卡| 永久网站在线| 非洲黑人性xxxx精品又粗又长| 国内精品美女久久久久久| 男女边吃奶边做爰视频| 色吧在线观看| 成人鲁丝片一二三区免费| 最近中文字幕2019免费版| 最近中文字幕高清免费大全6| 欧美潮喷喷水| 七月丁香在线播放| 国产精品伦人一区二区| 日韩人妻高清精品专区| 嫩草影院入口| a级一级毛片免费在线观看| 22中文网久久字幕| 岛国在线免费视频观看| 99热这里只有是精品50| 91av网一区二区| 国产亚洲精品久久久com| 日本熟妇午夜| 久久人人爽人人爽人人片va| 亚洲人成网站在线播| 国产爱豆传媒在线观看| 性色avwww在线观看| 看免费成人av毛片| 床上黄色一级片| 乱码一卡2卡4卡精品| 亚洲国产精品国产精品| 国内揄拍国产精品人妻在线| 国产乱人偷精品视频| 亚洲精品乱久久久久久| 成人午夜精彩视频在线观看| 最近中文字幕高清免费大全6| 波野结衣二区三区在线| 亚洲人成网站高清观看| 狂野欧美激情性xxxx在线观看| 久久精品国产亚洲av涩爱| 国产精品久久久久久av不卡| 我的老师免费观看完整版| 最近的中文字幕免费完整| 久久99精品国语久久久| 国产久久久一区二区三区| 国产一区亚洲一区在线观看| 免费一级毛片在线播放高清视频| 青青草视频在线视频观看| 国语自产精品视频在线第100页| 国产亚洲精品久久久com| 亚洲精品亚洲一区二区| 亚洲av不卡在线观看| 在线免费观看的www视频| 赤兔流量卡办理| 校园人妻丝袜中文字幕| 全区人妻精品视频| 热99re8久久精品国产| 村上凉子中文字幕在线| 天堂影院成人在线观看| 国产亚洲最大av| 亚洲最大成人中文| 亚洲精品国产av成人精品| 国产爱豆传媒在线观看| 晚上一个人看的免费电影| 美女黄网站色视频| 国产精品人妻久久久久久| 99国产精品一区二区蜜桃av| av在线蜜桃| 99热这里只有是精品在线观看| 男女下面进入的视频免费午夜| 男女那种视频在线观看| 听说在线观看完整版免费高清| 网址你懂的国产日韩在线| 一边摸一边抽搐一进一小说| 午夜日本视频在线| 99热这里只有精品一区| 亚洲av成人av| 日本熟妇午夜| 久久久色成人| 深夜a级毛片| 国产又黄又爽又无遮挡在线| 中国国产av一级| 国产白丝娇喘喷水9色精品| 国产精品熟女久久久久浪| av在线观看视频网站免费| av线在线观看网站| 久久精品综合一区二区三区| 大香蕉久久网| av女优亚洲男人天堂| 深夜a级毛片| 久久久a久久爽久久v久久| 久久久精品欧美日韩精品| 看十八女毛片水多多多| 熟女人妻精品中文字幕| 男女下面进入的视频免费午夜| 久久久精品大字幕| 天美传媒精品一区二区| 国产午夜福利久久久久久| 麻豆av噜噜一区二区三区| 七月丁香在线播放| kizo精华| 一级毛片我不卡| 亚洲av中文av极速乱| 欧美高清性xxxxhd video| 精品久久久久久久久av| 黄色一级大片看看| 简卡轻食公司| 久久精品夜夜夜夜夜久久蜜豆| 啦啦啦观看免费观看视频高清| 久久综合国产亚洲精品| 亚洲国产高清在线一区二区三| 建设人人有责人人尽责人人享有的 | 白带黄色成豆腐渣| 亚洲欧美中文字幕日韩二区| 欧美bdsm另类| 可以在线观看毛片的网站| 日本爱情动作片www.在线观看| 国产成人精品久久久久久| 女人被狂操c到高潮| 日韩三级伦理在线观看| 特级一级黄色大片| 国产精品熟女久久久久浪| 美女大奶头视频| 国产日韩欧美在线精品| av在线播放精品| 日韩欧美 国产精品| 中文字幕制服av| 精品久久久久久久久av| 99久久九九国产精品国产免费| 精品人妻熟女av久视频| 搡女人真爽免费视频火全软件| 99久久精品一区二区三区| 欧美成人a在线观看| 日韩精品青青久久久久久| 色尼玛亚洲综合影院| 亚洲最大成人av| 国产av码专区亚洲av| 国产精品一二三区在线看| 亚州av有码| 伊人久久精品亚洲午夜| 成人av在线播放网站| 亚洲欧美成人综合另类久久久 | 69av精品久久久久久| 日本免费一区二区三区高清不卡| 欧美高清性xxxxhd video| 亚洲精品国产成人久久av| 人体艺术视频欧美日本| 久久精品国产亚洲网站| av免费在线看不卡| 欧美激情国产日韩精品一区| 精品一区二区三区视频在线| 久久精品夜夜夜夜夜久久蜜豆| 欧美变态另类bdsm刘玥| 插阴视频在线观看视频| av播播在线观看一区| 国产日韩欧美在线精品| 日韩av在线大香蕉| 婷婷色麻豆天堂久久 | 91久久精品国产一区二区三区| av天堂中文字幕网| 啦啦啦啦在线视频资源| 国产国拍精品亚洲av在线观看| 国产精品国产高清国产av| 午夜激情福利司机影院| 亚洲一级一片aⅴ在线观看| 国产免费男女视频| 能在线免费观看的黄片| 亚洲av男天堂| 欧美激情国产日韩精品一区| 成人av在线播放网站| 亚洲伊人久久精品综合 | 九色成人免费人妻av| 亚洲成色77777| 成年免费大片在线观看| 欧美精品国产亚洲| 国产精品一区二区在线观看99 | 亚洲美女搞黄在线观看| 青春草亚洲视频在线观看| 国产午夜福利久久久久久| 成人亚洲精品av一区二区| 国产视频首页在线观看| 精品熟女少妇av免费看| 欧美成人精品欧美一级黄| 久久久久久国产a免费观看| 精品国产露脸久久av麻豆 | 日韩欧美国产在线观看| 国产黄色小视频在线观看| 天天躁夜夜躁狠狠久久av| 国产 一区 欧美 日韩| 欧美zozozo另类| 两个人的视频大全免费| 亚洲精品乱码久久久v下载方式| 国产精品女同一区二区软件| 亚洲精品aⅴ在线观看| 亚洲图色成人| 日本免费a在线|