• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于強(qiáng)化學(xué)習(xí)的ICRA RoboMaster AI策略研究

    2020-11-06 05:59:06陳明陽(yáng)劉博茆意風(fēng)
    中阿科技論壇(中英阿文) 2020年9期
    關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò)機(jī)器人比賽

    陳明陽(yáng) 劉博 茆意風(fēng)

    摘要:本文使用蒙特卡洛樹搜索(MCTS)算法代替?zhèn)鹘y(tǒng)Alpha-Beta搜索算法,采用改變其他對(duì)稱方面來訓(xùn)練非對(duì)稱情況下的策略,研究對(duì)比和分析,認(rèn)為確實(shí)可以找到一種通用的自我強(qiáng)化學(xué)習(xí)方法。

    關(guān)鍵詞:ICRA RoboMaster比賽;強(qiáng)化學(xué)習(xí);DQN;Actor-critic算法

    中圖分類號(hào): TP181 ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼:A

    1 背景

    強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)是智能體(Agent)以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí),通過與環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞指導(dǎo)行為,目標(biāo)是使智能體獲得最大的獎(jiǎng)賞,它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)——人工智能,是人工神經(jīng)網(wǎng)絡(luò)研究的概念,比較晦澀難懂。因此,本文借助備受青年人歡迎的ICRA RoboMaster(以下簡(jiǎn)稱ICRA比賽)訓(xùn)練研究強(qiáng)化學(xué)習(xí)的理論問題,把抽象問題具體化、簡(jiǎn)單化。

    ICRA比賽的主題為“移動(dòng)操控挑戰(zhàn)賽”,比賽主要考察移動(dòng)機(jī)器人定位技術(shù)、物體抓取技術(shù)、目標(biāo)識(shí)別技術(shù),以及這些技術(shù)構(gòu)成系統(tǒng)的整體穩(wěn)定性等。通過以ICRA比賽為載體,建立研究強(qiáng)化學(xué)習(xí)的理論模型,利用研究訓(xùn)練和優(yōu)化機(jī)器人在比賽中的路徑和戰(zhàn)斗能力,實(shí)現(xiàn)驗(yàn)證和優(yōu)化RL理論的目的。為了使計(jì)算機(jī)更加智能化,采用訓(xùn)練AlphaGo的方法,即使用兩個(gè)代理機(jī)器人互相戰(zhàn)斗,通過控制運(yùn)動(dòng)軌跡和動(dòng)作,更新優(yōu)化策略,實(shí)現(xiàn)機(jī)器人動(dòng)作升級(jí)。首先設(shè)置一個(gè)超級(jí)敵人并訓(xùn)練機(jī)器人去擊敗它,然后也升級(jí)敵人,重新訓(xùn)練機(jī)器人去戰(zhàn)斗。通過這種不斷反復(fù)改進(jìn)和提升的方法,可以獲取更優(yōu)良的性能。

    采用Actor-critic算法,提出并分析一類基于隨機(jī)平穩(wěn)策略的馬爾可夫決策過程優(yōu)化算法,也是兩個(gè)時(shí)間尺度的算法,其中,Critic使用具有線性近似結(jié)構(gòu)的時(shí)域?qū)W習(xí),并且基于Critic提供的信息,在近似梯度方向上更新和優(yōu)化Actor動(dòng)作。通過研究表明,Critic的特征能夠跨越由Actor的選擇所規(guī)定的子空間,提出收斂性和有待解決的問題策略。

    采用一個(gè)通用的強(qiáng)化學(xué)習(xí)算法,通過自我發(fā)揮和學(xué)習(xí),不斷優(yōu)化算法,即研究在AlphaGo中應(yīng)用的策略和AlphaZero的變化。由于AlphaZero不會(huì)增加訓(xùn)練數(shù)據(jù),也不會(huì)在MCTS期間變換板的位置。因此,使用蒙特卡洛樹搜索(MCTS)算法代替Alpha-Beta搜索算法,采用通過改變其他對(duì)稱方面來訓(xùn)練非對(duì)稱情況下的策略,找到一種通用的自我游戲強(qiáng)化學(xué)習(xí)方法。

    2 虛擬機(jī)器人環(huán)境——PyGame

    2.1 設(shè)置虛擬機(jī)器人環(huán)境——PyGame

    PyGame是一個(gè)基于Python的虛擬格斗游戲環(huán)境,在此過程中接收來自鍵盤和鼠標(biāo)的輸入,應(yīng)用編程接口和預(yù)定義的類降低了虛擬環(huán)境創(chuàng)建的難度。ICRA比賽的真實(shí)環(huán)境為8米*5米的場(chǎng)地,兩個(gè)機(jī)器人的出場(chǎng)地位于左上角和右下角,補(bǔ)充場(chǎng)地位于黃色十字區(qū)域。機(jī)器人在補(bǔ)給區(qū)被修復(fù),當(dāng)它們站在補(bǔ)給區(qū)時(shí),它們的生命值會(huì)持續(xù)上升,ICRA比賽的真實(shí)現(xiàn)場(chǎng)環(huán)境如圖1所示。

    在圖1中,機(jī)器人無法通過的障礙物被顯示為深灰色矩形。通過研究決定,采用重新創(chuàng)建ICRA比賽的新戰(zhàn)斗環(huán)境,其中,障礙物和補(bǔ)給區(qū)域與原來的位置相同。為了增加決策的復(fù)雜性,增設(shè)彈藥重裝區(qū),機(jī)器人可以在此區(qū)域進(jìn)行重新裝彈,避免子彈耗盡。

    獎(jiǎng)勵(lì)規(guī)則設(shè)置如下:在所有迭代開始時(shí),獎(jiǎng)勵(lì)被初始化為零。如果敵人被擊中,那么射手的獎(jiǎng)勵(lì)將增加10點(diǎn),而敵人將減少20點(diǎn)。如果敵人被摧毀,獎(jiǎng)勵(lì)會(huì)激增到100點(diǎn),如果玩家被摧毀,獎(jiǎng)勵(lì)本身會(huì)下降到200點(diǎn)。彈藥和生命點(diǎn)不會(huì)影響?yīng)剟?lì),而生存時(shí)間將以對(duì)數(shù)形式加入獎(jiǎng)勵(lì)。

    強(qiáng)化學(xué)習(xí)就是智能系統(tǒng)從環(huán)境到行為映射的學(xué)習(xí),使獎(jiǎng)勵(lì)信號(hào)(強(qiáng)化信號(hào))函數(shù)值最大,由于外部給出的信息很少,強(qiáng)化學(xué)習(xí)系統(tǒng)必須依靠自身的經(jīng)歷進(jìn)行自我學(xué)習(xí)。通過這種學(xué)習(xí)獲取知識(shí),改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境。本研究運(yùn)用AlphaZero強(qiáng)化學(xué)習(xí)的方式,不斷完善機(jī)器人獎(jiǎng)勵(lì)機(jī)制。

    2.2 優(yōu)化Q學(xué)習(xí)的算法

    Q-learning是強(qiáng)化學(xué)習(xí)中的一個(gè)決策算法,是讓計(jì)算機(jī)實(shí)現(xiàn)從一開始完全隨機(jī)地進(jìn)行操作,通過不斷地嘗試,從錯(cuò)誤中學(xué)習(xí),最后找到規(guī)律,學(xué)會(huì)了達(dá)到目的的方法。計(jì)算機(jī)在不斷的嘗試中更新自己的行為,從而一步步學(xué)習(xí)如何操作自己的行為得到高分。它主要包含四個(gè)元素:Agent、環(huán)境狀態(tài)、行動(dòng)、獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)的目標(biāo)就是獲得最多的累計(jì)獎(jiǎng)勵(lì)。

    計(jì)算機(jī)就是Agent,它試圖通過采取行動(dòng)來操縱環(huán)境,并且從一個(gè)狀態(tài)轉(zhuǎn)變到另一個(gè)狀態(tài),當(dāng)它完成任務(wù)時(shí)給高分(獎(jiǎng)勵(lì)),但是當(dāng)它沒完成任務(wù)時(shí),給低分(無獎(jiǎng)勵(lì))。這也是強(qiáng)化學(xué)習(xí)的核心思想,所以強(qiáng)化學(xué)習(xí)具有分?jǐn)?shù)導(dǎo)向性。

    我們實(shí)現(xiàn)的深度Q學(xué)習(xí)是基于PyTorch的卷積神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸入是模型訓(xùn)練過程中PyGame環(huán)境的一個(gè)截圖,輸出是給定輸入環(huán)境下的一個(gè)預(yù)測(cè)動(dòng)作。該動(dòng)作包括四個(gè)方向的移動(dòng)(上、下、左、打),兩個(gè)槍操作方向(順時(shí)針、逆時(shí)針)和射擊。該神經(jīng)網(wǎng)絡(luò)為三層卷積神經(jīng)網(wǎng)絡(luò),具有不同大小的核和漏項(xiàng)。激活層被分配給非線性ReLU層,我們選擇時(shí)間誤差作為損失函數(shù)(Loss Function),兩者具有相同的損失函數(shù)。把具有相同的最佳點(diǎn)作為傳統(tǒng)的Q-learning函數(shù)。下面列出了這個(gè)損失函數(shù)的梯度下降:

    ψk+1=ψk-η∨ψ(qψk(x,u)-target(x;ψk)

    因此,Q-learning的目標(biāo)函數(shù)為:

    Q(st,a)←Q(st,a)+at+1+γmaxQ(st+1,p)-Q(st,a)

    本模型的目標(biāo)是利用神經(jīng)網(wǎng)絡(luò)的非線性特性來模擬這個(gè)函數(shù),該模型產(chǎn)生Q-learning函數(shù)的估計(jì),使用蒙特卡洛樹搜索(MCTS)在Q-learning中找到相同的最優(yōu)值。

    2.3 Actor-critic模型設(shè)計(jì)

    Actor(機(jī)器人)為了得到盡量高的獎(jiǎng)賞(Reward),需要一個(gè)策略:輸入state,輸出action,然后用神經(jīng)網(wǎng)絡(luò)來近似這個(gè)函數(shù),剩下的任務(wù)就是如何訓(xùn)練神經(jīng)網(wǎng)絡(luò),得到更高的reward。Critic(評(píng)委):因?yàn)閍ctor基于策略policy,所以需要評(píng)委critic計(jì)算出對(duì)應(yīng)actor的value來反饋給actor,判斷它的優(yōu)點(diǎn)和缺點(diǎn),在此過程中需要使用到之前的Q值,這個(gè)Q值可以用神經(jīng)網(wǎng)絡(luò)來近似。

    本研究實(shí)現(xiàn)Actor-critic模型設(shè)定在PyTorch中完成,模型的輸入是抽象的狀態(tài)元組,狀態(tài)元組代表在某一時(shí)刻機(jī)器人的狀態(tài),包括機(jī)器人的位置、速度、運(yùn)行狀況和子彈數(shù)量等。Critic模型采用價(jià)值函數(shù)進(jìn)行估計(jì),其中,選擇Q值作為估計(jì)的目標(biāo)值。而Actor模型是決策制定,該模型按照Critic建議的方向更新政策分配,其中,Critic函數(shù)和Actor函數(shù)都屬于神經(jīng)網(wǎng)絡(luò)模擬。

    2.4 多人戰(zhàn)斗模型設(shè)計(jì)

    上述模型設(shè)計(jì)是在單人環(huán)境中實(shí)現(xiàn),通過計(jì)算機(jī)自動(dòng)控制敵人,電腦玩家可以忽略障礙物的封鎖,并且擁有無限數(shù)量的彈藥。優(yōu)化后的虛擬環(huán)境中可以實(shí)現(xiàn)2人戰(zhàn)斗,兩個(gè)玩家在后端由兩個(gè)獨(dú)立的模型控制,通過重新部署AlphaGo戰(zhàn)略,試圖找出讓機(jī)器人從零開始學(xué)習(xí)規(guī)則的策略。

    3 仿真結(jié)果

    3.1 DQN模型結(jié)果

    我們采用Deep Q-learning算法(以下簡(jiǎn)稱DQN),它是基于價(jià)值的算法,這種算法中只有一個(gè)值函數(shù)網(wǎng)絡(luò)。DQN中關(guān)鍵點(diǎn)是引用值函數(shù)近似和損失函數(shù),強(qiáng)化學(xué)習(xí)是一個(gè)反復(fù)迭代的過程,每一次迭代要解決兩個(gè)問題:給定一個(gè)策略求值函數(shù)和根據(jù)值函數(shù)來更新策略。DQN每次迭代更新神經(jīng)網(wǎng)絡(luò)的參數(shù),首先會(huì)定義一個(gè)損失函數(shù)(Loss Function),然后使用梯度下降的優(yōu)化算法(GradientDescent,GD)來更新參數(shù)。

    異步策略學(xué)習(xí)(Off-policy Learning)是Q-learning的特點(diǎn),DQN中也沿用了這一特點(diǎn)。DQN中使用經(jīng)驗(yàn)回放,即用一個(gè)記憶來存儲(chǔ)經(jīng)歷過的數(shù)據(jù),每次更新參數(shù)的時(shí)候從記憶中抽取一部分的數(shù)據(jù)來用于更新,以此來打破數(shù)據(jù)間的關(guān)聯(lián)。

    本試驗(yàn)通過采用DQN模型仿真結(jié)果對(duì)比,DQN的訓(xùn)練效果明顯優(yōu)于Actor-critic的訓(xùn)練效果,并且卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)在決策過程中更能有效地找到合適的動(dòng)作,這是因?yàn)閳D像的復(fù)雜性使模型更容易判斷游戲情況,優(yōu)化后的圖像包含許多有用信息,如封鎖區(qū)域和不同的供電區(qū)域位置。然而,有時(shí)這種模式會(huì)以錯(cuò)誤的方式表現(xiàn),比如向空中射擊和在進(jìn)入近距離戰(zhàn)斗前浪費(fèi)彈藥,采用的DQN模型獎(jiǎng)勵(lì)功能如圖2所示。

    3.2 Actor-critic結(jié)果

    由于選擇有限維數(shù)的狀態(tài)元組,模型只能感知機(jī)器人的當(dāng)前狀態(tài),無法告訴模型上電區(qū)域和障礙物的位置。此外,這種方法的訓(xùn)練難度大于前一種方法,這意味著訓(xùn)練時(shí)間較短,可能會(huì)導(dǎo)致模型無法收斂到更大的期望回報(bào)。從圖3中可以看出,該模型在提高獎(jiǎng)勵(lì)期望方面并不有效。

    3.3 多人戰(zhàn)斗模型結(jié)果

    從獎(jiǎng)勵(lì)情節(jié)中可以看到,有時(shí)玩家能夠找到消滅敵人的策略,而有時(shí)兩名玩家在空白區(qū)域徘徊。這是因?yàn)橛?xùn)練時(shí)間有限,導(dǎo)致模型無法探索虛擬環(huán)境中的所有可能性,圖4和圖5列出了兩個(gè)玩家的獎(jiǎng)勵(lì)結(jié)果。

    4 結(jié)語(yǔ)

    通過研究ICRA比賽為載體,進(jìn)一步應(yīng)用和驗(yàn)證強(qiáng)化學(xué)習(xí)算法,實(shí)現(xiàn)驗(yàn)證和優(yōu)化Q學(xué)習(xí)基礎(chǔ)理論研究為目的。選擇ICRA比賽更新強(qiáng)化學(xué)習(xí)策略,一是由于ICRA比賽比較直觀和深受歡迎,二是機(jī)器人比賽是多項(xiàng)綜合技術(shù)的融合,是對(duì)強(qiáng)化學(xué)習(xí)基礎(chǔ)理論的考驗(yàn)。與無模型的深度強(qiáng)化學(xué)習(xí)算法相比,還存在一定距離。在后續(xù)的工作中,需要更多的時(shí)間和更先進(jìn)的設(shè)備完善本模型,PyGame環(huán)境每次都需要截屏,這會(huì)浪費(fèi)大量的計(jì)算資源,因此以后選擇更加簡(jiǎn)練的環(huán)境,以此來提高效率。未來,可以通過調(diào)整該模型的神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)策略來實(shí)施進(jìn)一步優(yōu)化。同時(shí),隨著機(jī)器人在環(huán)境中收集樣本的增加,將其與無模型的強(qiáng)化學(xué)習(xí)方法(Model-free RL)結(jié)合,將能在動(dòng)態(tài)系統(tǒng)環(huán)境下實(shí)現(xiàn)更好的控制效果。

    (責(zé)任編輯:武多多)

    參考文獻(xiàn):

    [1]柯良軍,王小強(qiáng).強(qiáng)化學(xué)習(xí)[M].北京:清華大學(xué)出版社,2019.

    [2]周炯槃,龐沁華,續(xù)大我,等.通信原理[M].3版.北京:北京郵電大學(xué)出版社,2008.

    [3]聞欣研.MATLAB從入門到精通[M].3版.北京:清華大學(xué)出版社,2017.

    [4]田寶玉,楊潔,賀志強(qiáng),等.信息論基礎(chǔ)[M].2版.北京:人民郵電出版社,2016.?

    [5]劉寶玲,李立華,張曉瑩,等.通信電子電路[M].北京:高等教育出版社,2007.

    猜你喜歡
    神經(jīng)網(wǎng)絡(luò)機(jī)器人比賽
    神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
    電子制作(2019年19期)2019-11-23 08:42:00
    發(fā)芽比賽
    大灰狼(2019年4期)2019-05-14 16:38:38
    選美比賽
    比賽
    最瘋狂的比賽
    智慧少年(2016年2期)2016-06-24 06:12:54
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    機(jī)器人來幫你
    認(rèn)識(shí)機(jī)器人
    機(jī)器人來啦
    黄片播放在线免费| 精品亚洲成a人片在线观看| 久久亚洲国产成人精品v| 黄色视频不卡| 18禁国产床啪视频网站| 国产在视频线精品| 国产激情久久老熟女| 黑人猛操日本美女一级片| 久久青草综合色| av国产久精品久网站免费入址| 亚洲欧美清纯卡通| 亚洲国产精品成人久久小说| 国产精品一二三区在线看| 国产亚洲一区二区精品| 18禁观看日本| 国产精品久久久av美女十八| 精品人妻在线不人妻| 国产伦理片在线播放av一区| videosex国产| 男女免费视频国产| 青草久久国产| 日本vs欧美在线观看视频| 久久精品久久精品一区二区三区| 天天躁夜夜躁狠狠躁躁| 成在线人永久免费视频| 成年女人毛片免费观看观看9 | 国产成人欧美| 亚洲中文av在线| 欧美人与性动交α欧美精品济南到| 免费av中文字幕在线| 国产老妇伦熟女老妇高清| 午夜福利视频在线观看免费| 精品国产一区二区三区久久久樱花| 国产成人一区二区三区免费视频网站 | 美国免费a级毛片| 精品亚洲乱码少妇综合久久| 黄频高清免费视频| 欧美国产精品一级二级三级| 亚洲中文字幕日韩| 欧美激情极品国产一区二区三区| 国产一区二区在线观看av| 国产成人a∨麻豆精品| 国产欧美日韩一区二区三区在线| 色网站视频免费| 少妇人妻久久综合中文| 我要看黄色一级片免费的| 男女午夜视频在线观看| 久久精品国产亚洲av高清一级| 亚洲成国产人片在线观看| 人妻人人澡人人爽人人| 国产免费又黄又爽又色| 亚洲av欧美aⅴ国产| 国产成人啪精品午夜网站| 亚洲午夜精品一区,二区,三区| 日韩视频在线欧美| 亚洲一区二区三区欧美精品| 精品少妇久久久久久888优播| 久久久久久免费高清国产稀缺| 亚洲第一青青草原| 精品熟女少妇八av免费久了| 好男人视频免费观看在线| 国产深夜福利视频在线观看| 肉色欧美久久久久久久蜜桃| 日韩大片免费观看网站| 下体分泌物呈黄色| 天天躁夜夜躁狠狠躁躁| 91九色精品人成在线观看| 久久久久国产一级毛片高清牌| 又粗又硬又长又爽又黄的视频| 国产成人啪精品午夜网站| 国产免费视频播放在线视频| 亚洲精品一卡2卡三卡4卡5卡 | 亚洲,一卡二卡三卡| 欧美 亚洲 国产 日韩一| 妹子高潮喷水视频| 欧美av亚洲av综合av国产av| 19禁男女啪啪无遮挡网站| 1024视频免费在线观看| 亚洲av男天堂| 久久久久久久久免费视频了| 亚洲国产成人一精品久久久| 精品国产乱码久久久久久男人| 性少妇av在线| 中文乱码字字幕精品一区二区三区| 在线观看免费视频网站a站| 久久久久久久久久久久大奶| 天堂8中文在线网| 亚洲精品国产区一区二| 啦啦啦 在线观看视频| 99热国产这里只有精品6| 精品少妇内射三级| 日韩 欧美 亚洲 中文字幕| a级毛片在线看网站| 久久久久精品国产欧美久久久 | 亚洲 国产 在线| 亚洲人成77777在线视频| 操美女的视频在线观看| 777久久人妻少妇嫩草av网站| 久热这里只有精品99| 亚洲一区二区三区欧美精品| 中文字幕av电影在线播放| 伊人久久大香线蕉亚洲五| 国产男女超爽视频在线观看| 美女扒开内裤让男人捅视频| 欧美成人精品欧美一级黄| 女人久久www免费人成看片| 操美女的视频在线观看| 久久久久国产精品人妻一区二区| 成年人免费黄色播放视频| 亚洲欧美成人综合另类久久久| 亚洲中文日韩欧美视频| 久久精品熟女亚洲av麻豆精品| 日韩av不卡免费在线播放| 久久午夜综合久久蜜桃| 老司机靠b影院| 性高湖久久久久久久久免费观看| 狂野欧美激情性xxxx| 曰老女人黄片| 亚洲少妇的诱惑av| 久久精品熟女亚洲av麻豆精品| 免费在线观看视频国产中文字幕亚洲 | 一级毛片黄色毛片免费观看视频| 精品熟女少妇八av免费久了| 伦理电影免费视频| 亚洲精品久久午夜乱码| 亚洲精品av麻豆狂野| 黄网站色视频无遮挡免费观看| 人妻 亚洲 视频| 亚洲国产欧美一区二区综合| 女警被强在线播放| 成人18禁高潮啪啪吃奶动态图| 免费日韩欧美在线观看| 国产欧美日韩一区二区三区在线| 久久狼人影院| 久久精品人人爽人人爽视色| 亚洲精品久久久久久婷婷小说| 精品欧美一区二区三区在线| 国产成人免费无遮挡视频| 亚洲av综合色区一区| 午夜福利乱码中文字幕| 国产熟女欧美一区二区| 精品国产乱码久久久久久小说| 欧美精品av麻豆av| 9热在线视频观看99| 国产真人三级小视频在线观看| 丝袜美腿诱惑在线| 777米奇影视久久| 无限看片的www在线观看| 中文字幕亚洲精品专区| 天天操日日干夜夜撸| 亚洲av电影在线观看一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 亚洲av日韩在线播放| 制服人妻中文乱码| 午夜福利视频在线观看免费| 制服诱惑二区| 9热在线视频观看99| 在线精品无人区一区二区三| 精品久久蜜臀av无| 丝袜在线中文字幕| 天堂中文最新版在线下载| 国产片内射在线| 亚洲国产欧美日韩在线播放| 男女之事视频高清在线观看 | 丁香六月天网| 日本色播在线视频| 一边摸一边抽搐一进一出视频| 久久亚洲国产成人精品v| 日本wwww免费看| 亚洲欧美中文字幕日韩二区| 国产一区二区激情短视频 | 亚洲国产精品成人久久小说| 久久毛片免费看一区二区三区| 波野结衣二区三区在线| 巨乳人妻的诱惑在线观看| 国产在线免费精品| 桃花免费在线播放| 久久精品亚洲熟妇少妇任你| 国产野战对白在线观看| 捣出白浆h1v1| 嫁个100分男人电影在线观看 | 日韩视频在线欧美| 日韩av在线免费看完整版不卡| 国产一区二区 视频在线| 久久久精品区二区三区| 国产精品九九99| 观看av在线不卡| 美女福利国产在线| 丁香六月天网| 亚洲av日韩在线播放| 亚洲精品乱久久久久久| 亚洲欧美一区二区三区久久| 一区二区三区激情视频| 久久精品熟女亚洲av麻豆精品| 男女免费视频国产| 精品一区二区三区四区五区乱码 | 国产精品国产三级专区第一集| 成年女人毛片免费观看观看9 | 午夜激情av网站| 欧美在线黄色| 丝袜在线中文字幕| 美国免费a级毛片| 亚洲专区中文字幕在线| 欧美激情 高清一区二区三区| 中文欧美无线码| 看免费av毛片| 好男人电影高清在线观看| 国产精品国产av在线观看| 中文乱码字字幕精品一区二区三区| 新久久久久国产一级毛片| 午夜福利在线免费观看网站| 欧美日韩福利视频一区二区| 国精品久久久久久国模美| 又紧又爽又黄一区二区| 精品国产一区二区三区四区第35| 久久亚洲国产成人精品v| 十八禁人妻一区二区| 又粗又硬又长又爽又黄的视频| 99国产精品一区二区三区| 人人妻,人人澡人人爽秒播 | 男的添女的下面高潮视频| 成人三级做爰电影| 亚洲欧美中文字幕日韩二区| 久久国产精品男人的天堂亚洲| 欧美xxⅹ黑人| 啦啦啦在线观看免费高清www| 我要看黄色一级片免费的| tube8黄色片| 亚洲欧美一区二区三区黑人| 国产一区亚洲一区在线观看| 热99国产精品久久久久久7| 国产xxxxx性猛交| 日韩av在线免费看完整版不卡| 色播在线永久视频| 亚洲精品美女久久久久99蜜臀 | 99re6热这里在线精品视频| 91麻豆av在线| 国产野战对白在线观看| 亚洲欧美成人综合另类久久久| 侵犯人妻中文字幕一二三四区| 国产高清不卡午夜福利| 脱女人内裤的视频| 亚洲男人天堂网一区| 可以免费在线观看a视频的电影网站| 在线观看www视频免费| 亚洲欧美一区二区三区黑人| 9191精品国产免费久久| 久久鲁丝午夜福利片| 亚洲欧洲日产国产| 国产精品麻豆人妻色哟哟久久| 欧美人与性动交α欧美精品济南到| 777久久人妻少妇嫩草av网站| 国产高清不卡午夜福利| 美女福利国产在线| www.av在线官网国产| 熟女少妇亚洲综合色aaa.| 国产在线一区二区三区精| 成人手机av| 美女国产高潮福利片在线看| 中文字幕人妻丝袜制服| 亚洲av片天天在线观看| 亚洲精品美女久久久久99蜜臀 | 亚洲国产日韩一区二区| 两个人看的免费小视频| 考比视频在线观看| 亚洲精品国产一区二区精华液| 亚洲伊人色综图| 国产黄频视频在线观看| 亚洲欧美中文字幕日韩二区| 精品免费久久久久久久清纯 | 亚洲黑人精品在线| 不卡av一区二区三区| 亚洲av日韩精品久久久久久密 | 午夜免费观看性视频| 老司机午夜十八禁免费视频| 成年av动漫网址| 只有这里有精品99| 欧美成人午夜精品| 最近最新中文字幕大全免费视频 | 99国产精品一区二区蜜桃av | 丝袜人妻中文字幕| 久久久久网色| 天堂中文最新版在线下载| 99国产精品99久久久久| 大香蕉久久网| 日日爽夜夜爽网站| www.av在线官网国产| 亚洲国产精品一区三区| 亚洲成人国产一区在线观看 | 亚洲久久久国产精品| 国产亚洲欧美精品永久| 国产亚洲精品第一综合不卡| 国产麻豆69| 欧美亚洲日本最大视频资源| 亚洲五月婷婷丁香| 亚洲三区欧美一区| 久久精品成人免费网站| 国产精品99久久99久久久不卡| 叶爱在线成人免费视频播放| 99久久99久久久精品蜜桃| 99国产精品免费福利视频| 国产精品 欧美亚洲| 亚洲国产毛片av蜜桃av| 国产精品亚洲av一区麻豆| 午夜精品国产一区二区电影| 观看av在线不卡| 韩国高清视频一区二区三区| 一区二区三区精品91| a 毛片基地| 少妇裸体淫交视频免费看高清 | 国产视频一区二区在线看| 国产福利在线免费观看视频| 色婷婷久久久亚洲欧美| 最近最新中文字幕大全免费视频 | 国产黄色免费在线视频| 亚洲精品成人av观看孕妇| 永久免费av网站大全| 美国免费a级毛片| 亚洲成色77777| 黄色怎么调成土黄色| 黄片小视频在线播放| www.精华液| 精品一区二区三卡| 大片电影免费在线观看免费| 日韩精品免费视频一区二区三区| av网站在线播放免费| videos熟女内射| 99香蕉大伊视频| 国产精品久久久久久精品古装| 日韩av在线免费看完整版不卡| 亚洲午夜精品一区,二区,三区| 天堂中文最新版在线下载| 一级毛片我不卡| 夫妻性生交免费视频一级片| 99久久综合免费| 19禁男女啪啪无遮挡网站| 久久久久久久精品精品| 欧美激情极品国产一区二区三区| 少妇猛男粗大的猛烈进出视频| 一二三四社区在线视频社区8| 亚洲国产精品一区三区| 在线精品无人区一区二区三| 啦啦啦中文免费视频观看日本| 欧美黄色片欧美黄色片| 久久人人爽av亚洲精品天堂| 午夜福利,免费看| 国产高清videossex| 国产精品香港三级国产av潘金莲 | 免费在线观看完整版高清| 国产精品一区二区在线不卡| 精品国产一区二区三区四区第35| bbb黄色大片| 性色av一级| 久久免费观看电影| 亚洲欧美一区二区三区久久| 在线天堂中文资源库| 黄色a级毛片大全视频| 亚洲av美国av| 久久精品久久精品一区二区三区| 性高湖久久久久久久久免费观看| 国产免费一区二区三区四区乱码| 后天国语完整版免费观看| 国产精品国产三级国产专区5o| 日韩av在线免费看完整版不卡| 一级a爱视频在线免费观看| 日韩人妻精品一区2区三区| 亚洲一区中文字幕在线| 男女边摸边吃奶| 水蜜桃什么品种好| 超色免费av| 秋霞在线观看毛片| 只有这里有精品99| 少妇粗大呻吟视频| 操出白浆在线播放| 新久久久久国产一级毛片| 亚洲人成电影免费在线| 嫩草影视91久久| 菩萨蛮人人尽说江南好唐韦庄| 午夜免费成人在线视频| 日韩大片免费观看网站| 日韩 欧美 亚洲 中文字幕| 日韩av免费高清视频| 久久亚洲精品不卡| 久久国产精品人妻蜜桃| 捣出白浆h1v1| 9191精品国产免费久久| 国产免费福利视频在线观看| 亚洲精品一卡2卡三卡4卡5卡 | 国产国语露脸激情在线看| 嫩草影视91久久| 菩萨蛮人人尽说江南好唐韦庄| av天堂在线播放| 欧美黄色淫秽网站| 日韩 欧美 亚洲 中文字幕| 国产激情久久老熟女| av视频免费观看在线观看| 成人影院久久| 91精品三级在线观看| 一级毛片女人18水好多 | 男人爽女人下面视频在线观看| 国产成人精品无人区| 水蜜桃什么品种好| 两性夫妻黄色片| 欧美亚洲日本最大视频资源| 99热国产这里只有精品6| 国产在线一区二区三区精| 最新在线观看一区二区三区 | 国产成人一区二区三区免费视频网站 | 国产免费又黄又爽又色| svipshipincom国产片| 亚洲成人国产一区在线观看 | 香蕉丝袜av| 超碰成人久久| 亚洲一区二区三区欧美精品| 黄色 视频免费看| 亚洲人成电影免费在线| 在线观看人妻少妇| 多毛熟女@视频| 亚洲精品一二三| 亚洲欧美日韩高清在线视频 | 高清视频免费观看一区二区| 美女福利国产在线| 日本a在线网址| 9热在线视频观看99| 亚洲av国产av综合av卡| 悠悠久久av| 精品一区二区三区四区五区乱码 | 18禁黄网站禁片午夜丰满| 精品人妻1区二区| 精品久久蜜臀av无| 1024香蕉在线观看| 国产成人免费无遮挡视频| 99国产综合亚洲精品| 免费日韩欧美在线观看| 国产成人影院久久av| 免费在线观看影片大全网站 | 婷婷色av中文字幕| 极品人妻少妇av视频| 在线观看一区二区三区激情| 亚洲成av片中文字幕在线观看| 黄色怎么调成土黄色| 看十八女毛片水多多多| 老司机亚洲免费影院| 男女边摸边吃奶| 国产精品久久久久久精品古装| 亚洲欧美成人综合另类久久久| av在线老鸭窝| 国产人伦9x9x在线观看| 成年人免费黄色播放视频| 丰满少妇做爰视频| 日韩人妻精品一区2区三区| 在线观看www视频免费| 人人妻人人澡人人看| 午夜福利视频在线观看免费| 激情五月婷婷亚洲| 黄色一级大片看看| 夜夜骑夜夜射夜夜干| 天天躁夜夜躁狠狠久久av| 国产视频一区二区在线看| 99精品久久久久人妻精品| 精品亚洲成a人片在线观看| 国产精品免费大片| 日本黄色日本黄色录像| 无限看片的www在线观看| 一级,二级,三级黄色视频| 妹子高潮喷水视频| 七月丁香在线播放| 久久久欧美国产精品| av国产精品久久久久影院| 黑丝袜美女国产一区| 一边摸一边抽搐一进一出视频| 国产精品偷伦视频观看了| 伊人久久大香线蕉亚洲五| 91麻豆av在线| 国产精品二区激情视频| 美国免费a级毛片| 久久免费观看电影| 999久久久国产精品视频| 日韩中文字幕视频在线看片| 久久av网站| 9191精品国产免费久久| 日韩av不卡免费在线播放| 黄色 视频免费看| 桃花免费在线播放| 国产不卡av网站在线观看| av在线播放精品| 天堂中文最新版在线下载| 国产精品国产三级国产专区5o| 视频区图区小说| 国产在线观看jvid| 人人澡人人妻人| 最近中文字幕2019免费版| 亚洲欧美精品综合一区二区三区| 操出白浆在线播放| avwww免费| 久久精品久久精品一区二区三区| 欧美xxⅹ黑人| 亚洲av综合色区一区| 国产成人免费观看mmmm| 国产精品久久久人人做人人爽| 丁香六月欧美| 欧美精品一区二区大全| 中文字幕亚洲精品专区| 2018国产大陆天天弄谢| 成年人免费黄色播放视频| 欧美性长视频在线观看| 两性夫妻黄色片| 在线观看人妻少妇| 欧美久久黑人一区二区| 你懂的网址亚洲精品在线观看| 99热全是精品| 日韩一卡2卡3卡4卡2021年| 成人午夜精彩视频在线观看| 91精品伊人久久大香线蕉| 国产福利在线免费观看视频| 免费在线观看影片大全网站 | 乱人伦中国视频| 日本猛色少妇xxxxx猛交久久| 欧美日本中文国产一区发布| 欧美精品啪啪一区二区三区 | 国产成人欧美在线观看 | av电影中文网址| 国产成人影院久久av| 亚洲伊人色综图| 伦理电影免费视频| 成在线人永久免费视频| 国产精品国产三级国产专区5o| 亚洲伊人久久精品综合| 国产欧美日韩一区二区三 | 亚洲欧美中文字幕日韩二区| 日韩伦理黄色片| 一区福利在线观看| 91精品伊人久久大香线蕉| 天天躁夜夜躁狠狠久久av| 好男人电影高清在线观看| 多毛熟女@视频| 久久女婷五月综合色啪小说| 久久人人爽人人片av| 国产麻豆69| 久久天堂一区二区三区四区| 天天躁日日躁夜夜躁夜夜| 久久99精品国语久久久| 91成人精品电影| 亚洲国产精品一区三区| 中文字幕人妻丝袜制服| 999精品在线视频| 自拍欧美九色日韩亚洲蝌蚪91| 99re6热这里在线精品视频| 热99国产精品久久久久久7| 麻豆国产av国片精品| 免费少妇av软件| 国产高清国产精品国产三级| 国产欧美日韩精品亚洲av| 国产成人免费无遮挡视频| 国产日韩欧美在线精品| 久久久久精品人妻al黑| 久久青草综合色| 欧美成狂野欧美在线观看| 久久人人爽人人片av| 午夜av观看不卡| 亚洲精品国产av蜜桃| 亚洲欧洲国产日韩| 男女午夜视频在线观看| 99热国产这里只有精品6| 十八禁高潮呻吟视频| 在线av久久热| 美女中出高潮动态图| 亚洲精品国产一区二区精华液| 午夜福利一区二区在线看| 久久国产精品人妻蜜桃| 国产精品二区激情视频| 日日爽夜夜爽网站| 欧美激情极品国产一区二区三区| 日日摸夜夜添夜夜爱| 精品久久久久久久毛片微露脸 | 免费不卡黄色视频| 亚洲欧美色中文字幕在线| 中文精品一卡2卡3卡4更新| avwww免费| 国产日韩一区二区三区精品不卡| 国产成人精品在线电影| 久久久精品区二区三区| 久久久国产一区二区| 国产精品一区二区在线观看99| 日韩中文字幕欧美一区二区 | 人人妻人人爽人人添夜夜欢视频| 在线 av 中文字幕| bbb黄色大片| 欧美激情 高清一区二区三区| 免费日韩欧美在线观看| 少妇人妻 视频| 欧美黄色片欧美黄色片| 一边摸一边抽搐一进一出视频| 亚洲国产av影院在线观看| 高清视频免费观看一区二区| 曰老女人黄片| 99热网站在线观看| 国产欧美日韩精品亚洲av| 九色亚洲精品在线播放| 成人国语在线视频| 大香蕉久久网| 国产精品国产三级国产专区5o| 国产男人的电影天堂91| 精品久久久久久久毛片微露脸 | 国产一区有黄有色的免费视频| 丁香六月欧美| 免费人妻精品一区二区三区视频| 国产成人系列免费观看| 日日摸夜夜添夜夜爱| 嫁个100分男人电影在线观看 | 免费在线观看日本一区| 亚洲精品自拍成人| 国产日韩欧美在线精品| 大片免费播放器 马上看| 成年人黄色毛片网站|