• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于強(qiáng)化學(xué)習(xí)的ICRA RoboMaster AI策略研究

    2020-11-06 05:59:06陳明陽(yáng)劉博茆意風(fēng)
    中阿科技論壇(中英阿文) 2020年9期
    關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò)機(jī)器人比賽

    陳明陽(yáng) 劉博 茆意風(fēng)

    摘要:本文使用蒙特卡洛樹搜索(MCTS)算法代替?zhèn)鹘y(tǒng)Alpha-Beta搜索算法,采用改變其他對(duì)稱方面來訓(xùn)練非對(duì)稱情況下的策略,研究對(duì)比和分析,認(rèn)為確實(shí)可以找到一種通用的自我強(qiáng)化學(xué)習(xí)方法。

    關(guān)鍵詞:ICRA RoboMaster比賽;強(qiáng)化學(xué)習(xí);DQN;Actor-critic算法

    中圖分類號(hào): TP181 ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼:A

    1 背景

    強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)是智能體(Agent)以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí),通過與環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞指導(dǎo)行為,目標(biāo)是使智能體獲得最大的獎(jiǎng)賞,它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)——人工智能,是人工神經(jīng)網(wǎng)絡(luò)研究的概念,比較晦澀難懂。因此,本文借助備受青年人歡迎的ICRA RoboMaster(以下簡(jiǎn)稱ICRA比賽)訓(xùn)練研究強(qiáng)化學(xué)習(xí)的理論問題,把抽象問題具體化、簡(jiǎn)單化。

    ICRA比賽的主題為“移動(dòng)操控挑戰(zhàn)賽”,比賽主要考察移動(dòng)機(jī)器人定位技術(shù)、物體抓取技術(shù)、目標(biāo)識(shí)別技術(shù),以及這些技術(shù)構(gòu)成系統(tǒng)的整體穩(wěn)定性等。通過以ICRA比賽為載體,建立研究強(qiáng)化學(xué)習(xí)的理論模型,利用研究訓(xùn)練和優(yōu)化機(jī)器人在比賽中的路徑和戰(zhàn)斗能力,實(shí)現(xiàn)驗(yàn)證和優(yōu)化RL理論的目的。為了使計(jì)算機(jī)更加智能化,采用訓(xùn)練AlphaGo的方法,即使用兩個(gè)代理機(jī)器人互相戰(zhàn)斗,通過控制運(yùn)動(dòng)軌跡和動(dòng)作,更新優(yōu)化策略,實(shí)現(xiàn)機(jī)器人動(dòng)作升級(jí)。首先設(shè)置一個(gè)超級(jí)敵人并訓(xùn)練機(jī)器人去擊敗它,然后也升級(jí)敵人,重新訓(xùn)練機(jī)器人去戰(zhàn)斗。通過這種不斷反復(fù)改進(jìn)和提升的方法,可以獲取更優(yōu)良的性能。

    采用Actor-critic算法,提出并分析一類基于隨機(jī)平穩(wěn)策略的馬爾可夫決策過程優(yōu)化算法,也是兩個(gè)時(shí)間尺度的算法,其中,Critic使用具有線性近似結(jié)構(gòu)的時(shí)域?qū)W習(xí),并且基于Critic提供的信息,在近似梯度方向上更新和優(yōu)化Actor動(dòng)作。通過研究表明,Critic的特征能夠跨越由Actor的選擇所規(guī)定的子空間,提出收斂性和有待解決的問題策略。

    采用一個(gè)通用的強(qiáng)化學(xué)習(xí)算法,通過自我發(fā)揮和學(xué)習(xí),不斷優(yōu)化算法,即研究在AlphaGo中應(yīng)用的策略和AlphaZero的變化。由于AlphaZero不會(huì)增加訓(xùn)練數(shù)據(jù),也不會(huì)在MCTS期間變換板的位置。因此,使用蒙特卡洛樹搜索(MCTS)算法代替Alpha-Beta搜索算法,采用通過改變其他對(duì)稱方面來訓(xùn)練非對(duì)稱情況下的策略,找到一種通用的自我游戲強(qiáng)化學(xué)習(xí)方法。

    2 虛擬機(jī)器人環(huán)境——PyGame

    2.1 設(shè)置虛擬機(jī)器人環(huán)境——PyGame

    PyGame是一個(gè)基于Python的虛擬格斗游戲環(huán)境,在此過程中接收來自鍵盤和鼠標(biāo)的輸入,應(yīng)用編程接口和預(yù)定義的類降低了虛擬環(huán)境創(chuàng)建的難度。ICRA比賽的真實(shí)環(huán)境為8米*5米的場(chǎng)地,兩個(gè)機(jī)器人的出場(chǎng)地位于左上角和右下角,補(bǔ)充場(chǎng)地位于黃色十字區(qū)域。機(jī)器人在補(bǔ)給區(qū)被修復(fù),當(dāng)它們站在補(bǔ)給區(qū)時(shí),它們的生命值會(huì)持續(xù)上升,ICRA比賽的真實(shí)現(xiàn)場(chǎng)環(huán)境如圖1所示。

    在圖1中,機(jī)器人無法通過的障礙物被顯示為深灰色矩形。通過研究決定,采用重新創(chuàng)建ICRA比賽的新戰(zhàn)斗環(huán)境,其中,障礙物和補(bǔ)給區(qū)域與原來的位置相同。為了增加決策的復(fù)雜性,增設(shè)彈藥重裝區(qū),機(jī)器人可以在此區(qū)域進(jìn)行重新裝彈,避免子彈耗盡。

    獎(jiǎng)勵(lì)規(guī)則設(shè)置如下:在所有迭代開始時(shí),獎(jiǎng)勵(lì)被初始化為零。如果敵人被擊中,那么射手的獎(jiǎng)勵(lì)將增加10點(diǎn),而敵人將減少20點(diǎn)。如果敵人被摧毀,獎(jiǎng)勵(lì)會(huì)激增到100點(diǎn),如果玩家被摧毀,獎(jiǎng)勵(lì)本身會(huì)下降到200點(diǎn)。彈藥和生命點(diǎn)不會(huì)影響?yīng)剟?lì),而生存時(shí)間將以對(duì)數(shù)形式加入獎(jiǎng)勵(lì)。

    強(qiáng)化學(xué)習(xí)就是智能系統(tǒng)從環(huán)境到行為映射的學(xué)習(xí),使獎(jiǎng)勵(lì)信號(hào)(強(qiáng)化信號(hào))函數(shù)值最大,由于外部給出的信息很少,強(qiáng)化學(xué)習(xí)系統(tǒng)必須依靠自身的經(jīng)歷進(jìn)行自我學(xué)習(xí)。通過這種學(xué)習(xí)獲取知識(shí),改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境。本研究運(yùn)用AlphaZero強(qiáng)化學(xué)習(xí)的方式,不斷完善機(jī)器人獎(jiǎng)勵(lì)機(jī)制。

    2.2 優(yōu)化Q學(xué)習(xí)的算法

    Q-learning是強(qiáng)化學(xué)習(xí)中的一個(gè)決策算法,是讓計(jì)算機(jī)實(shí)現(xiàn)從一開始完全隨機(jī)地進(jìn)行操作,通過不斷地嘗試,從錯(cuò)誤中學(xué)習(xí),最后找到規(guī)律,學(xué)會(huì)了達(dá)到目的的方法。計(jì)算機(jī)在不斷的嘗試中更新自己的行為,從而一步步學(xué)習(xí)如何操作自己的行為得到高分。它主要包含四個(gè)元素:Agent、環(huán)境狀態(tài)、行動(dòng)、獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)的目標(biāo)就是獲得最多的累計(jì)獎(jiǎng)勵(lì)。

    計(jì)算機(jī)就是Agent,它試圖通過采取行動(dòng)來操縱環(huán)境,并且從一個(gè)狀態(tài)轉(zhuǎn)變到另一個(gè)狀態(tài),當(dāng)它完成任務(wù)時(shí)給高分(獎(jiǎng)勵(lì)),但是當(dāng)它沒完成任務(wù)時(shí),給低分(無獎(jiǎng)勵(lì))。這也是強(qiáng)化學(xué)習(xí)的核心思想,所以強(qiáng)化學(xué)習(xí)具有分?jǐn)?shù)導(dǎo)向性。

    我們實(shí)現(xiàn)的深度Q學(xué)習(xí)是基于PyTorch的卷積神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸入是模型訓(xùn)練過程中PyGame環(huán)境的一個(gè)截圖,輸出是給定輸入環(huán)境下的一個(gè)預(yù)測(cè)動(dòng)作。該動(dòng)作包括四個(gè)方向的移動(dòng)(上、下、左、打),兩個(gè)槍操作方向(順時(shí)針、逆時(shí)針)和射擊。該神經(jīng)網(wǎng)絡(luò)為三層卷積神經(jīng)網(wǎng)絡(luò),具有不同大小的核和漏項(xiàng)。激活層被分配給非線性ReLU層,我們選擇時(shí)間誤差作為損失函數(shù)(Loss Function),兩者具有相同的損失函數(shù)。把具有相同的最佳點(diǎn)作為傳統(tǒng)的Q-learning函數(shù)。下面列出了這個(gè)損失函數(shù)的梯度下降:

    ψk+1=ψk-η∨ψ(qψk(x,u)-target(x;ψk)

    因此,Q-learning的目標(biāo)函數(shù)為:

    Q(st,a)←Q(st,a)+at+1+γmaxQ(st+1,p)-Q(st,a)

    本模型的目標(biāo)是利用神經(jīng)網(wǎng)絡(luò)的非線性特性來模擬這個(gè)函數(shù),該模型產(chǎn)生Q-learning函數(shù)的估計(jì),使用蒙特卡洛樹搜索(MCTS)在Q-learning中找到相同的最優(yōu)值。

    2.3 Actor-critic模型設(shè)計(jì)

    Actor(機(jī)器人)為了得到盡量高的獎(jiǎng)賞(Reward),需要一個(gè)策略:輸入state,輸出action,然后用神經(jīng)網(wǎng)絡(luò)來近似這個(gè)函數(shù),剩下的任務(wù)就是如何訓(xùn)練神經(jīng)網(wǎng)絡(luò),得到更高的reward。Critic(評(píng)委):因?yàn)閍ctor基于策略policy,所以需要評(píng)委critic計(jì)算出對(duì)應(yīng)actor的value來反饋給actor,判斷它的優(yōu)點(diǎn)和缺點(diǎn),在此過程中需要使用到之前的Q值,這個(gè)Q值可以用神經(jīng)網(wǎng)絡(luò)來近似。

    本研究實(shí)現(xiàn)Actor-critic模型設(shè)定在PyTorch中完成,模型的輸入是抽象的狀態(tài)元組,狀態(tài)元組代表在某一時(shí)刻機(jī)器人的狀態(tài),包括機(jī)器人的位置、速度、運(yùn)行狀況和子彈數(shù)量等。Critic模型采用價(jià)值函數(shù)進(jìn)行估計(jì),其中,選擇Q值作為估計(jì)的目標(biāo)值。而Actor模型是決策制定,該模型按照Critic建議的方向更新政策分配,其中,Critic函數(shù)和Actor函數(shù)都屬于神經(jīng)網(wǎng)絡(luò)模擬。

    2.4 多人戰(zhàn)斗模型設(shè)計(jì)

    上述模型設(shè)計(jì)是在單人環(huán)境中實(shí)現(xiàn),通過計(jì)算機(jī)自動(dòng)控制敵人,電腦玩家可以忽略障礙物的封鎖,并且擁有無限數(shù)量的彈藥。優(yōu)化后的虛擬環(huán)境中可以實(shí)現(xiàn)2人戰(zhàn)斗,兩個(gè)玩家在后端由兩個(gè)獨(dú)立的模型控制,通過重新部署AlphaGo戰(zhàn)略,試圖找出讓機(jī)器人從零開始學(xué)習(xí)規(guī)則的策略。

    3 仿真結(jié)果

    3.1 DQN模型結(jié)果

    我們采用Deep Q-learning算法(以下簡(jiǎn)稱DQN),它是基于價(jià)值的算法,這種算法中只有一個(gè)值函數(shù)網(wǎng)絡(luò)。DQN中關(guān)鍵點(diǎn)是引用值函數(shù)近似和損失函數(shù),強(qiáng)化學(xué)習(xí)是一個(gè)反復(fù)迭代的過程,每一次迭代要解決兩個(gè)問題:給定一個(gè)策略求值函數(shù)和根據(jù)值函數(shù)來更新策略。DQN每次迭代更新神經(jīng)網(wǎng)絡(luò)的參數(shù),首先會(huì)定義一個(gè)損失函數(shù)(Loss Function),然后使用梯度下降的優(yōu)化算法(GradientDescent,GD)來更新參數(shù)。

    異步策略學(xué)習(xí)(Off-policy Learning)是Q-learning的特點(diǎn),DQN中也沿用了這一特點(diǎn)。DQN中使用經(jīng)驗(yàn)回放,即用一個(gè)記憶來存儲(chǔ)經(jīng)歷過的數(shù)據(jù),每次更新參數(shù)的時(shí)候從記憶中抽取一部分的數(shù)據(jù)來用于更新,以此來打破數(shù)據(jù)間的關(guān)聯(lián)。

    本試驗(yàn)通過采用DQN模型仿真結(jié)果對(duì)比,DQN的訓(xùn)練效果明顯優(yōu)于Actor-critic的訓(xùn)練效果,并且卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)在決策過程中更能有效地找到合適的動(dòng)作,這是因?yàn)閳D像的復(fù)雜性使模型更容易判斷游戲情況,優(yōu)化后的圖像包含許多有用信息,如封鎖區(qū)域和不同的供電區(qū)域位置。然而,有時(shí)這種模式會(huì)以錯(cuò)誤的方式表現(xiàn),比如向空中射擊和在進(jìn)入近距離戰(zhàn)斗前浪費(fèi)彈藥,采用的DQN模型獎(jiǎng)勵(lì)功能如圖2所示。

    3.2 Actor-critic結(jié)果

    由于選擇有限維數(shù)的狀態(tài)元組,模型只能感知機(jī)器人的當(dāng)前狀態(tài),無法告訴模型上電區(qū)域和障礙物的位置。此外,這種方法的訓(xùn)練難度大于前一種方法,這意味著訓(xùn)練時(shí)間較短,可能會(huì)導(dǎo)致模型無法收斂到更大的期望回報(bào)。從圖3中可以看出,該模型在提高獎(jiǎng)勵(lì)期望方面并不有效。

    3.3 多人戰(zhàn)斗模型結(jié)果

    從獎(jiǎng)勵(lì)情節(jié)中可以看到,有時(shí)玩家能夠找到消滅敵人的策略,而有時(shí)兩名玩家在空白區(qū)域徘徊。這是因?yàn)橛?xùn)練時(shí)間有限,導(dǎo)致模型無法探索虛擬環(huán)境中的所有可能性,圖4和圖5列出了兩個(gè)玩家的獎(jiǎng)勵(lì)結(jié)果。

    4 結(jié)語(yǔ)

    通過研究ICRA比賽為載體,進(jìn)一步應(yīng)用和驗(yàn)證強(qiáng)化學(xué)習(xí)算法,實(shí)現(xiàn)驗(yàn)證和優(yōu)化Q學(xué)習(xí)基礎(chǔ)理論研究為目的。選擇ICRA比賽更新強(qiáng)化學(xué)習(xí)策略,一是由于ICRA比賽比較直觀和深受歡迎,二是機(jī)器人比賽是多項(xiàng)綜合技術(shù)的融合,是對(duì)強(qiáng)化學(xué)習(xí)基礎(chǔ)理論的考驗(yàn)。與無模型的深度強(qiáng)化學(xué)習(xí)算法相比,還存在一定距離。在后續(xù)的工作中,需要更多的時(shí)間和更先進(jìn)的設(shè)備完善本模型,PyGame環(huán)境每次都需要截屏,這會(huì)浪費(fèi)大量的計(jì)算資源,因此以后選擇更加簡(jiǎn)練的環(huán)境,以此來提高效率。未來,可以通過調(diào)整該模型的神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)策略來實(shí)施進(jìn)一步優(yōu)化。同時(shí),隨著機(jī)器人在環(huán)境中收集樣本的增加,將其與無模型的強(qiáng)化學(xué)習(xí)方法(Model-free RL)結(jié)合,將能在動(dòng)態(tài)系統(tǒng)環(huán)境下實(shí)現(xiàn)更好的控制效果。

    (責(zé)任編輯:武多多)

    參考文獻(xiàn):

    [1]柯良軍,王小強(qiáng).強(qiáng)化學(xué)習(xí)[M].北京:清華大學(xué)出版社,2019.

    [2]周炯槃,龐沁華,續(xù)大我,等.通信原理[M].3版.北京:北京郵電大學(xué)出版社,2008.

    [3]聞欣研.MATLAB從入門到精通[M].3版.北京:清華大學(xué)出版社,2017.

    [4]田寶玉,楊潔,賀志強(qiáng),等.信息論基礎(chǔ)[M].2版.北京:人民郵電出版社,2016.?

    [5]劉寶玲,李立華,張曉瑩,等.通信電子電路[M].北京:高等教育出版社,2007.

    猜你喜歡
    神經(jīng)網(wǎng)絡(luò)機(jī)器人比賽
    神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
    電子制作(2019年19期)2019-11-23 08:42:00
    發(fā)芽比賽
    大灰狼(2019年4期)2019-05-14 16:38:38
    選美比賽
    比賽
    最瘋狂的比賽
    智慧少年(2016年2期)2016-06-24 06:12:54
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    機(jī)器人來幫你
    認(rèn)識(shí)機(jī)器人
    機(jī)器人來啦
    午夜亚洲福利在线播放| 国产一区二区在线观看日韩| 国产综合懂色| 插阴视频在线观看视频| 亚洲成人精品中文字幕电影| 国产成人精品一,二区| 91精品伊人久久大香线蕉| 亚洲av福利一区| 亚洲国产高清在线一区二区三| 国产一区有黄有色的免费视频 | 在线观看人妻少妇| 欧美xxxx黑人xx丫x性爽| 国产精品久久久久久精品电影| av天堂中文字幕网| 欧美成人精品欧美一级黄| 日本爱情动作片www.在线观看| 熟女电影av网| 久久久a久久爽久久v久久| 卡戴珊不雅视频在线播放| 亚洲欧洲国产日韩| 不卡视频在线观看欧美| 超碰97精品在线观看| 欧美日韩国产mv在线观看视频 | 老女人水多毛片| 免费在线观看成人毛片| 乱人视频在线观看| 国产精品福利在线免费观看| 国产精品不卡视频一区二区| 国产精品国产三级国产专区5o| 一级a做视频免费观看| 永久网站在线| 精品久久久噜噜| 久久草成人影院| 国产在视频线精品| 久久99精品国语久久久| 又黄又爽又刺激的免费视频.| 国产精品熟女久久久久浪| 国产精品一区二区三区四区久久| 人妻夜夜爽99麻豆av| 久久精品熟女亚洲av麻豆精品 | 六月丁香七月| 九九久久精品国产亚洲av麻豆| 国产精品.久久久| 亚洲图色成人| 好男人视频免费观看在线| 日韩不卡一区二区三区视频在线| h日本视频在线播放| 尤物成人国产欧美一区二区三区| 一区二区三区免费毛片| 日韩av在线免费看完整版不卡| 天堂av国产一区二区熟女人妻| a级毛色黄片| 欧美一区二区亚洲| freevideosex欧美| 欧美+日韩+精品| 如何舔出高潮| 国语对白做爰xxxⅹ性视频网站| 美女黄网站色视频| 免费av观看视频| av国产久精品久网站免费入址| 美女主播在线视频| 伊人久久精品亚洲午夜| 亚洲人成网站在线播| av卡一久久| 一级片'在线观看视频| 婷婷色麻豆天堂久久| 国产成人一区二区在线| 国产v大片淫在线免费观看| 大香蕉97超碰在线| 国产精品三级大全| 神马国产精品三级电影在线观看| 如何舔出高潮| 大片免费播放器 马上看| 国产伦精品一区二区三区视频9| 三级男女做爰猛烈吃奶摸视频| 免费在线观看成人毛片| 日本免费a在线| 日韩制服骚丝袜av| 日本免费在线观看一区| 又黄又爽又刺激的免费视频.| 老司机影院成人| 舔av片在线| 26uuu在线亚洲综合色| 亚洲欧美日韩东京热| 日日啪夜夜爽| 国产麻豆成人av免费视频| 一个人观看的视频www高清免费观看| 国产一区亚洲一区在线观看| 日韩中字成人| 麻豆久久精品国产亚洲av| 成人高潮视频无遮挡免费网站| 欧美一级a爱片免费观看看| 嘟嘟电影网在线观看| 在现免费观看毛片| 国精品久久久久久国模美| 高清av免费在线| 日韩欧美精品v在线| 肉色欧美久久久久久久蜜桃 | 亚洲精品一区蜜桃| 国产中年淑女户外野战色| 97热精品久久久久久| 国产精品女同一区二区软件| 777米奇影视久久| 男人舔女人下体高潮全视频| 日韩av不卡免费在线播放| 三级经典国产精品| 高清视频免费观看一区二区 | 亚洲成人中文字幕在线播放| 一区二区三区高清视频在线| 免费大片黄手机在线观看| 日韩欧美一区视频在线观看 | 久久久久精品性色| 69av精品久久久久久| 亚洲最大成人av| 国产精品一区www在线观看| av卡一久久| 国产精品女同一区二区软件| 亚洲av成人av| 久久久久久久久大av| 亚洲欧美日韩无卡精品| 欧美精品一区二区大全| 天堂网av新在线| 在线免费观看不下载黄p国产| 亚洲精品色激情综合| 在线观看一区二区三区| 亚洲精品久久久久久婷婷小说| 九九在线视频观看精品| 91狼人影院| 日韩电影二区| 观看免费一级毛片| 欧美高清性xxxxhd video| 精品久久久精品久久久| 我要看日韩黄色一级片| 国产精品人妻久久久影院| 日本午夜av视频| 日产精品乱码卡一卡2卡三| 久久久久久九九精品二区国产| 亚洲av日韩在线播放| 国产极品天堂在线| 黄片wwwwww| 国产精品国产三级国产av玫瑰| 黑人高潮一二区| 精品久久久久久久久av| 天美传媒精品一区二区| 99久国产av精品国产电影| 日韩欧美精品免费久久| 一本久久精品| 国产精品久久视频播放| 国产精品熟女久久久久浪| 99热全是精品| 亚洲一区高清亚洲精品| 午夜精品国产一区二区电影 | 欧美性感艳星| 免费观看性生交大片5| 久久99热这里只频精品6学生| 国精品久久久久久国模美| 国模一区二区三区四区视频| 国产老妇伦熟女老妇高清| 青春草国产在线视频| 成人鲁丝片一二三区免费| 中文字幕制服av| 九九爱精品视频在线观看| 日本三级黄在线观看| av黄色大香蕉| 免费少妇av软件| 看黄色毛片网站| 国产成人午夜福利电影在线观看| 久久这里有精品视频免费| 观看免费一级毛片| 日韩视频在线欧美| 欧美变态另类bdsm刘玥| 亚洲丝袜综合中文字幕| 人妻一区二区av| 内射极品少妇av片p| 国产av码专区亚洲av| 国产一级毛片七仙女欲春2| 亚洲成人av在线免费| 亚洲成人av在线免费| 永久网站在线| 只有这里有精品99| 国产午夜精品久久久久久一区二区三区| 中文欧美无线码| 久久精品国产自在天天线| 色吧在线观看| 一级a做视频免费观看| 久久99热这里只频精品6学生| 一区二区三区乱码不卡18| 禁无遮挡网站| 国产成人aa在线观看| 久久久久性生活片| 国产亚洲av片在线观看秒播厂 | 最近最新中文字幕大全电影3| videos熟女内射| 小蜜桃在线观看免费完整版高清| 成人亚洲精品一区在线观看 | 22中文网久久字幕| av免费在线看不卡| 国产一区二区亚洲精品在线观看| 在线观看免费高清a一片| 在线免费十八禁| 免费黄频网站在线观看国产| 国产高清不卡午夜福利| 亚洲av中文av极速乱| 午夜日本视频在线| 国产精品国产三级专区第一集| 免费观看av网站的网址| 精品酒店卫生间| 亚洲欧美成人精品一区二区| 赤兔流量卡办理| 丝袜喷水一区| 日韩一区二区视频免费看| 亚洲精品视频女| 18+在线观看网站| 午夜免费男女啪啪视频观看| 成年女人在线观看亚洲视频 | 亚洲av免费高清在线观看| 国产精品久久久久久av不卡| 亚洲精品影视一区二区三区av| 国产av国产精品国产| 免费观看的影片在线观看| 一级黄片播放器| 成人亚洲精品av一区二区| 精品亚洲乱码少妇综合久久| 天堂网av新在线| 日韩在线高清观看一区二区三区| 亚洲欧美日韩东京热| 九九在线视频观看精品| 在线观看av片永久免费下载| av播播在线观看一区| 精品国产三级普通话版| 乱人视频在线观看| 两个人视频免费观看高清| 禁无遮挡网站| 国产v大片淫在线免费观看| 极品少妇高潮喷水抽搐| 久久精品熟女亚洲av麻豆精品 | 国产高潮美女av| 国产亚洲5aaaaa淫片| 91aial.com中文字幕在线观看| 最新中文字幕久久久久| 国产精品国产三级国产av玫瑰| 九色成人免费人妻av| 听说在线观看完整版免费高清| 嫩草影院新地址| 大片免费播放器 马上看| 毛片女人毛片| 久久99热6这里只有精品| 久久精品国产鲁丝片午夜精品| 国产大屁股一区二区在线视频| 国产精品人妻久久久久久| 一个人看的www免费观看视频| 国产成人一区二区在线| 你懂的网址亚洲精品在线观看| 身体一侧抽搐| 日韩精品青青久久久久久| 亚洲欧洲国产日韩| 色哟哟·www| 一区二区三区四区激情视频| 日本欧美国产在线视频| 女人被狂操c到高潮| 又爽又黄a免费视频| av专区在线播放| 免费看光身美女| 最近中文字幕2019免费版| 久久久亚洲精品成人影院| 2021天堂中文幕一二区在线观| 亚洲av男天堂| 18禁在线播放成人免费| 97热精品久久久久久| 简卡轻食公司| 亚洲精品中文字幕在线视频 | 欧美性猛交╳xxx乱大交人| videossex国产| 日韩一区二区三区影片| 丝袜喷水一区| 精品少妇黑人巨大在线播放| 日本免费在线观看一区| 亚洲精品久久久久久婷婷小说| 国产 亚洲一区二区三区 | 久久久久久久久久黄片| 欧美性感艳星| 男人爽女人下面视频在线观看| 特大巨黑吊av在线直播| 久久久精品免费免费高清| 亚洲色图av天堂| 亚洲av中文av极速乱| 哪个播放器可以免费观看大片| 男女下面进入的视频免费午夜| 亚洲国产欧美在线一区| av在线天堂中文字幕| 好男人视频免费观看在线| 在线 av 中文字幕| 干丝袜人妻中文字幕| 国产亚洲av片在线观看秒播厂 | 亚洲人成网站在线观看播放| 少妇熟女aⅴ在线视频| 国产高清不卡午夜福利| 亚洲精品亚洲一区二区| 美女国产视频在线观看| or卡值多少钱| 亚洲高清免费不卡视频| 亚洲国产精品成人久久小说| 国产69精品久久久久777片| 亚洲天堂国产精品一区在线| 精品久久久久久久人妻蜜臀av| 欧美不卡视频在线免费观看| 久久久久久九九精品二区国产| 日韩精品有码人妻一区| 国产黄a三级三级三级人| 国产黄片视频在线免费观看| 91精品伊人久久大香线蕉| 国产美女午夜福利| 午夜久久久久精精品| 日日摸夜夜添夜夜添av毛片| 亚洲经典国产精华液单| 搞女人的毛片| 一级毛片黄色毛片免费观看视频| 亚洲精品日韩在线中文字幕| 国产精品久久久久久精品电影| 午夜激情久久久久久久| 91精品伊人久久大香线蕉| 亚洲成人久久爱视频| 十八禁国产超污无遮挡网站| 国产毛片a区久久久久| 亚洲真实伦在线观看| 黑人高潮一二区| 亚洲aⅴ乱码一区二区在线播放| 亚洲精品第二区| 亚洲三级黄色毛片| 亚洲成人av在线免费| av国产免费在线观看| 国产亚洲最大av| 国产亚洲精品久久久com| 内地一区二区视频在线| 欧美人与善性xxx| 天天躁夜夜躁狠狠久久av| 七月丁香在线播放| 国产av国产精品国产| 天堂俺去俺来也www色官网 | 80岁老熟妇乱子伦牲交| 全区人妻精品视频| 久久这里只有精品中国| 日本av手机在线免费观看| 国产精品久久久久久精品电影小说 | 久久久精品欧美日韩精品| 国产亚洲av嫩草精品影院| 亚洲人与动物交配视频| 日本黄色片子视频| 高清毛片免费看| 国产大屁股一区二区在线视频| 天堂av国产一区二区熟女人妻| 免费无遮挡裸体视频| 亚洲av日韩在线播放| 精品人妻视频免费看| 777米奇影视久久| 观看美女的网站| 五月天丁香电影| 91精品国产九色| 日韩电影二区| 少妇熟女aⅴ在线视频| 中文天堂在线官网| 成人国产麻豆网| 国产精品三级大全| 亚洲国产精品成人综合色| 五月天丁香电影| 特大巨黑吊av在线直播| 99热这里只有是精品50| 十八禁网站网址无遮挡 | 少妇的逼好多水| 99九九线精品视频在线观看视频| 男女边吃奶边做爰视频| 久久综合国产亚洲精品| 日本一二三区视频观看| 国产91av在线免费观看| 看十八女毛片水多多多| 亚洲精品,欧美精品| 欧美性感艳星| 婷婷色综合www| 亚洲精品乱码久久久v下载方式| 国产毛片a区久久久久| 91久久精品电影网| 婷婷六月久久综合丁香| 97在线视频观看| 少妇人妻精品综合一区二区| 免费黄频网站在线观看国产| 久久久久国产网址| 亚洲精品视频女| 日韩大片免费观看网站| 乱人视频在线观看| 久久国内精品自在自线图片| 中文字幕制服av| 欧美变态另类bdsm刘玥| 国产老妇女一区| 日本午夜av视频| 国产视频首页在线观看| 日本欧美国产在线视频| 蜜桃久久精品国产亚洲av| av在线亚洲专区| 国内精品美女久久久久久| 亚洲怡红院男人天堂| 99九九线精品视频在线观看视频| 性色avwww在线观看| 免费看av在线观看网站| av专区在线播放| 美女脱内裤让男人舔精品视频| 免费看不卡的av| 亚洲性久久影院| 国产高潮美女av| 日日撸夜夜添| 日日干狠狠操夜夜爽| 97精品久久久久久久久久精品| 老师上课跳d突然被开到最大视频| 国产一区二区三区综合在线观看 | 婷婷色综合www| 91精品国产九色| 91精品一卡2卡3卡4卡| 亚洲av日韩在线播放| 亚洲欧美成人综合另类久久久| 欧美性猛交╳xxx乱大交人| 男人爽女人下面视频在线观看| 伊人久久国产一区二区| 亚洲最大成人中文| 91精品伊人久久大香线蕉| 成人鲁丝片一二三区免费| 久久久欧美国产精品| 三级国产精品欧美在线观看| 久久久久久久久大av| av在线播放精品| 韩国高清视频一区二区三区| 精品一区二区三卡| 熟女电影av网| 精品一区二区免费观看| 免费大片18禁| 丝瓜视频免费看黄片| 国产成人freesex在线| 精品熟女少妇av免费看| 永久免费av网站大全| 精品一区在线观看国产| 两个人视频免费观看高清| 三级国产精品片| 97超碰精品成人国产| 精品国产一区二区三区久久久樱花 | 熟妇人妻久久中文字幕3abv| 久久99蜜桃精品久久| 亚洲18禁久久av| 禁无遮挡网站| 狠狠精品人妻久久久久久综合| 亚洲精品一二三| 亚洲成人av在线免费| 深夜a级毛片| 亚洲欧洲日产国产| 国模一区二区三区四区视频| 欧美成人精品欧美一级黄| 日韩一区二区视频免费看| 成人亚洲精品一区在线观看 | 亚洲精品乱码久久久v下载方式| 青春草视频在线免费观看| 成年版毛片免费区| 日韩av不卡免费在线播放| 亚洲综合色惰| 国产综合精华液| 免费黄色在线免费观看| 中文字幕久久专区| 亚洲最大成人中文| 免费看a级黄色片| 天堂√8在线中文| 美女cb高潮喷水在线观看| 狠狠精品人妻久久久久久综合| 18+在线观看网站| 麻豆久久精品国产亚洲av| 亚洲美女视频黄频| 天天躁日日操中文字幕| 久久久久久久大尺度免费视频| 国产 一区精品| 99九九线精品视频在线观看视频| 99热这里只有是精品在线观看| 国产伦在线观看视频一区| 街头女战士在线观看网站| 嫩草影院新地址| 中文字幕亚洲精品专区| 欧美不卡视频在线免费观看| 又大又黄又爽视频免费| 嫩草影院入口| 久久久a久久爽久久v久久| 国产精品一区二区性色av| 日韩欧美三级三区| 丰满乱子伦码专区| 午夜激情欧美在线| 欧美变态另类bdsm刘玥| 国产精品国产三级专区第一集| 91久久精品国产一区二区三区| 成年免费大片在线观看| 亚洲性久久影院| 免费看a级黄色片| 校园人妻丝袜中文字幕| 久久草成人影院| 看十八女毛片水多多多| 亚洲国产精品专区欧美| 99久久精品国产国产毛片| 国产欧美日韩精品一区二区| 亚洲精品日韩av片在线观看| 搡老妇女老女人老熟妇| 国产v大片淫在线免费观看| 久久鲁丝午夜福利片| 搡女人真爽免费视频火全软件| 欧美xxxx黑人xx丫x性爽| 国产高清三级在线| 久久久亚洲精品成人影院| 一级毛片久久久久久久久女| 极品教师在线视频| 亚洲色图av天堂| 草草在线视频免费看| 美女内射精品一级片tv| 国产综合懂色| 中文字幕av成人在线电影| 免费看美女性在线毛片视频| 18禁动态无遮挡网站| 老司机影院毛片| 中文精品一卡2卡3卡4更新| 国产中年淑女户外野战色| 色5月婷婷丁香| 七月丁香在线播放| 国产亚洲精品久久久com| 亚洲图色成人| 一级毛片黄色毛片免费观看视频| 日本爱情动作片www.在线观看| 亚洲欧美中文字幕日韩二区| 精品久久久久久久人妻蜜臀av| 国产午夜精品久久久久久一区二区三区| av在线播放精品| 亚洲精品一区蜜桃| 亚洲精品aⅴ在线观看| 乱人视频在线观看| 欧美成人午夜免费资源| 三级国产精品欧美在线观看| 在线观看美女被高潮喷水网站| 免费人成在线观看视频色| 国产三级在线视频| 乱人视频在线观看| 99久久人妻综合| 国产女主播在线喷水免费视频网站 | 五月玫瑰六月丁香| 日韩 亚洲 欧美在线| 免费大片黄手机在线观看| 国产 亚洲一区二区三区 | 六月丁香七月| 亚洲av成人精品一区久久| 只有这里有精品99| 欧美成人a在线观看| 免费观看精品视频网站| 亚洲熟女精品中文字幕| 免费观看的影片在线观看| 午夜久久久久精精品| 三级男女做爰猛烈吃奶摸视频| 国产精品av视频在线免费观看| 熟女人妻精品中文字幕| 黄色配什么色好看| 777米奇影视久久| 亚洲成人一二三区av| 熟女电影av网| 亚洲最大成人av| 免费黄频网站在线观看国产| 成人亚洲精品一区在线观看 | 色综合色国产| 美女黄网站色视频| 国产黄色视频一区二区在线观看| 亚洲最大成人中文| 色吧在线观看| 国产v大片淫在线免费观看| 国产精品一区二区性色av| 99热网站在线观看| 精品一区二区三区视频在线| 天堂网av新在线| 看免费成人av毛片| 日韩中字成人| 亚洲欧美清纯卡通| 大陆偷拍与自拍| av在线天堂中文字幕| videos熟女内射| 免费看a级黄色片| 国产在视频线精品| 少妇熟女aⅴ在线视频| 在线免费观看的www视频| 尤物成人国产欧美一区二区三区| 日韩av在线免费看完整版不卡| videossex国产| 国产午夜精品一二区理论片| 久久精品夜夜夜夜夜久久蜜豆| 最近的中文字幕免费完整| 成人亚洲欧美一区二区av| 亚洲欧洲日产国产| 亚洲国产最新在线播放| 免费黄频网站在线观看国产| 欧美日韩一区二区视频在线观看视频在线 | 七月丁香在线播放| 一级黄片播放器| 全区人妻精品视频| 搡老妇女老女人老熟妇| 久久久久久久久中文| 少妇人妻一区二区三区视频| 亚洲高清免费不卡视频| 日韩在线高清观看一区二区三区| 亚洲精品乱久久久久久| 蜜桃亚洲精品一区二区三区| 我的老师免费观看完整版| 能在线免费看毛片的网站| 成人午夜精彩视频在线观看| 久久久久久久午夜电影| 精品久久久久久久久久久久久| 亚洲av中文av极速乱| 午夜免费激情av| 国产精品一区二区在线观看99 | 日韩精品有码人妻一区| 狂野欧美白嫩少妇大欣赏| 大话2 男鬼变身卡|