• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度Q網(wǎng)絡的水面無人艇路徑規(guī)劃算法

    2020-10-20 05:43隨博文黃志堅姜寶祥鄭歡溫家一
    上海海事大學學報 2020年3期
    關(guān)鍵詞:路徑規(guī)劃卷積神經(jīng)網(wǎng)絡

    隨博文 黃志堅 姜寶祥 鄭歡 溫家一

    摘要:為實現(xiàn)水面無人艇(unmanned surface vessel, USV)在未知環(huán)境下的自主避障航行,提出一種基于深度Q網(wǎng)絡的USV避障路徑規(guī)劃算法。該算法將深度學習應用到Q學習算法中,利用深度神經(jīng)網(wǎng)絡估計Q函數(shù),有效解決傳統(tǒng)Q學習算法在復雜水域環(huán)境的路徑規(guī)劃中容易產(chǎn)生維數(shù)災難的問題。通過訓練模型可有效地建立感知(輸入)與決策(輸出)之間的映射關(guān)系。依據(jù)此映射關(guān)系,USV在每個決策周期選擇Q值最大的動作執(zhí)行,從而能夠成功避開障礙物并規(guī)劃出最優(yōu)路線。仿真結(jié)果表明,在迭代訓練8 000次時,平均損失函數(shù)能夠較好地收斂,這證明USV有效學習到了如何避開障礙物并規(guī)劃出最優(yōu)路線。該方法是一種不依賴模型的端到端路徑規(guī)劃算法。

    關(guān)鍵詞:水面無人艇(USV); 自主避障; 路徑規(guī)劃; 深度Q網(wǎng)絡; 卷積神經(jīng)網(wǎng)絡; 強化學習

    中圖分類號:? U675.73

    文獻標志碼:A

    Path planning algorithm for unmanned surface vessels

    based on deep Q network

    SUI Bowen, HUANG Zhijian, JIANG Baoxiang, ZHENG Huan, WEN Jiayi

    (Merchant Marine College, Shanghai Maritime University, Shanghai 201306, China)

    Abstract:

    In order to realize the autonomous obstacle avoidance navigation of unmanned surface vessels (USVs) in unknown environment, a USV obstacle avoidance path planning algorithm based on the deep Q network is proposed. In this algorithm, the deep learning is applied to the Q-learning algorithm, and the Q function is estimated by the deep neural network, which effectively solves the problem of dimension disasters in the path planning of complex waters environment caused by the traditional Q-learning algorithm. The mapping relationship between the perception (input) and the decision (output) can be established effectively by the trained model. According to the mapping relationship, a USV chooses the action? with the largest Q value in each decision cycle, so that it can successfully avoid obstacles and plan the optimal route. The simulation results show that, the average loss function can converge well through the iteration training of 8 000 times, which proves that the USV has learned how to avoid obstacles and plan the optimal route effectively. This method is an end-to-end path planning algorithm which does not depend on models.

    Key words:

    unmanned surface vessel (USV); autonomous obstacle avoidance; path planning;

    deep Q network; convolutional neural network; reinforcement learning

    0 引 言

    水面無人艇(unmanned surface vessel, USV)在復雜水域環(huán)境中要具備自主航行和避障能力,首先面對的是避障路徑規(guī)劃問題,即如何規(guī)劃出一條從出發(fā)點到目標點的安全且最優(yōu)的航線。目前,根據(jù)智能化程度,研究與應用較多的USV路徑規(guī)劃算法包括傳統(tǒng)算法、啟發(fā)式算法、智能算法、強化學習算法等4類[1]。

    傳統(tǒng)算法如可視圖法[2]、人工勢場法[3]等缺乏靈活性,易于陷入局部最優(yōu)值。啟發(fā)式算法是相對于最優(yōu)化算法提出的,是一種搜索式算法,在離散路徑拓撲結(jié)構(gòu)中得到了很好的應用[4]。智能算法是人們在仿生學研究中發(fā)現(xiàn)的算法,常用的智能算法包括遺傳算法、神經(jīng)網(wǎng)絡算法和群智能算法[1]。以上3類算法都是基于樣本的監(jiān)督學習算法,即算法需要完備的環(huán)境信息。因此,在未知環(huán)境(即系統(tǒng)中沒有新環(huán)境的先驗信息)水域采用這3種算法USV很難有效地進行路徑規(guī)劃。

    強化學習算法是由美國學者MINSKY于1954年提出的。目前常用的強化學習算法主要包括Q學習、SARSA學習、TD學習和自適應動態(tài)規(guī)劃算法等。該類算法通過智能體與環(huán)境進行大量的交互,經(jīng)過不斷試錯獲取未知環(huán)境的信息反饋,從而優(yōu)化路徑規(guī)劃策略。該類學習算法不依賴模型和環(huán)境的先驗信息,是一種自主學習和在線學習算法,具有較強的不確定環(huán)境自適應能力,可以借助相應傳感器感知障礙物信息進行實時在線路徑規(guī)劃。例如,王程博等[5]提出了一種基于

    Q學習的無人駕駛船舶路徑規(guī)劃方法,將強化學習創(chuàng)新應用至無人駕駛船舶的路徑規(guī)劃領(lǐng)域,利用強化學習具有自主決策的特點來選擇策略最終完成無人駕駛船的自主避障和路徑規(guī)劃。然而,傳統(tǒng)的Q學習是以Q值表的形式存儲狀態(tài)行為信息的,而在復雜水域環(huán)境中Q值表存儲不了大量的狀態(tài)行為信息從而會導致維數(shù)災難問題。

    為解決維度災難問題并使USV在未知環(huán)境水域具有較高的自適應性和穩(wěn)定性,本文基于深度Q網(wǎng)絡提出一種端對端的USV路徑規(guī)劃算法。該算法將深度學習與Q學習相互融合,以神經(jīng)網(wǎng)絡輸出代替Q值矩陣,有效解決了維度災難問題。該算法是一種無模型的端到端的路徑規(guī)劃算法,即通過深度學習實時感知高維度障礙物信息,然后根據(jù)感知到的環(huán)境信息作出決策,通過端到端的訓練環(huán)境信息輸入和規(guī)劃路徑輸出,減少了大量中間環(huán)節(jié)的運算,有效提高了算法的自適應性和模型泛化能力。此外,由于該算法是一種不依賴模型的端到端的路徑規(guī)劃算法,所以基于該算法的USV智能系統(tǒng)通過實時與環(huán)境交互獲取環(huán)境信息,并根據(jù)獲取的交互數(shù)據(jù)不斷學習和改善自身決策行為,最終獲得最優(yōu)策略,規(guī)劃出最優(yōu)路線。相比于傳統(tǒng)路徑規(guī)劃算法,本文所提出的路徑規(guī)劃算法更具通用性。

    1 Q學習算法

    Q學習算法最初是由WATKINS等[6]提出的一種無模型的值函數(shù)強化學習算法。該算法通過構(gòu)建一個Q值表儲存狀態(tài)動作值,通過智能體與環(huán)境的不斷交互獲得獎勵值,進而更新Q值表,更改動作策略集,最終使智能體趨于最優(yōu)動作集。算法原理圖見圖1。

    在Q學習算法中,USV根據(jù)當前的狀態(tài)選擇一個動作對環(huán)境造成影響,并收到環(huán)境給出的反饋(正反饋或負反饋),根據(jù)反饋信號作出下一步?jīng)Q策,原則是使得環(huán)境的正反饋概率最大[7]。例如,USV路徑規(guī)劃決策系統(tǒng)在t時刻選擇動作at,環(huán)境接收動作后由狀態(tài)st轉(zhuǎn)移到下一個狀態(tài)st+1,狀態(tài)轉(zhuǎn)移概率P取決于at和st:

    根據(jù)未來獎勵對當前獎勵長期影響的觀點選擇最優(yōu)動作,在策略π的作用下,狀態(tài)值函數(shù)被定義為

    式中:Rt(a)為當前狀態(tài)下采取行動的即時獎勵;γ∈[0,1]為折扣因子,表示未來獎勵對當前獎勵的重要程度。學習的最終目的就是找到最優(yōu)策略π*,使得每個狀態(tài)的值函數(shù)取得最大值。

    定義狀態(tài)動作值函數(shù)Q:

    式中,Q*(s,a)表示在狀態(tài)s下采取動作a所得的最大累積獎勵值;s0和a0分別為初始狀態(tài)和在初始狀態(tài)下執(zhí)行的動作?;诋斍暗臓顟B(tài)和動作,在最優(yōu)策略π*的作用下,系統(tǒng)將以概率P(s,a,st)轉(zhuǎn)移到下一狀態(tài)st,則由式(4)可得Q學習算法的基本形式:

    由式(3)進一步可得最優(yōu)策略的狀態(tài)動作表達式:

    式(6)表明,在路徑規(guī)劃時只需求得當前的狀態(tài)動作值函數(shù)Q(s,a),通過不斷對上一狀態(tài)的值函數(shù)進行迭代更新,即可規(guī)劃出全局最優(yōu)策略。其迭代公式為

    式中:α為學習率,主要用于迭代公式的收斂。

    2 避障路徑規(guī)劃算法

    2.1 算法模型結(jié)構(gòu)

    本文結(jié)合卷積

    神經(jīng)網(wǎng)絡[8]和強化學習提出一種深度強化學習(深度Q網(wǎng)絡)路徑規(guī)劃算法。該算法可實現(xiàn)從感知(輸入)到?jīng)Q策(輸出)的端到端的策略選擇。輸入圖片像素后,經(jīng)過卷積神經(jīng)網(wǎng)絡對環(huán)境信息的逐層提取和對高維特征的感知,從動作空間選取Q值最大的動作執(zhí)行,從而得到平均獎勵最大的策略即為最優(yōu)策略,實現(xiàn)對USV的端到端的自主避障控制和路徑規(guī)劃。本文提出的路徑規(guī)劃算法結(jié)構(gòu)見圖2。

    首先根據(jù)馬爾科夫決策過程模型[9]和Bellman方程[10]得到當前狀態(tài)的動作值函數(shù):

    式中:st+1為下一狀態(tài);at+1為下一狀態(tài)最優(yōu)動作;R為采取下一狀態(tài)的獎勵。通過多次實驗可找到最優(yōu)Q*(s,a):

    在狀態(tài)s下通過多次實驗可得到多個Q值,當實驗次數(shù)足夠多時,該期望值就無限接近真實的Q值。因此,可以通過神經(jīng)網(wǎng)絡估計Q值:

    式中,θ是神經(jīng)網(wǎng)絡的參數(shù)。

    利用式(10)估計Q值的方法會產(chǎn)生一定的誤差,因此引入損失函數(shù)來反映利用神經(jīng)網(wǎng)絡估計的Q值與真實Q值之間的差:

    采用隨機梯度下降方式不斷優(yōu)化網(wǎng)絡參數(shù),使損失函數(shù)盡可能降到最低,即估計的Q值盡可能逼近真實值,使得智能體每次都能選取最優(yōu)的Q值從而進行最優(yōu)決策。

    2.2 動作空間設計

    在仿真過程中對USV和仿真環(huán)境進行簡化處理:把USV近似為1×1像素大小的像素塊,定義USV的動作空間

    包括上、下、左、右4個基本動作,并采用ε貪婪策略,分別以ε的概率進行隨機動作選擇來探索新環(huán)境,以1-ε的概率選擇Q值最大的動作a。本文設置的探索-利用機制如下:

    采用ε貪婪策略,既可以保證USV在策略選擇時選取較優(yōu)策略,又能保證所有狀態(tài)空間都能被探索到。

    2.3 激勵函數(shù)的設計

    本實驗中動作空間是有限且離散化的,故可將激勵函數(shù)R做泛化處理:當USV到達目的地時,獎勵值設為100;當USV與黑色方塊重合時,即表示USV沒有進行有效的避碰,獎勵值設為-100,以示懲罰;其他白色可通行區(qū)域所有狀態(tài)的獎勵值均設為0,激勵函數(shù)的表達式如下:

    R=100 (到達目的地)0 (未碰撞,未到達)-100 (發(fā)生碰撞)

    2.4 深度Q網(wǎng)絡結(jié)構(gòu)

    本文采用的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)包括2個卷積層和2個全連接層,卷積神經(jīng)網(wǎng)絡訓練參數(shù)設置見表1。

    在卷積神經(jīng)網(wǎng)絡中輸入像素為25×25×3的仿真地圖,見圖3。首先經(jīng)過卷積核數(shù)量為10、大小為2×2的第一個卷積層,提取高維特征,生成25×25×10的特征圖;將第一個卷積層的輸出作為第二個卷積層的輸入,其中第二個卷積層的卷積核數(shù)量為20、大小同樣為2×2;將第二個卷積層的輸出作為第一個全連接層的輸入,通過重塑數(shù)據(jù)形狀,將特征圖轉(zhuǎn)化為1×12 500的特征向量,再輸入到第二個全連接層,輸出一個1×4的矩陣,分別對應USV的上、下、左、右4個離散動作,最后根據(jù)每個數(shù)據(jù)點的Q值的大小選出最優(yōu)動作。

    3 仿真與實驗

    3.1 建立仿真環(huán)境

    基于Python及相應工具包構(gòu)建如圖4所示的二維仿真環(huán)境。隨機生成625張像素為25×25的圖片,每個像素塊都代表環(huán)境的一個狀態(tài),并且在像素為25×25的圖片中隨機生成位置各不相同的1×1像素的黑色方塊代表障礙物,白色區(qū)域為可自由通行區(qū)域。隨機變換障礙物位置200次,即生成了200×625張圖片作為訓練數(shù)據(jù)進行訓練。從12 500張圖片中隨機選取4張作為仿真環(huán)境,如圖4所示。圖4中左上角、右下角灰色方塊分別代表無人艇的出發(fā)點和目標點。

    結(jié)合仿真環(huán)境建立二維直角坐標系,如圖5

    所示:A點為USV的出發(fā)點,坐標為(1,1);B點為目標點,坐標為(25,25)。本文中所有仿真環(huán)境的出發(fā)點和目標點均與圖5保持一致。對于USV來說,這些環(huán)境信息都是未知的。

    3.2 實驗結(jié)果分析

    實驗環(huán)境配置:CPU為intel i7-7700 4.2 GHz,內(nèi)存為16 GB,顯卡為英偉達GTX1080 Ti,操作系統(tǒng)Ubuntu 16.04。實驗中采用的訓練數(shù)據(jù)來自隨機生成的12 500張像素為25×25的圖片。利用同樣的方法隨機生成具有不同障礙物分布的20張圖片作為測試集進行測試。

    為簡化仿真實驗復雜度,仿真實驗僅在模擬的水上障礙物靜態(tài)環(huán)境中進行,在實驗前期USV在不同的時間步與障礙物發(fā)生碰撞,環(huán)境給出懲罰,以降低下次出現(xiàn)相似狀況的概率,有效指引USV選擇最優(yōu)策略。在上述4種仿真環(huán)境中的路徑規(guī)劃效果見圖6。

    在訓練開始時,USV會多次與障礙物發(fā)生碰撞且規(guī)劃路徑波動較大;在訓練3 000次時,算法逐漸規(guī)劃出安全路徑,但此時路徑并非最短,所耗費時間也較長;在訓練5 000次時,系統(tǒng)可以有效避開障礙物,算法趨于平穩(wěn)并逐漸規(guī)劃出有效路徑,所需時間也明顯縮短;當訓練8 000次時,系統(tǒng)可以高效避開障礙物并規(guī)劃出最優(yōu)路徑。表2為在上述4種仿真環(huán)境中分別訓練不同次數(shù)產(chǎn)生的數(shù)據(jù)平均值。

    從訓練數(shù)據(jù)中隨機選出一批圖片進行訓練,其權(quán)值更新取決于損失函數(shù),隨著訓練次數(shù)的增加,

    式(11)的max Q(st+1,at+1s,a)對應上、下、左、右4個動作中的Q值的最大值。首先將神經(jīng)網(wǎng)絡預測的Q值存儲起來。經(jīng)過一段時間的訓練,更新Q值并存儲在與訓練模型相同的文本文件中。新Q值又可以用來訓練模型。重復幾個步驟,直到算法學習到所需的特性。當訓練開始時,神經(jīng)網(wǎng)絡估計的Q值與真實Q值的差值較大,此時的損失函數(shù)波動加大(見圖7),顯然此時算法還沒有學會如何避開障礙物。

    隨著訓練次數(shù)的增加,算法逐漸學會捕捉相應的特性,當訓練結(jié)束時算法的平均損失已經(jīng)明顯收斂(見圖8),這表明網(wǎng)絡誤差較小,USV已經(jīng)很好地學會如何避開障礙物規(guī)劃安全航線。

    針對上文的4種仿真環(huán)境,采用A*算法對USV進行路徑規(guī)劃,如圖9所示:隨著仿真環(huán)境的變化,A*算法并不穩(wěn)定,在仿真環(huán)境1和仿真環(huán)境2中,USV的路徑規(guī)劃均存在繞遠現(xiàn)象,并不是最優(yōu)路線,沒有實現(xiàn)高效合理的路徑規(guī)劃目標。采用A*算法進行路徑規(guī)劃的相關(guān)數(shù)據(jù)見表3。

    由表2和表3可知:采用深度Q網(wǎng)絡進行USV路徑規(guī)劃時,當?shù)? 000次時算法已經(jīng)收斂,從出發(fā)點到目標點所需平均時間步和時間分別為49.0和5.3 s;采用A*算法進行USV路徑規(guī)劃時,從出發(fā)點到目標點所需平均時間步和時間分別為52.25和6.425 s。由此可知,采用深度Q網(wǎng)絡進行USV路徑規(guī)劃比采用傳統(tǒng)的A*算法更加高效。

    以上仿真結(jié)果表明,本文提出的路徑規(guī)劃算法可以實現(xiàn)USV航行的全局路徑規(guī)劃,并且比傳統(tǒng)的A*算法更加高效,可以有效地避開環(huán)境中的障礙物并規(guī)劃出最優(yōu)航線。

    4 結(jié)束語

    本文基于深度Q網(wǎng)絡提出一種無須模型的端到端的無人艇(USV)路徑規(guī)劃算法。該算法以神經(jīng)網(wǎng)絡的輸出代替Q值矩陣,解決了采用傳統(tǒng)Q學習進行路徑規(guī)劃時的維數(shù)災難問題。采取經(jīng)驗回放機制,有利于提高USV的學習效率,提高USV到達目標的速度。該算法無須知道環(huán)境先驗信息,能夠通過與環(huán)境的交互獲取數(shù)據(jù)并進行在線學習,相比于傳統(tǒng)的基于模型的路徑規(guī)劃算法,本文所提出的路徑規(guī)劃算法更具通用性。通過仿真可知:USV在與環(huán)境交互初期,對環(huán)境信息了解較少,會發(fā)生碰撞及路徑規(guī)劃波動較大等現(xiàn)象;隨著迭代次數(shù)的增加,USV的決策系統(tǒng)累積學習經(jīng)驗,提高對環(huán)境的自適應性,最終成功規(guī)劃路徑并安全抵達目標點。通過對比實驗可知,基于深度Q網(wǎng)絡的USV路徑規(guī)劃算法比傳統(tǒng)的A*算法更加高效合理。然而,本文對USV的動作空間進行了離散化處理,與真實情況尚有差距,針對USV的連續(xù)動作空間進行路徑規(guī)劃將是今后的研究方向。

    參考文獻:

    [1]劉志榮, 姜樹海. 基于強化學習的移動機器人路徑規(guī)劃研究綜述[J]. 制造業(yè)自動化, 2019, 41(3): 90-92.

    [2]李洪偉, 袁斯華. 基于Quartus Ⅱ的FPGA/CPLD設計[M]. 北京: 電子工業(yè)出版社, 2006.

    [3]陳超, 耿沛文, 張新慈. 基于改進人工勢場法的水面無人艇路徑規(guī)劃研究[J]. 船舶工程, 2015(9): 72-75.

    [4]邱育紅. GIS空間分析中兩種改進的路徑規(guī)劃算法[J]. 計算機系統(tǒng)應用, 2007, 16(7): 33-35.

    [5]王程博, 張新宇, 鄒志強, 等. 基于Q-learning的無人駕駛船舶路徑規(guī)劃[J].船海工程, 2018, 47(5): 168-171.

    [6]WATKINS C J C H, DAYAN P. Q-Learning[J]. Machine Learning, 1992, 8(3/4): 279-292.

    [7]衛(wèi)玉梁, 靳伍銀. 基于神經(jīng)網(wǎng)絡的Q-learning算法的智能車路徑規(guī)劃[J].火力與指揮控制, 2019, 44(2): 46-49.

    [8]林景棟, 吳欣怡, 柴毅, 等. 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)優(yōu)化綜述[J].自動化學報, 2018(2): 75-89.

    [9]劉成勇, 萬偉強, 陳蜀喆, 等. 基于灰色馬爾科夫模型的船舶交通流預測[J]. 中國航海, 2018, 41(3): 95-100.

    [10]李金娜, 尹子軒. 基于非策略Q-學習的網(wǎng)絡控制系統(tǒng)最優(yōu)跟蹤控制[J]. 控制與決策, 2019(4): 17-25.

    (編輯 趙勉)

    收稿日期: 2019-08-26

    修回日期: 2019-09-29

    基金項目:

    國家自然科學基金(61403250)

    作者簡介:

    隨博文(1992—),男,河南商丘人,碩士研究生,研究方向為深度強化學習,(E-mail)201410121215@stu.shmtu.edu.cn;

    黃志堅(1979—),男,江西九江人,高級工程師,研究方向為控制算法,(E-mail)zjhuang@shmtu.edu.cn

    猜你喜歡
    路徑規(guī)劃卷積神經(jīng)網(wǎng)絡
    基于卷積神經(jīng)網(wǎng)絡溫室智能大棚監(jiān)控系統(tǒng)的研究
    基于深度卷積神經(jīng)網(wǎng)絡的物體識別算法
    公鐵聯(lián)程運輸和售票模式的研究和應用
    基于數(shù)學運算的機器魚比賽進攻策略
    清掃機器人的新型田埂式路徑規(guī)劃方法
    自適應的智能搬運路徑規(guī)劃算法
    基于B樣條曲線的無人車路徑規(guī)劃算法
    深度學習算法應用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡的人臉年齡分析算法與實現(xiàn)
    基于改進的Dijkstra算法AGV路徑規(guī)劃研究
    欧美激情久久久久久爽电影| www日本黄色视频网| 国产精品1区2区在线观看.| 日本三级黄在线观看| 国产精品久久久久久久久免 | 五月伊人婷婷丁香| 嫩草影视91久久| 人人妻,人人澡人人爽秒播| 又粗又爽又猛毛片免费看| 一区二区三区激情视频| 黄色成人免费大全| h日本视频在线播放| 一级黄色大片毛片| 日本黄色视频三级网站网址| 日本成人三级电影网站| av在线蜜桃| 成人国产一区最新在线观看| 91字幕亚洲| 国产高潮美女av| 黄色成人免费大全| 两性午夜刺激爽爽歪歪视频在线观看| 欧美乱色亚洲激情| av专区在线播放| 淫妇啪啪啪对白视频| 国产在视频线在精品| 法律面前人人平等表现在哪些方面| 色av中文字幕| 欧美成人免费av一区二区三区| 国产麻豆成人av免费视频| 亚洲欧美日韩高清专用| 国产成人影院久久av| 最后的刺客免费高清国语| 精品不卡国产一区二区三区| 9191精品国产免费久久| 看片在线看免费视频| 午夜免费男女啪啪视频观看 | av专区在线播放| 国产精品电影一区二区三区| 国产激情欧美一区二区| 看免费av毛片| 日韩欧美在线乱码| 韩国av一区二区三区四区| 国产探花在线观看一区二区| 窝窝影院91人妻| 国产伦精品一区二区三区四那| 欧美一级a爱片免费观看看| 日本一本二区三区精品| 麻豆一二三区av精品| 久久久久久久久中文| 人人妻人人看人人澡| 国产伦在线观看视频一区| 免费av观看视频| 成人永久免费在线观看视频| 成人永久免费在线观看视频| 欧美日韩国产亚洲二区| 国产精品亚洲美女久久久| 亚洲va日本ⅴa欧美va伊人久久| 99国产精品一区二区三区| 欧美不卡视频在线免费观看| 女同久久另类99精品国产91| 国产精品亚洲一级av第二区| 成年版毛片免费区| h日本视频在线播放| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 波野结衣二区三区在线 | 精品福利观看| 国产精品99久久久久久久久| 亚洲国产欧美网| 久久久久国产精品人妻aⅴ院| 国产黄片美女视频| 国产爱豆传媒在线观看| 色综合亚洲欧美另类图片| 国产一区二区在线av高清观看| 亚洲熟妇中文字幕五十中出| 亚洲熟妇熟女久久| 亚洲av日韩精品久久久久久密| 黄色视频,在线免费观看| 国产高清有码在线观看视频| 欧美日韩乱码在线| 亚洲七黄色美女视频| 一个人观看的视频www高清免费观看| 亚洲国产精品成人综合色| 中亚洲国语对白在线视频| 男插女下体视频免费在线播放| 最近在线观看免费完整版| 在线观看日韩欧美| 日本撒尿小便嘘嘘汇集6| 国产精品久久久久久久久免 | 嫩草影院入口| 给我免费播放毛片高清在线观看| 在线观看日韩欧美| 夜夜夜夜夜久久久久| 99热这里只有精品一区| 级片在线观看| 美女被艹到高潮喷水动态| 搡老熟女国产l中国老女人| 亚洲精品一卡2卡三卡4卡5卡| 国产免费一级a男人的天堂| 欧美在线黄色| 五月玫瑰六月丁香| 叶爱在线成人免费视频播放| 国产成人影院久久av| 日韩有码中文字幕| 亚洲第一欧美日韩一区二区三区| www.熟女人妻精品国产| 窝窝影院91人妻| 欧美绝顶高潮抽搐喷水| 亚洲电影在线观看av| 男人舔奶头视频| 美女免费视频网站| 在线免费观看的www视频| 亚洲av日韩精品久久久久久密| 69av精品久久久久久| 午夜精品在线福利| 少妇人妻精品综合一区二区 | 国产黄片美女视频| 又紧又爽又黄一区二区| 日韩免费av在线播放| 丁香欧美五月| 香蕉av资源在线| 有码 亚洲区| 日韩欧美免费精品| 国产精品久久视频播放| 亚洲欧美日韩高清专用| 色视频www国产| 亚洲天堂国产精品一区在线| 真人做人爱边吃奶动态| 黄色日韩在线| 伊人久久大香线蕉亚洲五| 亚洲欧美日韩无卡精品| 亚洲美女视频黄频| 久久久久久久久大av| 有码 亚洲区| 香蕉丝袜av| 一区二区三区免费毛片| 久9热在线精品视频| 99精品久久久久人妻精品| 首页视频小说图片口味搜索| 成人18禁在线播放| 国产欧美日韩精品一区二区| 一本综合久久免费| 成年版毛片免费区| 精品一区二区三区人妻视频| 国产三级在线视频| 热99在线观看视频| 99在线人妻在线中文字幕| 国内毛片毛片毛片毛片毛片| 18美女黄网站色大片免费观看| 国产真实乱freesex| 免费看日本二区| 精品久久久久久成人av| 啦啦啦韩国在线观看视频| 欧美绝顶高潮抽搐喷水| 三级男女做爰猛烈吃奶摸视频| 一区二区三区高清视频在线| 亚洲乱码一区二区免费版| 亚洲美女视频黄频| 深夜精品福利| 天美传媒精品一区二区| 国产亚洲av嫩草精品影院| 两人在一起打扑克的视频| www国产在线视频色| 日本三级黄在线观看| 国产在线精品亚洲第一网站| 韩国av一区二区三区四区| 老司机在亚洲福利影院| 日本免费一区二区三区高清不卡| 亚洲国产精品999在线| 美女黄网站色视频| 一个人免费在线观看电影| 十八禁人妻一区二区| 亚洲欧美激情综合另类| 脱女人内裤的视频| 麻豆成人av在线观看| 波多野结衣高清无吗| 五月玫瑰六月丁香| 亚洲精华国产精华精| 中亚洲国语对白在线视频| 桃色一区二区三区在线观看| 九色国产91popny在线| 欧美日韩国产亚洲二区| 午夜福利在线观看免费完整高清在 | 欧美乱码精品一区二区三区| 女同久久另类99精品国产91| 亚洲国产精品sss在线观看| 国产欧美日韩精品亚洲av| 天天躁日日操中文字幕| 亚洲va日本ⅴa欧美va伊人久久| 成人一区二区视频在线观看| 国产亚洲精品一区二区www| 1000部很黄的大片| 在线免费观看的www视频| 国产精品 国内视频| 日本黄色片子视频| 怎么达到女性高潮| 久久久久国产精品人妻aⅴ院| 伊人久久大香线蕉亚洲五| 欧美黄色片欧美黄色片| 制服丝袜大香蕉在线| 日韩有码中文字幕| 最近最新中文字幕大全电影3| 国产午夜精品论理片| 国产免费男女视频| 国内精品美女久久久久久| 五月伊人婷婷丁香| 丰满乱子伦码专区| 亚洲av免费高清在线观看| 中出人妻视频一区二区| 成人一区二区视频在线观看| 日本熟妇午夜| 日韩精品青青久久久久久| 男女床上黄色一级片免费看| 女人十人毛片免费观看3o分钟| 欧美丝袜亚洲另类 | 不卡一级毛片| 久久婷婷人人爽人人干人人爱| av在线天堂中文字幕| 午夜精品久久久久久毛片777| 中文资源天堂在线| 夜夜躁狠狠躁天天躁| 国产毛片a区久久久久| 亚洲专区中文字幕在线| 国产91精品成人一区二区三区| 日日干狠狠操夜夜爽| 黄色片一级片一级黄色片| 脱女人内裤的视频| 国产一级毛片七仙女欲春2| 国内揄拍国产精品人妻在线| 久久久国产精品麻豆| 成年人黄色毛片网站| 99热这里只有精品一区| 一级毛片女人18水好多| 在线观看免费视频日本深夜| 午夜a级毛片| 精品久久久久久久毛片微露脸| 99在线视频只有这里精品首页| 99久国产av精品| 亚洲国产日韩欧美精品在线观看 | 桃红色精品国产亚洲av| 精品人妻一区二区三区麻豆 | 色综合站精品国产| or卡值多少钱| 最近最新中文字幕大全免费视频| 亚洲成av人片免费观看| 女警被强在线播放| 99精品在免费线老司机午夜| 人妻夜夜爽99麻豆av| 色吧在线观看| 男人的好看免费观看在线视频| 国内久久婷婷六月综合欲色啪| 手机成人av网站| 色噜噜av男人的天堂激情| 中文字幕熟女人妻在线| 国产美女午夜福利| 国内精品久久久久精免费| 国产视频一区二区在线看| 国产精品免费一区二区三区在线| 最近最新免费中文字幕在线| 一卡2卡三卡四卡精品乱码亚洲| 成人高潮视频无遮挡免费网站| 欧美bdsm另类| 亚洲欧美日韩卡通动漫| 国产视频内射| 国产伦在线观看视频一区| 国产午夜精品久久久久久一区二区三区 | 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 在线观看免费午夜福利视频| 日日摸夜夜添夜夜添小说| 国产一区二区三区视频了| 国产精品一及| 日本 欧美在线| 欧美国产日韩亚洲一区| 国产精品一区二区三区四区免费观看 | 欧美激情久久久久久爽电影| 最好的美女福利视频网| 最近视频中文字幕2019在线8| 精品无人区乱码1区二区| 午夜视频国产福利| 欧美+亚洲+日韩+国产| 精品久久久久久久毛片微露脸| 久久久精品欧美日韩精品| 最近最新中文字幕大全免费视频| www国产在线视频色| 久久精品国产亚洲av涩爱 | 极品教师在线免费播放| 麻豆成人av在线观看| 欧美xxxx黑人xx丫x性爽| 国产单亲对白刺激| 天堂av国产一区二区熟女人妻| 色哟哟哟哟哟哟| www.999成人在线观看| 一本一本综合久久| 免费观看精品视频网站| 国产一级毛片七仙女欲春2| 亚洲国产欧洲综合997久久,| 久久九九热精品免费| 国产成人av激情在线播放| 国产精品亚洲一级av第二区| 国产伦精品一区二区三区视频9 | 好男人在线观看高清免费视频| 久久久精品大字幕| 国产一级毛片七仙女欲春2| 亚洲激情在线av| 俺也久久电影网| 国产aⅴ精品一区二区三区波| 欧美日韩综合久久久久久 | 欧美日韩乱码在线| 国产亚洲欧美98| 国产亚洲精品一区二区www| 日韩欧美国产一区二区入口| 久久久国产精品麻豆| 亚洲人成电影免费在线| xxx96com| 熟女电影av网| 女人高潮潮喷娇喘18禁视频| 久久久久久久久大av| 亚洲aⅴ乱码一区二区在线播放| 日本三级黄在线观看| 少妇高潮的动态图| 欧美av亚洲av综合av国产av| 最近视频中文字幕2019在线8| 亚洲人成网站在线播| 岛国在线观看网站| 亚洲成人精品中文字幕电影| 天堂√8在线中文| 成人av在线播放网站| 日韩欧美在线乱码| 欧美av亚洲av综合av国产av| 国产黄色小视频在线观看| 又爽又黄无遮挡网站| 岛国在线观看网站| 国产一区在线观看成人免费| 嫩草影院入口| 天堂影院成人在线观看| 九九在线视频观看精品| 久久久久久久久久黄片| 毛片女人毛片| 精品一区二区三区av网在线观看| 国内少妇人妻偷人精品xxx网站| 亚洲av日韩精品久久久久久密| 久久久国产成人精品二区| 亚洲国产精品合色在线| 国产免费av片在线观看野外av| 国产成人影院久久av| 99热精品在线国产| 午夜福利在线在线| 欧美一区二区亚洲| 内地一区二区视频在线| 在线天堂最新版资源| 午夜福利免费观看在线| 少妇的丰满在线观看| 99视频精品全部免费 在线| 国产一区二区亚洲精品在线观看| 欧美极品一区二区三区四区| 精品不卡国产一区二区三区| 老汉色av国产亚洲站长工具| 日本黄色片子视频| av福利片在线观看| 丰满人妻一区二区三区视频av | 99久久精品国产亚洲精品| 国内精品一区二区在线观看| 色吧在线观看| 国产麻豆成人av免费视频| 国产探花极品一区二区| 亚洲精品一区av在线观看| 午夜亚洲福利在线播放| 国产精品永久免费网站| 国产高清视频在线播放一区| 最近视频中文字幕2019在线8| 婷婷丁香在线五月| 色老头精品视频在线观看| 日韩 欧美 亚洲 中文字幕| 免费看十八禁软件| 一卡2卡三卡四卡精品乱码亚洲| 老熟妇乱子伦视频在线观看| 免费高清视频大片| 久久午夜亚洲精品久久| 中文字幕av在线有码专区| 成人国产一区最新在线观看| 国产伦人伦偷精品视频| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 午夜福利视频1000在线观看| 可以在线观看毛片的网站| 每晚都被弄得嗷嗷叫到高潮| 色综合站精品国产| 亚洲欧美精品综合久久99| 色哟哟哟哟哟哟| 51午夜福利影视在线观看| 黑人欧美特级aaaaaa片| 大型黄色视频在线免费观看| 一夜夜www| 久久久久久久亚洲中文字幕 | 日韩欧美精品v在线| 中亚洲国语对白在线视频| 看片在线看免费视频| 中文字幕人成人乱码亚洲影| 精品一区二区三区视频在线 | 18禁在线播放成人免费| 亚洲久久久久久中文字幕| 国产高潮美女av| 夜夜看夜夜爽夜夜摸| 国产精品免费一区二区三区在线| xxxwww97欧美| 在线观看66精品国产| 亚洲熟妇中文字幕五十中出| 久久久国产成人精品二区| 夜夜看夜夜爽夜夜摸| a级毛片a级免费在线| 日韩欧美在线二视频| 亚洲专区中文字幕在线| 欧美日韩乱码在线| 欧美日韩亚洲国产一区二区在线观看| 国产一级毛片七仙女欲春2| 日韩欧美免费精品| 国产在线精品亚洲第一网站| 日韩欧美精品v在线| 久久久色成人| 日韩精品中文字幕看吧| 岛国视频午夜一区免费看| 国产日本99.免费观看| 国产精品1区2区在线观看.| 少妇的逼好多水| 国产精品永久免费网站| 2021天堂中文幕一二区在线观| 国产av在哪里看| 亚洲av日韩精品久久久久久密| 亚洲av电影不卡..在线观看| 欧美一区二区精品小视频在线| 亚洲av一区综合| 黄色丝袜av网址大全| 日本五十路高清| 日韩亚洲欧美综合| 亚洲欧美日韩东京热| 变态另类丝袜制服| 精品99又大又爽又粗少妇毛片 | 在线观看免费午夜福利视频| 久久久久国产精品人妻aⅴ院| 国产一区二区亚洲精品在线观看| www.熟女人妻精品国产| 神马国产精品三级电影在线观看| www.www免费av| 欧美绝顶高潮抽搐喷水| 亚洲人成网站在线播| 99久久久亚洲精品蜜臀av| 精品免费久久久久久久清纯| 看片在线看免费视频| 国产伦精品一区二区三区视频9 | 麻豆一二三区av精品| 免费电影在线观看免费观看| 国产日本99.免费观看| 成人特级黄色片久久久久久久| 搡老妇女老女人老熟妇| 久久久国产成人免费| 欧美日韩瑟瑟在线播放| 久久久久久国产a免费观看| svipshipincom国产片| 国产三级中文精品| 黄片大片在线免费观看| 久久久久免费精品人妻一区二区| 精品乱码久久久久久99久播| 精品午夜福利视频在线观看一区| 嫩草影视91久久| 给我免费播放毛片高清在线观看| 成人高潮视频无遮挡免费网站| 亚洲av日韩精品久久久久久密| 国产色爽女视频免费观看| 国产一区二区在线观看日韩 | 天堂网av新在线| 久久这里只有精品中国| 在线看三级毛片| 我的老师免费观看完整版| 中亚洲国语对白在线视频| 欧美日韩国产亚洲二区| 免费高清视频大片| 欧美国产日韩亚洲一区| 亚洲国产精品sss在线观看| 51国产日韩欧美| 两个人的视频大全免费| 亚洲精华国产精华精| 在线十欧美十亚洲十日本专区| 露出奶头的视频| 啦啦啦韩国在线观看视频| 免费电影在线观看免费观看| 老司机福利观看| 国产av在哪里看| 真人一进一出gif抽搐免费| 九九在线视频观看精品| 亚洲av第一区精品v没综合| 成人精品一区二区免费| 在线免费观看的www视频| 欧美国产日韩亚洲一区| 国产一区二区在线观看日韩 | 波多野结衣巨乳人妻| 亚洲av免费在线观看| 欧洲精品卡2卡3卡4卡5卡区| 婷婷精品国产亚洲av在线| 久久午夜亚洲精品久久| 三级男女做爰猛烈吃奶摸视频| 亚洲av第一区精品v没综合| 小蜜桃在线观看免费完整版高清| 长腿黑丝高跟| 制服人妻中文乱码| 草草在线视频免费看| www国产在线视频色| 亚洲 国产 在线| 久久久国产成人免费| 亚洲中文字幕一区二区三区有码在线看| 久久精品91无色码中文字幕| 又黄又粗又硬又大视频| 舔av片在线| 99精品在免费线老司机午夜| 九九久久精品国产亚洲av麻豆| 午夜福利成人在线免费观看| 18禁黄网站禁片免费观看直播| 日本黄色片子视频| 97碰自拍视频| 中文字幕精品亚洲无线码一区| 久久久久久人人人人人| 亚洲av免费高清在线观看| 九九在线视频观看精品| 免费看美女性在线毛片视频| 日日摸夜夜添夜夜添小说| 亚洲,欧美精品.| 尤物成人国产欧美一区二区三区| 热99在线观看视频| 狂野欧美激情性xxxx| 亚洲美女黄片视频| 国产97色在线日韩免费| 99国产极品粉嫩在线观看| 久久九九热精品免费| 中文亚洲av片在线观看爽| 亚洲五月天丁香| 三级男女做爰猛烈吃奶摸视频| 在线观看美女被高潮喷水网站 | 久久精品国产99精品国产亚洲性色| 99国产极品粉嫩在线观看| 亚洲人成电影免费在线| 日韩欧美 国产精品| 精品欧美国产一区二区三| 亚洲成人免费电影在线观看| 桃红色精品国产亚洲av| 亚洲精品在线美女| 嫁个100分男人电影在线观看| 久久国产精品影院| 国模一区二区三区四区视频| 手机成人av网站| 91久久精品国产一区二区成人 | 在线视频色国产色| 欧美3d第一页| 亚洲乱码一区二区免费版| 日韩欧美国产在线观看| 国产真实伦视频高清在线观看 | 国产精品久久久人人做人人爽| 欧美丝袜亚洲另类 | 99热这里只有精品一区| 国产高清激情床上av| 亚洲第一电影网av| 色综合亚洲欧美另类图片| 日韩欧美国产在线观看| 色综合亚洲欧美另类图片| 日本在线视频免费播放| 婷婷六月久久综合丁香| svipshipincom国产片| 草草在线视频免费看| 精品久久久久久成人av| 男女下面进入的视频免费午夜| 亚洲国产中文字幕在线视频| 国产高清激情床上av| 精品久久久久久久久久久久久| 18禁国产床啪视频网站| 亚洲在线自拍视频| 国产一区二区激情短视频| 国产亚洲精品综合一区在线观看| 乱人视频在线观看| 韩国av一区二区三区四区| 欧美性感艳星| 在线十欧美十亚洲十日本专区| 欧美在线一区亚洲| 小说图片视频综合网站| 十八禁人妻一区二区| 成年女人看的毛片在线观看| av女优亚洲男人天堂| 久久欧美精品欧美久久欧美| 在线看三级毛片| 少妇人妻一区二区三区视频| 一卡2卡三卡四卡精品乱码亚洲| 九九久久精品国产亚洲av麻豆| av黄色大香蕉| 波多野结衣高清作品| 午夜视频国产福利| 免费大片18禁| 老熟妇乱子伦视频在线观看| 男插女下体视频免费在线播放| 国产午夜福利久久久久久| 日韩有码中文字幕| 亚洲成人精品中文字幕电影| 内地一区二区视频在线| 91麻豆精品激情在线观看国产| 高潮久久久久久久久久久不卡| 综合色av麻豆| 又黄又粗又硬又大视频| 国产精品久久久久久人妻精品电影| 精品不卡国产一区二区三区| 精品欧美国产一区二区三| 日韩人妻高清精品专区| 很黄的视频免费| 91av网一区二区| 黄色丝袜av网址大全| 97超视频在线观看视频| 午夜视频国产福利| 亚洲av第一区精品v没综合| 三级男女做爰猛烈吃奶摸视频| 日韩亚洲欧美综合| 亚洲精品在线观看二区| 精品久久久久久成人av|