• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度Q網(wǎng)絡的水面無人艇路徑規(guī)劃算法

    2020-10-20 05:43隨博文黃志堅姜寶祥鄭歡溫家一
    上海海事大學學報 2020年3期
    關(guān)鍵詞:路徑規(guī)劃卷積神經(jīng)網(wǎng)絡

    隨博文 黃志堅 姜寶祥 鄭歡 溫家一

    摘要:為實現(xiàn)水面無人艇(unmanned surface vessel, USV)在未知環(huán)境下的自主避障航行,提出一種基于深度Q網(wǎng)絡的USV避障路徑規(guī)劃算法。該算法將深度學習應用到Q學習算法中,利用深度神經(jīng)網(wǎng)絡估計Q函數(shù),有效解決傳統(tǒng)Q學習算法在復雜水域環(huán)境的路徑規(guī)劃中容易產(chǎn)生維數(shù)災難的問題。通過訓練模型可有效地建立感知(輸入)與決策(輸出)之間的映射關(guān)系。依據(jù)此映射關(guān)系,USV在每個決策周期選擇Q值最大的動作執(zhí)行,從而能夠成功避開障礙物并規(guī)劃出最優(yōu)路線。仿真結(jié)果表明,在迭代訓練8 000次時,平均損失函數(shù)能夠較好地收斂,這證明USV有效學習到了如何避開障礙物并規(guī)劃出最優(yōu)路線。該方法是一種不依賴模型的端到端路徑規(guī)劃算法。

    關(guān)鍵詞:水面無人艇(USV); 自主避障; 路徑規(guī)劃; 深度Q網(wǎng)絡; 卷積神經(jīng)網(wǎng)絡; 強化學習

    中圖分類號:? U675.73

    文獻標志碼:A

    Path planning algorithm for unmanned surface vessels

    based on deep Q network

    SUI Bowen, HUANG Zhijian, JIANG Baoxiang, ZHENG Huan, WEN Jiayi

    (Merchant Marine College, Shanghai Maritime University, Shanghai 201306, China)

    Abstract:

    In order to realize the autonomous obstacle avoidance navigation of unmanned surface vessels (USVs) in unknown environment, a USV obstacle avoidance path planning algorithm based on the deep Q network is proposed. In this algorithm, the deep learning is applied to the Q-learning algorithm, and the Q function is estimated by the deep neural network, which effectively solves the problem of dimension disasters in the path planning of complex waters environment caused by the traditional Q-learning algorithm. The mapping relationship between the perception (input) and the decision (output) can be established effectively by the trained model. According to the mapping relationship, a USV chooses the action? with the largest Q value in each decision cycle, so that it can successfully avoid obstacles and plan the optimal route. The simulation results show that, the average loss function can converge well through the iteration training of 8 000 times, which proves that the USV has learned how to avoid obstacles and plan the optimal route effectively. This method is an end-to-end path planning algorithm which does not depend on models.

    Key words:

    unmanned surface vessel (USV); autonomous obstacle avoidance; path planning;

    deep Q network; convolutional neural network; reinforcement learning

    0 引 言

    水面無人艇(unmanned surface vessel, USV)在復雜水域環(huán)境中要具備自主航行和避障能力,首先面對的是避障路徑規(guī)劃問題,即如何規(guī)劃出一條從出發(fā)點到目標點的安全且最優(yōu)的航線。目前,根據(jù)智能化程度,研究與應用較多的USV路徑規(guī)劃算法包括傳統(tǒng)算法、啟發(fā)式算法、智能算法、強化學習算法等4類[1]。

    傳統(tǒng)算法如可視圖法[2]、人工勢場法[3]等缺乏靈活性,易于陷入局部最優(yōu)值。啟發(fā)式算法是相對于最優(yōu)化算法提出的,是一種搜索式算法,在離散路徑拓撲結(jié)構(gòu)中得到了很好的應用[4]。智能算法是人們在仿生學研究中發(fā)現(xiàn)的算法,常用的智能算法包括遺傳算法、神經(jīng)網(wǎng)絡算法和群智能算法[1]。以上3類算法都是基于樣本的監(jiān)督學習算法,即算法需要完備的環(huán)境信息。因此,在未知環(huán)境(即系統(tǒng)中沒有新環(huán)境的先驗信息)水域采用這3種算法USV很難有效地進行路徑規(guī)劃。

    強化學習算法是由美國學者MINSKY于1954年提出的。目前常用的強化學習算法主要包括Q學習、SARSA學習、TD學習和自適應動態(tài)規(guī)劃算法等。該類算法通過智能體與環(huán)境進行大量的交互,經(jīng)過不斷試錯獲取未知環(huán)境的信息反饋,從而優(yōu)化路徑規(guī)劃策略。該類學習算法不依賴模型和環(huán)境的先驗信息,是一種自主學習和在線學習算法,具有較強的不確定環(huán)境自適應能力,可以借助相應傳感器感知障礙物信息進行實時在線路徑規(guī)劃。例如,王程博等[5]提出了一種基于

    Q學習的無人駕駛船舶路徑規(guī)劃方法,將強化學習創(chuàng)新應用至無人駕駛船舶的路徑規(guī)劃領(lǐng)域,利用強化學習具有自主決策的特點來選擇策略最終完成無人駕駛船的自主避障和路徑規(guī)劃。然而,傳統(tǒng)的Q學習是以Q值表的形式存儲狀態(tài)行為信息的,而在復雜水域環(huán)境中Q值表存儲不了大量的狀態(tài)行為信息從而會導致維數(shù)災難問題。

    為解決維度災難問題并使USV在未知環(huán)境水域具有較高的自適應性和穩(wěn)定性,本文基于深度Q網(wǎng)絡提出一種端對端的USV路徑規(guī)劃算法。該算法將深度學習與Q學習相互融合,以神經(jīng)網(wǎng)絡輸出代替Q值矩陣,有效解決了維度災難問題。該算法是一種無模型的端到端的路徑規(guī)劃算法,即通過深度學習實時感知高維度障礙物信息,然后根據(jù)感知到的環(huán)境信息作出決策,通過端到端的訓練環(huán)境信息輸入和規(guī)劃路徑輸出,減少了大量中間環(huán)節(jié)的運算,有效提高了算法的自適應性和模型泛化能力。此外,由于該算法是一種不依賴模型的端到端的路徑規(guī)劃算法,所以基于該算法的USV智能系統(tǒng)通過實時與環(huán)境交互獲取環(huán)境信息,并根據(jù)獲取的交互數(shù)據(jù)不斷學習和改善自身決策行為,最終獲得最優(yōu)策略,規(guī)劃出最優(yōu)路線。相比于傳統(tǒng)路徑規(guī)劃算法,本文所提出的路徑規(guī)劃算法更具通用性。

    1 Q學習算法

    Q學習算法最初是由WATKINS等[6]提出的一種無模型的值函數(shù)強化學習算法。該算法通過構(gòu)建一個Q值表儲存狀態(tài)動作值,通過智能體與環(huán)境的不斷交互獲得獎勵值,進而更新Q值表,更改動作策略集,最終使智能體趨于最優(yōu)動作集。算法原理圖見圖1。

    在Q學習算法中,USV根據(jù)當前的狀態(tài)選擇一個動作對環(huán)境造成影響,并收到環(huán)境給出的反饋(正反饋或負反饋),根據(jù)反饋信號作出下一步?jīng)Q策,原則是使得環(huán)境的正反饋概率最大[7]。例如,USV路徑規(guī)劃決策系統(tǒng)在t時刻選擇動作at,環(huán)境接收動作后由狀態(tài)st轉(zhuǎn)移到下一個狀態(tài)st+1,狀態(tài)轉(zhuǎn)移概率P取決于at和st:

    根據(jù)未來獎勵對當前獎勵長期影響的觀點選擇最優(yōu)動作,在策略π的作用下,狀態(tài)值函數(shù)被定義為

    式中:Rt(a)為當前狀態(tài)下采取行動的即時獎勵;γ∈[0,1]為折扣因子,表示未來獎勵對當前獎勵的重要程度。學習的最終目的就是找到最優(yōu)策略π*,使得每個狀態(tài)的值函數(shù)取得最大值。

    定義狀態(tài)動作值函數(shù)Q:

    式中,Q*(s,a)表示在狀態(tài)s下采取動作a所得的最大累積獎勵值;s0和a0分別為初始狀態(tài)和在初始狀態(tài)下執(zhí)行的動作?;诋斍暗臓顟B(tài)和動作,在最優(yōu)策略π*的作用下,系統(tǒng)將以概率P(s,a,st)轉(zhuǎn)移到下一狀態(tài)st,則由式(4)可得Q學習算法的基本形式:

    由式(3)進一步可得最優(yōu)策略的狀態(tài)動作表達式:

    式(6)表明,在路徑規(guī)劃時只需求得當前的狀態(tài)動作值函數(shù)Q(s,a),通過不斷對上一狀態(tài)的值函數(shù)進行迭代更新,即可規(guī)劃出全局最優(yōu)策略。其迭代公式為

    式中:α為學習率,主要用于迭代公式的收斂。

    2 避障路徑規(guī)劃算法

    2.1 算法模型結(jié)構(gòu)

    本文結(jié)合卷積

    神經(jīng)網(wǎng)絡[8]和強化學習提出一種深度強化學習(深度Q網(wǎng)絡)路徑規(guī)劃算法。該算法可實現(xiàn)從感知(輸入)到?jīng)Q策(輸出)的端到端的策略選擇。輸入圖片像素后,經(jīng)過卷積神經(jīng)網(wǎng)絡對環(huán)境信息的逐層提取和對高維特征的感知,從動作空間選取Q值最大的動作執(zhí)行,從而得到平均獎勵最大的策略即為最優(yōu)策略,實現(xiàn)對USV的端到端的自主避障控制和路徑規(guī)劃。本文提出的路徑規(guī)劃算法結(jié)構(gòu)見圖2。

    首先根據(jù)馬爾科夫決策過程模型[9]和Bellman方程[10]得到當前狀態(tài)的動作值函數(shù):

    式中:st+1為下一狀態(tài);at+1為下一狀態(tài)最優(yōu)動作;R為采取下一狀態(tài)的獎勵。通過多次實驗可找到最優(yōu)Q*(s,a):

    在狀態(tài)s下通過多次實驗可得到多個Q值,當實驗次數(shù)足夠多時,該期望值就無限接近真實的Q值。因此,可以通過神經(jīng)網(wǎng)絡估計Q值:

    式中,θ是神經(jīng)網(wǎng)絡的參數(shù)。

    利用式(10)估計Q值的方法會產(chǎn)生一定的誤差,因此引入損失函數(shù)來反映利用神經(jīng)網(wǎng)絡估計的Q值與真實Q值之間的差:

    采用隨機梯度下降方式不斷優(yōu)化網(wǎng)絡參數(shù),使損失函數(shù)盡可能降到最低,即估計的Q值盡可能逼近真實值,使得智能體每次都能選取最優(yōu)的Q值從而進行最優(yōu)決策。

    2.2 動作空間設計

    在仿真過程中對USV和仿真環(huán)境進行簡化處理:把USV近似為1×1像素大小的像素塊,定義USV的動作空間

    包括上、下、左、右4個基本動作,并采用ε貪婪策略,分別以ε的概率進行隨機動作選擇來探索新環(huán)境,以1-ε的概率選擇Q值最大的動作a。本文設置的探索-利用機制如下:

    采用ε貪婪策略,既可以保證USV在策略選擇時選取較優(yōu)策略,又能保證所有狀態(tài)空間都能被探索到。

    2.3 激勵函數(shù)的設計

    本實驗中動作空間是有限且離散化的,故可將激勵函數(shù)R做泛化處理:當USV到達目的地時,獎勵值設為100;當USV與黑色方塊重合時,即表示USV沒有進行有效的避碰,獎勵值設為-100,以示懲罰;其他白色可通行區(qū)域所有狀態(tài)的獎勵值均設為0,激勵函數(shù)的表達式如下:

    R=100 (到達目的地)0 (未碰撞,未到達)-100 (發(fā)生碰撞)

    2.4 深度Q網(wǎng)絡結(jié)構(gòu)

    本文采用的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)包括2個卷積層和2個全連接層,卷積神經(jīng)網(wǎng)絡訓練參數(shù)設置見表1。

    在卷積神經(jīng)網(wǎng)絡中輸入像素為25×25×3的仿真地圖,見圖3。首先經(jīng)過卷積核數(shù)量為10、大小為2×2的第一個卷積層,提取高維特征,生成25×25×10的特征圖;將第一個卷積層的輸出作為第二個卷積層的輸入,其中第二個卷積層的卷積核數(shù)量為20、大小同樣為2×2;將第二個卷積層的輸出作為第一個全連接層的輸入,通過重塑數(shù)據(jù)形狀,將特征圖轉(zhuǎn)化為1×12 500的特征向量,再輸入到第二個全連接層,輸出一個1×4的矩陣,分別對應USV的上、下、左、右4個離散動作,最后根據(jù)每個數(shù)據(jù)點的Q值的大小選出最優(yōu)動作。

    3 仿真與實驗

    3.1 建立仿真環(huán)境

    基于Python及相應工具包構(gòu)建如圖4所示的二維仿真環(huán)境。隨機生成625張像素為25×25的圖片,每個像素塊都代表環(huán)境的一個狀態(tài),并且在像素為25×25的圖片中隨機生成位置各不相同的1×1像素的黑色方塊代表障礙物,白色區(qū)域為可自由通行區(qū)域。隨機變換障礙物位置200次,即生成了200×625張圖片作為訓練數(shù)據(jù)進行訓練。從12 500張圖片中隨機選取4張作為仿真環(huán)境,如圖4所示。圖4中左上角、右下角灰色方塊分別代表無人艇的出發(fā)點和目標點。

    結(jié)合仿真環(huán)境建立二維直角坐標系,如圖5

    所示:A點為USV的出發(fā)點,坐標為(1,1);B點為目標點,坐標為(25,25)。本文中所有仿真環(huán)境的出發(fā)點和目標點均與圖5保持一致。對于USV來說,這些環(huán)境信息都是未知的。

    3.2 實驗結(jié)果分析

    實驗環(huán)境配置:CPU為intel i7-7700 4.2 GHz,內(nèi)存為16 GB,顯卡為英偉達GTX1080 Ti,操作系統(tǒng)Ubuntu 16.04。實驗中采用的訓練數(shù)據(jù)來自隨機生成的12 500張像素為25×25的圖片。利用同樣的方法隨機生成具有不同障礙物分布的20張圖片作為測試集進行測試。

    為簡化仿真實驗復雜度,仿真實驗僅在模擬的水上障礙物靜態(tài)環(huán)境中進行,在實驗前期USV在不同的時間步與障礙物發(fā)生碰撞,環(huán)境給出懲罰,以降低下次出現(xiàn)相似狀況的概率,有效指引USV選擇最優(yōu)策略。在上述4種仿真環(huán)境中的路徑規(guī)劃效果見圖6。

    在訓練開始時,USV會多次與障礙物發(fā)生碰撞且規(guī)劃路徑波動較大;在訓練3 000次時,算法逐漸規(guī)劃出安全路徑,但此時路徑并非最短,所耗費時間也較長;在訓練5 000次時,系統(tǒng)可以有效避開障礙物,算法趨于平穩(wěn)并逐漸規(guī)劃出有效路徑,所需時間也明顯縮短;當訓練8 000次時,系統(tǒng)可以高效避開障礙物并規(guī)劃出最優(yōu)路徑。表2為在上述4種仿真環(huán)境中分別訓練不同次數(shù)產(chǎn)生的數(shù)據(jù)平均值。

    從訓練數(shù)據(jù)中隨機選出一批圖片進行訓練,其權(quán)值更新取決于損失函數(shù),隨著訓練次數(shù)的增加,

    式(11)的max Q(st+1,at+1s,a)對應上、下、左、右4個動作中的Q值的最大值。首先將神經(jīng)網(wǎng)絡預測的Q值存儲起來。經(jīng)過一段時間的訓練,更新Q值并存儲在與訓練模型相同的文本文件中。新Q值又可以用來訓練模型。重復幾個步驟,直到算法學習到所需的特性。當訓練開始時,神經(jīng)網(wǎng)絡估計的Q值與真實Q值的差值較大,此時的損失函數(shù)波動加大(見圖7),顯然此時算法還沒有學會如何避開障礙物。

    隨著訓練次數(shù)的增加,算法逐漸學會捕捉相應的特性,當訓練結(jié)束時算法的平均損失已經(jīng)明顯收斂(見圖8),這表明網(wǎng)絡誤差較小,USV已經(jīng)很好地學會如何避開障礙物規(guī)劃安全航線。

    針對上文的4種仿真環(huán)境,采用A*算法對USV進行路徑規(guī)劃,如圖9所示:隨著仿真環(huán)境的變化,A*算法并不穩(wěn)定,在仿真環(huán)境1和仿真環(huán)境2中,USV的路徑規(guī)劃均存在繞遠現(xiàn)象,并不是最優(yōu)路線,沒有實現(xiàn)高效合理的路徑規(guī)劃目標。采用A*算法進行路徑規(guī)劃的相關(guān)數(shù)據(jù)見表3。

    由表2和表3可知:采用深度Q網(wǎng)絡進行USV路徑規(guī)劃時,當?shù)? 000次時算法已經(jīng)收斂,從出發(fā)點到目標點所需平均時間步和時間分別為49.0和5.3 s;采用A*算法進行USV路徑規(guī)劃時,從出發(fā)點到目標點所需平均時間步和時間分別為52.25和6.425 s。由此可知,采用深度Q網(wǎng)絡進行USV路徑規(guī)劃比采用傳統(tǒng)的A*算法更加高效。

    以上仿真結(jié)果表明,本文提出的路徑規(guī)劃算法可以實現(xiàn)USV航行的全局路徑規(guī)劃,并且比傳統(tǒng)的A*算法更加高效,可以有效地避開環(huán)境中的障礙物并規(guī)劃出最優(yōu)航線。

    4 結(jié)束語

    本文基于深度Q網(wǎng)絡提出一種無須模型的端到端的無人艇(USV)路徑規(guī)劃算法。該算法以神經(jīng)網(wǎng)絡的輸出代替Q值矩陣,解決了采用傳統(tǒng)Q學習進行路徑規(guī)劃時的維數(shù)災難問題。采取經(jīng)驗回放機制,有利于提高USV的學習效率,提高USV到達目標的速度。該算法無須知道環(huán)境先驗信息,能夠通過與環(huán)境的交互獲取數(shù)據(jù)并進行在線學習,相比于傳統(tǒng)的基于模型的路徑規(guī)劃算法,本文所提出的路徑規(guī)劃算法更具通用性。通過仿真可知:USV在與環(huán)境交互初期,對環(huán)境信息了解較少,會發(fā)生碰撞及路徑規(guī)劃波動較大等現(xiàn)象;隨著迭代次數(shù)的增加,USV的決策系統(tǒng)累積學習經(jīng)驗,提高對環(huán)境的自適應性,最終成功規(guī)劃路徑并安全抵達目標點。通過對比實驗可知,基于深度Q網(wǎng)絡的USV路徑規(guī)劃算法比傳統(tǒng)的A*算法更加高效合理。然而,本文對USV的動作空間進行了離散化處理,與真實情況尚有差距,針對USV的連續(xù)動作空間進行路徑規(guī)劃將是今后的研究方向。

    參考文獻:

    [1]劉志榮, 姜樹海. 基于強化學習的移動機器人路徑規(guī)劃研究綜述[J]. 制造業(yè)自動化, 2019, 41(3): 90-92.

    [2]李洪偉, 袁斯華. 基于Quartus Ⅱ的FPGA/CPLD設計[M]. 北京: 電子工業(yè)出版社, 2006.

    [3]陳超, 耿沛文, 張新慈. 基于改進人工勢場法的水面無人艇路徑規(guī)劃研究[J]. 船舶工程, 2015(9): 72-75.

    [4]邱育紅. GIS空間分析中兩種改進的路徑規(guī)劃算法[J]. 計算機系統(tǒng)應用, 2007, 16(7): 33-35.

    [5]王程博, 張新宇, 鄒志強, 等. 基于Q-learning的無人駕駛船舶路徑規(guī)劃[J].船海工程, 2018, 47(5): 168-171.

    [6]WATKINS C J C H, DAYAN P. Q-Learning[J]. Machine Learning, 1992, 8(3/4): 279-292.

    [7]衛(wèi)玉梁, 靳伍銀. 基于神經(jīng)網(wǎng)絡的Q-learning算法的智能車路徑規(guī)劃[J].火力與指揮控制, 2019, 44(2): 46-49.

    [8]林景棟, 吳欣怡, 柴毅, 等. 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)優(yōu)化綜述[J].自動化學報, 2018(2): 75-89.

    [9]劉成勇, 萬偉強, 陳蜀喆, 等. 基于灰色馬爾科夫模型的船舶交通流預測[J]. 中國航海, 2018, 41(3): 95-100.

    [10]李金娜, 尹子軒. 基于非策略Q-學習的網(wǎng)絡控制系統(tǒng)最優(yōu)跟蹤控制[J]. 控制與決策, 2019(4): 17-25.

    (編輯 趙勉)

    收稿日期: 2019-08-26

    修回日期: 2019-09-29

    基金項目:

    國家自然科學基金(61403250)

    作者簡介:

    隨博文(1992—),男,河南商丘人,碩士研究生,研究方向為深度強化學習,(E-mail)201410121215@stu.shmtu.edu.cn;

    黃志堅(1979—),男,江西九江人,高級工程師,研究方向為控制算法,(E-mail)zjhuang@shmtu.edu.cn

    猜你喜歡
    路徑規(guī)劃卷積神經(jīng)網(wǎng)絡
    基于卷積神經(jīng)網(wǎng)絡溫室智能大棚監(jiān)控系統(tǒng)的研究
    基于深度卷積神經(jīng)網(wǎng)絡的物體識別算法
    公鐵聯(lián)程運輸和售票模式的研究和應用
    基于數(shù)學運算的機器魚比賽進攻策略
    清掃機器人的新型田埂式路徑規(guī)劃方法
    自適應的智能搬運路徑規(guī)劃算法
    基于B樣條曲線的無人車路徑規(guī)劃算法
    深度學習算法應用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡的人臉年齡分析算法與實現(xiàn)
    基于改進的Dijkstra算法AGV路徑規(guī)劃研究
    春色校园在线视频观看| 此物有八面人人有两片| 亚州av有码| 99九九线精品视频在线观看视频| 在线看三级毛片| 淫妇啪啪啪对白视频| 国产精品一区二区三区四区免费观看 | 国产高清不卡午夜福利| 一级a爱片免费观看的视频| 国产一区二区亚洲精品在线观看| 热99re8久久精品国产| 免费人成在线观看视频色| 成人特级黄色片久久久久久久| 男女下面进入的视频免费午夜| 国产精品自产拍在线观看55亚洲| 非洲黑人性xxxx精品又粗又长| 国产色婷婷99| 亚洲无线观看免费| 99视频精品全部免费 在线| 男女下面进入的视频免费午夜| 免费大片18禁| 亚洲成a人片在线一区二区| 啦啦啦观看免费观看视频高清| .国产精品久久| 日韩中字成人| 69av精品久久久久久| 日本黄色片子视频| 欧美激情国产日韩精品一区| 午夜影院日韩av| a级毛片a级免费在线| 国产真实乱freesex| 天堂网av新在线| 九九在线视频观看精品| 国产精品免费一区二区三区在线| 给我免费播放毛片高清在线观看| 国产探花在线观看一区二区| 波多野结衣高清无吗| 欧美日韩中文字幕国产精品一区二区三区| 热99re8久久精品国产| 成人美女网站在线观看视频| 成人特级黄色片久久久久久久| 欧美另类亚洲清纯唯美| 99精品久久久久人妻精品| 国产亚洲欧美98| 免费看日本二区| 男人狂女人下面高潮的视频| 精品久久久久久成人av| 久久精品国产鲁丝片午夜精品 | 国产男靠女视频免费网站| 18禁黄网站禁片免费观看直播| 丰满人妻一区二区三区视频av| 综合色av麻豆| 一级毛片久久久久久久久女| 久久天躁狠狠躁夜夜2o2o| 国产男人的电影天堂91| 变态另类丝袜制服| 3wmmmm亚洲av在线观看| 一a级毛片在线观看| 久久精品国产清高在天天线| 床上黄色一级片| 啪啪无遮挡十八禁网站| 真人一进一出gif抽搐免费| 女人被狂操c到高潮| 成人美女网站在线观看视频| 久久久久免费精品人妻一区二区| 欧美日韩综合久久久久久 | АⅤ资源中文在线天堂| 制服丝袜大香蕉在线| 99久久精品国产国产毛片| 国产视频内射| 真实男女啪啪啪动态图| 波多野结衣巨乳人妻| 国产精品99久久久久久久久| 三级国产精品欧美在线观看| 国产一区二区在线观看日韩| 九色成人免费人妻av| 我要搜黄色片| 精品一区二区三区视频在线| 成人亚洲精品av一区二区| 精品国内亚洲2022精品成人| 色综合色国产| 又粗又爽又猛毛片免费看| 久久国产乱子免费精品| 国产精品人妻久久久影院| 午夜亚洲福利在线播放| 午夜精品久久久久久毛片777| 日本在线视频免费播放| 国产成人一区二区在线| 亚洲一区二区三区色噜噜| 午夜福利欧美成人| 亚洲av日韩精品久久久久久密| 亚洲精品久久国产高清桃花| 99热这里只有是精品在线观看| 淫妇啪啪啪对白视频| 亚洲经典国产精华液单| 欧美一区二区精品小视频在线| 91麻豆精品激情在线观看国产| 丰满人妻一区二区三区视频av| 亚洲国产欧美人成| 69av精品久久久久久| 在线看三级毛片| 色av中文字幕| 欧美丝袜亚洲另类 | 精品一区二区三区视频在线观看免费| 久久久久久九九精品二区国产| 黄片wwwwww| 少妇丰满av| 露出奶头的视频| 成人无遮挡网站| 日本撒尿小便嘘嘘汇集6| 中文在线观看免费www的网站| 在线播放无遮挡| 熟女电影av网| 国产真实伦视频高清在线观看 | 国产视频内射| av在线老鸭窝| 国产成人一区二区在线| 国产精品久久久久久久电影| 日本色播在线视频| 男女边吃奶边做爰视频| 亚洲av熟女| 亚洲成a人片在线一区二区| 九色国产91popny在线| 欧美精品啪啪一区二区三区| 欧美一区二区精品小视频在线| 村上凉子中文字幕在线| 他把我摸到了高潮在线观看| 一级毛片久久久久久久久女| 麻豆国产av国片精品| 亚洲人与动物交配视频| 国产aⅴ精品一区二区三区波| 中国美白少妇内射xxxbb| 日韩精品中文字幕看吧| 成人国产一区最新在线观看| 色综合亚洲欧美另类图片| 日本a在线网址| 亚洲人成伊人成综合网2020| 又黄又爽又刺激的免费视频.| 夜夜看夜夜爽夜夜摸| www.色视频.com| 久9热在线精品视频| 赤兔流量卡办理| 国产真实伦视频高清在线观看 | 色哟哟哟哟哟哟| 日日撸夜夜添| 校园人妻丝袜中文字幕| 日本一二三区视频观看| 亚洲欧美精品综合久久99| 又爽又黄a免费视频| 亚洲在线自拍视频| 男人的好看免费观看在线视频| 久久久久性生活片| a级一级毛片免费在线观看| 欧美绝顶高潮抽搐喷水| 88av欧美| 老司机福利观看| 夜夜看夜夜爽夜夜摸| 亚洲av日韩精品久久久久久密| 成年女人毛片免费观看观看9| 免费无遮挡裸体视频| 在线免费观看的www视频| 18禁黄网站禁片午夜丰满| 久久精品国产亚洲av涩爱 | 午夜福利在线在线| 美女cb高潮喷水在线观看| 国产欧美日韩精品一区二区| 搡女人真爽免费视频火全软件 | 久久精品国产99精品国产亚洲性色| 日韩,欧美,国产一区二区三区 | 看黄色毛片网站| 一级a爱片免费观看的视频| 一本久久中文字幕| 搞女人的毛片| 国产精品三级大全| 免费看日本二区| 国产精品久久久久久久电影| 噜噜噜噜噜久久久久久91| 亚洲avbb在线观看| 一进一出抽搐gif免费好疼| 搡老妇女老女人老熟妇| 亚洲av中文字字幕乱码综合| 男女做爰动态图高潮gif福利片| 国产亚洲精品久久久com| 久久久久免费精品人妻一区二区| 天堂动漫精品| 99久国产av精品| 欧美日韩综合久久久久久 | 亚洲在线观看片| 村上凉子中文字幕在线| 一本久久中文字幕| 国产探花极品一区二区| 五月玫瑰六月丁香| 亚洲美女搞黄在线观看 | 亚洲熟妇熟女久久| 成熟少妇高潮喷水视频| 此物有八面人人有两片| 亚洲最大成人手机在线| 黄色一级大片看看| 国产精品爽爽va在线观看网站| 蜜桃久久精品国产亚洲av| 国内精品美女久久久久久| 精品免费久久久久久久清纯| 亚洲三级黄色毛片| 久久久成人免费电影| 久99久视频精品免费| 国内精品一区二区在线观看| 国产精品爽爽va在线观看网站| 直男gayav资源| 成人国产一区最新在线观看| 国内精品宾馆在线| h日本视频在线播放| 亚洲国产欧美人成| 国产高清三级在线| 亚洲美女视频黄频| 女人被狂操c到高潮| 永久网站在线| 搡老妇女老女人老熟妇| 18+在线观看网站| 色综合亚洲欧美另类图片| 免费在线观看成人毛片| 国产爱豆传媒在线观看| 我要看黄色一级片免费的| 日日摸夜夜添夜夜添av毛片| 国产国拍精品亚洲av在线观看| 欧美3d第一页| 日韩人妻高清精品专区| 欧美成人a在线观看| 久久久久久久国产电影| 亚洲电影在线观看av| 亚洲国产欧美在线一区| 亚洲精品第二区| 国产精品一区二区在线观看99| 精品一区在线观看国产| 男女无遮挡免费网站观看| 久久久久精品久久久久真实原创| 丝袜脚勾引网站| 看十八女毛片水多多多| 亚洲精品久久午夜乱码| 日韩成人伦理影院| 一级毛片电影观看| 联通29元200g的流量卡| 九九久久精品国产亚洲av麻豆| 一级黄片播放器| 美女脱内裤让男人舔精品视频| 久久综合国产亚洲精品| 国产亚洲av片在线观看秒播厂| 欧美日韩在线观看h| 日韩亚洲欧美综合| 色网站视频免费| 国产精品精品国产色婷婷| 又黄又爽又刺激的免费视频.| 免费观看a级毛片全部| 人妻少妇偷人精品九色| 大话2 男鬼变身卡| 春色校园在线视频观看| 黑丝袜美女国产一区| 亚洲国产精品一区三区| 午夜视频国产福利| 国产亚洲欧美精品永久| 国产深夜福利视频在线观看| 日本午夜av视频| 日韩 亚洲 欧美在线| 色网站视频免费| 国产黄片视频在线免费观看| 人妻一区二区av| 久久久国产一区二区| 久久久久久久久久久丰满| 黄片无遮挡物在线观看| a级毛色黄片| 1000部很黄的大片| av国产久精品久网站免费入址| 欧美+日韩+精品| 麻豆国产97在线/欧美| 老熟女久久久| 少妇人妻 视频| 麻豆精品久久久久久蜜桃| 国产成人精品久久久久久| 卡戴珊不雅视频在线播放| 国产伦理片在线播放av一区| 免费久久久久久久精品成人欧美视频 | 日韩国内少妇激情av| 精品久久久久久久久av| 日韩视频在线欧美| 大码成人一级视频| 观看免费一级毛片| 亚洲av男天堂| av黄色大香蕉| 国产成人91sexporn| 女的被弄到高潮叫床怎么办| 一区在线观看完整版| 国产成人aa在线观看| 国产熟女欧美一区二区| 插阴视频在线观看视频| 黑丝袜美女国产一区| 亚洲色图综合在线观看| 亚洲国产精品999| 夫妻午夜视频| 在线观看免费视频网站a站| 国产精品一及| 免费黄网站久久成人精品| 少妇人妻一区二区三区视频| 啦啦啦啦在线视频资源| 国产精品无大码| 秋霞在线观看毛片| 亚洲av中文av极速乱| av女优亚洲男人天堂| 国产成人一区二区在线| 国产欧美另类精品又又久久亚洲欧美| tube8黄色片| 99久久精品热视频| 成年av动漫网址| 欧美精品一区二区免费开放| 美女高潮的动态| 亚洲激情五月婷婷啪啪| 免费黄色在线免费观看| 日韩人妻高清精品专区| 97精品久久久久久久久久精品| 两个人的视频大全免费| 国产老妇伦熟女老妇高清| 九九在线视频观看精品| 春色校园在线视频观看| 亚洲欧美精品自产自拍| 久久 成人 亚洲| 国产伦在线观看视频一区| 狂野欧美激情性xxxx在线观看| 国产欧美日韩精品一区二区| 欧美少妇被猛烈插入视频| 欧美97在线视频| 一本色道久久久久久精品综合| 亚洲av在线观看美女高潮| 99热国产这里只有精品6| 超碰97精品在线观看| 汤姆久久久久久久影院中文字幕| 少妇 在线观看| 国产爱豆传媒在线观看| 最近的中文字幕免费完整| 三级国产精品欧美在线观看| 久久久久精品性色| 在线看a的网站| 2021少妇久久久久久久久久久| 九九在线视频观看精品| 毛片女人毛片| 天堂中文最新版在线下载| 亚洲欧美清纯卡通| 亚洲第一区二区三区不卡| 国产在视频线精品| 亚洲成人av在线免费| 久久午夜福利片| 久久女婷五月综合色啪小说| 精品久久久精品久久久| 天堂中文最新版在线下载| 美女cb高潮喷水在线观看| 国产有黄有色有爽视频| 毛片女人毛片| 交换朋友夫妻互换小说| 乱系列少妇在线播放| 欧美精品一区二区大全| 在线免费观看不下载黄p国产| 午夜福利网站1000一区二区三区| 国产精品久久久久久精品电影小说 | av在线播放精品| 欧美人与善性xxx| 一级毛片久久久久久久久女| 免费看光身美女| 午夜免费鲁丝| 不卡视频在线观看欧美| 91久久精品国产一区二区成人| 欧美激情极品国产一区二区三区 | 国产成人精品久久久久久| av不卡在线播放| 日本黄大片高清| 一本一本综合久久| 午夜福利高清视频| 97精品久久久久久久久久精品| 日韩av在线免费看完整版不卡| 简卡轻食公司| 久久久午夜欧美精品| 日韩一区二区三区影片| 中文欧美无线码| 成人二区视频| 少妇人妻 视频| 亚洲av在线观看美女高潮| 菩萨蛮人人尽说江南好唐韦庄| 日日啪夜夜爽| 国产成人免费观看mmmm| 欧美97在线视频| 精品久久久久久久久av| 欧美老熟妇乱子伦牲交| 久久99热这里只频精品6学生| 人妻制服诱惑在线中文字幕| 一区二区三区免费毛片| 天堂中文最新版在线下载| 在现免费观看毛片| 亚洲精品自拍成人| 热re99久久精品国产66热6| 国产 一区精品| 久久久久久久大尺度免费视频| 99热国产这里只有精品6| 欧美成人午夜免费资源| 亚州av有码| 精品视频人人做人人爽| 中国国产av一级| 99国产精品免费福利视频| 亚洲,一卡二卡三卡| 国产精品一区二区三区四区免费观看| 成人无遮挡网站| 免费观看av网站的网址| 日韩 亚洲 欧美在线| 日产精品乱码卡一卡2卡三| 免费看av在线观看网站| 国产精品秋霞免费鲁丝片| 中文在线观看免费www的网站| 爱豆传媒免费全集在线观看| 亚洲av在线观看美女高潮| 国产精品成人在线| 91精品国产九色| 欧美日韩精品成人综合77777| 国产成人aa在线观看| 成年美女黄网站色视频大全免费 | 亚洲精品国产av成人精品| 日本黄大片高清| 亚洲欧美一区二区三区国产| 欧美日韩在线观看h| 中文字幕制服av| 日本vs欧美在线观看视频 | 亚洲精品aⅴ在线观看| 亚洲精品第二区| 国产午夜精品久久久久久一区二区三区| 18禁动态无遮挡网站| 国内揄拍国产精品人妻在线| 99热这里只有是精品50| 国产精品爽爽va在线观看网站| 99国产精品免费福利视频| 91精品伊人久久大香线蕉| 最近中文字幕2019免费版| 国产精品熟女久久久久浪| 天天躁夜夜躁狠狠久久av| 人妻系列 视频| 婷婷色综合大香蕉| 精品亚洲成a人片在线观看 | 国产在线视频一区二区| 18禁裸乳无遮挡免费网站照片| 寂寞人妻少妇视频99o| 日韩 亚洲 欧美在线| av播播在线观看一区| 成年av动漫网址| 97超视频在线观看视频| 国产精品人妻久久久久久| 欧美性感艳星| 波野结衣二区三区在线| 久久久久网色| 国产午夜精品久久久久久一区二区三区| 国产爽快片一区二区三区| 一本色道久久久久久精品综合| 在线观看免费视频网站a站| 深爱激情五月婷婷| 伦理电影大哥的女人| 免费观看的影片在线观看| 久久精品人妻少妇| 亚洲精品456在线播放app| 亚洲美女视频黄频| 成年女人在线观看亚洲视频| 校园人妻丝袜中文字幕| 一级毛片黄色毛片免费观看视频| 国产精品99久久99久久久不卡 | 男人舔奶头视频| av女优亚洲男人天堂| 亚洲av日韩在线播放| 日本一二三区视频观看| 成人免费观看视频高清| 综合色丁香网| 赤兔流量卡办理| 少妇的逼好多水| 夜夜爽夜夜爽视频| 日韩三级伦理在线观看| 国产亚洲av片在线观看秒播厂| 亚洲美女视频黄频| 免费看日本二区| av播播在线观看一区| 99热全是精品| freevideosex欧美| 欧美精品亚洲一区二区| 1000部很黄的大片| 亚洲国产色片| 男女免费视频国产| 亚洲欧美清纯卡通| 国产精品不卡视频一区二区| 日本-黄色视频高清免费观看| 男男h啪啪无遮挡| 国产成人免费观看mmmm| 亚洲精品中文字幕在线视频 | 精品亚洲成a人片在线观看 | 精品99又大又爽又粗少妇毛片| 亚洲精品日韩av片在线观看| 国产69精品久久久久777片| 日本与韩国留学比较| 99热这里只有是精品在线观看| 国产亚洲5aaaaa淫片| 美女福利国产在线 | 免费少妇av软件| 男女边摸边吃奶| 国产人妻一区二区三区在| 亚洲av日韩在线播放| 国产在视频线精品| 精品熟女少妇av免费看| 99久久精品国产国产毛片| 欧美xxⅹ黑人| av女优亚洲男人天堂| 久久热精品热| 欧美精品亚洲一区二区| 日韩一本色道免费dvd| 免费黄色在线免费观看| 2022亚洲国产成人精品| 国产精品一二三区在线看| 国产一区二区三区av在线| 18禁动态无遮挡网站| 免费播放大片免费观看视频在线观看| 蜜桃久久精品国产亚洲av| 一区二区av电影网| 伊人久久国产一区二区| 高清日韩中文字幕在线| 老师上课跳d突然被开到最大视频| 色婷婷av一区二区三区视频| 国产大屁股一区二区在线视频| 爱豆传媒免费全集在线观看| 日韩视频在线欧美| 亚洲国产欧美人成| 国产又色又爽无遮挡免| 丰满迷人的少妇在线观看| 国产成人一区二区在线| 啦啦啦中文免费视频观看日本| 成人免费观看视频高清| 插阴视频在线观看视频| 国产免费福利视频在线观看| 日本欧美国产在线视频| av在线观看视频网站免费| 乱码一卡2卡4卡精品| 偷拍熟女少妇极品色| 亚洲电影在线观看av| 亚洲成人一二三区av| 日韩中文字幕视频在线看片 | 观看美女的网站| 亚洲欧美精品自产自拍| 特大巨黑吊av在线直播| 麻豆国产97在线/欧美| 久久久久久久久久久免费av| 午夜激情福利司机影院| 一级毛片 在线播放| 人人妻人人爽人人添夜夜欢视频 | 国产69精品久久久久777片| 97超视频在线观看视频| 伊人久久精品亚洲午夜| 我要看黄色一级片免费的| 亚洲天堂av无毛| 夜夜爽夜夜爽视频| 91精品国产国语对白视频| av网站免费在线观看视频| 亚洲精品乱码久久久v下载方式| 国产亚洲最大av| 熟女电影av网| 男人狂女人下面高潮的视频| 高清av免费在线| 国产在线免费精品| 在线免费观看不下载黄p国产| 七月丁香在线播放| 国产探花极品一区二区| 下体分泌物呈黄色| 久久久成人免费电影| 色5月婷婷丁香| 五月天丁香电影| 王馨瑶露胸无遮挡在线观看| 精品熟女少妇av免费看| 国产91av在线免费观看| 91久久精品国产一区二区三区| 夫妻性生交免费视频一级片| 美女高潮的动态| 国产国拍精品亚洲av在线观看| 国产白丝娇喘喷水9色精品| 麻豆乱淫一区二区| 亚洲自偷自拍三级| 国产在线免费精品| 秋霞在线观看毛片| 国产一区亚洲一区在线观看| 欧美+日韩+精品| 亚洲国产精品成人久久小说| 亚洲国产av新网站| 人人妻人人爽人人添夜夜欢视频 | 亚洲成人一二三区av| 久久久国产一区二区| 国产精品一区二区在线观看99| 成年免费大片在线观看| 少妇的逼好多水| 国产高清不卡午夜福利| 国产精品久久久久久精品古装| 色哟哟·www| 国产av码专区亚洲av| 女的被弄到高潮叫床怎么办| a级毛片免费高清观看在线播放| 一级毛片黄色毛片免费观看视频| 极品教师在线视频| 黑人猛操日本美女一级片| 全区人妻精品视频| 18禁动态无遮挡网站| 成人影院久久| 制服丝袜香蕉在线| 老熟女久久久| 综合色丁香网| 日韩av不卡免费在线播放| 老师上课跳d突然被开到最大视频| 免费观看性生交大片5| 国产黄色免费在线视频| 久久国产精品男人的天堂亚洲 | 日韩一本色道免费dvd| 国产色爽女视频免费观看| 久久6这里有精品|