• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于強(qiáng)化學(xué)習(xí)的煤矸石分揀機(jī)械臂智能控制算法研究

    2021-01-26 03:39:48張永超于智偉丁麗林
    工礦自動化 2021年1期
    關(guān)鍵詞:煤矸石執(zhí)行器控制算法

    張永超, 于智偉, 丁麗林

    (山東科技大學(xué) 機(jī)械電子工程學(xué)院,山東 青島 266590)

    0 引言

    煤矸石分揀是煤炭粗選的首要環(huán)節(jié),也是提高煤炭質(zhì)量以及礦井效益的重要方法[1]。傳統(tǒng)煤矸石分揀如人工分揀、濕選和干選等分揀方式正面臨工傷風(fēng)險(xiǎn)率高、環(huán)境污染嚴(yán)重及智能化程度低的困境[2-3]。而機(jī)械臂分揀不僅能有效降低工傷風(fēng)險(xiǎn)率,同時(shí)還具有效率高、綠色分揀的優(yōu)勢。《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》也明確提出對具備條件的煤礦要加快智能化改造,推進(jìn)危險(xiǎn)崗位的機(jī)器人作業(yè),到2035年各類煤礦基本實(shí)現(xiàn)智能化,建成智能感知、智能決策、自動執(zhí)行的煤礦智能化體系。煤矸石分揀朝著智能機(jī)器人化方向發(fā)展符合現(xiàn)代工業(yè)發(fā)展趨勢。

    目前,用于機(jī)器人分揀機(jī)械臂的控制算法主要有抓取函數(shù)法[4]、基于費(fèi)拉里法的動態(tài)目標(biāo)抓取算法[5]、金字塔形尋優(yōu)算法[6]、比例導(dǎo)引法[7]等。這些控制算法中除抓取函數(shù)法僅適用靜態(tài)目標(biāo)外,其他控制算法均可在已獲取目標(biāo)位置的前提下,實(shí)現(xiàn)快速接近目標(biāo)的目的。然而將以上控制算法應(yīng)用于煤矸石分揀機(jī)械臂時(shí)發(fā)現(xiàn),煤矸石分揀機(jī)械臂的工作效率嚴(yán)重受限于控制算法中機(jī)械臂運(yùn)動學(xué)或動力學(xué)等環(huán)境模型的設(shè)計(jì)精度,若精度低則會使煤矸石分揀機(jī)械臂末端執(zhí)行器不能良好接近目標(biāo),造成較高的漏選率[8]。王鵬等[9]設(shè)計(jì)了一種基于機(jī)器視覺技術(shù)的多機(jī)械臂煤矸石分揀機(jī)器人系統(tǒng),該系統(tǒng)可高效分揀50~260 mm粒度的煤矸石,并且能良好適應(yīng)不同帶速,但其機(jī)械臂控制算法仍依賴模型的精確性。因此,研究一種可使煤矸石分選機(jī)械臂穩(wěn)定高效運(yùn)行的無模型智能控制算法對實(shí)現(xiàn)煤矸石分選作業(yè)無人化、智能化具有重要意義。

    強(qiáng)化學(xué)習(xí)作為一種重要的機(jī)器學(xué)習(xí)方法,因其控制過程不依賴于精確環(huán)境模型的特點(diǎn),在機(jī)器人智能控制領(lǐng)域具有重要地位。它強(qiáng)調(diào)在與環(huán)境的交互中獲取反映真實(shí)目標(biāo)達(dá)成度的反饋信號,強(qiáng)調(diào)模型的試錯學(xué)習(xí)和序列決策行為的動態(tài)和長期效應(yīng)。深度確定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法是強(qiáng)化學(xué)習(xí)中常用來處理具有連續(xù)性動作空間任務(wù)的一種優(yōu)秀控制算法[10],但傳統(tǒng)DDPG算法的獎勵函數(shù)僅是基于歐幾里得距離設(shè)計(jì)的,缺乏動作懲罰項(xiàng)等約束項(xiàng),訓(xùn)練過程中容易使機(jī)械臂學(xué)習(xí)到輸出較大關(guān)節(jié)角控制量的策略。若獎勵函數(shù)設(shè)計(jì)不合理,還會出現(xiàn)稀疏獎勵問題,使機(jī)械臂學(xué)不到期望的策略[11]。

    針對以上問題,本文提出了一種基于強(qiáng)化學(xué)習(xí)的改進(jìn)DDPG算法,并用于煤矸石分揀機(jī)械臂的控制。通過設(shè)計(jì)獎勵函數(shù)使機(jī)械臂能更快學(xué)習(xí)到平穩(wěn)接近目標(biāo)的策略。通過改進(jìn)Actor和Critic神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及使用批標(biāo)準(zhǔn)化和Dropout優(yōu)化方法,使算法具有更穩(wěn)健處理機(jī)械臂關(guān)節(jié)角等低維輸入觀測值的能力[12]。仿真實(shí)驗(yàn)結(jié)果表明,改進(jìn)的DDPG算法與傳統(tǒng)控制算法相比具有無模型通用性強(qiáng)及在與環(huán)境交互中可自適應(yīng)學(xué)習(xí)抓取姿態(tài)的優(yōu)勢,并且學(xué)習(xí)能力優(yōu)于傳統(tǒng)DDPG算法,其在大型連續(xù)動作空間具有巨大的潛在應(yīng)用價(jià)值。

    1 DDPG算法

    DDPG算法屬于Actor-Critic算法,它在確定性策略梯度(Deterministic Policy Gradient,DPG)算法[13]的基礎(chǔ)上融入了深度神經(jīng)網(wǎng)絡(luò)[14]。DDPG算法的參數(shù)更新思想借鑒了深度Q網(wǎng)絡(luò)(Deep Q Network,DQN)算法中的雙網(wǎng)絡(luò)延時(shí)更新和經(jīng)驗(yàn)回放機(jī)制來切斷數(shù)據(jù)相關(guān)性,訓(xùn)練過程中使用批量標(biāo)準(zhǔn)化[15]來提高學(xué)習(xí)效率。

    DDPG算法中的Actor策略網(wǎng)絡(luò)可在連續(xù)動作空間進(jìn)行探索以及做出動作決策,Critic價(jià)值網(wǎng)絡(luò)則負(fù)責(zé)評判決策優(yōu)劣,以此指引Actor策略網(wǎng)絡(luò)參數(shù)更新。兩者均包含2個具有相同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),即目標(biāo)網(wǎng)絡(luò)和估計(jì)網(wǎng)絡(luò)。Actor的估計(jì)網(wǎng)絡(luò)是根據(jù)Critic的估計(jì)網(wǎng)絡(luò)的指引實(shí)時(shí)更新,Critic的估計(jì)網(wǎng)絡(luò)是根據(jù)自身目標(biāo)網(wǎng)絡(luò)的指引實(shí)時(shí)更新,因此,估計(jì)網(wǎng)絡(luò)的參數(shù)是最新參數(shù),而目標(biāo)網(wǎng)絡(luò)參數(shù)則是根據(jù)估計(jì)網(wǎng)絡(luò)參數(shù)使用滑動平均方式來延遲更新的,Critic的估計(jì)網(wǎng)絡(luò)參數(shù)的更新方式為最小化均方誤差L:

    (1)

    式中:N為從經(jīng)驗(yàn)池中取出的數(shù)據(jù)總個數(shù);yi為i時(shí)刻目標(biāo)Q值的更好估計(jì);Q(si,ai|θQ)為估計(jì)Q值;si為i時(shí)刻的環(huán)境狀態(tài);ai為i時(shí)刻的輸入動作;θQ為Critic網(wǎng)絡(luò)中估計(jì)網(wǎng)絡(luò)的參數(shù),Q代表Critic網(wǎng)絡(luò)中的估計(jì)網(wǎng)絡(luò);ri為i時(shí)刻的即時(shí)獎勵;γ為折扣率;Q′(si+1,μ′(si+1|θμ′)|θQ′)為目標(biāo)Q值;μ′(si+1|θμ′)為確定性策略,μ′為Actor網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò),θμ′為Actor網(wǎng)絡(luò)中目標(biāo)網(wǎng)絡(luò)的參數(shù);θQ′為Critic網(wǎng)絡(luò)中目標(biāo)網(wǎng)絡(luò)的參數(shù),Q′為Critic網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò)。

    這種利用估計(jì)網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)進(jìn)行參數(shù)更新的雙網(wǎng)絡(luò)機(jī)制切斷了數(shù)據(jù)相關(guān)性,有效提高了算法收斂性。類似于監(jiān)督學(xué)習(xí)標(biāo)簽的yi為Critic估計(jì)網(wǎng)絡(luò)參數(shù)的更新指明了方向,使參數(shù)更新更穩(wěn)定。

    Actor策略網(wǎng)絡(luò)基于策略梯度更新網(wǎng)絡(luò)參數(shù):

    θμJ(θμ)≈

    (2)

    圖1 DDPG算法結(jié)構(gòu)

    2 改進(jìn)DDPG算法

    2.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    改進(jìn)DDPG算法應(yīng)用對象為六自由度煤矸石分揀機(jī)械臂,其動作空間龐大且應(yīng)用環(huán)境復(fù)雜,為使神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)其輸入特征數(shù)據(jù)的分布,同時(shí)也為緩解訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)的過擬合問題,Actor網(wǎng)絡(luò)使用4層計(jì)算層并引入批量標(biāo)準(zhǔn)化方法和Dropout方法,以使模型訓(xùn)練更穩(wěn)健,Actor網(wǎng)絡(luò)的雙網(wǎng)絡(luò)均采用圖2所示的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

    圖2 Actor神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    Actor框架中的估計(jì)網(wǎng)絡(luò)輸入層接收環(huán)境實(shí)時(shí)狀態(tài)si,目標(biāo)網(wǎng)絡(luò)輸入層接收智能體與環(huán)境交互后的下一狀態(tài)si+1。批量標(biāo)準(zhǔn)化(Batch Normalization,BN)層通過減小數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)層傳遞過程中數(shù)據(jù)分布的改變,使神經(jīng)網(wǎng)絡(luò)參數(shù)更新更快且更易學(xué)習(xí)到知識,又因其是在小批量樣本上計(jì)算均值和方差,難免引入小噪聲,這也同時(shí)提高了神經(jīng)網(wǎng)絡(luò)的泛化能力。隱藏層中層1和層2中的黃色神經(jīng)元表示該層使用了Dropout方法,Dropout方法通過使部分神經(jīng)元隨機(jī)失活以減小神經(jīng)元之間的依賴性,促使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更穩(wěn)健的特征,提高了網(wǎng)絡(luò)的魯棒性。

    Critic網(wǎng)絡(luò)的估計(jì)網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)采用如圖3所示的3層全連接神經(jīng)網(wǎng)絡(luò)來擬合Q(si,ai|θQ)和Q′(si+1,μ′(si+1|θμ′)|θQ′),并使用BN層和Dropout方法緩解神經(jīng)網(wǎng)絡(luò)過擬合,從而使Critic網(wǎng)絡(luò)可更好評判Actor網(wǎng)絡(luò)輸出動作的優(yōu)劣。

    圖3 Critic神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    2.2 獎勵函數(shù)設(shè)計(jì)

    為使煤矸石分揀機(jī)械臂可自適應(yīng)學(xué)習(xí)到接近目標(biāo)的方法,同時(shí)解決傳統(tǒng)機(jī)械臂強(qiáng)化學(xué)習(xí)控制方法輸出動作過大以及稀疏獎勵容易被淹沒的問題,本文在傳統(tǒng)DDPG算法的基礎(chǔ)上設(shè)計(jì)了可持續(xù)輸出收益的獎勵函數(shù):

    (3)

    終止?fàn)顟B(tài)判定項(xiàng)通過給可輸出連續(xù)跟蹤目標(biāo)動作的智能體一個較大的獎勵值來誘導(dǎo)機(jī)械臂學(xué)習(xí)到跟蹤目標(biāo)的能力,減小目標(biāo)與機(jī)械臂末端執(zhí)行器的沖擊。

    3 煤矸石分揀機(jī)械臂智能控制原理

    改進(jìn)DDPG算法依據(jù)馬爾科夫決策過程[16]控制機(jī)械臂在與環(huán)境交互中學(xué)習(xí)知識,任務(wù)是找到能最大化智能體期望回報(bào)的最優(yōu)策略[17],即最大化估計(jì)Q值。在煤矸石分揀機(jī)械臂控制任務(wù)中,強(qiáng)化學(xué)習(xí)中的智能體為具有決策能力的煤矸石分揀機(jī)械臂。估計(jì)Q值的更新依據(jù)自身梯度以及其與目標(biāo)Q值q的均方誤差來指引,其中q為

    q=ri+γQ′(si+1,μ′(si+1|θμ′)|θQ′)

    (4)

    機(jī)械臂根據(jù)相應(yīng)傳感器返回的煤矸石位置以及機(jī)械臂狀態(tài)進(jìn)行決策,輸出機(jī)械臂預(yù)測控制量,并根據(jù)機(jī)械臂執(zhí)行動作之后的環(huán)境狀態(tài)如末端執(zhí)行器與煤矸石的距離、機(jī)械臂的位置、煤矸石的位置等進(jìn)行下一步?jīng)Q策。通過不斷試錯學(xué)習(xí),使網(wǎng)絡(luò)參數(shù)向可輸出機(jī)械臂探索過程中所遇最大q值方向更新,直到機(jī)械臂可以根據(jù)環(huán)境狀態(tài)準(zhǔn)確輸出接近煤矸石的策略或幕獎勵波動趨于穩(wěn)定時(shí)即可提前終止訓(xùn)練。煤矸石分揀機(jī)械臂控制流程如圖4所示。首先初始化改進(jìn)DDPG算法權(quán)重,然后加載訓(xùn)練權(quán)重,最后根據(jù)煤矸石位置及關(guān)節(jié)角狀態(tài)輸出相應(yīng)的關(guān)節(jié)角來控制機(jī)械臂運(yùn)動,以使末端執(zhí)行器接近煤矸石。煤矸石位置以及機(jī)械臂關(guān)節(jié)角狀態(tài)由相應(yīng)檢測模塊和傳感器測得。

    圖4 機(jī)械臂控制流程

    4 實(shí)驗(yàn)及結(jié)果分析

    4.1 環(huán)境配置

    本文采用CoppeliaSim搭建虛擬環(huán)境模型,并在環(huán)境模型中創(chuàng)建UR5機(jī)械臂、RG2執(zhí)行器、輸送帶、煤和煤矸石,以此模擬實(shí)際煤矸石分揀環(huán)境,仿真平臺如圖5所示。

    圖5 仿真平臺

    使用Python在tensorflow2.2.0上編寫改進(jìn)DDPG算法框架,并調(diào)用CoppeliaSim創(chuàng)建的虛擬環(huán)境來訓(xùn)練算法。算法中Actor的雙網(wǎng)絡(luò)和Critic的雙網(wǎng)絡(luò)神經(jīng)元配置見表1,其神經(jīng)網(wǎng)絡(luò)輸入狀態(tài)si為6個關(guān)節(jié)角度、執(zhí)行器指定點(diǎn)的絕對坐標(biāo)、第5個關(guān)節(jié)的絕對坐標(biāo)、末端執(zhí)行器指定點(diǎn)與煤矸石中心的距離。獎勵函數(shù)參數(shù)c1和c2經(jīng)測試設(shè)定為0.1和0.2,使用30倍的高斯分布噪聲,設(shè)定算法循環(huán)幕數(shù)為5 000,每幕迭代步數(shù)為300,若末端執(zhí)行器中設(shè)定的特定點(diǎn)與煤矸石中心距離為0時(shí),超參數(shù)b被賦值為10,若下一步距離仍為0,則b繼續(xù)累加10,當(dāng)其累加了20步時(shí),即跟蹤了20步,則提前結(jié)束當(dāng)前幕。

    表1 Actor和Critic神經(jīng)網(wǎng)絡(luò)中各層神經(jīng)元數(shù)量

    4.2 性能對比測試

    為測試改進(jìn)DDPG算法的性能,將其與僅使用歐幾里得距離作為獎勵函數(shù)的傳統(tǒng)DDPG算法在相同環(huán)境下進(jìn)行訓(xùn)練對比,經(jīng)5 000幕迭代后,改進(jìn)DDPG算法每幕獎勵結(jié)果如圖6所示,傳統(tǒng)DDPG算法每幕獎勵結(jié)果如圖7所示。

    圖6 改進(jìn)DDPG算法每幕獎勵

    強(qiáng)化學(xué)習(xí)不同于傳統(tǒng)監(jiān)督學(xué)習(xí),其訓(xùn)練樣本沒有確定標(biāo)簽,也就沒有真正意義上的損失函數(shù),因此,當(dāng)幕獎勵趨于穩(wěn)定時(shí),即可認(rèn)為機(jī)械臂在當(dāng)前環(huán)境中學(xué)習(xí)到了基于所用算法的最優(yōu)策略。由圖6和圖7可看出,改進(jìn)DDPG算法和傳統(tǒng)DDPG算法指引下的機(jī)械臂在環(huán)境中經(jīng)過隨機(jī)探索后都學(xué)習(xí)到了一種策略,改進(jìn)DDPG算法訓(xùn)練穩(wěn)定后的每幕獎勵接近機(jī)械臂探索過程中的最大值,而傳統(tǒng)DDPG算法訓(xùn)練穩(wěn)定后的每幕獎勵與機(jī)械臂探索過程中遇到的最大獎勵相差較大,這表示所設(shè)計(jì)的獎勵函數(shù)比傳統(tǒng)獎勵函數(shù)更具有誘導(dǎo)機(jī)械臂學(xué)習(xí)到最優(yōu)策略的能力。

    圖7 傳統(tǒng)DDPG算法每幕獎勵

    為了進(jìn)一步測試2種算法訓(xùn)練后的性能,將訓(xùn)練后的改進(jìn)DDPG算法和傳統(tǒng)DDPG算法進(jìn)行泛化能力對比驗(yàn)證,測試過程為在虛擬環(huán)境中繼續(xù)添加紅色、黃色、綠色物塊,如圖8所示,圖中灰色物塊為2種算法在學(xué)習(xí)過程中所用的訓(xùn)練目標(biāo),使用這4種顏色的物塊代替實(shí)際分揀環(huán)境中的煤矸石,將這4種煤矸石分別設(shè)定為測試目標(biāo),并使用2種算法分別對其進(jìn)行10次接近測試,結(jié)果見表2。

    圖8 CoppeliaSim虛擬環(huán)境

    表2 測試結(jié)果

    由表2可看出,改進(jìn)DDPG算法具有良好的泛化能力,即接近訓(xùn)練過程中未曾出現(xiàn)過目標(biāo)的能力,而傳統(tǒng)DDPG算法泛化能力較差,這也進(jìn)一步驗(yàn)證了改進(jìn)DDPG算法控制下的機(jī)械臂所學(xué)策略質(zhì)量較高。在接近測試過程中,傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂的末端執(zhí)行器多數(shù)以一種垂直于虛擬環(huán)境中地面的非常規(guī)姿態(tài)位于物塊之上,這也證明了傳統(tǒng)DDPG算法控制下的機(jī)械臂并未學(xué)習(xí)到良好的策略。在黃色物塊接近測試中,傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂末端執(zhí)行器特定位置的運(yùn)動軌跡如圖9所示,改進(jìn)DDPG算法控制下的末端執(zhí)行器特定位置運(yùn)動軌跡如圖10所示。從圖9和圖10可看出,改進(jìn)DDPG算法與傳統(tǒng)DDPG算法相比,其控制策略可以更好地使末端執(zhí)行器接近目標(biāo)。

    圖9 傳統(tǒng)DDPG算法控制結(jié)果

    圖10 改進(jìn)DDPG算法控制結(jié)果

    黃色物塊接近測試中,2種算法輸出的一次關(guān)節(jié)角控制量對比如圖11所示。從圖11可看出,改進(jìn)DDPG算法因受獎勵函數(shù)輸出動作懲罰項(xiàng)的影響,其關(guān)節(jié)角輸出控制量小于傳統(tǒng)DDPG算法的輸出,降低了因大幅度更新關(guān)節(jié)角對機(jī)械臂性能造成的影響。

    圖11 2種算法輸出的一次關(guān)節(jié)角控制量對比

    綜上可知,改進(jìn)DDPG算法和傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂通過與環(huán)境交互均可使機(jī)械臂學(xué)習(xí)到一種控制策略,但測試結(jié)果表明,傳統(tǒng)DDPG算法所學(xué)策略性能較差,不能良好接近目標(biāo),改進(jìn)DDPG算法所學(xué)策略更接近最優(yōu)。

    5 結(jié)論

    (1)對傳統(tǒng)DDPG算法中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和獎勵函數(shù)進(jìn)行了改進(jìn),提出了適合處理六自由度煤矸石分揀機(jī)械臂的改進(jìn)DDPG算法。改進(jìn)DDPG算法經(jīng)過訓(xùn)練后,Actor網(wǎng)絡(luò)即可根據(jù)環(huán)境狀態(tài)映射成具有最大估計(jì)Q值的關(guān)節(jié)狀態(tài)控制量,最終經(jīng)相應(yīng)運(yùn)動控制器控制煤矸石分揀機(jī)械臂接近煤矸石,實(shí)現(xiàn)煤矸石分揀。

    (2)實(shí)驗(yàn)結(jié)果表明,改進(jìn)DDPG算法相較于傳統(tǒng)DDPG算法可更快收斂于探索過程中所遇最大獎勵值。改進(jìn)DDPG算法可控制機(jī)械臂小幅度接近煤矸石,具有較強(qiáng)的泛化能力,為解決實(shí)際煤矸石機(jī)械臂智能分揀問題提供了一種新方法,同時(shí)也為后期與基于深度學(xué)習(xí)的視覺檢測聯(lián)合使用提供了理論保障。

    猜你喜歡
    煤矸石執(zhí)行器控制算法
    淺談煤矸石在固廢混凝土中的應(yīng)用
    雙級執(zhí)行器系統(tǒng)的離散滑??刂?/a>
    煤矸石的綜合利用
    上海建材(2018年2期)2018-06-26 08:50:56
    基于ARM+FPGA的模塊化同步控制算法研究
    飛機(jī)裝配預(yù)連接緊固件自動化安裝末端執(zhí)行器設(shè)計(jì)
    考慮執(zhí)行器飽和的改進(jìn)無模型自適應(yīng)控制
    一類具有執(zhí)行器飽和的非線性系統(tǒng)抗飽和方法研究
    一種優(yōu)化的基于ARM Cortex-M3電池組均衡控制算法應(yīng)用
    改性煤矸石對污水中油的吸附作用
    一種非圓旋轉(zhuǎn)工件支撐裝置控制算法
    婷婷亚洲欧美| 亚洲专区中文字幕在线| 精品久久久久久久久亚洲 | 免费黄网站久久成人精品| 免费人成在线观看视频色| 国产黄片美女视频| 深夜a级毛片| 91久久精品国产一区二区三区| 毛片女人毛片| 观看免费一级毛片| 又紧又爽又黄一区二区| 欧美bdsm另类| 天天躁日日操中文字幕| 级片在线观看| 亚洲成人免费电影在线观看| 日韩欧美三级三区| 美女cb高潮喷水在线观看| 免费黄网站久久成人精品| 日韩,欧美,国产一区二区三区 | 亚洲第一电影网av| 在线观看免费视频日本深夜| 精品乱码久久久久久99久播| 一本久久中文字幕| 久久久精品大字幕| 国产精品综合久久久久久久免费| 久久久久久久午夜电影| 久9热在线精品视频| 国产 一区 欧美 日韩| 波多野结衣巨乳人妻| 国产乱人伦免费视频| 国产精品98久久久久久宅男小说| 欧美性猛交╳xxx乱大交人| 狠狠狠狠99中文字幕| 简卡轻食公司| 内地一区二区视频在线| 内地一区二区视频在线| 99热精品在线国产| 中国美白少妇内射xxxbb| 黄色配什么色好看| 国产极品精品免费视频能看的| 一进一出抽搐gif免费好疼| 亚洲人成网站在线播放欧美日韩| 国产精品国产高清国产av| 婷婷亚洲欧美| 九九在线视频观看精品| 三级国产精品欧美在线观看| 日本与韩国留学比较| 亚洲狠狠婷婷综合久久图片| 老司机午夜福利在线观看视频| 欧美+日韩+精品| 国产精品福利在线免费观看| 欧美zozozo另类| 老司机福利观看| 亚洲国产精品合色在线| 精品一区二区免费观看| 性色avwww在线观看| 尤物成人国产欧美一区二区三区| 欧美三级亚洲精品| 国产精品国产三级国产av玫瑰| 亚洲黑人精品在线| 精品久久久久久久久久久久久| 一级黄色大片毛片| 亚洲熟妇中文字幕五十中出| 午夜激情福利司机影院| 欧美激情国产日韩精品一区| 久久久成人免费电影| 一区二区三区免费毛片| 人妻丰满熟妇av一区二区三区| 不卡一级毛片| 91久久精品国产一区二区三区| 亚洲人成伊人成综合网2020| 少妇高潮的动态图| 亚洲精品色激情综合| 毛片女人毛片| 久久久久免费精品人妻一区二区| avwww免费| 精品99又大又爽又粗少妇毛片 | 我要搜黄色片| 最新在线观看一区二区三区| 人妻制服诱惑在线中文字幕| 亚洲综合色惰| 熟女人妻精品中文字幕| 特级一级黄色大片| 国产免费av片在线观看野外av| 久久久久久久精品吃奶| 亚洲aⅴ乱码一区二区在线播放| 一区二区三区激情视频| 变态另类成人亚洲欧美熟女| 日本免费一区二区三区高清不卡| 久久久成人免费电影| 日韩欧美免费精品| 国产成人一区二区在线| 伦精品一区二区三区| 亚洲经典国产精华液单| 中文亚洲av片在线观看爽| 美女大奶头视频| 五月玫瑰六月丁香| 国产精品自产拍在线观看55亚洲| 久久亚洲真实| 三级毛片av免费| 国产精品永久免费网站| 别揉我奶头 嗯啊视频| 亚洲三级黄色毛片| 色综合色国产| av在线观看视频网站免费| 亚洲av美国av| 精品免费久久久久久久清纯| 国产精品美女特级片免费视频播放器| 国产大屁股一区二区在线视频| 日韩大尺度精品在线看网址| 国产精品亚洲美女久久久| 久久精品91蜜桃| 亚洲专区中文字幕在线| 黄片wwwwww| 欧美一区二区国产精品久久精品| a在线观看视频网站| 99久久精品国产国产毛片| 夜夜夜夜夜久久久久| 啦啦啦啦在线视频资源| 国产大屁股一区二区在线视频| 国产色爽女视频免费观看| 成人一区二区视频在线观看| 在线播放无遮挡| 在线a可以看的网站| 欧美一区二区精品小视频在线| 亚州av有码| 国内毛片毛片毛片毛片毛片| 欧美一区二区亚洲| 国产成人av教育| 波多野结衣巨乳人妻| 亚洲成人久久性| 久久久久久久久大av| 国产av不卡久久| 乱系列少妇在线播放| 精品久久久噜噜| 动漫黄色视频在线观看| 国产 一区精品| 免费高清视频大片| 两个人视频免费观看高清| 三级毛片av免费| 国产在线精品亚洲第一网站| 国产精品不卡视频一区二区| 日本熟妇午夜| 一进一出抽搐gif免费好疼| 亚洲av.av天堂| 99九九线精品视频在线观看视频| 国产69精品久久久久777片| 两性午夜刺激爽爽歪歪视频在线观看| 国产午夜精品久久久久久一区二区三区 | 亚洲熟妇中文字幕五十中出| 岛国在线免费视频观看| 成人无遮挡网站| 久久久色成人| 中文字幕精品亚洲无线码一区| 免费在线观看成人毛片| 级片在线观看| h日本视频在线播放| 欧美+亚洲+日韩+国产| 亚洲精品色激情综合| 国内精品宾馆在线| 亚洲在线自拍视频| 免费观看在线日韩| 欧美黑人欧美精品刺激| 99久久精品国产国产毛片| 午夜久久久久精精品| 黄色日韩在线| 在线观看一区二区三区| 免费搜索国产男女视频| 99在线视频只有这里精品首页| 午夜激情福利司机影院| 精品久久久噜噜| 成年版毛片免费区| 日韩欧美 国产精品| 午夜a级毛片| 99在线人妻在线中文字幕| 国产黄色小视频在线观看| 99久久精品国产国产毛片| 国产v大片淫在线免费观看| 精品国内亚洲2022精品成人| 亚洲成av人片在线播放无| 国产亚洲精品久久久久久毛片| 亚洲精品在线观看二区| 国产91精品成人一区二区三区| 91久久精品国产一区二区三区| 男插女下体视频免费在线播放| 久久久国产成人免费| 直男gayav资源| 欧美区成人在线视频| 欧美日韩中文字幕国产精品一区二区三区| 直男gayav资源| 免费一级毛片在线播放高清视频| 无遮挡黄片免费观看| 在线观看午夜福利视频| 一个人看视频在线观看www免费| 免费电影在线观看免费观看| 99久国产av精品| 亚洲第一区二区三区不卡| 免费大片18禁| 国产在视频线在精品| 欧美一区二区精品小视频在线| 制服丝袜大香蕉在线| 国产aⅴ精品一区二区三区波| 日韩精品青青久久久久久| 欧美黑人巨大hd| 美女被艹到高潮喷水动态| 3wmmmm亚洲av在线观看| 国产日本99.免费观看| 国产视频一区二区在线看| 久久久久久久久大av| 午夜精品在线福利| 免费观看的影片在线观看| 99在线视频只有这里精品首页| 欧美最黄视频在线播放免费| 亚洲专区中文字幕在线| 欧美在线一区亚洲| 日日夜夜操网爽| 身体一侧抽搐| 男女之事视频高清在线观看| 乱码一卡2卡4卡精品| 亚洲专区国产一区二区| 露出奶头的视频| 色尼玛亚洲综合影院| 国产三级中文精品| 午夜精品在线福利| 在线观看66精品国产| 国产精品爽爽va在线观看网站| 精品久久久久久久久久久久久| 精品人妻1区二区| 在线观看午夜福利视频| 欧美日韩瑟瑟在线播放| 舔av片在线| 日韩欧美国产在线观看| 别揉我奶头 嗯啊视频| 免费在线观看影片大全网站| 亚洲精品久久国产高清桃花| 91狼人影院| 99热只有精品国产| 亚洲久久久久久中文字幕| 欧美一区二区精品小视频在线| 一个人观看的视频www高清免费观看| 久久久久久久久中文| 国产91精品成人一区二区三区| 免费看av在线观看网站| 亚洲专区中文字幕在线| 好男人在线观看高清免费视频| 99久久九九国产精品国产免费| 欧美日韩中文字幕国产精品一区二区三区| 亚洲在线观看片| 男女下面进入的视频免费午夜| 午夜精品在线福利| 赤兔流量卡办理| 人妻夜夜爽99麻豆av| av天堂中文字幕网| 草草在线视频免费看| 国产亚洲av嫩草精品影院| 午夜精品一区二区三区免费看| 国产免费一级a男人的天堂| 成人特级av手机在线观看| 99热这里只有精品一区| 不卡一级毛片| 狠狠狠狠99中文字幕| 国产高清三级在线| 一区二区三区高清视频在线| 搡老妇女老女人老熟妇| 国产高清三级在线| 午夜影院日韩av| 春色校园在线视频观看| 99久久精品一区二区三区| www日本黄色视频网| 日韩亚洲欧美综合| 看免费成人av毛片| 国产蜜桃级精品一区二区三区| 狂野欧美白嫩少妇大欣赏| 人妻制服诱惑在线中文字幕| 麻豆国产97在线/欧美| 欧美丝袜亚洲另类 | 日韩欧美精品v在线| 啪啪无遮挡十八禁网站| 成人美女网站在线观看视频| 91av网一区二区| 俺也久久电影网| 久久久精品大字幕| 国产午夜福利久久久久久| 国产精品三级大全| 久久国产精品人妻蜜桃| 国产精品久久久久久精品电影| 亚洲精品456在线播放app | 亚洲av不卡在线观看| 欧美+亚洲+日韩+国产| 亚洲最大成人手机在线| 日本-黄色视频高清免费观看| 69av精品久久久久久| 中国美白少妇内射xxxbb| 国产一区二区在线av高清观看| 久久国产精品人妻蜜桃| 国产男靠女视频免费网站| 最近最新免费中文字幕在线| 精品久久久久久久久久久久久| 伦理电影大哥的女人| 18禁黄网站禁片免费观看直播| 桃红色精品国产亚洲av| 免费人成在线观看视频色| 波多野结衣高清无吗| 日韩强制内射视频| 狂野欧美白嫩少妇大欣赏| 人人妻人人看人人澡| 美女大奶头视频| 女人十人毛片免费观看3o分钟| videos熟女内射| 交换朋友夫妻互换小说| 一级毛片电影观看| 蜜桃亚洲精品一区二区三区| 黑丝袜美女国产一区| 最近中文字幕高清免费大全6| 在线播放无遮挡| 夫妻午夜视频| 赤兔流量卡办理| 国产国拍精品亚洲av在线观看| 老师上课跳d突然被开到最大视频| 久久久久精品久久久久真实原创| 中文字幕免费在线视频6| av播播在线观看一区| 99热6这里只有精品| 国产免费一级a男人的天堂| 高清欧美精品videossex| 免费av不卡在线播放| 久久6这里有精品| 久久久久久久久久成人| 久久99热这里只频精品6学生| 国产一区二区在线观看日韩| 香蕉精品网在线| 国产精品无大码| 在线免费观看不下载黄p国产| 欧美精品人与动牲交sv欧美| 亚洲欧美中文字幕日韩二区| 中文天堂在线官网| 最近的中文字幕免费完整| 国产高潮美女av| 美女cb高潮喷水在线观看| 99精国产麻豆久久婷婷| 日本一二三区视频观看| 身体一侧抽搐| 国产精品一区www在线观看| 成年美女黄网站色视频大全免费 | 偷拍熟女少妇极品色| 国产精品不卡视频一区二区| 免费大片18禁| 亚洲欧美日韩东京热| 天美传媒精品一区二区| 大香蕉久久网| 亚洲色图综合在线观看| 成人亚洲精品一区在线观看 | 尾随美女入室| 亚洲精品乱久久久久久| 美女cb高潮喷水在线观看| 国产高清有码在线观看视频| 嘟嘟电影网在线观看| 人人妻人人澡人人爽人人夜夜| 亚洲国产欧美人成| 精品亚洲乱码少妇综合久久| 国产极品天堂在线| 好男人视频免费观看在线| 成人一区二区视频在线观看| 在线观看一区二区三区| 99久久综合免费| 老师上课跳d突然被开到最大视频| 国产精品国产三级专区第一集| 好男人视频免费观看在线| 大又大粗又爽又黄少妇毛片口| 汤姆久久久久久久影院中文字幕| 久久 成人 亚洲| 午夜免费观看性视频| 久久人人爽人人爽人人片va| 免费人成在线观看视频色| 国产亚洲欧美精品永久| av视频免费观看在线观看| 亚洲国产欧美人成| 日韩成人伦理影院| 亚洲精品久久午夜乱码| 一个人看的www免费观看视频| 亚洲成人手机| 免费观看av网站的网址| 熟女人妻精品中文字幕| 亚洲真实伦在线观看| 国产视频内射| 国产真实伦视频高清在线观看| 国产无遮挡羞羞视频在线观看| 国产精品福利在线免费观看| 国产欧美日韩一区二区三区在线 | 99精国产麻豆久久婷婷| 国产精品熟女久久久久浪| 制服丝袜香蕉在线| 狂野欧美激情性bbbbbb| 国产午夜精品久久久久久一区二区三区| 美女高潮的动态| 亚洲成人中文字幕在线播放| 老熟女久久久| 在线观看三级黄色| 小蜜桃在线观看免费完整版高清| 观看美女的网站| 十八禁网站网址无遮挡 | 国产深夜福利视频在线观看| 爱豆传媒免费全集在线观看| 人妻 亚洲 视频| 国产精品一区二区在线不卡| 国产一区二区三区综合在线观看 | 久久久亚洲精品成人影院| 国产美女午夜福利| 亚洲精品久久久久久婷婷小说| 三级国产精品片| 免费观看a级毛片全部| 久久久久久人妻| 七月丁香在线播放| h视频一区二区三区| 成人影院久久| 成人高潮视频无遮挡免费网站| 亚洲aⅴ乱码一区二区在线播放| av福利片在线观看| 亚洲av免费高清在线观看| 久久久久久九九精品二区国产| 国产中年淑女户外野战色| 日产精品乱码卡一卡2卡三| 亚洲精品中文字幕在线视频 | 自拍欧美九色日韩亚洲蝌蚪91 | 日日啪夜夜撸| 91精品国产九色| 亚洲欧美成人综合另类久久久| av黄色大香蕉| 国产精品免费大片| 中文资源天堂在线| 一二三四中文在线观看免费高清| 欧美日韩一区二区视频在线观看视频在线| 国产 精品1| 久久久午夜欧美精品| 嘟嘟电影网在线观看| 亚洲怡红院男人天堂| tube8黄色片| 亚洲内射少妇av| 中国美白少妇内射xxxbb| 久久99热这里只频精品6学生| 一个人看的www免费观看视频| 美女cb高潮喷水在线观看| 91久久精品电影网| 国产视频内射| 国产精品av视频在线免费观看| 亚洲人成网站高清观看| 国国产精品蜜臀av免费| 国产探花极品一区二区| 王馨瑶露胸无遮挡在线观看| 亚洲av成人精品一区久久| 精品午夜福利在线看| 夜夜爽夜夜爽视频| 十分钟在线观看高清视频www | 久久久久性生活片| 国产免费一级a男人的天堂| 夜夜骑夜夜射夜夜干| 国产欧美亚洲国产| 久久久久人妻精品一区果冻| 联通29元200g的流量卡| 亚洲综合色惰| 亚洲美女搞黄在线观看| 亚洲成人中文字幕在线播放| 欧美3d第一页| 2022亚洲国产成人精品| 欧美成人精品欧美一级黄| 久久久久久伊人网av| 国产欧美日韩精品一区二区| 国产黄片视频在线免费观看| 99视频精品全部免费 在线| 国产 精品1| 亚洲熟女精品中文字幕| 久久久a久久爽久久v久久| 丰满乱子伦码专区| 亚洲欧美日韩东京热| 国语对白做爰xxxⅹ性视频网站| 久久热精品热| 亚洲精品国产av蜜桃| 国产精品国产三级国产av玫瑰| 亚洲人成网站在线观看播放| 卡戴珊不雅视频在线播放| 国产免费福利视频在线观看| 美女高潮的动态| 亚洲伊人久久精品综合| 赤兔流量卡办理| 久久6这里有精品| 午夜福利在线观看免费完整高清在| 一级黄片播放器| 久久精品国产自在天天线| 最近最新中文字幕大全电影3| 久久久精品94久久精品| 黄色配什么色好看| 日韩亚洲欧美综合| 成人黄色视频免费在线看| 97在线人人人人妻| 国产精品爽爽va在线观看网站| 女性生殖器流出的白浆| 亚洲四区av| 一区二区三区精品91| 亚洲精品一区蜜桃| 91久久精品国产一区二区三区| 精品酒店卫生间| 国产老妇伦熟女老妇高清| av在线观看视频网站免费| 熟妇人妻不卡中文字幕| 大片电影免费在线观看免费| 成人高潮视频无遮挡免费网站| av不卡在线播放| av播播在线观看一区| 丝瓜视频免费看黄片| 日本猛色少妇xxxxx猛交久久| 欧美激情极品国产一区二区三区 | 日韩av在线免费看完整版不卡| 蜜桃亚洲精品一区二区三区| av又黄又爽大尺度在线免费看| 人人妻人人爽人人添夜夜欢视频 | 国产视频内射| 亚洲av.av天堂| 国产精品人妻久久久久久| 男男h啪啪无遮挡| 日本黄大片高清| 日本黄色片子视频| 一本—道久久a久久精品蜜桃钙片| 久久毛片免费看一区二区三区| 久久 成人 亚洲| 欧美精品一区二区大全| 香蕉精品网在线| 欧美精品国产亚洲| 久久久久国产网址| a 毛片基地| 日韩伦理黄色片| av专区在线播放| 免费大片18禁| 寂寞人妻少妇视频99o| 欧美3d第一页| 自拍欧美九色日韩亚洲蝌蚪91 | 日韩不卡一区二区三区视频在线| a级一级毛片免费在线观看| 少妇猛男粗大的猛烈进出视频| 天堂中文最新版在线下载| 亚洲av综合色区一区| xxx大片免费视频| 亚洲欧美日韩东京热| 麻豆成人午夜福利视频| 免费播放大片免费观看视频在线观看| 久久久精品免费免费高清| 亚洲aⅴ乱码一区二区在线播放| av网站免费在线观看视频| 欧美高清性xxxxhd video| 男女国产视频网站| 99精国产麻豆久久婷婷| 国产69精品久久久久777片| 日韩三级伦理在线观看| 亚洲最大成人中文| 亚洲av免费高清在线观看| av国产免费在线观看| 成年女人在线观看亚洲视频| 嫩草影院入口| 男人舔奶头视频| 精品亚洲成a人片在线观看 | 国产男女超爽视频在线观看| a级毛色黄片| 黑人高潮一二区| 亚洲久久久国产精品| 国产老妇伦熟女老妇高清| 久久久久精品久久久久真实原创| 另类亚洲欧美激情| 精品久久久久久久末码| 汤姆久久久久久久影院中文字幕| 少妇精品久久久久久久| 国精品久久久久久国模美| 22中文网久久字幕| 日日啪夜夜爽| 99九九线精品视频在线观看视频| 亚洲欧美一区二区三区黑人 | 国产伦理片在线播放av一区| 亚洲四区av| 99热国产这里只有精品6| 国产精品国产av在线观看| videossex国产| 亚洲精品亚洲一区二区| 一个人免费看片子| 久久99热这里只频精品6学生| 男的添女的下面高潮视频| 高清在线视频一区二区三区| 视频中文字幕在线观看| 亚洲av欧美aⅴ国产| 久久精品国产鲁丝片午夜精品| 久久综合国产亚洲精品| 国产成人精品久久久久久| 亚洲不卡免费看| 永久免费av网站大全| 日韩 亚洲 欧美在线| 中文欧美无线码| 熟妇人妻不卡中文字幕| 亚洲av男天堂| 国产成人一区二区在线| 国产成人免费无遮挡视频| 午夜福利在线在线| 国产成人a区在线观看| 久久国产亚洲av麻豆专区| 蜜臀久久99精品久久宅男| 欧美一级a爱片免费观看看| 久久 成人 亚洲| 欧美亚洲 丝袜 人妻 在线| 亚洲国产毛片av蜜桃av| 亚洲欧美日韩卡通动漫| 亚洲精品久久久久久婷婷小说| 免费少妇av软件| 嫩草影院入口| 亚洲欧美日韩无卡精品| 在线观看免费视频网站a站| 一区二区三区乱码不卡18| 黄片wwwwww| 久久亚洲国产成人精品v| av女优亚洲男人天堂|