• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于強(qiáng)化學(xué)習(xí)的煤矸石分揀機(jī)械臂智能控制算法研究

    2021-01-26 03:39:48張永超于智偉丁麗林
    工礦自動化 2021年1期
    關(guān)鍵詞:煤矸石執(zhí)行器控制算法

    張永超, 于智偉, 丁麗林

    (山東科技大學(xué) 機(jī)械電子工程學(xué)院,山東 青島 266590)

    0 引言

    煤矸石分揀是煤炭粗選的首要環(huán)節(jié),也是提高煤炭質(zhì)量以及礦井效益的重要方法[1]。傳統(tǒng)煤矸石分揀如人工分揀、濕選和干選等分揀方式正面臨工傷風(fēng)險(xiǎn)率高、環(huán)境污染嚴(yán)重及智能化程度低的困境[2-3]。而機(jī)械臂分揀不僅能有效降低工傷風(fēng)險(xiǎn)率,同時(shí)還具有效率高、綠色分揀的優(yōu)勢。《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》也明確提出對具備條件的煤礦要加快智能化改造,推進(jìn)危險(xiǎn)崗位的機(jī)器人作業(yè),到2035年各類煤礦基本實(shí)現(xiàn)智能化,建成智能感知、智能決策、自動執(zhí)行的煤礦智能化體系。煤矸石分揀朝著智能機(jī)器人化方向發(fā)展符合現(xiàn)代工業(yè)發(fā)展趨勢。

    目前,用于機(jī)器人分揀機(jī)械臂的控制算法主要有抓取函數(shù)法[4]、基于費(fèi)拉里法的動態(tài)目標(biāo)抓取算法[5]、金字塔形尋優(yōu)算法[6]、比例導(dǎo)引法[7]等。這些控制算法中除抓取函數(shù)法僅適用靜態(tài)目標(biāo)外,其他控制算法均可在已獲取目標(biāo)位置的前提下,實(shí)現(xiàn)快速接近目標(biāo)的目的。然而將以上控制算法應(yīng)用于煤矸石分揀機(jī)械臂時(shí)發(fā)現(xiàn),煤矸石分揀機(jī)械臂的工作效率嚴(yán)重受限于控制算法中機(jī)械臂運(yùn)動學(xué)或動力學(xué)等環(huán)境模型的設(shè)計(jì)精度,若精度低則會使煤矸石分揀機(jī)械臂末端執(zhí)行器不能良好接近目標(biāo),造成較高的漏選率[8]。王鵬等[9]設(shè)計(jì)了一種基于機(jī)器視覺技術(shù)的多機(jī)械臂煤矸石分揀機(jī)器人系統(tǒng),該系統(tǒng)可高效分揀50~260 mm粒度的煤矸石,并且能良好適應(yīng)不同帶速,但其機(jī)械臂控制算法仍依賴模型的精確性。因此,研究一種可使煤矸石分選機(jī)械臂穩(wěn)定高效運(yùn)行的無模型智能控制算法對實(shí)現(xiàn)煤矸石分選作業(yè)無人化、智能化具有重要意義。

    強(qiáng)化學(xué)習(xí)作為一種重要的機(jī)器學(xué)習(xí)方法,因其控制過程不依賴于精確環(huán)境模型的特點(diǎn),在機(jī)器人智能控制領(lǐng)域具有重要地位。它強(qiáng)調(diào)在與環(huán)境的交互中獲取反映真實(shí)目標(biāo)達(dá)成度的反饋信號,強(qiáng)調(diào)模型的試錯學(xué)習(xí)和序列決策行為的動態(tài)和長期效應(yīng)。深度確定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法是強(qiáng)化學(xué)習(xí)中常用來處理具有連續(xù)性動作空間任務(wù)的一種優(yōu)秀控制算法[10],但傳統(tǒng)DDPG算法的獎勵函數(shù)僅是基于歐幾里得距離設(shè)計(jì)的,缺乏動作懲罰項(xiàng)等約束項(xiàng),訓(xùn)練過程中容易使機(jī)械臂學(xué)習(xí)到輸出較大關(guān)節(jié)角控制量的策略。若獎勵函數(shù)設(shè)計(jì)不合理,還會出現(xiàn)稀疏獎勵問題,使機(jī)械臂學(xué)不到期望的策略[11]。

    針對以上問題,本文提出了一種基于強(qiáng)化學(xué)習(xí)的改進(jìn)DDPG算法,并用于煤矸石分揀機(jī)械臂的控制。通過設(shè)計(jì)獎勵函數(shù)使機(jī)械臂能更快學(xué)習(xí)到平穩(wěn)接近目標(biāo)的策略。通過改進(jìn)Actor和Critic神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及使用批標(biāo)準(zhǔn)化和Dropout優(yōu)化方法,使算法具有更穩(wěn)健處理機(jī)械臂關(guān)節(jié)角等低維輸入觀測值的能力[12]。仿真實(shí)驗(yàn)結(jié)果表明,改進(jìn)的DDPG算法與傳統(tǒng)控制算法相比具有無模型通用性強(qiáng)及在與環(huán)境交互中可自適應(yīng)學(xué)習(xí)抓取姿態(tài)的優(yōu)勢,并且學(xué)習(xí)能力優(yōu)于傳統(tǒng)DDPG算法,其在大型連續(xù)動作空間具有巨大的潛在應(yīng)用價(jià)值。

    1 DDPG算法

    DDPG算法屬于Actor-Critic算法,它在確定性策略梯度(Deterministic Policy Gradient,DPG)算法[13]的基礎(chǔ)上融入了深度神經(jīng)網(wǎng)絡(luò)[14]。DDPG算法的參數(shù)更新思想借鑒了深度Q網(wǎng)絡(luò)(Deep Q Network,DQN)算法中的雙網(wǎng)絡(luò)延時(shí)更新和經(jīng)驗(yàn)回放機(jī)制來切斷數(shù)據(jù)相關(guān)性,訓(xùn)練過程中使用批量標(biāo)準(zhǔn)化[15]來提高學(xué)習(xí)效率。

    DDPG算法中的Actor策略網(wǎng)絡(luò)可在連續(xù)動作空間進(jìn)行探索以及做出動作決策,Critic價(jià)值網(wǎng)絡(luò)則負(fù)責(zé)評判決策優(yōu)劣,以此指引Actor策略網(wǎng)絡(luò)參數(shù)更新。兩者均包含2個具有相同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),即目標(biāo)網(wǎng)絡(luò)和估計(jì)網(wǎng)絡(luò)。Actor的估計(jì)網(wǎng)絡(luò)是根據(jù)Critic的估計(jì)網(wǎng)絡(luò)的指引實(shí)時(shí)更新,Critic的估計(jì)網(wǎng)絡(luò)是根據(jù)自身目標(biāo)網(wǎng)絡(luò)的指引實(shí)時(shí)更新,因此,估計(jì)網(wǎng)絡(luò)的參數(shù)是最新參數(shù),而目標(biāo)網(wǎng)絡(luò)參數(shù)則是根據(jù)估計(jì)網(wǎng)絡(luò)參數(shù)使用滑動平均方式來延遲更新的,Critic的估計(jì)網(wǎng)絡(luò)參數(shù)的更新方式為最小化均方誤差L:

    (1)

    式中:N為從經(jīng)驗(yàn)池中取出的數(shù)據(jù)總個數(shù);yi為i時(shí)刻目標(biāo)Q值的更好估計(jì);Q(si,ai|θQ)為估計(jì)Q值;si為i時(shí)刻的環(huán)境狀態(tài);ai為i時(shí)刻的輸入動作;θQ為Critic網(wǎng)絡(luò)中估計(jì)網(wǎng)絡(luò)的參數(shù),Q代表Critic網(wǎng)絡(luò)中的估計(jì)網(wǎng)絡(luò);ri為i時(shí)刻的即時(shí)獎勵;γ為折扣率;Q′(si+1,μ′(si+1|θμ′)|θQ′)為目標(biāo)Q值;μ′(si+1|θμ′)為確定性策略,μ′為Actor網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò),θμ′為Actor網(wǎng)絡(luò)中目標(biāo)網(wǎng)絡(luò)的參數(shù);θQ′為Critic網(wǎng)絡(luò)中目標(biāo)網(wǎng)絡(luò)的參數(shù),Q′為Critic網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò)。

    這種利用估計(jì)網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)進(jìn)行參數(shù)更新的雙網(wǎng)絡(luò)機(jī)制切斷了數(shù)據(jù)相關(guān)性,有效提高了算法收斂性。類似于監(jiān)督學(xué)習(xí)標(biāo)簽的yi為Critic估計(jì)網(wǎng)絡(luò)參數(shù)的更新指明了方向,使參數(shù)更新更穩(wěn)定。

    Actor策略網(wǎng)絡(luò)基于策略梯度更新網(wǎng)絡(luò)參數(shù):

    θμJ(θμ)≈

    (2)

    圖1 DDPG算法結(jié)構(gòu)

    2 改進(jìn)DDPG算法

    2.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    改進(jìn)DDPG算法應(yīng)用對象為六自由度煤矸石分揀機(jī)械臂,其動作空間龐大且應(yīng)用環(huán)境復(fù)雜,為使神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)其輸入特征數(shù)據(jù)的分布,同時(shí)也為緩解訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)的過擬合問題,Actor網(wǎng)絡(luò)使用4層計(jì)算層并引入批量標(biāo)準(zhǔn)化方法和Dropout方法,以使模型訓(xùn)練更穩(wěn)健,Actor網(wǎng)絡(luò)的雙網(wǎng)絡(luò)均采用圖2所示的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

    圖2 Actor神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    Actor框架中的估計(jì)網(wǎng)絡(luò)輸入層接收環(huán)境實(shí)時(shí)狀態(tài)si,目標(biāo)網(wǎng)絡(luò)輸入層接收智能體與環(huán)境交互后的下一狀態(tài)si+1。批量標(biāo)準(zhǔn)化(Batch Normalization,BN)層通過減小數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)層傳遞過程中數(shù)據(jù)分布的改變,使神經(jīng)網(wǎng)絡(luò)參數(shù)更新更快且更易學(xué)習(xí)到知識,又因其是在小批量樣本上計(jì)算均值和方差,難免引入小噪聲,這也同時(shí)提高了神經(jīng)網(wǎng)絡(luò)的泛化能力。隱藏層中層1和層2中的黃色神經(jīng)元表示該層使用了Dropout方法,Dropout方法通過使部分神經(jīng)元隨機(jī)失活以減小神經(jīng)元之間的依賴性,促使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更穩(wěn)健的特征,提高了網(wǎng)絡(luò)的魯棒性。

    Critic網(wǎng)絡(luò)的估計(jì)網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)采用如圖3所示的3層全連接神經(jīng)網(wǎng)絡(luò)來擬合Q(si,ai|θQ)和Q′(si+1,μ′(si+1|θμ′)|θQ′),并使用BN層和Dropout方法緩解神經(jīng)網(wǎng)絡(luò)過擬合,從而使Critic網(wǎng)絡(luò)可更好評判Actor網(wǎng)絡(luò)輸出動作的優(yōu)劣。

    圖3 Critic神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    2.2 獎勵函數(shù)設(shè)計(jì)

    為使煤矸石分揀機(jī)械臂可自適應(yīng)學(xué)習(xí)到接近目標(biāo)的方法,同時(shí)解決傳統(tǒng)機(jī)械臂強(qiáng)化學(xué)習(xí)控制方法輸出動作過大以及稀疏獎勵容易被淹沒的問題,本文在傳統(tǒng)DDPG算法的基礎(chǔ)上設(shè)計(jì)了可持續(xù)輸出收益的獎勵函數(shù):

    (3)

    終止?fàn)顟B(tài)判定項(xiàng)通過給可輸出連續(xù)跟蹤目標(biāo)動作的智能體一個較大的獎勵值來誘導(dǎo)機(jī)械臂學(xué)習(xí)到跟蹤目標(biāo)的能力,減小目標(biāo)與機(jī)械臂末端執(zhí)行器的沖擊。

    3 煤矸石分揀機(jī)械臂智能控制原理

    改進(jìn)DDPG算法依據(jù)馬爾科夫決策過程[16]控制機(jī)械臂在與環(huán)境交互中學(xué)習(xí)知識,任務(wù)是找到能最大化智能體期望回報(bào)的最優(yōu)策略[17],即最大化估計(jì)Q值。在煤矸石分揀機(jī)械臂控制任務(wù)中,強(qiáng)化學(xué)習(xí)中的智能體為具有決策能力的煤矸石分揀機(jī)械臂。估計(jì)Q值的更新依據(jù)自身梯度以及其與目標(biāo)Q值q的均方誤差來指引,其中q為

    q=ri+γQ′(si+1,μ′(si+1|θμ′)|θQ′)

    (4)

    機(jī)械臂根據(jù)相應(yīng)傳感器返回的煤矸石位置以及機(jī)械臂狀態(tài)進(jìn)行決策,輸出機(jī)械臂預(yù)測控制量,并根據(jù)機(jī)械臂執(zhí)行動作之后的環(huán)境狀態(tài)如末端執(zhí)行器與煤矸石的距離、機(jī)械臂的位置、煤矸石的位置等進(jìn)行下一步?jīng)Q策。通過不斷試錯學(xué)習(xí),使網(wǎng)絡(luò)參數(shù)向可輸出機(jī)械臂探索過程中所遇最大q值方向更新,直到機(jī)械臂可以根據(jù)環(huán)境狀態(tài)準(zhǔn)確輸出接近煤矸石的策略或幕獎勵波動趨于穩(wěn)定時(shí)即可提前終止訓(xùn)練。煤矸石分揀機(jī)械臂控制流程如圖4所示。首先初始化改進(jìn)DDPG算法權(quán)重,然后加載訓(xùn)練權(quán)重,最后根據(jù)煤矸石位置及關(guān)節(jié)角狀態(tài)輸出相應(yīng)的關(guān)節(jié)角來控制機(jī)械臂運(yùn)動,以使末端執(zhí)行器接近煤矸石。煤矸石位置以及機(jī)械臂關(guān)節(jié)角狀態(tài)由相應(yīng)檢測模塊和傳感器測得。

    圖4 機(jī)械臂控制流程

    4 實(shí)驗(yàn)及結(jié)果分析

    4.1 環(huán)境配置

    本文采用CoppeliaSim搭建虛擬環(huán)境模型,并在環(huán)境模型中創(chuàng)建UR5機(jī)械臂、RG2執(zhí)行器、輸送帶、煤和煤矸石,以此模擬實(shí)際煤矸石分揀環(huán)境,仿真平臺如圖5所示。

    圖5 仿真平臺

    使用Python在tensorflow2.2.0上編寫改進(jìn)DDPG算法框架,并調(diào)用CoppeliaSim創(chuàng)建的虛擬環(huán)境來訓(xùn)練算法。算法中Actor的雙網(wǎng)絡(luò)和Critic的雙網(wǎng)絡(luò)神經(jīng)元配置見表1,其神經(jīng)網(wǎng)絡(luò)輸入狀態(tài)si為6個關(guān)節(jié)角度、執(zhí)行器指定點(diǎn)的絕對坐標(biāo)、第5個關(guān)節(jié)的絕對坐標(biāo)、末端執(zhí)行器指定點(diǎn)與煤矸石中心的距離。獎勵函數(shù)參數(shù)c1和c2經(jīng)測試設(shè)定為0.1和0.2,使用30倍的高斯分布噪聲,設(shè)定算法循環(huán)幕數(shù)為5 000,每幕迭代步數(shù)為300,若末端執(zhí)行器中設(shè)定的特定點(diǎn)與煤矸石中心距離為0時(shí),超參數(shù)b被賦值為10,若下一步距離仍為0,則b繼續(xù)累加10,當(dāng)其累加了20步時(shí),即跟蹤了20步,則提前結(jié)束當(dāng)前幕。

    表1 Actor和Critic神經(jīng)網(wǎng)絡(luò)中各層神經(jīng)元數(shù)量

    4.2 性能對比測試

    為測試改進(jìn)DDPG算法的性能,將其與僅使用歐幾里得距離作為獎勵函數(shù)的傳統(tǒng)DDPG算法在相同環(huán)境下進(jìn)行訓(xùn)練對比,經(jīng)5 000幕迭代后,改進(jìn)DDPG算法每幕獎勵結(jié)果如圖6所示,傳統(tǒng)DDPG算法每幕獎勵結(jié)果如圖7所示。

    圖6 改進(jìn)DDPG算法每幕獎勵

    強(qiáng)化學(xué)習(xí)不同于傳統(tǒng)監(jiān)督學(xué)習(xí),其訓(xùn)練樣本沒有確定標(biāo)簽,也就沒有真正意義上的損失函數(shù),因此,當(dāng)幕獎勵趨于穩(wěn)定時(shí),即可認(rèn)為機(jī)械臂在當(dāng)前環(huán)境中學(xué)習(xí)到了基于所用算法的最優(yōu)策略。由圖6和圖7可看出,改進(jìn)DDPG算法和傳統(tǒng)DDPG算法指引下的機(jī)械臂在環(huán)境中經(jīng)過隨機(jī)探索后都學(xué)習(xí)到了一種策略,改進(jìn)DDPG算法訓(xùn)練穩(wěn)定后的每幕獎勵接近機(jī)械臂探索過程中的最大值,而傳統(tǒng)DDPG算法訓(xùn)練穩(wěn)定后的每幕獎勵與機(jī)械臂探索過程中遇到的最大獎勵相差較大,這表示所設(shè)計(jì)的獎勵函數(shù)比傳統(tǒng)獎勵函數(shù)更具有誘導(dǎo)機(jī)械臂學(xué)習(xí)到最優(yōu)策略的能力。

    圖7 傳統(tǒng)DDPG算法每幕獎勵

    為了進(jìn)一步測試2種算法訓(xùn)練后的性能,將訓(xùn)練后的改進(jìn)DDPG算法和傳統(tǒng)DDPG算法進(jìn)行泛化能力對比驗(yàn)證,測試過程為在虛擬環(huán)境中繼續(xù)添加紅色、黃色、綠色物塊,如圖8所示,圖中灰色物塊為2種算法在學(xué)習(xí)過程中所用的訓(xùn)練目標(biāo),使用這4種顏色的物塊代替實(shí)際分揀環(huán)境中的煤矸石,將這4種煤矸石分別設(shè)定為測試目標(biāo),并使用2種算法分別對其進(jìn)行10次接近測試,結(jié)果見表2。

    圖8 CoppeliaSim虛擬環(huán)境

    表2 測試結(jié)果

    由表2可看出,改進(jìn)DDPG算法具有良好的泛化能力,即接近訓(xùn)練過程中未曾出現(xiàn)過目標(biāo)的能力,而傳統(tǒng)DDPG算法泛化能力較差,這也進(jìn)一步驗(yàn)證了改進(jìn)DDPG算法控制下的機(jī)械臂所學(xué)策略質(zhì)量較高。在接近測試過程中,傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂的末端執(zhí)行器多數(shù)以一種垂直于虛擬環(huán)境中地面的非常規(guī)姿態(tài)位于物塊之上,這也證明了傳統(tǒng)DDPG算法控制下的機(jī)械臂并未學(xué)習(xí)到良好的策略。在黃色物塊接近測試中,傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂末端執(zhí)行器特定位置的運(yùn)動軌跡如圖9所示,改進(jìn)DDPG算法控制下的末端執(zhí)行器特定位置運(yùn)動軌跡如圖10所示。從圖9和圖10可看出,改進(jìn)DDPG算法與傳統(tǒng)DDPG算法相比,其控制策略可以更好地使末端執(zhí)行器接近目標(biāo)。

    圖9 傳統(tǒng)DDPG算法控制結(jié)果

    圖10 改進(jìn)DDPG算法控制結(jié)果

    黃色物塊接近測試中,2種算法輸出的一次關(guān)節(jié)角控制量對比如圖11所示。從圖11可看出,改進(jìn)DDPG算法因受獎勵函數(shù)輸出動作懲罰項(xiàng)的影響,其關(guān)節(jié)角輸出控制量小于傳統(tǒng)DDPG算法的輸出,降低了因大幅度更新關(guān)節(jié)角對機(jī)械臂性能造成的影響。

    圖11 2種算法輸出的一次關(guān)節(jié)角控制量對比

    綜上可知,改進(jìn)DDPG算法和傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂通過與環(huán)境交互均可使機(jī)械臂學(xué)習(xí)到一種控制策略,但測試結(jié)果表明,傳統(tǒng)DDPG算法所學(xué)策略性能較差,不能良好接近目標(biāo),改進(jìn)DDPG算法所學(xué)策略更接近最優(yōu)。

    5 結(jié)論

    (1)對傳統(tǒng)DDPG算法中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和獎勵函數(shù)進(jìn)行了改進(jìn),提出了適合處理六自由度煤矸石分揀機(jī)械臂的改進(jìn)DDPG算法。改進(jìn)DDPG算法經(jīng)過訓(xùn)練后,Actor網(wǎng)絡(luò)即可根據(jù)環(huán)境狀態(tài)映射成具有最大估計(jì)Q值的關(guān)節(jié)狀態(tài)控制量,最終經(jīng)相應(yīng)運(yùn)動控制器控制煤矸石分揀機(jī)械臂接近煤矸石,實(shí)現(xiàn)煤矸石分揀。

    (2)實(shí)驗(yàn)結(jié)果表明,改進(jìn)DDPG算法相較于傳統(tǒng)DDPG算法可更快收斂于探索過程中所遇最大獎勵值。改進(jìn)DDPG算法可控制機(jī)械臂小幅度接近煤矸石,具有較強(qiáng)的泛化能力,為解決實(shí)際煤矸石機(jī)械臂智能分揀問題提供了一種新方法,同時(shí)也為后期與基于深度學(xué)習(xí)的視覺檢測聯(lián)合使用提供了理論保障。

    猜你喜歡
    煤矸石執(zhí)行器控制算法
    淺談煤矸石在固廢混凝土中的應(yīng)用
    雙級執(zhí)行器系統(tǒng)的離散滑??刂?/a>
    煤矸石的綜合利用
    上海建材(2018年2期)2018-06-26 08:50:56
    基于ARM+FPGA的模塊化同步控制算法研究
    飛機(jī)裝配預(yù)連接緊固件自動化安裝末端執(zhí)行器設(shè)計(jì)
    考慮執(zhí)行器飽和的改進(jìn)無模型自適應(yīng)控制
    一類具有執(zhí)行器飽和的非線性系統(tǒng)抗飽和方法研究
    一種優(yōu)化的基于ARM Cortex-M3電池組均衡控制算法應(yīng)用
    改性煤矸石對污水中油的吸附作用
    一種非圓旋轉(zhuǎn)工件支撐裝置控制算法
    国产伦理片在线播放av一区| 国产在视频线精品| 精品人妻偷拍中文字幕| 久久久午夜欧美精品| 亚洲怡红院男人天堂| 91aial.com中文字幕在线观看| 亚洲欧美精品专区久久| 搡女人真爽免费视频火全软件| 26uuu在线亚洲综合色| 2022亚洲国产成人精品| 亚洲熟女精品中文字幕| 国产成人精品婷婷| 2018国产大陆天天弄谢| av国产精品久久久久影院| 好男人视频免费观看在线| 国产片特级美女逼逼视频| 乱系列少妇在线播放| 性色av一级| 美女视频免费永久观看网站| 韩国av在线不卡| 亚洲精品456在线播放app| 亚洲av不卡在线观看| 精品99又大又爽又粗少妇毛片| 日本91视频免费播放| 免费人成在线观看视频色| 久久婷婷青草| 午夜福利网站1000一区二区三区| av免费在线看不卡| av国产久精品久网站免费入址| 色视频www国产| 高清毛片免费看| 久久久久国产精品人妻一区二区| 国产精品偷伦视频观看了| 十分钟在线观看高清视频www | 综合色丁香网| 国语对白做爰xxxⅹ性视频网站| 国精品久久久久久国模美| 亚洲高清免费不卡视频| 国产中年淑女户外野战色| 麻豆精品久久久久久蜜桃| 好男人视频免费观看在线| 卡戴珊不雅视频在线播放| 成人特级av手机在线观看| 成人漫画全彩无遮挡| 一级二级三级毛片免费看| 亚洲av电影在线观看一区二区三区| 久久人人爽av亚洲精品天堂| 国产成人免费无遮挡视频| 高清欧美精品videossex| 简卡轻食公司| 三级国产精品片| 亚洲图色成人| 男女无遮挡免费网站观看| 伦精品一区二区三区| .国产精品久久| 在线观看av片永久免费下载| 国产欧美日韩综合在线一区二区 | 搡老乐熟女国产| 久久影院123| 欧美日韩国产mv在线观看视频| 久久99热6这里只有精品| 国产免费又黄又爽又色| 亚洲经典国产精华液单| 深夜a级毛片| 青春草亚洲视频在线观看| 国产片特级美女逼逼视频| 蜜桃久久精品国产亚洲av| 亚洲,欧美,日韩| 亚洲欧美一区二区三区黑人 | 91久久精品国产一区二区成人| 亚洲欧美清纯卡通| 妹子高潮喷水视频| 乱人伦中国视频| 在线观看免费视频网站a站| 免费大片黄手机在线观看| 亚洲第一区二区三区不卡| 男女啪啪激烈高潮av片| 欧美bdsm另类| 少妇的逼好多水| 国产高清有码在线观看视频| 美女cb高潮喷水在线观看| 免费在线观看成人毛片| 精品亚洲乱码少妇综合久久| 一级毛片aaaaaa免费看小| 99国产精品免费福利视频| 高清午夜精品一区二区三区| 只有这里有精品99| 亚州av有码| 在线观看www视频免费| 九九爱精品视频在线观看| 久久婷婷青草| 国产极品天堂在线| 嫩草影院入口| 亚洲丝袜综合中文字幕| 2022亚洲国产成人精品| 精品少妇内射三级| 久久久久久久亚洲中文字幕| 国产极品天堂在线| 美女内射精品一级片tv| 久久国产精品男人的天堂亚洲 | 国产黄片美女视频| 成人国产av品久久久| 如何舔出高潮| 成人亚洲欧美一区二区av| av免费在线看不卡| 老司机影院成人| 国产在线男女| 又大又黄又爽视频免费| 老司机亚洲免费影院| 久久精品熟女亚洲av麻豆精品| 在线观看av片永久免费下载| 在线观看美女被高潮喷水网站| 特大巨黑吊av在线直播| 成人亚洲欧美一区二区av| 最黄视频免费看| 亚洲美女视频黄频| 三级经典国产精品| 人妻制服诱惑在线中文字幕| 亚洲国产精品一区二区三区在线| 如日韩欧美国产精品一区二区三区 | 亚洲国产精品成人久久小说| 熟妇人妻不卡中文字幕| 在线播放无遮挡| av.在线天堂| 欧美精品人与动牲交sv欧美| 国产极品天堂在线| 亚洲天堂av无毛| 日本午夜av视频| 搡女人真爽免费视频火全软件| 女人精品久久久久毛片| 亚洲,一卡二卡三卡| 少妇 在线观看| av在线老鸭窝| 性高湖久久久久久久久免费观看| 这个男人来自地球电影免费观看 | 男的添女的下面高潮视频| 亚洲精品,欧美精品| 男女边吃奶边做爰视频| 欧美成人精品欧美一级黄| 99精国产麻豆久久婷婷| 成人18禁高潮啪啪吃奶动态图 | 夜夜爽夜夜爽视频| 五月伊人婷婷丁香| 欧美日韩av久久| 中国美白少妇内射xxxbb| av福利片在线| 男人和女人高潮做爰伦理| 少妇的逼水好多| 日本av免费视频播放| 精品少妇内射三级| 国产成人精品一,二区| 亚洲精品视频女| 久久99热这里只频精品6学生| 久久久久久人妻| 午夜福利在线观看免费完整高清在| 免费av中文字幕在线| 成人二区视频| 插逼视频在线观看| 一级毛片久久久久久久久女| 亚洲第一av免费看| 美女主播在线视频| 国产成人aa在线观看| 久久精品国产亚洲av涩爱| 日本wwww免费看| av不卡在线播放| 国产又色又爽无遮挡免| 亚洲欧洲国产日韩| 国产老妇伦熟女老妇高清| 日韩一区二区视频免费看| 哪个播放器可以免费观看大片| 午夜福利影视在线免费观看| 亚洲精华国产精华液的使用体验| 日韩大片免费观看网站| 亚洲av综合色区一区| 久久国产精品大桥未久av | 久久久久国产网址| 一级毛片电影观看| av在线老鸭窝| 又大又黄又爽视频免费| 欧美日韩av久久| 人妻制服诱惑在线中文字幕| 男女国产视频网站| 又爽又黄a免费视频| 亚洲av欧美aⅴ国产| 天美传媒精品一区二区| 午夜免费观看性视频| 亚洲精品日韩av片在线观看| 在现免费观看毛片| 人人妻人人澡人人爽人人夜夜| 欧美精品国产亚洲| 中文字幕亚洲精品专区| 国产黄色免费在线视频| 春色校园在线视频观看| 在线播放无遮挡| www.色视频.com| 精品人妻熟女av久视频| 成人亚洲精品一区在线观看| av一本久久久久| 国产毛片在线视频| 大片电影免费在线观看免费| 乱人伦中国视频| 一级,二级,三级黄色视频| 毛片一级片免费看久久久久| 蜜桃在线观看..| 精品久久久久久电影网| 丝袜在线中文字幕| 美女大奶头黄色视频| 日日爽夜夜爽网站| 久久久欧美国产精品| 国产伦精品一区二区三区视频9| 麻豆成人午夜福利视频| av福利片在线观看| 国产视频首页在线观看| 午夜影院在线不卡| 欧美日韩在线观看h| 亚洲av免费高清在线观看| 人人妻人人爽人人添夜夜欢视频 | 久久久久久人妻| 欧美xxxx性猛交bbbb| 不卡视频在线观看欧美| 国产亚洲最大av| 涩涩av久久男人的天堂| 欧美精品一区二区免费开放| 国产 精品1| 久久久久久久久久久免费av| 欧美性感艳星| 成人美女网站在线观看视频| 精品国产一区二区久久| 在线观看www视频免费| 肉色欧美久久久久久久蜜桃| 国精品久久久久久国模美| h视频一区二区三区| 久久精品久久久久久噜噜老黄| 丝袜脚勾引网站| 人人妻人人澡人人爽人人夜夜| 亚洲精品国产成人久久av| 新久久久久国产一级毛片| 免费人妻精品一区二区三区视频| 国产精品嫩草影院av在线观看| 亚洲在久久综合| 欧美性感艳星| 91成人精品电影| av播播在线观看一区| 春色校园在线视频观看| 三级经典国产精品| 久久精品久久精品一区二区三区| 尾随美女入室| 97超视频在线观看视频| 精品99又大又爽又粗少妇毛片| 22中文网久久字幕| 久久国内精品自在自线图片| h日本视频在线播放| 丰满乱子伦码专区| 国产淫语在线视频| 久久久久视频综合| 97在线人人人人妻| 成人国产麻豆网| 国产精品国产三级国产专区5o| 国产有黄有色有爽视频| 国产成人a∨麻豆精品| 亚洲精华国产精华液的使用体验| 午夜久久久在线观看| 亚洲精品一区蜜桃| 久久精品国产自在天天线| 欧美xxxx性猛交bbbb| 欧美日韩一区二区视频在线观看视频在线| 美女内射精品一级片tv| 五月开心婷婷网| 在线观看三级黄色| 少妇猛男粗大的猛烈进出视频| 欧美成人精品欧美一级黄| 黑丝袜美女国产一区| 欧美国产精品一级二级三级 | xxx大片免费视频| 自线自在国产av| 在线观看免费日韩欧美大片 | 久久精品国产鲁丝片午夜精品| 国产午夜精品久久久久久一区二区三区| 亚洲四区av| .国产精品久久| 精品少妇久久久久久888优播| av视频免费观看在线观看| 免费不卡的大黄色大毛片视频在线观看| 特大巨黑吊av在线直播| 日本色播在线视频| 丰满饥渴人妻一区二区三| 国产免费一级a男人的天堂| 美女福利国产在线| 99国产精品免费福利视频| 国产成人精品婷婷| 国产91av在线免费观看| 中文欧美无线码| 性色avwww在线观看| 熟女av电影| 大片电影免费在线观看免费| 亚洲精品国产av蜜桃| 免费高清在线观看视频在线观看| 在线 av 中文字幕| 国产精品一区二区在线观看99| 午夜激情久久久久久久| 久久精品国产鲁丝片午夜精品| 天天躁夜夜躁狠狠久久av| 国模一区二区三区四区视频| h日本视频在线播放| 国产综合精华液| 精品一品国产午夜福利视频| 中文精品一卡2卡3卡4更新| 老熟女久久久| 成人黄色视频免费在线看| 亚洲精品第二区| 永久网站在线| 国语对白做爰xxxⅹ性视频网站| 99re6热这里在线精品视频| 精品一区在线观看国产| 国产午夜精品一二区理论片| 国国产精品蜜臀av免费| 国产伦精品一区二区三区四那| 黑人高潮一二区| 国产乱人偷精品视频| 成人黄色视频免费在线看| 人妻系列 视频| 欧美精品人与动牲交sv欧美| 欧美精品亚洲一区二区| 亚洲激情五月婷婷啪啪| 在线免费观看不下载黄p国产| 午夜福利网站1000一区二区三区| av女优亚洲男人天堂| 夜夜看夜夜爽夜夜摸| av国产久精品久网站免费入址| 女性生殖器流出的白浆| av卡一久久| 日本黄色日本黄色录像| 亚洲色图综合在线观看| 黄色一级大片看看| 毛片一级片免费看久久久久| 老司机影院毛片| 高清不卡的av网站| 大香蕉久久网| 热re99久久国产66热| 日韩,欧美,国产一区二区三区| 国产综合精华液| 亚洲国产精品999| a级毛片免费高清观看在线播放| 国产色爽女视频免费观看| 欧美日韩视频精品一区| 亚洲va在线va天堂va国产| 国产成人freesex在线| 久久久久人妻精品一区果冻| 亚洲欧美成人精品一区二区| 久久综合国产亚洲精品| 国产精品99久久久久久久久| 天堂8中文在线网| 欧美老熟妇乱子伦牲交| 国产综合精华液| 国产伦在线观看视频一区| 9色porny在线观看| 国产一区二区三区综合在线观看 | 伦理电影免费视频| 日韩精品免费视频一区二区三区 | 亚洲精品视频女| 狂野欧美激情性bbbbbb| 亚洲av中文av极速乱| 狂野欧美激情性bbbbbb| 免费人妻精品一区二区三区视频| 亚洲成人一二三区av| 国产精品成人在线| 欧美成人精品欧美一级黄| 日本午夜av视频| 晚上一个人看的免费电影| 欧美日韩在线观看h| 男人狂女人下面高潮的视频| 国产欧美日韩综合在线一区二区 | 欧美精品一区二区免费开放| 欧美丝袜亚洲另类| av免费观看日本| 亚洲国产成人一精品久久久| 菩萨蛮人人尽说江南好唐韦庄| 亚洲av在线观看美女高潮| 日韩制服骚丝袜av| av黄色大香蕉| 日韩中文字幕视频在线看片| 精品一品国产午夜福利视频| 久久久久人妻精品一区果冻| 国产探花极品一区二区| 久久6这里有精品| 亚洲中文av在线| 在线观看免费高清a一片| 成人亚洲精品一区在线观看| 婷婷色综合www| 亚洲欧美精品自产自拍| 国产精品一区www在线观看| 大香蕉久久网| 成人无遮挡网站| 九九在线视频观看精品| 日本欧美国产在线视频| 成人毛片a级毛片在线播放| 熟女人妻精品中文字幕| 亚洲精品,欧美精品| 一级av片app| 婷婷色综合大香蕉| 日日啪夜夜爽| 大片电影免费在线观看免费| kizo精华| av国产精品久久久久影院| 国产成人一区二区在线| 中文字幕av电影在线播放| 国产精品一区二区三区四区免费观看| 国产av国产精品国产| h日本视频在线播放| 能在线免费看毛片的网站| 99视频精品全部免费 在线| 啦啦啦视频在线资源免费观看| 免费大片黄手机在线观看| 亚洲成人手机| 欧美三级亚洲精品| 欧美精品亚洲一区二区| 亚洲美女黄色视频免费看| 极品教师在线视频| 久久久久久久久大av| 国产一区有黄有色的免费视频| 国产亚洲欧美精品永久| 久久亚洲国产成人精品v| 嫩草影院新地址| 黄色配什么色好看| 日韩免费高清中文字幕av| 制服丝袜香蕉在线| 国产成人aa在线观看| 久久99精品国语久久久| 亚洲av不卡在线观看| 亚洲伊人久久精品综合| 青春草视频在线免费观看| 亚洲精品国产色婷婷电影| 99国产精品免费福利视频| 在线观看免费高清a一片| 熟女电影av网| 狂野欧美白嫩少妇大欣赏| 久久久午夜欧美精品| 91精品国产九色| 极品人妻少妇av视频| 免费少妇av软件| av一本久久久久| 一个人看视频在线观看www免费| 91精品伊人久久大香线蕉| 欧美日韩一区二区视频在线观看视频在线| 国产成人aa在线观看| 亚洲欧美精品专区久久| 亚洲国产精品国产精品| 大片电影免费在线观看免费| 国产成人一区二区在线| av国产久精品久网站免费入址| 男女免费视频国产| 久久久久网色| 欧美区成人在线视频| 精品少妇内射三级| 亚洲三级黄色毛片| 成人综合一区亚洲| 日韩制服骚丝袜av| 中文字幕亚洲精品专区| 亚洲熟女精品中文字幕| 麻豆精品久久久久久蜜桃| 国产成人精品无人区| 亚洲婷婷狠狠爱综合网| 精品久久久久久久久亚洲| 成人国产麻豆网| 国产爽快片一区二区三区| 国产极品粉嫩免费观看在线 | 免费av中文字幕在线| 精品一品国产午夜福利视频| 一级片'在线观看视频| 黄色欧美视频在线观看| 久久久久久久久大av| 久久久久久久久久久丰满| 午夜日本视频在线| 亚洲欧美一区二区三区国产| 天天躁夜夜躁狠狠久久av| 国产 精品1| 两个人的视频大全免费| 一本久久精品| 寂寞人妻少妇视频99o| 一本一本综合久久| 亚洲欧美一区二区三区黑人 | 欧美97在线视频| xxx大片免费视频| 久久久久久久亚洲中文字幕| 亚洲国产欧美在线一区| 中文在线观看免费www的网站| 亚洲欧美成人综合另类久久久| 亚洲av在线观看美女高潮| 日本vs欧美在线观看视频 | 精品久久久久久电影网| 熟妇人妻不卡中文字幕| 日本与韩国留学比较| 啦啦啦啦在线视频资源| 亚洲av国产av综合av卡| 一级黄片播放器| 男女啪啪激烈高潮av片| 黄色视频在线播放观看不卡| 久久热精品热| 99热6这里只有精品| 亚洲av中文av极速乱| 啦啦啦啦在线视频资源| 久久久午夜欧美精品| 51国产日韩欧美| 日韩欧美 国产精品| 麻豆成人午夜福利视频| 高清黄色对白视频在线免费看 | 尾随美女入室| 日本猛色少妇xxxxx猛交久久| 久久国产精品男人的天堂亚洲 | 观看免费一级毛片| 久久久久久久久大av| 精品亚洲乱码少妇综合久久| 少妇人妻 视频| 欧美 日韩 精品 国产| 国产真实伦视频高清在线观看| 欧美3d第一页| 五月伊人婷婷丁香| 自线自在国产av| www.色视频.com| 又黄又爽又刺激的免费视频.| 成人国产av品久久久| 国产精品无大码| 久久99热6这里只有精品| 国产精品福利在线免费观看| 99热6这里只有精品| av在线观看视频网站免费| 少妇人妻精品综合一区二区| 亚洲精品日韩在线中文字幕| 久久人人爽人人片av| 欧美精品一区二区免费开放| 青春草国产在线视频| 亚洲熟女精品中文字幕| 久久久久久久国产电影| 国内揄拍国产精品人妻在线| 老熟女久久久| 18禁裸乳无遮挡动漫免费视频| 国产色婷婷99| 色哟哟·www| 国产精品人妻久久久久久| 成人漫画全彩无遮挡| 国产成人freesex在线| 国产免费视频播放在线视频| 国产精品一区二区三区四区免费观看| 久久 成人 亚洲| av天堂中文字幕网| 亚洲va在线va天堂va国产| 国产女主播在线喷水免费视频网站| 久久久久国产精品人妻一区二区| 国产极品天堂在线| 美女视频免费永久观看网站| 久久精品久久久久久噜噜老黄| 老熟女久久久| 丰满人妻一区二区三区视频av| 99热这里只有精品一区| 精品一区二区免费观看| 精品亚洲成a人片在线观看| 极品人妻少妇av视频| 自线自在国产av| 日韩精品有码人妻一区| 黑人巨大精品欧美一区二区蜜桃 | 日韩av不卡免费在线播放| av女优亚洲男人天堂| 男人舔奶头视频| 妹子高潮喷水视频| 精品国产乱码久久久久久小说| 狠狠精品人妻久久久久久综合| 草草在线视频免费看| 91成人精品电影| 国产成人精品婷婷| 日韩电影二区| 亚洲欧洲精品一区二区精品久久久 | 国产亚洲5aaaaa淫片| 嘟嘟电影网在线观看| 少妇被粗大猛烈的视频| 久久久久久久久久久丰满| 国产一区亚洲一区在线观看| 免费人成在线观看视频色| 欧美少妇被猛烈插入视频| 久久久精品免费免费高清| 久久人人爽av亚洲精品天堂| 人妻制服诱惑在线中文字幕| 久久久久久久精品精品| 亚洲成人av在线免费| 国产淫片久久久久久久久| 亚洲真实伦在线观看| 嘟嘟电影网在线观看| 国产成人91sexporn| 在线观看一区二区三区激情| 亚洲欧洲日产国产| 亚洲无线观看免费| 精品少妇内射三级| 国产成人精品久久久久久| 最近2019中文字幕mv第一页| 美女主播在线视频| 丝袜喷水一区| 欧美性感艳星| 黄色日韩在线| 色婷婷久久久亚洲欧美| 亚洲激情五月婷婷啪啪| 亚洲av不卡在线观看| 亚州av有码| 蜜桃在线观看..| 91在线精品国自产拍蜜月| 久久久久国产网址| 日韩欧美精品免费久久| 天天操日日干夜夜撸| 欧美 亚洲 国产 日韩一| 日韩熟女老妇一区二区性免费视频| 亚洲色图综合在线观看| av.在线天堂| 午夜老司机福利剧场| 女人久久www免费人成看片| 久久6这里有精品| 国产高清不卡午夜福利| 男人和女人高潮做爰伦理|