• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于高斯混合模型的分布式強化學(xué)習(xí)算法魯棒性優(yōu)化

    2024-11-07 00:00:00畢霄昀魯廣東蔡霞
    軟件工程 2024年11期

    摘要:當(dāng)前,分布式強化學(xué)習(xí)假設(shè)所有智能體均能正常工作,但在實際情況中可能存在異常智能體。為此,提出了一種基于高斯混合模型的聚類方法,用于優(yōu)化分布式強化學(xué)習(xí)算法。首先,計算智能體上傳梯度對應(yīng)的高斯分布概率。其次,根據(jù)高斯分布更新聚類模型參數(shù),并重復(fù)執(zhí)行上述步驟直至收斂。最后,根據(jù)聚類模型篩選異常梯度。實驗結(jié)果表明,該方法能在存在異常智能體的場景下,有效維持分布式強化學(xué)習(xí)的訓(xùn)練效果,提高算法的魯棒性。

    關(guān)鍵詞:聚類算法;分布式強化學(xué)習(xí);魯棒性

    中圖分類號:TP391文獻(xiàn)標(biāo)志碼:A

    0引言(Introduction)

    近年來,深度強化學(xué)習(xí)[1]在游戲AI[2]、機器人控制[3]和無人駕駛汽車[4\|5]等多個領(lǐng)域取得了長足的進(jìn)步和成功的應(yīng)用。這些應(yīng)用通常依賴單一智能體進(jìn)行決策和控制。然而,這類單一智能體的應(yīng)用方式在實際場景中面臨數(shù)據(jù)收集速度較慢和訓(xùn)練過程不夠平穩(wěn)等典型問題。為有效地解決這些問題,分布式強化學(xué)習(xí)框架[6\|7]應(yīng)運而生并得到廣泛研究。分布式強化學(xué)習(xí)框架的基本思路是同時部署和協(xié)調(diào)多個智能體學(xué)習(xí),并將它們的經(jīng)驗匯總到中央服務(wù)器上,以便全局模型可以根據(jù)這些經(jīng)驗不斷更新和改進(jìn)。這種分布式學(xué)習(xí)框架顯著加速了訓(xùn)練過程,提高了決策系統(tǒng)的穩(wěn)定性。作為分布式強化學(xué)習(xí)的一個典型應(yīng)用場景,我們可以部署多輛自動駕駛汽車[8]進(jìn)行路測,這些車輛均配備了各種傳感器,可以實時交換信息。可以將每輛車看作一個智能體,這些智能體會將學(xué)習(xí)到的數(shù)據(jù)發(fā)送到云端的中央服務(wù)器。云服務(wù)器利用這些豐富的多源異構(gòu)數(shù)據(jù)不斷優(yōu)化和改進(jìn)自動駕駛算法。盡管分布式強化學(xué)習(xí)框架應(yīng)用前景巨大,但是目前相關(guān)算法研究仍局限于仿真實驗,并且大多基于所有智能體都正常工作的理想假設(shè)。然而,現(xiàn)實世界與仿真環(huán)境存在差異,部署的智能體可能因各種軟件、硬件故障導(dǎo)致異常工作狀態(tài)。此外,分布式強化學(xué)習(xí)算法本身存在一定的脆弱性,即使只有個別異常智能體,也可能嚴(yán)重影響全局模型的訓(xùn)練效果。

    因此,為了將分布式強化學(xué)習(xí)算法迅速部署到實際應(yīng)用場景并發(fā)揮其應(yīng)有的價值,必須對算法框架進(jìn)行改進(jìn),提升其整體魯棒性。本文提出的方法通過引入高斯混合模型技術(shù)[9]優(yōu)化了分布式強化學(xué)習(xí)算法的訓(xùn)練框架,并對智能體上傳至中央服務(wù)器的信息進(jìn)行了有效的聚類篩選,顯著提升了整個算法框架的魯棒性。

    1算法設(shè)計(Algorithmdesign)

    1.1智能體異常行為定義

    在現(xiàn)實場景中,每個智能體都有可能因為軟件或硬件故障而產(chǎn)生異常,特別是當(dāng)一個系統(tǒng)中包含多個智能體時,出現(xiàn)異常智能體的概率會大大增加。為方便后續(xù)討論,首先,對異常智能體進(jìn)行定義,即N=Nb∪Nm,其中N表示系統(tǒng)中的智能體總數(shù),Nb表示正常智能體的數(shù)量,Nm表示異常智能體的數(shù)量,并且Nb與Nm互斥。其次,將對異常行為進(jìn)行定義。在分布式強化學(xué)習(xí)框架中,智能體需要將本地信息上傳至中央服務(wù)器,此時考慮以下兩種常見的異常,并用函數(shù)F表示這些異常。

    (1)隨機噪聲異常:是指智能體上傳的信息中存在噪聲干擾,屬于常見的異常。本文用函數(shù)F表示這種異常,具體為

    其中:G表示智能體上傳服務(wù)器的信息,可以是原始軌跡或本地計算的梯度;rnd表示來自給定概率分布的隨機噪聲,如高斯分布等。

    (2)固定值異常:是指智能體上傳的信息為固定值,也是一種常見的異常,具體為

    其中,c表示一個常數(shù)。

    1.2高斯混合模型

    高斯混合模型是一種概率模型,它可用于對復(fù)雜的數(shù)據(jù)分布進(jìn)行建模和聚類。在聚類方面,通過對數(shù)據(jù)進(jìn)行聚類,將數(shù)據(jù)分為多個簇,其中的每個簇對應(yīng)一個高斯分布,這種方式能發(fā)現(xiàn)數(shù)據(jù)中隱藏的簇結(jié)構(gòu)。在數(shù)據(jù)建模方面,對數(shù)據(jù)分布進(jìn)行建模,可用于估計數(shù)據(jù)的概率密度函數(shù),對異常情況進(jìn)行檢測。高斯混合模型假設(shè)數(shù)據(jù)是由多個高斯分布混合而成,其中的每個高斯分布表示數(shù)據(jù)中的一個聚類或組分,它具有自己的均值和協(xié)方差矩陣。整個數(shù)據(jù)由這些高斯分布組合而成,每個高斯分布都有一個權(quán)重,表示其在總體數(shù)據(jù)中的貢獻(xiàn)度。高斯混合模型的參數(shù)主要包括每個高斯分布的均值、協(xié)方差矩陣和權(quán)重,這些參數(shù)可以通過期望最大化(EM)算法進(jìn)行估計。EM算法是一個迭代優(yōu)化的過程,包括E步和M步。E步計算每個數(shù)據(jù)點來自各個高斯分布的后驗概率,即數(shù)據(jù)點屬于每個聚類的“責(zé)任”。M步根據(jù)這些“責(zé)任”重新估計每個高斯分布的參數(shù)。通過多次迭代E步和M步,可以使模型參數(shù)收斂,從而對數(shù)據(jù)的分布進(jìn)行建模。在存在異常智能體的場景中,可以訓(xùn)練一個高斯混合模型,建模正常信息的分布,然后使用這個模型計算新上傳信息屬于正常模型的概率,若計算結(jié)果低于一個閾值,則判定為異常信息并過濾掉。

    EM算法具體步驟如下。

    (1)E步:計算每個數(shù)據(jù)點屬于每個高斯分布的后驗概率,即數(shù)據(jù)點屬于每個聚類的“責(zé)任”。

    (2)M步:根據(jù)E步計算得到的“責(zé)任”,重新估計每個高斯分布的參數(shù)。

    (3)通過多次迭代E步和M步,使模型參數(shù)收斂,從而對數(shù)據(jù)的分布進(jìn)行建模。

    (4)在存在異常智能體的場景中,訓(xùn)練一個高斯混合模型,建模正常信息的分布。

    (5)使用訓(xùn)練好的模型計算新上傳信息屬于正常模型的概率。

    (6)若概率低于一個閾值,則判定為異常信息并過濾掉。

    1.3分布式強化學(xué)習(xí)改進(jìn)框架

    強化學(xué)習(xí)旨在讓智能體通過與環(huán)境的交互,學(xué)習(xí)如何做出決策以最大化其長期累積獎勵,它涵蓋了智能體、環(huán)境、狀態(tài)、行動和獎勵等重要概念。如圖1展示的智能體與環(huán)境交互過程,智能體根據(jù)當(dāng)前狀態(tài)選擇行動,環(huán)境則根據(jù)智能體的行動和當(dāng)前狀態(tài)轉(zhuǎn)移到新的狀態(tài),并返回獎勵信號。智能體通過與環(huán)境的交互,利用價值函數(shù)或策略函數(shù)等方法,逐步學(xué)習(xí)并優(yōu)化其行為策略,從而實現(xiàn)長期累積獎勵的最大化。與傳統(tǒng)監(jiān)督學(xué)習(xí)不同,強化學(xué)習(xí)中的智能體在初始階段對何種行動是有利的并無先驗知識,而是通過嘗試不同的行動探索環(huán)境,并根據(jù)環(huán)境提供的獎勵或懲罰信號調(diào)整其行為。這種試錯過程使智能體能夠逐漸學(xué)習(xí)到如何在復(fù)雜的環(huán)境中做出理想的決策。

    分布式強化學(xué)習(xí)框架主要由多個智能體和一個中央服務(wù)器構(gòu)成。每個智能體都能夠獨立地與自己對應(yīng)的環(huán)境進(jìn)行交互,它們通過觀察環(huán)境給出的反饋獎勵和狀態(tài)觀測值,不斷積累這些與環(huán)境交互過程中產(chǎn)生的連續(xù)序列,進(jìn)而構(gòu)建成完整的經(jīng)驗軌跡。當(dāng)積累獲得了足夠數(shù)量的代表性經(jīng)驗軌跡后,每個智能體都會利用這些先驗經(jīng)驗以及當(dāng)前自己所維護(hù)的本地策略神經(jīng)網(wǎng)絡(luò)模型,計算出策略梯度更新的方向。這里的本地策略神經(jīng)網(wǎng)絡(luò)模型是指每個智能體當(dāng)前用于與環(huán)境進(jìn)行交互決策的策略函數(shù)。在求出策略梯度更新方向后,各個智能體會將對應(yīng)于自己本地策略網(wǎng)絡(luò)的這些梯度信息發(fā)送給中央服務(wù)器。中央服務(wù)器維護(hù)著一個全局共享的策略神經(jīng)網(wǎng)絡(luò)模型,它的主要作用是匯總整合來自多個智能體計算得到的策略梯度信息,然后用這些梯度統(tǒng)一更新全局策略網(wǎng)絡(luò)中的模型參數(shù)。在更新全局策略網(wǎng)絡(luò)的模型參數(shù)后,中央服務(wù)器會將最新的參數(shù)立刻傳播分發(fā)給每一個參與訓(xùn)練的智能體。于是,每個智能體都會使用這些同步后的最新參數(shù)更新與調(diào)整自己本地維護(hù)的策略網(wǎng)絡(luò)模型,以便準(zhǔn)備下一輪的訓(xùn)練過程。這樣,中央服務(wù)器和各個智能體之間形成循環(huán)信息傳遞和交互。通過不斷地進(jìn)行協(xié)同的聚合梯度、更新參數(shù)、廣播分發(fā)參數(shù)這一循環(huán)迭代過程,最終可以獲得一個訓(xùn)練好的全局策略模型。

    然而,由于存在異常故障的智能體可能會向中央服務(wù)器上傳錯誤的策略梯度信息,因此為了提高系統(tǒng)的魯棒性,研究人員在分布式強化學(xué)習(xí)算法框架的基礎(chǔ)上增加了一個過濾器模塊。這個模塊利用了高斯混合模型的聚類過濾功能,對輸入的策略梯度信息進(jìn)行處理,有效地過濾掉了異常梯度。通過這種方式,可以確保系統(tǒng)在面對異常情況時能夠保持穩(wěn)定,并且不會受到錯誤信息的影響。分布式強化學(xué)習(xí)改進(jìn)框架如圖2所示。

    分布式強化學(xué)習(xí)改進(jìn)框架算法流程如下。

    (1)每個智能體與本地環(huán)境交互。

    (2)通過累積的軌跡計算各自的梯度,并將梯度信息上傳。

    (3)所有智能體上傳的梯度信息將通過高斯混合模型過濾。

    (4)過濾器將篩選后的梯度上傳至服務(wù)器智能體處聚合并以此更新模型參數(shù)。

    (5)中央服務(wù)器將模型參數(shù)傳回給每一個智能體。

    (6)智能體根據(jù)模型參數(shù)更新本地模型。

    (7)智能體根據(jù)新的模型與環(huán)境開始下一輪的交互。

    2實驗結(jié)果與分析(Experimentalresultsandanalysis)

    2.1仿真環(huán)境介紹

    如圖3所示,CartPole環(huán)境是一個模擬典型倒立擺控制的系統(tǒng),它主要由一個移動的小車和一個連接在其上的擺桿兩個部分構(gòu)成。具體來說,系統(tǒng)中的小車能夠沿著一個水平方向的軌道進(jìn)行左右移動,而桿子是通過一個假設(shè)為無質(zhì)量的支點連接在小車上,這樣桿子就可以在這個支點周圍自由轉(zhuǎn)動。整個倒立擺系統(tǒng)的狀態(tài),可以用4個元素向量來表示,分別為小車的水平位移位置、小車的速度大小、桿子與豎直方向的傾角大小及桿子的角速度。在這個環(huán)境中,智能體可以通過兩個基本動作中的任意一個來影響系統(tǒng),即可以對小車施加向左或向右方向的推力。每次向小車施加一定的推力,都會改變小車本身以及連接其上的桿子的運動狀態(tài)。智能體需要通過適時地決策,選擇施加左右推力的時機和力度大小,使得連接在車上的桿子能夠不斷地保持近似豎直的倒立姿態(tài)。若在控制過程中,桿子的傾角偏離豎直方向的幅度大于環(huán)境預(yù)設(shè)的一個角度閾值,或者小車移動到了軌道的邊界范圍,則該回合的環(huán)境就會提前強制終止,同時給予智能體負(fù)的獎勵。智能體的目標(biāo)就是在這一約束條件下,最大化桿子倒立狀態(tài)的持續(xù)時間。

    2.2實驗設(shè)置

    本小節(jié)將更全面地介紹實驗的整體設(shè)置和配置。實驗所采用的分布式強化學(xué)習(xí)框架主要由10個相對獨立的智能體以及1個負(fù)責(zé)集中協(xié)調(diào)控制的中央服務(wù)器構(gòu)成。所有的智能體將在一個經(jīng)典且被廣泛使用的CartPole倒立擺控制環(huán)境中進(jìn)行交互操作,并在該交互過程中積累大量包含當(dāng)前環(huán)境狀態(tài)、執(zhí)行動作以及相應(yīng)獎勵的行為決策序列數(shù)據(jù)。在這10個參與實驗的智能體當(dāng)中,研究人員特意設(shè)置了3個會產(chǎn)生各種異常行為的故障智能體。這3個異常智能體的具體編號信息是在每一次完整的實驗運行之前根據(jù)算法隨機產(chǎn)生的,也就是說對于算法框架自身來說,異常智能體的確切信息是完全未知的。這幾個異常故障智能體還將在整個實驗過程中持續(xù)執(zhí)行某些預(yù)先定義的異常操作,以此主動干擾和破壞整個分布式學(xué)習(xí)系統(tǒng)。在這些不同類型的異常行為的主動干擾下,將比較分析本文提出的基于高斯混合模型的改進(jìn)算法框架與當(dāng)前常規(guī)的分布式強化學(xué)習(xí)框架在訓(xùn)練過程中的穩(wěn)定性,以及最終得到的集成控制策略的整體性能。最終,通過定量和定性的比較實驗分析,希望可以充分驗證本文提出的框架方法對于提高分布式強化學(xué)習(xí)面對異常情況時的整體魯棒性與綜合效果的顯著改進(jìn)作用。

    2.3結(jié)果分析

    在實驗1中,設(shè)置異常智能體執(zhí)行的異常行為類型是向中央服務(wù)器上傳含有不同程度的隨機噪聲的策略梯度信息。也就是說,這些指定的異常智能體計算出的策略梯度更新中會混入不同比例的隨機噪聲項。這種隨機噪聲的加入將會對中央服務(wù)器聚合后的策略梯度產(chǎn)生一定的干擾,從而對后續(xù)的全局策略網(wǎng)絡(luò)模型訓(xùn)練帶來一定的負(fù)面影響。為了更加直觀地比較本文算法框架與當(dāng)前常規(guī)框架在存在異常智能體情況下的具體訓(xùn)練效果,本研究采用圖表的形式展示了兩個框架在訓(xùn)練過程中獲得的平均獎勵值隨著迭代輪數(shù)變化的趨勢曲線(圖4)。圖4的標(biāo)簽“DRL”代表了當(dāng)前常規(guī)的分布式強化學(xué)習(xí)算法框架,而標(biāo)簽“改進(jìn)的DRL”則對應(yīng)代表了本文在原有分布式強化學(xué)習(xí)框架中嵌入高斯混合模型模塊后得到的改進(jìn)算法框架。

    從圖4可以非常明確地看出,在存在部分異常智能體向中央服務(wù)器上傳含有大量隨機噪聲的策略梯度情況下,常規(guī)分布式強化學(xué)習(xí)框架DRL所得到的訓(xùn)練效果受到了極大的負(fù)面干擾和影響,表現(xiàn)為訓(xùn)練獎勵曲線基本無提升,一直難以進(jìn)行正常的模型擬合和參數(shù)更新,最終模型的參數(shù)無法收斂到穩(wěn)定水平,并且終止時獲得的訓(xùn)練平均獎勵值低于10。這充分證明了這種規(guī)模的隨機噪聲異常對常規(guī)框架具有極大干擾作用,嚴(yán)重阻礙了正常的分布式協(xié)作學(xué)習(xí)過程,導(dǎo)致了模型訓(xùn)練的完全失敗。相比之下,本文提出的在分布式強化學(xué)習(xí)框架中嵌入高斯混合模型作為濾波器的改進(jìn)框架,則能夠有效地檢測和隔離這種異常策略梯度,抑制異常信息的負(fù)面干擾。因此,改進(jìn)框架下的訓(xùn)練過程明顯更為平穩(wěn),獎勵值可以持續(xù)穩(wěn)步上升,最終可以收斂穩(wěn)定到接近500的獎勵值。這說明框架成功地完成了模型的訓(xùn)練并獲得了良好的控制策略。

    在實驗2中設(shè)置的異常智能體產(chǎn)生的異常信息類型為持續(xù)上傳完全固定值的策略梯度。根據(jù)圖5展示的訓(xùn)練獎勵曲線比較結(jié)果,與實驗1類似,在存在部分上傳固定值異常信息的干擾情況下,常規(guī)分布式強化學(xué)習(xí)框架DRL同樣受到了非常大的負(fù)面影響,表現(xiàn)為訓(xùn)練獎勵值無法提升,模型訓(xùn)練失敗。相比之下,本文提出的在分布式框架中增加高斯混合模型模塊的改進(jìn)框架,其訓(xùn)練曲線仍能夠保持較好的平穩(wěn)性和收斂度,最終使得控制策略模型成功訓(xùn)練并收斂到一個較高的性能狀態(tài)。

    表1為兩組實驗條件下不同算法獲取獎勵值的對比。通過這兩組比較實驗可以非常明確地看出,本文提出的改進(jìn)框架在面對分布式訓(xùn)練系統(tǒng)中存在一定比例異常智能體的情況下,仍然能夠獲取較高的獎勵值,展現(xiàn)了比較好的魯棒性和抗干擾性能。這進(jìn)一步驗證了引入高斯混合模型對檢測隔離異常信息和提升分布式強化學(xué)習(xí)方法魯棒性的積極作用。

    為了進(jìn)一步探討本文提出的改進(jìn)框架對分布式強化學(xué)習(xí)訓(xùn)練收斂速度的影響,本研究特別設(shè)計了額外的比較實驗3,即收斂速度對比實驗。如圖6所示,虛線表示原始分布式強化學(xué)習(xí)框架DRL在沒有任何異常智能體存在時的訓(xùn)練獎勵曲線,從中可以明顯地看出在全體智能體正常的理想情況下,分布式框架可以非常快速地完成策略模型的訓(xùn)練并實現(xiàn)參數(shù)收斂。圖6中的實線則表示加入了高斯混合模型模塊的改進(jìn)分布式框架在面對3個持續(xù)產(chǎn)生異常信息的故障智能體環(huán)境下的訓(xùn)練曲線。通過對比這兩條訓(xùn)練曲線可以發(fā)現(xiàn),盡管存在一定規(guī)模的異常干擾,本文提出的改進(jìn)框架的訓(xùn)練收斂速度與所有智能體正常工作的理想狀況下非常接近。原始框架之所以收斂速度相對較快,其中的一個原因是參與訓(xùn)練的正常智能體數(shù)量更多。然而進(jìn)行這額外的收斂速度對比實驗證明,本文提出的帶有高斯混合模型的改進(jìn)分布式強化學(xué)習(xí)框架,不僅能夠顯著提升面對異常情況下的訓(xùn)練魯棒性,同時可以較好地保證整體訓(xùn)練過程的收斂速度。

    3結(jié)論(Conclusion)

    本文提出了一種基于高斯混合模型的分布式強化學(xué)習(xí)優(yōu)化方法。該方法在中央服務(wù)器中增加了帶有高斯混合模型的過濾器,在聚合智能體上傳的梯度之前,由過濾器對梯度進(jìn)行過濾和篩選。過濾器通過高斯混合模型計算新上傳信息屬于正常模型的概率,若這個概率低于一個閾值,則判定為異常信息并過濾掉。實驗結(jié)果顯示,該方法極大提升了分布式強化學(xué)習(xí)的魯棒性,即使系統(tǒng)中存在若干個異常的智能體,也能確保模型訓(xùn)練的收斂性。未來,將探索在更復(fù)雜的異常行為時和更多異常智能體場景中,提升分布式強化學(xué)習(xí)算法魯棒性的方法,以進(jìn)一步完善該方法的應(yīng)用。

    參考文獻(xiàn)(References)

    [1]劉建偉,高峰,羅雄麟.基于值函數(shù)和策略梯度的深度強化學(xué)習(xí)綜述[J].計算機學(xué)報,2019,42(6):1406\|1438.

    [2]田佩,臧兆祥,張震,等.RTS游戲中基于強化學(xué)習(xí)的行動參數(shù)配置優(yōu)化[J].計算機仿真,2023,40(8):355\|359.

    [3]鄧修朋,崔建明,李敏,等.深度強化學(xué)習(xí)在機器人路徑規(guī)劃中的應(yīng)用[J].電子測量技術(shù),2023,46(6):1\|8.

    [4][JP3]陳越,焦朋朋,白如玉,等.基于深度強化學(xué)習(xí)的自動駕駛車輛跟馳行為建模[J].交通信息與安全,2023,41(2):67\|75,102.

    [5]王曙燕,萬頃田.自動駕駛車輛在無信號交叉口右轉(zhuǎn)駕駛決策技術(shù)研究[J].計算機應(yīng)用研究,2023,40(5):1468\|1472.

    [6]VENTURINIF,MASONF,PASEF,etal.DistributedreinforcementlearningforflexibleandefficientUAVswarmcontrol[J].IEEEtransactionsoncognitivecommunicationsandnetworking,2021,7(3):955\|969.

    [7]MATHKARA,BORKARVS.Distributedreinforcementlearningviagossip[J].IEEEtransactionsonautomaticcontrol,2017,62(3):1465\|1470.

    [8]劉衛(wèi)國,項志宇,劉偉平,等.基于分布式強化學(xué)習(xí)的車輛控制算法研究[J].汽車工程,2023,45(9):1637\|1645.

    [9]方佳鍇.一種基于高斯混合模型的不均衡分類方法[J].電腦知識與技術(shù),2022,18(2):28\|30.

    欧美亚洲 丝袜 人妻 在线| 成人亚洲欧美一区二区av| 亚洲成色77777| 最近最新中文字幕大全免费视频 | 黑丝袜美女国产一区| 天堂中文最新版在线下载| 亚洲一码二码三码区别大吗| 国产免费福利视频在线观看| 男的添女的下面高潮视频| 久久精品亚洲av国产电影网| 欧美日韩福利视频一区二区| 一本—道久久a久久精品蜜桃钙片| 亚洲色图综合在线观看| 女人被躁到高潮嗷嗷叫费观| 欧美日本中文国产一区发布| 亚洲精品久久久久久婷婷小说| 午夜久久久在线观看| 99九九在线精品视频| 欧美 日韩 精品 国产| 1024香蕉在线观看| 一区二区三区精品91| 多毛熟女@视频| 男人爽女人下面视频在线观看| tube8黄色片| 久久国产精品大桥未久av| 久久精品久久久久久噜噜老黄| 午夜免费鲁丝| 欧美 日韩 精品 国产| 99国产精品免费福利视频| 亚洲精品,欧美精品| 黑人猛操日本美女一级片| 在线 av 中文字幕| 国产又爽黄色视频| 永久免费av网站大全| 国产精品人妻久久久影院| 亚洲国产最新在线播放| 亚洲成人免费av在线播放| 亚洲人成77777在线视频| 日本色播在线视频| e午夜精品久久久久久久| 69精品国产乱码久久久| 亚洲三区欧美一区| 久久久国产欧美日韩av| 欧美黄色片欧美黄色片| 国产一区二区激情短视频 | 在线观看免费午夜福利视频| 熟女av电影| 精品酒店卫生间| 国产成人精品久久二区二区91 | 精品国产乱码久久久久久小说| 精品免费久久久久久久清纯 | 久久久精品区二区三区| 九九爱精品视频在线观看| h视频一区二区三区| 看免费成人av毛片| 久久精品国产亚洲av高清一级| 777久久人妻少妇嫩草av网站| 下体分泌物呈黄色| 国产精品蜜桃在线观看| 男女无遮挡免费网站观看| avwww免费| 1024香蕉在线观看| 免费高清在线观看视频在线观看| 久久人人爽av亚洲精品天堂| 亚洲精品国产av蜜桃| 国产在线视频一区二区| 日本wwww免费看| av卡一久久| 纯流量卡能插随身wifi吗| 伦理电影大哥的女人| 一区二区av电影网| 午夜福利影视在线免费观看| 亚洲国产看品久久| av在线观看视频网站免费| 成人18禁高潮啪啪吃奶动态图| 久久久久国产精品人妻一区二区| 亚洲欧美成人精品一区二区| 免费观看a级毛片全部| 啦啦啦中文免费视频观看日本| 女人被躁到高潮嗷嗷叫费观| 欧美日韩综合久久久久久| 亚洲av男天堂| 下体分泌物呈黄色| 亚洲,欧美,日韩| 日本色播在线视频| av电影中文网址| 一级爰片在线观看| 国产福利在线免费观看视频| 精品一区在线观看国产| 丝袜在线中文字幕| 在线天堂最新版资源| 国产精品人妻久久久影院| 亚洲欧美中文字幕日韩二区| 国产精品二区激情视频| 亚洲欧美成人综合另类久久久| 国产免费一区二区三区四区乱码| 久久狼人影院| 亚洲av国产av综合av卡| 亚洲情色 制服丝袜| 妹子高潮喷水视频| av有码第一页| 各种免费的搞黄视频| www日本在线高清视频| 成年动漫av网址| 亚洲精品自拍成人| 成人影院久久| 在线亚洲精品国产二区图片欧美| av.在线天堂| 欧美日韩亚洲国产一区二区在线观看 | 精品一区二区免费观看| 亚洲精品久久午夜乱码| av线在线观看网站| 亚洲国产欧美一区二区综合| 校园人妻丝袜中文字幕| 十八禁高潮呻吟视频| 国产免费福利视频在线观看| 亚洲av电影在线观看一区二区三区| 国产日韩欧美视频二区| 捣出白浆h1v1| 亚洲精品乱久久久久久| 国产日韩欧美视频二区| 日韩熟女老妇一区二区性免费视频| 日韩伦理黄色片| 欧美乱码精品一区二区三区| 男人添女人高潮全过程视频| av网站免费在线观看视频| 久久午夜综合久久蜜桃| 久久精品国产a三级三级三级| 国产有黄有色有爽视频| 久久久久人妻精品一区果冻| 亚洲精品一区蜜桃| 日韩一本色道免费dvd| 国产精品女同一区二区软件| 亚洲精品一区蜜桃| 婷婷色麻豆天堂久久| 黄色怎么调成土黄色| 国产无遮挡羞羞视频在线观看| 老汉色av国产亚洲站长工具| 各种免费的搞黄视频| 日韩 亚洲 欧美在线| 亚洲,欧美,日韩| 日韩不卡一区二区三区视频在线| 亚洲综合精品二区| 尾随美女入室| 18禁裸乳无遮挡动漫免费视频| 亚洲一区中文字幕在线| 亚洲国产精品999| 国产欧美日韩综合在线一区二区| 国产片特级美女逼逼视频| av视频免费观看在线观看| av在线观看视频网站免费| 一区二区三区四区激情视频| 精品一品国产午夜福利视频| 国产一区二区三区av在线| 精品卡一卡二卡四卡免费| 巨乳人妻的诱惑在线观看| 1024视频免费在线观看| xxxhd国产人妻xxx| 亚洲国产毛片av蜜桃av| 黄片无遮挡物在线观看| 午夜福利视频精品| 久久国产精品男人的天堂亚洲| 久久久亚洲精品成人影院| 天美传媒精品一区二区| 国产精品久久久av美女十八| 丝袜人妻中文字幕| 99九九在线精品视频| 午夜免费观看性视频| 亚洲色图 男人天堂 中文字幕| 一区二区三区乱码不卡18| 日韩欧美一区视频在线观看| 日本wwww免费看| 曰老女人黄片| 国产在线视频一区二区| www.精华液| 国产精品久久久久久精品古装| 亚洲成色77777| av网站在线播放免费| 久久久久网色| 久久久久精品人妻al黑| 美女扒开内裤让男人捅视频| 熟妇人妻不卡中文字幕| 伊人亚洲综合成人网| 国产精品一区二区在线不卡| 波多野结衣av一区二区av| 日韩大码丰满熟妇| 夜夜骑夜夜射夜夜干| 久久久欧美国产精品| 又大又黄又爽视频免费| 一级黄片播放器| 久久久国产精品麻豆| 亚洲成国产人片在线观看| 亚洲欧美激情在线| 你懂的网址亚洲精品在线观看| 国产亚洲最大av| 如何舔出高潮| 日韩av不卡免费在线播放| 国产av国产精品国产| 国产一区有黄有色的免费视频| 91aial.com中文字幕在线观看| 伦理电影免费视频| 国产成人系列免费观看| 国产欧美日韩综合在线一区二区| 秋霞在线观看毛片| 国产成人精品在线电影| 青青草视频在线视频观看| 日本91视频免费播放| 久久性视频一级片| a 毛片基地| 国产在线免费精品| 多毛熟女@视频| 黑人巨大精品欧美一区二区蜜桃| 国产极品天堂在线| 亚洲自偷自拍图片 自拍| 人妻一区二区av| 一本—道久久a久久精品蜜桃钙片| 国产精品一二三区在线看| 美女脱内裤让男人舔精品视频| 国产人伦9x9x在线观看| 免费少妇av软件| 别揉我奶头~嗯~啊~动态视频 | 中文字幕高清在线视频| a级片在线免费高清观看视频| 国产麻豆69| 少妇 在线观看| 国产av精品麻豆| 久久热在线av| 亚洲国产毛片av蜜桃av| 一区在线观看完整版| av女优亚洲男人天堂| 国产欧美亚洲国产| 在线观看国产h片| 国产亚洲精品第一综合不卡| 两性夫妻黄色片| www日本在线高清视频| 欧美激情极品国产一区二区三区| 两个人看的免费小视频| 两个人免费观看高清视频| 日韩不卡一区二区三区视频在线| 亚洲精品国产区一区二| 永久免费av网站大全| 在线观看免费高清a一片| 成年动漫av网址| 国产一区二区在线观看av| 丰满饥渴人妻一区二区三| 久久人妻熟女aⅴ| 久久97久久精品| 一区二区日韩欧美中文字幕| 日韩一卡2卡3卡4卡2021年| 丰满饥渴人妻一区二区三| 在线看a的网站| 午夜福利视频精品| 欧美日本中文国产一区发布| 中国国产av一级| 免费少妇av软件| bbb黄色大片| 一级黄片播放器| 国产成人精品久久久久久| 久久97久久精品| 国产午夜精品一二区理论片| 国产亚洲欧美精品永久| 国产野战对白在线观看| 99香蕉大伊视频| 亚洲精品第二区| 中文字幕人妻丝袜制服| 精品国产国语对白av| 欧美黄色片欧美黄色片| 多毛熟女@视频| 精品亚洲成国产av| 中文字幕人妻熟女乱码| 老汉色∧v一级毛片| 亚洲激情五月婷婷啪啪| 97人妻天天添夜夜摸| 国产av码专区亚洲av| 午夜免费鲁丝| 人人妻人人爽人人添夜夜欢视频| 中国国产av一级| 男女无遮挡免费网站观看| 99久久精品国产亚洲精品| 精品国产超薄肉色丝袜足j| 在线看a的网站| 亚洲欧美一区二区三区久久| 欧美最新免费一区二区三区| 热re99久久国产66热| 亚洲,欧美精品.| 亚洲国产中文字幕在线视频| 日韩 欧美 亚洲 中文字幕| 免费不卡黄色视频| 免费黄网站久久成人精品| 黄片无遮挡物在线观看| 99热全是精品| 十八禁人妻一区二区| 下体分泌物呈黄色| 交换朋友夫妻互换小说| 国产老妇伦熟女老妇高清| 最近中文字幕2019免费版| 国产99久久九九免费精品| avwww免费| 少妇的丰满在线观看| 乱人伦中国视频| 成人黄色视频免费在线看| 国产在视频线精品| 黄片小视频在线播放| 国产精品人妻久久久影院| 老汉色∧v一级毛片| 夫妻性生交免费视频一级片| av在线播放精品| 黄片小视频在线播放| 国产精品 欧美亚洲| 丝袜喷水一区| 亚洲欧洲国产日韩| 999久久久国产精品视频| 国产一区二区三区av在线| 国产亚洲av高清不卡| 国产女主播在线喷水免费视频网站| 人妻人人澡人人爽人人| 欧美激情高清一区二区三区 | 天天躁夜夜躁狠狠久久av| 欧美人与性动交α欧美软件| 黄频高清免费视频| 夜夜骑夜夜射夜夜干| 久久国产精品大桥未久av| 高清不卡的av网站| 男女床上黄色一级片免费看| 色视频在线一区二区三区| 亚洲精品一二三| 丰满乱子伦码专区| 国产又色又爽无遮挡免| 国产精品免费大片| 精品人妻在线不人妻| 大码成人一级视频| 精品一区二区三卡| 午夜激情久久久久久久| 青春草视频在线免费观看| av又黄又爽大尺度在线免费看| 亚洲国产精品国产精品| 色吧在线观看| 久久久国产欧美日韩av| 久久久久国产一级毛片高清牌| 日日啪夜夜爽| 成人国产av品久久久| 欧美人与性动交α欧美精品济南到| 国产乱来视频区| 亚洲av国产av综合av卡| 黄网站色视频无遮挡免费观看| 亚洲av中文av极速乱| 一边摸一边抽搐一进一出视频| 制服丝袜香蕉在线| 下体分泌物呈黄色| 午夜日本视频在线| 秋霞在线观看毛片| 国产精品无大码| 另类精品久久| 一区在线观看完整版| 亚洲av综合色区一区| 欧美精品一区二区免费开放| 美女视频免费永久观看网站| 最黄视频免费看| 亚洲国产成人一精品久久久| 又大又黄又爽视频免费| 十八禁高潮呻吟视频| 亚洲伊人久久精品综合| 国产日韩欧美亚洲二区| 大码成人一级视频| 久热这里只有精品99| 免费久久久久久久精品成人欧美视频| 久久久精品免费免费高清| 免费av中文字幕在线| 午夜福利一区二区在线看| 免费av中文字幕在线| 少妇被粗大的猛进出69影院| 国产高清国产精品国产三级| 人人妻人人爽人人添夜夜欢视频| 啦啦啦中文免费视频观看日本| 不卡视频在线观看欧美| 在线观看免费高清a一片| 久久久国产精品麻豆| 大片免费播放器 马上看| 国产成人精品在线电影| 韩国高清视频一区二区三区| 波多野结衣一区麻豆| 18禁动态无遮挡网站| 69精品国产乱码久久久| 久久精品国产a三级三级三级| 精品久久久久久电影网| 欧美精品高潮呻吟av久久| 国产男人的电影天堂91| 国产精品久久久人人做人人爽| 欧美另类一区| 久久亚洲国产成人精品v| 亚洲精品国产一区二区精华液| 女人被躁到高潮嗷嗷叫费观| 肉色欧美久久久久久久蜜桃| 色精品久久人妻99蜜桃| 日本午夜av视频| 亚洲精品国产区一区二| 伊人亚洲综合成人网| av电影中文网址| 美女高潮到喷水免费观看| 欧美中文综合在线视频| 熟妇人妻不卡中文字幕| 丝袜人妻中文字幕| 欧美国产精品va在线观看不卡| 亚洲,欧美,日韩| 国产一区亚洲一区在线观看| 啦啦啦啦在线视频资源| 午夜福利在线免费观看网站| 国产高清国产精品国产三级| 午夜福利视频在线观看免费| 亚洲国产av新网站| 嫩草影视91久久| 婷婷色综合大香蕉| 久久精品亚洲熟妇少妇任你| 亚洲成色77777| 青青草视频在线视频观看| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲精品自拍成人| 国产在视频线精品| 女人久久www免费人成看片| 久久久久人妻精品一区果冻| 一级爰片在线观看| 久久久精品国产亚洲av高清涩受| 丰满饥渴人妻一区二区三| 欧美在线一区亚洲| 欧美乱码精品一区二区三区| 十八禁网站网址无遮挡| 多毛熟女@视频| 亚洲欧美色中文字幕在线| 久久久精品国产亚洲av高清涩受| 热re99久久精品国产66热6| 欧美精品一区二区大全| 99九九在线精品视频| 91精品三级在线观看| av天堂久久9| 精品一品国产午夜福利视频| 国产精品亚洲av一区麻豆 | 中文天堂在线官网| 麻豆精品久久久久久蜜桃| 婷婷色综合大香蕉| 无遮挡黄片免费观看| 欧美中文综合在线视频| 精品少妇黑人巨大在线播放| 精品卡一卡二卡四卡免费| 国产成人精品久久久久久| 一级a爱视频在线免费观看| 亚洲美女黄色视频免费看| 18禁观看日本| 色吧在线观看| 午夜福利一区二区在线看| 天堂8中文在线网| 伦理电影大哥的女人| 一本大道久久a久久精品| 电影成人av| 亚洲av综合色区一区| 日本wwww免费看| 国产免费又黄又爽又色| 黑人欧美特级aaaaaa片| 亚洲av日韩精品久久久久久密 | 99久国产av精品国产电影| 日韩av在线免费看完整版不卡| 免费看av在线观看网站| 国产一区二区在线观看av| 青春草视频在线免费观看| 人成视频在线观看免费观看| 另类精品久久| 国产一区二区在线观看av| 日韩视频在线欧美| 久久影院123| www.av在线官网国产| 又黄又粗又硬又大视频| 亚洲精品日韩在线中文字幕| 成年av动漫网址| 日韩中文字幕视频在线看片| 久久久欧美国产精品| 日日爽夜夜爽网站| 男女免费视频国产| 激情视频va一区二区三区| 免费在线观看黄色视频的| 欧美av亚洲av综合av国产av | 大香蕉久久网| 成年人午夜在线观看视频| 国产精品成人在线| 国产在线一区二区三区精| 大片电影免费在线观看免费| 精品少妇黑人巨大在线播放| 亚洲自偷自拍图片 自拍| 亚洲精品久久久久久婷婷小说| 亚洲专区中文字幕在线 | 国产精品二区激情视频| 亚洲综合精品二区| 免费高清在线观看视频在线观看| av线在线观看网站| svipshipincom国产片| 欧美日本中文国产一区发布| 热99国产精品久久久久久7| 只有这里有精品99| 精品亚洲乱码少妇综合久久| 男女国产视频网站| 亚洲成色77777| 国产 精品1| 观看av在线不卡| 搡老岳熟女国产| 亚洲成国产人片在线观看| 国产又爽黄色视频| 大片电影免费在线观看免费| 色婷婷久久久亚洲欧美| 考比视频在线观看| 亚洲欧洲日产国产| 一本一本久久a久久精品综合妖精| 欧美中文综合在线视频| 日韩电影二区| 国产精品欧美亚洲77777| 日韩电影二区| 国产精品三级大全| av视频免费观看在线观看| 日本wwww免费看| 天天躁狠狠躁夜夜躁狠狠躁| 哪个播放器可以免费观看大片| 亚洲欧美一区二区三区国产| 90打野战视频偷拍视频| 校园人妻丝袜中文字幕| 在线观看免费视频网站a站| 极品人妻少妇av视频| 国产亚洲av片在线观看秒播厂| 久久久精品国产亚洲av高清涩受| 免费黄频网站在线观看国产| 日韩中文字幕视频在线看片| 搡老岳熟女国产| 亚洲av福利一区| 国产色婷婷99| 国产精品免费大片| 国产成人系列免费观看| 可以免费在线观看a视频的电影网站 | 亚洲欧美色中文字幕在线| 亚洲国产欧美在线一区| 男女无遮挡免费网站观看| 激情五月婷婷亚洲| 高清视频免费观看一区二区| 亚洲,一卡二卡三卡| 久久女婷五月综合色啪小说| 国产免费一区二区三区四区乱码| 丝袜美腿诱惑在线| 久久精品亚洲熟妇少妇任你| 中文天堂在线官网| 亚洲欧美日韩另类电影网站| 欧美日韩成人在线一区二区| 婷婷色av中文字幕| 国产极品粉嫩免费观看在线| 亚洲av在线观看美女高潮| 亚洲一级一片aⅴ在线观看| 日韩视频在线欧美| 一级毛片电影观看| 亚洲久久久国产精品| 少妇猛男粗大的猛烈进出视频| 国产高清不卡午夜福利| 热99国产精品久久久久久7| 日韩人妻精品一区2区三区| 麻豆乱淫一区二区| 亚洲色图 男人天堂 中文字幕| 亚洲专区中文字幕在线 | 别揉我奶头~嗯~啊~动态视频 | 日日啪夜夜爽| 黑人猛操日本美女一级片| 久久久国产精品麻豆| 国产 精品1| 精品一区二区免费观看| 国产毛片在线视频| 高清欧美精品videossex| 波多野结衣一区麻豆| 国产成人系列免费观看| 高清不卡的av网站| 亚洲av国产av综合av卡| 丝袜喷水一区| av在线播放精品| 日韩一本色道免费dvd| 黑人巨大精品欧美一区二区蜜桃| 亚洲av电影在线观看一区二区三区| 肉色欧美久久久久久久蜜桃| 久久久久久免费高清国产稀缺| 一级片'在线观看视频| 色94色欧美一区二区| 青春草国产在线视频| 日韩中文字幕视频在线看片| 五月开心婷婷网| 国产精品国产三级国产专区5o| 国产成人欧美在线观看 | 精品一区二区免费观看| 国产毛片在线视频| 国产精品久久久久久精品电影小说| 久久这里只有精品19| 国产毛片在线视频| 一边摸一边抽搐一进一出视频| 亚洲国产av新网站| 欧美人与善性xxx| 97人妻天天添夜夜摸| 国产成人免费观看mmmm| 成年人免费黄色播放视频| 侵犯人妻中文字幕一二三四区| 各种免费的搞黄视频| 国产成人精品福利久久| 99热全是精品| 啦啦啦在线观看免费高清www| av有码第一页| 韩国高清视频一区二区三区| 高清av免费在线| 亚洲av电影在线进入| 蜜桃国产av成人99| 免费av中文字幕在线| 免费观看av网站的网址| 欧美成人精品欧美一级黄| 男女高潮啪啪啪动态图| 中文字幕人妻丝袜制服| 久久久久久人妻| 两个人看的免费小视频| 亚洲av欧美aⅴ国产|