• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進(jìn)強(qiáng)化學(xué)習(xí)的PID參數(shù)整定原理及應(yīng)用

    2014-03-05 08:23:27高瑞娟吳梅
    現(xiàn)代電子技術(shù) 2014年4期
    關(guān)鍵詞:哈爾濱工程大學(xué)飛艇桌面

    高瑞娟+吳梅

    摘 要: 控制系統(tǒng)的響應(yīng)特性取決于控制律參數(shù),經(jīng)典的 PID 方法難以實(shí)現(xiàn)參數(shù)的自整定。強(qiáng)化學(xué)習(xí)能夠通過系統(tǒng)自身和環(huán)境的交互實(shí)現(xiàn)參數(shù)的自動(dòng)調(diào)整,但是在控制律參數(shù)需要頻繁調(diào)整的應(yīng)用場合,常規(guī)的強(qiáng)化學(xué)習(xí)方法無法滿足實(shí)時(shí)性要求,而且容易陷入局部收斂。對傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法加以改進(jìn)后,加快了在線學(xué)習(xí)速度,提高了強(qiáng)化學(xué)習(xí)算法的尋優(yōu)能力。仿真結(jié)果表明,該方法可以在一定范圍內(nèi)快速求得全局最優(yōu)解,提高控制系統(tǒng)的自適應(yīng)性,為控制系統(tǒng)參數(shù)的自整定提供了依據(jù)。

    關(guān)鍵字: PID; 參數(shù)整定; 強(qiáng)化學(xué)習(xí); 控制系統(tǒng)

    中圖分類號(hào): TN911?34 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2014)04?0001?04

    Principle and application of PID parameter tuning based on improved reinforcement learning

    GAO Rui?juan, WU Mei

    (College of Automation, Northwestern Polytechnical University, Xian 710129, China)

    Abstract: The response characteristics of control system depend on the control law parameter.The classic PID method is difficult to achieve the parameter self?tuning.Through the interaction of system itself and the environment, parameters can be adjusted automatically by reinforcement learning.However, in the application occasions where the control law parameters requires to be adjusted frequently, the conventional reinforcement learning methods cannot meet the real?time requirements, and is easy to fall into local convergence.Based on the traditional reinforcement learning methods, an improvement method which can accelerate the learning speed and improve the optimizing ability of reinforcement learning algorithm is proposed.The simulation results show that this method can get global optimal solution quickly and improve the adaptivity of the control system in a certain range.It provided a basis for the improvement of control systems parameter self?tuning.

    Keywords: PID; parameter tuning; reinforcement learning; control system

    0 引 言

    在現(xiàn)代技術(shù)高速發(fā)展的今天,反饋的概念已被廣泛應(yīng)用于自動(dòng)控制理論中。測量,比較,執(zhí)行為反饋概念的三個(gè)基本要素。通常來說, 輸入量先與測量量做比較,得到了系統(tǒng)誤差后,相應(yīng)的指標(biāo)將通過這個(gè)誤差來加以糾正和控制 。在過去的幾十年里,反饋技術(shù)被廣泛運(yùn)用于實(shí)踐中,其中,使用比例積分微分控制技術(shù)的發(fā)展是最為突出的。如今,在許多高級(jí)控制領(lǐng)域里,到處活躍著 PID控制的身影[1]。

    一般的控制理論存在諸多問題(如理論難以實(shí)現(xiàn),或被控對象參數(shù)不容易得到,或得不到精確數(shù)學(xué)模型),PID作為工業(yè)控制的主要技術(shù),它可以一一解決,這與其優(yōu)良的性能是分不開的。它的結(jié)構(gòu)簡單,魯棒性好和工作可靠性高且調(diào)整方便。因此,如何高效地調(diào)整和優(yōu)化PID的控制參數(shù)成了人們競相研究的問題。目前,常用的PID控制算法有理論計(jì)算和工程整定兩類,其中,工程整定主要有:臨界比例法,反應(yīng)曲線法和衰減法等。然而,在復(fù)雜控制系統(tǒng)設(shè)計(jì)中,由于參數(shù)優(yōu)化困難,PID的效果卻有待提高。因此,越來越多的人把目光轉(zhuǎn)向了自適應(yīng)控制。如神經(jīng)網(wǎng)絡(luò),模糊,進(jìn)化等[1?2]。

    本文在分析了各個(gè)研究成果的基礎(chǔ)上,針對基于強(qiáng)化學(xué)習(xí)的PID控制算法的收斂速度快,實(shí)時(shí)性好等優(yōu)點(diǎn),提出了一種改進(jìn)的強(qiáng)化算法的 PID 參數(shù)整定算法。通過改進(jìn)強(qiáng)化學(xué)習(xí)算法對 PID 參數(shù)進(jìn)行整定與尋優(yōu),基于控制系統(tǒng)的性能具體要求,對各項(xiàng)動(dòng)態(tài)指標(biāo)進(jìn)行了適當(dāng)?shù)募訖?quán),采用改進(jìn)強(qiáng)化學(xué)習(xí)算法對PID的參數(shù)進(jìn)行了全局多目標(biāo)尋優(yōu)。其與傳統(tǒng)控制算法相比,在尋優(yōu)時(shí)間和參數(shù)調(diào)整上都有了很大的提高。

    1 PID控制器

    典型PID控制器原理圖如圖1所示[2?3]。

    圖1 PID控制系統(tǒng)原理圖

    圖中控制系統(tǒng)由控制器和被控對象及反饋回路組成。

    PID控制器根據(jù)給定輸入值r(t)和實(shí)際輸出值y(t)之間的偏差[e(t)=r(t)-y(t)],將其按照比例,積分,微分的形式,通過線性組合的方法構(gòu)成控制量,然后對被控對象進(jìn)行控制,控制規(guī)律為[3]:

    [u(t)=KPe(t)+1KI0Ietdt+KDde(t)dt] (1)

    式中:[KP]是比例系數(shù);[KI]是積分時(shí)間常數(shù);[KD]是微分時(shí)間常數(shù)[2]。

    在本文中,首先,串聯(lián)PID 控制器和被控對象將系統(tǒng)的型別提高了。其次,由于附帶兩個(gè)負(fù)實(shí)部的零點(diǎn),使得系統(tǒng)的穩(wěn)定性和優(yōu)越性有了很大的提高。詳細(xì)原理為:積分的存在,導(dǎo)致 PID 控制系統(tǒng)消除誤差;微分存在,使得 PID 控制系統(tǒng)的動(dòng)態(tài)性能指標(biāo)超調(diào)量縮小了;從頻域的角度分析問題,由于低頻段和高頻段分別有積分和微分的作用亦滿足如上表述的內(nèi)容。

    2 強(qiáng)化學(xué)習(xí)

    強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)是從統(tǒng)計(jì)學(xué)、心理學(xué)等相關(guān)學(xué)科發(fā)展而來的[4],為人工智能領(lǐng)域一個(gè)古老又嶄新的課題。最早可以追溯到巴普洛夫的條件反射試驗(yàn)。早在1911年,Tomdlike就提出了效果律,大體原理為:哪種行為會(huì)被動(dòng)物“記住”,會(huì)與刺激建立聯(lián)系,取決于動(dòng)物行為產(chǎn)生的效果,包括搜索和記憶兩層含義。1954年,Minsky將該知識(shí)運(yùn)用于試錯(cuò)學(xué)習(xí)。同年,Clark和Farley亦在此方向上展開過研究,他們建立了隨機(jī)學(xué)習(xí)模型。1957年,Bellman提出了動(dòng)態(tài)規(guī)劃理論及著名的馬爾科夫決策過程。 直到20世紀(jì)八九十年代,該技術(shù)才分別在人工智能和自動(dòng)控制等領(lǐng)域中得到廣泛應(yīng)用[5?6]。

    在強(qiáng)化學(xué)習(xí)是一個(gè)不斷地“試探”?“評價(jià)”過程[2]。系統(tǒng)中,根據(jù)教師信號(hào)所提供的訓(xùn)練信息,學(xué)習(xí)方法有如下三種分類:監(jiān)督學(xué)習(xí)(Supervised Learning、無監(jiān)督學(xué)習(xí)(Unsupervised Learning)和強(qiáng)化學(xué)習(xí)(Reinforcement Learning)[2,7]。

    強(qiáng)化學(xué)習(xí)的基本框架如圖2所示[2,8]。

    圖2 強(qiáng)化學(xué)習(xí)原理圖

    強(qiáng)化學(xué)習(xí)與前兩種算法不同,環(huán)境產(chǎn)生的信號(hào)作為學(xué)習(xí)系統(tǒng)動(dòng)作的評價(jià)指標(biāo),但是該信號(hào)不能立即反饋給系統(tǒng)如何才能產(chǎn)生正確動(dòng)作。強(qiáng)化學(xué)習(xí)主要由RL兩部分組成:World(工作環(huán)境)和Agent(智能體)。智能體Agent又可以分成三個(gè)部分: P(策略單元)、I(輸入單元)和R(強(qiáng)化單元)。首先,輸入單元感知環(huán)境狀態(tài)后,采取一個(gè)動(dòng)作作用于環(huán)境,環(huán)境給出一個(gè)強(qiáng)化信號(hào),然后將它轉(zhuǎn)化為智能體的輸入;接著,強(qiáng)化單元將評價(jià)智能體所采取的動(dòng)作[a(t)],并將其反饋給強(qiáng)化學(xué)習(xí)系統(tǒng),策略單元更新Agent當(dāng)前已存儲(chǔ)的知識(shí)的,系統(tǒng)選擇下一個(gè)動(dòng)作,其選擇原則是獎(jiǎng)勵(lì)值最大 [2,6]。

    智能體Agent與環(huán)境W的交互時(shí),在每個(gè)時(shí)刻t會(huì)發(fā)生如下事件:

    (1) 智能體Agent感知時(shí)刻t的環(huán)境的狀態(tài)[s(t)];

    (2) 根據(jù)當(dāng)前的狀態(tài)[s(t)]和強(qiáng)化信息P,系統(tǒng)選擇然后執(zhí)行某一個(gè)動(dòng)作[a(t)],該動(dòng)作[a(t)]作用于當(dāng)前的環(huán)境,環(huán)境發(fā)生相應(yīng)的變化;

    (3)當(dāng)前環(huán)境狀態(tài)變換為新的狀態(tài),即[s(t)→s(t+1)],系統(tǒng)反饋及時(shí)的獎(jiǎng)賞或懲罰回報(bào)函數(shù)[r(t)];

    (4) 回報(bào)函數(shù)[r(t)]被智能體Agent接收,現(xiàn)有的策略P將發(fā)生變化,即[t←t+1];

    (5) 系統(tǒng)返回第一步,繼續(xù)重復(fù)上述步驟,在取得滿意的目標(biāo)狀態(tài)時(shí),該循環(huán)停止[2,6]。

    其中,及時(shí)回報(bào)函數(shù)[r(t)]由環(huán)境狀態(tài)W和智能體Agent的執(zhí)行動(dòng)作[a(t)]共同決定。動(dòng)作[a(t)∈A],A即為智能體Agent的所有動(dòng)作的集合[5,8]。

    算法里,首先要考慮選擇適當(dāng)?shù)膭?dòng)作[a(t)],使得值函數(shù)得到最大值,從而能夠得到獎(jiǎng)賞,這個(gè)過程即為Exploitation;同時(shí),為了得到最優(yōu)策略,智能體Agent要盡量選擇不同的動(dòng)作而且智能體Agent還要盡可能選擇不同的動(dòng)作[a(t)],即Exploration。對于在線學(xué)習(xí)來說,Exploration是非常重要的,探索的方法主要有:直接探索和間接探索兩種;間接探索的方法最常見的策略為greedy策略,通過為每個(gè)可能被選擇的動(dòng)作[a(t)]賦予其對應(yīng)的執(zhí)行概率[?],然后嘗試完成所有可能的動(dòng)作。即智能體Agent一直選擇有最高評價(jià)函數(shù)的動(dòng)作[a(t)],目的是為了獲取最大及時(shí)回報(bào)函數(shù)。

    2.1 強(qiáng)化學(xué)習(xí)算法

    強(qiáng)化學(xué)習(xí)基本算法有三種:動(dòng)態(tài)規(guī)劃算法、蒙特卡羅算法和時(shí)間差分算法。強(qiáng)化學(xué)習(xí)是一種無模型的增強(qiáng)學(xué)習(xí)形式,它是Watkins等人于1989年提出的,是從動(dòng)態(tài)規(guī)劃算法發(fā)展而來,把Q?學(xué)習(xí)看成一個(gè)增量式動(dòng)態(tài)規(guī)劃,用一步方式來決定策略[9]。

    先假定環(huán)境W是一個(gè)有限狀態(tài)的離散馬爾科夫過程。并且,強(qiáng)化學(xué)習(xí)系統(tǒng)每選取一個(gè)動(dòng)作[a(t)]都是在單步中進(jìn)行的,環(huán)境一旦接受該動(dòng)作[a(t)]后便發(fā)生狀態(tài)轉(zhuǎn)移,然后給出評價(jià)函數(shù)[r]。環(huán)境狀態(tài)發(fā)生轉(zhuǎn)換過程時(shí),概率公式如下:

    [prob[s=st+1st,at]=P[st,at,st+1]] (2)

    強(qiáng)化學(xué)習(xí)系統(tǒng)必須決定一個(gè)最優(yōu)策略[π],從而使得獎(jiǎng)勵(lì)值函數(shù)達(dá)到最大。在策略[π]的作用下,狀態(tài)[st]的值如下:

    [Vπ(st)=r(πst)+γP[st,at,st+1]Vπ(st+1)] (3)

    動(dòng)態(tài)規(guī)劃至少得保證有一個(gè)策略[π?],使得[Vπ?(st)=max{r(πst)+γP[st,at,st+1]Vπ*(st)}] (4)

    Q?學(xué)習(xí)核心的思想是不估計(jì)環(huán)境模型,直接優(yōu)化可迭代計(jì)算的Q函數(shù),Watkin等人定義此Q函數(shù)為在狀態(tài)[st]時(shí)執(zhí)行動(dòng)作[at],并且此后按最優(yōu)動(dòng)作序列執(zhí)行時(shí),累計(jì)折扣得到的強(qiáng)化值,如下:

    [Q(st,at)=rt+γmaxa∈A{Q(st+1,at)at∈A}] (5)

    Watkin有效地證明了Q?學(xué)習(xí)在特定條件下的收斂性。Q?學(xué)習(xí)可通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn),其中,每一個(gè)網(wǎng)絡(luò)的輸出對應(yīng)于一個(gè)動(dòng)作的Q值,即[Q(s,ai)]。實(shí)現(xiàn)Q?學(xué)習(xí)的關(guān)鍵是學(xué)習(xí)算法的確定。

    根據(jù)Q函數(shù)的定義:

    [Q(st+1,at)=rt+γmaxa∈A{Q(st+1,at)}] (6)

    只有達(dá)到最優(yōu)策略時(shí)式(6)才能成立。

    在學(xué)習(xí)過程中,誤差信號(hào)為:

    [ΔQ=rt+γmaxa∈A{Q(st+1,at)-Q(st,a)}] (7) 式中[Q(st+1,at)]表示下一狀態(tài)所對應(yīng)的Q值[2,9?10]。

    2.2 改進(jìn)的強(qiáng)化學(xué)習(xí)算法

    在上述強(qiáng)化學(xué)習(xí)的原理上,為了提高系統(tǒng)自適應(yīng)度,從而推廣該算法的使用范圍,本文采用隨機(jī)辦法產(chǎn)生數(shù)組,并對動(dòng)作[a(t)]進(jìn)行尋優(yōu),其算法流程圖見圖3。

    圖3 算法流程圖

    由于雙曲正切函數(shù)在[-1,1]范圍內(nèi)有良好的性能,相應(yīng)的回報(bào)函數(shù)設(shè)定為:

    [r(t)=tanh Q(t)10] (8)

    對于PID參數(shù)取值優(yōu)劣的評價(jià),通??赡闷罘e分指標(biāo)來衡量。常用的偏差積分指標(biāo)有如下三個(gè):

    [IE=0∞e(t)dt] (9)

    [ISE=0∞e2(t)dt] (10)

    [IAE=0∞|e(t)|dt] (11)

    估計(jì)不同的過渡過程需要選擇不同的積分指標(biāo)函數(shù),如果著重于抑制過渡過程中的大偏差,則通常選用ISE準(zhǔn)則,而懲罰過渡時(shí)間過長的問題時(shí)則應(yīng)選擇ITAE準(zhǔn)則[11]。

    綜合考慮以上因素,本文選擇了IE與IAE的線性組合作為評價(jià)函數(shù):

    [V(t)=0∞e(t)dt+0∞|e(t)|dt10] (12)

    該算法實(shí)現(xiàn)了在其初始運(yùn)行階段(最初較大時(shí))進(jìn)行均勻搜索,而在其后期運(yùn)行階段(較接近于0時(shí))搜索范圍逐漸減小。滿足了初期大范圍,后期小范圍搜索的要求,有利于收斂于全局最優(yōu)值和提高搜索精度。

    改進(jìn)的強(qiáng)化學(xué)習(xí)PID調(diào)參,在線學(xué)習(xí)速度加快,從而提高了系統(tǒng)的快速性,且動(dòng)態(tài)性能指標(biāo)得到了優(yōu)化。

    3 仿真驗(yàn)證

    本文利用某型飛艇進(jìn)行仿真,飛艇初始狀態(tài)為水平平飛,高度H=2 000 m,速度V=20 m/s,只研究縱向,配平線性化后得到飛艇縱向的線性化方程為:

    [x=Ax+Buy=Cx] (13)

    式中:[x=[V,α,q,θ]],分別代表速度、迎角、俯仰角速度、俯仰角。

    給定俯仰角跟蹤指令[θg=10°],并且考慮縱向風(fēng)干擾,為簡化問題,假設(shè)風(fēng)干擾通過以下方式引入飛艇系統(tǒng):

    [v=v+vwq=q+qwa=a+aw] (14) 式中:[vw,qw,aw]是在風(fēng)對飛艇狀態(tài)的量化影響。

    對于改進(jìn)強(qiáng)化學(xué)習(xí)算法,設(shè)置仿真參數(shù)如下:[KP]取值范圍為[0,50];[KI]取值范圍為[0,0.5];[KD]取值范圍為[0,0.5];迭代次數(shù)選為100,系數(shù)[γ]選為0.9。

    分別用傳統(tǒng)離線設(shè)計(jì)好的PID控制器和改進(jìn)后基于強(qiáng)化學(xué)習(xí)在線調(diào)參的PID控制器進(jìn)行控制[10]。

    仿真結(jié)果如圖4所示。

    圖4 仿真結(jié)果圖

    從仿真結(jié)果可以看出,傳統(tǒng)離線設(shè)計(jì)好的控制器,在有風(fēng)干擾的條件下,難以實(shí)現(xiàn)俯仰跟蹤,而基于改進(jìn)強(qiáng)化學(xué)習(xí)的控制器,在風(fēng)干擾條件下,通過對參數(shù)的在線調(diào)整,實(shí)現(xiàn)了俯仰指令的跟蹤,各項(xiàng)指標(biāo)在可以接受的范圍內(nèi)。

    4 結(jié) 語

    本文在分析各個(gè)研究成果的基礎(chǔ)上,根據(jù) PID 控制器具有多目標(biāo)優(yōu)化的特點(diǎn),提出了改進(jìn)的強(qiáng)化學(xué)習(xí)的PID控制器參數(shù)整定算法,選擇了自適應(yīng)度大的個(gè)體所對應(yīng)的控制參數(shù)作為采樣時(shí)間下的參數(shù),對 PID 的參數(shù)進(jìn)行多目標(biāo)尋優(yōu),通過比較傳統(tǒng)強(qiáng)化學(xué)習(xí)算法,收斂速度更快,實(shí)時(shí)性更好,Matlab上的仿真結(jié)果表明,在 PID 參數(shù)的尋優(yōu)過程中,該改進(jìn)后的強(qiáng)化學(xué)習(xí)算法具有更強(qiáng)的尋優(yōu)能力。因此為PID控制系統(tǒng)提供了一種新的優(yōu)化方法。

    參考文獻(xiàn)

    [1] 張巍,盧宇清.基于在線自適應(yīng)遺傳算法的 PID參數(shù)整定和優(yōu)化[J].計(jì)算機(jī)仿真,2011(12):154?157.

    [2] 朱衛(wèi)華.基于強(qiáng)化學(xué)習(xí)PID控制器的柴油機(jī)調(diào)速仿真研究[D].哈爾濱:哈爾濱工程大學(xué),2011.

    [3] 陳丹,方康玲,陳喬禮.遺傳算法在 PID 參數(shù)優(yōu)化中的應(yīng)用[J].微計(jì)算機(jī)信息,2007,23(3):35?36.

    [4] 戰(zhàn)忠麗,王強(qiáng),陳顯亭.強(qiáng)化學(xué)習(xí)的模型,算法及應(yīng)用[J].電子科技,2011(1):47?49.

    [5] 王醒策,張汝波,顧國昌.基于強(qiáng)化學(xué)習(xí)的多機(jī)器人編隊(duì)方法研究[J].計(jì)算機(jī)工程,2002,28(6):15?16.

    [6] 姜沛然.基于模糊理論和強(qiáng)化學(xué)習(xí)的自主式水下機(jī)器人運(yùn)動(dòng)規(guī)劃技術(shù)[D].哈爾濱:哈爾濱工程大學(xué),2005.

    [7] 付成偉.基于分層強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃[D].哈爾濱:哈爾濱工程大學(xué),2008.

    [8] 徐莉.Q?learning 研究及其在AUV局部路徑規(guī)劃中的應(yīng)用[D].哈爾濱:哈爾濱工程大學(xué),2004.

    [9] 魏英姿,趙明揚(yáng).強(qiáng)化學(xué)習(xí)算法中啟發(fā)式回報(bào)函數(shù)的設(shè)計(jì)及其收斂性分析[J].計(jì)算機(jī)科學(xué),2005(3):190?193.

    [10] 張汝波,顧國昌,劉照德,等.強(qiáng)化學(xué)習(xí)理論,算法及應(yīng)用[J].控制理論與應(yīng)用,2000,17(5):637?640.

    [11] 田豐,邊婷婷.基于自適應(yīng)遺傳算法的交通信號(hào)配時(shí)優(yōu)化[J].計(jì)算機(jī)仿真,2010(6):305?308.

    Watkin有效地證明了Q?學(xué)習(xí)在特定條件下的收斂性。Q?學(xué)習(xí)可通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn),其中,每一個(gè)網(wǎng)絡(luò)的輸出對應(yīng)于一個(gè)動(dòng)作的Q值,即[Q(s,ai)]。實(shí)現(xiàn)Q?學(xué)習(xí)的關(guān)鍵是學(xué)習(xí)算法的確定。

    根據(jù)Q函數(shù)的定義:

    [Q(st+1,at)=rt+γmaxa∈A{Q(st+1,at)}] (6)

    只有達(dá)到最優(yōu)策略時(shí)式(6)才能成立。

    在學(xué)習(xí)過程中,誤差信號(hào)為:

    [ΔQ=rt+γmaxa∈A{Q(st+1,at)-Q(st,a)}] (7) 式中[Q(st+1,at)]表示下一狀態(tài)所對應(yīng)的Q值[2,9?10]。

    2.2 改進(jìn)的強(qiáng)化學(xué)習(xí)算法

    在上述強(qiáng)化學(xué)習(xí)的原理上,為了提高系統(tǒng)自適應(yīng)度,從而推廣該算法的使用范圍,本文采用隨機(jī)辦法產(chǎn)生數(shù)組,并對動(dòng)作[a(t)]進(jìn)行尋優(yōu),其算法流程圖見圖3。

    圖3 算法流程圖

    由于雙曲正切函數(shù)在[-1,1]范圍內(nèi)有良好的性能,相應(yīng)的回報(bào)函數(shù)設(shè)定為:

    [r(t)=tanh Q(t)10] (8)

    對于PID參數(shù)取值優(yōu)劣的評價(jià),通??赡闷罘e分指標(biāo)來衡量。常用的偏差積分指標(biāo)有如下三個(gè):

    [IE=0∞e(t)dt] (9)

    [ISE=0∞e2(t)dt] (10)

    [IAE=0∞|e(t)|dt] (11)

    估計(jì)不同的過渡過程需要選擇不同的積分指標(biāo)函數(shù),如果著重于抑制過渡過程中的大偏差,則通常選用ISE準(zhǔn)則,而懲罰過渡時(shí)間過長的問題時(shí)則應(yīng)選擇ITAE準(zhǔn)則[11]。

    綜合考慮以上因素,本文選擇了IE與IAE的線性組合作為評價(jià)函數(shù):

    [V(t)=0∞e(t)dt+0∞|e(t)|dt10] (12)

    該算法實(shí)現(xiàn)了在其初始運(yùn)行階段(最初較大時(shí))進(jìn)行均勻搜索,而在其后期運(yùn)行階段(較接近于0時(shí))搜索范圍逐漸減小。滿足了初期大范圍,后期小范圍搜索的要求,有利于收斂于全局最優(yōu)值和提高搜索精度。

    改進(jìn)的強(qiáng)化學(xué)習(xí)PID調(diào)參,在線學(xué)習(xí)速度加快,從而提高了系統(tǒng)的快速性,且動(dòng)態(tài)性能指標(biāo)得到了優(yōu)化。

    3 仿真驗(yàn)證

    本文利用某型飛艇進(jìn)行仿真,飛艇初始狀態(tài)為水平平飛,高度H=2 000 m,速度V=20 m/s,只研究縱向,配平線性化后得到飛艇縱向的線性化方程為:

    [x=Ax+Buy=Cx] (13)

    式中:[x=[V,α,q,θ]],分別代表速度、迎角、俯仰角速度、俯仰角。

    給定俯仰角跟蹤指令[θg=10°],并且考慮縱向風(fēng)干擾,為簡化問題,假設(shè)風(fēng)干擾通過以下方式引入飛艇系統(tǒng):

    [v=v+vwq=q+qwa=a+aw] (14) 式中:[vw,qw,aw]是在風(fēng)對飛艇狀態(tài)的量化影響。

    對于改進(jìn)強(qiáng)化學(xué)習(xí)算法,設(shè)置仿真參數(shù)如下:[KP]取值范圍為[0,50];[KI]取值范圍為[0,0.5];[KD]取值范圍為[0,0.5];迭代次數(shù)選為100,系數(shù)[γ]選為0.9。

    分別用傳統(tǒng)離線設(shè)計(jì)好的PID控制器和改進(jìn)后基于強(qiáng)化學(xué)習(xí)在線調(diào)參的PID控制器進(jìn)行控制[10]。

    仿真結(jié)果如圖4所示。

    圖4 仿真結(jié)果圖

    從仿真結(jié)果可以看出,傳統(tǒng)離線設(shè)計(jì)好的控制器,在有風(fēng)干擾的條件下,難以實(shí)現(xiàn)俯仰跟蹤,而基于改進(jìn)強(qiáng)化學(xué)習(xí)的控制器,在風(fēng)干擾條件下,通過對參數(shù)的在線調(diào)整,實(shí)現(xiàn)了俯仰指令的跟蹤,各項(xiàng)指標(biāo)在可以接受的范圍內(nèi)。

    4 結(jié) 語

    本文在分析各個(gè)研究成果的基礎(chǔ)上,根據(jù) PID 控制器具有多目標(biāo)優(yōu)化的特點(diǎn),提出了改進(jìn)的強(qiáng)化學(xué)習(xí)的PID控制器參數(shù)整定算法,選擇了自適應(yīng)度大的個(gè)體所對應(yīng)的控制參數(shù)作為采樣時(shí)間下的參數(shù),對 PID 的參數(shù)進(jìn)行多目標(biāo)尋優(yōu),通過比較傳統(tǒng)強(qiáng)化學(xué)習(xí)算法,收斂速度更快,實(shí)時(shí)性更好,Matlab上的仿真結(jié)果表明,在 PID 參數(shù)的尋優(yōu)過程中,該改進(jìn)后的強(qiáng)化學(xué)習(xí)算法具有更強(qiáng)的尋優(yōu)能力。因此為PID控制系統(tǒng)提供了一種新的優(yōu)化方法。

    參考文獻(xiàn)

    [1] 張巍,盧宇清.基于在線自適應(yīng)遺傳算法的 PID參數(shù)整定和優(yōu)化[J].計(jì)算機(jī)仿真,2011(12):154?157.

    [2] 朱衛(wèi)華.基于強(qiáng)化學(xué)習(xí)PID控制器的柴油機(jī)調(diào)速仿真研究[D].哈爾濱:哈爾濱工程大學(xué),2011.

    [3] 陳丹,方康玲,陳喬禮.遺傳算法在 PID 參數(shù)優(yōu)化中的應(yīng)用[J].微計(jì)算機(jī)信息,2007,23(3):35?36.

    [4] 戰(zhàn)忠麗,王強(qiáng),陳顯亭.強(qiáng)化學(xué)習(xí)的模型,算法及應(yīng)用[J].電子科技,2011(1):47?49.

    [5] 王醒策,張汝波,顧國昌.基于強(qiáng)化學(xué)習(xí)的多機(jī)器人編隊(duì)方法研究[J].計(jì)算機(jī)工程,2002,28(6):15?16.

    [6] 姜沛然.基于模糊理論和強(qiáng)化學(xué)習(xí)的自主式水下機(jī)器人運(yùn)動(dòng)規(guī)劃技術(shù)[D].哈爾濱:哈爾濱工程大學(xué),2005.

    [7] 付成偉.基于分層強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃[D].哈爾濱:哈爾濱工程大學(xué),2008.

    [8] 徐莉.Q?learning 研究及其在AUV局部路徑規(guī)劃中的應(yīng)用[D].哈爾濱:哈爾濱工程大學(xué),2004.

    [9] 魏英姿,趙明揚(yáng).強(qiáng)化學(xué)習(xí)算法中啟發(fā)式回報(bào)函數(shù)的設(shè)計(jì)及其收斂性分析[J].計(jì)算機(jī)科學(xué),2005(3):190?193.

    [10] 張汝波,顧國昌,劉照德,等.強(qiáng)化學(xué)習(xí)理論,算法及應(yīng)用[J].控制理論與應(yīng)用,2000,17(5):637?640.

    [11] 田豐,邊婷婷.基于自適應(yīng)遺傳算法的交通信號(hào)配時(shí)優(yōu)化[J].計(jì)算機(jī)仿真,2010(6):305?308.

    Watkin有效地證明了Q?學(xué)習(xí)在特定條件下的收斂性。Q?學(xué)習(xí)可通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn),其中,每一個(gè)網(wǎng)絡(luò)的輸出對應(yīng)于一個(gè)動(dòng)作的Q值,即[Q(s,ai)]。實(shí)現(xiàn)Q?學(xué)習(xí)的關(guān)鍵是學(xué)習(xí)算法的確定。

    根據(jù)Q函數(shù)的定義:

    [Q(st+1,at)=rt+γmaxa∈A{Q(st+1,at)}] (6)

    只有達(dá)到最優(yōu)策略時(shí)式(6)才能成立。

    在學(xué)習(xí)過程中,誤差信號(hào)為:

    [ΔQ=rt+γmaxa∈A{Q(st+1,at)-Q(st,a)}] (7) 式中[Q(st+1,at)]表示下一狀態(tài)所對應(yīng)的Q值[2,9?10]。

    2.2 改進(jìn)的強(qiáng)化學(xué)習(xí)算法

    在上述強(qiáng)化學(xué)習(xí)的原理上,為了提高系統(tǒng)自適應(yīng)度,從而推廣該算法的使用范圍,本文采用隨機(jī)辦法產(chǎn)生數(shù)組,并對動(dòng)作[a(t)]進(jìn)行尋優(yōu),其算法流程圖見圖3。

    圖3 算法流程圖

    由于雙曲正切函數(shù)在[-1,1]范圍內(nèi)有良好的性能,相應(yīng)的回報(bào)函數(shù)設(shè)定為:

    [r(t)=tanh Q(t)10] (8)

    對于PID參數(shù)取值優(yōu)劣的評價(jià),通??赡闷罘e分指標(biāo)來衡量。常用的偏差積分指標(biāo)有如下三個(gè):

    [IE=0∞e(t)dt] (9)

    [ISE=0∞e2(t)dt] (10)

    [IAE=0∞|e(t)|dt] (11)

    估計(jì)不同的過渡過程需要選擇不同的積分指標(biāo)函數(shù),如果著重于抑制過渡過程中的大偏差,則通常選用ISE準(zhǔn)則,而懲罰過渡時(shí)間過長的問題時(shí)則應(yīng)選擇ITAE準(zhǔn)則[11]。

    綜合考慮以上因素,本文選擇了IE與IAE的線性組合作為評價(jià)函數(shù):

    [V(t)=0∞e(t)dt+0∞|e(t)|dt10] (12)

    該算法實(shí)現(xiàn)了在其初始運(yùn)行階段(最初較大時(shí))進(jìn)行均勻搜索,而在其后期運(yùn)行階段(較接近于0時(shí))搜索范圍逐漸減小。滿足了初期大范圍,后期小范圍搜索的要求,有利于收斂于全局最優(yōu)值和提高搜索精度。

    改進(jìn)的強(qiáng)化學(xué)習(xí)PID調(diào)參,在線學(xué)習(xí)速度加快,從而提高了系統(tǒng)的快速性,且動(dòng)態(tài)性能指標(biāo)得到了優(yōu)化。

    3 仿真驗(yàn)證

    本文利用某型飛艇進(jìn)行仿真,飛艇初始狀態(tài)為水平平飛,高度H=2 000 m,速度V=20 m/s,只研究縱向,配平線性化后得到飛艇縱向的線性化方程為:

    [x=Ax+Buy=Cx] (13)

    式中:[x=[V,α,q,θ]],分別代表速度、迎角、俯仰角速度、俯仰角。

    給定俯仰角跟蹤指令[θg=10°],并且考慮縱向風(fēng)干擾,為簡化問題,假設(shè)風(fēng)干擾通過以下方式引入飛艇系統(tǒng):

    [v=v+vwq=q+qwa=a+aw] (14) 式中:[vw,qw,aw]是在風(fēng)對飛艇狀態(tài)的量化影響。

    對于改進(jìn)強(qiáng)化學(xué)習(xí)算法,設(shè)置仿真參數(shù)如下:[KP]取值范圍為[0,50];[KI]取值范圍為[0,0.5];[KD]取值范圍為[0,0.5];迭代次數(shù)選為100,系數(shù)[γ]選為0.9。

    分別用傳統(tǒng)離線設(shè)計(jì)好的PID控制器和改進(jìn)后基于強(qiáng)化學(xué)習(xí)在線調(diào)參的PID控制器進(jìn)行控制[10]。

    仿真結(jié)果如圖4所示。

    圖4 仿真結(jié)果圖

    從仿真結(jié)果可以看出,傳統(tǒng)離線設(shè)計(jì)好的控制器,在有風(fēng)干擾的條件下,難以實(shí)現(xiàn)俯仰跟蹤,而基于改進(jìn)強(qiáng)化學(xué)習(xí)的控制器,在風(fēng)干擾條件下,通過對參數(shù)的在線調(diào)整,實(shí)現(xiàn)了俯仰指令的跟蹤,各項(xiàng)指標(biāo)在可以接受的范圍內(nèi)。

    4 結(jié) 語

    本文在分析各個(gè)研究成果的基礎(chǔ)上,根據(jù) PID 控制器具有多目標(biāo)優(yōu)化的特點(diǎn),提出了改進(jìn)的強(qiáng)化學(xué)習(xí)的PID控制器參數(shù)整定算法,選擇了自適應(yīng)度大的個(gè)體所對應(yīng)的控制參數(shù)作為采樣時(shí)間下的參數(shù),對 PID 的參數(shù)進(jìn)行多目標(biāo)尋優(yōu),通過比較傳統(tǒng)強(qiáng)化學(xué)習(xí)算法,收斂速度更快,實(shí)時(shí)性更好,Matlab上的仿真結(jié)果表明,在 PID 參數(shù)的尋優(yōu)過程中,該改進(jìn)后的強(qiáng)化學(xué)習(xí)算法具有更強(qiáng)的尋優(yōu)能力。因此為PID控制系統(tǒng)提供了一種新的優(yōu)化方法。

    參考文獻(xiàn)

    [1] 張巍,盧宇清.基于在線自適應(yīng)遺傳算法的 PID參數(shù)整定和優(yōu)化[J].計(jì)算機(jī)仿真,2011(12):154?157.

    [2] 朱衛(wèi)華.基于強(qiáng)化學(xué)習(xí)PID控制器的柴油機(jī)調(diào)速仿真研究[D].哈爾濱:哈爾濱工程大學(xué),2011.

    [3] 陳丹,方康玲,陳喬禮.遺傳算法在 PID 參數(shù)優(yōu)化中的應(yīng)用[J].微計(jì)算機(jī)信息,2007,23(3):35?36.

    [4] 戰(zhàn)忠麗,王強(qiáng),陳顯亭.強(qiáng)化學(xué)習(xí)的模型,算法及應(yīng)用[J].電子科技,2011(1):47?49.

    [5] 王醒策,張汝波,顧國昌.基于強(qiáng)化學(xué)習(xí)的多機(jī)器人編隊(duì)方法研究[J].計(jì)算機(jī)工程,2002,28(6):15?16.

    [6] 姜沛然.基于模糊理論和強(qiáng)化學(xué)習(xí)的自主式水下機(jī)器人運(yùn)動(dòng)規(guī)劃技術(shù)[D].哈爾濱:哈爾濱工程大學(xué),2005.

    [7] 付成偉.基于分層強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃[D].哈爾濱:哈爾濱工程大學(xué),2008.

    [8] 徐莉.Q?learning 研究及其在AUV局部路徑規(guī)劃中的應(yīng)用[D].哈爾濱:哈爾濱工程大學(xué),2004.

    [9] 魏英姿,趙明揚(yáng).強(qiáng)化學(xué)習(xí)算法中啟發(fā)式回報(bào)函數(shù)的設(shè)計(jì)及其收斂性分析[J].計(jì)算機(jī)科學(xué),2005(3):190?193.

    [10] 張汝波,顧國昌,劉照德,等.強(qiáng)化學(xué)習(xí)理論,算法及應(yīng)用[J].控制理論與應(yīng)用,2000,17(5):637?640.

    [11] 田豐,邊婷婷.基于自適應(yīng)遺傳算法的交通信號(hào)配時(shí)優(yōu)化[J].計(jì)算機(jī)仿真,2010(6):305?308.

    猜你喜歡
    哈爾濱工程大學(xué)飛艇桌面
    桌面舞龍
    九大行星桌面擺件
    航空世界(2022年3期)2022-11-10 07:12:30
    Research on Real Meaning of American Dream in Great Gatsby
    速讀·中旬(2021年2期)2021-07-23 22:33:04
    基于APP在線控制雙擠出頭FDM桌面3D打印機(jī)的研制
    Research on Uranium Mining
    An Analysis of Mood System of Narrative Rock Song Lyrics and Its Interpersonal Functions
    派個(gè)飛艇去火星
    太空探索(2016年12期)2016-07-18 11:13:43
    飛艇的前世今生(下)
    飛艇的前世今生(中)
    飛艇的前世今生(上)
    日本欧美视频一区| 亚洲在线自拍视频| 搡老妇女老女人老熟妇| or卡值多少钱| 18美女黄网站色大片免费观看| 免费人成视频x8x8入口观看| 一区二区三区精品91| 大码成人一级视频| 欧美在线一区亚洲| 极品教师在线免费播放| 宅男免费午夜| av中文乱码字幕在线| 身体一侧抽搐| 国产精品二区激情视频| 久久久国产成人免费| 色尼玛亚洲综合影院| 少妇熟女aⅴ在线视频| 嫩草影视91久久| АⅤ资源中文在线天堂| 亚洲一卡2卡3卡4卡5卡精品中文| 啦啦啦韩国在线观看视频| 日韩中文字幕欧美一区二区| 亚洲成av片中文字幕在线观看| 国产成人影院久久av| 欧美日韩亚洲国产一区二区在线观看| 老司机在亚洲福利影院| 色综合亚洲欧美另类图片| 亚洲aⅴ乱码一区二区在线播放 | 久久香蕉激情| 怎么达到女性高潮| 老汉色∧v一级毛片| 国产精品免费一区二区三区在线| 日韩大码丰满熟妇| 我的亚洲天堂| 91字幕亚洲| 在线天堂中文资源库| 香蕉国产在线看| 91大片在线观看| 变态另类成人亚洲欧美熟女 | 人妻丰满熟妇av一区二区三区| 777久久人妻少妇嫩草av网站| 国产一区在线观看成人免费| 国内毛片毛片毛片毛片毛片| 中出人妻视频一区二区| 国产精品99久久99久久久不卡| 国产又色又爽无遮挡免费看| 1024视频免费在线观看| 久久久久久久久免费视频了| 天天躁夜夜躁狠狠躁躁| 亚洲熟妇熟女久久| 很黄的视频免费| 波多野结衣巨乳人妻| 日本免费一区二区三区高清不卡 | 欧美乱码精品一区二区三区| 精品国产一区二区三区四区第35| 久久精品成人免费网站| 淫妇啪啪啪对白视频| 久久久久久免费高清国产稀缺| 亚洲成人国产一区在线观看| 99在线视频只有这里精品首页| 亚洲在线自拍视频| 亚洲av成人不卡在线观看播放网| 欧美激情高清一区二区三区| 免费久久久久久久精品成人欧美视频| 国产亚洲精品久久久久久毛片| 他把我摸到了高潮在线观看| 精品欧美国产一区二区三| 国产精品一区二区免费欧美| 国产99白浆流出| 中文字幕人妻丝袜一区二区| 国产成人一区二区三区免费视频网站| 亚洲国产日韩欧美精品在线观看 | 香蕉丝袜av| 女人精品久久久久毛片| 一边摸一边抽搐一进一出视频| 天天躁狠狠躁夜夜躁狠狠躁| 一级,二级,三级黄色视频| 国产片内射在线| 9热在线视频观看99| 国产高清激情床上av| 电影成人av| 国产人伦9x9x在线观看| 激情视频va一区二区三区| 国产精品,欧美在线| 黄片大片在线免费观看| 50天的宝宝边吃奶边哭怎么回事| 悠悠久久av| 欧美激情极品国产一区二区三区| 中文字幕色久视频| 亚洲精品一卡2卡三卡4卡5卡| 少妇被粗大的猛进出69影院| 午夜激情av网站| 巨乳人妻的诱惑在线观看| 狠狠狠狠99中文字幕| 校园春色视频在线观看| 不卡一级毛片| 19禁男女啪啪无遮挡网站| 可以在线观看的亚洲视频| 成人精品一区二区免费| 99re在线观看精品视频| 男人的好看免费观看在线视频 | 亚洲avbb在线观看| 国产精品98久久久久久宅男小说| 一进一出好大好爽视频| 成人手机av| www.精华液| 免费一级毛片在线播放高清视频 | 校园春色视频在线观看| 欧美亚洲日本最大视频资源| 天堂动漫精品| 国产精品久久视频播放| 欧美大码av| 色综合婷婷激情| ponron亚洲| 黑丝袜美女国产一区| 国产97色在线日韩免费| 一二三四在线观看免费中文在| 一进一出好大好爽视频| 午夜老司机福利片| 免费无遮挡裸体视频| 国产精品久久久久久精品电影 | 高清在线国产一区| 91字幕亚洲| 精品国产乱码久久久久久男人| 欧美一级毛片孕妇| 999久久久精品免费观看国产| 国产黄a三级三级三级人| 美女 人体艺术 gogo| 黄色毛片三级朝国网站| 男女下面进入的视频免费午夜 | 日本一区二区免费在线视频| 欧美激情久久久久久爽电影 | 真人做人爱边吃奶动态| 中文字幕人成人乱码亚洲影| 91国产中文字幕| 亚洲色图综合在线观看| 国产xxxxx性猛交| 久久久久久久久久久久大奶| 亚洲色图综合在线观看| 男人舔女人下体高潮全视频| 在线观看免费午夜福利视频| 成人国产综合亚洲| 国产午夜精品久久久久久| x7x7x7水蜜桃| 在线观看66精品国产| 国产精品一区二区三区四区久久 | 一卡2卡三卡四卡精品乱码亚洲| av免费在线观看网站| 88av欧美| 99久久综合精品五月天人人| 国产成人欧美| 大型av网站在线播放| 亚洲精品国产色婷婷电影| 亚洲精品中文字幕在线视频| 99国产综合亚洲精品| 熟女少妇亚洲综合色aaa.| 久久香蕉精品热| 变态另类丝袜制服| 欧洲精品卡2卡3卡4卡5卡区| 色哟哟哟哟哟哟| 淫秽高清视频在线观看| 日韩欧美国产在线观看| 欧美日本亚洲视频在线播放| 国产色视频综合| 精品久久久久久久人妻蜜臀av | 国产麻豆成人av免费视频| 久久精品亚洲精品国产色婷小说| 欧美午夜高清在线| 亚洲免费av在线视频| 免费无遮挡裸体视频| www.999成人在线观看| 精品无人区乱码1区二区| 色婷婷久久久亚洲欧美| 久久久久久久午夜电影| 亚洲欧洲精品一区二区精品久久久| 欧美亚洲日本最大视频资源| 叶爱在线成人免费视频播放| www.熟女人妻精品国产| 亚洲精品一区av在线观看| 人成视频在线观看免费观看| 精品久久久久久久久久免费视频| 日本欧美视频一区| bbb黄色大片| 欧美绝顶高潮抽搐喷水| 亚洲国产毛片av蜜桃av| 久久精品国产亚洲av高清一级| 人人妻人人澡人人看| 最新美女视频免费是黄的| 99国产精品一区二区三区| 亚洲 国产 在线| 午夜福利,免费看| 国产精品久久久久久人妻精品电影| 国产精品秋霞免费鲁丝片| 成人18禁高潮啪啪吃奶动态图| 熟妇人妻久久中文字幕3abv| 国产精品影院久久| 国产成人精品在线电影| x7x7x7水蜜桃| 香蕉久久夜色| 亚洲国产毛片av蜜桃av| 亚洲无线在线观看| 午夜精品在线福利| 精品国产乱子伦一区二区三区| 成年版毛片免费区| 在线永久观看黄色视频| 一边摸一边抽搐一进一小说| 中文字幕最新亚洲高清| 久久久久久免费高清国产稀缺| 婷婷六月久久综合丁香| 又大又爽又粗| av天堂久久9| 成年版毛片免费区| 国产精品久久久久久精品电影 | 99riav亚洲国产免费| 可以免费在线观看a视频的电影网站| 99国产精品99久久久久| 男女下面进入的视频免费午夜 | 操美女的视频在线观看| 麻豆久久精品国产亚洲av| 制服丝袜大香蕉在线| 国产日韩一区二区三区精品不卡| 巨乳人妻的诱惑在线观看| 欧美色视频一区免费| 老司机深夜福利视频在线观看| 亚洲视频免费观看视频| 国产欧美日韩一区二区精品| 久久精品亚洲精品国产色婷小说| 啦啦啦 在线观看视频| 精品欧美一区二区三区在线| 18禁观看日本| 在线观看午夜福利视频| 少妇熟女aⅴ在线视频| 亚洲精品美女久久久久99蜜臀| 十分钟在线观看高清视频www| 黑人巨大精品欧美一区二区mp4| 视频区欧美日本亚洲| 成人三级做爰电影| 午夜视频精品福利| 午夜福利在线观看吧| 丝袜美足系列| 99国产精品免费福利视频| www国产在线视频色| 亚洲中文字幕一区二区三区有码在线看 | cao死你这个sao货| 咕卡用的链子| 长腿黑丝高跟| 正在播放国产对白刺激| 国产真人三级小视频在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 变态另类成人亚洲欧美熟女 | 欧美日韩精品网址| 精品国产乱码久久久久久男人| 国产在线精品亚洲第一网站| 亚洲成人精品中文字幕电影| 一进一出抽搐动态| 妹子高潮喷水视频| 午夜福利在线观看吧| 韩国av一区二区三区四区| 欧美黄色片欧美黄色片| √禁漫天堂资源中文www| 亚洲专区中文字幕在线| 给我免费播放毛片高清在线观看| 9热在线视频观看99| 国产精品爽爽va在线观看网站 | 亚洲中文日韩欧美视频| 免费高清视频大片| 久久热在线av| 日本欧美视频一区| 最新在线观看一区二区三区| 国产精品综合久久久久久久免费 | 亚洲一区二区三区不卡视频| 国产精品九九99| 成人18禁在线播放| 中文字幕人成人乱码亚洲影| 精品一区二区三区四区五区乱码| 精品国产亚洲在线| www.www免费av| 免费在线观看视频国产中文字幕亚洲| 久久久久久国产a免费观看| 国产亚洲欧美精品永久| 黄色成人免费大全| 国产高清激情床上av| 丝袜人妻中文字幕| 国内精品久久久久精免费| 亚洲伊人色综图| 午夜福利视频1000在线观看 | 91国产中文字幕| 日韩精品中文字幕看吧| 欧美激情高清一区二区三区| 精品国产国语对白av| 亚洲久久久国产精品| 欧洲精品卡2卡3卡4卡5卡区| 国产精品久久久久久亚洲av鲁大| 久久久久国内视频| 男男h啪啪无遮挡| 国产三级在线视频| 1024视频免费在线观看| 黄色毛片三级朝国网站| 一级a爱片免费观看的视频| 日韩av在线大香蕉| 50天的宝宝边吃奶边哭怎么回事| 最好的美女福利视频网| 久久天躁狠狠躁夜夜2o2o| 最近最新中文字幕大全电影3 | 亚洲自偷自拍图片 自拍| 一a级毛片在线观看| 久久久久国内视频| 亚洲国产欧美网| 亚洲欧美日韩无卡精品| 午夜福利在线观看吧| 国内精品久久久久精免费| 乱人伦中国视频| 高清黄色对白视频在线免费看| 伦理电影免费视频| 亚洲伊人色综图| 99国产精品一区二区蜜桃av| 精品国内亚洲2022精品成人| 国产又色又爽无遮挡免费看| 久99久视频精品免费| 欧美乱码精品一区二区三区| 啦啦啦 在线观看视频| 黄片播放在线免费| 国产成年人精品一区二区| 成人18禁在线播放| 一a级毛片在线观看| 久久精品国产99精品国产亚洲性色 | 天堂动漫精品| 人妻丰满熟妇av一区二区三区| 国产91精品成人一区二区三区| www.精华液| 啦啦啦免费观看视频1| 极品人妻少妇av视频| 女人被躁到高潮嗷嗷叫费观| 久久久国产成人免费| 精品一区二区三区视频在线观看免费| 国产色视频综合| 亚洲三区欧美一区| 青草久久国产| 久久久久久免费高清国产稀缺| a在线观看视频网站| 午夜激情av网站| 国产成人精品无人区| 国产成+人综合+亚洲专区| 淫秽高清视频在线观看| 韩国av一区二区三区四区| 淫秽高清视频在线观看| 韩国av一区二区三区四区| 国产成人精品在线电影| 91九色精品人成在线观看| 久久久久久大精品| 久久精品国产综合久久久| 国产精品日韩av在线免费观看 | 国产伦人伦偷精品视频| 搞女人的毛片| 国产成人精品久久二区二区91| 一本大道久久a久久精品| 久久中文字幕人妻熟女| 免费在线观看视频国产中文字幕亚洲| 欧美成人性av电影在线观看| 亚洲色图av天堂| 大型av网站在线播放| 欧美精品啪啪一区二区三区| 亚洲国产精品成人综合色| 欧美激情久久久久久爽电影 | 国产一级毛片七仙女欲春2 | 亚洲 欧美一区二区三区| 亚洲熟妇中文字幕五十中出| xxx96com| 啦啦啦 在线观看视频| 国产精品电影一区二区三区| 国产亚洲欧美在线一区二区| 久久久久久久久中文| 久久久久久大精品| av电影中文网址| 极品教师在线免费播放| 精品久久久精品久久久| 大陆偷拍与自拍| 亚洲国产欧美网| 嫩草影院精品99| 9191精品国产免费久久| 欧美激情高清一区二区三区| 岛国在线观看网站| 欧美成人一区二区免费高清观看 | 可以在线观看的亚洲视频| 国产欧美日韩一区二区三区在线| 精品国产一区二区久久| 久久久国产欧美日韩av| 美女扒开内裤让男人捅视频| 国产真人三级小视频在线观看| 大码成人一级视频| 两个人免费观看高清视频| 欧美中文综合在线视频| 亚洲激情在线av| 成人18禁高潮啪啪吃奶动态图| 午夜福利,免费看| 精品久久久久久久久久免费视频| 国产午夜精品久久久久久| 亚洲 欧美一区二区三区| 亚洲熟妇熟女久久| 99久久99久久久精品蜜桃| 极品教师在线免费播放| 女性被躁到高潮视频| 大型av网站在线播放| 97人妻天天添夜夜摸| 久久精品91无色码中文字幕| 动漫黄色视频在线观看| 午夜精品久久久久久毛片777| 成人av一区二区三区在线看| 国产成人一区二区三区免费视频网站| 亚洲自拍偷在线| 老司机午夜福利在线观看视频| 午夜福利欧美成人| 国产片内射在线| 亚洲,欧美精品.| 黄色a级毛片大全视频| АⅤ资源中文在线天堂| 久久精品国产综合久久久| 欧美日韩乱码在线| 欧美精品亚洲一区二区| 成年人黄色毛片网站| 悠悠久久av| 午夜老司机福利片| 一级a爱片免费观看的视频| 亚洲精品国产一区二区精华液| 国产免费av片在线观看野外av| 制服人妻中文乱码| 99在线人妻在线中文字幕| 看黄色毛片网站| 国产精品精品国产色婷婷| 精品国产国语对白av| 精品免费久久久久久久清纯| 在线观看66精品国产| 亚洲成av人片免费观看| 久久欧美精品欧美久久欧美| 老司机午夜福利在线观看视频| 午夜a级毛片| 久久影院123| 亚洲精品美女久久久久99蜜臀| 一区二区三区国产精品乱码| 最近最新中文字幕大全电影3 | 亚洲,欧美精品.| 脱女人内裤的视频| 天天添夜夜摸| 国产乱人伦免费视频| 一区二区三区精品91| 一进一出抽搐gif免费好疼| 午夜老司机福利片| 日韩 欧美 亚洲 中文字幕| 国产片内射在线| 久久精品影院6| 精品卡一卡二卡四卡免费| 国内毛片毛片毛片毛片毛片| 国产精品1区2区在线观看.| 大香蕉久久成人网| 此物有八面人人有两片| 久久久久国产一级毛片高清牌| 午夜福利一区二区在线看| 欧美一级a爱片免费观看看 | 亚洲成av片中文字幕在线观看| 精品久久久久久久人妻蜜臀av | 男男h啪啪无遮挡| 国产亚洲精品久久久久5区| 97人妻天天添夜夜摸| 国产色视频综合| 黑人巨大精品欧美一区二区蜜桃| 久久草成人影院| 免费av毛片视频| 一级毛片女人18水好多| 丝袜美腿诱惑在线| 国产乱人伦免费视频| 给我免费播放毛片高清在线观看| 亚洲伊人色综图| 一卡2卡三卡四卡精品乱码亚洲| 国产精品,欧美在线| 91精品国产国语对白视频| 性色av乱码一区二区三区2| 久热爱精品视频在线9| 后天国语完整版免费观看| 亚洲av成人不卡在线观看播放网| 欧美日韩亚洲国产一区二区在线观看| 深夜精品福利| 亚洲国产日韩欧美精品在线观看 | 国产精品 欧美亚洲| 99国产精品免费福利视频| 在线观看舔阴道视频| 久久久久久久久久久久大奶| 成人av一区二区三区在线看| 少妇的丰满在线观看| 亚洲视频免费观看视频| 国产成人精品久久二区二区免费| 男女下面插进去视频免费观看| 国产精品98久久久久久宅男小说| 别揉我奶头~嗯~啊~动态视频| 最好的美女福利视频网| 国产高清videossex| 欧美激情极品国产一区二区三区| 少妇熟女aⅴ在线视频| 国产精华一区二区三区| 免费看a级黄色片| 国产精品永久免费网站| 国产一区二区激情短视频| 中文字幕精品免费在线观看视频| 日韩高清综合在线| 婷婷精品国产亚洲av在线| √禁漫天堂资源中文www| 99在线人妻在线中文字幕| 欧美绝顶高潮抽搐喷水| 国产色视频综合| 男女午夜视频在线观看| av天堂久久9| 精品久久久久久久毛片微露脸| 国语自产精品视频在线第100页| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲第一av免费看| 中文字幕久久专区| 狠狠狠狠99中文字幕| 国产一级毛片七仙女欲春2 | 欧美国产精品va在线观看不卡| 日本 欧美在线| 999久久久国产精品视频| 成熟少妇高潮喷水视频| 日韩三级视频一区二区三区| 欧美国产精品va在线观看不卡| 国产色视频综合| 日韩成人在线观看一区二区三区| 亚洲情色 制服丝袜| 免费看美女性在线毛片视频| 中文亚洲av片在线观看爽| 日本撒尿小便嘘嘘汇集6| 色综合亚洲欧美另类图片| 国产成人精品久久二区二区免费| 中亚洲国语对白在线视频| 亚洲成人久久性| 精品欧美一区二区三区在线| 免费高清视频大片| 亚洲国产精品合色在线| 99在线视频只有这里精品首页| 国产又爽黄色视频| 国产成人av激情在线播放| 国产亚洲精品久久久久5区| 国产午夜福利久久久久久| 最新在线观看一区二区三区| 亚洲男人天堂网一区| 无限看片的www在线观看| 国产亚洲av嫩草精品影院| 日韩成人在线观看一区二区三区| 淫妇啪啪啪对白视频| 51午夜福利影视在线观看| 麻豆久久精品国产亚洲av| 久久久久国产一级毛片高清牌| 亚洲熟妇中文字幕五十中出| 岛国在线观看网站| 国产欧美日韩综合在线一区二区| 久久精品aⅴ一区二区三区四区| 99国产精品99久久久久| 中国美女看黄片| 国产男靠女视频免费网站| 久久国产精品人妻蜜桃| 制服丝袜大香蕉在线| 色哟哟哟哟哟哟| 亚洲av电影不卡..在线观看| 久久久久久国产a免费观看| 九色亚洲精品在线播放| 国产麻豆69| 免费av毛片视频| 国产熟女xx| 国产精华一区二区三区| 美女大奶头视频| 99精品在免费线老司机午夜| 久久亚洲真实| 午夜免费成人在线视频| 国产在线精品亚洲第一网站| 亚洲七黄色美女视频| 纯流量卡能插随身wifi吗| √禁漫天堂资源中文www| 国产一区二区三区在线臀色熟女| 九色亚洲精品在线播放| av片东京热男人的天堂| 亚洲av美国av| 女性被躁到高潮视频| bbb黄色大片| 午夜免费观看网址| 熟妇人妻久久中文字幕3abv| 99香蕉大伊视频| 国产av一区二区精品久久| 韩国av一区二区三区四区| 亚洲成av人片免费观看| 一a级毛片在线观看| 国产成人精品久久二区二区免费| 亚洲人成电影观看| 国产又爽黄色视频| 中文字幕高清在线视频| 日韩大码丰满熟妇| 国产精品久久久av美女十八| 精品国内亚洲2022精品成人| 最近最新免费中文字幕在线| 色在线成人网| 成人欧美大片| 1024视频免费在线观看| 亚洲国产精品999在线| 黄色毛片三级朝国网站| 日韩高清综合在线| 日本欧美视频一区| 热re99久久国产66热| 午夜免费激情av| av电影中文网址| 久久香蕉激情| 欧美午夜高清在线| 国产精品乱码一区二三区的特点 | 男人舔女人下体高潮全视频| 国产亚洲精品综合一区在线观看 | 亚洲国产欧美一区二区综合| 国产三级在线视频| 国产精品电影一区二区三区| 这个男人来自地球电影免费观看|