• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進(jìn)強(qiáng)化學(xué)習(xí)的PID參數(shù)整定原理及應(yīng)用

    2014-03-05 08:23:27高瑞娟吳梅
    現(xiàn)代電子技術(shù) 2014年4期
    關(guān)鍵詞:哈爾濱工程大學(xué)飛艇桌面

    高瑞娟+吳梅

    摘 要: 控制系統(tǒng)的響應(yīng)特性取決于控制律參數(shù),經(jīng)典的 PID 方法難以實(shí)現(xiàn)參數(shù)的自整定。強(qiáng)化學(xué)習(xí)能夠通過系統(tǒng)自身和環(huán)境的交互實(shí)現(xiàn)參數(shù)的自動(dòng)調(diào)整,但是在控制律參數(shù)需要頻繁調(diào)整的應(yīng)用場合,常規(guī)的強(qiáng)化學(xué)習(xí)方法無法滿足實(shí)時(shí)性要求,而且容易陷入局部收斂。對傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法加以改進(jìn)后,加快了在線學(xué)習(xí)速度,提高了強(qiáng)化學(xué)習(xí)算法的尋優(yōu)能力。仿真結(jié)果表明,該方法可以在一定范圍內(nèi)快速求得全局最優(yōu)解,提高控制系統(tǒng)的自適應(yīng)性,為控制系統(tǒng)參數(shù)的自整定提供了依據(jù)。

    關(guān)鍵字: PID; 參數(shù)整定; 強(qiáng)化學(xué)習(xí); 控制系統(tǒng)

    中圖分類號(hào): TN911?34 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2014)04?0001?04

    Principle and application of PID parameter tuning based on improved reinforcement learning

    GAO Rui?juan, WU Mei

    (College of Automation, Northwestern Polytechnical University, Xian 710129, China)

    Abstract: The response characteristics of control system depend on the control law parameter.The classic PID method is difficult to achieve the parameter self?tuning.Through the interaction of system itself and the environment, parameters can be adjusted automatically by reinforcement learning.However, in the application occasions where the control law parameters requires to be adjusted frequently, the conventional reinforcement learning methods cannot meet the real?time requirements, and is easy to fall into local convergence.Based on the traditional reinforcement learning methods, an improvement method which can accelerate the learning speed and improve the optimizing ability of reinforcement learning algorithm is proposed.The simulation results show that this method can get global optimal solution quickly and improve the adaptivity of the control system in a certain range.It provided a basis for the improvement of control systems parameter self?tuning.

    Keywords: PID; parameter tuning; reinforcement learning; control system

    0 引 言

    在現(xiàn)代技術(shù)高速發(fā)展的今天,反饋的概念已被廣泛應(yīng)用于自動(dòng)控制理論中。測量,比較,執(zhí)行為反饋概念的三個(gè)基本要素。通常來說, 輸入量先與測量量做比較,得到了系統(tǒng)誤差后,相應(yīng)的指標(biāo)將通過這個(gè)誤差來加以糾正和控制 。在過去的幾十年里,反饋技術(shù)被廣泛運(yùn)用于實(shí)踐中,其中,使用比例積分微分控制技術(shù)的發(fā)展是最為突出的。如今,在許多高級(jí)控制領(lǐng)域里,到處活躍著 PID控制的身影[1]。

    一般的控制理論存在諸多問題(如理論難以實(shí)現(xiàn),或被控對象參數(shù)不容易得到,或得不到精確數(shù)學(xué)模型),PID作為工業(yè)控制的主要技術(shù),它可以一一解決,這與其優(yōu)良的性能是分不開的。它的結(jié)構(gòu)簡單,魯棒性好和工作可靠性高且調(diào)整方便。因此,如何高效地調(diào)整和優(yōu)化PID的控制參數(shù)成了人們競相研究的問題。目前,常用的PID控制算法有理論計(jì)算和工程整定兩類,其中,工程整定主要有:臨界比例法,反應(yīng)曲線法和衰減法等。然而,在復(fù)雜控制系統(tǒng)設(shè)計(jì)中,由于參數(shù)優(yōu)化困難,PID的效果卻有待提高。因此,越來越多的人把目光轉(zhuǎn)向了自適應(yīng)控制。如神經(jīng)網(wǎng)絡(luò),模糊,進(jìn)化等[1?2]。

    本文在分析了各個(gè)研究成果的基礎(chǔ)上,針對基于強(qiáng)化學(xué)習(xí)的PID控制算法的收斂速度快,實(shí)時(shí)性好等優(yōu)點(diǎn),提出了一種改進(jìn)的強(qiáng)化算法的 PID 參數(shù)整定算法。通過改進(jìn)強(qiáng)化學(xué)習(xí)算法對 PID 參數(shù)進(jìn)行整定與尋優(yōu),基于控制系統(tǒng)的性能具體要求,對各項(xiàng)動(dòng)態(tài)指標(biāo)進(jìn)行了適當(dāng)?shù)募訖?quán),采用改進(jìn)強(qiáng)化學(xué)習(xí)算法對PID的參數(shù)進(jìn)行了全局多目標(biāo)尋優(yōu)。其與傳統(tǒng)控制算法相比,在尋優(yōu)時(shí)間和參數(shù)調(diào)整上都有了很大的提高。

    1 PID控制器

    典型PID控制器原理圖如圖1所示[2?3]。

    圖1 PID控制系統(tǒng)原理圖

    圖中控制系統(tǒng)由控制器和被控對象及反饋回路組成。

    PID控制器根據(jù)給定輸入值r(t)和實(shí)際輸出值y(t)之間的偏差[e(t)=r(t)-y(t)],將其按照比例,積分,微分的形式,通過線性組合的方法構(gòu)成控制量,然后對被控對象進(jìn)行控制,控制規(guī)律為[3]:

    [u(t)=KPe(t)+1KI0Ietdt+KDde(t)dt] (1)

    式中:[KP]是比例系數(shù);[KI]是積分時(shí)間常數(shù);[KD]是微分時(shí)間常數(shù)[2]。

    在本文中,首先,串聯(lián)PID 控制器和被控對象將系統(tǒng)的型別提高了。其次,由于附帶兩個(gè)負(fù)實(shí)部的零點(diǎn),使得系統(tǒng)的穩(wěn)定性和優(yōu)越性有了很大的提高。詳細(xì)原理為:積分的存在,導(dǎo)致 PID 控制系統(tǒng)消除誤差;微分存在,使得 PID 控制系統(tǒng)的動(dòng)態(tài)性能指標(biāo)超調(diào)量縮小了;從頻域的角度分析問題,由于低頻段和高頻段分別有積分和微分的作用亦滿足如上表述的內(nèi)容。

    2 強(qiáng)化學(xué)習(xí)

    強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)是從統(tǒng)計(jì)學(xué)、心理學(xué)等相關(guān)學(xué)科發(fā)展而來的[4],為人工智能領(lǐng)域一個(gè)古老又嶄新的課題。最早可以追溯到巴普洛夫的條件反射試驗(yàn)。早在1911年,Tomdlike就提出了效果律,大體原理為:哪種行為會(huì)被動(dòng)物“記住”,會(huì)與刺激建立聯(lián)系,取決于動(dòng)物行為產(chǎn)生的效果,包括搜索和記憶兩層含義。1954年,Minsky將該知識(shí)運(yùn)用于試錯(cuò)學(xué)習(xí)。同年,Clark和Farley亦在此方向上展開過研究,他們建立了隨機(jī)學(xué)習(xí)模型。1957年,Bellman提出了動(dòng)態(tài)規(guī)劃理論及著名的馬爾科夫決策過程。 直到20世紀(jì)八九十年代,該技術(shù)才分別在人工智能和自動(dòng)控制等領(lǐng)域中得到廣泛應(yīng)用[5?6]。

    在強(qiáng)化學(xué)習(xí)是一個(gè)不斷地“試探”?“評價(jià)”過程[2]。系統(tǒng)中,根據(jù)教師信號(hào)所提供的訓(xùn)練信息,學(xué)習(xí)方法有如下三種分類:監(jiān)督學(xué)習(xí)(Supervised Learning、無監(jiān)督學(xué)習(xí)(Unsupervised Learning)和強(qiáng)化學(xué)習(xí)(Reinforcement Learning)[2,7]。

    強(qiáng)化學(xué)習(xí)的基本框架如圖2所示[2,8]。

    圖2 強(qiáng)化學(xué)習(xí)原理圖

    強(qiáng)化學(xué)習(xí)與前兩種算法不同,環(huán)境產(chǎn)生的信號(hào)作為學(xué)習(xí)系統(tǒng)動(dòng)作的評價(jià)指標(biāo),但是該信號(hào)不能立即反饋給系統(tǒng)如何才能產(chǎn)生正確動(dòng)作。強(qiáng)化學(xué)習(xí)主要由RL兩部分組成:World(工作環(huán)境)和Agent(智能體)。智能體Agent又可以分成三個(gè)部分: P(策略單元)、I(輸入單元)和R(強(qiáng)化單元)。首先,輸入單元感知環(huán)境狀態(tài)后,采取一個(gè)動(dòng)作作用于環(huán)境,環(huán)境給出一個(gè)強(qiáng)化信號(hào),然后將它轉(zhuǎn)化為智能體的輸入;接著,強(qiáng)化單元將評價(jià)智能體所采取的動(dòng)作[a(t)],并將其反饋給強(qiáng)化學(xué)習(xí)系統(tǒng),策略單元更新Agent當(dāng)前已存儲(chǔ)的知識(shí)的,系統(tǒng)選擇下一個(gè)動(dòng)作,其選擇原則是獎(jiǎng)勵(lì)值最大 [2,6]。

    智能體Agent與環(huán)境W的交互時(shí),在每個(gè)時(shí)刻t會(huì)發(fā)生如下事件:

    (1) 智能體Agent感知時(shí)刻t的環(huán)境的狀態(tài)[s(t)];

    (2) 根據(jù)當(dāng)前的狀態(tài)[s(t)]和強(qiáng)化信息P,系統(tǒng)選擇然后執(zhí)行某一個(gè)動(dòng)作[a(t)],該動(dòng)作[a(t)]作用于當(dāng)前的環(huán)境,環(huán)境發(fā)生相應(yīng)的變化;

    (3)當(dāng)前環(huán)境狀態(tài)變換為新的狀態(tài),即[s(t)→s(t+1)],系統(tǒng)反饋及時(shí)的獎(jiǎng)賞或懲罰回報(bào)函數(shù)[r(t)];

    (4) 回報(bào)函數(shù)[r(t)]被智能體Agent接收,現(xiàn)有的策略P將發(fā)生變化,即[t←t+1];

    (5) 系統(tǒng)返回第一步,繼續(xù)重復(fù)上述步驟,在取得滿意的目標(biāo)狀態(tài)時(shí),該循環(huán)停止[2,6]。

    其中,及時(shí)回報(bào)函數(shù)[r(t)]由環(huán)境狀態(tài)W和智能體Agent的執(zhí)行動(dòng)作[a(t)]共同決定。動(dòng)作[a(t)∈A],A即為智能體Agent的所有動(dòng)作的集合[5,8]。

    算法里,首先要考慮選擇適當(dāng)?shù)膭?dòng)作[a(t)],使得值函數(shù)得到最大值,從而能夠得到獎(jiǎng)賞,這個(gè)過程即為Exploitation;同時(shí),為了得到最優(yōu)策略,智能體Agent要盡量選擇不同的動(dòng)作而且智能體Agent還要盡可能選擇不同的動(dòng)作[a(t)],即Exploration。對于在線學(xué)習(xí)來說,Exploration是非常重要的,探索的方法主要有:直接探索和間接探索兩種;間接探索的方法最常見的策略為greedy策略,通過為每個(gè)可能被選擇的動(dòng)作[a(t)]賦予其對應(yīng)的執(zhí)行概率[?],然后嘗試完成所有可能的動(dòng)作。即智能體Agent一直選擇有最高評價(jià)函數(shù)的動(dòng)作[a(t)],目的是為了獲取最大及時(shí)回報(bào)函數(shù)。

    2.1 強(qiáng)化學(xué)習(xí)算法

    強(qiáng)化學(xué)習(xí)基本算法有三種:動(dòng)態(tài)規(guī)劃算法、蒙特卡羅算法和時(shí)間差分算法。強(qiáng)化學(xué)習(xí)是一種無模型的增強(qiáng)學(xué)習(xí)形式,它是Watkins等人于1989年提出的,是從動(dòng)態(tài)規(guī)劃算法發(fā)展而來,把Q?學(xué)習(xí)看成一個(gè)增量式動(dòng)態(tài)規(guī)劃,用一步方式來決定策略[9]。

    先假定環(huán)境W是一個(gè)有限狀態(tài)的離散馬爾科夫過程。并且,強(qiáng)化學(xué)習(xí)系統(tǒng)每選取一個(gè)動(dòng)作[a(t)]都是在單步中進(jìn)行的,環(huán)境一旦接受該動(dòng)作[a(t)]后便發(fā)生狀態(tài)轉(zhuǎn)移,然后給出評價(jià)函數(shù)[r]。環(huán)境狀態(tài)發(fā)生轉(zhuǎn)換過程時(shí),概率公式如下:

    [prob[s=st+1st,at]=P[st,at,st+1]] (2)

    強(qiáng)化學(xué)習(xí)系統(tǒng)必須決定一個(gè)最優(yōu)策略[π],從而使得獎(jiǎng)勵(lì)值函數(shù)達(dá)到最大。在策略[π]的作用下,狀態(tài)[st]的值如下:

    [Vπ(st)=r(πst)+γP[st,at,st+1]Vπ(st+1)] (3)

    動(dòng)態(tài)規(guī)劃至少得保證有一個(gè)策略[π?],使得[Vπ?(st)=max{r(πst)+γP[st,at,st+1]Vπ*(st)}] (4)

    Q?學(xué)習(xí)核心的思想是不估計(jì)環(huán)境模型,直接優(yōu)化可迭代計(jì)算的Q函數(shù),Watkin等人定義此Q函數(shù)為在狀態(tài)[st]時(shí)執(zhí)行動(dòng)作[at],并且此后按最優(yōu)動(dòng)作序列執(zhí)行時(shí),累計(jì)折扣得到的強(qiáng)化值,如下:

    [Q(st,at)=rt+γmaxa∈A{Q(st+1,at)at∈A}] (5)

    Watkin有效地證明了Q?學(xué)習(xí)在特定條件下的收斂性。Q?學(xué)習(xí)可通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn),其中,每一個(gè)網(wǎng)絡(luò)的輸出對應(yīng)于一個(gè)動(dòng)作的Q值,即[Q(s,ai)]。實(shí)現(xiàn)Q?學(xué)習(xí)的關(guān)鍵是學(xué)習(xí)算法的確定。

    根據(jù)Q函數(shù)的定義:

    [Q(st+1,at)=rt+γmaxa∈A{Q(st+1,at)}] (6)

    只有達(dá)到最優(yōu)策略時(shí)式(6)才能成立。

    在學(xué)習(xí)過程中,誤差信號(hào)為:

    [ΔQ=rt+γmaxa∈A{Q(st+1,at)-Q(st,a)}] (7) 式中[Q(st+1,at)]表示下一狀態(tài)所對應(yīng)的Q值[2,9?10]。

    2.2 改進(jìn)的強(qiáng)化學(xué)習(xí)算法

    在上述強(qiáng)化學(xué)習(xí)的原理上,為了提高系統(tǒng)自適應(yīng)度,從而推廣該算法的使用范圍,本文采用隨機(jī)辦法產(chǎn)生數(shù)組,并對動(dòng)作[a(t)]進(jìn)行尋優(yōu),其算法流程圖見圖3。

    圖3 算法流程圖

    由于雙曲正切函數(shù)在[-1,1]范圍內(nèi)有良好的性能,相應(yīng)的回報(bào)函數(shù)設(shè)定為:

    [r(t)=tanh Q(t)10] (8)

    對于PID參數(shù)取值優(yōu)劣的評價(jià),通??赡闷罘e分指標(biāo)來衡量。常用的偏差積分指標(biāo)有如下三個(gè):

    [IE=0∞e(t)dt] (9)

    [ISE=0∞e2(t)dt] (10)

    [IAE=0∞|e(t)|dt] (11)

    估計(jì)不同的過渡過程需要選擇不同的積分指標(biāo)函數(shù),如果著重于抑制過渡過程中的大偏差,則通常選用ISE準(zhǔn)則,而懲罰過渡時(shí)間過長的問題時(shí)則應(yīng)選擇ITAE準(zhǔn)則[11]。

    綜合考慮以上因素,本文選擇了IE與IAE的線性組合作為評價(jià)函數(shù):

    [V(t)=0∞e(t)dt+0∞|e(t)|dt10] (12)

    該算法實(shí)現(xiàn)了在其初始運(yùn)行階段(最初較大時(shí))進(jìn)行均勻搜索,而在其后期運(yùn)行階段(較接近于0時(shí))搜索范圍逐漸減小。滿足了初期大范圍,后期小范圍搜索的要求,有利于收斂于全局最優(yōu)值和提高搜索精度。

    改進(jìn)的強(qiáng)化學(xué)習(xí)PID調(diào)參,在線學(xué)習(xí)速度加快,從而提高了系統(tǒng)的快速性,且動(dòng)態(tài)性能指標(biāo)得到了優(yōu)化。

    3 仿真驗(yàn)證

    本文利用某型飛艇進(jìn)行仿真,飛艇初始狀態(tài)為水平平飛,高度H=2 000 m,速度V=20 m/s,只研究縱向,配平線性化后得到飛艇縱向的線性化方程為:

    [x=Ax+Buy=Cx] (13)

    式中:[x=[V,α,q,θ]],分別代表速度、迎角、俯仰角速度、俯仰角。

    給定俯仰角跟蹤指令[θg=10°],并且考慮縱向風(fēng)干擾,為簡化問題,假設(shè)風(fēng)干擾通過以下方式引入飛艇系統(tǒng):

    [v=v+vwq=q+qwa=a+aw] (14) 式中:[vw,qw,aw]是在風(fēng)對飛艇狀態(tài)的量化影響。

    對于改進(jìn)強(qiáng)化學(xué)習(xí)算法,設(shè)置仿真參數(shù)如下:[KP]取值范圍為[0,50];[KI]取值范圍為[0,0.5];[KD]取值范圍為[0,0.5];迭代次數(shù)選為100,系數(shù)[γ]選為0.9。

    分別用傳統(tǒng)離線設(shè)計(jì)好的PID控制器和改進(jìn)后基于強(qiáng)化學(xué)習(xí)在線調(diào)參的PID控制器進(jìn)行控制[10]。

    仿真結(jié)果如圖4所示。

    圖4 仿真結(jié)果圖

    從仿真結(jié)果可以看出,傳統(tǒng)離線設(shè)計(jì)好的控制器,在有風(fēng)干擾的條件下,難以實(shí)現(xiàn)俯仰跟蹤,而基于改進(jìn)強(qiáng)化學(xué)習(xí)的控制器,在風(fēng)干擾條件下,通過對參數(shù)的在線調(diào)整,實(shí)現(xiàn)了俯仰指令的跟蹤,各項(xiàng)指標(biāo)在可以接受的范圍內(nèi)。

    4 結(jié) 語

    本文在分析各個(gè)研究成果的基礎(chǔ)上,根據(jù) PID 控制器具有多目標(biāo)優(yōu)化的特點(diǎn),提出了改進(jìn)的強(qiáng)化學(xué)習(xí)的PID控制器參數(shù)整定算法,選擇了自適應(yīng)度大的個(gè)體所對應(yīng)的控制參數(shù)作為采樣時(shí)間下的參數(shù),對 PID 的參數(shù)進(jìn)行多目標(biāo)尋優(yōu),通過比較傳統(tǒng)強(qiáng)化學(xué)習(xí)算法,收斂速度更快,實(shí)時(shí)性更好,Matlab上的仿真結(jié)果表明,在 PID 參數(shù)的尋優(yōu)過程中,該改進(jìn)后的強(qiáng)化學(xué)習(xí)算法具有更強(qiáng)的尋優(yōu)能力。因此為PID控制系統(tǒng)提供了一種新的優(yōu)化方法。

    參考文獻(xiàn)

    [1] 張巍,盧宇清.基于在線自適應(yīng)遺傳算法的 PID參數(shù)整定和優(yōu)化[J].計(jì)算機(jī)仿真,2011(12):154?157.

    [2] 朱衛(wèi)華.基于強(qiáng)化學(xué)習(xí)PID控制器的柴油機(jī)調(diào)速仿真研究[D].哈爾濱:哈爾濱工程大學(xué),2011.

    [3] 陳丹,方康玲,陳喬禮.遺傳算法在 PID 參數(shù)優(yōu)化中的應(yīng)用[J].微計(jì)算機(jī)信息,2007,23(3):35?36.

    [4] 戰(zhàn)忠麗,王強(qiáng),陳顯亭.強(qiáng)化學(xué)習(xí)的模型,算法及應(yīng)用[J].電子科技,2011(1):47?49.

    [5] 王醒策,張汝波,顧國昌.基于強(qiáng)化學(xué)習(xí)的多機(jī)器人編隊(duì)方法研究[J].計(jì)算機(jī)工程,2002,28(6):15?16.

    [6] 姜沛然.基于模糊理論和強(qiáng)化學(xué)習(xí)的自主式水下機(jī)器人運(yùn)動(dòng)規(guī)劃技術(shù)[D].哈爾濱:哈爾濱工程大學(xué),2005.

    [7] 付成偉.基于分層強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃[D].哈爾濱:哈爾濱工程大學(xué),2008.

    [8] 徐莉.Q?learning 研究及其在AUV局部路徑規(guī)劃中的應(yīng)用[D].哈爾濱:哈爾濱工程大學(xué),2004.

    [9] 魏英姿,趙明揚(yáng).強(qiáng)化學(xué)習(xí)算法中啟發(fā)式回報(bào)函數(shù)的設(shè)計(jì)及其收斂性分析[J].計(jì)算機(jī)科學(xué),2005(3):190?193.

    [10] 張汝波,顧國昌,劉照德,等.強(qiáng)化學(xué)習(xí)理論,算法及應(yīng)用[J].控制理論與應(yīng)用,2000,17(5):637?640.

    [11] 田豐,邊婷婷.基于自適應(yīng)遺傳算法的交通信號(hào)配時(shí)優(yōu)化[J].計(jì)算機(jī)仿真,2010(6):305?308.

    Watkin有效地證明了Q?學(xué)習(xí)在特定條件下的收斂性。Q?學(xué)習(xí)可通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn),其中,每一個(gè)網(wǎng)絡(luò)的輸出對應(yīng)于一個(gè)動(dòng)作的Q值,即[Q(s,ai)]。實(shí)現(xiàn)Q?學(xué)習(xí)的關(guān)鍵是學(xué)習(xí)算法的確定。

    根據(jù)Q函數(shù)的定義:

    [Q(st+1,at)=rt+γmaxa∈A{Q(st+1,at)}] (6)

    只有達(dá)到最優(yōu)策略時(shí)式(6)才能成立。

    在學(xué)習(xí)過程中,誤差信號(hào)為:

    [ΔQ=rt+γmaxa∈A{Q(st+1,at)-Q(st,a)}] (7) 式中[Q(st+1,at)]表示下一狀態(tài)所對應(yīng)的Q值[2,9?10]。

    2.2 改進(jìn)的強(qiáng)化學(xué)習(xí)算法

    在上述強(qiáng)化學(xué)習(xí)的原理上,為了提高系統(tǒng)自適應(yīng)度,從而推廣該算法的使用范圍,本文采用隨機(jī)辦法產(chǎn)生數(shù)組,并對動(dòng)作[a(t)]進(jìn)行尋優(yōu),其算法流程圖見圖3。

    圖3 算法流程圖

    由于雙曲正切函數(shù)在[-1,1]范圍內(nèi)有良好的性能,相應(yīng)的回報(bào)函數(shù)設(shè)定為:

    [r(t)=tanh Q(t)10] (8)

    對于PID參數(shù)取值優(yōu)劣的評價(jià),通??赡闷罘e分指標(biāo)來衡量。常用的偏差積分指標(biāo)有如下三個(gè):

    [IE=0∞e(t)dt] (9)

    [ISE=0∞e2(t)dt] (10)

    [IAE=0∞|e(t)|dt] (11)

    估計(jì)不同的過渡過程需要選擇不同的積分指標(biāo)函數(shù),如果著重于抑制過渡過程中的大偏差,則通常選用ISE準(zhǔn)則,而懲罰過渡時(shí)間過長的問題時(shí)則應(yīng)選擇ITAE準(zhǔn)則[11]。

    綜合考慮以上因素,本文選擇了IE與IAE的線性組合作為評價(jià)函數(shù):

    [V(t)=0∞e(t)dt+0∞|e(t)|dt10] (12)

    該算法實(shí)現(xiàn)了在其初始運(yùn)行階段(最初較大時(shí))進(jìn)行均勻搜索,而在其后期運(yùn)行階段(較接近于0時(shí))搜索范圍逐漸減小。滿足了初期大范圍,后期小范圍搜索的要求,有利于收斂于全局最優(yōu)值和提高搜索精度。

    改進(jìn)的強(qiáng)化學(xué)習(xí)PID調(diào)參,在線學(xué)習(xí)速度加快,從而提高了系統(tǒng)的快速性,且動(dòng)態(tài)性能指標(biāo)得到了優(yōu)化。

    3 仿真驗(yàn)證

    本文利用某型飛艇進(jìn)行仿真,飛艇初始狀態(tài)為水平平飛,高度H=2 000 m,速度V=20 m/s,只研究縱向,配平線性化后得到飛艇縱向的線性化方程為:

    [x=Ax+Buy=Cx] (13)

    式中:[x=[V,α,q,θ]],分別代表速度、迎角、俯仰角速度、俯仰角。

    給定俯仰角跟蹤指令[θg=10°],并且考慮縱向風(fēng)干擾,為簡化問題,假設(shè)風(fēng)干擾通過以下方式引入飛艇系統(tǒng):

    [v=v+vwq=q+qwa=a+aw] (14) 式中:[vw,qw,aw]是在風(fēng)對飛艇狀態(tài)的量化影響。

    對于改進(jìn)強(qiáng)化學(xué)習(xí)算法,設(shè)置仿真參數(shù)如下:[KP]取值范圍為[0,50];[KI]取值范圍為[0,0.5];[KD]取值范圍為[0,0.5];迭代次數(shù)選為100,系數(shù)[γ]選為0.9。

    分別用傳統(tǒng)離線設(shè)計(jì)好的PID控制器和改進(jìn)后基于強(qiáng)化學(xué)習(xí)在線調(diào)參的PID控制器進(jìn)行控制[10]。

    仿真結(jié)果如圖4所示。

    圖4 仿真結(jié)果圖

    從仿真結(jié)果可以看出,傳統(tǒng)離線設(shè)計(jì)好的控制器,在有風(fēng)干擾的條件下,難以實(shí)現(xiàn)俯仰跟蹤,而基于改進(jìn)強(qiáng)化學(xué)習(xí)的控制器,在風(fēng)干擾條件下,通過對參數(shù)的在線調(diào)整,實(shí)現(xiàn)了俯仰指令的跟蹤,各項(xiàng)指標(biāo)在可以接受的范圍內(nèi)。

    4 結(jié) 語

    本文在分析各個(gè)研究成果的基礎(chǔ)上,根據(jù) PID 控制器具有多目標(biāo)優(yōu)化的特點(diǎn),提出了改進(jìn)的強(qiáng)化學(xué)習(xí)的PID控制器參數(shù)整定算法,選擇了自適應(yīng)度大的個(gè)體所對應(yīng)的控制參數(shù)作為采樣時(shí)間下的參數(shù),對 PID 的參數(shù)進(jìn)行多目標(biāo)尋優(yōu),通過比較傳統(tǒng)強(qiáng)化學(xué)習(xí)算法,收斂速度更快,實(shí)時(shí)性更好,Matlab上的仿真結(jié)果表明,在 PID 參數(shù)的尋優(yōu)過程中,該改進(jìn)后的強(qiáng)化學(xué)習(xí)算法具有更強(qiáng)的尋優(yōu)能力。因此為PID控制系統(tǒng)提供了一種新的優(yōu)化方法。

    參考文獻(xiàn)

    [1] 張巍,盧宇清.基于在線自適應(yīng)遺傳算法的 PID參數(shù)整定和優(yōu)化[J].計(jì)算機(jī)仿真,2011(12):154?157.

    [2] 朱衛(wèi)華.基于強(qiáng)化學(xué)習(xí)PID控制器的柴油機(jī)調(diào)速仿真研究[D].哈爾濱:哈爾濱工程大學(xué),2011.

    [3] 陳丹,方康玲,陳喬禮.遺傳算法在 PID 參數(shù)優(yōu)化中的應(yīng)用[J].微計(jì)算機(jī)信息,2007,23(3):35?36.

    [4] 戰(zhàn)忠麗,王強(qiáng),陳顯亭.強(qiáng)化學(xué)習(xí)的模型,算法及應(yīng)用[J].電子科技,2011(1):47?49.

    [5] 王醒策,張汝波,顧國昌.基于強(qiáng)化學(xué)習(xí)的多機(jī)器人編隊(duì)方法研究[J].計(jì)算機(jī)工程,2002,28(6):15?16.

    [6] 姜沛然.基于模糊理論和強(qiáng)化學(xué)習(xí)的自主式水下機(jī)器人運(yùn)動(dòng)規(guī)劃技術(shù)[D].哈爾濱:哈爾濱工程大學(xué),2005.

    [7] 付成偉.基于分層強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃[D].哈爾濱:哈爾濱工程大學(xué),2008.

    [8] 徐莉.Q?learning 研究及其在AUV局部路徑規(guī)劃中的應(yīng)用[D].哈爾濱:哈爾濱工程大學(xué),2004.

    [9] 魏英姿,趙明揚(yáng).強(qiáng)化學(xué)習(xí)算法中啟發(fā)式回報(bào)函數(shù)的設(shè)計(jì)及其收斂性分析[J].計(jì)算機(jī)科學(xué),2005(3):190?193.

    [10] 張汝波,顧國昌,劉照德,等.強(qiáng)化學(xué)習(xí)理論,算法及應(yīng)用[J].控制理論與應(yīng)用,2000,17(5):637?640.

    [11] 田豐,邊婷婷.基于自適應(yīng)遺傳算法的交通信號(hào)配時(shí)優(yōu)化[J].計(jì)算機(jī)仿真,2010(6):305?308.

    Watkin有效地證明了Q?學(xué)習(xí)在特定條件下的收斂性。Q?學(xué)習(xí)可通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn),其中,每一個(gè)網(wǎng)絡(luò)的輸出對應(yīng)于一個(gè)動(dòng)作的Q值,即[Q(s,ai)]。實(shí)現(xiàn)Q?學(xué)習(xí)的關(guān)鍵是學(xué)習(xí)算法的確定。

    根據(jù)Q函數(shù)的定義:

    [Q(st+1,at)=rt+γmaxa∈A{Q(st+1,at)}] (6)

    只有達(dá)到最優(yōu)策略時(shí)式(6)才能成立。

    在學(xué)習(xí)過程中,誤差信號(hào)為:

    [ΔQ=rt+γmaxa∈A{Q(st+1,at)-Q(st,a)}] (7) 式中[Q(st+1,at)]表示下一狀態(tài)所對應(yīng)的Q值[2,9?10]。

    2.2 改進(jìn)的強(qiáng)化學(xué)習(xí)算法

    在上述強(qiáng)化學(xué)習(xí)的原理上,為了提高系統(tǒng)自適應(yīng)度,從而推廣該算法的使用范圍,本文采用隨機(jī)辦法產(chǎn)生數(shù)組,并對動(dòng)作[a(t)]進(jìn)行尋優(yōu),其算法流程圖見圖3。

    圖3 算法流程圖

    由于雙曲正切函數(shù)在[-1,1]范圍內(nèi)有良好的性能,相應(yīng)的回報(bào)函數(shù)設(shè)定為:

    [r(t)=tanh Q(t)10] (8)

    對于PID參數(shù)取值優(yōu)劣的評價(jià),通??赡闷罘e分指標(biāo)來衡量。常用的偏差積分指標(biāo)有如下三個(gè):

    [IE=0∞e(t)dt] (9)

    [ISE=0∞e2(t)dt] (10)

    [IAE=0∞|e(t)|dt] (11)

    估計(jì)不同的過渡過程需要選擇不同的積分指標(biāo)函數(shù),如果著重于抑制過渡過程中的大偏差,則通常選用ISE準(zhǔn)則,而懲罰過渡時(shí)間過長的問題時(shí)則應(yīng)選擇ITAE準(zhǔn)則[11]。

    綜合考慮以上因素,本文選擇了IE與IAE的線性組合作為評價(jià)函數(shù):

    [V(t)=0∞e(t)dt+0∞|e(t)|dt10] (12)

    該算法實(shí)現(xiàn)了在其初始運(yùn)行階段(最初較大時(shí))進(jìn)行均勻搜索,而在其后期運(yùn)行階段(較接近于0時(shí))搜索范圍逐漸減小。滿足了初期大范圍,后期小范圍搜索的要求,有利于收斂于全局最優(yōu)值和提高搜索精度。

    改進(jìn)的強(qiáng)化學(xué)習(xí)PID調(diào)參,在線學(xué)習(xí)速度加快,從而提高了系統(tǒng)的快速性,且動(dòng)態(tài)性能指標(biāo)得到了優(yōu)化。

    3 仿真驗(yàn)證

    本文利用某型飛艇進(jìn)行仿真,飛艇初始狀態(tài)為水平平飛,高度H=2 000 m,速度V=20 m/s,只研究縱向,配平線性化后得到飛艇縱向的線性化方程為:

    [x=Ax+Buy=Cx] (13)

    式中:[x=[V,α,q,θ]],分別代表速度、迎角、俯仰角速度、俯仰角。

    給定俯仰角跟蹤指令[θg=10°],并且考慮縱向風(fēng)干擾,為簡化問題,假設(shè)風(fēng)干擾通過以下方式引入飛艇系統(tǒng):

    [v=v+vwq=q+qwa=a+aw] (14) 式中:[vw,qw,aw]是在風(fēng)對飛艇狀態(tài)的量化影響。

    對于改進(jìn)強(qiáng)化學(xué)習(xí)算法,設(shè)置仿真參數(shù)如下:[KP]取值范圍為[0,50];[KI]取值范圍為[0,0.5];[KD]取值范圍為[0,0.5];迭代次數(shù)選為100,系數(shù)[γ]選為0.9。

    分別用傳統(tǒng)離線設(shè)計(jì)好的PID控制器和改進(jìn)后基于強(qiáng)化學(xué)習(xí)在線調(diào)參的PID控制器進(jìn)行控制[10]。

    仿真結(jié)果如圖4所示。

    圖4 仿真結(jié)果圖

    從仿真結(jié)果可以看出,傳統(tǒng)離線設(shè)計(jì)好的控制器,在有風(fēng)干擾的條件下,難以實(shí)現(xiàn)俯仰跟蹤,而基于改進(jìn)強(qiáng)化學(xué)習(xí)的控制器,在風(fēng)干擾條件下,通過對參數(shù)的在線調(diào)整,實(shí)現(xiàn)了俯仰指令的跟蹤,各項(xiàng)指標(biāo)在可以接受的范圍內(nèi)。

    4 結(jié) 語

    本文在分析各個(gè)研究成果的基礎(chǔ)上,根據(jù) PID 控制器具有多目標(biāo)優(yōu)化的特點(diǎn),提出了改進(jìn)的強(qiáng)化學(xué)習(xí)的PID控制器參數(shù)整定算法,選擇了自適應(yīng)度大的個(gè)體所對應(yīng)的控制參數(shù)作為采樣時(shí)間下的參數(shù),對 PID 的參數(shù)進(jìn)行多目標(biāo)尋優(yōu),通過比較傳統(tǒng)強(qiáng)化學(xué)習(xí)算法,收斂速度更快,實(shí)時(shí)性更好,Matlab上的仿真結(jié)果表明,在 PID 參數(shù)的尋優(yōu)過程中,該改進(jìn)后的強(qiáng)化學(xué)習(xí)算法具有更強(qiáng)的尋優(yōu)能力。因此為PID控制系統(tǒng)提供了一種新的優(yōu)化方法。

    參考文獻(xiàn)

    [1] 張巍,盧宇清.基于在線自適應(yīng)遺傳算法的 PID參數(shù)整定和優(yōu)化[J].計(jì)算機(jī)仿真,2011(12):154?157.

    [2] 朱衛(wèi)華.基于強(qiáng)化學(xué)習(xí)PID控制器的柴油機(jī)調(diào)速仿真研究[D].哈爾濱:哈爾濱工程大學(xué),2011.

    [3] 陳丹,方康玲,陳喬禮.遺傳算法在 PID 參數(shù)優(yōu)化中的應(yīng)用[J].微計(jì)算機(jī)信息,2007,23(3):35?36.

    [4] 戰(zhàn)忠麗,王強(qiáng),陳顯亭.強(qiáng)化學(xué)習(xí)的模型,算法及應(yīng)用[J].電子科技,2011(1):47?49.

    [5] 王醒策,張汝波,顧國昌.基于強(qiáng)化學(xué)習(xí)的多機(jī)器人編隊(duì)方法研究[J].計(jì)算機(jī)工程,2002,28(6):15?16.

    [6] 姜沛然.基于模糊理論和強(qiáng)化學(xué)習(xí)的自主式水下機(jī)器人運(yùn)動(dòng)規(guī)劃技術(shù)[D].哈爾濱:哈爾濱工程大學(xué),2005.

    [7] 付成偉.基于分層強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃[D].哈爾濱:哈爾濱工程大學(xué),2008.

    [8] 徐莉.Q?learning 研究及其在AUV局部路徑規(guī)劃中的應(yīng)用[D].哈爾濱:哈爾濱工程大學(xué),2004.

    [9] 魏英姿,趙明揚(yáng).強(qiáng)化學(xué)習(xí)算法中啟發(fā)式回報(bào)函數(shù)的設(shè)計(jì)及其收斂性分析[J].計(jì)算機(jī)科學(xué),2005(3):190?193.

    [10] 張汝波,顧國昌,劉照德,等.強(qiáng)化學(xué)習(xí)理論,算法及應(yīng)用[J].控制理論與應(yīng)用,2000,17(5):637?640.

    [11] 田豐,邊婷婷.基于自適應(yīng)遺傳算法的交通信號(hào)配時(shí)優(yōu)化[J].計(jì)算機(jī)仿真,2010(6):305?308.

    猜你喜歡
    哈爾濱工程大學(xué)飛艇桌面
    桌面舞龍
    九大行星桌面擺件
    航空世界(2022年3期)2022-11-10 07:12:30
    Research on Real Meaning of American Dream in Great Gatsby
    速讀·中旬(2021年2期)2021-07-23 22:33:04
    基于APP在線控制雙擠出頭FDM桌面3D打印機(jī)的研制
    Research on Uranium Mining
    An Analysis of Mood System of Narrative Rock Song Lyrics and Its Interpersonal Functions
    派個(gè)飛艇去火星
    太空探索(2016年12期)2016-07-18 11:13:43
    飛艇的前世今生(下)
    飛艇的前世今生(中)
    飛艇的前世今生(上)
    十分钟在线观看高清视频www| 如何舔出高潮| 亚洲av男天堂| 波野结衣二区三区在线| 丰满饥渴人妻一区二区三| 啦啦啦中文免费视频观看日本| 亚洲激情五月婷婷啪啪| 91精品一卡2卡3卡4卡| 18禁观看日本| 色哟哟·www| av.在线天堂| 一个人免费看片子| 亚洲欧洲日产国产| 国产欧美日韩综合在线一区二区| 久久久国产精品麻豆| 晚上一个人看的免费电影| 国产精品熟女久久久久浪| 男男h啪啪无遮挡| 五月玫瑰六月丁香| 日韩伦理黄色片| 91午夜精品亚洲一区二区三区| 国产av码专区亚洲av| 久久精品熟女亚洲av麻豆精品| 国产精品麻豆人妻色哟哟久久| 欧美成人午夜免费资源| 亚洲欧美日韩另类电影网站| 日韩av免费高清视频| 久久99精品国语久久久| 亚洲国产精品一区二区三区在线| 国产白丝娇喘喷水9色精品| 黄色一级大片看看| 国产av一区二区精品久久| 国产免费又黄又爽又色| 欧美老熟妇乱子伦牲交| 国产成人一区二区在线| 九九爱精品视频在线观看| 久久久久网色| 青青草视频在线视频观看| 久久久久精品久久久久真实原创| 亚洲一区二区三区欧美精品| 亚洲在久久综合| 色5月婷婷丁香| 欧美日韩av久久| 色视频在线一区二区三区| 久久精品国产自在天天线| 久久免费观看电影| 十八禁网站网址无遮挡| av线在线观看网站| 国产毛片在线视频| 看免费成人av毛片| 国产av精品麻豆| 久久人妻熟女aⅴ| 国产精品.久久久| 国产精品一区二区三区四区免费观看| 大陆偷拍与自拍| 日韩在线高清观看一区二区三区| 夜夜爽夜夜爽视频| 欧美xxxx性猛交bbbb| 熟女人妻精品中文字幕| 五月天丁香电影| 国产免费视频播放在线视频| 男女边吃奶边做爰视频| xxx大片免费视频| 色吧在线观看| 亚洲综合色惰| 日韩中文字幕视频在线看片| 国产精品人妻久久久久久| 国精品久久久久久国模美| 国产成人精品婷婷| 亚洲国产av新网站| 国产精品国产三级专区第一集| 制服丝袜香蕉在线| 国产精品不卡视频一区二区| 亚洲少妇的诱惑av| 狠狠精品人妻久久久久久综合| 99久久精品国产国产毛片| 777米奇影视久久| 精品久久久久久久久亚洲| 久久99精品国语久久久| 免费看光身美女| www.av在线官网国产| 久久久精品免费免费高清| 亚洲图色成人| 妹子高潮喷水视频| 亚洲精品国产av成人精品| 久久99热这里只频精品6学生| 少妇的逼好多水| 国产精品一区二区在线不卡| 99九九线精品视频在线观看视频| 免费不卡的大黄色大毛片视频在线观看| 精品久久久久久久久亚洲| 亚洲av二区三区四区| 少妇高潮的动态图| 在线播放无遮挡| 丝袜喷水一区| 欧美变态另类bdsm刘玥| 乱人伦中国视频| 国产欧美日韩一区二区三区在线 | 国产免费视频播放在线视频| 日韩强制内射视频| 中国国产av一级| 精品久久蜜臀av无| 日日撸夜夜添| 久久久久视频综合| 国产一区亚洲一区在线观看| 一级,二级,三级黄色视频| 日本黄色日本黄色录像| 久久婷婷青草| 国产高清三级在线| 亚洲人成网站在线播| 久久精品夜色国产| 亚洲成人一二三区av| 黄色欧美视频在线观看| 久久狼人影院| 热99久久久久精品小说推荐| 成人午夜精彩视频在线观看| 伊人久久国产一区二区| 精品人妻一区二区三区麻豆| 一级爰片在线观看| 丰满饥渴人妻一区二区三| 国产成人aa在线观看| 欧美 亚洲 国产 日韩一| 亚洲色图综合在线观看| 777米奇影视久久| 日日撸夜夜添| 黑人高潮一二区| 亚洲国产精品专区欧美| 日本与韩国留学比较| 最新的欧美精品一区二区| 午夜福利在线观看免费完整高清在| 日韩熟女老妇一区二区性免费视频| 亚洲经典国产精华液单| 性高湖久久久久久久久免费观看| 亚洲精华国产精华液的使用体验| 精品久久久噜噜| 80岁老熟妇乱子伦牲交| 天堂中文最新版在线下载| 满18在线观看网站| av有码第一页| 一区二区三区四区激情视频| av免费观看日本| 18在线观看网站| 人妻夜夜爽99麻豆av| 午夜日本视频在线| 午夜日本视频在线| a级毛片在线看网站| 22中文网久久字幕| 一级毛片黄色毛片免费观看视频| 女人久久www免费人成看片| 久久精品国产亚洲av涩爱| 成年人免费黄色播放视频| 纵有疾风起免费观看全集完整版| 午夜福利在线观看免费完整高清在| 一级,二级,三级黄色视频| 亚洲精品亚洲一区二区| 久久久久久久久久久久大奶| 最新的欧美精品一区二区| 欧美精品一区二区免费开放| 欧美日韩精品成人综合77777| av免费在线看不卡| 七月丁香在线播放| 国产一区二区三区av在线| 国产极品天堂在线| 欧美人与性动交α欧美精品济南到 | 国产精品国产三级国产专区5o| 久久精品国产a三级三级三级| 国产成人午夜福利电影在线观看| 肉色欧美久久久久久久蜜桃| 欧美日韩精品成人综合77777| 亚洲国产欧美在线一区| 91在线精品国自产拍蜜月| 中文乱码字字幕精品一区二区三区| 中文字幕人妻熟人妻熟丝袜美| 精品亚洲成国产av| 精品人妻在线不人妻| 黄色配什么色好看| 美女大奶头黄色视频| 国产一区二区三区av在线| 国产一区二区三区av在线| 精品久久国产蜜桃| 一区二区三区乱码不卡18| 亚洲综合精品二区| 韩国高清视频一区二区三区| 国产乱人偷精品视频| 久久国产精品男人的天堂亚洲 | 国产爽快片一区二区三区| 国产色婷婷99| 80岁老熟妇乱子伦牲交| 免费大片黄手机在线观看| 在线播放无遮挡| 欧美变态另类bdsm刘玥| 欧美+日韩+精品| 中文字幕人妻丝袜制服| 日本-黄色视频高清免费观看| 日韩av在线免费看完整版不卡| 欧美日韩成人在线一区二区| 亚洲国产av影院在线观看| 黑人高潮一二区| 黑人猛操日本美女一级片| 男男h啪啪无遮挡| 男人爽女人下面视频在线观看| 欧美xxxx性猛交bbbb| 国产视频内射| 久久国产精品男人的天堂亚洲 | 久久精品国产鲁丝片午夜精品| 国产色爽女视频免费观看| 在线观看一区二区三区激情| 国产色爽女视频免费观看| 日韩视频在线欧美| 女性生殖器流出的白浆| 精品人妻偷拍中文字幕| 日韩大片免费观看网站| 国产片内射在线| 卡戴珊不雅视频在线播放| 国语对白做爰xxxⅹ性视频网站| 国产片特级美女逼逼视频| 99久国产av精品国产电影| 在线 av 中文字幕| 最近2019中文字幕mv第一页| 亚洲五月色婷婷综合| 韩国av在线不卡| 如何舔出高潮| 在线观看一区二区三区激情| 人人妻人人爽人人添夜夜欢视频| 女人久久www免费人成看片| 久久久久久久久久人人人人人人| 亚洲精品亚洲一区二区| 亚洲精品乱久久久久久| 99九九在线精品视频| 国产视频内射| 亚洲图色成人| 一个人看视频在线观看www免费| 精品国产露脸久久av麻豆| 91午夜精品亚洲一区二区三区| 亚洲国产av影院在线观看| 国产综合精华液| 91精品国产九色| 成年女人在线观看亚洲视频| av有码第一页| 三级国产精品欧美在线观看| 婷婷色综合大香蕉| 亚洲av电影在线观看一区二区三区| 母亲3免费完整高清在线观看 | 亚洲国产精品一区二区三区在线| 欧美精品一区二区大全| 日韩三级伦理在线观看| 国产成人av激情在线播放 | 男人爽女人下面视频在线观看| 丰满饥渴人妻一区二区三| 久热久热在线精品观看| 在线观看一区二区三区激情| 国产成人精品久久久久久| 久久精品国产自在天天线| 在线观看美女被高潮喷水网站| a 毛片基地| 一级爰片在线观看| 久久国产精品大桥未久av| 最近最新中文字幕免费大全7| 午夜福利视频精品| 女的被弄到高潮叫床怎么办| 99re6热这里在线精品视频| 在线观看免费日韩欧美大片 | 久久精品国产a三级三级三级| 黄色一级大片看看| av免费在线看不卡| 最后的刺客免费高清国语| 久久久久久久国产电影| 久久久久久久久久成人| 午夜日本视频在线| 黑人高潮一二区| av国产久精品久网站免费入址| 欧美 日韩 精品 国产| 在线精品无人区一区二区三| 又大又黄又爽视频免费| 久久久精品94久久精品| 最近的中文字幕免费完整| 久久狼人影院| 寂寞人妻少妇视频99o| 午夜久久久在线观看| 婷婷色综合www| 国产日韩欧美亚洲二区| 久久99一区二区三区| 少妇的逼好多水| 热99国产精品久久久久久7| 在线亚洲精品国产二区图片欧美 | 老司机影院毛片| 亚洲精品,欧美精品| 26uuu在线亚洲综合色| 91精品伊人久久大香线蕉| 十八禁高潮呻吟视频| 男女免费视频国产| 黑人猛操日本美女一级片| 久久精品久久久久久久性| .国产精品久久| 亚洲国产av影院在线观看| 久久综合国产亚洲精品| 韩国av在线不卡| 人妻一区二区av| 在线观看免费日韩欧美大片 | 欧美成人午夜免费资源| 成人免费观看视频高清| 欧美人与性动交α欧美精品济南到 | 五月伊人婷婷丁香| 国国产精品蜜臀av免费| a级毛色黄片| 两个人免费观看高清视频| 免费观看在线日韩| 亚洲国产av影院在线观看| 午夜免费鲁丝| 超碰97精品在线观看| 不卡视频在线观看欧美| 亚洲熟女精品中文字幕| 黄色毛片三级朝国网站| 另类精品久久| 国产精品一区二区三区四区免费观看| 久久久久精品久久久久真实原创| 亚洲国产精品一区三区| 国产精品99久久99久久久不卡 | 亚洲少妇的诱惑av| 久久亚洲国产成人精品v| 精品人妻偷拍中文字幕| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲综合精品二区| 中文字幕久久专区| 婷婷色麻豆天堂久久| 少妇的逼好多水| 日本欧美国产在线视频| 一级毛片aaaaaa免费看小| 久久99一区二区三区| 成人国产av品久久久| 免费高清在线观看日韩| 校园人妻丝袜中文字幕| av不卡在线播放| 天堂俺去俺来也www色官网| 青春草视频在线免费观看| 精品视频人人做人人爽| 哪个播放器可以免费观看大片| 免费观看无遮挡的男女| 久久久久久久久久久丰满| videossex国产| 午夜91福利影院| 99热全是精品| h视频一区二区三区| 精品熟女少妇av免费看| a级毛片在线看网站| 国产精品偷伦视频观看了| 黑人欧美特级aaaaaa片| 亚洲不卡免费看| 亚洲熟女精品中文字幕| 亚洲精品中文字幕在线视频| 亚洲熟女精品中文字幕| 婷婷成人精品国产| 91国产中文字幕| 99热全是精品| 久久久久国产精品人妻一区二区| 午夜福利网站1000一区二区三区| 免费日韩欧美在线观看| 黑丝袜美女国产一区| xxxhd国产人妻xxx| 黄色配什么色好看| 国产成人免费无遮挡视频| 久久久欧美国产精品| 午夜久久久在线观看| 久久久久久久久久久丰满| 日本午夜av视频| 免费看av在线观看网站| 亚洲av国产av综合av卡| 久久99热6这里只有精品| 日产精品乱码卡一卡2卡三| 王馨瑶露胸无遮挡在线观看| 欧美日韩综合久久久久久| 黄片播放在线免费| 日韩成人伦理影院| 午夜免费鲁丝| 91精品三级在线观看| av一本久久久久| 欧美变态另类bdsm刘玥| 亚洲av电影在线观看一区二区三区| 黑人巨大精品欧美一区二区蜜桃 | 蜜臀久久99精品久久宅男| 成年人午夜在线观看视频| 国产成人精品久久久久久| 午夜福利视频精品| 亚洲成人av在线免费| 国产高清国产精品国产三级| 蜜桃在线观看..| 男女高潮啪啪啪动态图| 少妇被粗大的猛进出69影院 | 又粗又硬又长又爽又黄的视频| 乱人伦中国视频| 国产一区二区在线观看av| 99久久人妻综合| 菩萨蛮人人尽说江南好唐韦庄| 乱人伦中国视频| 桃花免费在线播放| av在线老鸭窝| 啦啦啦在线观看免费高清www| 国产日韩欧美在线精品| 日本猛色少妇xxxxx猛交久久| 一级毛片aaaaaa免费看小| 精品久久国产蜜桃| 尾随美女入室| 久久青草综合色| 久久久欧美国产精品| 黑人猛操日本美女一级片| 久久久欧美国产精品| 欧美国产精品一级二级三级| 欧美老熟妇乱子伦牲交| 欧美日韩视频高清一区二区三区二| 国产午夜精品一二区理论片| 99九九线精品视频在线观看视频| 91精品一卡2卡3卡4卡| 在线观看美女被高潮喷水网站| 一个人看视频在线观看www免费| 亚洲精品国产色婷婷电影| 国产精品不卡视频一区二区| 成人18禁高潮啪啪吃奶动态图 | 99热这里只有是精品在线观看| 亚洲精品自拍成人| 亚洲国产色片| 母亲3免费完整高清在线观看 | 九九久久精品国产亚洲av麻豆| 纯流量卡能插随身wifi吗| 一区二区av电影网| 一个人免费看片子| 亚洲精品色激情综合| 青春草视频在线免费观看| 啦啦啦在线观看免费高清www| 一区二区日韩欧美中文字幕 | 久久午夜综合久久蜜桃| kizo精华| 91久久精品国产一区二区成人| 久久久国产精品麻豆| 高清不卡的av网站| 精品少妇黑人巨大在线播放| 啦啦啦中文免费视频观看日本| 国产白丝娇喘喷水9色精品| 亚洲欧洲精品一区二区精品久久久 | 高清黄色对白视频在线免费看| av国产精品久久久久影院| 国产探花极品一区二区| 亚洲成人手机| 全区人妻精品视频| 日韩亚洲欧美综合| 亚洲av中文av极速乱| 啦啦啦啦在线视频资源| 美女主播在线视频| 涩涩av久久男人的天堂| 大片电影免费在线观看免费| 秋霞伦理黄片| 日韩成人av中文字幕在线观看| 国产成人精品福利久久| 精品国产国语对白av| 国产成人精品久久久久久| 在线观看免费高清a一片| 亚洲无线观看免费| 免费观看av网站的网址| 人人妻人人澡人人看| 国产 精品1| 熟女电影av网| 日韩成人av中文字幕在线观看| 欧美精品高潮呻吟av久久| 日本av免费视频播放| 亚洲av免费高清在线观看| 成人亚洲欧美一区二区av| 欧美少妇被猛烈插入视频| tube8黄色片| 亚洲激情五月婷婷啪啪| 99久国产av精品国产电影| 久久精品人人爽人人爽视色| 欧美少妇被猛烈插入视频| 精品久久久噜噜| 午夜av观看不卡| 曰老女人黄片| 熟女电影av网| 精品少妇久久久久久888优播| 中文字幕久久专区| 免费播放大片免费观看视频在线观看| 国产黄色视频一区二区在线观看| 国产高清不卡午夜福利| 啦啦啦中文免费视频观看日本| 久久久精品免费免费高清| 97超视频在线观看视频| 国产精品久久久久久久久免| 久久久午夜欧美精品| 午夜91福利影院| 看十八女毛片水多多多| 成人18禁高潮啪啪吃奶动态图 | 少妇的逼水好多| 少妇人妻 视频| 超碰97精品在线观看| 成人毛片60女人毛片免费| 美女cb高潮喷水在线观看| 人妻一区二区av| 久久ye,这里只有精品| 久久婷婷青草| 99热网站在线观看| 18禁观看日本| 欧美亚洲 丝袜 人妻 在线| 亚洲精品日本国产第一区| 久久精品人人爽人人爽视色| 搡老乐熟女国产| 一级爰片在线观看| 国产国语露脸激情在线看| 亚洲精品456在线播放app| 免费大片黄手机在线观看| 9色porny在线观看| 嘟嘟电影网在线观看| 久久久久久久久久人人人人人人| 欧美三级亚洲精品| 久久97久久精品| 在线精品无人区一区二区三| 最近最新中文字幕免费大全7| 精品人妻一区二区三区麻豆| 搡女人真爽免费视频火全软件| 三上悠亚av全集在线观看| 男的添女的下面高潮视频| 99久久精品国产国产毛片| 久久女婷五月综合色啪小说| 亚洲综合精品二区| 夜夜看夜夜爽夜夜摸| 下体分泌物呈黄色| 欧美精品一区二区大全| 99热6这里只有精品| 免费高清在线观看视频在线观看| 久久人人爽人人片av| 亚洲精品aⅴ在线观看| 久久国产亚洲av麻豆专区| 国产精品99久久久久久久久| 亚洲精品国产色婷婷电影| 美女中出高潮动态图| 亚洲美女视频黄频| 国产精品久久久久久精品古装| 老司机影院毛片| 国产白丝娇喘喷水9色精品| 国产精品免费大片| 亚洲精品一区蜜桃| 精品国产一区二区久久| 热re99久久精品国产66热6| 国产黄频视频在线观看| 99久国产av精品国产电影| 天堂中文最新版在线下载| 日本欧美国产在线视频| 亚洲国产精品一区二区三区在线| 啦啦啦啦在线视频资源| 亚洲av.av天堂| 色5月婷婷丁香| 能在线免费看毛片的网站| 男的添女的下面高潮视频| 久久久久久人妻| 亚洲欧洲日产国产| 亚洲,欧美,日韩| 大香蕉97超碰在线| 亚洲色图 男人天堂 中文字幕 | 老司机亚洲免费影院| 中文欧美无线码| 亚洲第一av免费看| 97超视频在线观看视频| 亚洲欧美成人精品一区二区| 狂野欧美激情性xxxx在线观看| 人妻制服诱惑在线中文字幕| av国产精品久久久久影院| 美女脱内裤让男人舔精品视频| 韩国高清视频一区二区三区| 一本—道久久a久久精品蜜桃钙片| 一区二区日韩欧美中文字幕 | 黑人欧美特级aaaaaa片| 中文字幕人妻丝袜制服| 99热全是精品| 久久久久视频综合| 国产一区二区三区综合在线观看 | 美女视频免费永久观看网站| 国产成人免费观看mmmm| 一级毛片aaaaaa免费看小| 在线观看国产h片| 国产精品不卡视频一区二区| 久久99热这里只频精品6学生| 中国美白少妇内射xxxbb| 人人妻人人添人人爽欧美一区卜| 国产探花极品一区二区| 久久久久精品性色| 日韩伦理黄色片| 国产色婷婷99| 91久久精品国产一区二区成人| 满18在线观看网站| 晚上一个人看的免费电影| 精品久久久久久久久av| 在线观看一区二区三区激情| 国产精品国产三级国产av玫瑰| 国产精品久久久久久久久免| 日产精品乱码卡一卡2卡三| 国产老妇伦熟女老妇高清| 人妻夜夜爽99麻豆av| 午夜老司机福利剧场| 亚洲人成77777在线视频| 久久午夜综合久久蜜桃| 97超碰精品成人国产| 久久99热这里只频精品6学生| 亚洲精品美女久久av网站| 久久97久久精品| 久久精品人人爽人人爽视色| 一本大道久久a久久精品| 国产熟女欧美一区二区| 国产精品久久久久久精品电影小说| 精品国产露脸久久av麻豆| 美女国产高潮福利片在线看| 亚洲成色77777| 久久人人爽人人片av| 精品午夜福利在线看| 国产在线视频一区二区| 最近的中文字幕免费完整| 中国三级夫妇交换| 日本黄色日本黄色录像| 国产老妇伦熟女老妇高清| www.色视频.com|