• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    含未知動態(tài)與擾動的非線性系統(tǒng)神經(jīng)網(wǎng)絡(luò)嵌入學(xué)習(xí)控制

    2021-09-28 07:21:04閆一鳴徐東甫李志偉孫靈芳
    自動化學(xué)報 2021年8期
    關(guān)鍵詞:優(yōu)化方法系統(tǒng)

    馬 樂 閆一鳴 徐東甫 李志偉 ,2 孫靈芳

    非線性系統(tǒng)的高性能控制是控制科學(xué)與應(yīng)用中的重要研究問題[1].非線性系統(tǒng)普遍存在于如電機力矩控制、康復(fù)系統(tǒng)人機交互控制等應(yīng)用領(lǐng)域[2-3].由于非線性系統(tǒng)的復(fù)雜性,目前尚無如線性系統(tǒng)那樣較為完善的分析與設(shè)計體系[4].非線性系統(tǒng)的穩(wěn)定性分析、不確定性補償、擾動抑制與性能優(yōu)化是其中難點問題.特別是含有非線性動態(tài)與擾動因素的非線性系統(tǒng)控制性能優(yōu)化問題亟待解決.

    系統(tǒng)穩(wěn)定性是非線性控制的首要問題.基于Lyapunov 控制(Lyapunov-based control,LBC)是非線性系統(tǒng)控制器分析與設(shè)計的重要方法[5].其優(yōu)勢在于穩(wěn)定性分析證明能伴隨控制器設(shè)計同時生成,Backstepping 方法是其中代表方法[6].文獻[7]建立控制Lyapunov 函數(shù)(Control Lyapunov function,CLF),并利用Sontag 公式直接設(shè)計控制律,但通常尋找CLF 較為困難[8].雖然基于Lyapunov的分析與設(shè)計已被廣泛采用,但其分析相對困難.同時對于上述方法當(dāng)考慮不確定性與擾動等因素后,其穩(wěn)定性分析的復(fù)雜度將陡增.

    系統(tǒng)模型中的不確定性給分析與設(shè)計帶來較大困難.對于模型形式已知但參數(shù)未知的不確定問題,參數(shù)自適應(yīng)方法將參數(shù)誤差視作時序量加入Lyapunov 函數(shù),并建立參數(shù)自適應(yīng)律,實現(xiàn)對參數(shù)不確定性的自適應(yīng).針對參數(shù)量繁多或者模型形式未知問題,文獻[9]采用RBF (Radial basis function)神經(jīng)網(wǎng)絡(luò)作為系統(tǒng)模型中未知非線性項的逼近器,將未知非線性模型的逼近問題轉(zhuǎn)化為對RBF 網(wǎng)絡(luò)權(quán)值自適應(yīng)逼近問題.文獻[10]采用自適應(yīng)神經(jīng)網(wǎng)絡(luò)方法解決了切換互聯(lián)系統(tǒng)的非線性不確定問題,但未考慮控制增益的不確定性.文獻[11]將逼近器進一步改進為一種雙環(huán)遞歸神經(jīng)網(wǎng)絡(luò),該模型考慮了逼近模型的內(nèi)部時序狀態(tài),試圖增強網(wǎng)絡(luò)逼近能力.文獻[12]采用模糊邏輯方法作為未知非線性的逼近器.雖然上述方法能有效逼近系統(tǒng)未知非線性項[13],但不確定性可能產(chǎn)生較大的初始逼近誤差,影響系統(tǒng)動態(tài)性能.

    擾動可視為控制過程中產(chǎn)生的獨立于系統(tǒng)模型的不確定因素.雖然滑模與魯棒等控制方法對一定范圍內(nèi)擾動具有抑制能力[14],但缺乏對擾動必要的量化與補償機制[15].基于擾動觀測器(Disturbanceobserver-based control,DOBC)控制方法則采用估計擾動并加以補償?shù)闹苯蛹夹g(shù)路線[16].其中文獻[17]針對線性系統(tǒng)采用不確定擾動估計器(Uncertainty and disturbance estimator,UDE)同時估計不確定性與擾動并加以補償.文獻[18]在相關(guān)假設(shè)條件下,設(shè)計了針對死區(qū)非平滑問題的擾動觀測器.擴張狀態(tài)觀測器(Extended state observer,ESO)提出了一種 “總擾動”思想,即模型未知動態(tài)、控制增益不確定性與擾動的整體作用視作等效擾動加以估計[19-20].

    通過分析看出,圍繞上述問題展開的工作根本目的是保持控制系統(tǒng)穩(wěn)定.然而控制系統(tǒng)的暫態(tài)性能與穩(wěn)態(tài)誤差等因素也是控制品質(zhì)的重要指標(biāo).文獻[21]將反步控制與最優(yōu)控制結(jié)合,針對模型確定且無擾動的高階非線性系統(tǒng)逐步建立可學(xué)習(xí)的最優(yōu)控制器.文獻[22]結(jié)合辨識方法提出了自適應(yīng)迭代學(xué)習(xí)控制(Iterative learning control,ILC)方法,實現(xiàn)了位值時變線性系統(tǒng)控制.然而ILC 需要重復(fù)任務(wù)條件并且對擾動較為敏感[23].文獻[24] 采用Hammerstein 神經(jīng)網(wǎng)絡(luò)作為辨識模型,建立跟蹤誤差目標(biāo)函數(shù)在線調(diào)節(jié)PID (Proportion integral differential)神經(jīng)網(wǎng)絡(luò)控制器,然而辨識初始值和擾動等因素導(dǎo)致的辨識誤差會影響性能,甚至導(dǎo)致系統(tǒng)不穩(wěn)定.

    以上分析得出,非線性系統(tǒng)中的動態(tài)不確定性與擾動問題對于控制性能影響較大,目前研究僅集中在對上述因素的補償與抑制方面,對于帶有不確定性與擾動的控制問題缺乏有效的性能優(yōu)化手段.另一方面,近年來深度學(xué)習(xí)技術(shù)成績斐然[25],利用深度學(xué)習(xí)提升控制性能將是積極有效的途徑.文獻[26]采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)作為辨識器結(jié)合自適應(yīng)控制實現(xiàn)了直升機控制,在基于深度學(xué)習(xí)的性能優(yōu)化方面做出了嘗試.文獻[27]則采用卷積神經(jīng)網(wǎng)絡(luò)作為系統(tǒng)不確定項的逼近器并結(jié)合滑??刂茖崿F(xiàn)自適應(yīng)控制.基于確定性策略梯度的深度強化學(xué)習(xí)(Deep deterministic policy gradient,DDPG)對于深度Q 神經(jīng)網(wǎng)絡(luò)(Deep Q network,DQN)作出改進,使其能適用于狀態(tài)與控制輸出均為連續(xù)值的控制問題[28].文獻[29]對兩種深度強化學(xué)習(xí)控制的優(yōu)化能力作出了量化比較.然而大部分深度強化學(xué)習(xí)控制方法缺乏必要的穩(wěn)定性分析,在實際應(yīng)用中存在隱患,這也是該技術(shù)未能廣泛用于實際控制的原因之一[30].

    從上述分析看出,現(xiàn)有研究未能將深度學(xué)習(xí)充分應(yīng)用于控制問題中,主要原因如下:1)上述研究中深度神經(jīng)網(wǎng)絡(luò)的作用是作為未知動態(tài)的逼近器或辨識器,僅將問題轉(zhuǎn)為確定性系統(tǒng)控制,因此控制性能的上限僅為基礎(chǔ)控制器對于該確定性系統(tǒng)的性能;2) 作為逼近器的深度神經(jīng)網(wǎng)絡(luò)被簡化成了如RBF 函數(shù)的線性基函數(shù)形式[31],其內(nèi)部結(jié)構(gòu)與參數(shù)未能對系統(tǒng)性能優(yōu)化作出貢獻;3)多數(shù)深度強化學(xué)習(xí)控制缺乏必要的穩(wěn)定性分析,難以保證實際應(yīng)用穩(wěn)定.因此在穩(wěn)定條件下,如何充分靈活地利用深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與優(yōu)化優(yōu)勢提升非線性系統(tǒng)控制性能是值得深入研究的問題.

    綜上,本文寫作動機可描述為:針對具有未知動態(tài)與擾動的非線性系統(tǒng),在少量假設(shè)條件下建立既確保Lyapunov 穩(wěn)定,又簡潔靈活的學(xué)習(xí)控制器,同時該控制器能在無需辨識條件下利用深度學(xué)習(xí)技術(shù)進行在線優(yōu)化以實現(xiàn)性能提升.為此本文提出一種Lyapunov 穩(wěn)定的神經(jīng)網(wǎng)絡(luò)嵌入學(xué)習(xí)控制方法.

    本文主要工作內(nèi)容如下:

    1)提出了基于神經(jīng)網(wǎng)絡(luò)嵌入學(xué)習(xí)控制器設(shè)計方法,在已知Lyapunov 穩(wěn)定控制器中嵌入神經(jīng)網(wǎng)絡(luò)控制器構(gòu)成可優(yōu)化的學(xué)習(xí)控制器,并通過定理1證明新的控制器仍保證Lyapunov 穩(wěn)定.(詳見第1 節(jié))

    2)利用導(dǎo)數(shù)等價條件,建立改進的性能優(yōu)化目標(biāo)函數(shù),以用于學(xué)習(xí)控制器優(yōu)化.改進后的目標(biāo)函數(shù)可規(guī)避辨識環(huán)節(jié),直接利用輸出反饋優(yōu)化控制器.(詳見第2 節(jié))

    3)受文獻[19]啟發(fā),基于Lyapunov 方法直接建立未知非線性動態(tài)、時變擾動與控制增益不確定的等效值自適應(yīng)方法.(詳見第3 節(jié))

    本文主要創(chuàng)新貢獻如下:

    1)不同于現(xiàn)有方法,本文神經(jīng)網(wǎng)絡(luò)并非用于逼近系統(tǒng)非線性函數(shù),而是作為用于性能優(yōu)化的控制分量.在滿足Lyapunov 穩(wěn)定條件下,神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可任意構(gòu)造與調(diào)整,且無需額外的理論分析過程,從而解放了神經(jīng)網(wǎng)絡(luò)控制對模型形式的束縛.由于神經(jīng)網(wǎng)絡(luò)形式任意,因此大量的深度神經(jīng)網(wǎng)絡(luò)模型可簡單直接地嵌入控制器中,并仍保持Lyapunov穩(wěn)定,所以本文方法粘合了深度神經(jīng)網(wǎng)絡(luò)技術(shù)和控制理論與應(yīng)用的研究縫隙.

    2)改進的性能優(yōu)化目標(biāo)函數(shù)規(guī)避了辨識過程,從而避免了辨識誤差對控制的影響.同時因上述的穩(wěn)定性保證,可在線實現(xiàn)目標(biāo)函數(shù)優(yōu)化.

    3) 建立的值自適應(yīng)方法相比傳統(tǒng)方法,無需RBF 網(wǎng)絡(luò)等模型作為逼近器,同時具有更快的估計速度與精度.

    1 神經(jīng)網(wǎng)絡(luò)Lyapunov 穩(wěn)定嵌入

    設(shè)一類帶有模型不確定性與擾動的n階m維狀態(tài)反饋系統(tǒng)為S:x×u →x,其中x∈Rn×m為系統(tǒng)狀態(tài)向量,u∈Rm為系統(tǒng)控制輸入向量,第i(i=1,2,···,n-1) 階系統(tǒng)為=xi+1,第n階為:

    式中,F∈Rm為未知非線性函數(shù)向量,d∈Rm為有界未知擾動向量,b>0 為m階未知可逆對角常數(shù)矩陣.

    定理 1.設(shè)Lyapunov 函數(shù)V導(dǎo)數(shù)滿足:

    其中,B與M為以狀態(tài)x為變量的m維已知函數(shù)向量,φ為不含u的其余項之和.若滿足:1)存在基礎(chǔ)控制器ub使系統(tǒng)Lyapunov 穩(wěn)定,即<0;2)存在向量函數(shù)?滿足Bi?(Bi)≥0;3) 存在神經(jīng)網(wǎng)絡(luò)μ(·|θ)≥0,其中θ為神經(jīng)網(wǎng)絡(luò)全部可調(diào)參數(shù)構(gòu)成的列向量,則式(3)神經(jīng)網(wǎng)絡(luò)嵌入控制器對系統(tǒng)SLyapunov 穩(wěn)定.

    其中,°為Hadamard 積運算符.

    證明.將式(3)代入式(2)得:

    注 1.由式(3)看出,本文學(xué)習(xí)控制器是基于已有Lyapunov 穩(wěn)定的控制器建立,因此在應(yīng)用中本文方法的穩(wěn)定性分析難度較低.并且控制器對神經(jīng)網(wǎng)絡(luò)的形式無具體要求,僅需滿足網(wǎng)絡(luò)輸出非負(fù).確保該條件相對容易,僅需將網(wǎng)絡(luò)輸出層激活函數(shù)設(shè)置為非負(fù)函數(shù)即可.

    定理 2.對于系統(tǒng)S,設(shè)有給定基礎(chǔ)控制器ub與神經(jīng)網(wǎng)絡(luò)控制器μ(·|θ),根據(jù)式(3)構(gòu)成學(xué)習(xí)控制器的函數(shù)空間為,則對于任意表征系統(tǒng)控制性能的量度L(S,u) (小值更優(yōu)),均滿足:

    注 2.本文主旨并非求解最優(yōu)控制器,而是通過式(3)建立滿足式(5)的學(xué)習(xí)控制器.

    2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制器性能優(yōu)化

    第1 節(jié)論述方法將深度學(xué)習(xí)及優(yōu)化技術(shù)穩(wěn)定地引入到非線性控制中.得益于深度學(xué)習(xí)中自動求導(dǎo)技術(shù)與優(yōu)化方法,使研究者擺脫了繁雜參數(shù)推導(dǎo),研究者可針對問題本身專注于網(wǎng)絡(luò)結(jié)構(gòu)與優(yōu)化問題的設(shè)計中.因此神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制器性能優(yōu)化可歸結(jié)為對控制性能目標(biāo)函數(shù)的設(shè)計問題.為此建立能表征系統(tǒng)控制性能的目標(biāo)函數(shù).跟蹤誤差是控制問題的首要指標(biāo),因此需討論以其為優(yōu)化項的目標(biāo)函數(shù):

    其中,yd為系統(tǒng)當(dāng)前期望,y為系統(tǒng)當(dāng)前實際輸出,ψ為表征其他控制指標(biāo)正則項,且對控制器梯度已知.

    目前主流的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法為基于梯度的方法,式(6)LS對θ的梯度為:

    因此將式(6)修改為:

    其中,?>0 為可調(diào)小范數(shù)常值參數(shù)向量.根據(jù)式(8)得出,關(guān)于θ的梯度僅相差常數(shù)向量?,即:

    基于梯度的優(yōu)化方法在更新迭代時通常對梯度乘以某小值正數(shù),即學(xué)習(xí)律.因此可通過調(diào)節(jié)學(xué)習(xí)律來消除式(10)所述差異帶來的影響.特別是對單輸入–單輸出系統(tǒng),式(10)中的梯度差異問題可完全折算到學(xué)習(xí)律的調(diào)節(jié).綜上得出,對于梯度優(yōu)化方法,式(6)問題可等價為求解式(9)問題.

    式(9)相對于式(6)優(yōu)勢在于不需對輸入輸出進行建?;虮孀R,直接利用觀測輸出y,避免了估計誤差.同時由于改進后的優(yōu)化問題僅需輸出反饋并可單值優(yōu)化,因此控制器支持在線學(xué)習(xí).

    注 3.根據(jù)文獻[32]結(jié)論,對于單值優(yōu)化問題,學(xué)習(xí)律非敏感參數(shù),因此在應(yīng)用中若適當(dāng)選定學(xué)習(xí)率,即便對于多輸入多輸出問題,式(10)影響也可忽略.

    3 未知非線性與擾動等效值自適應(yīng)

    前兩節(jié)分析了Lyapunov 穩(wěn)定條件下神經(jīng)網(wǎng)絡(luò)嵌入與性能優(yōu)化方法,可將任意結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)嵌入基礎(chǔ)控制器中并利用其優(yōu)化控制性能.但本文方法的應(yīng)用前提是存在使系統(tǒng)穩(wěn)定的基礎(chǔ)控制器.由于式(1)描述系統(tǒng)中存在未知非線性項與未知控制增益等不確定性與擾動問題,因此基礎(chǔ)控制器設(shè)計中需對上述問題加以處理以確?;A(chǔ)控制器滿足穩(wěn)定條件.

    為此本節(jié)建立一種未知非線性與擾動的等效值自適應(yīng)方法.該方法的特點是無需逼近器模型,僅用值更新即可實現(xiàn)對未知時變不確定項的自適應(yīng).

    注 4.本節(jié)目的是建立對不確定性與擾動具有補償與抑制能力的基礎(chǔ)控制器,上述方法并不依賴于本節(jié)內(nèi)容.即任何保證式(1)描述系統(tǒng)的其他控制器都可以結(jié)合上述方法構(gòu)成神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制器.

    首先將式(1)變換為:

    其中,b0為m階已知對角常值矩陣.并定義:

    注 5.注意到自適應(yīng)律中采用了信號微分項,雖然文獻[33-34]中證明了該方法的合理性,但考慮實際信號中的噪聲問題,本文采用適當(dāng)微分器加以處理.關(guān)于微分器的收斂性可參見文獻[35].

    綜上,本文提出的針對未知非線性動態(tài)與擾動系統(tǒng)的神經(jīng)網(wǎng)絡(luò)嵌入學(xué)習(xí)控制器表示如下:

    4 仿真分析

    本節(jié)以帶有三角函數(shù)、死區(qū)與摩擦特性的一、二階非線性數(shù)值模型與實際物理模型進行仿真測試.全部仿真基于Python 框架,采用Pytorch 作為深度神經(jīng)網(wǎng)絡(luò)庫.本節(jié)與經(jīng)典RBF 自適應(yīng)控制和文獻[13]中自適應(yīng)方法作對比,以測試本文方法性能.仿真測試中神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與相關(guān)參數(shù)設(shè)置見附錄.

    4.1 數(shù)值模型算例

    算例1.考慮一階非線性系統(tǒng):

    其中,a=3.0,b=1.0.設(shè)計基礎(chǔ)控制器:

    其中,yd為控制期望.

    基于ub分別設(shè)計經(jīng)典RBF 自適應(yīng)、值自適應(yīng)、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)三種控制器(在值自適應(yīng)基礎(chǔ)上嵌入神經(jīng)網(wǎng)絡(luò)控制器),并比較仿真結(jié)果.其中統(tǒng)一取k=36,b0=2.0,RBF 核函數(shù)σ=1,在[-6,6]范圍內(nèi)等分取100 個核函數(shù)中心值,值自適應(yīng)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制采用自適應(yīng)方法估計f? 值,經(jīng)典RBF自適應(yīng)方法則采用徑向基函數(shù)估計.

    圖1 為期望軌跡yd=sin(t) 三種控制方法的仿真對比結(jié)果,以平均絕對誤差(Mean absolute error,MAE)為評價指標(biāo).圖1 結(jié)果顯示:1)雖然經(jīng)典RBF 方法的輸出響應(yīng)與控制輸入隨時間增加逐漸趨于本文方法,但本文的值自適應(yīng)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的跟蹤效果明顯優(yōu)于經(jīng)典RBF 方法.原因在于未知非線性函數(shù)導(dǎo)致RBF 初始估計與實際差別較大,同時RBF 估計收斂速度低于值自適應(yīng)方法,因此得出對于上述系統(tǒng)本文方法優(yōu)于經(jīng)典RBF 方法.2) 值自適應(yīng)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制方法的輸出基本一致,但后者的跟蹤誤差低于前者,因此得出對于上述系統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制方法能根據(jù)跟蹤誤差目標(biāo)函數(shù)調(diào)節(jié)神經(jīng)網(wǎng)絡(luò),實現(xiàn)控制性能優(yōu)化.

    圖1 算例1 控制性能結(jié)果Fig.1 The controllers performances of the Example 1

    算例2.再考慮帶有三角函數(shù)與死區(qū)的二階非線性系統(tǒng):

    其中,δ=0.1,a1=3.0,a2=6.0,b=3.0.

    根據(jù)式(20)設(shè)計基礎(chǔ)控制器:

    其中,e=yd-y.本算例中統(tǒng)一取k=10,b0=5,RBF核函數(shù)σ=1,在[-12,12]范圍內(nèi)分別對x1與x2進行10 等分取值,即取100 個c值,其他參數(shù)同上例.

    圖2 為yd=sin(t),d=0 三種控制方法的仿真對比結(jié)果.圖2 結(jié)果顯示:1)三種方法均能以較高精度實現(xiàn)式(23)系統(tǒng)的軌跡跟蹤,由圖2 (a)看出不同于前一算例,RBF 方法在波峰處輸出值高于期望,在波谷處低于期望,而其他兩種方法則與其相反,原因在于RBF 對的估計方式與本文提出方法不同,加之與前一算例的模型差異導(dǎo)致圖2 (a)效果;2)圖2 (b)中的控制輸入u的峰值與頻率均高于前一算例且出現(xiàn)震蕩,原因在于本算例系統(tǒng)階數(shù)增高且多出死區(qū)非線性,進而導(dǎo)致上述現(xiàn)象;3)三種方法的控制輸出幅值大體一致,跟蹤誤差排序仍為經(jīng)典RBF > 值自適應(yīng) > 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制.綜上得出,對于帶有三角函數(shù)與死區(qū)的二階非線性系統(tǒng),本文方法效果優(yōu)于經(jīng)典RBF 自適應(yīng)方法,且神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制方法能在不明顯提升控制輸出條件下優(yōu)化基準(zhǔn)控制器性能.

    圖2 算例2 控制性能結(jié)果Fig.2 The controllers performances of the Example 2

    算例3.上述模型加入如下擾動:

    其中,Gd=100.0,ωd=10.0,ξ(t) 為[-30,30] 隨機量(三種方法ξ(t) 相同).沿用前算例控制器進行仿真測試以比較三種方法在擾動條件下的性能,其中控制參數(shù)取k=35,b0=1.0.

    圖3 為yd=sin(t)+sin(0.5t) 三種控制方法的仿真對比結(jié)果.圖3 結(jié)果顯示:1)在強擾動條件下三種方法均實現(xiàn)對yd的穩(wěn)定跟蹤,但三種控制輸出均出現(xiàn)隨機震蕩,如圖3 (a),其原因在于施加的擾動中含有較大隨機擾動;2)圖3 (b)中的控制輸入u幅值范圍與頻率均高于前一算例且震蕩,原因在于yd高于前一算例且加入了高頻擾動,同時為了抑制強擾動,控制增益高于前例;3)三種方法控制輸出幅值大體一致,跟蹤誤差排序仍為經(jīng)典RBF >值自適應(yīng) > 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制.由此表明,在強擾動條件下本文方法對不確定性與擾動的補償和抑制能力優(yōu)于經(jīng)典RBF 自適應(yīng)方法,同時本文提出的嵌入神經(jīng)網(wǎng)絡(luò)控制器仍能優(yōu)化基準(zhǔn)控制器性能.

    圖3 算例3 控制性能結(jié)果Fig.3 The controllers performances of the Example 3

    4.2 物理模型仿真

    本節(jié)采用與第4.1 節(jié)不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)作為嵌入控制器(詳見附錄描述),對實際物理模型測試,并與文獻[13]方法(一種基于Backstepping 方法的神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制方法,下稱 “對比方法”)作對比以驗證本文方法的先進性.

    算例4.指數(shù)摩擦特性的電機轉(zhuǎn)矩控制模型如下:

    其中,θ為電機轉(zhuǎn)角(單位rad),ω為其角速度(單位rad/s),τ為控制輸入(單位 N ·m),fM為其非線性項,Tf為摩擦力.模型參數(shù)為:K=2.97,Kθ=0.25,T=0.632,Tc=0.2 N·m,Ts=0.3 N·m,α=1.0. 施加如式(25) 擾動,Gd=10.0,ωd=1.0,ξ為[-10,10]隨機數(shù).

    沿用前節(jié)方法構(gòu)造本文方法的基礎(chǔ)控制器,b0=1.0,k=50.0 (根據(jù)對比方法設(shè)置的參數(shù)k值),神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)見附錄.對于算例4,文獻[13]方法性能趨于最佳的參數(shù)設(shè)置如下:在[-10,10]范圍內(nèi)分別對x1,x2進行36 等分取值,即取1 296 個值作為對比方法中的RBF 神經(jīng)網(wǎng)絡(luò)節(jié)點中心值,設(shè)置對比方法的α1,α2分別為30.0 與50.0,其余參數(shù)見文獻[13].

    圖4 為yd=π sin(t) (rad)兩種方法的控制效果對比.從中看出:1)圖4 (a)顯示兩種方法均能快速穩(wěn)定實現(xiàn)軌跡跟蹤,然而對比方法在初始階段較本文方法有較大誤差(見第一次波峰波谷);2)圖4 (b)顯示兩種方法的控制輸入基本一致,本文方法較對比方法無明顯提升;3)圖4 (c)顯示本文方法的跟蹤誤差總體上低于對比方法.因此可得出本文方法對于算例4 的控制效果整體優(yōu)于對比方法.

    圖4 算例4 對比實驗控制性能結(jié)果Fig.4 The results for comparison test of control performances of the Example 4

    對比兩種方法的最大誤差(m ax|e|)、平均誤差(m ean|e|)、最大控制輸出(m ax|u|)、平均控制輸出(m ean|u|)、最大不確定與擾動估計誤差(m ax)與平均不確定與擾動估計誤差(m ean) 6 種量化指標(biāo),如表1.從表1 看出本文方法 m ax|e|低于對比方法 4 1.63%,m ean|e|低 于對比方法 41.66%,max|u|低于對比方法 2.63%,m ax低于對比方法 1 1.32%,mean低于對比方法 1 1.14%,僅 m ean|u|略高于對比方法 2.58%.

    表1 算例4 兩種方法控制性能統(tǒng)計數(shù)據(jù)對比Table 1 The comparison for control statistical indicators of two methods in the Example 4

    以上分析得出本文方法的控制性能整體優(yōu)于對比方法,原因如下:1)對比方法RBF 網(wǎng)絡(luò)僅為對不確定項的逼近,控制性能上限取決于Backstepping 控制器,同時初始時刻的未知動態(tài)與網(wǎng)絡(luò)估計值有較大差距,因此導(dǎo)致對比方法在第一次波峰、波谷階段的誤差較大;2)本文方法的值自適應(yīng)方法能夠較為快速地估計不確定性與擾動,因此在初始時刻誤差低于對比方法;3)本文方法的神經(jīng)網(wǎng)絡(luò)控制器中設(shè)計了前饋結(jié)構(gòu)對控制性能有積極貢獻,本文優(yōu)化方法能夠有效地調(diào)節(jié)網(wǎng)絡(luò)參數(shù)與輸出從而優(yōu)化控制性能.

    綜合以上算例得出,本文提出的值自適應(yīng)方法相比經(jīng)典RBF 方法對三角函數(shù)、死區(qū)與摩擦非線性和強擾動未知不確定系統(tǒng)具有更好的模型估計與擾動抑制能力,嵌入神經(jīng)網(wǎng)絡(luò)控制器能在不提升控制輸出幅值條件下優(yōu)化基準(zhǔn)控制器性能.性能優(yōu)化結(jié)果充分證實了第2 節(jié)中提出的梯度等效優(yōu)化方法的合理性與有效性.與對比方法的對比實驗結(jié)果表明,本文方法在對不確定與擾動的補償與抑制和控制性能優(yōu)化方面具有一定的先進性.算例中采用不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)構(gòu)建學(xué)習(xí)控制器,體現(xiàn)出基于本文方法引入的深度學(xué)習(xí)及優(yōu)化技術(shù)可針對具體控制問題靈活地設(shè)計與調(diào)整網(wǎng)絡(luò)結(jié)構(gòu).

    5 虛擬實驗分析

    前節(jié)已對本文方法控制性能作出較充分的比較分析,因此本節(jié)專注驗證本文方法解決實際問題的有效性.上肢康復(fù)機器人控制問題中涉及不確定性、擾動與性能優(yōu)化等方面,因此選擇該問題為應(yīng)用實例,針對神經(jīng)網(wǎng)絡(luò)的在線調(diào)節(jié)與訓(xùn)練后運行兩種方式的控制效果進行對比分析.本文基于CoppeliaSim 物理模擬系統(tǒng)搭建虛擬實驗平臺,如圖5 所示,本文中仿真控制周期為0.01 s,物理引擎選擇Bullet 2.87,精度設(shè)置為 “最高精度”.以下虛擬實驗基于Python 3.7 的控制周期均小于10 ms,即所有實驗的控制頻率可達到100 Hz 以上.

    圖5 CoppeliaSim 虛擬實驗示意圖Fig.5 The demonstration of virtual experiment in CoppeliaSim

    采用系統(tǒng)提供的Python 遠(yuǎn)程同步API (Application programming interface)方式實現(xiàn)控制.對于控制端物理虛擬系統(tǒng)模型及參數(shù)未知,因此機械臂關(guān)節(jié)控制模型表示為:

    其中,θJ為康復(fù)機器人主動關(guān)節(jié)角度(單位rad);ωJ為其角速度(單位rad/s);fJ為控制系統(tǒng)未知非線性動態(tài)項;bJ為關(guān)節(jié)未知轉(zhuǎn)動慣量(單位 k g·m2);τJ,dJ為關(guān)節(jié)控制力矩與未知擾動項.選定同前節(jié)的基礎(chǔ)控制器,分情況測試分析實際系統(tǒng)控制效果.

    5.1 不同體重康復(fù)者測試

    由于用戶個體差異,上肢體積與重量不盡相同,以至施加于系統(tǒng)的負(fù)載不同.分別選取偏瘦、中等、偏胖三種身形用戶,測試在不同負(fù)載條件下的控制性能.設(shè)主動軸角度期望軌跡為=0.3 sin(t)+y0,y0=2.7,訓(xùn)練方式經(jīng)5 min 運行完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練,兩種方式測試時間為1 min.

    本節(jié)基礎(chǔ)控制器沿用式(22),其中k=30.0,bJ=16.0 kg·m2,網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)見附錄.圖6 為不同身形用戶兩種方式的跟蹤誤差MAE與控制輸入幅值MAE的統(tǒng)計圖.從中可得出:1) 兩種方式對于不同身形用戶測試中均有有更低的控制誤差;2)兩種方式的控制輸入幅值基本相等,表明訓(xùn)練過程沒有明顯提升控制輸入幅值.

    圖6 不同體重康復(fù)者測試跟蹤誤差與控制輸入MAEFig.6 The MAE of tracking errors and control inputs for tests to rehabilitation clients with different weights

    5.2 不同康復(fù)任務(wù)性能測試

    不同康復(fù)人群需制定不同的方案以達到康復(fù)目的,為此選擇兩種關(guān)節(jié)康復(fù)軌跡測試不同康復(fù)任務(wù)的系統(tǒng)控制性能.設(shè)任務(wù)1 的康復(fù)軌跡為0.2 sin(t)+y0,y0=2.7;設(shè)任務(wù)2 的康復(fù)軌跡為δ=3.0.

    圖7 為不同任務(wù)軌跡的兩種方式跟蹤誤差MAE與控制輸入幅值MAE 統(tǒng)計圖.對于兩種任務(wù)軌跡,從圖中可得與前例類似結(jié)論.此外兩種方式對于任務(wù)2 的誤差高于任務(wù)1,原因之一在于任務(wù)2 在任務(wù)1 基礎(chǔ)上增加了飽和條件,因此飽和段跟蹤誤差會有所提高,可加大訓(xùn)練時長提升控制精度.

    圖7 不同康復(fù)任務(wù)測試跟蹤誤差與控制輸入MAEFig.7 The MAE of tracking errors and control inputs for tests to different rehabilitation tasks

    5.3 用戶異步擾動測試

    康復(fù)訓(xùn)練過程中,用戶可能自發(fā)運動上肢關(guān)節(jié),該運動可視為康復(fù)機器人系統(tǒng)擾動,或?qū)е屡c系統(tǒng)出現(xiàn)異步相位差.本例在虛擬康復(fù)運動中施加用戶關(guān)節(jié)動態(tài)力矩,該力矩通過手柄傳導(dǎo)作用于機器人主動關(guān)節(jié).設(shè)用戶上肢關(guān)節(jié)力矩為τd=0.1 sin(t) (N·m),期望軌跡為=0.2 sin(t)(rad).

    本節(jié)采用文獻[27] 中的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN) 控制和文獻[28] 中的深度強化學(xué)習(xí)控制(Deep reinforcement learning,DRL)方法作為對比方法,測試用戶異步擾動問題的控制性能.

    為使對比結(jié)果更具說服力,本測試中三種方法所需的神經(jīng)網(wǎng)絡(luò)被設(shè)置成相同的結(jié)構(gòu)與參數(shù).均采用如文獻[27] 中描述的兩層卷積神經(jīng)網(wǎng)絡(luò).輸入統(tǒng)一設(shè)置成由狀態(tài)向量時序組成的矩陣,第i行狀態(tài)向量為:τ(t-ζi+1)],其中ζi=Δt(i-1)(s),Δt=0.01 s,i=1,2,3,···,N為延遲時間常數(shù).本文N=6,因此本文卷積網(wǎng)絡(luò)的輸入維數(shù)為 6×5 矩陣,CNN 兩層卷積核數(shù)均為10,卷積核大小為 3×3. 此外本文方法其他參數(shù)同前節(jié).

    文獻[30]中DRL 方法的單次學(xué)習(xí)批數(shù)NBatch=50,獎勵函數(shù)γ設(shè)計如式(28),CNN 與DRL 方法其他相關(guān)參數(shù)設(shè)置見文獻[27-28].

    其中,e=J.

    圖8 為帶有康復(fù)者關(guān)節(jié)擾動的機器人控制對比實驗結(jié)果.需說明:1)因各方法的最大與平均控制轉(zhuǎn)矩輸出的絕對值基本相等,因此未出圖展示;2)圖中顯示的DRL 控制曲線是經(jīng)多次學(xué)習(xí)并收斂后(meanγ >0.99)的效果.從圖8 (a)看出所有方法均能快速穩(wěn)定地實現(xiàn)期望軌跡跟蹤,但從第一次波峰與波谷處曲線看出,CNN 與DRL 方法相對本文方法具有較大誤差,雖然本文方法在第一次波峰處有震蕩,但跟蹤誤差均小于對比方法.從末次波峰、波谷處曲線看出,DRL 方法的跟蹤誤差仍明顯高于其他方法,雖然CNN 方法比第一次波峰降低了誤差,但相對本文方法仍有一定差距.從圖8 (b)看出,由于初始時刻的系統(tǒng)不確定性與擾動作用,所有方法均出現(xiàn)不同程度的抖動,但本文方法整體誤差最小,CNN 居中,DRL 方法則出現(xiàn)了較大的單向誤差(誤差值全為正).圖8 (b)中的MAE 指標(biāo)(單位rad)分別為:本文方法在線效果 9.645×10-4,本文方法訓(xùn)練后效果 8.476×10-4,CNN 方法 4.003×10-3,DRL 方法 9.515×10-3,因此可看出本文方法控制精度明顯優(yōu)于對比方法,且經(jīng)訓(xùn)練后的控制精度高于在線精度.

    圖8 帶有康復(fù)者關(guān)節(jié)擾動的機器人控制對比實驗結(jié)果Fig.8 Comparison results of robot control methods for joint disturbances created by rehabilitation client

    上述對比實驗結(jié)果分析如下:1) DRL 方法的控制精度最低源于方法本身固有的優(yōu)化瓶頸問題,當(dāng)達到一定精度后因平均獎勵函數(shù)趨于上限(meanγ >0.99),導(dǎo)致精度提升逐漸緩慢,同時因缺乏穩(wěn)定性保障,DRL 方法探索學(xué)習(xí)具有一定的隨機性,在實際應(yīng)用中難免發(fā)生失控問題,該隨機性或造成了單向誤差現(xiàn)象;2)雖然CNN 相對RBF 具有模型優(yōu)勢,但文獻[28]中的CNN 方法僅用其逼近不確定項,未充分發(fā)揮CNN 模型上的優(yōu)勢,因此CNN 方法性能上限僅為基礎(chǔ)控制器對確定性系統(tǒng)的控制性;3)本文方法具有穩(wěn)定性保障和性能優(yōu)化手段,因此能在使用相同結(jié)構(gòu)與參數(shù)的CNN 網(wǎng)絡(luò)構(gòu)造控制器條件下,呈現(xiàn)較高精度效果.綜上,由對比實驗結(jié)果與分析得出,本文方法相較其他深度學(xué)習(xí)控制方法具有一定的先進性.

    由本節(jié)三類虛擬實驗結(jié)果得出,對上肢康復(fù)機器人控制系統(tǒng)問題,本文方法在系統(tǒng)非線性動態(tài)完全未知條件下對于用戶體重、任務(wù)類型與關(guān)節(jié)擾動等不確定非線性問題具有良好的控制性能,從而驗證了本文方法應(yīng)用于實際問題的有效性.經(jīng)過訓(xùn)練后的控制效果均優(yōu)于在線更新,進一步證實了本文提出的梯度等效優(yōu)化方法的有效性.因此可推測,實際應(yīng)用中本文方法可通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不斷優(yōu)化各實際工況的控制品質(zhì).同時與其他相關(guān)深度學(xué)習(xí)控制方法的對比實驗,證實了本文提出的神經(jīng)網(wǎng)絡(luò)嵌入與優(yōu)化方法對于實際系統(tǒng)控制具有一定的先進性.

    6 結(jié)束語

    通過分析與測試結(jié)果得出如下結(jié)論:1)本文方法通過神經(jīng)網(wǎng)絡(luò)控制器的嵌入在滿足Lyapunov 穩(wěn)定條件下有效地優(yōu)化了基準(zhǔn)控制器性能;2)改進的優(yōu)化目標(biāo)函數(shù)能夠有效地優(yōu)化跟蹤誤差性能,規(guī)避了辨識環(huán)節(jié)并支持在線學(xué)習(xí);3)本文方法對函數(shù)時變與隨機擾動具有較強的抑制能力,對非線性系統(tǒng)的未知動態(tài)項具有良好的估計能力.綜上,本文提出方法相對傳統(tǒng)方法在性能優(yōu)化、不確定性與擾動的補償與抑制方面具有實用性和一定的先進性.

    未來將從如下方面開展工作:1)將方法適用范圍擴展至輸出反饋系統(tǒng);2)引入其他控制性能指標(biāo)并設(shè)計相應(yīng)的優(yōu)化函數(shù);3) 擴展應(yīng)用領(lǐng)域至多輸入–多輸出系統(tǒng).

    附錄A.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)說明

    本部分主要描述仿真與實驗部分設(shè)計的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、函數(shù)、參數(shù)等相關(guān)細(xì)節(jié).

    首先對于式(3)中涉及的?函數(shù),本文采用改進的sigmoid 函數(shù):

    其中,α≥1 為增益系數(shù),λ>0 為縮放系數(shù).選擇該函數(shù)理由為其導(dǎo)數(shù)相對平坦,且增益與有效區(qū)域可調(diào).

    仿真與實驗中采用了不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)以說明本文方法對于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的廣泛適用性.

    圖A1 為仿真測試中算例1~3 和5.1 節(jié)、5.2 節(jié)中采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).該結(jié)構(gòu)屬于一種前向多層感知器,其中X為網(wǎng)絡(luò)輸入向量;μ為網(wǎng)絡(luò)輸出向量,其具體含義為嵌入學(xué)習(xí)控制器的輸出量;W與G分別為網(wǎng)絡(luò)可調(diào)權(quán)值矩陣(以W與G全部參數(shù)構(gòu)成的向量即式(3)中的θ);H與Y為網(wǎng)絡(luò)中間向量.Γ為激活函數(shù),本文采用LeakyReLU 函數(shù):Γ(x)=max(βx,x),β=0.18.

    圖A1 算例1~3 與5.1 節(jié)、5.2 節(jié)學(xué)習(xí)控制器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.A1 The architecture of neural network of learning controller in exmples 1~3 and subsection 5.1~5.2

    從輸入X到嵌入控制器輸出μ關(guān)系式如下:

    算例1~3 網(wǎng)絡(luò)輸入X為 [x1,x2,yd,,u(t-ζ)]T,其中x1,x2,yd,,u分別為算例1~3 中的狀態(tài)變量、期望輸出及其導(dǎo)數(shù)和控制輸出,ζ(ζ=0.01 s)為延遲參數(shù).5.1 節(jié)和5.2 節(jié)中,網(wǎng)絡(luò)輸入分別為機械臂關(guān)節(jié)角度、角速度、關(guān)節(jié)期望角度及其導(dǎo)數(shù)和關(guān)節(jié)控制轉(zhuǎn)矩.

    因此W,G維度分別為hi×5,hi×1,hi表示第4節(jié)中算例i所對應(yīng)的向量H的維度,分別為 18,36,30.5.1節(jié)和5.2 節(jié)向量H的維度分別為 36 與30,采用Adamax作為優(yōu)化方法.

    圖A2 為算例4 中本文方法采用的嵌入神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)屬于一種變形的MLP (Multi-layer perceptron)結(jié)構(gòu).考慮了控制中的前饋機制,該網(wǎng)絡(luò)在圖A1 的網(wǎng)絡(luò)內(nèi)加入了一條前饋支路構(gòu)成了分層MLP 網(wǎng)絡(luò).其中Xf與Xb為網(wǎng)絡(luò)輸入向量,μ為網(wǎng)絡(luò)輸出,含義同上.Wf,Wb,Gf與Gb為網(wǎng)絡(luò)權(quán)值矩陣,上述4 個矩陣全部元素構(gòu)成的向量即為網(wǎng)絡(luò)的參數(shù)向量θ.Hf,Hb,Yf,Yb和Y為網(wǎng)絡(luò)中間向量.Γ函數(shù)同上一模型.

    圖A2 算例4 學(xué)習(xí)控制器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.A2 The architecture of neural network of learning controller in the example 4

    從輸入Xf,Xb到嵌入控制器輸出μ關(guān)系式如下:

    附錄B.關(guān)鍵變量與符號說明

    表B1Table B1

    表B2Table B2

    表B3Table B3

    猜你喜歡
    優(yōu)化方法系統(tǒng)
    Smartflower POP 一體式光伏系統(tǒng)
    超限高層建筑結(jié)構(gòu)設(shè)計與優(yōu)化思考
    民用建筑防煙排煙設(shè)計優(yōu)化探討
    關(guān)于優(yōu)化消防安全告知承諾的一些思考
    一道優(yōu)化題的幾何解法
    WJ-700無人機系統(tǒng)
    ZC系列無人機遙感系統(tǒng)
    北京測繪(2020年12期)2020-12-29 01:33:58
    連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
    可能是方法不對
    用對方法才能瘦
    Coco薇(2016年2期)2016-03-22 02:42:52
    亚洲国产欧美人成| 国产真实乱freesex| 免费人成视频x8x8入口观看| 色综合站精品国产| 国产精品九九99| АⅤ资源中文在线天堂| 18禁国产床啪视频网站| 亚洲男人天堂网一区| 国产av一区二区精品久久| 久久精品国产清高在天天线| 午夜免费观看网址| 欧美黄色片欧美黄色片| 一区福利在线观看| 国产午夜福利久久久久久| 国产99白浆流出| 91字幕亚洲| 精品国产超薄肉色丝袜足j| 91九色精品人成在线观看| www日本在线高清视频| 国产亚洲精品综合一区在线观看 | 色老头精品视频在线观看| 国产精品乱码一区二三区的特点| 特级一级黄色大片| 色综合婷婷激情| 天天一区二区日本电影三级| 亚洲午夜精品一区,二区,三区| 精品不卡国产一区二区三区| 日韩免费av在线播放| 久久人人精品亚洲av| 男人舔女人下体高潮全视频| 99久久精品热视频| 国产高清视频在线观看网站| 欧美一区二区国产精品久久精品 | aaaaa片日本免费| 欧美3d第一页| 法律面前人人平等表现在哪些方面| 91大片在线观看| 一区二区三区国产精品乱码| 久久精品亚洲精品国产色婷小说| 国产精品一区二区三区四区免费观看 | 亚洲国产欧美一区二区综合| 又大又爽又粗| 午夜精品在线福利| 狂野欧美白嫩少妇大欣赏| 久久这里只有精品19| 成年免费大片在线观看| 女人被狂操c到高潮| svipshipincom国产片| 正在播放国产对白刺激| 男女那种视频在线观看| 国内精品久久久久精免费| 久久精品国产综合久久久| 超碰成人久久| 国语自产精品视频在线第100页| 女同久久另类99精品国产91| 亚洲最大成人中文| 日韩国内少妇激情av| 老熟妇乱子伦视频在线观看| 麻豆成人av在线观看| 精品电影一区二区在线| 成人三级黄色视频| 他把我摸到了高潮在线观看| 国产三级黄色录像| 欧美日韩乱码在线| 亚洲aⅴ乱码一区二区在线播放 | 岛国在线观看网站| av免费在线观看网站| 精品国产亚洲在线| 男女午夜视频在线观看| 久久精品国产亚洲av香蕉五月| 国产精品av视频在线免费观看| 久久久久久久久久黄片| 视频区欧美日本亚洲| 亚洲熟妇熟女久久| av在线天堂中文字幕| 国产精品自产拍在线观看55亚洲| 色播亚洲综合网| 成人手机av| 亚洲欧美激情综合另类| 法律面前人人平等表现在哪些方面| 久久久久久久久免费视频了| 看片在线看免费视频| 女人被狂操c到高潮| 国产麻豆成人av免费视频| av片东京热男人的天堂| 91麻豆av在线| 一级毛片女人18水好多| 特级一级黄色大片| 全区人妻精品视频| 好男人电影高清在线观看| 日韩精品免费视频一区二区三区| 美女黄网站色视频| 国产精品精品国产色婷婷| www.www免费av| 给我免费播放毛片高清在线观看| 国产成人一区二区三区免费视频网站| 欧美3d第一页| 国产成人欧美在线观看| 可以免费在线观看a视频的电影网站| 蜜桃久久精品国产亚洲av| 精品一区二区三区av网在线观看| 好看av亚洲va欧美ⅴa在| 国产伦一二天堂av在线观看| 精品不卡国产一区二区三区| av天堂在线播放| 宅男免费午夜| 琪琪午夜伦伦电影理论片6080| 国产高清有码在线观看视频 | 久久草成人影院| 在线播放国产精品三级| 精品国产乱子伦一区二区三区| 国产成+人综合+亚洲专区| 亚洲欧美精品综合一区二区三区| 日韩欧美 国产精品| 男人舔奶头视频| 天天躁狠狠躁夜夜躁狠狠躁| 国产一区二区在线观看日韩 | 69av精品久久久久久| 91国产中文字幕| 亚洲人成电影免费在线| 精品午夜福利视频在线观看一区| 啦啦啦观看免费观看视频高清| 岛国在线观看网站| 悠悠久久av| 久久这里只有精品中国| 国产精品一及| АⅤ资源中文在线天堂| 国产成人精品无人区| 别揉我奶头~嗯~啊~动态视频| 国产成人欧美在线观看| 亚洲第一电影网av| 欧美最黄视频在线播放免费| 女人爽到高潮嗷嗷叫在线视频| 777久久人妻少妇嫩草av网站| 亚洲色图av天堂| 日韩精品青青久久久久久| 一区福利在线观看| 亚洲av成人av| 我要搜黄色片| 久久精品91无色码中文字幕| 热99re8久久精品国产| 成人18禁在线播放| 人妻丰满熟妇av一区二区三区| 麻豆一二三区av精品| 成年版毛片免费区| 777久久人妻少妇嫩草av网站| 午夜福利高清视频| 一级a爱片免费观看的视频| 久久精品国产清高在天天线| 99国产综合亚洲精品| 亚洲av第一区精品v没综合| 一边摸一边抽搐一进一小说| tocl精华| 久久草成人影院| 国产精品电影一区二区三区| 在线观看免费视频日本深夜| 欧美一区二区精品小视频在线| 久久婷婷人人爽人人干人人爱| 长腿黑丝高跟| 69av精品久久久久久| 国产成人aa在线观看| 欧美人与性动交α欧美精品济南到| 免费看日本二区| 一级毛片女人18水好多| 亚洲一区中文字幕在线| 91字幕亚洲| 1024香蕉在线观看| 99精品欧美一区二区三区四区| 女生性感内裤真人,穿戴方法视频| 两个人视频免费观看高清| 午夜福利在线观看吧| 国产日本99.免费观看| 日韩欧美国产在线观看| 91在线观看av| 日本黄色视频三级网站网址| 成人三级黄色视频| 国产精品免费一区二区三区在线| 亚洲熟妇熟女久久| 我要搜黄色片| 欧美乱妇无乱码| 美女扒开内裤让男人捅视频| 国产1区2区3区精品| 黄色成人免费大全| 91字幕亚洲| 日韩欧美三级三区| 嫩草影视91久久| 此物有八面人人有两片| 亚洲国产看品久久| videosex国产| 在线观看免费日韩欧美大片| 亚洲一区高清亚洲精品| 精品久久久久久久人妻蜜臀av| 国产精品亚洲一级av第二区| 亚洲真实伦在线观看| 午夜激情福利司机影院| 亚洲avbb在线观看| 国产探花在线观看一区二区| 亚洲天堂国产精品一区在线| 成人永久免费在线观看视频| 日日夜夜操网爽| 免费无遮挡裸体视频| 又粗又爽又猛毛片免费看| 国产精品香港三级国产av潘金莲| 久久久久久国产a免费观看| 一级片免费观看大全| 最新在线观看一区二区三区| 亚洲 欧美一区二区三区| 精品少妇一区二区三区视频日本电影| 免费看a级黄色片| www.999成人在线观看| 亚洲aⅴ乱码一区二区在线播放 | 亚洲av五月六月丁香网| 国产精品久久久久久亚洲av鲁大| 国产精品一区二区三区四区久久| 亚洲av熟女| 夜夜夜夜夜久久久久| 脱女人内裤的视频| 亚洲av五月六月丁香网| 人人妻人人澡欧美一区二区| 欧美黑人欧美精品刺激| 中国美女看黄片| 国产成人欧美在线观看| 亚洲av片天天在线观看| 99精品在免费线老司机午夜| 亚洲av五月六月丁香网| 成人国产一区最新在线观看| 亚洲av美国av| 啪啪无遮挡十八禁网站| 午夜福利成人在线免费观看| 国产成+人综合+亚洲专区| 国产男靠女视频免费网站| АⅤ资源中文在线天堂| 91国产中文字幕| 正在播放国产对白刺激| 免费无遮挡裸体视频| 国产一区二区在线观看日韩 | 亚洲第一电影网av| 欧美日韩精品网址| 国产真人三级小视频在线观看| 亚洲av电影在线进入| 可以在线观看的亚洲视频| 黑人欧美特级aaaaaa片| 国产精品亚洲一级av第二区| 国产精品久久久人人做人人爽| 99久久无色码亚洲精品果冻| www国产在线视频色| 女人爽到高潮嗷嗷叫在线视频| 欧美+亚洲+日韩+国产| 亚洲国产欧美人成| 后天国语完整版免费观看| 女警被强在线播放| 久久久久性生活片| 国产成人欧美在线观看| 亚洲国产精品久久男人天堂| 国内久久婷婷六月综合欲色啪| 国产高清videossex| 正在播放国产对白刺激| 国产成人av激情在线播放| 日日夜夜操网爽| 天天一区二区日本电影三级| 不卡av一区二区三区| 国产免费男女视频| www日本在线高清视频| 小说图片视频综合网站| 身体一侧抽搐| 大型黄色视频在线免费观看| 午夜免费成人在线视频| 午夜福利在线在线| 亚洲美女黄片视频| 在线观看一区二区三区| 香蕉av资源在线| 久久久久久久午夜电影| 90打野战视频偷拍视频| 亚洲精品中文字幕一二三四区| 精品久久久久久久末码| 色精品久久人妻99蜜桃| 男插女下体视频免费在线播放| 级片在线观看| 久久香蕉精品热| 欧美黑人欧美精品刺激| 69av精品久久久久久| 日本三级黄在线观看| 全区人妻精品视频| 88av欧美| 亚洲成人久久爱视频| 中文字幕av在线有码专区| 男女午夜视频在线观看| 午夜亚洲福利在线播放| www国产在线视频色| 国产午夜精品论理片| 国产高清视频在线播放一区| av天堂在线播放| 天天添夜夜摸| 欧美色欧美亚洲另类二区| 亚洲一区二区三区不卡视频| 婷婷精品国产亚洲av在线| 亚洲18禁久久av| 国产亚洲av嫩草精品影院| 在线播放国产精品三级| 久久久久国产精品人妻aⅴ院| 精品久久久久久,| 日日干狠狠操夜夜爽| 亚洲男人的天堂狠狠| 国产精品1区2区在线观看.| 国产精品久久久人人做人人爽| 嫁个100分男人电影在线观看| 50天的宝宝边吃奶边哭怎么回事| 成人av一区二区三区在线看| 亚洲国产欧洲综合997久久,| 久久性视频一级片| 成人一区二区视频在线观看| 国产高清视频在线播放一区| 久久久久久久午夜电影| 精品一区二区三区四区五区乱码| 中文字幕av在线有码专区| 国产三级在线视频| 日本a在线网址| 国产v大片淫在线免费观看| 亚洲色图av天堂| 丰满的人妻完整版| 在线观看免费日韩欧美大片| 亚洲欧美日韩高清在线视频| 悠悠久久av| 中文字幕熟女人妻在线| 欧美丝袜亚洲另类 | 黄色视频不卡| 亚洲人与动物交配视频| 久久精品亚洲精品国产色婷小说| 国产又色又爽无遮挡免费看| 久久精品国产亚洲av高清一级| 成年女人毛片免费观看观看9| 亚洲最大成人中文| 国产精品久久久人人做人人爽| 久久精品国产亚洲av高清一级| 黄色丝袜av网址大全| 欧美日韩黄片免| 琪琪午夜伦伦电影理论片6080| 别揉我奶头~嗯~啊~动态视频| 中文字幕av在线有码专区| 男女午夜视频在线观看| 午夜亚洲福利在线播放| 一进一出抽搐动态| 校园春色视频在线观看| 啦啦啦韩国在线观看视频| 亚洲av成人一区二区三| 国产精品国产高清国产av| 在线a可以看的网站| 久久久久久九九精品二区国产 | 十八禁人妻一区二区| 桃色一区二区三区在线观看| 国产人伦9x9x在线观看| 中文资源天堂在线| 黄色成人免费大全| 成人国产一区最新在线观看| 国产精品av视频在线免费观看| 中文字幕熟女人妻在线| 18禁裸乳无遮挡免费网站照片| 亚洲一区高清亚洲精品| 99精品在免费线老司机午夜| 国产精品1区2区在线观看.| 久久久久亚洲av毛片大全| 日韩欧美一区二区三区在线观看| 日韩高清综合在线| 国产精品电影一区二区三区| 丁香欧美五月| 午夜免费激情av| 女人爽到高潮嗷嗷叫在线视频| 欧美午夜高清在线| 国产精品美女特级片免费视频播放器 | 国产一区二区三区在线臀色熟女| 免费看日本二区| 一级黄色大片毛片| 国产黄a三级三级三级人| www国产在线视频色| 久热爱精品视频在线9| 国产亚洲欧美在线一区二区| 国产精品亚洲av一区麻豆| 黄色成人免费大全| 亚洲人成77777在线视频| 国产av一区在线观看免费| 此物有八面人人有两片| 亚洲黑人精品在线| 1024手机看黄色片| 日韩国内少妇激情av| 美女黄网站色视频| 三级毛片av免费| 777久久人妻少妇嫩草av网站| 亚洲av成人av| 成年免费大片在线观看| 不卡av一区二区三区| 18禁国产床啪视频网站| 亚洲欧美激情综合另类| 黄色成人免费大全| 国产亚洲欧美在线一区二区| 精品久久久久久成人av| 国产精品久久久久久久电影 | www日本在线高清视频| 欧美黑人欧美精品刺激| 国产日本99.免费观看| 亚洲最大成人中文| 国产精品一区二区三区四区久久| 欧美丝袜亚洲另类 | 久久久久国产一级毛片高清牌| 精品一区二区三区视频在线观看免费| 午夜福利免费观看在线| www.精华液| 老熟妇仑乱视频hdxx| 欧美在线一区亚洲| 国产精品电影一区二区三区| 一级a爱片免费观看的视频| 久久亚洲真实| 亚洲国产欧美网| 两个人免费观看高清视频| 国产熟女午夜一区二区三区| 757午夜福利合集在线观看| 九色成人免费人妻av| 免费看美女性在线毛片视频| 久久国产精品人妻蜜桃| 少妇人妻一区二区三区视频| 麻豆国产av国片精品| 又黄又爽又免费观看的视频| 变态另类丝袜制服| 亚洲avbb在线观看| 999久久久国产精品视频| 中亚洲国语对白在线视频| 91在线观看av| 久久精品国产清高在天天线| 国产区一区二久久| 全区人妻精品视频| 男女之事视频高清在线观看| 亚洲人成网站高清观看| 成人三级黄色视频| 日本一区二区免费在线视频| 成人国产综合亚洲| 波多野结衣高清作品| 国产成人啪精品午夜网站| 久久久久亚洲av毛片大全| 桃红色精品国产亚洲av| 欧美性长视频在线观看| 亚洲18禁久久av| 欧美另类亚洲清纯唯美| 亚洲精品久久成人aⅴ小说| 久久精品人妻少妇| 久久中文字幕一级| 国产精品美女特级片免费视频播放器 | 在线观看免费视频日本深夜| 日韩欧美 国产精品| 欧美又色又爽又黄视频| 少妇粗大呻吟视频| 白带黄色成豆腐渣| 在线观看舔阴道视频| 亚洲真实伦在线观看| 别揉我奶头~嗯~啊~动态视频| 少妇熟女aⅴ在线视频| 视频区欧美日本亚洲| 欧美大码av| 国产又色又爽无遮挡免费看| 久久午夜亚洲精品久久| 欧美精品亚洲一区二区| 91av网站免费观看| 啦啦啦韩国在线观看视频| 色综合亚洲欧美另类图片| 久久久国产成人精品二区| 国产高清视频在线播放一区| 亚洲精品久久国产高清桃花| 99国产精品一区二区三区| 国产欧美日韩精品亚洲av| 欧洲精品卡2卡3卡4卡5卡区| 国产亚洲精品第一综合不卡| av福利片在线| 一二三四在线观看免费中文在| 岛国视频午夜一区免费看| 亚洲色图 男人天堂 中文字幕| 欧美日韩瑟瑟在线播放| 久久精品综合一区二区三区| 亚洲第一电影网av| 少妇人妻一区二区三区视频| 99国产精品一区二区蜜桃av| xxx96com| 久久婷婷人人爽人人干人人爱| 国产亚洲av嫩草精品影院| 高潮久久久久久久久久久不卡| 精华霜和精华液先用哪个| 国产欧美日韩一区二区精品| 国产亚洲精品久久久久久毛片| 国产黄色小视频在线观看| 午夜精品一区二区三区免费看| 丰满的人妻完整版| 亚洲avbb在线观看| 美女午夜性视频免费| 国产69精品久久久久777片 | 99久久久亚洲精品蜜臀av| 亚洲精华国产精华精| 亚洲自偷自拍图片 自拍| 90打野战视频偷拍视频| 精品一区二区三区av网在线观看| 午夜福利欧美成人| 久久久久性生活片| 欧美一区二区精品小视频在线| 亚洲五月天丁香| 国产免费男女视频| 国产午夜精品久久久久久| 久久久精品大字幕| 在线永久观看黄色视频| 国产精品 欧美亚洲| www日本黄色视频网| 制服诱惑二区| 动漫黄色视频在线观看| 亚洲国产精品成人综合色| 看黄色毛片网站| 九九热线精品视视频播放| 国产99久久九九免费精品| 久久久久久久久久黄片| 天堂影院成人在线观看| av国产免费在线观看| 国产成人一区二区三区免费视频网站| 日本黄大片高清| 黄片大片在线免费观看| 一级黄色大片毛片| 一级片免费观看大全| 757午夜福利合集在线观看| 在线观看美女被高潮喷水网站 | 亚洲av电影不卡..在线观看| 国产av在哪里看| av福利片在线| 精品国产亚洲在线| 国产精华一区二区三区| 中文亚洲av片在线观看爽| 18美女黄网站色大片免费观看| 免费无遮挡裸体视频| 少妇裸体淫交视频免费看高清 | 此物有八面人人有两片| 国产麻豆成人av免费视频| 亚洲成人久久性| 国产av又大| 色哟哟哟哟哟哟| 欧美成狂野欧美在线观看| 一边摸一边做爽爽视频免费| 夜夜爽天天搞| 国产精品99久久99久久久不卡| 日韩av在线大香蕉| 色老头精品视频在线观看| 日日干狠狠操夜夜爽| 欧美精品啪啪一区二区三区| 制服丝袜大香蕉在线| 不卡av一区二区三区| 亚洲欧美一区二区三区黑人| 99国产精品一区二区三区| 精品国产乱码久久久久久男人| 人人妻人人看人人澡| 91成年电影在线观看| 亚洲av中文字字幕乱码综合| 国产一区二区在线av高清观看| 啦啦啦观看免费观看视频高清| 黄片小视频在线播放| 亚洲第一电影网av| 国产精品av视频在线免费观看| 人妻久久中文字幕网| 亚洲成人中文字幕在线播放| 99久久综合精品五月天人人| www日本黄色视频网| 精品日产1卡2卡| 日韩 欧美 亚洲 中文字幕| 精品午夜福利视频在线观看一区| 午夜福利18| 女人被狂操c到高潮| 嫩草影视91久久| 在线观看免费午夜福利视频| 国产高清视频在线播放一区| 日本一区二区免费在线视频| www.自偷自拍.com| 亚洲人成伊人成综合网2020| 国产精品久久久久久亚洲av鲁大| 国产亚洲欧美98| 村上凉子中文字幕在线| 欧美色欧美亚洲另类二区| 午夜福利在线在线| 最新在线观看一区二区三区| 国产在线观看jvid| www国产在线视频色| 18禁黄网站禁片免费观看直播| 成人亚洲精品av一区二区| 欧美黑人精品巨大| 黄色丝袜av网址大全| 91麻豆精品激情在线观看国产| 中文字幕最新亚洲高清| 免费电影在线观看免费观看| 最近最新中文字幕大全电影3| 国产高清激情床上av| 中文在线观看免费www的网站 | 精品日产1卡2卡| 国产真人三级小视频在线观看| 法律面前人人平等表现在哪些方面| 久久天堂一区二区三区四区| 国产又黄又爽又无遮挡在线| 国产91精品成人一区二区三区| 正在播放国产对白刺激| 88av欧美| 99国产精品99久久久久| 嫩草影院精品99| 亚洲国产精品合色在线| 18美女黄网站色大片免费观看| 夜夜看夜夜爽夜夜摸| 亚洲一卡2卡3卡4卡5卡精品中文| 国产午夜福利久久久久久| 久99久视频精品免费| 亚洲精品一区av在线观看| 久久草成人影院| 日本 av在线| 男女那种视频在线观看| 亚洲18禁久久av| 波多野结衣巨乳人妻| 制服丝袜大香蕉在线| 亚洲欧美精品综合一区二区三区| 亚洲成av人片免费观看|