• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    高斯過(guò)程回歸的近似方法及其應(yīng)用

    2022-07-09 06:57:18張明民
    關(guān)鍵詞:局部建模預(yù)測(cè)

    張明民

    (同濟(jì)大學(xué) 中德學(xué)院,上海 201804)

    0 引言

    建模方法一般可以分為參數(shù)建模和非參數(shù)建模。參數(shù)建模適用于為較簡(jiǎn)單的系統(tǒng)構(gòu)建模型,通常要求系統(tǒng)結(jié)構(gòu)可以用已知的數(shù)學(xué)模型來(lái)描述,再確定模型中的未知參數(shù)即可實(shí)現(xiàn)建模。然而,對(duì)于復(fù)雜的非線性系統(tǒng)的建模則需要非參數(shù)模型。數(shù)據(jù)驅(qū)動(dòng)的非參數(shù)建模方法不受模型結(jié)構(gòu)的限制,其適用范圍更廣,并且只需要很少的先驗(yàn)信息就可完成高質(zhì)量的建模[1]。在當(dāng)今的信息社會(huì),眾多應(yīng)用場(chǎng)景中都可以提供大量的可用數(shù)據(jù),這大大促進(jìn)了非參數(shù)建模的發(fā)展。非參數(shù)建模方法的靈活性和強(qiáng)大的模型表達(dá)能力讓其在各個(gè)領(lǐng)域被廣泛應(yīng)用,例如工業(yè)處理[2],生物工程[3],自主機(jī)器人[4]和無(wú)人機(jī)[5]的控制等。

    非參數(shù)建模方法之一是高斯過(guò)程回歸 (GPR),它一般用于非線性函數(shù)的建模[6]。作為一種貝葉斯機(jī)器學(xué)習(xí)方法,GPR與神經(jīng)網(wǎng)絡(luò)的聯(lián)系在于,許多基于神經(jīng)網(wǎng)絡(luò)的貝葉斯回歸模型在網(wǎng)絡(luò)無(wú)限大的情況下會(huì)收斂為高斯過(guò)程(GP)[7]。GPR可以根據(jù)訓(xùn)練數(shù)據(jù)調(diào)整模型的復(fù)雜度,還能以一定概率保證預(yù)測(cè)誤差的有界性[6],使其能被應(yīng)用于對(duì)安全性要求較高的場(chǎng)景。盡管有以上這些優(yōu)點(diǎn),但是它的計(jì)算復(fù)雜度隨著訓(xùn)練數(shù)據(jù)的增加急劇增長(zhǎng)。具體來(lái)說(shuō),對(duì)于n個(gè)訓(xùn)練樣本,GPR的更新和預(yù)測(cè)時(shí)間復(fù)雜度分別為Ο(n3)和Ο(n2),過(guò)高的計(jì)算成本使GPR無(wú)法被用于很多大數(shù)據(jù)量的學(xué)習(xí)任務(wù)。為此,一些近似方法被開(kāi)發(fā)出來(lái),以通過(guò)近似計(jì)算代替精確計(jì)算來(lái)減少GPR的計(jì)算量,如選取一部分有代表性的數(shù)據(jù)來(lái)代替整個(gè)數(shù)據(jù)集。

    本文在說(shuō)明GPR原理的基礎(chǔ)上,詳細(xì)分析了其近似方法,并介紹了其在一些領(lǐng)域的應(yīng)用情況。

    1 高斯過(guò)程回歸簡(jiǎn)介

    高斯過(guò)程是一個(gè)隨機(jī)變量的集合,任意有限數(shù)量的這些隨機(jī)變量的組合都具有聯(lián)合高斯分布[6]。一個(gè)GP由其均值函數(shù)和協(xié)方差函數(shù)完全確定。

    作為一種機(jī)器學(xué)習(xí)方法,GPR需要訓(xùn)練數(shù)據(jù)。假設(shè)數(shù)據(jù)集{X,y}由n對(duì)數(shù)據(jù)構(gòu)成,其中輸入集X={x1,x2,...,xn}由n個(gè)輸入向量組成,而輸出集y={y1,y2,...,yn}由n個(gè)對(duì)應(yīng)的一維輸出組成。

    對(duì)于一個(gè)問(wèn)詢點(diǎn)x,它對(duì)應(yīng)的輸出f(x)是一個(gè)GP,其先驗(yàn)均值和方差由下式給出:

    μ(x)=E[f(x)]

    (1)

    k(x,x′)=E[(f(x)-μ(x))(f(x′)-μ(x′))]

    (2)

    通常假設(shè)均值為0,故f(x)可以表示為:

    f(x)~N(0,k(x,x′))

    (3)

    y是對(duì)f(x)的受到干擾的觀測(cè):

    yi=f(xi)+εi,i=1,…,n

    (4)

    (5)

    (6)

    其中:I是單位矩陣,K(X,X)是n×n維的GP協(xié)方差矩陣,由元素Kij=K(xi,xj),i,j=1,…,n組成。K(X,x)是輸入集X中所有的元素xi(i=1,…,n)分別與問(wèn)詢點(diǎn)x所求得的協(xié)方差組成的協(xié)方差向量,同理可得K(x,X)和K(x,x)。

    而f(x)的后驗(yàn)同樣服從高斯分布:

    f(x|y,X)~N(m(x),cov(x))

    (7)

    其預(yù)測(cè)的均值和協(xié)方差分別為:

    m(x)=K(x,X)βy

    (8)

    cov(x)=K(x,x)-K(x,X)βK(X,x)

    (9)

    (10)

    GP的核函數(shù)有很多種選擇,如線性核函數(shù)、多項(xiàng)式核函數(shù)、二次有理核函數(shù)等。前文提到的噪聲的標(biāo)準(zhǔn)差和核函數(shù)中的超參數(shù)一起被稱為GP的超參數(shù),記為θ。要更新模型的超參數(shù),可采用Rasmussen等[6]的方法,先對(duì)函數(shù)f進(jìn)行邊緣化得到邊緣似然函數(shù):

    (11)

    進(jìn)而對(duì)邊緣似然函數(shù)求對(duì)數(shù),得到以下的對(duì)數(shù)似然函數(shù):

    log(p(y|X,θ))=

    (12)

    然后將對(duì)數(shù)似然函數(shù)依次對(duì)各個(gè)超參數(shù)求偏導(dǎo)數(shù),就可以得到最佳的超參數(shù)數(shù)值。由以上可以看出,在預(yù)測(cè)和更新階段都需要對(duì)協(xié)方差矩陣求逆,即計(jì)算β,這是GP計(jì)算量大的主要原因之一。

    2 高斯過(guò)程回歸的近似方法

    根據(jù)是否把數(shù)據(jù)劃分為子集,GPR的近似方法可以被分為全局近似方法和局部近似方法。局部近似方法通過(guò)一定的標(biāo)準(zhǔn)將訓(xùn)練數(shù)據(jù)劃分為眾多的子數(shù)據(jù)集,在每個(gè)子集上獨(dú)立地訓(xùn)練一個(gè)局部GP模型,而全局近似方法則不這樣。下面參考Liu等[8]給GP近似方法的分類(如圖1所示),詳細(xì)介紹這兩種類別。

    圖1 高斯過(guò)程回歸的近似方法

    2.1 全局高斯過(guò)程近似

    全局近似旨在實(shí)現(xiàn)完整協(xié)方差矩陣的稀疏性,以減少協(xié)方差矩陣求逆的計(jì)算量。其中,側(cè)重于選擇訓(xùn)練數(shù)據(jù)的代表性子集的稀疏近似占主要地位[9]。而在稀疏近似中,先驗(yàn)近似方法又占大多數(shù),其可以被分類為確定性訓(xùn)練條件 (DTC) 近似法,部分獨(dú)立訓(xùn)練條件 (PITC) 近似法,回歸子集 (SoR)法等。

    確定性訓(xùn)練條件 (DTC) 近似旨在從訓(xùn)練數(shù)據(jù)集中選擇一個(gè)活動(dòng)子集(active subset),該方法的關(guān)鍵是如何使選出的子集具有代表性。例如,Csató等[10]借助再現(xiàn)核希爾伯特空間中的投影技術(shù),使用某個(gè)區(qū)域中數(shù)據(jù)點(diǎn)的平均值來(lái)代替該區(qū)域中的所有點(diǎn)。與上述方法中處理訓(xùn)練數(shù)據(jù)的隨機(jī)順序不同,Seeger等[11]利用快速前向選擇策略,通過(guò)完全貪婪搜索將訓(xùn)練點(diǎn)插入活動(dòng)子集中,此方法被證明與隨機(jī)選擇一樣快速。Schreiter等[9]提出了另一種方法,以訓(xùn)練數(shù)據(jù)和模型之間的最大誤差作為訓(xùn)練點(diǎn)連續(xù)插入和刪除的標(biāo)準(zhǔn),該方法也達(dá)到了與隨機(jī)選擇方案相同的速度。雖然可以獲得恒定的預(yù)測(cè)復(fù)雜度,但 DTC 近似的更新復(fù)雜度隨著訓(xùn)練點(diǎn)的增加而線性增長(zhǎng)。

    與 DTC 近似相反,完全獨(dú)立訓(xùn)練條件 (FITC) 近似利用虛擬訓(xùn)練點(diǎn)的子集來(lái)實(shí)現(xiàn)GPR計(jì)算的加速[9],這些虛擬訓(xùn)練點(diǎn)由訓(xùn)練數(shù)據(jù)經(jīng)過(guò)處理得到。其在另一文獻(xiàn)中[12]被稱為偽輸入,該文獻(xiàn)的方法同時(shí)優(yōu)化GP的超參數(shù)和偽輸入的選取。此外,當(dāng)不假設(shè)完全獨(dú)立的訓(xùn)練條件時(shí),可以推導(dǎo)出另一種方法,即部分獨(dú)立訓(xùn)練條件 (PITC) 近似,它其實(shí)是 FITC 近似的推廣[13]。

    除此之外的一種近似方法是回歸子集 (SoR)法,也稱為確定性誘導(dǎo)條件 (DIC) 近似法,其在在線學(xué)習(xí)的應(yīng)用中表現(xiàn)出了良好的性能[14]?;跍p少自由變量數(shù)量的思想,Smola等[15]提出的稀疏貪婪GPR利用回歸子集法,通過(guò)反復(fù)地把能使后驗(yàn)概率增加最大的附加函數(shù)添加到基函數(shù)集,來(lái)實(shí)現(xiàn)較低的計(jì)算成本。當(dāng)GP核函數(shù)的 Gram 矩陣是常見(jiàn)的稀疏矩陣時(shí),可以使用 Givens 旋轉(zhuǎn)來(lái)更新Gram矩陣的 Cholesky 因子來(lái)降低計(jì)算復(fù)雜度,而不是重新計(jì)算 Cholesky 因子[16]。另外還有基于Bochner 定理的稀疏譜GP,例如,Lázaro-Gredilla等[17]在研究中引入了一個(gè)靜態(tài)三角貝葉斯模型,旨在稀疏化 GP 的譜表示,通過(guò)線性地組合三角函數(shù),可以近似任何平穩(wěn)的GP; Gijsberts 等[18]通過(guò)用有限維的隨機(jī)特征映射來(lái)近似核函數(shù),實(shí)現(xiàn)了更新過(guò)程恒定的計(jì)算復(fù)雜度。盡管稀疏譜GP繼承了GPR的許多理論特性[19],但它面臨預(yù)測(cè)值方差較大的問(wèn)題[8]。比較 DTC 和 SoR,二者預(yù)測(cè)值的分布之間的唯一區(qū)別是 DTC預(yù)測(cè)值的方差通常更高[20]。

    以上提到的方法都是先驗(yàn)近似方法。此外,全局近似方法還包括后驗(yàn)近似方法和結(jié)構(gòu)化稀疏近似方法。后驗(yàn)近似的目標(biāo)是最小化變分GP 分布和真實(shí)后驗(yàn) GP 分布之間的差異。與 Csató等[10]的方法不同,Titsias[21]提供了一個(gè)變分框架,通過(guò)最大化變分下界來(lái)聯(lián)合優(yōu)化誘導(dǎo)點(diǎn)和超參數(shù),該方法被稱為變異自由能。同樣是利用誘導(dǎo)點(diǎn),Hensman等[22]使用隨機(jī)變分推理實(shí)現(xiàn)了 GP 在大型數(shù)據(jù)集上的可用性。Lázaro等[23]提出了一個(gè)通用的推理框架來(lái)改進(jìn)選擇的誘導(dǎo)點(diǎn),稱為域間GP。

    近年來(lái),結(jié)構(gòu)化稀疏近似方法也經(jīng)常被研究。例如,Shen等[24]提出了一種使用快速矩陣-向量乘法策略的稀疏化方法,將訓(xùn)練點(diǎn)聚類成樹(shù)狀結(jié)構(gòu),這與Morariu 等[25]的方法類似。Wilson等[26]使用基于插值的核函數(shù),為誘導(dǎo)點(diǎn)方法提供了一個(gè)一般性框架,并實(shí)現(xiàn)了良好的預(yù)測(cè)精度。

    2.2 局部高斯過(guò)程近似方法

    盡管對(duì)局部近似方法的研究不如全局近似方法多,但它們?cè)趯?shí)際應(yīng)用中常常出現(xiàn),因?yàn)槠淇梢杂行У亟档陀?jì)算成本。局部 GP 近似采用分治法(divide-and-conquer),將訓(xùn)練數(shù)據(jù)分配到多個(gè)子集,在這些子集上訓(xùn)練局部 GP 模型。為了對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行劃分和存儲(chǔ),經(jīng)常會(huì)使用樹(shù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)局部模型的構(gòu)建[14,24,27]。例如,Ng等[27]使用k-d樹(shù)將數(shù)據(jù)點(diǎn)添加到局部 GP 模型中,并在數(shù)據(jù)點(diǎn)達(dá)到一定數(shù)量時(shí)將現(xiàn)有模型劃分為多個(gè)子模型。

    下面以二叉樹(shù)為例,介紹一種構(gòu)造局部模型的方法[14]。我們考慮在線學(xué)習(xí)任務(wù),這種情況下數(shù)據(jù)點(diǎn)是依次產(chǎn)生并被添加到GPR的。如圖2所示,圖中每個(gè)節(jié)點(diǎn)代表一個(gè)局部GP模型,其中包含一些訓(xùn)練樣本。在學(xué)習(xí)過(guò)程剛開(kāi)始時(shí)只有一個(gè)GP模型,稱為根模型。隨著數(shù)據(jù)點(diǎn)一個(gè)接一個(gè)地加入,根模型中的數(shù)據(jù)不斷積累。在達(dá)到一個(gè)事先設(shè)定好的數(shù)據(jù)量閾值時(shí),根模型被分成模型1和模型2。具體來(lái)說(shuō),根模型中所有的數(shù)據(jù)會(huì)根據(jù)一定的標(biāo)準(zhǔn)被分給這兩個(gè)子模型,而分裂后的根模型中不再包含數(shù)據(jù),該GP模型也就不存在了。隨后抵達(dá)的數(shù)據(jù)點(diǎn)會(huì)依照同一標(biāo)準(zhǔn)繼續(xù)被分配給模型1和模型2。當(dāng)這兩個(gè)模型中的數(shù)據(jù)量到達(dá)上限時(shí),它們也會(huì)分裂成新的子模型,從而形成樹(shù)狀結(jié)構(gòu)的第三層。如此重復(fù)模型的分裂步驟,局部GP模型就被構(gòu)造出來(lái)了。

    圖2 樹(shù)狀結(jié)構(gòu)的局部高斯過(guò)程模型

    需要注意的是,并不是所有的局部模型都有子模型。例如圖中第三層的4個(gè)模型中,模型3和模型6在下一層會(huì)分裂出新的模型,而另外兩個(gè)模型則沒(méi)有子模型。由于數(shù)據(jù)分配標(biāo)準(zhǔn)的原因,模型4和模型5中沒(méi)有被分配到足夠的數(shù)據(jù)點(diǎn),故而不會(huì)到達(dá)閾值。在局部模型分裂時(shí),數(shù)據(jù)分配標(biāo)準(zhǔn)的選擇有很多種。例如對(duì)于二叉樹(shù),可以選擇父模型中數(shù)據(jù)的輸入集X的平均值或中位數(shù)作為邊界,也可以選取最大的xi和最小的xi的平均值,然后將xi小于平均值或中位數(shù)的數(shù)據(jù)點(diǎn)分到左邊的子模型,其他的數(shù)據(jù)點(diǎn)則進(jìn)入右邊的子模型。

    在模型的預(yù)測(cè)階段,每個(gè)局部模型都會(huì)產(chǎn)生一個(gè)自己的預(yù)測(cè)結(jié)果。為了將局部模型的預(yù)測(cè)結(jié)果聚合成一個(gè)全局的預(yù)測(cè),需要一定的聚合方法。目前已經(jīng)被較深入地研究的是專家混合 (mixture of experts)方法和專家乘積 (product of experts)方法。

    Jacobs等[28]提出的專家混合方法已在局部 GPR近似中被廣泛使用。此方法最先由Tresp[29]引入到GPR中,他們通過(guò)使用一定數(shù)量的具有單獨(dú)尺度參數(shù)的M個(gè)局部GP模型,實(shí)現(xiàn)了將輸入數(shù)據(jù)分配給相應(yīng)的局部模型的功能。而Rasmussen等[30]通過(guò)基于Dirichlet過(guò)程的門控網(wǎng)絡(luò)將訓(xùn)練數(shù)據(jù)劃分為局部模型。這些研究都使用專家混合方法來(lái)結(jié)合多個(gè)局部模型的預(yù)測(cè)。

    專家混合方法為局部模型賦予不同的權(quán)重,然后將它們加在一起以實(shí)現(xiàn)全局預(yù)測(cè),而專家乘積方法則將各個(gè)局部模型的預(yù)測(cè)相乘。廣義專家乘積(generalized product of experts)[31]方法使用動(dòng)態(tài)權(quán)重的策略,會(huì)根據(jù)預(yù)測(cè)的不確定性相應(yīng)地調(diào)整局部模型的權(quán)重。貝葉斯決策 (bayesian committee machine)[32]也是專家乘積方法的一種,它根據(jù)后驗(yàn)方差決定局部模型的重要性。受到從專家乘積方法到廣義專家乘積方法的改進(jìn)的啟發(fā),Deisenroth 等[33]提出的魯棒貝葉斯決策(robust Bayesian committee machine)也是通過(guò)調(diào)整局部模型的權(quán)重從貝葉斯決策[32]發(fā)展而來(lái)的。

    同時(shí),也存在少量不需要聚合多個(gè)局部GP模型結(jié)果的局部近似方法。例如,Meier等[34]利用滑動(dòng)窗口策略來(lái)保留一定數(shù)量的近期觀測(cè)數(shù)據(jù)用于預(yù)測(cè)和更新,同時(shí)丟棄舊的數(shù)據(jù)。由于被設(shè)計(jì)用于在線學(xué)習(xí)的控制任務(wù),訓(xùn)練數(shù)據(jù)沿系統(tǒng)狀態(tài)軌跡分布,因此對(duì)于系統(tǒng)狀態(tài)不重復(fù)的情況,舊的數(shù)據(jù)幾乎與當(dāng)前的控制無(wú)關(guān),故而可以被遺忘。

    雖然通過(guò)局部模型使得協(xié)方差矩陣的規(guī)模大大縮小,避免了單個(gè)模型過(guò)大帶來(lái)的計(jì)算成本過(guò)高的問(wèn)題,但是很多局部近似方法在進(jìn)行預(yù)測(cè)時(shí),會(huì)讓所有的局部模型都參與預(yù)測(cè),這樣它們預(yù)測(cè)的計(jì)算量仍然較大。但實(shí)際上,并不是所有局部模型都與當(dāng)前的預(yù)測(cè)密切相關(guān)。這點(diǎn)在Lederer等[14]提出的LoG-GP(locally growing random tree of GPs)中得到了改進(jìn)。LoG-GP中定義了活躍模型的概念,對(duì)于一個(gè)問(wèn)詢點(diǎn),它對(duì)應(yīng)的活躍模型就是它在模型更新時(shí)可能被分配到的那些局部模型。在預(yù)測(cè)時(shí)只讓這些活躍模型參與計(jì)算,而忽略其他不重要的模型,由此,預(yù)測(cè)的計(jì)算量就得到了進(jìn)一步的減小。

    3 高斯過(guò)程回歸的應(yīng)用

    GPR的發(fā)展可以追溯到20世紀(jì)40年代發(fā)展起來(lái)的Kolmogorov-Wiener 理論,它為時(shí)間序列的分析提供了數(shù)學(xué)基礎(chǔ)[35]。隨后在地質(zhì)分析領(lǐng)域,GPR的應(yīng)用得到了很大的推廣,被稱為克里金法(Kriging),由南非礦業(yè)工程師D.G.Krige于1952年首次提出。基于Krige等人的研究,法國(guó)學(xué)者G.Matheron提出了區(qū)域化變量的概念,于1962年正式創(chuàng)立了地質(zhì)統(tǒng)計(jì)學(xué)這個(gè)新學(xué)科[36]。而后,克里金法得到了不斷的拓展,發(fā)展出了簡(jiǎn)單克里金、普通克里金、協(xié)同克里金、指示克里金等分支[37]。 而GPR作為機(jī)器學(xué)習(xí)的一個(gè)分支的正式確立是在1996年由Rasmussen等[38-39]完成的[40]。

    時(shí)間序列即事物隨時(shí)間變化的情況,對(duì)時(shí)間序列的分析預(yù)測(cè)是GPR建模能力的直接體現(xiàn)。在時(shí)序預(yù)測(cè)中經(jīng)常需要進(jìn)行多步預(yù)測(cè),實(shí)現(xiàn)多步預(yù)測(cè)的方法有遞推法和直接法[41-42]。遞推法使用單一的GP模型,通過(guò)多次的單步預(yù)測(cè)來(lái)實(shí)現(xiàn)多步預(yù)測(cè),上一步的預(yù)測(cè)輸出作為下一步的輸入之一。遞推法簡(jiǎn)單直觀但預(yù)測(cè)誤差會(huì)累積,是最常用的多步預(yù)測(cè)方法。而直接法對(duì)每個(gè)預(yù)測(cè)步驟使用一個(gè)不同的模型,并且所有模型的輸入是相同的,這種方法沒(méi)有累計(jì)誤差但計(jì)算量較大。

    在近年來(lái)的研究中, Brahim-Belhouari等[43]的研究展示了基于GP模型對(duì)時(shí)間序列的預(yù)測(cè)優(yōu)于RBF神經(jīng)網(wǎng)絡(luò)。Hachino等[44]采用多重GP模型進(jìn)行時(shí)間序列預(yù)測(cè),并用可分最小二乘法訓(xùn)練這些GP模型。Tobar等[45]用具有非參數(shù)核函數(shù)的GPR來(lái)預(yù)測(cè)平穩(wěn)的時(shí)間序列。

    作為國(guó)內(nèi)較早將GPR應(yīng)用于時(shí)間序列分析的探索,沈赟[46]指出平穩(wěn)的GP核函數(shù)適用于平穩(wěn)時(shí)間序列的預(yù)測(cè),而對(duì)非平穩(wěn)時(shí)間序列則需要非平穩(wěn)的核函數(shù)以達(dá)到更好的效果。李軍等[47]結(jié)合平穩(wěn)和非平穩(wěn)的GP核函數(shù)形成復(fù)合的核函數(shù),其對(duì)單步和多步時(shí)間序列的預(yù)測(cè)比常規(guī)GP模型更加準(zhǔn)確,相比于支持向量機(jī)也展現(xiàn)出了一定的優(yōu)勢(shì)。

    以下對(duì)GPR在一些具體的工程領(lǐng)域的應(yīng)用進(jìn)行了介紹。

    3.1 用于控制領(lǐng)域

    GPR由于其出色的非線性系統(tǒng)建模能力,在控制領(lǐng)域受到的關(guān)注不斷增加。

    模型預(yù)測(cè)控制(MPC)是實(shí)際應(yīng)用中最常見(jiàn)的控制算法之一。MPC的關(guān)鍵是建立合適的預(yù)測(cè)模型,建??梢酝ㄟ^(guò)神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、模糊模型等來(lái)實(shí)現(xiàn)。RBF神經(jīng)網(wǎng)絡(luò)作為MPC中廣泛使用的建模方法,在應(yīng)用中面臨著一些限制,如參數(shù)較多,網(wǎng)絡(luò)表現(xiàn)受到初始連接權(quán)值和閾值選取的影響等。而GPR的參數(shù)少,訓(xùn)練過(guò)程相對(duì)容易。作為該領(lǐng)域的早期探索之一,Kocijan[48]等將GPR用于MPC得到了具有更高魯棒性的控制器。Hewing等[49]提出了一個(gè)結(jié)合標(biāo)稱系統(tǒng)和建模為GP的動(dòng)力學(xué)的混合結(jié)構(gòu),該GP部分用來(lái)學(xué)習(xí)動(dòng)力學(xué)效應(yīng),所得到的MPC方法可以在很小的采樣間隔下實(shí)現(xiàn)對(duì)系統(tǒng)的控制。Cao等[50]使用GP建模四旋翼飛行器的平移和旋轉(zhuǎn)子系統(tǒng),提出了一種飛行器的模型預(yù)測(cè)控制軌跡跟蹤方案。

    自適應(yīng)控制是一種可以適應(yīng)系統(tǒng)參數(shù)變化的控制方法。模型參考自適應(yīng)控制(MRAC)是自適應(yīng)控制的方案之一,其原理是讓系統(tǒng)的動(dòng)態(tài)特性逼近一個(gè)預(yù)先設(shè)定的參考模型。Chowdhary等[51]通過(guò)在GP核函數(shù)中加入時(shí)變變量,實(shí)現(xiàn)了用GP對(duì)不確定性進(jìn)行概率建模,提升了自適應(yīng)控制的性能。該作者的另一項(xiàng)研究對(duì)比了基于GP的模型參考自適應(yīng)控制(GP-MRAC)和基于徑向基函數(shù)網(wǎng)絡(luò)的模型參考自適應(yīng)控制(RBFN-MRAC),指出前者具有更好的跟蹤性能[52]。Joshi等[53]用生成網(wǎng)絡(luò)架構(gòu)來(lái)學(xué)習(xí)高斯模型,避免了傳統(tǒng)的GP-MRAC中對(duì)狀態(tài)導(dǎo)數(shù)的估計(jì),而且該方法能保證跟蹤誤差的統(tǒng)一界限,也保持了系統(tǒng)的穩(wěn)態(tài)性能。

    此外,在具體的運(yùn)動(dòng)控制方面,Ko等[54]結(jié)合GPR和無(wú)跡卡爾曼濾波器(UKF),用GPR學(xué)習(xí)運(yùn)動(dòng)和觀測(cè)模型,同時(shí)用UKF作為狀態(tài)估計(jì)器,其與單純的UKF相比具有更好的估計(jì)效果和更廣的應(yīng)用范圍。Marco等[55]將線性最優(yōu)控制與GP相結(jié)合,提出了一種LQR控制器的整定方案,并用于機(jī)器人手臂的控制。Mukadam等[56]提出了一種高斯過(guò)程運(yùn)動(dòng)規(guī)劃器(GPMP),首次將GP用于運(yùn)動(dòng)規(guī)劃。該方法用線性時(shí)變隨機(jī)微分方程來(lái)表示連續(xù)的軌跡,利用 GP 插值來(lái)開(kāi)發(fā)運(yùn)動(dòng)規(guī)劃器,能確定最優(yōu)軌跡,并被用于七自由度機(jī)械臂的軌跡優(yōu)化中。同時(shí),GP還被用于運(yùn)動(dòng)路徑的預(yù)測(cè)[57]、即時(shí)定位與地圖構(gòu)建(SLAM)[58]等。

    GPR作為一種概率性的非參數(shù)建模方法,在提供預(yù)測(cè)結(jié)果的同時(shí)還能度量預(yù)測(cè)的不確定性,這是很多其他建模方法所不具備的。因?yàn)檫@個(gè)優(yōu)勢(shì),GP可以被用于對(duì)精度要求較嚴(yán)格的控制任務(wù),這通常依賴于誤差的一致有界(uniform error bound)。誤差的一致有界性需要一些較嚴(yán)格的前提假設(shè)才能被推導(dǎo)出來(lái),而這些前提條件很多時(shí)候難以全部被滿足,因此在應(yīng)用中實(shí)現(xiàn)起來(lái)并不容易。所以,還需要進(jìn)一步的研究以達(dá)到更寬松的前提條件。

    3.2 用于軟測(cè)量

    在對(duì)產(chǎn)品質(zhì)量要求日益嚴(yán)格的當(dāng)代社會(huì),如何準(zhǔn)確測(cè)量相關(guān)的質(zhì)量指標(biāo)是一個(gè)至關(guān)重要的問(wèn)題。然而由于技術(shù)的限制,過(guò)程控制中存在很多難以直接測(cè)量的變量,如反應(yīng)器中反應(yīng)物的濃度[59]。于是,一種通過(guò)間接方法來(lái)推斷這些不可測(cè)變量的手段被發(fā)展出來(lái),稱為軟測(cè)量或虛擬測(cè)量,被廣泛用于化工過(guò)程和工業(yè)制造。實(shí)現(xiàn)軟測(cè)量的關(guān)鍵是選取出與目標(biāo)變量相關(guān)的一組可測(cè)變量,以及如何由這些可測(cè)變量通過(guò)數(shù)學(xué)關(guān)系推導(dǎo)出待測(cè)的目標(biāo)變量[60]。

    此外,由于單一模型的測(cè)量精度有限,集成學(xué)習(xí)也被應(yīng)用到軟測(cè)量領(lǐng)域中。Wang等[61]提出了一種基于分層集成GPR模型的軟測(cè)量建模方法,包括基于樣本劃分的集成和基于變量劃分的集成。在第一層中,根據(jù)輸入變量劃分子數(shù)據(jù)集,再在每個(gè)子數(shù)據(jù)集中用高斯混合模型(GMM)建立多個(gè)局部GP模型;第二層將表現(xiàn)好的多個(gè)局部集成GPR模型的預(yù)測(cè)通過(guò)貝葉斯推理得到最終的預(yù)測(cè)值。趙帥等[62]在2019年提出了具有類似結(jié)構(gòu)的軟測(cè)量方法。

    在實(shí)際應(yīng)用中,劉國(guó)海等[63]提出了一種動(dòng)態(tài)軟測(cè)量方法,結(jié)合多準(zhǔn)則策略和GPR,實(shí)現(xiàn)了比靜態(tài)軟測(cè)量更高的精度,并將其應(yīng)用于生物發(fā)酵過(guò)程;孫茂偉等[64]將基于改進(jìn)Bagging算法的軟測(cè)量用于工業(yè)雙酚A生產(chǎn)中的指標(biāo)預(yù)測(cè);Yang等[65]將GPR用于橡膠混合過(guò)程的質(zhì)量指標(biāo)的獲?。籖.Grbic等[66]將其用于化工領(lǐng)域典型的TE(tennessee eastman)過(guò)程。此外,GPR還被用來(lái)綜合其他技術(shù)以實(shí)現(xiàn)軟測(cè)量,如與近鄰傳播[67]、支持向量機(jī)[68]、貝葉斯決策[69]、模糊C均值聚類[70]等相結(jié)合。

    測(cè)量的不確定度是除測(cè)量數(shù)值之外衡量測(cè)量精度的另一重要參數(shù)。直接測(cè)量的不確定度較容易估計(jì),但對(duì)于軟測(cè)量來(lái)說(shuō),通過(guò)誤差傳遞等方法來(lái)估計(jì)不確定度相當(dāng)困難[59]。與控制領(lǐng)域類似,GP在軟測(cè)量中的應(yīng)用也有著能夠量化測(cè)量不確定度的優(yōu)點(diǎn)。不過(guò)在目前的軟測(cè)量研究中,該優(yōu)點(diǎn)還沒(méi)有被深入地挖掘。

    3.3 用于其他領(lǐng)域

    1)用于土木工程領(lǐng)域,如滑坡位移[71],基坑位移[72]和水利工程中的邊坡位移[73];

    2)用于氣象領(lǐng)域,如短期風(fēng)速的預(yù)測(cè)[41],大氣溫濕度的預(yù)測(cè)[76];

    3)用于圖像處理,如圖像分割中的異常檢測(cè)[77],圖像中的運(yùn)動(dòng)目標(biāo)檢測(cè)[78];

    4)用于電力系統(tǒng),如電力需求的預(yù)測(cè)[79],變壓器的故障診斷[80],等等。

    總的來(lái)說(shuō),由于其出色的非線性建模能力,參數(shù)較少,并能給出預(yù)測(cè)的方差,GPR在實(shí)際應(yīng)用中展現(xiàn)了其優(yōu)越性。如果能在降低其計(jì)算復(fù)雜度的基礎(chǔ)上進(jìn)一步發(fā)揮這些優(yōu)勢(shì),其應(yīng)用范圍將會(huì)得到持續(xù)的拓展。

    4 結(jié)束語(yǔ)

    GPR是一種強(qiáng)大的機(jī)器學(xué)習(xí)建模方法。為了克服其計(jì)算量隨訓(xùn)練數(shù)據(jù)大幅增加的問(wèn)題,各種各樣的近似方法被開(kāi)發(fā)出來(lái),包括整體近似和局部近似。GPR已經(jīng)在眾多領(lǐng)域得到了應(yīng)用,為了使其變得更加完善,以下方面還有待有進(jìn)一步的研究:

    1)雖然GPR能夠保證回歸誤差的有界性(以一定概率),但是一些近似方法并沒(méi)有繼承這個(gè)性質(zhì),因而在對(duì)預(yù)測(cè)準(zhǔn)確性要求很高的任務(wù)中無(wú)法被采用,如精密制造任務(wù)或與人相關(guān)的機(jī)器控制任務(wù)。但也有很多GP近似方法在近似后還保留了誤差有界性的優(yōu)點(diǎn)。

    2)全局近似方法的策略是選取一部分有代表性的數(shù)據(jù),而其他冗余的訓(xùn)練數(shù)據(jù)可以被丟棄,這使得它們對(duì)存儲(chǔ)空間的要求不高;而由于降低計(jì)算復(fù)雜度的原理不同,大多數(shù)局部GP近似方法會(huì)保留所有數(shù)據(jù)。這使得它們?cè)趹?yīng)用中還會(huì)面臨設(shè)備存儲(chǔ)容量不足的問(wèn)題,特別是對(duì)一些內(nèi)存較小的設(shè)備,如無(wú)人機(jī)等。隨著數(shù)據(jù)采集技術(shù)的發(fā)展和傳感器成本的普遍降低,各種場(chǎng)景中產(chǎn)生數(shù)據(jù)量不斷增長(zhǎng),此問(wèn)題如果得不到有效的緩解就會(huì)限制局部近似方法的應(yīng)用。

    3)當(dāng)今,越來(lái)越多的應(yīng)用場(chǎng)景需要實(shí)現(xiàn)在線建模,即通過(guò)在線收集的數(shù)據(jù)完成實(shí)時(shí)建模。相比于離線建模,在線建模對(duì)數(shù)據(jù)的利用率要高得多,并且能實(shí)現(xiàn)模型的動(dòng)態(tài)調(diào)整。然而,在線建模需要面對(duì)更多的挑戰(zhàn),對(duì)計(jì)算速度的要求也更高,實(shí)現(xiàn)難度更大。例如,很多局部GP近似方法需要在提前已知訓(xùn)練數(shù)據(jù)的情況下才能完成局部模型的構(gòu)建,故而類似圖2中展示的通過(guò)實(shí)時(shí)數(shù)據(jù)生成局部模型的方法就不適用了,它們也無(wú)法用于在線建模任務(wù)。在利用GPR完成實(shí)時(shí)建模的方面已經(jīng)有一些研究,但還需要更深入的探索。

    猜你喜歡
    局部建模預(yù)測(cè)
    無(wú)可預(yù)測(cè)
    黃河之聲(2022年10期)2022-09-27 13:59:46
    選修2-2期中考試預(yù)測(cè)卷(A卷)
    選修2-2期中考試預(yù)測(cè)卷(B卷)
    局部分解 巧妙求值
    非局部AB-NLS方程的雙線性B?cklund和Darboux變換與非線性波
    聯(lián)想等效,拓展建?!浴皫щ娦∏蛟诘刃?chǎng)中做圓周運(yùn)動(dòng)”為例
    基于PSS/E的風(fēng)電場(chǎng)建模與動(dòng)態(tài)分析
    電子制作(2018年17期)2018-09-28 01:56:44
    不對(duì)稱半橋變換器的建模與仿真
    不必預(yù)測(cè)未來(lái),只需把握現(xiàn)在
    局部遮光器
    高清在线视频一区二区三区| 久久6这里有精品| a级毛片免费高清观看在线播放| 美女国产视频在线观看| 哪个播放器可以免费观看大片| 日本与韩国留学比较| 男女啪啪激烈高潮av片| 国产乱人视频| 男女边摸边吃奶| 国产真实伦视频高清在线观看| 国内少妇人妻偷人精品xxx网站| 女人十人毛片免费观看3o分钟| 91久久精品国产一区二区成人| 最近中文字幕高清免费大全6| 美女cb高潮喷水在线观看| 少妇 在线观看| av线在线观看网站| av线在线观看网站| 青春草视频在线免费观看| 久久久久国产网址| 国产乱人视频| 五月玫瑰六月丁香| 天美传媒精品一区二区| 国模一区二区三区四区视频| 久久精品夜色国产| 日本一本二区三区精品| 天天一区二区日本电影三级| 少妇高潮的动态图| 日本熟妇午夜| 日本-黄色视频高清免费观看| 久久精品人妻少妇| av在线观看视频网站免费| 免费看a级黄色片| 久久国产乱子免费精品| 亚洲综合色惰| 欧美国产精品一级二级三级 | 欧美最新免费一区二区三区| 身体一侧抽搐| 久久久午夜欧美精品| 26uuu在线亚洲综合色| 少妇人妻久久综合中文| av又黄又爽大尺度在线免费看| 久久精品综合一区二区三区| 嫩草影院新地址| av国产久精品久网站免费入址| 色婷婷久久久亚洲欧美| 免费在线观看成人毛片| 欧美日韩亚洲高清精品| 国产综合懂色| 午夜福利在线观看免费完整高清在| 亚洲av男天堂| 久久久色成人| 亚洲人成网站在线观看播放| 街头女战士在线观看网站| 国产亚洲最大av| 熟女人妻精品中文字幕| 国产成人一区二区在线| 精品国产乱码久久久久久小说| 精品少妇久久久久久888优播| 婷婷色av中文字幕| 看十八女毛片水多多多| 97超视频在线观看视频| 日日摸夜夜添夜夜爱| 国产人妻一区二区三区在| av在线app专区| 赤兔流量卡办理| 中文字幕av成人在线电影| 麻豆国产97在线/欧美| 久久久久网色| 亚洲精品一二三| 2022亚洲国产成人精品| 久久6这里有精品| 九九爱精品视频在线观看| 国产精品.久久久| 国内揄拍国产精品人妻在线| 免费观看的影片在线观看| 国产色爽女视频免费观看| 日本-黄色视频高清免费观看| 大码成人一级视频| 大香蕉97超碰在线| 人妻 亚洲 视频| 交换朋友夫妻互换小说| 视频中文字幕在线观看| 亚洲av在线观看美女高潮| 欧美区成人在线视频| 国产精品国产三级国产av玫瑰| 高清欧美精品videossex| 日韩视频在线欧美| 中文字幕av成人在线电影| 国产精品爽爽va在线观看网站| 欧美xxxx性猛交bbbb| 亚洲人成网站在线观看播放| 看非洲黑人一级黄片| av卡一久久| 久久精品国产鲁丝片午夜精品| 一级毛片黄色毛片免费观看视频| a级毛片免费高清观看在线播放| 国产视频内射| 夫妻性生交免费视频一级片| 又粗又硬又长又爽又黄的视频| 麻豆成人午夜福利视频| 精品久久久久久久人妻蜜臀av| 婷婷色麻豆天堂久久| 欧美性感艳星| 高清在线视频一区二区三区| 91午夜精品亚洲一区二区三区| 日韩强制内射视频| 中文字幕制服av| 夫妻性生交免费视频一级片| 久久久久久久午夜电影| 亚洲成人一二三区av| 成人高潮视频无遮挡免费网站| 99热国产这里只有精品6| 六月丁香七月| 免费人成在线观看视频色| 男女啪啪激烈高潮av片| 一个人观看的视频www高清免费观看| 伊人久久国产一区二区| 精品人妻偷拍中文字幕| 国产av国产精品国产| 免费黄网站久久成人精品| 在线a可以看的网站| 中文精品一卡2卡3卡4更新| 97精品久久久久久久久久精品| 人妻一区二区av| 看非洲黑人一级黄片| 能在线免费看毛片的网站| 精品一区二区三卡| 国产精品成人在线| 欧美成人a在线观看| 国产大屁股一区二区在线视频| 两个人的视频大全免费| 免费观看无遮挡的男女| 99热这里只有是精品50| 一区二区三区精品91| 亚洲精品久久午夜乱码| 一级爰片在线观看| 亚洲精品日韩av片在线观看| 特级一级黄色大片| 国产一区二区三区av在线| 国产综合精华液| 国产91av在线免费观看| 国产免费一级a男人的天堂| 国产精品三级大全| 美女高潮的动态| 大香蕉久久网| 啦啦啦在线观看免费高清www| 下体分泌物呈黄色| 99久久九九国产精品国产免费| 国产精品久久久久久精品电影| 亚洲四区av| 另类亚洲欧美激情| 亚洲伊人久久精品综合| 在线免费观看不下载黄p国产| 久久久久久久久久成人| 亚州av有码| 免费在线观看成人毛片| 日日摸夜夜添夜夜添av毛片| 色吧在线观看| 女人被狂操c到高潮| 一个人看的www免费观看视频| 精品午夜福利在线看| 午夜激情福利司机影院| 你懂的网址亚洲精品在线观看| 久久久久久国产a免费观看| 啦啦啦啦在线视频资源| 欧美xxⅹ黑人| 女人十人毛片免费观看3o分钟| 国产高清三级在线| 婷婷色综合大香蕉| 日本一二三区视频观看| 久久久久久久久久成人| 国产国拍精品亚洲av在线观看| 国产精品国产三级国产专区5o| 伦理电影大哥的女人| 亚州av有码| a级毛色黄片| 波野结衣二区三区在线| 一级二级三级毛片免费看| 日本三级黄在线观看| 午夜福利高清视频| av国产精品久久久久影院| 中文在线观看免费www的网站| 日韩av在线免费看完整版不卡| 亚洲精品久久午夜乱码| 久久久久久久亚洲中文字幕| 五月伊人婷婷丁香| 2021少妇久久久久久久久久久| 波多野结衣巨乳人妻| 在线观看一区二区三区| 在线免费十八禁| 搞女人的毛片| 国产精品国产三级国产av玫瑰| 三级国产精品片| 老司机影院毛片| 有码 亚洲区| 欧美极品一区二区三区四区| 亚洲精品久久久久久婷婷小说| 欧美成人a在线观看| 日韩欧美一区视频在线观看 | 日韩av不卡免费在线播放| 亚洲欧美日韩卡通动漫| 一级毛片aaaaaa免费看小| 五月伊人婷婷丁香| 一级黄片播放器| .国产精品久久| 男女国产视频网站| 国产一区有黄有色的免费视频| 国产极品天堂在线| 亚洲四区av| 人人妻人人爽人人添夜夜欢视频 | 亚洲av电影在线观看一区二区三区 | 91午夜精品亚洲一区二区三区| 免费av不卡在线播放| 久久99精品国语久久久| 国产精品女同一区二区软件| 美女cb高潮喷水在线观看| 久久久久久久亚洲中文字幕| 免费av不卡在线播放| 看非洲黑人一级黄片| 国产av国产精品国产| 免费看日本二区| 国产伦理片在线播放av一区| 日日啪夜夜撸| 成人特级av手机在线观看| 一级毛片我不卡| 涩涩av久久男人的天堂| 网址你懂的国产日韩在线| 免费播放大片免费观看视频在线观看| 嫩草影院新地址| 久久久久国产精品人妻一区二区| 国产色爽女视频免费观看| 亚洲国产高清在线一区二区三| 亚洲国产av新网站| 一二三四中文在线观看免费高清| 亚洲av不卡在线观看| 亚洲无线观看免费| 亚洲精品久久久久久婷婷小说| 国精品久久久久久国模美| 亚洲美女搞黄在线观看| av.在线天堂| 一边亲一边摸免费视频| 久久久久久久大尺度免费视频| 午夜福利在线观看免费完整高清在| 最近中文字幕高清免费大全6| 男女无遮挡免费网站观看| 久久久久精品久久久久真实原创| 天堂俺去俺来也www色官网| 美女脱内裤让男人舔精品视频| 久久综合国产亚洲精品| 国产精品国产av在线观看| 日韩大片免费观看网站| 久久久色成人| 另类亚洲欧美激情| av国产免费在线观看| 国产综合精华液| 亚洲av不卡在线观看| 国产黄片美女视频| 久久精品国产自在天天线| av在线天堂中文字幕| 免费看av在线观看网站| 欧美+日韩+精品| 亚洲自拍偷在线| 免费观看性生交大片5| 最近2019中文字幕mv第一页| 青春草视频在线免费观看| 午夜福利网站1000一区二区三区| 亚洲国产欧美在线一区| 成年人午夜在线观看视频| 秋霞伦理黄片| 亚洲精品自拍成人| 国国产精品蜜臀av免费| 久久久久网色| 极品少妇高潮喷水抽搐| 亚洲成色77777| 亚洲av男天堂| 特级一级黄色大片| 成人毛片a级毛片在线播放| 欧美少妇被猛烈插入视频| 欧美 日韩 精品 国产| 成年版毛片免费区| 日韩三级伦理在线观看| 午夜激情福利司机影院| 欧美三级亚洲精品| 免费观看无遮挡的男女| 亚洲国产日韩一区二区| 狂野欧美激情性xxxx在线观看| 国产日韩欧美在线精品| 99热国产这里只有精品6| a级毛色黄片| 男的添女的下面高潮视频| 丰满少妇做爰视频| 在线a可以看的网站| 最近中文字幕高清免费大全6| 国产又色又爽无遮挡免| av一本久久久久| 男女那种视频在线观看| 九九久久精品国产亚洲av麻豆| 男人狂女人下面高潮的视频| 国产一区二区三区av在线| 狂野欧美白嫩少妇大欣赏| 天堂中文最新版在线下载 | 日韩欧美一区视频在线观看 | 国产精品av视频在线免费观看| 最近2019中文字幕mv第一页| 天天躁夜夜躁狠狠久久av| 99久久精品国产国产毛片| 夫妻性生交免费视频一级片| 美女内射精品一级片tv| 一个人看的www免费观看视频| 69人妻影院| 国产精品不卡视频一区二区| 激情 狠狠 欧美| 国产淫语在线视频| 九色成人免费人妻av| 丝袜喷水一区| 亚洲一级一片aⅴ在线观看| 亚洲美女搞黄在线观看| 一区二区av电影网| 99久久人妻综合| 少妇被粗大猛烈的视频| 亚洲国产成人一精品久久久| 日韩伦理黄色片| 性色av一级| 成人毛片a级毛片在线播放| 2021少妇久久久久久久久久久| 在线a可以看的网站| 在线观看免费高清a一片| 一个人看视频在线观看www免费| 午夜激情久久久久久久| 大又大粗又爽又黄少妇毛片口| 18禁裸乳无遮挡动漫免费视频 | 欧美另类一区| 国产精品国产av在线观看| 九色成人免费人妻av| 天堂网av新在线| 免费电影在线观看免费观看| 中文在线观看免费www的网站| 亚洲国产av新网站| 极品少妇高潮喷水抽搐| 国产精品国产三级国产av玫瑰| 日日啪夜夜爽| 美女国产视频在线观看| 亚洲成人一二三区av| 中文天堂在线官网| 女人十人毛片免费观看3o分钟| 夜夜爽夜夜爽视频| 亚洲精品亚洲一区二区| 精品少妇久久久久久888优播| 亚洲美女搞黄在线观看| 国产乱人视频| 久久久国产一区二区| 干丝袜人妻中文字幕| 看免费成人av毛片| 亚州av有码| 国产乱来视频区| 亚洲成色77777| 亚洲内射少妇av| 婷婷色av中文字幕| 国产精品一区二区三区四区免费观看| 午夜福利网站1000一区二区三区| 麻豆国产97在线/欧美| 2021少妇久久久久久久久久久| 亚洲人成网站高清观看| av网站免费在线观看视频| 天美传媒精品一区二区| 国产日韩欧美在线精品| 日本色播在线视频| 香蕉精品网在线| 3wmmmm亚洲av在线观看| 直男gayav资源| 久久精品久久久久久噜噜老黄| 国产欧美日韩一区二区三区在线 | 男女那种视频在线观看| 又粗又硬又长又爽又黄的视频| 中文字幕久久专区| 欧美少妇被猛烈插入视频| 欧美一级a爱片免费观看看| 亚洲av免费在线观看| 观看免费一级毛片| 国产成人精品婷婷| 久久久欧美国产精品| 精品一区在线观看国产| 欧美激情国产日韩精品一区| 精品少妇久久久久久888优播| 国产一区二区三区综合在线观看 | 亚洲久久久久久中文字幕| 99热国产这里只有精品6| 欧美高清性xxxxhd video| 久久99热这里只有精品18| 国产乱人偷精品视频| 99久久中文字幕三级久久日本| 亚洲不卡免费看| 亚洲精品,欧美精品| 日韩欧美精品免费久久| 久久精品熟女亚洲av麻豆精品| 在线观看av片永久免费下载| 久久久精品欧美日韩精品| 九九爱精品视频在线观看| 国产爱豆传媒在线观看| 一级毛片久久久久久久久女| 日韩一区二区三区影片| 亚洲欧美日韩东京热| 亚洲一级一片aⅴ在线观看| 性色av一级| 人妻制服诱惑在线中文字幕| 五月玫瑰六月丁香| 国产人妻一区二区三区在| www.av在线官网国产| 九色成人免费人妻av| 婷婷色av中文字幕| 亚洲国产高清在线一区二区三| 听说在线观看完整版免费高清| 午夜精品国产一区二区电影 | 国产精品av视频在线免费观看| 亚洲精品国产av成人精品| 亚洲性久久影院| 在线观看一区二区三区| 男人爽女人下面视频在线观看| 亚洲,欧美,日韩| 中国三级夫妇交换| av又黄又爽大尺度在线免费看| 最近手机中文字幕大全| 久久久久久久久久成人| 有码 亚洲区| 又爽又黄a免费视频| 1000部很黄的大片| 日本一二三区视频观看| 人人妻人人爽人人添夜夜欢视频 | 久久久久久国产a免费观看| 成人欧美大片| 少妇人妻久久综合中文| 又爽又黄无遮挡网站| 日韩av在线免费看完整版不卡| 亚洲高清免费不卡视频| 国产毛片在线视频| 国产精品人妻久久久影院| 蜜桃亚洲精品一区二区三区| 在线观看av片永久免费下载| 天天躁日日操中文字幕| 国产成人午夜福利电影在线观看| 欧美bdsm另类| 久久久久国产精品人妻一区二区| 成年版毛片免费区| 搡老乐熟女国产| 777米奇影视久久| 午夜激情福利司机影院| 午夜激情久久久久久久| 真实男女啪啪啪动态图| 黑人高潮一二区| 少妇 在线观看| 97人妻精品一区二区三区麻豆| 丝瓜视频免费看黄片| 99久久中文字幕三级久久日本| 亚洲丝袜综合中文字幕| 久久久久久久久大av| 精品一区二区三卡| 欧美一区二区亚洲| 少妇高潮的动态图| 好男人在线观看高清免费视频| 亚洲精品自拍成人| 亚洲精品国产av蜜桃| 日日撸夜夜添| 国产欧美日韩精品一区二区| 青青草视频在线视频观看| 白带黄色成豆腐渣| 国产精品嫩草影院av在线观看| 亚洲激情五月婷婷啪啪| 亚洲精品国产av蜜桃| 爱豆传媒免费全集在线观看| 在线播放无遮挡| 91精品伊人久久大香线蕉| 欧美三级亚洲精品| 国产精品一二三区在线看| 精品国产乱码久久久久久小说| 涩涩av久久男人的天堂| 国产视频首页在线观看| 国产毛片a区久久久久| 18禁裸乳无遮挡免费网站照片| 91久久精品电影网| 韩国高清视频一区二区三区| 草草在线视频免费看| 久久久久久久亚洲中文字幕| 激情 狠狠 欧美| 三级经典国产精品| 国产精品久久久久久精品电影小说 | 亚洲va在线va天堂va国产| 国产乱人视频| 亚洲国产成人一精品久久久| 亚洲国产欧美在线一区| 亚洲性久久影院| 欧美成人一区二区免费高清观看| 亚洲激情五月婷婷啪啪| 九九爱精品视频在线观看| 少妇被粗大猛烈的视频| 九九爱精品视频在线观看| 一级片'在线观看视频| 国产毛片在线视频| 一本久久精品| 亚洲精品日韩在线中文字幕| 国产91av在线免费观看| 国产成人福利小说| 日韩,欧美,国产一区二区三区| 国语对白做爰xxxⅹ性视频网站| 国产爱豆传媒在线观看| 99热这里只有精品一区| 国产男女内射视频| 免费大片黄手机在线观看| 国产亚洲av嫩草精品影院| 自拍偷自拍亚洲精品老妇| 久热久热在线精品观看| 成人黄色视频免费在线看| 一级av片app| 成人黄色视频免费在线看| 欧美日韩视频高清一区二区三区二| 欧美极品一区二区三区四区| 亚洲精品成人久久久久久| 蜜桃亚洲精品一区二区三区| 国产一区二区三区av在线| 国产亚洲一区二区精品| 中文欧美无线码| 亚洲精品456在线播放app| 亚洲成人精品中文字幕电影| 国产亚洲一区二区精品| 国产精品国产三级专区第一集| 麻豆成人午夜福利视频| 天堂中文最新版在线下载 | 下体分泌物呈黄色| 欧美日韩一区二区视频在线观看视频在线 | 91久久精品国产一区二区成人| 日韩国内少妇激情av| 国精品久久久久久国模美| 女人久久www免费人成看片| av卡一久久| 亚洲国产日韩一区二区| 亚洲,一卡二卡三卡| 欧美最新免费一区二区三区| 亚洲精品成人av观看孕妇| www.色视频.com| 另类亚洲欧美激情| 欧美xxxx黑人xx丫x性爽| 久久精品人妻少妇| 久久精品国产鲁丝片午夜精品| 日韩强制内射视频| 国产有黄有色有爽视频| 国产69精品久久久久777片| 高清日韩中文字幕在线| 麻豆成人av视频| 亚洲欧美清纯卡通| 亚洲精品日韩av片在线观看| 国产精品嫩草影院av在线观看| 男女啪啪激烈高潮av片| 别揉我奶头 嗯啊视频| 久久久精品94久久精品| 色网站视频免费| 乱系列少妇在线播放| 日本wwww免费看| 国产伦精品一区二区三区四那| 国产成人a∨麻豆精品| 亚洲精品视频女| 亚洲国产成人一精品久久久| 97在线视频观看| 国产精品一区二区在线观看99| 99热6这里只有精品| 菩萨蛮人人尽说江南好唐韦庄| 国产精品人妻久久久久久| 国产在视频线精品| 成人黄色视频免费在线看| 国产探花在线观看一区二区| 91精品伊人久久大香线蕉| freevideosex欧美| 在线观看人妻少妇| 久久精品久久精品一区二区三区| 中文天堂在线官网| 伊人久久国产一区二区| 超碰av人人做人人爽久久| 国产免费福利视频在线观看| 成人亚洲精品av一区二区| 各种免费的搞黄视频| 看免费成人av毛片| 少妇 在线观看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久久成人免费电影| 久久这里有精品视频免费| 97热精品久久久久久| 一区二区三区精品91| 日韩视频在线欧美| 最近中文字幕高清免费大全6| 两个人的视频大全免费| 亚洲av在线观看美女高潮| 久久综合国产亚洲精品| 国产女主播在线喷水免费视频网站| 九九爱精品视频在线观看| 成人漫画全彩无遮挡| 大话2 男鬼变身卡| 国产久久久一区二区三区| 久久久精品欧美日韩精品| 亚洲欧美一区二区三区黑人 | 免费看日本二区| 夫妻午夜视频| 亚洲成人av在线免费| 麻豆乱淫一区二区| 啦啦啦在线观看免费高清www| 一个人看的www免费观看视频| 韩国高清视频一区二区三区| 一级片'在线观看视频| av天堂中文字幕网| 啦啦啦啦在线视频资源| 国产精品三级大全| 全区人妻精品视频| 中文字幕制服av| 国产精品精品国产色婷婷| 亚洲精品aⅴ在线观看| 久久久久久久久久久丰满| 色视频在线一区二区三区|