高斯過(guò)程回歸的近似方法及其應(yīng)用

張明民

(同濟(jì)大學(xué) 中德學(xué)院，上海 201804)

0 引言

建模方法一般可以分為參數(shù)建模和非參數(shù)建模。參數(shù)建模適用于為較簡(jiǎn)單的系統(tǒng)構(gòu)建模型，通常要求系統(tǒng)結(jié)構(gòu)可以用已知的數(shù)學(xué)模型來(lái)描述，再確定模型中的未知參數(shù)即可實(shí)現(xiàn)建模。然而，對(duì)于復(fù)雜的非線性系統(tǒng)的建模則需要非參數(shù)模型。數(shù)據(jù)驅(qū)動(dòng)的非參數(shù)建模方法不受模型結(jié)構(gòu)的限制，其適用范圍更廣，并且只需要很少的先驗(yàn)信息就可完成高質(zhì)量的建模[1]。在當(dāng)今的信息社會(huì)，眾多應(yīng)用場(chǎng)景中都可以提供大量的可用數(shù)據(jù)，這大大促進(jìn)了非參數(shù)建模的發(fā)展。非參數(shù)建模方法的靈活性和強(qiáng)大的模型表達(dá)能力讓其在各個(gè)領(lǐng)域被廣泛應(yīng)用，例如工業(yè)處理[2]，生物工程[3]，自主機(jī)器人[4]和無(wú)人機(jī)[5]的控制等。

非參數(shù)建模方法之一是高斯過(guò)程回歸 (GPR)，它一般用于非線性函數(shù)的建模[6]。作為一種貝葉斯機(jī)器學(xué)習(xí)方法，GPR與神經(jīng)網(wǎng)絡(luò)的聯(lián)系在于，許多基于神經(jīng)網(wǎng)絡(luò)的貝葉斯回歸模型在網(wǎng)絡(luò)無(wú)限大的情況下會(huì)收斂為高斯過(guò)程(GP)[7]。GPR可以根據(jù)訓(xùn)練數(shù)據(jù)調(diào)整模型的復(fù)雜度，還能以一定概率保證預(yù)測(cè)誤差的有界性[6]，使其能被應(yīng)用于對(duì)安全性要求較高的場(chǎng)景。盡管有以上這些優(yōu)點(diǎn)，但是它的計(jì)算復(fù)雜度隨著訓(xùn)練數(shù)據(jù)的增加急劇增長(zhǎng)。具體來(lái)說(shuō)，對(duì)于n個(gè)訓(xùn)練樣本，GPR的更新和預(yù)測(cè)時(shí)間復(fù)雜度分別為Ο(n3)和Ο(n2)，過(guò)高的計(jì)算成本使GPR無(wú)法被用于很多大數(shù)據(jù)量的學(xué)習(xí)任務(wù)。為此，一些近似方法被開(kāi)發(fā)出來(lái)，以通過(guò)近似計(jì)算代替精確計(jì)算來(lái)減少GPR的計(jì)算量，如選取一部分有代表性的數(shù)據(jù)來(lái)代替整個(gè)數(shù)據(jù)集。

本文在說(shuō)明GPR原理的基礎(chǔ)上，詳細(xì)分析了其近似方法，并介紹了其在一些領(lǐng)域的應(yīng)用情況。

1 高斯過(guò)程回歸簡(jiǎn)介

高斯過(guò)程是一個(gè)隨機(jī)變量的集合，任意有限數(shù)量的這些隨機(jī)變量的組合都具有聯(lián)合高斯分布[6]。一個(gè)GP由其均值函數(shù)和協(xié)方差函數(shù)完全確定。

作為一種機(jī)器學(xué)習(xí)方法，GPR需要訓(xùn)練數(shù)據(jù)。假設(shè)數(shù)據(jù)集{X,y}由n對(duì)數(shù)據(jù)構(gòu)成，其中輸入集X={x1,x2,...,xn}由n個(gè)輸入向量組成，而輸出集y={y1,y2,...,yn}由n個(gè)對(duì)應(yīng)的一維輸出組成。

對(duì)于一個(gè)問(wèn)詢點(diǎn)x，它對(duì)應(yīng)的輸出f(x)是一個(gè)GP，其先驗(yàn)均值和方差由下式給出:

μ(x)=E[f(x)]

(1)

k(x,x′)=E[(f(x)-μ(x))(f(x′)-μ(x′))]

(2)

通常假設(shè)均值為0，故f(x)可以表示為:

f(x)～N(0,k(x,x′))

(3)

y是對(duì)f(x)的受到干擾的觀測(cè)：

yi=f(xi)+εi,i=1,…,n

(4)

(5)

(6)

其中：I是單位矩陣，K(X,X)是n×n維的GP協(xié)方差矩陣，由元素Kij=K(xi,xj),i,j=1,…,n組成。K(X,x)是輸入集X中所有的元素xi(i=1,…,n)分別與問(wèn)詢點(diǎn)x所求得的協(xié)方差組成的協(xié)方差向量，同理可得K(x,X)和K(x,x)。

而f(x)的后驗(yàn)同樣服從高斯分布：

f(x|y,X)～N(m(x),cov(x))

(7)

其預(yù)測(cè)的均值和協(xié)方差分別為:

m(x)=K(x,X)βy

(8)

cov(x)=K(x,x)-K(x,X)βK(X,x)

(9)

(10)

GP的核函數(shù)有很多種選擇，如線性核函數(shù)、多項(xiàng)式核函數(shù)、二次有理核函數(shù)等。前文提到的噪聲的標(biāo)準(zhǔn)差和核函數(shù)中的超參數(shù)一起被稱為GP的超參數(shù)，記為θ。要更新模型的超參數(shù)，可采用Rasmussen等[6]的方法，先對(duì)函數(shù)f進(jìn)行邊緣化得到邊緣似然函數(shù):

(11)

進(jìn)而對(duì)邊緣似然函數(shù)求對(duì)數(shù)，得到以下的對(duì)數(shù)似然函數(shù):

log(p(y|X,θ))=

(12)

然后將對(duì)數(shù)似然函數(shù)依次對(duì)各個(gè)超參數(shù)求偏導(dǎo)數(shù)，就可以得到最佳的超參數(shù)數(shù)值。由以上可以看出，在預(yù)測(cè)和更新階段都需要對(duì)協(xié)方差矩陣求逆，即計(jì)算β，這是GP計(jì)算量大的主要原因之一。

2 高斯過(guò)程回歸的近似方法

根據(jù)是否把數(shù)據(jù)劃分為子集，GPR的近似方法可以被分為全局近似方法和局部近似方法。局部近似方法通過(guò)一定的標(biāo)準(zhǔn)將訓(xùn)練數(shù)據(jù)劃分為眾多的子數(shù)據(jù)集，在每個(gè)子集上獨(dú)立地訓(xùn)練一個(gè)局部GP模型，而全局近似方法則不這樣。下面參考Liu等[8]給GP近似方法的分類(如圖1所示)，詳細(xì)介紹這兩種類別。

圖1 高斯過(guò)程回歸的近似方法

2.1 全局高斯過(guò)程近似

全局近似旨在實(shí)現(xiàn)完整協(xié)方差矩陣的稀疏性，以減少協(xié)方差矩陣求逆的計(jì)算量。其中，側(cè)重于選擇訓(xùn)練數(shù)據(jù)的代表性子集的稀疏近似占主要地位[9]。而在稀疏近似中，先驗(yàn)近似方法又占大多數(shù)，其可以被分類為確定性訓(xùn)練條件 (DTC) 近似法，部分獨(dú)立訓(xùn)練條件 (PITC) 近似法，回歸子集 (SoR)法等。

確定性訓(xùn)練條件 (DTC) 近似旨在從訓(xùn)練數(shù)據(jù)集中選擇一個(gè)活動(dòng)子集(active subset)，該方法的關(guān)鍵是如何使選出的子集具有代表性。例如，Csató等[10]借助再現(xiàn)核希爾伯特空間中的投影技術(shù)，使用某個(gè)區(qū)域中數(shù)據(jù)點(diǎn)的平均值來(lái)代替該區(qū)域中的所有點(diǎn)。與上述方法中處理訓(xùn)練數(shù)據(jù)的隨機(jī)順序不同，Seeger等[11]利用快速前向選擇策略，通過(guò)完全貪婪搜索將訓(xùn)練點(diǎn)插入活動(dòng)子集中，此方法被證明與隨機(jī)選擇一樣快速。Schreiter等[9]提出了另一種方法，以訓(xùn)練數(shù)據(jù)和模型之間的最大誤差作為訓(xùn)練點(diǎn)連續(xù)插入和刪除的標(biāo)準(zhǔn)，該方法也達(dá)到了與隨機(jī)選擇方案相同的速度。雖然可以獲得恒定的預(yù)測(cè)復(fù)雜度，但 DTC 近似的更新復(fù)雜度隨著訓(xùn)練點(diǎn)的增加而線性增長(zhǎng)。

與 DTC 近似相反，完全獨(dú)立訓(xùn)練條件 (FITC) 近似利用虛擬訓(xùn)練點(diǎn)的子集來(lái)實(shí)現(xiàn)GPR計(jì)算的加速[9]，這些虛擬訓(xùn)練點(diǎn)由訓(xùn)練數(shù)據(jù)經(jīng)過(guò)處理得到。其在另一文獻(xiàn)中[12]被稱為偽輸入，該文獻(xiàn)的方法同時(shí)優(yōu)化GP的超參數(shù)和偽輸入的選取。此外，當(dāng)不假設(shè)完全獨(dú)立的訓(xùn)練條件時(shí)，可以推導(dǎo)出另一種方法，即部分獨(dú)立訓(xùn)練條件 (PITC) 近似，它其實(shí)是 FITC 近似的推廣[13]。

除此之外的一種近似方法是回歸子集 (SoR)法，也稱為確定性誘導(dǎo)條件 (DIC) 近似法，其在在線學(xué)習(xí)的應(yīng)用中表現(xiàn)出了良好的性能[14]?；跍p少自由變量數(shù)量的思想，Smola等[15]提出的稀疏貪婪GPR利用回歸子集法，通過(guò)反復(fù)地把能使后驗(yàn)概率增加最大的附加函數(shù)添加到基函數(shù)集，來(lái)實(shí)現(xiàn)較低的計(jì)算成本。當(dāng)GP核函數(shù)的 Gram 矩陣是常見(jiàn)的稀疏矩陣時(shí)，可以使用 Givens 旋轉(zhuǎn)來(lái)更新Gram矩陣的 Cholesky 因子來(lái)降低計(jì)算復(fù)雜度，而不是重新計(jì)算 Cholesky 因子[16]。另外還有基于Bochner 定理的稀疏譜GP，例如，Lázaro-Gredilla等[17]在研究中引入了一個(gè)靜態(tài)三角貝葉斯模型，旨在稀疏化 GP 的譜表示，通過(guò)線性地組合三角函數(shù)，可以近似任何平穩(wěn)的GP； Gijsberts 等[18]通過(guò)用有限維的隨機(jī)特征映射來(lái)近似核函數(shù)，實(shí)現(xiàn)了更新過(guò)程恒定的計(jì)算復(fù)雜度。盡管稀疏譜GP繼承了GPR的許多理論特性[19]，但它面臨預(yù)測(cè)值方差較大的問(wèn)題[8]。比較 DTC 和 SoR，二者預(yù)測(cè)值的分布之間的唯一區(qū)別是 DTC預(yù)測(cè)值的方差通常更高[20]。

以上提到的方法都是先驗(yàn)近似方法。此外，全局近似方法還包括后驗(yàn)近似方法和結(jié)構(gòu)化稀疏近似方法。后驗(yàn)近似的目標(biāo)是最小化變分GP 分布和真實(shí)后驗(yàn) GP 分布之間的差異。與 Csató等[10]的方法不同，Titsias[21]提供了一個(gè)變分框架，通過(guò)最大化變分下界來(lái)聯(lián)合優(yōu)化誘導(dǎo)點(diǎn)和超參數(shù)，該方法被稱為變異自由能。同樣是利用誘導(dǎo)點(diǎn)，Hensman等[22]使用隨機(jī)變分推理實(shí)現(xiàn)了 GP 在大型數(shù)據(jù)集上的可用性。Lázaro等[23]提出了一個(gè)通用的推理框架來(lái)改進(jìn)選擇的誘導(dǎo)點(diǎn)，稱為域間GP。

近年來(lái)，結(jié)構(gòu)化稀疏近似方法也經(jīng)常被研究。例如，Shen等[24]提出了一種使用快速矩陣-向量乘法策略的稀疏化方法，將訓(xùn)練點(diǎn)聚類成樹(shù)狀結(jié)構(gòu)，這與Morariu 等[25]的方法類似。Wilson等[26]使用基于插值的核函數(shù)，為誘導(dǎo)點(diǎn)方法提供了一個(gè)一般性框架，并實(shí)現(xiàn)了良好的預(yù)測(cè)精度。

2.2 局部高斯過(guò)程近似方法

盡管對(duì)局部近似方法的研究不如全局近似方法多，但它們?cè)趯?shí)際應(yīng)用中常常出現(xiàn)，因?yàn)槠淇梢杂行У亟档陀?jì)算成本。局部 GP 近似采用分治法(divide-and-conquer)，將訓(xùn)練數(shù)據(jù)分配到多個(gè)子集，在這些子集上訓(xùn)練局部 GP 模型。為了對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行劃分和存儲(chǔ)，經(jīng)常會(huì)使用樹(shù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)局部模型的構(gòu)建[14,24,27]。例如，Ng等[27]使用k-d樹(shù)將數(shù)據(jù)點(diǎn)添加到局部 GP 模型中，并在數(shù)據(jù)點(diǎn)達(dá)到一定數(shù)量時(shí)將現(xiàn)有模型劃分為多個(gè)子模型。

下面以二叉樹(shù)為例，介紹一種構(gòu)造局部模型的方法[14]。我們考慮在線學(xué)習(xí)任務(wù)，這種情況下數(shù)據(jù)點(diǎn)是依次產(chǎn)生并被添加到GPR的。如圖2所示，圖中每個(gè)節(jié)點(diǎn)代表一個(gè)局部GP模型，其中包含一些訓(xùn)練樣本。在學(xué)習(xí)過(guò)程剛開(kāi)始時(shí)只有一個(gè)GP模型，稱為根模型。隨著數(shù)據(jù)點(diǎn)一個(gè)接一個(gè)地加入，根模型中的數(shù)據(jù)不斷積累。在達(dá)到一個(gè)事先設(shè)定好的數(shù)據(jù)量閾值時(shí)，根模型被分成模型1和模型2。具體來(lái)說(shuō)，根模型中所有的數(shù)據(jù)會(huì)根據(jù)一定的標(biāo)準(zhǔn)被分給這兩個(gè)子模型，而分裂后的根模型中不再包含數(shù)據(jù)，該GP模型也就不存在了。隨后抵達(dá)的數(shù)據(jù)點(diǎn)會(huì)依照同一標(biāo)準(zhǔn)繼續(xù)被分配給模型1和模型2。當(dāng)這兩個(gè)模型中的數(shù)據(jù)量到達(dá)上限時(shí)，它們也會(huì)分裂成新的子模型，從而形成樹(shù)狀結(jié)構(gòu)的第三層。如此重復(fù)模型的分裂步驟，局部GP模型就被構(gòu)造出來(lái)了。

圖2 樹(shù)狀結(jié)構(gòu)的局部高斯過(guò)程模型

需要注意的是，并不是所有的局部模型都有子模型。例如圖中第三層的4個(gè)模型中，模型3和模型6在下一層會(huì)分裂出新的模型，而另外兩個(gè)模型則沒(méi)有子模型。由于數(shù)據(jù)分配標(biāo)準(zhǔn)的原因，模型4和模型5中沒(méi)有被分配到足夠的數(shù)據(jù)點(diǎn)，故而不會(huì)到達(dá)閾值。在局部模型分裂時(shí)，數(shù)據(jù)分配標(biāo)準(zhǔn)的選擇有很多種。例如對(duì)于二叉樹(shù)，可以選擇父模型中數(shù)據(jù)的輸入集X的平均值或中位數(shù)作為邊界，也可以選取最大的xi和最小的xi的平均值，然后將xi小于平均值或中位數(shù)的數(shù)據(jù)點(diǎn)分到左邊的子模型，其他的數(shù)據(jù)點(diǎn)則進(jìn)入右邊的子模型。

在模型的預(yù)測(cè)階段，每個(gè)局部模型都會(huì)產(chǎn)生一個(gè)自己的預(yù)測(cè)結(jié)果。為了將局部模型的預(yù)測(cè)結(jié)果聚合成一個(gè)全局的預(yù)測(cè)，需要一定的聚合方法。目前已經(jīng)被較深入地研究的是專家混合 (mixture of experts)方法和專家乘積 (product of experts)方法。

Jacobs等[28]提出的專家混合方法已在局部 GPR近似中被廣泛使用。此方法最先由Tresp[29]引入到GPR中，他們通過(guò)使用一定數(shù)量的具有單獨(dú)尺度參數(shù)的M個(gè)局部GP模型，實(shí)現(xiàn)了將輸入數(shù)據(jù)分配給相應(yīng)的局部模型的功能。而Rasmussen等[30]通過(guò)基于Dirichlet過(guò)程的門控網(wǎng)絡(luò)將訓(xùn)練數(shù)據(jù)劃分為局部模型。這些研究都使用專家混合方法來(lái)結(jié)合多個(gè)局部模型的預(yù)測(cè)。

專家混合方法為局部模型賦予不同的權(quán)重，然后將它們加在一起以實(shí)現(xiàn)全局預(yù)測(cè)，而專家乘積方法則將各個(gè)局部模型的預(yù)測(cè)相乘。廣義專家乘積(generalized product of experts)[31]方法使用動(dòng)態(tài)權(quán)重的策略，會(huì)根據(jù)預(yù)測(cè)的不確定性相應(yīng)地調(diào)整局部模型的權(quán)重。貝葉斯決策 (bayesian committee machine)[32]也是專家乘積方法的一種，它根據(jù)后驗(yàn)方差決定局部模型的重要性。受到從專家乘積方法到廣義專家乘積方法的改進(jìn)的啟發(fā)，Deisenroth 等[33]提出的魯棒貝葉斯決策(robust Bayesian committee machine)也是通過(guò)調(diào)整局部模型的權(quán)重從貝葉斯決策[32]發(fā)展而來(lái)的。

同時(shí)，也存在少量不需要聚合多個(gè)局部GP模型結(jié)果的局部近似方法。例如，Meier等[34]利用滑動(dòng)窗口策略來(lái)保留一定數(shù)量的近期觀測(cè)數(shù)據(jù)用于預(yù)測(cè)和更新，同時(shí)丟棄舊的數(shù)據(jù)。由于被設(shè)計(jì)用于在線學(xué)習(xí)的控制任務(wù)，訓(xùn)練數(shù)據(jù)沿系統(tǒng)狀態(tài)軌跡分布，因此對(duì)于系統(tǒng)狀態(tài)不重復(fù)的情況，舊的數(shù)據(jù)幾乎與當(dāng)前的控制無(wú)關(guān)，故而可以被遺忘。

雖然通過(guò)局部模型使得協(xié)方差矩陣的規(guī)模大大縮小，避免了單個(gè)模型過(guò)大帶來(lái)的計(jì)算成本過(guò)高的問(wèn)題，但是很多局部近似方法在進(jìn)行預(yù)測(cè)時(shí)，會(huì)讓所有的局部模型都參與預(yù)測(cè)，這樣它們預(yù)測(cè)的計(jì)算量仍然較大。但實(shí)際上，并不是所有局部模型都與當(dāng)前的預(yù)測(cè)密切相關(guān)。這點(diǎn)在Lederer等[14]提出的LoG-GP(locally growing random tree of GPs)中得到了改進(jìn)。LoG-GP中定義了活躍模型的概念，對(duì)于一個(gè)問(wèn)詢點(diǎn)，它對(duì)應(yīng)的活躍模型就是它在模型更新時(shí)可能被分配到的那些局部模型。在預(yù)測(cè)時(shí)只讓這些活躍模型參與計(jì)算，而忽略其他不重要的模型，由此，預(yù)測(cè)的計(jì)算量就得到了進(jìn)一步的減小。

3 高斯過(guò)程回歸的應(yīng)用

GPR的發(fā)展可以追溯到20世紀(jì)40年代發(fā)展起來(lái)的Kolmogorov-Wiener 理論，它為時(shí)間序列的分析提供了數(shù)學(xué)基礎(chǔ)[35]。隨后在地質(zhì)分析領(lǐng)域，GPR的應(yīng)用得到了很大的推廣，被稱為克里金法(Kriging)，由南非礦業(yè)工程師D.G.Krige于1952年首次提出。基于Krige等人的研究，法國(guó)學(xué)者G.Matheron提出了區(qū)域化變量的概念，于1962年正式創(chuàng)立了地質(zhì)統(tǒng)計(jì)學(xué)這個(gè)新學(xué)科[36]。而后，克里金法得到了不斷的拓展，發(fā)展出了簡(jiǎn)單克里金、普通克里金、協(xié)同克里金、指示克里金等分支[37]。 而GPR作為機(jī)器學(xué)習(xí)的一個(gè)分支的正式確立是在1996年由Rasmussen等[38-39]完成的[40]。

時(shí)間序列即事物隨時(shí)間變化的情況，對(duì)時(shí)間序列的分析預(yù)測(cè)是GPR建模能力的直接體現(xiàn)。在時(shí)序預(yù)測(cè)中經(jīng)常需要進(jìn)行多步預(yù)測(cè)，實(shí)現(xiàn)多步預(yù)測(cè)的方法有遞推法和直接法[41-42]。遞推法使用單一的GP模型，通過(guò)多次的單步預(yù)測(cè)來(lái)實(shí)現(xiàn)多步預(yù)測(cè)，上一步的預(yù)測(cè)輸出作為下一步的輸入之一。遞推法簡(jiǎn)單直觀但預(yù)測(cè)誤差會(huì)累積，是最常用的多步預(yù)測(cè)方法。而直接法對(duì)每個(gè)預(yù)測(cè)步驟使用一個(gè)不同的模型，并且所有模型的輸入是相同的，這種方法沒(méi)有累計(jì)誤差但計(jì)算量較大。

在近年來(lái)的研究中， Brahim-Belhouari等[43]的研究展示了基于GP模型對(duì)時(shí)間序列的預(yù)測(cè)優(yōu)于RBF神經(jīng)網(wǎng)絡(luò)。Hachino等[44]采用多重GP模型進(jìn)行時(shí)間序列預(yù)測(cè)，并用可分最小二乘法訓(xùn)練這些GP模型。Tobar等[45]用具有非參數(shù)核函數(shù)的GPR來(lái)預(yù)測(cè)平穩(wěn)的時(shí)間序列。

作為國(guó)內(nèi)較早將GPR應(yīng)用于時(shí)間序列分析的探索，沈赟[46]指出平穩(wěn)的GP核函數(shù)適用于平穩(wěn)時(shí)間序列的預(yù)測(cè)，而對(duì)非平穩(wěn)時(shí)間序列則需要非平穩(wěn)的核函數(shù)以達(dá)到更好的效果。李軍等[47]結(jié)合平穩(wěn)和非平穩(wěn)的GP核函數(shù)形成復(fù)合的核函數(shù)，其對(duì)單步和多步時(shí)間序列的預(yù)測(cè)比常規(guī)GP模型更加準(zhǔn)確，相比于支持向量機(jī)也展現(xiàn)出了一定的優(yōu)勢(shì)。

以下對(duì)GPR在一些具體的工程領(lǐng)域的應(yīng)用進(jìn)行了介紹。

3.1 用于控制領(lǐng)域

GPR由于其出色的非線性系統(tǒng)建模能力，在控制領(lǐng)域受到的關(guān)注不斷增加。

模型預(yù)測(cè)控制(MPC)是實(shí)際應(yīng)用中最常見(jiàn)的控制算法之一。MPC的關(guān)鍵是建立合適的預(yù)測(cè)模型，建?？梢酝ㄟ^(guò)神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、模糊模型等來(lái)實(shí)現(xiàn)。RBF神經(jīng)網(wǎng)絡(luò)作為MPC中廣泛使用的建模方法，在應(yīng)用中面臨著一些限制，如參數(shù)較多，網(wǎng)絡(luò)表現(xiàn)受到初始連接權(quán)值和閾值選取的影響等。而GPR的參數(shù)少，訓(xùn)練過(guò)程相對(duì)容易。作為該領(lǐng)域的早期探索之一，Kocijan[48]等將GPR用于MPC得到了具有更高魯棒性的控制器。Hewing等[49]提出了一個(gè)結(jié)合標(biāo)稱系統(tǒng)和建模為GP的動(dòng)力學(xué)的混合結(jié)構(gòu)，該GP部分用來(lái)學(xué)習(xí)動(dòng)力學(xué)效應(yīng)，所得到的MPC方法可以在很小的采樣間隔下實(shí)現(xiàn)對(duì)系統(tǒng)的控制。Cao等[50]使用GP建模四旋翼飛行器的平移和旋轉(zhuǎn)子系統(tǒng)，提出了一種飛行器的模型預(yù)測(cè)控制軌跡跟蹤方案。

自適應(yīng)控制是一種可以適應(yīng)系統(tǒng)參數(shù)變化的控制方法。模型參考自適應(yīng)控制(MRAC)是自適應(yīng)控制的方案之一，其原理是讓系統(tǒng)的動(dòng)態(tài)特性逼近一個(gè)預(yù)先設(shè)定的參考模型。Chowdhary等[51]通過(guò)在GP核函數(shù)中加入時(shí)變變量，實(shí)現(xiàn)了用GP對(duì)不確定性進(jìn)行概率建模，提升了自適應(yīng)控制的性能。該作者的另一項(xiàng)研究對(duì)比了基于GP的模型參考自適應(yīng)控制(GP-MRAC)和基于徑向基函數(shù)網(wǎng)絡(luò)的模型參考自適應(yīng)控制(RBFN-MRAC)，指出前者具有更好的跟蹤性能[52]。Joshi等[53]用生成網(wǎng)絡(luò)架構(gòu)來(lái)學(xué)習(xí)高斯模型，避免了傳統(tǒng)的GP-MRAC中對(duì)狀態(tài)導(dǎo)數(shù)的估計(jì)，而且該方法能保證跟蹤誤差的統(tǒng)一界限，也保持了系統(tǒng)的穩(wěn)態(tài)性能。

此外，在具體的運(yùn)動(dòng)控制方面，Ko等[54]結(jié)合GPR和無(wú)跡卡爾曼濾波器(UKF)，用GPR學(xué)習(xí)運(yùn)動(dòng)和觀測(cè)模型，同時(shí)用UKF作為狀態(tài)估計(jì)器，其與單純的UKF相比具有更好的估計(jì)效果和更廣的應(yīng)用范圍。Marco等[55]將線性最優(yōu)控制與GP相結(jié)合，提出了一種LQR控制器的整定方案，并用于機(jī)器人手臂的控制。Mukadam等[56]提出了一種高斯過(guò)程運(yùn)動(dòng)規(guī)劃器(GPMP)，首次將GP用于運(yùn)動(dòng)規(guī)劃。該方法用線性時(shí)變隨機(jī)微分方程來(lái)表示連續(xù)的軌跡，利用 GP 插值來(lái)開(kāi)發(fā)運(yùn)動(dòng)規(guī)劃器，能確定最優(yōu)軌跡，并被用于七自由度機(jī)械臂的軌跡優(yōu)化中。同時(shí)，GP還被用于運(yùn)動(dòng)路徑的預(yù)測(cè)[57]、即時(shí)定位與地圖構(gòu)建(SLAM)[58]等。

GPR作為一種概率性的非參數(shù)建模方法，在提供預(yù)測(cè)結(jié)果的同時(shí)還能度量預(yù)測(cè)的不確定性，這是很多其他建模方法所不具備的。因?yàn)檫@個(gè)優(yōu)勢(shì)，GP可以被用于對(duì)精度要求較嚴(yán)格的控制任務(wù)，這通常依賴于誤差的一致有界(uniform error bound)。誤差的一致有界性需要一些較嚴(yán)格的前提假設(shè)才能被推導(dǎo)出來(lái)，而這些前提條件很多時(shí)候難以全部被滿足，因此在應(yīng)用中實(shí)現(xiàn)起來(lái)并不容易。所以，還需要進(jìn)一步的研究以達(dá)到更寬松的前提條件。

3.2 用于軟測(cè)量

在對(duì)產(chǎn)品質(zhì)量要求日益嚴(yán)格的當(dāng)代社會(huì)，如何準(zhǔn)確測(cè)量相關(guān)的質(zhì)量指標(biāo)是一個(gè)至關(guān)重要的問(wèn)題。然而由于技術(shù)的限制，過(guò)程控制中存在很多難以直接測(cè)量的變量，如反應(yīng)器中反應(yīng)物的濃度[59]。于是，一種通過(guò)間接方法來(lái)推斷這些不可測(cè)變量的手段被發(fā)展出來(lái)，稱為軟測(cè)量或虛擬測(cè)量，被廣泛用于化工過(guò)程和工業(yè)制造。實(shí)現(xiàn)軟測(cè)量的關(guān)鍵是選取出與目標(biāo)變量相關(guān)的一組可測(cè)變量，以及如何由這些可測(cè)變量通過(guò)數(shù)學(xué)關(guān)系推導(dǎo)出待測(cè)的目標(biāo)變量[60]。

此外，由于單一模型的測(cè)量精度有限，集成學(xué)習(xí)也被應(yīng)用到軟測(cè)量領(lǐng)域中。Wang等[61]提出了一種基于分層集成GPR模型的軟測(cè)量建模方法，包括基于樣本劃分的集成和基于變量劃分的集成。在第一層中，根據(jù)輸入變量劃分子數(shù)據(jù)集，再在每個(gè)子數(shù)據(jù)集中用高斯混合模型(GMM)建立多個(gè)局部GP模型；第二層將表現(xiàn)好的多個(gè)局部集成GPR模型的預(yù)測(cè)通過(guò)貝葉斯推理得到最終的預(yù)測(cè)值。趙帥等[62]在2019年提出了具有類似結(jié)構(gòu)的軟測(cè)量方法。

在實(shí)際應(yīng)用中，劉國(guó)海等[63]提出了一種動(dòng)態(tài)軟測(cè)量方法，結(jié)合多準(zhǔn)則策略和GPR，實(shí)現(xiàn)了比靜態(tài)軟測(cè)量更高的精度，并將其應(yīng)用于生物發(fā)酵過(guò)程；孫茂偉等[64]將基于改進(jìn)Bagging算法的軟測(cè)量用于工業(yè)雙酚A生產(chǎn)中的指標(biāo)預(yù)測(cè)；Yang等[65]將GPR用于橡膠混合過(guò)程的質(zhì)量指標(biāo)的獲?。籖.Grbic等[66]將其用于化工領(lǐng)域典型的TE(tennessee eastman)過(guò)程。此外，GPR還被用來(lái)綜合其他技術(shù)以實(shí)現(xiàn)軟測(cè)量，如與近鄰傳播[67]、支持向量機(jī)[68]、貝葉斯決策[69]、模糊C均值聚類[70]等相結(jié)合。

測(cè)量的不確定度是除測(cè)量數(shù)值之外衡量測(cè)量精度的另一重要參數(shù)。直接測(cè)量的不確定度較容易估計(jì)，但對(duì)于軟測(cè)量來(lái)說(shuō)，通過(guò)誤差傳遞等方法來(lái)估計(jì)不確定度相當(dāng)困難[59]。與控制領(lǐng)域類似，GP在軟測(cè)量中的應(yīng)用也有著能夠量化測(cè)量不確定度的優(yōu)點(diǎn)。不過(guò)在目前的軟測(cè)量研究中，該優(yōu)點(diǎn)還沒(méi)有被深入地挖掘。

3.3 用于其他領(lǐng)域

1)用于土木工程領(lǐng)域，如滑坡位移[71]，基坑位移[72]和水利工程中的邊坡位移[73]；

2)用于氣象領(lǐng)域，如短期風(fēng)速的預(yù)測(cè)[41]，大氣溫濕度的預(yù)測(cè)[76]；

3)用于圖像處理，如圖像分割中的異常檢測(cè)[77]，圖像中的運(yùn)動(dòng)目標(biāo)檢測(cè)[78]；

4)用于電力系統(tǒng)，如電力需求的預(yù)測(cè)[79]，變壓器的故障診斷[80]，等等。

總的來(lái)說(shuō)，由于其出色的非線性建模能力，參數(shù)較少，并能給出預(yù)測(cè)的方差，GPR在實(shí)際應(yīng)用中展現(xiàn)了其優(yōu)越性。如果能在降低其計(jì)算復(fù)雜度的基礎(chǔ)上進(jìn)一步發(fā)揮這些優(yōu)勢(shì)，其應(yīng)用范圍將會(huì)得到持續(xù)的拓展。

4 結(jié)束語(yǔ)

GPR是一種強(qiáng)大的機(jī)器學(xué)習(xí)建模方法。為了克服其計(jì)算量隨訓(xùn)練數(shù)據(jù)大幅增加的問(wèn)題，各種各樣的近似方法被開(kāi)發(fā)出來(lái)，包括整體近似和局部近似。GPR已經(jīng)在眾多領(lǐng)域得到了應(yīng)用，為了使其變得更加完善，以下方面還有待有進(jìn)一步的研究：

1)雖然GPR能夠保證回歸誤差的有界性(以一定概率)，但是一些近似方法并沒(méi)有繼承這個(gè)性質(zhì)，因而在對(duì)預(yù)測(cè)準(zhǔn)確性要求很高的任務(wù)中無(wú)法被采用，如精密制造任務(wù)或與人相關(guān)的機(jī)器控制任務(wù)。但也有很多GP近似方法在近似后還保留了誤差有界性的優(yōu)點(diǎn)。

2)全局近似方法的策略是選取一部分有代表性的數(shù)據(jù)，而其他冗余的訓(xùn)練數(shù)據(jù)可以被丟棄，這使得它們對(duì)存儲(chǔ)空間的要求不高；而由于降低計(jì)算復(fù)雜度的原理不同，大多數(shù)局部GP近似方法會(huì)保留所有數(shù)據(jù)。這使得它們?cè)趹?yīng)用中還會(huì)面臨設(shè)備存儲(chǔ)容量不足的問(wèn)題，特別是對(duì)一些內(nèi)存較小的設(shè)備，如無(wú)人機(jī)等。隨著數(shù)據(jù)采集技術(shù)的發(fā)展和傳感器成本的普遍降低，各種場(chǎng)景中產(chǎn)生數(shù)據(jù)量不斷增長(zhǎng)，此問(wèn)題如果得不到有效的緩解就會(huì)限制局部近似方法的應(yīng)用。

3)當(dāng)今，越來(lái)越多的應(yīng)用場(chǎng)景需要實(shí)現(xiàn)在線建模，即通過(guò)在線收集的數(shù)據(jù)完成實(shí)時(shí)建模。相比于離線建模，在線建模對(duì)數(shù)據(jù)的利用率要高得多，并且能實(shí)現(xiàn)模型的動(dòng)態(tài)調(diào)整。然而，在線建模需要面對(duì)更多的挑戰(zhàn)，對(duì)計(jì)算速度的要求也更高，實(shí)現(xiàn)難度更大。例如，很多局部GP近似方法需要在提前已知訓(xùn)練數(shù)據(jù)的情況下才能完成局部模型的構(gòu)建，故而類似圖2中展示的通過(guò)實(shí)時(shí)數(shù)據(jù)生成局部模型的方法就不適用了，它們也無(wú)法用于在線建模任務(wù)。在利用GPR完成實(shí)時(shí)建模的方面已經(jīng)有一些研究，但還需要更深入的探索。