高斯過程建模方法在工業(yè)過程中的應(yīng)用*

肖紅軍 劉乙奇 黃道平

(華南理工大學(xué) 自動化科學(xué)與工程學(xué)院, 廣東 廣州 510640)

高斯過程建模方法在工業(yè)過程中的應(yīng)用*

肖紅軍 劉乙奇 黃道平?

(華南理工大學(xué) 自動化科學(xué)與工程學(xué)院, 廣東 廣州 510640)

面對日益復(fù)雜的工業(yè)過程，傳統(tǒng)傳感器無法得到有效應(yīng)用，重要變量無法準確建模，重要過程無法得到有效優(yōu)化和診斷，高斯過程模型的提出和應(yīng)用為工業(yè)過程建模、優(yōu)化和控制提供了一個廣闊的思路，并可兼顧描述不確定信息.文中針對工業(yè)過程的復(fù)雜特性，不僅綜述了高斯過程的基本方法以及存在的主要問題，而且歸納了其基本建模、優(yōu)化、控制及故障診斷的應(yīng)用和研究成果.最后，結(jié)合國際上發(fā)展及作者的實踐經(jīng)驗總結(jié)并展望了高斯過程模型在工業(yè)過程中的應(yīng)用前景和發(fā)展趨勢.

高斯過程模型；工業(yè)過程；軟測量；故障診斷

利用數(shù)據(jù)中所蘊含的信息輔助決策在人類的發(fā)展過程中有著悠久的歷史，但隨著科學(xué)技術(shù)的日益發(fā)展和工業(yè)過程的日漸復(fù)雜，傳統(tǒng)的手工分析和數(shù)據(jù)處理方法已經(jīng)遠不能滿足要求，因此，通過機器學(xué)習(xí)算法發(fā)掘工業(yè)過程中的有用信息已經(jīng)達成了廣泛共識.

系統(tǒng)建模是機器學(xué)習(xí)算法實現(xiàn)的必要步驟，并隨著機器學(xué)習(xí)算法的深入研究逐步發(fā)展形成了多種類型的建模方法，如神經(jīng)網(wǎng)絡(luò)、k-近鄰、貝葉斯、支持向量機、圖模型以及高斯過程.這些機器學(xué)習(xí)算法在實際應(yīng)用過程中各有千秋，而核學(xué)習(xí)算法由于其卓越的非線性逼近能力，得到了國內(nèi)外專家的廣泛關(guān)注[1].支持向量機作為核學(xué)習(xí)算法的一個典型代表，融合了統(tǒng)計學(xué)的優(yōu)點，不僅可兼顧模型的過擬合和泛化能力，有效解決維數(shù)災(zāi)難問題，還能提高模型的非線性逼近能力.而相關(guān)向量機較支持向量機有更優(yōu)越的稀疏性，即更少的辨識參數(shù)，近年來也越來越受到研究人員的關(guān)注.高斯過程模型則是新近核建模方法的一個研究熱點.高斯過程(GP)可表征為隨機變量的集合,該集合中的任意隨機變量組合服從聯(lián)合高斯分布，其可等效為一種特殊結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，即隱含層含有無限節(jié)點的的神經(jīng)網(wǎng)絡(luò)[2].高斯過程模型由均值函數(shù)和協(xié)方差函數(shù)唯一確定，而均值函數(shù)通常可假定為零，故只需確定協(xié)方差函數(shù)便可確定高斯過程模型.即只要確定協(xié)方差函數(shù)的結(jié)構(gòu)并辨識相應(yīng)參數(shù)便可獲得相應(yīng)的高斯模型.因此，相比于神經(jīng)網(wǎng)絡(luò)、支持向量機等方法,高斯過程模型減少了需要辨識的參數(shù)，簡化了參數(shù)優(yōu)化過程，增強了模型的收斂性.此外，由于高斯過程模型是非參數(shù)概率模型,可以在輸入未知的情況下預(yù)測輸出,并給出該預(yù)測的置信度；同時還具有以下優(yōu)點：可將過程的先驗知識表征為先驗概率融入模型，可通過靈活選取協(xié)方差函數(shù)來增強模型對實際工業(yè)過程的解釋能力，適用于回歸建模和分類研究；因此，在生物醫(yī)療[3]、機器人控制[4]、環(huán)保[5- 6]和信號處理[7]等領(lǐng)域，高斯過程模型均得到了廣泛應(yīng)用.但是，高斯過程模型也存在著諸多不足：隨著數(shù)據(jù)量和數(shù)據(jù)維度的增加，協(xié)方差及其參數(shù)的計算會呈現(xiàn)指數(shù)型增長；協(xié)方差函數(shù)結(jié)構(gòu)的選擇需要先驗知識；高斯假定往往難以描述非高斯過程.

鑒于高斯過程模型的優(yōu)勢，不論對其進行理論上的發(fā)展完善還是應(yīng)用拓展，對機器學(xué)習(xí)領(lǐng)域的發(fā)展及其在工業(yè)過程自動化中的應(yīng)用有重要的意義.文中正是在對新機器學(xué)習(xí)技術(shù)的強烈需求下，以高斯過程模型這一新興工具為基礎(chǔ)，論述了其在工業(yè)過程自動化的技術(shù)理論和應(yīng)用問題.

1 高斯過程模型

1.1 高斯過程定義

yi=f(xi)+εi

(1)

(2)

f(·)～GP(0,k(·,·))

(3)

式中，GP(0,k(·,·))代表零均值協(xié)方差為k(·,·)的高斯過程.盡管k(·,·)有多種選擇，這里以最常用的平方指數(shù)核為例，核函數(shù)可表示為

kij=k(xi,xj)=

cov(f(xi),f(xj))=

(4)

y～N(0,Ky)

(5)

(6)

1.2 預(yù)測模型

由于高斯過程輸出變量的擴展(y1,y2,…，yN,f(x*))T仍是高斯過程，因此，在給定輸入向量x*的情況下，預(yù)測值的均值和方差可以計算如下：

(7)

(8)

式中，k*=(k(x*,x),…,k(x*,xn))T是新數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的協(xié)方差.訓(xùn)練數(shù)據(jù)集合服從分布如式(5)，則似然函數(shù)的對數(shù)值可表示如下：

(9)

通過求式(9)的最值，即經(jīng)驗貝葉斯估計，可辨識出所需要的參數(shù)θ.

2 高斯過程存在的問題

2.1 高斯過程計算負擔(dān)過重問題

高斯過程的超參數(shù)在辨識的過程中，一般通過最優(yōu)化邊緣似然函數(shù)獲得，由式(7)-(8)可知，在每次梯度優(yōu)化時都需對協(xié)方差矩陣Ky求逆，計算量是O(N3)，即隨著數(shù)據(jù)點的增加，計算量會成倍地增加，最后可能造成維數(shù)災(zāi)難.為此，國內(nèi)外學(xué)者對協(xié)方差函數(shù)求解提出了各種有效的近似方法.

1)數(shù)據(jù)子集近似法(SoD).其主體思想是在數(shù)據(jù)集合中選擇適量的訓(xùn)練數(shù)據(jù)用于建模，從而降低協(xié)方差矩陣的維度，是最常用的降低數(shù)據(jù)量的方法.與其他復(fù)雜的近似方法相比，它減少了計算量和內(nèi)存開銷，尤其當(dāng)數(shù)據(jù)集高度冗余時，冗余的數(shù)據(jù)點能提供給模型的信息有限,對模型性能的改善也有限，因此，采用SoD降低數(shù)據(jù)量以提高計算效率是可行的[8].應(yīng)用SoD的主要問題是怎樣選取合適的數(shù)據(jù)子集，因為數(shù)據(jù)子集往往因為工藝的差異而需要大量的專家知識進行合理判斷，這些都帶來了過多的不確定性，一定程度上弱化了SoD的性能.

2)維度子集近似法.其基本思想是通過選取一組合適維度的數(shù)據(jù)來近似原來維度的數(shù)據(jù)，從而簡化協(xié)方差矩陣.最基本的方法是通過特征值分解來降低一定的維度，但由于特征值分解的計算仍然是O(n3)，計算速度沒有實質(zhì)性的改善，因此，高效的近似特征值分解方法(如Nystrom[9]、回歸子集法(SoR)[10]和映射過程近似法(PP)[11])都獲得了不同程度的應(yīng)用.部分專家特別對回歸子集法進行了改進，提出了完全獨立訓(xùn)練條件法(FITC)：

kFITC(xi,xj)=kSoR(xi,xj)+

(10)

式中，αij為松馳因子.

通過式(10)替代協(xié)方差函數(shù)可在一定程度上緩解計算的強度.但是，由于上述方法需要重復(fù)選擇活動數(shù)據(jù)點和最優(yōu)化超參數(shù)，導(dǎo)致模型難以收斂，并降低了參數(shù)學(xué)習(xí)的可靠性.有些學(xué)者利用自動相關(guān)確定(ARD)原理對數(shù)據(jù)維度進行合理的選擇，從而在輸入端口直接降低協(xié)方差矩陣的維度[12].以此類推，預(yù)測模型的變量選擇算法(如遺傳算法(GA)、主元分析(PCA)、偏最小二乘(PLS)和窗口偏最小二乘(iPLS))都可用于維度子集的選取，從輸入數(shù)據(jù)端口處合理地降低數(shù)據(jù)維度[13- 14].

上述方法試圖利用所選的數(shù)據(jù)子集表征數(shù)據(jù)全集，故稱全局GPR近似法.而局部GPR近似法僅利用測試點附近的訓(xùn)練數(shù)據(jù)進行預(yù)測.比如局部的數(shù)據(jù)子集近似法，其數(shù)據(jù)點的選擇可通過移動窗口，即時學(xué)習(xí)算法以及差分項來完成[15- 16].全局GPR法和局部GPR法各具優(yōu)勢，Snelson等[17]結(jié)合二者的優(yōu)點提出了部分獨立條件(PIC)近似法.Chalupka等[18]對4種典型計算方法的計算量進行了比較,結(jié)果如表1所示.

表1 典型協(xié)方差矩陣逼近算法的計算復(fù)雜度比較[18]

Table 1 Comparison of computation complexity with typical covariance matrix approximation algorithms

方法存儲開銷訓(xùn)練測試均值方差原始方法O(n2)O(n3)O(n)O(n2)SoDO(m2)O(m3)O(m)O(m2)FITCO(mn)O(m2n)O(m)O(m2)PICO(mn)O(m2n)O(m)O(m2)

超參數(shù)初始值的給定對計算量的影響是另一個必須考慮的問題.共軛梯度法是解決核函數(shù)超參數(shù)優(yōu)化的采用方法，但共軛梯度法對優(yōu)化初始值要求較高，也不易獲得.而隨機優(yōu)化方法(如遺傳算法、差分進化法和粒子群優(yōu)化算法)提供了不錯的解決方案.Petelin等[19]通過比較指出，差分優(yōu)化和粒子群優(yōu)化算法能有效避免局部優(yōu)化的問題.

2.2 高斯過程模型的結(jié)構(gòu)配置問題

高斯過程模型的結(jié)構(gòu)主要取決于均值和協(xié)方差函數(shù).而大部分情況下，先驗知識往往是缺失的，因此通常將均值設(shè)置為零，僅需確定協(xié)方差函數(shù)，協(xié)方差函數(shù)一方面控制著輸入過程信息的傳遞，另一方面關(guān)系到所辨識函數(shù)的平滑性.在沒有先驗知識的情況下，平方指數(shù)核的使用具有普遍意義和通用性，但它是無限可積的，即有很強的曲線平滑假定，這往往不切合實際.而Mat′ern核則不然，由于協(xié)方差函數(shù)中加入了參數(shù)v-1，使得函數(shù)的平滑性是可控的，這為預(yù)測模型的計算提供了許多便利.高斯過程模型的常用核函數(shù)可見表2.

表2 高斯過程模型的常用核函數(shù)Table 2 Common kernel functions of Gaussian process model

但是,單純地依賴某種函數(shù)所能逼近的曲線形式畢竟有限，而協(xié)方差的疊加和相乘能極大地擴充協(xié)方差函數(shù)的形式.這些方法存在的問題在于如何尋找最優(yōu)的協(xié)方差函數(shù)結(jié)構(gòu)，為此，2014年Duvenaud[20]提出了協(xié)方差函數(shù)結(jié)構(gòu)自優(yōu)化方法，系統(tǒng)地解決了這個問題，并在文字識別中得到了很好的驗證.

2.3 高斯過程模型的多任務(wù)學(xué)習(xí)問題

多任務(wù)學(xué)習(xí)起源于機器學(xué)習(xí)領(lǐng)域?qū)w納偏置問題的研究，其動機在于通過對多個相關(guān)任務(wù)同時進行學(xué)習(xí)，利用任務(wù)之間傳遞的有用信息以獲取更優(yōu)的歸納偏置用于假設(shè)空間搜索.多任務(wù)學(xué)習(xí)的重點和難點在于多任務(wù)內(nèi)部關(guān)系的合理描述，通常的方法是通過建立多層神經(jīng)網(wǎng)絡(luò)從而發(fā)現(xiàn)數(shù)據(jù)內(nèi)部的共性特征[21].對此，高斯過程模型的協(xié)方差矩陣的內(nèi)生性可為多任務(wù)學(xué)習(xí)提供許多便利[22].但是，大部分的高斯過程模型的協(xié)方差矩陣是以所有的任務(wù)均為均衡對稱為前提的，即以所有的任務(wù)是同等重要的為前提.因此，Leen等[23]對高斯過程模型的協(xié)方差函數(shù)進行了改進，使得次要任務(wù)作為主要任務(wù)的條件分布進行貝葉斯分析，有效地改進了協(xié)方差函數(shù)中相關(guān)關(guān)系的定義問題.即使如此，在進行協(xié)方差函數(shù)相關(guān)關(guān)系定義的過程中，需要對相關(guān)關(guān)系進行一定的假定，比如數(shù)據(jù)的概率分布假定，尤其當(dāng)次要任務(wù)和主要任務(wù)的數(shù)據(jù)概率分布差別比較懸殊時，概率分布假定往往會弱化或扭曲數(shù)據(jù)原本的特性.因此，在實現(xiàn)多任務(wù)學(xué)習(xí)的同時，如何協(xié)調(diào)和差異化處理多個任務(wù)也是一個值得思考的問題.

3 高斯過程模型的研究應(yīng)用

3.1 軟測量建模

軟測量是指選用工業(yè)過程中較易測量的過程變量，通過建立合適的數(shù)學(xué)模型來推斷或者估計難于測量或不能實時測量的重要變量，從而提高工程過程控制的實時性和可靠性，并降低硬件成本.鑒于高斯過程模型非線性的逼近能力和預(yù)測方差的合理描述，其在軟測量建模中得到了越來越多學(xué)者的關(guān)注[12,24]，并已經(jīng)在光譜校準[25]和非線性動態(tài)規(guī)劃[26]中得到一定的應(yīng)用.

軟測量建模所用數(shù)據(jù)往往是工業(yè)現(xiàn)場采集而來，數(shù)據(jù)的缺失，奇異和噪聲在所難免.常規(guī)的神經(jīng)網(wǎng)絡(luò)模型(如RBF網(wǎng)絡(luò)[27]和BP網(wǎng)絡(luò)[28])或偏最小二乘法(PLS)[29]無法對以上不確定信息進行合適的處理和合理的描述.統(tǒng)計學(xué)中常常利用變量誤差模型(Error-in-Variables)來做相應(yīng)處理，如Berkson模型假定模型在噪聲作用下圍繞真值波動，只要波動滿足一定的假定便可以求解[30].針對不確定信息的描述，支持向量機(SVM)[31]和相關(guān)向量機(RVM)[32]由于利用EM算法進行參數(shù)辨識，相應(yīng)的計算方差能夠?qū)δＰ蛥?shù)的不確定性進行一定的描述，但數(shù)據(jù)本身或工業(yè)過程本身的描述則無法實現(xiàn).而高斯過程模型通過先驗知識獲取的協(xié)方差函數(shù)計算得到的方差不僅能對模型參數(shù)的不確定性，而且能夠?qū)?shù)據(jù)本身或工業(yè)過程進行一定的描述.但高斯過程模型估計非高斯函數(shù)的真值和參數(shù)費時費力，為此，Van Gorp等[33]在不確定條件下利用隨機EM算法對模型參數(shù)真值和參數(shù)進行了有效估計，并取得了期望的效果.Girard[34]則利用Delta方法、泰勒展開以及蒙特卡羅方法對非高斯模型下高斯過程模型的積分進行了估計.此外，不同于高斯模型自有不確定描述功能，一些學(xué)者從外部考慮嵌入其他方法對不確定性進行描述[16,35]，但這直接加劇了模型的復(fù)雜性，也易造成部分不確定信息的遺漏.

輔助變量的選擇也是軟測量建模關(guān)鍵的一環(huán).合理地選擇輔助變量不僅能降低模型的復(fù)雜性，提高模型的魯棒性，還能避免模型過擬合.與傳統(tǒng)方法不同，由于高斯過程模型本質(zhì)上是神經(jīng)網(wǎng)絡(luò)中間層的無限積分，在不同變量的權(quán)值分配時，對輸出變量相關(guān)性最強的變量給予了較大的權(quán)值，而對于相關(guān)性較小的變量則反之，從而達到了輔助變量選擇的目的[36].但是，對于此優(yōu)勢，鮮有文獻進行詳細闡述.

多步預(yù)測和多輸出軟測量預(yù)測模型是最近的研究熱點.區(qū)別于傳統(tǒng)自回歸模型，高斯過程模型也提供了更多的可能性.Ni等[37]在結(jié)合遺忘因子的基礎(chǔ)上提出了遞歸高斯過程，實現(xiàn)了軟測量的多步預(yù)測.Hernandez等[38]基于費舍爾矩陣描述高斯過程模型的不確定性，同時利用強化學(xué)習(xí)改進了高斯過程模型，使其能適用多步和多變量的預(yù)測，并將模型應(yīng)用到了納米粒子的預(yù)測仿真中，但是對計算量過大的問題有欠考慮.lvarez等[39]巧妙地將多個輸出變量的相關(guān)關(guān)系融入先驗知識和核函數(shù)中，很好地解決了多變量的預(yù)測問題.盡管如此，基于高斯過程模型的多步預(yù)測和多輸出預(yù)測都有待進一步拓展.

對于高斯過程模型在軟測量中的應(yīng)用，大部分僅僅停留在簡單的建模[8,12]，而忽略了高斯過程模型的潛在優(yōu)勢，如不確定信息的應(yīng)用.因此，對高斯過程模型軟測量建模方法的深入研究有助于軟測量在工業(yè)過程中的深度應(yīng)用.

3.2 控制系統(tǒng)設(shè)計

隨著我國工業(yè)化進程的不斷推進，控制系統(tǒng)也日趨復(fù)雜多變，如何在復(fù)雜和不確定條件下實現(xiàn)工業(yè)過程系統(tǒng)的穩(wěn)定運行顯得尤為重要.

模型預(yù)測控制是一種最為常見的基于模型的控制方法[40]，但仍然存在諸如應(yīng)用對象還僅限于線性或準線性過程、預(yù)測模型的調(diào)整缺乏有效的指導(dǎo)經(jīng)驗(即物理意義不明確)、難以與應(yīng)用實踐相聯(lián)系等局限性.有些專家嘗試利用高斯過程模型實現(xiàn)了內(nèi)模控制[41]和預(yù)測函數(shù)控制[42].但是，上述算法僅停留在高斯過程模型預(yù)測均值在代價函數(shù)和優(yōu)化約束中的應(yīng)用，忽略了高斯過程模型的預(yù)測方差.隨機非線性模型預(yù)測控制則充分考慮了預(yù)測均值和方差的共同作用，實現(xiàn)了控制系統(tǒng)更加穩(wěn)定的運行.高斯過程模型恰好符合了隨機非線性模型預(yù)測控制的模型需求，從而實現(xiàn)隨機預(yù)測控制算法的代價函數(shù)和約束條件都以概率的方式出現(xiàn)，即要求不確定性滿足特定的統(tǒng)計概率[43].但是，基于高斯過程模型的隨機非線性預(yù)測控制和其他的隨機非線性預(yù)測控制方法一樣，至今依然受制于非線性隨機優(yōu)化問題，亟待進一步的解決.與模型預(yù)測控制類似，高斯過程模型也可以作為優(yōu)化控制的模型以描述過程的動態(tài)性能，并在冷卻系統(tǒng)[44]和原油處理系統(tǒng)[45]中得到了有效的驗證.尤其需要指出的是，沈俊鵬[46]在利用遞歸的高斯過程模型作為預(yù)測模型的基礎(chǔ)上，建立了多級自主優(yōu)化控制策略，充分驗證了遞歸的高斯過程模型可為優(yōu)化控制提供便利.但是，高斯過程在優(yōu)化控制中的應(yīng)用較之于預(yù)測控制少之又少，亟待豐富相關(guān)方面的研究.

自適應(yīng)控制系統(tǒng)是20世紀80年代初興起的另一種基于模型的控制方法，它試圖通過動態(tài)模型和控制策略的在線學(xué)習(xí)來改善系統(tǒng)的運行.然而，復(fù)雜工業(yè)過程的動態(tài)特性往往難以用精確的數(shù)學(xué)模型來完全描述，只能做到某種程度的逼近，但其逼近程度取決于建模者對過程知識掌握的多少及建模方法，并直接影響了閉環(huán)自適應(yīng)控制系統(tǒng)的控制效果.鑒于高斯過程模型的非線性逼近能力和不確定信息評估能力，不少學(xué)者將高斯過程模型應(yīng)用到自適應(yīng)控制中，特別是對偶自適應(yīng)控制.在基于高斯過程模型的自適應(yīng)控制中，高斯過程模型需要在線辨識，但在線辨識過程中，高斯過程模型可利用局部的數(shù)據(jù)結(jié)構(gòu)確立合理的瞬態(tài)模型，且局部數(shù)據(jù)結(jié)構(gòu)和模型匹配性還能通過預(yù)測方差得到合理的解釋[47].而上述算法主要關(guān)注于高斯過程模型對主體控制算法的作用，對高斯過程模型的在線辨識研究較少.為此，Nguyentuong等[48]提出了兩種在線高斯過程模型學(xué)習(xí)方法，第一種是基于移動窗口技術(shù)，第二種則是僅僅考慮較高增益的新數(shù)據(jù).無論基于何種改進的在線高斯過程模型，對于大部分自適應(yīng)算法來說，都是最小方差控制器，而正是由于高斯過程模型的存在，能更直接地為控制器提供更多的信息.Rasmussen等[49]提出了一種動態(tài)高斯算法，其特點在于其代價函數(shù)通過高斯過程模型進行逼近，但由于該方法不能適應(yīng)過程的突變，因此僅能適用于靜態(tài)過程，同時該方法僅適合于低維數(shù)據(jù).

綜上所述，高斯過程模型的非線性逼近性能、動態(tài)性能以及對不確定信息的描述能力，為非線性隨機控制方案的設(shè)計提供了可能性.

3.3 過程監(jiān)控、診斷以及預(yù)測

基于數(shù)據(jù)驅(qū)動的多元統(tǒng)計學(xué)過程監(jiān)控方法是維護工業(yè)系統(tǒng)平穩(wěn)運行的一種重要手段.特別是從主元分析方法中提煉T2因子和Q因子進行過程監(jiān)控已經(jīng)在理論和實際工程中得到了有效的驗證，并獲得了有效的拓展，例如非線性主元分析和間歇過程主元分析等[50].主元分析和與之類似的因子分析，所采用的模型都是通過迭代獲得的加性模型.鑒于加性模型的應(yīng)用狹隘性，Serradilla等利用無監(jiān)督GPLV模型建立了過程監(jiān)控系統(tǒng)，不僅實現(xiàn)了傳統(tǒng)統(tǒng)計學(xué)模型不能實現(xiàn)的乘性結(jié)構(gòu)，而且實現(xiàn)了隱變量的并行計算，最后在攪拌釜過程中得到了有效驗證[51].但是，直接使用GPLV生成T2因子和Q因子會有兩個問題，即測試數(shù)據(jù)映射難和控制限難以獲得的問題.為此，浙江大學(xué)GE等利用GPLV參數(shù)學(xué)習(xí)的后推概念提出了新的T2因子和Q因子，針對控制限難以獲取的問題，利用一類分類的方法獲取控制，直接消除了先驗知識對控制限的影響[52].除了無監(jiān)督情況下高斯過程模型故障診斷方法外，高斯過程模型的分類和回歸同樣也可以用于故障診斷.尹金良等[53]構(gòu)建了基于拉普拉斯近似方法的高斯過程分類器，并用典型分類數(shù)據(jù)進行了故障診斷的驗證，而Serpas等[54]首先將高斯過程模型用于難以測量變量的預(yù)測，并在所預(yù)測變量的基礎(chǔ)上實現(xiàn)了故障統(tǒng)計學(xué)模型的故障診斷.

但總體而言，高斯過程模型在故障診斷上的應(yīng)用研究還有待進一步深入.同時，在上述基于軟測量的故障診斷方法中，如果軟測量進一步拓展到多步預(yù)測可相應(yīng)實現(xiàn)故障預(yù)測的功能.

3.4 信號處理

高斯過程模型在信號處理中的應(yīng)用主要是濾波器的設(shè)計，高斯過程能在濾波器中得到有效應(yīng)用，源于其對不確定信息的估計能力可對濾波的有效性進行合理描述，最典型的是高斯-貝葉斯濾波器[55]，它旨在將高斯預(yù)測模型和數(shù)據(jù)觀測模型應(yīng)用到貝葉斯濾波器中去.該濾波器在運行中包含了控制信號，觀測信號和實時狀態(tài)信號.但它對實時狀態(tài)信號的檢測要求苛刻，通常需要假定輸入信號是在無噪聲的前提下檢測得到.而GPLV模型有效避免了上述濾波器中的問題，它依賴的僅僅是訓(xùn)練數(shù)據(jù)[56].此外，Reece等[57]在卡爾曼濾波和高斯過程優(yōu)勢互補的基礎(chǔ)上提出了高斯-卡爾曼濾波器，該方法能有效地實現(xiàn)時間、空間兩個維度數(shù)據(jù)的描述.但總體而言，高斯過程在濾波器中的應(yīng)用研究偏少.

4 實例研究

4.1 研究實例背景

污泥膨脹一直是困擾污水處理行業(yè)的一大難題，它極大地降低了污泥與處理后污水的分離效果，使得出水指標(biāo)超標(biāo)，甚至?xí)斐上掠嗡w的污染.在污水處理工藝中，污泥膨脹程度一般通過SVI (污泥沉積指數(shù))來反映，當(dāng)SVI大于某個控制限則認為發(fā)生了污泥膨脹，因此，及時有效地預(yù)測污水廠的SVI，對于污泥膨脹的預(yù)警和控制有著至關(guān)重要的作用.但污泥沉積指數(shù)難以直接測量，如何建立精確模型來模擬活性污泥處理的復(fù)雜工業(yè)過程，從而獲得SVI來判斷污泥膨脹情況，依然是一個嚴峻的問題.

所提供實例為北京某污水廠，該污水廠采用污水好氧工藝，覆蓋了北京480 000的人口，水利停留時間為16.5 h，日處理流量為170 000 m3.在污水廠的運行過程中，由于氣候干燥和COD (化學(xué)需氧量)處理量過低，發(fā)生了污泥膨脹現(xiàn)象，極大影響了污水廠的污水處理能力.污水廠每天的進水特征、操作條件和污泥沉積指數(shù)等相關(guān)數(shù)據(jù)都被記錄下來.本例正是利用這些數(shù)據(jù)驗證文中所研究高斯過程模型的有效性，高斯過程模型用于預(yù)測該污水廠二沉池的SVI參數(shù)，以預(yù)防和控制污泥膨脹，從而防止活性污泥的惡化.仿真實驗取樣了138 d的數(shù)據(jù)，其中前100 d數(shù)據(jù)用于訓(xùn)練，后38 d數(shù)據(jù)用于測試.

4.2 研究結(jié)果和討論

實例中利用遞歸的方式將高斯過程模型拓展到了多步預(yù)測，不僅解決了單步預(yù)測軟測量的局限性，還為故障預(yù)測提供了可行性.協(xié)方差函數(shù)選用“線性×開方指數(shù)”形式.

從圖1(b)中不難看出,遞歸高斯過程模型不僅能提前1 d,甚至能提前6 d天預(yù)測到SVI是否超過控制限，借此判斷發(fā)生污泥膨脹現(xiàn)象.更為重要的是,在提前6 d的預(yù)測過程中,高斯過程模型在給出預(yù)測值的同時還給出了模型預(yù)測過程中的預(yù)測方差，以描述過程的不確定信息，如圖1(a)所示.通過預(yù)測值和方差，可確定實際值可能的范圍，從而確定SVI可能超出控制限的最早或者最遲時間.

圖1 基于遞歸高斯過程模型的多步預(yù)測與故障診斷

Fig.1 Multi-step prediction and fault diagnosis based on recursive Gaussian process model

5 結(jié)語

面對日益復(fù)雜的工業(yè)過程，高斯過程模型的提出和應(yīng)用為工業(yè)過程建模、優(yōu)化和控制提供了一個廣闊的思路，并可兼顧描述不確定信息.盡管高斯過程模型經(jīng)過了近十年的發(fā)展，但在工業(yè)控制中的應(yīng)用才剛剛起步，尚有許多問題亟待取得突破：①面對動態(tài)的復(fù)雜工況，如何實現(xiàn)高斯過程模型的在線學(xué)習(xí)和辨識是一個值得研究的問題；②隨著工業(yè)過程精度和采樣速率的提高，大數(shù)據(jù)背景下對高斯過程的建模提出了更高的要求；③高斯過程模型有助于魯棒預(yù)測控制的研究和應(yīng)用是另外一個亟待解決的問題；④高斯過程模型多步預(yù)測的拓展能有效強化基于非線性模型的故障預(yù)測功能，但如何將高斯過程模型拓展到故障診斷和故障預(yù)測領(lǐng)域仍然是一個需要解決的重要問題.

[1] PILLONETTO G,DINOZZU F，CHEN T，et al.Kernel methods in system identification,machine learning and function estimation:a survey [J].Automatica,2014,50(3)：657- 682.

[2] NEAL R M,Bayesian learning for neural networks [M].New York:Springer,1996:145- 152.

[3] PAULA M D ,MARTINEZ E.Probabilistic optimal control of blood glucose under uncertainty [J].Computer Aided Chemical Engineering,2012,30:1357- 1361.

[4] DEISENROTH M P,FOX D,RASMUSSEN C E.Gaussian processes for data-efficient learning in robotics and control [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(2)：408- 423.

[6] PETELIN D,GRANCHAROVA A,KOCIJAN J.Evolving Gaussian process models for prediction of ozone concentration in the air [J].Simulation Modelling Practice and Theory,2013,33(1):68- 80.

[7] PEREZ-CRUZ F,VAN VAERENBERGH S,MURILLO-FUENTES J J,et al.Gaussian processes for nonlinear signal processing：an overview of recent advances [J].IEEE Transactions on Signal Processing Magazine,2013,30(4):40- 50.

[8] 何志昆,劉光斌,趙曦晶,等.高斯過程回歸方法綜[J].控制與決策,2013,28(8)：1121- 1129. HE Zhi-kun,LIU Guang-bin,ZHAO Xi-jing,et al，Overview of Gaussian processes for regression [J].Control and Decision,2013,28(8):1121- 1129.

[9] WILLIAMS C K I,SEEGER M.Using the nystr?m method to speed up kernel machines [J].Neural Information Processing Systems,2001,13:682- 688.

[10] WAHBA G.Spline models for observational data [M].Philadelphia:Society for Industrial and Applied Mathematics,1990:185.

[11] SEEGER M,WILLIAMS C K I.Fast forward selection to speed up sparse Gaussian process regression [C]∥Proceedings of the Ninth International Workshop on Artificial Intelligence and Statistics.Florida:DBLP,2003.

[12] 王華忠.高斯過程及其在軟測量建模中的應(yīng)用 [J].化工學(xué)報,2007,58(7)：2840- 2845. WANG Hua-zhong.Gaussian process and its application to soft-sensor modeling [J].Journal of Chemical Industry and Engineering,2007,58(7)：2840- 2845.

[13] ANDERSEN C M,BRO R.Variable selection in regression-a tutorial[J].Journal of Chemometrics,2010,24(11/12)：728- 737.

[14] MEHMOOD T,LILAND K H,SNIPEN L,et al.A review of variable selection methods in partial least squares regression [J].Chemometrics and Intelligent Laboratory Systems,2012,118(16):62- 69.

[15] KANEKO H,FUNATSU K.Classification of the degra- dation of soft sensor models and discussion on adaptive models [J].AIChE Journal,2013,59(7)：2339- 2347.

[16] LIU Y,HUANG D,LI Y.Development of interval soft sensors using enhanced just-in-time learning and inductive confidence predictor [J].Industrial & Engineering Chemistry Research,2011,51(8)：3356- 3367.

[17] SNELSON E,GHAHRAMANI Z.Local and global sparse Gaussian process approximations [J].Proceedings of Artificial Intelligence and Statistics,2007,2:524- 531.

[18] CHALUPKA K,WILLIAMS C K I,MURRAY I.A framework for evaluating approximation methods for Gaussian process regression [J].Journal of Machine Learning Research,2012,14(1):333- 350.

[19] PETELIN D,FILIPIB,KOCIJAN J.Optimization of Gaussian process models with evolutionary algorithms [M].Berlin:Springer Berlin Heidelberg,2011:420- 429.

[20] DUVENAUD D K.Automatic model construction with gaussian processes[D].Cambridge：University of Cambridge,2014.

[21] CARUANA R.Multitask learning [J].Machine Lear-ning,1997,28(1)：41-75.

[22] DINUZZO F.Learning output kernels for multi-task problems [J].Neurocomputing,2013,118：119- 126.

[23] LEEN G,PELTONEN J,KASKI S.Focused multi-task learning in a Gaussian process framework [J].Machine Learning,2012,89(1/2)：157- 182.

[24] WILLIAMS C K I,RASMUSSEN C E.Gaussian processes for regression[J].Advances in Neural Information Processing Systems,1996,8:514- 520.

[25] CHEN T,MORRIS J,MARTIN E.Gaussian process re-gression for multivariate spectroscopic calibration [J].Chemometrics and Intelligent Laboratory,2007,87:57- 71.[26] DEISENROTH M P,RASMUSSEN C E,PETERS J.Gaussian process dynamic programming [J].Neurocomputing,2009,72:1508- 1524.

[27] HARVEY R,MCBEAN E,GHARABAGHI B.Predicting the timing of water main failure using artificial neural networks [J].Journal of Water Resources Planning and Management,2014,140(4):425- 434.

[28] HAN H G,QIAO J F.Prediction of activated sludge bulking based on a self-organizing RBF neural network [J].Journal of Process Control,2012,22(6):1103- 1112.

[29] LIU Y,PAN Y,HUANG D.Development of a novel adaptive soft-sensor using variational Bayesian PLS with accounting for online identification of key variables [J].Industrial & Engineering Chemistry Research,2015,54(1)：338- 350.

[30] TRAPLE M A L,SAVIANO A M,FRANCISCO F L,et al.Measurement uncertainty in pharmaceutical analysis and its application [J].Journal of Pharmaceutical Analy-sis,2014,4(1):1- 5.

[31] AYDILEK I B，ARSLAN A.A hybrid method for imputa-tion of missing values using optimized fuzzy c-means with support vector regression and a genetic algorithm[J].Information Sciences,2013,233(4):25- 35.

[32] TICLAVILCA A M,MCKEE M.Multivariate bayesian regression approach to forecast releases from a system of multiple reservoirs [J].Water Resources Management,2010,25(2):523- 543.

[33] VAN GORP J,SCHOUKENS J,PINTELON R.Learning neural networks with noisy inputs using the errors-in-variables approach [J].IEEE Transactions on Neural Networks,2000,11(2):402- 414.

[34] GIRARD A.Approximate methods for propagation of uncertainty with Gaussian process models [D].Glasgow:Department of Computing Science，University of Glasgow,2004.

[35] LIU Y,HUANG D,LI Z.A SEVA soft sensor method based on self-calibration model and uncertainty descri-ption algorithm [J].Chemometrics and Intelligent Laboratory Systems,2013,126(15)：38- 49.

[36] RASMUSSEN C E,WILLIAMS C K I.Gaussian processes for machine learning [M].London：MIT Press,2005.

[37] NI W,WANG K,CHEN T,et al.GPR model with signal preprocessing and bias update for dynamic processes modeling [J].Control Engineering Practice,2012,20(12):1281- 1292.

[38] HERNANDEZ A F,GROVER M A.Stochastic dynamic predictions using Gaussian process models for nanoparticle synthesis [J].Computers & Chemical Engineering,2010,34(12):1953- 1961.

[40] 席裕庚,李德偉,林姝.模型預(yù)測控制-現(xiàn)狀和挑戰(zhàn) [J].自動化學(xué)報,2013,39(3):222- 236. XI Yu-Geng,LI De-Wei,LIN Shu.Model predictive control-status and challenges[J].Acta Automatica Sinica,2013,39(3)：222- 236.

[42] LIKAR B,KOCIJAN J.Predictive control of a gas- liquid separation plant based on a Gaussian process model [J].Computers & Chemical Engineering,2007,31(3)：142- 152.

[43] GELETU A,LI P.Recent developments in computa-tional approaches to optimization under uncertainty and application in process systems engineering [J].ChemBioEng Reviews,2014,1(4)：170- 190.

[44] PARK C S.Gaussian process model for real-time optimal control of chiller system [J].Journal of the Architectural Institute of Korea Planning & Design,2014,30(7):211- 220.

[45] TSAI H,LIN J.Optimal control of fuel processing system using generalized linear quadratic Gaussian and loop transfer recovery method [J].Asian Journal of Control,2010,12 (5):597- 606.

[46] 沈俊鵬.基于最優(yōu)性條件的流程雁陣自主優(yōu)化控制方法 [D].北京：北京工業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院，2015.

[47] FILATOV N M,UNBEHAUEN H.Survey of adaptive dual control methods [J].IEE Proceedings-control Theory and Applications,2000,147(1):118- 128.

[48] NGUYENTUONG D,SEEGER M,PETERS J.Real-time local GP model learning,in from motor learning to interaction learning in robots [J].Studies in Computational Intelligence,2010,1970(264):193- 207.

[49] RASMUSSEN C E ,DEISENROTH M P.Probabilistic inference for fast learning in control [J].Recent Advances in Reinforcement Learning,2008,5323：1- 14.

[50] QIN S J.Survey on data-driven industrial process monitoring and diagnosis[J].Annual Reviews in Control,2012,36(2):220- 234.

[51] SERRADILLA J,SHI J Q,MORRIS A J.Fault detection based on Gaussian process latent variable models [J].Chemometrics and Intelligent Laboratory Systems,2011,109(1):9- 21.

[52] GE Z,SONG Z.Nonlinear probabilistic monitoring based on the Gaussian process latent variable model [J].Industrial & Engineering Chemistry Research,2010,49(10):4792- 4799.

[53] 尹金良,朱永利,俞國勤,等.基于高斯過程分類器的變壓器故障診斷 [J].電工技術(shù)學(xué)報,2013,28(1):158- 164. YIN Jin-liang,ZHU Yong-li,YU Guo-qin,et al.Fault dia-gnosis of transformers based on Gaussian process classifier [J].Transactions of China Electrotechnical Society,2013,28(1):158-164.

[54] SERPAS M,CHU Y,HAHN J.Fault detection approach for systems involving soft sensors [J].Journal of Loss Prevention in the Process Industries,2013,26(26):443- 452.

[55] KO J,FOX D.Learning GP-bayesfilters via Gaussian process latent variable models [J].Autonomous Robots,2011,30(1):3- 23.

[56] SAUL L K,ROWEIS S T.Think globally,fit locally：unsupervised learning of low dimensional manifolds [J].Journal of Machine Learning Research,2003,4(2):119- 155.

[57] REECE S,ROBERTS S.An introduction to Gaussian processes for the Kalman filter expert [C]∥Proceedings of 13th Conference on Information Fusion.New York:IEEE,2010:1- 9.

Application of Gaussian Process Modeling Method in Industrial Processes

XIAOHong-junLIUYi-qiHUANGDao-ping

(School of Automation Science and Engineering, South China University of Technology, Guangzhou 510640, Guangdong, China)

As industrial processes have become more and more complex, the traditional sensors are unavailable, and it is difficult to properly model the critical variables and efficiently optimize or diagnose the important parts of a process. The Gaussian process model provides an alternative to the modeling, optimization and control of industrial processes under the constraints of uncertainties. In this paper, aiming at the complexity of industrial processes, the pros and cons of the Gaussian process model are investigated, and its application to the modeling, optimization, control and fault diagnosis of industrial processes as well as the corresponding research results is generalized. Finally, the application prospects and development orientations of the Gaussian process model in industrial processes are summarized and forecasted by combining the international research results with the authors’ practical experience.

Gaussian process model; industrial process; soft sensor; fault diagnosis

2016- 04- 12

國家自然科學(xué)基金資助項目(61673181，61403142)；廣東省自然科學(xué)基金資助項目(2015A030313225)；廣東省科技計劃項目(2016A020221007)；佛山市科技創(chuàng)新專項資金項目(2014AG10018) Foundation items: Supported by the National Natural Science Foundation of China(61673181,61403142),the Natural Science Foundation of Guangdong Province(2015A030313225) and the Science and Technology Planning Project of Guangdong Province(2016A020221007)

肖紅軍(1979-)，男，博士生，副教授，主要從事智能檢測與智能控制研究.E-mail:jinsery@163.com

? 通信作者: 黃道平(1961-)，男，教授，博士生導(dǎo)師，主要從事智能檢測與智能控制研究.E-mail：audhuang@scut.edu.cn

1000- 565X(2016)12- 0036- 08

TP 89

10.3969/j.issn.1000-565X.2016.12.006