基于即時學習與輸出相關的變量加權研究

顏丙云，于 飛

(青島科技大學自動化與電子工程學院,山東 青島 266061)

0 引言

工業(yè)工廠中的傳感器，為過程監(jiān)控提供了大量的測量數(shù)據(jù)。工業(yè)生產過程中惡劣的測量環(huán)境、昂貴的設備儀器和時間滯后性等因素，導致了一些關鍵變量難以直接測量[1]。近年來，軟傳感器在工業(yè)生產過程中的廣泛應用有效地解決了這一問題。軟傳感器的核心是建模，通常分為基于機理的建模和基于數(shù)據(jù)驅動的建模[2]?；跈C理的建模由于需要特定的化學原理而不適用于復雜的非線性過程，而基于數(shù)據(jù)驅動的建模是通過測量易于測量的變量(輔助變量)，建立輔助變量和難以測量的變量之間的數(shù)學模型，從而實現(xiàn)用輔助變量來估計難以測量的變量的目的[3-5]。該方法不需要了解太多的過程知識，因而被廣泛應用[2]。常用的基于數(shù)據(jù)驅動的建模方法有主成分回歸(principal component regression,PCA)、偏最小二乘回歸(partial least squares,PLS)、人工神經(jīng)網(wǎng)絡(artificial neural networks,ANN)和支持向量機(support vector machines,SVM)等。

即時學習是非線性過程中常見的軟測量建模方法[6]。相比于全局模型和傳統(tǒng)的局部模型，即時學習能夠很好地解決工業(yè)過程中的強非線性和時變性。即時學習通過從歷史數(shù)據(jù)中，找到與查詢變量模態(tài)最匹配的數(shù)據(jù)樣本并進行局部建模，從而得到較高的預測精度[7]。因此，相似性樣本的選擇是即時學習能否取得良好的建模效果關鍵因素。相似性樣本的選擇往往基于數(shù)據(jù)樣本之間的距離計算，忽略了變量之間的關系。文獻[8]探討并驗證了基于回歸系數(shù)和相關系數(shù)的兩種變量加權方法能夠取得更好的預測結果。在計算距離后，還需要指定樣本的權重值。而不同的權重函數(shù)，所得到的權重值不同。同一權重函數(shù)的權重值指數(shù)的次數(shù)不同，模型的預測結果就會不同。因此，本文將探討不同權重函數(shù)和權重系數(shù)的指數(shù)次數(shù)對模型預測精度的影響。

本文結構安排如下。第1章簡單介紹了與輸出相關的給變量加權的算法的研究；探討了基于與輸出相關的變量權重的不同階次。第2章分別通過一個數(shù)值例子和一個實際例子的仿真，分析預測結果。第3章探討了基于與輸出相關的變量的不同權重函數(shù)對預測精度的影響，分別進行了數(shù)值和實際工業(yè)過程仿真。第4章給出了本文的結論。

1 與輸出相關的變量加權算法的研究

傳統(tǒng)的即時學習方法在進行變量選擇時往往只考慮了輸入變量之間的關系，而忽略了輸入變量和輸出變量之間的關系。變量選擇相關性的重要程度往往直接影響預測結果的準確性。文獻[8]總結了兩種與輸出相關的變量加權的方法。研究表明，將輸入變量和輸出變量之間關系考慮在內的變量的選擇方法的預測精度明顯高于傳統(tǒng)的建模方法。

基于即時學習與輸出相關的變量加權的算法是在傳統(tǒng)的局部加權最小二乘(locally weighted partial least squares,LW-PLS)算法的基礎上考慮了輸入變量和輸出變量之間的關系。一種方法是用回歸系數(shù)作為權重給變量加權，另一種方法是用相關系數(shù)作為權重給變量加權。這兩種算法的詳細步驟見文獻[8]。在LW-PLS中，輸入數(shù)據(jù)XN×M和輸出數(shù)據(jù)YN×L儲存在歷史數(shù)據(jù)庫中。當需要預測查詢變量xq的輸出時，首先要計算查詢變量xq和數(shù)據(jù)庫中的樣本數(shù)據(jù)xn(n=0,1,…,N)的相似性，然后局部PLS將會用來進行輸出預測。相似性樣本ωn的選擇通常采用歐氏距離，而基于與輸出相關的相似性樣本的選擇是在歐氏距離的基礎上進行計算的，具體如下所示[8]。

(1)

(2)

Θ=diag(θ1,θ2,…,θM)

(3)

式中：φ為局部調節(jié)參數(shù)，通過調節(jié)φ來確定最優(yōu)預測精度；N為數(shù)據(jù)庫中數(shù)據(jù)樣本的數(shù)量；M和L分別為輸入變量和輸出變量的維度；Θ為權重矩陣；θM為M維輸入變量的權重系數(shù)；diag為取對角矩陣。

在基于與輸出相關的給變量加權的基礎上，探討了基于與輸出相關的變量權重的不同階次對預測精度的影響。具體算法步驟如1.1節(jié)和1.2節(jié)所示。

1.1 基于回歸系數(shù)給變量加權的步驟

① 標準化輸入數(shù)據(jù)XN×M和輸出數(shù)據(jù)YN×L并計算歐氏距離。

(4)

式中：Θ矩陣為最原始的單位矩陣。

②應用局部回歸方法，獲得最初的回歸模型，詳細步驟參見文獻[9]。

(5)

③計算新的權重矩陣Θ。

Θ=diag[θ1(0)p,θ2(0)p,…,θM(0)p]

(6)

(7)

式中：p為指數(shù)的偶數(shù)次；dn(1)為根據(jù)輸入變量與輸出變量之間的相關性程度來計算得到的距離值；Θ的元素還可以取回歸系數(shù)的絕對值[10]，即指數(shù)次數(shù)為0。

④再次采用局部回歸方法，獲得新的回歸模型：

(8)

⑤計算均方誤差M。

(9)

⑥改變指數(shù)次數(shù)p，轉至執(zhí)行步驟③，直至p=10。

1.2 基于相關系數(shù)給變量加權的步驟

①標準化輸入數(shù)據(jù)XN×M和輸出數(shù)據(jù)YN×L，并計算歐氏距離。

(10)

式中：Θ為最原始的單位矩陣。

②根據(jù)歐氏距離，選擇相關局部數(shù)據(jù)點。

d≤c

(11)

式中：c為一個可調常數(shù)，c越大，選擇的局部數(shù)據(jù)點越多。

③計算輸入變量和輸出變量的相關系數(shù)ρyxM。

④計算新的權重矩陣Θ。

(12)

(13)

⑤應用局部回歸方法，獲得回歸預測模型。

(14)

⑥計算均方誤差M。

(15)

⑦改變指數(shù)次數(shù)p，轉至執(zhí)行步驟④，直至p=10。

2 變量權重不同階次的研究

本節(jié)主要探討了用回歸系數(shù)和相關系數(shù)的不同階次作為權重時，對預測結果的準確度的影響。

2.1 關于權重的階次的介紹

相似性測量在即時學習中起著非常重要的作用。與輸出相關的相似性的選擇能明顯提高模型的預測精度[8]。權重系數(shù)的階次不同，樣本數(shù)據(jù)在模型中所占比重不同，對模型的預測結果就不同。換言之，與查詢變量和輸出變量相關性越強，樣本數(shù)據(jù)的權重越大；與查詢變量和輸出變量相關性越弱樣本數(shù)據(jù)，權重越小，模型的預測精度就越高。

2.2 仿真研究

本節(jié)分別通過一個仿真例子和一個實際工業(yè)例子，探討權重階次對模型精度的影響。

2.2.1 數(shù)值仿真

本例一共產生了六個輸入變量。六個獨立變量均由隨機高斯分布隨機產生，輸出為前三個輸入變量的非線性函數(shù)關系。輸入和輸出的具體設置如下[9-11]：

圖1 兩種算法在數(shù)值例子中的預測結果Fig.1 Prediction results of the two algorithms in numerical examples

從圖1可以看出，不論是基于相關系數(shù)，還是回歸系數(shù)的給變量加權的算法中，取權重系數(shù)的4次冪作為權重都能夠取得最好的預測結果。仿真證明，并不是指數(shù)的次數(shù)越高，預測的結果就越好。指數(shù)的次數(shù)為4是最適合該數(shù)值例子的指數(shù)次數(shù)。

2.2.2 硫回收單元

硫回收單元是煉油廠中控制硫排放的重要裝置[12]。在硫回收單元中，酸性氣體流在排放到大氣之前需要去除環(huán)境中的污染物，同時，要對硫元素進行回收[7]。硫回收單元的基本結構流程如圖2所示。

圖2 硫回收單元的基本結構流程圖Fig.2 Basic structure flow chart of sulfur recovery unit

為了控制過程空氣的進料比和檢測過程的運行，需要對平臺排放尾氣中的H2S和SO2氣體濃度進行測量分析。然而，在線分析儀的可靠性會隨著時間的推移而降低，并且設備的維護和檢修也耗時耗力。所以，軟測量技術可以建模，以預測這兩種氣體的濃度。為了測量這兩種氣體的濃度，5個輔助輸入變量分別為MEA區(qū)氣體流量、MEA區(qū)第一空氣流量、MEA區(qū)第二空氣流量、SWS區(qū)氣體流量和SWS區(qū)空氣流量[12]，輸出變量分別為H2S濃度和SO2濃度。

本節(jié)以H2S的濃度為例，一共從硫回收單元的過程中采集了800個數(shù)據(jù)。兩種算法在實際過程中的預測結果如圖3所示。

圖3 兩種算法在實際過程中的預測結果Fig.3 Prediction results of the two algorithms in the actual process

從圖3可以看出，在硫回收單元中，由于過程的復雜性和非線性，在測量過程中也可能存在異常值。在基于相關系數(shù)的給變量加權的方法中，權重系數(shù)的絕對值變量加權的預測結果最好。在基于回歸系數(shù)給變量加權的方法中，權重系數(shù)的指數(shù)次數(shù)為2的預測結果最好。模型的預測結果與權重系數(shù)的指數(shù)次數(shù)有關系，但并不是指數(shù)次數(shù)越高越好。在異常值比較多的復雜非線性過程中，取權重系數(shù)的絕對值或者指數(shù)次數(shù)較低的情況下的預測結果反而更好。

3 變量權重的權重函數(shù)的研究

在LW-PLS中，相似性樣本的選擇是即時學習的關鍵問題，進行相似性樣本的選擇時不僅要考慮輸入變量之間的相關性，還要考慮輸入變量和輸出變量之間的相關性。本節(jié)所用的距離計算公式為歐氏距離，給變量加權的方法為基于相關系數(shù)的加權方法和基于回歸系數(shù)的加權方法。而在進行距離計算后，往往還要指定各個樣本的權重。權重函數(shù)一般為距離的函數(shù)，并且隨著距離的增大，歷史樣本和查詢樣本之間的相似性應該越來越小，所以其權重系數(shù)也應該越來越小。接下來將探討一些常見的權重函數(shù)對模型預測精度的影響。

3.1 關于權重函數(shù)的介紹

距離反映了歷史樣本和查詢樣本之間的相似性大小。權重函數(shù)根據(jù)距離的大小來分配權重，使得與查詢變量相似性大的歷史樣本的權重大，與查詢變量相似性小的歷史樣本的權重小甚至趨于零，從而減少無關樣本數(shù)據(jù)的影響、提高模型的預測精度。常見的權重函數(shù)圖像如圖4所示。

圖4 常見的權重函數(shù)圖像Fig 4 A common image of a weight function

3.2 仿真研究

在本節(jié)中，分別通過一個仿真例子和一個實際工業(yè)例子來探討不同的權重函數(shù)對模型預測精度的影響。

3.2.1 數(shù)值仿真

本數(shù)值例子采用文獻[11]中所用例子，輸入輸出都有時變特征。本例共產生400個采樣數(shù)據(jù)。其中，每個樣本包含6個輔助變量x1～x6和一個輸出變量y。前3個輔助變量分別由3個隱變量z1、z2和z3生成，三隱變量均隨機產生于均勻分布區(qū)間[0,1]。輔助變量的具體設置如下[12]：

(16)

式中：N(0,0.1)為均值為0、方差為0.1的高斯正態(tài)分布。

為了仿真工業(yè)過程中的輸入輸出時變特性變化，將輸出變量定義為：

(17)

從式(17)可以看出，在這個數(shù)值實例中，過程存在變量關系非線性和特性時變等特征。

為了建立模型和輸出預測，本例中共采集了400個數(shù)據(jù)。其中，200個數(shù)據(jù)作為歷史數(shù)據(jù)用來建立模型，另外200個數(shù)據(jù)用來進行模型的驗證。表1給出了數(shù)值例子中4種權重函數(shù)在不同算法中的均方誤差。

表1 數(shù)值例子中4種權重函數(shù)在不同算法中的均方誤差Tab.1 Mean square error of the four weight functions in different algorithms in the numerical examples

從表1可以看出，對于具有時變特性的非線性過程，無論是傳統(tǒng)的LW-PLS算法，還是改進的基于回歸系數(shù)給變量加權的LW-PLS算法，權重函數(shù)為反比例函數(shù)的模型的預測精度都要高于其他三種權重函數(shù)的模型。這可以說明給權重函數(shù)為反比例函數(shù)的模型設置合適的參數(shù)在一定程度上可以解決過程時變特性的問題。而在基于相關系數(shù)的給變量加權的LW-PLS中，高斯函數(shù)作為權重函數(shù)的模型的預測結果要好于其他函數(shù)作為權重函數(shù)的模型。

3.2.2 硫回收單元

硫回收單元的基本原理如2.2.2節(jié)所示。本文以H2S的濃度為例。為了建立和驗證模型，一共從過程中采集了800個數(shù)據(jù)。其中500個數(shù)據(jù)用來進行模型建立，300個數(shù)據(jù)用來進行模型驗證。反復調節(jié)模型參數(shù)r，直至取得最佳的預測結果。表2給出了硫回收單元中4種權重函數(shù)在不同算法中的均方誤差。

表2 硫回收單元中4種權重函數(shù)在不同算法中的均方誤差Tab.2 Mean square error of four weight functions in different algorithms in sulfur recovery unit

如表2所示，在硫回收單元中的預測結果與數(shù)值例子中的一致，無論是在傳統(tǒng)的LW-PLS，還是基于回歸系數(shù)給變量加權的LW-PLS中，權重函數(shù)為反比例函數(shù)模型的算法預測精度都高于其他算法。而在基于相關系數(shù)給變量加權的LW-PLS中，高斯函數(shù)為權重函數(shù)的算法在這幾種權重函數(shù)中仍然是預測精度最高的。

4 結論

本文在基于與輸出相關給變量加權即時學習的算法基礎上，分別探討了同一權重函數(shù)權重的不同階次和不同權重函數(shù)對模型的預測精度影響。模型的預測結果與權重系數(shù)的指數(shù)次數(shù)存在一定的關系。在一定范圍內，權重的指數(shù)次數(shù)變高，模型的預測精度可能會提高。但這并不意味著指數(shù)次數(shù)越高越好。在異常值比較多的復雜非線性過程中，取權重系數(shù)的絕對值或者指數(shù)次數(shù)較低的情況下的預測結果反而更好。

對于常見的幾種權重函數(shù)，在具有時變特性的復雜非線性工業(yè)過程中，傳統(tǒng)的LW-PLS和基于回歸系數(shù)給變量加權的LW-PLS中，權重函數(shù)為反比例的模型的預測精度都要高于其他幾種權重函數(shù)的模型，說明給權重函數(shù)為反比例函數(shù)的模型在一定程度上可以解決過程時變特性的問題。而在基于相關系數(shù)的給變量加權的LW-PLS中，高斯函數(shù)作為權重函數(shù)的模型的預測結果要好于其他函數(shù)作為權重函數(shù)的模型。