基于MIC的支持向量回歸及其在化工過程中的應(yīng)用

顧俊發(fā)，許明陽，馬方圓，林治宇，紀(jì)成，王璟德，孫巍

（1 北京化工大學(xué)化學(xué)工程學(xué)院，北京100029； 2 中化泉州石化有限公司，福建泉州362103）

引 言

在化工生產(chǎn)中，某些關(guān)鍵變量可以直接或間接地反映過程的運(yùn)行狀態(tài)，對于操作人員判斷裝置的運(yùn)行情況十分重要。但受測量手段或儀表故障等因素的影響，這些關(guān)鍵變量可能出現(xiàn)無法實(shí)時(shí)獲取或讀數(shù)異常的問題。此時(shí)，軟測量技術(shù)可以通過提取歷史數(shù)據(jù)中關(guān)鍵變量與其他變量間的關(guān)系，建立回歸模型，實(shí)現(xiàn)對關(guān)鍵變量的預(yù)測[1]。在建立軟測量模型時(shí)，輔助變量和回歸方法的選取會(huì)直接影響到模型的預(yù)測效果[2]。化工過程中變量眾多，如果將所有相關(guān)變量全部作為輸入建立軟測量模型，不僅會(huì)導(dǎo)致數(shù)據(jù)的冗余，增加模型運(yùn)算量，也會(huì)造成模型的預(yù)測準(zhǔn)確率降低[3]。目前常利用Person 系數(shù)等線性相關(guān)度量準(zhǔn)則分析過程變量與軟測量目標(biāo)變量間的關(guān)系，選擇合適的輔助變量[4]，然后利用線性回歸模型提取變量間關(guān)系，建立軟測量模型，實(shí)現(xiàn)對關(guān)鍵變量的實(shí)時(shí)預(yù)測。常見的線性回歸方法有嶺回歸、偏最小二乘法等[5]，其優(yōu)點(diǎn)在于計(jì)算簡單且可解釋性強(qiáng)，對穩(wěn)態(tài)過程具有較強(qiáng)的適用性[6]。但在實(shí)際化工生產(chǎn)中，裝置并非一直處于穩(wěn)態(tài)過程，而且絕大多數(shù)變量間的關(guān)系十分復(fù)雜，為非線性關(guān)系。相比于利用線性相關(guān)度量選擇變量建立線性模型，如果能夠在綜合考慮變量間線性和非線性關(guān)系的基礎(chǔ)上建立軟測量模型，則應(yīng)能夠?qū)崿F(xiàn)對目標(biāo)變量更好的預(yù)測。

最大信息系數(shù)(maximal information coefficient，MIC)是一種基于信息論的度量標(biāo)準(zhǔn)，利用互信息和網(wǎng)格劃分的方法來計(jì)算變量間的相關(guān)度，同時(shí)考慮了變量間的線性和非線性關(guān)系，具有適用性廣、計(jì)算簡單等優(yōu)點(diǎn)，適用于非線性回歸模型的變量選取。同時(shí)，支持向量回歸(support vector regression,SVR)方法是一種常用的非線性回歸方法，在結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)之上發(fā)展起來，能夠根據(jù)數(shù)據(jù)信息在模型學(xué)習(xí)能力和復(fù)雜度之間尋求最優(yōu)性能，以獲得良好的推廣能力，有較強(qiáng)的泛化能力，能夠?qū)δ繕?biāo)變量做出較為準(zhǔn)確的預(yù)測[7]。

基于此，本文提出了一種基于MIC 的支持向量回歸軟測量方法，利用最大信息系數(shù)度量過程變量與軟測量目標(biāo)變量間的相似度，選擇合適的輔助變量，避免了全部變量作為輸入所造成的數(shù)據(jù)冗余。在此基礎(chǔ)上，利用支持向量回歸方法提取輔助變量與軟測量目標(biāo)變量間的關(guān)系，建立軟測量模型，實(shí)現(xiàn)對軟測量目標(biāo)的預(yù)測。該方法被應(yīng)用于存在儀表故障的某催化重整裝置進(jìn)料換熱器熱端壓降的軟測量中，結(jié)果表明該方法可以有效地實(shí)現(xiàn)對壓降的預(yù)測，實(shí)現(xiàn)對儀表故障時(shí)的數(shù)據(jù)校正。

1 方法原理

1.1 最大信息系數(shù)

最大信息系數(shù)是Reshef 等[8]于2011 年首次提出的一種基于互信息理論的最大信息系數(shù)，它可以有效監(jiān)測變量間的線性或非線性關(guān)系，是較好的衡量變量間相關(guān)性的指標(biāo)。

1.1.1 常見相關(guān)性度量方法對比 常見的相關(guān)性度量方法及其特點(diǎn)如表1所示，從表中不難看出，與其他常見的相關(guān)性度量方法相比，MIC 方法具有適用范圍廣、魯棒性強(qiáng)、計(jì)算復(fù)雜度低等優(yōu)點(diǎn)[9-11]。

表1 相關(guān)性度量方法Table 1 Correlation measurement algorithm

1.1.2 MIC 原理 MIC 利用互信息和網(wǎng)格劃分的方法來進(jìn)行計(jì)算，其中互信息可以看作是一個(gè)變量中包含的關(guān)于另一個(gè)變量的信息量，互信息計(jì)算公式如式(1)所示：

其中，p(x,y)為x,y之間的聯(lián)合概率。給定一個(gè)有限的有序數(shù)據(jù)集，如式(2)所示：

將集合D 中x,y 構(gòu)成的散點(diǎn)圖進(jìn)行(a,b)的網(wǎng)格劃分，然后查看當(dāng)前的散點(diǎn)在各個(gè)方格的落入情況，分別計(jì)算每個(gè)網(wǎng)格中的互信息，網(wǎng)格的劃分方式還有很多種，選取不同方式下互信息的最大值,得到最終的MIC，計(jì)算公式如式(3)所示：

其中，a, b 是在x, y 方向上劃分格子的個(gè)數(shù)，B為網(wǎng)格劃分的上限值。

1.2 支持向量回歸

支持向量回歸是一種基于統(tǒng)計(jì)學(xué)理論的機(jī)器學(xué)習(xí)方法，在解決非線性問題上有很好的效果，被廣泛應(yīng)用于工業(yè)界各個(gè)領(lǐng)域[12]。

1.2.1 常見軟測量方法比較 基于數(shù)據(jù)驅(qū)動(dòng)的軟測量方法主要包括線性方法與非線性方法兩大類。常見的線性方法包括偏最小二乘法(PLS)、嶺回歸方法(Ridge)，其優(yōu)點(diǎn)是計(jì)算簡單，可解釋性強(qiáng)，適用于穩(wěn)態(tài)過程[13-17]。常見的非線性方法包括支持向量回歸(SVR)、神經(jīng)元網(wǎng)絡(luò)等，其優(yōu)點(diǎn)在于能夠適用于復(fù)雜的非線性過程[18-20]。常見的軟測量回歸方法及其優(yōu)缺點(diǎn)如表2 所示，化工過程中經(jīng)常伴隨著狀態(tài)調(diào)整，為非穩(wěn)態(tài)過程，存在著線性與非線性關(guān)系。支持向量回歸具有非線性優(yōu)勢，且有較強(qiáng)的泛化能力，優(yōu)勢明顯。

1.2.2 SVR 原理 對于如式(4)所示給定訓(xùn)練集樣本M，希望得到一個(gè)回歸模型使得f(x)與y 盡可能接近，w、b是待確定的回歸參數(shù)，假設(shè)能容忍f(x)與y之間最多有ε 的偏差，SVR 問題可以轉(zhuǎn)化為如式(5)所示:

其中C 是正則化參數(shù)，le是不敏感損失函數(shù)，如式(6)所示。

引入松弛變量ξi和ξ*i后，式(5)可重寫如式(7)所示。

引入拉格朗日乘子μi后，將其轉(zhuǎn)化為對偶問題。

令L 對w, b,ξ,ξ*的偏導(dǎo)數(shù)為0，即可對w 和b 進(jìn)行確定[21]。得到最終的SVR解形式如式(9)所示：

1.2.3 核函數(shù)引入 上述情況是線性可分的，對于線性不可分情況，可以將樣本從原始空間映射到一個(gè)更高維的特征空間，使得樣本在這個(gè)空間線性可分，但是特征空間維數(shù)可能很高甚至是無窮維的，直接計(jì)算是十分困難的，為了避免這個(gè)障礙，引入了核函數(shù)[22-23]

通過核函數(shù)就可以用原始空間數(shù)據(jù)的計(jì)算結(jié)果來計(jì)算特征空間上的內(nèi)積，避免了上述的障礙。這樣SVR解形式就可以改寫為式(11)所示形式。

1.3 基于最大信息系數(shù)的支持向量回歸方法

基于最大信息系數(shù)的支持向量回歸（MICSVR）算法框圖如圖1 所示，首先通過對原始數(shù)據(jù)各變量間MIC 值的計(jì)算，確定與目標(biāo)變量相關(guān)性較強(qiáng)的輔助變量。在確定輔助變量之后將數(shù)據(jù)歸一化劃分為訓(xùn)練集與測試集，接著對模型進(jìn)行訓(xùn)練優(yōu)化模型參數(shù)，得到最終模型并對測試集進(jìn)行測試。

表2 常見軟測量方法Table 2 Soft measurement method

圖1 MIC-SVR算法框圖Fig.1 The diagram of MIC-SVR algorithm

1.4 性能指標(biāo)

1.4.1 決定系數(shù)（coefficient of determination，R2） 在回歸模型中用于評估預(yù)測值和實(shí)際值的符合程度, R2越接近于1，符合程度越高[24]，計(jì)算公式如式(12)所示：

其中，f(x)是預(yù)測值，y 是實(shí)際值，y*是實(shí)際值的平均值，RSS是殘差平方和，TSS是總平方和。

1.4.2 均方根誤差（root mean square error，RMSE） 用來衡量觀測值同真值之間的絕對偏差[25]，計(jì)算公式如式(13)所示：

1.4.3 相對誤差率（relative error rate，S） 用于衡量觀測值與真實(shí)值之間的相對偏差[26]，計(jì)算公式如式(14)所示：

其中，f(x)是預(yù)測值，y 是實(shí)際值，y*是實(shí)際值的平均值。

2 實(shí)例研究

國內(nèi)某大型石化公司的催化重整裝置，重整進(jìn)料換熱器的熱端壓降可以間接地反映出換熱器內(nèi)部的結(jié)垢情況，當(dāng)換熱器內(nèi)部的結(jié)垢多時(shí)則需要進(jìn)行在線沖洗，如果不能夠及時(shí)在線沖洗，輕則會(huì)影響換熱效率，增加企業(yè)的運(yùn)行成本，嚴(yán)重時(shí)可能會(huì)導(dǎo)致生產(chǎn)安全事故的發(fā)生[27-28]。但在實(shí)際生產(chǎn)中，測量儀表可能存在儀表錯(cuò)誤的情況，這會(huì)導(dǎo)致操作人員無法判斷換熱器的運(yùn)行狀態(tài)，因此對于換熱器壓降的實(shí)時(shí)預(yù)測以及及時(shí)的數(shù)據(jù)校正顯得尤其重要。因此考慮對熱端壓降進(jìn)行MIC-SVR 軟測量模型的建立。

2.1 輔助變量的選取

首先根據(jù)實(shí)際工業(yè)過程選取了27 個(gè)與換熱器熱端壓降相關(guān)的變量，計(jì)算各個(gè)變量與重整進(jìn)料換熱器熱端壓降的MIC值，如表3所示。

表3 最大信息系數(shù)計(jì)算結(jié)果Table 3 The result of MIC

取各個(gè)計(jì)算結(jié)果的均值，將MIC 值大于均值的變量篩選出來，共得到12個(gè)變量，如表4所示。

2.2 模型的建立

2.2.1 模型參數(shù) 模型參數(shù)主要包括兩部分：一個(gè)是核函數(shù)參數(shù)；二是超參數(shù)懲罰因子C 和不敏感損失系數(shù)ε[29-30]。

2.2.2 參數(shù)的確定 首先將所選數(shù)據(jù)集進(jìn)行歸一化，將歸一化的數(shù)據(jù)按照7∶3 的比例劃分為訓(xùn)練集和測試集。

本次所選用的核函數(shù)是高斯核函數(shù),如式(15)

表4 輔助變量表Table 4 Auxiliary variable table

所示：

其本身參數(shù)只有一個(gè)δ，構(gòu)造一個(gè)從0.01～10 的長度為20 的等比數(shù)列，探究δ 值在哪個(gè)范圍內(nèi)測試集效果較好，結(jié)果發(fā)現(xiàn)δ 在0.1～1 之間效果最好，再構(gòu)造一個(gè)從0.1～1的長度為20的等差數(shù)列進(jìn)行更為精準(zhǔn)的參數(shù)確定，得到最終的δ=0.24。

接著對模型的超參數(shù)進(jìn)行確定，將懲罰因子C和不敏感損失系數(shù)ε進(jìn)行排列組合確定最佳的超參數(shù)組合，最終確定C=6.952,ε = 0.015。由此熱端壓降的MIC-SVR軟測量模型建立完畢。

2.3 模型預(yù)測結(jié)果與討論

將測試集數(shù)據(jù)代入建立好的軟測量模型，對壓降進(jìn)行預(yù)測，得到預(yù)測值與真實(shí)值情況如圖2所示，R2=0.8569,RMSE=0.2770,S=0.25%,擬合效果較好。

圖2 測試集預(yù)測結(jié)果Fig.2 The prediction of test data

采用相同的數(shù)據(jù)集，不同的建模方法對比結(jié)果如表5 所示，從表中可以看出SVR 預(yù)測結(jié)果要好于傳統(tǒng)的PLS 方法,在采用了MIC 方法選取輔助變量之后PLS和SVR預(yù)測結(jié)果均有顯著提升。

在實(shí)際生產(chǎn)過程當(dāng)中，熱端壓降出現(xiàn)儀表異常的情況，但儀表讀數(shù)的準(zhǔn)確性對于整個(gè)生產(chǎn)過程顯得尤為重要，現(xiàn)對儀表異常情況進(jìn)行軟測量并進(jìn)行數(shù)據(jù)校正，保證生產(chǎn)過程數(shù)據(jù)的準(zhǔn)確性。如圖3 所示為儀表發(fā)生超量程異常的情況，此預(yù)測結(jié)果可以實(shí)現(xiàn)對儀表數(shù)據(jù)的校正。

表5 不同算法預(yù)測結(jié)果Table 5 The prediction of different algorithms

圖3 儀表異常情況預(yù)測結(jié)果Fig.3 The prediction of faulty sensor

3 結(jié) 論

本文針對實(shí)際過程當(dāng)中，由于儀表故障而無法實(shí)時(shí)獲取數(shù)據(jù)的問題。提出了MIC-SVR 軟測量方法，并與線性方法PLS進(jìn)行比較，結(jié)果表明非線性的SVR 更適合于復(fù)雜的工業(yè)過程。另外與未經(jīng)變量選擇的模型也進(jìn)行了對比，結(jié)果表明經(jīng)過變量選擇的模型優(yōu)于未經(jīng)變量選擇的模型，說明在建模過程中進(jìn)行變量選擇可以提高模型的泛化能力和降低模型的復(fù)雜度。最后將MIC-SVR 應(yīng)用于存在儀表故障的某催化重整裝置進(jìn)料換熱器熱端壓降的軟測量中，實(shí)現(xiàn)了對異常儀表的數(shù)據(jù)校正。

符 號 說 明

b——閾值

C——懲罰因子

f(x)——預(yù)測值

I——互信息

MIC——最大信息系數(shù)

m——觀測值數(shù)量

p(x,y)——x,y之間的聯(lián)合概率

R2——決定系數(shù)

RMSE——均方根誤差

RSS——?dú)埐钇椒胶?/p>

S——相對誤差率

SVR——支持向量機(jī)回歸

TSS——總平方和

w——權(quán)重向量

y——真實(shí)值

α,μ——拉格朗日乘子

ε——不敏感損失系數(shù)

ξ——松弛向量