改進譜聚類算法在多模型軟測量中的應用

(南京工業(yè)大學自動化與電氣工程學院,江蘇 南京 211816)

0 引言

在化工過程和很多其他工業(yè)應用領域中，由于大多數(shù)系統(tǒng)存在機理復雜、高度非線性、強耦合、大時滯等特點，采用單一的軟測量模型無法全面地描述復雜系統(tǒng)的全局特性，并且存在回歸精度低和泛化能力差等問題。

為了解決上述問題，一種能夠提高系統(tǒng)模型精度和泛化能力的多模型軟測量建模方法應運而生[1-3]。仲蔚等[4]提出模糊C均值聚類和徑向基核函數(shù)(radial basis function,RBF)網(wǎng)絡相結(jié)合的策略來進行多模型建?！，F(xiàn)場應用表明,該方法易于實現(xiàn)且具有更好的泛化結(jié)果和預報精度。周立芳等[5]提出基于K均值聚類算法的多模型預測控制，試驗證明了多模型建模的模型精度和泛化特性。然而，傳統(tǒng)的聚類算法如K均值算法、模糊C均值算法等都是建立在凸球形的樣本空間上，當樣本空間不為凸球形時，算法將會陷入局部最優(yōu)。

針對傳統(tǒng)聚類方法存在的問題，本文提出一種基于改進譜聚類的多模型建模算法。該算法具有識別非凸分布聚類的能力，不會陷入局部最優(yōu)解，且能避免數(shù)據(jù)的維數(shù)過高所造成的奇異性問題，以便得到更加精確的聚類結(jié)果，提高模型精度。樣本聚類后，采用最小二乘支持向量機(least square-support vector machine,LS-SVM)建立各子類模型，并采用粒子群(particle swarm optimization,PSO)算法對多模型權(quán)值進行尋優(yōu)，系統(tǒng)軟測量模型輸出可視作各子模型的加權(quán)組合。本文所研究方法在丙烯精餾塔塔頂丙烯含量軟測量中進行了應用研究，結(jié)果表明，該方法具有較高的精度和良好的泛化性能。

1 譜聚類算法

1.1 標準譜聚類算法

譜聚類是建立在圖論中譜圖理論的基礎上[6]，將聚類問題轉(zhuǎn)化為一個無向圖的最優(yōu)劃分問題的過程，其本質(zhì)是通過Laplacian Eigenmap實現(xiàn)降維的過程。譜聚類的思想來源于譜圖劃分理論，將每個樣本數(shù)據(jù)看作圖中的頂點V，根據(jù)樣本間的相似度將相應頂點之間的連接邊E賦權(quán)重W，從而得到基于樣本相似度的無向加權(quán)圖G=(V,E,W)。此時，可以將聚類問題轉(zhuǎn)化為在圖G上的圖劃分問題。根據(jù)圖論的劃分理論來看，譜聚類的本質(zhì)就是使得劃分后的子圖之間相似度最小[7]，子圖內(nèi)部相似度最大。

根據(jù)準則函數(shù)和譜映射方法的不同，譜聚類算法有多種實現(xiàn)方法。實現(xiàn)過程一般分為三步：①定義數(shù)據(jù)樣本點之間的相似性度量，建立數(shù)據(jù)點之間的相似矩陣；②通過計算相似矩陣的前k個特征值與特征向量，構(gòu)建新的數(shù)據(jù)特征空間；③采用K均值或者其他傳統(tǒng)聚類算法對特征空間中的特征向量進行聚類。

雖然K均值算法實現(xiàn)簡單，可以重復運行而不受初始化的影響，但是K均值算法也有一些致命的缺點，如不能處理非球型簇以及不同尺寸和不同密度的簇，對于含有離群點的聚類也不太適應。同時，K均值算法是一種貪心算法，經(jīng)常會陷入局部最優(yōu)解。然而，譜聚類算法只需要數(shù)據(jù)之間的相似度矩陣，不必像K均值算法那樣要求數(shù)據(jù)必須是N維歐氏空間向量。因此，本文采用改進譜聚類算法來克服K均值算法的缺點，從而得到準確的聚類結(jié)果，提高模型精度。

1.2 改進的譜聚類算法

在譜聚類算法中，特征值和特征值向量的選擇對聚類結(jié)果影響很大，而特征值和特征向量的選擇以聚類分組數(shù)為依據(jù)[8]。因此，本文采用基于特征差值與正交特征向量的改進譜聚類算法，對標準譜聚類算法進行改進，實現(xiàn)聚類數(shù)目的自動確定。譜聚類算法的基本思想是：先利用樣本數(shù)據(jù)構(gòu)建相似矩陣，然后對由相似矩陣生成的規(guī)范化相似矩陣進行譜分解，從而得到相應的特征值和特征向量；隨后對特征值按降序排列，并用本征間隙來表述相鄰特征值之間的差，通過第一個極大本征間隙出現(xiàn)的位置來自動確定類個數(shù)；最后結(jié)合獲得的類個數(shù)和特征向量之間的夾角實現(xiàn)數(shù)據(jù)分類。本文選擇規(guī)范割集劃分準則來實現(xiàn)譜聚類算法。

設輸入數(shù)據(jù)集為S={S1,S2,…,Sn}，且S為Rn空間中待聚類的數(shù)據(jù)集；輸出為聚類分組數(shù)k和聚類結(jié)果。聚類算法具體步驟如下。

① 構(gòu)造數(shù)據(jù)集的親和(相似)矩陣Wij，Wij=exp(-‖Si-Sj‖2/2δ2)，i≠j，且Wii=0，其中δ為閾值參數(shù)。

② 構(gòu)造拉普拉斯矩陣L=D-1/2AD1/2，D為對角矩陣，其對角元素為Dii=∑Wik。

③ 求解拉普拉斯矩陣L的特征值(λ1,λ2,…,λn)及其對應的特征向量(η1,η2,…,ηn)。

④ 計算特征值差值g1,g2,…,gn-1，其中g(shù)i=λi-λi+1。

⑥ 構(gòu)造矩陣X=[x1,x2,…,xk]，其中x1,x2,…,xk為拉普拉斯矩陣L的前k個特征值對應的特征向量。

⑦ 對矩陣X中的每一行進行單位化處理，得到矩陣Y。

⑧ 將Y中的每一行看作Rk空間中的一個點，并對其使用K均值算法，得到k類樣本子集，如果矩陣Y中第i行屬于第j類，則Xi也屬于第j類。

根據(jù)矩陣的攝動理論，當?shù)趉和(k+1)個特征值之間的差值越大時，所選的k個特征向量構(gòu)成的子空間就越穩(wěn)定。此時，以矩陣Y中的每一行作為k維空間中的一個點，形成k個聚類。它們將彼此正交地分布于k維空間中的單位球上，且在單位球上形成的這k個聚類對應著原來空間中所有點形成的k個聚類。由此根據(jù)拉普拉斯矩陣的特征值之間的差值來確定類個數(shù)，其中差值取[0.06,0.1]。

與標準譜聚類算法相比，改進后的譜聚類算法可以自動確定聚類個數(shù)[9]，對樣本數(shù)據(jù)建立規(guī)范化相似矩陣并進行譜分解;利用本征間隙自動確定樣本數(shù)據(jù)的類個數(shù)；根據(jù)確定的類個數(shù)和譜分解后的特征向量間的夾角，實現(xiàn)樣本數(shù)據(jù)的分類。

2 基于LS-SVM的子模型建模

支持向量機是一種小樣本學習理論，它的基本思想是采用結(jié)構(gòu)風險最小化原則構(gòu)造最優(yōu)決策函數(shù)[10]，解決樣本空間中高度非線性回歸問題。最小二乘支持向量機(LS-SVM)是一種改進的支持向量機，它將求解二次規(guī)劃問題轉(zhuǎn)化為求解線性方程組[11]，解決了一般標準支持向量機求解凸二次規(guī)劃問題所帶來的復雜度的問題，提高了學習速度。LS-SVM算法的優(yōu)化問題描述如下。

(1)

式中：φ(xi)為核空間映射函數(shù)；ω為權(quán)矢量；ei為誤差變量；b為偏差量；γ為正則化參數(shù)。

為了求解上述優(yōu)化問題，需要把有約束優(yōu)化問題變?yōu)闊o約束優(yōu)化[14]。為此建立相應的Lagrange函數(shù)：

(2)

根據(jù)KKT(Karush-Kuhn-Tucher)最優(yōu)條件，得到如下線性方程組：

(3)

式中：y=y(y1,y2,…,yl)；e=[1,1,…,1]T；α=(α1,α2,…,αl)T為拉格朗日乘子；Ωij=φT(xi)φ(xj)=K(xi,xj)為核函數(shù)(核函數(shù)采用徑向基核函數(shù))。

因此，LS-SVM算法的優(yōu)化問題轉(zhuǎn)化為求解線性方程組(3)，最終可得到LS-SVM的模型表達式為：

(4)

3 軟測量多模型建模

本文軟測量多模型建立步驟如下。首先，采用改進譜聚類算法對訓練樣本集X1聚類，得到n個類別，對各類建立LS-SVM子模型；然后，根據(jù)歐氏距離將測試樣本集X2中的測試樣本點劃分到相應的子模型中，得到相應的子模型輸出yi(i=1,…,n)；最后，將各子模型按照“加權(quán)方式”進行組合，得到系統(tǒng)模型輸出Y，完成多模型的建立。基于改進譜聚類算法的軟測量多模型結(jié)構(gòu)如圖1所示。

圖1 多模型軟測量系統(tǒng)結(jié)構(gòu)圖

在辨識出系統(tǒng)各個子模型的基礎上，按照“加權(quán)方式”進行組合，得到系統(tǒng)的軟測量模型輸出。描述如下：

(5)

粒子群算法是一種適應性較強的全局優(yōu)化算法，能夠快速找到合適的權(quán)向量[12]。本文采用粒子群算法對多模型權(quán)值進行尋優(yōu)，算法步驟如下。

① 初始化粒子種群及參數(shù)，設定多模型中加權(quán)系數(shù)個數(shù)n、粒子數(shù)目c；對于第i個粒子，將每個加權(quán)系數(shù)作為粒子i的位置編碼；計算各粒子的適應度，設置粒子i的初始速度為0。反復進行，生成m個粒子。

② 由初始化粒子群得到粒子的個體最優(yōu)位置Pid(i)和全局最優(yōu)位置Pgd。

③ 更新初始化粒子的速度和位置，慣性因子ξ按式(6)計算：

(6)

式中：D為當前迭代次數(shù)；Dmax為最大迭代次數(shù)；ξmax=1，ξmin=0。

④ 對于每一個粒子i，比較它們的適應度函數(shù)和經(jīng)歷過的最好位置的適應度值Pid(i),若更好，則更新Pid(i)。

⑤ 對于每個粒子i，比較它們的適應度值和群體所經(jīng)歷的最好位置Pgd的適應度值,若更好，則更新Pgd。

⑥ 檢查終止條件(是否到達設定迭代次數(shù))。若條件滿足，迭代終止，輸出全局最優(yōu)加權(quán)解，否則返回步驟③。

4 仿真實例

丙烯是重要的石油化工基礎原料，用于生產(chǎn)聚丙烯、苯酚、丙酮等。丙烯精餾塔中丙烯濃度是重要的質(zhì)量指標，人工采樣離線分析的方法存在長時間滯后問題，不利于生產(chǎn)過程的在線檢測與控制。因此，本文將基于改進譜聚類的多模型軟測量建模方法應用于丙烯生產(chǎn)過程中質(zhì)量指標的預測。

根據(jù)丙烯生產(chǎn)工藝，選擇塔頂溫度、進料量溫度、回流溫度、進料壓力、塔釜壓力、回流量、塔釜液位以及回流罐液位作為輸入變量，丙烯含量作為輸出變量。將現(xiàn)場采集的樣本數(shù)據(jù)進行異常樣本數(shù)據(jù)的剔除，對輸入變量的樣本數(shù)據(jù)進行歸一化處理，得到150組樣本數(shù)據(jù)，其中100組用于訓練模型，50組作為測試。采用改進譜聚類算法進行聚類的步驟如下。

首先，用改進譜聚類算法對訓練樣本聚類，樣本數(shù)據(jù)被自動聚為3類，分別建立子模型；然后根據(jù)歐氏距離將測試樣本歸類，用相應的子模型預測輸出；最后，根據(jù)粒子群算法求解多模型權(quán)值，將建立的子模型按照“加權(quán)方式”組合，得到丙烯質(zhì)量指標的軟測量模型。

為了驗證本文方法的有效性，分別采用基于K均值-LS-SVM多模型建模(分類參數(shù)取為2)和基于LS-SVM單模型建模，然后與本文方法進行比較。同時，采用均方根誤差(root-mean-square error,RMSE)和最大絕對誤差(maximum absolute error,MAXE)來評價模型預測性能。

(7)

(8)

式中：f(xi)和y(xi)分別為模型的輸出值和真實值；n為樣本個數(shù)。

根據(jù)試驗結(jié)果，3種方法的模型測試誤差比較結(jié)果如表1所示。

表1 模型預測誤差

精餾塔塔頂丙烯質(zhì)量指標的3種方法模型預測結(jié)果如圖2～圖4所示。

圖2 單一LS-SVM模型預測

圖3 K均值LS-SVM多模型預測

圖4 改進譜聚類LS-SVM多模型預測

由表1可以看出，采用本文提出的方法得到的模型均方根誤差(RMSE)和最大絕大值誤差(MAXE)均體現(xiàn)了該方法的優(yōu)勢。

比較圖2、圖3和圖4的預測結(jié)果可知，本文方法建立的模型較其他建模方法具有更好的跟蹤效果，說明了本文方法的有效性。

5 結(jié)束語

本文提出的基于SC-LS-SVM多模型建模方法，通過改進譜聚類算法對樣本數(shù)據(jù)進行聚類，對各子類樣本建立LS-SVM子模型，采用粒子群算法對多模型權(quán)值進行尋優(yōu)，并將子模型按照“加權(quán)方式”進行組合，得到系統(tǒng)軟測量模型。將該方法應用于丙烯精餾塔塔頂丙烯含量的軟測量建模中，通過仿真試驗對比，本文方法可以較好地跟蹤丙烯質(zhì)量指標的變化，具有更好的模型預測精度。

[1] 王孝紅,劉文光,于宏亮.工業(yè)過程軟測量研究[J].濟南大學學報：自然科學版,2009,23(1)：80-86.

[2] Petr K,Bogdan G,Sibylle S.Data-driven soft sensors in the process industry[J].Computers and Chemical Engineering,2009,33(4)：795-814.

[3] Fortuna L,Graziani S,Rizzo A.Soft sensors for monitoring and control of industrial processes[M].London：Springer,2007.

[4] 仲蔚,俞金壽.基于模糊c均值聚類的多模型軟測量建模[J].華東理工大學學報：自然科學版,2000,26(1)：83-87.

[5] 周立芳,張赫男.基于聚類多模型建模的多模態(tài)預測控制[J].化工學報,2008,59(10)：2546-2552.

[6] Luxburg U V.A tutorial on spectral clustering[J].Statistics and Computing,2007,17(4)：395-416.

[7] 戴月明,高倩.自適應半監(jiān)督模糊譜聚類算法[J].計算機工程與應用,2010,46(33)：212-214.

[8] Zhao F,Jiao L C,Liu H Q,et al.Spectral clustering with eigenvector selection based on entropy ranking[J].Neurocomputing,2010,73(10-12)：1704-1717.

[9] Ng A Y,Jordan M I,Weiss Y.On spectral clustering:analysis and an algorithm[C]//Cambridge:MIT Press,2002：121-526.

[10]Vapnik V N.The nature of statistical learning theory[M].New York：Springer Verlag,1995.

[11]Suykens J A K,Vandewale J.Least squares support vector machine classifiers[J].Neural Processing Letters,1999,9(3)：293-300.

[12]Kennedy J,Eberhart R C.Particle swarm optimization[C]//Proceedings of 1995 IEEE International Conference on Neural Networks,New York,1995：1942-1948.