基于移動窗的多核最小二乘支持向量機建模算法

李 琦， 杜 曉 東， 張 洪 略， 邢 麗 萍

( 大連理工大學(xué) 控制科學(xué)與工程學(xué)院, 遼寧 大連 116024 )

基于移動窗的多核最小二乘支持向量機建模算法

李 琦*， 杜 曉 東， 張 洪 略， 邢 麗 萍

( 大連理工大學(xué) 控制科學(xué)與工程學(xué)院, 遼寧 大連 116024 )

針對時變工業(yè)過程建模中存在的模型泛化性和適應(yīng)性較低的問題，利用移動窗技術(shù)，通過使用多個核函數(shù)，提出了一種基于移動窗的多核最小二乘支持向量機(LSSVM)建模算法．該算法在最小二乘支持向量機算法基礎(chǔ)上，利用多核組合代替單核，增強了模型的泛化能力；利用移動窗技術(shù)，增加了模型對時變工業(yè)過程的動態(tài)辨識能力及模型的更新效率．仿真實驗結(jié)果表明，該算法具有更好的泛化性能．

動態(tài)建模；核函數(shù)；最小二乘支持向量機(LSSVM)；移動窗

0 引 言

核方法是解決非線性問題的一種很好的方法，它可以將一個線性不可分問題轉(zhuǎn)化為求解一個線性可分問題．當(dāng)原始數(shù)據(jù)為非線性數(shù)據(jù)時，核函數(shù)可以把原始數(shù)據(jù)樣本映射到一個高維空間，將其處理為可分的線性數(shù)據(jù)，從而實現(xiàn)求解．通過這種方法，可以在不知道具體映射方法和原始數(shù)據(jù)的具體分布情況下，快速地解決高維空間映射問題，避免了常規(guī)算法對特征空間設(shè)計的煩瑣．因此越來越多的學(xué)者將核方法用于機器學(xué)習(xí)中[1-2]．目前常用的核函數(shù)有sigmoid函數(shù)、徑向基函數(shù)和線性函數(shù)等，其中應(yīng)用最多的是徑向基函數(shù)．最小二乘支持向量機(least squares support vector machines，LSSVM)中大多采用徑向基函數(shù)的單核結(jié)構(gòu)，但當(dāng)數(shù)據(jù)分布不平坦、數(shù)據(jù)樣本異構(gòu)或數(shù)據(jù)不規(guī)則、樣本規(guī)模較大時，單核構(gòu)成的函數(shù)就無法滿足需求．

Lanckriet等[3]提出了多核運行的方法，即多核學(xué)習(xí)(multiple kernel learning，MKL)，通過將多個核函數(shù)線性組合代替單核．實驗結(jié)果表明，用此方法構(gòu)建的模型比用單核構(gòu)建的模型性能表現(xiàn)更出色．在處理不同的問題時，不同的核函數(shù)可以與多種建模算法相結(jié)合，從而解決不同的關(guān)鍵性問題，且兩部分互不干擾，可相輔相成形成多種不同的基于核技術(shù)的方法．在解決凸優(yōu)化問題時，用交叉驗證選擇正則化參數(shù)，計算量極其煩瑣，Jian等[4]從優(yōu)化內(nèi)核和正則化參數(shù)的角度出發(fā)，提出了基于半定規(guī)劃(semi-definite programming，SDP)的多核學(xué)習(xí)算法，成功地避免了此缺陷，較快地形成了一個自動選擇模型的過程．Damoulas 等[5]將多核學(xué)習(xí)用于貝葉斯分類中，并用人工數(shù)據(jù)做了驗證，證明用多核代替單核可以增加決策函數(shù)的可解釋性，比單核模型的性能更好．另外，單核學(xué)習(xí)的魯棒性和泛化性較差，而在多核學(xué)習(xí)中確定核函數(shù)的問題，最終可轉(zhuǎn)化為基本核函數(shù)和相應(yīng)系數(shù)的確定問題，因此比單核學(xué)習(xí)算法的可解釋性強、泛化性高[6-7]．

按照核函數(shù)權(quán)值和機器學(xué)習(xí)參數(shù)的確定順序，可將多核學(xué)習(xí)算法的求解方法分為兩類：one-step方法，two-step方法．在one-step方法中，進行一次循環(huán)便可確定核函數(shù)的權(quán)值和機器學(xué)習(xí)的參數(shù)值，再利用半定規(guī)劃SDP、二次約束型二次規(guī)劃(quadratically constrained quadratic programming)和二階錐規(guī)劃(second-order cone programming) 等求解．two-step方法是先利用機器學(xué)習(xí)的算法更新核函數(shù)權(quán)值，再利用核函數(shù)的運算更新機器學(xué)習(xí)中的相關(guān)參數(shù)，不斷重復(fù)此步驟直到最終結(jié)果達到精度要求．較常用的two-step方法是半無限線性規(guī)劃(semi-infinite linear programming)方法[8]．

本文針對時變工業(yè)過程建模問題，融合移動窗技術(shù)、LSSVM和基于lp-范數(shù)約束的多核學(xué)習(xí)等不同算法，提出一種基于移動窗的動態(tài)多核學(xué)習(xí)算法．

1 多核學(xué)習(xí)的原理

LSSVM學(xué)習(xí)結(jié)果的表達式如下：

(1)

式中：ai是拉格朗日因子；b是偏置值；xi(i=1，2，…，n)是訓(xùn)練樣本，n是樣本個數(shù)；K(xi，xj)=φT(xi)φ(xj)．

(2)

其中參數(shù)向量

(3)

(4)

2 基于lp-范數(shù)約束的多核學(xué)習(xí)算法的研究

2.1 基于lp-范數(shù)約束的多核學(xué)習(xí)算法描述

(5)

(6)

2.2 基于lp-范數(shù)約束的多核學(xué)習(xí)算法推導(dǎo)

算法采用Ivanov正則優(yōu)化，假設(shè)表達式(5)中(ωm，b)是兩個固定值，對β求偏導(dǎo)，令其結(jié)果為0，得出如下等式：

(7)

(8)

(9)

2.3 基于lp-范數(shù)約束的多核學(xué)習(xí)LSSVM算法分析

結(jié)合上述對多核學(xué)習(xí)方法的分析和LSSVM的優(yōu)化過程描述，可以得到基于lp-范數(shù)約束的MKL_LSSVM的求解式：

(10)

進一步，可以得出在對偶空間中LSSVM優(yōu)化問題的拉格朗日表達式：

(11)

從而可推出，對偶空間中基于lp-范數(shù)約束的MKL_LSSVM的問題等價于式(12)表達的優(yōu)化問題：

(12)

(13)

由上面的推導(dǎo)過程可以看出，求解MKL_LSSVM最終轉(zhuǎn)換為求解線性規(guī)劃QCLP(quadratically constrained linear programming)的問題，實質(zhì)為求解一個含有二次約束的線性問題．

3 基于移動窗的動態(tài)多核LSSVM算法

算法中采用式(14)求取拉格朗日因子a的值：

(14)

求取核函數(shù)β，根據(jù)LSSVM中的式(15)可以推出式(16)：

(15)

(16)

將式(16)代入式(9)，得到式(17)：

(17)

從而可以按照式(17)更新核函數(shù)權(quán)值，其多核學(xué)習(xí)的流程圖如圖1所示．

在原空間，求解基于lp-范數(shù)的多核學(xué)習(xí)算法步驟如下：

(3)執(zhí)行下面步驟至滿足停止條件．

①按照式(14)求解a(t)；

②結(jié)合式(17)和(9)更新核函數(shù)的權(quán)值：

③上述算法中，如果權(quán)值的變化比較小則停止循環(huán)，即max(βm(t)-βm(t-1))≤e，其中e是一個非常小的正數(shù)．

圖1 基于lp-范數(shù)的多核學(xué)習(xí)算法流程圖

考慮模型對時變工業(yè)過程的動態(tài)辨識能力，利用移動窗技術(shù)，定義移動窗長為w，對模型進行實時更新操作，以提高模型的自適應(yīng)性．

同時，考慮到核函數(shù)的選取和參數(shù)的確定會間接影響輸入空間向特征空間的映射，也影響組合核函數(shù)的性能，因此樣本數(shù)據(jù)經(jīng)過核函數(shù)處理變?yōu)楹撕瘮?shù)矩陣時，要對核函數(shù)矩陣進行核標(biāo)準(zhǔn)化處理．出于以上考慮選用的核函數(shù)是高斯核函數(shù)(Gaussian kernel)：

δ∈R+

(18)

在對高斯核函數(shù)進行處理時選用了球形標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化的數(shù)學(xué)表達式如下：

(19)

通過此操作，可以將所有輸入樣本都置換到一個半徑為1的單位球內(nèi)，并且去掉了輸入樣本的量綱．

4 仿真實驗分析

實驗選取了單變量函數(shù)和多變量函數(shù)兩種函數(shù)分別對實驗對象進行仿真，其中，選用的核函數(shù)為徑向基函數(shù)，將核函數(shù)的寬度[11]設(shè)為2-2，2-1.5，…，21.5，22，之間相隔0.5；C取值為2-1，…，210；p取值[8]為1，4/3，2，4，∞．通過改變p的值來觀察模型性能的變化，定義移動窗長w=50．

(1)性能指標(biāo)的選取

為了進一步清晰地說明本文提出方案的有效性，需要采用均方根誤差Erms和最大絕對值誤差Em(maximum absolute error)來評估模型的性能：

(20)

Em=max(yi-fi(x))；i=1，2，…，n

(21)

其中yi表示實際的數(shù)據(jù)樣本值，fi(x)表示按照該算法所建模型預(yù)測出來的預(yù)測值，n表示樣本個數(shù)．

(2)仿真函數(shù)模型

①單變量函數(shù)模型

模型是一個典型的非平坦的混合高斯分布函數(shù)[12]：

(22)

函數(shù)yi=r(xi)+ni，其中xi∈[0，10]，ni～N(0，0.052)．從0～10內(nèi)選取均勻分布的200個樣本，偶數(shù)點的100個輸入數(shù)據(jù)作為訓(xùn)練集，奇數(shù)點的100個輸入數(shù)據(jù)作為測試集．

②多變量函數(shù)模型

此模型是選取文獻[13]中提出的模型，見式(23)．其中，假定系統(tǒng)的輸入函數(shù)為u(t)=sin(2πt/25)+sin(2πt/10)，均勻分布在[-2，2]．e(t)是高斯白噪聲序列，定義為e(t)∈N(0，0.1)．用數(shù)學(xué)表達式對該非線性模型的表述為y(t)=f(x(t))+e(t)，其中x(t)=[y(t-1)，y(t-2)，u(t-1)]．取其中的200組數(shù)據(jù)，前100組作為訓(xùn)練集，后100組作為測試集．

(23)

(3)實驗結(jié)果分析

對兩個函數(shù)分別單獨實驗10次，取每次實驗的平均值為相應(yīng)實驗的最終結(jié)果．對于式(22)，LSSVM的參數(shù)C=210，δ=0.4時最優(yōu)；對于式(23)，LSSVM的參數(shù)C=210，δ=0.1時最優(yōu)．

表1和表2分別表示單變量函數(shù)采用靜態(tài)多核學(xué)習(xí)和帶移動窗的動態(tài)多核學(xué)習(xí)情況下的測試結(jié)果，表3和表4分別表示多變量函數(shù)采用靜態(tài)多核學(xué)習(xí)和帶移動窗的動態(tài)多核學(xué)習(xí)情況下的測試結(jié)果．

從表1和表2可以看出，對于不同的p值，模型的測試結(jié)果不同，p值越大，模型的Erms和Em越小，說明測試值越接近于真實值，模型的預(yù)測效果越好．將表1與表2對比可以發(fā)現(xiàn)，前者的Erms和Em都遠遠大于后者，但模型所耗時間均遠小于后者．說明函數(shù)在帶移動窗的動態(tài)多核學(xué)習(xí)下，學(xué)習(xí)效果要優(yōu)于靜態(tài)多核學(xué)習(xí)效果，動態(tài)多核學(xué)習(xí)下的模型，預(yù)測精度更高．由于動態(tài)模型具有自適應(yīng)性，若當(dāng)前模型不合適時，需要更新模型，故其計算量較大，所耗時間較長．

表1 單變量函數(shù)在不同lp-范數(shù)下的靜態(tài)多核學(xué)習(xí)測試結(jié)果

Tab.1 The test results of one-variable function based on differentlp-norm static MKL

pErmsEmt/s14/324∞0.00810.00640.00500.00410.00360.07240.05270.03810.02440.01890.98520.74431.01650.99951.1789

表2 單變量函數(shù)在不同lp-范數(shù)下的帶移動窗的動態(tài)多核學(xué)習(xí)測試結(jié)果(w=50)

Tab.2 The test results of one-variable function based on differentlp-norm dynamic MW_MKL (w=50)

pErms/10-4Emt/s14/324∞2.37041.80861.33151.03770.78360.00160.00110.00080.00050.00035.83394.63275.26864.07229.6058

從表3和表4可以看出，不同于單核函數(shù)，模型的預(yù)測效果并不會隨著p值的增大而變好，p值過小或過大，模型的性能都會降低．p=4/3時，模型的預(yù)測效果最好．同樣對比表3和表4，可以發(fā)現(xiàn)：函數(shù)在帶移動窗的動態(tài)多核學(xué)習(xí)下，模型的誤差較小，擬合效果較好，學(xué)習(xí)效果要優(yōu)于靜態(tài)多核學(xué)習(xí)效果．但是對于多變量函數(shù)，帶移動窗的動態(tài)多核學(xué)習(xí)算法基本上比靜態(tài)多核學(xué)習(xí)算法所耗時間長，但兩者計算復(fù)雜度差別不是特別大．

表3 多變量函數(shù)在不同lp-范數(shù)下的靜態(tài)多核學(xué)習(xí)測試結(jié)果

Tab.3 The test results of multivariable function based on differentlp-norm static MKL

pErmsEmt/s14/324∞0.01970.01940.02030.02120.02230.06310.06130.06980.06510.07164.28813.06792.93792.92433.1722

表4 多變量函數(shù)在不同lp-范數(shù)下的帶移動窗的動態(tài)多核學(xué)習(xí)測試結(jié)果(w=50)

Tab.4 The test results of multivariable function based on differentlp-norm dynamic MW_MKL (w=50)

pErms/10-4Emt/s14/324∞3.76433.62973.85563.98674.10570.002160.002030.002150.002200.002234.01333.69333.93233.63604.0298

5 結(jié) 語

針對復(fù)雜時變工業(yè)過程建模問題，提出了基于移動窗的動態(tài)多核LSSVM算法，將移動窗技術(shù)與傳統(tǒng)的靜態(tài)多核學(xué)習(xí)方法相結(jié)合，利用多核組合代替?zhèn)鹘y(tǒng)的單核，并給出了相關(guān)算法的步驟描述．最后用單變量函數(shù)和多變量函數(shù)兩個非線性函數(shù)進行了實驗仿真，結(jié)果驗證了所提方法構(gòu)建的模型性能優(yōu)于傳統(tǒng)的靜態(tài)多核學(xué)習(xí)方法，模型的泛化性更好．

[1] WORTON B J. Kernel methods for estimating the utilization distribution in home-range studies [J].Ecology, 1989,70(1):164-168.

[2] 張凱軍,梁 循. 一種改進的顯性多核支持向量機[J]. 自動化學(xué)報, 2014,40(10):2288-2294.

ZHANG Kaijun, LIANG Xun. An improved domain multiple kernel support vector machine [J].ActaAutomaticaSinica, 2014,40(10):2288-2294. (in Chinese)

[3] LANCKRIET G R G, CRISTIANINI N, BARTLETT P,etal. Learning the kernel matrix with semidefinite programming [J].JournalofMachineLearningResearch, 2004,5:27-72.

[4] JIAN Ling, XIA Zhonghang, LIANG Xijun,etal. Design of a multiple kernel learning algorithm for LS-SVM by convex programming [J].NeuralNetworks, 2011,24(5):476-483.

[5] DAMOULAS T, GIROLAMI M A. Pattern recognition with a Bayesian kernel combination machine [J].PatternRecognitionLetters, 2009,30(1):46-54.

[6] 汪洪橋,孫富春,蔡艷寧,等. 多核學(xué)習(xí)方法[J]. 自動化學(xué)報, 2010,36(8):1037-1050.

WANG Hongqiao, SUN Fuchun, CAI Yanning,etal. On multiple kernel learning methods [J].ActaAutomaticaSinica, 2010,36(8):1037-1050. (in Chinese)

[7] 楊 柳,張 磊,張少勛,等. 單核和多核相關(guān)向量機的比較研究[J]. 計算機工程, 2010,36(12):195-197.

YANG Liu, ZHANG Lei, ZHANG Shaoxun,etal. Comparison research of single kernel and multi-kernel relevance vector machine [J].ComputerEngineering, 2010,36(12):195-197. (in Chinese)

[8] KLOFT M, BREFELD U, SONNENBURG S,etal.lp-norm multiple kernel learning [J].JournalofMachineLearningResearch, 2011,12:953-997.

[9] IVANOV V K, VASIN V V, TANANA V P.TheoryofLinearIll-PosedProblemsanditsApplications[M]. Berlin: Walter de Gruyter, 2002.

[10] TIKHONOV A N, ARSENIN V Y.SolutionsofIll-PosedProblems[M]. New York: VH Winston & Sons, 1977.

[11] ZHANG Xiangrong, HU Longying, ZHANG Lin. An efficient multiple kernel computation method for regression analysis of economic data [J].Neurocomputing, 2013,118:58-64.

[12] CEPERIC V, GIELEN G, BARIC A. Sparse multi-kernel support vector regression machines trained by active learning [J].ExpertSystemswithApplications, 2012,39(12):11029-11035.

[13] CAI Yanning, WANG Hongqiao, YE Xuemei,etal. A multiple-kernel LSSVR method for separable nonlinear system identification [J].JournalofControlTheoryandApplications, 2013,11(4):651-655.

MultiplekernelLSSVMmodelingalgorithmbasedonmovingwindow

LI Qi*, DU Xiaodong, ZHANG Honglüe, XING Liping

( School of Control Science and Engineering, Dalian University of Technology, Dalian 116024, China )

In order to solve the problem of modeling in the time-varying industrial process which has lower modeling generalization and adaptation, a multiple kernel least squares support vector machines (LSSVM) modeling algorithm based on moving window technology is proposed by using multiple kernel functions. Multiple kernel groups are used to replace single kernel in this algorithm based on least squares support vector machines, which can improve model′s generalization performance. The algorithm increases the dynamic recognition ability for the time-varying industrial process and updated efficiency of model through moving window technology. The simulation result shows that the algorithm has better generalization performance.

dynamic modeling; kernel function; least squares support vector machines(LSSVM);moving window

2017-01-04；

2017-07-17．

國家自然科學(xué)基金資助項目(61403058)；中央高校基本科研業(yè)務(wù)費專項資金資助項目(DUT14LAB15).

李 琦*(1979-)，男，博士，副教授，E-mail:qili@dlut.edu.cn.

1000-8608(2017)05-0511-06

TP273

A

10.7511/dllgxb201705011