最小殘差法加速局部加權(quán)LSSVM求解及其應(yīng)用

林超，王華杰

最小殘差法加速局部加權(quán)LSSVM求解及其應(yīng)用

林超，王華杰

局部加權(quán)最小二乘支持向量機(jī)回歸模型（LocalWeighted Least Squares Support Vector Machines ,LW-LSSVM）是一種在線學(xué)習(xí)模型，該類模型需要根據(jù)訓(xùn)練樣本權(quán)重的調(diào)整不斷重新進(jìn)行訓(xùn)練。高效穩(wěn)定的學(xué)習(xí)算法是LW-LSSVM模型取得成功應(yīng)用的關(guān)鍵。分別采用最小殘差法（M INRE）、共軛梯度法（CG）、零空間法和Cholesky分解算法求解WL-LSSVM模型。基準(zhǔn)數(shù)據(jù)庫上的數(shù)值實(shí)驗(yàn)表明最小殘差法的計(jì)算時(shí)間最短，具有良好的數(shù)值穩(wěn)定性。隨后，應(yīng)用基于M INRES的WL-LSSVM建立了高爐鐵水硅含量的在線預(yù)測模型，仿真實(shí)驗(yàn)表明與LSSVM相比LW-LSSVM模型具有更高的預(yù)報(bào)精度和自適應(yīng)性。

LSSVM；局部加權(quán)；最小殘差法；鐵水硅含量

0 引言

SVM是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則建立的核學(xué)習(xí)模型[1]。隨后學(xué)者們研究了SVM的多種變形，其中，Suykens等人建立的LS-SVM模型結(jié)構(gòu)最為簡單，并獲得的廣泛應(yīng)用[2]。LS-SVM將SVM模型中的不等式約束替換為等式約束，同時(shí)，在目標(biāo)函數(shù)中采用具有良好光滑性質(zhì)的二次損失函數(shù)取代SVM模型中的不敏感損失函數(shù)。由于LS-SVM的最優(yōu)性條件（KKT條件），可以轉(zhuǎn)換為線性系統(tǒng)，無需求解二次規(guī)劃問題，與SVM相比LS-SVM的求解更為簡單、快速，更適合在線應(yīng)用。

高爐煉鐵過程是一個(gè)高度復(fù)雜的非線性過程,其實(shí)質(zhì)是將鐵從鐵礦石等含鐵化合物中還原出來。冶煉期間, 爐內(nèi)將發(fā)生復(fù)雜的氣-固、固-固、固-液相反應(yīng)，并伴隨有高溫、高壓、

多相共存、化學(xué)反應(yīng)與傳遞現(xiàn)象同時(shí)發(fā)生等特點(diǎn)。高爐煉鐵過程的復(fù)雜性造成了對(duì)其進(jìn)行有效控制十分困難。長期以來，國內(nèi)外研究人員根據(jù)高爐煉鐵內(nèi)部所發(fā)生的化學(xué)反應(yīng)傳遞現(xiàn)象建立了多種數(shù)學(xué)模型[3]，這些模型在理論上對(duì)于揭示高爐內(nèi)部現(xiàn)象起了一定的積極作用，但也存在著準(zhǔn)確性低等缺點(diǎn)。鑒于此,數(shù)據(jù)驅(qū)動(dòng)建模方法正被廣泛應(yīng)用于高爐煉鐵過程的實(shí)時(shí)模擬和控制。高爐在煉鐵過程中，產(chǎn)生了豐富的在線和離線測量數(shù)據(jù)，如原料參數(shù)，包括鐵礦石成份、焦炭負(fù)荷、噴煤速率、焦炭比等；鼓風(fēng)參數(shù)，包括風(fēng)量、風(fēng)溫、風(fēng)壓、富氧程度、鼓風(fēng)濕度等；鐵水成份參數(shù)，包括鐵水硅含量、鐵水硫含量等；爐渣成份、爐渣堿度以及透氣性指數(shù)等，為實(shí)現(xiàn)高爐煉鐵過程數(shù)據(jù)驅(qū)動(dòng)建模提供了可能。目前，利用數(shù)據(jù)驅(qū)動(dòng)的思想所建立的高爐預(yù)測及控制模型主要有神經(jīng)網(wǎng)絡(luò)模型[4]、非線性時(shí)間序列分析模型[5]、模糊模型[6]、貝葉斯網(wǎng)絡(luò)模型[7]、偏最小二乘模型[8]、支持向量機(jī)模型[9]等。上述模型基本是全局離線型模型，模型關(guān)注的是模型的全局推廣能力。此類模型在數(shù)據(jù)較充分的區(qū)域較為準(zhǔn)確，而模型在數(shù)據(jù)不充分或變化較大的區(qū)域精度欠佳。劉毅等學(xué)者，引入局部學(xué)習(xí)的思想，建立了待測樣本點(diǎn)附近的局部模型[10]。相關(guān)的研究表明，與全局學(xué)習(xí)相比，局部學(xué)習(xí)能有效提高建模精度[10,11]。

本文在現(xiàn)有對(duì)高爐煉鐵過程 LS-SVM 模型研究的基礎(chǔ)上,基于樣本點(diǎn)的歐式距離構(gòu)造了一種相似性度量準(zhǔn)則，計(jì)算樣本點(diǎn)的相似性，并由此確定樣本點(diǎn)的懲罰權(quán)重因子。基于懲罰權(quán)重因子建立了局部加權(quán)最小二乘支持向量機(jī)回歸模型(LocalWeightedLeast Squares Support Vector Machines，LW-LSSVM)，實(shí)現(xiàn)了樣本權(quán)重的在線調(diào)整。隨后，應(yīng)用LW-LSSVM對(duì)高爐鐵水硅含量進(jìn)行在線建模，仿真結(jié)果表明，LW-LSSVM較離線LSSVM有著更高的預(yù)測精度、更好的泛化能力，能更好的描述高爐冶煉過程這樣一個(gè)動(dòng)態(tài)時(shí)變系統(tǒng)，適合高爐鐵水硅含量的在線建模。此外，考慮到在線應(yīng)用的實(shí)時(shí)性要求學(xué)習(xí)模型具有較快的計(jì)算速度，我們提出采用M INRES算法求解LW-LSSVM模型。基準(zhǔn)數(shù)據(jù)集上的數(shù)值試驗(yàn)表明，與當(dāng)前主流的CG算法和零空間算法相比，M INRES算法能顯著提高LW-LSSVM模型的求解效率。

1 LW-LSSVM模型與求解算法

1.1 LSSVM回歸模型

LSSVM回歸模型是基于數(shù)據(jù)的機(jī)器學(xué)習(xí)方法，研究從觀測數(shù)據(jù)(樣本) 出發(fā)尋找規(guī)律，利用這些規(guī)律對(duì)未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測。給定訓(xùn)練樣本集，LSSVM的決策函數(shù)滿足如下形式其中，特征映射可將輸入樣本x映射到特征空間，b是截距項(xiàng)，w則是特征空間中的權(quán)重向量。LSSVM模型可表示為如下二次規(guī)劃問題，如公式（1）：

消掉變量w和誤差變量e,KKT系統(tǒng)可表示為線性方程組，形式如公式（4）：

1.2 LW-LSSVM模型與求解

LW-LSSVM模型對(duì)應(yīng)的 KKT系統(tǒng)可以描述為如下鞍點(diǎn)系統(tǒng)，如公式（6）：

共軛梯度法：類比Suykens等人的工作[12]，采用迭代策略，應(yīng)用共軛梯度法迭代求解如下正定系統(tǒng)，如公式（7）：系統(tǒng)（6）可轉(zhuǎn)換為正定系統(tǒng)

得到中間變量μ和η，隨后可得原鞍點(diǎn)系統(tǒng)(6)的解

零空間法：應(yīng)用 Chu等人采用的零空間法[13]，將鞍點(diǎn)系統(tǒng)轉(zhuǎn)(6)表示為，設(shè)系統(tǒng)的特解為并設(shè)的零空間為通過共軛梯度法求解正定系統(tǒng),得到中間變量λ,進(jìn)而可得鞍點(diǎn)系統(tǒng)(6)的解

Cholesky分解法：考慮到線性系統(tǒng)(7)的特殊結(jié)構(gòu)[14]，首先使用Cholesky分解算法分解對(duì)稱正定矩陣H,即利用 Cholesky因子L高效求解正定系統(tǒng)(7)得到中間變量μ和η，進(jìn)而求得原鞍點(diǎn)系統(tǒng)的解

MINRES算法：Paige和Saunders提出的最小殘差法是求解對(duì)稱非正定系統(tǒng)的高效算法。針對(duì)鞍點(diǎn)系統(tǒng)（6）的特殊結(jié)構(gòu)，我們采用最小殘差法迭代求解該系統(tǒng)。為了便于描述，簡記鞍點(diǎn)系統(tǒng)為假設(shè)0x是系統(tǒng)的初始解，利用Lanczos方法[15]可得到迭代點(diǎn)列，滿足：其中是第m個(gè)Krylov子空間。M INRES算法的相關(guān)收斂性分析可參考文獻(xiàn)[15].

2 仿真實(shí)驗(yàn)

對(duì)于LW-LSSVM模型而言，模型權(quán)重的確定至關(guān)重要，將直接決定模型效果?？紤]到在工程技術(shù)領(lǐng)域RBF函數(shù)經(jīng)常被選取用于構(gòu)造樣本點(diǎn)的相似性，本文基于樣本點(diǎn)的歐式距離，利用RBF函數(shù)構(gòu)造樣本相似性其中，核寬σ取為樣本點(diǎn)的輸入維數(shù)，并通過如下變換得到取值范圍是的懲罰加權(quán)因子。本文中所有數(shù)值試驗(yàn)均是在MATLAB 7.14 環(huán)境下運(yùn)行的，計(jì)算機(jī)配置為3.4 GHz Intel Core i3 處理器，4 Gb 內(nèi)存，Windows 7操作系統(tǒng)。

2.1 基準(zhǔn)數(shù)據(jù)庫實(shí)驗(yàn)

首先，我們考察LSSVM模型和LW-LSSVM模型，以及四種算法共軛梯度算法（CG）、零空間算法(Null)、Cholesky分解算法(Cholesky)和最小殘差算法(M INRES)在基準(zhǔn)數(shù)據(jù)集上的性能表現(xiàn)。本文選取回歸分析領(lǐng)域常用的誤差均方根（root mean square error,RMSE）、平均絕對(duì)誤差（mean absolute error,MAE)以及計(jì)算時(shí)間（CPU）作為評(píng)價(jià)指標(biāo)衡量模型及算法的性能。性能指標(biāo)RMES和MAE的計(jì)算公式如公式（8）、（9）：

表1 基準(zhǔn)數(shù)據(jù)集上的預(yù)測結(jié)果

由表1可以看到，與LSSVM模型相比，由于局部加權(quán)的LSSVM模型中加入了待預(yù)測樣本與訓(xùn)練樣本的相似性信息，LW-LSSVM模型的 RMSE的 MAE均有所提高。LW-LSSVM模型需要根據(jù)待預(yù)測樣本不斷調(diào)整懲罰加權(quán)因子 iθ，模型的訓(xùn)練次數(shù)為預(yù)測樣本數(shù)，而LSSVM模型僅需訓(xùn)練一次。因此，與LSSVM相比LW-LSSVM的運(yùn)行時(shí)間較長。四種求解算法CG、Null、Cholesky和M INRES對(duì)應(yīng)的REMS和MAE完全相同，表明四種算法的數(shù)值穩(wěn)定性較好。而運(yùn)行時(shí)間一欄表明，Cholesky分解算法和 M INRES算法的計(jì)算速度相當(dāng)，明顯優(yōu)于目前主流的共軛梯度算法和零空間算法。

2.2 高爐鐵水硅含量預(yù)測

本段我們應(yīng)用LSSVM模型和LW-LSSVM模型處理工業(yè)應(yīng)用問題-高爐鐵水硅含量預(yù)測問題，并比較四種算法的性能。

高爐爐溫是影響高爐冶煉過程的關(guān)鍵參數(shù)。高爐冶煉過程具有高度復(fù)雜性與封閉性，很難直接測量爐缸溫度場的分布。由于鐵水硅含量（[Si]）與爐缸溫度密切相關(guān),冶金界通常用[Si] 的變動(dòng)來間接反映爐缸溫度場的變化。以萊鋼1號(hào)高爐（容積750m3）在線采集的工業(yè)數(shù)據(jù)作為應(yīng)用案例?？紤]到生產(chǎn)過程數(shù)據(jù)的采集條件及其與[Si]的相關(guān)程度,選取了6個(gè)主要影響因素進(jìn)行建模。模型輸入變量分別為：上一爐鐵水硅含量、上一爐鐵量差、透氣性指數(shù)、噴煤量、風(fēng)溫和風(fēng)量。以上輸入變量在數(shù)量級(jí)上差異巨大，因此采用數(shù)據(jù)標(biāo)準(zhǔn)化處理公式（10）對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理。選取 RBF函數(shù)作為模型中的核函數(shù)，其中核寬參數(shù)σ設(shè)為6，模型正則化參數(shù)v設(shè)為1。本實(shí)驗(yàn)共采集樣本數(shù)據(jù)1008組，其中前908組數(shù)據(jù)用于構(gòu)造訓(xùn)練集，序號(hào)為No.31919～No.32018爐次的 100組數(shù)據(jù)構(gòu)造測試集。[Si]時(shí)間序列，如圖1所示：

圖1 萊鋼1號(hào)高爐鐵水硅含量時(shí)間序列圖

預(yù)測命中率是冶金生產(chǎn)中用來衡量模型優(yōu)劣的重要指標(biāo)，其定義如公式（11）所示：

衡量模型性能的常用指標(biāo)預(yù)測成功率的定義如公式（13）所示：

LW-LSSVM模型在均方根誤差(RMSE)、預(yù)測命中率(H,%)、以及預(yù)測成功率(S,%)3個(gè)評(píng)價(jià)指標(biāo)上的性能表現(xiàn)均優(yōu)于LSSVM模型。表明相比于全局模型，局部加權(quán)LSSVM模型能更好的追蹤時(shí)變系統(tǒng)的變化。在運(yùn)行時(shí)間方面，M INRES算法的運(yùn)行時(shí)間最短，與主流的共軛梯度算法、零空間算法相比M INRES大幅提高了LSSVM模型的求解速度。因此，基于M INRES算法的LW-LSSVM模型是處理高爐鐵水硅含量在線預(yù)測的理想工具。[Si]預(yù)測的數(shù)值實(shí)驗(yàn)結(jié)果如表2所示：

表2 萊鋼1號(hào)高爐100爐數(shù)據(jù)預(yù)測結(jié)果

3 總結(jié)

本文首先分別采用M INRES、CG算法、零空間算法和Cholesky分解算法求解了LW-LSSVM模型，并通過基準(zhǔn)數(shù)據(jù)集上的數(shù)值實(shí)驗(yàn)對(duì)比了4種算法的計(jì)算性能。實(shí)驗(yàn)結(jié)果表明 M INRES算法的運(yùn)算時(shí)間短、數(shù)值穩(wěn)定性好，是求解LW-LSSVM模型的理想算法。隨后，應(yīng)用基于M INRES的LW-LSSVM 建立了[Si]在線預(yù)測模型，應(yīng)用案例表明LW-LSSVM模型能自適應(yīng)的調(diào)整模型，具有更高的預(yù)報(bào)精度，是處理在線預(yù)測問題的理想工具。需要指出的是局部加權(quán)因子是LW-LSSVM模型的關(guān)鍵因素之一，其設(shè)定將直接影響模型性能，而目前局部加權(quán)因子的設(shè)定仍處于探索階段，局部加權(quán)因子的設(shè)定是今后需要重點(diǎn)研究的問題。

[1] Vapnik V N. The Nature of Statistical Learning Theory[C].New York: Springer, 1995.

[2] Suykens J A K, Van T Gestel, De J Brabanter, De B Moor, and Vanderwalle J. Least squares support vector machines[C].World Scientific, 2002.

[3] 郜傳厚, 漸令, 陳積明, 孫優(yōu)賢.復(fù)雜高爐煉鐵過程的數(shù)據(jù)驅(qū)動(dòng)建模及預(yù)測算法《自動(dòng)化學(xué)報(bào)》[J].2009; 35(6) : 725-730.

[4] Radhakrishnan V R, Mohamed A R. Neural networks for the identification and control of blast furnace hot metal quality, [J] Journal of Process Control.2000, 10(6): 509-524.

[5] Saxen H, Pettersson F. Nonlinear prediction of the hot metal silicon content in the blast furnace,ISIJ International[C], 2007;47(12): 1732-1737.

[6] Martin R D, Obeso F, Mochon J, Barea R, Jimenez J. Hot metal temperature prediction in blast furnace using advanced model based on fuzzy logic tools, [J]Ironmaking and Steelmaking.. 2007; 34(3): 241-247.

[7] 劉學(xué)藝, 劉祥官, 王文慧. 貝葉斯網(wǎng)絡(luò)在高爐鐵水硅含量預(yù)測中的應(yīng)用. 鋼鐵[J]., 2005; 40(3): 17-20.

[8] Bhattacharya T. Prediction of silicon content in blast furnace hot metal using partial least squares (PLS), [J]ISIJ International, 2005; 45(12): 1943-1945.

[9] 漸令, 劉祥官. 支持向量機(jī)在鐵水硅含量預(yù)報(bào)中的應(yīng)用. [J]冶金自動(dòng)化, 2005; 29(3): 33-36.

[10] 劉毅, 王海清, 李平.用于發(fā)酵過程在線建模的自適應(yīng)局部最小二乘支持向量機(jī)回歸方法. [J]化工學(xué)報(bào), 2008, 59(8): 2052-2057.

[11] 高學(xué)金, 孫鑫.局部自適應(yīng)加權(quán)LSSVM 在線建模方法及其在間歇過程中的應(yīng)用. [J]計(jì)算機(jī)與應(yīng)用化學(xué), 2013, 30(7): 754-758.

[12] Suykens J A K and Vandewalle J.Least squares support vector machine classifiers, [J]NeuralProcessing Letters, 1999, 9(3): 293–300.

[13] Chu W, Ong C J, and Keerthi S S. An improved conjugate gradient scheme to the solution of least squares SVM, [J] IEEE Trans. Neural Netw., 2005, 16(2): 498-501.

[14] Caw ley G C, Talbot N L C. Preventing over-fitting during model selection via Bayesian regularization of the hyper parameters. J. [C] Math. Learn. Res.,2007, 8 (5):840-861.

[15] Van der Vorst H A,Iterative Krylov Methods for Large Linear Systems, [M]Cambridge UniversityPress, Cambridge, UK, 2003.

[16] C. L. Blake and C. J. Merz. UCI repository of machine learningdatabases Univeoijktrsity of California. Irvine.

M inimum Residual M ethod to Accelerate the Local Weighted LSSVM and its Application in Industry

Lin Chao1, Wang Huajie2
(1. Network and Educational Technology Center, China University of Petroleum, Qingdao 266580, China; 2. School of Management Science and Engineering，Shandong University of Finance and Econom ics, Jinan 250014, China)

Local weighted least square support vector machines regression model is a kind of e-learning model, the model needs constantly retraining according to the adjustment of the training sample. The stable and efficient learning algorithm is the key to the successful application of LW-LSSVM model. This paper utilized m inimum residual method (M INRE), conjugate gradient (CG), null space method and Cholesky decomposition algorithm respectively to solve WL-LSSVM model. The numerical experiment of benchmark database indicates that the computing time of m inimum residual method is the m inimum as well as good numerical stability. A fterwards WL-LSSVM based on M INRES is used to establish the e-learning prediction model of the silicon content in hot metal. The simulation experiment shows that compared w ith LSSVM, LW-LSSVM has higher prediction precision and adaptability.

LSSVM; Local Weighted; M INRE; Silicon Content

TP18

A

2014.09.10）

國家自然科學(xué)基金（No. 11326203 ）；山東省自然科學(xué)基金（No. ZR2013FQ034）

林 超（1977-），男，山東棲霞人，中國石油大學(xué)（華東），網(wǎng)絡(luò)及教育技術(shù)中心，工程師，碩士，研究方向：計(jì)算機(jī)技術(shù)，青島，266580

王華杰（1981-），男，山東煙臺(tái)人，山東財(cái)經(jīng)大學(xué)管理科學(xué)與工程學(xué)院，講師，碩士，研究方向：管理科學(xué)與工程，濟(jì)南，250014

1007-757X (2014)11-0008-04