基于GEP的最小二乘支持向量機模型參數選擇

錢曉山，陽春華

(1.中南大學信息科學與工程學院，湖南長沙 410083;2.宜春學院 物理科學與工程技術學院，江西 宜春 336000)

支持向量機(support vector machine，SVM)是Vapnik等［1-2］于1995年首先提出，它在解決小樣本、非線性和高維模式識別問題中表現出許多優(yōu)越特性，已成為智能科學技術研究領域的熱點［3-4］.最小二乘支持向量機(least squares support vector machine，LSSVM)［5-6］是標準支持向量機的一種擴展，是支持向量機在二次損失下的一種特殊形式，它采用最小二乘線性系統(tǒng)作為損失函數，將求解二次規(guī)劃問題轉化為求解一組線性方程;因而該方法求解速度較快，并廣泛應用于非線性函數估計和逼近中，取得了較好的效果.

實踐證明，最小二乘支持向量機的精度和泛化性能受核函數的參數以及懲罰系數的影響較大，因此，研究最小二乘支持向量機參數選擇的方法對其發(fā)展有重要的實際意義.目前已經有一些最小二乘支持向量機參數優(yōu)選方法，文獻［7］針對LSSVM用交叉驗證的方法進行核參數選擇后應用于PCA的軟測量建模;文獻［8］將遺傳算法用于核參數選擇后對直流電機進行建模;文獻［9］用粒子群算法進行核參數優(yōu)選后用于軟測量建模.以上算法進行參數尋優(yōu)時易陷入局部最優(yōu)，從而影響了整個模型的精度及泛化性能.文獻［10］利用GEP和交叉驗證法優(yōu)選支持向量機的核參數，算法性能得到了大大改善.基因表達式編程(gene expression programming，GEP)是由葡萄牙科學家C.Ferreira提出的一種基于基因型組(genome)和表現型組(phenome)的新型遺傳算法，它繼承和發(fā)展了遺傳算法GA和遺傳編程GP，集成了它們的優(yōu)點，因此該方法具有更強的解決問題的能力，在函數參數優(yōu)化、演化建模、神經網絡、分類和 TSP問題等領域得到了廣泛應用［11-12］.本文提出了基于基因表達式編程的最小二乘支持向量機的參數尋優(yōu)方法，在執(zhí)行變異操作時，變異算子按照進化代數和染色體所含基因數目的不同而動態(tài)變化，這樣優(yōu)化了算法的收斂速度和精度.同時通過與粒子群算法和遺傳算法參數尋優(yōu)方法比較，并用標準測試函數和實際工業(yè)過程生產數據進行驗證，結果表明了該模型的預測精度較高.

1 基于GEP的支持向量機參數選擇

1.1 基因表達式編程方法

GEP沿襲了GA和GP中的復制、變異、交叉等遺傳算子以及“物競天擇，適者生存”的自然選擇思想，其解決問題的能力更強，比傳統(tǒng)的GA和GP等遺傳算法要快100～60 000倍［12］.

在GEP中，個體采用固定長度的線性編碼來表示.個體染色體由1個或多個基因組成，每個基因由基因頭h和基因尾t構成，h中可以出現運算符或終結點，而 t中只能出現終結點，并且 h和 t滿足L(t)=L(h)×(n－1)+1，其中，n為h中運算符、函數的最大參數個數.GEP算法在對個體染色體進行適應度評價時，需要先將染色體按照自頂向下、自左至右的順序將其編碼為表達式樹(expression tree，ET)，再采用中根遍歷ET的方法進行解碼操作，計算其適應度［12］.

基因表達式編程的實現技術主要包括編碼方式、遺傳算子、插串操作、重組算子、適應度函數選擇、數值變量等［13］，每個部分的具體實現可參考文獻［13］，這里不作詳細敘述，變異算子動態(tài)變化機制可參考文獻［14］.

1.2 最小二乘支持向量機

在支持向量機回歸法［15］中，設樣本為 n維向量，某區(qū)域的m個樣本及其值表示為

首先通過非線性變換z=φ(xi)將m維向量映射到l(l?m)維這個高維特征空間中，之后采用線性函數f(x)=wφ(x)+b來對其擬合，并容許出現擬合誤差，目標是使回歸模型在模型推廣能力和經驗風險之間找到最佳平衡點，即結構風險最小.LSSVM回歸算法的優(yōu)化目標為

式中:wTw為控制模型的復雜度，C為誤差懲罰參數，J為誤差控制函數.利用拉格朗日法求解式(1)的優(yōu)化問題，定義拉格朗日函數:

式中:αi(i=1，2，…，m)是拉格朗日乘子.

根據KKT優(yōu)化條件:

定義核函數 K(xi，yi)= φ(xi)·φ(yi)，根據式(2)，將求解優(yōu)化問題轉化為求解線性方程:

解上述線性方程組可得到拉格朗日乘子αi和參數b，由此確定LSSVM的輸出為

1.3 基于GEP的最小二乘支持向量機模型參數選擇

由于最小二乘支持向量機的參數選擇直接影響整個模型的收斂性、穩(wěn)定性和精度，而GEP與GA和GP相比，具有更強的全局搜索能力［16-17］;因此，將GEP算法引入到以徑向基函數為核函數的LSS-VM模型的參數優(yōu)化中，形成基于GEP的LSSVM模型.與PSO和GA優(yōu)化算法比較，該算法可以得到更高的精度，其泛化性能和穩(wěn)定性也大大提高.

染色體編碼和適應度函數選擇是進行懲罰系數C和核函數寬度σ參數優(yōu)化的2個重要方面.在GEP中，多基因結構可以用來進行有效的搜索以解決函數優(yōu)化的問題，且最佳參數是在不停變化的隨機數值常數上的數學運算中發(fā)現的.為此，在染色體編碼中采用處理隨機數值常數的染色體組織結構.隨機數值常數集的選取十分容易，通常可以選擇由10 個隨機常數構成的集合，如 R={0，1，2，3，4，5，6，7，8，9}，這對大部分問題就能夠達到很好的效果.適應度函數選擇如式(3):

式中:yi為實際值，y'i為支持向量機的輸出，n為樣本數.利用GEP算法對懲罰系數C和核函數寬度σ進行尋優(yōu)，具體算法步驟如下:

1)針對參數C、σ初始化種群，隨機產生60組初始染色體，每個染色體由5個基因構成，每個基因頭長度為15(或更多)，初始化時采用KARVA編碼;

2)讀取樣本數據，根據當前參數C、σ訓練LSSVM，得到支持向量機的輸出y'i;

3)按式(3)計算適應值，并將適應值排序，保存適應值最高的個體;

4)執(zhí)行變異，按照染色體所含基因的多少決定變異的基因位個數，本文選擇每個基因變異1個基因位的方法;

5)執(zhí)行IS插串、RIS插串和Gene插串;

6)執(zhí)行單點重組、兩點重組和基因重組;

7)若運行到預先設定的最大代數或者適應度函數值收斂到設定精度，則執(zhí)行8)，否則執(zhí)行2);

8)選擇出最優(yōu)染色體并保存記錄;

9)對染色體解碼，構建LSSVM模型.

2 算法性能驗證

2.1 仿真測試

為了驗證上述方法的有效性，選用標準測試函數進行仿真.實驗平臺配置為2.8 GHz主頻率，1 GB內存，采用Matlab 7.0進行仿真實驗.

1)取一維sinc函數:

式中:φ是均值為0、方差為0.1的高斯噪聲.輸入變量取150個［－4，4］之間的數據構成LSSVM的訓練樣本，以最小均方誤差為目標，利用GEP算法對懲罰系數C和徑向基核函數參數σ進行優(yōu)選，其中LSSVM采用ξ=0.15的一次不敏感損失函數.GEP算法中選60組為初始染色體，最大迭代次數為500.為便于比較，采用同樣大小的初始群體和最大迭代次數的PSO和GA(交叉概率為0.5，變異概率為0.047)進行多次實驗.圖1顯示了3種算法的尋優(yōu)過程對比結果，從中可以看出，GEP和PSO的下降速度較快，而GA速度較慢，經過多次實驗發(fā)現GA和PSO尋優(yōu)的成功率低于GEP，并且有時陷入局部最優(yōu)，總的看來，GEP算法的尋優(yōu)能力和收斂速度都比PSO和GA算法好.由圖2可見，使用3種算法各自尋優(yōu)的參數對sinc函數進行測試，發(fā)現GEP算法的擬合效果最好，且偏離實際值的幅度較小.測試統(tǒng)計結果如表1所示，從中看出新方法的測試誤差最小.取1 000組數據樣本按4∶1的比例隨機分組，訓練樣本數量為800，測試樣本為200，其他設置如同sinc函數測試實驗，得到的測試結果如表2所示.在二維函數的測試中，經過多次實驗可以發(fā)現，與一維函數相比，二維函數的測試結果更能體現GEP的優(yōu)越性，且相比于其他2個算法，基于GEP算法的LSSVM模型的擬合誤差大大降低，進一步說明了該方法的有效性.

圖1 尋優(yōu)過程比較Fig.1 Comparison of optimization process

圖2 模型仿真結果比較Fig.2 Comparison of model simulation results

表1 Sinc函數測試結果比較Table 1 Comparison of sinc function test results

2)取二維Rosenbrock函數:

表2 Rosenbrock函數測試結果比較Table 2 Comparison of Rosenbrock function test results

2.2 工業(yè)生成過程驗證

氧化鋁蒸發(fā)過程是一類具有非線性、大滯后、多變量等特征的能量交換的復雜工業(yè)過程，在蒸發(fā)器內加熱蒸汽，釋放潛熱，轉移到料液中，使溶劑發(fā)生相變，溶液濃度得以提高.出料濃度是衡量產品質量的重要指標，由于技術、成本的限制難以實現在線檢測，目前質量檢測多以人工現場采集和實驗室化驗為主，檢測結果嚴重滯后，不利于該過程的穩(wěn)定控制.出液濃度的影響因素主要包括蒸發(fā)器的真空度、進料的流量、溫度和濃度、加熱蒸汽的流量和壓力、蒸發(fā)器的料液位、不凝性氣體和冷凝水的排除等［18］.通過理論分析和生產經驗選取影響較大的5個變量:進料溫度T1、進料流量F1、進料濃度Lin、新蒸汽溫度T2、新蒸汽流量F2.以某氧化鋁廠帶閃蒸和強制循環(huán)的七效逆流降膜蒸發(fā)的蒸發(fā)過程為例，該廠實際生產1個月的數據作為訓練數據和測試數據，建立基于GEP算法的LSSVM的蒸發(fā)過程出料濃度預測模型為

式中:Lout為預測模型輸出，即出口料液濃度;GEPLSSVM 為模型標示;T1、F1、Lin、T2、F2為已知樣本的輸入.選用經過糾錯、剔除和歸一化處理后的400組工業(yè)數據中的300組用于建模，100組用于模型驗證，選取ξ=0.02的一次不敏感損失函數和徑向基核函數，通過GEP算法對最小二乘支持向量機建模參數進行優(yōu)化，得到最優(yōu)參數集 ξ=0.02、C=428.56、σ =0.072.再用得到的最優(yōu)參數訓練 LSSVM，最終的出料濃度預測結果如圖3所示.

圖3 模型泛化比較結果Fig.3 Comparison of model generalization results

圖4 GEP-LSSVM模型預測相對誤差Fig.4 Relative error of GEP-LSSVM model predict

圖3顯示了 GEP-LSSVM、PSO-LSSVM和 GALSSVM預測模型的泛化能力，從圖中可知，GEPLSSVM模型的預測效果最好.通過進一步的數據分析，GEP-LSSVM模型預測結果中相對誤差(如圖4所示)小于8%的樣本達到92%，其最大相對誤差小于 12%，均方差 MSE(mean square error)為6.082 7 ×10－5，具有較高的精度;另外，該模型相比于PSO-LSSVM的預測能力(MSE為8.95 9×10－5)和 GA-LSSVM的預測能力(MSE為1.618 5×10－4)，有了較大的提高.

3 結束語

最小二乘支持向量機的參數選擇是支持向量機應用推廣的一個重要方面，如何將各種算法應用于其中，一直以來是一個既有實際價值又有理論意義的研究課題.本文將GEP算法用于最小二乘支持向量機的參數優(yōu)化，其中變異算子按照進化代數和染色體所含基因數目動態(tài)變化的機制進行變異操作，通過多個實驗驗證了該方法的有效性.然后將其應用于氧化鋁蒸發(fā)過程出料濃度的預測模型的建立，仿真結果表明了該預測模型預測精度高，完全滿足實際工業(yè)生產的需要，同時也對其應用到其他生產過程有著一定的指導意義.另外，GEP算法本身的改進及其對支持向量機核參數的編碼和解碼方法也有待進一步研究.

［1］VAPNIK V N.The nature of statistical learning theory［M］.New York，USA:Springer-Verlag，1995.

［2］VAPNIK V，LEVIN E，CUN Y L.Measuring the VC-dimension of a learning machine［J］.Neural Computation，1994，6(5):851-876.

［3］SMOLA A J，SCHOLKOPF B.A tutorial on support vector regression［J］.Statistic and Computing，2004，14(3):199-222.

［4］SANCHEZ A D.Advanced support vector machines and kernel methods［J］.Neurocomputing，2003，55(1):5-20.

［5］SUYKENS J A K，VANDEWALL J.Least squares support vector machine classifiers［J］.Neural Processing Letters，1999，9(3):293-300.

［6］PELCKMANS K，SUYKENS J A K，DE MOOR B.Building sparse representations and structure determination on LSSVM substrates［J］.Neurocomputing，2005，64:137-159.

［7］鄭小霞，錢鋒.基于PCA和最小二乘支持向量機的軟測量建模［J］.系統(tǒng)仿真學報，2006，18(3):739-741.

ZHENG Xiaoxia，QIAN Feng.Soft sensor modeling based on PCA and support vector machines［J］.Journal of System Simulation，2006，18(3):739-741.

［8］趙吉文，劉永斌，孔凡讓，等.核參數遺傳選優(yōu)的SVM在直線電機建模中的應用［J］.系統(tǒng)仿真學報，2006，18(12):3547-3549.

ZHAO Jiwen，LIU Yongbin，KONG Fanrang，et al.Application of SVM with genetic algorithms optimizing kernel parameters in linear motor model［J］.Journal of System Simulation，2006，18(12):3547-3549.

［9］劉瑞蘭，牟盛靜，蘇宏業(yè)，等.基于支持向量機和粒子群算法的軟測量建模［J］.控制理論與應用，2006，23(6):895-899，906.

LIU Ruilan，MOU Shengjing，SU Hongye，et al.Modeling soft sensor based on support vector machine and particle swarm optimization algorithms［J］.Control Theory and Applications，2006，23(6):895-899，906.

［10］THADANI K，JAYARAMAN V K，SUNDARARAJAN V.Evolutionary selection of kernels in support vector machines［C］//International Conference on Advanced Computing and Communications.Mangalore，India，2006:19-24.

［11］FERREIRA C.Gene expression programming in problem solving［C/OL］.［2010-12-10］.http://www.gene-expression-programming.com/webpapers/GEPtutorial.pdf.

［12］FERREIRA C.Gene expression programming:a new adaptive algorithm for solving problems［J］.Complex Systems，2001，13(2):87-129.

［13］MITCHELL M.An introduction to genetic algorithms［M］.Cambridge，UK:The MIT Press，1996:143-164.

［14］錢曉山，陽春華.改進基因表達式編程在股票中的研究與應用［J］.智能系統(tǒng)學報，2010，5(4):303-307.

QIAN Xiaoshan，YANG Chunhua.Improved gene expression programming algorithm-tested by predicting stock indexes［J］.CAAI Transactions on Intelligent Systems，2010，5(4):303-307.

［15］張春曉，張濤.基于最小二乘支持向量機和粒子群算法的兩相流含油率軟測量方法［J］.中國電機工程學報，2010，30(2):86-91.

ZHANG Chunxiao，ZHANG Tao.Soft measurement method for oil holdup of two phase flow based on least squares support vector machine and particle swarm optimization［J］.Proceedings of the CSEE，2010，30(2):86-91.

［16］RIVERO D，DORADO J，RABUNAL J，et al.Using genetic programming for artificial neural network development and simplification［C］//Proceedings of the 5th WSEAS International Conference on Computational Intelligence，Man-Machine Systems and Cybernetics.Venice，Italy，2006:65-71.

［17］XU Kaikuo，LIU Yintian，RONG Tang，et al.A novel method for real parameter optimization based on gene expression programming［J］. Applied Soft Computing，2009，9(2):725-737.

［18］徐文熙，穆文俊.化工原理(上)［M］.北京:中國石化出版社，1992.