LSSVM 的特征選擇算法在燒結過程的應用

汪建新 ，吳永剛 ，2，陳肖潔

（1.內(nèi)蒙古科技大學，機械工程學院，內(nèi)蒙古 包頭 014010；2.內(nèi)蒙古包鋼鋼聯(lián)股份有限公司煉鐵廠，內(nèi)蒙古 包頭 014010）

1 引言

支持向量機（support vector machine，SVM）是一種以結構風險最小化為理論基礎的統(tǒng)計學習方法，較好地解決了維數(shù)災難，具有全局最優(yōu)解等優(yōu)點[1]，目前得到了廣泛的應用推廣，如混沌時間序列預測[2]、轉子故障診斷[3]等。SVM的求解采用凸二次規(guī)劃方法，運算過程需耗費大量的內(nèi)存和時間。為提高運算速度和減少儲存內(nèi)存，文獻[4-5]提出了最小二乘支持向量機（least squares support vector machine，LSSVM），巧妙地，將SVM中的二次規(guī)劃問題轉化為線性方程組求解，降低了求解的復雜度，解決了多元建模的求解問題。由于種種原因，數(shù)據(jù)的樣本特征會含有一些無關特征。特征選擇[6]可以去除冗余特征、無關特征甚至噪聲特征，篩選出一個干凈的樣本集，以便提高數(shù)據(jù)的識別效率和增強實際問題的可理解性。換言之，特征選擇一般是指從輸入特征集中按照某種評估標準選擇出最優(yōu)的特征子集，以達到去除冗余特征、無關特征、甚至噪聲特征，提高學習精度的目的。特征選擇算法一般要與所采用的學習算法結合使用，結合LSSVM中的最小二乘回歸機（least squares support vector regression，LSSVR）和特征選擇，鑒于LSSVM的高效計算性，將其運用于特征選擇是可行的，通過對燒結過程中的建模的仿真實驗，驗證所提算法的有效性。

2 LSSVM

LSSVM用如下函數(shù)對輸入的x進行預測：

式中：φ（x）—非線性函數(shù)，可將輸入空間映射到一個更高維的特

征空間，以便在高維特征空間中以線性擬合的方式求解輸

入空間的非線性擬合問題。

給定一組訓練集（xi，yi）｝，xi∈Rn為輸入向量，yi∈Rn為相應于xi的輸出，在文獻[7]所提出的嶺回歸公式中，令α=1/r，回歸問題的約束優(yōu)化問題可表示如下[8]：

式中：ω—權向量；r—正則化參數(shù)；ek—誤差變量；b—常值偏差。

通過建立Lagrange函數(shù)來求解上述式（2）～式（3）的優(yōu)化問題：

式中：αk—Lagrange乘子，αk≠0的樣本點為支持向量。分別對ω，

b，e，α求偏微分，帶入化簡，得到如下方程組的形式：式中：Ωi，j=φ（xi）T（xj）T=k（xi，xj），其中 k=1，…，l，Y=（y1，…，yl）T1=（1，…，1）Tα=（α1，…，αl）TI=eye（1，…，1）T且 I為與 Ω同階的單位矩陣。

解方程（5）得到a，b后，同時，當給定實際集合x，即新的輸入向量，其輸出y（x）可用如下公式計算：

LSSVM模型的非線性映射能力是由核函數(shù)決定的[2，9]。常見的核函數(shù)有線性核函數(shù)、多項式核函數(shù)和RBF核函數(shù)，其形式分別分別如下：k（x，xi）=＜x，xi＞，k（x，xi）=（＜x，xi＞+1）q，k（x，xi）=exp

不同的映射形式，不同的核函數(shù)類型在學習能力和泛化能力上存在很大的差異性。分別使用線性核、多項式核和RBF核訓練和測試樣本。

3 LSSVM的特征選擇算法及其應用

一個多特征的樣本中，其每個特征的重要性存在差異，即每個特征對數(shù)據(jù)正確預測的貢獻率有程度上的不同。為了檢驗每個特征是否重要及重要性程度如何，利用LSSVM對樣本中的每一個特征進行測試，記錄其預測均方誤差，并排序。具體的建模與排序算法步驟如下：

步驟1：初始化算法參數(shù)，如多形式核的參數(shù)q和RBF核的參數(shù)σ；步驟2：對于xi∈R中的n維特征，取t=1，即選出第一個特征x（iT）；步驟3：對選出的特征x（iT）進行LSSVM學習訓練和測試，并記錄其 mse（t）。

式中：l—預測樣本個數(shù)；yi—目標值—預測值；mse—均方誤差，test accuracy=1-mse—預測準確率。mse誤差越小，說明模型的預測精度越高，該特征對樣本越重要的重要性程度越高。

步驟4：選取下一個特征x（iT），t=2，3，…，n；步驟 5：轉步驟 3，或轉步驟 6；步驟 6：將所有的 mse=［mse（1），…mse（n）］按從小到大排序，記錄相對應的特征重要性的順序，并按其順序?qū)颖緮?shù)據(jù)的特征重新排列；步驟7：依次選取排序后的樣本特征中的第一個，前2個，…，所有n個特征分別對樣本進行學習和預測，并記錄相應的均方誤差和預測準確率。將LSSVM的特征選擇算法應用于燒結過程建模中，其具體的應用流程圖，如圖1所示。

圖1 燒結數(shù)據(jù)實驗流程圖Fig．1 Experimental Flow Chat of Sintering Dataset

4 實驗

選取包鋼鋼聯(lián)股份有限公司煉鐵廠燒結過程的實際生產(chǎn)數(shù)據(jù)為實驗樣本，以驗證所提出的LSSVM的特征選擇算法的有效性。該數(shù)據(jù)共有391個，以燒結礦的堿度為質(zhì)量指標，建立輸入數(shù)據(jù)到輸出數(shù)據(jù)的預測模型。燒結過程是一個復雜的多變量、非線性、強耦合的物理和化學過程[10]，經(jīng)過現(xiàn)場實際分析發(fā)現(xiàn)，影響堿度的主要因素有：料量、高返料量、冷返料量、焦煤料量、干餾煤料量、蒙古礦配比、混勻礦配比、生石灰配比、白云石配比、FeO含量、CaO含量、SiO2含量、Fe含量、機組速度、點火溫度、主管負壓、主管溫度等27個。選取總樣本的30%為測試集和總樣本的70%為訓練集，訓練集中的30%為訓練-訓練集和70%為訓練-測試集。

4.1 數(shù)據(jù)預處理

在建立預測模型之前，必須要對數(shù)據(jù)進行歸一化處理，以消除各項輸入及輸出數(shù)據(jù)間量綱不一致對數(shù)據(jù)分析造成的影響。歸一化公式如下：

式中：i—樣本的某個輸入特征；x′（：，i）—歸一化后的變量；x（：，i）—原始變量。

4.2 實驗過程

為了驗證上述所提LSSVM的特征選擇算法的有效性，設置初始參數(shù)σ=2，選用RBF核函數(shù)，按第3部分的算法和圖1的流程圖進行實驗：訓練集，訓練-訓練集和訓練-測試集對每一個特征重要性程度進行測定，為了減少偶然因素對實驗結果造成的影響，采用10次實驗結果（均方誤差）的平均值作為排序依據(jù)；然后，按照排序后的樣本特征，對訓練集和測試集進行LSSVM訓練學習和預測。實驗中選用預測樣本的預測準確率作為算法的評價指標。圖2顯示了3次實驗，按樣本特征重要性程度每添加一個特征的實驗結果圖。運用所有的樣本特征時，LSSVM分別使用線性核、多項式核和RBF核進行實驗，其參數(shù)為，為驗證最小二乘支持向量機對樣本數(shù)據(jù)預測的有效性，參與比較的算法有：5折交叉驗證（5-foldcrossvalidation）經(jīng)典SVM，最小二乘（leastsquare，LS），BP 神經(jīng)網(wǎng)絡。5 折交叉驗證法：設置懲罰系數(shù) C=｛2-8，2-7．5，…，27．5，28｝和 1/σ2=｛2-8，2-7．5，…，27．5，28｝進行 SVM 訓練學習和預測；BP神經(jīng)網(wǎng)絡：設置兩層神經(jīng)網(wǎng)絡的向量模型，輸入層神經(jīng)元為5個，網(wǎng)絡層神經(jīng)元為1個。所有實驗方法的實驗結果如表1所示：預測結果的預測均方誤差及其相應的運行時間（采用10次實驗結果的平均值和標準差）。所有實驗的平臺為Intel（R）Core（TM）2 Duo CPU E8200@2．66GHz 2．00GB RAM 的個人計算機，Win7 32位操作系統(tǒng)。

圖2 不同的特征子集上的實驗結果Fig．2 Experimental Results on Different Feature Subsets

表1 不同的實驗方法的實驗結果（單位：秒）Tab.1 Experimental Results of Different Experimental Methods（unit：s）

4.3 實驗結果分析

表1的數(shù)據(jù)和圖2的圖像清楚地顯示：當選擇第一個特征時，其預測準確率已經(jīng)達到了0．96以上，隨著特征個數(shù)的增加，其預測準確率緩慢增加或不增加（偶爾還會出現(xiàn)小小的減?。划斔械奶卣骶蒙蠒r，最高的預測準確率為0．9840。燒結數(shù)據(jù)的實驗結果表明，用LSSVM的特征選擇算法對樣本數(shù)據(jù)的特征的重新排序，再選擇幾個重要特征進行預測的方法是可行的，具有在保證預測準確率的前提下，提高預測速度的優(yōu)勢，在實際生產(chǎn)中具有很高的應用價值。觀察表1的實驗結果可知：使用最小二乘支持向量機（LSSVM）對數(shù)據(jù)進行擬合可以取得比最小二乘（LS）和神經(jīng)網(wǎng)絡（BP）方法更好的擬合效果，所用時間還是BP的（20～50）之一；LSSVM雖然在擬合效果上不如SVM好，但是LSSVM以犧牲一點點準確率來換取大大的計算高效性還是很值得的。

5 總結

煉鋼廠的燒結過程是一個復雜的多變量、非線性、強耦合的物理和化學過程，結合最小二乘支持向量機和特征選擇對燒結過程進行建模，提出了最小二乘支持向量機的特征選擇算法。燒結數(shù)據(jù)的仿真結果顯示，LSSVM的特征選擇算法具有高效計算性和高預測精度等優(yōu)點，驗證了該算法的有效性。研究為快速預測燒結數(shù)據(jù)提供了一種快捷的新方法。

［1］Vapnik V．Statistical Learning Theory［M］．New York：John Wiley and Sons Inc，1998．

［2］田中大，高憲文，石彤．用于混沌時間序列預測的組合核函數(shù)最小二乘支持向量機［J］．物理學報，2014，63（16）：1-10．（Tian Zhong-da，Gao Xian-wen，Shi Tong．Combination kernel function least squares support vector machine for chaotic time series prediction［J］．Acta Physica Sinica，2014，63（16）：1-10．）

［3］張維強，趙榮珍，李坤杰．基于MSKPCA和SVM的轉子故障診斷模型及應用［J］．機械設計與制造，2015（10）：4-8．（Zhang Wei-qiang，Zhao Rong-zhen，Li Kun-jie．Rotor fault diagnosis model and application based on multi-scale kernel principal component analysisandsupportvectormachine［J］．MachineryDesign&Manufacture，2015（10）：4-8．）

［4］Suykens J A K，Vandewalle J．Least squares support vector machine classifiers［J］．Neural Processing Letters，1999（9）：293-300．

［5］Suykens J A K，Van Gestel T，De Brabanter J．Least Squares Support Vector Machines［M］．Singapore：World Scientific press，2002．

［6］王文劍，門昌騫．支持向量機建模及應用［M］．北京：科學出版社，2014．（Wang Wei-jian，Men Chang-qian．Model and Application of Support Vector Machine［M］．BeiJing：Science Press，2014．）

［7］Saunders C，Gammerman A，Vovk V．Ridge regression learning algorithm in dual variables［C］．In Proceedings of the 15th International Conference on Machine Learning ICML-98，Morgan Kaufmann，1998：515-521．

［8］楊曉偉，郝志峰．支持向量機的算法設計與分析［M］．北京：科學出版社，2013．（Yang Xiao-wei，Hao Zhi-feng．Design and Analysis of the Support Vector Machine［M］．Beijing：Science Press，2013．）

［9］韓曉霞，謝剛，韓曉明．基于相空間重構和支持向量機的多相催化劑失活預測［J］．控制與決策，2012，27（6）：953-956．（Han Xiao-xia，Xie Gang，Han Xiao-ming．Application of phase space reconstruction and support vector regression for forecasting of catalyst deactivation［J］．Control and Decision，2012，27（6）：953-956．）

［10］宋強，程國彪，常衛(wèi)兵．燒結礦堿度的灰色神經(jīng)網(wǎng)絡預測模型及仿真［J］．燒結球團，2007，32（3）：24-27．（Song Qiang，Cheng Guo-biao，Chang Wei-bing．Prediction model of the sinter basicity based on grey neural network algebra［J］．Sintering and Pelletizing，2007，32（3）：24-27．）