SVM、BP神經(jīng)網(wǎng)絡(luò)、線性回歸的比較研究

韓陽，呂由，潘宇航，周齊，楊愛民

(華北理工大學(xué) 理學(xué)院，河北 唐山 063210)

SVM、BP神經(jīng)網(wǎng)絡(luò)、線性回歸的比較研究

韓陽，呂由，潘宇航，周齊，楊愛民

(華北理工大學(xué) 理學(xué)院，河北 唐山 063210)

支持向量機；BP神經(jīng)網(wǎng)絡(luò)；線性回歸；回歸預(yù)測

支持向量機算法是一種在數(shù)據(jù)挖掘領(lǐng)域中運用最優(yōu)化理論的監(jiān)督式學(xué)習(xí)方法，在預(yù)測方面具有很強的實用性，將支持向量機算法與線性回歸、BP神經(jīng)網(wǎng)絡(luò)2種算法相比較，分別設(shè)計了3種算法的求解步驟。以球團礦生產(chǎn)中的數(shù)據(jù)為樣本，運行相應(yīng)算法的軟件程序?qū)?shù)據(jù)進行回歸預(yù)測。預(yù)測結(jié)果顯示：3種算法中支持向量機的預(yù)測結(jié)果最為準(zhǔn)確，進而得出了支持向量機在數(shù)據(jù)回歸預(yù)測方面具有更強的實用性，有較高的推廣應(yīng)用價值。

預(yù)測問題是現(xiàn)實生產(chǎn)生活中經(jīng)常遇到的問題，其目的在于尋求自然事物在不同條件下相互作用的發(fā)展規(guī)律，揭示事物發(fā)展方向和趨勢。在現(xiàn)實生產(chǎn)中，通常針對歷史數(shù)據(jù)進行分析，挖掘歷史數(shù)據(jù)包含的信息，為下一步的生產(chǎn)提供指導(dǎo)。

球團礦生產(chǎn)中的數(shù)據(jù)預(yù)測就是一個典型例子，即已知生產(chǎn)原料中硅、鎂等各元素含量和溫度、堿度的生產(chǎn)環(huán)境值，預(yù)測球團生產(chǎn)數(shù)據(jù)[1]。目前解決預(yù)測問題的方法有許多，總結(jié)起來可以歸為2類，一是經(jīng)典傳統(tǒng)統(tǒng)計理論，如線性回歸[2]；二是新型智能算法，如神經(jīng)網(wǎng)絡(luò)、支持向量機等[3-4]。傳統(tǒng)的統(tǒng)計理論線性回歸模型操作方便，它可以求出預(yù)測函數(shù)[5]，并且還可以對求出的結(jié)果進行殘差檢驗，驗證模型的精度[6]，回歸方程的假設(shè)嚴(yán)格，需要知道引起變量改變的所有因素、隨機擾動項等[7]，所以在某些情況下的適用受到限制。BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)了從輸入到輸出的映射功能[8]，適合于求解內(nèi)部機制復(fù)雜的問題，具有自學(xué)習(xí)和自適應(yīng)能力[9]；同時，它也有一些缺點和不足，首先是它的收斂速度較慢，再者是網(wǎng)格訓(xùn)練失敗的可能性較大[10]。支持向量機的特點是適用于解決小數(shù)量樣本數(shù)據(jù)，可以解決高維問題，是一種有較完善理論基礎(chǔ)的小樣本學(xué)習(xí)方法[11-12]。上述3種方法都是求解預(yù)測問題較為適用的方法。

該項研究通過1個實例，分別用以上3種方法對小樣本數(shù)據(jù)進行預(yù)測，分析比較這3種方法用于預(yù)測時的精準(zhǔn)度。

1 理論基礎(chǔ)

1.1 支持向量機

支持向量機是數(shù)據(jù)挖掘中的一項新技術(shù)，是借助最優(yōu)化方法來解決機器學(xué)習(xí)問題的新工具[13]。支持向量機回歸有線性回歸和非線性回歸[14]，對于線性回歸，考慮用線性回歸函數(shù)

(1)

估計數(shù)據(jù)

(2)

假定存在f函數(shù)在ε精度能夠估計所有的數(shù)據(jù)，那么尋找最小ω的問題可以表示為凸優(yōu)化問題

min1/2‖ω‖2

(3)

約束條件

(4)

為了處理f函數(shù)在ε精度不能夠估計所有的數(shù)據(jù)，引入松弛變量ξi,ξi*，因而上式可寫為

(5)

約束條件變?yōu)?/p>

(6)

引入拉格朗日函數(shù)和對偶變量

(7)

(8)

其中ηi,ξi*αi,αi*大于或等于0，C>0。根據(jù)條件

(9)

(10)

(11)

(12)

將在(14)式約束條件下，最大化(17)式求得的參數(shù)αiαi*代式入(15)式，并由(6)得回歸函數(shù)

(13)

1.2 線性回歸與神經(jīng)網(wǎng)絡(luò)

多元線性回歸分析的模型為

(14)

(15)

式(14)表示為

(16)

式中：En為n階單位矩陣。

參數(shù)估計：應(yīng)用最小二乘法對參數(shù)求解，結(jié)果為

(17)

BP神經(jīng)網(wǎng)絡(luò)是一種具有3層或更多層的神經(jīng)網(wǎng)絡(luò)，每一層都由若干個神經(jīng)元組成。BP學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(input)、隱層(hiddenlayer)和輸出層(outputlayer)，輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳遞給隱層各神經(jīng)元；隱層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出結(jié)果。當(dāng)輸出與期望不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進行到輸出誤差到達規(guī)定值，或者達到預(yù)設(shè)定的學(xué)習(xí)次數(shù)為止[15]。其拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)

2 算法設(shè)計

算法設(shè)計流程，如圖2所示：

圖2中，各算法步驟表示的含義如下，

線性回歸：

STEP1.剔除數(shù)據(jù)異常值，對可用數(shù)據(jù)做歸一標(biāo)準(zhǔn)化處理。

STEP2.根據(jù)模型自變量個數(shù)和數(shù)據(jù)特點設(shè)定回歸方程模型。

STEP3.對未知參量做最小二乘估計。

STEP4.對回歸結(jié)果做可決系數(shù)、F檢驗、t檢驗等統(tǒng)計學(xué)檢驗。

BP神經(jīng)網(wǎng)絡(luò)：

STEP1.初始化網(wǎng)絡(luò)、學(xué)習(xí)參數(shù)，設(shè)置網(wǎng)絡(luò)初始權(quán)矩陣、學(xué)習(xí)因子。

STEP2.提供訓(xùn)練模式訓(xùn)練網(wǎng)格直到滿足要求。

STEP3.將數(shù)據(jù)輸入已有訓(xùn)練模式，計算網(wǎng)絡(luò)的輸出模式，與期望模式進行比較，若有誤差則進行下一步驟，否則返回STEP2.

STEP4.計算同一層單元的誤差，修正全值和閾值，返回STEP2.

SVM支持向量機：

STEP2.采用二次規(guī)劃優(yōu)化的算法，如內(nèi)點法，即可實現(xiàn)支持向量機算法

約束條件變?yōu)閤·(1,1,…-1-1)=0,αi,αi*≥0.i=1,…,l

STEP4.再次采用如內(nèi)點法在內(nèi)的二次規(guī)劃優(yōu)化算法，可實現(xiàn)支持向量機的回歸。

圖2 算法設(shè)計流程圖

3 算法實證

該項目以實際生產(chǎn)中的球團礦爆裂問題為研究對象。收集的原始數(shù)據(jù)輸入為球團生產(chǎn)的各種生產(chǎn)條件，如硅、鎂的含量、堿度、溫度等，輸出為球團爆裂值。數(shù)據(jù)均經(jīng)過歸一化處理，實驗數(shù)據(jù)如表1所示。

表1 原始數(shù)據(jù)

表1續(xù)

No． InputSi＿standardMg＿standardR2＿standardT＿standardt＿standardY＿standardOutputBurst130．500．501．000．250．750．00520140．500．750．000．501．000．25543150．501．000．250．750．000．50459160．750．000．750．251．000．50371170．750．251．000．500．000．75379180．750．500．000．750．251．00486190．750．750．251．000．500．00501200．751．000．500．000．750．25441211．000．001．000．750．500．25441221．000．250．001．000．750．50508231．000．500．250．001．000．75466241．000．750．500．250．001．00449251．001．000．750．500．250．00447

以數(shù)據(jù)表中前6列數(shù)據(jù)為自變量輸入，最后1列數(shù)據(jù)為輸出帶入回歸模型中做最小二乘參數(shù)估計，得出回歸方程為

Y=658.38-114.08X1-52.59X2-109.75X3-37.68X4-7.21X5-25.17X6

(18)

運行神經(jīng)網(wǎng)絡(luò)和支持向量機相應(yīng)的MATLAB程序，保存網(wǎng)絡(luò)訓(xùn)練結(jié)果。各方法預(yù)測數(shù)據(jù)如下所示。

表2 預(yù)測結(jié)果與期望相對誤差表

表2中的誤差(Err)采用的為相對誤差，其計算公式見式(19)：

(19)

式(19)中xpre表示爆裂次數(shù)預(yù)測結(jié)果，xtar表示爆裂次數(shù)期望結(jié)果。

運用3種預(yù)測算法的誤差分布情況，由圖3可知：BP神經(jīng)網(wǎng)絡(luò)算法產(chǎn)生的誤差最大，平均相對誤差達到11.68%，造成這種現(xiàn)象的原因是訓(xùn)練樣本少，測試樣本中輸入與輸出間的關(guān)系未被全部學(xué)習(xí)；多元線性回歸模型產(chǎn)生的誤差次之，平均相對誤差達到7.36%，造成這種現(xiàn)象的原因是樣本輸入與輸出間存在的關(guān)系并不是單純的線性關(guān)系，通過輸入指標(biāo)變量的線性組合無法科學(xué)的揭示輸入與輸出的依賴關(guān)系；支持向量機算法產(chǎn)生的誤差最小，平均相對誤差僅為3.15%，是一種適用于探索小樣本數(shù)據(jù)非線性關(guān)系的預(yù)測算法。

圖3 3種方法預(yù)測相對誤差圖

4 結(jié)論

球團爆裂次數(shù)是評價球團質(zhì)量的關(guān)鍵指標(biāo)，該指標(biāo)受到原料參數(shù)等因素的影響。構(gòu)建爆裂次數(shù)與原料參數(shù)之間的機理模型極其復(fù)雜，并且存在大量的不確定因素，而應(yīng)用統(tǒng)計學(xué)方法或智能算法進行預(yù)測可以有效的減輕工作量。通過BP神經(jīng)網(wǎng)絡(luò)算法、多元線性回歸模型和支持向量機算法，3種方法的預(yù)測效果比較來看，支持向量機算法在預(yù)測精度方面最優(yōu)，該算法值得在各領(lǐng)域的應(yīng)用中推廣。

[1] 閆洪偉. 基于數(shù)據(jù)的球團礦質(zhì)量預(yù)測模型研究及其應(yīng)用[D].沈陽：東北大學(xué),2010.

[2] 王惠文,孟潔. 多元線性回歸的預(yù)測建模方法[J]. 北京航空航天大學(xué)學(xué)報,2007,04:500-504.

[3] 彭望蜀. 基于BP神經(jīng)網(wǎng)絡(luò)與支持向量機的股票指數(shù)預(yù)測模型比較[J].南方金融,2013,01:71-72+91.

[4] 于國強, 張茂省, 王根龍, 等. 支持向量機和 BP 神經(jīng)網(wǎng)絡(luò)在泥石流平均流速預(yù)測模型中的比較與應(yīng)用[J].水利學(xué)報, 2012 (s2): 105-110.

[5] 李珺. 基于因子分析的多元線性回歸方法及其在股價預(yù)測中的應(yīng)用[D].南京：南京大學(xué),2014.

[6] 張曉瑞,方創(chuàng)琳,王振波,等. 基于RBF神經(jīng)網(wǎng)絡(luò)的城市建成區(qū)面積預(yù)測研究——兼與BP神經(jīng)網(wǎng)絡(luò)和線性回歸對比分析[J].長江流域 資源與環(huán)境,2013,22,(06):691-697.

[7] 任丹. 基于多元線性回歸模型的電影票房預(yù)測系統(tǒng)設(shè)計與實現(xiàn)[D].廣州：中山大學(xué),2015.

[8] 黃麗. BP神經(jīng)網(wǎng)絡(luò)算法改進及應(yīng)用研究[D].重慶:重慶師范大學(xué),2008.

[9] 李佟, 李軍. 基于BP神經(jīng)網(wǎng)絡(luò)與馬爾可夫鏈的污水處理廠脫氮效果模擬預(yù)測[J]. 環(huán)境科學(xué)學(xué)報, 2016, 36(2):576-581.

[10] 王德明, 王莉, 張廣明. 基于遺傳BP神經(jīng)網(wǎng)絡(luò)的短期風(fēng)速預(yù)測模型[J].浙江大學(xué)學(xué)報(工學(xué)版), 2012(5):837-841.

[11] 楊錫運, 孫寶君, 張新房,等. 基于相似數(shù)據(jù)的支持向量機短期風(fēng)速預(yù)測仿真研究[J]. 中國電機工程學(xué)報, 2012, 32(4):35-41.

[12] 鮑漪瀾. 基于支持向量機的金融時間序列分析預(yù)測算法研究[D].大連：大連海事大學(xué),2013.

[13] 張華, 曾杰. 基于支持向量機的風(fēng)速預(yù)測模型研究[J].太陽能學(xué)報, 2010, 31(7):928-932.

[14] 宋云雪, 張科星, 史永勝. 基于多元線性回歸的發(fā)動機性能參數(shù)預(yù)測[J].航空動力學(xué)報, 2009, 24(2):427-431.

[15] 徐黎明, 王清, 陳劍平,等.基于BP神經(jīng)網(wǎng)絡(luò)的泥石流平均流速預(yù)測[J].吉林大學(xué)學(xué)報, 2013, 43(1):186-191.

Comparison of SVM, BP Neural Network and Linear Regression

HAN Yang,LV You, PAN Yu-hang, ZHOU Qi, YANG Ai-min

(College of Science,North China University of Science and Technology,Tangshan Hebei063210, China)

SVM; BP neural network; linear regression;regression forecasting

Support vector machine algorithm is a kind of supervised learning method which uses the optimization theory in the field of data mining, and has strong practicability in forecasting,compare SVM with linear regression and BP neural network,then the algorithm of three algorithms is designed respectively.Use the data of the pellet production as sample,the software program running the corresponding algorithm predicts the data.The prediction results show that the support vector machine is the most accurate in the three algorithms,then obtained that the support vector machine in the data regression prediction has a stronger practicality, a higher value to promote the application.

2095-2716(2017)02-0104-05

2016-11-24

2017-04-01

國家自然科學(xué)基金項目(51674121)；河北省碩士研究生創(chuàng)新資助項目(CXZZSS2017071)。

TP301.6

A