基于灰狼優(yōu)化算法的最小二乘支持向量機(jī)紅棗產(chǎn)量預(yù)測研究

李鵬飛 王青青 毋建宏 樊怡彤

摘要?最小二乘支持向量機(jī)預(yù)測時(shí)，其參數(shù)的選取大部分只依賴于人工經(jīng)驗(yàn)，無法實(shí)現(xiàn)自適應(yīng)尋優(yōu)，阻礙了其學(xué)習(xí)與泛化能力。針對該問題，采用灰狼優(yōu)化算法對最小二乘支持向量機(jī)參數(shù)尋優(yōu)，以1978—2016全國紅棗產(chǎn)量數(shù)據(jù)為研究對象，利用最小二乘支持向量機(jī)的最優(yōu)參數(shù)對紅棗產(chǎn)量數(shù)據(jù)進(jìn)行擬合與預(yù)測。為避免過擬合現(xiàn)象，將1978—2007和2013—2016年數(shù)據(jù)分別作為模型的訓(xùn)練與預(yù)測數(shù)據(jù)，2008-2012年數(shù)據(jù)用于交叉驗(yàn)證，同時(shí)為檢驗(yàn)該模型的預(yù)測性能，將其與ARIMA模型的預(yù)測效果進(jìn)行對比分析。實(shí)證分析表明，基于灰狼優(yōu)化算法的最小二乘支持向量機(jī)模型預(yù)測的平均相對誤差小于ARIMA模型預(yù)測的平均相對誤差，其可適用于紅棗產(chǎn)量的預(yù)測，也進(jìn)一步表明灰狼優(yōu)化算法對最小二乘支持向量機(jī)參數(shù)優(yōu)化的有效性。

關(guān)鍵詞?最小二乘支持向量機(jī)，全國紅棗產(chǎn)量，灰狼優(yōu)化算法，ARIMA

中圖分類號(hào)?S126文獻(xiàn)標(biāo)識(shí)碼?A文章編號(hào)?0517-6611（2020）06-0218-05

Abstract?When predicting least squares support vector machine， most of its parameters are only dependent on artificial experience， and adaptive optimization cannot be achieved， which hinders its learning and generalization ability. To solve this problem， we used the grey wolf optimization algorithm to optimize the parameters of the least squares support vector machine， and took the 1978-2016 national jujube production data as the research object， and used the optimal parameters of the least squares support vector machine to calculate the red jujube yield data. In order to avoid overfitting， the data of 1978-2007 and 2013-2016 were used as the training and prediction data of the model， respectively. The data of 2008-2012 were used for crossvalidation. At the same time， it was combined with ARIMA to test the predictive performance of the model. The prediction effect of the model was compared and analyzed. The empirical analysis showed that the average relative error of the least squares support vector machine model based on the grey wolf optimization algorithm was smaller than the average relative error predicted by the ARIMA model， which could be applied to the prediction of jujube yield， and further indicated that the grey wolf optimization algorithm was effective to the least square support vector machine parameter optimization.

Key words?Least squares support vector machine，National jujube yield，Grey wolf optimization algorithm，ARIMA

我國棗樹資源十分豐富，在相當(dāng)長的時(shí)間內(nèi)，我國在世界紅棗生產(chǎn)和貿(mào)易中占有絕對統(tǒng)治地位。紅棗含有豐富的營養(yǎng)物質(zhì)，在中醫(yī)藥學(xué)上有很高的實(shí)用價(jià)值。構(gòu)建符合紅棗產(chǎn)量變化的預(yù)測模型，科學(xué)準(zhǔn)確預(yù)測紅棗產(chǎn)量對鞏固我國在世界紅棗生產(chǎn)中的地位以及提升紅棗產(chǎn)業(yè)經(jīng)濟(jì)效益具有重要的理論價(jià)值和實(shí)際意義。

隨著預(yù)測理論的發(fā)展，BP神經(jīng)網(wǎng)絡(luò)[1]、支持向量機(jī)[2]、時(shí)間序列分析ARIMA[3]等傳統(tǒng)以及相對應(yīng)的改進(jìn)模型被廣泛應(yīng)用于預(yù)測領(lǐng)域。但BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等預(yù)測模型存在可調(diào)參數(shù)[4]，而可調(diào)參數(shù)的選取又是決定預(yù)測性能優(yōu)劣的關(guān)鍵，在以往的研究中大部分對可調(diào)參數(shù)的選取都依賴人工經(jīng)驗(yàn)，無法實(shí)現(xiàn)自適應(yīng)尋優(yōu)[5-6]。而灰狼優(yōu)化算法被用于求解函數(shù)最優(yōu)化問題[7]，依靠適應(yīng)度函數(shù)值的大小來區(qū)分每個(gè)個(gè)體的優(yōu)劣，適應(yīng)度函數(shù)（fitness function）總是非負(fù)的，任何情況下都希望其值越大越好。研究表明，灰狼優(yōu)化算法在全局尋優(yōu)方面明顯優(yōu)于粒子群優(yōu)化算法和進(jìn)化策略等智能優(yōu)化算法[8]。而最小二乘支持向量機(jī)模型只有尋找到合適的參數(shù)，才能使得其具有高的泛化能力和強(qiáng)的魯棒性，因此對參數(shù)的優(yōu)化選擇是成功使用最小二乘支持向量機(jī)的關(guān)鍵[9]。

鑒于此，筆者使用灰狼優(yōu)化算法尋找最小二乘支持向量機(jī)的最優(yōu)參數(shù)，并用優(yōu)化后的參數(shù)模型對1978—2016年全國紅棗產(chǎn)量擬合與預(yù)測。

1?算法理論

采用灰狼優(yōu)化算法的最小二乘支持向量機(jī)模型預(yù)測時(shí)，為避免過擬合現(xiàn)象和檢驗(yàn)該模型的有效性，將實(shí)證部分主要分為：①基于灰狼優(yōu)化算法的最小二乘支持向量機(jī)預(yù)測（出現(xiàn)過擬合現(xiàn)象），②經(jīng)過交叉驗(yàn)證的灰狼優(yōu)化算法的最小二乘支持向量機(jī)預(yù)測（避免過擬合現(xiàn)象），③自回歸積分滑動(dòng)平均模型（ARIMA）預(yù)測。實(shí)證分析表明，基于灰狼優(yōu)化算法的LSSVM模型預(yù)測效果優(yōu)于ARIMA模型，可用于紅棗產(chǎn)量的預(yù)測，同時(shí)也表明了灰狼優(yōu)化算法對最小二乘支持向量機(jī)參數(shù)優(yōu)化的合理性與有效性。

1.1?灰狼優(yōu)化算法

灰狼優(yōu)化（Grey Wolf Optimizer，GWO）算法是Mirjalili等 [10]在2014年提出的一種能夠?qū)ふ胰肿顑?yōu)解的新型群智能優(yōu)化算法，其通過模擬灰狼群體的覓食行為實(shí)現(xiàn)目標(biāo)優(yōu)化，具有加速模型收斂速度和提高精度等特點(diǎn)。

該算法利用金字塔式的等級管理制度，將灰狼群體劃分為4種等級：α（第1層最優(yōu)灰狼）、β（第2層次優(yōu)灰狼）、δ（第3層第三優(yōu)灰狼）和ω（第4層剩余灰狼），并根據(jù)適應(yīng)度值的大小，將狼進(jìn)行排序，其中選擇適應(yīng)度的前3個(gè)值作為α、β和δ等級的灰狼。在狼群中，α狼做出的決策其他狼必須聽從和執(zhí)行，β狼協(xié)助α狼做出正確的決策，并聽令于α狼，δ狼聽從α和β狼，是ω狼的上級，等級最低的ω狼服從于前3等級的狼，有著平衡狼群內(nèi)部關(guān)系的作用，ω狼追隨前3者進(jìn)行追蹤和圍捕，獵物的位置便是目標(biāo)函數(shù)的最優(yōu)解。

灰狼優(yōu)化算法步驟可用數(shù)學(xué)模型表示為[11]：

步驟1：灰狼與獵物之間的距離D

步驟2：隨著灰狼向獵物的移動(dòng)，利用式（2）對灰狼空間位置不斷更新：

步驟3：在狼群覓食過程中，當(dāng)α狼判斷出獵物所處位置時(shí)，將由其帶領(lǐng)β和δ對獵物進(jìn)行追捕。因α、β和δ狼最靠近獵物，則可利用其位置判斷獵物的位置。利用公式（4）和（5）求出其他灰狼與α、β和δ狼之間的距離，然后根據(jù)公式（6）判斷出灰狼向獵物的移動(dòng)方向即確定尋優(yōu)方向。

1.2?最小二乘支持向量機(jī)

20世紀(jì)90年代末，Suykens等[12]提出了最小二乘支持向量機(jī)（least squares support vector machine，LSSVM），LSSVM是SVM（支持向量機(jī)）的一種改進(jìn)算法，該算法在很大程度上降低了樣本點(diǎn)在訓(xùn)練過程中的復(fù)雜度，有優(yōu)于傳統(tǒng)支持向量機(jī)的運(yùn)算速度，是機(jī)器學(xué)習(xí)中應(yīng)用較廣泛的一種建模方法[13]。

LSSVM模型常采用的核函數(shù)有高斯徑向基核函數(shù)（radial basis function，RBF）、線性核函數(shù)和多項(xiàng)式核函數(shù)，選用RBF核函數(shù)，RBF核函數(shù)包含2個(gè)優(yōu)化參數(shù)gam和sig2，其對模型的泛化能力和預(yù)測精度影響極大[14]。

給定訓(xùn)練樣本{xi，yi}Ni=1，則LSSVM的目標(biāo)函數(shù)可表示為[15]：

要將帶有約束條件的問題轉(zhuǎn)化為無約束優(yōu)化問題，需要引入一個(gè)拉格朗日乘子αi，建立拉格朗日等式方程，則優(yōu)化問題變?yōu)椋?/p>

根據(jù)最優(yōu)化理論的KKT條件，對公式（9）中每個(gè)參數(shù)求偏導(dǎo)并令其值為0，轉(zhuǎn)化為線性方程組求解：

通過求解核函數(shù)矩陣和（10）式，可得LSSVM回歸函數(shù)為：

1.3?GWO-LSSVM建模

GWO-LSSVM 建模的基本思想是利用灰狼優(yōu)化算法優(yōu)化 LSSVM 的參數(shù)，即通過灰狼優(yōu)化算法，尋找最小二乘支持向量機(jī)的2個(gè)最優(yōu)參數(shù)gam和sig2，并用優(yōu)化后的參數(shù)模型進(jìn)行擬合與預(yù)測，其具體建模步驟如下[16]：

第1步：輸入1978—2016年全國紅棗數(shù)據(jù)。

第2步：設(shè)置狼群的數(shù)量、最大迭代次數(shù)、優(yōu)化參數(shù)的維數(shù)、初始化α、β和δ狼的位置以及gam、sig2的取值范圍，根據(jù)狼位置所在的區(qū)間范圍隨時(shí)進(jìn)行位置的調(diào)整。

第3步：根據(jù)gam 和 sig2的初始值以及1978—2006年數(shù)據(jù)對LSSVM模型進(jìn)行訓(xùn)練。

第4步：計(jì)算適應(yīng)度函數(shù)值。LSSVM 模型的擬合值與測量值之差的平方的均值作為適應(yīng)度函數(shù)fitness。

第5步：運(yùn)用灰狼優(yōu)化算法在整個(gè)可行域內(nèi)搜索，不斷地更新α、β和δ狼以及獵物的位置，直到滿足終止條件后停止迭代。適應(yīng)度最小值所對應(yīng)的α狼的位置為最優(yōu)參數(shù) gam和sig2。

第6步：將最優(yōu)的gam和sig2作為LSSVM 模型的參數(shù)，從而對全國紅棗產(chǎn)量進(jìn)行擬合與預(yù)測。

2?實(shí)證分析

2.1?數(shù)據(jù)描述

該研究數(shù)據(jù)來源于《中華人民共和國國家統(tǒng)計(jì)局》，其詳細(xì)數(shù)據(jù)見表1。通過觀察39年的產(chǎn)量數(shù)據(jù)，可看出全國紅棗產(chǎn)量從1978—2016年整體保持增長趨勢。

2.2?GWO-LSSVM預(yù)測

將GWO-LSSVM模型預(yù)測分為3部分：①基于GWO-LSSVM預(yù)測（出現(xiàn)過擬合現(xiàn)象），②經(jīng)

過交叉驗(yàn)證的GWO-LSSVM預(yù)測（避免過擬合現(xiàn)象），③自回歸積分滑動(dòng)平均模型（ARIMA）預(yù)測。

2.2.1?基于GWO-LSSVM預(yù)測。GWO-LSSVM模型對全國紅棗產(chǎn)量預(yù)測時(shí)，以1978—2012年紅棗產(chǎn)量數(shù)據(jù)為模型的訓(xùn)練數(shù)據(jù)，以2013—2016年為預(yù)測數(shù)據(jù)，根據(jù)GWO-LSSVM模型的建模流程，借助MATLAB軟件實(shí)現(xiàn)對其科學(xué)準(zhǔn)確預(yù)測。GWO-LSSVM模型預(yù)測時(shí)將狼群數(shù)量設(shè)置為50，最大迭代次數(shù)設(shè)置為20，參數(shù)取值的上下界分別為ub=[1e5，1e1]，lb=[1e-6，1e-6]，并以訓(xùn)練樣本的擬合均方誤差為適應(yīng)度函數(shù)。通過灰狼優(yōu)化算法對最小二乘支持向量機(jī)的參數(shù)優(yōu)化，最終得到LSSVM的最優(yōu)參數(shù)gam=307 27.957 798 650 2，sig2=2.774 591 306 236 88。用最優(yōu)參數(shù)的LSSVM模型擬合的1978—2012年數(shù)據(jù)見圖1a，2013—2016年預(yù)測圖見圖1b。

從圖1a可看出，用GWO-LSSVM模型對全國紅棗產(chǎn)量數(shù)據(jù)擬合時(shí)，因灰狼優(yōu)化算法尋找出了最優(yōu)的LSSVM參數(shù)，導(dǎo)致擬合訓(xùn)練數(shù)據(jù)時(shí)出現(xiàn)了過擬合現(xiàn)象，而用最優(yōu)的參數(shù)進(jìn)行預(yù)測時(shí)，從圖1b可看出，預(yù)測曲線幾乎是一條水平直線，完全沒有真實(shí)值的波動(dòng)特點(diǎn)，預(yù)測效果較差。

2.2.2?經(jīng)過交叉驗(yàn)證的GWO-LSSVM預(yù)測。為避免過擬合現(xiàn)象的發(fā)生，將1978—2016年總計(jì)39年數(shù)據(jù)分為3段，1978—2007年數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，將2008—2012年數(shù)據(jù)用作交叉驗(yàn)證，2013—2016年數(shù)據(jù)作為預(yù)測數(shù)據(jù)。在預(yù)測時(shí)灰狼數(shù)量、最大迭代次數(shù)以及參數(shù)取值的上下界同上保持不變，而適應(yīng)度函數(shù)以訓(xùn)練樣本的擬合均方誤差與測試樣本的預(yù)測均方誤差之和作為判別標(biāo)準(zhǔn)。經(jīng)過交叉驗(yàn)證后該模型的擬合與預(yù)測圖分別為圖2a和圖2b。

從圖2a可看出，經(jīng)過交叉驗(yàn)證的GWO-LSSVM模型對1978—2012年真實(shí)值的擬合效果非常好，其擬合曲線的趨勢和真實(shí)值的變化規(guī)律基本吻合，則可用經(jīng)過交叉驗(yàn)證的灰狼優(yōu)化算法實(shí)現(xiàn)最小二乘支持向量機(jī)參數(shù)的優(yōu)化和對2013—2016年紅棗產(chǎn)量預(yù)測。其預(yù)測圖見圖2b，其預(yù)測曲線的變化趨勢基本符合真實(shí)值的增長趨勢，預(yù)測效果良好，為進(jìn)一步說明模型的預(yù)測效果，計(jì)算出了模型預(yù)測值的平均相對誤差。從表2可看出，該模型相對誤差的最大值為 4.47，最小值為1.35，平均相對誤差為2.81。

2.2.3?自回歸積分滑動(dòng)平均模型（ARIMA）預(yù)測。為更好地對比基于灰狼優(yōu)化算法的LSSVM模型的預(yù)測性能，將該模型與自回歸積分滑動(dòng)平均模型[17]（autoregressive integrated moving average model，簡記ARIMA）進(jìn)行對比分析。

全國紅棗產(chǎn)量顯示了該數(shù)據(jù)序列不平穩(wěn)，呈逐年上升的趨勢，且通過觀察該序列的自相關(guān)系數(shù)（autocorrelation coefficient，ACF）和偏自相關(guān)系數(shù)（partial autocorrelation coefficient，PACF）進(jìn)一步證明了該序列為非平穩(wěn)序列。將非平穩(wěn)序列進(jìn)行2階差分處理，2階差分的時(shí)序圖如圖3a所示，2階差分處理后序列平穩(wěn)，則全國紅棗產(chǎn)量數(shù)據(jù)構(gòu)建ARIMA（p，d，q）模型合理。

通過觀察2階差分處理后的自相關(guān)圖和偏自相關(guān)圖圖3b，反復(fù)檢驗(yàn)，最終將模型確定為ARIMA（0，2，1），從而實(shí)現(xiàn)對全國紅棗產(chǎn)量的預(yù)測。

圖4a為ARIMA（0，2，1）對1978—2012年紅棗產(chǎn)量擬合圖，圖4b為2013—2016紅棗產(chǎn)量預(yù)測效果圖。ARIMA（0，2，1）模型的2013—2016年預(yù)測誤差值見表2。從表2可看出，ARIMA預(yù)測相對誤差的最大值為6.39，最小值為1.09，平均相對誤差為3.44。

通過對表2的2種模型預(yù)測誤差值的對比分析顯示，可看出GWO-LSSVM模型的相對誤差波動(dòng)范圍較小，而ARIMA模型的相對誤差最大值接近于7%，其相對誤差的波動(dòng)范圍較大。GWO-LSSVM模型的平均相對誤差2.81，小于ARIMA模型的平均相對誤差3.44，進(jìn)一步說明基于灰狼優(yōu)化算法的LSSVM模型的有效性，從而可用GWO-LSSVM模型實(shí)現(xiàn)全國紅棗產(chǎn)量的預(yù)測。

3?小結(jié)

該研究采用灰狼優(yōu)化算法對最小二乘支持向量機(jī)模型的參數(shù)進(jìn)行優(yōu)化，將1978—2016年全國紅棗產(chǎn)量數(shù)據(jù)用于參數(shù)優(yōu)化的最小二乘支持向量機(jī)模型的擬合與預(yù)測。為避免過擬合現(xiàn)象的發(fā)生，將1978—2016年總計(jì)39年數(shù)據(jù)分為3部分，從而實(shí)現(xiàn)該模型的合理準(zhǔn)確預(yù)測，同時(shí)為了檢驗(yàn)該模型的預(yù)測性能將其與時(shí)間序列常用ARIMA模型進(jìn)行對比。實(shí)例表明，基于灰狼優(yōu)化算法的LSSVM的預(yù)測值的平均相對誤差小于ARIMA模型的平均相對誤差，其預(yù)測效果優(yōu)于ARIMA模型。該研究僅采用灰狼優(yōu)化算法對最小二乘支持向量機(jī)的參數(shù)進(jìn)行尋優(yōu)，沒有將多種優(yōu)化算法對最小二乘支持向量機(jī)的參數(shù)尋優(yōu)結(jié)果進(jìn)行對比，在今后的研究中將會(huì)進(jìn)一步完善。

參考文獻(xiàn)

[1] 李靜，徐路路.基于機(jī)器學(xué)習(xí)算法的研究熱點(diǎn)趨勢預(yù)測模型對比與分析——BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)與LSTM模型[J].現(xiàn)代情報(bào)，2019，39（4）：23-33.

[2] 歐陽天皓，盧曉勇.金融安全背景下的證券市場穩(wěn)定測度新方法：基于大數(shù)據(jù)支持向量機(jī)的市場預(yù)測與套利價(jià)值度量研究[J].財(cái)經(jīng)理論與實(shí)踐，2019，40（1）：77-83.

[3] 洪志敏，郝慧，房祥忠，等.ARIMA模型在京津冀區(qū)域手足口病發(fā)病趨勢預(yù)測中的應(yīng)用[J].數(shù)理統(tǒng)計(jì)與管理，2018，37（2）：191-197.

[4] 譚念，王學(xué)順，黃安民，等.基于灰狼算法SVM的NIR杉木密度預(yù)測[J].林業(yè)科學(xué)，2018，54（12）：137-141.

[5] 嚴(yán)駿宏.基于離散小波分解和支持向量機(jī)的股指組合預(yù)測[J].統(tǒng)計(jì)與決策，2017（3）：168-171.

[6] 蔡歡.基于遺傳算法和LS-SVM的財(cái)務(wù)危機(jī)預(yù)測[J].統(tǒng)計(jì)與決策，2017（2）：33-36.

[7] 石峰，樓文高，張博.基于灰狼群智能最優(yōu)化的神經(jīng)網(wǎng)絡(luò)PM2.5濃度預(yù)測[J].計(jì)算機(jī)應(yīng)用，2017，37（10）：2854-2860.

[8] MIRJALILI S.How effective is the Grey Wolf optimizer in training multilayer perceptrons[J].Applied intelligence，2015，43（1）：150-161.

[9] 李陽.數(shù)控機(jī)床直線軸熱誤差測量與分析方法研究[D].長春：吉林大學(xué)，2018.

[10] MIRJALILI S，MIRJALILI S M，LEWIS A.Grey wolf optimizer[J].Advances in engineering software，2014，69（3）：46-61.

[11]李麟瑋，吳益平，苗發(fā)盛.基于灰狼支持向量機(jī)的非等時(shí)距滑坡位移預(yù)測[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2018，52（10）：1998-2006.

[12] SUYKENS J A K，VANDEWALLE J.Least squares support vector machine classifiers[J].Neural processing letters，1999，9（3）：293-300.

[13] 鄭威迪，李志剛，賈涵中，等.基于改進(jìn)型鯨魚優(yōu)化算法和最小二乘支持向量機(jī)的煉鋼終點(diǎn)預(yù)測模型研究[J].電子學(xué)報(bào)，2019，47（3）：700-706.

[14] SUYKENS J A K，DE BRABANTER J，LUKAS L，et al.Weighted least squares support vector machines：Robustness and sparse approximation[J].Neurocomputing，2002，48（1/2/3/4）：85-105.

[15] 司剛?cè)钏?，石建全，?采用改進(jìn)果蠅優(yōu)化算法的最小二乘支持向量機(jī)參數(shù)優(yōu)化方法[J].西安交通大學(xué)學(xué)報(bào)，2017，51（6）：14-19.

[16] 陳珂，何箐.基于灰狼優(yōu)化算法的最小二乘支持向量機(jī)在軟件老化預(yù)測中的應(yīng)用[J].無線互聯(lián)科技，2018，15（15）：117-119.

[17] 陳榮，梁昌勇，陸文星，等.面向旅游突發(fā)事件的客流量混合預(yù)測方法研究[J].中國管理科學(xué)，2017，25（5）：167-174.