一種基于改進(jìn)時(shí)間卷積網(wǎng)絡(luò)的生豬價(jià)格預(yù)測(cè)方法

王澤鵬 陳曉燕* 龐 濤 余 富 胡肖楠 汪 震

(1.四川農(nóng)業(yè)大學(xué) 信息工程學(xué)院，四川 雅安 625014； 2.農(nóng)業(yè)信息工程四川省高校重點(diǎn)實(shí)驗(yàn)室，四川 雅安 625014； 3.四川農(nóng)業(yè)大學(xué) 機(jī)電學(xué)院，四川 雅安 625014)

生豬是我國(guó)農(nóng)產(chǎn)品市場(chǎng)中最基本、最重要的組成部分，生豬價(jià)格是農(nóng)產(chǎn)品市場(chǎng)的核心要素[1]。受較多因素影響，生豬價(jià)格存在一定的波動(dòng)和異常。生豬價(jià)格的不確定性增加了參與豬肉供應(yīng)鏈的利益相關(guān)者所面臨的風(fēng)險(xiǎn)，該風(fēng)險(xiǎn)可能損害生豬行業(yè)從業(yè)者的利益，這不僅不利于生豬產(chǎn)業(yè)的健康發(fā)展，也不利于國(guó)家經(jīng)濟(jì)的健康發(fā)展。鑒于生豬價(jià)格也是市場(chǎng)物價(jià)的重要組成部分，科學(xué)的預(yù)測(cè)方法可以幫助政府，生豬養(yǎng)殖廠等群體及時(shí)做出正確的決策，為廣大人民群眾的利益提供有利保障。

目前，生豬價(jià)格預(yù)測(cè)方法主要從傳統(tǒng)農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)方法中遷移而來(lái)。已有研究對(duì)農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)提出了許多簡(jiǎn)化的計(jì)算模型以及相應(yīng)的分析方法：1)最簡(jiǎn)單的多元線性回歸模型[2]；2)ARIMA時(shí)間序列分析模型[3]；3)灰色雙指數(shù)平滑法模型[4]；4)傳統(tǒng)的機(jī)器學(xué)習(xí)模型[5-9],其中，傳統(tǒng)的機(jī)器學(xué)習(xí)模型是應(yīng)用最多和預(yù)測(cè)效果較好的方法。因?yàn)橛绊懾i肉價(jià)格的因素較多，所以豬肉價(jià)格數(shù)據(jù)通常是非平穩(wěn)的、非線性的，以上的研究方法存在預(yù)測(cè)精度不夠高、容易陷入局部極小值等問(wèn)題。神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性計(jì)算能力，能夠以任意精度近似任意連續(xù)的非線性函數(shù)，可以應(yīng)用于具有輸入和輸出之間一定關(guān)系的任何價(jià)格預(yù)測(cè)，它可以很好地捕捉復(fù)雜的非線性模式。近年來(lái)，神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等方法也逐漸地應(yīng)用到農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)研究中，如對(duì)中國(guó)大豆價(jià)格[10]、魚價(jià)[11]、多種農(nóng)產(chǎn)品價(jià)格[12]等預(yù)測(cè)，也應(yīng)用到了生豬價(jià)格[13-14]預(yù)測(cè)研究中，但預(yù)測(cè)精度有待提高。

時(shí)間卷積網(wǎng)絡(luò)(TCN)[15]是深度學(xué)習(xí)領(lǐng)域中一種可以用來(lái)解決時(shí)間序列預(yù)測(cè)的算法，不僅具有高度的非線性逼近能力和很強(qiáng)的自學(xué)習(xí)能力，而且在處理大批量數(shù)據(jù)時(shí)，預(yù)測(cè)效果更優(yōu)。Pelletier等[16]將時(shí)間卷積網(wǎng)絡(luò)應(yīng)用于衛(wèi)星圖像分類，Kim等[17]使用深度時(shí)間卷積網(wǎng)絡(luò)預(yù)測(cè)生物遺傳變異的突變效應(yīng)。本研究擬采用改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的時(shí)間卷積網(wǎng)絡(luò)模型，以西南地區(qū)某省的生豬價(jià)格數(shù)據(jù)為樣本，進(jìn)行生豬價(jià)格預(yù)測(cè)研究，以期為政府和企業(yè)提供科學(xué)的決策依據(jù)。

1 材料與方法

1.1 樣本

試驗(yàn)數(shù)據(jù)來(lái)源于西南地區(qū)某省2011—2020年每周生豬價(jià)格，試驗(yàn)中按照時(shí)間順序?qū)⒚?周時(shí)間段中的前4周豬價(jià)作為單個(gè)樣本的特征，第5周豬價(jià)作為對(duì)應(yīng)的標(biāo)簽，設(shè)生豬價(jià)格周數(shù)據(jù)為xi,(i=0,1,…,n)，則單個(gè)樣本的特征和對(duì)應(yīng)的標(biāo)簽映射如下：

feature=xi,xi+1,xi+2,xi+3→label=xi+4(i=0,1,…,n-4)

(1)

式中：feature為單個(gè)樣本的特征；label為對(duì)應(yīng)的標(biāo)簽；→代表一一映射關(guān)系?？傆?jì)產(chǎn)生476個(gè)樣本數(shù)據(jù)，隨機(jī)打亂后按照8∶2劃分原則劃分出385個(gè)樣本數(shù)據(jù)作為訓(xùn)練集，91個(gè)樣本數(shù)據(jù)作為測(cè)試集。

1.2 數(shù)據(jù)預(yù)處理

為將不同量級(jí)的數(shù)據(jù)統(tǒng)一轉(zhuǎn)化為同一個(gè)量級(jí)，以保證數(shù)據(jù)之間的可比性，對(duì)數(shù)據(jù)進(jìn)行了Z-Score標(biāo)準(zhǔn)化處理。公式如下：

(2)

式中：x為樣本觀測(cè)值；μ為總體平均值；σ為總體標(biāo)準(zhǔn)差；Z為樣本標(biāo)準(zhǔn)化后的值。

1.3 建模方法

本研究所有試驗(yàn)均在訓(xùn)練集上采用5折交叉驗(yàn)證法劃分為子訓(xùn)練集和子驗(yàn)證集，進(jìn)行模型超參數(shù)選擇，選取最佳超參數(shù)后，重新訓(xùn)練整個(gè)訓(xùn)練集得到最佳模型，然后在測(cè)試集上測(cè)試模型效果。其中機(jī)器學(xué)習(xí)方法在交叉驗(yàn)證的基礎(chǔ)上對(duì)訓(xùn)練集進(jìn)行網(wǎng)格搜索選取最佳超參數(shù)，神經(jīng)網(wǎng)絡(luò)方法在交叉驗(yàn)證的基礎(chǔ)上對(duì)訓(xùn)練集進(jìn)行調(diào)參、改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)選取最佳超參數(shù)。訓(xùn)練集訓(xùn)練時(shí)5折交叉驗(yàn)證見圖1。

1.3.1機(jī)器學(xué)習(xí)方法

1)隨機(jī)森林回歸(RFR)。隨機(jī)森林屬于Bagging類算法，而Bagging 又屬于集成學(xué)習(xí)一種方法。集成學(xué)習(xí)的大致思路是訓(xùn)練多個(gè)弱模型打包起來(lái)組成一個(gè)強(qiáng)模型，強(qiáng)模型的性能要比單個(gè)弱模型好很多。在訓(xùn)練階段，隨機(jī)森林使用bootstrap采樣從輸入訓(xùn)練數(shù)據(jù)集中采集多個(gè)不同的子訓(xùn)練數(shù)據(jù)集來(lái)依次訓(xùn)練多個(gè)不同決策樹；在預(yù)測(cè)階段，隨機(jī)森林將內(nèi)部多個(gè)決策樹的預(yù)測(cè)結(jié)果取平均得到最終的結(jié)果。

2)極限梯度提升(XGBoost)。極限梯度回升是基于決策樹的集成機(jī)器學(xué)習(xí)算法，它以梯度提升(Gradient boost)為框架，由梯度提升決策樹(GBDT)發(fā)展而來(lái)，同樣是利用加法模型與前向分步算法實(shí)現(xiàn)學(xué)習(xí)的優(yōu)化過(guò)程，但與梯度提升決策樹

圖1 訓(xùn)練集訓(xùn)練時(shí)5折交叉驗(yàn)證示意圖Fig.1 Five-fold cross-validation diagram in the training set

是有區(qū)別的，主要是在目標(biāo)函數(shù)、優(yōu)化方法、缺失值處理、防止過(guò)擬合4個(gè)方面對(duì)梯度提升決策樹進(jìn)行了改進(jìn)。

3)輕型梯度提升機(jī)(LightGBM)。輕型梯度提升機(jī)和極限梯度提升一樣是對(duì)梯度提升決策樹(GBDT)的高效實(shí)現(xiàn)，原理上它和GBDT及XGBoost類似，都采用損失函數(shù)的負(fù)梯度作為當(dāng)前決策樹的殘差近似值，去擬合新的決策樹。它的設(shè)計(jì)思路主要是減小數(shù)據(jù)對(duì)內(nèi)存的使用，保證單個(gè)機(jī)器在不犧牲速度的情況下，盡可能地用上更多的數(shù)據(jù)；減小通信的代價(jià)，提升多機(jī)并行時(shí)的效率，實(shí)現(xiàn)在計(jì)算上的線性加速。

本研究隨機(jī)森林回歸試驗(yàn)、極限梯度提升試驗(yàn)、輕型梯度提升機(jī)試驗(yàn)網(wǎng)格搜索超參數(shù)變量見表1。

表1 3種機(jī)器學(xué)習(xí)模型網(wǎng)格搜索超參數(shù)變量Table 1 Three machine learning models for the grid search of hyper parametric variables

1.3.2神經(jīng)網(wǎng)絡(luò)方法

1)時(shí)間卷積網(wǎng)絡(luò)。時(shí)間卷積網(wǎng)絡(luò)是一種能夠處理時(shí)間序列數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu)，例如給定輸入生豬價(jià)格序列x0,x1,…,xn共n+1個(gè)價(jià)格數(shù)據(jù)，需要預(yù)測(cè)輸出序列y0,y1,…,yn，關(guān)鍵的約束是預(yù)測(cè)某個(gè)時(shí)間點(diǎn)t的輸出yt僅能使用該時(shí)間點(diǎn)t及以前的輸入數(shù)據(jù)x0,x1,…,xt，即

yt=f(x0,x1,…,xt)

(3)

時(shí)間卷積網(wǎng)絡(luò)在不同的應(yīng)用場(chǎng)景下有不同的實(shí)現(xiàn)方式，韓建勝等[18]提出一種基于雙向時(shí)間卷積網(wǎng)絡(luò)的情感分析模型,在中文文本情感分類任務(wù)中取得了較好的效果。Li等[19]提出了一種用于時(shí)間動(dòng)作分割任務(wù)的多階段架構(gòu)模型，該模型在動(dòng)作分割任務(wù)中的3個(gè)經(jīng)典數(shù)據(jù)集上取得了較為先進(jìn)的結(jié)果。Yan等[20]將時(shí)間卷積網(wǎng)絡(luò)應(yīng)用在天氣預(yù)報(bào)研究中，預(yù)測(cè)結(jié)果較其他方法表現(xiàn)良好。本研究TCN試驗(yàn)結(jié)合數(shù)據(jù)集特點(diǎn)從2個(gè)方面進(jìn)行了改進(jìn)：一是考慮到輸入的時(shí)間步為4和較深的網(wǎng)絡(luò)在小數(shù)據(jù)集上容易出現(xiàn)過(guò)擬合現(xiàn)象的原因，從網(wǎng)絡(luò)結(jié)構(gòu)，即網(wǎng)絡(luò)深度方向上進(jìn)行改進(jìn)。二是考慮到模型訓(xùn)練中如果學(xué)習(xí)率的參數(shù)值固定可能導(dǎo)致在訓(xùn)練迭代后期出現(xiàn)梯度消失或梯度爆炸現(xiàn)象的原因，從學(xué)習(xí)率設(shè)置，即從學(xué)習(xí)率動(dòng)態(tài)變化角度進(jìn)行改進(jìn)。經(jīng)過(guò)大量試驗(yàn)發(fā)現(xiàn)網(wǎng)絡(luò)深度過(guò)大會(huì)導(dǎo)致過(guò)擬合,學(xué)習(xí)率固定在迭代輪次較大情況下會(huì)出現(xiàn)梯度爆炸。最終本研究具體改進(jìn)的時(shí)間卷積網(wǎng)絡(luò)(TCN)擴(kuò)張因果卷積結(jié)構(gòu)如圖2所示,輸入與輸出之間有4個(gè)隱藏層，膨脹系數(shù)是2的指數(shù)次方，即1,2,4,8,16。模型訓(xùn)練時(shí)學(xué)習(xí)率采用動(dòng)態(tài)衰減策略。

表示輸入層節(jié)點(diǎn)；表示隱藏層節(jié)點(diǎn)；表示輸出層節(jié)點(diǎn)。 膨脹系數(shù)d=n+1，其中n指每層相鄰的2個(gè)尾端之間的節(jié)點(diǎn)數(shù)，例如圖中A,B,C三點(diǎn)為相鄰的尾端，A與B之間的節(jié)點(diǎn)數(shù)為1，B與C之間的節(jié)點(diǎn)數(shù)也為1，所以如圖中第2隱藏層所示，d=1+1=2。 refers to input layer node; refers to hidden layer node; refers to output layer node Dilation： d=n+1， n refers to the number of nodes between two adjacent end of each layer. For example, the three points A, B and C in the figure are the adjacent end, the number of nodes between A and B is 1, and the number of nodes between B and C is also 1. Therefore, as shown in the second hidden layer in the figure, d=1+1=2.圖2 時(shí)間卷積網(wǎng)絡(luò)擴(kuò)張因果卷積結(jié)構(gòu)圖Fig.2 TCN dilated causal convolution structure diagram

2)因果卷積[21]。從直觀上，因果卷積類似于將卷積運(yùn)算劈去一半，令其只能對(duì)過(guò)去時(shí)間步的輸入進(jìn)行運(yùn)算。在具體網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)上，一維的因果卷積主要通過(guò)padding實(shí)現(xiàn)，二維的因果卷積主要通過(guò)mask filter map實(shí)現(xiàn)。如果需要考慮較長(zhǎng)時(shí)間前的輸入變量就必須增加卷積層數(shù)，卷積層數(shù)的增加就帶來(lái)了梯度消失、訓(xùn)練復(fù)雜、擬合效果不好等問(wèn)題，為了解決這個(gè)問(wèn)題，需要引入擴(kuò)張卷積[22]。

3)擴(kuò)張卷積。擴(kuò)張卷積的主要作用是在不增加參數(shù)和模型復(fù)雜度的情況下，可以指數(shù)倍的擴(kuò)大視野。對(duì)于因果卷積，為使卷積的感受野變大獲得長(zhǎng)期依賴，使用擴(kuò)張卷積作為因果卷積的基本結(jié)構(gòu)。擴(kuò)張卷積是通過(guò)跳過(guò)部分輸入使filter可以應(yīng)用于大于filter本身長(zhǎng)度的區(qū)域,等同于通過(guò)增加零來(lái)從原始filter中生成更大的filter。

4)殘差連接[23]。殘差連接在一定程度上消除了深度網(wǎng)絡(luò)部分梯度消失和爆炸的影響，并且被證明是訓(xùn)練深層網(wǎng)絡(luò)的有效方法，可使得網(wǎng)絡(luò)以跨層的方式傳遞信息。殘差結(jié)構(gòu)將輸出o表述為輸入x和輸入的一個(gè)非線性變換f(x)的線性疊加：

o=x+f(x)

(4)

1.4 評(píng)價(jià)指標(biāo)

本研究試驗(yàn)采用的評(píng)價(jià)指標(biāo)為回歸問(wèn)題中的常用3種評(píng)價(jià)指標(biāo)，分別為均方誤差(MSE)、平均絕對(duì)誤差(MAE)、決定系數(shù)(R2)。均方誤差(MSE)是指參數(shù)估計(jì)值與參數(shù)真值之差平方的期望值：

(5)

(6)

(7)

2 結(jié)果與討論

2.1 機(jī)器學(xué)習(xí)模型結(jié)果

3種機(jī)器學(xué)習(xí)模型網(wǎng)格搜索后最佳超參數(shù)變量見表2。隨機(jī)森林回歸(RFR)模型預(yù)測(cè)的91個(gè)生豬價(jià)格數(shù)據(jù)和真實(shí)標(biāo)簽值擬合見圖3(a)，預(yù)測(cè)值與真實(shí)標(biāo)簽值基本重合，但第55～60樣本段預(yù)測(cè)效果較差。極端梯度提升(XGBoost)模型的預(yù)測(cè)值折線趨勢(shì)基本與真實(shí)標(biāo)簽值折線趨勢(shì)重合，但第55～60樣本段預(yù)測(cè)折線較真實(shí)標(biāo)簽值折線略微突出(圖3(b))。輕型梯度提升機(jī)(LightGBM)模型的第50～55樣本段預(yù)測(cè)值與真實(shí)標(biāo)簽值偏差較大，預(yù)測(cè)值折線較真實(shí)標(biāo)簽值折線向下突出，第55～60樣本段預(yù)測(cè)效果也比較差(圖3(c))。

綜上，3種機(jī)器學(xué)習(xí)模型的預(yù)測(cè)值折線趨勢(shì)與真實(shí)標(biāo)簽值折線趨勢(shì)基本一致，其中極端梯度提升(XGBoost)模型預(yù)測(cè)效果更好。

表2 3種機(jī)器學(xué)習(xí)模型最佳變量取值Table 2 Optimal variable values list of three machine learning models

2.2 神經(jīng)網(wǎng)絡(luò)模型結(jié)果

經(jīng)過(guò)大量試驗(yàn)發(fā)現(xiàn)，在時(shí)間卷積網(wǎng)絡(luò)(TCN)的損失函數(shù)為mse、迭代次數(shù)為2 000、學(xué)習(xí)率初始為0.01，每迭代500次學(xué)習(xí)率衰減一半,結(jié)構(gòu)為4個(gè)隱藏層，每個(gè)隱藏層節(jié)點(diǎn)數(shù)為3，卷積核尺寸為2，丟棄率為0.2的情況下，取得了較為出色的預(yù)測(cè)效果。預(yù)測(cè)值與真實(shí)標(biāo)簽值的趨勢(shì)擬合見圖4，預(yù)測(cè)值折線趨勢(shì)基本上與真實(shí)標(biāo)簽值折線趨勢(shì)重合，預(yù)測(cè)值與真實(shí)標(biāo)簽值偏差非常小。預(yù)測(cè)值與真實(shí)標(biāo)簽值的線性擬合公式為：

y=x+0.15

(8)

式中：y為預(yù)測(cè)值；x為真實(shí)標(biāo)簽值。圖5示出時(shí)間卷積網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果與真實(shí)值線性擬合結(jié)果，可見散點(diǎn)數(shù)據(jù)基本在直線y=x上，零星幾個(gè)散點(diǎn)偏離，但偏差較小。

圖3 3種機(jī)器學(xué)習(xí)模型對(duì)生豬價(jià)格的預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽值的擬合Fig.3 Fitting of prediction results of three machine learning models for hog prices with real label values

圖4 時(shí)間卷積網(wǎng)絡(luò)模型Fig.4 Temporal convolutional network model

圖5 時(shí)間卷積網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果與真實(shí)值線性擬合Fig.5 Linear fitting of prediction results and real value of temporal convolutional network model

2.3 討論

本研究4種模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽值的回歸評(píng)價(jià)指標(biāo)結(jié)果見表3?？芍?，TCN模型預(yù)測(cè)結(jié)果的MSE為0.340 606，MAE為0.288 424，R2為0.995 683，均優(yōu)于其他3種機(jī)器學(xué)習(xí)模型結(jié)果,且與傳統(tǒng)機(jī)器學(xué)習(xí)模型中預(yù)測(cè)效果最好的XGBoost預(yù)測(cè)結(jié)果(MSE為0.460 842，MAE為0.315 601，R2為0.994 159)比較，3個(gè)指標(biāo)分別提升了26%、8%和0.15%。對(duì)比結(jié)果表明，TCN相比傳統(tǒng)機(jī)器學(xué)習(xí)模型，更加充分地學(xué)習(xí)到生豬價(jià)格之間的非線性變化規(guī)律。

表3 4種模型指標(biāo)結(jié)果對(duì)比Table 3 Comparison Table of four model index results

3 結(jié) 論

本研究針對(duì)生豬價(jià)格數(shù)據(jù)具有非線性、突變性、非平穩(wěn)性的特點(diǎn)，將時(shí)間卷積網(wǎng)絡(luò)(TCN)模型應(yīng)用于生豬價(jià)格預(yù)測(cè)研究中。結(jié)合實(shí)際的生豬價(jià)格數(shù)據(jù)，調(diào)整改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)，進(jìn)行大量試驗(yàn)，并同其他3種機(jī)器學(xué)習(xí)模型比較，得到如下結(jié)論：

1)從曲線擬合程度和3個(gè)評(píng)估指標(biāo)的對(duì)比結(jié)果看，調(diào)優(yōu)改進(jìn)后的時(shí)間卷積網(wǎng)絡(luò)模型(TCN)充分地學(xué)習(xí)生豬價(jià)格之間的非線性關(guān)系，同機(jī)器學(xué)習(xí)模型預(yù)測(cè)結(jié)果比較，預(yù)測(cè)效果更優(yōu)。

2)本研究所采用的時(shí)間卷積網(wǎng)絡(luò)(TCN)模型是高效的時(shí)間序列預(yù)測(cè)算法，在處理大批量數(shù)據(jù)時(shí)，預(yù)測(cè)效果更為明顯，為具有更大數(shù)據(jù)量的農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)研究提供了一種思路。