基于CNN 和GRU 的農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)模型研究

李潔瓊, 劉 振

（1.西安職業(yè)技術(shù)學(xué)院基礎(chǔ)課教學(xué)部, 西安 710077；2.西安文理學(xué)院化學(xué)工程學(xué)院, 西安 710065）

中國是農(nóng)業(yè)大國, 確保農(nóng)產(chǎn)品價(jià)格穩(wěn)定一直是政府關(guān)注的重點(diǎn), 也是宏觀調(diào)控的難點(diǎn)。由于農(nóng)產(chǎn)品銷售周期不同, 價(jià)格波動(dòng)較大[1］。物價(jià)波動(dòng)不僅影響人們的生活質(zhì)量和農(nóng)民收入, 還會(huì)引發(fā)社會(huì)性問題。隨著大數(shù)據(jù)、人工智能等技術(shù)快速發(fā)展, 農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)成為可能[2］。如何準(zhǔn)確、實(shí)時(shí)地預(yù)測(cè)農(nóng)產(chǎn)品的短期價(jià)格, 是數(shù)學(xué)建模長(zhǎng)期以來不斷探索的研究領(lǐng)域。因此, 對(duì)農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)模型進(jìn)行研究具有重要的現(xiàn)實(shí)意義。

目前, 許多國內(nèi)外學(xué)者對(duì)農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)模型進(jìn)行了大量研究, 并取得了一些優(yōu)異的成果。張順利等[3］將長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)用于蘋果價(jià)格預(yù)測(cè)模型, 比傳統(tǒng)預(yù)測(cè)模型能更好地預(yù)測(cè)均值絕對(duì)誤差、均方誤差和均方根誤差。范俊明等[4］提出了一種基于LSTM 深度學(xué)習(xí)的大豆期貨價(jià)格預(yù)測(cè)模型, 比傳統(tǒng)模型具有更高的預(yù)測(cè)精度, 為大豆期貨價(jià)格預(yù)測(cè)提供了新思路。王會(huì)娟等[5］提出了一種基于TEI@I 方法的玉米期貨價(jià)格預(yù)測(cè)模型, 相比于傳統(tǒng)預(yù)測(cè)模型, 該方法可以有效地進(jìn)行玉米期貨價(jià)格預(yù)測(cè), 與實(shí)際值較為接近。劉斌等[6］將分布式神經(jīng)網(wǎng)絡(luò)用于蘋果價(jià)格預(yù)測(cè)。結(jié)果表明, 該方法可以有效反映蘋果價(jià)格波動(dòng)情況, 為蘋果市場(chǎng)穩(wěn)定發(fā)展提供一定的參考。但上述研究在實(shí)際使用中存在準(zhǔn)確率低和效率低等問題, 適應(yīng)性有待進(jìn)一步提高。

本研究提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network, CNN）和門控循環(huán)單元（Gated recurrent unit, GRU）的農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)模型。通過CNN 獲取局部特征, 通過GRU 獲取數(shù)據(jù)的時(shí)序依賴, 然后將CNN 和GRU 獲得的特征連接起來, 通過解碼器獲得預(yù)測(cè)輸出。通過試驗(yàn)與傳統(tǒng)模型進(jìn)行對(duì)比分析, 驗(yàn)證了模型的優(yōu)越性。

1 理論概述

1.1 卷積神經(jīng)網(wǎng)絡(luò)

全連接神經(jīng)網(wǎng)絡(luò)由于參數(shù)較多, 導(dǎo)致計(jì)算速度慢和過擬合等問題[7］。因此, 需要一種新的網(wǎng)絡(luò)結(jié)構(gòu), 而卷積神經(jīng)網(wǎng)絡(luò)可以做到。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的典型算法之一, 它由多個(gè)卷積層、頂部的全連接層以及相關(guān)的權(quán)重和池化層組成[8］。這種結(jié)構(gòu)允許卷積神經(jīng)網(wǎng)絡(luò)使用圖像處理中常用的二維輸入數(shù)據(jù)結(jié)構(gòu), 而時(shí)間序列展開類似于圖像（圖1）。卷積層的作用是提取輸入數(shù)據(jù)的特征。池化層是進(jìn)行特征選擇和信息過濾。全連接層是卷積神經(jīng)網(wǎng)絡(luò)的全連接層, 相當(dāng)于常規(guī)前饋神經(jīng)網(wǎng)絡(luò)的隱藏層。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.2 門控神經(jīng)網(wǎng)絡(luò)

GRU 是在2014 年提出的遞歸神經(jīng)網(wǎng)絡(luò)的門控機(jī)制[9］。GRU 與長(zhǎng)短期記憶網(wǎng)絡(luò)相比去掉了一個(gè)遺忘門。與循環(huán)神經(jīng)網(wǎng)絡(luò)相比, GRU 做了以下改進(jìn)。

1）重置門和更新門如公式（1）和公式（2）所示[10］：

式中,rt和zt分別為重置門和更新門；W為權(quán)重；b為偏置參數(shù)；ht為t時(shí)刻隱藏狀態(tài)；it為t時(shí)刻的輸入；σ為sigmoid 函數(shù)。

2）候選隱藏狀態(tài)如公式（3）所示[11］：

GRU 通過重置門和更新門來確定剩余的隱藏信息, 作為下一時(shí)刻的預(yù)測(cè)輸入。

2 模型建立

2.1 評(píng)價(jià)指標(biāo)

由于農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)的高度隨機(jī)性和不確定性, 存在預(yù)測(cè)誤差在所難免。這些誤差可以幫助人們更好地了解預(yù)測(cè)模型并不斷優(yōu)化預(yù)測(cè)方法。常用的指標(biāo)包括均方根誤差（RMSE）、平均相對(duì)誤差（MAE）、平均絕對(duì)百分比誤差（MAPE）和R2決定系數(shù)。

1）均方根誤差如公式（5）所示。如果預(yù)測(cè)值等于實(shí)際值, 則均方根誤差為0。均方根誤差越大, 值越大[13］。

2）平均相對(duì)誤差如公式（6）所示, 平均相對(duì)誤差能較好地反映預(yù)測(cè)值誤差的實(shí)際情況。當(dāng)預(yù)測(cè)值與真實(shí)值完全相等時(shí)平均相對(duì)誤差等于0, 平均相對(duì)誤差越大, 值越大。

3）平均絕對(duì)百分比誤差如等公式（7）所示。值越接近0, 模型的預(yù)測(cè)值越接近實(shí)際值, 平均絕對(duì)百分比誤差越接近1, 模型與實(shí)際值的偏差越大[14］。

4）R2決定系數(shù)如公式（8）所示。值越接近1, 模型的預(yù)測(cè)值越接近實(shí)際值, 反映預(yù)評(píng)估的符合程度[15］。

式中,On和分別為n時(shí)刻的實(shí)際值和預(yù)測(cè)值；M為預(yù)測(cè)樣本總數(shù)；O～為實(shí)際值的平均值。

2.2 模型的整體結(jié)構(gòu)

農(nóng)產(chǎn)品價(jià)格波動(dòng)與時(shí)間相關(guān), 因此, 需要一個(gè)獲取時(shí)間序列潛在規(guī)律的神經(jīng)網(wǎng)絡(luò)。GRU 可以有效捕捉數(shù)據(jù)的時(shí)間依賴性, CNN 可以從全局的角度找到數(shù)據(jù)規(guī)律。為此, 本研究提出了一種結(jié)合CNN 和GRU 的混合模型, 利用CNN 獲取局部特征, 使用GRU 獲取數(shù)據(jù)的時(shí)序依賴, 然后將二者獲取的特征進(jìn)行拼接, 通過解碼器得到預(yù)測(cè)值輸出。模型的整體預(yù)測(cè)結(jié)構(gòu)如圖2 所示。

圖2 模型的整體預(yù)測(cè)結(jié)構(gòu)

數(shù)據(jù)集中的每組數(shù)據(jù)都有時(shí)序性, 這與GRU 模型的工作方式是一致的, 因此模型使用GRU 來捕獲每個(gè)時(shí)間序列的依賴關(guān)系。以滑動(dòng)窗口中得到的數(shù)據(jù)為輸入, 定義第n個(gè)窗口中的數(shù)據(jù)為xn, 對(duì)GRU 第n個(gè)窗口的隱藏狀態(tài)進(jìn)行更新, 如公式（9）所示[16］。

式中,fe為GRU 更新函數(shù)。

將xn輸入到模型中時(shí), 通過重置門和更新門進(jìn)行處理, 如公式（10）所示：

式中, 輸入xn經(jīng)過線性變換, 即乘以權(quán)矩陣Wir, 上一刻的ht-1與對(duì)應(yīng)權(quán)重Whr相乘；Sigmoid 函數(shù)將這兩部分結(jié)合起來, 壓縮到[0, 1］；獲取hn決定信息,rn遺忘信息。

更新門與重置門類似, 只是將權(quán)重改為Wiz和Whz, 兩部分通過sigmoid 函數(shù)合并, 壓縮到[0, 1］, 獲取hn和rn用于更新。

然后通過公式（12）計(jì)算當(dāng)前記憶內(nèi)容。

這個(gè)過程使用之前獲得的更新門輸出, 將輸出乘以前一時(shí)刻的記憶內(nèi)容, 得到前一時(shí)刻的信息并發(fā)送到當(dāng)前時(shí)刻。此外, 更新門的輸出處理后乘以當(dāng)前兩部分的疊加就是最終的輸出內(nèi)容。

解碼過程將卷積網(wǎng)絡(luò)提取的特征cn與編碼得到的隱藏層狀態(tài)hn拼接, 作為解碼器的初始狀態(tài)。

式中,fd為編碼器的GRU 更新函數(shù)。

解碼器的初始狀態(tài)是將GRU 狀態(tài)和CNN 提取的特征拼接起來, 使用前一時(shí)刻的實(shí)際目標(biāo)變量數(shù)據(jù)作為初始輸入y1n, 將輸出循環(huán)輸入GRU。

通過GRU 獲取數(shù)據(jù)的時(shí)序依賴, 但無法獲取不同維度和時(shí)間的特征關(guān)系, 因此需要加入卷積神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)通過卷積運(yùn)算得到一系列特征, 使用卷積核對(duì)時(shí)間窗口中的矩陣數(shù)據(jù)進(jìn)行卷積, 卷積是在h×h的窗口中進(jìn)行卷積, 如公式（15）所示：

卷積核處理是通過設(shè)置好的卷積核對(duì)數(shù)據(jù)進(jìn)行點(diǎn)乘校驗(yàn), 得到相應(yīng)的結(jié)果。但是, 數(shù)據(jù)在一次卷積操作中往往無法處理完全, 需要滑動(dòng)到下一個(gè)位置進(jìn)行處理, 按照設(shè)置的步長(zhǎng)滑動(dòng)。

經(jīng)過卷積運(yùn)算, 提取出特征向量cn。卷積過程中使用ReLU 激活函數(shù)提高網(wǎng)絡(luò)的稀疏性, 使提取的特征代表性越強(qiáng), 泛化能力越強(qiáng), 求導(dǎo)速度越快。ReLU 函數(shù)可以作為卷積層的激活函數(shù)。函數(shù)的定義如公式（16）所示[17］：

在該模型中, 特征向量經(jīng)過池化層得到局部最優(yōu)特征, 如公式（17）所示：

步驟1：對(duì)價(jià)格歷史數(shù)據(jù)進(jìn)行預(yù)處理。

步驟2：通過CNN 獲取局部特征, 通過GRU 獲取數(shù)據(jù)的時(shí)序依賴, 作為解碼器的輸入。

步驟3：優(yōu)化集成學(xué)習(xí)模型。采用COCOB 優(yōu)化器, 將正則化因子引入全連接層, 添加Dropout 層實(shí)現(xiàn)模型優(yōu)化, 防止過擬合。

步驟4：以處理后的數(shù)據(jù)為輸入, 訓(xùn)練模型, 不斷調(diào)整參數(shù)直到最優(yōu)。

3 結(jié)果與分析

3.1 試驗(yàn)參數(shù)

通過試驗(yàn)與傳統(tǒng)模型進(jìn)行對(duì)比分析, 驗(yàn)證模型的優(yōu)越性和合理性。農(nóng)業(yè)數(shù)據(jù)來自中國蔬菜網(wǎng), 數(shù)據(jù)在剪裁后輸入模型中。試驗(yàn)環(huán)境為聯(lián)想PC, 操作系統(tǒng)為Ubuntu 18.04.1 64 位, Intel i5 82050u CPU, 1.6 GHz×8 主頻, 8 GB 內(nèi)存[18］。

模型參數(shù)：輸入窗口為30 px×9 px, 時(shí)間長(zhǎng)度為30 min, 卷積核為3 px×3 px, GRU 隱藏層維度為30維, 編碼器GRU 數(shù)為2 個(gè), 解碼 器GRU 數(shù)為1 個(gè)。數(shù)據(jù)集按7:3 的比例劃分為訓(xùn)練集和測(cè)試集, 通過訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練。

3.2 試驗(yàn)分析

為驗(yàn)證模型的優(yōu)越性和有效性, 將學(xué)習(xí)率設(shè)為0.001, 迭代次數(shù)設(shè)為10 000 次, 以白菜價(jià)格近10 年的數(shù)據(jù)為輸入數(shù)據(jù), 建立模型, 通過訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練。在Tensorboard 中獲得訓(xùn)練集損失函數(shù)圖。從圖3 可知, 隨著迭代次數(shù)的不斷增加, 訓(xùn)練集損失值逐漸降低。訓(xùn)練集損失值在迭代達(dá)3 000 次左右時(shí)開始趨于平穩(wěn), 達(dá)到預(yù)期效果, 再增加迭代, 訓(xùn)練集損失值也非常平穩(wěn)。

圖3 訓(xùn)練集損失變化

為了驗(yàn)證模型的有效性, 將本研究構(gòu)建的模型與LSTM 模型、GRU 模型進(jìn)行了比較, 并預(yù)測(cè)未來某一天數(shù)據(jù)。從表1 可知, 本研究構(gòu)建的預(yù)測(cè)模型表現(xiàn)較好,RMSE為10.04%,MAE為6.31%,MAPE為3.001 2%,R2為0.960 8。對(duì)比模型中, GRU 模型性能較好, 各項(xiàng)指標(biāo)均優(yōu)于LSTM 模型。

表1 評(píng)價(jià)指標(biāo)結(jié)果

為了測(cè)試本研究構(gòu)建模型的優(yōu)越性, 使用訓(xùn)練好的模型對(duì)測(cè)試集進(jìn)行了預(yù)測(cè), 共1 095 d。不同模型測(cè)試數(shù)據(jù)集的預(yù)測(cè)結(jié)果如圖4 所示。與其他模型相比, 本研究構(gòu)建的模型預(yù)測(cè)值與實(shí)際值基本一致。LSTM 模型和GRU 模型的預(yù)測(cè)與實(shí)際值有一定的偏差, 其效果比本研究構(gòu)建的模型差很多, 這表明本研究構(gòu)建的模型表現(xiàn)良好。

不同模型預(yù)測(cè)前7 天數(shù)據(jù)RMSE對(duì)比如表2 所示。隨著預(yù)測(cè)天數(shù)的增加, 本研究構(gòu)建的模型、LSTM 模型和GRU 模型的預(yù)測(cè)性能變差。但與LSTM 模型、GRU 模型相比, 本研究構(gòu)建模型的RMSE波動(dòng)較小, 性能下降的速度最慢, 表明本研究構(gòu)建的模型在測(cè)試集上的效果最優(yōu)。

表2 RMSE 對(duì)比

在預(yù)測(cè)多天數(shù)據(jù)時(shí), 隨著預(yù)測(cè)天數(shù)增多, 訓(xùn)練所需的時(shí)間不斷延長(zhǎng), 第8 天的預(yù)測(cè)時(shí)間相比于第7 天增加明顯, 但預(yù)測(cè)性能不斷下降。因此, 預(yù)期天數(shù)的最佳賦值為7 d。這是因?yàn)楸狙芯繕?gòu)建的模型可以使用歷史數(shù)據(jù)對(duì)農(nóng)產(chǎn)品價(jià)格進(jìn)行預(yù)測(cè), 但隨著預(yù)測(cè)時(shí)間的增加, 數(shù)據(jù)包含的有效信息不斷減少, 導(dǎo)致誤差不斷增加, 直到信息被完成挖掘?？偟膩碚f, 通過農(nóng)產(chǎn)品歷史數(shù)據(jù), 本研究構(gòu)建的模型可以有效地進(jìn)行短期預(yù)測(cè), 誤差也滿足要求。

4 小結(jié)

本研究提出了一種結(jié)合CNN 和GRU 的農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)模型。通過CNN 獲取局部特征, 通過GRU獲得數(shù)據(jù)的時(shí)序依賴, 然后將CNN 和GRU 獲得的特征連接起來, 由解碼器獲得預(yù)測(cè)輸出。研究結(jié)果表明, 本研究構(gòu)建的模型預(yù)測(cè)性能優(yōu)于LSTM 模型和GRU 模型, 可以有效地進(jìn)行短期預(yù)測(cè)。如果預(yù)測(cè)時(shí)間超過7 d, 預(yù)測(cè)時(shí)間會(huì)明顯增加, 性能也會(huì)逐漸下降。從目前的試驗(yàn)設(shè)備和數(shù)據(jù)規(guī)模來看, 該研究尚處于起步階段, 模型僅具有較高的短期預(yù)測(cè)性能。基于此, 逐步增加更多的價(jià)格影響因素, 不斷完善和優(yōu)化模型將是下一步工作的重點(diǎn)。