基于BP神經網絡的農資庫存數據插補技術

蔣麗麗， 姜大慶

(南通科技職業(yè)學院，江蘇南通 226007)

農業(yè)在我國國民經濟與社會發(fā)展中起著基礎作用，而農業(yè)的發(fā)展離不開農資產品[1]。對農資企業(yè)來說，農資庫存統(tǒng)計非常關鍵，但農資庫存數據也會無法避免地出現(xiàn)缺失值。缺失值可能是因為工作人員理貨時出現(xiàn)遺漏，或因疏忽導致的明顯錯誤記錄，甚至為變量取值之一，也就是當前農資庫存數據集中某個或某些屬性值缺失[2-3]。需要通過科學的技術對農資庫缺失數據進行插補處理。

通常情況下，可通過成對刪除的方式減少數據缺失，通過加權調整法調整成列刪除在數據未完全缺失下的有偏估計[4]。當前一般采用更優(yōu)的插補取代刪除，也就是按照數據的后驗分布，為缺失值插入科學合理的估計值。為了增強插補值的性能，可為插補值添加隨機干擾性，即單一插補[5-6]。然而單一插補通常低估了統(tǒng)計量的方差，導致統(tǒng)計量估計置信范圍降低，檢測顯著性降低[7]。為了解決該問題，提出1種新的基于BP神經網絡的農資庫存數據插補技術，為提高農資庫存數據的完整性提供技術支持。

1 數據處理及模型評價

1.1 數據預處理

為了增強不同年份農資庫存數據的可比性，需對數據進行歸一化處理[7-8]，針對季節(jié)需求性農資庫存這種隨機改變的數據，通過歸一化方法將數值標準化成最大值是1。歸一化處理公式如下：

y=(x-xmin)(xmax-xmin)。

(1)

式中：y用于描述輸入變量的歸一化值；x用于描述輸入變量；xmin用于描述輸入變量最小值；xmax用于描述輸入變量最高值。

1.2 模型質量評價

針對訓練的BP神經網絡，通過下述數學指標完成統(tǒng)計分析，從而完成對評價模擬值和觀測模擬值間的離散程度。

平均絕對誤差[9]為預測值和實測值間絕對偏差的均值，對預測值和實測值間的偏離程度進行描述，可有效體現(xiàn)預測準確性，然而很難對無偏性進行衡量，計算公式如下：

(2)

式中：xi用于描述實測值；xi′用于描述預測值；n用于描述樣本個數。

均方誤差為誤差平方和的均值[10]，和MAE相似，盡管可有效體現(xiàn)預測準確性，然而不能對無偏性進行衡量，其計算公式為：

(3)

平均預測誤差MFE為預測誤差和的均值[11]，如果預測模型是無偏模型，則MFE需趨近于0。所以MFE可有效衡量模型的無偏性，然而無法體現(xiàn)預測值偏離實測值的程度，公式如下：

(4)

平均絕對百分誤差MAPE為預測值和實測值間離差和實測值之比的絕對值均值[12]，是通過相對數形式百分比描述的預測誤差指標，MAPE值越低認為預測準確性越高，通常認為MAPE低于10%，即為高準確性預測。計算公式如下：

(5)

2 基于BP神經網絡的農資庫存數據插補技術

2.1 BP神經網絡模型

BP神經網絡屬于人工神經網絡，人工神經網絡為模仿生物神經網絡結構與功能的數學模型，有很強的學習及處理非線性問題的能力，利用樣本學習，對信息間的內在關系進行仿真，以逼近實際數據系統(tǒng)[12]。人工神經網絡適于缺少準確公式、復雜的物理過程。依據信號流動方向和拓撲結構，人工神經網絡被劃分成前向神經網絡與反饋神經網絡[13]。典型的前向網絡為BP神經網絡，是一種有效的被廣泛應用的人工神經網絡，本研究選用人工神經網絡對農資庫存數據進行插補。

BP神經網絡結構見圖1，其基本學習過程有信號的正向傳播與誤差反向傳播，樣本數據通過輸入層進入網絡，經隱含層，利用權值、閾值和神經元等作用[14]，通過輸出層輸出，如果得到的結果沒有達到預期，則誤差將被反向傳播，對不同層神經元間的連接權值進行調整，令誤差達到最小值。

反復進行上述過程，使得神經網絡實際輸出和期望輸出誤差達到最小。針對神經網絡中某單個神經元，其學習模型見圖2。

將神經元模型輸入單元用xi進行描述，輸出用yi進行描述，則針對其中某隱含層神經元j的輸出值可描述成：

(6)

式中：θ用于描述神經元j的閾值；ωij用于描述輸入層不同單元和隱含層單元間的連接權值；f用于描述神經元i的激勵函數，本研究選用的是Tan-sigmoid函數[15]。

2.2 雙向時間識別序列插補模型

對農資庫存數據進行插補的過程中，為了增強BP神經網絡對時間序列的識別性能，構造雙向時間識別序列，也就是改善僅應用前一時間段農資庫存數據預測后期數據的傳統(tǒng)方式，而是采用缺失時間段前后已有農資庫存數據共同對缺失數據進行預測。對大規(guī)模實際的農資庫存數據進行學習，使得BP神經網絡可大大提升高通量隨時間改變的擬合準確性，更準確地對各時刻改變的內在機制進行仿真，將其應用于農資庫存數據插補中，有很好的效果。

假設某時間窗口存在3n個時段，其中包括n個缺失時段，把缺失時段前n個時段的農資庫存數據Qt-n，Qt-(n-1)，…，Qt-1與后n個時段的數據Qt+n，Qt+n+1，…，Qt+2n-1共同當成BP神經網絡的輸入，把缺失的n個時段的數據Qt，Qt+1，…，Qt+n-1當成BP神經網絡的輸出。假設n=2，則BP神經網絡將Qt-2、Qt-1、Qt+2、Qt+3當成神經網絡的輸入，將Qt、Qt+1當成網絡的輸出(圖3)。BP神經網絡訓練次數設為50，學習速率設為0.05，訓練代數設為1 800。

完成農資庫存數據的處理后，需對已有樣本進行訓練，檢驗擬合度指標R。在現(xiàn)有農資庫存數據樣本中任意選擇部分數據當成檢驗樣本，驗證BP神經網絡對農資庫存數據的訓練效果。如果R值高于0.8，則認為訓練結果可靠，從而實現(xiàn)對缺失值的預測，完成農資庫存數據插補。

采用BP神經網絡對農資庫存數據進行插補的過程中，需確定隱含層神經元數。隱含層神經元數對神經網絡的容量、泛化能力和學習速度等有直接影響，可通過下式求出：

(7)

式中：n用于描述隱層神經元數；ni用于描述輸入層神經元數；no用于描述輸出層神經元數；a用于描述在1～10范圍內的常數。

本研究BP神經網絡采用TRAINGDM法對BP神經網絡進行訓練，即：

[netTR]=train(net,pn,tn)。

(8)

式中：pn用于描述輸入數據處理后結果；tn用于描述輸出數據處理后結果。

缺失農資庫存數據依據BP神經網絡實現(xiàn)。借助BP神經網絡，確定缺失農資庫存樣本數據，首先獲取訓練與預測樣本，把現(xiàn)有農資庫存數據作為輸入數據，將經處理后數據看作目標輸出數據，不斷訓練學習，在擬合度好的情況下輸出數據就是預測的農資庫存數據，完成數據插補。

3 結果與分析

對某農資企業(yè)2010年6月中旬至2017年7月中旬庫存資料進行審查，發(fā)現(xiàn)數據缺失量達15%，連續(xù)缺失長度最多是6。將沒有數據缺失的2016年1—12月數據作為訓練樣本。為了驗證本研究提出技術的插補效果，從樣本中任意選擇6個連續(xù)樣本當成缺失樣本，選擇庫存持續(xù)上升、持續(xù)下降與上下波動3種類型缺失樣本趨勢，將實際檢測的庫存數據當成檢驗樣本，對本研究BP神經網絡模型的準確性進行驗證。

將相鄰時間段庫存與研究時間段庫存作為輸出，將t時間段庫存數據作為輸出，實現(xiàn)農資庫存插補。

在連續(xù)庫存樣本中依次將庫存持續(xù)上升、庫存持續(xù)降低與上下波動3段刪除，將其他數據作為訓練樣本完成建模，通過試錯法確定BP神經網絡模型的隱層節(jié)點量，取3層，期望迭代次數取600次。將線性插值技術與加權技術作為對比，采用3種技術完成農資庫存數據的插補處理，3種插補技術效果見圖4。

從圖4可以看出，本技術插值結果較其他2種技術明顯更優(yōu)，在3種缺失情況下，本技術插值結果和實測值趨勢一致。這主要是由于線性插值技術與加權技術只借助實測庫存樣本中的少量數據，無法體現(xiàn)庫存數據的整體特點及趨勢，不能保證插值效果的可靠性。

針對庫存持續(xù)上升、庫存持續(xù)降低與上下波動3種缺失類型的數據，依次采用本技術、線性插值技術與加權技術對其進行插補，比較3種技術的相對誤差，對3種技術的插補效果進行測試，結果見表1。

從表1可以看出，對比3種技術的插值結果，本技術的持續(xù)上升缺失類型、持續(xù)下降類型以及上下波動類型3種插值與實際值近乎一致；線性插值技術的持續(xù)上升缺失類型、持續(xù)下降類型以及上下波動類型3種插值與實際值分別相差約0.18、0.32、0.41，最大相差值分別為0.31、0.33、0.47；加權技術的持續(xù)上升缺失類型、持續(xù)下降類型以及上下波動類型3種插值與實際值分別相差約0.34、0.42、0.51，最大相差值分別為0.50、0.54、0.72。比較可得本技術的插補精度最高，適用于實際農資庫存數據的插補。

對比3種技術的相對誤差，本技術的持續(xù)上升缺失類型、持續(xù)下降類型以及上下波動類型3種相對誤差與實際值相差最少，約為14.2%；線性插值技術的持續(xù)上升缺失類型、持續(xù)下降類型以及上下波動類型3種相對誤差與實際值相差約45.1%；加權技術的持續(xù)上升缺失類型、持續(xù)下降類型以及上下波動類型3種相對誤差與實際值相差約70.5%。比較可得本技術的平均相對誤差最低。

為了驗證本技術的通用性，將沒有數據缺失的2016年1月至2016年12月數據作為訓練樣本，對其他樣本進行插補，對本技術、線性插值技術、加權技術插補過程中平均絕對誤差、均方誤差、平均預測誤差、平均絕對百分誤差進行比較，結果見表2。

從表2可以看出，本技術平均絕對誤差、均方誤差、平均預測誤差、平均絕對百分誤差均低于線性插值技術與加權技術，說明本技術準確性高，有很好的實用性。

表1 3種技術相對誤差比較結果

表2 3種技術插補評價指標比較結果

4 結論

提出了1種新的基于BP神經網絡的農資庫存數據插補技術。對數據進行歸一化處理，針對訓練的BP神經網絡，分析了BP神經網絡結構，通過BP神經網絡對已有樣本進行訓練，完成對缺失值的預測，實現(xiàn)農資庫存數據插補。試驗結果表明，所提技術插補精度高。