基于BP神經(jīng)網(wǎng)絡建立二次潤葉工藝參數(shù)的預測模型

周永長，黃亞宇

(昆明理工大學 機電工程學院，云南 昆明 650500)

打葉復烤是煙草行業(yè)發(fā)展的基礎[1]。打葉復烤作為一種先進的原煙加工技術，煙葉的加溫加濕(包含二次潤葉階段)是其中的關鍵環(huán)節(jié)[2]。在煙葉復烤中的潤葉階段，文獻[3]改進了傳統(tǒng)方法，提出用純蒸汽進行加溫加濕的方法，并通過實驗驗證了潤葉各指標參數(shù)的變化對潤葉后煙片質量的影響。文獻[4]以紅大B1F、云煙87XZF為研究對象，證明了蒸汽潤葉法可以有效地保留中高等級煙葉致香成分，有利于大分子化合物降解。文獻[5]根據(jù)二潤筒設備具有典型的大、純滯后和強干擾性等復雜系統(tǒng)特征，通過數(shù)字仿真平臺結合改進的智能優(yōu)化算法提出了自適應非線性PID控制方法。文獻[6～7]通過不同的現(xiàn)場試驗，證明了潤葉強度、熱風加濕量、出口端蒸汽壓力的不同會影響片煙感官質量、燃燒性能。文獻[8～10]提出在潤葉階段采取新型的設備和控制方法、采用不同加工方式和工作流程來提高潤葉質量。雖然針對潤潔階段的研究較多，但目前仍沒有研究對數(shù)據(jù)中存在的關系進行深入探索，也沒有針對該階段的通用模型。深度學習已被廣泛應用于圖像識別、自然語言處理、自動控制系統(tǒng)等方面[11-13]。本文在已有的研究基礎上，基于二次潤葉工藝數(shù)據(jù)的特征，將其歸結為黑盒優(yōu)化問題。本文以熱風潤葉機可調節(jié)的工藝參數(shù)和煙葉的自身特征為基礎，提出了BP(Back Propagation)神經(jīng)網(wǎng)絡預測模型，旨在解決此階段出口煙葉質量指標不穩(wěn)定及不確定的問題，為合理調節(jié)工藝參數(shù)提供理論參考。

1 BP神經(jīng)網(wǎng)絡模型的建立

1.1 問題描述

本文選取某煙廠工藝研究室在一年內所進行的二次潤葉工藝實驗所采集的數(shù)據(jù)進行研究[14]，樣本總數(shù)為100組，部分樣本信息如表1所示。

表1 二次潤葉特色工藝參數(shù)

由表1可知，前4個參數(shù)為設備控制參數(shù)；第5、第6個參數(shù)為入口工藝參數(shù)；后兩個為出口質量指標。對于100組實驗，基于大量的研究經(jīng)驗，可將其中的80組作為訓練集，剩余的20組樣本作為測試集。

建模的主要目的是建立前6個參數(shù)與后兩個參數(shù)之間關系，通過前6個參數(shù)即可預測潤葉后煙葉質量指標是否達到相應的要求，解決生產(chǎn)過程中需要調節(jié)參數(shù)來應對不同情況的問題，例如某些地區(qū)的煙葉水分較少，則可通過調節(jié)相應參數(shù)提高出口葉片水分，滿足生產(chǎn)需要。

1.2 BP神經(jīng)網(wǎng)絡建模

理論上，對于每一個神經(jīng)網(wǎng)絡模型都存在一個最優(yōu)的神經(jīng)元個數(shù)，但在實際應用中，很難通過一個具體的計算式直接得出結論。因此，可通過經(jīng)驗公式進行初步的計算，然后通過驗證模型的準確率來得出最優(yōu)神經(jīng)元個數(shù)。

(1)

式中，n為輸入層神經(jīng)元的數(shù)目；m為輸出層神經(jīng)元的數(shù)目；a為1～5之間的常數(shù)。本文中選n為6，m為2，則由式(1)可得l的取值范圍為5～9。在模型訓練過程中，設置不同的隱藏層神經(jīng)元數(shù)目，當達到最佳的模型訓練效果時，記錄并選定此時的神經(jīng)元數(shù)目。神經(jīng)網(wǎng)絡的結構如圖1所示。

圖1 神經(jīng)網(wǎng)絡結構圖Figure 1. Neural network structure diagram

建立神經(jīng)網(wǎng)絡模型并確定輸入和輸出數(shù)據(jù)后，編寫神經(jīng)網(wǎng)絡代碼，進行調試，具體步驟為：

步驟1讀取數(shù)據(jù)，將總體樣本數(shù)據(jù)的前80個樣本數(shù)據(jù)作為訓練集，另外20組數(shù)據(jù)作為測試集，將數(shù)據(jù)歸一化并亂序。二次潤葉過程中有6個可調節(jié)的工藝參數(shù)，其量綱和量綱單位各不相同。為了消除這種影響并加快數(shù)據(jù)的收斂速度，需要進行歸一化處理。數(shù)據(jù)亂序的目的是為了消除數(shù)據(jù)之間的相關性，增強模型的泛化能力。本文采用的歸一化方法為線性歸一化方法，計算式為

(2)

步驟2搭建神經(jīng)網(wǎng)絡模型，調用Keras中的Sequential(·)函數(shù)搭建3層神經(jīng)網(wǎng)絡；

步驟3設定模型中的超參數(shù)，調用Compile(·)函數(shù)，設定優(yōu)化器、學習率、損失函數(shù)、準確率函數(shù)等；

步驟4進行神經(jīng)網(wǎng)絡模型的訓練，調用Fit(·)函數(shù)，指定訓練集的輸入特征和相應的標簽、循環(huán)次數(shù)、測試集的輸入特征和標簽；

6.2.2.3 冷藏冷凍商品貯存?zhèn)}庫、陳列柜和熱熟食展示柜都有功能正常的溫度顯示器，并且溫度滿足產(chǎn)品要求，定時做好冷藏冷凍庫（柜）和熱展示柜的溫度監(jiān)控記錄。熱展示柜的溫度在60℃以上，冷藏溫度應為0℃～8℃；冷凍溫度應為－20℃～－1℃, 宜低于－12℃。

步驟5保存模型的參數(shù)，進行預測。繪制預測值與實際值的圖像，以便更好地觀察預測效果。

2 BP神經(jīng)網(wǎng)絡中的模型參數(shù)分析

在BP神經(jīng)網(wǎng)絡模型中，隱藏層的神經(jīng)元數(shù)目與優(yōu)化器的選擇對整個模型的準確度有著顯著地影響，下面對這兩個因素進行分析和探討。

2.1 隱藏層神經(jīng)元數(shù)目的選擇

采用控制變量法研究單個因素對整體模型的影響，將其它參數(shù)保持統(tǒng)一，僅對被研究因素進行改變。需要設置的參數(shù)包括：激活函數(shù)(Activation=’relu’)、優(yōu)化器(Optimizer=’rmsprop’)、每一撮數(shù)據(jù)的大小(batch_size=20)，將數(shù)據(jù)樣本以每20個為一撮，送入神經(jīng)網(wǎng)絡中，提升計算機的運算效率、循環(huán)迭代次數(shù)(epochs=100)，即數(shù)據(jù)樣本被循環(huán)送入神經(jīng)網(wǎng)絡模型中，不斷訓練模型，提高準確率。正則化可以有效緩解模型的過擬合問題，本文選用的正則化方式為L2正則化(kernel_regularizer =tf.keras.regularizers.l2())。

RMSprop算法的全稱為Root Mean Square Prop，是一種優(yōu)化算法[17-18]。由于Adagrad算法的學習率衰減太過激進，因此本文考慮改變二階動量的計算策略，即不累積計算全部梯度，只關注過去某一窗口內的梯度。指數(shù)移動平均值大約是過去一段時間的平均值，用局部的信息來計算二階累計動量，如式(3)～式(5)所示

wt+1=wt-ηt

(3)

式中，w代表待優(yōu)化參數(shù)；η代表下降梯度。

(4)

式中，mt代表一階動量；Vt代表二階動量。

(5)

式中，α代表學習率；gt代表梯度。

正則化的主要思想是在損失函數(shù)的基礎上加入能刻畫模型復雜程度的指標。損失函數(shù)(Loss)用于表現(xiàn)模型在訓練集上的準確性。在優(yōu)化時不直接采用損失函數(shù)，而是加入模型的復雜程度R(w)。模型優(yōu)化的目標為Loss(pθ)+qR(w)，其中q表示模型復雜損失在總共損失中的比例，p表示模型中的權重w和偏置b?？坍嬆Ｐ蛷碗s度的函數(shù)主要由兩種，一種是L1正則化

(6)

另一種是L2正則化

(7)

待參數(shù)設置完畢，為了觀測模型訓練結果，本文制定了相應的觀測指標。主要指標為訓練集與測試集的損失，損失越小，說明模型的精度越高。另外，為了更加清楚地顯示預測結果與真實值的關系，本文調用Predict(·)函數(shù)對測試集樣本數(shù)據(jù)進行預測，并與真實值進行對比，評測指標為均方誤差(Mean Squared Error，MSE)、均方根誤差(Root Mean Squared Error，RMSE)、平均絕對誤差(Mean Absolute Error，MAE)；將隱藏層的神經(jīng)元數(shù)目設置為5～9時，進行BP神經(jīng)網(wǎng)絡訓練后得到的結果如圖2～圖6和表2所示。

(a)

(b)圖2 5個神經(jīng)元時損失與預測的結果圖Figure 2. Loss and prediction result graph at 5 neurons

(a)

(b)圖3 6個神經(jīng)元時損失與預測的結果圖Figure 3.Loss and prediction result graph at 6 neurons

(a)

(b)圖4 7個神經(jīng)元時損失與預測的結果圖Figure 4. Loss and prediction result graph at 7 neurons

(a)

(b)圖5 8個神經(jīng)元時損失與預測的結果圖Figure 5.Loss and prediction result graph at 8 neurons

從圖2～圖6中可以看出，隱藏層神經(jīng)元數(shù)目的差異對預測模型有比較顯著的影響。從左側的損失圖可以看出，BP神經(jīng)網(wǎng)絡預測模型的準確性基本符合預期，其中直線為訓練集損失率，點劃線為測試集損失率。不論神經(jīng)元的數(shù)目是多少，對于訓練集還是測試集而言，損失都降至了0.1以下。當隱藏層有5個神經(jīng)元時，損失圖前半部分訓練集與測試集差別較大，主要原因是神經(jīng)元數(shù)目較少，不能有效訓練輸入數(shù)據(jù)的特征，將權重矩陣調至合適的值。當隱藏層有9個神經(jīng)元時，損失圖前半部分測試集與訓練集損失十分接近；而到了后半段，兩個曲線差距明顯增大，原因是神經(jīng)元數(shù)目過多，初始循環(huán)迭代時創(chuàng)建的模型有輕微的過擬合現(xiàn)象，導致后半部分預測準確率下降。圖2～圖6中的下側圖片為預測結果與真實結果的對比情況，其中圖片上部為溫度預測情況，下部為水分預測情況，帶有三角形和加號的曲線為真實數(shù)據(jù)，另兩條曲線為BP神經(jīng)網(wǎng)絡的預測數(shù)據(jù)。從圖2中可以看出，隱藏層具有5個神經(jīng)元的BP神經(jīng)網(wǎng)絡模型對于預測出口煙片水分的準確率表現(xiàn)一般，其數(shù)值隨真實數(shù)據(jù)的變化波動不大，基本呈一條直線。隨著神經(jīng)元數(shù)目的增加，BP神經(jīng)網(wǎng)絡的預測效果有明顯的改善。但當神經(jīng)元數(shù)目超過7個時，BP神經(jīng)網(wǎng)絡無法對真實溫度數(shù)據(jù)中變化較大數(shù)值的進行有效預測。由此可知，當隱藏層神經(jīng)元數(shù)目為7時，預測效果最好。具體的預測評測指標見表2。

(a)

(b)圖6 9個神經(jīng)元時損失與預測的結果圖Figure 6. Loss and prediction result graph at 9 neurons

表2 不同神經(jīng)元數(shù)目的BP模型預測結果

由表2可知，在隱藏層神經(jīng)元數(shù)目為9時，各項指標均產(chǎn)生了下降。為了防止出現(xiàn)局部最優(yōu)的情況，本文又增加了兩組實驗。當神經(jīng)元數(shù)目為7時，MSE、RMSE、MAE的數(shù)值均優(yōu)于其它情況。由此可以確定，隱藏層神經(jīng)元個數(shù)為7時，是最優(yōu)的BP神經(jīng)網(wǎng)絡結構。該實驗也從側面驗證了每一個神經(jīng)網(wǎng)絡都存在一個最優(yōu)的神經(jīng)元數(shù)目。因此，本文最后選定的BP神經(jīng)網(wǎng)絡結構為：輸入層含有6個神經(jīng)元，隱藏層含有7個神經(jīng)元，輸出層含有2個神經(jīng)元的3層BP神經(jīng)網(wǎng)絡結構。

2.2 BP神經(jīng)網(wǎng)路模型中優(yōu)化器的選擇

神經(jīng)網(wǎng)絡根據(jù)輸入的數(shù)據(jù)不斷調整參數(shù)的過程可以被認為是網(wǎng)絡自身在解決一個優(yōu)化問題。選擇合適的優(yōu)化算法是整個優(yōu)化過程的核心。在神經(jīng)網(wǎng)絡中選擇一個合適的優(yōu)化器不僅可以加快收斂的速度，節(jié)省計算時間，還能提高預測的準確度。神經(jīng)網(wǎng)絡中常見的優(yōu)化器有SGD、RMSprop、Adagrad和Adam。本文對這幾個優(yōu)化器對BP神經(jīng)網(wǎng)絡建模的影響進行了分析。鑒于上文已使用過RMSprop優(yōu)化器，故下文不再贅述，只是引用上文已經(jīng)生成好的數(shù)據(jù)。

(a)

(b)圖7 優(yōu)化器為SGD時的準確率與預測結果圖Figure 7. Graph of accuracy and prediction results when the optimizer is SGD

(a)

(b)圖8 優(yōu)化器為Adagrad時的準確率與預測結果圖Figure 8. Graph of accuracy and prediction results when the optimizer is Adagrad

從圖中可以看出，當優(yōu)化器選擇為Adagrad時，模型預測的準確率最低，只有75%左右，其與SGD優(yōu)化器預測的數(shù)據(jù)普遍偏高且有逐漸增加的趨勢，即使樣本數(shù)據(jù)不斷增多，準確率也不會有明顯的變化，但SGD在預測出口葉片水分時表現(xiàn)較好。由于水分數(shù)據(jù)整體波動不大，對于這種相對平滑且穩(wěn)定的數(shù)據(jù)類型，宜選擇SGD優(yōu)化器進行預測。Adam優(yōu)化器表現(xiàn)相比較于RMSprop優(yōu)化器還有一定的差距，尤其是對一些變化波動較大的數(shù)據(jù)，Adam優(yōu)化器無法對其進行有效預測，所以優(yōu)化器應選擇為RMSprop。具體的模型預測指標如表3所示。

(a)

(b)圖9 優(yōu)化器為Adam時的準確率與預測結果圖Figure 9. Graph of accuracy and prediction results when the optimizer is Adam

表3 不同優(yōu)化器的BP模型預測結果

由表3可知，當選擇Adagrad、SGD優(yōu)化器時，均方誤差較大，預測數(shù)據(jù)的平均誤差為6.20和4.22，對測試集真實數(shù)據(jù)預測的精確度都不足90%，不滿足精度要求。Adam優(yōu)化器在整體預測效果上有良好的表現(xiàn)，但是對于部分變化較大值的預測能力有待提高。綜上所述，RMSprop優(yōu)化器為最優(yōu)的選擇。

3 結束語

合適的煙葉溫度和含水率有利于提高打葉質量。一般情況下，含水率以18%～22%為宜，出口煙葉溫度以60～75 ℃為宜[19]。出口葉片溫度與出口葉片水分兩個指標與多個工藝參數(shù)相關，且不是簡單的線性關系或非線性關系，因此針對該指標的提升已成為提高潤葉質量的關鍵。此類問題為多目標優(yōu)化問題。本文建立的BP神經(jīng)網(wǎng)絡預測模型可以有效地在誤差控制范圍之內對潤葉后煙葉質量指標做出預測，其預測結果與實際值較為接近，預測結果均方誤差為7.17，每個預測結果誤差約為2.68，在合理的誤差范圍之內。在實際生產(chǎn)中，面對不同的工況，應用此模型可將工作參數(shù)調節(jié)至適宜的參數(shù)范圍，為后續(xù)的煙廠加工步驟做鋪墊。

在二次潤葉的工序中，熱風潤葉機的工藝參數(shù)設置尤為重要。本文基于二次潤葉特色工藝數(shù)據(jù)建立了合理的BP神經(jīng)網(wǎng)絡預測模型，并去除了其中的異常值，提高了模型的精確度。在生產(chǎn)加工中，可根據(jù)不同的工藝參數(shù)組合，通過模型預測出口煙葉質量指標的情況，為煙廠調整潤葉工序的參數(shù)提供參考。