進化算法優(yōu)化GBDT的帶鋼卷取溫度預測

皮理想， 崔桂梅

(內(nèi)蒙古科技大學信息工程學院， 包頭 014010)

熱軋后帶鋼的冷卻控制是熱軋生產(chǎn)的重要環(huán)節(jié)，層流冷卻過程溫度和卷取溫度的控制精度將直接影響帶鋼的組織性能和力學性能，同時也是帶鋼能否順利卷取、安全下線的決定因素[1-2]。熱軋帶鋼卷取溫度預報是帶鋼質(zhì)量控制的重要基礎，準確的溫度預報模型為卷取溫度的前饋補償控制提供可靠的參考數(shù)據(jù)，對提高卷取溫度的控制精度具有重要意義[3]。

目前的層流冷卻控制系統(tǒng)主要通過經(jīng)典數(shù)學模型對卷取溫度進行預測，但是冷卻過程是一個非常復雜的時變非線性過程，在目標卷取溫度允許公差范圍內(nèi)，機理預測模型的命中率往往并不理想。隨著人工智能技術的發(fā)展，有學者將BP神經(jīng)網(wǎng)絡應用于卷取溫度方面，以提高其預測精度，如：馬麗坤等[4]利用BP神經(jīng)網(wǎng)絡預測數(shù)學模型中的綜合換熱因子，大幅提高了卷取溫度的預測精度；石孝武和申群太[5]將遺傳算法與BP神經(jīng)網(wǎng)絡相結合，建立了遺傳神經(jīng)網(wǎng)絡卷取溫度預測模型，具有較好的應用前景；郭強等[6]建立人工魚群神經(jīng)網(wǎng)絡預測模型，利用魚群算法訓練BP網(wǎng)絡權值，建立了人工魚群神經(jīng)網(wǎng)絡預測模型，具有較強的自適應能力。然而，基于BP神經(jīng)網(wǎng)絡建立的預測模型雖然取得了較好的預測精度，但由于BP神經(jīng)網(wǎng)絡自身結構的局限性，導致在有限的訓練樣本下泛化性能較差，容易陷入局部最優(yōu)，限制了BP神經(jīng)網(wǎng)絡模型在卷取溫度方面的應用。

梯度提升決策樹(Gradient Boosting Decision Tree，GBDT)作為集成學習[7]中一個的重要算法，具有防止過擬合和泛化能力較強等優(yōu)點，在回歸預測方面具有廣泛應用。如：王偉等[8]利用GBDT對熱鍍鋅剛力學性能預報，模型具有較高的預測精度；谷云東等[9]將梯度提升決策樹應用于電力負荷預測，其預測誤差明顯低于傳統(tǒng)神經(jīng)網(wǎng)絡的。 針對B鋼廠層流冷卻系統(tǒng)卷取溫度預報精度低且人工調(diào)參過程具有經(jīng)驗性和不確定性的問題，本文探索將集成學習中的梯度提升決策樹算法應用于帶鋼卷取溫度預測，利用差分進化(Differential Evolution，DE)算法的全局尋優(yōu)能力獲取模型最優(yōu)參數(shù)，建立基于差分進化優(yōu)化梯度提升決策樹的卷取溫度預測模型(DE-GBDT)。同時，與3個基礎預測模型(梯度提升決策樹(GBDT)[10]、支持向量機(SVM)[11]、小波神經(jīng)網(wǎng)絡(WNN)[12])以及差分進化優(yōu)化后的支持向量機(DE-SVM)、小波神經(jīng)網(wǎng)絡(DE-WNN)預測模型進行對比實驗，以驗證DE-GBDT預測模型的有效性，擬為前饋補償控制提供準確的參考數(shù)據(jù)，為進一步提高卷取溫度的控制精度提供新方法。

1 DE-GBDT預測模型

1.1 數(shù)據(jù)的標準化處理

根據(jù)鋼廠實際歷史生產(chǎn)數(shù)據(jù)，通過對帶鋼層流冷卻段的生產(chǎn)工藝特點和歷史數(shù)據(jù)分析，確定以下生產(chǎn)過程中的關鍵因素作為模型訓練的數(shù)據(jù)特征：目標卷取溫度、終軋溫度、帶鋼厚度、帶鋼速度、冷卻水溫度和實測卷取溫度。由于上述不同特征量綱差別較大，如帶鋼厚度為2～6 mm，而帶鋼溫度區(qū)間為600～800 ℃，需根據(jù)下式對數(shù)據(jù)進行標準化處理，以消除量綱：

(1)

其中，z為標準化后的數(shù)據(jù)，x為原始數(shù)據(jù)，μ為樣本均值，σ為樣本標準差。經(jīng)數(shù)據(jù)標準化處理后，可以提高模型精度及收斂速度。

1.2 GBDT預測模型的建模過程

GBDT 是以分類回歸樹(Classification and Regression Tree，CART)為基模型的集成學習算法，該算法基于Boosting 迭代的思想，利用原始訓練集獲取第一棵決策樹，此后每一輪迭代中的目標都是擬合上一輪弱學習器的殘差。GBDT建模過程以當前學習器的損失函數(shù)最小為目標，損失函數(shù)選用平方損失函數(shù)，通過多次迭代以減小訓練殘差，最后將所有訓練好的回歸樹的結果進行求和，從而獲得最終的預測結果[13-15]。本文將帶鋼目標卷取溫度、冷卻水溫度以及帶鋼在精軋出口實時的厚度、速度、溫度等條件屬性作為GBDT預測模型的輸入特征，將帶鋼實測卷取溫度作為輸出特征：輸入為訓練數(shù)據(jù)集T={(x1,y1),(x2,y2),…,(xN,yN)}，其中，xi(xiX?n)為影響帶鋼實測卷取溫度的條件屬性，X為輸入樣本空間；yi(yiY?)為帶鋼實測卷取溫度，Y為輸出樣本空間；損失函數(shù)為L(yi,f(xi))，輸出為回歸樹fM(xi)。GBDT預測模型的建模過程如下：

(1)初始化：估計使損失函數(shù)極小化的常數(shù)值c，f0(x)是只有1個根節(jié)點的樹：

(2)

(2)對建立的M棵回歸樹：

① 對i=1,2,…,N，計算第m(m=1,2,…,M)棵樹對應的損失函數(shù)的負梯度，即偽殘差：

(3)

② 利用CART回歸時擬合數(shù)據(jù)(xi,rmi),從而得到第m棵回歸樹，其對應葉子節(jié)點區(qū)域為Rmj，其中j=1,2,…,J，J為第m(m=1,2,…,M)棵回歸樹葉子節(jié)點的個數(shù)；

③ 對于j(j=1,2,…,J)個葉子節(jié)點區(qū)域，計算最佳擬合值：

(4)

④ 更新學習器fm(x)：

(5)

(3)得到回歸樹fM(x)：

(6)

1.3 DE-GBDT預測模型的建模過程

在GBDT算法模型中，模型參數(shù)較多，人工調(diào)參需耗費大量時間且存在不確定性，目前關于如何選擇和調(diào)節(jié)模型參數(shù)理論尚未建立，因此，本文利用DE算法的全局尋優(yōu)能力獲取模型最優(yōu)參數(shù)。

DE算法[16]是基于群體差異的啟發(fā)式并行搜索方法，主要包括種群初始化、變異、交叉和選擇等操作。主要的控制參數(shù)包括：種群規(guī)模NP、縮放因子F和交叉概率CR，其中，NP主要影響種群多樣性以及收斂速度，F(xiàn)主要影響搜索步長，CR主要影響進化信息的調(diào)整權重[17-18]。差分進化算法主要操作如下：

(1)初始化操作：本文采用實數(shù)編碼方式(RI)構建種群，個體維數(shù)D由尋優(yōu)模型參數(shù)個數(shù)決定。個體定義如下:

(i=1,2,…,NP;g=0,1,…,G),

(7)

其中，Xi(g)為第g代迭代的第i個個體，G為種群最大迭代次數(shù)。設定好控制參數(shù)，由下式即可隨機生成滿足約束條件的0代種群(即初始種群)：

(8)

(2)變異操作：首先，從第g代種群中隨機選取3個個體Xr1(g)、Xr2(g)、Xr3(g)，選擇其中2個個體Xr1(g)、Xr2(g)進行差分操作;然后進行加權,再與另一個體Xr3(g)進行求和，從而生成變異個體。計算公式如下：

V(g)=Xr3(g)+F·(Xr1(g)-Xr2(g))。

(9)

(10)

其中,rand(j)[0,1]為第j維分量對應的隨機數(shù)。

(4)選擇操作：對個體Ui(g)、Xi(g)進行適應度評價，f(·)為適應度函數(shù)，對中間個體和當代個體對應的適應度值進行比較，選擇適應度值更優(yōu)的個體進入下一代，計算公式如下：

(11)

依次執(zhí)行以上操作，可以獲得新一代種群Xi(g+1)。通過不斷對新種群Xi(g+1)執(zhí)行變異、交叉和選擇等操作，可以不斷更新種群，直至達到最大種群迭代次數(shù)G，算法結束。

GBDT模型主要考慮弱學習器的最大迭代次數(shù)、弱學習器的權重縮減系數(shù)、子采樣比例和決策樹最大深度。其中，最大迭代次數(shù)和權重縮減系數(shù)相互影響：若最大迭代次數(shù)(即弱學習器的個數(shù))太小則容易欠擬合，太大則容易過擬合；對于同樣的訓練集擬合效果，較小的權重縮減系數(shù)(即步長)表明需要的最大迭代次數(shù)更多；子采樣比例小于1可以防止過擬合，但是會增加樣本擬合的偏差；決策樹最大深度太小則可能會簡單地過擬合訓練數(shù)據(jù)，太大則會使決策樹結構過于復雜，容易過擬合，導致測試誤差增大。

針對上述模型的參數(shù)特性，GBDT預測模型的參數(shù)范圍設置如下：最大迭代次數(shù)、權重縮減系數(shù)、子采樣比例、決策樹最大深度的取值區(qū)間分別為[10,1 000]、[0.001,0.1]、[0.1,1]、[1,100]。然后，根據(jù)這些區(qū)間初始化種群，通過個體參數(shù)訓練GBDT模型。其次，計算每個個體的適應度，并根據(jù)當前種群迭代次數(shù)和種群收斂情況判斷是否滿足終止條件：若不滿足，則根據(jù)交叉、變異和選擇等操作更新種群，重新訓練GBDT模型；若滿足，則根據(jù)當前種群最優(yōu)個體獲取模型最優(yōu)參數(shù)組合。最后，根據(jù)此最優(yōu)參數(shù)組合訓練GBDT模型，從而建立DE-GBDT預測模型(圖1)。

圖1 DE-GBDT預測模型的建模流程

2 仿真實驗

利用B鋼廠2020年8月份歷史數(shù)據(jù)進行建模，訓練并驗證卷取溫度預測模型。模型輸入特征包括帶鋼厚度、帶鋼速度、帶鋼溫度、冷卻水溫度和目標卷取溫度，輸出特征為實際卷取溫度，實驗仿真工具為Python。實驗共采集了190卷帶鋼數(shù)據(jù)，依樣本段提取帶鋼數(shù)據(jù)并經(jīng)數(shù)據(jù)處理后，共獲取11 000組高質(zhì)量數(shù)據(jù)，其中10 000組數(shù)據(jù)構成訓練集，1 000組數(shù)據(jù)構成測試集。由于目前鋼廠中有70%的帶鋼是以相對誤差在20 ℃范圍內(nèi)計算預測命中率，其余帶鋼以相對誤差在15 ℃范圍內(nèi)計算命中率，因此，實驗以15 ℃的相對誤差計算模型預測命中率。模型預測誤差評價指標采用均方誤差(MSE)、均方根誤差(RMSE)，計算公式如下：

(12)

其中，n為樣本數(shù)，ytrue,i、ypre,i分別為帶鋼卷取溫度實際值、預測模型輸出值。

2.1 差分進化算法參數(shù)選擇

在GBDT模型中，針對DE算法中的種群規(guī)模NP和最大迭代次數(shù)G進行超參數(shù)選取實驗，將G初始化為20，NP分別設置為10、30、50、70，分析不同的參數(shù)設置對模型預測效果的影響。

由實驗結果(表1)可知：當種群最大迭代次數(shù)G為20、種群規(guī)模NP為50時，效果最佳。此時的GBDT模型的最優(yōu)參數(shù)取值如下：弱學習器的最大迭代次數(shù)為906，權重縮減系數(shù)為0.019，子采樣比例為0.776，決策樹最大深度為16。同時為后續(xù)對比實驗做準備，利用該進化算法參數(shù)設計分別對小波神經(jīng)網(wǎng)絡模型中的學習率、最大訓練次數(shù)和支持向量機模型中的懲罰系數(shù)C、核函數(shù)參數(shù)γ進行參數(shù)尋優(yōu)，得到模型的最優(yōu)參數(shù)：學習率為0.1、最大訓練次數(shù)為17 703，C為234.092 8，γ為2.699 7。

2.2 3個優(yōu)化后模型的效果對比

利用差分進化算法分別對SVM、WNN預測模型的模型參數(shù)進行尋優(yōu)，從而得到DE-SVM、DE-WNN預測模型，并與DE-GBDT預測模型進行效果對比。由對比結果(圖2)可知：DE-WNN預測模型在740～800 ℃范圍內(nèi)的數(shù)據(jù)點預測偏差較大，DE-GBDT、DE-SVM預測模型的誤差基本都分布在±15 ℃誤差帶范圍內(nèi)，且DE-GBDT預測模型的離群點最少。

同時，由3個預測模型的評價指標(表2)可知： DE-GBDT預測模型的預測命中率最高，且DE-GBDT預測模型的各項評價指標均最小(MSE為18.232、RMSE為4.269)，表明DE-GBDT預測模型在帶鋼卷取溫度預測方面的應用效果最好。

表2 3個優(yōu)化后的預測模型的評價指標

隨機選取一卷帶鋼數(shù)據(jù)，利用DE-GBDT預測模型對該鋼卷樣本點的卷取溫度進行預測。由預測效果(圖3)可知：DE-GBDT預測模型的預測值與實際值高度擬合，符合實際工藝要求。

圖3 DE-GBDT預測模型的卷取溫度擬合效果

2.3 DE-GBDT預測模型與3個基礎預測模型的效果對比

將DE-GBDT預測模型與3個基礎預測模型(GBDT、SVM、WNN)進行對比。由4個模型預測誤差分布(圖2A、圖4)可知：3個基礎預測模型的預測誤差較大，DE-GBDT預測模型的離群點明顯少于3個基礎預測模型。

圖4 3個基礎預測模型的誤差分布

由4個預測模型的評價指標結果(表2，表3)可知：DE-GBDT預測模型的各項誤差指標均最小，預測命中率最高，其中，與GBDT預測模型對比，DE-GBDT預測模型的MSE、RMSE分別降低了40.294、3.388，預測命中率提高了2.9%，說明差分進化算法能明顯提升模型性能。

表3 3個基礎預測模型的評價指標

3 結論

本文以B鋼廠2 250 mm熱軋生產(chǎn)線實際生產(chǎn)數(shù)據(jù)，結合差分進化算法的全局尋優(yōu)能力和梯度提升決策樹的魯棒性優(yōu)點，建立基于差分進化算法優(yōu)化梯度提升決策樹的卷取溫度預測模型(DE-GBDT)。與DE-SVM、DE-WNN、GBDT、SVM、WNN預測模型的對比仿真結果表明：

(1)DE-GBDT預測模型的各項誤差指標均小于DE-SVM、DE-WNN預測模型的，說明DE-GBDT預測模型在卷取溫度預測方面泛化性能更好，能為層流冷卻前饋控制系統(tǒng)提供更可靠的參考數(shù)據(jù)。

(2)DE-GBDT預測模型的離群點明顯少于3個基礎預測模型(GBDT、SVM、WNN)的，各項誤差指標均最小，預測命中率最高。其中，與GBDT預測模型對比，DE-GBDT預測模型的MSE、RMSE分別降低了40.294、3.388，預測命中率提高了2.9%，說明差分進化算法能明顯提升模型性能。