進(jìn)化算法優(yōu)化GBDT的帶鋼卷取溫度預(yù)測(cè)

皮理想， 崔桂梅

(內(nèi)蒙古科技大學(xué)信息工程學(xué)院， 包頭 014010)

熱軋后帶鋼的冷卻控制是熱軋生產(chǎn)的重要環(huán)節(jié)，層流冷卻過程溫度和卷取溫度的控制精度將直接影響帶鋼的組織性能和力學(xué)性能，同時(shí)也是帶鋼能否順利卷取、安全下線的決定因素[1-2]。熱軋帶鋼卷取溫度預(yù)報(bào)是帶鋼質(zhì)量控制的重要基礎(chǔ)，準(zhǔn)確的溫度預(yù)報(bào)模型為卷取溫度的前饋補(bǔ)償控制提供可靠的參考數(shù)據(jù)，對(duì)提高卷取溫度的控制精度具有重要意義[3]。

目前的層流冷卻控制系統(tǒng)主要通過經(jīng)典數(shù)學(xué)模型對(duì)卷取溫度進(jìn)行預(yù)測(cè)，但是冷卻過程是一個(gè)非常復(fù)雜的時(shí)變非線性過程，在目標(biāo)卷取溫度允許公差范圍內(nèi)，機(jī)理預(yù)測(cè)模型的命中率往往并不理想。隨著人工智能技術(shù)的發(fā)展，有學(xué)者將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于卷取溫度方面，以提高其預(yù)測(cè)精度，如：馬麗坤等[4]利用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)數(shù)學(xué)模型中的綜合換熱因子，大幅提高了卷取溫度的預(yù)測(cè)精度；石孝武和申群太[5]將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，建立了遺傳神經(jīng)網(wǎng)絡(luò)卷取溫度預(yù)測(cè)模型，具有較好的應(yīng)用前景；郭強(qiáng)等[6]建立人工魚群神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，利用魚群算法訓(xùn)練BP網(wǎng)絡(luò)權(quán)值，建立了人工魚群神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，具有較強(qiáng)的自適應(yīng)能力。然而，基于BP神經(jīng)網(wǎng)絡(luò)建立的預(yù)測(cè)模型雖然取得了較好的預(yù)測(cè)精度，但由于BP神經(jīng)網(wǎng)絡(luò)自身結(jié)構(gòu)的局限性，導(dǎo)致在有限的訓(xùn)練樣本下泛化性能較差，容易陷入局部最優(yōu)，限制了BP神經(jīng)網(wǎng)絡(luò)模型在卷取溫度方面的應(yīng)用。

梯度提升決策樹(Gradient Boosting Decision Tree，GBDT)作為集成學(xué)習(xí)[7]中一個(gè)的重要算法，具有防止過擬合和泛化能力較強(qiáng)等優(yōu)點(diǎn)，在回歸預(yù)測(cè)方面具有廣泛應(yīng)用。如：王偉等[8]利用GBDT對(duì)熱鍍鋅剛力學(xué)性能預(yù)報(bào)，模型具有較高的預(yù)測(cè)精度；谷云東等[9]將梯度提升決策樹應(yīng)用于電力負(fù)荷預(yù)測(cè)，其預(yù)測(cè)誤差明顯低于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的。 針對(duì)B鋼廠層流冷卻系統(tǒng)卷取溫度預(yù)報(bào)精度低且人工調(diào)參過程具有經(jīng)驗(yàn)性和不確定性的問題，本文探索將集成學(xué)習(xí)中的梯度提升決策樹算法應(yīng)用于帶鋼卷取溫度預(yù)測(cè)，利用差分進(jìn)化(Differential Evolution，DE)算法的全局尋優(yōu)能力獲取模型最優(yōu)參數(shù)，建立基于差分進(jìn)化優(yōu)化梯度提升決策樹的卷取溫度預(yù)測(cè)模型(DE-GBDT)。同時(shí)，與3個(gè)基礎(chǔ)預(yù)測(cè)模型(梯度提升決策樹(GBDT)[10]、支持向量機(jī)(SVM)[11]、小波神經(jīng)網(wǎng)絡(luò)(WNN)[12])以及差分進(jìn)化優(yōu)化后的支持向量機(jī)(DE-SVM)、小波神經(jīng)網(wǎng)絡(luò)(DE-WNN)預(yù)測(cè)模型進(jìn)行對(duì)比實(shí)驗(yàn)，以驗(yàn)證DE-GBDT預(yù)測(cè)模型的有效性，擬為前饋補(bǔ)償控制提供準(zhǔn)確的參考數(shù)據(jù)，為進(jìn)一步提高卷取溫度的控制精度提供新方法。

1 DE-GBDT預(yù)測(cè)模型

1.1 數(shù)據(jù)的標(biāo)準(zhǔn)化處理

根據(jù)鋼廠實(shí)際歷史生產(chǎn)數(shù)據(jù)，通過對(duì)帶鋼層流冷卻段的生產(chǎn)工藝特點(diǎn)和歷史數(shù)據(jù)分析，確定以下生產(chǎn)過程中的關(guān)鍵因素作為模型訓(xùn)練的數(shù)據(jù)特征：目標(biāo)卷取溫度、終軋溫度、帶鋼厚度、帶鋼速度、冷卻水溫度和實(shí)測(cè)卷取溫度。由于上述不同特征量綱差別較大，如帶鋼厚度為2～6 mm，而帶鋼溫度區(qū)間為600～800 ℃，需根據(jù)下式對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以消除量綱：

(1)

其中，z為標(biāo)準(zhǔn)化后的數(shù)據(jù)，x為原始數(shù)據(jù)，μ為樣本均值，σ為樣本標(biāo)準(zhǔn)差。經(jīng)數(shù)據(jù)標(biāo)準(zhǔn)化處理后，可以提高模型精度及收斂速度。

1.2 GBDT預(yù)測(cè)模型的建模過程

GBDT 是以分類回歸樹(Classification and Regression Tree，CART)為基模型的集成學(xué)習(xí)算法，該算法基于Boosting 迭代的思想，利用原始訓(xùn)練集獲取第一棵決策樹，此后每一輪迭代中的目標(biāo)都是擬合上一輪弱學(xué)習(xí)器的殘差。GBDT建模過程以當(dāng)前學(xué)習(xí)器的損失函數(shù)最小為目標(biāo)，損失函數(shù)選用平方損失函數(shù)，通過多次迭代以減小訓(xùn)練殘差，最后將所有訓(xùn)練好的回歸樹的結(jié)果進(jìn)行求和，從而獲得最終的預(yù)測(cè)結(jié)果[13-15]。本文將帶鋼目標(biāo)卷取溫度、冷卻水溫度以及帶鋼在精軋出口實(shí)時(shí)的厚度、速度、溫度等條件屬性作為GBDT預(yù)測(cè)模型的輸入特征，將帶鋼實(shí)測(cè)卷取溫度作為輸出特征：輸入為訓(xùn)練數(shù)據(jù)集T={(x1,y1),(x2,y2),…,(xN,yN)}，其中，xi(xiX?n)為影響帶鋼實(shí)測(cè)卷取溫度的條件屬性，X為輸入樣本空間；yi(yiY?)為帶鋼實(shí)測(cè)卷取溫度，Y為輸出樣本空間；損失函數(shù)為L(zhǎng)(yi,f(xi))，輸出為回歸樹fM(xi)。GBDT預(yù)測(cè)模型的建模過程如下：

(1)初始化：估計(jì)使損失函數(shù)極小化的常數(shù)值c，f0(x)是只有1個(gè)根節(jié)點(diǎn)的樹：

(2)

(2)對(duì)建立的M棵回歸樹：

① 對(duì)i=1,2,…,N，計(jì)算第m(m=1,2,…,M)棵樹對(duì)應(yīng)的損失函數(shù)的負(fù)梯度，即偽殘差：

(3)

② 利用CART回歸時(shí)擬合數(shù)據(jù)(xi,rmi),從而得到第m棵回歸樹，其對(duì)應(yīng)葉子節(jié)點(diǎn)區(qū)域?yàn)镽mj，其中j=1,2,…,J，J為第m(m=1,2,…,M)棵回歸樹葉子節(jié)點(diǎn)的個(gè)數(shù)；

③ 對(duì)于j(j=1,2,…,J)個(gè)葉子節(jié)點(diǎn)區(qū)域，計(jì)算最佳擬合值：

(4)

④ 更新學(xué)習(xí)器fm(x)：

(5)

(3)得到回歸樹fM(x)：

(6)

1.3 DE-GBDT預(yù)測(cè)模型的建模過程

在GBDT算法模型中，模型參數(shù)較多，人工調(diào)參需耗費(fèi)大量時(shí)間且存在不確定性，目前關(guān)于如何選擇和調(diào)節(jié)模型參數(shù)理論尚未建立，因此，本文利用DE算法的全局尋優(yōu)能力獲取模型最優(yōu)參數(shù)。

DE算法[16]是基于群體差異的啟發(fā)式并行搜索方法，主要包括種群初始化、變異、交叉和選擇等操作。主要的控制參數(shù)包括：種群規(guī)模NP、縮放因子F和交叉概率CR，其中，NP主要影響種群多樣性以及收斂速度，F(xiàn)主要影響搜索步長(zhǎng)，CR主要影響進(jìn)化信息的調(diào)整權(quán)重[17-18]。差分進(jìn)化算法主要操作如下：

(1)初始化操作：本文采用實(shí)數(shù)編碼方式(RI)構(gòu)建種群，個(gè)體維數(shù)D由尋優(yōu)模型參數(shù)個(gè)數(shù)決定。個(gè)體定義如下:

(i=1,2,…,NP;g=0,1,…,G),

(7)

其中，Xi(g)為第g代迭代的第i個(gè)個(gè)體，G為種群最大迭代次數(shù)。設(shè)定好控制參數(shù)，由下式即可隨機(jī)生成滿足約束條件的0代種群(即初始種群)：

(8)

(2)變異操作：首先，從第g代種群中隨機(jī)選取3個(gè)個(gè)體Xr1(g)、Xr2(g)、Xr3(g)，選擇其中2個(gè)個(gè)體Xr1(g)、Xr2(g)進(jìn)行差分操作;然后進(jìn)行加權(quán),再與另一個(gè)體Xr3(g)進(jìn)行求和，從而生成變異個(gè)體。計(jì)算公式如下：

V(g)=Xr3(g)+F·(Xr1(g)-Xr2(g))。

(9)

(10)

其中,rand(j)[0,1]為第j維分量對(duì)應(yīng)的隨機(jī)數(shù)。

(4)選擇操作：對(duì)個(gè)體Ui(g)、Xi(g)進(jìn)行適應(yīng)度評(píng)價(jià)，f(·)為適應(yīng)度函數(shù)，對(duì)中間個(gè)體和當(dāng)代個(gè)體對(duì)應(yīng)的適應(yīng)度值進(jìn)行比較，選擇適應(yīng)度值更優(yōu)的個(gè)體進(jìn)入下一代，計(jì)算公式如下：

(11)

依次執(zhí)行以上操作，可以獲得新一代種群Xi(g+1)。通過不斷對(duì)新種群Xi(g+1)執(zhí)行變異、交叉和選擇等操作，可以不斷更新種群，直至達(dá)到最大種群迭代次數(shù)G，算法結(jié)束。

GBDT模型主要考慮弱學(xué)習(xí)器的最大迭代次數(shù)、弱學(xué)習(xí)器的權(quán)重縮減系數(shù)、子采樣比例和決策樹最大深度。其中，最大迭代次數(shù)和權(quán)重縮減系數(shù)相互影響：若最大迭代次數(shù)(即弱學(xué)習(xí)器的個(gè)數(shù))太小則容易欠擬合，太大則容易過擬合；對(duì)于同樣的訓(xùn)練集擬合效果，較小的權(quán)重縮減系數(shù)(即步長(zhǎng))表明需要的最大迭代次數(shù)更多；子采樣比例小于1可以防止過擬合，但是會(huì)增加樣本擬合的偏差；決策樹最大深度太小則可能會(huì)簡(jiǎn)單地過擬合訓(xùn)練數(shù)據(jù)，太大則會(huì)使決策樹結(jié)構(gòu)過于復(fù)雜，容易過擬合，導(dǎo)致測(cè)試誤差增大。

針對(duì)上述模型的參數(shù)特性，GBDT預(yù)測(cè)模型的參數(shù)范圍設(shè)置如下：最大迭代次數(shù)、權(quán)重縮減系數(shù)、子采樣比例、決策樹最大深度的取值區(qū)間分別為[10,1 000]、[0.001,0.1]、[0.1,1]、[1,100]。然后，根據(jù)這些區(qū)間初始化種群，通過個(gè)體參數(shù)訓(xùn)練GBDT模型。其次，計(jì)算每個(gè)個(gè)體的適應(yīng)度，并根據(jù)當(dāng)前種群迭代次數(shù)和種群收斂情況判斷是否滿足終止條件：若不滿足，則根據(jù)交叉、變異和選擇等操作更新種群，重新訓(xùn)練GBDT模型；若滿足，則根據(jù)當(dāng)前種群最優(yōu)個(gè)體獲取模型最優(yōu)參數(shù)組合。最后，根據(jù)此最優(yōu)參數(shù)組合訓(xùn)練GBDT模型，從而建立DE-GBDT預(yù)測(cè)模型(圖1)。

圖1 DE-GBDT預(yù)測(cè)模型的建模流程

2 仿真實(shí)驗(yàn)

利用B鋼廠2020年8月份歷史數(shù)據(jù)進(jìn)行建模，訓(xùn)練并驗(yàn)證卷取溫度預(yù)測(cè)模型。模型輸入特征包括帶鋼厚度、帶鋼速度、帶鋼溫度、冷卻水溫度和目標(biāo)卷取溫度，輸出特征為實(shí)際卷取溫度，實(shí)驗(yàn)仿真工具為Python。實(shí)驗(yàn)共采集了190卷帶鋼數(shù)據(jù)，依樣本段提取帶鋼數(shù)據(jù)并經(jīng)數(shù)據(jù)處理后，共獲取11 000組高質(zhì)量數(shù)據(jù)，其中10 000組數(shù)據(jù)構(gòu)成訓(xùn)練集，1 000組數(shù)據(jù)構(gòu)成測(cè)試集。由于目前鋼廠中有70%的帶鋼是以相對(duì)誤差在20 ℃范圍內(nèi)計(jì)算預(yù)測(cè)命中率，其余帶鋼以相對(duì)誤差在15 ℃范圍內(nèi)計(jì)算命中率，因此，實(shí)驗(yàn)以15 ℃的相對(duì)誤差計(jì)算模型預(yù)測(cè)命中率。模型預(yù)測(cè)誤差評(píng)價(jià)指標(biāo)采用均方誤差(MSE)、均方根誤差(RMSE)，計(jì)算公式如下：

(12)

其中，n為樣本數(shù)，ytrue,i、ypre,i分別為帶鋼卷取溫度實(shí)際值、預(yù)測(cè)模型輸出值。

2.1 差分進(jìn)化算法參數(shù)選擇

在GBDT模型中，針對(duì)DE算法中的種群規(guī)模NP和最大迭代次數(shù)G進(jìn)行超參數(shù)選取實(shí)驗(yàn)，將G初始化為20，NP分別設(shè)置為10、30、50、70，分析不同的參數(shù)設(shè)置對(duì)模型預(yù)測(cè)效果的影響。

由實(shí)驗(yàn)結(jié)果(表1)可知：當(dāng)種群最大迭代次數(shù)G為20、種群規(guī)模NP為50時(shí)，效果最佳。此時(shí)的GBDT模型的最優(yōu)參數(shù)取值如下：弱學(xué)習(xí)器的最大迭代次數(shù)為906，權(quán)重縮減系數(shù)為0.019，子采樣比例為0.776，決策樹最大深度為16。同時(shí)為后續(xù)對(duì)比實(shí)驗(yàn)做準(zhǔn)備，利用該進(jìn)化算法參數(shù)設(shè)計(jì)分別對(duì)小波神經(jīng)網(wǎng)絡(luò)模型中的學(xué)習(xí)率、最大訓(xùn)練次數(shù)和支持向量機(jī)模型中的懲罰系數(shù)C、核函數(shù)參數(shù)γ進(jìn)行參數(shù)尋優(yōu)，得到模型的最優(yōu)參數(shù)：學(xué)習(xí)率為0.1、最大訓(xùn)練次數(shù)為17 703，C為234.092 8，γ為2.699 7。

2.2 3個(gè)優(yōu)化后模型的效果對(duì)比

利用差分進(jìn)化算法分別對(duì)SVM、WNN預(yù)測(cè)模型的模型參數(shù)進(jìn)行尋優(yōu)，從而得到DE-SVM、DE-WNN預(yù)測(cè)模型，并與DE-GBDT預(yù)測(cè)模型進(jìn)行效果對(duì)比。由對(duì)比結(jié)果(圖2)可知：DE-WNN預(yù)測(cè)模型在740～800 ℃范圍內(nèi)的數(shù)據(jù)點(diǎn)預(yù)測(cè)偏差較大，DE-GBDT、DE-SVM預(yù)測(cè)模型的誤差基本都分布在±15 ℃誤差帶范圍內(nèi)，且DE-GBDT預(yù)測(cè)模型的離群點(diǎn)最少。

同時(shí)，由3個(gè)預(yù)測(cè)模型的評(píng)價(jià)指標(biāo)(表2)可知： DE-GBDT預(yù)測(cè)模型的預(yù)測(cè)命中率最高，且DE-GBDT預(yù)測(cè)模型的各項(xiàng)評(píng)價(jià)指標(biāo)均最小(MSE為18.232、RMSE為4.269)，表明DE-GBDT預(yù)測(cè)模型在帶鋼卷取溫度預(yù)測(cè)方面的應(yīng)用效果最好。

表2 3個(gè)優(yōu)化后的預(yù)測(cè)模型的評(píng)價(jià)指標(biāo)

隨機(jī)選取一卷帶鋼數(shù)據(jù)，利用DE-GBDT預(yù)測(cè)模型對(duì)該鋼卷樣本點(diǎn)的卷取溫度進(jìn)行預(yù)測(cè)。由預(yù)測(cè)效果(圖3)可知：DE-GBDT預(yù)測(cè)模型的預(yù)測(cè)值與實(shí)際值高度擬合，符合實(shí)際工藝要求。

圖3 DE-GBDT預(yù)測(cè)模型的卷取溫度擬合效果

2.3 DE-GBDT預(yù)測(cè)模型與3個(gè)基礎(chǔ)預(yù)測(cè)模型的效果對(duì)比

將DE-GBDT預(yù)測(cè)模型與3個(gè)基礎(chǔ)預(yù)測(cè)模型(GBDT、SVM、WNN)進(jìn)行對(duì)比。由4個(gè)模型預(yù)測(cè)誤差分布(圖2A、圖4)可知：3個(gè)基礎(chǔ)預(yù)測(cè)模型的預(yù)測(cè)誤差較大，DE-GBDT預(yù)測(cè)模型的離群點(diǎn)明顯少于3個(gè)基礎(chǔ)預(yù)測(cè)模型。

圖4 3個(gè)基礎(chǔ)預(yù)測(cè)模型的誤差分布

由4個(gè)預(yù)測(cè)模型的評(píng)價(jià)指標(biāo)結(jié)果(表2，表3)可知：DE-GBDT預(yù)測(cè)模型的各項(xiàng)誤差指標(biāo)均最小，預(yù)測(cè)命中率最高，其中，與GBDT預(yù)測(cè)模型對(duì)比，DE-GBDT預(yù)測(cè)模型的MSE、RMSE分別降低了40.294、3.388，預(yù)測(cè)命中率提高了2.9%，說明差分進(jìn)化算法能明顯提升模型性能。

表3 3個(gè)基礎(chǔ)預(yù)測(cè)模型的評(píng)價(jià)指標(biāo)

3 結(jié)論

本文以B鋼廠2 250 mm熱軋生產(chǎn)線實(shí)際生產(chǎn)數(shù)據(jù)，結(jié)合差分進(jìn)化算法的全局尋優(yōu)能力和梯度提升決策樹的魯棒性優(yōu)點(diǎn)，建立基于差分進(jìn)化算法優(yōu)化梯度提升決策樹的卷取溫度預(yù)測(cè)模型(DE-GBDT)。與DE-SVM、DE-WNN、GBDT、SVM、WNN預(yù)測(cè)模型的對(duì)比仿真結(jié)果表明：

(1)DE-GBDT預(yù)測(cè)模型的各項(xiàng)誤差指標(biāo)均小于DE-SVM、DE-WNN預(yù)測(cè)模型的，說明DE-GBDT預(yù)測(cè)模型在卷取溫度預(yù)測(cè)方面泛化性能更好，能為層流冷卻前饋控制系統(tǒng)提供更可靠的參考數(shù)據(jù)。

(2)DE-GBDT預(yù)測(cè)模型的離群點(diǎn)明顯少于3個(gè)基礎(chǔ)預(yù)測(cè)模型(GBDT、SVM、WNN)的，各項(xiàng)誤差指標(biāo)均最小，預(yù)測(cè)命中率最高。其中，與GBDT預(yù)測(cè)模型對(duì)比，DE-GBDT預(yù)測(cè)模型的MSE、RMSE分別降低了40.294、3.388，預(yù)測(cè)命中率提高了2.9%，說明差分進(jìn)化算法能明顯提升模型性能。