基于梯度提升決策樹的特征篩選與鋼卷力學性能預測

謝少捷，王 偉,2，何福善

(1.福州大學機械工程及自動化學院，福州 350100；2.福建省高端裝備制造協(xié)同創(chuàng)新中心，福州 350100)

0 引 言

熱鍍鋅鋼卷應用廣泛，隨著經(jīng)濟的發(fā)展，用戶對熱鍍鋅鋼卷力學性能的要求越來越高[1]。熱鍍鋅鋼卷生產(chǎn)工藝復雜，涵蓋煉鋼、熱軋、冷軋、退火和平整等多道工序，影響鋼卷力學性能的工藝參數(shù)很多，因此力學性能控制是熱鍍鋅鋼卷生產(chǎn)中的重要問題之一[2]。熱鍍鋅鋼卷力學性能預測是力學性能控制的基礎。力學性能預測模型依賴高質量的輸入特征數(shù)據(jù)，但是熱鍍鋅工業(yè)生產(chǎn)環(huán)境復雜，從傳感器采集到的工藝參數(shù)不可避免地會受到噪聲等因素干擾，同時工藝參數(shù)眾多導致過多的建模特征，影響模型的準確性和預測效率，帶來維數(shù)災難問題[3-5]。因此，特征篩選是熱鍍鋅鋼卷力學性能機器學習建模的一個重要步驟[6-7]，即在建模前將對力學性能影響較大的特征篩選出來。姚林等[8]結合實際生產(chǎn)工藝和已有的工藝參數(shù)收集手段，對模型的輸入量和輸出量進行仔細篩選，基于偏最小二乘回歸模型建立帶鋼熱鍍鋅質量控制模型。賀俊光等[9]根據(jù)冶金學以及對生產(chǎn)數(shù)據(jù)的相關分析結果，確定力學性能的主要影響因素，利用反向傳播(BP)神經(jīng)網(wǎng)絡算法建立了各種工藝參數(shù)對熱鍍鋅板力學性能影響的數(shù)學模型。上述特征篩選方法均是通過專家經(jīng)驗和冶金機理進行的，可能會忽略從冶金機理角度而言對力學性能影響尚不明確但實際上影響較大的特征。

隨著統(tǒng)計技術的發(fā)展，學者們開始通過數(shù)理方法對力學性能建模特征進行篩選。吳思煒等[10]采用平均影響值篩選出對力學性能影響較大的特征，然后采用貝葉斯神經(jīng)網(wǎng)絡建立簡化后的力學性能預測模型，該模型具有較高的預測精度。楊威等[11]基于隨機森林算法獲得各特征的重要性排序，建立一系列的模型來判斷各特征對模型預測精度影響的程度，最終篩選出重要性較高的特征作為自變量，所建立的力學性能預測模型具有較高的預測精度。上述方法僅基于數(shù)理知識篩選出對力學性能影響較大的特征，從而使建立的預測模型不適用于后續(xù)的力學性能控制。

梯度提升決策樹(Gradient Boosting Decision Tree，GBDT)算法[12]是基于Boosting策略的一種集成學習算法，其采用的Boosting策略主要關注降低偏差，通過依次學習多個基學習器來不斷提升性能。GBDT算法在分類、回歸問題上取得了優(yōu)異的成果。SONG等[13]基于多種機器學習模型建立鋼的拉伸強度和塑性與其影響因素之間的映射函數(shù)，對這些模型的性能進行評估后，發(fā)現(xiàn)基于GBDT算法的映射函數(shù)的預測精度最高。蘇興華等[14]以GBDT算法為核心建立機械鉆速預測模型，同時將該方法與支持向量機、邏輯回歸、K最鄰近等其他機器學習算法進行比較，結果表明GBDT算法相對其他方法具有較高的準確率。目前未見基于GBDT算法對熱鍍鋅鋼卷力學性能預測方面的研究報道。作者以DC51D低碳鋁鎮(zhèn)靜鋼產(chǎn)品為例，利用工藝和力學性能生產(chǎn)數(shù)據(jù)樣本，基于冶金機理選出熱鍍鋅鋼卷基本建模特征，通過GBDT算法篩選出對屈服強度影響較大的其他化學元素，基于篩選出來的特征建立屈服強度預測模型，再基于網(wǎng)格搜索法與交叉驗證方法對模型參數(shù)進行優(yōu)化，并利用模型分析不同特征對屈服強度的影響。

1 GBDT算法

1.1 建模過程

(1) 初始化學習器f0(x)的表達式為

(1)

式中：L(yi,γ)為損失函數(shù)；γ為使損失函數(shù)達到最小的常數(shù)。

對于回歸問題，GBDT算法采用平方誤差損失函數(shù)為損失函數(shù)，即：

L[y,f(x)]=[y-f(x)]2

(2)

式中：f(x)為機器學習模型預測值。

(2) 迭代輪數(shù)m取1,2,…,M，將此時損失函數(shù)的負梯度值rmi作為殘差的估計，即：

-2[yi-f(xi)]

(3)

根據(jù)所有樣本xi的負梯度值rmi得到由J個葉節(jié)點組成的一棵決策樹，定義其對應的葉節(jié)點區(qū)域為Rmj，其中j=1,2,…,J，各個葉節(jié)點的最佳殘差擬合值γmj為

(4)

式中：γm為在迭代輪數(shù)為m時的節(jié)點殘差擬合值。

更新學習器fm(x)，得到：

(5)

(6)

(3) 經(jīng)過M輪迭代得到最終的模型為

(7)

1.2 基于GBDT的相對特征重要性度量

GBDT是以CART決策樹為基模型的集成學習模型。在回歸問題中，CART決策樹利用平方誤差對分裂變量進行選擇，并遞歸地生成二叉樹。根據(jù)特征在GBDT模型生成過程中作為分裂變量的次數(shù)以及這一次分裂帶來的增益提升，得到特征變量在GBDT模型中的相對特征重要性。將相對特征重要性用RFI表示，將平方誤差用SE表示，假設特征集S有n個特征，即X1,X2,X3,…,Xn，則要計算出特征集S中的某個特征Xj的相對特征重要性RFIj。決策樹中節(jié)點d的平方誤差SEd的計算公式為

(8)

特征Xj在節(jié)點d的相對特征重要性，即在二叉分枝前后的平方誤差減小量RFIjd為

RFIjd=SEd-wlSEl-wrSEr

(9)

式中：SEl和SEr分別為由節(jié)點d分裂的左右新節(jié)點的平方誤差；wl和wr分別為節(jié)點d分裂的左右新節(jié)點的樣本數(shù)占節(jié)點d樣本數(shù)的比率。

平方誤差減小量實際上是該節(jié)點此次分裂的收益，節(jié)點分裂時的收益越大，該節(jié)點對應的特征的重要性越高。假設第i棵決策樹有L次分裂，從根節(jié)點到L-1層搜索所有分裂節(jié)點，假設特征Xj在第i棵決策樹中出現(xiàn)的節(jié)點在集合E中，那么特征Xj在第i棵決策樹中的相對特征重要性RFIij為

RFIij=∑d∈ERFIjd

(10)

假設模型中共有M棵樹，則特征Xj在模型中的相對特征重要性為

(11)

由上求出所有特征在模型中的相對特征重要性，并作歸一化處理得出特征Xj的相對特征重要性為

(12)

2 特征篩選與鋼卷力學性能預測建模

2.1 特征篩選

鋼卷力學性能預測建模的輸出特征為屈服強度。熱鍍鋅鋼卷的基本成分、軋制工藝參數(shù)以及連退工藝參數(shù)是明確的，從物理冶金角度分析，這些特征均對屈服強度有重要影響。在GBDT算法的特征重要性分析過程中，要利用生產(chǎn)樣本數(shù)據(jù)建立預測模型，根據(jù)各特征變化對屈服強度的影響程度來評定特征重要性?；贕BDT算法的特征重要性分析不但與特征和屈服強度之間的物理冶金關系有關，也依賴于數(shù)據(jù)樣本中各特征的變化程度。在實際生產(chǎn)過程中，基本化學特征以及工藝參數(shù)特征中的部分特征由于控制程度較好，波動范圍小，觀測值較為穩(wěn)定；這些數(shù)值穩(wěn)定的特征容易被GBDT算法篩去。如果直接采用GBDT算法篩選特征，則會將在冶金機理上對屈服強度影響明確的特征篩除，說明僅用GBDT算法進行特征篩選存在一定的局限性。因此，在建立力學性能預測模型時，應將這些在冶金機理方面對屈服強度影響明確的特征作為模型的基本建模特征，包括熱軋、退火、平整、拉矯等工藝參數(shù)，厚度、寬度等規(guī)格特征以及五大基本化學元素特征。在鋼冶煉過程中不可避免會有其他化學元素存在，這些元素的存在也可能會引起屈服強度的變化，需要采用GBDT算法對這些元素進行篩選。

2.1.1 基于冶金機理的基本建模特征選取

熱鍍鋅低碳鋁鎮(zhèn)靜鋼卷的生產(chǎn)工藝包括煉鋼、熱軋、冷軋、連續(xù)退火、平整和拉矯。在熱軋工藝參數(shù)中，熱軋入軋溫度的升高會使鐵素體晶粒度增大，熱軋卷取溫度決定組織中滲碳體的數(shù)量和形態(tài)，熱軋終軋溫度決定滲碳體在組織中的分布[15]。在退火工藝參數(shù)中，不同的退火均熱段溫度消除加工硬化的程度不同，退火直燃段溫度決定退火加熱速率，退火冷卻段溫度通過影響退火冷卻速率來改變產(chǎn)品的組織和力學性能。熱鍍機組速率代表連續(xù)退火速率，影響退火加熱和冷卻的快慢。平整延伸率增大會導致表層晶粒變形區(qū)域增大，使得屈服強度增加。拉矯有利于改善材料在縱向和橫向上的各向異性[16]。在規(guī)格特征中，熱卷厚度、冷卷厚度通過影響總壓下率而對屈服強度造成影響，寬度通過影響溫度分布而對屈服強度造成影響。鋼中的基本元素是碳、硅、錳、磷、硫，其中：碳是鋼的強化元素，隨著碳含量的增加，鋼的強度增加，塑性下降；硅能固溶于鐵素體，從而提高鋼的硬度和強度；錳是鋼中重要的合金元素，通過置換固溶提高鋼的強度；磷和硫是冶煉過程中原材料中存在的元素，雖然含量不高，但是易增加脆性，從而影響鋼的力學性能[17]。由此可知，熱鍍鋅鋼卷力學性能預測建模的基本特征包括工藝參數(shù)特征(熱軋入軋溫度、熱軋終軋溫度、熱軋卷取溫度、退火直燃段溫度、退火均熱段溫度、退火冷卻段溫度、熱鍍機組速率、平整延伸率、拉矯率)、規(guī)格特征(熱卷厚度、冷卷厚度、寬度)以及基本化學元素特征(碳、硅、錳、磷、硫含量)。

2.1.2 基于GBDT的其他化學元素特征篩選

熱鍍鋅鋼卷中的其他化學元素包括氮、鋁、鈦、鈮、硼、氧。為分析這些元素對力學性能的定量影響，將熱鍍鋅鋼卷力學性能預測建?；咎卣髋c這些化學元素一起作為建模輸入特征，利用Scikit-learn機器學習庫中的Gradient Boosting Regressor函數(shù)構建GBDT力學性能預測模型，得到氮、鋁、鈦、鈮、硼、氧元素含量對屈服強度的相對特征重要性，結果如圖1所示。由圖1可知，氮、鋁、鈦含量的相對特征重要性較大，而鈮、硼、氧含量的影響可以忽略。

圖1 熱鍍鋅鋼卷中其他化學元素含量的相對特征重要性Fig.1 Relative feature importance of other chemical elements in hot-dip galvanized steel coils

定量分析氮、鋁、鈦含量對屈服強度的影響。以氮含量為例，取氮含量在實際生產(chǎn)數(shù)據(jù)中的最小值、最大值以及最小值和最大值之間的3個四等分點，而除氮含量外的其他化學元素含量取建模數(shù)據(jù)中的平均值，利用GBDT模型計算屈服強度，分析氮含量在其取值范圍內(nèi)的變化對屈服強度的影響。由圖2可以看出，隨著氮、鋁含量的增大，屈服強度單調遞增，而隨著鈦含量的增大，屈服強度基本不變，說明與鈦含量相比，氮、鋁含量的變化對屈服強度的影響程度更大。通常鈦、鈮等微合金元素對鋼卷強度具有明顯的影響，但是所研究的熱鍍鋅鋼卷為鋁鎮(zhèn)靜鋼，在產(chǎn)品設計時，鈮、鈦元素是殘余元素，平均質量分數(shù)分別為0.000 13%，0.000 12%，因此二者含量對屈服強度的影響有限。綜上可知，將對屈服強度影響較大的氮、鋁含量也作為力學性能預測建模特征。

圖2 用GBDT模型計算得到熱鍍鋅鋼卷的屈服強度隨氮、鋁、鈦質量分數(shù)的變化曲線Fig.2 Curves of yield strength of hot dip galvanized steel coil vs mass fraction of N (a), Al (b) and Ti (c) by GBDT model

2.2 鋼卷力學性能預測建模與模型參數(shù)優(yōu)化

2.2.1 力學性能預測建模的交叉驗證方法

交叉驗證[18]將數(shù)據(jù)集劃分為訓練集和測試集，訓練集用于訓練模型，測試集用于評估模型，假設測試集數(shù)據(jù)和實際生產(chǎn)數(shù)據(jù)是獨立同分布的，那么測試集上的誤差可以近似看作是模型泛化誤差。將訓練集細分為訓練集和驗證集，在訓練集上訓練模型，利用驗證集上的誤差以幫助指導模型調參，防止模型欠擬合和過擬合[19]。在構建力學性能預測模型的過程中，需要對模型進行評估，根據(jù)評估指標選擇最佳模型。作者選用均方根誤差δRMSE、平均絕對誤差δMAE和平均絕對百分誤差δMAPE作為評估指標，計算公式分別為

(13)

(14)

(15)

式中：yi為第i條樣本的屈服強度實測值；pi為第i條樣本的屈服強度預測值。

2.2.2 模型參數(shù)優(yōu)化結果及分析

網(wǎng)格搜索法在參數(shù)空間每維上取若干分隔，將參數(shù)空間劃分為網(wǎng)格并遍歷網(wǎng)格中每個點獲得最優(yōu)解，其優(yōu)點是可以得到參數(shù)空間內(nèi)的全局最優(yōu)點，相比于人工調參可以得到更理想的結果[20]。表1為GBDT模型參數(shù)網(wǎng)格搜索范圍，基于特征篩選得到的19個特征，按照5…2…3的比例將建模數(shù)據(jù)隨機劃分為互斥的訓練集、驗證集和測試集，在訓練集上遍歷網(wǎng)格中的每個參數(shù)點訓練模型，在驗證集上計算出屈服強度的均方根誤差，選擇使均方根誤差達到最小的參數(shù)點作為網(wǎng)格搜索的結果，最終在測試集上驗證模型的預測精度。

表1 GBDT模型參數(shù)網(wǎng)格搜索范圍

在訓練集上利用Scikit-learn機器學習庫中的Gradient Boosting Regressor函數(shù)的默認參數(shù)(學習率0.1，樹的數(shù)量100，樹模型的最大深度3)建立GBDT模型，在驗證集上計算得到屈服強度的均方根誤差為11.292 MPa，平均絕對誤差為8.703 MPa，平均絕對百分誤差為2.791%；在測試集上計算得到屈服強度的均方根誤差為11.575 MPa，平均絕對誤差為8.974 MPa，平均絕對百分誤差為2.875%。進一步對模型參數(shù)進行調整優(yōu)化可以提高模型的性能和精度，經(jīng)過網(wǎng)格搜索得到的GBDT模型的最優(yōu)參數(shù)為學習率0.01，樹的數(shù)量600，樹模型的最大深度7。優(yōu)化前后模型的預測精度對比如表2所示。由表2可知：經(jīng)過模型參數(shù)優(yōu)化后，模型預測精度得到較大提升。

表2 GBDT模型參數(shù)優(yōu)化前后的預測精度

2.3 力學性能預測模型的分析與討論

在熱鍍鋅鋼卷生產(chǎn)過程中，化學元素特征、熱軋工藝參數(shù)特征和退火工藝參數(shù)特征的數(shù)值會有一定波動，基于模型分析這些特征變化對屈服強度的影響，有助于確定對屈服強度影響較大的特征。

碳、硅、錳、磷、硫含量為鋼卷力學性能預測建模的基本化學元素特征，利用優(yōu)化后的GBDT預測模型分析這些特征對屈服強度的影響，結果如圖3所示。由圖3可以看出：熱鍍鋅鋼卷的屈服強度隨碳、硅、錳、磷含量的增加而增大，隨硫含量的增加而減小，當碳、硅、錳含量變化時，屈服強度的變化幅度較大。在實際生產(chǎn)中，應嚴格控制碳、硅、錳含量的波動，從而保證鋼卷屈服強度的穩(wěn)定。

圖3 基于優(yōu)化后的GBDT預測模型得到基本化學元素含量特征對熱鍍鋅鋼卷屈服強度的影響Fig.3 Effect of basic chemical element content features on yield strength of hot-dip galvanized steel coils by optimized GBDT prediction model: (a) mass fraction of C; (b) mass fraction of Si; (c) mass fraction of Mn; (d) mass fraction of P and (e) mass fraction of S

熱軋工藝參數(shù)特征和退火工藝參數(shù)特征包含熱軋入軋溫度、熱軋終軋溫度、熱軋卷取溫度、退火直燃段溫度、退火均熱段溫度、退火冷卻段溫度，其對熱鍍鋅鋼卷屈服強度的影響如圖4所示。在熱軋工藝參數(shù)特征中，屈服強度隨熱軋入軋溫度、熱軋終軋溫度的升高而增大，隨熱軋卷取溫度的升高而減小。在退火工藝參數(shù)特征中，屈服強度隨退火直燃溫度、退火冷卻段溫度的升高而增大，隨退火均熱段溫度的升高而減小。隨著熱軋入軋溫度的升高，熱鍍鋅鋼卷中鐵素體的晶粒尺寸增大，珠光體的體積分數(shù)降低，因此熱鍍鋅鋼卷屈服強度隨熱軋入軋溫度的升高而增大[21]。熱軋入軋溫度的變化范圍較大，且熱軋入軋溫度變化引起的屈服強度變化幅度較大；由于所有樣本數(shù)據(jù)來自于相對穩(wěn)定的實際生產(chǎn)過程，因此應從操作人員、設備、環(huán)境等方面提高控制熱軋入軋溫度的能力，從而控制屈服強度的穩(wěn)定性。

圖4 基于優(yōu)化后的GBDT預測模型得到熱軋工藝參數(shù)特征和退火工藝參數(shù)特征對熱鍍鋅鋼卷屈服強度的影響Fig.4 Effect of hot rolling features and annealing features on yield strength of hot-dip galvanized steel coils by optimized GBDT prediction model: (a) hot rolling in-rolling temperature; (b) hot rolling end-rolling temperature; (c) hot rolling coiling temperature; (d) annealing direct firing section temperature; (e) annealing soaking zone temperature and (f) annealing cooling section temperature

3 結 論

(1) 熱鍍鋅鋼卷力學性能預測建模的基本特征包括工藝參數(shù)特征(熱軋入軋溫度、熱軋終軋溫度、熱軋卷取溫度、退火直燃段溫度、退火均熱段溫度、退火冷卻段溫度、熱鍍機組速率、平整延伸率、拉矯率)、規(guī)格特征(熱卷厚度、冷卷厚度、寬度)以及基本化學元素特征(碳、硅、錳、磷、硫含量)；基于GBDT篩選出的對熱鍍鋅鋼卷屈服強度影響較大的其他化學元素特征為氮、鋁含量。

(2) 通過網(wǎng)格搜索與交叉驗證方法對GBDT力學性能預測模型參數(shù)進行優(yōu)化，最優(yōu)參數(shù)為學習率0.01，樹的數(shù)量600，樹模型的最大深度7，此時在測試集上測得屈服強度的均方根誤差為10.671 MPa，平均絕對誤差為8.244 MPa，平均絕對百分誤差為2.641%，模型預測精度比模型參數(shù)優(yōu)化前的明顯提高，可應用于預測工業(yè)生產(chǎn)中鋼卷的力學性能。

(3) 當碳、硅、錳含量變化或熱軋入軋溫度變化時，鋼卷屈服強度的變化幅度較大，因此在實際生產(chǎn)中，應嚴格控制碳、硅、錳含量的波動，并提高控制熱軋入軋溫度的能力，從而控制屈服強度的穩(wěn)定性。