熱鍍鋅鋼卷力學(xué)性能GBDT預(yù)報(bào)模型

王 偉，匡禎輝，謝少捷，白振華

(1. 福州大學(xué)機(jī)械工程及自動(dòng)化學(xué)院，福建 福州 350108; 2. 燕山大學(xué)機(jī)械工程學(xué)院，河北 秦皇島 066004)

0 引言

熱鍍鋅鋼卷廣泛應(yīng)用于汽車、 建筑和橋梁等許多領(lǐng)域，力學(xué)性能是其重要質(zhì)量指標(biāo)之一[1]. 熱鍍鋅生產(chǎn)工藝涵蓋煉鋼、 熱軋、 冷軋、 退火、 鍍鋅和平整等多道工序，包含眾多對(duì)力學(xué)性能有影響的工藝參數(shù). 這些工藝參數(shù)共同控制鋼材組織演變并最終影響力學(xué)性能. 熱鍍鋼卷力學(xué)性能預(yù)報(bào)是鋼卷力學(xué)性能質(zhì)量控制的重要基礎(chǔ)，準(zhǔn)確的力學(xué)性能預(yù)報(bào)模型為鋼種優(yōu)化、 生產(chǎn)工藝設(shè)計(jì)提供依據(jù)，同時(shí)還可減少力學(xué)性能抽檢帶來的人力和物力的耗損，從而有效提高產(chǎn)品質(zhì)量并降低生產(chǎn)成本[2]. 傳統(tǒng)的預(yù)報(bào)建模是通過成分和工藝先建立組織模型，再根據(jù)組織模型建立力學(xué)性能預(yù)報(bào)模型的[3]. 但冶金生產(chǎn)流程長(zhǎng)，工藝參數(shù)多, 導(dǎo)致機(jī)理模型建模過程復(fù)雜，穩(wěn)定性差. 隨著工業(yè)大數(shù)據(jù)時(shí)代的到來，基于數(shù)據(jù)驅(qū)動(dòng)的智能建模方法越來越多地應(yīng)用于鍍鋅鋼卷力學(xué)性能預(yù)報(bào)建模[4].

BP神經(jīng)網(wǎng)絡(luò)模型是過去10年應(yīng)用最廣泛的熱鍍產(chǎn)品力學(xué)性能非線性預(yù)報(bào)模型. 賀俊光等[5]以化學(xué)成分、 溫度參數(shù)和冷軋壓下率等屬性作為輸入，建立可行的鍍鋅板抗拉強(qiáng)度BP神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)模型. 吳思煒等[6]利用Bayes神經(jīng)網(wǎng)絡(luò)建立了多種牌號(hào)C-Mn鋼力學(xué)性能的預(yù)測(cè)模型. Ordieres等[7]采用主成分分析法進(jìn)行降維聚類，根據(jù)聚類分析結(jié)果將產(chǎn)品數(shù)據(jù)細(xì)分成不同的工藝模式，進(jìn)而建立多工藝模式的神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)模型. Sanz-Garcia A等[8]采用集成學(xué)習(xí)方法建立高精度的鍍鋅產(chǎn)品力學(xué)性能集成神經(jīng)網(wǎng)絡(luò)模型，從而增加預(yù)報(bào)模型的魯棒性. 神經(jīng)網(wǎng)絡(luò)模型表現(xiàn)出較好的預(yù)報(bào)精度，但模型的可解釋性不強(qiáng)，建模時(shí)神經(jīng)元個(gè)數(shù)和隱含層層數(shù)等模型結(jié)構(gòu)參數(shù)的選擇尚無(wú)科學(xué)依據(jù)，需要從實(shí)踐中總結(jié)經(jīng)驗(yàn)，使得模型開發(fā)時(shí)間相對(duì)較長(zhǎng)，模型調(diào)優(yōu)困難.

機(jī)器學(xué)習(xí)中的其他非線性模型,如隨機(jī)森林(random forest，RF)、 自適應(yīng)提升AdaBoost(adaptive boosting, AdaBoost)[9]和梯度提升樹(gradient boosting decision tree，GBDT)[10]是以決策樹為基模型的集成學(xué)習(xí)模型，精度高，可解釋性強(qiáng)[11]. 楊威等[12]采用隨機(jī)森林實(shí)現(xiàn)高精度預(yù)報(bào)鋼材抗拉強(qiáng)度，并篩選重要性高的屬性集合對(duì)模型進(jìn)行解釋. 三種集成學(xué)習(xí)方法中，RF模型關(guān)注降低預(yù)測(cè)結(jié)果的方差，注重模型的穩(wěn)定性，GBDT和AdaBoost關(guān)注降低預(yù)測(cè)值與實(shí)際值偏差，更注重模型的精度[13]. AdaBoost和GBDT兩者區(qū)別在于boosting策略不同，AdaBoost通過不斷改變樣本權(quán)重提升模型性能，而GBDT則是通過不斷擬合上一顆樹殘差來提升性能[14].

結(jié)合工廠數(shù)據(jù)集研究基于GBDT的力學(xué)性能預(yù)報(bào)問題，以屈服強(qiáng)度預(yù)報(bào)為例介紹基于互信息差算法(mutual information difference，MID)的屬性選擇、 交叉驗(yàn)證數(shù)據(jù)集切分以及模型建立的關(guān)鍵步驟，并對(duì)GBDT、 RF、 AdaBoost和BP四種模型力學(xué)性能預(yù)報(bào)結(jié)果進(jìn)行比較.

1 基于GBDT理論的熱鍍鋅鋼卷力學(xué)性能預(yù)報(bào)方法

1.1 熱鍍鋅鋼卷力學(xué)性能預(yù)報(bào)過程

熱鍍鋅鋼卷力學(xué)性能預(yù)報(bào)流程如圖1所示. 首先對(duì)工廠采集的數(shù)據(jù)進(jìn)行清洗、 去噪，確定條件屬性集和目標(biāo)屬性. 采用互信息差法篩選條件屬性，建立完備數(shù)據(jù)集. 通過基于隨機(jī)同分布數(shù)據(jù)劃分方法劃分建模數(shù)據(jù)集和測(cè)試集，利用網(wǎng)格搜索法確定最優(yōu)GBDT模型參數(shù). 以五折交叉驗(yàn)證技術(shù)充分利用建模數(shù)據(jù)訓(xùn)練模型，然后以相同的流程建立對(duì)比模型. 根據(jù)GBDT模型和對(duì)比模型在訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)上的預(yù)測(cè)結(jié)果，進(jìn)行分析評(píng)價(jià).

圖1 熱鍍鋅鋼卷力學(xué)性能預(yù)報(bào)流程圖Fig.1 Prediction process of mechanical properties of hot-dip galvanized steel coils

1.2 梯度提升樹算法

GBDT是以分類回歸樹(classification and regression tree, CART)為基模型的集成學(xué)習(xí)算法. GBDT基于Boosting迭代的思想，除了第1棵決策樹采用原始預(yù)測(cè)指標(biāo)生成外，每一輪迭代中的目標(biāo)都是擬合當(dāng)前模型的殘差. 令當(dāng)前學(xué)習(xí)器的損失函數(shù)最小化，通過不斷迭代使最終殘差趨近于0，將所有樹的結(jié)果累加起來便可得到最終的預(yù)測(cè)結(jié)果[15].

1) 初始化估計(jì)使損失函數(shù)極小化的常數(shù)值，它是只有一個(gè)根結(jié)點(diǎn)的樹：

(1)

式中：f0(x)為只有一個(gè)根節(jié)點(diǎn)的樹；L(yi,c)為損失函數(shù)，其中yi為第i個(gè)訓(xùn)練數(shù)據(jù)，c為使損失函數(shù)最小化的常數(shù).

2) 令迭代次數(shù)為m=1, 2, … ,M,

a) 對(duì)樣本i=1, 2, …,N, 計(jì)算損失函數(shù)的負(fù)梯度在當(dāng)前模型的值，將它作為殘差的估計(jì)：

(2)

b) 估計(jì)回歸樹葉結(jié)點(diǎn)區(qū)域，以擬合殘差的近似值，對(duì)rmj擬合一個(gè)回歸樹，得到第m棵樹的葉結(jié)點(diǎn)區(qū)域Rmj，j=1, 2, …,J;

c) 對(duì)j=1, 2, …,J，利用線性搜索估計(jì)葉結(jié)點(diǎn)區(qū)域的值，使損失函數(shù)極小化：

(3)

d) 更新學(xué)習(xí)器fm(x):

(4)

3) 將所有學(xué)習(xí)器得到的cmj值在相同的葉結(jié)點(diǎn)區(qū)域累加，得到最終回歸樹為：

(5)

1.3 基于五折交叉驗(yàn)證的模型數(shù)據(jù)集劃分

在模型訓(xùn)練與評(píng)估開始前要進(jìn)行各階段數(shù)據(jù)集準(zhǔn)備，采用隨機(jī)同分布與五折交叉驗(yàn)證理論劃分訓(xùn)練集、 驗(yàn)證集和測(cè)試集. 首先將完備數(shù)據(jù)集以7∶3的比例隨機(jī)同分布劃分出建模數(shù)據(jù)集和測(cè)試集； 其次采用交叉驗(yàn)證法對(duì)用于模型訓(xùn)練的建模數(shù)據(jù)集進(jìn)行劃分，將建模數(shù)據(jù)集劃分成5個(gè)大小相似，分布一致的互斥子集，每次使用其中4個(gè)子集的并集作為訓(xùn)練集，余下的一個(gè)子集作為驗(yàn)證集，利用劃分好的5份建模數(shù)據(jù)集，分別建立5個(gè)模型，最后將5個(gè)模型在測(cè)試集樣本上預(yù)測(cè)結(jié)果的平均值作為模型輸出. 如圖2所示，五折交叉驗(yàn)證訓(xùn)練模型的驗(yàn)證集依次為D5,D4,D3,D2,D1，等價(jià)于采用全部建模數(shù)據(jù)用于監(jiān)督模型訓(xùn)練，使數(shù)據(jù)利用率達(dá)100%.

圖2 五折交叉驗(yàn)證技術(shù)Fig.2 Five-fold cross-validation technology

2 基于互信息差的力學(xué)性能預(yù)報(bào)模型條件屬性篩選

2.1 篩選方法

互信息作為評(píng)價(jià)條件屬性對(duì)目標(biāo)屬性貢獻(xiàn)的信息量，是衡量信息相關(guān)性的一種方法[16]，不僅可用來評(píng)估屬性之間的線性關(guān)系，而且能很好地評(píng)估屬性間的非線性關(guān)系. 其計(jì)算公式為：

(6)

(7)

(8)

式中：熵H(X)為X不確定性的度量，熵越大表示隨機(jī)屬性的隨機(jī)性越大；I(X,Y)表示熵值的減少量；H(X|Y)為X對(duì)Y的條件信息熵，其中X包括隨機(jī)屬性所有可能的取值；p(x)為某個(gè)值x出現(xiàn)的次數(shù)；p(x,y)為兩個(gè)隨機(jī)屬性(X,Y)的聯(lián)合概率密度函數(shù)；p(x|y)為給定Y時(shí)X的條件概率.

互信息法可以在待選條件屬性中選出與目標(biāo)屬性具有最大相關(guān)性的條件屬性，但卻忽略了已選條件屬性之間存在的信息冗余. 而互信息差算法將信息冗余作為懲罰項(xiàng)引入評(píng)價(jià)函數(shù)，降低了已選屬性之間的信息冗余. MID算法的公式為:

(9)

互信息差J(fi)綜合反映了待選屬性與目標(biāo)屬性以及已選屬性集之間的相關(guān)關(guān)系，互信息差越大，表明待選屬性對(duì)目標(biāo)屬性相關(guān)性大、 更重要，而與已選屬性子集的相關(guān)性小、 冗余更小，從而能保證篩選出來的屬性集不但對(duì)目標(biāo)屬性影響大，而且冗余小. 互信息差算法具體流程如下(以篩選條件屬性為例)：

1) 初始化已選屬性集合S(初始空集)； 初始化待選條件屬性集合F(包含全部的n個(gè)變量).

2) 選擇待選條件屬性fi∈F，通過式(8)計(jì)算fi與目標(biāo)屬性Y之間的互信息.

3) 選擇首屬性：選擇2)步中互信息值最大的條件屬性作為首屬性，并將計(jì)算出的互信息值進(jìn)行排序.

4) 循環(huán)計(jì)算待選條件屬性fi與已選條件屬性fj之間的互信息，并且根據(jù)評(píng)價(jià)準(zhǔn)則(9)選擇互信息差J(fi)最大的待選條件屬性fi作為下一屬性； 更新F=F-{fi}，S=S+{fi}，直到所選條件屬性個(gè)數(shù)達(dá)到預(yù)設(shè)變量數(shù)k，并輸出條件屬性集結(jié)果.

2.2 篩選結(jié)果及分析

工廠實(shí)際生產(chǎn)過程中，受外界環(huán)境、 鋼材成分波動(dòng)、 生產(chǎn)工藝變化的干擾，導(dǎo)致實(shí)際工業(yè)數(shù)據(jù)存在噪聲，模型預(yù)測(cè)精度會(huì)大大降低. 因此, 根據(jù)統(tǒng)計(jì)學(xué)拉衣達(dá)準(zhǔn)則和冶金知識(shí)對(duì)原始數(shù)據(jù)進(jìn)行清洗、 去噪，建立完備數(shù)據(jù)集.

熱鍍鋅鋼卷屈服強(qiáng)度Re范圍為[280, 350]MPa, 抗拉強(qiáng)度Rm范圍為[335, 399]MPa，斷后延伸率d范圍為[26.5%,35.5%]. 其中屈服強(qiáng)度與影響因素關(guān)系更復(fù)雜，屈服強(qiáng)度波動(dòng)范圍較大，屈服強(qiáng)度預(yù)報(bào)及過程控制更難. 以屈服強(qiáng)度作為目標(biāo)屬性開展力學(xué)性能預(yù)報(bào)研究，相關(guān)的方法也適用于其他兩個(gè)力學(xué)性能指標(biāo).

影響熱鍍鋅鋼卷力學(xué)性能的主要因素包括化學(xué)成分、 熱軋工藝參數(shù)、 冷軋工藝參數(shù)、 連續(xù)退火工藝參數(shù)、 平整和拉矯工藝參數(shù). 化學(xué)成分是力學(xué)性能的基礎(chǔ)，碳、 錳含量變化對(duì)帶鋼抗拉力學(xué)性能有明顯影響，屈服強(qiáng)度隨鋁質(zhì)量分?jǐn)?shù)的增大而減小、 有利于提高沖壓性能，N含量過高會(huì)影響鋼卷表面質(zhì)量和加工性能，Nb、 Ti等微量合金通過細(xì)化晶粒和沉淀強(qiáng)化影響鋼卷的力學(xué)性能. 熱軋加熱、 終軋以及卷取溫度影響鐵素體晶粒大小以及氮化鋁析出物的含量. 冷軋壓下率對(duì)冷軋帶鋼中軋制織構(gòu)和后道退火工序中再結(jié)晶織構(gòu)有重要影響. 帶鋼在連續(xù)退火爐中通過加熱、 保溫、 冷卻，消除冷軋后的加工硬化和實(shí)現(xiàn)再結(jié)晶過程，從而影響力學(xué)性能. 平整通過小壓下量的軋制變形，消除明顯的屈服延伸，改善板形，獲得所需要的帶鋼表面形貌. 拉矯通過對(duì)鋼材拉伸彎曲矯直，改善板形、 力學(xué)性能.

將影響力學(xué)性能的主要因素作為條件屬性，包括尺寸參數(shù)、 化學(xué)成分和工藝參數(shù)共50維屬性. 其中尺寸參數(shù)與冷軋壓下率有關(guān)，熱軋、 退火、 平整和拉矯工藝參數(shù)包括每個(gè)鋼卷的最大值、 最小值和平均值.

條件屬性維數(shù)較大，屬性之間存在一定的相互耦合，因此需要運(yùn)用統(tǒng)計(jì)分析進(jìn)行篩選. 圖3為退火工藝參數(shù)皮爾遜相關(guān)系數(shù)圖，圖中每一個(gè)格子中的數(shù)字代表橫縱坐標(biāo)軸對(duì)應(yīng)兩條件屬性的皮爾遜相關(guān)系數(shù). 系數(shù)反映兩個(gè)屬性的線性相關(guān)程度，值越大代表這兩個(gè)屬性之間的線性相關(guān)性越高[17]. 圖3中退火工藝各階段溫度變量大部分相關(guān)性在0.8以上，參數(shù)之間強(qiáng)線性相關(guān)，但皮爾遜相關(guān)性會(huì)忽略掉屬性間的非線性關(guān)系. 下面采用互信息差進(jìn)行條件屬性篩選，考慮到化學(xué)成分和工藝參數(shù)維度不同，分兩組獨(dú)立篩選. 最終以互信息差為指標(biāo)綜合選出 25 維條件屬性作為模型輸入.

圖3 退火溫度皮爾遜相關(guān)性熱力圖Fig.3 Annealing temperature Pearson correlation heat map

對(duì)化學(xué)成分的篩選如表1所示，以互信息差MID值為指標(biāo)進(jìn)行降序排列. 其中，首屬性Mn的互信息和互信息差具有相同的大小0.28，表明Mn含量對(duì)目標(biāo)屬性貢獻(xiàn)大； 屬性Nb互信息值為0.14, 但互信息差MID值卻為-0.01，表明Nb元素雖然對(duì)目標(biāo)屬性有較大貢獻(xiàn), 但與已選化學(xué)元素對(duì)力學(xué)性能的作用相近，因此被剔除. 選擇互信息差大于0的9個(gè)化學(xué)成分.

表1 化學(xué)成分篩選結(jié)果Tab.1 Chemical attribute selection results

工藝參數(shù)篩選結(jié)果如表2所示，以互信息差MID值為指標(biāo)進(jìn)行降序排列. 篩選出包括熱鍍機(jī)組速度、 退火直燃段溫度、 退火均段熱度、 退火冷卻段溫度、 平整延伸率、 拉矯率和熱軋終軋溫度, 熱軋卷取溫度包括最大(小)值和平均值在內(nèi)的互信息差大于0的14個(gè)工藝參數(shù). 退火冷卻段溫度3個(gè)統(tǒng)計(jì)量中，退火冷卻段溫度最大值的互信息差最小為0.032，但互信息差依舊排在前五位，表明退火冷卻段溫度統(tǒng)計(jì)信息十分重要, 均被保留； 熱軋卷取溫度均值互信息差為-0.001, 表明熱軋卷取溫度均值與已選屬性集冗余，應(yīng)剔除.

表2 工藝參數(shù)篩選結(jié)果Tab.2 Process parameters selection results

3 熱鍍鋅鋼卷力學(xué)性能預(yù)報(bào)建模結(jié)果與分析

原始數(shù)據(jù)樣本經(jīng)過清洗后，獲取4 780組高質(zhì)量數(shù)據(jù)，構(gòu)成完備數(shù)據(jù)集. 以7∶3比例劃分，其中3 346條數(shù)據(jù)構(gòu)成建模數(shù)據(jù)集，剩余1 434條數(shù)據(jù)構(gòu)成測(cè)試集. 將篩選后的條件屬性作為模型輸入屬性，采用五折交叉驗(yàn)證技術(shù)將建模數(shù)據(jù)集劃分為5份，每次取4份用于模型訓(xùn)練，剩余一份作為模型驗(yàn)證. 針對(duì)力學(xué)性能預(yù)報(bào)建模，以屈服強(qiáng)度為例進(jìn)行5次GBDT建模訓(xùn)練，將5次模型預(yù)測(cè)結(jié)果的平均值作為輸出. 同時(shí)建立AdaBoost、 RF和BP模型，在建模數(shù)據(jù)、 建模輸入屬性和數(shù)據(jù)劃分方式不變的情況下，對(duì)模型的預(yù)測(cè)結(jié)果進(jìn)行比較.

模型預(yù)測(cè)結(jié)果比較采用平均絕對(duì)誤差(mean absolute error, MAE)和均方根誤差(root mean squared error, RMSE)兩個(gè)指標(biāo)，其中，MAE反映預(yù)測(cè)值和真實(shí)值之間的偏差，RMSE代表預(yù)測(cè)值和真實(shí)值之間差值的標(biāo)準(zhǔn)差.

(10)

式中：N為總樣本數(shù)；yi為第i條樣本的真實(shí)值；pi為第i條樣本的預(yù)測(cè)值.

3.1 力學(xué)性能預(yù)報(bào)建模的實(shí)現(xiàn)

力學(xué)性能預(yù)報(bào)建模采用Ubuntu16.04系統(tǒng)和Python3.6平臺(tái), 利用Python平臺(tái)Scikit-Learn庫(kù)和TensorFlow庫(kù)實(shí)現(xiàn)集成學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)算法. 力學(xué)性能預(yù)報(bào)建模步驟如下：

1) 通過Pandas庫(kù)導(dǎo)入工廠數(shù)據(jù)集并去噪，利用Scikit-Learn庫(kù)實(shí)現(xiàn)互信息差算法對(duì)樣本數(shù)據(jù)的屬性篩選，同時(shí)設(shè)定GBDT的初始參數(shù).

2) 調(diào)用Scikit-Learn庫(kù)中的train_test_split函數(shù)按比例將樣本隨機(jī)劃分為同分布的建模數(shù)據(jù)集和測(cè)試集.

3) 在建模數(shù)據(jù)集上采用網(wǎng)格搜索法在模型超參數(shù)空間進(jìn)行搜索，優(yōu)化模型參數(shù)，并記錄最優(yōu)模型參數(shù).

4) 利用最優(yōu)模型參數(shù)與五折交叉驗(yàn)證技術(shù)，建立力學(xué)性能預(yù)測(cè)模型.

3.2 預(yù)報(bào)建模結(jié)果及分析

3.2.1數(shù)據(jù)集切分及模型參數(shù)調(diào)優(yōu)結(jié)果

圖4為樣本數(shù)據(jù)集隨機(jī)分層采樣切分后建模數(shù)據(jù)集和測(cè)試集屈服強(qiáng)度的高斯核分布，該圖表明建模數(shù)據(jù)集和測(cè)試集的分布具有一致性.

圖4 建模數(shù)據(jù)集和測(cè)試集的屈服強(qiáng)度高斯核分布Fig.4 Gauss kernel distribution of yield strength for model training set and test set

在建模數(shù)據(jù)集上劃分出訓(xùn)練集和驗(yàn)證集，結(jié)合網(wǎng)格搜索法在建模數(shù)據(jù)集上進(jìn)行4個(gè)模型的參數(shù)優(yōu)化. 其中GBDT模型有1個(gè)子樣本，其最優(yōu)參數(shù)為決策樹個(gè)數(shù)500，最大深度為7，葉節(jié)點(diǎn)最小樣本數(shù)2，學(xué)習(xí)率0.1, 如表3所示； RF模型最優(yōu)參數(shù)為決策樹個(gè)數(shù)500，最大深度為6，葉節(jié)點(diǎn)最小樣本數(shù)2； Adaboost模型最優(yōu)參數(shù)為決策樹個(gè)數(shù)500，學(xué)習(xí)率0.1； BP模型選用雙隱層，神經(jīng)元個(gè)數(shù)分別為32、 16，采用relu激活函數(shù)，優(yōu)化算法為學(xué)習(xí)率自適應(yīng)算法(adaptive moments, Adam).

3.2.2力學(xué)性能預(yù)報(bào)模型預(yù)報(bào)結(jié)果的比較及分析

在相同建模數(shù)據(jù)集情況下，四種預(yù)報(bào)模型五折交叉驗(yàn)證建模的訓(xùn)練集和驗(yàn)證集誤差統(tǒng)計(jì)結(jié)果如表3所示. 表3中平均值和標(biāo)準(zhǔn)差為模型交叉驗(yàn)證且訓(xùn)練5次的訓(xùn)練集和驗(yàn)證集的均方根誤差和平均絕對(duì)誤差的統(tǒng)計(jì)值. 測(cè)試集樣本取五折訓(xùn)練模型的5次預(yù)測(cè)結(jié)果平均值為最終預(yù)測(cè)結(jié)果. 四種預(yù)報(bào)模型測(cè)試集均方根誤差和平均絕對(duì)誤差統(tǒng)計(jì)結(jié)果如表4所示.

表3 預(yù)報(bào)模型訓(xùn)練集和驗(yàn)證集誤差統(tǒng)計(jì)Tab.3 Training set and validation set errors of the prediction model

表4 四種預(yù)報(bào)模型測(cè)試集誤差統(tǒng)計(jì)Tab.4 Test set errors of four yield strength prediction model

表3中訓(xùn)練集的均方根誤差和平均絕對(duì)誤差的平均值反映模型訓(xùn)練的精度，標(biāo)準(zhǔn)差反映模型訓(xùn)練結(jié)果的穩(wěn)定性. 表4中測(cè)試集均方根誤差和平均絕對(duì)誤差既反映測(cè)試集預(yù)測(cè)精度，也反映了模型的泛化能力. 從表3、 4四種模型預(yù)測(cè)結(jié)果的對(duì)比，可得到如下結(jié)論.

1) 從表3模型訓(xùn)練集精度來看，無(wú)論是均方根誤差均值還是平均絕對(duì)誤差均值，集成學(xué)習(xí)模型的誤差都小于BP模型誤差，這表明在小樣本情況下集成學(xué)習(xí)表現(xiàn)出更強(qiáng)的數(shù)據(jù)擬合能力. RF和AdaBoost兩個(gè)模型誤差接近，而GBDT模型的訓(xùn)練集和驗(yàn)證集的均方根誤差均值分別為7.52、 9.28 MPa，明顯小于其他兩個(gè)集成學(xué)習(xí)模型，表明GBDT模型訓(xùn)練精度最高. GBDT模型的基模型采用殘差擬合的方法進(jìn)行訓(xùn)練，相比于其他模型精度更高，對(duì)數(shù)據(jù)的擬合能力更強(qiáng).

2) 從表3模型訓(xùn)練集結(jié)果的穩(wěn)定性來看，BP模型的均方根誤差標(biāo)準(zhǔn)差和平均絕對(duì)誤差平均值最大，遠(yuǎn)高于集成學(xué)習(xí)模型，表明BP模型訓(xùn)練結(jié)果穩(wěn)定性小于集成學(xué)習(xí)模型. 五折訓(xùn)練時(shí)每次的訓(xùn)練集樣本存在一定的分布差異，而BP屬于單模型訓(xùn)練對(duì)數(shù)據(jù)分布差異更為敏感，造成五折交叉驗(yàn)證訓(xùn)練的模型性能差異. 集成學(xué)習(xí)屬于多模型，能夠一定程度上消解由于數(shù)據(jù)分布差異造成的訓(xùn)練結(jié)果的差異性，從而提高模型訓(xùn)練的穩(wěn)定性. 三種集成學(xué)習(xí)模型中，RF模型五折訓(xùn)練均方根誤差的標(biāo)準(zhǔn)差最小為0.05 MPa，表明RF的穩(wěn)定性最好. RF模型通過重采樣訓(xùn)練多個(gè)相互獨(dú)立的基模型，再對(duì)預(yù)測(cè)結(jié)果求平均，降低了模型總體方差，五折訓(xùn)練的標(biāo)準(zhǔn)差最小.

3) 從表3各模型五折訓(xùn)練總時(shí)長(zhǎng)來看，訓(xùn)練時(shí)間均小于13 s，滿足工業(yè)上在線訓(xùn)練的需求. 其中GBDT模型訓(xùn)練總時(shí)長(zhǎng)為9 s，RF模型訓(xùn)練總時(shí)長(zhǎng)最短為6 s. 模型訓(xùn)練過程中，GBDT模型串行生成基學(xué)習(xí)器，而RF的基學(xué)習(xí)器采用并行生成方法，訓(xùn)練速度更快.

4) 從表4模型泛化性能來看，GBDT模型測(cè)試集均方根誤差和平均絕對(duì)誤差分別為9.64、 7.32 MPa，同時(shí)模型測(cè)試集誤差與驗(yàn)證集誤差接近，這表明GBDT模型在未知數(shù)據(jù)上依舊能表現(xiàn)出較好的預(yù)測(cè)性能，具有一定的泛化能力.

3.2.3GBDT模型預(yù)測(cè)結(jié)果的統(tǒng)計(jì)及分析

GBDT模型無(wú)論是訓(xùn)練精度還是泛化能力都具有較好的性能. GBDT模型測(cè)試集預(yù)測(cè)值和真實(shí)值的詳細(xì)統(tǒng)計(jì)結(jié)果如表5所示，統(tǒng)計(jì)量包括最大(小)值、 平均值、 方差、 中位數(shù)和90%分位數(shù). 從數(shù)據(jù)分布來看，屈服強(qiáng)度真值與預(yù)測(cè)值的平均值和方差相接近，表明模型學(xué)習(xí)到正確的規(guī)律. 從絕對(duì)誤差來看，90%的數(shù)據(jù)樣本預(yù)報(bào)誤差的絕對(duì)誤差小于14.24 MPa. 圖5展示了GBDT模型預(yù)測(cè)值與實(shí)測(cè)值的對(duì)比，圖中預(yù)測(cè)值和真實(shí)值相對(duì)誤差在6%以內(nèi)的樣本數(shù)據(jù)比例為94.6%.

表5 GBDT屈服強(qiáng)度測(cè)試集預(yù)報(bào)結(jié)果統(tǒng)計(jì)分析Tab.5 Statistical analysis of forecast results of yield strength test set of GBDT model (MPa)

圖5 GBDT模型屈服強(qiáng)度預(yù)測(cè)值和真實(shí)值對(duì)比Fig.5 Comparison of predicted and measured yield strength of GBDT model

4 結(jié)語(yǔ)

針對(duì)熱鍍建模數(shù)據(jù)多維度、 存在數(shù)據(jù)噪聲以及屬性之間的冗余問題，通過互信息法篩選獲取高信息量條件屬性集，可大幅縮減模型輸入屬性子集維度, 減少訓(xùn)練時(shí)間, 提升模型的穩(wěn)定性. 通過建模數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的同分布數(shù)據(jù)切分，以及建模數(shù)據(jù)集五折交叉訓(xùn)練進(jìn)行基于GBDT的熱鍍力學(xué)性能建模，模型驗(yàn)證集精度和測(cè)試集精度一致，表明建模方法在保證模型泛化能力的同時(shí)，避免了模型過度擬合.

熱鍍力學(xué)性能預(yù)報(bào)模型預(yù)報(bào)結(jié)果比較表明，GBDT、 RF、 AdaBoost 三種集成學(xué)習(xí)模型在訓(xùn)練效率、 預(yù)報(bào)精度以及在測(cè)試數(shù)據(jù)上的泛化能力優(yōu)于 BP 模型； 三種集成學(xué)習(xí)模型中，GBDT 預(yù)報(bào)精度和泛化能力最好，在熱鍍力學(xué)性能預(yù)報(bào)建模中有明顯優(yōu)勢(shì).