深度信念網(wǎng)絡(luò)算法下的熱連軋板凸度預(yù)測模型

郝學(xué)斌

（河鋼集團(tuán) 邯鋼公司邯寶熱軋廠， 河北 邯鄲056003）

板帶鋼板形是判斷帶鋼質(zhì)量好壞的重要指標(biāo)之一.板形控制在生產(chǎn)過程中涉及軋制工藝、機械和控制等多個領(lǐng)域，如何實現(xiàn)高精度、高效率的板形控制成為這些領(lǐng)域研究者不斷探索的研究方向［1-3］.由于板形執(zhí)行機構(gòu)數(shù)量多、控制變量復(fù)雜以及板形執(zhí)行機構(gòu)與檢測裝置之間存在延時性，使得板形控制比厚度控制更加復(fù)雜，無論是引進(jìn)的還是自主集成的自動化系統(tǒng)，均存在不同程度的板形控制穩(wěn)定性差的現(xiàn)象.在規(guī)格切換、鋼種切換和換輥后首卷等非穩(wěn)態(tài)條件下的帶鋼，其板形控制精度無法單純地通過改變軋制工藝和軋制設(shè)備來改善，因此，對非穩(wěn)態(tài)軋制過程中的現(xiàn)場數(shù)據(jù)和控制機理模型進(jìn)行分析、優(yōu)化是板帶熱軋過程中亟待解決的熱點問題.

在非穩(wěn)態(tài)軋制過程中，帶鋼容易產(chǎn)生不均勻變形而出現(xiàn)浪形和頭尾翹曲等板形缺陷，這會加大板形控制的難度，嚴(yán)重影響產(chǎn)品質(zhì)量，大大降低板材的成材率.王建輝等［4］利用粒子群優(yōu)化算法，并用適應(yīng)度方差對適應(yīng)度函數(shù)進(jìn)行了改善，根據(jù)負(fù)荷分配優(yōu)化策略，給出的目標(biāo)函數(shù)具有了板形和板厚的最小方差，對精軋機組負(fù)荷分配進(jìn)行了優(yōu)化，板形質(zhì)量得到了改善.段建輝等［5］研究了非穩(wěn)態(tài)軋制過程中溫度、速度、張力等參量對帶鋼厚度的影響，利用神經(jīng)網(wǎng)絡(luò)建立了非穩(wěn)態(tài)軋制過程中厚度預(yù)測模型.為解決停軋換輥后非穩(wěn)態(tài)軋制過程中帶鋼三維尺寸以及板形質(zhì)量都比較差的問題，彭文、張殿華等［6-7］為軋輥磨損、熱凸度、熱膨脹等設(shè)計了新概念模型，對輥縫方程進(jìn)行了改進(jìn).

上述研究均未涉及規(guī)格切換、鋼種切換和換輥后首卷等非穩(wěn)態(tài)條件下的帶鋼板凸度控制問題.因此，本文中依托邯鋼公司邯寶熱軋廠2 250 mm熱連軋生產(chǎn)數(shù)據(jù)，考慮非穩(wěn)態(tài)軋制過程中影響板凸度的相關(guān)因素，基于深度信念網(wǎng)絡(luò)建立了板凸度預(yù)測模型，提高了非穩(wěn)態(tài)軋制過程中的板凸度預(yù)測精度.

1 板凸度預(yù)測模型設(shè)計

1.1 深度信念網(wǎng)絡(luò)算法

人工神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性函數(shù)，對復(fù)雜系統(tǒng)的不確定因素具有很強的適應(yīng)性和自學(xué)習(xí)能力，這使它在板凸度預(yù)測與控制中得到廣泛應(yīng)用.但淺層的神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)維數(shù)爆炸或非線性函數(shù)過于繁雜的情況下擬合能力較差，而非穩(wěn)態(tài)軋制過程受規(guī)格切換、停軋換輥等因素影響，現(xiàn)場工藝模型預(yù)測偏差明顯增大.為解決以上問題，本文中采用受限玻爾茲曼機建立規(guī)格切換和停軋換輥兩種非穩(wěn)態(tài)軋制過程的板凸度預(yù)測模型.

受限玻爾茲曼機（ restricted Boltzmann machine，RBM）是基于玻爾茲曼機的一種特殊拓?fù)浣Y(jié)構(gòu).在結(jié)構(gòu)上，相對于BM，RBM 相鄰層的節(jié)點相互之間全連接，而同層內(nèi)的節(jié)點無連接，如圖1 所示.

圖1 受限玻爾茲曼機結(jié)構(gòu)Fig.1 Restricted Boltzmann machine structure

受限玻爾茲曼機與神經(jīng)網(wǎng)絡(luò)類似，可見層和隱含層中的所有神經(jīng)元均為二元分布，神經(jīng)元取值為0 時表示抑制狀態(tài)，取值為1 時表示激活狀態(tài)，此時可見層單元和隱含層單元之間的分布為任意的指數(shù)分布.假設(shè)可見層節(jié)點數(shù)為n，隱含層節(jié)點數(shù)為m，則可見層向量?＝（v1，v2…vn）T，隱含層向量＝（h1，h2…h(huán)m）T．對于給定的一組狀態(tài)，RBM 的能量公式可以定義為

式中：θ＝｛wij，ai，bj｝，是RBM 內(nèi)的參數(shù)集合；wij為可見層內(nèi)第i 個神經(jīng)元與隱含層內(nèi)第j 個神經(jīng)元的連接權(quán)值；ai為可見層內(nèi)第i 個神經(jīng)元的偏置；bj為隱含層內(nèi)第j 個神經(jīng)元的偏置．基于這個能量函數(shù)，可以得出這組狀態(tài)的聯(lián)合概率：

由RBM 的結(jié)構(gòu)性質(zhì)可知，同層內(nèi)的神經(jīng)元相互獨立，故各自的激活也互不影響.當(dāng)RBM 輸入向量為、輸出層第j 個神經(jīng)元的值為1 時，該神經(jīng)元的激活條件概率如下：

受限玻爾茲曼機學(xué)習(xí)算法的學(xué)習(xí)過程是無監(jiān)督學(xué)習(xí)，目的就是將P（｜θ）作為參數(shù)θ 的似然函數(shù)，在給定的無標(biāo)簽訓(xùn)練數(shù)據(jù)下，通過學(xué)習(xí)逐個樣本調(diào)整θ 的值，使得P（｜θ）值更大；大量的訓(xùn)練樣本完成以后，輸入訓(xùn)練樣本數(shù)據(jù)集中提取的特征可以被視為輸出分布.RBM 可以被視為一個淺層的神經(jīng)網(wǎng)絡(luò)，是許多深層神經(jīng)網(wǎng)絡(luò)的基本模塊，在深度學(xué)習(xí)領(lǐng)域中被視為一個簡單的生成式訓(xùn)練模型.

深度信念網(wǎng)絡(luò)（deep belief network，DBN）是由多個RBM 堆疊而成的，包括一個輸入層和一個輸出層以及多個隱含層.根據(jù)無監(jiān)督逐層學(xué)習(xí)特征的核心思想，低層輸出作為高層的輸入，每個RBM 的輸入層節(jié)點數(shù)等于前面RBM 的隱含層節(jié)點數(shù)，如圖2 所示.連接方式包括前兩層間的無向?qū)ΨQ連接和底層間的有向連接，第二層一般由第一層的回歸機或分類器組成，再由自上而下的生成權(quán)值來確定各層之間的有向連接.

圖2 深度信念網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Deep belief network structure

預(yù)訓(xùn)練過程中用輸入數(shù)據(jù)訓(xùn)練第一層RBM，并以此狀態(tài)輸出作為第二層RBM 的輸入并對第二層RBM 進(jìn)行訓(xùn)練，這樣依次訓(xùn)練，直到頂層.預(yù)訓(xùn)練使深度學(xué)習(xí)問題簡化為多個RBM 的分層訓(xùn)練問題，化繁為簡；同時，采用無監(jiān)督貪婪地逐層學(xué)習(xí)到的網(wǎng)絡(luò)權(quán)參數(shù)作為網(wǎng)絡(luò)的初始化值，避免了權(quán)值參數(shù)陷入局部最優(yōu)且加快了初始化速度，最終提升了訓(xùn)練的效果.在訓(xùn)練完所有的RBM 之后，可以再采用全局學(xué)習(xí)算法（例如反向傳播）對網(wǎng)絡(luò)進(jìn)行微調(diào)，使網(wǎng)絡(luò)達(dá)到最優(yōu).通過以上方法得到的DBN 模型就是提取高級特征的模型，對模型提取出的高級特征進(jìn)行處理，能夠精準(zhǔn)預(yù)測出帶鋼板凸度.

1.2 板凸度預(yù)測模型的構(gòu)建流程

先從現(xiàn)場采集的數(shù)據(jù)中挑選出非穩(wěn)態(tài)軋制的數(shù)據(jù)，將其劃分為訓(xùn)練樣本數(shù)據(jù)和測試樣本數(shù)據(jù)，再將訓(xùn)練樣本數(shù)據(jù)劃分為有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù).首先，將無標(biāo)簽樣本數(shù)據(jù)用于模型自下而上的無監(jiān)督預(yù)訓(xùn)練；其次，用有標(biāo)簽樣本數(shù)據(jù)對模型進(jìn)行自上而下的有監(jiān)督參數(shù)微調(diào)；最后，用測試樣本對模型進(jìn)行測試.圖3 為預(yù)測模型的整個構(gòu)建過程.

圖3 板凸度預(yù)測模型的構(gòu)建過程Fig.3 The construction process of crown prediction model

具體的建模步驟如下所示.

步驟1：為了消除厚度、溫度、軋制力等指標(biāo)之間的量級差別對預(yù)測模型訓(xùn)練和測試的影響，本研究中對原始數(shù)據(jù)進(jìn)行歸一化處理，使數(shù)據(jù)范圍在［0，1］之間.歸一化的公式為

式中：X0為原始數(shù)據(jù)；X*為歸一化值；Xmax，Xmin分別為輸入數(shù)據(jù)的最大值和最小值.

步驟2：從大量的實際生產(chǎn)數(shù)據(jù)中，針對規(guī)格切換、停軋換輥兩種非穩(wěn)態(tài)軋制分別選取1 000個樣本，其中700 個作為訓(xùn)練樣本，300 個作為測試樣本.再將訓(xùn)練樣本分為有標(biāo)簽訓(xùn)練樣本和無標(biāo)簽訓(xùn)練樣本，無標(biāo)簽訓(xùn)練樣本只輸入數(shù)據(jù)，從有標(biāo)簽訓(xùn)練樣本和測試數(shù)據(jù)中選取輸入向量（非穩(wěn)態(tài)過程中各擾動向量）和輸出向量（帶鋼板凸度）.

步驟3：利用無標(biāo)簽訓(xùn)練樣本按自下而上的方式進(jìn)行模型預(yù)訓(xùn)練.對于第k 層，其參數(shù)空間（wk，bk）由第（k-1）層的數(shù)據(jù)作為輸入，再通過第k 層的數(shù)據(jù)對第（k-1）層的參數(shù)進(jìn)行訓(xùn)練.各層神經(jīng)元的激活概率根據(jù)式（8）和（9）計算，根據(jù)式（10）實現(xiàn)權(quán)值的更新：

步驟4：經(jīng)過預(yù)訓(xùn)練后，利用有標(biāo)簽的訓(xùn)練樣本，按自上而下的方式，以平方重構(gòu)誤差作為目標(biāo)函數(shù)，采用梯度下降法對DBN 模型進(jìn)行調(diào)整.

步驟5：將測試樣本輸入調(diào)整后的DBN 模型中，輸出測試數(shù)據(jù)，并將測試數(shù)據(jù)反歸一化得到完整的板凸度預(yù)測值.

步驟6：對比測試樣本數(shù)據(jù)中的輸出向量和步驟5 中得到的板凸度預(yù)測值，采用預(yù)測平均準(zhǔn)確率等指標(biāo)衡量DBN 模型的預(yù)測性能.

1.3 板凸度預(yù)測模型的輸入和輸出

本文中預(yù)測模型的輸入變量就是非穩(wěn)態(tài)軋制過程中影響板凸度的指標(biāo)因素.為了最大化提取非穩(wěn)態(tài)軋制過程中原始數(shù)據(jù)的特征以提高預(yù)測模型的精度，需要構(gòu)建好規(guī)格切換、停軋換輥兩種預(yù)測模型的輸入向量，具體如表1 所列.

由表1 中可以看出：軋制力、彎輥力、溫度等影響穩(wěn)態(tài)軋制過程中板凸度的因素包含在兩種預(yù)測模型的輸入向量中；表1 中的x29～x36體現(xiàn)了硬度和尺寸的改變對規(guī)格切換、停軋換輥等非穩(wěn)態(tài)軋制過程中板凸度的擾動.

表1 非穩(wěn)態(tài)軋制預(yù)測模型的輸入Table 1 Input of specification switching prediction model

1.4 板凸度預(yù)測模型性能評價標(biāo)準(zhǔn)

在測試過程中需要根據(jù)性能度量對模型的準(zhǔn)確性、可靠性進(jìn)行優(yōu)劣評價.本文中采用平均絕對百分比誤差（MAPE）和均方根誤差（RMSE）作為模型預(yù)測效果的評價標(biāo)準(zhǔn)：

式中：yi為實測值；y*i 為預(yù)測值；x 為測試集樣本數(shù).

MAPE 和RMSE 越小，表明模型的預(yù)測值與實測值越接近，預(yù)測精度越高；反之表明模型的預(yù)測精度低.

2 深度信念網(wǎng)絡(luò)算法下的板凸度預(yù)測

深度信念網(wǎng)絡(luò)的設(shè)計是影響預(yù)測模型特征提取能力和預(yù)測精度的關(guān)鍵因素，包括網(wǎng)絡(luò)結(jié)構(gòu)的深度（隱含層層數(shù)）和寬度（各隱含層的節(jié)點數(shù)），以及各個節(jié)點的權(quán)重及偏置量等.

一般而言，網(wǎng)絡(luò)中的層次越多，從輸入數(shù)據(jù)中挖掘數(shù)據(jù)本質(zhì)特征的能力就越強，算法的運算精度也就越高.但是隨著網(wǎng)絡(luò)層數(shù)的增加，結(jié)構(gòu)也會變得越來越復(fù)雜，而網(wǎng)絡(luò)計算耗時越長，越有可能出現(xiàn)累積誤差，從而對預(yù)測的結(jié)果造成影響.到目前為止，并沒有具體的理論可以確定深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu).本文中采用單一變量法，通過模型訓(xùn)練時發(fā)現(xiàn)，將無監(jiān)督學(xué)習(xí)的動量和學(xué)習(xí)率分別設(shè)置為0.9和0.1 時訓(xùn)練效果最佳，RMB 內(nèi)部迭代次數(shù)為100次，有監(jiān)督學(xué)習(xí)的迭代次數(shù)為200 次，訓(xùn)練樣本數(shù)為700 個，測試樣本數(shù)為300 個.首先，確定輸入層和輸出層的單元個數(shù)分別為輸入向量和輸出向量的維數(shù)，設(shè)置每層隱含層的節(jié)點數(shù)均為10 個，隱含層的層數(shù)從1 層至6 層依次疊加變化；構(gòu)建6 個DBN 模型進(jìn)行仿真實驗A1，將這6 個模型分別定義為Depth-1，Depth-2，Depth-3，Depth-4，Depth-5 和Depth-6.其次，將訓(xùn)練樣本數(shù)從50 個開始以步長為50 增加至700 個，分別對6 個模型進(jìn)行訓(xùn)練.最后，比較測試結(jié)果的MAPE 和RMSE 以確定最佳隱含層層數(shù)，結(jié)果見圖4、圖5 和表2.

由圖4、圖5 和表2 中可以看出，隨著隱含層層數(shù)的增加，MAPE 和RMSE 先減小后增加，在層數(shù)為5 層時達(dá)到最小值.因此，將隱含層最佳層數(shù)確定為5 層.

表2 A1 的結(jié)果數(shù)據(jù)Table 2 Result data of A1

圖4 A1 的MAPEFig.4 MAPE of A1

圖5 A1 的RMSEFig.5 RMSE of A1

在確定了隱含層層數(shù)的情況下，隱含層節(jié)點個數(shù)的選擇成為決定模型精度的關(guān)鍵環(huán)節(jié).若隱含層節(jié)點數(shù)過少，則網(wǎng)絡(luò)無法具備必要的學(xué)習(xí)能力和信息預(yù)測處理能力；反之，不僅會大大增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，還會使網(wǎng)絡(luò)在學(xué)習(xí)過程中更易陷入局部極小點，學(xué)習(xí)速度變得很慢.因此，根據(jù)經(jīng)驗，隱含層節(jié)點數(shù)的最小值取5 個，而最大值不應(yīng)超過輸入節(jié)點的個數(shù)，所以最大值取30 個.為比較每次網(wǎng)絡(luò)訓(xùn)練的預(yù)測性能，采用的隱含層節(jié)點數(shù)按照步長為5 逐漸增加.因此，構(gòu)建了隱含層節(jié)點數(shù)分別為5，10，15，20，25，30 個的6 個模型進(jìn)行仿真實驗A2，將6 個模型分別定義為Width-5，Width-10，Width-15，Width-20，Width-25 和Width-30.比較測試結(jié)果的MAPE 和RMSE 以確定最佳隱含層節(jié)點數(shù)，結(jié)果如圖6 和圖7 所示.

圖6 A2 的MAPEFig.6 MAPE of A2

圖7 A2 的RMSEFig.7 RMSE of A2

由圖6 和圖7 中可以看出，隨著訓(xùn)練樣本數(shù)的增加，MAPE 和RMSE 逐漸降低，隱含層節(jié)點數(shù)越少的模型MAPE 和RMSE 降低速率越快，越早趨于平緩，表明網(wǎng)絡(luò)結(jié)構(gòu)越簡單、參數(shù)越少，訓(xùn)練速度越快，建模能力越強.當(dāng)訓(xùn)練樣本數(shù)達(dá)到700個時，預(yù)測模型的具體結(jié)果如表3 所列.

表3 A2 的結(jié)果數(shù)據(jù)Table 3 Result data of A2

由表3 可知，在一定范圍內(nèi)，隨著隱含層內(nèi)節(jié)點數(shù)的增加，模型的擬合程度越來越高，預(yù)測精度逐漸提高.需要注意的是，隱含層內(nèi)節(jié)點數(shù)為20個的模型的MAPE 和RMSE 分別為（5.107×10-2）%和（3.805×10-5） μm，比隱含層內(nèi)節(jié)點數(shù)為25 個和30 個的模型的MAPE 和RMSE 都要小，主要是因為較大的隱含層維度使得網(wǎng)絡(luò)模型過于復(fù)雜，降低了建模能力和預(yù)測精度.因此，DBN 模型的隱含層節(jié)點數(shù)應(yīng)選為20 個.

通過實驗A1 和A2 可以得到規(guī)格切換和停軋換輥等非穩(wěn)態(tài)條件下的預(yù)測模型DBN 的隱含層層數(shù)為5 層，隱含層節(jié)點數(shù)為20 個.為驗證DBN 模型的性能，利用BP 神經(jīng)網(wǎng)絡(luò)建立了BP模型對板凸度進(jìn)行了預(yù)測，隱含層層數(shù)設(shè)置為1層；通過多次實驗對比，隱含層節(jié)點數(shù)設(shè)置為31個；采用梯度下降法的訓(xùn)練方式，迭代次數(shù)為200次.二者的預(yù)測數(shù)據(jù)如圖8 所示，預(yù)測值與實際值的絕對誤差如圖9 所示.

圖8 板凸度預(yù)測數(shù)據(jù)對比圖Fig.8 Comparison curve of forecast data

圖9 模型預(yù)測誤差柱狀分布圖Fig.9 Error histograms for prediction of proposed models

圖8 為BP 模型及DBN 模型的板凸度實測值及預(yù)測值的散點分布圖，實測值與預(yù)測值的絕對誤差用顏色標(biāo)度進(jìn)行分級.當(dāng)顏色從青色變?yōu)樗{(lán)色時，絕對誤差從0 增加到10 μm，而紅色表示絕對誤差超過10 μm.兩個模型的數(shù)據(jù)點都清晰地分布在y ＝x 兩側(cè).DBN 模型的預(yù)測數(shù)據(jù)與實測值的絕對誤差小于5 μm 的比例達(dá)到93.1%，且絕對誤差超過10 μm 的樣本數(shù)量更少.DBN 模型明顯優(yōu)于BP 模型.

圖9 為兩個模型的板凸度實測值與預(yù)測值的絕對誤差分布柱狀圖，（a）（b）兩張圖的分布都近乎正態(tài)分布，形狀上均中間高兩邊低，這表示絕對誤差分布在x＝0 兩側(cè)的樣本數(shù)量較大.對于DBN模型，柱狀圖在x ＝0 兩側(cè)的樣本數(shù)量明顯比BP模型中的樣本數(shù)量要多，即DBN 模型使得更多的樣本有更小的絕對誤差，也就說明了DBN 模型的預(yù)測性能更優(yōu).

圖10 為兩個模型的平均絕對誤差（MAE），MAPE 和RMSE 的柱狀比較圖，可以此來綜合評價模型的預(yù)測性能.與BP 模型相比，DBN 模型的MAE，MAPE 和RMSE 分別降低0.18 μm，0.5%和0.21 μm，為2.29 μm，4.98%和3.07 μm，預(yù)測性能明顯更優(yōu).

圖10 誤差值比較Fig.10 Error histogram comparison

3 結(jié) 論

（1）針對規(guī)格切換和停軋換輥兩種非穩(wěn)態(tài)軋制過程中板凸度預(yù)測的復(fù)雜問題，提出了一種深度學(xué)習(xí)的板凸度預(yù)測方法；設(shè)計了深度信念網(wǎng)絡(luò)算法下的預(yù)測模型方案和建模流程，并選擇出適合的模型評價分析指標(biāo).

（2）深度信念網(wǎng)絡(luò)的隱含層節(jié)點數(shù)過少或過多時，會出現(xiàn)不同程度的欠擬合或過擬合問題，影響模型的預(yù)測性能.本文中通過對比實驗來尋找深度信念網(wǎng)絡(luò)（DBN）的最佳網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，確定了DBN 模型結(jié)構(gòu)的隱含層層數(shù)為5 層、隱含層節(jié)點數(shù)為20 個時預(yù)測性能達(dá)到最佳.

（3） 與BP 模型相比，DBN 模型的MAE，MAPE 和RMSE 分別降低0.18 μm，0.5% 和0.21 μm，為2.29 μm，4.98%和3.07 μm，預(yù)測數(shù)據(jù)與實測值的絕對誤差小于5 μm 的比例值達(dá)到93.1%，預(yù)測性能明顯更優(yōu).