基于LSTM-Adaboost的多晶硅生產(chǎn)的能耗預(yù)測(cè)

郭 久 俊

(廣東工業(yè)大學(xué) 廣東 廣州 510006)

0 引 言

硅材料是電子產(chǎn)業(yè)，太陽(yáng)能光伏電池等產(chǎn)業(yè)的最重要的材料，從某種意義上來(lái)說(shuō)，硅材料是影響國(guó)家未來(lái)在新能源領(lǐng)域的利益和地位的戰(zhàn)略資源。以太陽(yáng)能產(chǎn)業(yè)為例，多晶硅生產(chǎn)為該產(chǎn)業(yè)鏈中的關(guān)鍵，其能耗占整個(gè)產(chǎn)業(yè)鏈的35%左右，而多晶硅的生產(chǎn)過(guò)程中，還原爐的能耗占到了70%。多晶硅生產(chǎn)過(guò)程的能源是按需供給，如果出現(xiàn)能源泄露或者設(shè)備異常，會(huì)造成生產(chǎn)中斷和能源浪費(fèi)，影響企業(yè)的利益，甚至?xí)斐砂踩鹿剩虼藢?duì)于還原爐的能耗預(yù)測(cè)有很大的研究?jī)r(jià)值。

關(guān)于多晶硅生產(chǎn)過(guò)程中還原爐能耗的研究只是從技術(shù)上提高工藝水平，改進(jìn)設(shè)備，并進(jìn)行模擬仿真。聶陟楓[1]采用了計(jì)算流體力學(xué)和計(jì)算傳熱學(xué)方面比較權(quán)威和廣泛應(yīng)用的ANSYS Fluent軟件對(duì)改良西門子法多晶硅還原過(guò)程的輻射傳熱過(guò)程進(jìn)行模擬計(jì)算，對(duì)多晶硅生產(chǎn)的還原過(guò)程的降耗有一定的參考意義。李國(guó)棟等[2]利用Gibbs自由能最小原理，對(duì)SiHC13法生產(chǎn)電子級(jí)多晶硅的過(guò)程進(jìn)行模擬，提出用Cl2部分氧化使體系能量耦合的新工藝，優(yōu)化了操作參數(shù)，很大程度上降低了能耗。呂鵬飛等[3]也對(duì)SiHC13還原體系進(jìn)行模擬分析。這些研究為三氯氫硅還原過(guò)程的優(yōu)化和節(jié)能研究提供了參考。楊志國(guó)[4]通過(guò)對(duì)多晶硅還原工藝設(shè)計(jì)要點(diǎn)進(jìn)行分析，闡述了多晶硅還原各生產(chǎn)操作單元的最優(yōu)化的控制參數(shù)以及控制方式。同時(shí)還一并提出了利用多晶硅還原沉積反應(yīng)多余的熱能副產(chǎn)工業(yè)級(jí)飽和蒸汽，供給多晶硅生產(chǎn)裝置的其他單元使用，最大限度地降低能耗的一種途徑，減少生產(chǎn)成本。梁志武等[5]基于 Gibbs 最小自由能[6]原理，考慮到生產(chǎn)成本和副產(chǎn)物的處理，利用 Aspen Plus 軟件中的Gibbs 反應(yīng)器，對(duì)西門子法工藝中還原工序的反應(yīng)條件及加入二氯二氫硅進(jìn)行模擬優(yōu)化，與傳統(tǒng)工藝相比，提高了產(chǎn)率，降低了能耗。

基于前面的研究可知，盡管目前對(duì)多晶硅生產(chǎn)工藝中還原工序的節(jié)能優(yōu)化的研究已取得一定的研究成果，但是國(guó)內(nèi)外的學(xué)者大都從還原爐系統(tǒng)、化學(xué)、熱力學(xué)等角度對(duì)還原工序的節(jié)能優(yōu)化進(jìn)行研究分析，而并沒(méi)有從還原工序能耗預(yù)測(cè)的角度進(jìn)行節(jié)能研究。由于多晶硅生產(chǎn)的影響因素不僅與相關(guān)的工藝參數(shù)有關(guān)，還與時(shí)間序列有關(guān)系，因此本文采用改進(jìn)的長(zhǎng)短期循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM(Long Short-Term Memory)作為預(yù)測(cè)模型，LSTM模型不僅很大程度上改善了RNN的梯度消失和爆炸問(wèn)題[7-8]，而且在時(shí)間序列的研究領(lǐng)域取得了很大的進(jìn)步。文獻(xiàn)[9]基于LSTM的發(fā)電機(jī)組污染物排放預(yù)測(cè)研究取得了不錯(cuò)的效果，文獻(xiàn)[10]基于LSTM-RNN模型預(yù)測(cè)鐵水硅含量預(yù)測(cè)取得了不錯(cuò)的效果，文獻(xiàn)[11]基于LSMT-GARCH混合模型來(lái)預(yù)測(cè)股票價(jià)格，但是目前尚未發(fā)現(xiàn)將LSTM用于多晶硅生產(chǎn)能耗預(yù)測(cè)研究。本文提出了LSTM-Adaboost模型，結(jié)合某企業(yè)還原工序的實(shí)際能耗數(shù)據(jù)建立預(yù)測(cè)模型，并完成了能耗預(yù)測(cè)。

1 LSTM與Adaboost算法

1.1 PCA

首先要對(duì)能耗影響因素進(jìn)行主成分分析，減少影響因素之間的多重共線問(wèn)題，本文采用PCA降維技術(shù)進(jìn)行主成分分析，其核心思想是在信息保存最完整的情況下對(duì)高維變量進(jìn)行降維，即把輸入的一組特征重新組合成新的無(wú)關(guān)的特征來(lái)代替原來(lái)的特征，經(jīng)過(guò)PCA降維后，保留了大部分原來(lái)的信息，而且維度減少[12-13]。PCA主要步驟如下：

假設(shè)有n個(gè)樣本，每個(gè)樣本有m個(gè)特征，則原始數(shù)據(jù)用矩陣表示為：

(1)

(1) 當(dāng)處理不同取值范圍的特征值時(shí)，通常將數(shù)值歸一化，消除因?yàn)閿?shù)值差別過(guò)大帶來(lái)的影響，將原始數(shù)據(jù)的矩陣形式X歸一化，如下：

(2)

(2) 建立相關(guān)矩陣R，計(jì)算特征值和特征向量，即：

R=(X*)TX*/(n-1)

(3)

(3) 根據(jù)式(3)可求得矩陣R的特征值，并根據(jù)其特征值確定主成分的個(gè)數(shù)k：

(4)

式中：取η=0.9，則k個(gè)主成分中包含了絕大部分信息。

1.2 LSTM-Adaboost網(wǎng)絡(luò)模型

機(jī)器學(xué)習(xí)研究中的一個(gè)新的方向是深度學(xué)習(xí)，是一種建立、模擬人類思維，通過(guò)分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人類大腦的機(jī)制來(lái)分析和解釋數(shù)據(jù)。LSTM[14]是一種特殊的RNN網(wǎng)絡(luò)[15-16]，增加了長(zhǎng)短記憶功能，即當(dāng)前隱藏層的狀態(tài)通過(guò)前一時(shí)刻的隱藏層的狀態(tài)來(lái)更新，因而保持了模型的持久性。如圖1所示，在某一時(shí)刻t,它的隱藏層ht的輸入除了包含當(dāng)前的輸入xt之外，還有來(lái)自(t-1)時(shí)刻的信息ht-1，同理ht對(duì)(t+1)時(shí)刻的隱藏層產(chǎn)生影響，這是因?yàn)檫@種機(jī)制，LSTM可以有效的解決長(zhǎng)期依賴問(wèn)題。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2.1 LSTM核心算法

在神經(jīng)網(wǎng)絡(luò)中，每一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)中都有重復(fù)模塊鏈。標(biāo)準(zhǔn)RNN網(wǎng)絡(luò)中的結(jié)構(gòu)很簡(jiǎn)單，其模塊鏈只有一個(gè)tanh層。LSTM模型在RNN模型的基礎(chǔ)上加入了“記憶細(xì)胞”,使得LSTM模型可以在很長(zhǎng)的時(shí)間內(nèi)存儲(chǔ)訪問(wèn)信息，因而可以緩解梯度消失問(wèn)題。LSTM模型包括三個(gè)門和一個(gè)記憶單元，如圖2所示，分別是輸入門、輸出門、遺忘門和Cell。這三個(gè)門采用sigmoid函數(shù)來(lái)保證得到最佳參數(shù)。通過(guò)不同的函數(shù)來(lái)計(jì)算某一時(shí)刻隱藏層的狀態(tài)。

圖2 LSTM神經(jīng)元結(jié)構(gòu)

設(shè)輸入的序列為(x1,x2,…,xt)，隱藏層狀態(tài)為(h1,h2,…,ht)，則在t時(shí)刻有：

ft=f(Whfht-1+Wxfxt+bf)

(5)

it=f(Whiht-1+Wxixt+bi)

(6)

ot=f(Whoht-1+Wxoxt+bo)

(7)

ht=ot⊙tanh(ct)

(8)

ct=ft⊙ct-1+i⊙f(Whcht-1+Wxcxt+bc)

(9)

式中：it、ft、ot分別代表input門、forget門和output門，⊙表示矩陣點(diǎn)乘，ct代表cell單元的狀態(tài)，xt表示輸入層的輸入向量，b表示各層的偏差向量，W代表對(duì)應(yīng)的連接權(quán)重，f(*) 表示激活函數(shù)，有sigmoid和tanh兩種激活函數(shù)。

進(jìn)一步推廣得到t時(shí)刻input門、forget門、output門的輸入向量以及輸出向量：

(10)

(11)

(12)

1.2.2 引入正則化項(xiàng)

正則化[17]項(xiàng)是一種懲罰函數(shù)，為了防止避免過(guò)擬合，對(duì)模型向量進(jìn)行“懲罰”。正則化本質(zhì)上是一種先驗(yàn)信息。比較常見(jiàn)的有L1、L2正則，當(dāng)正則取不同的范數(shù)，模型則有不同的泛化能力，其中L1正則有助于生成一個(gè)稀疏的權(quán)值矩陣，L2正則會(huì)針對(duì)被估計(jì)的參數(shù)進(jìn)行壓縮，但是并不能將其壓縮到零，因此不會(huì)產(chǎn)生稀疏的矩陣，可以防止過(guò)擬合。

本文引入L2正則，對(duì)LSTM網(wǎng)絡(luò)中的權(quán)重進(jìn)行正則化處理，提升模型的泛化能力。模型如下：

(13)

1.2.3Adaboost算法

Adaboost算法[18]通過(guò)綜合多個(gè)弱預(yù)測(cè)算法來(lái)構(gòu)建精度較高的強(qiáng)學(xué)習(xí)算法，從而提高泛化能力。Adaboost算法對(duì)于預(yù)測(cè)誤差比較大的樣本和預(yù)測(cè)性能好的預(yù)測(cè)器更加重視，并提高訓(xùn)練效果強(qiáng)的預(yù)測(cè)器的權(quán)重，此外，降低訓(xùn)練效果差的預(yù)測(cè)器的權(quán)重。算法初始化時(shí)，每個(gè)樣本有相同的權(quán)重。具體步驟如下：

1) 初始化權(quán)值:

(14)

并訓(xùn)練弱預(yù)測(cè)器zt(x)，其中Xt(i)表示在第t次迭代中樣本的權(quán)重，n為樣本總數(shù)。

2) 計(jì)算該預(yù)測(cè)器在樣本下的誤差:

(15)

3) 更新樣本權(quán)重:

(16)

分類器權(quán)重:

Wt=ln(1/βt)

(17)

式中：βt=εt/(1-εt)，Qt是歸一化因子。

4) 重復(fù)迭代，直到迭代次數(shù)為M結(jié)束。

5) 得到強(qiáng)預(yù)測(cè)器：

(18)

本文將LSTM神經(jīng)網(wǎng)絡(luò)作為弱預(yù)測(cè)器，使用Adaboost算法對(duì)若預(yù)測(cè)器組合得到強(qiáng)預(yù)測(cè)器，并構(gòu)建LSTM-Adaboost預(yù)測(cè)模型對(duì)還原爐能耗進(jìn)行預(yù)測(cè)。

2 構(gòu)建LSTM-Adaboost網(wǎng)絡(luò)預(yù)測(cè)模型

預(yù)測(cè)模型如圖3所示，主要包括數(shù)據(jù)預(yù)處理和LSTM-Adabosst模型建立兩個(gè)部分。

圖3 主成分碎石圖

2.1 構(gòu)建預(yù)測(cè)模型

實(shí)驗(yàn)使用Python 3.6編程語(yǔ)言，LSTM模型由Keras框架實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境為L(zhǎng)inux。LSTM-Adaboost構(gòu)建步驟如下：

1) 查閱相關(guān)資料分析還原爐工藝，通過(guò)PCA主成分分析，獲得還原工序影響因素的主要因素，由圖3可知，當(dāng)主成分的個(gè)數(shù)為7時(shí)，η≥0.9。因此將這7個(gè)因素歸一化后作為特征輸入到預(yù)測(cè)模型。影響因素如下：生產(chǎn)周期、產(chǎn)品規(guī)格、氣流速度、H2的摩爾分?jǐn)?shù)、硅表面溫度、還原尾氣溫度、還原爐年限等。

2) 確定輸入層、輸出層。X={xi|i=1,2,…，n}，其中xi為多晶硅生產(chǎn)的能耗影響因素，輸出為未來(lái)某一時(shí)間段的能耗預(yù)測(cè)值。

3) LSTM模型設(shè)置2層隱藏層，1層輸入層，其中隱藏層每層有300個(gè)神經(jīng)元，激活函數(shù)為tanh函數(shù)和sigmoid函數(shù)，初始學(xué)習(xí)率為1/1 000。

4) 根據(jù)損失函數(shù)獲得輸出誤差，通過(guò)隨機(jī)梯度下降法尋找最小值，結(jié)合Adaboost算法調(diào)節(jié)樣本權(quán)重，并不斷更新LSTM中的參數(shù)，直到收斂。

5) 得到LSTM強(qiáng)預(yù)測(cè)模型，完成預(yù)測(cè)。

6) 采用RMSE和MRE進(jìn)行誤差判定，RMSE的值越小說(shuō)明模型的泛化能力越強(qiáng)。

(19)

2.2 流程圖

LSTM-Adaboost模型的構(gòu)建流程如圖4所示。

圖4 基于LSTM-Adaboost的能耗預(yù)測(cè)模型流程圖

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于某多晶硅企業(yè)的實(shí)際能耗數(shù)據(jù)，該企業(yè)opc采集程序每30 s采集一次數(shù)據(jù)，每日的能耗總和數(shù)據(jù)可以通過(guò)opc采集程序得知。本文從能耗樣本中去除異常點(diǎn)后得到510組能耗數(shù)據(jù)，其中420組能耗數(shù)據(jù)作為訓(xùn)練樣本，剩余的90組作為測(cè)試樣本，用于驗(yàn)證模型的精度。部分能耗數(shù)據(jù)如表1所示。

表1 部分能耗數(shù)據(jù)

3.2 實(shí)驗(yàn)結(jié)果

表2給出了部分的實(shí)驗(yàn)數(shù)據(jù)，以及不同對(duì)比模型的預(yù)測(cè)結(jié)果和誤差。本文采用的對(duì)比模型為能耗預(yù)測(cè)中常用的BP模型和LSTM模型，通過(guò)表2可以看出，LSTM-Adaboost模型的預(yù)測(cè)誤差均小于LSTM和BP網(wǎng)絡(luò)的誤差，結(jié)果更接近真實(shí)數(shù)據(jù)，相對(duì)誤差較小。

表2 不同模型預(yù)測(cè)結(jié)果及誤差比較

圖5是分別采用BP模型、LSTM模型和提出的LSTM-Adaboost模型對(duì)還原工序能耗預(yù)測(cè)的曲線圖。由圖5可以看到，BP模型和LSTM模型對(duì)實(shí)際能耗曲線擬合得并不是很好，相反LSTM-Adaboost可以很好地?cái)M合能耗變化曲線，實(shí)現(xiàn)準(zhǔn)確預(yù)測(cè)。可以初步得出結(jié)論，改進(jìn)的LSTM網(wǎng)絡(luò)模型能有效降低誤差，提高能耗預(yù)測(cè)的準(zhǔn)確性。三種模型的預(yù)測(cè)結(jié)果對(duì)比如表3所示。

圖5 預(yù)測(cè)結(jié)果對(duì)比圖

模型RMSE平均誤差LSTM-Adabooost3.851.39%LSTM模型11.562.67%BP模型26.525.53%

由表3可知，LSTM-Adaboost模型預(yù)測(cè)的平均誤差為1.39%，低于LSTM模型和BP模型。為了進(jìn)一步比較BP模型、LSTM模型、LSTM-Adaboost模型的效果，給出各個(gè)模型的誤差曲線，如圖 6所示。通過(guò)對(duì)比可以得出，LSTM-Adaboost模型預(yù)測(cè)值的誤差均小于另外兩種模型。通過(guò)分析可知，Adaboos算法對(duì)LSTM模型進(jìn)行訓(xùn)練，得到了預(yù)測(cè)效果更好的預(yù)測(cè)器，一方面保留了LSTM模型的非線性映射和時(shí)間序列依賴的問(wèn)題，另一方面Adaboost算法根據(jù)錯(cuò)誤率來(lái)調(diào)節(jié)權(quán)值，增強(qiáng)了LSTM的泛化能力，提高了預(yù)測(cè)的準(zhǔn)確率。

圖6 誤差對(duì)比圖

4 結(jié) 語(yǔ)

針對(duì)多晶硅生產(chǎn)過(guò)程中還原工序能耗問(wèn)題，本文首先通過(guò)PCA算法，根據(jù)多晶硅能耗數(shù)據(jù)的特性，對(duì)影響特征進(jìn)行主成分分析，提取出要的影響因素。然后結(jié)合LSTM算法，提出了LSTM-Adaboost網(wǎng)絡(luò)模型，提高了多經(jīng)過(guò)生產(chǎn)過(guò)程中還原過(guò)程能耗預(yù)測(cè)的精度，并結(jié)合企業(yè)的能耗數(shù)據(jù)，對(duì)模型進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該模型有效降低了預(yù)測(cè)的誤差。但是相較于另外兩種模型，該模型的訓(xùn)練耗時(shí)較多。