基于LSTM的鋁電解槽況預測

侯 婕,田學法,孔淑麒

(1.海軍研究院,北京 100161；2.北方工業(yè)大學 信息學院,北京 100144)

鋁電解槽對于鋁冶煉工業(yè)來說是其最為重要的主體設備。在我們國家的鋁工業(yè)發(fā)展初始階段,使用過電流為4～8 kA小型預焙陽極電解槽[1]。對于現(xiàn)階段比較大型的電解槽它的電流很多已經(jīng)達到了300～500 kA,在大型預焙槽中電耗已經(jīng)減少到了13,500 kWh/t-Al。鋁電解槽的電流效率也有了很大的提高,提高到90%～95%。

鋁電解槽由槽體、陽極以及陰極構(gòu)成,熔鹽電解槽在高溫、強腐蝕性的環(huán)境中工作,在炭素體陽極發(fā)生氧化反應,陰極發(fā)生還原反應產(chǎn)出鋁液。工作電壓、電解溫度、電解質(zhì)水平、鋁水平、分子比、爐底壓降等技術參數(shù)對電解槽高效、穩(wěn)定生產(chǎn)產(chǎn)生作用,它們之間既相互聯(lián)系又相互制約。獲取各項技術參數(shù)比直接探測槽狀態(tài)更容易,所以利用采集到的技術參數(shù)結(jié)合機器學習方法可以有效預測鋁電解槽的狀態(tài)。

本文選擇使用在時間序列預測任務中具有良好表現(xiàn)的LSTM網(wǎng)絡來對鋁電解槽況預測,這能夠使工藝人員提前了解槽況的變化,能夠提前避免槽況變壞帶來的損失,所以本文研究內(nèi)容在鋁電解工業(yè)上有很大潛在應用價值。

1 研究現(xiàn)狀

鋁電解槽的生產(chǎn)數(shù)據(jù)是一種時間序列而且具有數(shù)據(jù)維度高的特點。現(xiàn)有針對時間序列數(shù)據(jù)的預測算法有多種模型,比如人工神經(jīng)網(wǎng)絡、自回歸移動平均、小波神經(jīng)網(wǎng)絡等[2-3]。時間序列預測的研究始于一個回歸方程[4],它在數(shù)據(jù)分析中預測了一年中太陽黑子的數(shù)量。自回歸移動平均模型(ARMA)和自回歸綜合移動平均模型(ARIMA)[5]表明,基于回歸方法的時間序列預測模型正變得越來越流行。因此,這些模型也成為時間序列預測中最簡單,也是最重要的模型。但由于實際數(shù)據(jù)的復雜性、不規(guī)則性、隨機性和非線性,很難通過復雜模型實現(xiàn)高精度預測。采用機器學習方法,可以建立基于大量歷史數(shù)據(jù)的非線性預測模型。事實上,通過反復的訓練迭代和學習近似,機器學習模型可以比傳統(tǒng)的基于統(tǒng)計的模型獲得更準確的預測。典型的方法有支持向量回歸[6]或基于核的分類,人工神經(jīng)多階(ANN)[7]與強非線性函數(shù)逼近和基于樹的集成學習方法,如梯度增強回歸或決策樹(GBRT, GBDT)[8-9]。但是,由于上述方法缺乏對輸入變量之間序列依賴關系的有效處理,因此在時間序列預測任務[10]中效果有限。

伴隨不斷地深入研究深度學習算法,發(fā)現(xiàn)深度學習算法可以適用于預測時間序列數(shù)據(jù)的問題,該算法先逐步分析輸入的數(shù)據(jù)信息,然后對有效特征進行提取,將隱含關系從數(shù)據(jù)序列中提取出來。為了讓RNN網(wǎng)絡能夠更有效的處理時間序列數(shù)據(jù),在RNN的神經(jīng)網(wǎng)絡架構(gòu)中引入時間序列概念。RNN的一種改進算法是長短期記憶神經(jīng)網(wǎng)絡,改進了在RNN網(wǎng)絡結(jié)構(gòu)中存在的梯度爆炸、梯度消失、長時間序列數(shù)據(jù)的記憶等問題,對于長時間的序列信息能夠有效地處理[11]。LSTM模型應用在了很多領域例如語音識別、股票價格預測、降雨量預測、交通流預測、圖像文字識別等,并且都取得了不錯的應用效果[12]。

就目前而言,雖然在鋁電解生產(chǎn)的研究與應用中,數(shù)據(jù)挖掘等技術得到了廣泛的應用,用于鋁電解槽的槽狀態(tài)判斷,但是對于鋁電解槽的槽狀態(tài)預測方面一直欠缺研究,本文在對鋁電解槽進行聚類分析后,將時間序列的預測研究應用到鋁電解槽的槽狀態(tài)預測中。

2 LSTM算法

長短時記憶(long short term memory,LSTM)網(wǎng)絡是一種結(jié)合梯度學習算法的網(wǎng)絡結(jié)構(gòu),是循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network,RNN)的改進模型。LSTM所具有的兩個特殊的結(jié)構(gòu)記憶門和遺忘門使得該網(wǎng)絡能夠充分的利用數(shù)據(jù)中帶有的時間屬性。傳統(tǒng)的RNN網(wǎng)絡在訓練網(wǎng)絡時會存在梯度消失的問題,梯度消失也叫做長期依賴問題,LSTM依靠改進RNN加入的記憶單元,能夠有效規(guī)避梯度消失的問題,并在眾多領域取得了巨大的成功[13]。LSTM結(jié)構(gòu)圖如圖1所示。LSTM神經(jīng)元通過“門”結(jié)構(gòu)有選擇性地傳遞消息,從而達到控制信息的目的。與RNN相比兩者的共同點是LSTM在訓練網(wǎng)絡時利用反向傳播算法。當網(wǎng)絡反向傳播對參數(shù)進行更新時,LSTM誤差項的反向傳播包括兩個方向:一個是沿著時間方向反向傳播,即從當前時刻開始,計算每個時刻的誤差項;另一個是將誤差項向上一層傳播,根據(jù)相應的誤差項,計算每個權重的梯度。LSTM的改進結(jié)構(gòu)增加了三個‘門’結(jié)構(gòu),分別是‘輸入門’‘輸出門’、‘遺忘門’[14]。輸入門是用來處理當前時刻的輸入值和上一時刻的輸出值當做總的輸入信息。輸出門是用來決定下一個時刻所要傳遞的信息。遺忘門則是用來判斷前面的記憶信息要丟棄的信息,通過sigmoid函數(shù)把數(shù)值壓縮在[0,1]之間,取值越接近1,表示當前細胞狀態(tài)中要保留的信息越多,相反的,當取值越接近0時,則表示選擇遺忘的信息越多。

圖1 LSTM結(jié)構(gòu)圖

其中各個門控單元的計算過程如下所示:

ft=sigmoid(Wf·[ht-1,xt]+bf)

(1)

it=sigmoid(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=sigmoid(Wo[ht-1,xt]+bo)

(5)

ht=ot×tanh(Ct)

(6)

算法流程如表1所示:

表1 算法流程表

3 鋁電解槽槽況預測分析

3.1 數(shù)據(jù)采集

本數(shù)據(jù)來源于某鋁廠300 kA系列采集到的真實鋁電解槽生產(chǎn)數(shù)據(jù),其中每個電解槽每天包含F(xiàn)e含量、鋁水平、分子比、Si含量、氧化鋁濃度、電解質(zhì)水平、電解溫度等13個特征數(shù)據(jù),采集周期為一天。通過對上述數(shù)據(jù)的觀察,結(jié)合鋁電解生產(chǎn)的工業(yè)特點,可以總結(jié)出電解鋁生產(chǎn)過程中的實驗數(shù)據(jù)的特點:

(1)數(shù)據(jù)的維度非常高:采集到的鋁電解槽的生產(chǎn)數(shù)據(jù)中每天都存在多個互相關聯(lián)的生產(chǎn)數(shù)據(jù),所以數(shù)據(jù)的維度非常高;

(2)數(shù)據(jù)中的一些特征有空缺值:空缺值存在的原因是在采樣過程中,會因為環(huán)境、人為失誤、設備故障等造成一定的數(shù)據(jù)缺失;

(3)數(shù)據(jù)中存在噪聲數(shù)據(jù):在采集數(shù)據(jù)過程中因為環(huán)境和人為因素等會造成采集的數(shù)據(jù)存在噪聲;

(4)時間序列數(shù)據(jù):采集到的生產(chǎn)數(shù)據(jù)都是以時間為索引,例如:采集到的鋁電解槽的日報數(shù)據(jù)。隨著時間的改變,各個生產(chǎn)數(shù)據(jù)會出現(xiàn)波動變化。

3.2 數(shù)據(jù)預處理

(1)空缺值處理:

首先對于前期采集的數(shù)據(jù)中缺失值過多的特征刪除,按照缺失值超過數(shù)據(jù)總量一半的標準去除特征。如圖2所示,數(shù)值1表示數(shù)據(jù)全部缺失,數(shù)值0表示數(shù)據(jù)不缺失,介于0～1之間的部分缺失,其中氧化鋁濃度、效應系數(shù)、出鋁量數(shù)據(jù)全部缺失所以去除,其余特征均可保留。

圖2 數(shù)據(jù)缺失情況

在將缺失率過多的特征去除后,剩余特征的缺失值采取了線性插值的方法補全。線性插值是一種對于一維時間序列數(shù)據(jù)補全的方法,利用缺失值前后的數(shù)據(jù)變化情況,根據(jù)到相鄰數(shù)據(jù)點的距離分配比重補全缺失值。通過這種方法,對每一維的數(shù)據(jù)進行了補全。y值可通過式(7)求得:

(7)

(2)數(shù)據(jù)歸一化

因為采集到的數(shù)據(jù)維度較大,各維度量級都不相同且差異較大,這對于后續(xù)的數(shù)據(jù)分析非常不利,所以采用了min-max方法對數(shù)據(jù)進行數(shù)據(jù)歸一化,將數(shù)據(jù)歸一化到[0,1]區(qū)間。轉(zhuǎn)換函數(shù)如式(8)所示:

(8)

式中:max——樣本數(shù)據(jù)的最大值;

min——樣本數(shù)據(jù)的最小值。

(3)標記槽況

因為采集到的數(shù)據(jù)并沒有槽況標記,所以要在預測槽況之前,對采集的數(shù)據(jù)進行槽況分類,選擇了用具有軟聚類屬性的高斯混合模型聚類,聚類得出兩個類別:(0,1),劃分出不同的槽況,并且標記槽況,用于槽況預測。標記過槽況的數(shù)據(jù)格式如表2所示:

表2 數(shù)據(jù)格式表

3.3 槽況預測分析實驗及結(jié)果

本實驗使用Python語言編寫所有程序,并在CPU2.50GHz,內(nèi)存8GB,Windows7操作系統(tǒng)的計算機上進行了槽況預測實驗。數(shù)據(jù)采用某鋁廠276臺電解槽五個月的全部歷史數(shù)據(jù),并且將原始數(shù)據(jù)進行了空缺值處理、歸一化處理以及標記槽況等同時剔除了有問題的數(shù)據(jù)。

鑒于采集到的鋁電解槽數(shù)據(jù)是真實鋁電解廠數(shù)據(jù),所以電解槽大部分都處于一個良好的工作狀態(tài),在聚類階段僅能將槽況分為兩類。實驗用到的數(shù)據(jù)共十個屬性,將每天的十一個特征屬性數(shù)據(jù)值(通過聚類得到的類別也作為一個特征屬性)作為樣本數(shù)據(jù),輸入的樣本數(shù)據(jù)形式記為:Xt=〔Xt(1),Xt(2),Xt(3),…,Xt(10),yt〕,t表示時間,y表示聚類類別,X表示采集到的10個屬性。按照時間序列展開數(shù)據(jù)格式如式(9)所示:

(9)

在預測槽況時,采用LSTM算法,該算法的步驟為:

(1)計算LSTM在神經(jīng)網(wǎng)絡前向傳播時的輸入、輸出以及各個隱藏層的各個神經(jīng)元的輸出值;

(2)通過交叉熵函數(shù)計算輸出誤差,誤差通過反向傳播算法反向傳播到各層神經(jīng)元;

(3)根據(jù)梯度下降算法和傳播的誤差,更新各層的神經(jīng)元參數(shù);

(4)根據(jù)設置的迭代次數(shù),重復(2)、(3)、(4),直到收斂,此時模型訓練完成。

圖3 LSTM算法流程圖

利用LSTM算法,設定滑動窗口m,根據(jù)滑動窗口構(gòu)建訓練集和測試集,訓練模型,選擇交叉熵作為損失函數(shù),用來反映預測數(shù)據(jù)和真實數(shù)據(jù)之間的偏差,最后用訓練好的模型對鋁電解槽狀態(tài)進行預測。利用LSTM算法對鋁電解槽況進行預測的流程如下:

(1)對數(shù)據(jù)進行歸一化處理;

(2)根據(jù)設定的滑動窗口大小m,構(gòu)建訓練集和測試集;

(3)構(gòu)建改進的LSTM模型,對模型的參數(shù)進行初始化設置;

(4)用訓練集對預測模型訓練,采用梯度下降的方法更新參數(shù),迭代數(shù)次后直到達到精度要求;

(5)將測試集喂給訓練好的模型中,利用歷史數(shù)據(jù)預測t+1時刻的預測值。

本實驗按照8∶2的比例劃分了訓練集和測試集,訓練集用于訓練構(gòu)建的LSTM模型,測試集用于驗證訓練出來的模型的算法準確性。對于滑動窗口和神經(jīng)元個數(shù)的設定,通過實驗找到了最佳的選擇,如圖4所示,橫坐標為不同的神經(jīng)元個數(shù),分別為80、90、100、110、120,縱坐標為損失函數(shù)值,四個不同花紋的柱狀體表示四個不同的滑動窗口大小,分別為30、40、50、60。從圖中可以看到在滑動窗口大小為50以及隱含層神經(jīng)元個數(shù)為100時,交叉熵值最小。所以選擇50和100作為滑動窗口大小和神經(jīng)元個數(shù)。

構(gòu)建基于LSTM的鋁電解槽況預測模型,使用此前構(gòu)建的訓練數(shù)據(jù)集對模型進行迭代訓練,得到網(wǎng)絡參數(shù)和最小的損失函數(shù),然后將測試數(shù)據(jù)集放入模型中驗證模型效果,查看準確率。在訓練好的模型中,準確率達到了91.6%?？梢钥闯隼迷撃Ｐ皖A測槽況時,能夠較為準確的預測出槽況的變化情況。

圖4 模型參數(shù)對比實驗圖

將該算法應用到鋁電解槽況分析系統(tǒng)中,從而實現(xiàn)鋁電解槽況的預測,利用訓練好的模型,將結(jié)果展示在頁面中,方便專業(yè)人員查看槽況的變化情況。如圖5所示,可以看到在中間有槽況的突變;如圖6所示,鋁電解槽況突變時,LSTM算法分析預測出的槽況與真實槽況的對比。這在實際的生產(chǎn)過程中,專業(yè)人員就可根據(jù)預測的槽況變化,調(diào)整工藝參數(shù)的添加,使槽況變好,從而減少企業(yè)損失。

圖5 系統(tǒng)預測結(jié)果圖

圖6 預測結(jié)果與真實槽況對比圖

4 結(jié) 論

本文首先介紹了關于鋁電解的相關研究,包括研究鋁電解槽的相關信息以及現(xiàn)階段對于鋁電解槽況預測方面的研究情況,然后介紹了LSTM算法的相關知識。其次是數(shù)據(jù)的采集工作,本文描述了數(shù)據(jù)所具有的特點,并且對數(shù)據(jù)空缺值進行了剔除和線性插值兩種操作,因為數(shù)據(jù)量綱不一致問題,對數(shù)據(jù)歸一化處理,然后利用高斯混合模型對槽況標記。最后是利用準備好的數(shù)據(jù)對槽況變化利用LSTM模型進行預測。模型根據(jù)設定的滑動窗口大小將訓練集輸入模型訓練,訓練完成后利用測試集驗證模型的準確率,準確率達到了91.6%,能夠較為準確的預測出槽況的變化。并將該模型應用到鋁電解槽況分析系統(tǒng)中,方便專業(yè)人員查看槽況變化,及時作出調(diào)整,減少企業(yè)損失,對于鋁電解工業(yè)上有一定的參考價值。