基于ES-LSTM的馬蹄焰玻璃窯爐的熱效率預(yù)測*

丘紹雄，印四華

（1.廣東工業(yè)大學(xué)計算機學(xué)院，廣州 510006；2.廣東工業(yè)大學(xué)機電工程學(xué)院，廣州 510006）

0 引言

我國的窯爐數(shù)量眾多，且大多技術(shù)落后。在工業(yè)4.0 時代，想要提升制造業(yè)生產(chǎn)力、競爭力、創(chuàng)新能力，就要大力發(fā)展工業(yè)大數(shù)據(jù)技術(shù)和應(yīng)用。因此，產(chǎn)業(yè)轉(zhuǎn)型升級逐漸成為提升行業(yè)效益的核心動力。在整個窯爐生產(chǎn)過程中，消耗能源最多的設(shè)備是池窯，通過調(diào)查研究，其能耗占據(jù)整個生產(chǎn)過程的80%以上[1]。玻璃窯爐的燃燒系統(tǒng)，是玻璃生產(chǎn)過程的核心部分，也是最主要的能源消耗部分，燃燒質(zhì)量的高低，影響了整個工廠的經(jīng)濟效益。因此對于馬蹄焰玻璃窯爐的能耗預(yù)測有很大的研究價值。

關(guān)于馬蹄窯玻璃窯爐能耗的研究大多是提高工藝水平，改進設(shè)備，并進行模擬仿真。比如戚淑芬[2]通過引入馬蹄焰玻璃窯爐蓄熱室溫度變化率η來校正窯頭換火時間的節(jié)能型控制方案，并給出了用可編程調(diào)節(jié)器予以實現(xiàn)的方法。這對穩(wěn)定產(chǎn)品質(zhì)量、節(jié)能降耗意義極大。李駿[3]通過提出一種創(chuàng)新性的結(jié)構(gòu)劃分模型分析的新穎方法，把整個馬蹄焰玻璃窯爐的工藝流程劃分為三級結(jié)構(gòu)，逐級展開分析建模。得出增強窯體保溫，減少散熱損失以及提高蓄熱室余熱回收作用，降低出口煙氣溫度是馬蹄焰玻璃窯中節(jié)能優(yōu)化的有效途徑。張緒全[4]對馬蹄焰玻璃熔爐的蓄熱室面積加大1/3，加大熱交換力度，用余熱鍋爐對煙氣余熱回收等措施實現(xiàn)了能耗降低。雷世昌[5]通過分析窯爐特性，有針對性地在模糊廣義預(yù)測控制的基礎(chǔ)上進行深入研究，構(gòu)建適用于窯爐建模與控制的算法，在理論上解決了馬蹄焰窗爐的控制問題。

通過對前面的文獻進行研究，發(fā)現(xiàn)目前國內(nèi)雖然很多專家學(xué)者對馬蹄焰窯爐的節(jié)能優(yōu)化有一定的研究成果。但是大多數(shù)是通過系統(tǒng)控制、仿真建模、工藝參數(shù)調(diào)整、物理、化學(xué)、熱力學(xué)等角度來對馬蹄焰窯爐進行節(jié)能優(yōu)化的分析，并沒有從玻璃窯爐的熱效率預(yù)測的角度來進行節(jié)能研究。所以本文用進化神經(jīng)網(wǎng)絡(luò)來預(yù)測窯爐的熱效率。進化神經(jīng)網(wǎng)絡(luò)由進化算法（EA）和神經(jīng)網(wǎng)絡(luò)組合而成。根據(jù)不同的使用情景，選擇不同的搭配進化算法和神經(jīng)網(wǎng)絡(luò)。由于神經(jīng)網(wǎng)絡(luò)參數(shù)多，在進化算法的選擇上，使用進化策略，可以避免編碼問題。窯爐設(shè)備的數(shù)據(jù)大多為時間序列，循環(huán)神經(jīng)網(wǎng)絡(luò)其每一個時間步狀態(tài)的計算需要依賴于上一個時間步，所以其比較適合用來預(yù)測時間序列的數(shù)據(jù)[6]。長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）是一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)，是一個效果很好的RNN變體算法。它既能繼承RNN探索序列數(shù)據(jù)內(nèi)在依賴關(guān)系的能力，又能解決傳統(tǒng)RNN 因序列過長而導(dǎo)致的梯度消失、訓(xùn)練時間長和過擬合等問題，并提升局部優(yōu)化能力和網(wǎng)絡(luò)泛化能力[7]。最近幾年，很多研究使用進化算法和神經(jīng)網(wǎng)絡(luò)結(jié)合的模型進行學(xué)習(xí)。比如謝崇波[8]在GA-GRU預(yù)測模型對環(huán)境空氣污染物PM2.5 濃度預(yù)測中，不僅保留了處理數(shù)據(jù)維度和輸入特征的能力，并且在一定程度上充分挖掘了環(huán)境空氣污染物因子自身之間與氣象因子之間潛在的特征關(guān)系。在2017年，Uber不僅提出遺傳算法可以解決深度強化學(xué)習(xí)問題[9]。還提出了深度學(xué)習(xí)訓(xùn)練的新方法，通過進化算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)[10]。同樣在2017年，OpenAI將進化策略運用到神經(jīng)網(wǎng)絡(luò)，然后不斷進化神經(jīng)網(wǎng)絡(luò)中的參數(shù)，最終的實驗結(jié)果都能夠媲美很多強化學(xué)習(xí)方法[11]。谷歌團隊在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時候發(fā)現(xiàn)，在相同的硬件下，與強化學(xué)習(xí)相比，進化算法能更快得到結(jié)果[12]。F Such等[13]用遺傳算法去優(yōu)化DNN，證明了簡單的算法能在困難的深度學(xué)習(xí)問題上表現(xiàn)良好。

以上的研究均表明了進化神經(jīng)網(wǎng)絡(luò)能夠發(fā)揮出不錯的效果，但是在窯爐的熱效率預(yù)測研究上沒有發(fā)現(xiàn)使用進化神經(jīng)網(wǎng)絡(luò)的方法。因此本文提出了ES-LSTM模型，結(jié)合某企業(yè)玻璃窯爐生產(chǎn)過程中的實際數(shù)據(jù)建立預(yù)測模型，通過與LSTM和BP神經(jīng)網(wǎng)絡(luò)對比，來驗證所設(shè)計的ES-LSTM預(yù)測模型的有效性、合理性。

1 進化神經(jīng)網(wǎng)絡(luò)模型

傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)是通過正向傳播，輸出預(yù)測結(jié)果，預(yù)測結(jié)果與真實數(shù)據(jù)的比較，得出誤差，并將誤差進行反向傳播，然后更新網(wǎng)絡(luò)參數(shù)。進化神經(jīng)網(wǎng)絡(luò)沒有使用梯度下降，避免了陷入局部最優(yōu)的情況。采用進化的思想來更新神經(jīng)網(wǎng)絡(luò)參數(shù)，實現(xiàn)跳出局部最優(yōu)。雖然使用梯度下降的方法的更新速度快，但是進化算法可以通過并行計算來讓自己的訓(xùn)練速度大大提升。也有研究證明利用梯度和神經(jīng)深化相結(jié)合，可以使上百層的深度神經(jīng)網(wǎng)絡(luò)進化[14]。Stanley KO 等[15]提出了一種NEAT算法，利用遺傳算法和神經(jīng)網(wǎng)絡(luò)的結(jié)合，能夠最大程度地克服神經(jīng)網(wǎng)絡(luò)陷入局部最小值的問題。本文采取的神經(jīng)進化方式為：固定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不變，不斷進化的方式來更新優(yōu)化參數(shù)。每次變異的時候，都更新網(wǎng)絡(luò)鏈接中的參數(shù)，從而改變神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果。在這個過程中，保留理想預(yù)測結(jié)果的網(wǎng)絡(luò)參數(shù)，淘汰結(jié)果較差的。

1.1 數(shù)據(jù)預(yù)處理

在實際的生產(chǎn)過程中，由于設(shè)備長期處于高溫狀態(tài)，導(dǎo)致異常數(shù)據(jù)占有相當一部分的比例。為了讓模型的預(yù)測精度更高，對實際的生產(chǎn)數(shù)據(jù)產(chǎn)生的異常進行預(yù)處理。除此之外，大型的馬蹄焰玻璃窯爐設(shè)備生產(chǎn)過程產(chǎn)生的數(shù)據(jù)的特征維度特別高，有超過200維的數(shù)據(jù)。其中包含大量無關(guān)和冗余的數(shù)據(jù)特征，造成“維數(shù)災(zāi)難”和“過擬合”問題。這對構(gòu)建算法模型來說，是一個很大的挑戰(zhàn)，不僅降低了預(yù)測精準，而且還會增加運算的時間復(fù)雜度和空間復(fù)雜度。因此在訓(xùn)練模型前，先使用缺失值算法和特征工程對數(shù)據(jù)進行預(yù)處理。

1.1.1 缺失值算法

設(shè)有異常數(shù)據(jù)的序列A(a1,a2,a3,…,at)，則：

式中：at為具體數(shù)據(jù)值；t為該序列的時間；Mavg為移動極差均值；aavg為數(shù)據(jù)均值；a1為下限值；ah為上限值。

當序列中的某個數(shù)值高于上限值ah或者低于下限值a1，則認為該數(shù)據(jù)是異常值，并把該值視為缺失值。對于出現(xiàn)缺失值的情況，采用均值與隨機參數(shù)結(jié)合的方式填補。

式中：Xi為缺失值；隨機參數(shù)ω∈{i 0.01～0.05}。

1.1.2 特征工程

利用特征工程可以降低特征維度，從而降低最終模型的復(fù)雜性，達到快速計算的目的。在得到一個更為簡單的模型的同時預(yù)測準確性降低很小甚至不會降低。

PCA 通過降維技術(shù)把多個變量化為少數(shù)幾個主成分，在維度減小的同時盡量的保存大部分信息。首先數(shù)據(jù)進行歸一化處理，數(shù)據(jù)集里各個屬性的單位不同，PCA 降維需要將屬性的量綱去掉才能使用。而歸一化能解決這個問題。特征工程的步驟如下：

（1）對數(shù)據(jù)集進行歸一化。

Z-score歸一化公式：

式中：k為樣本原始數(shù)據(jù)；u為樣本均值；σ為樣本標準差；k′為歸一化后的樣本數(shù)據(jù)。

（2）假設(shè)有樣本K′的數(shù)量是n 個，且每個樣本里有p 個特征，則樣本K′用矩陣表示為：

（3）計算出K′的協(xié)方差矩陣C，以及C的特征值λ。根據(jù)特征值來確定主成分j的值：

其中當η取0.95 的時候，認為j 個主成分包含了原矩陣絕大部分信息。

（4）使用最大的j 個特征值λ對應(yīng)的特征向量，組成特征向量矩陣。并將樣本數(shù)據(jù)投影到特征向量矩陣上，從而得到降維后的數(shù)據(jù)。

1.2 進化策略ES（Evolution Strategies）

進化算法里常用的有遺傳算法、進化策略、遺傳規(guī)劃和進化規(guī)劃4種方法。在本文中，應(yīng)用進化策略可以不進行基因編碼，節(jié)省了編碼解碼的時間，適用于連續(xù)優(yōu)化問題，因此更適合神經(jīng)網(wǎng)絡(luò)參數(shù)的進化。進化策略的簡單描述如下：

（1）首先，定義群體里個體的基因的形式，每一個實數(shù)值對應(yīng)神經(jīng)網(wǎng)絡(luò)的參數(shù)。

（2）對父輩的基因X 進行變異，具體是通過加入一個隨機生成的噪點和變異強度來產(chǎn)生后代X′，并將后代和父輩放入同一種群內(nèi)。

式中：N為隨機生成的噪點；σ為變異強度。

（3）通過適應(yīng)度函數(shù)來計算種群里每一個個體的適應(yīng)度f，并按照適應(yīng)度大小來排序。該序列中適應(yīng)度更優(yōu)的個體可以在下一代進化中成為父輩。

式中：f 為適應(yīng)度，y^ 為模型的預(yù)測值；y 為實際值；yˉ為均值。

（4）不斷的產(chǎn)生新的后代以及計算適應(yīng)度，直到找到符合條件的后代或者進化到計劃的n代后停止訓(xùn)練。

1.3 進化策略優(yōu)化方案

在進化的過程中，很可能最優(yōu)的個體丟失了，導(dǎo)致群體無法向好的方向進化[16]。在原有的ES 模型上，對進化的過程提出改進方案。用以加快尋找最優(yōu)的后代。優(yōu)化方案如下：

（1） 初始數(shù)量為n 的種群p1,p2,p3,…,pn，產(chǎn)生出n 個后代k1,k2,k3,…,kn。

（2） 計算后代k與父輩p的基因的變異差距d，距離大的認為是變異程度大的后代。

式中：p為父輩的基因型；k為后代的基因型。

（3）對種群中變異程度大的后代k，給予新穎性獎勵。

（4）新穎性獎勵為對該部分變異大的后代的適應(yīng)度進行提高。

（5） 最后把父輩的個體與后代的個體放入同一群體里。進行物競天擇，保留適應(yīng)度最高的n個個體作為下一代進化種群的父輩。

1.4 LSTM算法模型

LSTM如圖1所示，作為RNN的變體模型，具有獨特的設(shè)計結(jié)構(gòu)。在某一時刻t，其隱藏層ht的輸入不僅包含了當前的輸入xt，還有t-1時刻的信息ht-1，所以t-1時刻對t時刻的輸出產(chǎn)生了影響。除此之外t 時刻的輸出對t+1 時刻的隱藏層也會產(chǎn)生影響，通過這種循環(huán)影響機制，LSTM可以有效地解決長期依賴問題。因此能夠解決長序列訓(xùn)練過程中的梯度消失和梯度爆炸問題。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

每一個遞歸神經(jīng)網(wǎng)絡(luò)均是由重復(fù)的模塊鏈組合，其中每一個模塊稱為Cell。為了實現(xiàn)記憶功能，LSTM構(gòu)造了是遺忘門、輸入門、輸出門。

假設(shè)輸入的序列為（x1,x2,x3,…,xt），隱藏層信息為(h1,h2,h3,…,ht)，則在t時刻下有以下表達：

式中：it為輸入門；為候選狀態(tài)；ft為遺忘門；ot為輸出門；Ct為Cell的狀態(tài)（長期記憶）；ht為隱藏層狀態(tài)；?為矩陣點乘；Xt為輸入值；b 為各層的偏差值；W 為連接權(quán)重；σ為Sigmoid函數(shù)。

2 構(gòu)建ES-LSTM網(wǎng)絡(luò)預(yù)測模型

2.1 構(gòu)建預(yù)測模型

實驗過程使用Python 3.6作為編程語言，實驗環(huán)境為Windows10 操作系統(tǒng)，LSTM 模型使用TensorFlow 1.140。 ES-LSTM模型構(gòu)建流程如下。

（1）從能源管理系統(tǒng)里獲取窯爐設(shè)備的運行參數(shù)。對窯爐高溫的工作環(huán)境下出現(xiàn)的異常數(shù)據(jù)進行預(yù)處理，降低對訓(xùn)練模型的干擾。然后通過主成分分析對數(shù)據(jù)降維，以提升模型訓(xùn)練的速度。

（2）隨機生成2n個不同基因組成的群體，其中每個個體的基因為初代LSTM 網(wǎng)絡(luò)參數(shù)的權(quán)值。對每一個個體進行適應(yīng)度評估，并按大小排序，得出最優(yōu)的前n個個體。

（3）適應(yīng)度最優(yōu)的精英個體保留添加到精英庫里。把最優(yōu)的n個個體進行變異操作，產(chǎn)生新的n個后代，最后總共得到2n個個體的新種群。

（4）不斷重復(fù)第二步和第三步，不斷更新參數(shù)的權(quán)值，一直尋找最優(yōu)表現(xiàn)的LSTM網(wǎng)絡(luò)個體。不斷進化，從精英庫里挑出最優(yōu)的個體作為預(yù)測模型。

（5）采用RMSE 和MAE 進行評估判斷，這兩個評估值越小，說明模型的泛化能力就越強。

圖2 基于ES-LSTM 的熱效率預(yù)測模型流程圖

式中：ARMSE為RMSE 的評估值；AMAE為MAE 的評估值；yi為窯爐的實際熱效率值；y^i為模型的預(yù)測值。

2.2 模型流程圖

進化神經(jīng)網(wǎng)絡(luò)ES-LSTM模型的構(gòu)建流程圖如圖2所示。

3 仿真實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

數(shù)據(jù)來自于某玻璃廠2018年10月至2019年5月總計8個月的實際能耗統(tǒng)計數(shù)據(jù)。該玻璃廠的opc 采集程序約150 s 采集一次數(shù)據(jù)，每小時匯總數(shù)據(jù)一次。每日匯總的熱效率值可以表明該設(shè)備的當日能源利用率。通過數(shù)據(jù)預(yù)處理后得到5 780條數(shù)據(jù)，其中4 046條數(shù)據(jù)作為訓(xùn)練樣本，剩余的1 374條數(shù)據(jù)作為測試樣本，用于檢驗訓(xùn)練好的模型的精度。

3.2 實驗結(jié)果

本文訓(xùn)練ES-LSTM模型的時候，利用ES 算法對LSTM 進行優(yōu)化。根據(jù)種群進化的過程中的適應(yīng)度評估，不斷地動態(tài)調(diào)整LSTM 的鏈接參數(shù)。整個過程，種群的適應(yīng)度隨著變異不斷的變化，有的變異利于預(yù)測，則適應(yīng)度高，反之則低。如圖3所示，在進化的過程中，后代的表現(xiàn)不斷往優(yōu)秀個體的方向靠攏。并且進化的代數(shù)越大，就越有可能找到更優(yōu)的個體。在ES 算法對LSTM 模型進行的訓(xùn)練過程中，ES 作為一種全局搜索優(yōu)化算法，它能夠避開局部極值點，在進化過程中不需要計算梯度。如果存在局部最優(yōu)，那么ES會比傳統(tǒng)的梯度下降表現(xiàn)更好，從而可以得到預(yù)測精度更高的LSTM模型。

通過對ES-LSTM，LSTM，BP三個模型對比實驗，得到3組預(yù)測值，并將模型預(yù)測值分別與實際數(shù)據(jù)進行誤差計算得出實驗結(jié)果。部分實驗結(jié)果如表1 所示。根據(jù)表中的數(shù)據(jù)顯示，ES-LSTM預(yù)測的值相對誤差均小于傳統(tǒng)的LSTM算法和BP算法的預(yù)測值。也就是說ES-LSTM的預(yù)測值更符合目標要求。

圖3 適應(yīng)度隨著進化過程的變化曲線

表1 不同模型能耗預(yù)測結(jié)果比較

圖4 所示為分別采用ES-LSTM 算法、LSTM 算法以及BP算法模型對馬蹄窯玻璃窯爐熱效率預(yù)測的曲線圖。由圖中的曲線可以看出，ES-LSTM與實際熱效率值的擬合程度是最優(yōu)的。因此可以提出一個初步結(jié)論，ES-LSTM 作為LSTM 的改進版本，在訓(xùn)練過程中進行全局搜索，從而提高了模型對熱效率值預(yù)測的準確性。

圖4 不同模型預(yù)測結(jié)果對比曲線

為了進一步詳細比較3個模型的性能，表2所示為3種模型的RMSE和MAE對比。其中ES-LSTM的RMSE和MAE均為3 個模型中最小，這說明了ES-LSTM 模型的預(yù)測準確性是最高的。

表2 模型評估值對比

4 結(jié)束語

針對馬蹄焰玻璃窯爐的熱效率問題，本文提出了一種進化神經(jīng)網(wǎng)絡(luò)ES-LSTM算法，進一步提升了玻璃生產(chǎn)廠家熱效率預(yù)測的精度。對缺失和錯誤的數(shù)據(jù)進行修復(fù)，并使用主成分分析降低維度，從而盡可能地提高算法模型的預(yù)測精度上限。結(jié)合廠家的實際熱效率數(shù)據(jù)，對模型進行驗證分析，實驗證明使用進化算法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)是可行的，而且能提升模型的預(yù)測準確性。通過ES-LSTM 算法模型，玻璃廠家可以得到更準確的熱效率預(yù)測值，從而制定更合理的能源管理方案。