應(yīng)用不同機(jī)器學(xué)習(xí)算法預(yù)測(cè)化學(xué)鏈中氧載體性能

閻永亮，查健銳,，段倫博，CLOUGH Peter

(1.英國(guó)克蘭菲爾德大學(xué) 能源與動(dòng)力學(xué)院，貝德福德 MK43 0AL；2. 東南大學(xué) 能源熱轉(zhuǎn)換及其過程測(cè)控教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210096)

0 引 言

煤、生物質(zhì)和天然氣等碳基燃料燃燒是碳排放的重要組成部分，其燃燒產(chǎn)生的CO2亟待高效分離和存儲(chǔ)?；瘜W(xué)鏈燃燒和氧解偶化學(xué)鏈燃燒是最前沿的熱電生產(chǎn)方法之一，可低成本和低能耗實(shí)現(xiàn)CO2分離。化學(xué)鏈反應(yīng)在雙流化床反應(yīng)器中進(jìn)行，氧氣通過氧氣載體從空氣反應(yīng)器輸送到燃料反應(yīng)器，烴類燃料被氧載體或氧載體釋放的氧氣氧化，生成CO2和水，之后氧載體在空氣反應(yīng)器中再生。

化學(xué)鏈技術(shù)發(fā)展的關(guān)鍵環(huán)節(jié)之一是根據(jù)成本、氧傳遞能力和循環(huán)穩(wěn)定性選擇合適的氧載體材料。相比純金屬氧化物和合成金屬氧化物外，天然礦物和工業(yè)副產(chǎn)礦物由于廉價(jià)易得和較高活性而引起關(guān)注[1-3]。其中，錳基材料在高溫下有向氣相釋放氧氣的傾向，同時(shí)大量研究表明很多種類的錳礦石對(duì)不同氣體燃料具有高反應(yīng)活性，同時(shí)磨損率和成本較低，使其成為氧載體的潛在候選材料[4-5]。然而，這些礦物具有復(fù)雜多變且非均相的成分，且含有各種雜質(zhì)，因此性能可能有很大差異。

機(jī)器學(xué)習(xí)是一種人工智能技術(shù)，通過統(tǒng)計(jì)方式提高模型計(jì)算性能，可分為有監(jiān)督、無監(jiān)督和強(qiáng)化學(xué)習(xí)。其中，經(jīng)過學(xué)習(xí)啟發(fā)的人工神經(jīng)網(wǎng)絡(luò)(ANN)在人腦行為研究中獲得廣泛應(yīng)用，包括控制、機(jī)器人、模式識(shí)別、預(yù)測(cè)、醫(yī)學(xué)、電力系統(tǒng)、制造、優(yōu)化、信號(hào)處理和社會(huì)/心理科學(xué)等[6]。人工神經(jīng)網(wǎng)絡(luò)可作為一個(gè)黑箱，在給定一組輸入數(shù)據(jù)后，從歷史數(shù)據(jù)中學(xué)習(xí)并處理不同目的的任務(wù)，如預(yù)測(cè)、分類和模式識(shí)別[7]。

最近，有研究運(yùn)用人工神經(jīng)網(wǎng)絡(luò)輔助碳捕集技術(shù)，該研究針對(duì)燃燒后胺基固碳反應(yīng)的過程建模與控制[8-10]。也有研究者提出采用神經(jīng)網(wǎng)絡(luò)算法大規(guī)模篩選材料以輔助試驗(yàn)研究來開發(fā)新的鈣循環(huán)化學(xué)鏈工藝。但機(jī)器學(xué)習(xí)算法目前還未廣泛應(yīng)用于化學(xué)鏈工藝的氧載體選材。為減少了材料開發(fā)的時(shí)間和成本，可以嘗試使用機(jī)器學(xué)習(xí)算法挖掘歷史試驗(yàn)數(shù)據(jù)，并對(duì)其進(jìn)行可行性評(píng)估，這將有助于獲得優(yōu)選的氧載體參數(shù)。對(duì)于復(fù)雜材料，通過傳統(tǒng)表征手段獲得的材料性質(zhì)及參數(shù)是機(jī)器學(xué)習(xí)重要的數(shù)據(jù)來源。據(jù)此，本文運(yùn)用不同的機(jī)器學(xué)習(xí)算法預(yù)測(cè)多組分錳基氧載體的化學(xué)鏈反應(yīng)性能，對(duì)照已有試驗(yàn)數(shù)據(jù)，評(píng)估不同算法在該應(yīng)用中的表現(xiàn)，針對(duì)化學(xué)鏈氧載體篩選這一科學(xué)問題尋找更有效的機(jī)器學(xué)習(xí)模式。

1 機(jī)器學(xué)習(xí)在氧載體中的應(yīng)用

低成本、高活性的氧載體是決定化學(xué)鏈技術(shù)能否工業(yè)規(guī)?；瘧?yīng)用的關(guān)鍵因素之一。過去20年，超過1 000多種氧載體材料在實(shí)驗(yàn)室熱重、固定床和流化床模擬條件下進(jìn)行測(cè)試與篩選。這些氧載體可分為單一(鎳基、鐵基、銅基和錳基)和復(fù)合(2種及以上不同金屬氧載體)組分氧載體。此外，助劑和載體等惰性組分對(duì)氧載體的性能影響很大。除了開發(fā)高活性和耐磨損的氧載體以適應(yīng)工業(yè)規(guī)模化需求外，尋求低成本氧載體，尤其利用廉價(jià)的天然礦石或可再生工業(yè)廢棄物作為氧載體對(duì)于推廣化學(xué)鏈技術(shù)應(yīng)用有重要意義，將在煤或生物質(zhì)化學(xué)鏈轉(zhuǎn)化方面有明顯優(yōu)勢(shì)。由于這類原料廉價(jià)，且具有足夠的反應(yīng)活性和機(jī)械強(qiáng)度，不會(huì)造成氧載體失活以及灰分與氧載體分離[11-14]。但其組成成分不同可能會(huì)對(duì)化學(xué)鏈反應(yīng)產(chǎn)生很大影響。但在如此眾多的材料中逐一篩選測(cè)試，將帶來巨大的試驗(yàn)成本。

機(jī)器學(xué)習(xí)是一門結(jié)合計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)、數(shù)學(xué)與工程學(xué)的交叉學(xué)科。利用已知數(shù)據(jù)，在特定的算法指導(dǎo)下進(jìn)行自動(dòng)優(yōu)化并改進(jìn)模型，使之可以對(duì)新的輸入值進(jìn)行判斷與預(yù)測(cè)。因此，提出一種新穎高效的篩選方法，結(jié)合已有氧載體試驗(yàn)數(shù)據(jù)，應(yīng)用機(jī)器學(xué)習(xí)加速新氧載體材料的開發(fā)。前期研究[15]討論了如何訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)不同錳礦石在化學(xué)鏈反應(yīng)的性能，結(jié)果顯示神經(jīng)網(wǎng)絡(luò)對(duì)照試驗(yàn)數(shù)據(jù)的預(yù)測(cè)較為準(zhǔn)確，但選擇合適的算法與避免過度擬合具有一定難度，需要大量前期調(diào)試工作。因此本文嘗試分別使用支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)2種常用的機(jī)器學(xué)習(xí)算法建模，預(yù)測(cè)天然錳礦石作為氧載體的反應(yīng)性能，并評(píng)估不同算法在該應(yīng)用中的表現(xiàn)，針對(duì)化學(xué)鏈氧載體篩選這一科學(xué)問題尋找更有效的機(jī)器學(xué)習(xí)模式，具體工作流程如圖1所示。

圖1 應(yīng)用機(jī)器學(xué)習(xí)預(yù)測(cè)氧載體性能的工作流程

2 材料和方法

2.1 氧載體的訓(xùn)練集

訓(xùn)練集決定了監(jiān)督機(jī)器學(xué)習(xí)能否產(chǎn)生一個(gè)最優(yōu)模型，從而準(zhǔn)確預(yù)測(cè)新輸入數(shù)據(jù)。應(yīng)根據(jù)實(shí)際應(yīng)用決定機(jī)器學(xué)習(xí)模型的輸入(特征)和輸出(目標(biāo))。本文收集了文獻(xiàn)[16-17]的19種世界各地天然錳礦在小型流化床中的釋氧特性數(shù)據(jù)，及其與甲烷和合成氣(50% H2+50% CO)反應(yīng)轉(zhuǎn)化為CO2產(chǎn)氣率作為反應(yīng)特性的數(shù)據(jù)來訓(xùn)練優(yōu)化機(jī)器學(xué)習(xí)模型。除錳之外，這些錳礦石還包括Fe、Si、Ca和Mg等元素，對(duì)氧載體的化學(xué)鏈反應(yīng)有潛在影響。因此，在此工作中錳礦石的元素組成、物理性質(zhì)(磨損率、破碎強(qiáng)度和比表面積)以及試驗(yàn)條件(如床溫)等14個(gè)參數(shù)被確定為訓(xùn)練集中的輸入值。錳礦石的釋氧特性以及與甲烷和合成氣(50% H2和 50% CO)反應(yīng)特性的試驗(yàn)數(shù)據(jù)作為輸出值。其中，75%隨機(jī)選取的數(shù)據(jù)用于訓(xùn)練集的訓(xùn)練，剩下各15%隨機(jī)選取的數(shù)據(jù)分別用來驗(yàn)證和測(cè)試。然后，應(yīng)用新建立的訓(xùn)練集結(jié)合不同機(jī)器學(xué)習(xí)算法尋求建立最優(yōu)預(yù)測(cè)模型。此模型可以根據(jù)新的輸入值快速預(yù)測(cè)新氧載體的釋氧特性以及與不同燃料的反應(yīng)特性。為了驗(yàn)證最優(yōu)模型對(duì)于新輸入值預(yù)測(cè)的準(zhǔn)確性和魯棒性，訓(xùn)練集中錳礦石與合成氣在850 ℃反應(yīng)下測(cè)得的試驗(yàn)數(shù)據(jù)被標(biāo)記為隱藏?cái)?shù)據(jù)用來驗(yàn)證。

2.2 機(jī)器學(xué)習(xí)算法

2.2.1支持向量機(jī)(SVM)

支持向量機(jī)(Support vector machine,SVM)是由Vapnik率先提出的一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，適用于分類問題和預(yù)測(cè)回歸問題。尤其在解決少數(shù)據(jù)、過度擬合、非線性和維數(shù)災(zāi)難等方面優(yōu)勢(shì)突出?；舅悸肥?，通過構(gòu)建決策邊界區(qū)分不同類別的坐標(biāo)。超平面邊界的回歸方程為

y=f(x)=wTx+b，

(1)

其中，x和y分別為輸入值(空間)和目標(biāo)值；w、b分別為超平面法向量和截距。分類時(shí)，使離超平面最近的某坐標(biāo)距離值最大需優(yōu)化約束，即

(2)

|f(xi)-yi≤ε|。

(3)

MATLAB軟件Regression Learner工具箱內(nèi)包含的支持向量機(jī)算法被用來開發(fā)此工作中機(jī)器學(xué)習(xí)預(yù)測(cè)模型。具體步驟為：將訓(xùn)練集導(dǎo)入 Regression Learner中，標(biāo)記出模型的輸入值與輸出值。選擇支持向量機(jī)算法進(jìn)行訓(xùn)練，選出最優(yōu)預(yù)測(cè)模型。

2.2.2人工神經(jīng)網(wǎng)絡(luò)(ANN)

人工神經(jīng)網(wǎng)絡(luò)(Artificial neural network,ANN)是一種通過數(shù)學(xué)模型來模擬大腦神經(jīng)元結(jié)構(gòu)和功能的機(jī)器學(xué)習(xí)方法，被廣泛用于回歸、分類和模式識(shí)別。ANN一般由輸入層、隱藏層、輸出層以及每層的神經(jīng)元構(gòu)成。輸入數(shù)據(jù)由輸入層的神經(jīng)元接收，通過調(diào)整神經(jīng)元的權(quán)重和閾值，在激活函數(shù)的處理下，將輸出值傳遞到隱藏層的神經(jīng)元，然后在單層或多層隱藏層神經(jīng)元中逐級(jí)傳遞后最終到達(dá)輸出層給出預(yù)測(cè)結(jié)果。單層神經(jīng)網(wǎng)絡(luò)的信號(hào)傳導(dǎo)過程描述為

(4)

(5)

本文采用前饋神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)模型，優(yōu)化前饋神經(jīng)網(wǎng)路模型需要對(duì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，即隱藏層的層數(shù)以及每層的神經(jīng)元個(gè)數(shù)進(jìn)行測(cè)試分析。一般情況下，單層或雙層前置神經(jīng)網(wǎng)絡(luò)可以滿足絕大部分的回歸預(yù)測(cè)分析。因此，開發(fā)了不同腳本比較單層和雙層前置神經(jīng)網(wǎng)絡(luò)在不同神經(jīng)元下的表現(xiàn)，選出最佳前饋神經(jīng)網(wǎng)路預(yù)測(cè)模型。

2.2.3預(yù)測(cè)性能評(píng)價(jià)

支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)表現(xiàn)通過均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)以及決定系數(shù)(R2)來評(píng)價(jià)。

(6)

(7)

(8)

式中，ti為輸出值。

3 結(jié)果與討論

3.1 SVM與ANN預(yù)測(cè)結(jié)果及魯棒性

SVM和ANN預(yù)測(cè)不同錳礦石在化學(xué)鏈條件下釋氧特性和甲烷/合成氣反應(yīng)的表現(xiàn)見表1、2。其中SVM模型對(duì)釋氧特性預(yù)測(cè)的準(zhǔn)確率最低，但在預(yù)測(cè)甲烷/合成氣反應(yīng)中有較高準(zhǔn)確性。

與SVM模型相比，ANN可以同時(shí)產(chǎn)生3個(gè)預(yù)測(cè)參數(shù)，無需和SVM模型一樣建立3個(gè)針對(duì)不同預(yù)測(cè)參數(shù)的模型。但ANN需要對(duì)隱藏層數(shù)及神經(jīng)元個(gè)數(shù)進(jìn)行驗(yàn)證，選出表現(xiàn)性能最好的ANN模型。分別對(duì)單隱藏層(ANN1)和雙隱藏層(ANN2)以及神經(jīng)元節(jié)點(diǎn)1～50網(wǎng)絡(luò)進(jìn)行對(duì)比，選出最優(yōu)ANN模型來預(yù)測(cè)不同氧載體的性能。

表1 SVM模型預(yù)測(cè)表現(xiàn)

表2 ANN模型預(yù)測(cè)表現(xiàn)

由表1、2可知，ANN2的預(yù)測(cè)性能高于ANN1。且ANN1和ANN2對(duì)于訓(xùn)練集的預(yù)測(cè)能力都強(qiáng)于SVM模型的預(yù)測(cè)，但這只能作為評(píng)價(jià)機(jī)器學(xué)習(xí)性能的指標(biāo)之一。因?yàn)锳NN在小樣本訓(xùn)練中可能存在過度擬合的問題，即能夠預(yù)測(cè)已知訓(xùn)練集的數(shù)據(jù)，但對(duì)訓(xùn)練集之外的新輸入值存在較差的預(yù)測(cè)能力。因此，利用不在訓(xùn)練集中的錳礦石與合成氣在850 ℃ 反應(yīng)條件下測(cè)得的試驗(yàn)數(shù)據(jù)為新輸入值用來驗(yàn)證最優(yōu)SVM和ANN模型的準(zhǔn)確性和魯棒性。

訓(xùn)練后的SVM與ANN模型對(duì)新輸入值(19種錳礦石與合成氣在850 °C的反應(yīng)特性數(shù)據(jù))的預(yù)測(cè)如圖2和3所示(誤差棒代表置信區(qū)間，γ表示與某物質(zhì)反應(yīng)，下同)。可知SVM模型對(duì)新輸入值的預(yù)測(cè)準(zhǔn)確性和魯棒性更好。其均方根誤差、平均誤差和決定系數(shù)分別為0.071、0.055和0.910，遠(yuǎn)高于單層隱藏層ANN模型的0.372、0.280、0.730。由此證明ANN模型再次運(yùn)行過程中有一定的過度擬合，對(duì)新輸入值的預(yù)測(cè)準(zhǔn)確性和魯棒性不高。但增加ANN模型的隱藏層層數(shù)和神經(jīng)元節(jié)點(diǎn)時(shí)，會(huì)提高ANN模型對(duì)新輸入值的預(yù)測(cè)表現(xiàn)。

圖2 最優(yōu)SVM模型對(duì)新輸入值的預(yù)測(cè)

圖3 最優(yōu)ANN模型(14-36-3)對(duì)新輸入值的預(yù)測(cè)

3.2 靈敏度分析

經(jīng)過訓(xùn)練的SVM與ANN模型不僅可以預(yù)測(cè)不同錳礦石的釋氧特性，以及預(yù)測(cè)與甲烷/合成氣的反應(yīng)特性，還可以通過靈敏度分析來衡量輸入?yún)?shù)變化對(duì)預(yù)測(cè)結(jié)果的影響，這將為修飾或改性天然錳礦石、合成高性能氧載體提供有用信息。在3.1節(jié)中，訓(xùn)練的SVM模型對(duì)新輸入值的預(yù)測(cè)有更好的準(zhǔn)確率和魯棒性，因此在靈敏度分析中，分別改變TS錳礦石的Fe含量、Mn含量以及BET比表面積(±30%相對(duì)于TS錳礦石的原始值)，利用訓(xùn)練過的支持向量機(jī)模型來預(yù)測(cè)修改后的TS錳礦石的氧載體性能。

圖4為最優(yōu)支持向量機(jī)模型對(duì)不同鐵含量、錳含量以及BET比表面積的TS錳礦石作為氧載體的預(yù)測(cè)?？芍?，TS錳礦石的釋氧特性與錳礦石中Fe含量和BET無關(guān)，其隨著Mn含量的升高而提高。TS錳礦石與甲烷以及合成氣的反應(yīng)性基本不隨Fe含量和BET比表面而變化，與甲烷的反應(yīng)性隨Mn含量的升高而降低。這些趨勢(shì)是建立在訓(xùn)練的支持向量機(jī)模型預(yù)測(cè)上，可能與最終試驗(yàn)數(shù)值有些不同。但此方法能很好地節(jié)約試驗(yàn)篩選錳礦石作為氧載體的時(shí)間，對(duì)候選材料進(jìn)行初步預(yù)測(cè)篩選。

圖4 最優(yōu)SVM模型對(duì)不同F(xiàn)e含量、Mn含量以及BET比表面積的TS錳礦石作為氧載體的預(yù)測(cè)

本文通過錳礦石作為氧載體，利用監(jiān)督機(jī)器學(xué)習(xí)的回歸性分析，成功闡述了利用已有試驗(yàn)數(shù)據(jù)結(jié)合機(jī)器學(xué)習(xí)算法能夠?qū)崿F(xiàn)對(duì)氧載體性能的預(yù)測(cè)。此方法不僅可以應(yīng)用于錳礦石為主的氧載體，還可以應(yīng)用于其他以金屬氧化物為主的氧載體材料，從而加快開發(fā)高效低成本的氧載體。

4 結(jié) 論

1)探索了不同機(jī)器學(xué)習(xí)方法在開發(fā)氧載體材料的應(yīng)用潛力，以19種不同錳礦石在化學(xué)鏈反應(yīng)的試驗(yàn)數(shù)據(jù)為訓(xùn)練集，利用訓(xùn)練集訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)模型，預(yù)測(cè)不同錳礦石在小型流化床中的釋氧特性，以及與甲烷/合成氣的反應(yīng)特性。

2)2種機(jī)器學(xué)習(xí)模型對(duì)訓(xùn)練集的數(shù)據(jù)都有較高的預(yù)測(cè)準(zhǔn)確率。其中人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)表現(xiàn)要高于支持向量機(jī)。但對(duì)新輸入值預(yù)測(cè)方面，支持向量機(jī)模型的準(zhǔn)確性和魯棒性更好。隱藏層層數(shù)及神經(jīng)元節(jié)點(diǎn)對(duì)神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)準(zhǔn)確率有很大影響。通過比較不同結(jié)構(gòu)模型的預(yù)測(cè)表面，最終篩選出最優(yōu)的神經(jīng)網(wǎng)絡(luò)模型。此外，還進(jìn)行了靈敏度分析以確定關(guān)鍵參數(shù)。