利用Elman神經(jīng)網(wǎng)絡(luò)預(yù)測三元水鹽體系相平衡溶解度?

孟憲澤, 付云朋, 袁俊生, 李 斌

(1.中國海洋大學(xué) 海洋化學(xué)理論與工程技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，山東 青島 266100; 2.中國海洋大學(xué) 化學(xué)化工學(xué)院，山東 青島 266100; 3.河北工業(yè)大學(xué) 化工學(xué)院，天津 300130; 4.泉州師范學(xué)院 化工與材料學(xué)院，福建 泉州 362000)

水鹽體系相平衡的實(shí)驗(yàn)與理論研究有助于指導(dǎo)鹽化工、煤化工、精細(xì)化工等行業(yè)的高鹽鹵水資源化利用工藝的形成與優(yōu)化[1-3]。數(shù)十年來，研究者通過繁瑣的實(shí)驗(yàn)方法獲得了大量的相平衡數(shù)據(jù)。隨著Debye-Hückel理論的提出[4]，通過熱力學(xué)理論估算水鹽體系的固-液相平衡溶解度開始進(jìn)入人們的視野。半經(jīng)驗(yàn)半理論的Pitzer模型建立了滲透系數(shù)、活度系數(shù)和溶液超額Gibbs自由能之間的關(guān)系[5]。改進(jìn)的Pitzer模型，如HMW模型、PSC模型等，將熱力學(xué)模型的適用范圍拓展到了混合電解質(zhì)溶液體系，至今被廣泛采用[6-8]。Zhao和Song結(jié)合密度泛函理論提出了一種統(tǒng)計力學(xué)模型[9]，成功預(yù)測了典型三元相圖，并被證明是一種通用高效的預(yù)測方法?？紤]到離子水化效應(yīng)，基于E-UNIFAC模型的Lu-M單級水化模型通過計算溶液各組分的活度系數(shù)來得到相平衡溶解度[10]。陸小華以Lu-M模型為基礎(chǔ)編制了電解質(zhì)溶液相平衡計算軟件包PHEES，Yuan以HMW模型為基礎(chǔ)編制了簡單三元體系相平衡軟件CalPha，為相應(yīng)三離子體系的溶解度預(yù)測提供了便利。

隨著人工智能技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)在預(yù)測、函數(shù)擬合、模式識別等方面的獨(dú)特優(yōu)勢引起人們的關(guān)注[11-13]。Elman神經(jīng)網(wǎng)絡(luò)(Elman neural network, ENN)相對于經(jīng)典的反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation neural network, BPNN)而言，引入了上下文單元(context units, CU)層，使之具有了短時記憶的特性，展現(xiàn)出更優(yōu)的學(xué)習(xí)能力和泛化能力。Wang，Li和Akhil等基于ENN的延時特點(diǎn)，將其應(yīng)用于鋰離子電池壽命預(yù)測[14-15]，X射線熒光光譜的分析[16]和室內(nèi)空氣質(zhì)量進(jìn)行評估預(yù)測[17]。以上應(yīng)用均顯示出ENN優(yōu)異的性能與泛化能力，而其在水鹽體系相平衡中的應(yīng)用至今鮮有報道。

本文以溶解度數(shù)據(jù)的文獻(xiàn)值與ENN預(yù)測值的均方誤差(MSE)作為指標(biāo)，考察了隱含層數(shù)，神經(jīng)元數(shù)目，不同學(xué)習(xí)函數(shù)對模型訓(xùn)練效果的影響，獲得了最優(yōu)的ENN拓?fù)浣Y(jié)構(gòu)。通過與文獻(xiàn)值、HMW模型計算值對比，分析了ENN在精確度和運(yùn)算速度方面的優(yōu)勢。運(yùn)用優(yōu)化的ENN-(2,3)GDX模型對未發(fā)表的15.0 ℃下NaCl-KCl-H2O體系、87.5 ℃下Na2SO4-MgSO4-H2O體系、60.0 ℃下KCl-K2SO4-H2O體系和60.0 ℃下NaCl-Na2CO3-H2O體系的平衡溶解度進(jìn)行了預(yù)測。

1 ENN結(jié)構(gòu)概述

ENN包含輸入層、隱含層和輸出層(見圖1)。相比于常見的BPNN，ENN在隱含層中增加了一個CU層，將前一步的輸出值作為一步延時算子，返回神經(jīng)元作為線性加權(quán)。CU層增強(qiáng)了ENN對歷史信息的敏感性[18-19]，提高了神經(jīng)網(wǎng)絡(luò)應(yīng)對突變的能力，特別適合于包含突變點(diǎn)的水鹽體系平衡溶解度的預(yù)測。

圖1 ENN模型拓?fù)浣Y(jié)構(gòu)

ENN隱含層神經(jīng)元傳遞函數(shù)fj的數(shù)學(xué)表達(dá)如式1所示：

(1)

ENN輸出層神經(jīng)元傳遞函數(shù)gj的數(shù)學(xué)表達(dá)如式2所示。輸出層(O)神經(jīng)元不包含隱含層神經(jīng)元中的延時算子。

(2)

2 建模數(shù)據(jù)采集

本文收集了海水體系Na+, K+, Ca2+, Mg2+// Cl-, SO42-, CO32-, HCO3-, B4O72--H2O的15個三元子系統(tǒng)的數(shù)據(jù)[20-21]用于ENN的訓(xùn)練，溫度范圍為0.0～150.0 ℃。系統(tǒng)組成與數(shù)據(jù)集信息如表1所示。按照80.0%和20.0%的比例將數(shù)據(jù)點(diǎn)隨機(jī)分配為訓(xùn)練集和驗(yàn)證集。訓(xùn)練集用來訓(xùn)練構(gòu)建好的ENN模型，驗(yàn)證集數(shù)據(jù)與模型預(yù)測值的均方誤差(MSE)作為評估模型性能的指標(biāo)。

表1 數(shù)據(jù)點(diǎn)采集信息

3 結(jié)果與討論

3.1 ENN建模與拓?fù)浣Y(jié)構(gòu)優(yōu)化

以MgCl2-MgSO4-H2O體系為例，MgSO4的在溶液中的平衡濃度(CMS)受系統(tǒng)溫度(T)與MgCl2濃度(CMC)影響。視T與CMC為輸入?yún)?shù)，視CMS為有導(dǎo)師學(xué)習(xí)的輸出參數(shù)，如式3所示。以CMC作為輸出參數(shù)時表達(dá)式同理。

CMS=f(T,CMS)。

(3)

將數(shù)據(jù)集遵循80.0%、20.0%的比例隨機(jī)分配為訓(xùn)練集和驗(yàn)證集。訓(xùn)練集的輸入?yún)?shù)和輸出參數(shù)一一對應(yīng)，導(dǎo)入ENN進(jìn)行訓(xùn)練。驗(yàn)證集的輸入?yún)?shù)導(dǎo)入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果與驗(yàn)證集的輸出參數(shù)求得MSE作為指標(biāo)，用以驗(yàn)證ENN模型性能。

影響ENN性能的因素主要包括網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練函數(shù)等。含有兩層以上隱含層的深層神經(jīng)網(wǎng)絡(luò)已經(jīng)被證實(shí)能夠提升淺層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率和收斂速率，且能夠在一定程度上提升預(yù)測結(jié)果的準(zhǔn)確性[22]。此外，選取合適的訓(xùn)練函數(shù)也能夠優(yōu)化收斂速率，避免陷于局部極小值，提升神經(jīng)網(wǎng)絡(luò)預(yù)測精度。因此，有必要將ENN隱含層神經(jīng)元數(shù)量與學(xué)習(xí)函數(shù)作為變量，以探究最優(yōu)神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。常見的訓(xùn)練函數(shù)包含L-M反向傳播算法(Levenberg-Marquardt backpropagation, L-M)，帶動量的梯度下降的自適應(yīng)學(xué)習(xí)率的反向傳播算法(Gradient descent with momentum and adaptive learning rate backpropagation, GDX)和自適應(yīng)學(xué)習(xí)速率的梯度下降反向傳播算法(Gradient descent with adaptive learning rate backpropagation, GDA)[23]。隱含層設(shè)置為2層，每層神經(jīng)元數(shù)量為2～5，訓(xùn)練函數(shù)分別選用LM、GDX和GDA算法分三次建模，建模因素分布如表2所示。

表2 ENN建模因素分布

圖2所示為基于LM/GDX/GDA學(xué)習(xí)函數(shù)的神經(jīng)網(wǎng)絡(luò)MSE熱力圖，橫坐標(biāo)對應(yīng)實(shí)驗(yàn)因素(Factors No.)，縱坐標(biāo)對應(yīng)三元水鹽子系統(tǒng)編號(System No.)。在預(yù)測結(jié)果精確度方面，圖2(b)具有較低的MSE，說明GDX學(xué)習(xí)函數(shù)在運(yùn)算精度上具有優(yōu)勢。圖3所示為ENN-GDX的預(yù)測精度受神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)變化的影響。當(dāng)layer Ⅰ 取值為2時，建模因素為F-1, F-8, F-9 和 F-16，逐漸增大layer Ⅱ 神經(jīng)元數(shù)量，系統(tǒng)MSE值呈現(xiàn)先下降后升高的趨勢，F(xiàn)-8對應(yīng)的2-3神經(jīng)元結(jié)構(gòu)MSE值為0.70×10-2，預(yù)測精確度最高。當(dāng)layer取值為3時，建模因素為F-2, F-7, F-10 和 F-15，MSE值均大于1.00×10-2，說明Layer Ⅰ 為3的模型預(yù)測精度較低。當(dāng)layer Ⅰ 取值為4時，建模因素為F-3, F-6, F-11 和F-14，參數(shù)F-6對應(yīng)的神經(jīng)網(wǎng)絡(luò)MSE值為0.76×10-2，性能優(yōu)于其他三組。當(dāng)layer Ⅰ 取值為5時，建模因素為F-4, F-5, F-12 和 F-13，其中F-4和F-5的神經(jīng)網(wǎng)絡(luò)MSE值為0.86×10-2。綜上所述，單純增大隱含層的神經(jīng)元數(shù)量不是提高神經(jīng)網(wǎng)絡(luò)性能的充分必要條件。最終，ENN的最優(yōu)拓?fù)浣Y(jié)構(gòu)設(shè)定為(2,3)-GDX，即隱含層Ⅰ包含2個神經(jīng)元，隱含層Ⅱ包含3個神經(jīng)元，學(xué)習(xí)函數(shù)采用GDX。

圖3 ENN-GDX模型子系統(tǒng)MSE平均值

3.2 模型性能分析

參考圖2，以預(yù)測精度較低的NaCl-CaCl2-H2O (F-8，S-3)體系作為研究對象，將神經(jīng)網(wǎng)絡(luò)的預(yù)測值對比文獻(xiàn)值和HMW模型的計算值，考察ENN-(2,3)GDX的網(wǎng)絡(luò)性能。HMW模型中，各溶質(zhì)的活度系數(shù)依照公式(4)～(7)計算得出。

(a. LM學(xué)習(xí)函數(shù) LM training function; b. GDX學(xué)習(xí)函數(shù) GDX training function; c. GDA學(xué)習(xí)函數(shù) GDA training function.)圖2 基于三種不同學(xué)習(xí)函數(shù)的ENN性能(MSE)分布圖

(4)

(5)

(6)

(7)

式中：C/C′和A/A′分別對應(yīng)陽離子和陰離子；mC和ZC表示陽離子C的摩爾數(shù)和電荷量；Ψ是三元離子相互作用參數(shù)；φφ、φ和φ′是與離子強(qiáng)度有關(guān)的第二維里系數(shù)。上式中未知參數(shù)由公式(8)～(13)計算。

(8)

(9)

(10)

(11)

(12)

式中：Bφ和B是與離子強(qiáng)度有關(guān)的第二個維里系數(shù)；B′是B對離子強(qiáng)度的微分。水的活度系數(shù)由公式(13)得出。

lnαw=-φ∑(mi/55.51)。

(13)

圖4所示為25.0 ℃下NaCl-CaCl2-H2O體系平衡溶解度的模型計算值與文獻(xiàn)值[21]。ENN-(2,3)GDX模型的預(yù)測值取5次計算的平均(見表3)。CaCl2wt.%預(yù)測值相對文獻(xiàn)值的相對誤差為2.60%，NaCl wt.%為2.40%。紅色誤差棒為運(yùn)用ENN-(2,3)GDX模型，在確定的NaCl濃度下預(yù)測的CaCl2濃度，藍(lán)色誤差棒為在確定的CaCl2濃度下與之平衡的NaCl濃度。橙色虛線表示運(yùn)用HMW模型計算所得液相線。ENN-(2,3)GDX模型的預(yù)測值更接近于文獻(xiàn)值，預(yù)測誤差小于HMW模型。對于HMW模型而言，若離子相互作用參數(shù)與電解質(zhì)的Pitzer參數(shù)是已知的，則可以通過編程實(shí)現(xiàn)快速運(yùn)算，否則仍需要通過繁瑣實(shí)驗(yàn)方法求得該溫度下的物理參數(shù)，然后再進(jìn)行液相線的測算。而對于ENN模型，不存在物理參數(shù)的求解過程，因此在運(yùn)算速度上具有優(yōu)勢。

表3 ENN-(2,3)GDX模型5次預(yù)測結(jié)果

圖4 25.0 ℃下NaCl-CaCl2-H2O體系液相線的文獻(xiàn)值和ENN-(2,3)GDX模型、HMW模型預(yù)測值

3.3 液相線預(yù)測

本文運(yùn)用ENN-(2,3)GDX模型，對未知溫度體系的液相線進(jìn)行預(yù)測。參考圖2中不同系統(tǒng)的MSE分布圖研究對象選擇為預(yù)測誤差偏高的四組系統(tǒng)：S-1、S-8、S-9和S-14。對應(yīng)體系的預(yù)測溫度分別為15.0、87.5、60.0和60.0 ℃，預(yù)測結(jié)果取5次運(yùn)算的平均值。預(yù)測結(jié)果如圖5和支撐文件表S1～S4所示。由圖5可知，在S-8，S-14體系中的液相線對應(yīng)多種復(fù)雜的平衡固相，雖然ENN-(2,3)GDX模型的個別預(yù)測值的相對偏差較大，但共飽點(diǎn)的預(yù)測結(jié)果穩(wěn)定，預(yù)測液相線也能夠較好地符合隨溫度的變化趨勢?？梢哉J(rèn)為ENN-(2,3)GDX模型是一種有效的預(yù)測三元水鹽體系相平衡溶解度的神經(jīng)網(wǎng)絡(luò)模型。

(ENN, Elman網(wǎng)絡(luò)預(yù)測值; exp., 實(shí)驗(yàn)值 ENN, predicted value by Elman neural network; exp. experimental value.)圖5 S-1、S-8、S-9和S-14系統(tǒng)的預(yù)測液相線

4 結(jié)語

運(yùn)用Elman神經(jīng)網(wǎng)絡(luò)建立了預(yù)測三元水鹽體系相平衡溶解度的ENN-(2,3)GDX模型。通過對比文獻(xiàn)中25.0 ℃下NaCl-CaCl2-H2O體系的預(yù)測液相線可知，ENN-(2,3)GDX模型在運(yùn)算精度和速度方面均優(yōu)于傳統(tǒng)的HMW熱力學(xué)模型。對未發(fā)表的簡單和復(fù)雜三元體系：NaCl-KCl-H2O體系(15.0 ℃)、Na2SO4-MgSO4-H2O體系(87.5 ℃)、KCl-K2SO4-H2O體系(60.0 ℃)和NaCl-Na2CO3-H2O體系(60.0 ℃)的平衡溶解度進(jìn)行了預(yù)測，結(jié)果顯示，神將網(wǎng)絡(luò)模型預(yù)測得到的液相線能夠較好地符合溫度變化趨勢，共飽點(diǎn)預(yù)測值穩(wěn)定，體現(xiàn)出ENN-(2,3)GDX模型在預(yù)測三元水鹽體系溶解度上的優(yōu)異性能。