基于深度信念網(wǎng)絡(luò)的磷石膏充填材料強(qiáng)度預(yù)測(cè)

張安安， 鄧芳明

(1.江西省科學(xué)院能源研究所，南昌 330029；2.華東交通大學(xué)電氣與自動(dòng)化工程學(xué)院，南昌 330013)

近年來，隨著綠色開采技術(shù)的發(fā)展，充填材料作為該項(xiàng)技術(shù)核心部分，中外研究人員對(duì)此開展了研究，如膏體充填材料[1-2]、未分級(jí)尾礦材料膠結(jié)充填材料[3]、高水充填材料[4]和似膏體充填材料[5]。這些材料中，成本低、流動(dòng)性好、強(qiáng)度高、污染低的膏體型充填材料最為流行。尹博等[6]對(duì)摻入粉煤灰的膏體充填材料水化過程各階段變化特征進(jìn)行分析；膏體充填材料的強(qiáng)度主要取決于他的配合比，因此，需得到較高的強(qiáng)度則需要找到最佳的混合比例。

然而，傳統(tǒng)計(jì)算最佳配比是采取正交試驗(yàn)以及運(yùn)用理論模型來確定，Ren等[7]采用正交試驗(yàn)設(shè)計(jì)方法，進(jìn)行了RPC(reactive powder concrete)配合比設(shè)計(jì)研究。然而這些實(shí)驗(yàn)方法缺點(diǎn)是成本高、耗時(shí)長。隨著機(jī)器學(xué)習(xí)[8]技術(shù)的發(fā)展，人工智能算法開始被應(yīng)用于建筑和礦業(yè)工程領(lǐng)域。常慶糧等[9]運(yùn)用神經(jīng)網(wǎng)絡(luò)建立充填材料質(zhì)量的預(yù)測(cè)模型；董越等[10]通過正交實(shí)驗(yàn)并結(jié)合BP神經(jīng)網(wǎng)絡(luò)建立充填體強(qiáng)度預(yù)測(cè)模型；王春雷等[11]針對(duì)鋰電池基于改進(jìn)RVM進(jìn)行壽命預(yù)測(cè)；張靜等[12]采用粒子群算法優(yōu)化支持向量機(jī)對(duì)混凝土強(qiáng)度進(jìn)行預(yù)測(cè)。但這些方法預(yù)測(cè)精度較低，需要大量的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，導(dǎo)致預(yù)測(cè)速度較慢。與支持向量機(jī)相比，關(guān)聯(lián)向量機(jī)的框架更稀疏，核函數(shù)約束更少，預(yù)測(cè)時(shí)間更短，當(dāng)處理具有不確定連接的參數(shù)，RVM(relevance vector machine)的預(yù)測(cè)精度較差。然而相對(duì)于RVM、BP(back propagation)神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的上述不足，深度學(xué)習(xí)則具有預(yù)測(cè)精度高且預(yù)測(cè)時(shí)間快的優(yōu)勢(shì)，近年深度學(xué)習(xí)理論的迅速發(fā)展，深度學(xué)習(xí)方法也被廣泛應(yīng)用于各大領(lǐng)域，自動(dòng)編碼器(AE)、卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)和深度信念網(wǎng)絡(luò)(deep belief network,DBN)是應(yīng)用最為廣泛的三種深度學(xué)習(xí)方法。史楊等[13]提出一種改進(jìn)自動(dòng)編碼器方法來預(yù)測(cè)大尺度下土壤有機(jī)質(zhì)含量等級(jí)。Jang等[14]運(yùn)用深層卷積神經(jīng)網(wǎng)絡(luò)對(duì)混凝土抗壓強(qiáng)度進(jìn)行預(yù)測(cè)，然而，這兩種方法AE易于訓(xùn)練，所需訓(xùn)練數(shù)據(jù)較少。CNN由于池化層處理會(huì)丟失大量有價(jià)值信息，忽略局部與整體之間關(guān)聯(lián)性。然而DBN通過訓(xùn)練前的無監(jiān)督學(xué)習(xí)，有效地避免了訓(xùn)練數(shù)據(jù)集的過擬合現(xiàn)象。與傳統(tǒng)的無監(jiān)督學(xué)習(xí)模型相比，DBN可以獲得隱藏在多個(gè)特征中的深層規(guī)律，并具有較好的泛化能力。Peng等[15]提出了一種基于深度信念網(wǎng)絡(luò)的無監(jiān)督健康指標(biāo)構(gòu)建方法，并將其與粒子濾波相結(jié)合進(jìn)行建筑剩余壽命預(yù)測(cè)。

為此，提出一種基于DBN的膏體充填材料強(qiáng)度預(yù)測(cè)方法,采用量子粒子群算法優(yōu)化深度信念網(wǎng)絡(luò)確定DBN的隱含層節(jié)點(diǎn)個(gè)數(shù)和學(xué)習(xí)率來預(yù)測(cè)磷石膏充填材料的強(qiáng)度。

1 基本原理

1.1 受限玻爾茲曼機(jī)

利用逐層貪婪訓(xùn)練原理，根據(jù)受限玻爾茲曼機(jī)(RBM)構(gòu)造DBN模型。RBM模型由可視層v={0,1}D和隱含層h={0,1}K,兩層組成，RBM的結(jié)構(gòu)如圖1所示?？梢晫雍碗[含層都包含一系列單位，輸入數(shù)據(jù)被送入可視層。各層的能量結(jié)構(gòu)如式(1)所示：

圖1 RBM結(jié)構(gòu)Fig.1 Structure of RBM

(1)

式(1)中：wpq為可見單位p與隱藏單位q之間的權(quán)重;cp和bq分別為可見單位p和隱藏單位q的偏置項(xiàng)；vp為可見單位p的狀態(tài)；hq為隱藏單位q的狀態(tài)。 各層的聯(lián)合概率密度分布為

(2)

式(2)中：Z為歸一化常數(shù)。從式(1)中可以看出，降低能量可以增加概率?？梢晫觱和隱層h的激活概率可由式(3)～式(5)計(jì)算:

(3)

(4)

(5)

采用CD算法權(quán)值進(jìn)行更新，權(quán)值的變化量計(jì)算公式如式(6)所示:

Δwpq=ε(vphqorigin-vphqreconstruct)

(6)

式(6)中：ε為學(xué)習(xí)速率hqorigin為隱藏單位的原始狀態(tài)；hqreconstruct為隱藏單位的重構(gòu)后狀態(tài)。每個(gè)RBM模型都有自己的學(xué)習(xí)速度，最優(yōu)學(xué)習(xí)速度可以生成合適的權(quán)值分布。

RBM的重構(gòu)過程如圖2所示。在這個(gè)過程中，隱含層嘗試重建一個(gè)可視層v1，可視層v1可以恢復(fù)原始的可視層v，那么在隱層中得到的數(shù)據(jù)可以被認(rèn)為是輸入數(shù)據(jù)的特征。如果重構(gòu)后的數(shù)據(jù)能夠很好地恢復(fù)原始輸入數(shù)據(jù)，則認(rèn)為隱含層能夠有效地從原始數(shù)據(jù)中學(xué)習(xí)魯棒特征。

圖2 RBM的重建過程Fig.2 Reconstruction procedure of RBM

1.2 DBN結(jié)構(gòu)

一般來說，單階段RBM無法實(shí)現(xiàn)最優(yōu)的特征學(xué)習(xí)性能。因此，將多個(gè)RBMs進(jìn)行疊加，形成一個(gè)較深的結(jié)構(gòu)來很好地提取特征。第一個(gè)RBM提取的特征被輸入到下一個(gè)RBM。圖3為典型的(兩級(jí)RBM)DBN的整個(gè)訓(xùn)練過程，該過程包括一個(gè)預(yù)訓(xùn)練和一個(gè)微調(diào)過程，輸出層一般采用Softmax分類器。

圖3 DBN結(jié)構(gòu)Fig.3 The structure of DBN

在訓(xùn)練前的過程中，首先對(duì)輸入數(shù)據(jù)進(jìn)行第一RBM處理，然后將所學(xué)習(xí)的特征作為第二RBM的輸入數(shù)據(jù)，得到第二RBM的特征。進(jìn)行反復(fù)迭代，最后一次RBM得到的特征是訓(xùn)練前過程中提取的特征。然后，將特征輸入Softmax分類器層進(jìn)行微調(diào)。

在微調(diào)過程中，利用Softmax分類器對(duì)預(yù)先訓(xùn)練好的DBN模型進(jìn)行微調(diào)。利用軟最大分類器對(duì)訓(xùn)練前提取的特征進(jìn)行分類，生成特征標(biāo)簽。然后，將生成的標(biāo)簽與輸入數(shù)據(jù)標(biāo)簽進(jìn)行比較，并利用反向傳播機(jī)制通過更新RBM中的權(quán)值來最小化這兩種標(biāo)簽之間的誤差。在微調(diào)過程完成后，最后一個(gè)RBM所提取的特征被認(rèn)為是DBN模型的學(xué)習(xí)特征。

學(xué)習(xí)速率和RBM層是DBN模型的重要參數(shù)，對(duì)DBN的特征提取性能有重要影響。這兩個(gè)參數(shù)都是根據(jù)經(jīng)驗(yàn)來選擇的，并不能總是找到最優(yōu)的結(jié)果。因此，采用量子粒子群優(yōu)化(quantum particle swarm optimization,QPSO)算法來尋找這兩個(gè)參數(shù)的最優(yōu)值。

1.3 QPSO算法

QPSO算法是將量子行為引入粒子群算法的收斂機(jī)制[16]。由于量子行為具有多態(tài)性和不確定性,它可以使粒子以一定的概率出現(xiàn)在空間的任何一點(diǎn)上，并且在性質(zhì)差異上滿足聚集態(tài)的要求，從而使粒子能夠更有效地在整個(gè)空間中尋找全局最優(yōu)解。QPSO算法中的粒子迭代如式(7)～式(9)所示:

(7)

P=μPi+(1-μ)Pj

(8)

Xi(t+1)=P±αmbest-Xi(t)ln(1/u)

(9)

式中：M為人口規(guī)模；μ和u的隨機(jī)數(shù)均勻分布區(qū)間[0,1]；mbest的平均位置所有粒子的最優(yōu)位置；Pi和Pj分別為第i和第j個(gè)粒子個(gè)體最優(yōu)位置和全局最優(yōu)位置;X(t)為i粒子的位置在t迭代；α為壓縮擴(kuò)張系數(shù)。利用QPSO優(yōu)化DBN模型的過程可以描述如下。

Step 1初始化QPSO，包括粒子位置、搜索空間、壓縮膨脹因子和迭代，將DBN的學(xué)習(xí)率和隱含層節(jié)點(diǎn)數(shù)投影為粒子位置。

Step 2計(jì)算組中每個(gè)粒子的適應(yīng)度值，然后計(jì)算每個(gè)粒子的個(gè)體最優(yōu)位置和組的全局最優(yōu)位置。

Step 3計(jì)算所有粒子的單個(gè)最優(yōu)位置的平均值，然后更新粒子的位置。

Step 4重復(fù)Step1～Step3，直到滿足收斂條件，優(yōu)化結(jié)果為DBN模型的最優(yōu)學(xué)習(xí)率。

優(yōu)化過程中采用的適應(yīng)度函數(shù)為

(10)

式(10)中：RMSE為均方根誤差，當(dāng)?shù)玫阶畲筮m應(yīng)度值時(shí)，輸出結(jié)果為學(xué)習(xí)率的最優(yōu)解。整個(gè)過程如圖4所示。

圖4 優(yōu)化學(xué)習(xí)率流程圖Fig.4 The flow chart of optimizing learning rate

2 測(cè)試

2.1 原材料選取

由于磷石膏顆粒極其細(xì)小，實(shí)驗(yàn)測(cè)得0.1 mm顆粒占93%，中位粒徑為0.043 mm，空隙率和滲透系數(shù)較小。這些特點(diǎn)決定了磷石膏不適合充填體脫水和快速硬化。此外，磷石膏中含有 CaSO4·2H2O，占90%以上，具有緩凝性，不適合作為回填材料。但添加粉煤灰和水泥后，磷石膏的性能會(huì)發(fā)生變化，所以選取以下材料作為實(shí)驗(yàn)原材料。

(1)充填骨料:實(shí)驗(yàn)采用磷石膏作為充填骨料。

(2)細(xì)骨料:采用華能熱電廠生產(chǎn)的粉煤灰級(jí)作為細(xì)骨料。

(3)膠結(jié)材料:采用安徽海螺水泥有限公司生產(chǎn)的42.5普通硅酸鹽水泥作為膠結(jié)材料。

2.2 測(cè)試方法

試件體積為70.7 mm×70.7 mm×70.7 mm。待試件完成后，將試件放入設(shè)定溫度為22 ℃的養(yǎng)護(hù)箱中。采用Instron 250 kN試驗(yàn)機(jī)對(duì)不同齡期的單軸抗壓強(qiáng)度、充填材料配比、濃度、強(qiáng)度進(jìn)行測(cè)試，結(jié)果如表1所示。值得注意的是，在表1中。D1為水泥比，D2為配比，D3為磷石膏料漿濃度，D4為抗壓強(qiáng)度，D5為粒度分形維數(shù)，D6為孔隙分形維數(shù)。后續(xù)作為預(yù)測(cè)模型的基本數(shù)據(jù)。

表1 充填材料配比正交試驗(yàn)設(shè)計(jì)Table 1 Orthogonal test design of filling material ratio

從實(shí)驗(yàn)中得出，隨著磷石膏料漿濃度的增加，充填材料的強(qiáng)度也會(huì)增加。當(dāng)磷石膏料漿濃度從60%提高到63%時(shí)，90 d的抗壓強(qiáng)度可提高20%。但由于磷石膏漿液黏度大，濃度高，難以對(duì)其進(jìn)行管道輸送，因此，最佳漿液濃度為60%～63%時(shí)磷石膏具有較強(qiáng)的流動(dòng)性，易于實(shí)現(xiàn)全管道輸送，管道磨損小。粉煤灰具有良好的活化性能，可以降低水泥用量，提高磷石膏充填材料的性能，降低成本。

3 膏體充填材料預(yù)測(cè)模型

采用參數(shù)D1、D2、D3、D5、D6作為輸入值，D4(28 d強(qiáng)度)作為輸出值。由于兩階段DBN是最常用的模型，采用包含兩個(gè)RBM的兩階段DBN，每個(gè)RBM分別訓(xùn)練。

4 預(yù)測(cè)結(jié)果與分析

實(shí)驗(yàn)通過MATLAB 2016a建立了DBN的預(yù)測(cè)模型。首先選取表1中的10組數(shù)據(jù)(1～4、7～12)作為訓(xùn)練數(shù)據(jù)，其余數(shù)據(jù)作為測(cè)試數(shù)據(jù)。初始化的偏置項(xiàng)設(shè)置為0，并隨機(jī)生成權(quán)重分布。DBN的分層訓(xùn)練能夠提高訓(xùn)練效率，通過最小化預(yù)測(cè)值與實(shí)際值之間的誤差，優(yōu)化偏置項(xiàng)和權(quán)值分布。

實(shí)驗(yàn)結(jié)果如表2所示。由表2可以看出，對(duì)于實(shí)驗(yàn)數(shù)據(jù)集，本文方法對(duì)5個(gè)指標(biāo)的預(yù)測(cè)誤差均較小，最大預(yù)測(cè)誤差為2.7%，這對(duì)于膏體充填材料強(qiáng)度預(yù)測(cè)是有效的。利用DBN模型，可以分析和確定充填材料中各變量的影響。

表2 提出方法的預(yù)測(cè)結(jié)果Table 2 Prediction results of the proposed approach

通過搜索DBN的最優(yōu)學(xué)習(xí)率和隱含層節(jié)點(diǎn)個(gè)數(shù)來評(píng)價(jià)所引入算法的優(yōu)化性能，收斂結(jié)果如圖5所示。由圖5可以看出，QPSO避免陷入局部最優(yōu)，收斂速度快(37次迭代)，預(yù)測(cè)精度高(MSE為 0.000 153)，本文優(yōu)化學(xué)習(xí)率為0.358，隱含層節(jié)點(diǎn)數(shù)分別為6和4。

圖5 QPSO的收斂性Fig.5 The convergence of QPSO

為了進(jìn)一步評(píng)價(jià)優(yōu)化性能，將優(yōu)化后的DBN與傳統(tǒng)DBN的預(yù)測(cè)誤差進(jìn)行對(duì)比，結(jié)果如圖6所示。誤差由式(11)計(jì)算:

(11)

式(11)中：E為總誤差；Vp為預(yù)測(cè)值；Vr為真實(shí)值。

從圖6可以看出，優(yōu)化后的DBN預(yù)測(cè)誤差小于傳統(tǒng)DBN，在預(yù)測(cè)開始時(shí)，由于歷史數(shù)據(jù)有限，兩種方法的預(yù)測(cè)誤差都較高。隨著歷史數(shù)據(jù)個(gè)數(shù)的增加，優(yōu)化后的DBN誤差迅速減小，最終誤差為0.001 3。傳統(tǒng)的DBN誤差下降速度較慢，最終誤差為0.475，遠(yuǎn)高于優(yōu)化后的DBN。

圖6 優(yōu)化后的DBN與傳統(tǒng)DBN的預(yù)測(cè)誤差比較Fig.6 Prediction error comparison of optimized DBN and traditional DBN

并對(duì)長期預(yù)測(cè)精度進(jìn)行了測(cè)量，評(píng)價(jià)了該方法的性能，測(cè)量結(jié)果如圖7所示。從圖7可以看出，在28 d的預(yù)測(cè)時(shí)間內(nèi)，預(yù)測(cè)值與實(shí)測(cè)值具有較高的一致性，最大預(yù)測(cè)誤差為1.66%，說明所提出的預(yù)測(cè)模型在充填材料強(qiáng)度的長期預(yù)測(cè)中具有較好的性能。

圖7 長期預(yù)測(cè)精度Fig.7 Long term prediction accuracy

對(duì)本文方法與傳統(tǒng)方法的預(yù)測(cè)性能進(jìn)行了比較。分別選取BP神經(jīng)網(wǎng)絡(luò)、SVM和RVM構(gòu)建預(yù)測(cè)模型。采用這4種模型對(duì)充填材料28 d后的抗壓強(qiáng)度進(jìn)行估算，預(yù)測(cè)時(shí)間和精度記錄在表3中。從表3中看出，DBN模型預(yù)測(cè)精度最高，需要的預(yù)測(cè)時(shí)間最少。從測(cè)量結(jié)果可以推斷，提出的DBN模型可以為充填材料元件的優(yōu)化提供指導(dǎo)，保證煤礦安全環(huán)境。

表3 4種模型預(yù)測(cè)結(jié)果比較Table 3 Error comparison of four prediction models

5 結(jié)論

充填材料的強(qiáng)度對(duì)煤礦的安全生產(chǎn)和可持續(xù)發(fā)展具有重要意義，但充填材料的組成與強(qiáng)度關(guān)系復(fù)雜，難以計(jì)算。因此，利用能夠發(fā)現(xiàn)材料構(gòu)件之間深層連接的DBN及其強(qiáng)度來預(yù)測(cè)不同構(gòu)件的充填材料強(qiáng)度。與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)、SVM和RVM模型相比，DBN具有更好的預(yù)測(cè)能力，具有更高的預(yù)測(cè)精度和速度。實(shí)驗(yàn)結(jié)果表明，所提出的DBN預(yù)測(cè)模型長期預(yù)測(cè)的最大錯(cuò)誤率為1.66%，需要 1.89 s 的預(yù)測(cè)時(shí)間。這一結(jié)果表明，DBN模型能夠廣泛應(yīng)用于充填材料的強(qiáng)度預(yù)測(cè)。