基于CEEMDAN-Transformer的灌漿流量混合預(yù)測(cè)模型

李 凱，任炳昱，王佳俊，關(guān) 濤，余 佳

(天津大學(xué) 水利工程仿真與安全國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300072)

1 研究背景

灌漿流量、壓力和密度等參數(shù)的實(shí)時(shí)監(jiān)控對(duì)于灌漿質(zhì)量控制意義重大[1-2]。其中灌漿流量是進(jìn)行優(yōu)化灌漿過(guò)程控制的基礎(chǔ)。然而由于地質(zhì)條件的多樣性和未知性，灌漿流量、壓力和密度參數(shù)存在較大波動(dòng)大的問(wèn)題，同時(shí)灌漿流量、壓力、密度質(zhì)之間耦合關(guān)系復(fù)雜，因此，實(shí)現(xiàn)灌漿流量的高精度預(yù)測(cè)難度極大。

在灌漿過(guò)程參數(shù)預(yù)測(cè)方面，相關(guān)學(xué)者進(jìn)行了以下研究。李斌等[3]基于統(tǒng)計(jì)過(guò)程控制理論實(shí)現(xiàn)灌漿壓力的報(bào)警，利用灌漿壓力設(shè)計(jì)線、報(bào)警線等不同控制線實(shí)現(xiàn)了灌漿壓力信息的提前預(yù)判。李鳳玲等[4]利用當(dāng)前時(shí)刻的閥門(mén)開(kāi)度、漿液水灰比、地層吸漿量和灌漿壓力，基于Back Propagation 神經(jīng)網(wǎng)絡(luò)(BP神經(jīng)網(wǎng)絡(luò))和(Grey Model(1，1)，GM(1，1))實(shí)現(xiàn)了下一時(shí)刻的灌漿壓力的實(shí)時(shí)預(yù)測(cè)。郭曉剛[5]利用支持向量機(jī)算法實(shí)現(xiàn)了灌漿抬動(dòng)的實(shí)時(shí)預(yù)測(cè)。在灌漿功率(注入率×灌漿壓力)預(yù)測(cè)方面，王曉玲等[6]基于改進(jìn)(Support Vactor Regression，SVR)算法實(shí)現(xiàn)了灌漿功率閾值預(yù)測(cè)。鄧韶輝等[7]基于模糊信息?；突依撬惴ǜ倪M(jìn)的支持向量機(jī)實(shí)現(xiàn)了灌漿功率的時(shí)序預(yù)測(cè)。Xue等[8]利用小波變換對(duì)灌漿功率數(shù)據(jù)進(jìn)行了預(yù)處理并且使用改進(jìn)的Jaya算法對(duì)支持向量機(jī)進(jìn)行優(yōu)化，實(shí)現(xiàn)了灌漿功率的時(shí)序預(yù)測(cè)。在可灌性預(yù)測(cè)方面，EBRAHIM等[9]使用Q值、裂隙圓盤(pán)半徑、節(jié)理分布、呂榮值、灌漿深度、灌漿壓力和水灰比實(shí)現(xiàn)了可灌性的預(yù)測(cè)，預(yù)測(cè)方法選用多元線性回歸和神經(jīng)網(wǎng)絡(luò)。YANG等[10]使用均值方法、線性回歸方法和BP神經(jīng)網(wǎng)絡(luò)方法預(yù)測(cè)可灌性，預(yù)測(cè)指標(biāo)包括巖層、大壩基礎(chǔ)位置、孔段深度、灌漿壓力和呂榮值。

然而，灌漿流量數(shù)據(jù)具有強(qiáng)非線性和強(qiáng)波動(dòng)性的特點(diǎn)，給灌漿流量的精準(zhǔn)預(yù)測(cè)帶來(lái)了極大挑戰(zhàn)。目前在非線性和波動(dòng)數(shù)據(jù)的時(shí)序預(yù)測(cè)處理方面，相關(guān)研究[11]表明一種“先分解后集成”方法能夠明顯提高時(shí)序預(yù)測(cè)精度。這種框架的中心思想是將總體的預(yù)測(cè)指標(biāo)分解為多個(gè)簡(jiǎn)單的分量，然后分別對(duì)分量進(jìn)行預(yù)測(cè)，最后對(duì)預(yù)測(cè)的分量值進(jìn)行集成形成最終的預(yù)測(cè)結(jié)果?！跋确纸夂蠹伞钡姆椒ㄒ矎V泛應(yīng)用于能源價(jià)格預(yù)測(cè)[11]，風(fēng)速預(yù)測(cè)[12]，荷載預(yù)測(cè)[13]，生物信號(hào)處理[14]，故障診斷[15]，圖像處理[16]等領(lǐng)域研究。當(dāng)前研究主流的分解方法主要包括小波變換[17]，可變模態(tài)分解[18]和經(jīng)驗(yàn)?zāi)B(tài)分解[19]等。在經(jīng)驗(yàn)?zāi)B(tài)分解算法的改進(jìn)方面，整體EMD(Ensemble Empirical Mode Decomposition，EEMD)，完整EEMD(Complete Ensemble Empirical Mode Decomposition，CEEMD)，耦合自適應(yīng)噪聲的CEEMD(CEEMDAN)和改進(jìn)的CEEMDAN(Improved Complete Ensemble Empirical Mode Decomposition with Adaptive Noise，ICEEMDAN)在信號(hào)分解方面變得非常流行[20]。通過(guò)這些分解方法，總體指標(biāo)能夠分解成多個(gè)變量，變量包括高頻變量和低頻變量，分別預(yù)測(cè)單個(gè)變量后集成相比直接預(yù)測(cè)整體變量能夠提高時(shí)序預(yù)測(cè)精度。

在時(shí)序預(yù)測(cè)算法研究方面，卷積神經(jīng)網(wǎng)絡(luò)-長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Convolutional Neural Network- Long Short-Term Memory，CNN-LSTM)算法作為先進(jìn)的時(shí)序預(yù)測(cè)方法之一，相關(guān)學(xué)者進(jìn)行了廣泛研究[21-24]。MI等[21]利用經(jīng)驗(yàn)?zāi)Ｊ椒纸夂途矸e支持向量機(jī)實(shí)現(xiàn)了風(fēng)速的高精度預(yù)測(cè)；Bao等[17]提出了一種新的深度學(xué)習(xí)框架，通過(guò)組合小波變換(Wavelet Transform，WT)、堆疊式自動(dòng)編碼器和長(zhǎng)-短期記憶網(wǎng)絡(luò)(LSTM)實(shí)現(xiàn)股票價(jià)格的預(yù)測(cè)；FU等[22]提出了基于時(shí)變?yōu)V波器的經(jīng)驗(yàn)?zāi)Ｊ浇M合框架分解、模糊熵理論、奇異譜分析、相空間重構(gòu)、采用基于核的極限學(xué)習(xí)機(jī)的復(fù)合預(yù)測(cè)模型以及卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)以及基于突變和層次結(jié)構(gòu)的混合模型以進(jìn)行風(fēng)速的精準(zhǔn)預(yù)測(cè)；ZHANG等[23]提出一種融合經(jīng)驗(yàn)?zāi)B(tài)分解、主成分分析和LSTM的組合模型以進(jìn)行金融時(shí)序數(shù)據(jù)的預(yù)測(cè)；WANG等[24]提出了組合經(jīng)驗(yàn)小波變換、隨機(jī)繼承公式糾錯(cuò)算法、深度具有變學(xué)習(xí)率的雙向LSTM神經(jīng)網(wǎng)絡(luò)和Elman遞歸神經(jīng)網(wǎng)絡(luò)的混合模型，進(jìn)行原油價(jià)格的預(yù)測(cè)。綜上，CNN-LSTM時(shí)序預(yù)測(cè)方法能夠?qū)Σ▌?dòng)性較強(qiáng)(噪聲較大)的時(shí)間序列進(jìn)行有效預(yù)測(cè)，然而該方法無(wú)法有效反映時(shí)序測(cè)點(diǎn)的上下序列測(cè)點(diǎn)之間的關(guān)系，并且無(wú)法一次性輸出多個(gè)預(yù)測(cè)測(cè)點(diǎn)數(shù)據(jù)。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)具有良好的處理上下文的能力，利用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)等語(yǔ)言翻譯算法在時(shí)間序列預(yù)測(cè)方面也表現(xiàn)出廣闊的前景[25]。RAHMAN等[26]利用深度遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)商業(yè)和住宅的用電量預(yù)測(cè)。XIANG等[27]利用LSTM-Based Sequence-to-Sequence算法實(shí)現(xiàn)24小時(shí)的降雨徑流模型的序列預(yù)測(cè)。劉擘龍等[28]基于序列到序列和注意力機(jī)制實(shí)現(xiàn)超短期風(fēng)速預(yù)測(cè)，利用CNN和門(mén)控循環(huán)單元(Gate Recurrent Unit，GRU)對(duì)編碼層進(jìn)行數(shù)據(jù)預(yù)處理。杜圣東等[29]基于序列到序列時(shí)空注意力學(xué)習(xí)實(shí)現(xiàn)交通流預(yù)測(cè)，利用ConvLSTM算法對(duì)編碼層進(jìn)行數(shù)據(jù)預(yù)處理。多輸入和多輸出預(yù)測(cè)模型研究方面，劉明輝等[30]提出高斯過(guò)程回歸預(yù)測(cè)模型實(shí)現(xiàn)土石壩料壓實(shí)特性的多輸出預(yù)測(cè)。CHEN等[31]利用混合灰色動(dòng)態(tài)關(guān)聯(lián)模型通過(guò)水位、溫度和時(shí)間實(shí)現(xiàn)大壩變形預(yù)測(cè)。

綜上所述，由于灌漿流量數(shù)據(jù)存在強(qiáng)非線性和強(qiáng)波動(dòng)性，灌漿流量預(yù)測(cè)難度較大?，F(xiàn)有的灌漿流量預(yù)測(cè)存在的不足如下：傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型對(duì)時(shí)間序列特征提取和加工處理不足，導(dǎo)致預(yù)測(cè)精度有限；傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型測(cè)試集進(jìn)行一次計(jì)算僅能輸出一個(gè)結(jié)果，進(jìn)行多個(gè)時(shí)間步預(yù)測(cè)需要繁雜的多次計(jì)算，單測(cè)點(diǎn)預(yù)測(cè)結(jié)果預(yù)測(cè)時(shí)間短并且無(wú)法反映灌漿流量序列變化的整體趨勢(shì)，不利于灌漿流量控制和保障施工質(zhì)量。針對(duì)上述問(wèn)題，本研究提出基于CEEMDAN-Transformer的灌漿流量混合預(yù)測(cè)模型。

2 研究框架

研究框架如圖1所示，基于現(xiàn)場(chǎng)灌漿記錄儀與無(wú)線傳輸網(wǎng)絡(luò)實(shí)現(xiàn)灌漿流量數(shù)據(jù)實(shí)時(shí)獲取，以作為本研究輸入?yún)?shù)。本研究提出基于CEEMDAN-Transformer的灌漿流量混合預(yù)測(cè)模型，主要方法包括CEEMDAN和多頭注意力Transformer。

圖1 研究框架

本研究采用CEEMDAN對(duì)實(shí)測(cè)灌漿流量進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解，分解得到多個(gè)本征模函數(shù)IMF和殘差信號(hào)。多頭注意力Transformer通過(guò)堆疊式自注意力和前饋網(wǎng)絡(luò)對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，通過(guò)多頭注意力機(jī)制來(lái)構(gòu)建輸入和輸出的全局依賴關(guān)系，實(shí)現(xiàn)多個(gè)本征模函數(shù)IMF序列到序列的預(yù)測(cè)，最后通過(guò)對(duì)預(yù)測(cè)分量進(jìn)行融合得到灌漿流量預(yù)測(cè)值。首先采用CEEMDAN對(duì)灌漿流量數(shù)據(jù)進(jìn)行分解，分解得到多個(gè)IMF分量和殘差分量。然后采用多頭注意力Transformer對(duì)每個(gè)時(shí)序分量進(jìn)行預(yù)測(cè)，通過(guò)多頭注意力機(jī)制、前饋網(wǎng)絡(luò)和線性計(jì)算實(shí)現(xiàn)每個(gè)分量序列到序列的預(yù)測(cè)。最后對(duì)多個(gè)預(yù)測(cè)的序列分量進(jìn)行累加合成得到灌漿流量預(yù)測(cè)結(jié)果?；贑EEMDAN方法實(shí)現(xiàn)實(shí)測(cè)灌漿流量的本征模函數(shù)與殘差信號(hào)的分解，解決灌漿流量數(shù)據(jù)的非線性與強(qiáng)波動(dòng)的問(wèn)題；采用多頭注意力Transformer實(shí)現(xiàn)多個(gè)本征模函數(shù)IMF序列到序列的預(yù)測(cè)，采用多頭注意力機(jī)制來(lái)構(gòu)建輸入和輸出的全局依賴關(guān)系，有效提取動(dòng)態(tài)時(shí)序特征，提升時(shí)間序列參數(shù)特征提取水平；建立時(shí)序測(cè)點(diǎn)多輸入多輸出模型實(shí)現(xiàn)灌漿流量預(yù)測(cè)，提升多輸出序列計(jì)算效率，反映整體趨勢(shì)的多輸出序列能夠?yàn)楣酀{流量控制提供參考。

3 研究方法

3.1 CEEMDANCEEMDAN方法是主流的分解算法之一，在CEEMDAN中，添加高斯白噪聲到每個(gè)分量中計(jì)算一個(gè)本征模函數(shù)IMF和殘差信號(hào)。假設(shè)給定操作Ek(·)，該操作通過(guò)EMD產(chǎn)生第k個(gè)IMF，CEEMDAN的介紹如下：(1)類似EEMD，CEEMDAN對(duì)原始數(shù)據(jù)(灌漿流量)進(jìn)行分解并且獲得第一個(gè)IMFc1和殘差r1。(2)接下來(lái)第k個(gè)IMF(k≥2)和殘差計(jì)算如下：

(1)

rk=rk-1-ck

(2)

式中：w(i)為第i個(gè)需要添加的高斯白噪聲；Ek(w(i))為使用EMD對(duì)w(i)分解的第k個(gè)值；pk為增加的噪聲和原始信號(hào)的信噪比。當(dāng)算法殘差rk滿足終止迭代條件時(shí)算法終止，最終CEEMDAN能夠計(jì)算IMFs和殘差，其中殘差公式如下：

(3)

式中：R為由CEEMDAN獲得的殘差；x為初始信號(hào)；K為IMFs的數(shù)目。

3.2 多頭注意力本研究在seq2seq算法[32]的基礎(chǔ)上建立了多頭注意力Transformer時(shí)序預(yù)測(cè)算法，實(shí)現(xiàn)了序列到序列的預(yù)測(cè)。多頭注意力Transformer在語(yǔ)言翻譯領(lǐng)域開(kāi)展了相關(guān)研究[33]。通過(guò)將多個(gè)時(shí)序測(cè)點(diǎn)作為輸入，多個(gè)時(shí)序測(cè)點(diǎn)作為輸出建立多輸入多輸出灌漿流量時(shí)序預(yù)測(cè)模型。

Transformer多數(shù)具有競(jìng)爭(zhēng)力的神經(jīng)序列傳導(dǎo)模型都有編碼器-解碼器結(jié)構(gòu)。編碼器輸入序列(x1，…，xn)映射到連續(xù)序列(z1，…，zn)，對(duì)于灌漿流量的時(shí)序預(yù)測(cè)，利用CEEMDAN對(duì)灌漿流量進(jìn)行分解得到分量IMF，分量IMF的序列作為輸入序列和連續(xù)序列，給定z后，解碼器同時(shí)生成集合(Y1，…，Yn)。在每個(gè)步驟中，模型都是自回歸的，在生成下一個(gè)符號(hào)時(shí)，使用先前生成的符號(hào)作為附加輸入。如圖1所示，Transformer完全遵循這種整體架構(gòu)，使用堆疊式自注意力、逐點(diǎn)方式和全連接層的編碼器和解碼器。對(duì)于前饋網(wǎng)絡(luò)、輸入輸出嵌入、Softmax和位置編碼的介紹詳見(jiàn)文獻(xiàn)[34]。

3.2.1 編碼和解碼器堆棧 對(duì)于編碼器，一個(gè)堆棧由多個(gè)相同層組成。每層有兩個(gè)子層。第一種是多頭自注意力機(jī)制，第二種是簡(jiǎn)單的全連接前饋網(wǎng)絡(luò)。在兩個(gè)子層周?chē)褂檬Ｓ噙B接，然后進(jìn)行層歸一化。為了促進(jìn)這些殘余連接，模型中的所有子層以及嵌入層生成維度為dmodel的輸出。

對(duì)于解碼器，一個(gè)堆棧由多個(gè)相同層組成。除了每個(gè)編碼器的兩個(gè)子層，解碼器插入第三個(gè)子層，該子層執(zhí)行編碼輸出的多頭注意力機(jī)制。與編碼器類似，圍繞每個(gè)子層使用剩余連接，然后進(jìn)行層歸一化。對(duì)解碼器堆棧中的子層的自我注意力機(jī)制進(jìn)行修改以防止位置涉及后續(xù)位置。

3.2.2 注意力機(jī)制 注意力函數(shù)可以描述為一種從查詢和鍵值對(duì)集到輸出的映射，其中查詢、鍵、值和輸出都是向量。輸出計(jì)算為加權(quán)和，分配給每個(gè)值的權(quán)重由的兼容函數(shù)進(jìn)行計(jì)算，使用相應(yīng)的鍵值進(jìn)行查詢。采用多頭注意力機(jī)制來(lái)構(gòu)建輸入和輸出的全局依賴關(guān)系，有效提取動(dòng)態(tài)時(shí)序特征，提升時(shí)間序列參數(shù)特征提取水平。

(4)

對(duì)于注意力改進(jìn)的序列到序列算法，計(jì)算隱藏狀態(tài)hj與解碼時(shí)刻的相關(guān)性：

et，j=VT*tanh(WSt=1+Uhj)，t，j=1，2，…，Ni

(5)

式中：tanh為激活函數(shù)；V、W、U為模型的訓(xùn)練參數(shù)。將et，j進(jìn)行歸一化后得到隱藏狀態(tài)hj的權(quán)重at，j。動(dòng)態(tài)語(yǔ)義向量的計(jì)算公式如下：

(6)

(2)多頭注意力。注意力機(jī)制算法示意圖如圖2所示，規(guī)?；膯吸c(diǎn)注意力如圖3所示。與包含鍵、值和查詢的單注意力模型dmodel不同，將查詢、鍵和值進(jìn)行線性投影h次，分別到dk和dk、dv維度。在每個(gè)查詢、鍵、值版本上提出并行注意力，產(chǎn)出了dv維度的輸出值。將這些值串聯(lián)并再次投影，產(chǎn)生最終的結(jié)果如圖1所示。相比于單頭注意力的優(yōu)勢(shì)，多頭注意力能夠允許模型去引入不同位置的表達(dá)信息。多頭的注意力機(jī)制的計(jì)算如下[34]：

圖2 注意力機(jī)制算法示意圖

圖3 規(guī)?；膯吸c(diǎn)注意力

MultiHead(Q，K，V)=Concat(head1，…，headh)WO

(7)

(8)

Transformer以三種不同的方式使用多頭注意力：(1)在“編碼器-解碼器注意”層中，查詢來(lái)自前一個(gè)解碼器層，存儲(chǔ)鍵和值來(lái)自編碼器的輸出。這允許解碼器中的位置覆蓋輸入序列中的所有位置。這模仿了序列到序列模型中的典型編碼器-解碼器注意力機(jī)制。(2)編碼器包含自注意力層。在自注意力層中，所有鍵、值查詢來(lái)自同一位置，編碼器中的每個(gè)位置都可以關(guān)注編碼器前一層中的所有位置。(3)解碼器中的自注意力層允許解碼器中的每個(gè)位置關(guān)注解碼器中與該位置交互的所有位置。

4 工程應(yīng)用

4.1 數(shù)據(jù)說(shuō)明本研究選取中國(guó)西南地區(qū)的某混凝土雙曲拱壩壩基作為試驗(yàn)地點(diǎn)，實(shí)時(shí)監(jiān)控固結(jié)灌漿區(qū)域的灌漿壓力、流量和密度參數(shù)。以固結(jié)灌漿5#壩段灌漿孔GJB5-4-1為例，監(jiān)控的灌漿流量如圖4所示。灌漿流量為進(jìn)漿流量和出漿流量的差值，實(shí)時(shí)監(jiān)控參數(shù)的采集間隔為5 s，測(cè)點(diǎn)數(shù)目為600個(gè)，前500個(gè)測(cè)點(diǎn)作為訓(xùn)練集，后100個(gè)測(cè)點(diǎn)作為測(cè)試集。數(shù)據(jù)窗口移動(dòng)說(shuō)明如圖5所示，訓(xùn)練集數(shù)據(jù)每次整體移動(dòng)的個(gè)數(shù)為輸入序列加輸出序列的數(shù)目，測(cè)試集每次移動(dòng)的個(gè)數(shù)為輸出序列的數(shù)目。

圖4 監(jiān)控灌漿流量數(shù)據(jù)說(shuō)明

圖5 數(shù)據(jù)窗口移動(dòng)說(shuō)明

表1 不同輸入和不同輸出個(gè)數(shù)的算法預(yù)測(cè)精度對(duì)比

表2 不同特征數(shù)的算法精度對(duì)比

為了驗(yàn)證多頭注意力Transformer算法灌漿流量預(yù)測(cè)的預(yù)測(cè)精度，如表3所示選取多種方法進(jìn)行精度對(duì)比，seq2seq、單頭注意力Transformer、多頭注意力Transformer、CNN+多頭注意力Transformer、Fuzzy C-Means(FCM)+CNN+多頭注意力Transformer、FCM+多核CNN+多頭注意力Transformer方法的輸入個(gè)數(shù)都為96，輸出個(gè)數(shù)為24，Random Forest(RF)、Support Vector Machine(SVM)、BPNN、Extreme Learning Machine(ELM)的輸入個(gè)數(shù)都為96，輸出個(gè)數(shù)為1，進(jìn)行24次測(cè)試計(jì)算得到24個(gè)預(yù)測(cè)值。序列到序列seq2seq方法的參數(shù)設(shè)置如下，迭代次數(shù)為100，隱含層維度為64，輸入維度為1，輸出維度為1，堆疊層數(shù)目為2，梯度修剪值為2.5。單頭注意力Transformer算法的注意力機(jī)制頭數(shù)設(shè)置為1。CNN+多頭注意力Transformer算法利用CNN對(duì)數(shù)據(jù)進(jìn)行特征提取預(yù)處理，特征圖的像素點(diǎn)尺寸設(shè)置為28×28，全連接層的標(biāo)簽值設(shè)置為10個(gè)，選用兩層卷積和兩層池化，卷積核的大小設(shè)置為5，池化層的尺寸設(shè)置為2×2，采用最大池化方案。FCM+CNN+多頭注意力Transformer算法在CNN+多頭注意力Transformer算法的基礎(chǔ)上利用Fuzzy C-Means(FCM)聚類算法[35]對(duì)時(shí)序測(cè)點(diǎn)進(jìn)行聚類后進(jìn)行特征提取。FCM+多核CNN+多頭注意力Transformer算法在FCM+CNN+多頭注意力Transformer算法的基礎(chǔ)上采用卷積核尺寸進(jìn)行特征提取，然后將利用不同卷積核提取的特征值進(jìn)行拼接得到20個(gè)全連接層標(biāo)簽。利用CEEMDAN方法對(duì)流量數(shù)據(jù)進(jìn)行分解的結(jié)果如圖6所示，參數(shù)設(shè)置如下：高斯白噪聲(Nstd)=0.2，加入噪聲次數(shù)=500，最大迭代次數(shù)(MaxIter)=5000。灌漿流量分量IMF1，IMF2，IMF3，IMF4，IMF5，IMF6，IMF7，IMF8，IMF9和殘差的皮爾遜相關(guān)性分別為0.289，0.420，0.547，0.683，0.504，0.351，0.248，0.191，0.164，-0.010。由于殘差與灌漿流量的相關(guān)性較低，殘差分量不參與灌漿流量的預(yù)測(cè)分量。利用CEEMDAN’方法[36]對(duì)灌漿流量進(jìn)行分解，參數(shù)設(shè)置如下：高斯白噪聲(Nstd)=0.2，加入噪聲次數(shù)=500，最大迭代次數(shù)(MaxIter)=5000。隨機(jī)森林算法樹(shù)數(shù)目設(shè)置為100，樹(shù)節(jié)點(diǎn)分裂變量設(shè)置為2。支持向量機(jī)算法懲罰因子C設(shè)置為50，Radial Basis Function(RBF)核函數(shù)方差g設(shè)置為0.1，損失因子p設(shè)置為0.1。BPNN參數(shù)設(shè)置如下，訓(xùn)練數(shù)選取為1000，訓(xùn)練目標(biāo)選取0.001，學(xué)習(xí)速度選取0.01。ELM算法參數(shù)設(shè)置如下，隱層神經(jīng)元數(shù)設(shè)置為30，隱層神經(jīng)元的激活函數(shù)為S型函數(shù)。

表3 不同算法的計(jì)算精度對(duì)比

圖6 灌漿流量參數(shù)分解圖

不同算法的對(duì)比結(jié)果如表3和圖8所示，多頭注意力Transformer相比seq2seq和單頭注意力Transformer具有良好的計(jì)算精度，且能夠更好地反映灌漿流量的時(shí)序變化趨勢(shì)。在灌漿施工中灌漿壓力和灌漿流量需要維持相對(duì)穩(wěn)定的灌漿功率，灌漿流量序列預(yù)測(cè)提供時(shí)間線更長(zhǎng)的預(yù)測(cè)范圍，能夠?yàn)楣酀{施工流量管控提供參考并且提高施工質(zhì)量。CNN+多頭注意力Transformer、FCM+CNN+多頭注意力Transformer、FCM+多核CNN+多頭注意力Transformer、FCM+多核CNN+多頭注意力Transformer算法在計(jì)算精度和時(shí)序趨勢(shì)方面相比多頭注意力Transformer沒(méi)有明顯優(yōu)勢(shì)。CEEMDAN+多頭注意力Transformer相比多頭注意力Transformer計(jì)算精度明顯提升，CEEMDAN’+多頭注意力Transformer相比多頭注意力Transformer計(jì)算精度也有一定幅度的提升。IMF1至IMF9的分量預(yù)測(cè)結(jié)果如圖7所示，通過(guò)所有分量合成的灌漿流量預(yù)測(cè)結(jié)果如圖7所示。RF和SVM算法計(jì)算結(jié)果比較平緩，結(jié)果的辨識(shí)度低，BPNN和ELM計(jì)算結(jié)果波動(dòng)性大?？傮w而言，相比RF、SVM、BPNN、ELM算法，多頭注意力Transformer算法在計(jì)算精度和時(shí)序趨勢(shì)效果方面都存在明顯優(yōu)勢(shì)。CEEMDAN+多頭注意力Transformer相比多頭注意力Transformer計(jì)算精度明顯提升，同時(shí)該算法能夠一次計(jì)算24個(gè)測(cè)點(diǎn)，通過(guò)序列到序列預(yù)測(cè)降低了計(jì)算的復(fù)雜性，增加了預(yù)警時(shí)間。

圖7 灌漿流量分解參數(shù)和灌漿流量預(yù)測(cè)圖

圖8 灌漿參數(shù)預(yù)測(cè)結(jié)果

5 討論

本研究實(shí)現(xiàn)了灌漿流量的時(shí)序預(yù)測(cè)，考慮到灌漿過(guò)程中灌漿壓力和灌漿流量是相互作用的，得到耦合灌漿流量、壓力的計(jì)算結(jié)果。灌漿壓力的監(jiān)控曲線如圖9所示，同樣選取500個(gè)數(shù)據(jù)點(diǎn)作為訓(xùn)練集，100個(gè)數(shù)據(jù)點(diǎn)作為測(cè)試集。參數(shù)設(shè)定與多頭注意力Transformer算法一樣，選取96個(gè)流量數(shù)據(jù)和96個(gè)壓力數(shù)據(jù)進(jìn)行輸入，24個(gè)流量數(shù)據(jù)進(jìn)行輸出，計(jì)算得到RMSE，R2，MAE，MAPE分別為7.290，-0.035，5.505，15.006。相比僅通過(guò)流量預(yù)測(cè)流量結(jié)果(RMSE=7.037，R2=0.036，MAE=5.343，MAPE=14.232)在算法精度方面沒(méi)有明顯提升。同時(shí)比較了灌漿壓力的時(shí)序預(yù)測(cè)結(jié)果，參數(shù)設(shè)定與流量多頭注意力Transformer算法一樣，選取96個(gè)壓力數(shù)據(jù)進(jìn)行輸入，24個(gè)壓力數(shù)據(jù)進(jìn)行輸出，計(jì)算結(jié)果如圖10所示，計(jì)算精度為RMSE=0.294，R2=-0.814，MAE=0.232，MAPE=15.675。選取96個(gè)流量數(shù)據(jù)和96個(gè)壓力數(shù)據(jù)進(jìn)行輸入，24個(gè)壓力數(shù)據(jù)進(jìn)行輸出，計(jì)算精度為RMSE=0.307，R2=-0.967，MAE=0.241，MAPE=16.370，相比通過(guò)灌漿壓力進(jìn)行時(shí)序預(yù)測(cè)該耦合方式并沒(méi)有提高預(yù)測(cè)精度。

圖9 灌漿壓力監(jiān)測(cè)數(shù)據(jù)

圖10 灌漿壓力預(yù)測(cè)結(jié)果

6 結(jié)論

灌漿流量數(shù)據(jù)存在強(qiáng)非線性和強(qiáng)波動(dòng)性的特點(diǎn)，給灌漿流量的預(yù)測(cè)帶來(lái)了極大的挑戰(zhàn)，本研究建立了基于CEEMDAN-Transformer的灌漿流量混合預(yù)測(cè)模型，得出以下結(jié)論：

(1)CEEMDAN+多頭注意力Transformer(RMSE=6.281，R2=0.232，MAE=4.682，MAPE=13.333)相比多頭注意力Transformer算法精度(RMSE=7.037，R2=0.036，MAE=5.343，MAPE=14.232)明顯提升。

(2)考慮輸入和輸出的全局依賴關(guān)系的多頭注意力Transformer算法(RMSE=7.037，R2=0.036，MAE=5.343，MAPE=14.232)相比Back propagation(BP)神經(jīng)網(wǎng)絡(luò)算法(RMSE=13.625，R2=-2.614，MAE=10.300，MAPE=27.927)精度明顯提升，同時(shí)多頭注意力Transformer算法相比序列到序列算法(RMSE=7.719，R2=-0.160，MAE=6.290，MAPE=17.778)有一定幅度提升，能夠更好地反映序列趨勢(shì)，并且實(shí)現(xiàn)了并行計(jì)算。

(3)建立多輸入多輸出灌漿流量時(shí)序預(yù)測(cè)模型相比傳統(tǒng)的單點(diǎn)預(yù)測(cè)提高了算法精度，CEEMDAN+多頭注意力Transformer的計(jì)算精度為RMSE=6.281，R2=0.232，MAE=4.682，MAPE=13.333，相比傳統(tǒng)RF(RMSE=7.816，R2=-0.189，MAE=5.934，MAPE=16.502)、SVM(RMSE=7.702，R2=-0.155，MAE=5.843，MAPE=16.295)、BPNN(RMSE=13.625，R2=-2.614，MAE=10.300，MAPE=27.927)、ELM(RMSE=7.873，R2=-0.207，MAE=5.974，MAPE=16.364)算法的計(jì)算精度存在明顯優(yōu)勢(shì)。序列到序列預(yù)測(cè)減少了每次預(yù)測(cè)的繁雜度和增加了每次預(yù)測(cè)的預(yù)警時(shí)間。

(4)利用多頭注意力Transformer算法建立了耦合灌漿流量和灌漿壓力的混合參數(shù)預(yù)測(cè)模型，灌漿流量混合預(yù)測(cè)模型精度RMSE，R2，MAE，MAPE分別為7.290，-0.035，5.505，15.006，相比僅通過(guò)流量預(yù)測(cè)流量結(jié)果(RMSE=7.037，R2=0.036，MAE=5.343，MAPE=14.232)在算法精度方面沒(méi)有明顯提升；灌漿壓力混合預(yù)測(cè)模型精度RMSE，R2，MAE，MAPE分別為0.307，-0.967，0.241，16.370，相比僅通過(guò)壓力預(yù)測(cè)壓力結(jié)果(RMSE=0.294，R2=-0.814，MAE=0.232，MAPE=15.675)在算法精度方面沒(méi)有明顯提升。