基于軟注意力GRU模型的堆芯瞬態(tài)熱工水力參數(shù)預(yù)測(cè)方法研究

淳思琦 馮 歡 張安妮 趙鵬程,2

1（南華大學(xué) 核科學(xué)技術(shù)學(xué)院 衡陽(yáng) 421001）

2（南華大學(xué) 核燃料循環(huán)技術(shù)與裝備湖南省協(xié)同創(chuàng)新中心 衡陽(yáng) 421001）

3（南華大學(xué) 資源環(huán)境與安全工程學(xué)院 衡陽(yáng) 421001）

4（南華大學(xué) 計(jì)算機(jī)/軟件學(xué)院 衡陽(yáng) 421001）

由于事故或者冷卻劑呈兩相狀態(tài)等原因，堆芯瞬態(tài)工況會(huì)導(dǎo)致冷卻劑流量等熱工參數(shù)發(fā)生明顯變化，從而影響其他熱工參數(shù)的變化。在這些工況中，流動(dòng)不穩(wěn)定性是重要的安全考慮之一，其研究對(duì)于反應(yīng)堆的安全運(yùn)行至關(guān)重要。

現(xiàn)階段，神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在堆芯熱工水力中［1］。例如，焦煒［2］使用遺傳算法優(yōu)化的反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)沸騰傳熱系數(shù)；靳爽等［3］利用前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Network，F(xiàn)NN）方法的機(jī)器學(xué)習(xí)方法，對(duì)不同工況下粗網(wǎng)格下的計(jì)算流體動(dòng)力學(xué)（Computational Fluid Dynamics，CFD）數(shù)值模擬結(jié)果進(jìn)行了優(yōu)化，結(jié)果表明，采用前饋神經(jīng)網(wǎng)絡(luò)優(yōu)化粗網(wǎng)格得到的結(jié)果后，子通道溫度的均方根誤差（Root Mean Square Error，RMSE）平均值由1.16 K 降低至9.24×10-3K，優(yōu)化效果顯著；李仕鮮等［4］使用反向傳播BP 神經(jīng)網(wǎng)絡(luò)、Elman神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)（Radial Basis Function，RBF）神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)對(duì)失水事故期間的6個(gè)參數(shù)進(jìn)行了訓(xùn)練。結(jié)果表明，經(jīng)過(guò)參數(shù)優(yōu)化后，支持向量機(jī)對(duì)破口位置和大小的診斷精度高于其他神經(jīng)網(wǎng)絡(luò)，同時(shí)表現(xiàn)出良好的診斷穩(wěn)定性；陳涵瀛［5］基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）和長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short-term Memory，STM）等深度學(xué)習(xí)算法，提出了一種預(yù)測(cè)剩余未停堆時(shí)間和重要工況參數(shù)的模型提高了預(yù)測(cè)的精度。

在本文的研究中，溫度和質(zhì)量流量都是時(shí)間序列信號(hào)，RNN善于提取序列特征，LSTM［6］和門控循環(huán)單元網(wǎng)絡(luò)（Gated Recurrent Unit，GRU）［7］是兩種改進(jìn)的變體，他們都使用門機(jī)制來(lái)緩解早期RNN中的梯度消失問(wèn)題。LSTM單元有3個(gè)門，GRU單元有2個(gè)門。

本文選擇GRU 網(wǎng)絡(luò)，因?yàn)樗哂懈?jiǎn)單的架構(gòu)，更少的參數(shù)，性能與LSTM 網(wǎng)絡(luò)［8］相當(dāng)。然而，目前的熱工水力工況參數(shù)預(yù)測(cè)中，還停留在簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)使用和優(yōu)化階段，預(yù)測(cè)熱工水力參數(shù)的變化趨勢(shì)更為重要，因?yàn)樗鼈冎苯雨P(guān)系到反應(yīng)堆運(yùn)行安全［9］，現(xiàn)階段很少有結(jié)合其他先進(jìn)神經(jīng)網(wǎng)絡(luò)提高對(duì)變化趨勢(shì)的預(yù)測(cè)效果。

目前已有一些實(shí)例［10-11］證明了注意力機(jī)制可以使模型更加聚焦，提取信息更加準(zhǔn)確，從而提高其可解釋性，增強(qiáng)其魯棒性，降低信息過(guò)載的影響。

本文首先采用快堆子通道程序SUBCHANFLOW 計(jì)算產(chǎn)生瞬態(tài)的質(zhì)量流量和溫度隨時(shí)間變化的數(shù)據(jù)，然后對(duì)得到的數(shù)據(jù)進(jìn)行小波去噪處理，使用基于注意力機(jī)制的門控循環(huán)（Gated Recurrent Unit，GRU）神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，將測(cè)試集測(cè)試結(jié)果與自適應(yīng)BP 神經(jīng)網(wǎng)絡(luò)和自適應(yīng)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，進(jìn)而驗(yàn)證基于注意力機(jī)制的門控循環(huán)神經(jīng)網(wǎng)絡(luò)在對(duì)于堆芯關(guān)鍵參數(shù)進(jìn)行連續(xù)預(yù)測(cè)優(yōu)勢(shì)。此外通過(guò)消融實(shí)驗(yàn)驗(yàn)證了去噪和注意力機(jī)制的有效性。

1 神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

1.1 自適應(yīng)RBF神經(jīng)網(wǎng)絡(luò)

自適應(yīng)RBF 神經(jīng)網(wǎng)絡(luò)［12］是一種基于徑向基函數(shù)的神經(jīng)網(wǎng)絡(luò)（圖1），它具有自適應(yīng)調(diào)整RBF 網(wǎng)絡(luò)參數(shù)的能力。RBF 是一種常用的非線性函數(shù)，它可以將輸入映射到高維空間中進(jìn)行處理。

圖1 自適應(yīng)RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Adaptive RBF neural network structure

自適應(yīng)RBF 神經(jīng)網(wǎng)絡(luò)首先需要確定RBF 的數(shù)量和位置。通常使用聚類算法來(lái)確定RBF 中心點(diǎn)的位置，如K-means 算法［13］等。與傳統(tǒng)的RBF 神經(jīng)網(wǎng)絡(luò)相比，自適應(yīng)RBF神經(jīng)網(wǎng)絡(luò)的主要優(yōu)勢(shì)在于其參數(shù)自適應(yīng)能力，因?yàn)閭鹘y(tǒng)的RBF需要手動(dòng)設(shè)置中心點(diǎn)和寬度等參數(shù)。此外，自適應(yīng)RBF神經(jīng)網(wǎng)絡(luò)還具有可變的層數(shù)，因?yàn)槊總€(gè)樣本可以添加一個(gè)新的RBF節(jié)點(diǎn)，從而使其更加靈活和適應(yīng)性強(qiáng)。

設(shè)輸入數(shù)據(jù)為x∈R，隱含層由M個(gè)徑向基函數(shù)組成，輸出層有K個(gè)節(jié)點(diǎn)。則神經(jīng)網(wǎng)絡(luò)的輸入、隱含層和輸出分別可以表示為：

其中：cj是第j個(gè)徑向基函數(shù)的中心；βj是徑向基函數(shù)寬度參數(shù)；?j是徑向基函數(shù)；wkj是輸出層中第k個(gè)節(jié)點(diǎn)和第j個(gè)隱含單元之間的權(quán)重系數(shù)。RBF 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括確定cj、βj和wkj等參數(shù)，最小化網(wǎng)絡(luò)預(yù)測(cè)誤差并提高泛化能力。對(duì)于分類任務(wù)，可以使用交叉熵?fù)p失函數(shù)；對(duì)于回歸任務(wù)，可以使用均方誤差損失函數(shù)。在確定了損失函數(shù)之后，可以使用梯度下降等優(yōu)化算法進(jìn)行訓(xùn)練。

自適應(yīng)RBF是一種前饋神經(jīng)網(wǎng)絡(luò)，主要用于模式識(shí)別、數(shù)據(jù)挖掘和穩(wěn)態(tài)時(shí)間序列預(yù)測(cè)等領(lǐng)域，由于該網(wǎng)絡(luò)容易出現(xiàn)梯度消失等問(wèn)題，且不能及時(shí)校正網(wǎng)絡(luò)超參數(shù)，連續(xù)預(yù)測(cè)會(huì)造成誤差堆積，從而影響后續(xù)的預(yù)測(cè)結(jié)果。

1.2 GRU神經(jīng)網(wǎng)絡(luò)

GRU 是一種循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）結(jié)構(gòu)，用于學(xué)習(xí)和處理序列數(shù)據(jù)。GRU 全稱為門控循環(huán)單元（Gated Recurrent Unit），由Cho 等［7］在2014 年提出，相較于RBF 神經(jīng)網(wǎng)絡(luò)，GRU 在處理長(zhǎng)期依賴問(wèn)題上，能夠更好地保留信息，從而更好地解決了梯度消失問(wèn)題。與傳統(tǒng)的RNN不同，GRU引入了重置門（reset gate）和更新門（update gate）機(jī)制，這兩個(gè)門控制著網(wǎng)絡(luò)中信息的流動(dòng)。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 GRU結(jié)構(gòu)圖Fig.2 GRU structure

具體來(lái)說(shuō)，重置門控制著上一個(gè)時(shí)刻的隱藏狀態(tài)ht-1如何影響當(dāng)前時(shí)刻的輸入xt，而更新門則決定了上一個(gè)時(shí)刻的隱藏狀態(tài)ht-1多少被保留到當(dāng)前時(shí)刻，并與當(dāng)前時(shí)刻的輸入一起更新隱藏狀態(tài)。

式中：Wr、Wz和W分別為重置門、更新門和隱藏層的權(quán)重矩陣；σ為激活函數(shù)，本次選擇Sigmoid 作為激活函數(shù)；tanh即雙曲正切激活函數(shù)；通過(guò)式（6）得到的ht為當(dāng)前輸入和先前隱藏層狀態(tài)的總匯。為這些門機(jī)制使得GRU能夠更好地處理長(zhǎng)期依賴關(guān)系，并且能夠避免梯度消失或爆炸問(wèn)題。

相比于其他RNN 結(jié)構(gòu)，GRU 擁有更少的參數(shù)，訓(xùn)練速度更快，同時(shí)在某些任務(wù)上也能夠取得更好的性能。因此，GRU已經(jīng)成為了當(dāng)今深度學(xué)習(xí)領(lǐng)域中非常受歡迎的模型之一，廣泛應(yīng)用于自然語(yǔ)言處理［14］、語(yǔ)音識(shí)別［15］等任務(wù)中。不過(guò)，對(duì)于一些不涉及時(shí)間序列的問(wèn)題，使用GRU可能會(huì)有些過(guò)于復(fù)雜。

1.3 注意力機(jī)制

實(shí)際情況下，流體在管道或容器中容易出現(xiàn)波動(dòng)、渦旋、振蕩等不穩(wěn)定現(xiàn)象，這種現(xiàn)象可能會(huì)導(dǎo)致堆芯溫度分布不均，從而導(dǎo)致堆芯熱工水力參數(shù)的變化，例如流速、溫度、壓力等。在對(duì)堆芯熱工水力參數(shù)的預(yù)測(cè)中，除了要求對(duì)時(shí)間序列預(yù)測(cè)誤差要小，還需要重視質(zhì)量流量時(shí)間序列和溫度時(shí)間序列發(fā)生突變的部分［16］。借鑒人類視覺(jué)的特點(diǎn)，注意力機(jī)制可以選擇性地將有限的信息處理資源分配給重要的信息序列段，從而實(shí)現(xiàn)對(duì)目標(biāo)區(qū)域的專注和集中。故在網(wǎng)絡(luò)結(jié)構(gòu)中引入注意力機(jī)制，進(jìn)一步提升模型的性能。目前，注意力機(jī)制廣泛應(yīng)用于自然語(yǔ)言處理、圖像處理和推薦系統(tǒng)等各個(gè)領(lǐng)域。

注意力機(jī)制［17-18］是一種資源分配方案，用于幫助神經(jīng)網(wǎng)絡(luò)解決信息超載問(wèn)題。通過(guò)對(duì)輸入數(shù)據(jù)中的關(guān)鍵部分進(jìn)行加權(quán)處理，注意力機(jī)制可以使模型更加精確地聚焦和提取信息，從而改善模型解釋性、增強(qiáng)魯棒性，并減少信息超載的影響。注意力分硬注意、軟注意力和自注意力［19］，其中，硬注意力和軟注意力主要的區(qū)別在于是否明確選擇了關(guān)注的位置：硬注意力明確選擇了一個(gè)或幾個(gè)位置，而軟注意力給所有位置賦予了權(quán)重。自注意力是一種特殊類型的軟注意力機(jī)制，它在處理序列數(shù)據(jù)（文本）時(shí)，允許模型在每個(gè)步驟中都關(guān)注輸入的所有部分。軟注意力可以對(duì)輸入序列中的每個(gè)位置進(jìn)行加權(quán)處理，且可以計(jì)算每個(gè)位置與目標(biāo)輸出之間的關(guān)聯(lián)度作為權(quán)重，是一種靈活，具有可解釋性的注意力機(jī)制。

因此，本文引入軟注意力對(duì)GRU輸出的數(shù)據(jù)進(jìn)行加權(quán)。本文所用軟注意力如圖3 所示，其中，x1，x2，…，xt為輸入GRU 網(wǎng)絡(luò)的序列數(shù)據(jù)；h1，h2，…，ht為網(wǎng)絡(luò)對(duì)應(yīng)的隱藏層狀態(tài)值；at為對(duì)應(yīng)的注意力向量；ct為上下文向量為隱藏層最終狀態(tài)；yt為GRU網(wǎng)絡(luò)的最終輸出。

圖3 軟注意力示意圖Fig.3 Soft attention diagram

注意力機(jī)制的計(jì)算如下：通過(guò)計(jì)算輸入張量與學(xué)習(xí)到的權(quán)重矩陣的點(diǎn)積，并添加偏置項(xiàng)，然后通過(guò)非線性變換（tanh函數(shù)）將結(jié)果映射到對(duì)應(yīng)的得分上。接著，它通過(guò)指數(shù)函數(shù)將得分進(jìn)行正規(guī)化，最后將得到的注意力權(quán)重與輸入張量相乘，最終輸出加權(quán)平均值。

其中，分母對(duì)所有得分進(jìn)行求和并加上一個(gè)小的∈值，以避免除以零錯(cuò)誤。這個(gè)過(guò)程可以看作是一個(gè)softmax運(yùn)算的變體，將得分轉(zhuǎn)換為概率分布。式中：hi(i∈[1，t])為第i時(shí)刻的隱藏層變量；wj為在注意力機(jī)制中第j個(gè)位置的權(quán)重向量；bj是偏置向量；scoreij為注意力得分；αij為注意力權(quán)重。

1.4 基于注意力機(jī)制的GRU預(yù)測(cè)模型

本次選用Attention+GRU 進(jìn)行時(shí)間序列預(yù)測(cè)，GRU 神經(jīng)網(wǎng)絡(luò)是一種常用于時(shí)間序列預(yù)測(cè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，它可以通過(guò)對(duì)時(shí)序數(shù)據(jù)進(jìn)行建模來(lái)捕捉時(shí)間序列中的長(zhǎng)期依賴關(guān)系。然而，在實(shí)際應(yīng)用中，不同時(shí)間步的輸入數(shù)據(jù)往往存在著不同的重要性和影響程度，因此需要在GRU模型中引入注意力機(jī)制來(lái)對(duì)每個(gè)時(shí)間步的輸入進(jìn)行加權(quán)，以更好地捕捉時(shí)序數(shù)據(jù)特征。

首先將選定步長(zhǎng)的數(shù)據(jù)組輸入一個(gè)節(jié)點(diǎn)數(shù)為64的GRU網(wǎng)絡(luò)中，本網(wǎng)絡(luò)使用了更新門和重置門來(lái)控制信息的流動(dòng)，能夠有效地解決傳統(tǒng)RNN在處理長(zhǎng)序列時(shí)會(huì)遇到的梯度消失或梯度爆炸的問(wèn)題；然后將結(jié)果進(jìn)行一次注意力操作，模型計(jì)算得出一個(gè)權(quán)重分布，這個(gè)權(quán)重分布決定了模型對(duì)于每個(gè)時(shí)間步的輸出應(yīng)該給予多大的關(guān)注；之后通過(guò)Flatten 層將序列張量按照順序展平成一個(gè)一維向量，最后通過(guò)一個(gè)全連接層，計(jì)算得到最終的輸出結(jié)果。網(wǎng)絡(luò)層如圖4所示。

圖4 基于注意力機(jī)制的GRU預(yù)測(cè)拓?fù)浣Y(jié)構(gòu)Fig.4 GRU prediction topological structure based on the attention mechanism

2 仿真驗(yàn)證

2.1 數(shù)據(jù)預(yù)處理

2.1.1 數(shù)據(jù)來(lái)源

為對(duì)比自適應(yīng)RBF 神經(jīng)網(wǎng)絡(luò)在堆芯熱工水力參數(shù)預(yù)測(cè)的效果，采用與冀南等在2022 年發(fā)表文章［9］中同樣的數(shù)據(jù)樣本獲取方法，即使用子通道程序SUBCHANFLOW 構(gòu)建中國(guó)實(shí)驗(yàn)快堆（China Experimental Fast Reactor，CEFR）堆芯的1/2 全堆芯模型，用同樣的方式對(duì)堆芯子通道進(jìn)行簡(jiǎn)化，得到質(zhì)量流量時(shí)間序列和溫度時(shí)間序列。

2.1.2 DB8小波去噪處理

考慮到實(shí)際工作中由于各種不穩(wěn)定性因素的影響，熱工水力參數(shù)常常會(huì)受到噪聲的干擾，主要噪聲包括高斯白噪聲等。因此，需要采取相應(yīng)的措施來(lái)降低噪聲對(duì)預(yù)測(cè)結(jié)果的影響。

本次選用DB8小波對(duì)時(shí)間序列進(jìn)行去噪處理。Daubechies 8 小波［20］，也稱為DB8 小波，是一種基于小波分析的信號(hào)處理技術(shù)中常用的小波函數(shù)，在進(jìn)行信號(hào)降噪時(shí)，DB8 小波能夠更好地捕捉到它們的高頻部分，同時(shí)保留低頻部分的重要信息，通常適用于具有漸變或者突變特性的信號(hào)。同時(shí)，DB8 小波也提供了較高的信號(hào)壓縮效率，可以在保證去噪效果的同時(shí)減少數(shù)據(jù)量。此外，DB8 小波可以有效去除高斯白噪聲信號(hào)。因?yàn)樗梢蕴峁┫鄬?duì)尖銳的細(xì)節(jié)系數(shù)，這有助于更好地捕捉信號(hào)中的細(xì)節(jié)和噪聲。

質(zhì)量流量時(shí)間序列與溫度時(shí)間序列去噪前后對(duì)比如圖5所示。

2.2 步長(zhǎng)超參數(shù)確定

在使用GRU模型時(shí)，步長(zhǎng)的選擇對(duì)結(jié)果影響是非常重要的。步長(zhǎng)（stride）指的是卷積核或池化窗口在每一次滑動(dòng)時(shí)所跨越的像素?cái)?shù)目。如果步長(zhǎng)太小，模型會(huì)計(jì)算更多的輸出，并且需要更長(zhǎng)的時(shí)間來(lái)訓(xùn)練和處理數(shù)據(jù)；如果步長(zhǎng)太大，則可能會(huì)導(dǎo)致信息損失和降采樣，從而影響模型的準(zhǔn)確性［21］。因此我們通過(guò)調(diào)整網(wǎng)絡(luò)步長(zhǎng)來(lái)找到最佳步長(zhǎng)，并據(jù)此提高預(yù)測(cè)準(zhǔn)確度。具體操作如下：首先，從1開(kāi)始逐步增大輸入步長(zhǎng)，在每個(gè)步長(zhǎng)下進(jìn)行50 次實(shí)驗(yàn)，計(jì)算測(cè)試集的平均相對(duì)誤差。然后，繪制不同步長(zhǎng)與平均相對(duì)誤差的折線圖，誤差越小說(shuō)明此步長(zhǎng)越合理，也就是網(wǎng)絡(luò)預(yù)測(cè)效果越佳，如圖6所示。

圖6 步長(zhǎng)超參數(shù)與平均相對(duì)誤差關(guān)系 (a) 質(zhì)量流量時(shí)間序列，(b) 溫度時(shí)間序列Fig.6 Relationship between the super parameter of step length and average relative error(a) Mass flow time series,(b) Temperature time series

從調(diào)試結(jié)果可知，質(zhì)量流量時(shí)間序列在步長(zhǎng)為10 的情況下，在本網(wǎng)絡(luò)中的效果最佳；溫度時(shí)間序列在步長(zhǎng)為3的情況下，在本網(wǎng)絡(luò)中的效果最佳。

2.3 模型驗(yàn)證

本次實(shí)驗(yàn)的流量和溫度數(shù)據(jù)均為800 條，直接按照80%、20%的比例劃分訓(xùn)練集和測(cè)試集。根據(jù)§2.2 中選定的步長(zhǎng)進(jìn)行相關(guān)實(shí)驗(yàn)，質(zhì)量流量時(shí)間序列在步長(zhǎng)為10的情況下，即每十個(gè)連續(xù)值預(yù)測(cè)當(dāng)前時(shí)間的質(zhì)量流量，總體特征從800變成790×10，故訓(xùn)練集為630，測(cè)試集為150。同理，溫度時(shí)間序列預(yù)測(cè)網(wǎng)絡(luò)步長(zhǎng)設(shè)置為3，總體特征從800變成797×3，故訓(xùn)練集為637，測(cè)試集為157。

2.3.1 預(yù)測(cè)結(jié)果分析

根據(jù)上面的步長(zhǎng)選擇，使用注意力+GRU 網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果如圖7 所示。由圖7 可知，對(duì)于堆芯入口流量的預(yù)測(cè)，由于其本身存在較多白噪聲，因此預(yù)測(cè)效果不如燃料包殼最高溫度預(yù)測(cè)的效果好。在本次實(shí)驗(yàn)中，選擇了步長(zhǎng)為10進(jìn)行預(yù)測(cè)。然而，步長(zhǎng)過(guò)大會(huì)使模型對(duì)歷史數(shù)據(jù)的抽象程度過(guò)高，從而受到未來(lái)數(shù)據(jù)的影響，導(dǎo)致預(yù)測(cè)中期可能存在輕微延時(shí)的問(wèn)題。雖然本次實(shí)驗(yàn)成功地學(xué)習(xí)到了數(shù)據(jù)的變化趨勢(shì)，并能夠很好地捕捉到數(shù)據(jù)的變化趨勢(shì)，但是在準(zhǔn)確獲得當(dāng)前數(shù)據(jù)的情況方面仍有欠缺。

圖7 時(shí)間序列預(yù)測(cè)結(jié)果 (a) 質(zhì)量流量時(shí)間序列，(b) 溫度時(shí)間序列Fig.7 Prediction results (a) Mass flow time series,(b) Temperature time series

對(duì)于燃料包殼最高溫度而言，本次選擇的步長(zhǎng)是3，步長(zhǎng)選擇適中，預(yù)測(cè)數(shù)據(jù)很好地學(xué)習(xí)了當(dāng)前時(shí)刻以及未來(lái)的數(shù)據(jù)變化情況，以及未來(lái)的變化情況，從圖8 可以看出，預(yù)測(cè)效果與實(shí)際值基本上完美擬合，預(yù)測(cè)效果極佳。

圖8 步長(zhǎng)為3的質(zhì)量流量時(shí)間預(yù)測(cè)結(jié)果Fig.8 Prediction results of mass flow with a step of 3

針對(duì)堆芯入口流量預(yù)測(cè)輕微延時(shí)情況，我們?cè)趯?shí)驗(yàn)過(guò)程中繪制了步長(zhǎng)較小情況下網(wǎng)絡(luò)的預(yù)測(cè)圖，如圖8 所示，發(fā)現(xiàn)步長(zhǎng)選擇為3，預(yù)測(cè)趨勢(shì)雖然延遲不明顯，但結(jié)果存在較大偏差，綜合考慮預(yù)測(cè)趨勢(shì)和預(yù)測(cè)結(jié)果偏差兩個(gè)因素，我們最終以偏差為導(dǎo)向，選擇步長(zhǎng)10輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

將最終預(yù)測(cè)的結(jié)果與冀南等使用BP 神經(jīng)網(wǎng)絡(luò)和自適應(yīng)RBF神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比，考慮到瞬時(shí)工況中，進(jìn)行點(diǎn)對(duì)點(diǎn)單步預(yù)測(cè)容易受到噪聲和異常值的影響，導(dǎo)致預(yù)測(cè)精度降低。此外，單步預(yù)測(cè)通常只考慮當(dāng)前時(shí)刻的數(shù)據(jù)，無(wú)法充分利用歷史數(shù)據(jù)的信息，學(xué)習(xí)未來(lái)趨勢(shì)。本次重點(diǎn)與連續(xù)預(yù)測(cè)的結(jié)果進(jìn)行對(duì)比，如表1所示。

表1 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果對(duì)比Table 1 Comparison of neural network prediction results

平均相對(duì)誤差（Mean Relative Error，MRE）是一種常用的衡量預(yù)測(cè)模型精度的指標(biāo)，通常用于衡量預(yù)測(cè)值與實(shí)際值之間的差異程度。MRE的值越小，說(shuō)明預(yù)測(cè)模型的精度越高。該指標(biāo)可以用于評(píng)價(jià)各種預(yù)測(cè)模型的優(yōu)劣，并幫助選擇最佳的預(yù)測(cè)模型。

從表1看出，本文使用的Attention+GRU算法在預(yù)測(cè)堆芯入口流量的平均相對(duì)誤差為0.042 9，比自適應(yīng)BP神經(jīng)網(wǎng)絡(luò)和自適應(yīng)RBF神經(jīng)網(wǎng)絡(luò)分別低了約32.1%和27.6%，由圖7 可以看出，質(zhì)量流量時(shí)間序列在后續(xù)12 s 內(nèi)預(yù)測(cè)效果較好，12 s 后出現(xiàn)明顯滯后偏差。而在預(yù)測(cè)燃料包殼表面最高溫度方面，本文使用的Attention+GRU算法的平均相對(duì)誤差為0.004 2，比自適應(yīng)BP 神經(jīng)網(wǎng)絡(luò)和自適應(yīng)RBF 神經(jīng)網(wǎng)絡(luò)分別低了約62.8%和52.3%，由圖7 可以看出，溫度時(shí)間序列在后續(xù)15 s 內(nèi)預(yù)測(cè)效果較好，15 s 后出現(xiàn)較為明顯的結(jié)果偏差。因此，可以認(rèn)為本文使用的Attention+GRU算法在這些預(yù)測(cè)變量上的預(yù)測(cè)效果都有較大的提升。

與此同時(shí)，我們可以觀察到，質(zhì)量流量時(shí)間序列沒(méi)有溫度時(shí)間序列的預(yù)測(cè)效果好，是因?yàn)橄噍^于溫度而言，質(zhì)量流量的數(shù)據(jù)會(huì)受到多種復(fù)雜因素的影響，比如流體的流動(dòng)不穩(wěn)定性，環(huán)境因素（溫度、壓力、濕度）等，這使得質(zhì)量流量的數(shù)據(jù)可能更復(fù)雜，有更多的噪聲，使得預(yù)測(cè)更困難，所以精度稍低。

2.3.2 消融實(shí)驗(yàn)

在深度學(xué)習(xí)領(lǐng)域的論文中，消融對(duì)比實(shí)驗(yàn)［22］是指通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的某一部分進(jìn)行刪減或禁用來(lái)研究該部分對(duì)于網(wǎng)絡(luò)性能的貢獻(xiàn)。消融對(duì)比實(shí)驗(yàn)是一種重要的評(píng)估技術(shù)，可以幫助我們了解網(wǎng)絡(luò)結(jié)構(gòu)的組成和作用，并且可以幫助我們更好地設(shè)計(jì)和優(yōu)化神經(jīng)網(wǎng)絡(luò)。

為了更好驗(yàn)證去噪結(jié)果的有效性，本文通過(guò)比較有無(wú)進(jìn)行去噪處理的數(shù)據(jù)集對(duì)模型的影響來(lái)分析去噪操作的重要性和效果。定量實(shí)驗(yàn)結(jié)果如表2所示。

表2 小波去噪的消融實(shí)驗(yàn)對(duì)比Table 2 Comparison of DB8 wavelet denoising ablation experiments

從表2看出，對(duì)于堆芯入口流量，原始數(shù)據(jù)與去噪數(shù)據(jù)的相對(duì)誤差為16.8%，說(shuō)明去噪操作對(duì)該預(yù)測(cè)變量有比較顯著的影響。對(duì)于燃料包殼最高溫度，原始數(shù)據(jù)與去噪數(shù)據(jù)的相對(duì)誤差為10.4%，說(shuō)明去噪操作對(duì)該預(yù)測(cè)變量的影響比質(zhì)量流量小一些。由于數(shù)據(jù)本身溫度噪聲就比流量噪聲小，所以去噪前后變化小屬于正常情況。綜上所述，進(jìn)行去噪操作確實(shí)可以在一定程度上提高預(yù)測(cè)結(jié)果的準(zhǔn)確性。

為了驗(yàn)證Attention機(jī)制的有效性，本次在GRU的基準(zhǔn)網(wǎng)絡(luò)上，基于去噪后的數(shù)據(jù)集，采用與上述實(shí)驗(yàn)相同的超參數(shù)設(shè)置，通過(guò)比較基準(zhǔn)模型和加入Attention機(jī)制的模型的表現(xiàn)，觀察模型的性能變化。定量實(shí)驗(yàn)結(jié)果如表3所示。

表3 注意力機(jī)制的消融實(shí)驗(yàn)對(duì)比Table 3 Comparison of attention mechanism ablation experiments

從表3看出，對(duì)于堆芯入口流量的預(yù)測(cè)，相較于加了注意力的網(wǎng)絡(luò)，GRU 基準(zhǔn)網(wǎng)絡(luò)的預(yù)測(cè)效果略差。在對(duì)于燃料包殼最高溫度預(yù)測(cè)時(shí)，兩者相差不大。但是均優(yōu)于連續(xù)預(yù)測(cè)的自適應(yīng)BP 神經(jīng)網(wǎng)絡(luò)和自適應(yīng)RBF神經(jīng)網(wǎng)絡(luò)，說(shuō)明GRU和注意力機(jī)制在一定程度上均能提高模型的性能。

3 結(jié)語(yǔ)

本文針對(duì)瞬態(tài)工況下CEFR燃料包殼最高溫度以及質(zhì)量流量預(yù)測(cè)問(wèn)題，建立基于軟注意力的GRU模型的反應(yīng)堆瞬態(tài)熱工參數(shù)預(yù)測(cè)方法，與目前常用的兩種自適應(yīng)神經(jīng)網(wǎng)絡(luò)算法的分析對(duì)比，得出如下結(jié)論：

1）選用1/2的CEFR堆芯為研究對(duì)象，開(kāi)展反應(yīng)堆瞬態(tài)熱工工況下燃料包殼表面的最高溫度和質(zhì)量流量預(yù)測(cè)，單步預(yù)測(cè)在實(shí)際工程應(yīng)用中沒(méi)有較大意義。在對(duì)堆芯溫度和質(zhì)量流量的連續(xù)預(yù)測(cè)中，相較于自適應(yīng)RBF 神經(jīng)網(wǎng)絡(luò)和自適應(yīng)BP 神經(jīng)網(wǎng)絡(luò)，本文使用的基于軟注意力的GRU 網(wǎng)絡(luò)模型連續(xù)預(yù)測(cè)結(jié)果更好，溫度的平均相對(duì)誤差不超過(guò)0.5%，在15 s內(nèi)預(yù)測(cè)效果較好；質(zhì)量流量的平均相對(duì)誤差不超過(guò)5%，在12 s內(nèi)預(yù)測(cè)效果較好。

2）基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)能夠有效捕捉到動(dòng)態(tài)時(shí)序的趨勢(shì)特征，幫助預(yù)測(cè)反應(yīng)堆熱工水力參數(shù)的不穩(wěn)定趨勢(shì)，對(duì)于提高反應(yīng)堆安全性有重要價(jià)值。

3）本文提出的模型，僅針對(duì)1/2中國(guó)實(shí)驗(yàn)快堆進(jìn)行質(zhì)量流量預(yù)測(cè)和溫度預(yù)測(cè)，在選定合適的步長(zhǎng)后具有很好的瞬時(shí)預(yù)測(cè)效果。對(duì)于步長(zhǎng)超參數(shù)確定、預(yù)測(cè)效率以及后續(xù)提高模型的泛化能力，還需要做進(jìn)一步的實(shí)驗(yàn)。

作者貢獻(xiàn)聲明淳思琦負(fù)責(zé)論文整體設(shè)計(jì)，SUBCHANFLOW程序設(shè)計(jì)，起草文章；馮歡負(fù)責(zé)獲取CEFR堆芯的有效數(shù)據(jù)，數(shù)據(jù)分析；張安妮負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)，實(shí)驗(yàn)實(shí)現(xiàn)；趙鵬程負(fù)責(zé)對(duì)文章作批評(píng)性審閱，研究經(jīng)費(fèi)支持，思想政治指導(dǎo)。