嵌入位置編碼的多頭注意力機(jī)制在堆積脈沖幅度估計(jì)中的應(yīng)用

唐 琳 周 爽 李 勇 廖先莉 李躍鵬4,

1（成都大學(xué) 電子信息與電氣工程學(xué)院 成都 610106）

2（安徽大學(xué)農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用國(guó)家工程研究中心 合肥 230039）

3（南洋理工大學(xué) 電氣與電子工程學(xué)院 新加坡 639798）

4（成都理工大學(xué) 核技術(shù)與自動(dòng)化工程學(xué)院 成都 610059）

在核輻射測(cè)量中，感興趣區(qū)域（Region of Interest，ROI）的計(jì)數(shù)率是非常重要的測(cè)量指標(biāo)，在進(jìn)行元素含量分析時(shí)，計(jì)數(shù)率的精度決定了元素含量分析的準(zhǔn)確度［1-2］。因此，要得到準(zhǔn)確的元素含量，每一個(gè)核脈沖信號(hào)都是至關(guān)重要的。近年來(lái)，許多學(xué)者在脈沖處理領(lǐng)域發(fā)表了相應(yīng)的研究成果，包括采用遺傳算法合成具有任意噪聲的最優(yōu)數(shù)字成形器［3］、基于雙極性尖頂成形的基線恢復(fù)［4］、對(duì)堆積脈沖的測(cè)量和補(bǔ)償技術(shù)等［5-6］。在前期研究中，筆者針對(duì)脈沖寬度不夠的畸形脈沖提出了脈沖甄別［7］和脈沖修復(fù)［8］兩種算法，有效降低了測(cè)量結(jié)果中計(jì)數(shù)率的統(tǒng)計(jì)漲落。上述成果都是采用傳統(tǒng)的分析手段對(duì)核脈沖進(jìn)行了分析和處理，在某些領(lǐng)域中也取得了較好的應(yīng)用效果。但在實(shí)際應(yīng)用中，對(duì)于那些嚴(yán)重堆積的脈沖，采用傳統(tǒng)的脈沖處理技術(shù)難以實(shí)現(xiàn)較好的脈沖分離以及脈沖幅度估計(jì)，從而導(dǎo)致測(cè)量結(jié)果中計(jì)數(shù)率的準(zhǔn)確性和穩(wěn)定性較差。

人工智能的發(fā)展為X 射線熒光光譜（X-ray Fluorescence，XRF）分析帶來(lái)了新的發(fā)展空間，國(guó)內(nèi)外學(xué)者在該領(lǐng)域都發(fā)表了不少研究成果。文獻(xiàn)［9］使用U-Net 網(wǎng)絡(luò)作為脈沖整形器，對(duì)脈沖進(jìn)行濾波并使其展開，在一定程度上解決了脈沖堆積問(wèn)題；文獻(xiàn)［10］基于神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí)對(duì)核探測(cè)器信號(hào)的廣義不確定性進(jìn)行了準(zhǔn)確估計(jì)；筆者所在的團(tuán)隊(duì)在前期研究中也已提出基于深度學(xué)習(xí)的遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）模型［11］對(duì)堆積脈沖進(jìn)行參數(shù)估計(jì)，但該模型對(duì)數(shù)據(jù)集的要求較高，需要大量的數(shù)據(jù)樣本和較長(zhǎng)的訓(xùn)練時(shí)間。考慮到深度學(xué)習(xí)技術(shù)已經(jīng)被廣泛應(yīng)用到生物［12］、控制［13］、醫(yī)學(xué)［14-16］、通信［17］等多個(gè)領(lǐng)域，在核脈沖參數(shù)識(shí)別領(lǐng)域，深度學(xué)習(xí)的相關(guān)應(yīng)用仍處于初步探索階段，本文將Vaswani等［18］提出的Transformer模型結(jié)構(gòu)進(jìn)行優(yōu)化，并將其應(yīng)用于核輻射測(cè)量的堆積脈沖幅度識(shí)別領(lǐng)域，通過(guò)嵌入位置編碼、執(zhí)行多頭注意力機(jī)制來(lái)對(duì)堆積脈沖的幅度進(jìn)行準(zhǔn)確估計(jì)。在堆積脈沖識(shí)別領(lǐng)域中，多頭注意力機(jī)制可以幫助識(shí)別并分類不同的脈沖，從而提高堆積脈沖的分析準(zhǔn)確性和魯棒性。

1 原理及方法

X 熒光能譜多采用數(shù)字多道譜進(jìn)行分析，在能譜圖中，每一個(gè)脈沖幅度估計(jì)值都對(duì)應(yīng)著相應(yīng)道址上的一次計(jì)數(shù)事件，因此，幅度估計(jì)值的準(zhǔn)確性就決定了XRF分析的準(zhǔn)確率。當(dāng)脈沖發(fā)生堆積時(shí)，要得到精確的譜圖，堆積分離以及準(zhǔn)確的幅值估計(jì)就異常重要了。本文提出一種深度學(xué)習(xí)模型實(shí)現(xiàn)堆積脈沖分離及其幅度估計(jì)，其原理如圖1 所示。輸入事件經(jīng)積分器輸出一個(gè)堆積上升的階躍脈沖信號(hào)，然后再由CR微分整形器濾除直流成分并將階躍脈沖整形為如圖1所示的負(fù)指數(shù)脈沖。數(shù)字化的負(fù)指數(shù)脈沖序列作為深度學(xué)習(xí)模型的輸入，經(jīng)學(xué)習(xí)模型最終輸出為與輸入事件對(duì)應(yīng)的脈沖幅度估計(jì)事件。

圖1 堆積脈沖分離及脈沖幅度估計(jì)原理Fig.1 Principle of stacking pulse separation and pulse amplitude estimation

如果測(cè)量系統(tǒng)得到的堆積脈沖幅度沒(méi)能被準(zhǔn)確估計(jì)，那么在最終獲取的X 熒光能譜ROI 中的有效計(jì)數(shù)就會(huì)降低。因此，堆積脈沖幅度的準(zhǔn)確估計(jì)對(duì)X熒光能譜的精細(xì)分析是非常重要的。采用基于深度學(xué)習(xí)模型對(duì)堆積脈沖幅值進(jìn)行估計(jì)的第一步就是數(shù)據(jù)集的制作。

1.1 數(shù)據(jù)集制作

數(shù)據(jù)集的來(lái)源包括成形后的脈沖幅度采樣值以及每個(gè)脈沖樣本的參數(shù)，為了對(duì)本文提出的嵌入位置編碼的Transformer模型進(jìn)行訓(xùn)練，定義了負(fù)指數(shù)堆積脈沖的數(shù)學(xué)模型如式（1）所示：

式中：u(t)表示階躍脈沖；Ai為第i個(gè)核脈沖的幅值系數(shù)；Ti表示第i個(gè)核脈沖的發(fā)生時(shí)間；τ為時(shí)間常數(shù)；ν(t)表示噪聲。以采樣周期Tclk對(duì)其進(jìn)行離散化且Tclk為50 ns，則離散化后的脈沖序列如式（2）所示：

負(fù)指數(shù)脈沖序列Ve（kTclk）經(jīng)過(guò)數(shù)字成形后將會(huì)得到一個(gè)新的脈沖幅度序列Vo（nTclk）。常用的數(shù)字成形方法包括三角成形、梯形成形、高斯成形，這里以三角成形為例，其數(shù)學(xué)模型如式（3）所示：

其中：na=tup/Tclk。

本文建立的數(shù)據(jù)集由脈沖幅度采樣值以及成形前負(fù)指數(shù)脈沖的真實(shí)幅值A(chǔ)構(gòu)成。根據(jù)需要，在對(duì)堆積脈沖的三角成形結(jié)果進(jìn)行采樣時(shí)，采樣點(diǎn)數(shù)是可以調(diào)整的，為了實(shí)現(xiàn)快速譜分析，減小數(shù)據(jù)集規(guī)模，本文選擇的是64 點(diǎn)采樣，其中包括63 個(gè)成形結(jié)果的幅值采樣點(diǎn)以及一個(gè)脈沖真實(shí)幅值的采樣點(diǎn)。數(shù)據(jù)集的矩陣表示形式如式（4）所示：

式（4）中的數(shù)據(jù)集包含m個(gè)成形后的脈沖幅度序列，每個(gè)脈沖幅度序列對(duì)應(yīng)矩陣中的一行；每一行中包含的前63 列代表堆積脈沖三角成形結(jié)果的幅度采樣值，第64列代表該脈沖的真實(shí)幅值。本文按照7∶2∶1 的比例把數(shù)據(jù)集分割為訓(xùn)練集、測(cè)試集和驗(yàn)證集。

1.2 Transformer建模

1.2.1 編碼器-解碼器框架

基于深度學(xué)習(xí)的Transformer 模型其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，該模型是一個(gè)基于編碼器（Encoder）-解碼器（Decoder）框架的模型，不使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）結(jié)構(gòu)，完全基于注意力（Attention）機(jī)制［18］，使得并行性更好。在采用Transformer 模型對(duì)堆積脈沖進(jìn)行參數(shù)估計(jì)時(shí)，為了把位置編碼信息傳輸?shù)骄幋a器，在編碼器和解碼器的輸入中嵌入了位置編碼（Positional Encoding）來(lái)對(duì)脈沖序列中樣本的位置進(jìn)行標(biāo)記。

圖2 Transformer模型結(jié)構(gòu)圖Fig.2 Structure diagram of the transformer model

如圖2 所示，編碼器的輸入是一個(gè)嵌入了位置編碼的脈沖幅度序列，內(nèi)部由6 個(gè)相同的編碼器層組成，每個(gè)層的內(nèi)部結(jié)構(gòu)如圖3所示，包括一個(gè)多頭自注意力層（Multi-Head Self-Attention）和一個(gè)前饋層（Feed Forward），每一個(gè)層產(chǎn)生的輸出都傳遞給解碼器對(duì)應(yīng)的層。為了讓不同的層之間便于連接，輸入嵌入層、位置編碼層以及編碼器層、解碼器層都保持著相同的維度64。

圖3 編碼器和解碼器內(nèi)部結(jié)構(gòu)圖Fig.3 Internal structures of the encoder and decoder

解碼器將訓(xùn)練集中的脈沖參數(shù)集A作為輸入，其內(nèi)部結(jié)構(gòu)與編碼器類似，也是由6 個(gè)相同的層構(gòu)成，如圖3 所示。它區(qū)別于編碼器的地方在于每個(gè)解碼器有三個(gè)子層，除了一個(gè)帶掩碼的多頭自注意力層、一個(gè)前饋層，還有一個(gè)多頭注意力層。在訓(xùn)練時(shí)將脈沖參數(shù)集A輸入到解碼器中，對(duì)于一個(gè)序列，在時(shí)間為t的時(shí)刻，解碼輸出應(yīng)該只能依賴于t時(shí)刻之前的輸出，而不能依賴t之后的輸出，因此需要一個(gè)掩碼把t之后的輸出隱藏起來(lái)。掩碼的實(shí)質(zhì)是一個(gè)下三角矩陣，即上三角的值全為0，把這個(gè)矩陣作用在每一個(gè)序列上，就可以達(dá)到把t之后的輸出隱藏起來(lái)的目的。這種掩碼的設(shè)置，加上輸出嵌入位置偏移的事實(shí)，確保了位置i的預(yù)測(cè)只能依賴于小于i的位置處的已知輸出。

1.2.2 位置編碼

常見的位置編碼包括可學(xué)習(xí)的編碼和固定位置編碼［19］。文獻(xiàn)［18］證明了可學(xué)習(xí)編碼與固定編碼得到的結(jié)果相差不大，而最簡(jiǎn)單的固定編碼莫過(guò)于二進(jìn)制位置編碼，其編碼原理如圖4（a）所示。為了對(duì)序列中的數(shù)據(jù)進(jìn)行排序，給每個(gè)數(shù)據(jù)嵌入一個(gè)二進(jìn)制的位置編碼，如果有16個(gè)數(shù)據(jù)需要編碼，那么從0開始，編碼到15 結(jié)束，可以發(fā)現(xiàn)0～15 的不同比特之間的變化率是不同的，最低位在每個(gè)數(shù)字上都會(huì)發(fā)生交替，次低位則在每?jī)蓚€(gè)數(shù)字上發(fā)生一次交替，依此類推。但是當(dāng)所需的位置編碼位數(shù)非常大時(shí)，使用二進(jìn)制值就會(huì)浪費(fèi)空間，占用內(nèi)存。因此，本文考慮使用它們的浮點(diǎn)連續(xù)對(duì)應(yīng)函數(shù)-正弦函數(shù)來(lái)進(jìn)行位置編碼。從本質(zhì)上來(lái)說(shuō)，正弦函數(shù)也相當(dāng)于一種交替變化的比特流，y2所在的編碼曲線中，1 000 個(gè)采樣點(diǎn)內(nèi)每個(gè)比特出現(xiàn)了6次，而通過(guò)調(diào)整頻率后，y1所在的編碼曲線中，1 000個(gè)采樣點(diǎn)內(nèi)每個(gè)比特僅出現(xiàn)了1 次。從而可以得出，通過(guò)調(diào)整頻率能夠?qū)崿F(xiàn)類似于二進(jìn)制編碼中從紅色比特變?yōu)槌壬忍氐木幋a效果，如圖4（b）所示。

圖4 位置編碼原理（彩圖見網(wǎng)絡(luò)版）(a) 二進(jìn)制編碼，(b) 正弦函數(shù)編碼Fig.4 Principle of positional encoding (color online) (a) Binary encoding, (b) Sine function encoding

本文使用正弦函數(shù)來(lái)進(jìn)行位置編碼，為了與輸入數(shù)據(jù)進(jìn)行匹配，編碼維度為64，輸入矩陣嵌入64維的位置編碼后得到新的編碼矩陣如式（5）所示：

1.2.3 多頭注意力機(jī)制

注意力函數(shù)本質(zhì)上可以被描述為將查詢向量（query）、鍵向量（key）、值向量（value）映射到一個(gè)輸出向量的過(guò)程，輸出向量是value 的加權(quán)和，其中分配給每個(gè)value 的權(quán)重由query 與對(duì)應(yīng)key 的兼容性

函數(shù)計(jì)算，其計(jì)算公式如式（6）所示：

式中：dk為鍵向量的維度。

多頭注意力的計(jì)算涉及多個(gè)模塊，在圖5中以6個(gè)不同的Block進(jìn)行呈現(xiàn)。Block A中脈沖幅度形成的數(shù)據(jù)集嵌入64 個(gè)維度的正弦位置編碼后得到編碼器的輸入矩陣S，Block B 中展示了8 個(gè)權(quán)重矩陣W Q、W K、W V的組合，輸入矩陣S與權(quán)重矩陣W Q、W K、W V進(jìn)行點(diǎn)積得到Block C所示的8組Q、K、V矩陣，然后將8 組變換后的Q、K、V進(jìn)行注意力池化輸出Block D中的8個(gè)注意力頭Z0～Z7，將8個(gè)注意力頭拼接在一起并通過(guò)與Block E 中的另一個(gè)可學(xué)習(xí)的權(quán)重矩陣進(jìn)行變換，以產(chǎn)生Block F 中的輸出矩陣Z。在圖5 所示的多頭注意力計(jì)算過(guò)程示意圖中每個(gè)Block的內(nèi)容以及矩陣計(jì)算過(guò)程如表1所示。

表1 Block的具體特征Table 1 Specific characteristics of the blocks

圖5 多頭注意力計(jì)算過(guò)程Fig.5 Calculation process of Multi-head attention

2 仿真與實(shí)驗(yàn)

2.1 模型訓(xùn)練

在定義Transformer 時(shí)，三個(gè)矩陣W Q、W K、W V的初值是隨機(jī)的，為了得到最優(yōu)的權(quán)重參數(shù)矩陣，驗(yàn)證模型對(duì)堆積脈沖進(jìn)行參數(shù)估計(jì)的效果，以前文所述的堆積脈沖數(shù)學(xué)模型產(chǎn)生一系列堆積的負(fù)指數(shù)脈沖序列制作數(shù)據(jù)集。應(yīng)用反向傳播算法將LMSE與損失函數(shù)的梯度一起反饋給網(wǎng)絡(luò)來(lái)更新權(quán)重，實(shí)現(xiàn)減少后續(xù)迭代誤差的目的。單次前向傳播迭代輸出的預(yù)測(cè)脈沖參數(shù)集A'i與訓(xùn)練集中的實(shí)際脈沖參數(shù)集Ai的誤差則可以通過(guò)損失函數(shù)來(lái)計(jì)算。對(duì)于有N個(gè)樣本的訓(xùn)練集，將參數(shù)集Ai的平均絕對(duì)誤差值作為損失函數(shù)的函數(shù)值LMSE，即損失函數(shù)的計(jì)算式為：

模型在訓(xùn)練集和驗(yàn)證集上得到的損失值的迭代變化過(guò)程如圖6所示，不管是訓(xùn)練集還是驗(yàn)證集，損失值在第25 個(gè)epoch 之后就幾乎趨近于零，并未出現(xiàn)過(guò)擬合現(xiàn)象，因此也無(wú)須再添加drop out層，在訓(xùn)練集和驗(yàn)證集上得到的準(zhǔn)確率都趨近于100%。

圖6 模型訓(xùn)練過(guò)程中在訓(xùn)練集和驗(yàn)證集上的損失值的迭代圖Fig.6 Iterative graph of the loss and accuracy for the training and validation sets during model training

2.2 實(shí)驗(yàn)驗(yàn)證

本文訓(xùn)練的深度學(xué)習(xí)模型在測(cè)試集和驗(yàn)證集都取得了較好的效果，為了進(jìn)一步驗(yàn)證模型的泛化能力并對(duì)模型進(jìn)行進(jìn)一步評(píng)估，在測(cè)量過(guò)程中激發(fā)源采用的是上?？祁U維2000A 型X 光管（額定管壓50 kV、額定管流為0～1 mA），樣品使用的是粉末鐵礦樣品（主要元素成為鐵、鍶、錫等），測(cè)量采用的探測(cè)器為AMPTEK 公司的高性能硅漂移探測(cè)器（FAST Silicon Drift Detector，F(xiàn)AST-SDD），其有效探測(cè)面積為25 mm2，探測(cè)器厚度為500 μm。取測(cè)量得到的堆積脈沖序列作為分析對(duì)象，驗(yàn)證模型對(duì)隨機(jī)截取的脈沖序列幅度值的估計(jì)效果，如圖7所示。

圖7 (a) 實(shí)測(cè)脈沖序列圖，(b) 三角成形結(jié)果，(c) 隨機(jī)脈沖幅度估計(jì)值對(duì)照?qǐng)D（彩圖見網(wǎng)絡(luò)版）Fig.7 (a) Measured pulse sequence diagram, (b) Triangulation results for the pulse sequence, (c) Comparison chart of the estimated random pulse amplitude (color online)

圖7（a）所示的隨機(jī)脈沖序列中包含多個(gè)堆積脈沖，在采用三角成形對(duì)堆積脈沖序列進(jìn)行脈沖分離及幅度估計(jì)時(shí)，堆積脈沖的分離效果較差，成形結(jié)果的幅度也存在較大的損失，如圖7（b）所示。對(duì)該脈沖序列調(diào)用深度學(xué)習(xí)模型進(jìn)行參數(shù)估計(jì)，將模型輸出結(jié)果與傳統(tǒng)的成形方法得到的幅度估計(jì)值進(jìn)行對(duì)比，得到如圖7（c）所示的隨機(jī)脈沖幅度估計(jì)值對(duì)照?qǐng)D，實(shí)測(cè)脈沖幅度的真實(shí)值（黑色），采用三角成形得到的脈沖幅度（紅色），采用深度學(xué)習(xí)模型獲得的脈沖幅度（藍(lán)色）。由圖7（c）所示的隨機(jī)脈沖幅度估計(jì)值對(duì)照?qǐng)D中可以看出，對(duì)于那些沒(méi)有堆積或者堆積不太嚴(yán)重的脈沖，不管是傳統(tǒng)的三角成形方式還是深度學(xué)習(xí)模型都能夠比較準(zhǔn)確地估計(jì)出脈沖幅度。為了量化幅值估計(jì)效果，用Δ表示絕對(duì)誤差，δ表示相對(duì)誤差，A表示脈沖幅度，從而得出三角成形以及多頭注意力估計(jì)模型對(duì)堆積脈沖幅值估計(jì)的絕對(duì)誤差和相對(duì)誤差的計(jì)算公式分別如式（8）和式（9）所示：

實(shí)驗(yàn)采用的實(shí)測(cè)脈沖序列如圖7（a）所示，該序列包含15個(gè)脈沖，其中堆積率為66%且堆積類型為雙脈沖堆積。對(duì)圖7（a）所示的15 個(gè)脈沖采用不同方式計(jì)算得到的幅度值進(jìn)行對(duì)比分析，結(jié)果如表2所示。

表2 深度學(xué)習(xí)模型對(duì)堆積脈沖的估計(jì)值與真實(shí)值的對(duì)比（堆積率為66%）Table 2 Comparison of estimated and real values of overlapping pulses in the deep learning model

沒(méi)有發(fā)生明顯堆積的脈沖包括P1、P8、P9、P14以及P15，這些脈沖采用三角成形進(jìn)行幅度計(jì)算得到的相對(duì)誤差約在10%以內(nèi)；而對(duì)于發(fā)生了堆積的脈沖，如圖7中標(biāo)注的P2和P3，類似的還有P4和P5、P6和P7、P10和P11以及P12和P13，對(duì)于這種發(fā)生了雙脈沖堆積的堆積脈沖三角成形，通常第一個(gè)脈沖的幅度不會(huì)受到較大影響，而堆積上去的第二個(gè)脈沖則無(wú)法得出準(zhǔn)確的成形結(jié)果，如P3、P5、P7、P11以及P13，這些脈沖采用三角成形進(jìn)行幅度計(jì)算得到的相對(duì)誤差成倍增長(zhǎng)，最大相對(duì)誤差高達(dá)47%，嚴(yán)重影響了脈沖幅度的估計(jì)。采用嵌入位置編碼的多頭注意力模型對(duì)幅值進(jìn)行估計(jì)時(shí)，估計(jì)結(jié)果并不會(huì)受到脈沖堆積程度的影響，平均相對(duì)誤差約為0.55%。

為了進(jìn)一步驗(yàn)證本文訓(xùn)練的模型在相同樣品不同堆積程度的脈沖序列以及不同樣品相同堆積程度的脈沖序列中的參數(shù)估計(jì)效果，在實(shí)驗(yàn)環(huán)節(jié)中截取堆積率為10%、30%、60%和90%，堆積類型為雙脈沖堆積的粉末巖石樣品和粉末鐵礦樣品的實(shí)測(cè)脈沖序列進(jìn)行分析，分析結(jié)果如表3 所示。從兩種樣品不同堆積程度得到的平均相對(duì)誤差來(lái)看，深度學(xué)習(xí)模型對(duì)脈沖幅度估計(jì)的相對(duì)誤差與樣品類型并無(wú)直接關(guān)聯(lián)，但與脈沖堆積程度卻有一定的相關(guān)性，可以粗略估計(jì)隨著堆積程度加深，模型對(duì)脈沖幅度估計(jì)的相對(duì)誤差也會(huì)略有上升。表3 所示的8 組脈沖序列中，比較明顯的一個(gè)“異常點(diǎn)”是第三組，該脈沖序列包含10個(gè)脈沖，其中雙脈沖堆積的數(shù)量為6個(gè)，堆積程度為60%，按照理論分析深度學(xué)習(xí)模型對(duì)該序列進(jìn)行幅度估計(jì)的相對(duì)誤差應(yīng)低于1%，但模型測(cè)試結(jié)果的相對(duì)誤差高達(dá)3.42%。通過(guò)對(duì)堆積脈沖進(jìn)一步分析發(fā)現(xiàn)，雖然該序列僅包含6個(gè)堆積脈沖，但其中兩個(gè)脈沖發(fā)生了嚴(yán)重堆積，導(dǎo)致模型對(duì)堆積上去的第二個(gè)脈沖的幅度估計(jì)產(chǎn)生了較大誤差。即便是這種極端情況下，本文訓(xùn)練的深度學(xué)習(xí)模型依然獲得了遠(yuǎn)優(yōu)于傳統(tǒng)脈沖估計(jì)方法的性能，在兩種樣品、8組離線脈沖序列的幅度估計(jì)中得到的平均相對(duì)誤差為0.89%。

表3 深度學(xué)習(xí)模型的參數(shù)估計(jì)效果對(duì)照Table 3 Comparison table of parameter estimation effects of the deep learning model

3 結(jié)語(yǔ)

本文提出了一種嵌入位置編碼的多頭注意力Transformer 神經(jīng)網(wǎng)絡(luò)模型，并將其應(yīng)用于堆積脈沖的幅度估計(jì)。該模型是一個(gè)基于Encoder-Decoder框架的模型，采用多頭注意力機(jī)制，以預(yù)定義的數(shù)學(xué)模型產(chǎn)生負(fù)指數(shù)脈沖序列以及三角成形后的幅值序列來(lái)制作數(shù)據(jù)集進(jìn)行訓(xùn)練，模擬和實(shí)驗(yàn)結(jié)果驗(yàn)證了所提模型的脈沖幅度估計(jì)性能。采用相對(duì)誤差作為堆積脈沖幅度估計(jì)精度的指標(biāo)，得出在粉末鐵礦樣品和粉末巖石樣品的8組離線脈沖序列中得到的平均相對(duì)誤差為0.89%。結(jié)果表明：采用嵌入位置編碼的多頭注意力模型成功地從具有堆積效應(yīng)的脈沖序列中估計(jì)出了脈沖幅度，且估計(jì)結(jié)果并不受脈沖堆積程度的影響。未來(lái)對(duì)深度學(xué)習(xí)模型在核輻射測(cè)量中的應(yīng)用研究將旨在優(yōu)化學(xué)習(xí)模型和數(shù)據(jù)集，此外，作者所在團(tuán)隊(duì)正在對(duì)HPGe和LaBr3（Ce）探測(cè)器應(yīng)用類似方法進(jìn)行研究，希望推廣本模型在X 射線熒光光譜學(xué)中的應(yīng)用。

作者貢獻(xiàn)聲明唐琳直接參與論文研究，負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)模擬搭建并撰寫論文；周爽負(fù)責(zé)實(shí)驗(yàn)測(cè)試結(jié)果分析；李勇負(fù)責(zé)模型訓(xùn)練；廖先莉負(fù)責(zé)資料的收集及整理；李躍鵬負(fù)責(zé)實(shí)驗(yàn)測(cè)試。