基于深度學(xué)習(xí)的LSTM模型在X熒光光譜中的應(yīng)用

唐 琳 李 勇 唐羽鋒 劉 澤 柳炳琦

1（成都大學(xué) 電子信息與電氣工程學(xué)院 成都 610106）

2（安徽大學(xué) 農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用國家工程研究中心 合肥 230039）

3（數(shù)學(xué)地質(zhì)四川省重點實驗室（成都理工大學(xué)） 成都 610059）

4（南洋理工大學(xué) 電氣與電子工程學(xué)院 新加坡 639798）

5（成都大學(xué) 機(jī)械工程學(xué)院 成都 610106）

X 射線熒光是指當(dāng)樣品被X 射線照射時，樣品中的原子會吸收X 射線的能量，然后發(fā)出特定波長的熒光X射線。這些熒光X射線可以被探測器探測到，從而分析樣品中的元素，它包含了被分析樣品化學(xué)組成的信息，通過對X 射線熒光的分析確定被測樣品中元素含量的儀器就是X射線熒光分析儀。X射線熒光分析儀主要有波長色散型［1］和能量色散型［2］，后者因其較高的性價比已成為X 射線熒光主要的分析方式。在能量色散型X射線熒光光譜分析（Energy Dispersive X-ray Fluorescence，EDXRF）中，計數(shù)率和能量分辨率都是非常重要的指標(biāo)，直接決定了被測樣品中各元素含量分析的準(zhǔn)確性［3］，尤其是對微弱元素的檢測，譜峰漂移和計數(shù)率損失將會對輻射光譜產(chǎn)生扭曲，進(jìn)而對光譜學(xué)分析造成不可估量的影響［4］。造成譜峰漂移和計數(shù)率損失的主要原因則是測量系統(tǒng)本身帶來的脈沖畸變、脈沖堆積等。在X 射線熒光光譜獲取過程中，探頭輸出的脈沖信號經(jīng)前端電路、數(shù)字脈沖處理單元處理后在控制器中形成多道X熒光光譜圖。脈沖畸變造成的三角成形結(jié)果幅度受損導(dǎo)致了當(dāng)前X熒光光譜的一些局限性，包括譜峰漂移、計數(shù)率不可靠以及元素含量分析不準(zhǔn)確等。

在X熒光光譜分析領(lǐng)域中已經(jīng)公布了大量關(guān)于優(yōu)化數(shù)字脈沖處理效果的研究成果。其中，Zhong等［5］提出的算法解決了γ 射線光譜系統(tǒng)中脈沖堆積和溫度波動導(dǎo)致的能量譜分辨率差的問題；Regadio等［6］利用遺傳算法來確定光譜時域最佳成形方式；Zhou等［7］提出了一種基于梯形成形的堆積脈沖識別方法，能夠有效識別無嚴(yán)重堆積的脈沖；Kafaee等［8］提出了基于雙極性尖頂成形的基線恢復(fù)和堆積校正算法；Usman 等［9］對脈沖堆積提出了測量和補(bǔ)償技術(shù)；作者在前期研究中針對畸變脈沖提出了脈沖剔除法［10］和脈沖修復(fù)法［11］，兩種方法都在一定程度上改善了譜分析精度。上述研究方法作為傳統(tǒng)的脈沖處理方式，在脈沖堆積或者脈沖畸變不是特別嚴(yán)重的應(yīng)用中對X 熒光光譜分析有較為明顯的優(yōu)化效果，但是當(dāng)脈沖嚴(yán)重堆積或者脈沖畸變難以甄別時，傳統(tǒng)的脈沖處理方法則受到了極大的限制，這也是譜處理領(lǐng)域中的一個研究熱點和難點問題。

深度學(xué)習(xí)技術(shù)是一種基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，通過多層次的神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)進(jìn)行學(xué)習(xí)和分析，從而實現(xiàn)對數(shù)據(jù)的自動化處理和預(yù)測。目前該技術(shù)已經(jīng)被廣泛應(yīng)用于醫(yī)療［12］、工業(yè)［13］、控制［14］等領(lǐng)域，在譜分析領(lǐng)域中也有相關(guān)的成果公布。王江瑋等［15-16］將神經(jīng)網(wǎng)絡(luò)應(yīng)用于能譜校正并取得了較好的應(yīng)用效果；文獻(xiàn)［17］將殘差網(wǎng)絡(luò)應(yīng)用于脈沖形狀甄別，有效改進(jìn)了譜分析精度；文獻(xiàn)［18］顯示了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在脈沖高度分析方面的良好性能。相比于在其他領(lǐng)域中的應(yīng)用，深度學(xué)習(xí)技術(shù)在譜分析領(lǐng)域中的應(yīng)用目前尚處于探索階段，將這項新技術(shù)引入X 射線熒光光譜分析已變得非常緊迫。

1 原理及方法

1.1 譜線精細(xì)化原理

X 熒光光譜多采用多道分析器（Multichannel Analyzer，MCA）進(jìn)行分析，文獻(xiàn)［19-20］詳細(xì)陳述了多道譜的成譜原理。每一個脈沖幅度都對應(yīng)著相應(yīng)道址上的一次計數(shù)，當(dāng)測量系統(tǒng)輸出的脈沖因發(fā)生畸變而產(chǎn)生了幅度損失時，該脈沖對應(yīng)的計數(shù)道址就會向左發(fā)生漂移。當(dāng)這類脈沖的數(shù)量足夠多時，就會在生成的全能譜中以特征峰的影子峰形式存在。本文提出CNN-LSTM模型，該模型將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）與長短期記憶（Long and Short Term Memory，LSTM）模型［21］相結(jié)合，通過對脈沖參數(shù)的準(zhǔn)確估計將影子峰區(qū)域中的計數(shù)校正到特征峰中，既可以消除影子峰，也能夠達(dá)到修復(fù)特征峰計數(shù)率的目的。

從理論上分析，當(dāng)畸變脈沖的幅度得到準(zhǔn)確估計時，被消除掉的影子峰應(yīng)該是被校正到它原本的道址區(qū)間，而不是憑空消失。影子峰的校正原理如圖1所示，以1000個幅度恒定為1000mV的脈沖序列為例，設(shè)脈沖畸變比例為10%，在未校正畸變脈沖之前得到的全能譜中特征峰區(qū)域的總計數(shù)為900，而在特征峰左側(cè)第920道址附近則出現(xiàn)了一個由畸變脈沖形成的影子峰，該區(qū)域的計數(shù)率之和為100，如圖1藍(lán)色曲線所示；當(dāng)100個畸變脈沖的幅度被有效校正時，1000個脈沖得到的特征峰直方圖則如圖1紅色曲線所示，總計數(shù)為1000，既保證了特征峰區(qū)域的計數(shù)不受損失，也消除了因脈沖畸變造成的影子峰。

圖1 峰位校正原理示意圖（彩圖見網(wǎng)絡(luò)版）Fig.1 Principle diagram of peak correction (color online)

1.2 數(shù)據(jù)集制作

在X 射線熒光光譜譜峰校正的應(yīng)用中，CNNLSTM模型的數(shù)據(jù)集取自于離線保存的實測脈沖數(shù)據(jù)，在測量過程中激發(fā)源采用的是上?？祁U維2000A 型X 光管（額定管壓50kV、額定管流為0～1mA），樣品使用的是粉末鐵礦樣品（主要元素成為鐵、鍶、錫等），測量采用的探測器為AMPTEK 公司的高性能硅漂移探測器（FAST-SDD（Silicon Drift Detector）），其有效探測面積為25mm2，探測器厚度為500 μm。

制作數(shù)據(jù)集時，首先調(diào)用Scipy庫中的峰值查找函數(shù)找到峰值位置，然后將峰值之前的10個采樣點到峰值之后的53個采樣點所在區(qū)域定義為采樣窗口（Sampling window），如圖2所示，從而獲取到該峰值所在脈沖的64個采樣點的值，形成一個包含64個采樣點的單脈沖數(shù)據(jù)集。在訓(xùn)練中，可以通過參考峰值信號來匹配脈沖的真實脈沖幅度。對于實測脈沖生成的數(shù)據(jù)集，將脈沖幅度集與真實脈沖幅度一起作為輸入，期望得到最接近真實脈沖幅度的輸出。圖2展示了對任意脈沖進(jìn)行采樣點分割的示意圖。以1000個脈沖為例進(jìn)行數(shù)據(jù)集構(gòu)造，經(jīng)采樣點分割得到包含64000個幅度樣本的數(shù)據(jù)集，生成的數(shù)據(jù)集如式（1）所示。

圖2 數(shù)據(jù)集生成原理示意圖Fig.2 Principle diagram of dataset generation

1.3 模型結(jié)構(gòu)分析

本文擬采用的模型其處理對象是一系列核信號脈沖幅度序列，LSTM 作為一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN），與RNN 的本質(zhì)區(qū)別在于遺忘門的引入，通過控制參數(shù)來決定什么樣的信息會被保留，什么樣的信息會被遺忘，因此，LSTM 能夠解決長時間序列樣本在訓(xùn)練過程中的梯度消失和梯度爆炸問題。軟件平臺使用Python和TensorFlow 2.3，考慮到該模型用于快速光譜學(xué)，本文盡可能將模型的架構(gòu)簡化，以減少訓(xùn)練時間。模型由2個卷積層、2個池化層、4個LSTM 層組成，卷積層采用3×3的濾波器內(nèi)核，步長固定為1，在每個卷積層之后還配置了一個最大池化層，以減少要輸入到下一層中的卷積特征的維數(shù)。模型結(jié)構(gòu)圖如圖3所示，輸入為一個1000×64的脈沖幅度采樣值矩陣，經(jīng)卷積層和LSTM層后輸出為一個1000×1的矩陣，代表1000個脈沖的幅度估計值。

圖3 網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.3 Structure diagram of network model

2 仿真與實驗

2.1 仿真結(jié)果

使用生成的數(shù)據(jù)集訓(xùn)練模型，在該數(shù)據(jù)集中的64000個條目中，44 800個用作訓(xùn)練集，12 800個用作驗證集，余下6 400個用作測試集。為了評估期望輸出和預(yù)測輸出之間的差異，均方誤差（Mean-Square Error，MSE）被用作損失函數(shù)。使用Adam優(yōu)化器對模型進(jìn)行100個epoch 的訓(xùn)練，學(xué)習(xí)率為0.000 1。圖4顯示了該模型的訓(xùn)練曲線。隨著訓(xùn)練時間的遞增，訓(xùn)練集與驗證集上的損失值都是在第35個epoch 之后就幾乎趨近于零，在訓(xùn)練集和驗證集上得到的準(zhǔn)確率接近100%。

圖4 模型訓(xùn)練過程中在訓(xùn)練集和驗證集上的損失值與準(zhǔn)確率迭代圖Fig.4 Iterative graph of loss and accuracy on training and validation sets during model training

2.2實驗驗證

2.2.1 峰位校正結(jié)果分析

為了進(jìn)一步驗證模型對幅度參數(shù)的估計效果，以及調(diào)用該模型對X射線熒光光譜分析產(chǎn)生的優(yōu)化效果，在實驗驗證環(huán)節(jié)中選擇的被測樣品以及測試條件都與數(shù)據(jù)集制作過程中采用的離線測量結(jié)果的實驗條件保持一致。采用傳統(tǒng)的MCA 分析得到的結(jié)果如圖5中的黑色譜線所示，圖中每個計數(shù)率較高的元素特征峰前面都存在一個像影子一樣的弱峰，如鍶元素的Kα峰和、Kβ峰以及錫元素的Kα峰。根據(jù)前文的譜線精細(xì)化原理，初步判斷這樣的弱峰就是計數(shù)率較高的特征峰由于計數(shù)率漂移形成的影子峰，而計數(shù)率漂移其本質(zhì)原因就是畸變的負(fù)指數(shù)脈沖三角成形結(jié)果的幅度嚴(yán)重受損。通過在對數(shù)坐標(biāo)系中放大影子峰區(qū)域局部特征可以看出，圖5中黑色譜線所示的鍶元素的兩個特征峰前面各有一個弱峰，在圖中以PeakSr-Kα和PeakSr-Kβ分別表示鍶元素Sr-Kα峰和Sr-Kβ峰的影子峰，而錫元素僅Sn-Kα峰存在明顯的影子峰PeakSn-Kα，Sn-Kβ峰由于本身計數(shù)率較低，產(chǎn)生的影子峰并不明顯，因此未在圖5中進(jìn)行標(biāo)注。通過模型對畸變脈沖進(jìn)行參數(shù)估計后有效地校正了峰位的左移，消除了影子峰。將模型估計的畸變脈沖的幅度值替換掉原始脈沖幅度，最終得到校正后的譜線如圖5中的紅色譜線所示，影子峰校正前后的對照圖表明本文訓(xùn)練的深度學(xué)習(xí)模型能夠有效地校正因脈沖畸變造成的影子峰，優(yōu)化X射線熒光光譜分析結(jié)果。

圖5 影子峰校正效果對照圖（彩圖見網(wǎng)絡(luò)版）Fig.5 Comparison of shadow peak correction effects with the primitive peaks (color online)

2.2.2 計數(shù)修復(fù)結(jié)果分析

如前文所述，畸變脈沖幅度受損導(dǎo)致了特征峰計數(shù)受損，其本質(zhì)就是特征峰區(qū)域損失掉的計數(shù)轉(zhuǎn)移到了影子峰區(qū)域，在特征峰的左側(cè)形成了影子峰，這里用峰面積來表示特定道址區(qū)間的計數(shù)率之和，因此計數(shù)修復(fù)結(jié)果的分析也就轉(zhuǎn)換成了峰面積校正比例的分析。可以推測，影子峰的峰面積應(yīng)近似等于調(diào)用模型進(jìn)行參數(shù)估計后特征峰被校正的峰面積，其計算公式如式（2）～（4）所示：

式中：Areashadow表示畸變脈沖產(chǎn)生的影子峰的峰面積，在數(shù)值上就等于譜峰校正前后影子峰所在道址區(qū)間的峰面積之差；AreaTP-repair表示調(diào)用模型進(jìn)行參數(shù)估計實現(xiàn)譜峰校正后特征峰被修復(fù)的那部分計數(shù)，在數(shù)值上等于譜峰校正前后特征峰所在道址區(qū)間的峰面積之差，如式（3）所示。

根據(jù)前文的理論分析，影子峰的峰面積近似等于特征峰被校正的峰面積，本文選取的三個特征峰及其相應(yīng)的影子峰的峰面積定量分析結(jié)果如圖6所示，其中黑色陰影區(qū)域表示影子峰的峰面積，紅色陰影區(qū)域表示被校正到特征峰中的峰面積，可以看出三個特征峰相應(yīng)的影子峰峰面積和被校正的峰面積是近似相等的，式（4）得到了實驗結(jié)果的驗證。由于放射性測量的隨機(jī)性以及測量過程不可避免的統(tǒng)計漲落，不同影子峰的校正比例存在一定差距，其計算公式如式（5）所示，得出三個影子峰校正比例分別為94.05%、88.52% 和91.98%，取三者的平均值為91.52%，從而得出本文訓(xùn)練的深度學(xué)習(xí)模型對畸變脈沖產(chǎn)生的計算損失的校正比例約為91.52%。

圖6 峰面積修復(fù)比例（彩圖見網(wǎng)絡(luò)版）Fig.6 Repair ratio of peak areas (color online)

3 結(jié)語

本文訓(xùn)練了一種基于深度學(xué)習(xí)的CNN-LSTM模型用于X 射線熒光光譜的譜峰校正，通過模擬和實驗對模型進(jìn)行了驗證，模型由兩個卷積層、兩個池化層、4個LSTM層組成，其模型的處理對象是1000個離線保存的實測脈沖采樣得到的64000個幅度樣本，為了提高訓(xùn)練效率，該模型分為兩個部分，先通過CNN對數(shù)據(jù)進(jìn)行特征提取，然后再通過LSTM網(wǎng)絡(luò)進(jìn)行脈沖幅度的估計，驗證集與測試集的結(jié)果表明：該模型對畸變脈沖幅度估計的準(zhǔn)確率高于99%。在實驗環(huán)節(jié)中，將采用MCA分析得到的原始譜與調(diào)用模型進(jìn)行譜峰校正得到的校正譜進(jìn)行對比，結(jié)果表明CNN-LSTM模型能夠準(zhǔn)確估計畸變脈沖幅度，達(dá)到消除影子峰，校正特征峰計數(shù)的目的。

在進(jìn)一步的計數(shù)修復(fù)結(jié)果分析中，鍶元素Sr-Kα峰的影子峰PeakSr-Kα的校正比例分別為94.05%；Sr-Kβ峰的影子峰PeakSr-Kβ的校正比例為88.52%；錫元素Sn-Kα峰的影子峰PeakSn-Kα的校正比例為91.98%。結(jié)果表明：對于計數(shù)值較高的特征峰，其影子峰校正比例也相對較高，而計數(shù)較低的影子峰則易受到測量過程中的各種干擾，造成統(tǒng)計漲落。取三個影子峰校正比例的平均值91.52%，從而得出本文訓(xùn)練的深度學(xué)習(xí)模型對畸變脈沖產(chǎn)生的計算損失的校正比例約為91.52%。

未來關(guān)于深度學(xué)習(xí)在譜分析領(lǐng)域的應(yīng)用研究將旨在優(yōu)化訓(xùn)練模型和數(shù)據(jù)集，同時也可以考慮將參數(shù)估計模型應(yīng)用在高純鍺探測器（HPGe）和溴化鑭探測器（LaBr3）中，以期將深度學(xué)習(xí)模型廣泛應(yīng)用于輻射測量領(lǐng)域。

作者貢獻(xiàn)聲明唐琳參與論文研究，負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)模擬搭建并撰寫論文；李勇負(fù)責(zé)模型訓(xùn)練；唐羽鋒負(fù)責(zé)實驗結(jié)果分析；劉澤負(fù)責(zé)資料的搜集及整理；柳炳琦負(fù)責(zé)模型訓(xùn)練。