基于機器學(xué)習(xí)的二次電子發(fā)射唯象模型

楊文晉，李永東，曹 猛，王洪廣，劉純亮

(西安交通大學(xué) 電子物理與器件教育部重點實驗室 電子與信息學(xué)部電子科學(xué)與工程學(xué)院，西安 710049)

0 引言

二次電子發(fā)射是指電子或離子轟擊材料表面，引發(fā)電子從材料表面逸出的現(xiàn)象。在航天大功率微波器件中，二次電子發(fā)射可能引發(fā)電子倍增，進而產(chǎn)生微放電，導(dǎo)致器件燒蝕或擊穿[1-4]。因此，在航天微波器件的設(shè)計過程中，針對器件微放電閾值的研究非常重要。考慮到實驗成本較高且設(shè)計周期較長的缺點，一般會首先基于理論分析和數(shù)值模擬開展微放電閾值研究[5-8]。在微放電數(shù)值模擬中，得到用于描述材料二次電子發(fā)射特性的數(shù)值模型至關(guān)重要。已有研究成果表明，材料二次電子發(fā)射特性對微放電閾值影響巨大[9-11]。另外，更精確的二次電子發(fā)射模型還可以應(yīng)用于沿面閃絡(luò)、加速器、光電倍增管等二次電子倍增問題的研究中。因此，建立精度更高的二次電子發(fā)射模型是很有必要的。

在開展二次電子發(fā)射相關(guān)的數(shù)值模擬研究前，一般需要先利用實驗手段測量材料真實的二次電子發(fā)射特性。然后，參照實驗結(jié)果對已有理論公式進行參數(shù)修正，用于描述材料真實的二次電子發(fā)射特性。較為常用的二次電子發(fā)射模型有Vaughan、Furman、復(fù)合唯象模型等[12-14]。

但是，受理論公式可調(diào)參數(shù)的限制，僅通過修正公式參數(shù)，無法確保模型與實驗數(shù)據(jù)完全匹配，且參數(shù)修正過程復(fù)雜繁瑣。同時，受限于實驗條件、實驗成本和實驗精度等，實驗測試得到的材料二次電子發(fā)射特性是強離散的，這種離散的實驗數(shù)據(jù)會導(dǎo)致部分物理規(guī)律缺失。因此，如果拋棄理論公式，僅針對實驗數(shù)據(jù)進行擬合，則容易產(chǎn)生過擬合現(xiàn)象，導(dǎo)致生成的擬合公式缺乏普適性，甚至產(chǎn)生非物理錯誤。

本文基于機器學(xué)習(xí)和深度人工神經(jīng)網(wǎng)絡(luò)，提出了一種二次電子發(fā)射唯象模型及分步訓(xùn)練的方法。針對銀和鋁合金材料的測試結(jié)果表明，本文提出的基于機器學(xué)習(xí)的二次電子發(fā)射唯象模型較Vaughan模型、Furman模型和復(fù)合唯象模型均能夠更好地描述材料真實的二次電子發(fā)射特性。

1 Vaughan模型

Vaughan模型[12]是一種經(jīng)典的二次電子發(fā)射唯象模型，該模型描述的二次電子發(fā)射系數(shù)(secondary emission yield，SEY)為：

(1)

其中δmax0是電子垂直入射時的最大SEY，ks是材料表面光滑度因子，f(w,k)為基于經(jīng)驗參數(shù)的擬合函數(shù)。

(2)

(3)

本文利用Vaughan模型生成先驗知識數(shù)據(jù)集，用于訓(xùn)練二次電子發(fā)射ANN模型，生成二次電子發(fā)射先驗知識ANN模型。

2 二次電子發(fā)射ANN模型

本文提出的二次電子發(fā)射ANN模型指利用人工神經(jīng)網(wǎng)絡(luò)描述材料二次電子發(fā)射特性的唯象模型。

近年來，新的人工神經(jīng)網(wǎng)絡(luò)模型不斷被提出，如用于圖像分類的AlexNet、VGGNet、GoogleNet、ResNet等[15-18]；用于目標(biāo)檢測的R-CNN、YOLO、SSD等[19-21]；用于圖像區(qū)域分割的FCN、DeepLab、PSPNet等[22-24]；用于OCR識別的CTPN、CRNN等[25-26]；用于語音識別的DNN-HMM、RNN-CTC、FSMN、LSTM-DNN等[27-31]。由于二次電子發(fā)射建模問題較上述應(yīng)用場景包含的信息量少，不適于使用復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。因此，本文提出的ANN模型是一種由輸入層、5層隱含層和輸出層組成的全連接人工神經(jīng)網(wǎng)絡(luò)。二次電子發(fā)射ANN模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)為入射能量(E)、入射角度(θ)、垂直入射時最大SEY(δmax0)和δmax0對應(yīng)的電子入射能量(Emax0)，輸出結(jié)果為SEYδ(E,θ)，神經(jīng)元激勵函數(shù)為Relu函數(shù)。

圖1 二次電子發(fā)射ANN模型Fig.1 SEY ANN model

針對二次電子發(fā)射ANN模型采用分步訓(xùn)練方法。首先，利用經(jīng)過預(yù)先驗證的二次電子發(fā)射特性數(shù)據(jù)作為樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，生成二次電子發(fā)射先驗知識ANN模型，用于描述二次電子發(fā)射一般規(guī)律。然后，利用實驗測得的某種材料的SEY實驗數(shù)據(jù)作為樣本集，對二次電子發(fā)射先驗知識ANN模型進行二次訓(xùn)練，生成針對該材料的特異ANN模型。上述特異ANN模型用于描述具體材料的二次電子發(fā)射特性，是二次電子發(fā)射ANN模型的具象化實例。

分步訓(xùn)練方式將先驗知識預(yù)先引入模型，在確保模型與實驗數(shù)據(jù)擬合精度的前提下，提高了二次電子發(fā)射ANN模型對小樣本的適應(yīng)性，同時避免了只針對實驗數(shù)據(jù)進行擬合而可能導(dǎo)致的過擬合現(xiàn)象。

2.1 先驗知識ANN模型

先驗知識ANN模型指利用預(yù)先驗證的二次電子發(fā)射特性數(shù)據(jù)作為訓(xùn)練集，訓(xùn)練二次電子發(fā)射ANN模型，生成的一種隱含了二次電子發(fā)射一般規(guī)律的ANN模型。

本文利用Vaughan模型生成二次電子發(fā)射特性先驗數(shù)據(jù)集，集合形式如式(4)所示：

{Ein,θin,δmax0,Emax0,δ}

(4)

其中Ein為電子入射能量，θin為電子入射角度，δmax0為電子垂直入射時最大SEY，Emax0為δmax0對應(yīng)的電子入射能量，δ為利用Vaughan模型計算得到的SEY。參數(shù)取值范圍如式(5)所示。

(5)

本文在參數(shù)取值范圍內(nèi)采用均勻采樣方式生成包含2 000萬組數(shù)據(jù)的樣本集。其中，用于訓(xùn)練和測試的樣本數(shù)量比例為7:3。

(6)

(7)

模型訓(xùn)練收斂判據(jù)為：

(8)

先驗知識模型訓(xùn)練收斂過程如圖2所示。其中，橫軸為訓(xùn)練迭代次數(shù)，縱軸為損失函數(shù)，Train MSE代表訓(xùn)練數(shù)據(jù)集的損失函數(shù)變化，Test MSE代表測試數(shù)據(jù)集的損失函數(shù)變化。

圖2 訓(xùn)練收斂結(jié)果Fig.2 Training convergence result(color online)

在不同參數(shù)條件下(詳見圖題內(nèi)容)，Vaughan模型與二次電子發(fā)射先驗知識ANN模型的對比結(jié)果如圖3所示。其中，橫軸為電子入射能量，縱軸為SEY，圖例中ANN Model為先驗知識ANN模型的計算結(jié)果，Vaughan為Vaughan模型的計算結(jié)果。

圖3 ANN模型計算結(jié)果Fig.3 Prediction results of ANN model(color online)

上述驗證結(jié)果表明，先驗知識ANN模型在不同參數(shù)條件下均能很好地擬合Vaughan模型。為了進一步提升先驗知識ANN模型的性能，還可以利用Furman模型、復(fù)合唯象模型、實驗數(shù)據(jù)等擴充先驗知識數(shù)據(jù)集，訓(xùn)練生成綜合性能更優(yōu)的先驗知識ANN模型。

2.2 特異ANN模型

二次電子發(fā)射特異ANN模型是指利用某種具體材料的真實二次電子發(fā)射特性數(shù)據(jù)作為訓(xùn)練集，對先驗知識ANN模型進行二次訓(xùn)練，生成的一種僅用于描述該材料的二次電子發(fā)射模型。由于影響材料二次電子發(fā)射特性的因素非常多，僅利用上述先驗知識ANN模型不能準(zhǔn)確描述待研究具體材料的真實二次電子發(fā)射特性，因此，提出二次電子發(fā)射特異ANN模型是必要的。

利用文獻[14]中銀材料SEY實驗數(shù)據(jù)修正先驗知識ANN模型，生成針對該種銀材料的特異ANN模型。銀材料SEY實驗數(shù)據(jù)共有120組，模型訓(xùn)練方法、參數(shù)設(shè)置及收斂條件同先驗知識ANN模型。

特異ANN模型的訓(xùn)練收斂過程如圖4所示。其中，橫軸為訓(xùn)練迭代次數(shù)，縱軸為損失函數(shù)變化趨勢，損失函數(shù)為MSE。

圖4 訓(xùn)練收斂結(jié)果Fig.4 Training convergence

將該特異ANN模型與文獻[14]中的修正Vaughan模型、修正Furman模型、復(fù)合唯象模型和實驗數(shù)據(jù)進行對比，結(jié)果如圖5所示。其中，橫軸代表電子入射能量，縱軸代表SEY。圖5中圖例所示分別代表特異ANN模型計算結(jié)果、復(fù)合唯象模型計算結(jié)果、修正Furman模型計算結(jié)果、修正Vaughan模型計算結(jié)果和實驗結(jié)果。

4種模型與銀材料SEY實驗數(shù)據(jù)對比的平均絕對誤差(mean absdute error,MAE)結(jié)果如表1所列。ANN模型的MAE相對于Vaughan模型、Furman模型和復(fù)合唯象模型分別平均降低了84.1%、74.8%和62.1%。

表1 二次電子發(fā)射模型MAE對比結(jié)果(銀)Tab.1 Comparison of SEY models MAE for silver

利用文獻[14]中鋁合金材料SEY實驗數(shù)據(jù)修正先驗知識ANN模型，生成針對該鋁合金材料的特異ANN模型。鋁合金材料SEY實驗數(shù)據(jù)共有114組，模型訓(xùn)練方法、參數(shù)設(shè)置及收斂條件同先驗知識ANN模型。

將該特異ANN模型與文獻[14]中的修正Vaughan模型、修正Furman模型、復(fù)合唯象模型和實驗數(shù)據(jù)進行對比，結(jié)果如圖6所示。其中，橫軸代表電子入射能量，縱軸代表SEY，圖例意義同圖5。

圖5 二次電子發(fā)射模型對比(銀)Fig.5 Comparison of SEY models for silver(color online)

圖6 二次電子發(fā)射模型對比(鋁合金)Fig.6 Comparison of SEY models for aluminum alloy(color online)

4種模型與鋁合金材料SEY實驗數(shù)據(jù)對比的MAE結(jié)果如表2所列。ANN模型的MAE相對于Vaughan模型、Furman模型和復(fù)合唯象模型分別平均降低了78.8%、32.5%和-0.7%。

表2 二次電子發(fā)射模型MAE對比結(jié)果(鋁合金)Tab.2 Comparison of SEY models MAE for aluminum alloy

2.3 小樣本測試

本文提出的二次電子發(fā)射ANN模型是基于機器學(xué)習(xí)生成的，因此其準(zhǔn)確性與樣本數(shù)量強相關(guān)。本文結(jié)合文獻[14]中的銀材料實驗數(shù)據(jù)，進一步測試了在小樣本條件下，二次電子發(fā)射模型的準(zhǔn)確性。

只選取電子垂直入射時銀材料的20組SEY實驗數(shù)據(jù)作為樣本集，用于訓(xùn)練ANN先驗知識模型，生成針對該種銀材料的特異ANN模型，模型訓(xùn)練方法、參數(shù)設(shè)置及收斂條件同先驗知識ANN模型。

由于缺少不同角度入射的SEY實驗數(shù)據(jù)，不適于使用Furman模型和復(fù)合唯象模型。因此，在小樣本條件下僅對比特異ANN模型與Vaughan模型，結(jié)果如圖7所示。其中，橫軸代表電子入射能量，縱軸代表SEY，圖7中圖例所示分別代表特異ANN模型計算結(jié)果、修正Vaughan模型計算結(jié)果和實驗結(jié)果。

圖7 二次電子發(fā)射模型對比(銀)Fig.7 Comparison of SEY models for silver(color online)

兩種模型與銀材料SEY實驗數(shù)據(jù)對比的MAE結(jié)果如表3所列。通過與表1結(jié)果進行對比可得出結(jié)論，當(dāng)訓(xùn)練樣本減少時，二次電子發(fā)射ANN模型的準(zhǔn)確度下降，但相比于Vaughan模型依然獲得了相當(dāng)或更高的精度。ANN模型的MAE相對于Vaughan模型平均降低了32.2%。

表3 二次電子發(fā)射模型MAE對比結(jié)果(銀)Tab.3 Comparison of SEY models MAE for silver

3 結(jié)論

本文基于機器學(xué)習(xí)和深度人工神經(jīng)網(wǎng)絡(luò)，提出了一種參數(shù)易修正，且精度更高的二次電子發(fā)射唯象模型。在針對該模型的訓(xùn)練過程中，采用分步訓(xùn)練方式先后生成先驗知識ANN模型和特異ANN模型。

在不同參數(shù)條件下比對了先驗知識ANN模型和Vaughan模型，驗證了先驗知識ANN模型的正確性。分別利用銀和鋁合金材料的實驗數(shù)據(jù)修正先驗知識ANN模型，生成針對兩種材料的特異ANN模型，并通過與修正后的Vaughan模型、Furman模型和復(fù)合唯象模型進行對比，驗證了特異ANN模型的準(zhǔn)確性。在小樣本條件下，對比了特異ANN模型和Vaughan模型，驗證了二次電子發(fā)射ANN模型對于小樣本的適應(yīng)性。

二次電子發(fā)射ANN模型的優(yōu)勢不僅體現(xiàn)在與實驗數(shù)據(jù)的擬合精度上，而且體現(xiàn)在模型使用方面。二次電子發(fā)射ANN模型的訓(xùn)練方法具有普適性，無需人為過多干預(yù)。避免了傳統(tǒng)方法需要人為主觀進行參數(shù)修正的繁瑣過程，且對于小樣本情況適應(yīng)性較好，更適于在數(shù)值模擬中使用。

在下一步的研究工作中，擬利用Furman模型、復(fù)合唯象模型和高能二次電子發(fā)射模型[33]擴充先驗知識訓(xùn)練數(shù)據(jù)集，用于訓(xùn)練性能更優(yōu)的先驗知識ANN模型。然后，擬將基于機器學(xué)習(xí)的二次電子發(fā)射唯象模型應(yīng)用于粒子模擬微放電閾值計算中，進一步驗證該模型的正確性和優(yōu)勢。