基于卷積神經(jīng)網(wǎng)絡(luò)模型的Gd2O3/6061Al中子屏蔽材料的力學(xué)性能預(yù)測

張 鵬，李 靖，王文先，賈程鵬，馬穎峰，徐文瑞

(1.太原理工大學(xué) 物理與光電工程學(xué)院，山西 太原 030024；2.新型傳感器與智能控制教育部重點實驗室，山西 太原 030024；3.太原理工大學(xué) 材料科學(xué)與工程學(xué)院，山西 太原 030024)

隨著世界能源危機(jī)的加劇，核能以其清潔、低資源消耗的優(yōu)勢，成為最具潛力的能源之一。然而，1個MW級的核電站通常每年會排放約25 t的乏燃料，乏燃料含有很強(qiáng)的中子，會對周圍環(huán)境和人類造成嚴(yán)重的輻射污染。因此，中子吸收材料成為核、乏燃料和核廢料儲運過程中臨界控制和安全防護(hù)的必要材料。由于核電站嚴(yán)苛的服役環(huán)境，對中子屏蔽材料的力學(xué)性能要求越來越高。若能建立一種有效的力學(xué)性能預(yù)測模型，將會大幅提高材料的設(shè)計及制備效率。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種主要用于自然圖像識別的神經(jīng)網(wǎng)絡(luò)[1]，可自動提取圖像的特征，如晶粒數(shù)目、晶粒大小、晶粒類型、孔洞數(shù)目、晶界等，這些特征與材料性能之間有著密切的聯(lián)系。近年來，AlexNet、VGG、GoogLeNet、ResNet等CNN被相繼提出，宋新寬等[2]利用CNN可通過多孔材料的顯微照片快速、準(zhǔn)確地計算其擴(kuò)散系數(shù)，訓(xùn)練后的CNN對測試集的預(yù)測準(zhǔn)確度達(dá)96.70%；曹卓等[3]通過CNN模型，使用從材料數(shù)據(jù)庫中收集到的4 000多種材料數(shù)據(jù)，對材料的形成能進(jìn)行預(yù)測，并得到較為準(zhǔn)確的預(yù)測結(jié)果；Kondo等[4]通過VGG改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型，對陶瓷材料的微觀組織進(jìn)行識別，并準(zhǔn)確預(yù)測出陶瓷材料的離子導(dǎo)電率。

本文選用Gd2O3/6061Al中子屏蔽材料，收集大量材料在變形過程中的EBSD微觀形貌及對應(yīng)的拉伸性能數(shù)據(jù)，將這些數(shù)據(jù)劃分為訓(xùn)練集和驗證集，用于訓(xùn)練改進(jìn)的VGG CNN模型，建立微觀形貌-力學(xué)性能之間的非線性關(guān)系CNN模型，并通過留一法交叉來驗證測試CNN模型對材料測試集驗證的準(zhǔn)確性。

1 卷積神經(jīng)網(wǎng)絡(luò)模型

表1列出使用的CNN模型結(jié)構(gòu)。CNN包括卷積層、池化層和非線性連接層3部分，卷積層接收1個輸入圖像并將其過濾到經(jīng)過過濾的映射中。1個卷積層通常有幾個過濾器，許多經(jīng)過過濾的圖像會通過后續(xù)的層生成相應(yīng)的映射，這些過濾后的映射稱為特征映射。卷積層中的過濾器不是在訓(xùn)練前預(yù)先定義的，而是通過訓(xùn)練數(shù)據(jù)來學(xué)習(xí)的。在訓(xùn)練階段，為了減少預(yù)測損失，一些參數(shù)會被逐步修改，如標(biāo)簽間的均方誤差(訓(xùn)練數(shù)據(jù)的屬性)和預(yù)測值。池化層接收功能映射并將其調(diào)整為更小的映射，池化層應(yīng)用最廣泛，它主要接受域的最大值，這種粗?；牟僮鳛樾〉钠揭茢_動提供了魯棒性。

表1 CNN模型結(jié)構(gòu)[5]Table 1 Structure of CNN model[5]

本文使用3×3的卷積層構(gòu)建一類似于VGG模型[5]的CNN架構(gòu)，目前的CNN架構(gòu)較原VGG的最大區(qū)別是參數(shù)數(shù)量。在目前研究中，由于電子顯微鏡圖像采集困難，不能即時進(jìn)行數(shù)據(jù)擴(kuò)充來準(zhǔn)備數(shù)以億計的訓(xùn)練數(shù)據(jù)。為避免使用顯微鏡圖像進(jìn)行CNN模型訓(xùn)練時發(fā)生過度擬合，需適當(dāng)減少參數(shù)數(shù)量，因此建立的CNN模型中僅有74 061個參數(shù)，為原VGG模型的0.05%。

2 數(shù)據(jù)處理

中子屏蔽材料的微觀結(jié)構(gòu)(晶粒的大小、類型、數(shù)目等)與其特性(力學(xué)性能、中子吸收性能、抗輻照性能等)之間有著緊密關(guān)系，如圖1所示，微觀結(jié)構(gòu)(輸入)和性能(輸出)分別用x和y表示，當(dāng)給定輸入x時能準(zhǔn)確預(yù)測y。

圖1 CNN模型示意圖Fig.1 Schematic diagram of CNN model

采用放電等離子燒結(jié)法和熱軋制方法制備4種不同軋制道次下的Gd2O3/6061Al中子屏蔽材料試樣，采用掃描電子顯微鏡獲取中子屏蔽材料的EBSD微觀形貌(包含晶粒大小、晶粒取向、晶粒數(shù)目等特征)，微觀組織圖像大小約為400×400像素。材料的微觀組織與材料的宏觀力學(xué)性能、熱中子屏蔽性能等特征密切相關(guān)。本文使用的Gd2O3/6061Al中子屏蔽材料的晶粒取向是隨機(jī)分布的，因此本文不涉及晶體取向信息。

a——形變量0%，拉伸強(qiáng)度100 MPa，伸長率7%；b——形變量40%，拉伸強(qiáng)度150 MPa，伸長率13%；c——形變量80%，拉伸強(qiáng)度240 MPa，伸長率16%圖2 選用訓(xùn)練集中的輸入圖像Fig.2 Selection of input image of training set

使用裁剪的112×112輸入圖像數(shù)據(jù)來訓(xùn)練CNN模型，且使用留一法交叉驗證來評估訓(xùn)練后的CNN泛化性能。首先，將3個Gd2O3/6061Al中子屏蔽材料樣本中的微觀組織圖像進(jìn)行裁剪(程序自動執(zhí)行)；然后，由裁剪后的數(shù)據(jù)集中劃出20%作為測試數(shù)據(jù)，從剩余的數(shù)據(jù)集中整理出訓(xùn)練集和驗證集。對每個圖像所對應(yīng)的材料樣本，均采用萬能拉伸試驗機(jī)測試其拉伸性能。每個裁剪圖像對應(yīng)的局部拉伸性能隨機(jī)匹配宏觀拉伸性能，即所有裁剪的圖像均被分配相同的標(biāo)簽y(測量的拉伸強(qiáng)度y1和伸長率y2)，圖2為選用訓(xùn)練集中的輸入圖像。除可訓(xùn)練參數(shù)的初始值外，相同的訓(xùn)練過程重復(fù)10次，其中初始參數(shù)使用的隨機(jī)種子是不同的。采用最小批量為20的隨機(jī)梯度下降法(SGD)和均值平方誤差為目標(biāo)函數(shù)對Adam(一種自適應(yīng)SGD算法)算法進(jìn)行優(yōu)化。在SGD中，1小組訓(xùn)練樣本(稱為小批量)是從整個訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取的。然后使用小批量計算損失函數(shù)的梯度，即測量拉伸強(qiáng)度和伸長率與預(yù)測值之間的均方誤差，利用梯度可更新CNN中的訓(xùn)練參數(shù)。通過使用小批量而不是整個訓(xùn)練樣本集，可使參數(shù)更新表現(xiàn)出隨機(jī)性，避免高代價的局部極小值。

通過將每個圖像隨機(jī)裁剪、翻轉(zhuǎn)(水平和垂直)和旋轉(zhuǎn)來增加數(shù)據(jù)集，裁剪以獲得更小的圖像有時會丟失關(guān)于宏觀屬性的信息。進(jìn)行圖像數(shù)據(jù)處理時應(yīng)盡量選擇代表性體積元素[6]。每個Gd2O3/6061Al中子屏蔽材料圖像樣本的訓(xùn)練集和驗證集分別為100和50。

3 結(jié)果與討論

3.1 性能預(yù)測

圖3為CNN和使用核函數(shù)的嶺回歸模型(KRR)的留一法交叉驗證結(jié)果?？煽闯觯cKRR相比，CNN可從原始的特征圖像中更準(zhǔn)確地預(yù)測材料的力學(xué)性能。

a——CNN驗證的拉伸強(qiáng)度；b——KRR驗證的拉伸強(qiáng)度；c——CNN驗證的伸長率；d——KRR驗證的伸長率圖3 CNN和KRR的留一法交叉驗證結(jié)果 Fig.3 Leave-one-out cross-validation results obtained by CNN and KRR

為更詳細(xì)地闡明通過CNN提取的特征，特別是CNN是否捕獲統(tǒng)計信息，本文研究圖像的裁剪尺寸與R2得分的依賴關(guān)系。圖4為特征圖尺寸與預(yù)測精度的關(guān)系，R2得分隨圖像尺寸的增大而增大，在特定尺寸約為3 mm時達(dá)到最大值。這表明，對于用于訓(xùn)練的大于3 mm的圖像沒有額外的統(tǒng)計信息，包含足夠統(tǒng)計信息的最小容量稱為RVE。3個Gd2O3/6061Al中子屏蔽材料樣品中第1個峰值點的最大值與RVE一側(cè)長度的一半重合，如圖5所示，rpeak是所有空隙的RDFs中第1個峰值的最大值點。這意味著RVE的定義至少包含兩個晶粒，證明CNN不僅捕捉到晶粒的存在，也捕捉到晶粒的一些統(tǒng)計信息，如晶粒的密度、取向等。

圖4 特征圖尺寸與預(yù)測精度的關(guān)系Fig.4 Relationship of image size and prediction accuracy

圖5 RVE示意圖Fig.5 Schematic diagram of RVE

3.2 結(jié)果可視化分析

國內(nèi)外提出了多種CNN可視化方法[7]，其中使用較廣泛的是一種原始的可視化方法，此方法與CAM和Grade-CAM[8-9]相似。設(shè)g和gi分別為平均池化(GAP)層[10]的輸出向量及其分量(表1)。在最后的卷積層后添加GAP層，所有隨后的層均是完全連接的，則：

(1)

其中：y為CNN的輸出值；W為全連接層的權(quán)重矩陣；ReLU( )=max(·,0)是修正線性單元。顯然，y是gi的非線性函數(shù)，通過將y標(biāo)記的圖像傳遞給訓(xùn)練后的CNN來激活gi的算術(shù)平均值。行和列分別對應(yīng)于gi的標(biāo)簽y和索引i，可發(fā)現(xiàn)gi的激活值隨y的增加而近似單調(diào)地增加或減少，因此，將gi與y的關(guān)系可近似為：

y≈aibi+gi

(2)

對于每個i，若ai>0，gi可看作是大于y的一個特定特征；若ai<0，gi可看作是小于y的一個特定特征。

P={i|ai>0}

Q={i|ai<0}

(3)

(4)

(5)

(6)

特定類的特性概念與類激活映射[11]非常相似。另外，利用中間特征相對于輸出的重要性趨勢類似于梯度加權(quán)類激活映射[12]。由圖4可看出，從力學(xué)性能較好的中子屏蔽材料中截取的一些圖像的預(yù)測值低于從力學(xué)性能較差的材料中截取的圖像，反之亦然。

圖6 晶粒尺寸與體積分?jǐn)?shù)的相關(guān)性分布Fig.6 Correlation distribution of grain size and volume fraction

本文假設(shè)從相同材料的微觀組織圖像中所裁剪出的圖像均具有相同的拉伸強(qiáng)度和伸長率。事實上，不能期望裁剪圖像的預(yù)測結(jié)果與給定的標(biāo)簽完全一致，所有的預(yù)測結(jié)果均應(yīng)是隨機(jī)的。大晶粒在拉伸強(qiáng)度較低的材料中更常見，相反，平坦的區(qū)域表明晶體缺陷較少，這被認(rèn)為是一種具有高強(qiáng)度的Gd2O3/6061Al中子吸收材料。預(yù)測結(jié)果與實驗結(jié)果一致，表明材料的力學(xué)性能隨軋制道次的增加而提高[13]。此外，紋理邊界并沒有被CNN捕捉到作為重要的特征。這是因為材料在軋制過程中，不易變形的Gd2O3顆粒將基體晶粒細(xì)化為小晶粒，從而使晶粒數(shù)目增加。這意味著晶粒數(shù)目和晶粒大小之間具有很強(qiáng)的相關(guān)性(圖6)。另一方面，代表1個晶粒需許多彼此距離很遠(yuǎn)的邊緣特征。根據(jù)使用現(xiàn)有可視化方法的觀察結(jié)果，可推斷目前的CNN已捕獲了合理的特征。

4 結(jié)論

本文利用原始的架構(gòu)和數(shù)據(jù)擴(kuò)充，通過CNN實現(xiàn)了結(jié)構(gòu)-屬性的連接。與傳統(tǒng)的結(jié)構(gòu)-性能連接方案相比，其主要優(yōu)點是不需進(jìn)行特征工程，這可避免研究人員的偏見結(jié)構(gòu)與性質(zhì)之間的聯(lián)系。本文研究結(jié)果表明： 1) 使用多個顯微圖像，不需任何人工圖像處理，CNN可得到良好的訓(xùn)練結(jié)果，其性能優(yōu)于傳統(tǒng)的測試方法；2) Gd2O3/6061Al中子屏蔽材料樣品中第1個峰值點的最大值與RVE一側(cè)長度的一半重合，這意味著RVE的定義至少包含兩個晶粒，證明了CNN不僅捕捉到晶粒的存在，也捕捉到晶粒的一些統(tǒng)計信息；3) 材料在軋制過程中，不易變形的Gd2O3顆粒將基體晶粒細(xì)化成小晶粒，從而使晶粒數(shù)目增加，這意味著晶粒數(shù)目和晶粒大小之間具有很強(qiáng)的相關(guān)性。