基于機器學(xué)習(xí)方法的二維材料帶隙預(yù)測

游 洋， 杜 婉， 李惟駒， 陳競哲

(1. 上海大學(xué)理學(xué)院， 上海200444;2. 上海大學(xué)量子與分子結(jié)構(gòu)國際研究中心， 上海200444;3. 上海大學(xué)材料基因組工程研究院， 上海200444)

二維材料， 又稱單層材料， 是由單層或少數(shù)幾層原子組成的， 是在垂直方向上不具備平移周期性的晶體材料. 二維材料具有諸多令人矚目的物理、化學(xué)性質(zhì)， 使其成為目前材料科學(xué)研究的前沿焦點. 二維材料通常可以歸類為各種元素或化合物的二維同素異形體， 其電子能帶結(jié)構(gòu)和三維的母體材料往往有很大不同. 由于二維材料只具有單層或少數(shù)幾層原子， 尺寸受限會帶來量子限域效應(yīng)， 而且原子都暴露在表面， 更容易被調(diào)控. 二維材料主要有石墨烯、磷烯、硼墨烯、過渡金屬硫化物[1]、過渡金屬鹵化物[2]等， 其中以MoS2， MnCl2為代表的過渡金屬硫化物(transition metal chalcogenides， TMCs)和過渡金屬鹵化物(transition metal halides，TMHs)成為研究熱點. TMCs 和TMHs 的化學(xué)通式為MX2， 其中M為第四到第十族過渡金屬元素， X 為硫族或鹵族元素. 相較于石墨烯， TMCs， TMHs 因為具有更多的組分和結(jié)構(gòu)， 從而具有許多獨特的物理和化學(xué)特性.

帶隙是表征半導(dǎo)體和絕緣體用于光學(xué)和電子應(yīng)用的簡單而重要的參數(shù)[3]. 由于準確測量帶隙需要高質(zhì)量的單晶， 所以從實驗獲得的帶隙數(shù)據(jù)非常少. 隨著計算機技術(shù)的進步， 第一性原理方法(first-principles method)成為計算大量化合物帶隙的常用方法[4]. 大部分材料的電子結(jié)構(gòu)都是基于密度泛函理論(density functional theory， DFT)計算， 將得到的Kohn-Sham 帶隙[5]， 即最低未占據(jù)和最高占據(jù)能量特征值之間的差異作為近似帶隙. 但由于理論局限， 基于DFT 計算出的帶隙往往都小于真實值. 為了獲得更準確的帶隙， 經(jīng)常采用一些更復(fù)雜的方法，例如基于多體擾動理論的GW 方法[6]. 但高精度的G0W0計算耗時長， 占用資源多， 計算的體系原子數(shù)較少. 因此， 希望尋找一種在計算成本上可承受且能較為準確估計帶隙的替代方法.

隨著人工智能的發(fā)展， 很多研究者提出將機器學(xué)習(xí)方法應(yīng)用在基礎(chǔ)學(xué)科上. 在目前所產(chǎn)生的大量材料數(shù)據(jù)集上使用不同的機器學(xué)習(xí)方法進行新材料的性能預(yù)測， 可以有效提高材料性能預(yù)測準確率， 節(jié)約計算成本， 也可為材料實驗和應(yīng)用提供指導(dǎo).

本工作以COMPUTATIONAL MATERIALS REPOSITORY 數(shù)據(jù)庫[7]中基于第一性原理和密度泛函理論計算的化學(xué)通式為MX2的二維材料數(shù)據(jù)集為藍本， 提取化合物的總能量(energy)、形成熱(heat of formation)、帶隙(bandgap)， 分別基于廣義梯度近似(general gradient approximation， GGA)-Perdew-Burke-Ernzerhof (PBE) (GGA-PBE)和 G0W0計算作為特征變量， 并加入M， X 原子電負性(electronegativity)、第一電離能(first ionization energy)和原子的有效原子半徑(radius)等性質(zhì)， 來預(yù)測更為精確的帶隙. 如圖1 所示， 將原始數(shù)據(jù)集隨機分為訓(xùn)練集(training set)和測試集(testing set)， 然后分別選用套索回歸， 即最小絕對值收斂和選擇算子(least absolute shrinkage and selection operator， LASSO)[8-9]、支持向量回歸(support vector regression， SVR)[10-12]、梯度樹提升回歸(gradient boosting regression，GBR)[13-14]三種機器學(xué)習(xí)方法對數(shù)據(jù)進行訓(xùn)練， 同時采用交叉驗證的方法建立帶隙的預(yù)測模型. 最后， 利用所得模型對測試集進行預(yù)測， 并對預(yù)測結(jié)果進行評估. 這種方法避免了第一性原理計算， 從而能夠提高研究效率并降低研究成本.

圖1 機器學(xué)習(xí)預(yù)測模型的基本流程Fig.1 Basic flow of machine learning prediction model

1 機器學(xué)習(xí)原理和方法

機器學(xué)習(xí)是一類從數(shù)據(jù)中自動分析獲得規(guī)律， 并利用規(guī)律對未知數(shù)據(jù)進行預(yù)測的算法[15-16]， 即從給定的含有輸入(特征)和輸出(目標)的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得出一個模型， 當(dāng)添加新的數(shù)據(jù)時， 可以根據(jù)這個模型來預(yù)測結(jié)果. 對于連續(xù)性目標變量的分析預(yù)測， 一般采用回歸模型(regression model)方法[17].

1.1 LASSO 算法

LASSO 算法是一種同時進行特征選擇和正則化的回歸分析方法， 旨在增強統(tǒng)計模型的準確性和解釋性， 常用于廣義線性回歸模型.

線性回歸模型描述特征(特征變量xi)與連續(xù)輸出(目標變量y)的關(guān)系為

式中: w0為權(quán)值; wi為特征變量的系數(shù). 要擬合帶有系數(shù)wi的線性模型， 最簡單的方法是使用普通最小二乘法(ordinary least squares， OLS). 然而， 普通最小二乘的系數(shù)估計依賴于模型各項的相互獨立性， 當(dāng)各項相關(guān)時， 會導(dǎo)致最小二乘估計對于隨機誤差非常敏感， 從而產(chǎn)生很大的方差. 而LASSO 通過強制使回歸系數(shù)絕對值之和小于某固定值， 有效地構(gòu)建了不包括這些回歸系數(shù)對應(yīng)協(xié)變量的更精準的模型， 從而改善模型的預(yù)測偏差. 在數(shù)學(xué)表達上， LASSO 由一個帶有L1 先驗的正則項[8]的線性模型組成， 其最小化目標函數(shù)為

LASSO 回歸復(fù)雜度由參數(shù)λ 來控制， λ 越大， 對變量較多的線性模型的懲罰力度就越大， 從而最終獲得一個變量較少的模型.

1.2 SVR 算法

SVR 是基于支持向量機(support vector machine， SVM)發(fā)展而來的. SVR 的基本思想是通過一個非線性映射Φ， 將數(shù)據(jù)x 映射到高維特征空間， 并在這個空間進行線性回歸. 假設(shè)一個樣本集 {(xi，yi)}Ni， 其中輸入數(shù)據(jù)xi∈ Rn， yi∈ R， 在高維空間中構(gòu)造的最優(yōu)線性模型函數(shù)為

式中: ω 為權(quán)重; b 為偏置項. 這樣， 在高維特征空間的線性回歸便對應(yīng)于低維輸入空間的非線性回歸.

利用SVR 解決回歸問題時， 需要根據(jù)問題選擇適當(dāng)?shù)暮撕瘮?shù)來代替內(nèi)積， 以便隱式地把高維特征空間的點積運算轉(zhuǎn)化為低維原始空間的核函數(shù)運算[18]. 核函數(shù)不僅要在理論上滿足Mercer 條件[19]， 而且在實際應(yīng)用中要能夠反映訓(xùn)練樣本數(shù)據(jù)的分布特性. 常用的核函數(shù)有線性(linear)核、徑向基(radial basis function， RBF)核等.

SVM 泛化為SVR 是通過在高維空間最小化ε 不敏感損失函數(shù)來解決回歸問題[12]， 同時通過最小化‖ω‖2來降低模型的復(fù)雜度. 常用的損失函數(shù)有線性ε 不敏感損失函數(shù)、二次ε 不敏感損失函數(shù)等.

SVR的目標函數(shù)為

式中: ξ 和ξ*是非負的松馳變量; 正則項C 是控制對超出誤差的樣本的懲罰程度. 使用支持向量回歸構(gòu)建模型， 首先要明確模型的輸入與輸出， 然后選擇合適的核函數(shù)、損失函數(shù)以及調(diào)整參數(shù)如核參數(shù)σ、正則項C、不敏感損失參數(shù)ε， 最終根據(jù)樣本訓(xùn)練集得到訓(xùn)練模型.

1.3 GBR 算法

GBR 屬于Boosting 算法的一種改進. Boosting 是一類將弱學(xué)習(xí)器提升為強學(xué)習(xí)器的集成學(xué)習(xí)算法. Boosting 算法初始為每一個樣本賦上一個相等的權(quán)重值， 由于每一次訓(xùn)練都會使數(shù)據(jù)點的估計有所差異， 所以在每一步結(jié)束后， 通過增加錯分點對權(quán)重值進行處理， 然后進行N 次迭代， 得到 N 個簡單的基分類器(basic learner)， 最后將 N 個基分類器加權(quán)組合起來， 得到一個最終模型.

GBR 與Boosting 的區(qū)別在于， GBR 的每一次計算都是為了減少上一次的殘差(residual)，而為了減少這些殘差， 需要在殘差減少的梯度方向上建立一個新模型. 所以在GBR 中， 每個新模型的建立是為了使得先前模型殘差往梯度方向減少， 再利用當(dāng)前模型中損失函數(shù)的負梯度值作為GBR 算法中殘差的近似值， 進而擬合出回歸樹[13].

梯度樹提升回歸算法一般使用固定大小的回歸樹作為弱分類器， 回歸樹本身擁有的一些特性使其能夠在提升過程中變得更準確， 即處理混合類型數(shù)據(jù)以及構(gòu)建具有復(fù)雜功能模型的能力. GBR 模型為

式中: rm表示權(quán)重; T(x;Θm)表示回歸樹， Θm為回歸樹的參數(shù); m 為樹的個數(shù).

1.4 性能評估

本工作利用平均絕對誤差（mean absolute error， MAE）、均方誤差（mean squared error，MSE）和R2值作為機器學(xué)習(xí)預(yù)測結(jié)果的評估標準.

式(6)～(8)中: n 為樣本數(shù)量; ^yl為真實值; yi為預(yù)測值.

2 數(shù)據(jù)處理與模型建立

使用機器學(xué)習(xí)方法進行帶隙預(yù)測的過程中， 研究對象及其數(shù)據(jù)的選取尤為重要. 為了建立可靠的二維材料數(shù)據(jù)集， 本工作選取了主族金屬元素、過渡金屬元素、氧族與鹵族元素組成的結(jié)構(gòu)類似的MX2型二維材料為研究對象， 根據(jù)不同的相態(tài)分為1-T 和2-H 類型[20]， 這樣共得到約幾百種化合物， 挑選其中具有一定帶隙的化合物進行研究.

從數(shù)據(jù)庫COMPUTATIONAL MATERIALS REPOSITORY 中選取基于第一性原理和密度泛函理論計算得到的136 個MX2型二維金屬化合物數(shù)據(jù)作為原始數(shù)據(jù)集. 提取M， X 位元素的電負性(EN)、第一電離能(I)和原子的有效半徑(R)， 以及化合物的形成熱(Hf)、總能量(E)、晶體體積(V)、晶體質(zhì)量(m)， 基于GGA-PBE 計算的低精度帶隙(PBE)等性質(zhì)為特征參數(shù)， 以G0W0的帶隙為預(yù)測目標， 組成標準數(shù)據(jù)集， 進行機器學(xué)習(xí).

根據(jù)獲得的數(shù)據(jù)集和預(yù)測變量， 基于機器學(xué)習(xí)的二維材料帶隙預(yù)測模型構(gòu)建方法如下.

(1) 數(shù)據(jù)準備: 將136 組數(shù)據(jù)的數(shù)據(jù)集隨機分成120 組數(shù)據(jù)組成的訓(xùn)練集和16 條數(shù)據(jù)構(gòu)成的測試集.

(2) 模型訓(xùn)練: 設(shè)置 10 折交叉驗證[21]， 分別建立 GBR， SVR， LASSO 算法模型， 利用 3 種模型對訓(xùn)練集的G0W0帶隙進行訓(xùn)練.

(3) 模型效果評估: 使用MAE， MSE， R2等評價指標對模型效果進行評估.

(4) 模型應(yīng)用: 利用訓(xùn)練后的多個算法模型對測試集的帶隙進行獨立預(yù)測， 并簡單評估.

為了提高模型預(yù)測精度， 在模型訓(xùn)練之前通常要對算法進行參數(shù)尋優(yōu). 例如， 采用GBR算法時， 通過迭代選擇可以得到最佳的弱學(xué)習(xí)器個數(shù)大致在190～200 之間; 對于SVR 算法， 通過迭代選擇最佳的懲罰項參數(shù)為0.5. 由于樣本集數(shù)量不大， 因此將模型算法的其他參數(shù)設(shè)置為默認值.

3 實驗結(jié)果與分析

本工作結(jié)合136 個樣本材料的特征參數(shù)， 通過熱圖(heatmap)表示數(shù)據(jù)集中材料性質(zhì)特征之間的關(guān)系(見圖2(a)). 另外， G0W0帶隙與PBE 帶隙的關(guān)系如圖2(b)所示.

從圖2(a)中可以看出， G0W0帶隙與PBE 帶隙的相關(guān)性最強， 而且X 位元素的電負性和電離能與帶隙也具有一定的相關(guān)性. 從圖2(b)中更能看出， PBE 帶隙與G0W0帶隙之間具有很強的線性關(guān)系， 且G0W0帶隙總要高于PBE 帶隙. 因此， 可以將PBE 帶隙值作為計算代價較高的G0W0帶隙的預(yù)測模型的重要特征.

圖2 樣本各特征之間的相關(guān)性以及PBE 帶隙與G0W0 帶隙之間的關(guān)系Fig.2 Correlation between features and relationship between PBE bandgap and G0W0 bandgap

利用SVR， LASSO， GBR 三種機器學(xué)習(xí)方法對訓(xùn)練集進行學(xué)習(xí)訓(xùn)練， 可以得到如圖3 所示的模型， 圖中橫坐標為G0W0的理論計算值， 藍點的縱坐標為對應(yīng)的G0W0帶隙預(yù)測值， 黃點為對應(yīng)的PBE 帶隙. 可以看出， G0W0帶隙預(yù)測值明顯比PBE 帶隙更準確， 即比PBE 的帶隙值更接近G0W0帶隙. 進行10 折交叉驗證后， 得到3 種算法在交叉驗證過程中的準確度如表1 所示.

圖 3 SVR， LASSO， GBR 回歸模型Fig.3 SVR， LASSO， and GBR regression models

表1 不同模型的10 折交叉驗證準確度Table 1 10-fold cross-validation results for different models

從表1 中可知， 3 種算法訓(xùn)練出的模型效果都比較理想， 其中SVR 算法選用的核函數(shù)為線性核函數(shù)， 而LASSO 本身就是帶有懲罰項的線性回歸. 所以可以斷定， 采用線性回歸的機器學(xué)習(xí)方法更符合數(shù)據(jù)集的特點， 從表2 所示的誤差分析中也可以得到相同的結(jié)論. 當(dāng)選取核函數(shù)時， 如果用最常用的徑向基核函數(shù)， 那么得到的結(jié)果反而非常差， 這是因為SVR 算法對于核函數(shù)的高維(11 維)映射解釋力不強， 尤其是RBF 核函數(shù)的SVR 算法.

表2 訓(xùn)練集擬合結(jié)果比較Table 2 Comparison of training set fitting results

圖 4 SVR， LASSO， GBR 回歸模型對測試集的預(yù)測結(jié)果Fig.4 Prediction of the testing set by SVR， LASSO， and GBR regression models

用訓(xùn)練好的模型對測試集的16 個樣本進行預(yù)測， 圖4 直觀地反映出預(yù)測結(jié)果并與PBE帶隙相比較. 從圖中可以看出， LASSO 和SVR(基于線性核)對測試集的預(yù)測與模型預(yù)測趨勢符合較好. 而GBR 預(yù)測的結(jié)果誤差要比模型誤差大， 說明GBR 這種集成學(xué)習(xí)算法數(shù)據(jù)的敏感度更高， 雖然可以得到擬合很好的模型， 但對于未知模型， 過擬合的風(fēng)險會更大. 表3 顯示了測試集測試結(jié)果的比較.

表3 不同測試集算法預(yù)測結(jié)果比較Table 3 Comparison of the prediction by different models in testing set

從表4 數(shù)據(jù)可以看出， 3 種模型在二維材料帶隙極小(≤0.8 eV)的情況下進行預(yù)測， 得到的預(yù)測帶隙誤差較大; 但在合理的范圍(1 eV≤G0W0≤8 eV)內(nèi)， 預(yù)測值與真實值非常接近，平均誤差為0.5 eV. 在選取模型時， 基于線性核函數(shù)的SVR 模型和帶有懲罰項線性回歸的LASSO 模型預(yù)測得到的帶隙值非常相似， 而且由于采用了線性回歸的方法， 算法的復(fù)雜度并不高， 更能提高今后大數(shù)據(jù)量研究的計算效率. 而由圖3 可以看出， GBR 模型的線性相關(guān)度更高， 但是結(jié)合測試集預(yù)測結(jié)果的對比與誤差分析， 雖然在少數(shù)情況下GBR 的預(yù)測精度在SVR與LASSO 之間， 但在大多數(shù)情況下SVR 和LASSO 的預(yù)測精度更好， 而造成這種結(jié)果的原因是GBR 對未知數(shù)據(jù)過擬合的概率更大.

表4 測試集預(yù)測帶隙的比較Table 4 Comparison of bandgap’s prediction in testing set

4 結(jié)束語

本工作利用機器學(xué)習(xí)方法結(jié)合密度泛函理論， 探索了預(yù)測二維半導(dǎo)體材料基本帶隙的方法. 所選取的二維材料具有相似的晶體結(jié)構(gòu)， 帶隙值約為0～8 eV. 基于機器學(xué)習(xí)方法， 訓(xùn)練了可以預(yù)測帶隙值的模型. 本工作討論的模型中， 當(dāng)PBE 結(jié)果和元素信息被用作預(yù)測因子時，運用SVR 算法建立的模型具有最佳性能， 訓(xùn)練集與測試集的MAE 分別為0.335 和0.540 eV.而具有懲罰項的線性回歸算法LASSO 在二維材料帶隙的預(yù)測中也表現(xiàn)出極好的效果. 因此，基于機器學(xué)習(xí)方法對二維材料的帶隙預(yù)測是可行的.

另外， 本工作所提出的預(yù)測模型可用于更復(fù)雜系統(tǒng)(如多元化合物和合金)的電子性質(zhì)預(yù)測， 為今后對新型材料的探索和研究提供了一種新的方法.