機(jī)器學(xué)習(xí)在有機(jī)光電材料篩選中的應(yīng)用

周 淵，郭鵬智

（1.蘭州交通大學(xué) 國家綠色鍍膜技術(shù)與裝備工程技術(shù)研究中心，蘭州 730070；2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，蘭州 730070）

發(fā)現(xiàn)或者設(shè)計(jì)一種新型更高性能的有機(jī)光電材料是一個(gè)非常艱難的過程，通常都在機(jī)緣巧合和數(shù)次失敗后獲得.傳統(tǒng)經(jīng)驗(yàn)豐富的化學(xué)家拿到一個(gè)新的化合物之后從結(jié)構(gòu)大致能夠估測有無進(jìn)一步進(jìn)行實(shí)驗(yàn)驗(yàn)證的價(jià)值，如果再伴以分析測試結(jié)果，可以在一定程度上提高估測準(zhǔn)確度，但是面對成千上萬個(gè)化合物進(jìn)行實(shí)驗(yàn)驗(yàn)證，人力就有局限.為了接近光電材料效率的理論極限，傳統(tǒng)的研究方法主要包括：設(shè)計(jì)和合成新的供體和受體材料，優(yōu)化制造條件和器件結(jié)構(gòu)以及探索器件的運(yùn)行機(jī)制.前兩種方法是一種試錯(cuò)程序，需要較高的材料成本、長時(shí)間的消耗和大量的人力；最后一種方式更多是從第一性原理出發(fā)［1］，研究材料的物理化學(xué)性質(zhì)，這類方法需要高性能計(jì)算支持，通用性較差.

近年來，在藥物發(fā)現(xiàn)［2-3］、熱電材料［4］和催化研究［5-6］等領(lǐng)域?qū)C(jī)器學(xué)習(xí)與材料信息學(xué)結(jié)合，通過機(jī)器學(xué)習(xí)方法有效探尋了結(jié)構(gòu)和性能之間的密切關(guān)系，為設(shè)計(jì)材料提供了有益指導(dǎo)［7］.

本文結(jié)合監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)的優(yōu)勢，以富勒烯為受體材料的聚合物太陽能電池（polymer solar cells，PSCs）給體材料［8］為例，對大約1 000個(gè)材料數(shù)據(jù)組成的數(shù)據(jù)集進(jìn)行機(jī)器學(xué)習(xí).先使用無監(jiān)督學(xué)習(xí)中聚類算法進(jìn)行數(shù)據(jù)集聚類并標(biāo)記，然后使用監(jiān)督學(xué)習(xí)中隨機(jī)森林方法對數(shù)據(jù)集進(jìn)行訓(xùn)練、測試；探尋和驗(yàn)證PSCs給體材料篩選的機(jī)器學(xué)習(xí)方法，并針對機(jī)器學(xué)習(xí)方法在其它類型光電材料設(shè)計(jì)的共性問題上進(jìn)行拓展［9］，嘗試篩選或?qū)ふ覞撛诰哂懈咝阅艿挠袡C(jī)光電材料的新方法.

1 數(shù)據(jù)集分析與處理

數(shù)據(jù)集中的主要特征包括短路電流密度JSC、開路電壓VOC、填充因子FF、能量轉(zhuǎn)換效率（power conversion efficiency，PCE）、最高占據(jù)分子軌道（highest occupied molecular orbital，HOMO）、最低未占分子軌道（lowest unoccupied molecular orbital，LUMO）、分子線性描述符（simplified molecular input line entry system，SMILES）等.其中：能量轉(zhuǎn)換效率是衡量和反映太陽能光伏器件質(zhì)量和技術(shù)水平的重要指標(biāo)［10-11］，其值為器件最大的輸出功率Pmax與入射光輸入功率Pin之比，表示式為

由式（1）可知，器件的能量轉(zhuǎn)換效率在標(biāo)準(zhǔn)入射光強(qiáng)度下與VOC，JSC和FF正相關(guān).傳統(tǒng)PSCs材料設(shè)計(jì)也緊密圍繞著設(shè)計(jì)合成具有高VOC和JSC的分子展開.通過數(shù)據(jù)集統(tǒng)計(jì)形成四者相互關(guān)系圖，如圖1所示.從圖1可以看出：VOC和JSC、VOC與FF之間雖有一定關(guān)系，但并不線性相關(guān)；FF與JSC線性相關(guān)，實(shí)際中還受制于器件制備、溶解度等影響［12］.因此，將VOC，JSC和FF作為一個(gè)整體去考慮，使用能量轉(zhuǎn)換效率對PSCs性能進(jìn)行評價(jià).

圖1 V OC，J SC，F(xiàn)F和PCE分布及相互關(guān)系圖Fig.1 Distribution and interrelationship of V OC，J SC，F(xiàn)F and PCE

原則上，器件的電子特征與材料分子結(jié)構(gòu)有關(guān)，器件的最終性能只取決于其材料，而制造技術(shù)和器件結(jié)構(gòu)的功能只是更好地發(fā)揮材料的作用.分子之間特征相似則化學(xué)性質(zhì)相似，反映在分子指紋中則具有相似的指紋，如芳香材料分子具有環(huán)狀大π鍵共軛結(jié)構(gòu)，與該結(jié)構(gòu)類似的材料具有較高的電子傳輸能力，從而展現(xiàn)出較好的導(dǎo)電性和豐富的光學(xué)特性，是最有潛力的有機(jī)光電材料之一［13］.

為了表示材料分子的化學(xué)結(jié)構(gòu)，采用線性的字符串來描述材料分子的三維化學(xué)結(jié)構(gòu).通過開源工具RDKit，分別計(jì)算樣本SMILES生成長度為167位的分子訪問系統(tǒng)（molecular access system，MACCS）分子指紋和2 048位擴(kuò)展分子指紋（extended connectivity fingerprint，ECFP）序列，完成分子結(jié)構(gòu)特征編碼，如圖2所示.對于聚合物PBDD4T-2F的重復(fù)單元，首先生成SMILES，然后分別計(jì)算兩種分子指紋并存儲，指紋序列中1表示具有某種結(jié)構(gòu)特征.該聚合物重復(fù)單元中存在甲基、芳香、六元環(huán)、氧元素和環(huán)，故MACCS分子指紋序列中160，162，163，164和165位值為1.ECFP指紋長度更大，因此表示的特征細(xì)節(jié)更多.

圖2 分子指紋生成過程Fig.2 Molecular fingerprint generation process

另外，為提高機(jī)器學(xué)習(xí)效率，對數(shù)據(jù)集進(jìn)行特征選擇以消除相關(guān)特征、無關(guān)特征和冗余特征.為消除特征之間值域差別較大帶來潛在權(quán)重的問題，對數(shù)據(jù)集除分子指紋外其他特征進(jìn)行了標(biāo)準(zhǔn)化，形成1 056個(gè)給體材料樣本的數(shù)據(jù)集.

2 數(shù)據(jù)集聚類劃分

在監(jiān)督學(xué)習(xí)中，數(shù)據(jù)集和標(biāo)簽集是缺一不可的，而無監(jiān)督學(xué)習(xí)的結(jié)果為已標(biāo)記分類的數(shù)據(jù)集.無監(jiān)督學(xué)習(xí)中聚類算法采用一種探索性的分析方法，它從樣本屬性出發(fā)，對數(shù)據(jù)集進(jìn)行分簇和標(biāo)記，這樣可以省去面對大量數(shù)據(jù)時(shí)人工分類和數(shù)據(jù)標(biāo)記工作，同時(shí)聚類結(jié)果也可以為初步研究材料性能提供幫助.

2.1 聚類算法介紹

由于k-均值聚類（k-means）具有適合處理稀疏的高維數(shù)據(jù)、適應(yīng)各種數(shù)據(jù)類型等特點(diǎn)［14-15］，因此采用此算法聚類.算法使用歐氏距離作為相似性的評價(jià)指標(biāo).對于輸入的數(shù)據(jù)集和分簇?cái)?shù)k，首先堆積選取k個(gè)點(diǎn)作為初始聚類中心，迭代求解下面過程：計(jì)算各個(gè)樣本到中心的距離；按距離進(jìn)行歸類；調(diào)整新的聚類中心到此類樣本的均值處.算法滿足下列條件：沒有（或最小數(shù)目）記錄對象被重新分配給不同的聚類；聚類中心不再發(fā)生變化；誤差平方和局部最小時(shí)結(jié)束，生成劃分為k類的數(shù)據(jù)集.

實(shí)驗(yàn)使用基于Python語言的機(jī)器學(xué)習(xí)開源工具sklearn（scikit-learn）中KMeans模型.模型關(guān)鍵參數(shù)分簇?cái)?shù)k一般根據(jù)數(shù)據(jù)分布和實(shí)際經(jīng)驗(yàn)進(jìn)行假定，本文使用手肘法結(jié)合輪廓系數(shù)法計(jì)算確定.

2.2 聚類簇?cái)?shù)計(jì)算

2.2.1 手肘法

手肘法［16］中，使用誤差平方和（sum of the squared errors，SSE）數(shù)值的變化拐點(diǎn)來找出最佳的聚類簇?cái)?shù).誤差平方和為所有簇中的全部數(shù)據(jù)點(diǎn)與簇中心的誤差距離平方累加和，代表了聚類效果的好壞，其計(jì)算如式（2）所示.

其中：Ci是第i個(gè)簇；p是Ci中的樣本點(diǎn)；mi是Ci的質(zhì)心（Ci中所有樣本的均值）.

隨著k的增大，樣本劃分會更加精細(xì)，簇的聚合程度會逐漸提高，誤差平方和逐漸變?。划?dāng)聚類簇?cái)?shù)k不斷趨向于真實(shí)類簇?cái)?shù)時(shí)，誤差平方呈現(xiàn)快速下降狀態(tài)，當(dāng)超過真實(shí)類簇?cái)?shù)時(shí)，誤差平方和也會繼續(xù)下降并迅速趨于穩(wěn)定.k-SSE曲線呈現(xiàn)手肘的形狀，因此可以通過判定下降的拐點(diǎn)找出較合適的k值.

2.2.2 輪廓系數(shù)法

在聚類發(fā)現(xiàn)的過程中，最佳的分類具有其簇內(nèi)差異小，而簇外差異大的特點(diǎn)，輪廓系數(shù)s正是描述簇內(nèi)、外差異的關(guān)鍵指標(biāo).s的計(jì)算如式（3）所示.

其中：a表示樣本點(diǎn)與同一簇中所有其他點(diǎn)的平均距離，即樣本點(diǎn)與同一簇中其他點(diǎn)的相似度；b表示樣本點(diǎn)與下一個(gè)最近簇中所有點(diǎn)的平均距離，即樣本點(diǎn)與下一個(gè)最近簇中其他點(diǎn)的相似度.s取值范圍為（-1，1），其值越接近于1，則聚類效果越好；越接近-1，聚類效果越差.因此可以求得s的最大值而得到最佳分類簇?cái)?shù)，計(jì)算過程與肘部法類似.

2.3 聚類結(jié)果

在數(shù)據(jù)集的聚類中，嘗試探索能量轉(zhuǎn)換效率與分子結(jié)構(gòu)之間的關(guān)系，使用MACCS分子指紋與能量轉(zhuǎn)換效率的特征組合作為樣本劃分時(shí)，樣本劃分效果較差.由于數(shù)據(jù)集樣本數(shù)量不足，以及ECFP分子指紋長度（特征數(shù)量）與樣本數(shù)量相近的問題，在單獨(dú)使用ECFP分子指紋進(jìn)行聚類數(shù)探索時(shí)無法收斂，出現(xiàn)過擬合問題，最終使用能量轉(zhuǎn)換效率作為聚類特征.

如圖3所示，輪廓系數(shù)最大值對應(yīng)k=2，這表示最佳聚類數(shù)為2，但是從手肘圖3可以看出，當(dāng)k取2時(shí)，誤差平方和非常大，所以k=2不合理，考慮輪廓系數(shù)與誤差平方和取值比較合理的次大的k=5為最佳聚類系數(shù).

圖3 肘部法與輪廓系數(shù)法結(jié)果示意Fig.3 Illustration of the results of the elbow method and the silhouette method

使用Silhouette Visualizer可視化工具對樣本集群的密度和分離進(jìn)行示意，如圖4所示.從圖4可以看出：以能量轉(zhuǎn)換效率為特征，聚類后的樣本劃分較為清晰；圖中類簇1圖形面積最大，說明歸屬類簇1的樣本數(shù)量最多；無輪廓系數(shù)為負(fù)數(shù)的部分，說明樣本歸類效果較好.

圖4 樣本集群的密度和分離示意Fig.4 Density and separation of sample clusters illustration

數(shù)據(jù)集類別標(biāo)簽、各類樣本數(shù)量、能量轉(zhuǎn)換效率平均值等見表1.類別0，1，2，3，4依次對應(yīng)材料能量轉(zhuǎn)換效率性能由低到高的變化，各類別中能量轉(zhuǎn)換效率均值分布均勻，取值區(qū)間無交叉.由于缺乏高性能的材料數(shù)據(jù)（對應(yīng)類別4），數(shù)據(jù)集存在樣本不均勻問題.

表1 監(jiān)督學(xué)習(xí)數(shù)據(jù)集樣本劃分概況Tab.1 Overview of supervised learning datasets

3 隨機(jī)森林輔助材料篩選

3.1 隨機(jī)森林算法

隨機(jī)森林是一種基于統(tǒng)計(jì)的監(jiān)督學(xué)習(xí)算法［17］.算法的核心思想就是許多棵隨機(jī)參數(shù)生成的決策樹組合成一個(gè)森林，通過統(tǒng)計(jì)每棵樹的結(jié)果進(jìn)行分類和預(yù)測.算法能夠處理具有高維特征的輸入樣本，同時(shí)對缺省值也能得到較好的結(jié)果.在訓(xùn)練每棵樹的節(jié)點(diǎn)時(shí)，使用的特征是從所有特征中按照一定比例隨機(jī)地?zé)o放回地抽取，因此較好地解決了過擬合的問題.

3.2 隨機(jī)森林分類

使用隨機(jī)森林算法對已標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練和學(xué)習(xí)［18］.通過在各類中隨機(jī)抽樣70個(gè)樣本，形成類型分布均勻的子集，按照8∶2的比例劃分為訓(xùn)練集和測試集.以樣本最高占據(jù)分子軌道、數(shù)均分子量（Mw）、光學(xué)帶隙（Eg）和分子指紋序列作為特征，材料性能類別作為標(biāo)簽，對樣本進(jìn)行訓(xùn)練.實(shí)驗(yàn)使用sklearn中RandomForestClassifier模型，經(jīng)過調(diào)參，在MACCS分子指紋數(shù)據(jù)集使用森林中樹的數(shù)量為110棵，樹的深度為16層，子集特征為13個(gè)的超參數(shù).在ECFP分子指紋數(shù)據(jù)集使用森林中樹的數(shù)量為109棵，最大深度為16層，子集特征為20個(gè)的超參數(shù).

采用類似二分類的方法，依次統(tǒng)計(jì)每個(gè)類別與其他類別之間的二分類學(xué)習(xí)結(jié)果，繪制各類別受試者工作特征曲線（receiver operating characteristic curve，ROC曲線），對每類ROC曲線取平均值，即可得到最終的模型分類ROC曲線，如圖5所示.在MACCS分子指紋下AUC（area under curve，AUC）值為0.687 6，ECFP分子指紋下AUC為0.746 3，ECFP分子指紋數(shù)據(jù)集下模型展示出較好的性能.通過圖5（a）、（c）發(fā)現(xiàn)，在類別0和類別4中分類效果較好.

圖5 隨機(jī)森林學(xué)習(xí)結(jié)果ROC曲線Fig.5 ROC curve of random forest learning results

在對隨機(jī)森林模型訓(xùn)練后，生成測試集混淆矩陣，見表2和表3.矩陣中每行表示一個(gè)實(shí)際分類的樣本，每列表示預(yù)測分類的結(jié)果，主對角線上的值表示被正確預(yù)測的樣本數(shù).由表2和表3分別計(jì)算兩種分子指紋數(shù)據(jù)集下準(zhǔn)確率（Precision）、召回率（Recall）和F1-Score作為模型分類結(jié)果的評價(jià)指標(biāo)，如表4～5所列.

表2 MACCS分子指紋數(shù)據(jù)集隨機(jī)森林分類結(jié)果Tab.2 Random forest prediction results of MACCSmolecular fingerprint dataset

表3 ECFP分子指紋數(shù)據(jù)集隨機(jī)森林預(yù)測結(jié)果Tab.3 Random forest prediction results of ECFP molecular fingerprint dataset

表4 MACCS分子指紋數(shù)據(jù)集隨機(jī)森林分類的性能評價(jià)Tab.4 Performance evaluation of random forest classification of MACCS molecular fingerprint dataset

由表4和表5可知：在類別0和類別4中的數(shù)據(jù)準(zhǔn)確度、召回率和F1-Score較其他類別高，訓(xùn)練后的機(jī)器學(xué)習(xí)模型較好地區(qū)分了這兩類，同時(shí)表5中數(shù)值優(yōu)于表4，與圖5中ROC圖呈現(xiàn)的結(jié)論一致；由于ECFP擁有比MACCS更多的特征，因此在ECFP分子指紋數(shù)據(jù)集下模型分類結(jié)果更好.

表5 ECFP分子指紋數(shù)據(jù)集隨機(jī)森林分類的性能評價(jià)Tab.5 Performance evaluation of random forest classification of ECFP molecular fingerprint dataset

3.3 機(jī)器學(xué)習(xí)模型在有機(jī)光電材料篩選中的應(yīng)用

模型訓(xùn)練完成后，對于未知能量轉(zhuǎn)換效率的材料，可以將基本物理性能參數(shù)連同分子指紋作為測試樣本，使用模型進(jìn)行分類預(yù)測，得到此材料性能類別，即對應(yīng)類別的能量轉(zhuǎn)換效率數(shù)值區(qū)間，再輔以經(jīng)驗(yàn)判斷有無材料合成和器件制作的必要.

另外，訓(xùn)練后的機(jī)器學(xué)習(xí)模型建立了一種“結(jié)構(gòu)-性能”關(guān)系，可以從公開的有機(jī)材料數(shù)據(jù)庫中查詢數(shù)據(jù)來進(jìn)行批量預(yù)測，根據(jù)預(yù)測結(jié)果實(shí)現(xiàn)材料的快速篩選.

4 結(jié)論

本文通過無監(jiān)督學(xué)習(xí)對數(shù)據(jù)自動(dòng)分類標(biāo)記，提高了數(shù)據(jù)集預(yù)處理的效率，同時(shí)在監(jiān)督學(xué)習(xí)分類中也展示出自動(dòng)標(biāo)記的數(shù)據(jù)集具有良好的質(zhì)量，為PSCs材料篩選設(shè)計(jì)提供了機(jī)器學(xué)習(xí)方法和素材.

從遷移學(xué)習(xí)場景來看，PSCs材料和光電探測器材料分子結(jié)構(gòu)相近，符合遷移學(xué)習(xí)的要求；從有機(jī)光電功能材料功能原理來看，材料光電特性的本質(zhì)是材料中電子的各種行為帶來的結(jié)果，與其分子結(jié)構(gòu)是密不可分的，高性能PSCs材料意味著高的光電性能，因此從結(jié)構(gòu)出發(fā)的機(jī)器學(xué)習(xí)方法同樣可以用在光電探測器等其它有機(jī)光電材料的設(shè)計(jì)篩選中.

綜上所述，將機(jī)器學(xué)習(xí)應(yīng)用于有機(jī)光電材料篩選與設(shè)計(jì)中，有助于加快更多潛在新的材料的發(fā)現(xiàn).另外，受制于缺乏大規(guī)模高質(zhì)量的數(shù)據(jù)集，未能取得更加準(zhǔn)確的分類結(jié)果，更多的數(shù)據(jù)集的收集完善和其他機(jī)器學(xué)習(xí)方法的探索在今后的工作中將逐步展開.