深度神經(jīng)網(wǎng)絡(luò)和高光譜顯微圖像的二維材料納米片識別

彭仁苗，徐鵬鵬，趙一默，包立君，李 成*

1.廈門大學(xué)電子科學(xué)與技術(shù)學(xué)院，福建 廈門 361005 2.廈門大學(xué)物理科學(xué)與技術(shù)學(xué)院，福建 廈門 361005

引 言

Novoselov等[1]于2004年通過對石墨烯的機(jī)械剝離成功獲取了單層石墨烯；隨后的十幾年間，人們發(fā)現(xiàn)了越來越多的二維材料，例如過渡金屬二硫族化合物(transition metal dichalcogenides，TMDs)[2]、黑磷(black phosphorus，BP)[3]、六方氮化硼(hexagonal boron nitride，h-BN)[4]等，這些材料在原子層厚度情況下具有獨特的光學(xué)和電學(xué)性質(zhì)，在多個領(lǐng)域具有廣泛的應(yīng)用前景。時至今日，機(jī)械剝離依然是獲得高質(zhì)量單層和少層二維材料晶體的最常用的方法之一。該技術(shù)不僅能產(chǎn)生單層和少層納米片，還能產(chǎn)生大量的較厚的薄片。通過光學(xué)顯微鏡獲取光學(xué)圖像，然后直接利用光學(xué)圖像識別納米片厚度的過程很大程度上依賴于研究者的經(jīng)驗，既困難又耗時。原子力顯微鏡(AFM)通常用于測量二維材料納米片的厚度，但它很耗時，不適合大面積快速測量[5]，因此需要找到更加快速有效的方法識別二維材料納米薄片。為了解決這一問題，提出了基于光學(xué)對比度的識別方法[5]，通過襯底和不同層數(shù)的二維材料納米片之間的光學(xué)對比度差異進(jìn)行區(qū)分，但是該方法通常會受到襯底(如二氧化硅)厚度和光照強(qiáng)度等的影響。

光學(xué)顯微鏡在納米材料的科學(xué)研究中發(fā)揮著不可或缺的作用，因為它提供了重要的物理和化學(xué)性質(zhì)的豐富信息。近年來，深度學(xué)習(xí)得到了快速的發(fā)展，被廣泛運用到了圖像識別、材料缺陷檢測和醫(yī)學(xué)圖像病變分割等各個方面，尤其以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNNs)[6-7]為代表的算法在圖像領(lǐng)域取得了良好的結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)不僅避免了傳統(tǒng)算法特征提取的復(fù)雜過程，而且在高級抽象特征提取方面擁有更加突出的能力，特別是對細(xì)粒度圖像識別具有極大的優(yōu)勢和潛力。因此，可以利用卷積神經(jīng)網(wǎng)絡(luò)對二維納米材料的光學(xué)顯微圖像進(jìn)行特征提取。以二維材料MoS2的光學(xué)圖像識別為例，基于卷積神經(jīng)網(wǎng)絡(luò)算法演示了一種簡單，快速且可靠的二維納米片材料厚度識別方法，并通過遷移學(xué)習(xí)成功應(yīng)用到石墨烯納米材料的識別，表明基于人工智能的材料表征方法是一個強(qiáng)大的工具，為材料科學(xué)方面的基礎(chǔ)研究提供了新的途徑，有望促進(jìn)納米材料科學(xué)技術(shù)的發(fā)展。

1 實驗部分

1.1 光學(xué)顯微鏡圖像采集

為了使采集的光學(xué)圖像具有廣泛代表性，機(jī)械剝離制備的MoS2納米片轉(zhuǎn)移到不同襯底(90或300 nm SiO2/Si)上，同時在采集圖像的過程中使用不同的光照強(qiáng)度。利用CCD攝像機(jī)在100倍物鏡下采集了196張1 024×768像素大小的MoS2薄膜光學(xué)圖像，每張圖像包含有不同厚度的薄片，并利用原子力顯微鏡(AFM)測量了樣品的形貌和厚度。圖1中，(a)和(d)為MoS2納米片光學(xué)顯微圖像，(b)和(e)為對應(yīng)的AFM測量圖，(c)和(f)表示測得的MoS2納米片厚度，其值分別為2.3和4.8 nm。2.3和4.8 nm厚的MoS2膜, 對應(yīng)的層數(shù)分別為3層和7層。

圖1 MoS2樣品表征

1.2 圖像樣本集制作

由于采用有監(jiān)督的學(xué)習(xí)方法，需要預(yù)先對樣本進(jìn)行標(biāo)注，所用的標(biāo)注工具是MATLAB中的Image Labeler。通常二維材料的性能研究多集中在少于10層的薄層，因此將圖像中剝離下來的MoS2按層數(shù)標(biāo)記為三類，即1—5層(1—5 L)，6—10層(6—10 L)，和大于10層(>10 L)?？偣脖粯?biāo)記的光學(xué)圖像數(shù)量為196張，標(biāo)注后的部分代表性圖像如圖2所示，上排為MoS2光學(xué)顯微圖像，下排為對應(yīng)的標(biāo)簽圖。

圖2 按不同厚度范圍標(biāo)注的MoS2納米片部分標(biāo)簽圖

采集圖像過程中，由于使用了不同的襯底和不同的光照強(qiáng)度，因此首先必須對每一幅光學(xué)原圖進(jìn)行顏色校準(zhǔn)。顏色校準(zhǔn)的步驟為：首先將RGB圖像轉(zhuǎn)化為Lab圖像(L表示圖像亮度通道，a和b分別表示圖像兩個顏色通道)，然后進(jìn)行如式(1)—式(3)處理

(1)

a′=a-as

(2)

b′=b-bs

(3)

其中，Ls，as和bs分別代表圖像中襯底的相應(yīng)值，L′，a′ 和b′分別代表圖像處理之后的值。由于襯底在圖像中所占的像素數(shù)量超過50%，因此取圖像像素點的中位數(shù)作為相應(yīng)的Ls，as和bs的值，之后將Lab圖像轉(zhuǎn)為RGB圖。選取其中的80%作為訓(xùn)練數(shù)據(jù)集，剩余的20%作為測試數(shù)據(jù)集。校準(zhǔn)后的圖像和相應(yīng)的標(biāo)記圖經(jīng)過同樣的裁剪形成192×192大小的圖像，訓(xùn)練集675張，測試集239張。圖3為經(jīng)處理后的部分光學(xué)顯微圖像和對應(yīng)的標(biāo)簽圖。

圖3 處理后的光學(xué)圖像和對應(yīng)的標(biāo)簽圖

1.3 整體網(wǎng)絡(luò)設(shè)計

Long等[8]于2014年首次提出了全卷積神經(jīng)網(wǎng)絡(luò)FCN，提高了分割效率。2015年，U-Net[9]和SegNet[10]的誕生，標(biāo)志著編碼和解碼結(jié)構(gòu)成為語義分割網(wǎng)絡(luò)的主流，之后被廣泛應(yīng)用到了生物醫(yī)學(xué)圖像的分析中[11-12]，它們可以在較少的數(shù)據(jù)集上得到良好的分割效果。

設(shè)計的對稱式編解碼網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，將其記為2D-Net。輸入為192×192×3的可見光譜圖像，網(wǎng)絡(luò)結(jié)構(gòu)由編碼部分和對稱的解碼部分組成。網(wǎng)絡(luò)中使用了跳躍連接來融合不同層次的特征。利用1×1的卷積層對特征圖的通道尺度進(jìn)行壓縮，輸出大小為192×192×4的分割圖像，通過softmax分類器按像素進(jìn)行分類。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.3.1 編碼結(jié)構(gòu)

編碼部分由5個殘差卷積塊構(gòu)成主干網(wǎng)絡(luò)，將其分別記為B1，B2，B3，B4和B5，殘差卷積[13]有助于細(xì)節(jié)特征的提取。圖5為網(wǎng)絡(luò)中使用的殘差卷積塊，由兩部分構(gòu)成，一是由1×1的卷積層完成輸入到輸出的映射，另一個是由卷積層、激活層(ReLU)和批量標(biāo)準(zhǔn)化層(BN)組成的殘差部分，最后將兩部分的特征進(jìn)行求和。前4次下采樣為最大池化(Max pool)，最后一次下采樣為金字塔池化[14](Pyramid pool)。圖6為網(wǎng)絡(luò)中使用的金字塔池化結(jié)構(gòu)，4個窗口為12×12，6×6，4×4和2×2的平均池化層對特征圖進(jìn)行下采樣，利用1×1的卷積層分別進(jìn)行通道維度壓縮，變?yōu)樵瓉淼?/4，之后通過上采樣恢復(fù)到原輸入特征圖的尺寸大小。將輸入特征圖和這4個不同尺度上的特征圖在通道維度上進(jìn)行級聯(lián)，形成一個在尺寸上同輸入特征圖相同但通道維度上為其2倍的特征圖。B1到B5輸出特征圖依次記為[F1，F(xiàn)2，F(xiàn)3，F(xiàn)4，F(xiàn)5]。F2到F5特征圖的大小分別為原始輸入圖像的1/2，1/4，1/8，1/16。

圖5 殘差卷積塊結(jié)構(gòu)

圖6 金字塔池化模型結(jié)構(gòu)

1.3.2 解碼結(jié)構(gòu)

解碼部分由跳躍連接、上采樣層和殘差卷積塊構(gòu)成，通過橫向連接依次融合F4，F(xiàn)3，F(xiàn)2和F1的特征信息。解碼部分的殘差卷積塊與編碼中的相同。上采樣層用于恢復(fù)特征圖的尺寸大小。通常淺層網(wǎng)絡(luò)提取的特征主要包含了顏色信息和輪廓信息，這些信息對于圖像的識別效果起著重要的作用，因此在解碼時二次使用了編碼時提取的淺層語義特征信息。將解碼時上采樣后的特征圖與編碼中的淺層特征圖在通道維度上進(jìn)行級聯(lián)組合，如圖7所示。編解碼過程中各階段參數(shù)如表1所示。

圖7 淺層特征圖重用示意圖

表1 編解碼階段網(wǎng)絡(luò)參數(shù)

1.3.3 帶權(quán)重的損失函數(shù)

由于采集的數(shù)據(jù)集中類別數(shù)量不平衡，其中超過70%的像素點為背景類別，所以需要利用加權(quán)的交叉熵?fù)p失函數(shù)以提高數(shù)量少的類別的分割精度。帶權(quán)重的交叉熵?fù)p失函數(shù)表達(dá)式如式(4)

(4)

式(4)中，xi為輸入像素點i經(jīng)過softmax函數(shù)后得到的輸出值，yik為像素點i處的標(biāo)簽yi經(jīng)過獨熱碼編碼后在第k個類別處的標(biāo)簽值。經(jīng)過獨熱碼編碼后只有在真實標(biāo)簽位置處為1，其余位置處為0。K為標(biāo)簽種類數(shù)，N為像素點總數(shù)，wk表示訓(xùn)練數(shù)據(jù)中第k類的權(quán)重，其值為第k類樣本在訓(xùn)練數(shù)據(jù)集中的比率的倒數(shù)，即意味著樣本數(shù)量少的類別會獲得更大的權(quán)重。

2 結(jié)果與討論

2.1 網(wǎng)絡(luò)評價指標(biāo)

采用如下三種標(biāo)準(zhǔn)對搭建的網(wǎng)絡(luò)進(jìn)行評估：像素精度(pixel accuracy，PA)、平均像素精度(mean pixel accuracy，MPA)、均交并比(mean intersection over union，MIoU)[15]：

PA表示分類正確的像素數(shù)量與像素總數(shù)之間的比率

(5)

MPA表示對所有類別的像素精度求平均值

(6)

MIoU表示對所有類別的交并比求平均值

(7)

式(5)—式(7)中，nij表示實際為i類但是被預(yù)測為j類的像素數(shù)量，nc表示類別總數(shù)。

2.2 網(wǎng)絡(luò)訓(xùn)練及結(jié)果分析

深度學(xué)習(xí)的網(wǎng)絡(luò)中通常含有大量的參數(shù)，訓(xùn)練的樣本越多，得到的網(wǎng)絡(luò)模型魯棒性越好。為此，對前面裁剪后得到的小尺寸訓(xùn)練集圖像和標(biāo)簽圖同時逆時針旋轉(zhuǎn)(90°, 180°和270°)和翻折(水平、豎直)進(jìn)行數(shù)據(jù)增強(qiáng)。

為了測試2D-Net網(wǎng)絡(luò)結(jié)構(gòu)的分割性能，設(shè)置了四組對比實驗，將2D-Net網(wǎng)絡(luò)同F(xiàn)CN8、SegNet、U-Net等分割網(wǎng)絡(luò)進(jìn)行了比較。訓(xùn)練時迭代周期為50個，前25個周期學(xué)習(xí)率為0.001，后25個周期學(xué)習(xí)率為0.000 1。優(yōu)化方法采用SGD，批大小為5，初始化方式為隨機(jī)初始化。采用64位window 10操作系統(tǒng)，CPU型號為：Intel(R)Core(TM)i9-9900K CPU @3.60 GHz, 64.0 GB RAM；GPU型號為：NVIDIA Quadro RTX 4000 , 8 GB GDDR6。網(wǎng)絡(luò)的搭建、訓(xùn)練和測試都基于keras框架，詳細(xì)配置情況如下：Anaconda3+tensorflow-gpu2.2.0+Cuda10.1+Cudnn7.6

圖8為設(shè)計的2D-Net網(wǎng)絡(luò)在50個訓(xùn)練周期過程中的損失曲線和準(zhǔn)確率曲線圖，從圖中可以看出，經(jīng)過訓(xùn)練后的網(wǎng)絡(luò)基本收斂。

圖8 2D-Net網(wǎng)絡(luò)訓(xùn)練過程中的損失曲線和準(zhǔn)確率曲線圖

對四種網(wǎng)絡(luò)單獨訓(xùn)練結(jié)束后進(jìn)行測試，其結(jié)果如表2所示?？梢钥闯觯?D-Net網(wǎng)絡(luò)同其他網(wǎng)絡(luò)相比，在各項評價指標(biāo)上均有提升，分割效果更好。

表2 四種網(wǎng)絡(luò)結(jié)構(gòu)的測試結(jié)果

圖9為2D-Net網(wǎng)絡(luò)的測試結(jié)果的混淆矩陣。在混淆矩陣中，橫軸代表每個像素的真實類別，縱軸代表預(yù)測類別，對角線代表預(yù)測正確的像素比率，非對角線代表預(yù)測錯誤的像素比率。

圖9 測試結(jié)果的混淆矩陣

圖10展示了四種網(wǎng)絡(luò)結(jié)構(gòu)的部分預(yù)測結(jié)果。從左到右，每一列依次為輸入圖像、標(biāo)簽圖像、FCN8預(yù)測圖像、SegNet預(yù)測圖像、U-Net預(yù)測圖像和本工作設(shè)計的2D-Net預(yù)測圖像。和標(biāo)簽圖比較后發(fā)現(xiàn)，對于大塊剝離的材料薄膜或者對比度較明顯時，四種網(wǎng)絡(luò)均可以提取到對比度、顏色及分布情況等特征信息，預(yù)測較為準(zhǔn)確。其中FCN8分割的輪廓線條較其他網(wǎng)絡(luò)顯得稍粗糙。分類錯誤的情況主要發(fā)生在薄膜層數(shù)相近的一些低對比度區(qū)域，薄膜尺度小、破碎的部分以及文本標(biāo)記處或其他殘留物等區(qū)域。

圖10 四種網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測結(jié)果圖

對于低對比度區(qū)域，F(xiàn)CN8網(wǎng)絡(luò)的分割效果最差，同為編解碼結(jié)構(gòu)的SegNet和U-Net的分割效果有所提升，相比之下2D-Net網(wǎng)絡(luò)的識別效果最好。對于薄片破碎的部分，F(xiàn)CN8和SegNet未能分割出破碎輪廓線，U-Net和2D-Net有所改進(jìn)，但仍有區(qū)域粘連，對比之下可以觀察到2D-Net分割出的地方多于U-Net。在實際標(biāo)注過程中，文本標(biāo)記或其他殘留物這些非薄膜材料和襯底一起被標(biāo)記為背景類，但由于其數(shù)量較少且又同襯底之間有明顯的顏色差異，用于對比的其他三種網(wǎng)絡(luò)均未能很好地分辨出來，而2D-Net網(wǎng)絡(luò)對于這些部分的分割效果最佳。由此可以看出，2D-Net具有更好的抗干擾能力和較高的準(zhǔn)確性。

為了觀察網(wǎng)絡(luò)如何從圖像中提取相關(guān)特征，在將MoS2光學(xué)圖像作為輸入的情況下選取了編碼結(jié)構(gòu)中各個殘差卷積塊階段的特征圖進(jìn)行可視化觀察，以F2和F5的部分特征圖可視化結(jié)果進(jìn)行說明，如圖11所示。圖11(a)給出三組MoS2納米片輸入圖像和F2特征圖。由于F2是較淺層的特征圖，所以可以方便觀察網(wǎng)絡(luò)提取的相關(guān)特征。從圖中可以看出網(wǎng)絡(luò)除了能對顏色特征進(jìn)行提取外，還能檢測到更多的邊界特征，對MoS2薄片的輪廓、邊緣及線條進(jìn)行了特征提取。隨著深度的增加，由于網(wǎng)絡(luò)中的池化層作用，每個特征圖變得更小，每個卷積核的接受場(當(dāng)前層中每個神經(jīng)元可以響應(yīng)的區(qū)域)變得相對較大，且ReLU激活函數(shù)對特征進(jìn)行了非線性提取，這導(dǎo)致了對全局圖形特征的更高層次的抽象表示，如圖11(b)F5特征圖所示。

圖11 特征圖可視化輸出結(jié)果

為了檢驗2D-Net網(wǎng)絡(luò)對其他二維材料的普適性，通過遷移學(xué)習(xí)的方式將采用MoS2納米片訓(xùn)練的參數(shù)模型運用到石墨烯納米片識別。提供了剝離法制備的石墨烯光學(xué)圖片44張；首先對圖片進(jìn)行標(biāo)注，這里為了更加細(xì)致地區(qū)分層數(shù)，標(biāo)注了單層和雙層石墨烯，然后選30張作為訓(xùn)練集，14張作為測試集。之后進(jìn)行同樣的預(yù)處理和數(shù)據(jù)增強(qiáng)操作，形成900張訓(xùn)練集圖片和180張測試集圖片。迭代周期為100，前50個周期學(xué)習(xí)率為0.001，后50個周期學(xué)習(xí)率為0.000 1。

圖12為利用遷移學(xué)習(xí)方式得到的石墨烯圖片的部分預(yù)測結(jié)果和混淆矩陣，從光學(xué)圖像中可以看出單層和雙層石墨烯同襯底顏色相差不大，但是網(wǎng)絡(luò)也能對其進(jìn)行有效識別，在測試數(shù)據(jù)集上平均像素精度為91.37%，平均交并比為81.63%。通過對MoS2和石墨烯納米片層數(shù)識別的演示，表明了深度學(xué)習(xí)技術(shù)結(jié)合光學(xué)顯微鏡可實現(xiàn)對二維材料薄片厚度的有效表征，具有較高的精準(zhǔn)度且不受光學(xué)設(shè)置變化的影響，能夠滿足不同的用戶需求，可以進(jìn)一步促進(jìn)其相關(guān)性能的研究。

圖12 剝離石墨烯的遷移學(xué)習(xí)

3 結(jié) 論

利用卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計了一種編解碼結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)對二維材料光學(xué)顯微圖像的特征提取與分割。實驗結(jié)果表明，該網(wǎng)絡(luò)模型能夠通過光學(xué)顯微圖像有效識別二維材料薄片，具有較好的抗干擾能力和較高的準(zhǔn)確率。首先對于剝離的MoS2薄片的識別，模型像素精度為97.38%，平均像素精度為90.38%，均交并比為75.86%。其次，通過遷移學(xué)習(xí)的模型能夠很好地區(qū)分出單層和雙層石墨烯納米片，均交并比達(dá)到了81.63%，說明了該方法具有良好的可擴(kuò)展性。在后續(xù)的工作中將加入其他類型的二維材料和不同方式制備的薄膜樣本以及制作更加豐富的厚度類別數(shù)據(jù)集，使其廣泛地適用于二維材料領(lǐng)域的研究，同時利用深度學(xué)習(xí)的速度優(yōu)勢有望實現(xiàn)對二維材料薄片的光學(xué)原位圖像數(shù)據(jù)實時處理，將為研究二維材料的人員節(jié)省大量時間。本工作演示了深度學(xué)習(xí)在納米材料的光學(xué)顯微鏡圖像處理中擁有的廣闊應(yīng)用前景。