基于改進(jìn)U-Net的量子點STM圖像分割

王 陽, 丁 召, 宋家勇, 趙廣文, 邊歷峰, 楊 晨

(1. 貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院 半導(dǎo)體功率器件可靠性教育部工程研究中心, 貴陽550025; 2. 中國科學(xué)院 蘇州納米技術(shù)與納米仿生研究所 納米器件與應(yīng)用重點實驗室, 蘇州 215123)

1 引 言

量子點納米結(jié)構(gòu)具有獨特的光電特性，是新型光電材料研究的熱點[1]. 在量子點材料研究過程中，可通過掃描隧道顯微鏡(Scanning Tunneling Microscope, STM)圖像對量子點數(shù)量、縱橫比等表面特征進(jìn)行定性定量的分析，進(jìn)而實現(xiàn)量子點材料量子尺寸效應(yīng)、表面效應(yīng)等特性的評估[2-4]. 利用STM圖像識別量子點特征參數(shù)，需要對圖像進(jìn)行分割. 確定量子點像素坐標(biāo)，將其從復(fù)雜背景中分離[5]. 分割后的圖像由于量子點像素坐標(biāo)確定，有利于定性定量分析. 同時，沒有復(fù)雜背景的干擾有利于節(jié)約運算成本.

鑒于圖像分割對量子點定性定量分析的意義，諸多研究者在量子點STM圖像分割方面展開了研究. 經(jīng)典的STM圖像分割以閾值算法為主要代表[6, 7]. Tripathi等人利用Otsu分割算法結(jié)合高斯曲線擬合，實現(xiàn)對不同貴金屬亞單層修飾襯底表面STM圖像的分割，并將該算法成功用于襯底表面STM圖像中簇層的檢測[8]. 為了解決Otsu算法自動化閾值分割的盲目性，Ilya Valmianski等人在研究中嘗試使用手動閾值分割的方法對STM進(jìn)行分割，該方法采用預(yù)標(biāo)識手段對目標(biāo)區(qū)域進(jìn)行約束，以降低無關(guān)背景對目標(biāo)的干擾，可有效提升了STM圖像的分割質(zhì)量[9]. 2019年，Tang等人利用自適應(yīng)閾值分割對量子點及GaAs(001)襯底 STM圖像進(jìn)行分割，并取得了明顯優(yōu)于傳統(tǒng)閾值分割的結(jié)果，進(jìn)一步實現(xiàn)了STM圖像分割的自動化處理[10]. 2020年，Kevin Bui等人使用變分方法和經(jīng)驗小波算法對STM圖像進(jìn)行分割，并在以石墨烯等材料的STM圖像測試數(shù)據(jù)中，取得了優(yōu)于Otsu方法及K-mean方法的效果[11].

而基于深度學(xué)習(xí)網(wǎng)絡(luò)的圖像分割，具有分割精度高、面對復(fù)雜背景識別能力強等優(yōu)勢，近年來被大量應(yīng)用于顯微鏡圖像分割等領(lǐng)域. 在STM圖像特征提取方面，不少研究取得了顯著的成果. 2019年，Kamal Choudhary等人通過CNN網(wǎng)絡(luò)模型在STM圖像中識別出材料Bravais晶格[12]. 成功將其與背景分割，有效提升了STM圖像的識別精度. 2020年，Maxim Ziatdinov等人使用深度學(xué)習(xí)技術(shù)，通過STM圖像分析了H-Si(001)2×1表面原子和缺陷[13]. 克服了傳統(tǒng)閾值分割面對復(fù)雜背景分割能力弱的困難，對不同缺陷的識別率有顯著的提升.

可以看出，神經(jīng)網(wǎng)絡(luò)方法成為STM特征提取的研究熱點. 為進(jìn)一步拓展神經(jīng)網(wǎng)絡(luò)在STM圖像分割中的應(yīng)用，文章首先采用色彩通道權(quán)重灰度化方法對STM圖像進(jìn)行預(yù)處理，在實現(xiàn)數(shù)據(jù)降維的同時盡可能保留量子點信息. 其次，結(jié)合U-Net結(jié)構(gòu)特征引入過渡層對其進(jìn)行改進(jìn)，使得網(wǎng)絡(luò)更適合量子點圖像的分割. 然后，設(shè)計實驗對改進(jìn)網(wǎng)絡(luò)性能進(jìn)行檢測. 最后，將不同算法分割結(jié)果用于量子點STM圖像特征識別，根據(jù)特征識別結(jié)果檢驗分割精度.

2 算法設(shè)計

為了實現(xiàn)量子點的分割，對其STM圖像進(jìn)行處理，主要流程如圖1所示：

圖1 量子點特性參數(shù)分析主要流程Fig. 1 The main process of quantum dot characteristic parameter analysis

圖1為實現(xiàn)量子點STM圖像分割的主要流程. 主要包括圖像預(yù)處理、圖像分割及算法測試三個部分. 首先對圖像進(jìn)行灰度化處理，降低數(shù)據(jù)維度. 其次，利用降維后的圖像數(shù)據(jù)制作神經(jīng)網(wǎng)絡(luò)標(biāo)簽. 進(jìn)一步，改進(jìn)U-Net對其進(jìn)行分割. 最后將連通域統(tǒng)計、最小外接矩形標(biāo)識應(yīng)用于量子點數(shù)量、縱橫比的計算，并用于驗證不同算法圖像分割質(zhì)量.

2.1 圖像預(yù)處理

將原始圖像轉(zhuǎn)為PNG (Portable Network Graphics, PNG)格式，并縮放到512*512尺寸. STM圖像為RGB(Red Green Blue, RGB)色彩模式的偽彩色圖像，數(shù)據(jù)冗余度大. 為提升算法效率，在分割之前對圖像進(jìn)行灰度化處理，以節(jié)約運算成本. 為了降低數(shù)據(jù)降維帶來的信息丟失，采用一種改進(jìn)的灰度化方法對STM圖像進(jìn)行灰度化處理. 并利用灰度化后的圖像制作網(wǎng)絡(luò)標(biāo)簽數(shù)據(jù)集.

2.1.1灰度化

RBG圖像I(m,n,3)可視為由R(m,n)、G(m,n)、B(m,n)三個像素通道所組成. 對于偽彩色圖像，不同對象的色調(diào)不同，因而R、G、B三個通道所包含的圖像信息不同. 要保證分割質(zhì)量，灰度圖像中相同屬性像素區(qū)域灰度值應(yīng)當(dāng)盡可能相近，不同對象間灰度值差異應(yīng)盡可能大[14, 15]. 根據(jù)STM偽彩色圖像特點，采用一種權(quán)重賦值法對圖像進(jìn)行灰度化.

首先，定義圖片像素值總和為：

(1)

式(1)中T表示整張圖像各個像素點三個通道像素值累加和，定義各個分量相對整張圖像的占比為Ak(k=1, 2, 3)，則其滿足：

(2)

式(2)中Ak為不同分量相對整張圖像所占比重，當(dāng)k= 1、2、3時分別表示R、G、B分量在整張圖像的權(quán)重. 定義灰度圖像為IG(m,n)，對任意像素點，其灰度值滿足：

(3)

式(3)表示通過圖像R、G、B分量所占權(quán)重對像素進(jìn)行降維. 在偽彩色圖像中，權(quán)值較大通道下所包含的圖像信息更豐富，該方法有助于突顯包含圖像信息更多的通道像素值，降低數(shù)據(jù)降維帶來的信息損失.

2.1.2數(shù)據(jù)集制作

選取120張灰度化后的STM量子點圖像制作標(biāo)簽形成數(shù)據(jù)集. 標(biāo)簽制作中，采用人工方法對量子點像素區(qū)域進(jìn)行預(yù)標(biāo)記. 為進(jìn)一步提升標(biāo)簽精度，將預(yù)標(biāo)記圖像交由3名專業(yè)量子點材料研究人員進(jìn)行校正，綜合校正結(jié)果，對像素點歸類存在爭議的區(qū)域，選取研究人員標(biāo)記眾數(shù)對其進(jìn)行歸類. 標(biāo)簽及測試樣本如圖2所示：

圖2 數(shù)據(jù)樣本. (a)標(biāo)簽原圖；(b)訓(xùn)練樣本；(c)標(biāo)簽；(d)測試樣本Fig. 2 Data samples. (a) Original label; (b) Training sample; (c) Label; (d) Test sample

2.2 圖像分割

2.2.1 改進(jìn)U-Net分割算法

對量子點圖像進(jìn)行分割. 針對STM圖像中量子點尺寸及形態(tài)多變，邊緣像素與背景差距小的問題，本文采用改進(jìn)U-Net結(jié)構(gòu)實現(xiàn)其分割. 原始U-Net結(jié)構(gòu)由Ronneberger等人在2015年根據(jù)FCN結(jié)構(gòu)發(fā)展而來[16, 17]. 原始網(wǎng)絡(luò)結(jié)構(gòu)可理解為由編碼器和解碼器兩部分組成，編碼器部分通過3×3的卷積層和一個2×2的池化層向下提取特征. 解碼器部分則實現(xiàn)上采樣功能. 本文在原始網(wǎng)絡(luò)中引入過渡層，以期提升U-Net在量子點STM圖像分割上的精度，其結(jié)構(gòu)如圖3所示.

圖3 改進(jìn)U-Net結(jié)構(gòu)Fig. 3 Improved U-Net structure

由圖3可知，在經(jīng)典的U-Net結(jié)構(gòu)上做出了如下改動：首先，相對原始網(wǎng)絡(luò)，改進(jìn)網(wǎng)絡(luò)增加了中間過渡層. 該網(wǎng)絡(luò)對4.0、3.0、2.0層進(jìn)行上采樣，拼接并融合前層特征得到中間過渡層；其次，在過渡層中引入下采樣，將3.1、2.1、1.1等過渡層特征下采樣并分別與6.0、7.0、8.0層拼接，構(gòu)建出具有過渡層的U-Net網(wǎng)絡(luò)結(jié)構(gòu). 一方面，不同感受野的深度特征可以依靠過渡層向上傳遞. 另一方面，淺層特征也可進(jìn)一步向下傳遞，使得量子點邊緣像素特征得到增強，有助于分割. 改進(jìn)后的網(wǎng)絡(luò)各層信息利用更加全面，對邊緣像素辨識度更好.

3 實驗結(jié)果與討論

3.1 灰度化算法對分割精度的影響

對縮放后的STM圖像進(jìn)行灰度化處理，其效果如圖4所示. 可以看出改進(jìn)的RGB權(quán)值灰度化算法灰度圖像中量子點像素區(qū)域整體灰度值差異較小，灰度值層次明顯. 同時，細(xì)節(jié)信息更為豐富，量子點邊緣像素保存相對完整.

圖4 不同灰度化算法對比：(a)樣本原圖；(b)RGB權(quán)值；(c)rgb2gray；(d)均值；(e)最小值Fig. 4 Comparison of different grayscale algorithms: (a) Original picture of sample; (b) RGB weights; (c) rgb2gray; (d) Mean value; (e) Minimum value

進(jìn)一步，為測試灰度算法對分割的影響，利用Keras框架構(gòu)建了圖3所示改進(jìn)U-Net模型，并基于Tesla k40c GPU平臺進(jìn)行訓(xùn)練與驗證. 根據(jù)訓(xùn)練結(jié)果，構(gòu)建混淆矩陣. 統(tǒng)計模型將正例識別為正例、正例識別為負(fù)例、負(fù)例識別為正例、負(fù)例識別為負(fù)例等情況，計算出模型準(zhǔn)確率、召回率及F-meaure值. 從表1實驗結(jié)果可以看出，改進(jìn)灰度化算法下圖像分割評價指數(shù)相對高于rgb2gray、平均值及最小值等方法. 結(jié)合表1及圖4可以看出，由于改進(jìn)灰度化算法保留量子點邊緣區(qū)域像素更加完整，更有利于量子點邊緣像素的分割.

表1 不同灰度算法分割結(jié)果平均值

3.2 分割結(jié)果與分析

利用RGB權(quán)值灰度化后，將圖像送入原始與改進(jìn)U-Net模型進(jìn)行對比測試. 每次以3：2的比例隨機(jī)選取標(biāo)簽及測試數(shù)據(jù)進(jìn)行交叉測試，結(jié)果如圖5所示.

圖5 分割效果對比. (a) (d) (g) 樣本；(b) (e) (h) 分別為閾值、原始U-Net分割和改進(jìn)U-Net分割結(jié)果；(c) (f) (i) 疊加對比Fig. 5 Comparison of segmentation effects. (a) (d) (g) samples; (b) (e) (h) are threshold, original U-Net segmentation and improved U-Net segmentation results; (c) (f) (i) overlay comparison

圖5(a)背景較為復(fù)雜，存在大量深色溝壑，屬于背景較為復(fù)雜的量子點STM圖像. 其中量子點尺寸差異較大，邊緣像素值強度較低. 從圖5(b)、(c)可以觀察到傳統(tǒng)閾值分割算法分割精度較低，部分像素值較弱的量子點沒有被識別，邊緣像素分割粗糙，量子點間存在較為嚴(yán)重的像素重疊. 對比圖5(e)、(f)可以看出，采用原始U-Net網(wǎng)絡(luò)會提升分割精度，但仍然存在小尺寸量子點未能識別及量子點粘連現(xiàn)象. 而改進(jìn)后的U-Net(圖5(h)、(i))使分割質(zhì)量進(jìn)一步改善，其中小尺寸量子點區(qū)域的識別較為精確，且分割后量子點邊緣像素相對平滑，量子點間無明顯像素重疊.

統(tǒng)計8次交叉測試的結(jié)果如圖6所示. 可以看出，改進(jìn)網(wǎng)絡(luò)Precision平均值為97.79%，Recall平均值為93.92%，高于原始網(wǎng)絡(luò)的83.96%與91.76%. 表明改進(jìn)網(wǎng)絡(luò)擁有更高的像素分類正確率及量子點像素識別正確率. 此外，改進(jìn)網(wǎng)絡(luò)的兩者調(diào)和平均數(shù)F-measure為95.82%，高于原始網(wǎng)絡(luò)的87.69%. 因此，改進(jìn)U-Net分割方法相對于傳統(tǒng)分割方法，具有更高的邊緣像素分割精度.

圖6 交叉測試結(jié)果, “ i ”：改進(jìn)網(wǎng)絡(luò); “ o ”：原始網(wǎng)絡(luò)Fig. 6 Cross test results, " i ": improved network; " o ": original network

3.3 特征參數(shù)識別結(jié)果

為驗證分割結(jié)果對后續(xù)特征參數(shù)提取的影響，本文進(jìn)一步利用連通域統(tǒng)計算法與基于頂點鏈碼-離散格林理論的最小外接矩形標(biāo)識法對量子點數(shù)量、縱橫比進(jìn)行分析.

3.3.1數(shù)量統(tǒng)計

將不同分割算法處理后的二值圖像利用連通域算法進(jìn)行量子點數(shù)量統(tǒng)計[18]. 如前所述，改進(jìn)U-Net降低了量子點邊緣像素重疊，同時提升了小尺寸量子點識別精度，因此在表2所示的實驗結(jié)果中，改進(jìn)U-Net提供了更高的量子點數(shù)量識別精確度.

表2 量子點數(shù)量統(tǒng)計結(jié)果

3.3.2縱橫比計算

量子點縱橫比指量子點長軸與短軸比值. 在測試集分割結(jié)果中，針對標(biāo)簽、改進(jìn)U-Net、原始U-Net及閾值算法分割結(jié)果，分別利用頂點鏈碼結(jié)合離散格林理論對量子點做最小外接矩形標(biāo)記[19]. 標(biāo)記結(jié)果如圖7所示.

圖7 最小外接矩形標(biāo)記Fig. 7 The smallest circumscribed rectangle mark

通過對比標(biāo)簽與三種算法分割結(jié)果最小外接矩形標(biāo)識結(jié)果可以觀察到，改進(jìn)U-Net邊緣分割更加精確，因而量子點邊緣與標(biāo)簽契合度高，最小外接矩形更為接近. 圖8給出了不同分割方法計算所得長寬比相較于標(biāo)簽值的誤差，可以看出，改進(jìn)U-Net平均誤差為2.06%，原始U-Net為4.30%，Otsu算法為10.17%，說明改進(jìn)網(wǎng)絡(luò)的分割提升了量子點縱橫比的識別準(zhǔn)確度.

圖8 縱橫比誤差統(tǒng)計Fig. 8 Aspect ratio error statistics

4 結(jié) 論

為提升量子點STM圖像分割質(zhì)量，改進(jìn)U-Net算法對量子點STM圖像進(jìn)行分割. 首先，對量子點STM圖像進(jìn)行了預(yù)處理. 通過對不同灰度化算法降維后的數(shù)據(jù)進(jìn)行分割對比，改進(jìn)灰度化算法降維下量子點分割Precision、Recall、F-measure指數(shù)相對優(yōu)于rgb2gray、均值、最小值等算法. 其次，在U-Net網(wǎng)絡(luò)中引入過渡層，對量子點圖像進(jìn)行分割. 改進(jìn)后的網(wǎng)絡(luò)訓(xùn)練結(jié)果Precision、Recall、F-measure分別為99.85%、93.54%、94.05%，相對高于原始網(wǎng)絡(luò)結(jié)構(gòu)13.83%、2.16%、8.13%. 最后，對閾值算法、原始U-Net、改進(jìn)U-Net分割結(jié)果進(jìn)行量子點數(shù)量及縱橫比統(tǒng)計，改進(jìn)U-Net分割結(jié)果有效提升了小尺寸量子點識別能力，并降低了像素重疊現(xiàn)象. 量子點數(shù)量識別精度達(dá)到99.97%，縱橫比平均誤差為2.06%，對比原始U-Net及Otsu算法識別結(jié)果有所提升. 因此，改進(jìn)U-Net的量子點STM圖像分割是一種提高量子點特征識別精度的潛在手段.