基于YOLOv3 框架的高分辨電鏡圖像原子峰位置檢測(cè)*

南虎 麻曉晶 趙海博 湯少杰 劉衛(wèi)華王大威? 賈春林3)

1) (西安交通大學(xué)電子與信息學(xué)部微電子學(xué)院, 西安 710049)

2) (西安郵電大學(xué)自動(dòng)化學(xué)院, 西安 710121)

3) (Ernst Ruska-Centrum für Mikroskopie und Spektroskopie mit Elektronen (ER-C),Forschungszentrum Jülich GmbH, 52425 Jülich, Germany)

高分辨電鏡圖像中原子峰位置的檢測(cè)具有十分重要的現(xiàn)實(shí)意義, 通過精確定量化原子峰位置可以分析物質(zhì)在微觀尺度上的結(jié)構(gòu)形變、電極化矢量分布等重要信息.近年來深度學(xué)習(xí)技術(shù)在圖像目標(biāo)檢測(cè)領(lǐng)域取得了巨大突破, 這一技術(shù)可用在高分辨電鏡圖像處理上,因?yàn)樵游恢玫臋z測(cè)可以看作是一個(gè)目標(biāo)檢測(cè)問題.本文利用先進(jìn)的機(jī)器學(xué)習(xí)方法, 通過制作高質(zhì)量原子圖像樣本集, 使用YOLOv3 目標(biāo)識(shí)別框架對(duì)原子圖像進(jìn)行自動(dòng)檢測(cè), 達(dá)到預(yù)期效果, 實(shí)現(xiàn)了深度學(xué)習(xí)技術(shù)在高分辨電鏡圖像處理領(lǐng)域的應(yīng)用.該方法的運(yùn)用有望突破自動(dòng)處理動(dòng)態(tài)、大量電鏡圖片的瓶頸問題.

1 引 言

球差校正透射電子顯微鏡能夠?qū)崿F(xiàn)對(duì)材料微觀結(jié)構(gòu)在亞埃級(jí)別分辨率的直接成像, 使得對(duì)物質(zhì)中原子的占位和化學(xué)成分等的精確分析成為可能[1,2].例如, 利用球差校正掃描透射電鏡環(huán)形暗場(chǎng)像(ADF-STEM)模式, 實(shí)現(xiàn)了對(duì)硅(Si)[112]方向78 pm 間距原子對(duì)的直接成像[3]; 利用負(fù)球差成像條件得到的鈦酸鋇(BaTiO3)高分辨原子像, 通過精確定量對(duì)應(yīng)于每列原子柱的像素強(qiáng)度, 計(jì)算得到了氧原子空位分布情況[4]; 利用ADF-STEM 模式,實(shí)現(xiàn)了氮化鋁(AlN)量子阱結(jié)構(gòu)的直接原子分辨成像, 通過對(duì)高分辨像中氮-鋁對(duì)襯度分布的形貌分析, 確定了其局部電極化矢量的分布情況[5].此外, 球差校正掃描透射電鏡電子能量損失譜(EELS)技術(shù)可以在原子尺度對(duì)物質(zhì)的電子結(jié)構(gòu)、化學(xué)成份進(jìn)行分析[6,7], 例如對(duì)鑭鍶錳氧/鈦酸鍶(La0.7Sr0.3MnO3/SrTiO3)界面化學(xué)鍵狀態(tài)的確定[8].球差校正透射電鏡皮米級(jí)別的分辨率也使得對(duì)氧化物界面的精確分析成為可能[9,10], 例如利用球差校正高角環(huán)形暗場(chǎng)像(HAADF-STEM)和EELS技術(shù)對(duì)鈣鈦礦結(jié)構(gòu)氧化物鑭鋁氧(LaAlO3)和鈦酸鍶(SrTiO3)界面超導(dǎo)結(jié)構(gòu)原子尺度的表征和分析[11],高分辨電子顯微術(shù)正在極大推動(dòng)氧化物電子材料的發(fā)展.

高分辨電鏡圖像中原子峰位置的精確定量具有十分重要的現(xiàn)實(shí)意義.例如在負(fù)球差成像條件下, 通過精確測(cè)量鋯鈦酸鉛(PbZr0.2Ti0.8O3)薄膜中每個(gè)單胞內(nèi)鋯/鈦(Ti/Zr)原子柱與相鄰氧原子(O)柱的相對(duì)位移, 首次在皮米精度精確表征了鋯鈦酸鉛(PbZr0.2Ti0.8O3)薄膜中電極化矢量的連續(xù)渦旋狀翻轉(zhuǎn)分布[12].在鈦酸鉛/鈦酸鍶(PbTiO3/SrTiO3)外延多層薄膜中, 通過精確確定每個(gè)原子柱的位置, 揭示了PbTiO3/SrTiO3多層膜中納米拓?fù)淙毕莸男路f結(jié)構(gòu), 包括電偶極子波、偶極子向錯(cuò)和其他電偶極子拓?fù)淙毕輀13].而對(duì)利用球差校正掃描透射電鏡得到的鈦酸鉛(PbTiO3)薄膜高角環(huán)形暗場(chǎng)像(HAADF-STEM), 通過精確測(cè)量每個(gè)單胞中鈦離子(Ti4+)相對(duì)于相鄰4 個(gè)鉛離子(Pb2+)幾何中心的皮米精度的位移, 觀察到了鈦酸鉛(PbTiO3)薄膜中的通量全閉合疇結(jié)構(gòu)[14].利用球差校正掃描透射電鏡高角環(huán)形暗場(chǎng)像模式(HAADF-STEM), 對(duì)鈧酸鋱(TbScO3)襯底上鐵酸鉍(BiFeO3)薄膜進(jìn)行原子尺度的成像, 通過精確定量計(jì)算每個(gè)單胞中鐵(Fe)離子相對(duì)于相鄰4 個(gè)鉍(Bi)離子幾何中心的位移, 確定了鐵酸鉍(BiFeO3)薄膜中109°疇壁在界面處的極化矢量的渦旋狀分布情況[15].利用鈦酸鉛(PbTiO3)薄膜的(HAADF-STEM)像, 通過精確測(cè)量每個(gè)單胞中鈦/氧(Ti/O)原子峰相對(duì)于相鄰4 個(gè)鉛(Pb)原子峰幾何中心的位移, 確定了鈦酸鉛(PbTiO3)薄膜中的應(yīng)力分布情況[16].在鈦酸鍶/鈦酸鉛(SrTiO3/PbTiO3)外延多層薄膜中, 通過精確測(cè)量每個(gè)原子峰的實(shí)際位置, 確定了鈦酸鉛(PbTiO3)薄膜中每個(gè)單胞內(nèi)鈦離子(Ti4+)的相對(duì)位移, 進(jìn)而確定了薄膜中存在的通量閉合疇結(jié)構(gòu), 并且利用這些實(shí)空間的原子峰坐標(biāo)信息, 通過逐個(gè)單胞計(jì)算的方式確定了薄膜面內(nèi)及法線方向的應(yīng)力分布狀況以及面內(nèi)的晶格旋轉(zhuǎn)信息[17].在球差校正掃描透射環(huán)形明場(chǎng)像(ABF-STEM)成像模式下, 利用二維高斯函數(shù)擬合分別確定模擬像和實(shí)驗(yàn)像中原子峰的精確坐標(biāo)位置, 通過測(cè)量不同離子原子峰之間的相對(duì)位置, 分離了樣品傾轉(zhuǎn)和掃描畸變兩種因素的影響, 精確量化研究了樣品傾轉(zhuǎn)、樣品厚度、離焦量、會(huì)聚角等因素對(duì)原子成像位置的影響[18].使用原子分辨的積分差分相位襯度(iDPC)技術(shù), 在掃描透射成像模式(STEM)下成功實(shí)現(xiàn)了對(duì)鈦酸鉛(PbTiO3)薄膜中氧元素的成像, 利用二維高斯函數(shù)逐個(gè)擬合原子峰得到精確坐標(biāo), 確定了單個(gè)鐵電渦旋中的極化分布情況[19].利用掃描透射成像模式下的原位實(shí)驗(yàn)技術(shù), 通過精確定量原子位置, 確定了外力調(diào)控下鈦酸鉛(PbTiO3)薄膜中鐵電疇拓?fù)浣Y(jié)構(gòu)的變化情況[20].

上述的定量研究工作都是基于高分辨電鏡圖像中單個(gè)原子像的像素分布具有二維高斯分布的情況, 通過最小二乘法擬合將二維高斯分布的光斑中心，實(shí)現(xiàn)精確定位, 是精確測(cè)量原子位置的基礎(chǔ)[21].這一工作如果由人工處理將是一個(gè)非常耗時(shí)耗力的過程, 因此考慮到處理高分辨電鏡圖像所需要的巨大工作量, 特別是隨著實(shí)時(shí)高分辨電鏡圖像的逐漸增多, 利用計(jì)算機(jī)自動(dòng)處理電鏡圖像就顯得尤為重要.

在已經(jīng)發(fā)表的相關(guān)算法中, 可以通過設(shè)定兩個(gè)線性無關(guān)的基矢實(shí)現(xiàn)對(duì)原子峰位置的搜索, 并在實(shí)空間實(shí)現(xiàn)對(duì)晶格形變的直接可視化。 這個(gè)算法的優(yōu)點(diǎn)在于計(jì)算效率十分高, 不需要人為干預(yù), 可以處理大尺寸高分辨圖像, 缺點(diǎn)在于其對(duì)噪聲十分敏感, 且很難處理多元素復(fù)合晶格的情形, 需要提前對(duì)圖像進(jìn)行濾波和降噪處理, 魯棒性有待提升[22].另一種是自動(dòng)構(gòu)建布拉維格子的算法, 可獲得和前一算法類似的效果, 這種算法同樣具有計(jì)算效率很高的特點(diǎn), 而且初始參數(shù)設(shè)定的靈活性很大, 但是該算法只適用于單元素周期性晶格, 對(duì)于存在多元素復(fù)合晶格、晶體缺陷、大幅形變以及圖像局部襯度過低等情況的圖像很難適用[23].通過設(shè)定單胞的周期性數(shù)值分布形式, 迭代計(jì)算每個(gè)原子峰質(zhì)心位置直至收斂的方法來實(shí)現(xiàn)對(duì)原子峰位置的提取,其計(jì)算效率很高, 但是這種計(jì)算方法和上述兩種算法一樣, 提前預(yù)設(shè)了周期性的結(jié)構(gòu), 依然難以適用于晶體缺陷以及多元素復(fù)合晶格的情況, 且極易受到圖像噪聲的影響, 魯棒性不強(qiáng)[24].

上述幾種代表性的尋峰算法均可以達(dá)到亞像素級(jí)別的精度, 計(jì)算效率也很高, 但是受限于周期性的算法設(shè)定, 往往需要針對(duì)特定圖像做出人為干預(yù)以及參數(shù)調(diào)節(jié)措施, 在處理界面、位錯(cuò)、材料局部厚度變化引起的圖像襯度差異過大等情形時(shí)會(huì)出現(xiàn)困難.另一方面, 近年來以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺領(lǐng)域取得了令人矚目的進(jìn)展[25].這一方法在圖像像素層面對(duì)目標(biāo)的特征展開學(xué)習(xí), 能夠從低階像素特征上升到高階抽象特征, 不依賴于預(yù)設(shè)模型或者具體算法限制, 具有強(qiáng)大的自適應(yīng)性以及對(duì)噪聲、形變等的魯棒性[26].

高分辨電鏡圖像中原子峰位置的精確測(cè)量可以等效為單原子目標(biāo)檢測(cè)問題, 如果能夠使用深度學(xué)習(xí)技術(shù)對(duì)圖像中的原子峰進(jìn)行識(shí)別和檢測(cè), 然后對(duì)檢測(cè)到的目標(biāo)進(jìn)行二維高斯擬合, 就能實(shí)現(xiàn)原子峰位置的精確測(cè)量.目前, YOLOv3 網(wǎng)絡(luò)是性能領(lǐng)先的實(shí)時(shí)端到端目標(biāo)檢測(cè)框架, 其架構(gòu)特點(diǎn)為全卷積連接和多尺度檢測(cè), 具有精度高、速度快等優(yōu)勢(shì),尤其在小目標(biāo)檢測(cè)任務(wù)中表現(xiàn)十分優(yōu)異[27].而電鏡圖像的分析是計(jì)算密集型的, 且當(dāng)下電鏡圖像的產(chǎn)出數(shù)量十分巨大, 為了兼顧準(zhǔn)確性和高效率, 需要選定實(shí)時(shí)性和準(zhǔn)確性都較好的網(wǎng)絡(luò), YOLOv3網(wǎng)絡(luò)在相同的檢測(cè)精度下, 檢測(cè)速度明顯優(yōu)于其他幾種主流的目標(biāo)檢測(cè)網(wǎng)絡(luò)[27].根據(jù)這一思路, 本文利用YOLOv3 框架訓(xùn)練了一套能夠識(shí)別和檢測(cè)原子圖像的網(wǎng)絡(luò), 并且對(duì)訓(xùn)練效果進(jìn)行了測(cè)試.應(yīng)用這一網(wǎng)絡(luò)結(jié)合二維高斯擬合能夠完整地處理電鏡圖像中原子峰位置的定量化問題, 為動(dòng)態(tài)大規(guī)模電鏡圖像的處理提供了一個(gè)新方法, 突破了自動(dòng)化、快速處理大量高分辨電鏡圖像的瓶頸.

2 樣本集圖像的制作

機(jī)器學(xué)習(xí)檢測(cè)目標(biāo)成功的關(guān)鍵因素在于大規(guī)模高質(zhì)量樣本集的制作.本文處理了大量高分辨電鏡圖像, 制作了403 張416 × 416 大小的樣本圖像, 其中包括了透射電子顯微像(TEM)和掃描透射電子顯微像(STEM)兩種類型的圖像.選擇把樣本圖像制作為416 × 416 大小是因?yàn)閅OLOv3網(wǎng)絡(luò)會(huì)自動(dòng)將輸入圖像縮放為416 × 416 大小, 提前把樣本制作為416 × 416 大小的好處是輸入網(wǎng)絡(luò)的圖像是原始大小, 不會(huì)被網(wǎng)絡(luò)進(jìn)一步拉伸或者縮放太多以至于變形嚴(yán)重, 這樣有利于網(wǎng)絡(luò)對(duì)原子圖像本征特征的學(xué)習(xí).

在樣本的制作過程中, 對(duì)每一個(gè)樣本圖像, 使用labelImg 軟件[28]對(duì)每張圖像中的原子峰進(jìn)行標(biāo)記, 并生成對(duì)應(yīng)的xml 文件.由于每張高分辨電鏡圖像中原子峰的數(shù)量十分龐大, 一張高分辨像中待標(biāo)記的原子峰數(shù)目往往達(dá)到數(shù)千量級(jí), 而且樣本集本身的數(shù)量也十分巨大, 為了兼顧效率和質(zhì)量, 在標(biāo)記的過程中, 當(dāng)圖像中原子峰尺寸較大而利于標(biāo)記時(shí), 把其中所有的原子峰都完全標(biāo)記, 如圖1(a)、圖1(b)和圖1(d)所示, 但當(dāng)圖像中原子峰尺寸較小且數(shù)量十分龐大時(shí), 盡量做到標(biāo)記其中90%的原子峰, 如圖1(c)所示.

圖1 樣本圖像標(biāo)記示例 (a), (b), (d)包含大尺寸原子峰, 做到了100%標(biāo)記; (c)包含小尺寸原子峰, 做到90%左右的標(biāo)記.Fig.1.Sample images with the intensity peaks labeled.The images (a), (b) and (d) contain a relatively small number of atom peaks, which are all labeled.On the other hand, (c)has too many atom peaks, which are partially labeled(about 90%).

3 YOLOv3 網(wǎng)絡(luò)的訓(xùn)練

完成樣本集的標(biāo)記以后就可以部署網(wǎng)絡(luò), 并對(duì)其進(jìn)行訓(xùn)練.將403 張樣本集中的367 張圖像用于訓(xùn)練, 剩余的36 張圖像用于測(cè)試.訓(xùn)練設(shè)置如下,每個(gè)批次輸入網(wǎng)絡(luò)的圖像數(shù)量為64 張(batch =64); 每個(gè)批次設(shè)定16 個(gè)子批次, 即將每個(gè)批次的64 張圖像分為16 次輸入網(wǎng)絡(luò), 每次4 張, 以減輕顯卡內(nèi)存的壓力; 網(wǎng)絡(luò)的訓(xùn)練使用兩塊NVIDIA Tesla P100 PCIe 16 GB 顯卡完成.

通過預(yù)訓(xùn)練發(fā)現(xiàn), 網(wǎng)絡(luò)的誤差函數(shù)(loss)在迭代次數(shù)為500 次左右時(shí)就能實(shí)現(xiàn)收斂, 為此, 設(shè)定訓(xùn)練的最大迭代次數(shù)為3000.網(wǎng)絡(luò)的誤差函數(shù)和交并比(IOU)數(shù)值變化情況如圖2 所示, 誤差函數(shù)在500 批次前后達(dá)到極小值, 并一直到訓(xùn)練結(jié)束前保持穩(wěn)定, 交并比數(shù)值在500 批次前后收斂, 并一直呈緩慢震蕩上升趨勢(shì), 直至訓(xùn)練結(jié)束都沒有出現(xiàn)下降, 這說明網(wǎng)絡(luò)訓(xùn)練情況良好.通過檢查輸出文件發(fā)現(xiàn), 此輪訓(xùn)練一直到結(jié)束, 并沒有出現(xiàn)梯度劇烈震蕩的情形, 達(dá)到了對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的目的.因此, 可以使用此輪訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重參數(shù).

圖2 最大訓(xùn)練批次為3000 時(shí)網(wǎng)絡(luò)的訓(xùn)練情況 (a)網(wǎng)絡(luò)訓(xùn)練過程的誤差函數(shù), 在500 批次前后收斂, 直至訓(xùn)練結(jié)束一直保持穩(wěn)定; (b)網(wǎng)絡(luò)訓(xùn)練過程的交并比數(shù)值, 在500 批次前快速上升, 之后一直緩慢上升, 沒有下降趨勢(shì)Fig.2.The YOLOv3 training process with an epoch number of 3000: (a) The loss function converges after 500 epochs, which remains stable until the end of the training;(b) the IOU value increases quickly during the first 500 epochs, and then slowly increases until the end of the training.

4 YOLOv3 網(wǎng)絡(luò)的檢測(cè)效果

從YOLOv3 網(wǎng)絡(luò)的訓(xùn)練部分可以看到, 網(wǎng)絡(luò)訓(xùn)練結(jié)果收斂得很快, 可以將訓(xùn)練完成的網(wǎng)絡(luò)參數(shù)用于測(cè)試.訓(xùn)練過程在200, 400, 800 和3000 批次時(shí)分別輸出了權(quán)重參數(shù), 將這些參數(shù)文件用于目標(biāo)檢測(cè), 通過測(cè)試發(fā)現(xiàn)訓(xùn)練批次為800 的網(wǎng)絡(luò)檢測(cè)能力最強(qiáng).因而, 最終選用800 訓(xùn)練批次的網(wǎng)絡(luò)權(quán)重參數(shù)進(jìn)行檢測(cè).

YOLOv3 網(wǎng)絡(luò)檢測(cè)物體的默認(rèn)置信度閾值為0.25, 檢測(cè)中首先使用此置信度閾值對(duì)下面9 張高分辨電鏡圖像進(jìn)行測(cè)試, 測(cè)試采用了和訓(xùn)練樣本一樣大小(即416 × 416)的圖像作為檢測(cè)樣本.

測(cè)試結(jié)果如圖3 所示, 當(dāng)使用默認(rèn)的0.25 作為檢測(cè)置信度閾值時(shí), 有很多圖像中完全無法檢測(cè)到原子目標(biāo), 比如圖3(a)—(d)、圖3(f)和圖3(g),有些圖像只能檢測(cè)到部分原子, 比如圖3(i).只有圖3(e)和圖3(h)檢測(cè)到了大部分原子.

但是, 上述結(jié)果并不能說明YOLOv3 網(wǎng)絡(luò)對(duì)于高分辨電鏡照片無效.當(dāng)檢測(cè)置信度閾值被降為0.1 時(shí), 重新檢測(cè)上述圖像, 檢測(cè)結(jié)果如圖4 所示, 此條件下的網(wǎng)絡(luò)幾乎實(shí)現(xiàn)了對(duì)原子峰目標(biāo)的100%檢測(cè).YOLOv3 網(wǎng)絡(luò)在該條件下表現(xiàn)出了強(qiáng)大的檢測(cè)能力, 甚至將圖4(h)中處于最下面一行和最右面一列以及圖4(i)中最右面一列的半原子峰都檢測(cè)了出來.另外, 所有圖像的檢測(cè)速度都在7.3 s 上下, 具體檢測(cè)時(shí)間見圖4 圖題中的說明.這樣的檢測(cè)速度充分顯示了YOLOv3 網(wǎng)絡(luò)的實(shí)用性, 使得其能夠在后續(xù)的研究工作中應(yīng)用于大規(guī)模動(dòng)態(tài)高分辨電鏡圖像的量化處理.

圖3 設(shè)置置信度為0.25 時(shí)YOLOv3 網(wǎng)絡(luò)檢測(cè)結(jié)果Fig.3.The detection results obtained with a confidence threshold of 0.25.

圖4 設(shè)置置信度為0.1 的YOLOv3 網(wǎng)絡(luò)檢測(cè)結(jié)果, 各圖像的檢測(cè)時(shí)間如下: (a) 7.40 s; (b) 7.38 s; (c) 7.2 s; (d) 7.24 s; (e) 7.28 s;(f) 7.25 s; (g) 7.24 s; (h) 7.24 s; (i) 7.22 sFig.4.The detection results obtained with a confidence threshold of 0.1.The detection times for these images are: (a) 7.40 s; (b) 7.38 s;(c) 7.2 s; (d) 7.24 s; (e) 7.28 s; (f) 7.25 s; (g) 7.24 s; (h) 7.24 s; (i) 7.22 s.

圖5 (a), (b) 1024 × 1024 尺寸圖像檢測(cè)效果; (c) 512 × 512 尺寸晶格缺陷圖像檢測(cè)效果, 圖(a)—圖(c)檢測(cè)時(shí)間均在7.4 s 左右; (d), (e), (f)分別是(a), (b), (c)中原子目標(biāo)檢測(cè)框內(nèi)二維高斯擬合結(jié)果、單胞構(gòu)建效果以及B 位原子峰的擬合結(jié)果, 計(jì)算時(shí)間分別為27.32 s, 10.51 s, 20.52 sFig.5.(a), (b)The detection result of a 1024 × 1024 image; (c) the detection result of a 512 × 512 lattice distortion image.The detection time for each of them is about 7.4 s; (d), (e), (f) two-dimensional gauss fitting result within each detected window in(a), (b) and (c), constructed frames of unit cells, and fitting result of corresponding B site atom peaks.Computing times are 27.32 s,10.51 s, 20.52 s respectively.

更進(jìn)一步, 測(cè)試了YOLOv3 網(wǎng)絡(luò)對(duì)更大尺寸圖像的檢測(cè)能力, 使用0.05 作為置信度閾值, 檢測(cè)結(jié)果如圖5(a)—圖5(c)所示.從檢測(cè)結(jié)果可以看出, 訓(xùn)練好的YOLOv3 網(wǎng)絡(luò)在圖5(a)和圖5(b)這樣的1024 × 1024 以及圖5(c)這樣的512 × 512的大尺寸圖像上依然能夠準(zhǔn)確、全面地檢測(cè)到絕大部分原子峰, 充分說明了網(wǎng)絡(luò)檢測(cè)能力的魯棒性.更重要的是, 3 張大尺寸圖像的檢測(cè)時(shí)間依然保持在7.3 s 上下, 凸顯了YOLOv3 網(wǎng)絡(luò)檢測(cè)的速度優(yōu)勢(shì).其中圖5(c)存在比較明顯的樣品漂移現(xiàn)象, 且包含幾處明顯的晶格缺陷區(qū)域, 得益于神經(jīng)網(wǎng)絡(luò)從像素層面出發(fā)進(jìn)行目標(biāo)檢測(cè)的原理, 這種周期性的破缺對(duì)YOLOv3 的檢測(cè)沒有特別大的影響, 大部分原子峰依然能被準(zhǔn)確地檢測(cè)出來, 中間缺陷區(qū)域由于晶格畸變?cè)斐稍映上褚r度效果較差, 未被檢測(cè)出來.

在圖5(a)—圖5(c)中, 剩余未被檢測(cè)到的原子已經(jīng)極少, 可以通過手工的辦法進(jìn)行處理.值得注意的是, 通過將1024 × 1024 的圖像分割為416× 416 的圖像, 檢測(cè)精度還可以進(jìn)一步提高, 因而能夠?qū)崿F(xiàn)檢測(cè)過程的全自動(dòng)化.另外, 圖5(a)中有少量的原子被重復(fù)檢測(cè)了幾次, 這在大尺寸、含有很多小原子峰的照片中可能出現(xiàn), 主要是由于小原子峰之間距離靠得更近, 局部灰度形貌的微觀起伏更容易影響檢測(cè)精度, 另外, 這里設(shè)置的置信度較低, 可能引發(fā)誤檢測(cè)或者重復(fù)檢測(cè), 可以通過后期高斯擬合的方式, 把這些重疊的搜索框合并為一個(gè).

5 檢測(cè)結(jié)果的精確定量

將YOLOv3 檢測(cè)到的原子目標(biāo)框的中心坐標(biāo)以及寬和高輸出出來, 使用二維高斯函數(shù)對(duì)目標(biāo)框內(nèi)的像素?cái)?shù)據(jù)進(jìn)行最小二乘法擬合, 就可以得到所有強(qiáng)原子峰的精確坐標(biāo)位置.更進(jìn)一步, 利用這些擬合得到的強(qiáng)原子峰逐個(gè)構(gòu)建單胞, 以標(biāo)定較弱的B 位原子峰.這一過程本質(zhì)上是對(duì)已有的數(shù)據(jù)進(jìn)行重新整理的過程, 可以由不同的算法完成, 目前采用的算法具體過程如下, 對(duì)任意一個(gè)強(qiáng)原子峰p0, 設(shè)它為單胞的左上頂點(diǎn), 在所有其他強(qiáng)原子峰中搜索離它最近且兩者連線近似平行于水平方向的右側(cè)最近鄰原子p1, 搜索離它最近且兩者連線近似平行于豎直方向的下側(cè)最近鄰原子p2, 搜索離p2最近且兩者連線近似平行于水平方向的右側(cè)最近鄰原子p3, 則p0,p1,p2,p3構(gòu)成了一個(gè)單胞, 緊接著在單胞的幾何中心區(qū)域使用二維高斯函數(shù)進(jìn)行最小二乘法擬合, 得到B 位原子峰的精確坐標(biāo)位置, 如果需要可以在單胞內(nèi)的區(qū)域進(jìn)行搜索以確定較弱的B 位原子的位置.對(duì)YOLOv3 網(wǎng)絡(luò)檢測(cè)到的所有強(qiáng)原子峰遍歷上述過程, 即可得到所有原子的精確坐標(biāo)位置.

上述簡(jiǎn)單的計(jì)算過程中, 設(shè)定當(dāng)擬合成功時(shí)返回高斯峰的精確坐標(biāo)位置, 并標(biāo)記為紅色, 擬合失敗時(shí)返回取樣框的幾何中心位置并標(biāo)記為綠色.此外, 將每個(gè)單胞中的p0和p1連線,p0和p2連線,即將每個(gè)單胞的上側(cè)和左側(cè)框線可視化出來, 以這兩條框線代表一個(gè)完整單胞, 并隨機(jī)賦予每個(gè)單胞不同的顏色, 通過這種方式可以顯示單胞的構(gòu)建效果.使用此方法, 對(duì)圖5(a)—圖5(c)三張圖像進(jìn)行處理, 結(jié)果如圖5(d)—圖5(f)所示.可以看到, 所有目標(biāo)檢測(cè)框中的強(qiáng)原子峰都能很好地?cái)M合出來,相應(yīng)的單胞構(gòu)建效果和B 位原子峰檢測(cè)結(jié)果也都很好.圖5(f)中由于晶格缺陷區(qū)域的若干強(qiáng)原子峰未被YOLOv3 網(wǎng)絡(luò)檢測(cè)出來, 同時(shí)由于晶格缺陷導(dǎo)致的晶格畸變, 造成單胞構(gòu)建的失敗, 相應(yīng)的這些區(qū)域的B 位原子峰也未能被檢測(cè)出來.這說明對(duì)于復(fù)雜圖像, 在YOLOv3 識(shí)別出重要原子峰之后, 對(duì)原子峰坐標(biāo)位置數(shù)據(jù)進(jìn)行組織的程序需要在未來進(jìn)一步開發(fā).

6 結(jié) 論

本文對(duì)403 張高分辨電子顯微鏡圖像進(jìn)行了高質(zhì)量標(biāo)記, 形成了一個(gè)訓(xùn)練集, 并使用其中367 張圖像對(duì)YOLOv3 網(wǎng)絡(luò)進(jìn)行了訓(xùn)練.分析訓(xùn)練結(jié)果發(fā)現(xiàn), 迭代次數(shù)為500 批次左右即可使網(wǎng)絡(luò)達(dá)到收斂.使用訓(xùn)練完成的網(wǎng)絡(luò)對(duì)不同類型與尺寸的圖像進(jìn)行測(cè)試, 發(fā)現(xiàn)當(dāng)把置信度閾值設(shè)為0.1 的情況下網(wǎng)絡(luò)可有效檢測(cè)出各種尺度的高分辨電鏡圖像中的原子峰目標(biāo).

值得注意的是, 367 張圖像的訓(xùn)練集屬于典型的小規(guī)模樣本集, 而YOLOv3 網(wǎng)絡(luò)在如此小規(guī)模量級(jí)的訓(xùn)練集上表現(xiàn)優(yōu)異, 其在訓(xùn)練批次為500 左右時(shí)就已經(jīng)達(dá)到收斂, 并且給出十分優(yōu)異的檢測(cè)效果.這一現(xiàn)象的原因在于原子峰目標(biāo)圖像較為簡(jiǎn)單, 主要表現(xiàn)為一個(gè)近似為圓形圖像的目標(biāo), 神經(jīng)網(wǎng)絡(luò)能夠比較快速和準(zhǔn)確地學(xué)習(xí)并檢測(cè)到這些結(jié)構(gòu)特征.通過這一工作, 發(fā)現(xiàn)完全可以使用YOLOv3網(wǎng)絡(luò)對(duì)高分辨電鏡圖像中的原子峰進(jìn)行識(shí)別或檢測(cè), 而這一網(wǎng)絡(luò)的訓(xùn)練甚至可以通過小規(guī)模樣本完成.將這一技術(shù)與對(duì)原子峰的擬合[23]的程序進(jìn)行結(jié)合可以全面地實(shí)現(xiàn)對(duì)高分辨電鏡圖像的定量化.

在規(guī)則的周期性點(diǎn)陣圖像檢測(cè)任務(wù)中, 將YOLOv3 網(wǎng)絡(luò)同數(shù)據(jù)處理方法相結(jié)合, 能夠?qū)崿F(xiàn)和文獻(xiàn)[23]中的工作相似的精度和速度, 兩者差距不大, 如圖5(d)和圖5(e)所示.YOLOv3的優(yōu)勢(shì)在于對(duì)缺陷非周期性圖像的檢測(cè)能力上, 得益于神經(jīng)網(wǎng)絡(luò)基于像素特征進(jìn)行檢測(cè)的原理, 其不依賴于原子點(diǎn)陣的周期性限定.在對(duì)如圖5(f)所示缺陷圖像的檢測(cè)任務(wù)中, YOLOv3 網(wǎng)絡(luò)要顯著優(yōu)于文獻(xiàn)[23]等基于周期性假定算法的檢測(cè)能力, 即使YOLOv3網(wǎng)絡(luò)不能檢測(cè)出缺陷區(qū)域比較彌散的原子峰, 也不影響它對(duì)周圍原子峰的檢測(cè).事實(shí)上, 基于原子點(diǎn)陣規(guī)則周期性排列的算法在有大范圍缺陷的圖像中很難有效工作, 這些缺陷區(qū)域可能會(huì)造成算法搜索過程失敗, 導(dǎo)致算法中斷, 往往需要人為干預(yù)才能繼續(xù)進(jìn)行后續(xù)原子點(diǎn)陣的搜索[22].

值得注意的是, 測(cè)試發(fā)現(xiàn)對(duì)圖像的檢測(cè)時(shí)間大約在7 s 左右, 顯示出利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理的速度優(yōu)勢(shì).檢測(cè)的速度優(yōu)勢(shì)使YOLOv3框架有望應(yīng)用于后續(xù)大規(guī)模、動(dòng)態(tài)高分辨電鏡圖像處理領(lǐng)域, 例如實(shí)現(xiàn)對(duì)原位圖像數(shù)據(jù)的實(shí)時(shí)處理.本文的工作充分展示了機(jī)器學(xué)習(xí)方法在高分辨電鏡圖像處理領(lǐng)域的廣闊應(yīng)用前景.