基于深度學習的巖石薄片礦物自動識別方法

徐圣嘉，蘇程*，朱孔陽，章孝燦

（1.浙江大學 地理與空間信息研究所，浙江 杭州 310027；2.浙江大學 地質(zhì)研究所，浙江 杭州 310027）

0 引言

礦物識別是巖石分類定名的重要依據(jù)，也是了解巖石成因機理、物質(zhì)運移、演化歷史的基礎(chǔ)，在采礦學、巖石學、火山學等地質(zhì)學科領(lǐng)域中發(fā)揮了極為重要的作用［1-5］。通常，先將巖石磨制成薄片，再由專業(yè)人員在單偏光和正交偏光下從不同的角度觀察待識別礦物的顏色、紋理、消光角、形狀等特征［6-8］，獲取礦物信息，效率較低且受制于專家經(jīng)驗。除光學顯微鏡法，X 射線衍射（XRD）、掃描電鏡-能量色散X 射線光譜儀（SEM-EDX）、QEMSCAN、MLA、電子探針、拉曼光譜等分析方法也能對巖石樣品的礦物成分進行較準確的定量分析［9-16］，但價格昂貴，人工成本和時間成本高，僅適用于樣品數(shù)較少的情況［17-19］。近年來，隨著深度學習在數(shù)字圖像處理領(lǐng)域的發(fā)展，利用計算機對巖石薄片圖像上的礦物進行快速自動識別成為可能［20］。礦物自動識別可有效提高巖石學基礎(chǔ)研究工作的效率，避免受鑒定專家主觀因素的影響，對“大數(shù)據(jù)+人工智能”范式在巖石學領(lǐng)域的應(yīng)用起支撐與推動作用。

目前，已有很多針對巖石薄片圖像的礦物自動識別研究。最常見的方法是先依靠人工干預提取礦物特征，再通過圖像算法進行特征學習，建立礦物識別模型，從而實現(xiàn)對礦物的自動識別?？傮w而言，識別方法經(jīng)歷了由依靠單一顏色特征進行識別到依靠顏色、紋理、亮度等多種特征協(xié)同識別的轉(zhuǎn)變。例如，MARSCHALLINGE［21］根據(jù)礦物圖像的三原色（RGB）特征，采用最大似然分類法識別了4 種礦物。THOMPSON等［22］基于色調(diào)-飽和度-強度（huesaturation-instensity，HSI）顏色空間，采用人工神經(jīng)網(wǎng)絡(luò)（ANN）法對10 種礦物進行了識別。BAYKAN等［23］通過對比礦物在RGB、色調(diào)-飽和度-高度（HSV）和CIELab 3 種顏色空間下的識別效果，提出了一種基于RGB 和HSV 顏色分量的ANN 方法，并對礦物進行了分類［24］。然而，對某些礦物而言，僅憑顏色特征較難區(qū)分［18，25］，因此，后續(xù)研究又進一步加入了礦物的紋理特征以提高識別精度［26］。例如IZADI等［27］基于顏色、紋理特征，提出了一種2個ANN 級聯(lián)的礦物識別方法，取得了可靠結(jié)果。PEREIRA等［28］基于顏色、紋理特征，通過最近鄰算法和決策樹算法實現(xiàn)了礦物識別。之后，為提高識別精度，又加入了更多的圖像特征。例如MAITRE等［29］依據(jù)顏色、紋理以及亮度特征，對比了3 種機器學習算法對砂粒樣本中礦物顆粒的識別效果。RUBO等［30］從離散卷積濾波器中提取了75 種卷積特征，結(jié)合5 種非卷積特征，采用ANN 和隨機森林方法對碳酸鹽薄片進行了礦物及孔洞的識別。

近年來，以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）為代表的深度學習方法得到了迅速發(fā)展，在數(shù)字圖像處理領(lǐng)域顯示了巨大優(yōu)勢［31］。CNN 方法無需人工干預，能從圖像中自動捕獲大量特征，并通過多層卷積運算在極大的感受野中累積豐富的上下文信息，非常適合圖像特征的學習與表達［32］。目前，深度學習方法已成功應(yīng)用于數(shù)字巖相學相關(guān)研究，如巖石分類和礦物識別，且取得了較傳統(tǒng)圖像算法更準確的結(jié)果［33-34］。SU等［35］提出了一種根據(jù)巖石薄片圖像對巖性進行分類的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Con-CNN），取得了良好效果，總體精度達89.97%。此外，也有不少對CNN 在礦物識別應(yīng)用方面的探索，涵蓋了不同尺度的礦物圖像識別，即以手標本圖像為代表的宏觀尺度的礦物識別［17，33，36-37］和以巖石薄片顯微圖像為代表的微觀尺度的礦物識別［34，38-43］。宏觀尺度的礦物識別通常用于解決多種礦物圖像間的分類問題。例如，彭偉航等［36］基于Inception V3 模型，引入中心損失函數(shù)作為限制模型的收斂條件，實現(xiàn)了對16 類常見手標本礦物圖像的識別。OKADA等［37］則用高光譜相機拍攝了礦物圖像，設(shè)計了一個CNN 以區(qū)分黃銅礦、方鉛礦和赤鐵礦，并對3 種不同粒度的赤鐵礦進行了分類。微觀尺度的礦物識別既有針對某種礦物的精細化提取，又有針對多種礦物的識別。例如，CHEN等［38］采用帶有修正權(quán)重函數(shù)的U-Net 架構(gòu)，解決了將頁巖薄片背散射圖像中的黏土復合體從礦物基質(zhì)中分離的問題，因為兩者的灰度級相似，無法用傳統(tǒng)的圖像閾值算法分離。郭艷軍等［40］用ResNet-18 研究了5 種常見礦物對巖石薄片單偏光圖像的識別。KOESHIDAYATULLAH等［41］研究了基于深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks，DCNN）耦合的圖像分類和目標識別任務(wù)，能同時定位和識別多個碳酸鹽巖薄片圖像中的6～9 種礦物顆粒、基質(zhì)及膠結(jié)物。

已有研究表明，CNN 方法在巖石薄片圖像礦物自動識別中顯示了巨大的潛力和優(yōu)勢，但仍面臨諸多挑戰(zhàn)。其一，自然界中礦物的呈現(xiàn)形態(tài)復雜多樣，圖像的形狀、大小、顏色、紋理等特征變化較多；其二，礦物在不同光性下的特征并未被充分、綜合利用?；诖耍疚奶岢鲆环N用于礦物自動識別的巖石薄片圖像深度學習方法。通過構(gòu)建基于CNN的語義分割網(wǎng)絡(luò)，自動提取礦物的多尺度復雜特征和語義信息，分別將礦物的單偏光圖像和正交偏光圖像用于礦物識別建模。通過融合不同光性圖像，獲取更準確的識別結(jié)果。對南京大學巖石教學薄片顯微圖像數(shù)據(jù)集的測試結(jié)果表明，本文方法的總體精度為86.7%，Kappa 系數(shù)為0.818。對比實驗結(jié)果表明，本文方法的礦物識別精度及效率更高。

1 數(shù)據(jù)集

巖石薄片圖像來自南京大學巖石教學樣品顯微圖像數(shù)據(jù)集［44］，包含28 種沉積巖、40 種火成巖、40 種變質(zhì)巖的單偏光圖像及正交偏光圖像，每幅圖像的尺寸為1 280 像素×1 024 像素。巖石樣品主要來自我國境內(nèi)，于1970—2019 年間采集，后被制作成薄片，巖石薄片偏光顯微照片分別于2014 年和2019 年拍攝。

由于火成巖數(shù)據(jù)基本涵蓋了常見的造巖礦物，這不僅是巖石分類命名的重要依據(jù)，也是理解巖石的化學成分、成因和成礦作用的基礎(chǔ)。因此，將火成巖薄片在0°拍攝的透射單偏光圖像及透射正交偏光圖像分別作為訓練樣本和測試樣本，巖石薄片包括石英閃長巖、花崗閃長巖、花崗巖、石英二長巖及黑云母花崗巖等。

通過人工鏡下鑒定對數(shù)據(jù)集中的部分圖像進行礦物標注，將其作為深度學習網(wǎng)絡(luò)的訓練樣本。共標注石英、斜長石、堿性長石、角閃石、黑云母、綠泥石、不透明礦物、孔洞和其他等9 類礦物。為方便使用深度學習網(wǎng)絡(luò)，將標注完成的礦物標簽圖像及其對應(yīng)的單偏光和正交偏光圖像統(tǒng)一裁剪為512 像素×512 像素的子圖，最終構(gòu)建了330 組（單偏光+正交偏光+標簽圖）數(shù)據(jù)。

2 礦物識別方法

由于礦物圖像特征復雜多變，為在識別過程中充分地提取特征，提出一種巖石薄片圖像礦物自動識別方法。如圖1 所示，該方法的結(jié)構(gòu)主要分為兩部分：（1）構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)，通過多層深度卷積運算自動挖掘和提取圖像的低層與高層特征，在保持圖像原拓撲位置關(guān)系不變的前提下學習礦物的大量特征，最終以圖像語義分割方式獲取巖石薄片圖像的像素級礦物識別結(jié)果；（2）基于礦物的單偏光特征和正交偏光特征是區(qū)分礦物種類的重要依據(jù)，人工鑒定需結(jié)合不同光性特征進行判斷，因此，分別針對單偏光圖像和正交偏光圖像訓練語義分割網(wǎng)絡(luò)，在此基礎(chǔ)上使用軟投票法進行圖像融合，綜合利用不同光性圖像特征，獲取更準確的識別結(jié)果。

圖1 基于深度學習的礦物自動識別方法結(jié)構(gòu)Fig.1 The structure of automatic mineral identification method based on the deep learning

2.1 基于CNN的礦物顆粒語義分割

礦物顆粒語義分割網(wǎng)絡(luò)整體遵循DeepLabV3+［45］網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示。該網(wǎng)絡(luò)結(jié)構(gòu)為編碼器-解碼器結(jié)構(gòu)，首先在編碼器中提取圖像的多尺度語義特征，然后在解碼器中重構(gòu)多尺度語義特征的空間信息，使得網(wǎng)絡(luò)輸出的預測圖像的空間分辨率與原始輸入圖像的相同。

圖2 語義分割網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of the semantic segmentation network

網(wǎng)絡(luò)輸入數(shù)據(jù)是單偏光圖像或正交偏光圖像（一種偏光圖像訓練一個網(wǎng)絡(luò)模型），在編碼器中由主干網(wǎng)絡(luò)進行初步特征提取。主干網(wǎng)絡(luò)選取ResNet-101［46］的前5個卷積模塊，除第1個模塊是7×7的卷積層外，其余4個模塊均由不同個數(shù)的殘差瓶頸結(jié)構(gòu)堆疊而成，如表1 所示。對殘差的學習能避免網(wǎng)絡(luò)在層數(shù)深度堆疊的情況下出現(xiàn)梯度消失和梯度爆炸的現(xiàn)象，有利于網(wǎng)絡(luò)更充分地提取圖像中的局部細節(jié)特征。

表1 主干網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Structure of the backbone

然而，僅通過局部細節(jié)特征識別礦物是不夠的。通常，自然圖像上的礦物特征具有較強的隨機性，需通過更深層次的語義抽象進一步描述其特征。為此，在主干網(wǎng)絡(luò)后，加入空洞空間金字塔池化（ASPP）［47］模塊，以提取更多具有統(tǒng)計性的深層次語義信息。ASPP 用空洞卷積替代傳統(tǒng)卷積，卷積核可在不增加參數(shù)與模型復雜度的條件下指數(shù)級地擴大感受野，從而避免犧牲太多圖像中的空間分辨率，這意味著空洞卷積可在任意分辨率的圖像上高效地提取密集特征。在此基礎(chǔ)上，ASPP 采用4個并行的不同膨脹率的空洞卷積，分別為1個1×1的卷積和3個3×3的卷積（膨脹率分別為6，12，18），再對其做全局平均池化和卷積融合，從而獲得大范圍、多尺度的語義信息。

通常，通過ASPP 提取的特征信息較抽象，且通道數(shù)非常大，缺乏包含圖像邊緣特征的局部細節(jié)信息，因此在輸入網(wǎng)絡(luò)解碼器時，需先經(jīng)過1個1×1的卷積層以降低通道數(shù)，然后融合由主干網(wǎng)絡(luò)提取得到的圖像低層特征，補充欠缺的局部細節(jié)信息。對于融合后的特征圖，使用3×3的卷積降低特征通道維數(shù)，通過雙線性插值上采樣將其恢復至與輸入圖像大小相同的礦物語義分割結(jié)果。該結(jié)果實際上是一組多通道的礦物類別歸屬概率圖，通道數(shù)等于可識別的礦物類別數(shù)，每個通道上圖像的像素表示該像素從屬于某礦物類別的概率。

2.2 單偏光與正交偏光語義分割結(jié)果融合

為有效融合不同光性特征，得到更準確的礦物識別結(jié)果，使用軟投票法處理由單偏光圖像與正交偏光圖像得到的像素級礦物識別結(jié)果。軟投票法允許從匯總的多個加權(quán)分類器的預測概率中取概率最高的類別作為模型最終的預測結(jié)果。對于經(jīng)過軟投票法融合的礦物預測圖像的每個像素j，其所屬的礦物類別Cj為

其中，WPPL，WXPL=1?WPPL分別表示由單偏光圖像和正交偏光圖像訓練得到的礦物識別模型的權(quán)重，其最佳取值可由實驗獲得；PPPL，PXPL分別表示由單偏光模型和正交偏光模型預測得到的該位置的像素從屬于每個礦物類別的概率。將2 組加權(quán)后的概率分別相加，取概率最高的礦物類別作為融合后的類別。

3 對比實驗與討論

設(shè)計2 組對比實驗：（1）對比深度學習與傳統(tǒng)圖像分類法最大似然法的識別精度差異，以驗證深度學習方法在解決復雜問題方面的優(yōu)勢。（2）對比單個偏光的深度學習模型與融合軟投票法模型的識別精度差異，以驗證模型融合的提升作用。

采用PyTorch［48］深度學習框架，將數(shù)據(jù)集按7∶1∶2 劃分為訓練集、驗證集、測試集，采用平移、旋轉(zhuǎn)、縮放等組合方式對訓練集進行5 倍的數(shù)據(jù)擴增，使網(wǎng)絡(luò)能充分學習各類礦物的特征，避免產(chǎn)生過擬合現(xiàn)象。最終得到2個網(wǎng)絡(luò)，即單偏光圖像的語義分割網(wǎng)絡(luò)和正交偏光圖像的語義分割網(wǎng)絡(luò)。在訓練過程中，2個網(wǎng)絡(luò)均使用相同的超參數(shù)，即基礎(chǔ)學習率為0.000 01，梯度優(yōu)化算法為Adam，權(quán)重衰減項為0.000 1，訓練次數(shù)為100個epoch，每迭代5個epoch 對訓練結(jié)果進行一次驗證。最大似然法使用ENVI 圖像處理軟件，其訓練樣本和測試圖像與本文方法相同。

采用像素級驗證方法，在隨機挑選的測試集切片圖像中隨機選取4 萬個像素點（約為每幅圖總像素的15%），將其作為驗證樣本，用于計算混淆矩陣與分類指標。

3.1 深度學習與最大似然法對比

用混淆矩陣、總體精度（overall accuracy，OA）、Kappa 系數(shù)等指標衡量兩種方法對單偏光圖像和正交偏光圖像的礦物識別精度。這些指標是圖像分類與目標識別領(lǐng)域的主要驗證指標，用以指示分類器的表現(xiàn)。其中，混淆矩陣可詳細地反映分類模型的性能，其中，列表示預測類別，行表示真實類別。通過混淆矩陣，能清楚地看到各礦物像元被正確分類的個數(shù)以及被誤分的類別和個數(shù)。矩陣對角線上的數(shù)值越高，說明模型給出的正確像元數(shù)越多。在混淆矩陣的基礎(chǔ)上，進一步計算得到模型的OA 和Kappa 系數(shù)。OA 反映的是被正確分類的像元數(shù)之和占總像元數(shù)的比例，僅統(tǒng)計混淆矩陣對角線方向上被正確分類的像元數(shù)。Kappa 系數(shù)同時考慮對角線方向被正確分類的像元以及對角線之外的各種誤分、漏分像元，更具綜合評價意義。通常，Kappa 系數(shù)大于0.8 表明模型具有很好的性能。

基于深度學習得到的單偏光網(wǎng)絡(luò)模型與正交偏光網(wǎng)絡(luò)模型的混淆矩陣如圖3 所示?；谧畲笏迫环ǖ玫降膯纹夥诸惸Ｐ团c正交偏光分類模型的混淆矩陣如圖4 所示。為便于標準化衡量，將混淆矩陣中的像元數(shù)比例轉(zhuǎn)化為0～1。

根據(jù)4個混淆矩陣，分別計算得到其OA 和Kappa 系數(shù)，如表2 所示。由表2知，對于單偏光模型，深度學習方法的OA 較最大似然法的提高了22.1%，Kappa 系數(shù)提高了26.3%；對于正交偏光模型，深度學習方法的OA 較最大似然法的提高了29.3%，Kappa 系數(shù)提高了36.3%。結(jié)合圖3 和圖4，可知深度學習方法不管是對混淆矩陣中多種礦物的識別精度，還是對模型整體的識別精度均優(yōu)于最大似然法。說明深度學習方法在礦物識別上具有更強的應(yīng)對能力，可以取得更好的識別結(jié)果。

圖3 基于深度學習得到的單、正交偏光網(wǎng)絡(luò)模型混淆矩陣Fig.3 Confusion matrix of the plane and cross polarized light model generated by deep learning method

圖4 基于最大似然法得到的單、正交偏光分類模型混淆矩陣Fig.4 Confusion matrix of the plane and cross polarized light model generated by maximum likelihood

3.2 單偏光與正交偏光融合對比

為獲得不同光性圖像的礦物識別融合模型，首先需對融合模型中單偏光模型和正交偏光模型的權(quán)重進行實驗，以獲取最佳占比。為此，取0.1 為步長，統(tǒng)計單偏光模型權(quán)重在0.1～0.9 變化時，融合模型的識別精度變化趨勢，如圖5 所示。由圖5知，隨著單偏光模型權(quán)重的增加，融合模型的精度呈先升高后下降的趨勢。當單偏光模型權(quán)重為0.4，正交偏光模型權(quán)重為0.6時，融合模型的精度最高。該結(jié)果較合理且具可解釋性，結(jié)合表2，基于深度學習得到的正交偏光模型的OA 和Kappa 系數(shù)均高于單偏光模型的OA 和Kappa 系數(shù)，故正交偏光模型權(quán)重占比相對較大。

圖5 OA，Kappa 系數(shù)與單偏光模型權(quán)重間的關(guān)系Fig.5 OA and Kappa coefficient of the plane polarized light model with different weights

表2 本文深度學習方法與最大似然法的精度對比Table 2 Comparison of the accuracy between deep learning method and maximum likelihood

取單偏光模型權(quán)重為0.4，正交偏光模型權(quán)重為0.6，計算得到融合模型的混淆矩陣如圖6 所示。然后計算得到融合模型的OA 和Kappa 系數(shù)，如表3 所示?？芍?，融合模型的OA 較單偏光模型的提高了11.3%，較正交偏光模型的提高了6.1%；融合模型的Kappa 系數(shù)較單偏光模型的提高了15.6%，較正交偏光模型的提高了7.8%，表明融合模型能進一步提高識別精度。

圖6 融合模型的混淆矩陣Fig.6 Confusion matrix of the fused model

表3 不同模型的精度對比Table 3 Comparison of the accuracy among different models

為更直觀地體現(xiàn)融合模型的礦物識別效果，以火16花崗閃長巖圖像的礦物識別為例，對結(jié)果進行可視化展示，如圖7 所示。由圖7（c）和（d）可知，融合模型的礦物識別結(jié)果與人工標注結(jié)果具有較好的一致性。預測得到的礦物類別和礦物圖斑形狀與人工標注結(jié)果基本吻合，例如紅框A 中的石英、斜長石、堿性長石、角閃石、不透明礦物、孔洞等均得到較準確的識別，說明本文模型能對這些礦物進行良好的區(qū)分。值得注意的是，部分識別結(jié)果與實際不符，例如紅框B中，部分角閃石被錯分為黑云母。這可能是因為角閃石與黑云母在薄片圖像上較相似，二者在單偏光下均偏黃綠色，在正交偏光下的干涉色重合較多，且角閃石圖像上的局部紋理、形狀等特征不明顯，與黑云母產(chǎn)生了一定的混淆，導致模型做出錯誤判斷。

圖7 火16 花崗閃長巖單、正交偏光圖像及礦物識別結(jié)果Fig.7 Display of Huo16 the granodiorite mineral identification result

4 結(jié)論

提出了一種基于深度學習的巖石薄片礦物自動識別方法，通過構(gòu)建語義分割網(wǎng)絡(luò)自動學習與提取巖石薄片圖像礦物特征，獲得像素級礦物識別結(jié)果。在此基礎(chǔ)上，通過軟投票法融合單偏光圖像與正交偏光圖像的識別結(jié)果，進一步提高了礦物識別精度。利用南京大學巖石教學樣品顯微圖像數(shù)據(jù)集，實現(xiàn)了對石英、斜長石、堿性長石、角閃石、黑云母、綠泥石、不透明礦物、孔洞和其他等9 類礦物的自動識別。測試結(jié)果表明，總體精度為86.7%，Kappa 系數(shù)為0.818，優(yōu)于傳統(tǒng)圖像分類法最大似然法的識別結(jié)果。由于深度學習方法主要依靠對大量數(shù)據(jù)的訓練與優(yōu)化，可以預見，隨著被標注礦物種類的增加以及圖像數(shù)據(jù)的擴充，其礦物識別能力及準確性將不斷提升。