來自大別山深成侵入巖圖像深度遷移學(xué)習(xí)的可解釋性研究

陳忠良,袁峰,李曉暉,鄭超杰

1)安徽省地質(zhì)調(diào)查院,合肥,230001; 2)合肥工業(yè)大學(xué)資源與環(huán)境工程學(xué)院,合肥,230009

內(nèi)容提要：巖石圖像識(shí)別是以深度學(xué)習(xí)為代表的感知智能在地質(zhì)領(lǐng)域的典型應(yīng)用場(chǎng)景。已有研究顯示網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的深度卷積神經(jīng)網(wǎng)絡(luò)能夠在巖石圖像上取得比復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)高的分類準(zhǔn)確率。這與ImageNet數(shù)據(jù)集上網(wǎng)絡(luò)結(jié)構(gòu)越深越好的趨勢(shì)相悖。如何解釋這一現(xiàn)象?深成侵入巖為顯晶質(zhì),自形—半自形粒狀結(jié)構(gòu),塊狀構(gòu)造,其分類的依據(jù)是其礦物成分及相對(duì)含量。大別山地區(qū)巖漿活動(dòng)廣泛,中生代深成侵入巖廣泛出露。巖石類型包括超鎂鐵質(zhì)巖類、輝長(zhǎng)巖類、閃長(zhǎng)巖類、正長(zhǎng)巖類、二長(zhǎng)巖類和花崗巖類,基本覆蓋IUGS推薦的深成侵入巖分類方案中的巖石類型。選取大別山地區(qū)中生代深成巖圖像開展不同網(wǎng)絡(luò)結(jié)構(gòu)預(yù)訓(xùn)練模型遷移學(xué)習(xí)對(duì)比試驗(yàn),能夠?qū)Ｗ⒂谏疃葘W(xué)習(xí)對(duì)礦物成分特征的學(xué)習(xí)解釋,降低構(gòu)造因素的影響。借助局部可理解的模型解釋技術(shù)和特征圖可視化技術(shù),分別從全連接層分類決策區(qū)域可視化和卷積隱層可視化兩方面對(duì)深度學(xué)習(xí)模型開展可解釋性研究。結(jié)果表明簡(jiǎn)單網(wǎng)絡(luò)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)能夠提取不同礦物所表現(xiàn)出的顏色特征以及不同礦物組合所表現(xiàn)出的紋理特征。AlexNet模型的削減試驗(yàn)進(jìn)一步證明:對(duì)于巖石圖像深度學(xué)習(xí),網(wǎng)絡(luò)結(jié)構(gòu)并不總是越深越好。

巖石是天然產(chǎn)出的礦物或類似礦物物質(zhì)組成的固體集合體,是地球和類地行星的重要組成部分(路鳳香等,2002)。自從1815年世界上第一幅地質(zhì)圖誕生以來,巖性識(shí)別,即如何刻畫、認(rèn)識(shí)地表和地下巖性分布,一直是地質(zhì)填圖的基礎(chǔ)問題(劉鳳山和胡道功,2009),是地質(zhì)研究的重要內(nèi)容(許振浩等,2022)。然而,巖性識(shí)別需要系統(tǒng)的巖石學(xué)知識(shí)和豐富的實(shí)際樣品鑒定經(jīng)驗(yàn)。一般地質(zhì)調(diào)查人員、地學(xué)愛好者或者非地學(xué)專業(yè)人員很難具備系統(tǒng)而全面的巖性識(shí)別能力。隨著以深度學(xué)習(xí)為代表的人工智能技術(shù)在圖像識(shí)別、語音分析(周永章等,2018,2021)和自然語言處理(陳忠良等,2022)等領(lǐng)域取得突破,圖像智能識(shí)別也應(yīng)用到巖石識(shí)別(徐述騰和周永章,2018)和古生物化石識(shí)別(安玉釧等,2022)。在巖礦薄片和巖石圖像識(shí)別方面,不同學(xué)者已開展相關(guān)研究,并取得了成果。張野等(2018)通過拍照、巖石數(shù)據(jù)庫(kù)和網(wǎng)絡(luò)搜索等不同方式共采集到571張花崗巖、千枚巖、角礫巖巖石圖像?；贗nception-v3 預(yù)訓(xùn)練模型開展巖石圖像遷移學(xué)習(xí),實(shí)現(xiàn)了花崗巖、千枚巖和角礫巖3種巖石80%以上分類準(zhǔn)確率。白林等(2018)通過網(wǎng)上搜集和實(shí)物拍照方式收集了15種約15000張巖石圖像。巖石類型涵蓋4類侵入巖(花崗巖、閃長(zhǎng)巖、輝長(zhǎng)巖、橄欖巖)、3類火山巖(流紋巖、安山巖、玄武巖),3類沉積巖(砂巖、灰?guī)r、白云巖)和5類變質(zhì)巖(大理巖、石英巖、蛇紋巖、板巖、千枚巖)。采用Inception-v3網(wǎng)絡(luò)結(jié)構(gòu)重新學(xué)習(xí),實(shí)現(xiàn)了63%的分類準(zhǔn)確率。Zhu Yueqin等(2019)對(duì)12種約12000張巖石圖像數(shù)據(jù)集,分別采用Inception V3和Xception兩種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了重新學(xué)習(xí)試驗(yàn)對(duì)比,后者測(cè)試集準(zhǔn)確率較前者提高9%達(dá)到86%。馮雅興等(2019)基于AlexNet孿生卷積神經(jīng)網(wǎng)絡(luò)對(duì)24種近2525張巖石圖像開展遷移學(xué)習(xí),實(shí)現(xiàn)了測(cè)試集89.4%的分類準(zhǔn)確率。試驗(yàn)結(jié)果同時(shí)顯示網(wǎng)絡(luò)層數(shù)較深的ResNet在巖石數(shù)據(jù)集上并沒有取得最好的結(jié)果,而相對(duì)簡(jiǎn)單的VGG19網(wǎng)絡(luò)結(jié)構(gòu)精度相對(duì)較高,且更簡(jiǎn)單的AlexNet比VGG19分類精度提高了4%。Ran Xiangjin等(2019)同樣通過在6類2290張無人機(jī)野外露頭照片上開展不同網(wǎng)絡(luò)結(jié)構(gòu)的微調(diào)試驗(yàn),得出網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的深度卷積神經(jīng)網(wǎng)絡(luò)巖石分類器能夠取得更高的測(cè)試集準(zhǔn)確率(97.96%)。來自好奇號(hào)火星探測(cè)器上的桅桿相機(jī)采集的4類火星巖石圖像所開展的自動(dòng)識(shí)別分類試驗(yàn),同樣證明網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的VGG16能夠取得100%的測(cè)試集準(zhǔn)確率(Li Jialun et al.,2020)。在地質(zhì)云科普版巖石礦物智能識(shí)別工具開發(fā)過程中,使用小部分巖礦樣本圖像對(duì)主要深度學(xué)習(xí)模型進(jìn)行測(cè)試訓(xùn)練,實(shí)驗(yàn)發(fā)現(xiàn)ResNet50 模型準(zhǔn)確率最高(任偉等,2021)。

不同學(xué)者相對(duì)比較一致的試驗(yàn)結(jié)果顯示網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)在巖石圖像分類上能夠取得更高的測(cè)試集準(zhǔn)確率。這與ImageNet數(shù)據(jù)集上所表現(xiàn)出的隨著網(wǎng)絡(luò)結(jié)構(gòu)變得越來越深,Top-5的錯(cuò)誤率也越來越低的趨勢(shì)相悖(He kaiming et al.,2016)。是什么原因造成了不同深度卷積神經(jīng)網(wǎng)絡(luò)在巖石圖像數(shù)據(jù)集上這一有悖深度學(xué)習(xí)發(fā)展進(jìn)程的現(xiàn)象呢?

自然界的巖石可以劃分為火成巖、沉積巖和變質(zhì)巖?；鸪蓭r又可進(jìn)一步劃分為火山巖和侵入巖。不同于依據(jù)化學(xué)成分按照TAS方案分類的火山巖,深成侵入巖全部由結(jié)晶的礦物組成,礦物含量容易在野外露頭、標(biāo)本中測(cè)量,按照礦物分類已被普遍接受。本文依據(jù)IUGS推薦的深成侵入巖分類方案,構(gòu)建大別山地區(qū)深成侵入巖的巖石圖像數(shù)據(jù)集。數(shù)據(jù)集中各類巖石類別均經(jīng)過了巖礦薄片鑒定,數(shù)據(jù)集可靠性高。選取大別山地區(qū)中生代侵入巖圖像開展不同網(wǎng)絡(luò)結(jié)構(gòu)預(yù)訓(xùn)練模型遷移學(xué)習(xí)對(duì)比試驗(yàn)。借助特征圖反卷積(Deconvnet)可視化技術(shù)和局部可理解的模型解釋技術(shù)(LIME)可以對(duì)模型特征提取能力開展可解釋性研究。由于深成侵入巖分類方案主要依據(jù)礦物成分及含量劃分巖石類型,能夠最大程度地降低構(gòu)造因素對(duì)卷積神經(jīng)網(wǎng)絡(luò)特征提取能力可解釋性分析的影響。

1 數(shù)據(jù)來源

大別造山帶位于中國(guó)東部,北以曉天磨子潭斷裂與華北陸塊相接,南東以郯廬斷裂與揚(yáng)子陸塊相連。巖漿侵入活動(dòng)在區(qū)內(nèi)表現(xiàn)得相當(dāng)強(qiáng)烈,造山帶范圍內(nèi)大部分被深成相侵入巖所占(圖1)。區(qū)內(nèi)各個(gè)巖體不同學(xué)者均已開展了巖相學(xué)、同位素地球化學(xué)等方面的研究。其中,超鎂鐵質(zhì)巖—輝長(zhǎng)巖類主要分布在祝家鋪(Jahn et al.,1999;劉慶等,2005)、小河口(李曙光等,1999)、椒子巖和道士沖等巖體。巖石類型有輝石巖—角閃石巖未分、輝長(zhǎng)巖?；◢弾r類主要分布在天堂寨、白馬尖(管運(yùn)才和吳海權(quán),1997)、主簿源、古碑(趙新福等,2007)和西湯池(周泰禧等,1992)等巖體。出露的巖石類型有正長(zhǎng)花崗巖、二長(zhǎng)花崗巖和花崗閃長(zhǎng)巖。閃長(zhǎng)巖—正長(zhǎng)巖類主要在古碑、山七(彭智等,2018)和銀沙畈(王波華等,2007)等巖體出露。巖石類型有閃長(zhǎng)巖、石英閃長(zhǎng)巖、正長(zhǎng)巖、石英二長(zhǎng)閃長(zhǎng)巖、石英二長(zhǎng)巖。似長(zhǎng)石過堿性侵入巖類在響洪甸巖體(周偉偉等,2014)有出露,巖石類型以霞石正長(zhǎng)巖為主。本次顯晶質(zhì)侵入巖圖像均采集自野外實(shí)地的露頭和手標(biāo)本。采集設(shè)備為數(shù)碼相機(jī)(LUMIX LX10)和手機(jī)(iPhone 6S Plus),圖像傳感器均為互補(bǔ)式金屬氧化物半導(dǎo)體(CMOS)。分辨率大小分別為5472×3648和4032×3024。表1為本次在各巖體內(nèi)采集的大別造山帶內(nèi)典型的顯晶質(zhì)侵入巖圖像列表。表中對(duì)各采集點(diǎn)巖石的類型、主要物質(zhì)成分、結(jié)構(gòu)和構(gòu)造均進(jìn)行了描述。所有采集點(diǎn)在采集巖石圖像的同時(shí),還采集了巖石薄片,并進(jìn)行了制片和薄片鑒定。本次共采集巖石類型10種,巖石圖像2909張,分為訓(xùn)練集圖像2413張。測(cè)試集圖像496張。

表1 大別山東段典型中生代顯晶質(zhì)侵入巖類型及其巖石圖像采集點(diǎn)信息

圖1 大別山東段侵入巖分布略圖及巖石圖像采集位置

2 試驗(yàn)設(shè)計(jì)

2.1 過擬合問題

深度學(xué)習(xí)過程中訓(xùn)練的模型通常易于過擬合,即在訓(xùn)練集上表現(xiàn)很好,但在測(cè)試集上的泛化能力很差。產(chǎn)生過擬合的原因包括:① 觀察值與真實(shí)值存在偏差;② 數(shù)據(jù)太少,導(dǎo)致無法描述問題的真實(shí)分布。為了防止過擬合,需要用到一些方法和技術(shù),如:數(shù)據(jù)增強(qiáng)、Dropout正則化和批量正則化(Mutasa et al.,2020)以及早停法(Lauer et al.,2006)。數(shù)據(jù)增強(qiáng)是采用水平翻轉(zhuǎn)、左右翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪等方法,對(duì)圖像進(jìn)行處理以增大樣本量。本次訓(xùn)練集巖石圖像經(jīng)數(shù)據(jù)增強(qiáng)處理后達(dá)到120650張?？紤]到不同方法訓(xùn)練精度比較的需要,測(cè)試集圖像未做數(shù)據(jù)增強(qiáng)。在卷積神經(jīng)網(wǎng)絡(luò)中(圖2),Dropout正則化是在網(wǎng)絡(luò)訓(xùn)練時(shí)隨機(jī)丟掉一些神經(jīng)元的技術(shù),在早期卷積神經(jīng)網(wǎng)絡(luò)的全連接層后較多采用(圖2a)。批量正則化則是將卷積神經(jīng)網(wǎng)絡(luò)的每層之間加上將神經(jīng)元的權(quán)重調(diào)成標(biāo)準(zhǔn)正態(tài)分布的正則化層(圖2c—e)。早停法是在模型對(duì)訓(xùn)練數(shù)據(jù)集迭代收斂之前停止迭代來防止過擬合。

圖2 典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

利用已有的源領(lǐng)域模型和少量的目標(biāo)領(lǐng)域樣本訓(xùn)練出泛化能力更好的目標(biāo)領(lǐng)域模型的遷移學(xué)習(xí)參數(shù)遷移方法也可以用來解決過擬合問題(張雪松等,2019)。參數(shù)遷移在解決模型過擬合問題時(shí),前提條件是目標(biāo)領(lǐng)域需要訓(xùn)練的模型和源領(lǐng)域中已有的模型體系結(jié)構(gòu)一致且訓(xùn)練算法相同,利用目標(biāo)領(lǐng)域小規(guī)模的訓(xùn)練樣本對(duì)已有的源領(lǐng)域模型進(jìn)行參數(shù)微調(diào)。Tajbakhsh等(2016)通過實(shí)驗(yàn)表明,在醫(yī)學(xué)影像領(lǐng)域采用參數(shù)遷移方法微調(diào)一個(gè)預(yù)訓(xùn)練的源領(lǐng)域卷積神經(jīng)網(wǎng)絡(luò)模型要比重新訓(xùn)練模型更好。不同學(xué)者也采用遷移學(xué)習(xí)開展了巖石手標(biāo)本圖像(張野等,2018;馮雅興等,2019;Li Jialun et al.,2020)的自動(dòng)識(shí)別分類。本次試驗(yàn)同樣將采用參數(shù)遷移方法微調(diào)ImageNet預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型。

2.2 計(jì)算資源與試驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)均在配置有Quadro RTX 6000顯卡的工作站上完成。機(jī)器學(xué)習(xí)平臺(tái)采用Tensorflow-gpu 1.13.1。深度學(xué)習(xí)模型的設(shè)計(jì)、調(diào)試、評(píng)估采用Keras-gpu 2.3.1。目前,一些經(jīng)典卷積神經(jīng)網(wǎng)絡(luò),如AlexNet(Krizhevsky et al.,2017)、VGGNet(Simonyan and Zisserman,2015)、GoogLeNet(Szegedy et al.,2015)、ResNet(He et al.,2016)和Xception(Chollet,2017)等,不同學(xué)者已開展巖石圖像分類試驗(yàn)。Zhu Yueqin等(2019)分別對(duì)GoogLeNet的Inception-V3和同屬Google出品的Xception開展了比較學(xué)習(xí),后者比前者的測(cè)試集準(zhǔn)確率高9%,達(dá)到86%。據(jù)此得出網(wǎng)絡(luò)層數(shù)越深精度較好。而不同學(xué)者的試驗(yàn)結(jié)果卻很不相同。馮雅興等(2019)分別對(duì)AlexNet、VGG19、Inception-V2、ResNet50等模型開展了比較試驗(yàn)。結(jié)果顯示網(wǎng)絡(luò)層數(shù)較深的ResNet50模型在24種包含沉積巖、火山巖和侵入巖的巖石圖像數(shù)據(jù)集上并沒有取得最好的結(jié)果,而相對(duì)簡(jiǎn)單的VGG19結(jié)構(gòu)模型精度相對(duì)較高,且更簡(jiǎn)單的AlexNet模型比VGG19模型識(shí)別精度提高了4%,達(dá)到41%。以上不同模型的遷移學(xué)習(xí)結(jié)果同樣顯示采用相對(duì)簡(jiǎn)單的VGG19和AlexNet模型精度較好,分別為78%和79%。遷移學(xué)習(xí)能夠取得比從零開始訓(xùn)練更高的精度是由于文中2525張巖石圖像與千萬級(jí)的ImageNet數(shù)據(jù)集相比數(shù)量較少。VGG16、Inception-V3和ResNet50結(jié)構(gòu)模型在4類火星巖石圖像數(shù)據(jù)集上的遷移學(xué)習(xí)比較試驗(yàn)同樣顯示結(jié)構(gòu)簡(jiǎn)單的前者精度較高,且遷移學(xué)習(xí)表現(xiàn)同樣優(yōu)于從零開始訓(xùn)練(Li Jialun et al.,2020)。本次分別在模型結(jié)構(gòu)簡(jiǎn)單和復(fù)雜的兩端分別選擇兩個(gè)模型,共4個(gè)模型(AlexNet、VGG16、ResNet50和Xception)開展比較試驗(yàn)。

模型訓(xùn)練參數(shù)中,損失函數(shù)選擇交叉熵,編譯優(yōu)化器選擇Adam自適應(yīng)優(yōu)化器。早停法采用“No-improvement-in-n”策略,n即迭代的次數(shù)。在訓(xùn)練的過程中,記錄到目前為止最好的測(cè)試集準(zhǔn)確率,當(dāng)連續(xù)n次迭代沒達(dá)到最佳準(zhǔn)確率時(shí),則可以認(rèn)為準(zhǔn)確率不會(huì)再提高,此時(shí)便可停止迭代。遷移學(xué)習(xí)訓(xùn)練階段容忍的迭代次數(shù)設(shè)置為10。從零重新訓(xùn)練策略下則采用了更大的容忍迭代次數(shù)20。

3 結(jié)果與討論

3.1 不同網(wǎng)絡(luò)結(jié)構(gòu)模型的訓(xùn)練結(jié)果

圖3為不同網(wǎng)絡(luò)結(jié)構(gòu)預(yù)訓(xùn)練模型侵入巖圖像訓(xùn)練曲線圖。預(yù)訓(xùn)練模型以ImageNet數(shù)據(jù)集預(yù)訓(xùn)練參數(shù)作為初始化參數(shù)。由圖可見不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)在侵入巖圖像訓(xùn)練集上均實(shí)現(xiàn)了收斂。表2為不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型的測(cè)試集top1準(zhǔn)確率。測(cè)試數(shù)據(jù)集均未采用數(shù)據(jù)增強(qiáng)技術(shù)。卷積層較少(AlexNet卷積層個(gè)數(shù)為5,VGG16卷積層個(gè)數(shù)為13個(gè))網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的AlexNet和VGG16模型均實(shí)現(xiàn)了較高的top1準(zhǔn)確率。而網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜的ResNet50模型的top1準(zhǔn)確率則較前兩者降低6個(gè)百分點(diǎn)。網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜的Xception模型則表現(xiàn)更差。試驗(yàn)結(jié)果再次顯示網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)能夠取得更高的巖石圖像分類準(zhǔn)確率。

表2 不同結(jié)構(gòu)模型測(cè)試集準(zhǔn)確率

圖3 不同網(wǎng)絡(luò)結(jié)構(gòu)預(yù)訓(xùn)練模型侵入巖圖像訓(xùn)練曲線圖

3.2 可視化分析

如何理解不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集和侵入巖巖石圖像數(shù)據(jù)集的表現(xiàn)差異呢?通常人們認(rèn)為深度學(xué)習(xí)的模型是個(gè)“黑盒”,非常難以用讓人類容易了解的方法來呈現(xiàn)模型到底學(xué)習(xí)到什么。但對(duì)于卷積神經(jīng)網(wǎng)絡(luò),由于其本來就是視覺概念的陳述,學(xué)習(xí)到的特征可以采用可視化的技術(shù)方法進(jìn)行呈現(xiàn)(Yosinski et al.,2015)。目前,不同學(xué)者提出了多種可視化卷積神經(jīng)網(wǎng)絡(luò)的方法(成科揚(yáng)等,2020)。典型卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、池化層和全連接層組成。下面將分別從全連接層分類器的局部可解性可視化和卷積層特征圖的反卷積可視化分析入手分析前述不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型在侵入巖圖像數(shù)據(jù)集上到底學(xué)習(xí)到了什么。

3.2.1局部可理解的模型解釋

局部可理解的模型解釋技術(shù)(LIME)是一種代理模型方法,它具備與模型無關(guān)的特性,能夠識(shí)別出對(duì)卷積神經(jīng)網(wǎng)絡(luò)圖像分類結(jié)果影響最大的區(qū)域。該方法首先通過探測(cè)輸入擾動(dòng)獲得深度模型的響應(yīng)反饋數(shù)據(jù),然后憑此數(shù)據(jù)構(gòu)建局部線性模型,并將該模型用作特定輸入值深度模型的簡(jiǎn)化代理(Ribeiro et al.,2016)。圖4為不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)10類侵入巖中代表性巖石圖像預(yù)測(cè)分類的LIME解釋結(jié)果。表中分別識(shí)別出了影響各卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)分類結(jié)果最大的輸入?yún)^(qū)域,其中綠色標(biāo)識(shí)區(qū)域?yàn)檎答亝^(qū)域,紅色為負(fù)反饋區(qū)域。LIME設(shè)定對(duì)3個(gè)預(yù)測(cè)概率最高的標(biāo)簽進(jìn)行可視化解釋。Xception模型由于分類準(zhǔn)確率低未列出。表中原始待解釋圖像為隨機(jī)選擇,其中ResNet50模型對(duì)石英閃長(zhǎng)巖和花崗閃長(zhǎng)巖選定的待解釋圖像所作出的3個(gè)最高預(yù)測(cè)標(biāo)簽均屬識(shí)別錯(cuò)誤。在其他8個(gè)侵入巖類別中,標(biāo)定的影響各卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)分類結(jié)果最大的輸入?yún)^(qū)域基本包含了各類型侵入巖需要包含的礦物種類。如AlexNet對(duì)輝長(zhǎng)巖的預(yù)測(cè)解釋,圈定的為暗色礦物為主含少部分斜長(zhǎng)石的區(qū)域。中間大片斜長(zhǎng)石為主的區(qū)域,各模型均未圈定。這與表1列出的輝長(zhǎng)巖物質(zhì)成分主要為基性斜長(zhǎng)石、輝石和橄欖石相一致。正長(zhǎng)花崗巖和二長(zhǎng)花崗巖解釋圖像的圈定區(qū)域同樣包含了石英、堿性長(zhǎng)石和斜長(zhǎng)石。正長(zhǎng)巖解釋圖像的圈定區(qū)域均主要為堿性長(zhǎng)石。通過LIME局部可理解的模型可視化解釋,基本說明影響分類器預(yù)測(cè)的重要區(qū)域與該類巖石需要包含的主要物質(zhì)成分相一致,間接說明該類侵入巖圖像的物質(zhì)成分特征被有效提取。

3.2.2特征圖可視化

特征圖可視化技術(shù)是利用反卷積(Deconvnet)的思想實(shí)現(xiàn)卷積層特征可視化來幫助理解卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征。反卷積可視化以各層得到的特征圖作為輸入,進(jìn)行反卷積,得到反卷積結(jié)果,用以驗(yàn)證顯示各層提取到的特征圖(Zeiler and Fergus,2014)。各類侵入巖圖像均首先計(jì)算出該圖像在選定卷積層特征圖的最大激活值(最大激活值和相應(yīng)的特征圖的序號(hào)均作記錄)。參與制圖的為該類型巖石圖像在選定卷積層激活值最大的3張?jiān)紙D像。特征圖可視化的參數(shù)為原始圖像、卷積層名稱和圖像在該卷積層最大激活值特征圖的序號(hào)。

圖5為AlexNet模型不同卷積層(共5層)特征圖反卷積可視化結(jié)果。AlexNet模型第一層反卷積可視化結(jié)果顯示學(xué)習(xí)到的特征為方向和邊緣;第二層學(xué)習(xí)到的特征基本上是不同礦物所展現(xiàn)的顏色和輪廓等特征,如圖中第二層左邊第3行(閃長(zhǎng)巖)、第4行(石英閃長(zhǎng)巖)、第5行(石英二長(zhǎng)閃長(zhǎng)巖)和右邊第4行(花崗閃長(zhǎng)巖)基本提取的為暗色礦物(黑云母、角閃石)的分布特征;第三層學(xué)習(xí)到的特征仍然具有全局特性,多數(shù)為點(diǎn)狀分布,可能為特征礦物或顏色的相對(duì)分布特征;第四層和第五層變得復(fù)雜,學(xué)習(xí)到的可能是類似網(wǎng)格狀的紋理特征。不同的是第五層的特征更加顯示局部性。通過分析侵入巖中的花崗巖和變質(zhì)巖中的板巖,Zhu Yueqin et al.(2019)也發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)對(duì)花崗巖中的透明石英和顆粒和肉紅色鉀長(zhǎng)石的特征提取表現(xiàn)良好。

3.3 卷積與全連接層削減實(shí)驗(yàn)

AlexNet模型由5個(gè)卷積層和3個(gè)全連接層組成(圖2a),通過前述特征圖可視化說明了不同的卷積層提取的為不同的特征。對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)深淺可能對(duì)巖石圖像起到的作用不同于ImageNet數(shù)據(jù)集的問題,可以考慮精簡(jiǎn)卷積神經(jīng)網(wǎng)絡(luò)層層數(shù)進(jìn)行試驗(yàn)對(duì)比(Zeiler and Fergus,2014)。通過刪除部分卷積層或全連接層可以進(jìn)一步理解不同層在特征提取中起的作用。

表3為削減部分卷積層和簡(jiǎn)化全連接層的削減試驗(yàn)結(jié)果。簡(jiǎn)化全連接層可以提高分類精度,不影響網(wǎng)絡(luò)對(duì)巖石圖像特征的提取能力。刪除第五層,分類精度仍然較高,對(duì)侵入巖巖石圖像的特征提取能力影響較小。這與侵入巖塊狀構(gòu)造,無明顯局部關(guān)鍵特征的知識(shí)依據(jù)相符合。刪除第四層和第五層后,圖像分類精度明顯降低,說明第四層學(xué)習(xí)到的紋理特征,是分類器判別的重要依據(jù)。由于巖石圖像基本為塊狀構(gòu)造,物質(zhì)成分較均勻,通過削減試驗(yàn),證明AlexNet模型第五層提取的具有局部特性的特征對(duì)模型分類準(zhǔn)確率基本無影響。

表3 AlexNet模型卷積與全連接層削減試驗(yàn)結(jié)果

4 結(jié)論

(1)通過不同網(wǎng)絡(luò)結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的對(duì)比訓(xùn)練和AlexNet模型的削減試驗(yàn),說明結(jié)構(gòu)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)能夠取得與復(fù)雜結(jié)構(gòu)網(wǎng)絡(luò)相當(dāng)?shù)那秩霂r圖像分類準(zhǔn)確率。對(duì)于巖石圖像網(wǎng)絡(luò)結(jié)構(gòu)并不總是越深越好。

(2)借助特征圖可視化,證實(shí)AlexNet模型的前四層能夠有效提取侵入巖礦物成分特征。其中,第一層學(xué)習(xí)到方向和邊緣特征,第二層學(xué)習(xí)到不同礦物所展現(xiàn)的顏色和輪廓特征,第三層學(xué)習(xí)到特征礦物或顏色的相對(duì)分布特征,第四層學(xué)習(xí)到的類似網(wǎng)格狀的紋理特征。

(3)可視化技術(shù)能夠幫助了解卷積神經(jīng)網(wǎng)絡(luò)究竟是如何成功識(shí)別巖石圖像類別的,并對(duì)其過程進(jìn)行解釋。

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)可解釋性算法是否也能夠幫助調(diào)整巖石圖像深度學(xué)習(xí)模型或找出提升模型性能的方向,將是后續(xù)研究的內(nèi)容之一。同時(shí),巖石圖像類型也將擴(kuò)大到淺成侵入巖、沉積巖、變質(zhì)巖和火山巖。

致謝：感謝審稿專家周永章教授提出的寶貴修改意見。感謝安徽省地質(zhì)調(diào)查院周存亭正高級(jí)工程師、黃蒙高級(jí)工程師、李朋飛高級(jí)工程師在區(qū)域地質(zhì)背景分析和巖石圖像采集過程中的大力幫助。感謝合肥工業(yè)大學(xué)資源與環(huán)境工程學(xué)院石永紅教授在薄片鑒定過程中提供的指導(dǎo)。