融合殘差與多尺度特征的U-Net泥頁(yè)巖裂縫分割

陳子浩,賈鵬飛,屈文航,王 勇

(1.西北大學(xué) 地質(zhì)學(xué)系/大陸動(dòng)力學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西 西安 710069;2.中國(guó)科學(xué)院武漢巖土力學(xué)研究所 巖土力學(xué)與工程國(guó)家重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430071)

泥頁(yè)巖裂縫是巖石在異常高壓、構(gòu)造應(yīng)力、流體侵蝕等作用下破裂產(chǎn)生的,發(fā)育良好的裂縫利于頁(yè)巖氣的儲(chǔ)集和運(yùn)移,其演化特征在頁(yè)巖氣開(kāi)發(fā)中是一個(gè)關(guān)鍵的參考指標(biāo)[1-2]。計(jì)算機(jī)斷層掃描技術(shù)(CT)是一種可靠的無(wú)損檢測(cè)方法,其最初用于醫(yī)學(xué)成像研究,隨后在地球科學(xué)領(lǐng)域也得到廣泛應(yīng)用,借助CT可以清晰地觀察泥頁(yè)巖的三維形態(tài),真實(shí)反映裂縫的原始拓?fù)浣Y(jié)構(gòu)[3-4],對(duì)井壁穩(wěn)定性分析[5-6]、儲(chǔ)層壓裂改造[7]、微裂縫封堵[8]等頁(yè)巖氣開(kāi)發(fā)技術(shù)提供重要的指導(dǎo)意義。然而,現(xiàn)有的三維可視化軟件大多基于傳統(tǒng)的閾值分割方法對(duì)巖石CT切片進(jìn)行處理[9],這需要專業(yè)人員依據(jù)經(jīng)驗(yàn)對(duì)CT圖像進(jìn)行大量手工處理和特征設(shè)計(jì)[10],使得在工程實(shí)踐中無(wú)法有效自主地識(shí)別和分割泥頁(yè)巖裂縫,對(duì)時(shí)間消耗和分割結(jié)果的準(zhǔn)確性有較大影響,因此,對(duì)泥頁(yè)巖CT圖像中的裂縫進(jìn)行高效分割是一個(gè)重要的研究課題。

在巖石細(xì)觀結(jié)構(gòu)研究中,對(duì)裂縫信息的提取是一個(gè)不可或缺的步驟,許多學(xué)者提出了多種圖像處理技術(shù)進(jìn)行巖石CT圖像分割。Rezaei等人采用了3種全局閾值方法和3種局部自適應(yīng)閾值方法來(lái)分割多孔碳酸鹽巖微CT圖像,以評(píng)估直接測(cè)量和圖像計(jì)算的孔隙率差異,結(jié)果表明雙閾值Otsu方法最接近真實(shí)結(jié)果[11]。Deng等人提出了基于連通分量特征參數(shù)提取裂縫信息的MSA-k聚類算法,該算法是Multi-SALP算法(MSA)和K-means的結(jié)合,比其他經(jīng)典聚類算法更具有隨機(jī)性[12]。田志等人使用Micro-CT掃描得到泥質(zhì)砂巖、碳酸鹽巖等巖石的二維切片,然后,通過(guò)分水嶺算法獲得礦物粒度分布信息,作為三維巖石建模的初始條件[13]。宋天明等人采用一種改進(jìn)的Snake算法對(duì)巖心序列圖像進(jìn)行輪廓提取,并將得到的結(jié)果作為下一幀的初始輪廓,從而得到整個(gè)序列圖像的輪廓[14]。鄒永寧等人采用非局部均值降噪濾波算法對(duì)圖像降噪,再用改進(jìn)水平集算法分割石油巖芯CT圖像,分割效果理想有效[15]。Li等人提出了一種基于輪廓演化和梯度方向一致性的裂隙分割方法,利用3DAMF對(duì)煤巖CT圖像中的高密度雜點(diǎn)噪聲進(jìn)行濾波,利用3DBF對(duì)裂隙邊界進(jìn)行增強(qiáng),以精確構(gòu)建裂隙網(wǎng)絡(luò),實(shí)驗(yàn)結(jié)果表明,該方法對(duì)序列圖像分割效率高、適應(yīng)性強(qiáng)[16]。利用傳統(tǒng)數(shù)字圖像處理方法對(duì)巖石裂縫分割時(shí),需要進(jìn)行大量圖像預(yù)處理操作和算法設(shè)計(jì),泛化能力較差,且無(wú)法主動(dòng)學(xué)習(xí)裂縫特征,因此,需要更穩(wěn)健的分割算法。

近幾年,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)憑借其強(qiáng)大的特征提取能力在圖像分割中得到了廣泛的應(yīng)用。Shelhamer等人提出了不含全連接層的全卷積網(wǎng)絡(luò)FCN(fully convolutional networks,FCN),對(duì)任意分辨率的圖像能夠?qū)崿F(xiàn)從抽象的特征中判別出每個(gè)像素所屬的類別,顯著提高了圖像分割的準(zhǔn)確度和速度,但得到的結(jié)果不夠精細(xì)[17]。Noh等人提出的DeconvNet網(wǎng)絡(luò)采用端到端的編碼器-解碼器結(jié)構(gòu),卷積網(wǎng)絡(luò)部分使用卷積池化操作提取特征,反卷積網(wǎng)絡(luò)部分使用反卷積和反池化得到分割概率圖,兩部分完全對(duì)稱,并在編碼器和解碼器之間使用全連接層作為中介,用于增強(qiáng)類別的分類[18]。Ronneberger等人提出的U-Net結(jié)合下采樣、上采樣與跳躍連接構(gòu)建了完整的編碼解碼模型,充分保留了高層語(yǔ)義信息與低層幾何細(xì)節(jié),并采用隨機(jī)彈性變形進(jìn)行數(shù)據(jù)增強(qiáng),僅使用少量訓(xùn)練數(shù)據(jù)即可完成醫(yī)學(xué)圖像分割[19]。Badrinarayanan等人提出的SegNet與DeconvNet結(jié)構(gòu)類似,在編碼器部分使用卷積池化操作提取特征,解碼器使用在相應(yīng)編碼時(shí)最大池化操作中記錄的池化索引來(lái)執(zhí)行非線性上采樣,并移除全連接層,速度比DeconvNet更快[20]。R-FCN[21]、UNet++[22]等卷積神經(jīng)網(wǎng)絡(luò)模型通過(guò)增加網(wǎng)絡(luò)旁路的重復(fù)使用或增加深層特征的反卷積操作,保留了更多細(xì)節(jié)信息,進(jìn)而增強(qiáng)網(wǎng)絡(luò)模型的識(shí)別能力。Chen等人提出的TransUNet[23]結(jié)合了Transformer及U-Net的優(yōu)勢(shì),首先,利用Transformer將特征圖的標(biāo)記化圖像塊編碼為上下文序列以進(jìn)行特征提取,然后,利用解碼器對(duì)編碼特征進(jìn)行上采樣,精確定位的同時(shí)恢復(fù)空間信息,在多個(gè)醫(yī)療領(lǐng)域(如器官、心肌等)得到了很好的應(yīng)用,但存在計(jì)算量大、計(jì)算復(fù)雜等問(wèn)題。深度學(xué)習(xí)的發(fā)展為巖土領(lǐng)域處理CT圖像提供了一種新的方案。Hyun等人基于花崗巖X射線CT圖像使用深度學(xué)習(xí)方法提取水力壓裂試驗(yàn)中產(chǎn)生的微裂縫,實(shí)現(xiàn)了花崗巖X射線CT圖像的像素級(jí)裂紋檢測(cè)[24]。Tian等人提出了一種基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的混凝土CT圖像細(xì)觀裂紋分割與提取的方法,對(duì)靜態(tài)單軸壓縮下實(shí)時(shí)CT試驗(yàn)獲得的圖像進(jìn)行分割,結(jié)果表明,該方法對(duì)CT圖像中孔隙和裂縫的分割精度分別達(dá)到0.957和0.931[25]。Lu等人提出了一種基于U-Net的自適應(yīng)多尺度特征融合方法(AMSFF-U-net),用于煤巖CT圖像中的裂縫分割,對(duì)于裂縫可以實(shí)現(xiàn)較好的分割,特別是弱裂縫和小尺度裂縫[26]。

從上述研究現(xiàn)狀可以看出,國(guó)內(nèi)外學(xué)者對(duì)巖石CT圖像的裂縫分割研究逐漸從數(shù)字圖像處理技術(shù)發(fā)展至深度學(xué)習(xí),并取得一定研究成果。針對(duì)泥頁(yè)巖裂縫復(fù)雜、微小裂縫難以分割的特點(diǎn),本文提出了一種以U-Net為基礎(chǔ)網(wǎng)絡(luò)的泥頁(yè)巖裂縫分割方法MCS-Net。首先,用殘差模塊替換U-Net網(wǎng)絡(luò)結(jié)構(gòu)中的常規(guī)卷積,增加網(wǎng)絡(luò)深度以充分學(xué)習(xí)裂縫特征;其次,添加多尺度特征融合(MSFF)模塊以緩解泥頁(yè)巖CT圖像中微小裂縫無(wú)法精確分割的問(wèn)題,提高裂縫分割精度。

1 泥頁(yè)巖CT圖像裂縫分割網(wǎng)絡(luò)

1.1 MCS-Net網(wǎng)絡(luò)

本文提出一種遵循U-Net結(jié)構(gòu)的泥頁(yè)巖裂縫分割網(wǎng)絡(luò)(mud shale crack segmentation network,MCS-Net),網(wǎng)絡(luò)主體由特征提取、特征融合和輸出預(yù)測(cè)3部分組成,整體結(jié)構(gòu)如圖1所示。

圖1 MCS-Net結(jié)構(gòu)Fig.1 Architecture of MCS-Net

圖1中每一個(gè)長(zhǎng)方體表示一個(gè)多通道特征圖,圖像通道數(shù)標(biāo)注在特征圖的正上方,圖像分辨率標(biāo)注在特征圖的左下角,箭頭代表卷積、池化或跳躍連接等操作。特征提取部分使用5級(jí)殘差卷積對(duì)特征圖進(jìn)行卷積處理,殘差模塊數(shù)分別為3、4、6、3、3,用于充分學(xué)習(xí)裂縫圖像不同尺度的語(yǔ)義特征,池化操作用于降低圖像分辨率;特征融合部分包括一個(gè)多尺度特征融合模塊和4次殘差卷積操作,特征融合模塊用于捕獲多尺度特征信息,殘差卷積能夠有效保留和傳遞必要信息的同時(shí),調(diào)整網(wǎng)絡(luò)的復(fù)雜度分配,其間使用反卷積逐層重構(gòu)壓縮的空間信息,并通過(guò)跳躍連接補(bǔ)充編碼過(guò)程中損失的信息使特征聚合,最后一次卷積使網(wǎng)絡(luò)輸出的預(yù)測(cè)圖像與原始輸入圖像的分辨率一致;輸出預(yù)測(cè)部分首先使用1×1卷積將預(yù)測(cè)圖調(diào)整成單通道,然后,經(jīng)過(guò)Sigmoid函數(shù)使像素預(yù)測(cè)概率值歸于0～1,其中,概率值大于設(shè)定閾值的像素識(shí)別為裂縫像素,小于設(shè)定閾值則為背景像素,最終輸出精確的泥頁(yè)巖裂縫二值分割圖。

1.2 殘差模塊

殘差網(wǎng)絡(luò)的應(yīng)用解決了隨著網(wǎng)絡(luò)加深而出現(xiàn)的性能退化問(wèn)題[27]。在編碼和解碼路徑上用殘差模塊(residual block, Res-Block)代替U-Net中常規(guī)的卷積層,可以增強(qiáng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力,改進(jìn)的殘差模塊如圖2所示。

圖2 殘差模塊Fig.2 Residual block

參數(shù)化修正線性單元(PReLU)函數(shù)是經(jīng)典修正線性單元激活函數(shù)(ReLU)的變體[28],PReLU通過(guò)賦予神經(jīng)元負(fù)輸入一個(gè)自適應(yīng)學(xué)習(xí)的線性分量γi來(lái)改善ReLU負(fù)輸入失效的問(wèn)題,使用PReLU替換殘差模塊中的ReLU可以使網(wǎng)絡(luò)更加穩(wěn)健,增加網(wǎng)絡(luò)抵抗噪聲干擾的能力,其表達(dá)式如下,

(1)

殘差模塊的核心公式為

Xl+1=h(Xl)+F(Xl,Wl)

(2)

式中:h(Xl)是對(duì)輸入的恒等映射,表現(xiàn)為圖2中右側(cè)的短路連接部分,通過(guò)1個(gè)1×1的卷積調(diào)整通道維數(shù),使得特征信息在低層和高層之間直接進(jìn)行傳遞,保證訓(xùn)練梯度的穩(wěn)定性;F(Xl,Wl)是殘差映射部分, 由2個(gè)3×3的卷積層組成, 卷積層后添加批歸一化層(batch normalization, BN)和PReLU激活函數(shù), BN能夠使得每批的數(shù)據(jù)分布一致, 加快網(wǎng)絡(luò)收斂速度;+表示網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中僅需在原輸入的基礎(chǔ)上學(xué)習(xí)新特性, 即學(xué)習(xí)殘差F(Xl,Wl), 殘差特征比原始特征更易于學(xué)習(xí)。 最后, 將殘差映射的結(jié)果經(jīng)過(guò)PReLU激活得到非線性輸出,如果殘差特征為0, 只進(jìn)行恒等映射,網(wǎng)絡(luò)則跳過(guò)本層將訓(xùn)練權(quán)重直接傳遞給下一層輸入, 不僅防止梯度消失, 還不會(huì)產(chǎn)生額外的計(jì)算量。

1.3 多尺度特征融合模塊

為解決裂縫分割過(guò)程中細(xì)小裂縫不易識(shí)別的問(wèn)題,引入空洞空間卷積池化金字塔(atrous spatial pyramid pooling, ASPP)[29]進(jìn)行多尺度特征融合。但在實(shí)際實(shí)驗(yàn)中發(fā)現(xiàn),加入ASPP模塊會(huì)使分割圖生成形似網(wǎng)格的誤判點(diǎn)陣,如圖3所示。其原因是ASPP采用空洞卷積提取到的語(yǔ)義信息是遠(yuǎn)距離的,在提取大面積物體特征時(shí)較為有效,而對(duì)類似裂縫這種連續(xù)且細(xì)長(zhǎng)的物體可能有弊無(wú)利,因?yàn)橄∈璨蓸邮沟帽尘疤卣骱土芽p特征互相摻雜,進(jìn)而影響分割結(jié)果。

圖3 誤判點(diǎn)陣Fig.3 Dot matrix of the miscalculation

鑒于以上問(wèn)題,本文基于ASPP提出多尺度特征融合模塊(Multi-scale feature fusion block,MSFF),MSFF模塊位于MCS-Net的底部,整體結(jié)構(gòu)如圖4所示。

圖4 多尺度特征融合模塊結(jié)構(gòu)Fig.4 Structure of multi-scale feature fusion module

MSFF模塊包括3部分,分別是1×1卷積、多尺度卷積和全局均值池化(global average pooling,GAP)。1×1卷積逐像素提取小目標(biāo)特征信息;多尺度卷積利用卷積核尺寸分別為3、5、7的深度可分離卷積進(jìn)行卷積操作,深度可分離卷積可以減少參數(shù)量以輕量化網(wǎng)絡(luò),同時(shí),利用短路連接以減少梯度消失[30];全局均值池化從全局角度編碼圖像特征信息,進(jìn)而提高網(wǎng)絡(luò)的分割性能。將各部分輸出的特征圖進(jìn)行通道拼接,最后,利用1×1卷積調(diào)整通道數(shù),得到聚合多尺度語(yǔ)義信息的特征圖。

1.4 損失函數(shù)

損失函數(shù)用于衡量預(yù)測(cè)值與真實(shí)值之間的偏差, 對(duì)于評(píng)價(jià)網(wǎng)絡(luò)分割性能非常重要。 普通二元交叉熵函數(shù)在樣本不平衡任務(wù)中易陷入局部最優(yōu), 從而降低分割性能。 Focal Loss相比二元交叉熵函數(shù)多了一個(gè)調(diào)節(jié)因子(1-pt)γ, 能夠隨著訓(xùn)練過(guò)程自適應(yīng)調(diào)節(jié)學(xué)習(xí)權(quán)重, 即減少簡(jiǎn)單樣本的權(quán)重, 增加分類不準(zhǔn)確樣本的權(quán)重, 使網(wǎng)絡(luò)聚焦于難分樣本, 有助于提高模型的整體性能[31]。 本文選取Focal Loss作為損失函數(shù)處理泥頁(yè)巖裂縫分割中正負(fù)樣本不平衡的問(wèn)題, 將學(xué)習(xí)權(quán)重更多地聚焦于少量的裂縫樣本, Focal Loss函數(shù)定義如下,

FL(pt)=-(1-pt)γlog(pt)

(3)

(4)

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)采集與預(yù)處理

本文使用試樣為寧明盆地泥頁(yè)巖,試樣加工成直徑60 mm、高40 mm的圓柱體,使用phoenix v|tome|x m微米CT進(jìn)行掃描,采用分層掃描方式獲得1 426張分辨率為1 612×1 686的CT序列圖像。泥頁(yè)巖裂縫在巖體縱向上呈現(xiàn)出數(shù)量和形態(tài)上的明顯差異,間隔150幀采樣的原始泥頁(yè)巖CT灰度圖像如圖5所示。

(a)第150幀;(b)第300幀;(c)第450幀;(d)第600幀;(e)第750幀;(f)第900幀;(g)第1 050幀;(h)第1 200幀。圖5 各幀CT圖片F(xiàn)ig.5 CT images of each frame

由于寧明泥頁(yè)巖內(nèi)部裂隙與外部環(huán)境連通,風(fēng)化破碎后試樣邊緣有碎塊掉落,網(wǎng)絡(luò)進(jìn)行分割時(shí)會(huì)將碎渣與試樣之間的區(qū)域誤判為裂隙,利用圓形掩膜裁掉圖像邊緣作為新的待分割區(qū)域。中值濾波和均值濾波等傳統(tǒng)濾波算法雖然一定程度上抑制了噪聲,但是會(huì)模糊圖像的邊緣細(xì)節(jié)。Buades等人提出的非局部均值算法[32]可以有效降低巖心CT圖像中的高斯噪聲,并且保留巖心的細(xì)節(jié)特征和物質(zhì)間的空間相關(guān)性[33-34],故本文采用非局部均值濾波對(duì)數(shù)據(jù)進(jìn)行降噪處理。將數(shù)據(jù)集中所有CT圖像裁剪為256×256大小,以緩解GPU顯存不足問(wèn)題,并每隔20幀提取一幀制作二值標(biāo)簽,防止因樣本相似造成網(wǎng)絡(luò)過(guò)擬合,將泥頁(yè)巖裂縫區(qū)域像素標(biāo)注為白色,其余部分標(biāo)注為黑色。人工標(biāo)注費(fèi)時(shí)費(fèi)力,因此,對(duì)標(biāo)注好的數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、仿射變換等數(shù)據(jù)增廣操作以擴(kuò)充數(shù)據(jù)集,最終得到4 160張帶有標(biāo)注信息的泥頁(yè)巖裂縫CT圖像組成數(shù)據(jù)集,命名為MudshaleCrack,部分?jǐn)?shù)據(jù)集圖像及其標(biāo)簽如圖6所示。將預(yù)處理好的數(shù)據(jù)集劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集,比例為8∶1∶1。

圖6 MudshaleCrack數(shù)據(jù)集與標(biāo)簽Fig.6 MudshaleCrack dataset with labels

2.2 分割精度評(píng)價(jià)指標(biāo)

為了評(píng)估網(wǎng)絡(luò)的分割性能,引入混淆矩陣表示每個(gè)類別識(shí)別正確或錯(cuò)誤的數(shù)量,如表1所示。NTP表示正確預(yù)測(cè)為裂縫的白色像素?cái)?shù)量;NTN表示正確預(yù)測(cè)為背景的黑色像素?cái)?shù)量;NFP則表示背景被錯(cuò)誤預(yù)測(cè)為裂縫的白色像素?cái)?shù)量;NFN表示裂縫被錯(cuò)誤預(yù)測(cè)為背景的黑色像素?cái)?shù)量。

表1 混淆矩陣Tab.1 Confusion matrix

選擇精確率(precision,Rpre)、召回率(recall,Rrec)、像素準(zhǔn)確率(pixel accuracy,PA,式中簡(jiǎn)記RPA)、F1分?jǐn)?shù)(F1-score,式中簡(jiǎn)記F1)和交并比(intersection over union,IoU,式中簡(jiǎn)記IIoU)5個(gè)評(píng)價(jià)指標(biāo)量化預(yù)測(cè)結(jié)果與真實(shí)標(biāo)注中裂縫區(qū)域的一致性,各指標(biāo)定義如下。

(5)

(6)

(7)

(8)

(9)

式中:精準(zhǔn)率Rpre表示預(yù)測(cè)結(jié)果中,像素被預(yù)測(cè)為裂縫的比例,衡量是否有誤判;召回率Rrec表示在真實(shí)值中,像素被預(yù)測(cè)為裂縫的比例,衡量是否有遺漏;F1分?jǐn)?shù)是整合精準(zhǔn)率和召回率的一個(gè)判定標(biāo)準(zhǔn),F1越高說(shuō)明裂縫像素被漏檢少的同時(shí)誤判也少;RPA表示預(yù)測(cè)正確結(jié)果占所有像素的百分比;IIoU表示人工標(biāo)注裂縫和網(wǎng)絡(luò)預(yù)測(cè)裂縫的交集與其并集的商值,用來(lái)測(cè)量真實(shí)值與預(yù)測(cè)值之間的相關(guān)性。

2.3 實(shí)驗(yàn)參數(shù)設(shè)置

本實(shí)驗(yàn)使用PyCharm作為編譯器,在64位Windows10操作系統(tǒng)上搭建Pytorch版本為1.10.1+cu113的編程環(huán)境。CPU為Intel Xeon Platinum 8251,顯卡為Nvidia GeForce RTX 3060, 顯存為12 GB。

對(duì)MudshaleCrack數(shù)據(jù)集圖片進(jìn)行歸一化處理,提高數(shù)據(jù)的表現(xiàn)力。訓(xùn)練階段批大小(batch size)設(shè)置為8,訓(xùn)練迭代輪次(epoch)設(shè)置為100輪。為防止難易樣本的頻繁變化,選取Adam優(yōu)化器和指數(shù)衰減學(xué)習(xí)率的組合收斂網(wǎng)絡(luò)。為了避免過(guò)擬合,網(wǎng)絡(luò)訓(xùn)練過(guò)程中采用Dropout策略,因子設(shè)置為0.3。

實(shí)驗(yàn)分為訓(xùn)練驗(yàn)證和測(cè)試兩個(gè)階段。訓(xùn)練驗(yàn)證即在訓(xùn)練集上進(jìn)行訓(xùn)練,然后在驗(yàn)證集中進(jìn)行模型篩選,整個(gè)訓(xùn)練驗(yàn)證階段中的最佳模型為驗(yàn)證集IoU最高的模型,訓(xùn)練結(jié)束后保存最佳模型權(quán)重;測(cè)試階段使用測(cè)試集對(duì)最佳模型進(jìn)行測(cè)試,得到評(píng)價(jià)指標(biāo)和分割結(jié)果。

2.4 實(shí)驗(yàn)結(jié)果分析

2.4.1 不同算法對(duì)比實(shí)驗(yàn)

為了評(píng)估本文所提網(wǎng)絡(luò)對(duì)泥頁(yè)巖裂縫分割的有效性和可行性,在MudshaleCrack數(shù)據(jù)集上采用5個(gè)評(píng)價(jià)指標(biāo)與其他表現(xiàn)優(yōu)異的深度學(xué)習(xí)語(yǔ)義分割模型進(jìn)行對(duì)比實(shí)驗(yàn),對(duì)比算法分別為U-Net[19]、SegNet[20]、TransUNet[23]、Attention U-Net[35]、R2UNet[36]、UNet3+[37],除了將SegNet批大小設(shè)置為1外,其余5種對(duì)比網(wǎng)絡(luò)的訓(xùn)練策略與本文網(wǎng)絡(luò)保持一致。

2.4.2 消融實(shí)驗(yàn)

訓(xùn)練完成后,用驗(yàn)證集進(jìn)行消融實(shí)驗(yàn),選用Focal Loss作為損失函數(shù),討論在U-Net網(wǎng)絡(luò)基礎(chǔ)上,將標(biāo)準(zhǔn)卷積替換為殘差模塊,以及引入多尺度特征融合模塊對(duì)提高裂縫分割性能的有效性。實(shí)驗(yàn)結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)結(jié)果Tab.2 Ablation experiment results 單位:%

從表2中可以看出,使用殘差模塊ResBlock替換U-Net網(wǎng)絡(luò)模型中的常規(guī)卷積,F1分?jǐn)?shù)較原網(wǎng)絡(luò)提高0.014 3,IoU提高0.036 5。在U-Net網(wǎng)絡(luò)中添加MSFF模塊,F1分?jǐn)?shù)較原網(wǎng)絡(luò)提高0.018 3, IoU提高0.048 6。 在融合殘差結(jié)構(gòu)的網(wǎng)絡(luò)中添加MSFF模塊, 使測(cè)試結(jié)果的F1值提高0.043 7,IoU提高0.067 1。消融實(shí)驗(yàn)結(jié)果表明殘差模塊和MSFF能夠感知更多的裂縫多尺度信息,使模型的性能有一定的提升。

2.4.3 測(cè)試階段結(jié)果分析

為了證實(shí)MCS-Net對(duì)U-Net改進(jìn)的有效性,與不同的改進(jìn)U-Net算法進(jìn)行對(duì)比實(shí)驗(yàn)。測(cè)試集中部分裂縫分割可視化結(jié)果如圖7所示,圖7(a)為原始CT圖像,圖7(b)為人工標(biāo)注真實(shí)結(jié)果,圖7(c)～7(i)分別為采用本文方法MCS-Net、Attention U-Net、SegNet、TransUNet、U-Net、UNet3+和R2UNet得到的裂縫分割結(jié)果,并將各網(wǎng)絡(luò)可視化結(jié)果中用紅框和綠框標(biāo)記的區(qū)域在下方進(jìn)行放大展示。

圖7 各模型裂縫分割可視化結(jié)果Fig.7 Visualization results of crack segmentation for each model

從圖7可知, 各網(wǎng)絡(luò)之間分割結(jié)果具有較大差異。 當(dāng)泥頁(yè)巖CT圖像中的裂縫較細(xì)、 尺寸較小時(shí), 對(duì)比網(wǎng)絡(luò)出現(xiàn)不同程度的漏檢現(xiàn)象, 如Attention U-Net第2)行綠框、 U-Net第3)行綠框、 TransUNet第1)行紅框等。 當(dāng)裂縫結(jié)構(gòu)較復(fù)雜時(shí), 對(duì)比網(wǎng)絡(luò)出現(xiàn)了不同程度的誤檢和漏檢, 如Attention U-Net第3)行綠框、U-Net第2)行綠框、SegNet第3)行綠框等。當(dāng)泥頁(yè)巖基質(zhì)與裂縫灰度值相似時(shí),對(duì)比網(wǎng)絡(luò)出現(xiàn)了不同程度的誤檢,如UNet3+第4)行紅框,其中,R2UNet誤檢較多,原因是錯(cuò)誤地將用于裁剪的圓形掩膜邊緣識(shí)別為裂縫。從測(cè)試集分割結(jié)果看,7種網(wǎng)絡(luò)模型基本都可以較好地分割出裂縫的形態(tài),但本文方法(MCS-Net)漏檢更少,裂縫分割結(jié)果更連續(xù)、細(xì)節(jié)信息更豐富。

在數(shù)據(jù)集上測(cè)試了精確率、召回率、像素準(zhǔn)確率、F1分?jǐn)?shù)和IoU等評(píng)價(jià)指標(biāo),實(shí)驗(yàn)結(jié)果如表3所示,加粗項(xiàng)代表了該項(xiàng)指標(biāo)的最優(yōu)結(jié)果。

表3 測(cè)試集中各網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)對(duì)比Tab.3 Comparison of network evaluation indicators in the test set

從表3中可知,本文所提模型在測(cè)試集上的recall、IoU和F1值最高,其中,IoU比初始網(wǎng)絡(luò)U-Net高出0.042 8,F1值比U-Net高出0.090 3。 這充分表明了本文方法所采用的殘差模塊和MSFF模塊可以保留更多的語(yǔ)義信息, 在泥頁(yè)巖裂縫分割性能上更有效。 單張圖片預(yù)測(cè)時(shí)間表明SegNet網(wǎng)絡(luò)檢測(cè)速度最快,本文方法排在第4,雖然殘差模塊可以有效縮短訓(xùn)練時(shí)間,但MSFF模塊使網(wǎng)絡(luò)整體變得較為復(fù)雜,當(dāng)實(shí)驗(yàn)軟硬件環(huán)境配置較高時(shí),一定程度上可以忽略檢測(cè)單張圖片的速度指標(biāo)。

3 結(jié)語(yǔ)

針對(duì)裂縫結(jié)構(gòu)復(fù)雜、尺度范圍大、小裂縫較難分割的問(wèn)題,本文基于U-Net提出了一種融合殘差和多尺度特征的泥頁(yè)巖裂縫分割網(wǎng)絡(luò)MCS-Net。殘差模塊用來(lái)代替原U-Net網(wǎng)絡(luò)中的普通卷積,加深網(wǎng)絡(luò)深度,在避免網(wǎng)絡(luò)退化的同時(shí)保留更多的特征細(xì)節(jié),逐層下采樣使網(wǎng)絡(luò)獲取充分的上下文信息。采用多尺度特征融合(MSFF)模塊,將提取到的高語(yǔ)義特征進(jìn)行多尺度融合,兼顧大范圍裂縫和微小裂縫,以此提高網(wǎng)絡(luò)的感知能力。實(shí)驗(yàn)結(jié)果表明,本文方法取得了較好的分割性能,在測(cè)試集上IoU和F1值比U-Net網(wǎng)絡(luò)分別提高了0.042 8和0.090 3。泥頁(yè)巖CT圖像的層間信息對(duì)準(zhǔn)確分割泥頁(yè)巖裂縫具有重要意義。在后續(xù)研究中,將進(jìn)一步關(guān)注泥頁(yè)巖CT圖像的三維信息和裂縫的連通性。