基于深度學(xué)習(xí)技術(shù)的纖維混凝土CT圖像中短切玻璃纖維的快速識(shí)別模型

張 鵬, 洪 麗,2,3, 李他單

(1.合肥工業(yè)大學(xué) 土木與水利工程學(xué)院, 安徽 合肥 230009;2.同濟(jì)大學(xué)工程結(jié)構(gòu)服役性能演化與控制教育部重點(diǎn)實(shí)驗(yàn)室, 上海 200092;3.合肥水泥研究設(shè)計(jì)院有限公司,安徽 合肥 230051)

0 引 言

混凝土以擁有眾多優(yōu)點(diǎn)而被廣泛應(yīng)用于建筑工程中。但是混凝土的抗拉強(qiáng)度低,易開裂,嚴(yán)重影響其耐久性和安全性。研究顯示[1],纖維的摻入能夠有效抑制裂縫的開展,明顯提高混凝土的抗拉性能和抗裂能力。然而,纖維在基體中的分布對(duì)其增強(qiáng)效果有重要影響[2]。大量研究表明[3-6],當(dāng)纖維分布方向與裂縫開展方向垂直時(shí),纖維增強(qiáng)效果最顯著;而當(dāng)二者平行時(shí),增強(qiáng)效果最差。因此,獲取纖維混凝土中短切纖維的分布有利于進(jìn)一步揭示纖維在基體中的作用機(jī)理。

但是針對(duì)混凝土中纖維分布的研究,主要基于CT成像技術(shù)并獲取纖維混凝土的切片圖像[7,8],通過圖像分析,逐一通過人工標(biāo)記法確定纖維的位置[9,10],這類方法需要消耗大量的人力且效率低。文獻(xiàn)[11-14]采用傳統(tǒng)的圖像處理法識(shí)別短切纖維,該方法首先對(duì)圖像進(jìn)行灰度化處理,根據(jù)纖維與背景圖像的像素值大小不同,再采用閾值法對(duì)圖形進(jìn)行二值化分析,使纖維在圖像中分割出來。該方法對(duì)鋼纖維的識(shí)別效果較好,因?yàn)殇摾w維與混凝土基體的密度差別明顯。但是,該方法對(duì)原始圖像的精度要求高,無法準(zhǔn)確地分割含有豐富背景噪聲的圖像,且因玻璃纖維、玄武巖纖維等與混凝土基體的密度差異小,導(dǎo)致閾值法對(duì)這類纖維的識(shí)別準(zhǔn)確率低。

隨著機(jī)器學(xué)習(xí)技術(shù)的不斷發(fā)展,基于深度學(xué)習(xí)的圖像識(shí)別已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)。DeeplabV3+[15]語義分割模型,作為深度學(xué)習(xí)的代表算法,其在圖像識(shí)別領(lǐng)域具有重要應(yīng)用。Zhou[16]等基于深度學(xué)習(xí)技術(shù)建立了混凝土表面孔洞快速識(shí)別方法。

為了快速準(zhǔn)確獲取纖維混凝土中短切纖維的分布,本文基于深度學(xué)習(xí)技術(shù),以課題組前期獲得的玻璃纖維混凝土Nano-CT圖像為數(shù)據(jù)集,采用DeeplabV3+模型建立了短切玻璃纖維的快速識(shí)別方法。

1 數(shù)據(jù)來源

為獲取纖維在混凝土基體中的真實(shí)分布狀態(tài),課題組前期通過對(duì)玻璃纖維混凝土(Glass Fiber Reinforced Concrete,GRFC)試件進(jìn)行鉆芯取樣,獲得直徑8 mm、高20 mm的圓柱體樣品,并通過X-ray Nano-CT無損檢測(cè)技術(shù),獲取了玻璃纖維混凝土樣本中核心部分的正、側(cè)和水平方向的掃描圖像[17]。其中,正向掃描圖像共993張圖像,部分圖像如圖1所示,圖像大小為400 pixels×400 pixels×3。從圖1中可以看出,灰色的線條狀組分即為短切玻璃纖維,其長度為12 mm, 直徑13 μm,密度約2.63 g/cm3;與短切玻璃纖維灰度相近的即為水泥砂漿基體,其密度約為2.37 g/cm3[18];黑色的組分為孔洞,密度為0;白色的組分為未水化的水泥顆粒,其密度最大。

圖1 玻璃纖維混凝土的X-ray Nano-CT掃描斷面圖

2 模型的構(gòu)建

本文基于深度學(xué)習(xí)對(duì)纖維混凝土中的短切纖維進(jìn)行識(shí)別。整體過程分為四個(gè)階段,數(shù)據(jù)預(yù)處理、模型的建立、模型的訓(xùn)練和模型的驗(yàn)證,如圖2所示。

圖2 基于深度學(xué)習(xí)對(duì)短切玻璃纖維的快速識(shí)別過程

2.1 圖像預(yù)處理

2.1.1 數(shù)據(jù)增強(qiáng)

基于X-ray Nano-CT掃描試驗(yàn),本文共獲取了850張含有玻璃纖維的有效圖片。為提高快速識(shí)別模型的精度,作者通過數(shù)據(jù)增強(qiáng)技術(shù)對(duì)原始圖像分別進(jìn)行鏡像、旋轉(zhuǎn)或局部放大,將850張?jiān)紙D像數(shù)據(jù)增強(qiáng)至2 773張,其中2 400張為訓(xùn)練集,30張為驗(yàn)證集,73張為測(cè)試集。

2.1.2 數(shù)據(jù)標(biāo)記

為了與快速識(shí)別模型的預(yù)測(cè)結(jié)果進(jìn)行比較,提高模型的泛化能力,本文利用labelme軟件將原始圖像中的短切玻璃纖維標(biāo)記為白色,而其他背景均標(biāo)記為黑色,生成的標(biāo)簽圖像如圖3所示。

圖3 數(shù)據(jù)標(biāo)記

2.2 模型的訓(xùn)練

2.2.1 模型構(gòu)建

DeeplabV3+[15]是Google團(tuán)隊(duì)開發(fā)的語義分割模型,其不僅具有空洞卷積(Atrous Convolution)算法和空間金字塔模塊(Atrous Spatial Pyramid Pooling,ASPP),還引入了Encoder-Decoder結(jié)構(gòu),通過Encoder結(jié)構(gòu)獲取高級(jí)特征語義信息,Decoder結(jié)構(gòu)進(jìn)行像素級(jí)的分割預(yù)測(cè),可更精確的對(duì)圖像特征進(jìn)行提取和識(shí)別。

將纖維混凝土Nano-CT圖像輸入到Encoder結(jié)構(gòu)中,經(jīng)過主干網(wǎng)絡(luò)Xception(圖4)提取所需的圖像特征。首先,從Xception中抓取一個(gè)低尺度的特征圖引入Decoder結(jié)構(gòu)中,提供邊緣特征。其他的圖像特征進(jìn)入ASPP,從不同尺度獲取圖像的基本信息,隨后經(jīng)過一個(gè)1×1卷積核降維后,將特征圖引入Decoder結(jié)構(gòu),并與邊緣特征進(jìn)行融合,最后上采樣到原始圖像大小。最后,將得到的預(yù)測(cè)結(jié)果與標(biāo)簽圖像對(duì)比計(jì)算誤差,尋找一次參數(shù)的局部最優(yōu)解至此完成一次訓(xùn)練,經(jīng)過多次訓(xùn)練迭代得到最優(yōu)化權(quán)重。

圖4 主干網(wǎng)絡(luò)Xception結(jié)構(gòu)示意圖[15]

2.2.2 損失函數(shù)

本文采用交叉熵?fù)p失函數(shù)(Loss),模型在輸出的預(yù)測(cè)結(jié)果中對(duì)每個(gè)像素點(diǎn)進(jìn)行分類并計(jì)算該點(diǎn)在每一類中的概率值,損失函數(shù)是計(jì)算真實(shí)概率值和預(yù)測(cè)概率值之間的差異,計(jì)算公式如下:

(1)

式中：Loss為損失函數(shù)值；m為圖像樣本中像素個(gè)數(shù)；n為類別個(gè)數(shù)，本文中只有背景和纖維兩種，所以n等于2；p(xij)表示真實(shí)概率值，而q(xij)表示預(yù)測(cè)概率值。

2.2.3 評(píng)價(jià)指標(biāo)

本文引入準(zhǔn)確率ACC(Accuracy)[19]，交并比IoU(Intersection over Union)[19]和F1-score[20]三個(gè)指標(biāo)評(píng)價(jià)DeeplabV3+模型的預(yù)測(cè)結(jié)果。準(zhǔn)確率ACC為樣本中所有預(yù)測(cè)正確的像素占總像素的比例，其計(jì)算公式如下：

(2)

式中：TP為真正例,將正類別正確地預(yù)測(cè)為正類別的像素?cái)?shù);FP為假正例,將負(fù)類別錯(cuò)誤地預(yù)測(cè)為正類別的像素?cái)?shù);FN為假負(fù)例,將正類別錯(cuò)誤地預(yù)測(cè)為負(fù)類別的像素?cái)?shù);TN為真負(fù)例,將負(fù)類別正確地預(yù)測(cè)為負(fù)類別的像素?cái)?shù)。

IoU為圖像預(yù)測(cè)結(jié)果和標(biāo)簽圖像進(jìn)行比較后,所得到的識(shí)別物體的交并比,計(jì)算原理如圖5所示。

圖5 IoU的計(jì)算示意圖

F1-score[20]是精確率[21](Precision)和召回率[21](Recall)的調(diào)和平均值，具體計(jì)算公式如下：

(3)

3 模型的訓(xùn)練與驗(yàn)證

3.1 試驗(yàn)環(huán)境

Python語言中的Keras是一種以Tensorflow為后端的開源神經(jīng)網(wǎng)絡(luò)庫,DeeplabV3+是在windows操作系統(tǒng)上使用Keras搭建的,所有的訓(xùn)練和驗(yàn)證都是在GPU(Graphic Processing Unit)上完成的。具體的軟件版本和硬件型號(hào)見表1。

表1 環(huán)境配置表

3.2 訓(xùn)練

3.2.1 參數(shù)配置

本文數(shù)據(jù)集中的訓(xùn)練集共有2 430張圖像，每次向模型中同時(shí)輸入2張圖片。因此，模型中每個(gè)周期(epoch)需要1 215個(gè)迭代步數(shù)(step)才能完全歷遍整個(gè)數(shù)據(jù)訓(xùn)練集。在每次迭代過程后都會(huì)計(jì)算網(wǎng)絡(luò)的訓(xùn)練損失，樣本每循環(huán)訓(xùn)練3次就保存1次權(quán)重文件。本文在分析過程中選擇的激活函數(shù)為ReLU函數(shù)，優(yōu)化器選擇自適應(yīng)矩估計(jì)[22](Adaptive Moment Estimation，Adam)模塊。參數(shù)設(shè)定完成后開始訓(xùn)練，以驗(yàn)證集的Loss為基準(zhǔn)，當(dāng)Loss 3次不下降時(shí)，下調(diào)學(xué)習(xí)率至當(dāng)前學(xué)習(xí)率的0.5倍；當(dāng)Loss連續(xù)10次不再下降時(shí)，停止訓(xùn)練。

3.2.2 初始學(xué)習(xí)率對(duì)比

為了得到更好的網(wǎng)絡(luò)參數(shù),本文設(shè)置了3組不同的初始學(xué)習(xí)率進(jìn)行訓(xùn)練。圖6顯示了訓(xùn)練損失函數(shù)Loss和交并比IoU在不同初始學(xué)習(xí)率下的變化情況。圖6的Loss曲線中當(dāng)學(xué)習(xí)率為1e-2時(shí),在5個(gè)epoch之前Loss下降速度較快,隨著訓(xùn)練的逐步進(jìn)行Loss值下降速度變緩,最終的Loss值也明顯高于其他兩個(gè)學(xué)習(xí)率的Loss值;學(xué)習(xí)率為1e-3在訓(xùn)練剛開始就有著較低的Loss值,其后Loss值的發(fā)展變化情況同學(xué)習(xí)率為1e-4類似,均在前20個(gè)epoch下降,在第20個(gè)epoch后趨于穩(wěn)定,最終兩者的Loss值基本保持一致,其表現(xiàn)為兩者對(duì)訓(xùn)練集有著同樣的學(xué)習(xí)速率。而在IoU曲線中當(dāng)學(xué)習(xí)率為1e-2時(shí),學(xué)習(xí)率上升明顯緩于其他兩種學(xué)習(xí)率的IoU曲線,達(dá)到穩(wěn)定時(shí)是在35個(gè)epoch;學(xué)習(xí)率為1e-3和1e-4時(shí)曲線上升速率快幅度大,在epoch為20時(shí)達(dá)到穩(wěn)定,學(xué)習(xí)率為1e-3的IoU更高一些。綜合分析,當(dāng)學(xué)習(xí)率為1e-3時(shí)模型的表現(xiàn)最好,為模型的最佳初始學(xué)習(xí)率。

圖6 不同初始學(xué)習(xí)率下訓(xùn)練集Loss和IoU的變化曲線

3.3 結(jié)果分析

圖7分別顯示了在最佳初始學(xué)習(xí)率下多種指標(biāo)IoU、F1-score和ACC在驗(yàn)證集中的變化情況。從圖7中可以看出,交并比IoU在20個(gè)epoch左右時(shí)趨于穩(wěn)定; 而F1-score初期快速上升,在20個(gè)epoch前震蕩上升,20個(gè)epoch后增長緩慢趨于穩(wěn)定;準(zhǔn)確率ACC一直保持在較高的水平,這是因?yàn)閿?shù)據(jù)集中大部分為背景像素,短切纖維在圖像中像素占比低,權(quán)重小。最終在驗(yàn)證集中,IoU為0.65,F1-score為0.79,ACC為0.99。

圖7 驗(yàn)證集不同指標(biāo)的變化曲線

DeeplabV3+模型的對(duì)該GFRC掃描圖片中短切纖維的分割結(jié)果如圖8所示。從比較原圖8(a)和分割結(jié)果圖8(b)可發(fā)現(xiàn),DeeplabV3+模型對(duì)本文數(shù)據(jù)集的分割效果較好,因?yàn)镈eeplabV3+模型擁有金字塔ASPP模塊,可以從不同尺度方向上對(duì)短切纖維的特征進(jìn)行采集,所以在預(yù)測(cè)過程中較高的還原了短切纖維的邊界特征,使其保持高分割精度。

圖8 DeeplabV3+模型的驗(yàn)證結(jié)果

另外,在測(cè)試集中的計(jì)算結(jié)果表明DeeplabV3+模型的準(zhǔn)確率ACC、交并比IoU和F1-score分別為99.3%,67.2%和80.4%。這表明,DeeplabV3+模型能夠準(zhǔn)確識(shí)別混凝土中的短切玻璃纖維。

4 結(jié) 論

本文基于DeeplabV3+深度學(xué)習(xí)模型,對(duì)玻璃纖維混凝土Nano-CT圖像中的短切纖維進(jìn)行了快速識(shí)別,得到的結(jié)論總結(jié)如下:

(1)基于數(shù)據(jù)增強(qiáng)技術(shù)實(shí)現(xiàn)了對(duì)玻璃纖維混凝土圖像數(shù)量的擴(kuò)充,建立了滿足深度學(xué)習(xí)技術(shù)的玻璃纖維混凝土圖像數(shù)據(jù)集。

(2)模型采用DeeplabV3+模型,通過不同初始學(xué)習(xí)率之間進(jìn)行比較,確定了本數(shù)據(jù)集的最佳初始學(xué)習(xí)率為1e-3。

(3)模型驗(yàn)證結(jié)果表明,DeeplabV3+在短切玻璃纖維的識(shí)別效果上,準(zhǔn)確率ACC、交并比IoU和F1-score分別達(dá)到了99.3%、67.2%和80.4%。

(4)作者們擬進(jìn)一步借助圖形學(xué)原理獲取短切纖維在圖像中的分布信息,為建立短切玻璃纖維在混凝土中的分布模型及其對(duì)纖維混凝土破壞行為的影響奠定基礎(chǔ)。