基于改進(jìn)Faster RCNN的巖石熱紅外圖像張剪裂紋檢測

黃曉紅 盧 曄 張潤東 董詩琪

(1.華北理工大學(xué)人工智能學(xué)院,河北 唐山 062310;2.河北省工業(yè)智能感知重點(diǎn)實(shí)驗(yàn)室,河北 唐山 062310;3.華北理工大學(xué)管理學(xué)院,河北 唐山 062310)

巖石的破裂模式會對巖石破壞形態(tài)產(chǎn)生影響,張性破壞和剪性破壞的破壞形式具有明顯區(qū)別[1],故對巖石張剪裂隙進(jìn)行檢測對于礦山災(zāi)害防治具有重要意義。熱紅外圖像監(jiān)測一直是巖石破裂過程研究的重要方法之一[2-7]。吳立新等[8]試驗(yàn)研究了巖石壓剪破裂過程的熱紅外輻射成像規(guī)律,發(fā)現(xiàn)壓剪作用越強(qiáng),破裂過程中紅外輻射升溫現(xiàn)象越明顯。陳國慶等[9]研究了節(jié)理巖橋在單軸加載過程中的紅外熱像圖變化特征,得出巖石在加載破裂過程中存在兩種紅外異常破裂前兆,并根據(jù)熱像圖變化預(yù)測了裂紋擴(kuò)展趨勢。謝玉晟[10]對煤巖的張剪破壞演化過程中的紅外輻射特征進(jìn)行了分析,結(jié)果表明:剪切破壞形式的煤巖試樣破壞前紅外輻射溫度整體呈升高趨勢,熱像圖沿破裂帶呈高溫條帶特征;張拉破壞形式的試樣紅外輻射溫度整體呈下降趨勢,熱像圖沿破裂帶呈低溫條帶特征。劉善軍等[11]對不同巖性巖石破裂前后的紅外異常輻射進(jìn)行了研究,認(rèn)為巖石破裂熱紅外異常是熱彈效應(yīng)和摩擦熱效應(yīng)綜合作用的結(jié)果,且?guī)r石熱像在破裂前存在異常前兆。李鐵峰[12]采集了巖石破裂過程中的熱紅外圖像,并使用改進(jìn)的Faster RCNN對巖石的張剪裂紋進(jìn)行了檢測定位,檢測精度達(dá)到了88.81%。

總體來說,現(xiàn)有研究對于張拉破裂和剪切破裂的破裂模式區(qū)分不足,隨著深度學(xué)習(xí)的加速發(fā)展,基于卷積神經(jīng)網(wǎng)絡(luò)的圖像和視頻目標(biāo)檢測算法不斷更新[13-15],基于深度學(xué)習(xí)的張剪裂紋識別會成為巖石破裂失穩(wěn)研究的熱點(diǎn)。本研究在Faster RCNN 網(wǎng)絡(luò)的基礎(chǔ)上優(yōu)化了特征提取和檢測框回歸算法,提出一種新的巖石熱紅外圖像張剪裂紋檢測方法,并通過巖石破裂試驗(yàn)采集巖石破裂過程中的張性裂紋和剪性裂紋熱紅外圖像構(gòu)建數(shù)據(jù)集,訓(xùn)練并驗(yàn)證模型的準(zhǔn)確性,在犧牲少量推理速度的情況下,大幅度提高了巖石張剪裂紋檢測的準(zhǔn)確率。

1 試驗(yàn)數(shù)據(jù)

本研究通過開展花崗巖單軸壓縮試驗(yàn)收集巖石破裂過程中的紅外熱像圖,建立巖石紅外裂隙數(shù)據(jù)集。

1.1 巖石破裂試驗(yàn)

花崗巖單軸壓縮試驗(yàn)環(huán)境為TAW-3000 型常規(guī)三軸壓力機(jī)和Infra Tec Image IR 8300 紅外熱像儀。將花崗巖試件加工成大小為50 mm×50 mm×100 mm(長×寬×高)的長方體,將試件受力面兩端打磨至不平整度在0.05 mm 范圍內(nèi),共制備了14 塊試件,分別編號為GUD-1～GUD-14。試驗(yàn)控制方式采用軸向等位移加載,先將試件預(yù)加載至2 kN,再以0.15 mm/min 的速率加載至試件破壞。使用紅外熱像儀記錄花崗巖試件表面的紅外輻射溫度變化,且在試驗(yàn)過程中禁止人員走動,以減少環(huán)境因素干擾。

1.2 數(shù)據(jù)集構(gòu)建

本研究花崗巖熱像異常表現(xiàn)為:在花崗巖破裂前沿破裂帶出現(xiàn)熱紅外輻射高溫或低溫異常條帶,高溫異常預(yù)示剪性破裂,低溫異常則預(yù)示張性破裂[11]。

從在巖石破裂試驗(yàn)中獲取的巖石裂隙紅外熱像圖中篩選出267 幅差異較明顯的圖像,圖像格式均為jpg 格式。為了保證訓(xùn)練過程中樣本相對均衡,在張裂與剪裂目標(biāo)數(shù)量相差較小的前提下,從篩選出的267 幅巖石裂隙熱像圖中隨機(jī)抽取227 幅圖像,其中張性裂隙162 幅,剪性裂隙65 幅。使用角度旋轉(zhuǎn)、尺度變換、裁剪等數(shù)據(jù)增廣方法進(jìn)行預(yù)處理,獲得3 632 幅照片用作訓(xùn)練集。將剩余的40 幅圖像同樣做數(shù)據(jù)增廣至200 幅,用作測試集。使用LabelImg軟件對巖石裂隙進(jìn)行標(biāo)記,制作巖石紅外裂隙的PASCAL VOC 格式數(shù)據(jù)集。數(shù)據(jù)集中典型樣本如圖1所示。

圖1 典型的張剪裂紋圖像Fig.1 Typical tension-shear crack images

2 基于改進(jìn)Faster RCNN的巖石熱紅外圖像張剪裂紋檢測

2.1 Faster RCNN 模型檢測原理

Faster RCNN[16]網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示,采用ResNet50[17]為Faster RCNN 網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò),使用特征金字塔(Feature Pyramid Networks,FPN)[18]進(jìn)行多尺度特征融合。首先將圖片輸入主干網(wǎng)絡(luò)進(jìn)行特征提取,通過FPN 生成多尺度特征圖,然后用區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)生成相對較精確的建議框,將建議框映射到每一個(gè)尺度的特征圖上,利用ROI Align 將每個(gè)建議框所對應(yīng)的特征圖統(tǒng)一為固定尺寸,送入后續(xù)網(wǎng)絡(luò)進(jìn)行分類和回歸,最終獲得檢測框的類別并實(shí)現(xiàn)精準(zhǔn)定位。

圖2 Faster RCNN 模型架構(gòu)Fig.2 Structure of Faster RCNN model

2.2 改進(jìn)的Faster RCNN 模型

在目標(biāo)檢測算法中,目標(biāo)分類和檢測框回歸的操作都是在主干網(wǎng)絡(luò)提取的特征圖的基礎(chǔ)上完成的,因此提取的圖像特征的質(zhì)量會直接影響最終的檢測精度,另外,回歸的檢測框質(zhì)量也會對檢測精度造成很大影響。綜上,本研究從特征提取角度和檢測框回歸角度對模型進(jìn)行改進(jìn),引入注意力引導(dǎo)的上下文特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)和級聯(lián)檢測結(jié)構(gòu),來提高巖石張剪裂紋檢測的準(zhǔn)確率,改進(jìn)后的Faster RCNN 模型結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)的Faster RCNN 模型架構(gòu)Fig.3 Structure of improved Faster RCNN model

2.2.1 采用注意力引導(dǎo)的上下文特征金字塔網(wǎng)絡(luò)

巖石裂紋具有形態(tài)多樣、大小不一等特點(diǎn),識別難度高。圖像在輸入特征提取網(wǎng)絡(luò)后會生成低維度到高維度幾個(gè)不同維度的特征圖,不同維度特征圖包含不同的特征信息。FPN 網(wǎng)絡(luò)可以將不同維度的特征圖進(jìn)行融合再用于后續(xù)的分類和回歸操作,加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的特征表達(dá)能力。但是,FPN 方法依然存在一些不足:在輸入圖像分辨率過高的情況下,感受野不能很好地覆蓋整幅圖像,無法獲取有效的語義信息,難以充分利用目標(biāo)周圍的環(huán)境信息;對于大尺度目標(biāo)的檢測效果不十分理想,經(jīng)過多次下采樣后特征圖分辨率降低,雖然感受野會變大,但是細(xì)節(jié)特征會丟失,多尺度感受野獲取的語義信息利用率低。為此,本研究引入了注意力引導(dǎo)的上下文特征金字塔網(wǎng)絡(luò)(Attention-guided Context Feature Pyramid Network,ACFPN)[19],該結(jié)構(gòu)能融合來自不同尺寸的感受野特征,在增大感受野的同時(shí)能夠充分利用物體的上下文語義信息,獲得更高的準(zhǔn)確率。

ACFPN 的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。該網(wǎng)絡(luò)主要由兩部分組成:一部分是上下文提取模塊(Context Extraction Module,CEM),其作用是從各個(gè)不同大小的感受野中獲取上下文信息,但是為了避免大量且繁雜的上下文關(guān)系對定位和識別任務(wù)造成誤導(dǎo),又加入了另外一個(gè)部分即注意力引導(dǎo)模塊(Attention-guided Module,AM),該模塊可以通過注意力機(jī)制來顯著增強(qiáng)對象周圍的有用信息。AM 模塊包含兩個(gè)子模塊:上下文注意模塊(Context Attention Module,CxAM)和內(nèi)容注意模塊(Content Attention Module,CnAM)。前者用于捕獲各子區(qū)域間的語義信息,后者用于定位精確位置信息,將經(jīng)過兩模塊細(xì)化后的特征與輸入特征進(jìn)行融合能得到更全面的特征表示,從而獲得更好的檢測結(jié)果。

圖4 ACFPN 結(jié)構(gòu)Fig.4 Structure of ACFPN

2.2.2 引入級聯(lián)檢測結(jié)構(gòu)

情人節(jié)我玩失蹤，對葉靄玲是一個(gè)致命打擊。她一頓疾風(fēng)驟雨般的審問，讓我不得不承認(rèn)，我是在白麗筠那里。我甚至向她坦白我與白麗筠發(fā)生了實(shí)質(zhì)性的兩性關(guān)系。我覺得我所做的一切都是順理成章的，沒有一點(diǎn)兒牽強(qiáng)，因而也是美好的，用不著慚愧。

交并比(Intersection over Union,IOU)是用來評估預(yù)測框與目標(biāo)框接近程度的一個(gè)指標(biāo),IOU值越大,表示預(yù)測框越接近真實(shí)框。IOU可取的最小值為0,表示預(yù)測框與真實(shí)框沒有相交,可取的最大值為1,表示預(yù)測框與真實(shí)框重合。

在Faster RCNN 模型的分類回歸階段,會設(shè)置一個(gè)IOU閾值來界定正負(fù)樣本,若閾值設(shè)置過小,正樣本中也會包含大量背景信息,容易造成誤檢;若閾值設(shè)置過大,則會造成正樣本數(shù)量過少。當(dāng)輸入的建議框與真實(shí)框的IOU值與設(shè)置的閾值接近時(shí),模型的檢測效果達(dá)到最佳[20]。為進(jìn)一步提高檢測框的檢出率和準(zhǔn)確率,避免漏檢和檢測框偏離真實(shí)框的情況,在Faster RCNN+ACFPN 網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上引入了級聯(lián)(Cascade)檢測結(jié)構(gòu)。Cascade 結(jié)構(gòu)的特點(diǎn)是級聯(lián)多個(gè)不同的IOU閾值的檢測器[21],將前一個(gè)檢測器的輸出用作后一個(gè)檢測器的輸入,IOU逐步上升,由于每一級結(jié)構(gòu)輸出時(shí)的IOU普遍大于輸入時(shí)的IOU,因此檢測效果也會逐步提升。

2.3 整體思路

基于改進(jìn)Faster RCNN的巖石熱紅外圖像張剪裂紋檢測流程如下:

(1)進(jìn)行花崗巖單軸壓縮破壞試驗(yàn),獲取巖石破裂的熱紅外圖像,從獲取的巖石破裂圖像中挑選出差異明顯的張性裂紋圖像和剪性裂紋圖像并標(biāo)注成數(shù)據(jù)集。

(2)使用自制的巖石紅外裂隙數(shù)據(jù)集對改進(jìn)的Faster RCNN 模型進(jìn)行訓(xùn)練。首先將ResNet50 輸出的多層特征經(jīng)過ACFPN 融合成包含上下文信息的多級特征金字塔,送入RPN 網(wǎng)絡(luò)生成建議框;然后將建議框映射到每一個(gè)尺度的特征圖上,經(jīng)過ROI Align統(tǒng)一尺寸后,送入檢測器進(jìn)行分類和回歸,多級檢測器級聯(lián)并逐步提高檢測器的IOU閾值得到最終的檢測結(jié)果。進(jìn)行消融試驗(yàn)驗(yàn)證模型改進(jìn)的有效性。

(3)使用訓(xùn)練后的模型對巖石破裂實(shí)例進(jìn)行檢測,證明模型的有效性。

3 試驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 試驗(yàn)設(shè)計(jì)

本研究使用百度飛槳深度學(xué)習(xí)平臺作為試驗(yàn)平臺,核心框架采用PaddlePaddle 1.8。訓(xùn)練過程中的模型優(yōu)化策略使用動量法(Momentum),將動量系數(shù)設(shè)置為0.9,初始學(xué)習(xí)率設(shè)置為0.002 5,迭代次數(shù)為20 400,衰減系數(shù)為0.1。當(dāng)?shù)螖?shù)分別為13 600、18 000 時(shí),將學(xué)習(xí)率調(diào)整為原來的0.1 倍,每隔1 000次進(jìn)行一次模型評估。

本研究采用平均精度均值(mean Average Precision,mAP)和每秒傳輸幀數(shù)(Frames Per Seconds,FPS)作為巖石裂紋目標(biāo)檢測方法評估指標(biāo)。mAP為指數(shù)據(jù)中全部類的Precision-Recall 曲線下面積的平均值。精確度P、召回率R的計(jì)算公式為

式中,TP為分類器判斷為正樣本且實(shí)際為正樣本的數(shù)量;FP為分類器判斷為正樣本但實(shí)際為負(fù)樣本的數(shù)量;FN為分類器判斷為負(fù)樣本但實(shí)際為正樣本的數(shù)量。

3.2 試驗(yàn)結(jié)果

本研究使用的基礎(chǔ)Faster RCNN 網(wǎng)絡(luò)模型與文獻(xiàn)[12]中模型相同,使用自制的巖石熱紅外圖像裂紋數(shù)據(jù)集訓(xùn)練模型,基礎(chǔ)Faster RCNN 模型在測試集的mAP為88.81%,檢測速度為26.71 fps。使用ACFPN和Cascade 作為改進(jìn)策略對基線網(wǎng)絡(luò)模型進(jìn)行改進(jìn)后,在相同的數(shù)據(jù)集上,對巖石熱紅外圖像的張剪裂紋檢測精度分別提升了1.34%和3.96%,消融試驗(yàn)結(jié)果見表1。最終模型在自制數(shù)據(jù)集的測試集上檢測精度達(dá)到了94.11%,檢測速度為19.27 fps,模型mAP收斂情況如圖5所示。與基礎(chǔ)模型相比,改進(jìn)后的模型檢測精度提升明顯,證明了方法的有效性。

表1 消融試驗(yàn)結(jié)果Table 1 Results of ablation experiment

圖5 Faster RCNN+ACFPN+Cascade 模型mAP 值變化Fig.5 mAP values changes of Faster RCNN+ACFPN+Cascade model

使用改進(jìn)后的Faster RCNN 模型對巖石熱紅外圖像張剪裂紋進(jìn)行了檢測,結(jié)果如圖6所示。

圖6 張剪裂紋檢測效果Fig.6 Detection effects of tension-shear crack

3.3 實(shí)例檢測分析

巖石在受力加載過程中的破壞形態(tài)是多樣的,往往不是單一的張拉破裂或者剪切破裂,多為張拉破裂和剪切破裂混合的復(fù)合破裂模式。由于復(fù)合破裂模式破壞過程過于復(fù)雜,本研究暫不討論。以發(fā)生典型張性破裂的GUD-5 試件為例,該試件的破壞形式為一條軸向主裂紋將試件分割成兩部分。

GUD-5 試件加載過程的AIRT 變化曲線如圖7所示。由圖7 可知:在試件加載初期巖石試件表面整體溫度先短暫上升后平穩(wěn)變化,在158 s 后轉(zhuǎn)為下降趨勢,加載進(jìn)行至335 s 時(shí),溫度出現(xiàn)突降,在第464 s時(shí),試件表面平均溫度出現(xiàn)第二次突降?？傮w而言,發(fā)生張拉破裂的巖石表面溫度呈下降趨勢。

圖7 GUD-5 試件AIRT—時(shí)間曲線Fig.7 AIRT-time curves of sample GUD-5

根據(jù)試件AIRT 曲線變化情況選取0、338、341、379、447、473 s為代表性時(shí)間節(jié)點(diǎn)將裂紋的物理變化與裂紋的熱紅外圖像以及本研究模型對裂紋的檢測結(jié)果進(jìn)行對比分析,結(jié)果如圖8所示。圖8(a)為試件單軸壓縮過程中的可見光照片,圖8(b)為該試件與圖(a)對應(yīng)時(shí)間點(diǎn)的熱紅外圖像,圖8(c)為使用本研究模型對圖(b)的檢測結(jié)果。在加載初期,巖石試件的紅外熱像圖無異常變化,在第338 s 時(shí),試件中間開始出現(xiàn)低溫異常輻射現(xiàn)象,而后低溫異常逐步延伸成形,341 s 時(shí),試件中央出現(xiàn)明顯的低溫條帶,與試件AIRT 曲線上出現(xiàn)的第一次溫度驟降時(shí)間段相符,試件表面出現(xiàn)肉眼可見的裂紋。加載至379 s時(shí),熱像圖能直觀展現(xiàn)裂隙形狀,且與巖石物理裂隙形狀相同,隨著加載進(jìn)行,巖石裂隙不斷加深、加寬,紅外熱像圖也呈現(xiàn)對應(yīng)的變化,464 s 出現(xiàn)第二次溫度驟降后,試件破裂面積明顯增大,直至完全破裂。

圖8 GUD-5 試件破裂過程及檢測結(jié)果Fig.8 Fracture process and detection effects of GUD-5 sample

使用本研究模型將GUD-5 試件加載破裂過程中的典型圖像進(jìn)行了檢測,結(jié)果表明:

(1)在裂隙發(fā)展初期,裂隙未成形時(shí),本研究模型檢測能力低下,338 s 時(shí),產(chǎn)生了將巖石表面反射光點(diǎn)檢測為剪性裂紋的誤檢現(xiàn)象。

(2)裂隙成形后,應(yīng)用本研究模型能準(zhǔn)確檢測出巖石破裂位置,精確度較高,且隨著加載進(jìn)行,巖石裂隙不斷擴(kuò)大,模型仍能準(zhǔn)確檢測出巖石破裂位置。

(3)本研究模型能夠在巖石破裂前期及時(shí)發(fā)現(xiàn)巖石表面裂隙,標(biāo)記巖石破裂位置,精度高、速度快,為巖石破裂空間預(yù)警提供了新思路。

4 結(jié)論

(1)在Faster RCNN 模型的基礎(chǔ)上,利用ACFPN網(wǎng)絡(luò)和級聯(lián)檢測網(wǎng)絡(luò)優(yōu)化了模型特征表示和檢測框回歸準(zhǔn)確度,在自建的巖石紅外裂隙數(shù)據(jù)集上獲得了更高的檢測精確度。

(2)所提模型可以識別出巖石表面的溫度異常區(qū)域,根據(jù)熱像圖上的異常溫度變化特征預(yù)測巖石的破裂模式和破裂區(qū)域。將本研究巖石破裂試驗(yàn)獲取的花崗巖破裂過程中的熱紅外圖像數(shù)據(jù)使用所建模型進(jìn)行檢測,結(jié)果顯示:花崗巖在單軸壓縮試驗(yàn)中試件整體多發(fā)生張性破裂,剪性破裂多發(fā)生在巖石局部位置,檢測結(jié)果可以為巖石破裂預(yù)警提供參考。

(3)在巖石裂紋出現(xiàn)早期,裂紋特征不明顯,使用所建模型的檢測效果不理想,有待進(jìn)一步優(yōu)化。