基于改進Faster R-CNN算法的巖石裂隙發(fā)展方向跟蹤預測研究

黃曉紅，李鐵鋒，劉祥鑫，李偉

（1.華北理工大學 人工智能學院，河北 唐山 063210；2.華北理工大學 礦業(yè)工程學院，河北 唐山 063210）

0 引 言

在深部礦產(chǎn)資源開采、交通橋隧工程、水利水電工程中，巖土工程災害（如巖爆、巖體崩塌、巖體滑坡等）時有發(fā)生，給國家經(jīng)濟和工人人身安全帶來巨大損失和威脅，因此，巖體破裂失穩(wěn)問題一直都是國內(nèi)外巖體力學研究的重點問題。

20世紀90年代初，一些學者屢次發(fā)現(xiàn)地震前存在巖石熱紅外圖像異?，F(xiàn)象并展開了巖石加載過程中紅外輻射變化規(guī)律研究。劉善軍等［1-3］研究發(fā)現(xiàn)，巖石破裂紅外輻射前兆機理是巖石熱彈效應和摩擦熱效應的綜合，并且?guī)r石在破裂前平均紅外輻射溫度（AIRT）與熱像類型存在異常前兆；花崗巖的AIRT異常表現(xiàn)為發(fā)生剪切失穩(wěn)破裂前，AIRT迅速上升，而紅外輻射熱像異常表現(xiàn)為沿未來破裂帶出現(xiàn)熱紅外輻射高溫或低溫條帶；不同性質(zhì)的輻射條帶預示不同的破裂性質(zhì)，高溫條帶預示剪性破裂，低溫條帶預示張性破裂。巖石張裂隙發(fā)育時，產(chǎn)生熱彈（吸熱）效應，導致溫度下降；剪裂隙發(fā)育時，破裂面間發(fā)生相互錯動和摩擦，導致溫度上升。對花崗巖失穩(wěn)破裂前的紅外熱像中高溫和低溫區(qū)域內(nèi)的AIRT分別進行了監(jiān)測，發(fā)現(xiàn)破裂前高溫區(qū)域內(nèi)的AIRT持續(xù)上升，而低溫區(qū)域在破裂前AIRT先急劇下降然后再上升。徐忠印等［4］研究發(fā)現(xiàn)，花崗巖破裂過程中，目標區(qū)域AIRT隨時間變化曲線持續(xù)上升，直至破裂前夕。這讓越來越多的學者意識到，巖石破裂紅外輻射前兆對巖石破裂預警的重要性，同時也涌現(xiàn)許多基于巖石破裂紅外輻射前兆的機理分析與預警方法。張艷博等［5］采用巖石破裂紅外輻射特征與聲發(fā)射信號的聯(lián)合監(jiān)測對巖石破裂的損傷演化進行了分析；陳國慶等［6］對節(jié)里巖橋裂紋擴展的熱紅外輻射前兆信息進行了研究。

本文針對花崗巖單軸壓縮試驗中巖石表面裂隙發(fā)展方向的跟蹤預測方法進行研究?；趲r石失穩(wěn)破裂前的熱紅外輻射前兆具有平均紅外輻射溫度-時間曲線異常的現(xiàn)象，且裂隙延展往往與內(nèi)部失穩(wěn)破裂有關，因此在監(jiān)測到巖石破裂時，定位巖石裂隙所在紅外熱像圖中的位置，監(jiān)測紅外熱像圖中巖石裂隙及附近區(qū)域的溫度變化，并繪出紅外輻射溫度-時間曲線，然后進行分析，有助于跟蹤預測巖石裂隙發(fā)展方向?；趲r石破裂紅外熱像圖定位巖石裂隙稱為目標檢測。為避免裂隙發(fā)展帶來的部分巖土工程災害，必須及時定位紅外熱像巖石裂隙，所以對目標檢測精度和實時性均有一定要求。傳統(tǒng)圖像處理手段需要根據(jù)特定場景設計不同的圖像特征提取方法，但往往在某一場景有很好的表現(xiàn)，換另外一個場景可能就表現(xiàn)得很差。

近年來神經(jīng)網(wǎng)絡快速發(fā)展，其模擬人腦進行學習分析，實現(xiàn)數(shù)據(jù)特征分層理解、解釋、表達，具有強大的信息處理能力。神經(jīng)網(wǎng)絡在計算機視覺領域應用取得了非常好的效果，特別是圖像目標檢測，從而大量的優(yōu)秀算法被提出，其中應用比較廣泛的有從R-CNN到Faster R-CNN等［7-9］一系列二階段算法。單階段算法比較常見的有Yolo［10］，SSD［11］等一系列算法。鑒于本文巖石裂隙檢測對精度與實時性均有一定要求，提出使用基于改進的Faster R-CNN巖石裂隙發(fā)展方向跟蹤預測方法，并進行仿真，最后通過實驗驗證本文方法的有效性。

1 巖石裂隙發(fā)展方向跟蹤預測方法

1.1 改進的Faster R-CNN算法

巖石裂隙類型分為張性裂隙和剪性裂隙，本文針對這兩類裂隙進行目標檢測?？紤]到巖石單軸壓縮試驗中產(chǎn)生的裂隙尺寸差異較大，且?guī)r石裂隙形態(tài)復雜，所以對模型檢測不同尺寸巖石裂隙性能和模型的擬合能力有一定要求。對于工程應用，對裂隙檢測的精度和速度也有一定要求。針對這些要求，提出使用改進的Faster R-CNN算法進行裂隙目標檢測。

原始的Faster R-CNN（圖1）引入了區(qū)域建議型網(wǎng)絡（region proposal network，RPN），將傳統(tǒng)的區(qū)域建議方法用神經(jīng)網(wǎng)絡方法實現(xiàn)，減少了CPU使用率，利用GPU運行神經(jīng)網(wǎng)絡速度快的特點，加快模型運行速度。不僅如此，RPN還讓Faster R-CNN成為二階段目標檢測算法，即對每張紅外熱像圖的目標檢測經(jīng)過兩次識別與回歸，檢測精度很高。

圖1 Faster R-CNN結(jié)構(gòu)Fig.1 Faster R-CNN structure

1.1.1 深度殘差網(wǎng)絡

一般而言，卷積神經(jīng)網(wǎng)絡擁有更多的層數(shù)，即網(wǎng)絡的深度越深，可提取到的語義特征越豐富，模型的擬合能力越強，從而擁有更好的魯棒性。雖然網(wǎng)絡寬度即卷積核數(shù)量也影響模型的擬合能力，但其帶來的影響遠不及深度，因此本文著重考慮增加卷積神經(jīng)網(wǎng)絡深度，以提升其擬合能力?？紤]到對模型速度也有一定要求，且網(wǎng)絡層數(shù)越深，速度越慢，本文將原始Faster R-CNN的特征提取網(wǎng)絡即VGG16改為ResNet50，而不使用擬合能力更強的ResNet101。

ResNet由 多 組 殘 差 塊［12］（residual block）（式（1），圖2）堆疊而成，旨在解決深層神經(jīng)網(wǎng)絡存在的梯度消失問題，使深層神經(jīng)網(wǎng)絡的層數(shù)可以更多，精度更高，訓練更容易。

圖2 殘差塊Fig.2 Residual block

式中：Ouput為輸出；relu為激活函數(shù)；f（x）為殘差塊中‘⊕’之前的輸出；x為殘差塊的輸入。

1.1.2 優(yōu)化建議框與巖石裂隙特征的空間對應關系

由于RPN產(chǎn)生的建議框大小包含的多種特征圖區(qū)域尺寸各異，而后面分類器與回歸器使用的全連接層要求每次輸入的特征尺寸相同，針對上述問題，原始Faster R-CNN引入了ROIPooling結(jié)構(gòu)［9］。

ROIPooling結(jié)構(gòu)將每個建議框包含的特征圖尺寸統(tǒng)一為后面回歸器與分類器需要的大小，包含了兩次量化操作，從而引入了兩次量化誤差。對于尺寸較小的巖石裂隙，由于其本身所占圖像像素個數(shù)較少，因此量化誤差可能會導致檢測框誤差較大。針對此問題，本文將ROIPooling結(jié)構(gòu)改為ROIAlign［13］結(jié)構(gòu)。

ROIAlign結(jié)構(gòu)將ROIPooling結(jié)構(gòu)的發(fā)生兩次量化誤差的操作改為保持原有的浮點數(shù)不量化，并用雙線性插值法填充特征圖目標像素點，從而盡量避免量化誤差的產(chǎn)生。ROIAlign結(jié)構(gòu)如圖3所示。

圖3 ROIAlign結(jié)構(gòu)Fig.3 ROIAlign structure

圖3所示為ROIAlign結(jié)構(gòu)利用雙線性插值法求特征圖的過程。橫向虛線落在像素點上，說明其并未直接量化，而是保留了浮點數(shù)對應關系，然后用雙線性插值法求出圖中‘×’位置的像素值，盡量避免產(chǎn)生量化誤差。

1.1.3 多尺度特征融合

原始Faster R-CNN僅用頂層特征圖做分類與邊框回歸，隨著網(wǎng)絡層數(shù)加深，特征圖尺寸被壓縮，并伴隨有信息丟失，若巖石裂隙在原圖中尺寸較小，可能會在中間層丟失特征信息，導致漏檢。本文引入FPN（feature pyramid networks）結(jié)構(gòu)［14］，將特征提取網(wǎng)絡中多個不同層特征圖進行融合，由于不同層特征圖感受野不同，故稱多尺度特征融合。

圖4 FPNFig.4 Feature pyramid networks

1.2 平均紅外輻射溫度-時間曲線

裂隙發(fā)展方向預測方法主要是基于花崗巖加載過程中表面紅外輻射溫度場的定量分析。通常是選定目標區(qū)域，即神經(jīng)網(wǎng)絡模型檢測到的裂隙及附近區(qū)域，將區(qū)域內(nèi)的平均紅外輻射溫度（AIRT）作為分析指標，觀察AIRT隨時間的變化過程。AIRT（式3）考慮了溫度場內(nèi)所有像素的溫度值，能夠反映巖石溫度表面紅外輻射的整體強度［15］。

式中：aij為目標區(qū)域?qū)獪囟染仃囍忻總€像素點的溫度值；m為矩陣寬；n為矩陣長。

部分學者研究表明［4］，單軸壓縮下巖石在失穩(wěn)破裂前，目標區(qū)域的AIRT不斷上升直至發(fā)生失穩(wěn)破裂，隨后AIRT發(fā)生陡降。這是因為失穩(wěn)破裂發(fā)生前，內(nèi)部微小破裂已經(jīng)發(fā)生，由于內(nèi)部微小破裂的摩擦熱效應越發(fā)強烈，致使熱量積聚，溫度升高并傳至巖石表面，導致目標區(qū)域溫度升高。失穩(wěn)破裂發(fā)生后，巖石內(nèi)部空隙增大，從而熱量開始釋放，溫度驟降，且?guī)r石裂隙延展通常與內(nèi)部失穩(wěn)破裂發(fā)生有關，因此目標區(qū)域的AIRT不斷上升可作為裂隙延展的前兆。

2 試驗與分析

2.1 巖石試樣制備

試驗巖石為花崗巖，均取自沈陽，將自然狀態(tài)下的花崗巖加工成50 mm×100 mm×50 mm的標準試樣，試樣兩端平整度誤差小于0.02 mm，試樣制備滿足常規(guī)巖石力學試驗的要求。共制備試樣14塊，編號分別為GUD-1～GUD-14。

2.2 巖石單軸壓縮試驗與方法

巖石單軸壓縮試驗采用軸向等位移控制的方式進行加載，加載系統(tǒng)為TAW-3000型常規(guī)三軸試驗機。試驗機的最大軸向壓力3 000 kN，測量精度±1%。為了保證試樣和加載面完全接觸，先將試樣加載至2 kN，隨后以0.15 mm／min速率加載至破壞。試驗中采用德國Infra Tec Image IR 8 300紅外熱像儀，分辨率為640像素×512像素，光譜為2.0～5.7μm，溫度靈敏度小于25 mK（溫度在30°C時），試驗設備如圖5所示。

圖5 試驗設備Fig.5 Layout of test system

2.3 數(shù)據(jù)集制備

試驗中的巖石裂隙分為張性裂隙和剪性裂隙兩種類型（圖6）。由于花崗巖破裂狀態(tài)不可控，加載時6個面均可能出現(xiàn)裂隙，但僅可選取1個面作為觀測面，因此花崗巖裂隙紅外熱像圖收集具備一定的隨機性，從而導致收集難度較大。從試驗產(chǎn)生的紅外熱像圖中篩選277張差異較明顯的圖像，其中包含張性裂隙203個、剪性裂隙217個，圖像格式均統(tǒng)一為jpg格式。

制作訓練集。從277張紅外熱像圖中隨機選取227張，其中包含張性裂隙152個，剪性裂隙170個，用于訓練集制作。由于數(shù)據(jù)樣本有限，考慮到實際應用場景的復雜狀況，以及紅外熱像儀拍攝過程中視角與清晰度的變化，為提高模型泛化能力，采用角度旋轉(zhuǎn)、亮度變換、圖像裁剪、放大縮小和添加高斯噪聲的方法擴充訓練樣本圖像至3 632張。

制作測試集。為增加測試集數(shù)量，更好反映模型性能，使用余下的40張巖石裂隙紅外熱像圖做上下翻轉(zhuǎn)、鏡像翻轉(zhuǎn)、增加高斯噪聲、調(diào)整明暗等操作，將圖像擴充至200張。

《人力資源社會保障部 食品藥品監(jiān)管總局關于表彰全國食品藥品監(jiān)督管理系統(tǒng)先進集體和先進工作者的決定》影印件

針對基于改進Faster R-CNN算法的巖石裂隙檢測任務，利用選取的訓練集圖像與測試集圖像建立標準PASCAL VOC2007格式的巖石熱紅外裂紋圖像數(shù)據(jù)集。

為適應ResNet50的模型擬合能力，增加圖像差異，提升學習效果，驗證方法有效性，訓練集和測試集均未將紅外熱像圖右側(cè)顏色條與背景裁剪掉，如圖6所示。

圖6 巖石紅外熱像裂隙圖像樣本Fig.6 Thermal infrared images samples of rock cracks

2.4 神經(jīng)網(wǎng)絡模型訓練試驗及結(jié)果

本文仿真試驗硬件配置為：Tesla V100 SXM2 GPU，Intel（R）Xeon（R）Gold 6271C CPU＠2.60 GHz×24，32 GB內(nèi)存，100 GB硬盤。軟件平臺為：Ubuntu18.04LTS，paddlepaddle1.8.0框架，CUDA 11.0，cuDNN 7.6，Anaconda4.7.5（Python3.7.4）開發(fā)環(huán)境。

本文中使用的評價指標為平均精度均值mAP［16］（mean average precision），該評價指標兼顧了檢測準確率（precision）和召回率［16］（recall），相較于單純使用準確率，使用此評價指標能更好地反映模型算法的全局性能。mPA計算方法如下。

式中：IOU為預測框與真實框重疊部分與其總面積的比值，用于評估預測框與真實框的重合度，IOU≥0.5，并且模型判斷為True，歸類為TP，其余以此類推；AP為平均精度；對每一類AP（式7）求均值，得到mAP。

為縮短訓練時間，增強模型泛化能力，使用預訓練模型的參數(shù)進行參數(shù)初始化。預訓練模型均是基于ImageNet［17］的骨架網(wǎng)絡預訓練模型。所有預訓練模型均通過標準的Imagenet-1k數(shù)據(jù)集訓練得到。訓練過程中，衡量模型預測誤差的函數(shù)即損失函數(shù)（loss）總體趨勢下降，且mAP總體趨勢上升，表示訓練有效，如圖7所示。

圖7 訓練過程中評價指標及裂隙檢測結(jié)果Fig.7 Evaluation index and detection results of fissures during training

訓練過程不僅訓練了改進的Faster R-CNN模型，而且還訓練了兩種現(xiàn)有目標檢測模型，即Yolo v3和SSD，并將它們進行對比分析。

不同模型在測試集上的測試結(jié)果見表1。每項改進對于Faster R-CNN的mAP均有較明顯提升，以ResNet50為特征提取網(wǎng)絡的Faster R-CNN其mAP達到80.31%，檢出率一般，有一定的漏檢率。改用ROIAlign后的Faster R-CNN，其mAP達到84.95%，上升了4.64%，表明提高了檢出率，這是因為建議框與巖石裂隙特征的空間對應關系更加準確。引入FPN結(jié)構(gòu)后的Faster R-CNN，其mAP達到88.81%，上升了3.86%，表明檢出率進一步提升，這是因為FPN結(jié)構(gòu)對模型特征進行了多尺度融合，提升了模型對不同尺寸巖石裂隙的檢測能力。最終改進后的Faster R-CNN的mAP可以達到88.81%，平均每秒能處理26.07張紅外熱像圖。由上述分析可見，改進后的Faster RCNN對紅外熱像圖中的巖石裂隙有著良好的檢測效果，但實時性一般，Yolo v3和SSD雖然實時性良好，準確度卻遠低于前者。實際應用場景下，改進后的Faster R-CNN平均每秒處理26.07張圖像的速度基本可以滿足應用需求，并且其達到88.81%的mAP表明模型可以適用大部分情況下的巖石裂隙檢測任務。

表1 測試結(jié)果Tab.1 Test results

為了更加直觀地對比模型檢測性能，挑選一張未添加到數(shù)據(jù)集且尺寸不同、裂隙形態(tài)復雜的紅外熱像圖，送入改進后的Faster R-CNN，及Yolo v3、SSD進行處理，然后觀察檢測結(jié)果。為了清晰顯示檢測結(jié)果，僅截取巖石部分，如圖8所示。由圖8可知，改進后的Faster R-CNN漏檢較少，而Yolo v3與SSD漏檢較多，表明改進后的Faster RCNN巖石裂隙檢測性能明顯優(yōu)于Yolo v3與SSD模型。綜合試驗結(jié)果與實際應用情況，本文選用改進后的Faster R-CNN。

圖8 檢測結(jié)果對比Fig.8 Comparisons of detection results

2.5 巖石裂隙方向發(fā)展跟蹤預測仿真實驗及結(jié)果分析

利用通過訓練獲得的神經(jīng)網(wǎng)絡模型，即改進后的Faster R-CNN，對本文獲得的單軸壓縮花崗巖試驗過程中的紅外熱像圖依次進行處理。當神經(jīng)網(wǎng)絡模型檢測到花崗巖破裂裂隙時，獲得裂隙位置坐標，并開始監(jiān)測該坐標區(qū)域內(nèi)AIRT隨時間的變化，從而繪出監(jiān)測區(qū)域內(nèi)裂隙坐標時間之前1秒為起點的AIRT隨時間變化曲線。為清晰顯示檢測結(jié)果，僅截取圖中巖石部分。限于篇幅，選取典型試樣，如圖9～10所示。

由圖9（a）可知，花崗巖剪性裂隙出現(xiàn)，在內(nèi)部失穩(wěn)破裂進一步延展前，表面裂隙尺寸較小，改進后的Faster R-CNN模型可以準確識別并定位它在圖中的坐標位置，由于兩個裂隙坐標太近，故取兩個框坐標的最左上與最右下坐標組成目標區(qū)域坐標監(jiān)測，并繪出AIRT隨時間變化曲線。圖9（b）為花崗巖張性裂隙出現(xiàn)且未進一步延展時，由于其僅檢測出一個框，故可直接以該框為目標區(qū)域進行監(jiān)測，其余同理。

圖9 檢測結(jié)果Fig.9 Detection results

圖10（a）中劇烈陡降點為GUD-4監(jiān)測區(qū)域巖體內(nèi)部發(fā)生失穩(wěn)破裂導致巖石裂隙延展的時刻，這印證了前人的研究結(jié)果［4］，即花崗巖發(fā)生失穩(wěn)破裂時，AIRT隨時間變化曲線會發(fā)生陡降，且在失穩(wěn)破裂前，該區(qū)域巖體表面溫度持續(xù)上升，這同樣符合前人的研究結(jié)論［4］。從監(jiān)測改進后的Faster R-CNN模型定位的裂隙區(qū)域繪制的AIRT隨時間變化曲線觀測到的在花崗巖發(fā)生失穩(wěn)破裂前期AIRT持續(xù)上升的特征，可作為花崗巖失穩(wěn)破裂導致巖石裂隙延展的前兆信息。

圖10 AIRT隨時間變化曲線Fig.10 AIRT curves with time

圖10（b）中劇烈抖動點為GUD-5監(jiān)測區(qū)域內(nèi)巖體發(fā)生失穩(wěn)破裂致使裂隙延展的時刻。圖10中AIRT多次出現(xiàn)陡降并再次升溫，這是因為巖體內(nèi)部多次發(fā)生失穩(wěn)破裂，導致內(nèi)部空隙增大從而釋放內(nèi)部熱量，致使溫度降低，但內(nèi)部仍持續(xù)發(fā)生微小破裂，并再次積聚熱量，升高溫度，孕育新的失穩(wěn)破裂，通過觀測破裂過程也印證了這一點。圖10中最后溫度急劇下滑不再上升，預示該區(qū)域?qū)獛r體內(nèi)部微小破裂很少或不再發(fā)生，失穩(wěn)破裂致使裂隙延展再次發(fā)生概率也急劇下降。

3 結(jié) 語

巖石裂隙因內(nèi)部失穩(wěn)破裂而進一步導致裂隙延展前，表面會出現(xiàn)尺寸較小的裂隙，改進的Faster R-CNN模型可有效并準確地檢測出裂隙位置并獲得其坐標，較Yolo v3和SSD模型有更好的檢測效果。模型還考慮了mAP評價指標、模型的運行速度和運行環(huán)境等。在本文自建測試集上，改進的Faster R-CNN模型的mAP達到88.81%，且在Tesla V100 GPU下運行速度達到26.07 f／s，表明模型可以檢測出大多數(shù)巖石裂隙，綜上可知，模型性能一定程度上可滿足應用需求。

利用改進后的Faster R-CNN模型處理花崗巖裂隙紅外熱像圖，對獲得的裂隙坐標區(qū)域進行AIRT監(jiān)測，結(jié)果表明，AIRT隨時間變化曲線符合前人研究規(guī)律，即花崗巖內(nèi)部失穩(wěn)破裂前目標區(qū)域溫度持續(xù)上升，表明對花崗巖裂隙因內(nèi)部失穩(wěn)破裂而延展帶來的災害在一定程度上可以預測，證明了本文方法的有效性。

本文巖石裂隙發(fā)展方向跟蹤預測方法有其局限性，不適用于所有情況，未來會完善。巖石裂隙紅外熱像圖像稀缺，相信以后有更多的數(shù)據(jù)參與到模型訓練中，從而進一步提升模型性能。