基于Mask R-CNN 的地下礦爆堆塊度檢測技術(shù)研究*

劉瑩瑩 ,龐其壯,張寶金,張洪昌,荊洪迪,張興帆

(1.鞍鋼集團關(guān)寶山礦業(yè)有限公司,遼寧 鞍山市 114044;2.鞍山冀東水泥有限責任公司,遼寧 鞍山市 114013;3.鞍鋼礦業(yè)有限公司眼前山分公司,遼寧 鞍山市 114000;4.中國科學院沈陽自動化研究所,遼寧 沈陽 110016)

0 引言

礦石的尺寸大小是礦山爆破中一個十分重要的研究方向,很多學者對其進行了深入的研究,因為礦石的尺寸影響著之后工序的效率,如裝載、運輸、破碎等[1-3]。

獲得爆破后爆堆的礦巖尺寸信息,是進行爆破參數(shù)優(yōu)化的第一步。目前,爆破后爆堆礦石尺寸信息的傳統(tǒng)測量方法主要有篩分法、二次爆破統(tǒng)計法、爆堆直接測量法、相關(guān)測量法、經(jīng)驗法、攝影測量法等[4-6]。上述方法各有弊端,例如,篩分法不僅會消耗大量人力物力,還會影響礦山正常的生產(chǎn),因此只適合在實驗室研究使用;二次爆破統(tǒng)計法及相關(guān)測量法得出的數(shù)據(jù)受設(shè)備影響較大,準確率不高;經(jīng)驗法依賴有豐富經(jīng)驗的專家,不適合大規(guī)模推廣應用。

隨著圖像處理技術(shù)的發(fā)展,眾多的學者將圖像分割技術(shù)應用于爆堆的大塊檢測任務中,主要的圖像分割技術(shù)有基于閾值的圖像分割方法[7-8]、基于區(qū)域的圖像分割方法[9]、基于邊緣的圖像分割方法[10-11]以及基于深度學習的圖像分割方法[12-14]。然而,以上所述的方法或是不適合應用于礦石圖像的分割,或是分割后難以統(tǒng)計礦石的尺寸信息,都不適合于爆堆大塊的檢測以及大塊尺寸信息的測量。

近年來,隨著深度學習技術(shù)的發(fā)展,越來越多的領(lǐng)域中都出現(xiàn)了深度學習技術(shù)的身影,如人臉識別、語音識別以及自動駕駛等。深度學習技術(shù)是讓計算機模擬人類的學習過程,從而在海量信息中提取特征。在眾多的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,卷積網(wǎng)絡(luò)結(jié)構(gòu)(CNN)因其較少的參數(shù)量,高準確率和高精確率等特點在圖像處理中得到了廣泛的應用。

然而,深度學習技術(shù)還未能在礦業(yè)領(lǐng)域得到廣泛的引用。本研究的目的是利用深度學習技術(shù)以解決傳統(tǒng)的爆堆塊度測量中的勞動強度大、礦石尺寸無法直接計算的問題。

本研究提出了一種爆堆大塊檢測及尺寸測量模型(OBDM 模型),在利用相機獲取爆堆的圖片后,利用labelme軟件制作數(shù)據(jù)集,利用制作的數(shù)據(jù)集對OBDM 模型進行訓練,訓練完成的模型即可用于礦山中爆堆大塊的檢測和測量。本研究的主要貢獻有:建立了專門用于爆堆大塊檢測和測量的實例分割模型(OBDM 模型);解決了傳統(tǒng)圖像分割方法無法直接測量大塊尺寸的問題;在OBDM 模型中使用了resnet34特征提取網(wǎng)絡(luò)模型并使模型的性能達到了最優(yōu);研究了傳統(tǒng)的圖像分割方法,并將分割結(jié)果與OBDM 模型得到的結(jié)果比較,證明了OBDM 模型性能的優(yōu)越性。

1 OBDM 模型

1.1 OBDM 模型結(jié)構(gòu)

目前,在礦山領(lǐng)域大塊率的測量主要采用圖像分析法,但是傳統(tǒng)的圖像分析法無法精確地給出大塊的信息。為了能夠?qū)崿F(xiàn)爆堆大塊檢測及尺寸測量,本文基于Mask-RCNN 實例分割模型提出了爆堆大塊檢測及尺寸測量模型(OBDM)。圖1展示了OBDM 模型的整體結(jié)構(gòu)。Mask-RCNN 模型使用的特征提取網(wǎng)絡(luò)是resnet101。101的意思是這種網(wǎng)絡(luò)由101層網(wǎng)絡(luò)層構(gòu)成,是一種深度很深的網(wǎng)絡(luò)結(jié)構(gòu)。這決定了resnet101網(wǎng)絡(luò)可以提取圖像中十分細微的特征,但是也使得訓練和檢測過程的速度十分緩慢。礦石圖像具有結(jié)構(gòu)簡單,種類單一的特點,不需要使用resnet101這種深度很深的網(wǎng)絡(luò)。因此,本文提出了一種結(jié)構(gòu)簡單的特征提取網(wǎng)絡(luò)resnet34,試驗結(jié)果證明resnet34網(wǎng)絡(luò)在礦石分割領(lǐng)域中的精度與resnet101相差無幾,速度卻提升了很多。為了解決爆堆圖像中礦石尺寸難以測量的問題,提出了一種基于標志的礦石尺寸測量方法。最后,為了使檢測框的位置更準確,引入一種基于coarse-to-fine網(wǎng)絡(luò)結(jié)構(gòu)的級聯(lián)區(qū)域建議網(wǎng)絡(luò)。

圖1 OBDM 模型結(jié)構(gòu)

1.2 resnet34特征提取網(wǎng)絡(luò)

resnet網(wǎng)絡(luò)主要用于解決深度神經(jīng)網(wǎng)絡(luò)的“退化(degradation)”問題,即使用淺層網(wǎng)絡(luò)線性疊加成深層網(wǎng)絡(luò)后,深層網(wǎng)絡(luò)強大的特征提取能力并未被利用,而且準確率會降低,需要注意的是,這個退化不是由于過擬合導致的。

resnet網(wǎng)絡(luò)也稱為殘差網(wǎng)絡(luò)。resnet是由殘差塊(Residual Building Block)構(gòu)建的,包含了兩種映射:恒等映射(identity mapping)和殘差映射(residual mapping)。

殘差塊由多個級聯(lián)的卷積層和一個shortcut connections組成,將二者的輸出值累加后,通過Re-LU 激活層得到殘差塊的輸出。多個殘差塊串聯(lián)起來從而實現(xiàn)更深的網(wǎng)絡(luò)。

殘差結(jié)構(gòu)可簡單的寫成如下形式:

通過遞歸,可以得到任意深層單元L特征的表達:

即對于任意深的單元L的特征xL可以表達為淺層單元的特征xl加上一個形如的殘差函數(shù),這表明了任意單元L和l之間都具有殘差特性。

對于反向傳播,假設(shè)損失函數(shù)為E,根據(jù)反向傳播的鏈式法則可以得到:

這個導數(shù)可以被分為兩部分。

(2)通過權(quán)重層的傳遞,見下式:

前者保證了信號能夠直接傳回到任意的淺層xl,同時這個公式也保證了不會出現(xiàn)梯度消失的現(xiàn)象,因為不可能為－1。

Shortcut Connection的兩種方式。

(1)shortcut同等維度映射,F(x)與x相加就是就是逐元素相加。

(2)如果兩者維度不同,需要給x執(zhí)行一個線性映射來匹配維度。

前文已經(jīng)提出,Mask-RCNN 實例分割模型主流的特征提取網(wǎng)絡(luò)是resnet101,101代表resnet101由101個網(wǎng)絡(luò)層組成。如此多的網(wǎng)絡(luò)層,決定了其訓練及檢測過程的耗時特性?；诘V石圖像中結(jié)構(gòu)簡單及種類單一的特性,提出了resnet34網(wǎng)絡(luò)結(jié)構(gòu)。如圖2 所示,在resnet34 網(wǎng)絡(luò)結(jié)構(gòu)中,采用兩種殘差塊,一種是x經(jīng)過卷積操作后與F(x)相加,稱為conv_block;另一種是x不經(jīng)過卷積操作直接與F(x)相加,稱之為identity_block。

圖2 殘差塊結(jié)構(gòu)

兩種殘差塊采用相同的結(jié)構(gòu),皆采用3層卷積結(jié)構(gòu),每層卷積層后都會進行歸一化和激活函數(shù)處理操作。需要注意的是,第三層卷積層的激活函數(shù)處理操作是在Shortcut Connections 操作之后進行的。

resnet34網(wǎng)絡(luò)結(jié)構(gòu)一共有34層,其中,第一層卷積層和最大池化層用來獲取第一種尺寸的特征圖;用一個conv_block 和兩個identity_block 共9層網(wǎng)絡(luò)層獲取第二種尺寸的特征圖;用一個conv_block和3個identity_block共12層網(wǎng)絡(luò)層獲取第三種尺寸的特征圖;用一個conv_block即3層網(wǎng)絡(luò)層獲取第四種尺寸的特征圖;用一個conv_block和兩個identity_block共9層網(wǎng)絡(luò)層獲取第五種尺寸的特征圖。

1.3 多尺寸特征圖融合模式

在礦石大塊檢測任務中,大塊尺寸之間差異巨大是檢測中一個具有挑戰(zhàn)性的難點。具體來說,有的礦石的尺寸可以達到數(shù)米,而有些礦石的尺寸卻只有數(shù)十厘米。為了提升模型檢測和分割不同塊度礦石的能力,建立的礦石大塊檢測與測量模型(OBDM)引入了一種名為特征金字塔網(wǎng)絡(luò)(FPN)的多尺度特征融合模式。FPN 中高維、低維特征圖融合過程如圖3 所示。首先,高維的特征圖進行1×1的卷積操作以減少高維特征圖的通道數(shù),處理之后的特征圖經(jīng)過一個2×上采樣操作來增加高維特征圖的尺寸使其與低維的特征圖相匹配。最后,高維和低維的特征圖通過特征金字塔模型逐步融合。直觀地講,高維特征圖的語義信息補償入分辨率更高的低維特征圖中來提升模型檢測不同尺度目標的能力。

圖3 FPN 中高維、低維特征圖融合過程

1.4 OBDM 模型損失函數(shù)

OBDM 模型訓練過程的損失函數(shù)主要有4種:檢測框回歸損失函數(shù)、目標類別損失函數(shù)、建議區(qū)域損失函數(shù)、實例分割損失函數(shù)。

在檢測框回歸函數(shù)中,假定一個RoI的位置信息是b=(bx,by,bw,bh)。其中,bx,by為檢測框左上角的坐標,bw,bh代表檢測框的寬度和長度。檢測框的回歸損失函數(shù)的公式如下:

式中,smoothL1代表smooth-L1損失函數(shù),計算公式如下:

目標種類損失函數(shù)和建議區(qū)域損失函數(shù)采用交叉熵損失函數(shù)(CE),公式如下:

式中,h x（）表示分類函數(shù),一般通過softmax函數(shù)計算,公式如下:

式中,Z代表一個K＋1維的向量。

實例分割的損失函數(shù)是對輸出的每個對象的二進制掩碼逐像素進行交叉熵損失函數(shù)計算,最后取所有值的平均值。

OBDM 模型即是利用上述4 種損失函數(shù)的和作為損失值來進行訓練。

1.5 礦石尺寸計算模塊

目前礦石大塊檢測任務的主要難點是礦石真實尺寸難以計算。因此,本文提出了一種基于像素點統(tǒng)計的爆堆圖像大塊尺寸測量方法。

為計算爆堆圖像內(nèi)大塊實際尺寸,需要知道大塊由多少個像素點構(gòu)成以及每個像素點代表的面積是多少。大塊的像素點個數(shù)通過OBDM 模型輸出的大塊mask掩碼來計算,即在OBDM 的預測器中加入掩碼計算及輸出分支。而每個像素點面積通過引入Pixel Area(PA)這一概念來計算。PA 的計算是通過引入一個面積已知的標志物。這樣得到的爆堆圖像中便有了面積已知的物體。

在利用圖像制作數(shù)據(jù)的時候,將礦石的種類設(shè)定為rock,將標志物的種類設(shè)定為marker。這樣,在OBDM 模型的輸出中既有大塊的掩碼信息又有標志物的掩碼信息。OBDM 的預測模塊結(jié)構(gòu)如圖4所示。通過OBDM 模型輸出的marker的掩碼信息以及已知的marker的面積,可以計算出PA值。

圖4 OBDM 預測模塊結(jié)構(gòu)

2 工程應用

本文圖片數(shù)據(jù)皆來自鞍鋼礦業(yè)集團眼前山地下礦,由實驗室工作人員使用自主開發(fā)的邊緣設(shè)備現(xiàn)場采集。制作了一個由數(shù)百張圖片組成的數(shù)據(jù),專門用于爆堆大塊的檢測及尺寸計算。

2.1 數(shù)據(jù)集準備

本研究中,制作了一個名為MPBRD1.0的爆堆大塊圖像數(shù)據(jù)集。數(shù)據(jù)集中包含數(shù)百張爆堆圖像,每張圖像中的物體類別分為rock和marker兩類。對數(shù)據(jù)集利用labelme標注軟件來標注實例掩碼。根據(jù)大塊不同的尺寸,將大塊分為3 種,超級大塊(srock),中等大塊(mrock),普通大塊(nrock)。在標注的過程中,將每張圖片內(nèi)不同種類大塊的數(shù)量進行統(tǒng)計,最后將所有圖片中不同種類大塊的數(shù)量進行統(tǒng)計,得到數(shù)據(jù)集中不同尺寸大塊的數(shù)量分布統(tǒng)計。

2.2 評估方法

在本研究中,采用Mean Average Precision(m AP)以及處理圖片的時間(PT)來評估模型的性能,采用MS COCO 方法來計算每種大塊的m AP,計算公式如下:

式中,m AP 代表平均精確率;Pinterp（r）=代表對應于召回率r的最高精確率;class代表大塊的種類。

2.3 超參數(shù)設(shè)置

訓練過程中采用隨機梯度下降算法(SGD)作為模型的優(yōu)化算法,動量設(shè)置為0.9。初始學習率設(shè)為0.01,學習率衰減系數(shù)設(shè)為1E-4,訓練的epochs設(shè)置為108,訓練批次(batch_size)設(shè)置為1。訓練開始階段,采用學習率遞減方法來訓練模型,在最后的8個epoch里,采用multi-step方法來更新學習率。同時隨機地對圖片進行豎直翻轉(zhuǎn)來增強數(shù)據(jù)。模型的訓練在jupyter編譯器中利用tensorflow 深度學習框架完成。

2.4 試驗結(jié)果

本試驗中隨機選取兩張爆堆圖片進行處理,得到的處理結(jié)果如圖5所示。

圖5 爆堆圖像OBDM 模型處理效果

圖5(a)和圖5(b)是經(jīng)過OBDM 模型處理的爆堆圖像效果圖,可以看到圖中的大塊都被識別。整體識別效果可達到應用要求,但是礦石的形狀復雜多樣,導致模型不能對礦石的形狀做到百分百的分割。受制于訓練集的數(shù)量,在圖像分割領(lǐng)域中,訓練集中圖片數(shù)量越多,模型學習到的細節(jié)就越多,分割的準確性就越好,訓練集中圖片數(shù)量在一定程度上影響分割結(jié)果。

本模型的檢測結(jié)果明顯優(yōu)于canny算法、分水嶺算法及U-Net網(wǎng)絡(luò)等圖像分割方法所得到的結(jié)果。圖中每個檢測框上第一行顯示的文字為目標的種類及屬于該種類的分數(shù),第二行為目標的面積。Rock代表的種類是大塊,marker代表的種類是標志物。可以看到,圖中的大塊都被準確識別出來,且大塊尺寸也被準確計算出來。

最終,將模型與程序搭載于帶視覺系統(tǒng)的邊緣計算設(shè)備上,該設(shè)備能夠輔助現(xiàn)場技術(shù)人員及時對地下礦復雜環(huán)境條件下的現(xiàn)場爆破效果進行及時評價,有助于地下礦爆破效率與質(zhì)量的提升。

3 結(jié)論

地下礦爆堆大塊的現(xiàn)場快速識別和測量,對于礦山生產(chǎn)具有重要的現(xiàn)實意義。為了解決爆堆大塊的識別和測量問題,本研究提出了一種基于實例分割技術(shù)的大塊檢測模型(OBDM)。OBDM 模型的建立主要包括:采集礦山現(xiàn)場爆堆圖像數(shù)據(jù);利用labelme標注軟件制作數(shù)據(jù)集;基于深度學習數(shù)據(jù)集對OBDM 模型進行訓練;邊緣計算設(shè)備搭載OBDM 模型進行爆堆大塊檢測及測量。

試驗結(jié)果證明,相較于傳統(tǒng)的圖像分割方法,本研究提出的OBDM 模型的檢測結(jié)果不僅在分割準確程度上取得了極大地提升,還能同時測量出大塊的尺寸,可以為實際生產(chǎn)提供技術(shù)支撐。經(jīng)地下礦現(xiàn)場試驗證明,本研究提出的大塊檢測及測量方法取得了較好的結(jié)果,在地下礦現(xiàn)場生產(chǎn)實踐中有較好的的應用前景。