基于改進(jìn)Mask R-CNN 的刮板輸送機(jī)鐵質(zhì)異物多目標(biāo)檢測(cè)

史凌凱，耿毅德，王宏偉，4，王洪利

（1.太原理工大學(xué) 安全與應(yīng)急管理工程學(xué)院，山西 太原 030024；2.太原理工大學(xué) 山西省煤礦智能裝備工程研究中心，山西 太原 030024；3.山西焦煤集團(tuán)有限責(zé)任公司 博士后工作站，山西 太原 030024；4.太原理工大學(xué) 機(jī)械與運(yùn)載工程學(xué)院，山西 太原 030024）

0 引言

刮板輸送機(jī)是煤礦井下運(yùn)輸煤炭的主要設(shè)備。在刮板輸送機(jī)運(yùn)行過(guò)程中，一旦鏈槽內(nèi)落入鋼板、鋼索、錨桿等剛性鐵質(zhì)異物，會(huì)加速刮板、鏈條等部件的磨損和疲勞，甚至?xí)斐晒伟逋ｎD、鏈條斷裂等故障，影響煤礦正常生產(chǎn)。此外，刮板輸送機(jī)在高速運(yùn)行時(shí)具有較大慣性，若落入鏈條間隙的鐵質(zhì)異物飛出，則會(huì)引發(fā)人員傷亡等嚴(yán)重事故，是工作面安全隱患之一。

近年來(lái)，很多研究者利用機(jī)器視覺(jué)對(duì)鐵質(zhì)異物的智能識(shí)別進(jìn)行研究，并取得了一定成果。任國(guó)強(qiáng)等[1]提出了一種Fast_YOLOv3 算法，采用反卷積網(wǎng)絡(luò)算法解決目標(biāo)樣本不均衡問(wèn)題，實(shí)現(xiàn)了異物識(shí)別。杜京義等[2]將DarkNet22-DS 輕量化網(wǎng)絡(luò)植入Jetson Xavier NX 開(kāi)發(fā)板中，通過(guò)金字塔系統(tǒng)實(shí)現(xiàn)異物識(shí)別。吳守鵬等[3]設(shè)計(jì)了基于Faster-RCNN 的異物辨識(shí)模塊，利用雙重監(jiān)督特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）的特征融合技術(shù)實(shí)現(xiàn)異物識(shí)別。王衛(wèi)東等[4]構(gòu)建了一種能夠減小背景干擾影響的語(yǔ)義分割網(wǎng)絡(luò)，實(shí)現(xiàn)了鐵質(zhì)異物識(shí)別。王燕等[5]提出了基于幀內(nèi)差分法和Select-Shape 算子的大塊鐵質(zhì)異物探測(cè)方法，實(shí)現(xiàn)了異物識(shí)別。上述研究主要存在以下局限性：①檢測(cè)精度與圖像特征緊密相關(guān)，適應(yīng)性較差。井下存在大量水霧和粉塵，光照情況多變，且刮板輸送機(jī)上的鐵質(zhì)異物形狀、大小各異，識(shí)別難度大。② 無(wú)法區(qū)分異物類(lèi)別與數(shù)量，如無(wú)法有效區(qū)分錨桿、鋼板、頭盔、角鐵和鐵鍬等。

針對(duì)上述問(wèn)題，本文提出一種基于改進(jìn)掩碼區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask Region-Convolutional Neural Network，Mask R-CNN）的刮板輸送機(jī)鐵質(zhì)異物多目標(biāo)檢測(cè)方法。對(duì)Mask R-CNN 進(jìn)行改進(jìn)，并通過(guò)自標(biāo)注的刮板輸送機(jī)鐵質(zhì)異物圖像數(shù)據(jù)集對(duì)改進(jìn)Mask R-CNN 模型進(jìn)行訓(xùn)練和測(cè)試，以提升鐵質(zhì)異物檢測(cè)精度。

1 刮板輸送機(jī)鐵質(zhì)異物多目標(biāo)檢測(cè)流程

刮板輸送機(jī)鐵質(zhì)異物多目標(biāo)檢測(cè)具體流程如圖1 所示。首先，采集刮板輸送機(jī)鐵質(zhì)異物圖像并制作數(shù)據(jù)集，對(duì)圖像進(jìn)行標(biāo)注，然后進(jìn)行格式轉(zhuǎn)換。其次，將改進(jìn)Mask R-CNN 模型部署于本地計(jì)算機(jī)，輸入數(shù)據(jù)集，對(duì)模型進(jìn)行訓(xùn)練。然后，當(dāng)模型的損失值收斂時(shí)停止訓(xùn)練并保存訓(xùn)練模型。最后，通過(guò)測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練模型進(jìn)行測(cè)試。

圖1 刮板輸送機(jī)鐵質(zhì)異物多目標(biāo)檢測(cè)流程Fig.1 Multi-object detection process of iron foreign bodies in scraper conveyor

2 Mask R-CNN 模型及其改進(jìn)

2.1 Mask R-CNN 基本原理

Mask R-CNN 是經(jīng)典的兩階段網(wǎng)絡(luò)框架。第1 個(gè)階段掃描異物圖像，生成可能含有異物目標(biāo)的區(qū)域；第2 個(gè)階段進(jìn)行分類(lèi)，并生成掩碼和邊界框[6-7]。Mask R-CNN 模型結(jié)構(gòu)如圖2 所示。該模型是對(duì)Fast RCNN 改進(jìn)得到的，在原來(lái)輸出的分類(lèi)結(jié)果（預(yù)測(cè)框的標(biāo)簽）和回歸結(jié)果（預(yù)測(cè)框的坐標(biāo)位置）基礎(chǔ)上，通過(guò)全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）增加一個(gè)輸出，即物體掩碼Mask。3 個(gè)輸出結(jié)果是平行支路關(guān)系。這種簡(jiǎn)化的網(wǎng)絡(luò)結(jié)構(gòu)可提高運(yùn)算速度和異物目標(biāo)識(shí)別率。

圖2 Mask R-CNN 模型結(jié)構(gòu)Fig.2 Structure of mask region-convolutional neural network model

2.1.1 特征提取網(wǎng)絡(luò)

Mask R-CNN 可采用多樣化特征提取框架，本文采用ResNet-50 特征提取器獲取鐵質(zhì)異物圖像特征。這種深度殘差網(wǎng)絡(luò)能夠?qū)⑶懊婺骋粩?shù)據(jù)層的輸出直接作為后面數(shù)據(jù)層的輸入[8]，跳過(guò)卷積網(wǎng)絡(luò)。這就意味著前面某層的特征貢獻(xiàn)在后面部分的特征層中占據(jù)更大比例，使得淺層特征在深層中得到重用，能夠較好地解決特征提取過(guò)程中訓(xùn)練集準(zhǔn)確率隨著網(wǎng)絡(luò)深度增加而下降的問(wèn)題。

2.1.2 FPN

刮板輸送機(jī)上的鐵質(zhì)異物是小尺度目標(biāo)，為加強(qiáng)模型對(duì)小尺度目標(biāo)的識(shí)別效果，本文采用FPN 進(jìn)行特征融合，引入一條從上到下的路徑，保證同時(shí)擁有高層的語(yǔ)義特征（如類(lèi)別、屬性等）和低層的輪廓特征（如顏色、輪廓、紋理等），以提高鐵質(zhì)異物識(shí)別精度[9]。FPN 結(jié)構(gòu)如圖3 所示。P1-P4為不同尺寸的特征圖，C1-C3為特征融合后的特征圖，以C3為例，其中含有低層特征圖P2和高層特征圖C2的多重圖像特征。

圖3 FPN 結(jié)構(gòu)Fig.3 Structure of feature pyramid networks

2.1.3 區(qū)域特征聚集網(wǎng)絡(luò)

區(qū)域特征聚集網(wǎng)絡(luò)通過(guò)收集圖像特征和候選區(qū)域特征，依據(jù)預(yù)測(cè)框的位置坐標(biāo)，將對(duì)應(yīng)的圖像區(qū)域轉(zhuǎn)換為特定尺寸的特征圖[10]，作為后續(xù)全連接層的輸入，而后進(jìn)行目標(biāo)類(lèi)別判定、邊框和掩碼覆蓋的回歸操作?；貧w操作使得候選邊界框更加接近真實(shí)邊界框，主要包含平移和尺度縮放2 種變換。真實(shí)邊界框內(nèi)為圖像中的目標(biāo)區(qū)域，候選邊界框內(nèi)為算法預(yù)測(cè)的可能含有目標(biāo)的區(qū)域。求解回歸邊界框的公式為

式中：tx，ty為候選邊界框平移參數(shù)；x，y，w，h分別為候選邊界框中心點(diǎn)的橫縱坐標(biāo)及寬度、高度；xa，ya，wa，ha分別為錨點(diǎn)（用來(lái)預(yù)測(cè)候選邊界框）中心點(diǎn)的橫縱坐標(biāo)及寬度、高度；tw，th為候選邊界框縮放參數(shù)；tx*，ty*為真實(shí)邊界框平移參數(shù)；x*，y*，w*，h*分別為真實(shí)邊界框中心點(diǎn)的橫縱坐標(biāo)及寬度、高度；tw*，th*為真實(shí)邊界框縮放參數(shù)。

2.2 模型改進(jìn)

雖然Mask R-CNN 能夠有效地實(shí)現(xiàn)目標(biāo)檢測(cè)與分割[11]，但因井下圖像背景復(fù)雜、異物圖像尺寸相差過(guò)大等，檢測(cè)時(shí)需要更多圖像低層特征。Mask R-CNN 模型中的錨點(diǎn)是由區(qū)域選取網(wǎng)絡(luò)生成的特定長(zhǎng)寬比例的矩形框，共計(jì)9 個(gè)錨點(diǎn)。由于錨點(diǎn)與本文中待檢測(cè)的5 種鐵質(zhì)異物尺寸不對(duì)應(yīng)，在生成建議區(qū)域的過(guò)程中會(huì)進(jìn)行過(guò)量回歸操作，降低Mask R-CNN 模型的檢測(cè)精度。針對(duì)該問(wèn)題，本文采用k-meansⅡ聚類(lèi)算法代替原來(lái)的錨點(diǎn)生成方案[12]。該算法避免了選定初試聚類(lèi)中心點(diǎn)的隨機(jī)性，通過(guò)遍歷數(shù)據(jù)集中標(biāo)注框的長(zhǎng)寬信息得到聚類(lèi)中心點(diǎn)。k-meansⅡ聚類(lèi)算法的詳細(xì)步驟如下：

（1）輸入含有異物目標(biāo)的數(shù)據(jù)集。

（2）在數(shù)據(jù)集中隨機(jī)選定k個(gè)點(diǎn)作為初始聚類(lèi)中心點(diǎn)，再重復(fù)4 次隨機(jī)取樣過(guò)程，得到5k個(gè)數(shù)據(jù)點(diǎn)，進(jìn)行聚類(lèi)分析，得到k個(gè)聚類(lèi)中心點(diǎn)。

（3）采用歐幾里得度量公式將數(shù)據(jù)集中的每個(gè)點(diǎn)劃分為距離該點(diǎn)最近的一類(lèi)。歐幾里得度量公式為

式中：D為距離；n為平面內(nèi)點(diǎn)的個(gè)數(shù)；xi，yi為平面內(nèi)第i個(gè)點(diǎn)的坐標(biāo)。

（4）重置每個(gè)類(lèi)別的聚類(lèi)中心，重置規(guī)則為

式中：ci為聚類(lèi)后像素點(diǎn)的類(lèi)別；cj為聚類(lèi)前像素點(diǎn)的類(lèi)別。

（5）根據(jù)設(shè)定的閾值進(jìn)行判斷：如果每個(gè)類(lèi)別與當(dāng)前已有聚類(lèi)中心的最短距離大于閾值，則聚類(lèi)結(jié)束，否則轉(zhuǎn)到步驟（3）。

（6）輸出k個(gè)聚類(lèi)中心。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境及步驟

在太原理工大學(xué)院士科創(chuàng)基地搭建刮板輸送機(jī)鐵質(zhì)異物智能識(shí)別實(shí)驗(yàn)臺(tái)，如圖4 所示。該實(shí)驗(yàn)臺(tái)由ZY6800/08/18D 液壓支架、SGZ630/110 刮板輸送機(jī)、KBA18 礦用本安攝像儀、KXB12 本質(zhì)安全型聲光報(bào)警器、計(jì)算機(jī)及硬盤(pán)錄像機(jī)組成。

圖4 刮板輸送機(jī)鐵質(zhì)異物智能識(shí)別實(shí)驗(yàn)臺(tái)Fig.4 Test bed for intelligent identification of iron foreign bodies in scraper conveyor

模型訓(xùn)練、測(cè)試的實(shí)驗(yàn)環(huán)境配置見(jiàn)表1。設(shè)置迭代次數(shù)為4 000，學(xué)習(xí)率為0.000 1，訓(xùn)練批次為10。

表1 實(shí)驗(yàn)環(huán)境配置Table 1 Experimental environment configuration

實(shí)驗(yàn)步驟如下：

（1）采集異物圖像樣本，去除圖像中的無(wú)關(guān)區(qū)域，剔除干擾。

（2）采用圖像增強(qiáng)算法對(duì)鐵質(zhì)異物圖像進(jìn)行處理，并運(yùn)用旋轉(zhuǎn)、剪切等操作對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。

（3）使用Labelme 對(duì)增強(qiáng)后的異物圖像進(jìn)行標(biāo)注和命名，得到對(duì)應(yīng)的json 文件，包括labelme.png和label_names.txt，其中主要含有鐵質(zhì)異物種類(lèi)名稱(chēng)、坐標(biāo)及長(zhǎng)寬信息。

（4）配置改進(jìn)Mask R-CNN 模型的運(yùn)行環(huán)境及參數(shù)，開(kāi)展模型訓(xùn)練及測(cè)試。

（5）實(shí)現(xiàn)結(jié)果可視化，通過(guò)平均精度[13]和損失函數(shù)[14]評(píng)估模型，并與當(dāng)前主流物體檢測(cè)模型對(duì)比，驗(yàn)證本文模型的有效性和優(yōu)越性。

3.2 數(shù)據(jù)采集

3.2.1 圖像采集

為模擬井下真實(shí)環(huán)境，將采集環(huán)境光亮度設(shè)置為較低，將異物和煤樣隨機(jī)放置于運(yùn)行中的刮板輸送機(jī)上，分別使用移動(dòng)式攝像儀與KBA18 礦用本安攝像儀以不同視角采集圖像。共計(jì)采集到鐵質(zhì)異物圖像2 254 張，分辨率為2 560×1 440，包含錨桿、鋼板、頭盔（含鐵質(zhì)部分，歸結(jié)為鐵質(zhì)異物）、角鐵和鐵鍬5 種鐵質(zhì)異物樣本，如圖5 所示。

圖5 鐵質(zhì)異物樣本Fig.5 Sample of iron foreign bodies

3.2.2 圖像預(yù)處理

數(shù)據(jù)集對(duì)深度學(xué)習(xí)模型的識(shí)別性能影響較大。訓(xùn)練數(shù)據(jù)集增大，會(huì)加快網(wǎng)絡(luò)輸出值與實(shí)際值之差趨零，從而獲得性能較高的網(wǎng)絡(luò)模型。但出現(xiàn)在刮板輸送機(jī)上方的鐵質(zhì)異物具有隨機(jī)性和多樣性，且井下實(shí)際環(huán)境能見(jiàn)度較低，導(dǎo)致異物圖像特征信息受限。因此本文采用基于Laplace 算子的圖像增強(qiáng)算法進(jìn)行預(yù)處理。利用二次微分方法對(duì)圖像進(jìn)行銳化處理，增強(qiáng)圖像內(nèi)像素點(diǎn)的對(duì)比度，從而減弱圖像噪聲，提升圖像整體亮度，增強(qiáng)不同物體間的對(duì)比度。圖像增強(qiáng)前后對(duì)比如圖6 所示。

圖6 圖像增強(qiáng)前后效果對(duì)比Fig.6 Comparison of image effects before and after enhancement

3.2.3 數(shù)據(jù)集構(gòu)建

使用Labelme 軟件工具對(duì)增強(qiáng)后的鐵質(zhì)異物圖像進(jìn)行逐個(gè)標(biāo)注，得到j(luò)son 格式文件。為達(dá)到可視化目的，將json 格式文件轉(zhuǎn)換為位深度為8 的png 格式彩色標(biāo)簽圖，背景類(lèi)像素點(diǎn)設(shè)置為黑色，得到對(duì)應(yīng)的Mask 圖像，如圖7 所示。

圖7 數(shù)據(jù)集構(gòu)建Fig.7 Dataset construction

3.3 模型訓(xùn)練

分別采用原始圖像及數(shù)據(jù)增強(qiáng)后的圖像制作訓(xùn)練集，采用改進(jìn)Mask R-CNN 模型訓(xùn)練400 次，結(jié)果如圖8 所示?？煽闯鼋?jīng)過(guò)數(shù)據(jù)增強(qiáng)后模型損失值減小，驗(yàn)證了數(shù)據(jù)增強(qiáng)能夠明顯加快模型收斂速度，有效降低模型損失率，提高鐵質(zhì)異物檢測(cè)效果。

圖8 圖像增強(qiáng)前后模型損失值對(duì)比Fig.8 Comparison of model loss values before and after image enhancement

在自制的刮板輸送機(jī)鐵質(zhì)異物圖像訓(xùn)練集上訓(xùn)練。Mask R-CNN 模型改進(jìn)前后的訓(xùn)練結(jié)果如圖9所示。由圖9（a）所示的精確率-召回率（P-R）曲線可看出，改進(jìn)后模型性能較改進(jìn)前更好。由圖9（b）可看出，訓(xùn)練初期損失值下降速度很快，訓(xùn)練1 500 次后逐漸趨于穩(wěn)定，最終損失值收斂于0.334 9，改進(jìn)后模型的損失值一直低于改進(jìn)前。

圖9 模型改進(jìn)前后訓(xùn)練結(jié)果對(duì)比Fig.9 Comparison of training results before and after model improvement

3.4 異物識(shí)別效果分析

為了直觀展示模型對(duì)鐵質(zhì)異物的識(shí)別效果，對(duì)多種鐵質(zhì)異物原圖、標(biāo)簽圖及模型改進(jìn)前后識(shí)別出的異物圖像進(jìn)行比對(duì)，如圖10 所示?？煽闯龈倪M(jìn)后模型對(duì)異物分割更為準(zhǔn)確，更為接近異物真實(shí)輪廓。

圖10 刮板輸送機(jī)5 種常見(jiàn)鐵質(zhì)異物多目標(biāo)檢測(cè)效果Fig.10 Multi-object detection effect of five common iron foreign bodies in scraper conveyor

基于自制的刮板輸送機(jī)鐵質(zhì)異物數(shù)據(jù)集，采用改進(jìn)前后的Mask R-CNN 模型對(duì)676 張圖像分別進(jìn)行檢測(cè)，結(jié)果見(jiàn)表2?？煽闯觯cMask R-CNN，YOLOv5相比，改進(jìn)Mask R-CNN 模型對(duì)單張圖像的平均檢測(cè)時(shí)間分別縮短0.093，0.002 s，平均精度分別提高11.4%，2.9%。

表2 不同模型檢測(cè)效果對(duì)比Table 2 Comparison of detection effects of different models

4 結(jié)論

（1）采用k-meansⅡ聚類(lèi)算法代替Mask R-CNN模型的錨點(diǎn)生成方案，并采用改進(jìn)Mask R-CNN 模型進(jìn)行刮板輸送機(jī)鐵質(zhì)異物多目標(biāo)檢測(cè)。

（2）采用基于Laplace 算子的圖像增強(qiáng)算法進(jìn)行數(shù)據(jù)預(yù)處理，可明顯加快模型收斂速度，有效降低模型損失率，提高鐵質(zhì)異物檢測(cè)效果。

（3）實(shí)驗(yàn)結(jié)果表明，改進(jìn)Mask R-CNN 模型對(duì)單張圖像的平均檢測(cè)時(shí)間為0.732 s，與Mask R-CNN，YOLOv5 相比，分別縮短0.093，0.002 s；平均精度為91.7%，與Mask R-CNN，YOLOv5 相比，分別提高11.4%，2.9%。