多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型

翟國棟，任聰，王帥，岳中文，潘濤，季如佳

(1.中國礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院， 北京 100083；2.湖北工業(yè)大學(xué) 電氣與電子工程學(xué)院， 湖北 武漢 430068；3.中國礦業(yè)大學(xué)(北京) 力學(xué)與建筑工程學(xué)院， 北京 100083；4.神華信息技術(shù)有限公司， 北京 100011； 5.智能礦山(煤炭行業(yè))工程研究中心， 北京 100011；6.閩江學(xué)院 福建省信息處理與智能控制重點(diǎn)實(shí)驗(yàn)室， 福建 福州 350121)

0 引言

煤礦災(zāi)害事故具有災(zāi)難性、突發(fā)性、繼發(fā)性和破壞性等特點(diǎn)，救災(zāi)時(shí)效性強(qiáng)，但救援人員進(jìn)入井下施救易遇到二次爆炸等危險(xiǎn)狀況[1-3]。為保障救援人員安全和提高救援效率，可在發(fā)生煤礦災(zāi)害事故后第一時(shí)間安排救援機(jī)器人進(jìn)入災(zāi)害現(xiàn)場(chǎng)，進(jìn)行災(zāi)后復(fù)雜環(huán)境的信息采集和相關(guān)救援工作。

煤礦災(zāi)后環(huán)境復(fù)雜，救援機(jī)器人要想完全代替人員自主完成搜救任務(wù)，首先需要通過相機(jī)實(shí)時(shí)采集災(zāi)后環(huán)境圖像，然后根據(jù)圖像對(duì)周圍環(huán)境進(jìn)行解析，最后借助視覺檢測(cè)算法進(jìn)行目標(biāo)檢測(cè)，以實(shí)現(xiàn)自主運(yùn)動(dòng)。傳統(tǒng)的目標(biāo)檢測(cè)模型[4-5]首先通過不同大小的滑動(dòng)窗口從圖像中生成目標(biāo)候選框，然后在目標(biāo)候選框內(nèi)進(jìn)行特征提取，最后對(duì)提取的特征進(jìn)行分類。該模型采用基于滑動(dòng)窗口的候選框生成策略，時(shí)間復(fù)雜度高，檢測(cè)速度較慢，且提取的基本是人工設(shè)計(jì)的目標(biāo)特征，對(duì)于目標(biāo)變化沒有很好的魯棒性，導(dǎo)致檢測(cè)精度較差?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)模型能夠自適應(yīng)地從大量圖像中學(xué)習(xí)目標(biāo)特征，具有檢測(cè)精度高和魯棒性好等優(yōu)點(diǎn)，已逐步在不同領(lǐng)域的目標(biāo)檢測(cè)任務(wù)中廣泛應(yīng)用。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型主要分為兩階段目標(biāo)檢測(cè)模型[6-8]和單階段目標(biāo)檢測(cè)模型[9]。兩階段目標(biāo)檢測(cè)模型首先生成1組稀疏的目標(biāo)候選框，然后通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)分類和位置回歸，最后輸出目標(biāo)的檢測(cè)類別和位置坐標(biāo)；該類模型具有較高的檢測(cè)精度，但在目標(biāo)候選框生成上需要消耗大量時(shí)間，不適合部署在具有實(shí)時(shí)檢測(cè)需求的應(yīng)用場(chǎng)景中。單階段目標(biāo)檢測(cè)模型將目標(biāo)檢測(cè)問題轉(zhuǎn)換為回歸問題進(jìn)行處理，不需要生成目標(biāo)候選框，具有檢測(cè)速度快的優(yōu)點(diǎn)，但在煤礦救援機(jī)器人應(yīng)用場(chǎng)景下，獲取的圖像信息較少且目標(biāo)特征不明顯，導(dǎo)致目標(biāo)檢測(cè)效果較差。

本文在主流的單階段目標(biāo)檢測(cè)模型YOLO V3的基礎(chǔ)上，提出了一種多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型。該模型利用特征提取模塊獲得輸入圖像特征，得到不同尺度的特征圖，再通過特征融合模塊實(shí)現(xiàn)不同尺度特征圖的有效融合，從而提高目標(biāo)檢測(cè)精度和速度。

1 多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型

1.1 特征提取模塊

基于深度分組卷積提出了一種輕量型特征提取模塊，用來替代YOLO V3中的Darknet-53[10]，結(jié)構(gòu)見表1，其中c為特征圖通道參數(shù)，用來平衡模型檢測(cè)精度和速度。特征提取模塊由5個(gè)階段連接起來構(gòu)成，其中階段2—階段5均由1個(gè)空洞瓶頸子模塊、多個(gè)多尺度卷積子模塊和1個(gè)下采樣子模塊組成。

表1 特征提取模塊結(jié)構(gòu)Table 1 Structure of feature extraction module

(1) 初始化子模塊。在階段1中，受Inception V4[11]和DSOD(Deeply Supervised Object Detector)[12]的啟發(fā)，設(shè)計(jì)初始化子模塊，用于對(duì)輸入圖像進(jìn)行4倍下采樣并擴(kuò)展特征圖通道數(shù)至32，如圖1所示。首先將輸入圖像經(jīng)過步長為2的3×3卷積層進(jìn)行2倍下采樣；然后采用雙通道來獲得不同大小的感受野，一個(gè)通道采用1×1卷積層和3×3卷積層堆疊來學(xué)習(xí)大尺度目標(biāo)的特征，另一個(gè)通道采用步長為2的最大池化層來學(xué)習(xí)小尺度目標(biāo)的特征；最后通過通道合并和1×1卷積層控制模型維度，減少模型計(jì)算量。

圖1 初始化子模塊結(jié)構(gòu)Fig.1 Structure of stem block submodule

(2) 空洞瓶頸子模塊。為獲得豐富的特征信息，在空洞卷積[13]的基礎(chǔ)上構(gòu)建空洞瓶頸子模塊，如圖2所示。首先上一層特征圖通過1×1卷積層進(jìn)行特征圖通道壓縮；其次采用分組數(shù)為2的3×3空洞卷積層進(jìn)行特征提取，以提高模型計(jì)算效率和增大淺層網(wǎng)絡(luò)的感受野，保留目標(biāo)的特征信息；然后利用3×3卷積層增強(qiáng)目標(biāo)特征語義信息；最后利用殘差連接將層次較低的上一層特征圖與經(jīng)過3×3卷積層后的特征圖相結(jié)合，增強(qiáng)目標(biāo)特征表達(dá)能力。

圖2 空洞瓶頸子模塊結(jié)構(gòu)Fig.2 Structure of hole bottleneck submodule

(3) 多尺度卷積子模塊。在ResNet[14]結(jié)構(gòu)的基礎(chǔ)上，利用多尺度卷積增強(qiáng)網(wǎng)絡(luò)特征提取能力，構(gòu)建多尺度卷積子模塊，如圖3所示。首先通過1×1卷積層對(duì)上一層特征圖通道進(jìn)行壓縮；其次均勻地將特征圖分成n個(gè)特征圖子集X1，X2，…，Xn，其中每個(gè)特征圖子集與輸入特征圖具有相同的大小，但特征圖通道數(shù)為1/n；然后在單個(gè)特征圖子集內(nèi)利用分組數(shù)為2的3×3卷積層進(jìn)行特征增強(qiáng)，實(shí)現(xiàn)同一特征圖子集內(nèi)不同通道的信息融合，以提高目標(biāo)分類精度；接著，在不同特征圖子集間采用特征金字塔融合方式，即將特征圖子集與上一個(gè)特征圖子集求和后輸入到分組數(shù)為2的3×3卷積層中進(jìn)行運(yùn)算，實(shí)現(xiàn)不同特征圖子集間的信息融合；最后利用1×1卷積層對(duì)n個(gè)特征圖子集輸出的特征信息Y1，Y2，…，Yn進(jìn)行充分融合來增強(qiáng)特征表達(dá)能力。

圖3 多尺度卷積子模塊結(jié)構(gòu)Fig.3 Structure of multi-scale convolution submodule

1.2 特征融合模塊

在YOLO V3模型特征金字塔的基礎(chǔ)上嵌入空間注意力機(jī)制[15]，構(gòu)建特征融合模塊，如圖4所示。將高層特征圖通過1×1卷積層實(shí)現(xiàn)特征圖通道壓縮；利用步長為2的2×2反卷積層對(duì)特征圖進(jìn)行上采樣，上采樣后的特征圖通過空間注意力機(jī)制直接對(duì)位置特征進(jìn)行增強(qiáng)，提高目標(biāo)定位精度；將含有豐富位置信息的低層特征圖通過3×3卷積層進(jìn)行特征提取后與含有豐富語義信息的高層特征圖進(jìn)行通道合并，用于后續(xù)的目標(biāo)分類與目標(biāo)定位。

圖4 特征融合模塊結(jié)構(gòu)Fig.4 Structure of feature fusion module

2 實(shí)驗(yàn)及結(jié)果分析

利用Python/C++聯(lián)合開發(fā)多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型，基于Ubuntu18.04搭建模型訓(xùn)練平臺(tái)：CPU為I5-9600K，RAM為32 GB， GPU為NVIDIA GTX 1660 SUPER。設(shè)置模型檢測(cè)閾值為0.5，特征提取模塊中特征圖通道參數(shù)c為32，特征圖子集數(shù)n為4。采用遷移學(xué)習(xí)進(jìn)行模型訓(xùn)練，主要分為預(yù)訓(xùn)練和遷移微調(diào)：預(yù)訓(xùn)練采用COCO數(shù)據(jù)集和VOC數(shù)據(jù)集中行人目標(biāo)進(jìn)行訓(xùn)練，得到模型的初始權(quán)重；遷移微調(diào)利用預(yù)訓(xùn)練階段產(chǎn)生的初始權(quán)重作為輸入，在煤礦行人檢測(cè)數(shù)據(jù)集上進(jìn)行微調(diào)訓(xùn)練，使模型能夠充分學(xué)習(xí)煤礦環(huán)境下的行人目標(biāo)特征。采用隨機(jī)梯度下降法[16]和反向傳播[17]來優(yōu)化模型，權(quán)重衰減為0.005，動(dòng)量為0.9，總迭代次數(shù)為20 000次，初始學(xué)習(xí)率為0.01，當(dāng)?shù)?8 000次時(shí)，學(xué)習(xí)率減小至0.001使模型收斂。

在煤礦救援機(jī)器人嵌入式Jetson TX2平臺(tái)上分別部署YOLO V3模型和多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型進(jìn)行測(cè)試，結(jié)果見表2?？煽闯雠cYOLO V3模型相比，多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型的檢測(cè)精度和速度均有所提高。

表2 目標(biāo)檢測(cè)模型測(cè)試結(jié)果對(duì)比Table 2 Comparison of test results of object detection models

針對(duì)煤礦災(zāi)后昏暗、灰塵和煙霧環(huán)境，YOLO V3模型和多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型檢測(cè)結(jié)果如圖5所示。可看出YOLO V3模型可檢測(cè)出部分行人，但在行人密度較大時(shí)存在大量漏檢和誤檢現(xiàn)象；多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型在不同環(huán)境下均可準(zhǔn)確預(yù)測(cè)行人位置，具有更好的魯棒性。

(a) 原始圖像

(c) 多尺度特征融合模型檢測(cè)結(jié)果圖5 煤礦災(zāi)后環(huán)境目標(biāo)檢測(cè)結(jié)果對(duì)比Fig.5 Comparison of object detection results in coal mine post-disaster environment

3 結(jié)語

基于YOLO V3模型提出了一種多尺度特征融合的煤礦救援機(jī)器人目標(biāo)檢測(cè)模型。該模型主要包括特征提取和特征融合2個(gè)模塊：特征提取模塊采用空洞瓶頸和多尺度卷積生成含有豐富信息的不同尺度的特征圖，增強(qiáng)目標(biāo)特征表達(dá)能力，提高了目標(biāo)分類精度和檢測(cè)速度；特征融合模塊在特征金字塔中引入空間注意力機(jī)制，對(duì)含有豐富語義信息的高層特征圖和含有豐富位置信息的低層特征圖的信息進(jìn)行充分融合，彌補(bǔ)了高層特征圖位置信息表達(dá)能力不足的缺點(diǎn)，有效提高了目標(biāo)定位精度。將該模型部署在煤礦救援機(jī)器人嵌入式NVIDIA Jetson TX2平臺(tái)上進(jìn)行災(zāi)后環(huán)境目標(biāo)檢測(cè)實(shí)驗(yàn)，結(jié)果表明該模型具有較高的目標(biāo)檢測(cè)精度和速度，魯棒性好，滿足煤礦救援機(jī)器人目標(biāo)檢測(cè)的實(shí)時(shí)性和精度需求。