基于全局自注意力機制的煤矸石目標檢測網(wǎng)絡(luò)

汝洪芳, 李作淘, 王國新, 王書俠

(黑龍江科技大學(xué) 電氣與控制工程學(xué)院, 哈爾濱 150022)

0 引 言

煤炭是我國能源的主體,煤炭工業(yè)在國民經(jīng)濟中有著重要的地位,煤矸石作為煤礦開采伴生的固體廢棄物,嚴重污染環(huán)境,因此煤矸石分選一直是煤炭工業(yè)的重要環(huán)節(jié)[1]。精確且智能地識別是分選的前提,也是煤礦智能化發(fā)展的內(nèi)在要求。

現(xiàn)階段的選矸方法主要有人工排矸法、復(fù)合式干法分選法[2]、γ射線分選法[3]和基于機器學(xué)習(xí)的智能分選法等。其中,人工排矸法效率低且浪費人力資源;而γ射線法則會損害工人的健康。基于機器學(xué)習(xí)的方法有基于圖像的灰度和紋理特征的煤矸石目標檢測方法,如趙明輝[4]使用煤矸石圖像灰度直方圖的三階矩陣特征參數(shù)設(shè)計了識別方法。在卷積神經(jīng)網(wǎng)絡(luò)提出之后,與基于圖像灰度與紋理的方法相比,基于卷積神經(jīng)網(wǎng)絡(luò)的深度目標檢測網(wǎng)絡(luò)有著更高的精度,張永超等[5]使用SSD視覺算法對煤矸石進行檢測。雷世威等[6]通過改進的YOLOv3模型對煤矸石進行檢測。郭永存等[7]使用遷移權(quán)重和簡化神經(jīng)元的方法優(yōu)化CNN網(wǎng)絡(luò)并對煤矸石進行了檢測。各類深度學(xué)習(xí)網(wǎng)絡(luò)對運算量要求較大,不能很好地支持實際工業(yè)應(yīng)用,而YOLOv5s體積小,速度快,能夠適應(yīng)計算資源受限的工業(yè)現(xiàn)場。因此,對YOLOv5s進行改進,引入全局上下文模塊和全維動態(tài)卷積,突出目標前景,提升檢測精度,提出GO-YOLOv5s煤矸石檢測網(wǎng)絡(luò)。

1 YOLOv5s網(wǎng)絡(luò)原理

現(xiàn)階段的目標檢測方法有兩階段檢測和單階段檢測方法。兩階段方法指的是將目標檢測拆分為檢測和分類兩個任務(wù),而單階段方法為在一個網(wǎng)絡(luò)中同時執(zhí)行檢測和分類任務(wù)。文中選用的YOLOv5系列算法為單階段目標檢測方法。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5系列由五種網(wǎng)絡(luò)組成,按照網(wǎng)絡(luò)的深度和寬度由小到大排序,分別為YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。隨著網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度的提升,網(wǎng)絡(luò)的預(yù)測精度隨之提升,而網(wǎng)絡(luò)的速度則隨之下降?？紤]到煤矸石分選工作對工業(yè)現(xiàn)場實時性和準確性的雙重需求,文中選取YOLOv5s作為改進優(yōu)化目標。

YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)如圖 1所示。主要由Backbone骨干網(wǎng)絡(luò)、Neck部分和Head檢測頭組成。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Structure of YOLOv5s

1.2 CSP結(jié)構(gòu)

YOLOv5s的骨干網(wǎng)絡(luò)使用了New CSP Darknet53,其中包含了兩種CSP結(jié)構(gòu),如圖 2所示。分別為CSP1_X和CSP2_X,圖中,CBS模塊由標準卷積Conv、批歸一化BatchNorm和激活函數(shù)SiLU組成。CSP模塊的主要作用是對殘差特征進行學(xué)習(xí)以提升學(xué)習(xí)能力,避免梯度爆炸等問題。其中,CSP1_X用于骨干網(wǎng)絡(luò),而CSP2_X則用于Neck部分。

圖2 CSP結(jié)構(gòu)Fig. 2 Structure of CSP

經(jīng)過骨干網(wǎng)絡(luò)和Neck部分處理后的特征圖最終被輸入到檢測頭中。YOLOv5s擁有三個檢測頭,每個檢測頭對應(yīng)著不同的預(yù)測尺寸。

2 網(wǎng)絡(luò)優(yōu)化方法

2.1 全局上下文模塊

研究者們發(fā)現(xiàn),引入注意力機制對神經(jīng)網(wǎng)絡(luò)的性能有著較為顯著的提升。全局上下文模塊(Global context block, GCBlock)[8]在SENet[9]和自注意力機制NLNet[10]的基礎(chǔ)上設(shè)計,融合了SENet和NLNet的優(yōu)點,將NLNet的全局自注意力信息建模方法和SENet的高效賦權(quán)轉(zhuǎn)化方法相結(jié)合,設(shè)計出既保留了自注意力機制帶來的全局特征信息,又有SE模塊低計算量特點的全局上下文模塊。SE模塊和NL模塊如圖 3所示。

圖3 各模塊內(nèi)部結(jié)構(gòu)Fig. 3 Internal structure of each module

SE模塊能夠有效地捕捉通道間的交互特征。通過全局平均池化,將特征圖處理為通道指示符向量模式,之后通過兩個卷積處理,使用ReLU作為激活函數(shù),Sigmoid作為歸一化函數(shù),得到權(quán)重向量,最后通過通道重構(gòu),獲得通道賦權(quán)的特征圖。

NL模塊所使用的自注意力機制是注意力機制的變種,其核心思想在于最大限度地利用特征本身的信息構(gòu)建注意力機制。通過這種基于自注意力機制的全局特征信息建模,網(wǎng)絡(luò)能夠獲得捕獲長距離特征依賴,進而強調(diào)前景,擴大感受野。

GCBlock的設(shè)計原理如圖 4所示。通過比較SE模塊和NL模塊,可以發(fā)現(xiàn),二者的模塊結(jié)構(gòu)有著相似的設(shè)計思路。即先通過建模過程對指定的信息進行建模,之后再將建模后的信息進行編碼轉(zhuǎn)換,轉(zhuǎn)換為具有權(quán)重指示符意義的淺層數(shù)據(jù)形式,最后將這一權(quán)重指示符同建模前信息進行融合,得到有偏重性的特征數(shù)據(jù)以供后續(xù)網(wǎng)絡(luò)學(xué)習(xí)處理。

對二者進行研究可以發(fā)現(xiàn),SE模塊有著高效的編碼轉(zhuǎn)換過程,而NL模塊則有著信息更加全面、豐富的建模過程,因此,吸取二者的優(yōu)點,使用NL模塊基于自注意力的建模過程搭配SE模塊基于基本卷積的編碼過程,設(shè)計出既保留更多的全局信息,突出目標前景,擴大感受野,又計算高效的GC模塊。

圖4 GCBlock的設(shè)計原理Fig. 4 Principle of GCBlock

將這一模塊引入煤矸石目標檢測任務(wù)中,可以大大緩解實際檢測工作中目標前景和背景相似度過高所帶來的誤檢和漏檢問題。

2.2 全維動態(tài)卷積

常規(guī)卷積層是使用一個不變的卷積核去處理所有輸入的樣本信息,而動態(tài)卷積[11]則不同,動態(tài)卷積是多個卷積核的加權(quán)線性組合,其加權(quán)方法是一種基于注意力機制的動態(tài)加權(quán)方法。動態(tài)卷積是與輸入樣本信息有關(guān)的卷積,進而增強網(wǎng)絡(luò)的性能。

y=(αw1W1+…+αwnWn)*x,

式中:x——輸入特征,x∈h×w×ci;

y——輸出特征,y∈h×w×co;

αω1——用以賦權(quán)Wi的注意力值,αwi∈,通過一個基于輸入特征的注意力公式πwi(x)得到;

*——卷積操作。

可以看到,動態(tài)卷積由兩個基礎(chǔ)部分構(gòu)成,即卷積核{W1,W2,…,Wn}和用來計算注意力加權(quán)值{αw1,αw2,…,αwn}的注意力公式。

全維動態(tài)卷積(ODConv)[12]則是通過平行策略,構(gòu)建一種多維注意力機制,從卷積核空間的四個維度上進行不同注意力機制的學(xué)習(xí)。全維動態(tài)卷積的結(jié)構(gòu)如圖 5所示。

圖5 ODConv的原理Fig. 5 Principle of ODConv

式中:αwi∈——用以賦權(quán)的注意力值;

αsi∈k×k——基于卷積核空間尺寸的注意力;

αci∈ci——基于輸入通道的注意力;

αfi∈co——基于輸出通道的注意力;

⊙——不同維度間的乘法運算。

通過四類互為補充的注意力機制的作用,能夠從輸入信息x的卷積的空間位置、輸入通道、濾波參數(shù)和卷積核方面進行處理,全面捕捉更為豐富的上下文線索。引入這一卷積結(jié)構(gòu),能夠增強網(wǎng)絡(luò)模型的特征提取和特征融合能力。

2.3 改進的網(wǎng)絡(luò)結(jié)構(gòu)

將YOLOv5s的Backbone中的CSP結(jié)構(gòu)替換為GCBlock,通過自注意力機制捕獲長距離特征依賴,擴大網(wǎng)絡(luò)感受野,利用SE模塊的高效編碼轉(zhuǎn)換方法進行權(quán)重分配,最后得到融合特征,使網(wǎng)絡(luò)能夠更多地關(guān)注有利于煤矸石目標檢測的特征信息,更好地消減相似背景和其他次要信息的影響。將Neck部分的三個CBS替換為ODConv,加強網(wǎng)絡(luò)從多個維度提取特征的能力。通過上述改進方案,提升網(wǎng)絡(luò)的性能。改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖 6所示。

圖6 GO-YOLOv5s的結(jié)構(gòu)Fig. 6 Structure of GO-YOLOv5s

3 實 驗

實驗軟件環(huán)境為基于Pytorch 1.21.1、Python 3.9和Anaconda3的Linux深度學(xué)習(xí)環(huán)境,硬件為2片Intel(R) Xeon(R) Gold 6226R處理器,4張NVIDIA Tesla T4顯卡及196 Gb內(nèi)存。

3.1 評價指標

在目標檢測算法中,準確率P、召回率R、F1值、所有類別平均準確率的平均值αmAP以及推理速度常被選作網(wǎng)絡(luò)模型的評價指標。推理速度為在指定軟硬件條件下,網(wǎng)絡(luò)模型每秒處理的圖像數(shù)量。

式中:F1——評價二分類問題的重要指標;

αmAP——全類別平均準確率的平均值;

TP——模型檢測正確的樣本數(shù);

FP——誤檢的樣本數(shù);

FN——漏檢的樣本數(shù);

Pek——平均準確度;

C——類別數(shù)。

3.2 實驗結(jié)果與分析

使用工業(yè)相機采集圖像數(shù)據(jù),為貼合實際工況背景,在實驗室搭建了黑色傳送帶平臺,將煤矸石目標放置于傳送帶上進行圖像數(shù)據(jù)采集。經(jīng)過適當(dāng)?shù)暮Y選和圖像增強方法處理之后,最終得到圖像總數(shù)為16 424的數(shù)據(jù)集。將數(shù)據(jù)集按照8∶1∶1的比例劃分為訓(xùn)練集、測試集和驗證集。數(shù)據(jù)集圖像如圖 7所示。整體實驗結(jié)果如圖 8所示。

圖7 煤矸石數(shù)據(jù)集圖像Fig. 7 Coal and coal gangue dataset

選用YOLOv5s、YOLOv5m、YOLOv5l、YOLOv7[13]和YOLOv7x作為對照組,實驗參數(shù)進行統(tǒng)一設(shè)置,訓(xùn)練批次Batch Size為16,訓(xùn)練周期Epoch為60,實驗結(jié)果見表1。

圖8 整體實驗結(jié)果Fig. 8 Results of experiments

從表1可知,GO-YOLOv5s的αmAP值為88.6%,較YOLOv5s、YOLOv5m、YOLOv5l、YOLOv7和YOLOv7x分別提升了4.1%、3.2%、2.1%、2.6%和2%;推理速度為每秒158.73幀,較YOLOv5s、YOLOv5m、YOLOv5l和YOLOv7x分別提升了1.6%、30.2%、60%和39.2%;F1值為99.7%,較YOLOv5s、YOLOv5m、YOLOv5l、YOLOv7和YOLOv7x分別提升了1.4%、1.6%、1%、0.9%和1.2%;召回率為99.7%,較YOLOv5s、YOLOv5m、YOLOv5l、YOLOv7和YOLOv7x分別提升了1.1%、1.5%、1.1%、0.7%和1%?？梢钥吹?改進網(wǎng)絡(luò)的性能提升較為全面,這是因為GO-YOLOv5s優(yōu)化了原本模型的特征提取和特征融合方法,對圖像中的重要信息進行了增強并且對干擾檢測的背景信息進行了抑制,加強了整體網(wǎng)絡(luò)的特征提取和融合能力。

對文中改進模型進行消融實驗,以分析各改進模塊獨立的效果,實驗結(jié)果見表 2。其中,×表示未使用該模塊,√表示使用該模塊。

表2 消融實驗結(jié)果

從表 2可知,引入GCBlock之后,模型的αmAP值上升了1.7%,為86.2%,說明通過在骨干網(wǎng)絡(luò)中引入這一模塊,有效地加強了骨干網(wǎng)絡(luò)對關(guān)鍵特征信息的提取能力。引入ODConv之后,模型的αmAP值上升了0.9%,說明在Neck部分引入全維動態(tài)卷積能夠幫助模型在特征融合方面取得提升,實現(xiàn)整體效果的提升;在YOLOv5s模型中,將骨干網(wǎng)絡(luò)的CSP替換為GCBlock,將Neck部分的三個CBS替換為ODConv后,模型的值達到了88.6%,較原模型提升了4.1%,說明文中提出的改進方案能夠有效地提升網(wǎng)絡(luò)模型的整體性能。

為了進一步探究神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,使用Grad-CAM熱力圖算法[14]。通過Grad-CAM算法計算網(wǎng)絡(luò)模型末尾卷積層的特征圖權(quán)重,其為可視化的彩色熱力圖,如圖 9所示。

圖9 熱力圖可視化結(jié)果Fig. 9 GradCAM results

從圖 9可以看出,改進后網(wǎng)絡(luò)模型的關(guān)注區(qū)域更為集中,而且對背景的信息有著明顯的抑制作用。

4 結(jié) 論

(1)將全局上下文模塊和全維動態(tài)卷積融入YOLOv5s網(wǎng)絡(luò)中,使網(wǎng)絡(luò)能夠更多地關(guān)注影響檢測結(jié)果的重要信息,同時抑制干擾檢測的無關(guān)背景信息和次要信息,進一步加強網(wǎng)絡(luò)模型的特征融合能力,有效地提升網(wǎng)絡(luò)的性能。

(2)實驗結(jié)果證明,同原始網(wǎng)絡(luò)相比,改進網(wǎng)絡(luò)有著明顯的精度提升,同時,檢測速度和原網(wǎng)絡(luò)相當(dāng),略有提升;同對照組網(wǎng)絡(luò)相比,改進網(wǎng)絡(luò)有著較高的精度和速度。改進網(wǎng)絡(luò)結(jié)構(gòu)更加符合煤矸分選任務(wù)需求。