基于YOLOv4-tiny的溜筒卸料煤塵檢測(cè)方法

李海濱，孫 遠(yuǎn)，張文明，李雅倩

基于YOLOv4-tiny的溜筒卸料煤塵檢測(cè)方法

李海濱1,2，孫 遠(yuǎn)1*，張文明2，李雅倩2

1燕山大學(xué)電氣工程學(xué)院，河北 秦皇島 066004；2燕山大學(xué)工業(yè)計(jì)算機(jī)控制工程河北省重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004

煤炭港在使用裝船機(jī)的溜筒卸載煤的過(guò)程中會(huì)產(chǎn)生揚(yáng)塵，港口為了除塵，需要先對(duì)粉塵進(jìn)行檢測(cè)。為解決粉塵檢測(cè)問(wèn)題，本文提出一種基于深度學(xué)習(xí)(YOLOv4-tiny)的溜筒卸料煤粉塵的檢測(cè)方法。利用改進(jìn)的YOLOv4-tiny算法對(duì)溜筒卸料粉塵數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，由于檢測(cè)算法無(wú)法獲知粉塵濃度，本文將粉塵分為四類(lèi)分別進(jìn)行檢測(cè)，最后統(tǒng)計(jì)四類(lèi)粉塵的檢測(cè)框總面積，通過(guò)對(duì)這些數(shù)據(jù)做加權(quán)和計(jì)算近似判斷粉塵濃度大小。實(shí)驗(yàn)結(jié)果表明，四類(lèi)粉塵的檢測(cè)精度(AP)分別為93.98%、93.57%、80.03%和57.43%，平均檢測(cè)精度(mAP)為81.27%，接近YOLOv4的83.38%，而檢測(cè)速度(FPS)為25.1，高于YOLOv4的13.4。該算法較好地平衡了粉塵檢測(cè)的速率和精度，可用于實(shí)時(shí)的粉塵檢測(cè)以提高抑制溜筒卸料產(chǎn)生的煤粉塵的效率。

煤粉塵檢測(cè)；YOLOv4-tiny；深度學(xué)習(xí)；目標(biāo)檢測(cè)

1 引 言

近年來(lái)，隨著大眾環(huán)保觀念的提高以及環(huán)保政策的收緊，如何有效減少或者快速抑制生產(chǎn)過(guò)程中產(chǎn)生的粉塵不僅成為了煤炭港口必須面對(duì)的問(wèn)題，而且是煤炭港口清潔生產(chǎn)的首要任務(wù)[1]。港口的裝船機(jī)通過(guò)溜筒卸載煤料到貨船是整個(gè)生產(chǎn)環(huán)節(jié)的最后一環(huán)，各大煤炭港口在前面的生產(chǎn)環(huán)節(jié)里采用了諸如防風(fēng)抑塵網(wǎng)、干式除塵系統(tǒng)、堆場(chǎng)灑水及單機(jī)灑水、干霧除塵、筒倉(cāng)儲(chǔ)煤、翻車(chē)機(jī)底層灑水抑塵等多種抑塵措施[1]，這些措施雖然有效地減少了煤炭灑落到船艙時(shí)產(chǎn)生的揚(yáng)塵，但是由于前期的抑塵措施并沒(méi)有和卸料環(huán)節(jié)形成控制閉環(huán)，并不能自動(dòng)抑制卸料環(huán)節(jié)時(shí)有出現(xiàn)的揚(yáng)塵，所以單獨(dú)處理卸料粉塵仍然是整個(gè)環(huán)保作業(yè)的重要一環(huán)。目前國(guó)內(nèi)煤炭港口抑制此類(lèi)揚(yáng)塵的主要措施是灑水，由于卸料粉塵只是偶有出現(xiàn)，如果一直開(kāi)啟灑水除塵裝置，會(huì)導(dǎo)致灑水過(guò)多，這無(wú)疑會(huì)減少貨船的實(shí)際裝煤量，影響到經(jīng)濟(jì)效益，如果采用專人觀察，手動(dòng)控制除塵裝置，則存在效率低的問(wèn)題，不利于無(wú)人化港口的建設(shè)。所以開(kāi)發(fā)一種自動(dòng)實(shí)時(shí)檢測(cè)卸料煤粉塵的方法，當(dāng)檢測(cè)到粉塵時(shí)發(fā)送預(yù)警信號(hào)，通知抑塵作業(yè)環(huán)節(jié)采取相應(yīng)措施是必要的。

目前常見(jiàn)的粉塵檢測(cè)儀主要基于光散射、靜電感應(yīng)和濾膜稱重三種原理。光散射法(包括紅外線和激光散射)是指光照射到粉塵顆粒上產(chǎn)生的散射光會(huì)與粉塵濃度成一定函數(shù)關(guān)系，通過(guò)檢測(cè)散射光強(qiáng)度得到粉塵濃度；而靜電感應(yīng)法是指通過(guò)靜電感應(yīng)探頭檢測(cè)粉塵粒子摩擦產(chǎn)生的靜電量大小檢測(cè)粉塵濃度；濾膜稱重法則通過(guò)采樣一定體積的含塵空氣，把粉塵過(guò)濾到濾膜上，然后稱量得到粉塵濃度。其中基于光散射原理和靜電感應(yīng)原理可實(shí)現(xiàn)粉塵濃度的在線檢測(cè)，但是由于運(yùn)煤船不是固定的，想要實(shí)現(xiàn)自動(dòng)檢測(cè)，粉塵檢測(cè)儀則只能安裝到裝船機(jī)上，這限制了粉塵檢測(cè)儀的使用。同時(shí)基于光散射原理的檢測(cè)儀存在無(wú)法進(jìn)行面域檢測(cè)且校準(zhǔn)難的問(wèn)題，而基于靜電感應(yīng)原理的檢測(cè)儀在港口戶外環(huán)境易受干擾。綜合以上因素，煤炭港口至今仍依賴現(xiàn)場(chǎng)工作人員充當(dāng)粉塵報(bào)警器來(lái)獲知開(kāi)啟灑水除塵裝置的時(shí)機(jī)。

近幾年，隨著深度學(xué)習(xí)技術(shù)的興起，計(jì)算機(jī)視覺(jué)技術(shù)尤其是目標(biāo)檢測(cè)技術(shù)得到很大的進(jìn)步[2]。國(guó)內(nèi)外在和粉塵檢測(cè)比較接近的煙霧檢測(cè)和火警預(yù)測(cè)等方面的研究方興未艾，例如Frizzi等[3]和Tao等[4]分別將深度學(xué)習(xí)算法用于煙或火災(zāi)的檢測(cè)取得了比傳統(tǒng)方法更好的效果；Zhang等[5]使用雙通道卷積網(wǎng)絡(luò)分別用于提取通用特征和特定的詳細(xì)的特征，將煙霧檢測(cè)率提升到99.33%。但基于深度學(xué)習(xí)的粉塵檢測(cè)相關(guān)的研究和應(yīng)用很少。目前基于CNN的目標(biāo)檢測(cè)算法分為兩個(gè)類(lèi)型：一種是以Fast RCNN[6]、Faster RCNN[7]系列為代表的基于檢測(cè)框和分類(lèi)器的兩階段算法，兩階段算法精確度更高，但是由于較深的網(wǎng)絡(luò)結(jié)構(gòu)造成了對(duì)計(jì)算資源更多的占用，檢測(cè)速度較慢，難以用于有實(shí)時(shí)性要求的場(chǎng)合。另一種是以YOLO[8](You Only Look Once)系列為代表的基于回歸的一階段算法，一階段算法運(yùn)算速度更快，實(shí)用性更強(qiáng)。YOLO系列的算法作為實(shí)用中最流行的目標(biāo)檢測(cè)算法之一，經(jīng)過(guò)YOLOv2[9]、YOLOv3[10]兩次大的改進(jìn)之后，2020年推出的YOLOv4[11]在保持較高檢測(cè)速度的基礎(chǔ)上能取得不錯(cuò)的檢測(cè)精度，而YOLOv4-tiny是YOLOv4[11]的簡(jiǎn)化版，檢測(cè)精度較低但擁有更高的檢測(cè)速度。鑒于粉塵檢測(cè)與煙霧檢測(cè)類(lèi)似，本文的溜筒卸料粉塵的檢測(cè)也可通過(guò)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)，一來(lái)深度學(xué)習(xí)算法相較傳統(tǒng)的機(jī)器視覺(jué)技術(shù)在性能和魯棒性方面均有很大的提升，可以勝任粉塵檢測(cè)任務(wù)；二來(lái)溜筒作業(yè)監(jiān)控?cái)z像頭安裝方便，除了能完成粉塵檢測(cè)的任務(wù)，也能方便工作人員監(jiān)控現(xiàn)場(chǎng)，干預(yù)除塵裝置的運(yùn)行。

由于溜筒卸料煤塵檢測(cè)對(duì)實(shí)時(shí)性的要求較高，在煤塵檢測(cè)中使用精度和速度比較均衡的YOLOv4算法仍存在較大的滯后性。本文通過(guò)對(duì)速度更快的YOLOv4-tiny網(wǎng)絡(luò)的進(jìn)行改進(jìn)，以得到與YOLOv4精度相當(dāng)?shù)珯z測(cè)速度更快的模型，實(shí)現(xiàn)對(duì)粉塵的實(shí)時(shí)檢測(cè)。改進(jìn)措施包括提出SERes模塊加強(qiáng)檢測(cè)算法網(wǎng)絡(luò)特征通道之間的信息交互；提出XRes模塊增大算法網(wǎng)絡(luò)的空間維度；添加SPP[12]模塊和PRN[13]模塊增強(qiáng)算法的特征融合能力。由于檢測(cè)算法無(wú)法直接獲知粉塵濃度，本文將粉塵分為四類(lèi)分別進(jìn)行檢測(cè)，最后統(tǒng)計(jì)四類(lèi)粉塵的各自的檢測(cè)框面積，通過(guò)加權(quán)和計(jì)算近似判斷粉塵濃度大小。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的網(wǎng)絡(luò)模型很好地滿足了卸料煤粉塵的檢測(cè)需求，在速度和精度上取得較好的平衡，為煤炭港實(shí)現(xiàn)自動(dòng)除塵提供了助力。

2 YOLOv4-tiny網(wǎng)絡(luò)

2.1 YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4-tiny是YOLOv4作者在其開(kāi)源程序中提供的YOLOv4的簡(jiǎn)化版本，包括YOLOv4-tiny-2l和YOLOv4-tiny-3l兩個(gè)版本。不過(guò)作者只提供了這兩個(gè)版本的配置文件，沒(méi)有做任何正式的闡述。研究?jī)烧叩呐渲梦募砂l(fā)現(xiàn)YOLOv4-tiny-2l和YOLOv4-tiny-3l主要在檢測(cè)層有所不同——YOLOv4-tiny-2l提供13×13和26×26兩種尺度的輸出結(jié)果，而YOLOv4-tiny-3l提供19×19、38×38和76×76三種尺度的輸出結(jié)果。由于煤粉塵沒(méi)有固定的形態(tài)且大小不一，為了更好地檢測(cè)粉塵，這里選擇能更好地將低層的特征和高層的特征融合起來(lái)進(jìn)行多尺度圖像預(yù)測(cè)的YOLOv4-tiny-3l進(jìn)行改進(jìn)，下文的YOLOv4-tiny統(tǒng)一指代YOLOv4-tiny-3l。

如圖1所示，YOLOv4-tiny網(wǎng)絡(luò)分為骨干網(wǎng)絡(luò)(Backbone)、頸(Neck)和檢測(cè)頭三部分。相比YOLOv4，在Backbone部分，算上最大池化層，YOLOv4-tiny也僅僅只有28層，圖2為Backbone網(wǎng)絡(luò)結(jié)構(gòu)圖。網(wǎng)絡(luò)中使用了來(lái)自CSPNet[14]的CSP結(jié)構(gòu)，但相比原結(jié)構(gòu)有所簡(jiǎn)化；在Neck部分，YOLOv4-tiny只采用了特征金字塔[15](FPN)結(jié)構(gòu)，沒(méi)有添加SPP[12]結(jié)構(gòu)和PAN[16]結(jié)構(gòu)；不過(guò)在YOLO檢測(cè)頭部分，YOLOv4-tiny與YOLOv4基本相同，均采用YOLOv3檢測(cè)頭。

2.2 YOLOv4-tiny檢測(cè)原理

YOLO是一種端對(duì)端的卷積神經(jīng)網(wǎng)絡(luò)，核心思想是將目標(biāo)檢測(cè)問(wèn)題處理為回歸問(wèn)題。首先將輸入圖片的尺寸調(diào)整為固定大小，然后將其劃分為×的網(wǎng)格單位(grid cell)，每個(gè)grid cell預(yù)測(cè)個(gè)邊界框(bounding box)，并在輸出層回歸得到bounding box的位置大小、置信度，以及類(lèi)別。在YOLOv4-tiny中，輸入圖片被調(diào)整為608×608，然后融合FPN思想，進(jìn)行多尺度檢測(cè)，輸出三個(gè)檢測(cè)層，這三個(gè)檢測(cè)層將圖片分別劃分為19×19，38×38和76×76。然后每個(gè)網(wǎng)格預(yù)測(cè)3個(gè)邊界框，每個(gè)邊界框包含(Objec)五個(gè)元素。其中，和指相應(yīng)單元格的偏移量，和為邊界框以整張圖片為基準(zhǔn)歸一化后的寬度和高度。Object指邊界框置信度得分，反映了一個(gè)框內(nèi)包含有檢測(cè)目標(biāo)的可能性以及檢測(cè)框的準(zhǔn)確程度。置信度的計(jì)算式為

, (1)

其中：Object為框內(nèi)有檢測(cè)目標(biāo)的概率，即有檢測(cè)目標(biāo)，則Object為1，沒(méi)有則為0；IoU為預(yù)測(cè)框和真實(shí)物體邊界框的交并比(intersection over union，IoU)。當(dāng)?shù)玫娇虻闹眯哦戎?，使用非極大值抑制(non-maximum suppression，NMS)算法，留下置信得分較高的預(yù)測(cè)框。接下來(lái)可計(jì)算每個(gè)預(yù)測(cè)框的類(lèi)別置信度得分Class，其計(jì)算方法為

圖1 YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 YOLOv4-tiny backbone結(jié)構(gòu)圖

為了更好地預(yù)測(cè)邊界框，YOLOv4-tiny通過(guò)K-means聚類(lèi)算法生成9個(gè)anchor box(錨框)，作為檢測(cè)時(shí)的建議框。另外YOLOv4-tiny的損失函數(shù)由邊界框回歸損失、置信度損失和分類(lèi)損失三部分組成，其中邊界框回歸損失函數(shù)采用CIoU函數(shù)，后兩者采用與YOLOv3相同的交叉熵函數(shù)。

3 改進(jìn)方法

YOLOv4-tiny簡(jiǎn)單的網(wǎng)絡(luò)模型不足以學(xué)習(xí)到足夠多的粉塵特征，而且粉塵與一般的實(shí)體檢測(cè)物不同，沒(méi)有固定的形態(tài)和體積大小，增大了檢測(cè)難度。同時(shí)由于不同工況下粉塵的分布不同，不同工況出現(xiàn)的機(jī)率也不同，導(dǎo)致不同場(chǎng)景下的粉塵在數(shù)據(jù)集中出現(xiàn)的概率不同，這帶來(lái)了比較嚴(yán)重的數(shù)據(jù)不均衡。為了克服數(shù)據(jù)不均衡，減少粉塵檢測(cè)中出現(xiàn)的誤檢和漏檢，提高檢測(cè)精度，本文在添加有mosaic[11]等數(shù)據(jù)增強(qiáng)技術(shù)的YOLOv4-tiny的基礎(chǔ)上在其Backbone和Neck上增加自定義的SERes和XRes模塊以及現(xiàn)有的SPP和PRN模塊，分別從特征通道、網(wǎng)絡(luò)空間維度和特征融合三個(gè)角度進(jìn)行改進(jìn)。

3.1 粉塵檢測(cè)網(wǎng)絡(luò)的整體結(jié)構(gòu)

如圖3所示，粉塵檢測(cè)網(wǎng)絡(luò)的整體結(jié)構(gòu)是通過(guò)消融實(shí)驗(yàn)，在原YOLOv4-tiny網(wǎng)絡(luò)的基礎(chǔ)上不斷改進(jìn)得到的。在網(wǎng)絡(luò)的Backbone部分，使用SERes模塊取代YOLOv4-tiny中由Res殘差組件和route層組成的CSP結(jié)構(gòu)；使用步長(zhǎng)為2的3×3卷積取代原結(jié)構(gòu)中的第二個(gè)Max pool層，然后在其后面添加X(jué)Res模塊；接著在Neck部分添加SPP模塊；最后將PRN結(jié)構(gòu)組合到FPN結(jié)構(gòu)上。綜合這些模塊，粉塵檢測(cè)網(wǎng)絡(luò)在保證實(shí)時(shí)性的情況下實(shí)現(xiàn)了網(wǎng)絡(luò)性能的明顯提升。

在實(shí)現(xiàn)對(duì)裝船機(jī)卸載煤料產(chǎn)生的煤粉塵進(jìn)行實(shí)時(shí)檢測(cè)的基礎(chǔ)上，為了獲取更多關(guān)于粉塵的信息，幫助除塵裝置獲知溜筒卸料粉塵的相對(duì)大小，本文中將溜筒卸料粉塵分成4種類(lèi)別進(jìn)行區(qū)分檢測(cè)，故改進(jìn)后的網(wǎng)絡(luò)最后輸出的通道數(shù)為27(計(jì)算公式為“網(wǎng)格預(yù)測(cè)邊界框數(shù)×(類(lèi)別數(shù)+每個(gè)邊框包含的元素?cái)?shù))”，即3×(4+5))，并提供19×19、38×38和76×76三種尺度的輸出結(jié)果。

圖3 改進(jìn)的YOLOv4-tiny算法結(jié)構(gòu)圖

3.2 Backbone部分

檢測(cè)網(wǎng)絡(luò)的Backbone部分負(fù)責(zé)從訓(xùn)練集中學(xué)習(xí)檢測(cè)目標(biāo)的特征，通常網(wǎng)絡(luò)深度越深寬度越大，網(wǎng)絡(luò)學(xué)習(xí)特征的能力越強(qiáng)，但同時(shí)也會(huì)增加計(jì)算量。為了均衡速度和精度，本文使用了下面兩個(gè)組件。

3.2.1 XRes模塊

Xception[17]是對(duì)Inception-v3[18-19]模塊的原理進(jìn)行進(jìn)一步推進(jìn)而改進(jìn)出的卷積結(jié)構(gòu)，它首先對(duì)1×1卷積結(jié)果的每個(gè)通道(channel)分別進(jìn)行3×3卷積操作，然后將結(jié)果通過(guò)route層進(jìn)行拼接。這樣可以對(duì)通道相關(guān)性與空間相關(guān)性做最大程度的分離，從而在保持原網(wǎng)絡(luò)深度的同時(shí)，減少網(wǎng)絡(luò)的計(jì)算量。本文中將Xception基本模塊添加殘差邊之后得到的網(wǎng)絡(luò)結(jié)構(gòu)稱為XRes模塊，并將其添加到Y(jié)OLOv4-tiny的Backbone網(wǎng)絡(luò)中，能在不大幅度增加算法計(jì)算量的情況下增加網(wǎng)絡(luò)的空間維度，從而提高模型的特征學(xué)習(xí)能力。XRes模塊結(jié)構(gòu)如圖4所示，圖中Dwise指使用深度卷積對(duì)每個(gè)channel分別進(jìn)行3×3卷積操作。

3.2.2 SERes模塊

SERes模塊是由SENet[20]論文中提出的輕量級(jí)SE模塊嵌入到ResNet[21]論文提出的殘差模塊中形成的，在本文中用于取代YOLOv4-tiny中原有的三個(gè)CSP結(jié)構(gòu)(見(jiàn)圖1中的Res層和route層)，它能增強(qiáng)網(wǎng)絡(luò)特征通道之間的信息交互，當(dāng)搭配本文提到的其它組件使用時(shí)可明顯提高粉塵檢測(cè)精度。結(jié)構(gòu)如圖5所示，其中第一個(gè)CBS層是普通的1×1卷積層用于調(diào)整網(wǎng)絡(luò)的通道數(shù)；第二個(gè)CBS層是3×3的Dwise卷積層將網(wǎng)絡(luò)通道相關(guān)性與空間相關(guān)性分離；接下來(lái)的全局平均池化(Avg pool)層將網(wǎng)絡(luò)層空間大小降為1×1，即一個(gè)實(shí)數(shù)，這個(gè)實(shí)數(shù)具有全局感受野，完成Squeeze操作；接著第一個(gè)全連接(FC)層把網(wǎng)絡(luò)層通道降到指定大小，第二個(gè)FC層再恢復(fù)網(wǎng)絡(luò)層的通道數(shù)，得到和通道數(shù)相同的權(quán)重?cái)?shù)，每個(gè)權(quán)重用于給對(duì)應(yīng)的一個(gè)通道進(jìn)行加權(quán)，完成Excitation操作。該操作使用兩個(gè)FC層可以更好地?cái)M合通道間復(fù)雜的相關(guān)性，同時(shí)減少參數(shù)計(jì)算量；然后通過(guò)scale channels層將得到的權(quán)值與第二個(gè)CBS卷積層進(jìn)行逐通道乘法運(yùn)算，恢復(fù)網(wǎng)絡(luò)層的空間大小；最后經(jīng)過(guò)CBL層后與最初輸入進(jìn)行route融合，得到最終的特征圖。在SERes模塊中第一個(gè)FC層搭配有Swish激活函數(shù)，且通道數(shù)是第二個(gè)FC層的通道數(shù)的1/16。整個(gè)網(wǎng)絡(luò)中添加的三個(gè)殘差組件中的第一個(gè)FC層的通道數(shù)分別為8、16和32。

圖4 XRes模塊

3.3 Neck部分

目標(biāo)檢測(cè)網(wǎng)絡(luò)的Neck部分作為骨干網(wǎng)絡(luò)和最后的輸出層之間的連接處，負(fù)責(zé)將骨干網(wǎng)絡(luò)學(xué)習(xí)到的特征進(jìn)行融合，使提取網(wǎng)絡(luò)特征得到更加充分的利用，為網(wǎng)絡(luò)的輸出做準(zhǔn)備。為了對(duì)輸出結(jié)果進(jìn)行更好的預(yù)測(cè)，本文在FPN的基礎(chǔ)上添加如下兩種模塊提升特征融合的效果。

3.3.1 空間金字塔池化模塊(SPP)

在網(wǎng)絡(luò)的Neck部分加入的SPP模塊如圖6所示。SPP模塊的主要部分是三個(gè)平行的最大池化層，池化核尺寸大小分別為5×5、9×9、13×13，步長(zhǎng)均為1。不同大小的池化層可以提取不同角度的特征，形成帶有不同感受野的特征圖，然后通過(guò)route層將前面獲得的特征圖進(jìn)行通道維度上的拼接，進(jìn)而提取到更多有用的多尺度信息。這樣將較低層次的特征組合為較高層次的特征，通過(guò)融合，提高了語(yǔ)義信息，使得模型檢測(cè)的準(zhǔn)確率提高。

3.3.2 PRN模塊

本文在FPN的基礎(chǔ)上添加PRN模塊，即將FPN的兩個(gè)上采樣層(upsample)分別與網(wǎng)絡(luò)的第19層和38層通過(guò)route層進(jìn)行拼接，接著連接一個(gè)3×3的卷積層，最后再與上采樣層(upsample)進(jìn)行直連(shortcut)。圖7為PRN結(jié)構(gòu)圖，PRN將輸入特征劃分為兩部分，一部分經(jīng)過(guò)卷積，另一部分和上一部分卷積操作的結(jié)果進(jìn)行特征融合從而得到包含較多語(yǔ)義信息的特征圖。

圖5 SERes模塊

圖6 SPP模塊

圖7 PRN模塊

4 實(shí)驗(yàn)結(jié)果與分析

4.1 圖片采集和數(shù)據(jù)集制作

本文從神華黃驊港安裝在裝船機(jī)上的攝像頭監(jiān)控系統(tǒng)中采集溜筒卸載煤料作業(yè)時(shí)產(chǎn)生的煤粉塵。圖8為裝船機(jī)上的溜筒，為了能得到最優(yōu)的拍攝視角，監(jiān)控?cái)z像頭安裝在圖中箭頭指示的溜筒平臺(tái)上，鏡頭垂直向下放置。針對(duì)港口復(fù)雜的工作環(huán)境，本文采用海康威視smart IPC H265 200萬(wàn)紅外筒型網(wǎng)絡(luò)攝像頭。該攝像頭最大可輸出Full HD 1920×1080@30 fps實(shí)時(shí)圖像，且支持透霧、電子防抖、背光補(bǔ)償、自動(dòng)電子快門(mén)等功能，采用防雜光玻璃，能排除雜光干擾保證畫(huà)面效果。

由于粉塵檢測(cè)算法只能檢測(cè)有無(wú)粉塵，無(wú)法檢測(cè)粉塵濃度，使對(duì)應(yīng)的除塵操作難以精細(xì)化，限制了粉塵檢測(cè)算法在除塵作業(yè)中發(fā)揮更大的作用。本文對(duì)現(xiàn)場(chǎng)采集的粉塵視頻進(jìn)行分析后，根據(jù)煤粉塵形態(tài)的不同，將粉塵分為四類(lèi)。對(duì)這四類(lèi)粉塵分開(kāi)檢測(cè)，分別統(tǒng)計(jì)四類(lèi)粉塵檢測(cè)框的總面積占圖像面積的比值，然后根據(jù)事先分配的權(quán)重，對(duì)檢測(cè)框的面積做加權(quán)求和計(jì)算，將計(jì)算出來(lái)的結(jié)果作為指代粉塵濃度的指標(biāo)，為除塵裝置量化除塵措施提供依據(jù)。

圖8 溜筒

第一類(lèi)為呈現(xiàn)亮白色的疑似粉塵，此類(lèi)粉塵常被煤炭散發(fā)出的熱氣或海邊霧氣干擾。為降低誤檢率，本文將其與其它粉塵分開(kāi)檢測(cè)，當(dāng)實(shí)際檢測(cè)中發(fā)現(xiàn)此類(lèi)粉塵的檢測(cè)框數(shù)量大于指定數(shù)量(例如3個(gè))或者這類(lèi)粉塵檢測(cè)框面積總和大于圖片面積1/4時(shí)，發(fā)送警報(bào)由人工進(jìn)行二次判斷。未觸發(fā)警報(bào)情況下此類(lèi)粉塵分配20%的權(quán)重；

第二類(lèi)為藍(lán)色或灰黑色的粉塵，此類(lèi)粉塵辨識(shí)度高，不易與熱氣或者大霧混淆，將其單獨(dú)分為一類(lèi)有助于提高粉塵檢測(cè)的總體準(zhǔn)確率，此類(lèi)粉塵分配20%的權(quán)重；

第三類(lèi)為除上述被挑選出來(lái)的兩類(lèi)粉塵之外所有相對(duì)聚集區(qū)域超過(guò)圖片面積1/16的粉塵。此類(lèi)粉塵濃度較大時(shí)會(huì)呈彌漫狀，遍布整個(gè)攝像頭視野，是實(shí)際作業(yè)中最主要的檢測(cè)目標(biāo)，分配50%的權(quán)重；

第四類(lèi)為煤料從溜筒下落時(shí)揚(yáng)起的小區(qū)域粉塵。這類(lèi)粉塵濃度低，往往達(dá)不到啟動(dòng)除塵裝置的閾值，在大部分情況下會(huì)被直接忽略。但為了使粉塵檢測(cè)更加精細(xì)化，幫助現(xiàn)場(chǎng)工作人員更好地把握粉塵濃度的變化趨勢(shì)，所以將其作為一類(lèi)進(jìn)行專門(mén)檢測(cè)，分配10%的權(quán)重。

圖9為四類(lèi)粉塵的示意圖，由于粉塵形態(tài)各異，邊界不清晰，而粉塵檢測(cè)不需要精準(zhǔn)定位，所以標(biāo)注時(shí)只需框住粉塵的核心區(qū)域；面對(duì)彌散開(kāi)來(lái)的粉塵，只標(biāo)注粉塵相對(duì)聚集的區(qū)域；且標(biāo)注框的面積不超過(guò)圖片的1/3，長(zhǎng)寬比不大于3，這樣便于K-means聚類(lèi)算法生成合適的anchor boxes，提高檢出率。標(biāo)注好的圖片經(jīng)過(guò)專人統(tǒng)一修改規(guī)范之后，采用VOC2007的格式制作用于訓(xùn)練改進(jìn)算法并驗(yàn)證改進(jìn)效果的數(shù)據(jù)集，其中訓(xùn)練集6220張圖片，驗(yàn)證集1556張圖片。圖10為測(cè)試數(shù)據(jù)集部分圖片，包括了實(shí)際作業(yè)中最常出現(xiàn)了幾類(lèi)粉塵分布情況。

圖9 粉塵示意圖

圖10 數(shù)據(jù)集部分圖片

4.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)使用Intel(R) Core(TM) i7-5930K CPU @ 3.50 GHz處理器，在Ubuntu16.04操作系統(tǒng)下進(jìn)行，為了提高運(yùn)算速度，縮短訓(xùn)練時(shí)長(zhǎng)，使用NVIDIA GeForce RTX 1080顯卡一張，在CUDA10.1.243、CUDNN7.6.4運(yùn)算平臺(tái)上進(jìn)行計(jì)算。在本實(shí)驗(yàn)中使用的深度學(xué)習(xí)框架為Darknet，結(jié)合OpenCV庫(kù)完成程序的編寫(xiě)及應(yīng)用。

4.2.1 網(wǎng)絡(luò)的訓(xùn)練

首先從網(wǎng)上下載YOLOv4-tiny作者提供的預(yù)訓(xùn)練權(quán)重，然后基于改進(jìn)后的網(wǎng)絡(luò)對(duì)粉塵數(shù)據(jù)集進(jìn)行不斷調(diào)參和迭代訓(xùn)練，最后得到粉塵檢測(cè)效果相對(duì)最佳的權(quán)重參數(shù)。實(shí)驗(yàn)中梯度優(yōu)化采用基于動(dòng)量(momentum)的隨機(jī)梯度下降(SGD)算法，部分訓(xùn)練參數(shù)的設(shè)置如表1所示。

迭代訓(xùn)練時(shí)，圖像輸入尺寸設(shè)置為608×608，每次迭代的批量大小為64，subdivisions設(shè)為8，經(jīng)過(guò)30000次左右迭代后網(wǎng)絡(luò)收斂。當(dāng)?shù)螖?shù)小于burn_in(設(shè)置為1000)時(shí)，學(xué)習(xí)率從0開(kāi)始隨著迭代次數(shù)的增加逐漸變大，直到迭代次數(shù)達(dá)到burn_in完成學(xué)習(xí)率預(yù)熱(warmup)后，使用初始學(xué)習(xí)率0.00261。學(xué)習(xí)率在迭代次數(shù)為總迭代次數(shù)的80%和90%時(shí)采用step調(diào)整策略進(jìn)行調(diào)整，比例為0.1。另外飽和度、曝光量、色調(diào)和數(shù)據(jù)增強(qiáng)參數(shù)(mosaic)可以用來(lái)生成更多的訓(xùn)練樣本，其中mosaic方法是YOLOv4中提出的一種數(shù)據(jù)增強(qiáng)方式，這種方法將4張圖片拼接成一張圖片，豐富了檢測(cè)場(chǎng)景，可以有效解決數(shù)據(jù)不均衡的問(wèn)題[11]。而權(quán)重衰退(decay)和參數(shù)抖動(dòng)因子(jitter)可以抑制過(guò)擬合，前者作為正則項(xiàng)，通過(guò)使權(quán)重值變小實(shí)現(xiàn)效果，后者通過(guò)隨機(jī)調(diào)整輸入圖片的寬高比的范圍增加噪聲來(lái)實(shí)現(xiàn)抑制過(guò)擬合的效果。

表1 網(wǎng)絡(luò)參數(shù)表

在訓(xùn)練過(guò)程中，保存了Darknet框架提供的訓(xùn)練日志且每1000次迭代保存一次訓(xùn)練權(quán)重。根據(jù)訓(xùn)練日志和訓(xùn)練權(quán)重可繪制平均損失(loss)和平均精度(mAP)隨著迭代次數(shù)的增加其變化曲線。

4.2.2 消融實(shí)驗(yàn)

為了測(cè)試SERes模塊、XRes模塊、SPP模塊、特征融合PRN模塊以及YOLOv4算法中使用的SAM空間注意力模塊[11]等能在多大程度上影響到粉塵檢測(cè)的效果，本文設(shè)置幾組消融實(shí)驗(yàn)。消融實(shí)驗(yàn)均在相同的粉塵訓(xùn)練集上訓(xùn)練，相同的測(cè)試集上測(cè)試。激活函數(shù)、非極大值抑制(NMS)和回歸框損失函數(shù)統(tǒng)一采用leaky激活函數(shù)、greedynms和CIOU損失函數(shù)，并選擇mAP值和每秒幀率(FPS)值作為測(cè)試指標(biāo)。

計(jì)算mAP之前需要介紹幾個(gè)常見(jiàn)的模型評(píng)價(jià)術(shù)語(yǔ)，且假設(shè)分類(lèi)目標(biāo)只有兩類(lèi)——正例(positive)和負(fù)例(negative)：

TP(True positives，簡(jiǎn)寫(xiě)為T(mén)P)：按照Pascal VOC2007的計(jì)算標(biāo)準(zhǔn)，當(dāng)粉塵的預(yù)測(cè)框與真實(shí)框的交并比(IOU)大于等于50%時(shí)，視為匹配正確，檢測(cè)出來(lái)的粉塵是正確的；

FP(False positives，簡(jiǎn)寫(xiě)為FP)：如果IOU值小于0.5，或者檢測(cè)到同一個(gè)真實(shí)框(GT)的多余檢測(cè)框(意思是同一區(qū)域檢測(cè)出了多個(gè)框，置信度最高的檢測(cè)框?yàn)門(mén)P，剩下的為FP，即使剩下的檢測(cè)框IOU大于0.5)，視為匹配錯(cuò)誤；

FN(False negatives，簡(jiǎn)寫(xiě)為FN)：指沒(méi)有檢測(cè)到的真實(shí)框的數(shù)量；

TN(True negatives，簡(jiǎn)寫(xiě)為T(mén)N)：指被正確檢測(cè)為負(fù)例的數(shù)量；

精確率(Precision/re)

召回率(Recall/)

平均精確度(Average precision，AP)。

精確率和召回率在實(shí)際中是相互制約的，單獨(dú)比較會(huì)有失平衡。AP值作為綜合評(píng)價(jià)指數(shù)，定義為P-R曲線的積分面積。P-R曲線即以precision和recall作為縱、橫軸坐標(biāo)的二維曲線。

mAP(Mean average precision)即平均AP值，是對(duì)多個(gè)驗(yàn)證集個(gè)體求平均AP值，作為目標(biāo)檢測(cè)(object dection)中衡量檢測(cè)精度的指標(biāo)。除了檢測(cè)準(zhǔn)確度，目標(biāo)檢測(cè)算法的另外一個(gè)重要性能指標(biāo)是速度，評(píng)估速度的常用指標(biāo)是每秒幀率(frame per second，F(xiàn)PS)，即每秒內(nèi)可以處理的圖片數(shù)量。

消融實(shí)驗(yàn)結(jié)果見(jiàn)表2，綜合表2的前六行可以發(fā)現(xiàn)各模塊對(duì)算法模型的mAP和FPS兩個(gè)指標(biāo)均有不同程度的影響，其中SPP模塊和特征融合PRN模塊對(duì)算法精度mAP有較明顯的提升，SERes可小幅提高FPS。當(dāng)模塊進(jìn)行組合時(shí)，能從表中倒數(shù)第二行發(fā)現(xiàn)當(dāng)集合SPP、PRN、SERes和XRes四種模塊時(shí)，模型精度達(dá)到81.27，雖然其FPS值明顯小于改進(jìn)之前的模型，但仍然有25.1，滿足粉塵實(shí)時(shí)檢測(cè)的要求。

為了進(jìn)一步驗(yàn)證本文改進(jìn)后的網(wǎng)絡(luò)檢測(cè)性能的好壞，以mAP以及FPS(每秒識(shí)別幀數(shù))作為檢測(cè)效果評(píng)價(jià)指標(biāo)，進(jìn)行了如表3所示的粉塵檢測(cè)性能對(duì)比實(shí)驗(yàn)。其中YOLOv4-tiny指的是原版模型，未添加消融實(shí)驗(yàn)中提及的任何模塊，YOLOv4-tiny-spp模型在YOLOv4-tiny模型基礎(chǔ)上添加SPP模塊，兩個(gè)模型的參數(shù)與本文改進(jìn)的YOLOv4-tiny-new模型完全一致，這三者統(tǒng)一采用Darknet深度學(xué)習(xí)框架，訓(xùn)練批次統(tǒng)一為30000。而SSD模型選擇是PadlePadle框架，訓(xùn)練批次為60000。Faster RCNN模型選擇的是Pytorch深度學(xué)習(xí)框架，訓(xùn)練批次為30。

從實(shí)驗(yàn)結(jié)果可以看出YOLOv4模型的mAP值最高，達(dá)到83.27%。本文基于YOLOv4-tiny改進(jìn)的網(wǎng)絡(luò)模型YOLOv4-tiny-new的mAP值為81.27%，雖然檢測(cè)精度低于YOLOv4，但檢測(cè)速度為25.1，高于YOLOv4的13.4，很好地兼顧了粉塵檢測(cè)的精度和速度，可以方便地實(shí)現(xiàn)溜筒卸料粉塵的實(shí)時(shí)檢測(cè)。SSD的FPS值最高，但檢測(cè)精度明顯低于本文改進(jìn)的算法。值得注意的是，F(xiàn)aster RCNN模型在實(shí)驗(yàn)中表現(xiàn)欠佳，可能是因?yàn)镕aster RCNN模型不擅長(zhǎng)處理沒(méi)有清晰的邊界，且形態(tài)大小不一的溜筒卸料粉塵。圖11為各模型粉塵檢測(cè)精度mAP值隨迭代次數(shù)的折線圖，其中SSD折線對(duì)應(yīng)的橫坐標(biāo)名稱為“iteration′2000”，F(xiàn)aster RCNN對(duì)應(yīng)的橫坐標(biāo)名稱為“iteration”其它的為“iteration′1000”。

4.3 實(shí)驗(yàn)分析

從表2消融實(shí)驗(yàn)中可以發(fā)現(xiàn)，在原YOLOv4-tiny的基礎(chǔ)上繼續(xù)添加SERes模塊、XRes模塊、SPP模塊和PRN模塊，雖然不能在每一類(lèi)粉塵檢測(cè)中得到最高的AP值，但是可以在保證實(shí)時(shí)性的前提下得到最高的平均精度(mAP)。其中由于第一類(lèi)和第二類(lèi)粉塵是從粉塵數(shù)據(jù)集中專門(mén)挑出的特殊情況，它們特征明顯，檢測(cè)難度較低，故其精度達(dá)到93.98%和93.57%；第三類(lèi)是溜筒卸料粉塵中最常見(jiàn)的類(lèi)型，80.08%的檢測(cè)精度可以很好地勝任絕大部分場(chǎng)景下此類(lèi)粉塵的預(yù)警任務(wù)；第四類(lèi)粉塵由于是微小粉塵，小目標(biāo)檢測(cè)一直是目標(biāo)檢測(cè)算法的難點(diǎn)，不過(guò)此類(lèi)粉塵對(duì)粉塵最終的濃度判定影響不大，本文將其檢測(cè)精度提高到57.43%。值得注意的是，SAM空間注意力模塊在實(shí)驗(yàn)中表現(xiàn)不佳，對(duì)提高粉塵檢測(cè)性能沒(méi)有明顯的效果。XRes模塊單獨(dú)使用時(shí)，對(duì)檢測(cè)效果影響不大，但當(dāng)其與其它模塊搭配時(shí)，對(duì)粉塵檢測(cè)精度有一定的增益。圖12是利用Darknet網(wǎng)絡(luò)框架訓(xùn)練本文改進(jìn)網(wǎng)絡(luò)訓(xùn)練過(guò)程中生成的平均損失變化曲線，可以看出，網(wǎng)絡(luò)損失在迭代30000次時(shí)收斂。

表2 消融實(shí)驗(yàn)

表3 對(duì)比實(shí)驗(yàn)

為了直觀體現(xiàn)改進(jìn)后的算法的檢測(cè)效果相比未改進(jìn)前的區(qū)別，選取了一些檢測(cè)圖片進(jìn)行對(duì)比分析。從圖13中可以發(fā)現(xiàn)，原版的YOLOv4-tiny算法存在較明顯的漏檢現(xiàn)象，SSD算法容易將同一區(qū)域同時(shí)識(shí)別為多種粉塵，而Faster RCNN算法存在將非粉塵區(qū)域檢測(cè)誤認(rèn)為粉塵的現(xiàn)象。YOLOv4算法的檢測(cè)結(jié)果雖然較本文改進(jìn)的算法更加全面，但本文算法也很好地對(duì)有粉塵的區(qū)域進(jìn)行了準(zhǔn)確的識(shí)別，可以勝任生產(chǎn)作業(yè)中的煤粉塵預(yù)警工作，而且檢測(cè)速度快于YOLOv4，更適合用于有實(shí)時(shí)性要求的場(chǎng)合。

圖11 粉塵檢測(cè)mAP值折線圖

圖12 損失曲線圖

圖13 粉塵檢測(cè)效果對(duì)比圖

5 結(jié)束語(yǔ)

本文首次提出了一種基于深度學(xué)習(xí)的溜筒卸料粉塵檢測(cè)方法。實(shí)驗(yàn)結(jié)果證明，SPP模塊、特征融合PRN模塊在粉塵檢測(cè)中能發(fā)揮作用。除此之外，本文參考SENet網(wǎng)絡(luò)和Xception網(wǎng)絡(luò)提出的SERes模塊和XRes模塊也能在不同程度上提高網(wǎng)絡(luò)模型的檢測(cè)性能。這些模塊有效地解決了YOLOv4-tiny網(wǎng)絡(luò)模型檢測(cè)速度快但準(zhǔn)確率低的問(wèn)題，在保證實(shí)時(shí)性的前提下，有效地提高了網(wǎng)絡(luò)對(duì)煤粉塵的識(shí)別能力。

改進(jìn)后的YOLOv4-tiny網(wǎng)絡(luò)模型相比原網(wǎng)絡(luò)模型，mAP值提高了3個(gè)百分點(diǎn)，達(dá)到81.27%，其中速度(FPS)為25.1，很好地滿足了工業(yè)現(xiàn)場(chǎng)對(duì)粉塵檢測(cè)的實(shí)時(shí)性與準(zhǔn)確性的要求，解決了在煤炭港口溜筒卸料粉塵識(shí)別預(yù)警過(guò)程中，需要專人長(zhǎng)期檢查作業(yè)現(xiàn)場(chǎng)帶來(lái)的工作效率低下的問(wèn)題，很好地推動(dòng)了煤炭港口的無(wú)人化建設(shè)。

由于基于深度學(xué)習(xí)的粉塵檢測(cè)算法只能檢測(cè)有無(wú)粉塵，無(wú)法有效判斷粉塵濃度，本文對(duì)粉塵進(jìn)行了細(xì)分，將疑似干擾物和特征最明顯的粉塵作專門(mén)檢測(cè)，同時(shí)為了加強(qiáng)算法對(duì)小目標(biāo)粉塵的檢測(cè)能力，也將小目標(biāo)粉塵單列出來(lái)。最后綜合四類(lèi)粉塵的各自檢測(cè)框的總面積作加權(quán)和計(jì)算，將計(jì)算結(jié)果作為粉塵濃度的指代，為港口除塵裝置量化除塵措施提供依據(jù)。

本文研究的溜筒卸料粉塵檢測(cè)算法還存在許多不足：一方面粉塵的檢測(cè)精度需要進(jìn)一步提升，本文第三類(lèi)粉塵其實(shí)存在多種分布情況，這是其精度相比前兩類(lèi)低的主要原因，可以考慮從提高算法性能和進(jìn)一步細(xì)化粉塵分類(lèi)這兩個(gè)角度提高檢測(cè)效果。而針對(duì)第四類(lèi)小目標(biāo)粉塵，需要進(jìn)一步優(yōu)化算法。另一方面，根據(jù)粉塵檢測(cè)框的面積大小進(jìn)行加權(quán)計(jì)算，根據(jù)計(jì)算結(jié)果判斷粉塵濃度的方法存在很大的不確定性。這種方法主要依據(jù)粉塵擴(kuò)散的面積，不同類(lèi)型粉塵的加權(quán)系數(shù)只能依據(jù)經(jīng)驗(yàn)選擇，往往不夠可靠。下一步需要研究找到與粉塵濃度相關(guān)性更高的物理量用于判斷粉塵濃度。在未來(lái)的研究工作中，我們將進(jìn)一步結(jié)合港口現(xiàn)場(chǎng)的作業(yè)環(huán)境，對(duì)多種復(fù)雜場(chǎng)景進(jìn)行研究，將深度學(xué)習(xí)與粉塵檢測(cè)更好地結(jié)合。

[1] Wang D C. Study about dust controlling techniques in Huanghua port[J]., 2017, 15(5): 89–92.

汪大春. 黃驊港粉塵治理技術(shù)研究[J]. 神華科技, 2017, 15(5): 89?92.

[2] Yao Z Y. Research on the application of object detection technology based on deep learning algorithm[D]. Beijing: Beijing University of Posts and Telecommunications, 2019.

姚筑宇. 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)研究與應(yīng)用[D]. 北京: 北京郵電大學(xué), 2019.

[3] Frizzi S, Kaabi R, Bouchouicha M,. Convolutional neural network for video fire and smoke detection[C]//, Florence, 2016: 877–882.

[4] Tao C Y, Zhang J, Wang P. Smoke detection based on deep convolutional neural networks[C]//, Wuhan, 2016: 150–153.

[5] Zhang F, Qin W, Liu Y B,. A Dual-Channel convolution neural network for image smoke detection[J]., 2020, 79(45): 34587–34603.

[6] Girshick R. Fast R-CNN[C]//, Santiago, 2015: 1440–1448.

[7] Ren S Q, He K M, Girshick R,. Faster R-CNN: towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137–1149.

[8] Redmon J, Divvala S, Girshick R,. You only look once: unified, real-time object detection[C]//, Las Vegas, 2016: 779–788.

[9] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//, Honolulu, 2017: 6517–6525.

[10] Redmon J, Farhadi A. YOLOv3: An Incremental improvement[Z]. arXiv: 1804.02767, 2018.

[11] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: optimal speed and accuracy of object detection[Z]. arXiv: 2004.10934, 2020.

[12] He K M, Zhang X Y, Ren S Q,. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]., 2015, 37(9): 1904?1916.

[13] Wang C Y, Liao H Y M, Chen P Y,. Enriching variety of layer-wise learning information by gradient combination[C]//, Seoul, 2019: 2477–2484.

[14] Wang C Y, Liao H Y M, Wu Y H,. CSPNet: a new backbone that can enhance learning capability of CNN[C]//, Seattle, 2020: 1571–1580.

[15] Lin T Y, Dollár P, Girshick R,. Feature pyramid networks for object detection[C]//, Honolulu, 2017: 936–944.

[16] Liu S, Qi L, Qin H F,. Path aggregation network for instance segmentation[C]//, Salt Lake City, 2018: 8759?8768.

[17] Chollet F. Xception: deep learning with depthwise separable convolutions[C]//, Honolulu, 2017: 1800?1807.

[18] Szegedy C, Liu W, Jia Y Q,. Going deeper with convolutions[C]//, Boston, 2015: 1?9.

[19] Szegedy C, Vanhoucke V, Ioffe S,. Rethinking the inception architecture for computer vision[C]//, Las Vegas, 2016: 2818?2826.

[20] Hu J, Shen L, Sun G. Squeeze-and-Excitation networks[C]//, Salt Lake City, 2018: 7132?7141.

[21] He K M, Zhang X Y, Ren S Q,. Deep residual learning for image recognition[C]//, Las Vegas, 2016: 770?778.

The detection method for coal dust caused by chute discharge based on YOLOv4-tiny

Li Haibin1,2, Sun Yuan1*, Zhang Wenming2, Li Yaqian2

1School of Electrical Engineering, Yanshan University, Qinhuangdao, Hebei 066004, China;2Key Laboratory of Industrial Computer Control Engineering of Hebei Province, Yanshan University, Qinhuangdao, Hebei 066004, China

Dust detection

Overview:In recent years, with the improvement of the public's environmental protection concept and the tightening of environmental protection policies, how to effectively reduce or quickly suppress the dust generated in the production process has become a problem that coal ports must face. It is the last link of the whole production link that the ship loader unloads the coal to the cargo ship through the chute. In the front production link of the coal ports, various dust suppression measures are adopted, such as wind proof and dust suppression nets, dry dust removal systems, and so on. Although these measures effectively reduce the dust generation when the coal spills into the cabin, the dust suppression measures in the early stage do not form a closed-loop control with the unloading link, and cannot automatically suppress the dust from the unloading link. Thus, the separate treatment of the unloading dust is still an important part of the whole environmental protection operation. At present, the main measure to suppress this kind of dust in domestic coal ports is watering. As the discharge dust only occurs occasionally, if the sprinkler dust removal device is always turned on, it will lead to excessive watering, which will undoubtedly reduce the actual coal loading of cargo ships and affect the economic benefits. If the dust removal device is manually controlled by workers on site, it is not conducive to the construction of unmanned ports. Therefore, it is necessary to develop an automatic real-time detection method of coal dust discharge. When the dust is detected, an early warning signal is sent to inform the dust suppression operation to take corresponding measures. The improved deep convolution neural network (YOLOv4-tiny) is used to train and test on the data set of dust, and then to learn its internal feature representation. The improvement measures include: a SERes module is proposed to strengthen the information interaction between the detection algorithm network channels; a XRes module is proposed to increase the depth and width of the algorithm network; a SPP module and a PRN module are added to enhance the feature fusion ability of the algorithm. Because the detection algorithm cannot get the dust concentration, this paper divides the dust into four categories for detection, and finally counts the total area of the detection frame of the four categories of dust. After that, the dust concentration is approximately judged by weighting and calculating these data. The experimental results show that the detection accuracy (AP) of four types of dust is 93.98%, 93.57%, 80.03% and 57.43%, the average detection accuracy (mAP) is 81.27% (which is close to 83.38% of YOLOv4), and the detection speed (FPS) is 25.1 (which is higher than 13.4 of YOLOv4). The algorithm can balance the speed and accuracy of dust detection, and can be used for real-time dust detection to improve the efficiency of suppressing coal dust generated by chute discharge.

Li H B, Sun Y, Zhang W M,The detection method for coal dust caused by chute discharge based on YOLOv4-tiny[J]., 2021, 48(6): 210049; DOI:10.12086/oee.2021.210049

The detection method for coal dust caused by chute discharge based on YOLOv4-tiny

Li Haibin1,2, Sun Yuan1*, Zhang Wenming2, Li Yaqian2

1School of Electrical Engineering, Yanshan University, Qinhuangdao, Hebei 066004, China;2Key Laboratory of Industrial Computer Control Engineering of Hebei Province, Yanshan University, Qinhuangdao, Hebei 066004, China

The coal port will produce dust in the process of unloading coal by the chute of the ship loader. In order to solve the problem of dust detection, this paper proposes a method of coal dust detection based on deep learning (YOLOv4-tiny). The improved YOLOv4-tiny network is used to train and test the dust data set of chute discharge. Because the detection algorithm cannot get the dust concentration, this paper divides the dust into four categories for detection, and finally counts the area of detection frames of the four categories of dust. After that, the dust concentration is approximately judged through the weighted sum calculation of these data. The experimental results show that the detection accuracy (AP) of four types of dust is 93.98%, 93.57%, 80.03% and 57.43%, the average detection accuracy (mAP) is 81.27% (which is close to 83.38% of YOLOv4), and the detection speed (FPS) is 25.1 (which is higher than 13.4 of YOLOv4). The algorithm can balance the speed and accuracy of dust detection, and can be used for real-time dust detection to improve the efficiency of suppressing coal dust generated by chute discharge.

coal dust detection; YOLOv4-tiny; deep learning; object detection

李海濱，孫遠(yuǎn)，張文明，等. 基于YOLOv4-tiny的溜筒卸料煤塵檢測(cè)方法[J]. 光電工程，2021，48(6): 210049

Li H B, Sun Y, Zhang W M,The detection method for coal dust caused by chute discharge based on YOLOv4-tiny[J]., 2021, 48(6): 210049

TP391.41

A

10.12086/oee.2021.210049

2021-02-09；

2021-05-15

河北省自然科學(xué)基金資助項(xiàng)目(F2019203195)

李海濱(1978-)，男，博士，教授，主要從事基于深度學(xué)習(xí)的圖像處理算法(目標(biāo)檢測(cè)、圖像分割、目標(biāo)跟蹤、圖像增強(qiáng)、三維重建等)及其在水下環(huán)境的應(yīng)用。E-mail：hbli@ysu.edu.cn

孫遠(yuǎn)(1996-)，男，碩士研究生，主要從事計(jì)算機(jī)視覺(jué)、目標(biāo)檢測(cè)方面的研究。E-mail：2786765531@qq.com

Natural Science Foundation of Hebei Province (F2019203195)

* E-mail: 2786765531@qq.com